CN112602087A - 人识别系统和方法 - Google Patents

Abstract

本文公开的技术涉及识别数字图像中的个体。在一些实施例中，可以采集(802)捕获至少包含第一对象的环境的数字图像。描绘第一对象的数字图像的第一部分可以被分割(806)成多个超像素。对于多个超像素中的每个超像素：可以将语义标签分配(810)到该超像素；可以提取(812)超像素的特征；并且可以确定(814)从超像素提取的特征与从在参考数字图像中识别的参考超像素提取的特征之间的相似度量度，其中，参考超像素具有与被分配到超像素的语义标签匹配的参考语义标签。基于与多个超像素相关联的相似度量度，可以确定(818)第一对象被描绘在参考图像中。

Description

人识别系统和方法

技术领域

本公开总体上但非排他地旨在识别数字图像中的人。更具体地但非排他地，本文公开的各种方法和装置涉及使用诸如服装、配饰、头发、面部特征等的特征的组合来识别数字图像中的人。

背景技术

存在多种情况，其中，可能期望基于捕获包含人的场景的数字图像来自动识别人。例如，当患者访问医院时，其通常被登记、分诊并且然后被送到诸如等候室的区域以等候诸如医师的医院资源变为可用于检查和/或处置患者。能够自动识别个体患者可以对在其等候医学资源的分配时连续监测其状况(例如，针对恶化)有帮助。其也可以对于确定是否/何时患者离开而未被看到(LWBS)有帮助。基于数字图像自动地识别人也可以在各种其他背景(诸如机场、过境处、体育馆和健身中心、各种公司等)下是有用的。

尽管使用面部识别(例如，经由分类器)来识别人是可能的，但是能够要求在分析中的数字图像具有相对高的分辨率，使得面部特征(例如，眼睛、鼻子、嘴巴等)是可辨别的。此外，在诸如在其中安装的相机可以采集要分析的数字图像的等候室的背景下，不保证(并且实际上可能不可能)以有助于面部识别的方式放置等候患者，例如，因为他们的面部可能不完全可见和/或可能被部分或完全遮挡(例如，被书籍、杂志、智能手机等)。

发明内容

本公开涉及用于自动地识别所采集的数字图像中所描绘的人的方法、系统和装置。作为一个非限制性示例，多个分诊的患者可以在等候室中等候直到其可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的急迫度的量度(在本文中被称为“患者急迫度量度”)以及其他数据点(诸如患者等候时间、患者存在等)来排序或者排名的患者监测队列(还简单地被称为“患者队列”)中，所述量度基于由分诊护士从所述患者获得/采集的信息来确定。被安装在等候室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行来自每个患者的一个或多个经更新的生命体征和/或生理参数的非接触和/或非侵扰的采集。这些经更新的生命体征和/或生理参数可以包括但不限于温度、脉搏、血氧饱和度(“SpO2”)、呼吸率、姿势、汗水等。为了识别生命体征采集相机应该从其采集经更新的生命体征的特定患者，可以采用本文所描述的技术来匹配所谓的“参考”数字图像-其在一些实施例中可以是在登记和/或分诊期间采集的患者的数字图像-与由相对低分辨率数字图像捕获的场景中包含的人，所述相对低分辨率数字图像由一个或多个生命体征采集相机(例如，从相对宽的视场(“FOV”))采集。更一般地，本文中描述的技术可以在各种背景下实施以例如通过匹配从根据那些对象生成的超像素提取的特征与从根据参考数字图像(例如，在登记时采集，在机场或火车站值机时采集，照片识别等)生成的参考超像素提取的特征的来识别数字图像(例如，单幅图像和/或数字图像流，例如视频馈送)中描绘的对象。

通常，在一个方面中，一种方法可以包括：由一个或多个处理器采集捕获至少包含第一对象的环境的数字图像；并且由处理器中的一个或多个将数字图像的描绘第一对象的第一部分分割成多个超像素；针对多个超像素中的每个超像素：由处理器中的一个或多个将语义标签分配到所述超像素，由处理器中的一个或多个提取所述超像素的特征，由处理器中的一个或多个确定从超像素提取的特征与从在参考数字图像中识别的参考超像素提取的特征之间的相似度量度，其中，参考超像素具有与被分配到超像素的语义标签匹配的参考语义标签；并且由处理器中的一个或多个基于与多个超像素相关联的相似度量度确定第一对象在参考图像中被描绘。

在各种实施例中，数字图像可以捕获包含多个对象的场景，所述多个对象包括第一对象。所述方法还可以包括将数字图像分割成多个部分，每个部分描绘多个对象中的不同对象。在各种实施例中，可以通过将数字图像中包含的多个对象实例分割成掩模来将数字图像分割成多个部分。在各种实施方式中，可以使用掩模的切口将掩模分离成离散的子掩模，其中，每个子掩模对应于多个对象中的个体对象。

在各种实施例中，可以使用姿势估计将数字图像分割成多个部分。在各种实施例中，多个超像素中的至少一个可以被分配语义标签，所述语义标签与穿戴在人体躯干上的衣服相关联。

在各种实施例中，所述方法还可以包括由处理器中的一个或多个基于与多个超像素相关联的相似度量度中的一个或多个来确定在捕获参考数字图像的时间与捕获数字图像的时间之间的时间间隔期间第一对象改变了穿戴在第一对象的躯干上的衣服的可能性。

在各种实施例中，多个超像素中的至少一个可以被分配语义标签，所述语义标签与穿戴在人腿上的衣服相关联。在各种实施例中，多个超像素中的至少一个可以被分配与人头发相关联的语义标签。在各种实施例中，可以向多个超像素中的至少一个分配与人面部相关联的语义标签。

在各种实施例中，所述方法还可以包括由处理器中的一个或多个基于与多个超像素相关联的相似度量度来确定：在捕获参考数字图像的时间与捕获数字图像的时间之间的时间间隔期间第一对象的外观被改变的第一可能性，以及第一对象离开了环境的第二可能性。在各种实施例中，环境可以采取医院等候室、健身房或机场的形式。

应当意识到，以下更详细讨论的前述构思和额外构思的所有组合(假设此类构思不相互矛盾)被预期为本文公开的主题的部分。具体地，出现在本公开的结尾处的请求保护的主题的所有组合被预期为是本文公开的主题的部分。还应该意识到，本文明确采用的也可以出现在通过引用并入的任何公开中的术语应该被赋予与本文公开的具体构思最一致的含义。

附图说明

在附图中，相似的附图标记贯穿不同视图通常指代相同的部件。而且，附图不必是按比例的，而是通常将强调放在图示本公开的原理上。

图1示意性地图示了根据各种实施例的用于使用所公开的技术监测数字图像中所识别的患者的总体过程流。

图2图示了根据各种实施方式的其中本公开的各种部件可以实施本公开的选定方面的示例环境。

图3描绘了根据各种实施例的其中可以实践所公开的技术的示例情形。

图4描绘了根据各种实施例的可以被实施为患者识别模块的部分的示例部件。

图5描绘了骨架化、分水岭或关键点可以如何用于例如分割以识别数字图像中描绘的不同对象的示例。

图6A和6B描绘了说明本公开的各个方面的示例绘图。

图7描绘了说明本公开的各个方面的数据的额外示例绘图。

图8描绘了根据各种实施例的识别数字图像中的人的示例方法。

图9描绘了示例计算机系统的部件。

具体实施方式

图1总体上示意性地图示了可以如何使用所公开的技术监测患者。具体地，描绘了可以在预等候室区域中(诸如在(一个或多个)预等候室区域102处)发生的操作和动作，所述预等候室区域可以包括接收和/或登记和/或分诊站或者摊位。此外，描绘了能够在等候室104中发生的操作和动作。在框106处，新患者可以例如在接待处(没有描绘)登记之后进入和/或接近(一个或多个)预等候室区域102。

在框108处，可以登记新患者。登记可以包括，例如，收集关于患者的信息，诸如患者的姓名、年龄、性别、保险信息和访问原因。通常但非排他地，该信息可以由诸如分诊护士的医学人员手动输入计算机中。在一些实施例中，患者的一幅或多幅参考图像可以例如由与由分诊护士操作的计算设备集成的相机、由独立相机和/或由生命体征采集相机(在这种情况下，可以在登记时任选地采集至少一些生命体征)采集。在许多情况下，分诊护士此外可以使用各种医学仪器在框110采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可包括但不限于血压、脉搏、葡萄糖水平、SO₂、光体积描记图(“PPG”)、呼吸率(例如呼吸速率)、温度、肤色等。尽管未在图1中描绘，但是在一些实施例中，也可以在分诊时收集其他信息，诸如采集/更新患者的医学史，确定患者过敏，确定患者对药物的使用等。

一旦患者被登记并且他们的初始生命体征和/或生理参数被采集，在框112处，可以将患者送到等候室104。在一些实施例中，可以为患者分配所谓的“患者急迫度(acuity)量度”，其可以是用于对患者疾病的严重性进行排名的量度，并且在一些情况下可以指示对急诊室资源的预期需要。可以使用任何数量的常用指示符和/或临床医师决策支持(“CDS”)算法来确定和/或分配患者急迫度量度，包括但不限于紧急严重性指数(“ESI”)、中国台湾分诊系统(“TTS”)、加拿大分诊和急迫度量表(“CTAS”)等。例如，在一些实施例中，可以将患者的生命体征与存储在系统数据库中的预定义生命体征阈值进行比较，或者与对于给定患者年龄、性别、体重等典型的已发布或已知生命体征值进行比较，以确定患者的初始患者急迫度量度和/或患者在患者队列中的初始位置。在一些实施例中，可以将关于患者的各种生理信息和其他信息应用为在到训练模型(例如，回归模型、神经网络、深度学习网络等)、基于案例的推理算法或其他临床推理算法上的输入以导出一个或多个急迫度量度。在一些实施例中，用于导出急迫度量度的信息可以包括或甚至完全限于可以由生命体征采集相机捕获的生命征(vitals)或其他信息。在一些实施例中，用于导出急迫度量度的信息可以备选地或额外地包括诸如以下项的信息：来自患者的先前电子病历(EMR)的信息、分诊时从患者采集的信息、来自可穿戴设备或由患者携带的其他传感器的信息、关于等候室中的其他患者或人的信息(例如，房间中其他人的生命征)、关于家庭成员或与患者相关联的其他人(例如，家庭成员EMR)的信息等。

在框114处，可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开等候室。框114可以包括扫描当前在等候室内的每个人(例如，作为寻求功能的部分，一旦患者处于要捕获生命征的患者的队列的顶部，则所述寻求功能尝试定位患者，例如下面描述的框120的运行，或循环通过房间中要捕获生命征的每个人，如包括下面描述的框118和120的回路的多次运行)并确定患者未被定位。在一些实施例中，系统可以等候直到达到患者缺失的预定实例数量或者在患者被认为已离开等候室之前患者正缺失的已经过去预定时间量，以考虑临时缺席(例如，去洗手间或与分诊室的临床工作人员交谈)。例如，患者能够已经接纳到急诊室(ED)。或者，患者的状况在其等候时可能有所改进，从而使得他们离开医院。或者，患者可能已经变得不耐烦并且离开而到其他地方寻求护理。无论什么原因，一旦确定患者已经至少在阈值时间量内离开等候室，在框116处，患者可以被视为已经离开而未被看到并且可以从系统中释放，例如，通过将他们从登记的患者被输入的队列中移除。

在框118处，等候室104中的患者可以被选择用于监测。例如，在一些实施例中，可以搜索存储在框108-110处获得的登记信息的数据库，以选择具有最高患者急迫度量度的患者或最近未被监测的具有测量的最高急迫度的患者，如可以由为所有患者设置或基于急迫度量度设置(例如，反相关)的时间阈值确定的。在其他实施例中，除了诸如等候时间、等候室中的患者存在(例如，可以选择缺失的患者来更频繁地监测以确定是否应该在重复缺席的情况下释放其)等的其他量度之外或替代其，与等候室中的多个患者相关联的登记信息可以例如通过他们相应的患者急迫度量度在患者监测队列中排名。在另外的实施例中，在对患者监测队列进行排名时能够不考虑患者急迫度量度，而是代替地可以仅考虑患者等候时间、患者存在等的考虑。

然而，这样的患者监测队列被排名，在一些实施例中，队列中的第一患者可以被选择为接下来要监测的患者。不需要(尽管可能)患者监测队列被存储在由患者急迫度量度排序的物理存储器位置的序列中。而是，在一些实施例中，排名的患者监测队列可以仅仅包括与每个患者相关联的排名或优先级值。换言之，如本文所描述的“患者监测队列”可以指代基于患者急迫度量度、等候时间等在逻辑上排名的“逻辑”队列，而不必是连续的存储器位置序列。可以在框118处以患者监测队列中其相应的排名的顺序来选择患者用于进行监测。

在框120处，在框118处选择的患者可以被定位于等候室104中。在各种实施例中，部署在等候室104中或附近的一个或多个生命体征采集相机(图1中未描绘，参见图2和3)可以被操作(例如，平移、倾斜、缩放等)以采集等候室104中的患者的一幅或多幅数字图像。可以对那些采集的数字图像进行分析，以将患者的各种视觉特征与在框108处的登记期间捕获的一幅或多幅参考患者图像的视觉特征进行匹配。可以与患者图像的对应特征匹配的患者的视觉特征包括但不限于面部、形状(例如体质)、头发、衣服、躯干、配饰(例如帽子、钱包、珠宝等)等等。如将在下面更详细描述的，各种技术可以应用于由一个或多个生命体征采集相机捕获的数字图像，以定位选定的患者。这些技术可以包括边缘检测、轮廓检测、直方图、分割、面积计算、解析、定位、(一个或多个)机器学习模型(例如，卷积神经网络)等等。通过采用如下所述的这些技术-特别是关于使用多个不同特征来识别患者-在各种实施例中，实现了技术优点，其中，具有相对大FOV的生命体征采集相机可以以相对低分辨率数字图像来捕获场景。通过将各种视觉特征与在登记/分诊时获得的前述参考图像的视觉特征进行比较，可以快速分析相对低分辨率数字图像以识别一个或多个患者。

在框122处，可以操作安装或以其他方式部署在等候室104中或附近的一个或多个生命体征采集相机，以执行对来自在框118处选择并且在框120处定位的患者的一个或多个经更新的生命体征和/或生理参数的非侵扰(例如，无接触)采集。这些生命体征采集相机可以被配置为从患者采集(不与患者物理接触)各种不同的生命体征和/或生理参数，包括但不限于血压、脉搏(或心率)、肤色、呼吸率、PPG、SPO₂、温度、姿势、汗液水平等。在一些实施例中，生命体征采集相机可以被装备为执行所谓的“无接触方法”以从患者采集生命体征和/或提取生理信息，可以用作医学图像设备。这样的相机的非限制性范例在美国专利申请公开US 20140192177A1、US 20140139656A1、US 20140148663A1、US 20140253709A1、US20140235976A1和美国专利No.US9125606B2中被描述，出于全部目的通过引用将这些公开并入本文。

在框124处，可以例如由图2中描绘的一个或多个部件(下面描述的)，基于在框122处采集的(一个或多个)经更新的生命体征和/或生理参数与先前采集的生命体征和/或生理参数(例如，在框110处采集的初始生命体征或由生命体征采集相机采集的经更新的生命体征/生理参数的先前迭代)的比较来确定患者的状况是否已经改变。例如，可以确定患者的脉搏、呼吸率、血压、SPO2、PPG、温度等是否在患者已经等候时已经增加或减少。如果答案为否，则控制可以行进返回到框118，并且可以选择新患者(例如，具有下一最高患者急迫度量度的患者)并且控制可以行进返回到框120。然而，如果框124处的答案为是(即，患者的状况已经改变)，那么控制可以转到框126。在一些实施例中，患者的状况可以(至少部分地)由用于确定监测顺序的目的的相同的急迫度量度表示。

在框126处，可以(再次，由图2的一个或多个部件)基于在框124处检测到的改变确定医学警告是否有必要。例如，可以确定是否一个或多个生命体征或患者急迫度量度的改变满足一个或多个阈值(例如，具有增加到高于对该特定患者而言认为安全的水平的血压？)。如果答案为是，那么控制可以转到框128。在框128处，可以例如向值班护士或其他医学人员输出患者正在恶化的警报。然后，医学人员可以检查患者以确定是否有必要进行补救动作，诸如立即使患者入院或将患者送往医生。在一些实施例中，控制然后可以返回到框118。然而，如果框126处的答案为否，那么在一些实施例中，控制可以返回到框118。

图2描绘了根据各种实施例的可以用于实践所公开的技术的范例部件。医院信息系统240可以是在医院、医生办公室等中常见的类型。医院信息系统240可以使用一个或多个计算系统来实施，所述一个或多个计算系统可以或可以不经由一个或多个计算机网络(未描绘)连接。除其他事物以外，医院信息系统240可以包括登记模块242、分诊模块244、释放模块246和警报模块248。模块242-248中的一个或多个，或者本文描述的任何其他模块或引擎可以使用硬件和软件的任何组合来实施，包括在基于“云”的计算基础设施等上运行存储在存储器中的指令的一个或多个微处理器。例如，登记模块242可以包括实施本文结合在处理器上运行的登记而描述的功能的登记指令，而分诊模块244可以包括实施本文结合在相同处理器上运行的分诊所描述的功能的分诊指令。相似的下层硬件和软件可以用于实施本文描述的其他“模块”。

登记模块242可以被配置为例如从值班护士接收新患者的登记信息作为手动输入。这可以包括例如患者的姓名、年龄、保险信息等。分诊模块244可以被配置为例如从值班护士或直接从联网医学装备接收诸如上述生命体征的生命体征和/或其他生理数据(诸如体重、身高、患者访问的原因等)作为手动输入。在各种实施例中，由分诊模块244接收的生命体征和/或患者急迫度量度(例如，图2中的ESI)可以与由登记模块242接收的对应患者信息(例如，在与医院信息系统240相关联的一个或多个数据库(未描绘)中)相关联。

警报模块248可以被配置为接收指示诸如患者恶化的各种事件的信息，并且作为响应发出各种警报和/或警告。这些警报和/或警告可以使用各种模态来输出，包括但不限于视觉输出(例如，在对医院人员可见的显示屏上)、内部通信通知、文本消息、电子邮件、音频警告、触觉警告、页面、弹出窗口、闪烁灯等。医院信息系统240的模块242-248可以例如经由一个或计算机网络(未描绘)可操作地耦合到医院信息系统接口250(图2中的“H.I.S.接口”)。

医院信息系统接口250可以用作常规医院信息系统240与配置有本公开的选定方面的患者监测系统252之间的接口。在各种实施例中，医院信息系统接口250可以例如向患者监测系统252的其他模块发布关于患者的各种信息，诸如登记信息、患者急迫度量度(例如，ESI)、规定和/或施用的药物、患者是否已被释放、各种警报/警告等。如下面将描述的，在一些实施例中，这些发布可以被提供到事件发布和订阅(“EPS”)模块270，其然后可以选择性地将它们存储在数据库272中和/或选择性地将它们发布到患者监测系统252的其他模块。在一些实施例中，医院信息系统接口250可以额外地或备选地订阅由其他模块提供的一个或多个警告或发布内容。例如，医院信息系统接口250可以订阅来自恶化检测模块268的警告，例如，使得医院信息系统接口250可以向医院信息系统240的适当部件(例如警报模块248)通知患者正在恶化。

患者监测系统252可以包括各种各样的部件，其便于监测诸如等候室104的区域中的患者，以确保以有利于其实际医学状况的方式服务患者。专利监测系统252可包括例如与一个或多个相机256接合的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、前述EPS模块270和一个或多个数据库272、274。如上所述，模块250、254和258-270中的每个可以使用硬件和软件的任何组合来实施。而且，尽管这些模块是分开描绘的，但这并不意味着限制或建议每个模块都是在硬件的单独的片上实施的。例如，可以组合和/或省略一个或多个模块，并且一个或多个模块可以在经由一个或多个计算机网络(未描绘)可操作地连接的一个或多个计算系统上实施，例如协作以形成所谓的“云”的计算系统。连接图2的各种部件的描绘的线可以表示可访问这些部件的通信信道。这些通信信道可以使用任何数量的网络或其他计算机通信技术来实施，诸如一个或多个总线、以太网、Wi-Fi、蓝牙、Z-Wave、ZigBee、蜂窝通信等。

患者监测系统252还可以包括一个或多个生命体征采集相机276，其被配置为例如从距患者的一定距离采集患者的一个或多个生命体征和/或生理参数。上面描述了这样的生命体征采集相机的范例。在各种实施例中，生命体征采集相机276可以是平移-倾斜-缩放(“PTZ”)相机，其可操作于平移、倾斜和缩放，使得诸如等候室104的区域的不同部分被包含在其FOV内。备选地，固定宽FOV相机能够被使用。以这种方式，能够扫描被监测的区域以定位不同的患者，使得可以非侵扰地采集经更新的生命体征和/或生理参数。

患者捕获模块254可以从一个或多个相机256接收携带患者的捕获的图像数据的一个或多个信号。例如，在一些实施例中，患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如，面部检测、分割、形状检测以检测人形式等)以检测患者何时存在，并且可以响应于检测而捕获患者的参考数字图像。在一些实施例中，可以以比视频流的个体帧更高的分辨率捕获参考数字图像，但这不是必需的。在一些实施例中，相机256可以是独立相机，诸如网络摄像头、PTZ相机(例如，276)等，其被部署在(一个或多个)预等候室区域102中或附近。此后，由相机256捕获的一幅或多幅图像可以用作与患者相关联的参考数字图像，并且稍后用于识别被监测的区域中的患者。

患者队列模块258可以被配置为建立和/或维护被监测的区域中的患者的优先级队列，例如，在数据库中。在各种实施例中，可以通过各种参数对队列进行排序。在一些实施例中，队列中的患者可以以患者急迫度量度的顺序(即，通过优先级)进行排名。例如，最关键的患者可以放置在队列的前面附近，而较不关键的患者可以放置在队列的末端附近，或者反之亦然。在一些实施例中，可以以队列的顺序从在被监测的区域(诸如等候室104)中等候的患者采集经更新的生命体征。在其他实施例中，可以以FIFO或循环顺序从患者采集经更新的生命体征。在其他实施例中，可以以与被编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集经更新的生命体征(例如，按顺序扫描每行椅子)。

患者识别模块260可以被配置有本公开的选定方面，以结合由患者捕获模块254捕获的一幅或多幅参考患者图像使用由生命体征采集相机276(或未被配置为非侵扰地采集生命体征的另一相机)捕获的一幅或多幅数字图像，以定位被监测的区域(例如，等候室104)中的一个或多个患者。患者识别模块260可以使用各种图像处理技术来分析采集的数字图像以使用患者的各种视觉特征来识别患者。可以被用于识别患者的这些视觉特征可以包括但不限于面部特征(例如面部定位)和非面部特征，例如衣服、头发、姿势、配饰等。下文所描述的图4-8说明了可以在任何背景下用作识别患者(或更一般地，对象)的部分的各种技术的各个方面。

在一些实施例中，患者识别模块260可以针对特定患者使用PTZ相机物理地或者使用宽FOV相机数字地搜索被监测的区域，从该特定患者获得经更新的生命体征。例如，患者识别模块260可以针对由患者队列模块258选择的患者来搜索被监测的区域，所述患者可以是例如队列中具有最高患者急迫度量度的患者。在一些实施例中，患者识别模块260可以使(一个或多个)生命体征采集相机276扫描被监测的区域(例如，等候室104)，直到所选择的患者被识别。

动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用并根据需要校准它们。例如，动态校准模块262可以确保每当指导生命体征采集相机276指向特定PTZ位置时，其总是指向相同的位置。PTZ相机可以是持续或至少频繁运动的。因此，它们的机械部件可能经受磨损。小的机械误差/偏离可能累积并导致生命体征采集相机276随时间不同地响应于给定的PTZ命令。动态校准模块262可以例如通过偶尔运行校准例程来校正这一点，其中，可以使用界标(例如，诸如墙上的小贴纸的标记)来训练将使生命体征采集相机276适当地响应的校正机构。

一旦由患者队列模块258识别的患者由患者识别模块260识别，面部/躯干/人采集模块264可以被配置为平移、倾斜和/或缩放一个或多个生命体征采集相机276，使得其视场捕获患者的期望部分。例如，在一些实施例中，面部/躯干/人采集模块264可以平移、倾斜或缩放生命体征采集相机276，使得其聚焦在患者的面部和/或躯干上。额外地或备选地，面部/躯干采集模块264可以平移、倾斜或缩放一个生命体征采集相机276以捕获患者的面部，平移、倾斜或缩放另一个以捕获患者的躯干，平移、倾斜或缩放另一个以捕获患者的整个身体。然后可以采集各种生命体征和/或生理参数。例如，可以由例如生命体征测量模块266，通过对由(一个或多个)生命体征采集相机276捕获的患者面部的图像/视频执行图像处理来获得诸如患者的脉搏、SpO₂、呼吸率和血压的生命体征。可以由例如生命体征测量模块266，通过对由(一个或多个)生命体征采集相机276捕获的患者躯干的图像/视频执行图像处理来获得诸如患者的呼吸率、一般姿势(其可以指示疼痛和/或损伤)等的生命体征和/或生理参数。当然，面部和躯干仅是可以被检查以获得生命体征的身体部分的两个范例，并且不意味着限制。

恶化检测模块268可以被配置为分析一个或多个信号以确定登记的患者的状况是否正在恶化、改进和/或保持稳定。在一些实施例中，患者状况可以至少部分地由上面描述的用于确定用于监测的患者的顺序的相同患者急迫度量度来表示。这样一来，恶化检测模块268可以包括一个或多个CDS、基于病例的推理、或如本文所描述的其他临床推理算法或用于评估除了本文描述的急迫度量度之外的患者状况量度的其他临床推理算法(例如，经训练的逻辑回归模型或其他机器学习模型)。在一些实施例中，用于评估由恶化检测模块268采用的患者急迫度或患者状况的其他量度的算法可以通过例如为选定的机器学习模块写入新的训练权重(例如，θ值)或提供由处理器运行的新指令(例如，以java档案、JAR、文件或编译库的形式)来不时地更新。这些信号可以包括，例如，患者的初始生命体征和其他生理信息(例如，在图1的框108-110处获得的)、由生命体征测量模块266获得的经更新的生命体征、患者的初始患者急迫度量度(例如，在登录期间计算的)，和/或患者的经更新的患者急迫度量度(例如，基于从生命体征测量模块266接收的经更新的生命体征和/或生理参数计算的)。基于使用这些信号进行的确定，恶化检测模块268可以向各种其他模块发送各种警告以采取各种动作。例如，恶化检测模块268可以例如通过以下来发布警告：向EPS模块270发送警告使得EPS模块可以将警告发布到订阅模块(如医院信息系统240的警报模块248)。在一些实施例中，这样的警告可以包括例如患者的姓名(或更一般地，患者标识符)、图片、患者在等候室中最后检测到的位置、基线生命体征、一个或多个经更新的生命体征和/或患者急迫度量度的指示。在接收到警告时，警报模块248可以向医学人员发出这样的警告或警报：患者的恶化，以及在其他事物中间，患者在等候室中最后检测到的位置等。

EPS模块270可以是通用通信集线器，其被配置为分配由图2的各种其他部件释放的事件。在一些实施例中，图2中描绘的其他模块中的所有或至少一些可以生成指示来自该模块的一些形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的其他模块中的所有或一些可以选择接收或“订阅”来自任何其他模块的任何事件。当EPS模块270接收到事件时，其可以将指示事件的数据发送(例如，转发事件)到已经订阅该事件的所有模块。

在一些实施例中，EPS模块270可以与一个或多个数据库通信，诸如数据库272和/或档案274(其可以是任选的)。在一些实施例中，EPS模块270可以接受来自任何模块的远程流程调用(“RPC”)以提供对被存储在一个或多个数据库272和/或274中的信息的访问，和/或将从其他模块接收到的信息(例如，警告)添加到数据库272和/或274。数据库272可以存储由图2中的一个或多个其他模块所发送/广播/传送的警告、发布或其他通信中所包含的信息。在一些实施例中，数据库272可以存储例如与患者相关联的参考图像和/或其初始生命体征、经更新的生命体征(由生命体征采集相机276采集)和/或患者急迫度量度。在一些实施例中，任选的档案274可以在更长的时间段内存储相同或相似的信息。

将显而易见的是，可以利用各种硬件装置来实施患者监测系统252。例如，在一些实施例中，单个设备可以实施整个系统252(例如，单个服务器来操作相机276执行生命体征采集功能260-266并执行包括恶化检测268和队列管理258的(一个或多个)生命体征分析和警告功能)。在其他实施例中，多个独立设备可以形成系统252。例如，第一设备可以驱动生命体征采集相机276并实施功能260-266，而(一个或多个)另一设备可以执行其余功能。在一些这样的实施例中，一个设备可以是等候室的本地的而另一个设备可以是远程的(例如，实施为地理上遥远的云计算架构中的虚拟机)。在一些实施例中，设备(例如，包括处理器和存储器)可以设置在生命体征采集相机276自身内，并且这样一来，相机276可以不简单是哑的外围设备，而是代替地可以执行生命体征功能260-266。在一些这样的实施例中，另一服务器可向相机276提供指示(例如，标识符、完整记录或登记的面部图像)以请求返回生命征以供进一步处理。在一些这样的实施例中，可以在相机276上机载地提供额外的功能，诸如例如，可以在相机276上机载地执行恶化检测268(或其预处理)和/或患者队列模块258管理。在一些实施例中，相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。

图3图示了范例情形，其中，可以实施所公开的技术以出于监测目的识别等候室304中的患者378A-C。在该范例中，三个患者378A-C在医院等候室304中等候医学人员380医治。两个摄像机376A、376B安装在等候室304的表面(例如，天花板、墙壁)上。两个摄像机376A、376B可以用于监测等候室304中的患者378。通过基于初步患者状况分析对医学人员(未描绘)进行分诊，患者378A-C均可以被分配患者急迫度量度。当患者378等候主治医师时，两个摄像机376A、376B可以捕获(一幅或多幅)数字图像，其使用本文描述的技术来分析以识别被选择用于监测的患者。然后相同的摄像机(假设它们被配置为非侵扰地采集生命体征)或不同的摄像机可以被操作以如上所述监测患者378以例如检测患者恶化。在一些实施例中，可以响应于由患者监测系统(更具体地，恶化检测模块268)检测到患者已经恶化，而由医学人员更新与患者相关联的患者急迫度量度。在各种实施例中，当新患者进入等候室304时，可以例如通过患者监测系统252执行新一轮的患者监测和优选化。每次新患者进入等候室304时，患者队列可以例如由患者队列模块258自动更新。额外地或备选地，医学人员可以在分诊之后手动更新患者队列以包括新到达的患者。

本文描述的技术不限于医院等候室。存在许多其他情形，其中，可以实施本文描述的技术以识别数字图像或视频中的对象。例如，公开的技术也可以用于对机场、竞技场、边境口岸和其他公共场所中的人群的安全监测。在这种情形中，不是监视患者以确定患者急迫度量度，而是可以出于其他目的来识别对象，例如风险评估或事后调查。本文描述的技术还可以适用于诸如健身环境(例如，健身房、疗养院)或其他监督情形(例如，机场、边境口岸等)中的情形，其中，可以实施数字图像中描绘的个体对象的识别。例如，在机场中，可以例如通过将他们相应的特征与在登机时获得的特征进行比较来识别在登机口等候的对象。另外，本文所描述的技术可以用于识别离开而未被看到的患者，而不要求患者的面部可见。

图4示意性地描绘了被配置有本公开的选定方面的部件的示例，以及那些部件之间的示例交互。在各种实施例中，可以使用硬件和软件的任何组合来实施这些部件中的一个或多个，例如作为图2中的患者识别模块260的部分。从左上开始，相机可以配置为捕获一幅或多幅数字图像(例如，个体图像和/或图像流)。在图4中，相机采取先前描述的生命体征采集相机476的形式。然而，这并不意味着是限制性的。本文描述的技术可以在各种不同的背景下使用各种不同类型的相机来实施。例如，闭路电视(“CCTV”)和其他类型的相机可以捕获可以使用公开的技术来分析的数字图像。

全部对象(人)检测模块402(备选地，背景移除模块)可以被配置为分析由相机476捕获的图像，并且假设在(一幅或多幅)图像中描绘了多个对象，则生成与(一幅或多幅)数字图像中描绘的对象相对应的感兴趣掩模或图像404。在一些实施例中，可以训练神经网络(例如，卷积神经网络)以执行该分析。例如，可以使用训练范例来训练神经网络，所述训练范例采取描绘多个对象的逐像素标记的数字图像的形式。每个像素可以被标记为是或不是所描绘的对象的部分。这些训练示例可以应用为跨神经网络的输入以生成输出，所述输出包括关于像素是或不是所描绘对象的部分的逐像素“猜测”。该输出可以与逐像素标记的训练示例比较(例如使用损失函数)以确定差(或误差)。然后可以使用各种技术(包括诸如随机梯度下降和反向传播的优化技术)训练神经网络以最小化该差(或误差)。当然，除了或代替于机器学习，其他技术可以用于隔离数字图像内的对象。

隔离模块406可以被配置为分析对象掩模404以将(一幅或多幅)数字图像分割成多个部分408，每个部分描绘多个对象中的不同对象410。在一些实施例中，可以将数字图像中包含的多个对象“骨架化”成掩模用于实例分割。图5描绘了图4的对象如何骨架化为掩模530的一个示例。在该示例中，与在对象掩模404中捕获的三个对象相关联的肢体、关节和姿势元素用于生成拓扑骨架掩模530。为了将对象彼此区分-即为了将掩模530分成三个离散的子掩模，每个对象一个-在一些实施例中，可以应用一个或多个所谓的“最小切口”(或其变型)。例如，在图5中，边缘532和534具有掩模530中所有边缘的最低斜率。因此，可以移除这些边缘以将掩模530分成三个不同的掩模，每个对象一个。一旦每个对象由不同的子掩模表示，可以识别并分别分析描绘每个对象的原始数字图像的部分。

其他技术可以代替于骨架化由隔离模块406应用，以便区分个体对象。在一些实施例中，可以使用姿势估计(例如将二维数字数据与多个已知人类姿势迭代比较)将数字图像分割成多个部分，每个部分描绘个体对象。在一些实施例中，代替于或除了骨架化和最小切割，可以实施姿势估计。在另外的实施例中，可以采用其他技术将数字图像分割成描绘个体对象的部分，例如在边缘上进行解析(例如，使用Canny边缘检测)。

返回参考图4，在一些实施例中，如由部件402和406执行的上述操作可以代之以使用端到端深度(例如，卷积)神经网络来执行，例如，使用M.Bai和R.Urtasun的“Deepwatershed transform for instance segmentation”(2016年11月24日)中所描述的分水岭算法。在本文中，为每个像素预测离散化能量值。分水岭算法然后可以用于将能量表面分割成分离的对象的实例(在本公开中，不同的对象)。

然而，(一幅或多幅)数字图像被分割成描绘个体对象410的部分408，分割/解析模块412可以被配置为将描绘特定对象410的数字图像的每个部分408分割成多个超像素414_1-4。最终的超像素可以与对象的视觉特征相对应。例如，一个超像素可能包含对象的头发，另一个可能包含对象的面部/头(如果在数字图像中可见)，另一个可能包含对象的躯干衣服(例如衬衫、毛衣、夹克等)，而另外的超像素可能包含对象的裤子(或短裤或连衣裙等)。在各种实施例中，还可以生成包含诸如配饰(例如，钱包、帽子、手套)、鞋子、长袜、袜子等的对象的其他视觉元素的超像素。在一些实施例中，可以生成第一组超像素，其中，每个超像素包含满足一个或多个相似度约束的像素。由于服装倾向于具有不规则的视觉特征(例如褶皱、折痕等)，并且由于捕获的现实生活场景可能具有各种障碍物(例如，对象看着他们的手机，被部分遮挡等)，因此初始的一组超像素不一定与对象的实际衣服十分精确地相对应。

因此，在各种实施例中，初始的一组超像素可以与共享各种语义属性的其他超像素聚类(例如，使用简单的线性迭代聚类或“SLIC”)。额外地或备选地，可以采用其他方法，诸如条件随机场(“CRF”)或基于深度学习的分割方法，例如深度分解神经网络(“DDN”)或完全卷积神经网络(“FCN”)。在一些实施例中，针对每个过度分割的(例如，太小的)超像素，可以基于描述性特征来识别k个(大于零的整数)最近邻。这些特征可以包括但不限于颜色、纹理、图案(例如，圆点、格子等)、空间位置、形态等。在一些实施例中，可以训练卷积神经网络以识别语义上相似的超像素。在一些实施例中，可以成对比较超像素，但是在其他实施例中，可以以更大的倍数来分组超像素。例如，如果第一超像素与第二超像素和第三超像素两者相似(例如，依据特定预定阈值)，并且第二和第三超像素具有连接到第一超像素的分量，则所有三个超像素可以被聚类成单个超像素。

接下来，感兴趣区域(“ROI”)分类器416可以被配置为将语义标签分配到由分割/解析模块412生成的每个超像素。直观地，ROI分类器416确定对象的哪个部分对应于每个超像素。例如，第一超像素可以对应于穿戴在对象的腿上的衣服(例如，裤子、短裤、裙子等)，另一个超像素可以对应于对象的躯干，另一个可以对应于对象的头发，另一个可以对应于对象的面部，等等。

ROI分类器416可以采用各种技术来将语义标签分配到超像素。在一些实施例中，ROI分类器416可以识别对象的各个部分的边界框或其他空间区域，并且包含在那些边界框内的超像素可以被分配对应的语义标签。例如，可以为整个对象(其将包括与该对象相关联的所有超像素)识别边界框。然后，其区域的至少一半(在标准笛卡尔平面内)高于特定阈值(例如，大约颈部高度处)的最大超像素可以被分配“头”的语义标签。其大部分区域高于该阈值的第二大超像素可以被分配“头发”的语义标签。“裤子”的语义标签可以被分配到至少一半其区域低于另一个阈值(例如，大约腰围)的最大超像素。可以将“躯干”、“顶部”或“衬衫”的语义标签分配到其大部分区域在两个阈值之间的最大超像素。当然，这并不意味着是限制性的，并且在其他情形中，例如当对象穿戴全长礼服或医学服时，可以采用其他阈值和/或度量。并且与以上相似，例如也可以由ROI分类器416采用其他技术来将语义标签分配到超像素，例如姿态估计和/或概率图。

特征提取器418可以被配置为各种提取每个语义标记的超像素的特征以用于下游处理。这些特征可以采用各种形式，例如颜色、纹理、图案(例如，格子、波尔卡圆点、条纹等)、反射率、尺寸等等。在一些实施例中，可以基于分配到超像素的语义标签来提取不同的特征。例如，对于被分配“躯干”的语义标签的超像素，可以提取诸如袖子类型(例如，无袖、短袖、长袖)、颈线等的特征。对于被分配“头发”的语义标签的超像素，可以提取诸如颜色、卷曲类型、纹理、光泽、覆盖率、形状(例如马尾辫)等的特征。

相似度和匹配模块420可以被配置为确定由相机476捕获的(一幅或多幅)原始数字图像中描绘的特定对象是否与登记数据库422中存储的参考图像中描绘的对象匹配。如上所述，在一些背景下，对象的参考图像可以例如在患者登记期间由图2中的患者捕获模块254捕获。在一些实施例中，参考图像可以由图4中描绘的相同部件预处理，使得登记数据库422不仅存储登记对象的参考图像，而且存储从在那些参考图像中识别的语义标记的“参考”超像素中提取的特征。在各种实施例中，将由相机476捕获的数字图像中描绘的特定对象与存储在登记数据库422中的参考图像进行匹配可以包括计算它们的各种提取特征之间的相似度量度。在各种实施方式中，相似度可以使用各种技术和/或概念来计算，包括但不限于欧几里得距离、余弦相似度等。

在一些实施例中，相似度和匹配模块420可以被配置为确定例如由特征提取器418从每个语义标记的超像素提取的特征与从参考数字图像中识别的参考超像素提取的特征之间的相似度量度。在一些实施例中，用于比较的参考超像素可以具有与分配到在考虑中的超像素的语义标签匹配的“参考”语义标签。直观地，躯干超像素可以与参考躯干超像素进行比较，头发超像素可以与参考头发超像素进行比较，等。基于针对在考虑中的多个超像素确定的相似度量度(即，与描绘在考虑中的对象的数字图像的特定部分相关联)，相似度和匹配模块420可以确定在考虑中的对象是否被描绘在参考图像中。

图6A说明了一个示例，该示例说明了随时间相似度和匹配模块420能够如何将在考虑中的一系列数字图像(例如，视频流)中描绘的对象与参考数字图像中描绘的对象进行匹配，而不管在捕获一系列数字图像期间，对象的面部是否始终不可见，对象是否移除了衬衫或毛衣等。前三个绘图x₁、x₂和x₃将被语义标记为“躯干”、“裤子”和“头部”的超像素的相似度评分分别表示为时间的函数。更具体地，每个绘图表示在一系列数字图像中检测到的相应超像素与来自参考数字图像的对应的(即，相同的语义标签)静态超像素之间的持续相似度评分。

因此，例如，在表示对象的头部的绘图x₃中，可以看到在时间间隔620A和620B期间，对象的面部对相机不可见，例如因为对象正在看别处，或者对象的面部暂时被遮挡(例如，以手机)。此外，在时间间隔622期间的绘图x₁中，躯干相似度下降。这例如可能因为患者移除或穿了毛衣或夹克。

图6A中的底部两个绘图表示作为时间的函数的正在进行的以下信念(基于x₁、x₂和x₃确定)：对象(图6A中的“患者”)已经改变衣服并离开附近(例如，等候室)。在各种实施例中，可以基于多个相似度评分来确定患者改变了衣服的正在进行的信念。例如，如果在裤子/头部超像素之间计算出的相似度评分保持恒定，但是躯干之间的相似度评分急剧/突然变化，则可能指示患者已经改变了他或她的躯干服装。这可以在图6A的时间间隔622期间看到。直到时间间隔622，患者改变了衣服的信念仍然很低，在这一点上，超像素变化事件的信念仅响应于相似度评分x₁的时间上对应的突然而急剧下降而增加(例如，对象穿戴或移除毛衣或夹克)。同时，底部绘图中剩下的对象(图6A中的“患者”)的信念没有明显增加。这可能是因为与对象相对应的其他超像素仍与对象的参考数字图像的参考超像素匹配。例如，相似度评分x₂在时间间隔622期间保持相对恒定，这表明对象仍穿戴相同的裤子。

图6B描绘了与由图6A中的绘图表示的情形相关联的更多绘图。在图6B中，顶部绘图中的水平轴表示相应的对象标识符(“Pt ID”)。在图6B的顶部绘图中描绘了十一个条，这意味着在被监测的区域(例如，等候室104)中能够存在十一个对象。图6B的顶部绘图的垂直轴表示在特定时间t之后每个对象的召回频率α，即，使用本文描述的技术将每个对象与参考数字图像匹配多少次。可以看到，(从左开始)第一、第二、第三和第七患者被匹配比其他对象更加频繁。当特定对象在外观上相对同质时，通常会是这种情况。例如，具有相似体型(例如身高、质量)的多个对象也可能穿戴相似的衣服(深色的裤子和浅色衬衫常见)，例如相匹配的制服。对特定对象的频繁识别能够导致错误识别或无法识别一些对象，以及对其他对象的过度识别。图6B中的底部绘图表示作为时间的函数的在特定位置(例如，等候室座位)的先前患者的检测β。

在各种实施例中，当特定参考数字图像太频繁地与多个对象匹配时，或者当存在预测的患者的位置的过多变化时，可以应用各种所谓的“惩罚”。例如，假设新对象的超像素(例如，对应于头部、躯干、腿)由[x₁,x₂,x₃]表示。假设具有从一幅或多幅参考数字图像生成的相同语义标签的参考超像素由[y₁,y₂,y₃]表示。在各种实施方式中，参考超像素[y₁,y₂,y₃]可以用于例如通过将参考图像提供给经训练的机器学习模型(例如，使用具有带有已知特性的衣服/头发的标记的参考图像来训练)来确定权重c_j以分配到每个参考超像素y_j。在一些实施方式中，可以应用以下等式：

i和n是正整数，其分别表示被搜索的对象和在考虑中的超像素的数量(例如，如果使用头部、躯干和裤子超像素，则n＝3)。λ可以是表示惩罚的正则化参数。从直觉上讲，该方程式的目的是“平整”图6B所示的顶部绘图，例如，以使所有条具有相对均匀高度(即，以相对相等的频率识别患者)。备选地，在一些实施例中，可以使用诸如长短期记忆(“LSTM”)递归神经网络(“RNN”)的基于深度学习的方法来学习这些时间签名。

图7说明了类似于图6A中描绘的那些绘图。然而，在该示例中，对象(图7中的“患者”)实际上离开了该区域(例如，等候室104)。因此，相似度评分x₁、x₂和x₃全部在722处指定的时间点附近急剧降低。由于所有三个相似度评分经历了同时降低，因此得出的结论可能是对象已经离开。这反映在从底部数第二的绘图和底部绘图中。患者改变了衣服的信念仍然很低，并且在时间点722处，对象(患者)离开的信念增加到“放弃患者”阈值724以上。这样的放弃患者阈值可以手动选择，或者可以通过训练机器学习模型等自动地选择，例如基于经验证据。在此类情况下，患者识别模块260可以确定对象离开了该区域(例如，患者离开而未被看到)。

图8以相对高的水平示意性地描绘例如可以由患者识别模块260采用的一种用于识别对象的示例方法800。在与患者监测无关的情况下，执行方法800的部件能够与患者识别模块260完全不同。尽管以特定顺序描绘了方法800的操作，但这并不意味着是限制性的。在各种实施例中，可以添加，省略或重新排序一个或多个操作。

在框802处，患者识别模块260可以例如经由生命体征采集相机(276、476)或另一相机来采集捕获包含一个或多个对象的场景(例如，等候室)的一幅或多幅数字图像(例如，来自视频流)。在框804处，患者识别模块260可以检测描绘在数字图像中的(一个或多个)对象的一个或多个部分。在一些实施例中，患者识别模块260可以例如通过所有对象检测模块402和/或隔离模块406使用各种技术来检测描绘(一个或多个)对象的一个或多个部分(其中一些在上面关于部件402和406被描述)，例如以使对象彼此和/或与背景隔离(例如，通过构建掩模)。

在框806处，患者识别模块260可以例如通过分割/解析模块412来执行所谓的“超像素解析”，以将描绘对象的数字图像的特定部分分割成多个超像素。“超像素”可以是比矩形块更精确地与边缘对齐的图像块。如上所述，分割模块414可以生成初始的一组超像素，并且然后可以聚类相似超像素以便合并表示对象的描绘的相同语义区域(例如，衬衫、裤子等)的超像素。

在框808处，患者识别模块260可以获取下一超像素(或者如果这是正在被分析的第一超像素，则可以获取第一超像素)并且使其为“当前”超像素。在框810处，例如通过ROI分类器416，患者识别模块260可以将语义标签分配到当前超像素。上面描述了用于分配语义标签的技术。例如，其大部分区域高于颈线阈值的超像素可以被认为是头部。其大部分区域低于腰围阈值的超像素可被视为腿部/裤子。依此类推。

在框812处，例如通过特征提取器418，患者识别模块260可以从当前超像素中提取各种特征。提取的特征的类型可以取决于分配到当前超像素的语义标签。例如，可以从头发超像素中提取颜色和纹理，而可以或可以不提取形状，因为头发本质上常常是动态的并且可以在图像之间改变。颜色、纹理、形状和图案(例如，格子)可以是从躯干和/或腿部超像素提取的特征中的一些。在一些实施例中，对于每个超像素，患者识别模块260可以提取诸如色相饱和度(“HSV”)颜色、二维颜色直方图(例如LAB颜色空间)、超像素几何比率、超像素特征相似度、边缘、纹理和/或轮廓的特征。在一些实施例中，可以使用诸如定向梯度直方图(“HOG”)、加速鲁棒特征(“SURF”)、光流等的算法来提取轮廓和其他相似特征。此外，卷积神经网络(“CNN”)能够提取更高水平特征。这些算法中的一种或多种可用为开放源计算机视觉(“OpenCV”)库的部分。

在框814处，例如通过相似度和匹配模块420，患者识别模块260可以确定从当前超像素提取的特征与从参考数字图像的一个或多个对应的(例如，具有相同的语义标签)参考超像素提取的参考特征之间的相似度量度(例如，先前图中的x₁、x₂、x₃)。可以采用各种技术来确定相似度量度，例如点积、余弦相似度等。在框816处，如果还存在额外超像素尚要分析，则下一超像素可以选择并实现为“当前”超像素。方法800然后可以前进回到框808，并且可以分析下一超像素。在另一方面，如果在框816处的答案为否，则方法800可以前进到框818。

在框818处，例如通过相似度和匹配模块420，患者识别模块260可以基于相似度评分将在分析中的数字图像的部分中描绘的对象与(例如，在患者监测背景下的登记期间捕获的)参考图像中描绘的对象进行匹配。例如，假设对于特定对象，头发/头部和裤子超像素的相似度评分相对于特定参考图像最高。即使躯干相似度量度较低，对象可能仍与参考图像匹配，因为如图6A所说明的，对象可能简单地穿上或移除了夹克或毛衣。

在一些实施例中，可以各种方式尊重和/或保护个人的隐私。例如，在一些实施例中，不是存储登记患者的完整参考数字图像，而是仅通过将参考数字图像应用于机器学习模型而生成的那些特征/激活/输出可以保留在存储器中，以用于以后的比较。完整的数字图像可能被丢弃(自动或通过请求)。类似地，还可以在生成通过数字图像的应用生成的特征/激活/输出之后丢弃捕获在其中包含要识别的人的场景的数字图像。因此，当试图识别人时，仅与相应的数字图像相关联的特征可以被保留和比较。这可以减轻某些人对他们的图像不被保留的担心。

图9是范例计算机系统910的框图。计算机系统910通常包括至少一个处理器914，至少一个处理器914经由总线子系统912与多个外围设备通信。如本文所使用的，术语“处理器”将被理解为涵盖能够执行归于本文所描述的部件的各种功能的各种设备，例如微处理器、FPGA、图形处理单元(“GPU”)、ASIC、其他类似设备及其组合。这些外围设备可以包括：数据保留子系统924，包括例如存储器子系统925和文件存储子系统926；用户接口输出设备920；用户接口输入设备922和网络接口子系统916。输入和输出设备允许用户与计算机系统910的交互。网络接口子系统916提供去往外部网络的接口，并且耦合到其他计算机系统中的对应的接口设备。

用户接口输入设备922可以包括：键盘；指点设备，诸如鼠标、跟踪球、触摸板或图形输入板；扫描器；并入到显示器中的触摸屏；音频输入设备，诸如语音识别系统，麦克风；和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入到计算机系统910中或通信网络上的方式。

用户接口输出设备920可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的一些其他机构。显示子系统还可以提供非视觉显示，诸如经由音频输出设备。通常，术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机系统910输出到用户或另一机器或计算机系统的方式。

数据保留系统924存储提供本文描述的模块中的一些或全部模块的功能的编程和数据构造。例如，数据保留系统924可以包括用于执行方法800的选定的方面的逻辑，和/或实施患者监测系统252的一个或多个部件的逻辑，包括患者识别模块260。

这些软件模块通常由处理器914单独运行或与其他处理器结合运行。存储子系统中使用的存储器925可以包括多个存储器，包括用于在程序运行期间存储指令和数据的主随机存取存储器(RAM)930、固定指令被存储的只读存储器(ROM)932，以及诸如指令/数据高速缓存的其他类型的存储器(其可以额外地或备选地与至少一个处理器914集成)。文件存储子系统926可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光盘驱动器或可移除介质盒。实施某些实施方式的功能的模块可以由数据保留系统924中的文件存储子系统926存储，或者存储在由(一个或多个)处理器914可访问的其他机器中。如本文所使用的，术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如DRAM和SRAM)和非易失性存储器(例如闪存、磁性存储设备和光学存储设备)，但是要排除瞬态信号。

总线子系统912提供用于使计算机系统910的各种部件和子系统按预期彼此通信的机制。尽管总线子系统912示意性地示为单个总线，但总线子系统的备选实施方式可以使用多个总线。

计算机系统910可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理系统或计算设备。在一些实施例中，计算机系统910可以在云计算环境内实施。由于计算机和网络的不断变化的性质，图9中描绘的计算机系统910的描述仅旨在作为出于说明一些实施方式的目的的特定范例。计算机系统910的许多其他配置可能具有比图9中描绘的计算机系统更多或更少的部件。

尽管本文中已经描述和图示了若干实施例，但是本领域普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其他模块和/或结构，并且这些变化和/或修改中的每个被认为是在本文描述的实施例的范围内。更具体地，本领域技术人员将容易意识到，本文中所描述的所有参数、尺度、材料和配置意味着是示范性的，并且实际参数、尺度、材料和/或配置将取决于教导被使用的一个或多个特定应用。本领域的技术人员将认识到，或者能够仅仅使用常规实验来确定本文描述的特定实施例的许多等价方案。因此，应理解的是，前述实施例仅通过范例呈现，并且在权利要求及其等价方案的范围内，可以以与具体描述和要求保护的方式不同的方式来实践实施例。本公开的发明性实施例涉及本文描述的每个个体特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不相互不一致，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合都包括在本公开的范围内。

如本文所定义和使用的所有定义应被理解为在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上控制。

如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”，除非明确相反指示。

如在本说明书和权利要求书中所使用的短语“和/或”应该被理解为是指如此联合的元素中的“任一个或两者”，即在一些情况下联合存在并且在其它情况下分离存在的元素。利用“和/或”列出的多个元素应该以相同的方式解释，即如此联合的元素中的“一个或多个”。除了由“和/或”子句特别识别的元素，其他元素可以任选地存在，不管与具体识别的那些元素相关还是不相关。因此，作为非限制性范例，当与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除了B之外的元素)；在另一个实施例中，仅指B(任选地包括除了A之外的元素)；在又一个实施例中，指A和B两者(任选地包括其他元素)；等等。

如在本说明书和权利要求书中所使用的，“或”应当被理解为具有与上面所定义的“和/或”相同的含义。例如，当在列表中分离项目时，“或”或“和/或”应被解释为包含性的，即包括多个元素或元素列表中的至少一个元素，但也包括多于一个元素，以及任选的其他未列出项目。仅清楚地指示为相反的术语，诸如“仅一个”或“确切地一个”，或者，当在权利要求中使用时，“由...组成”，将指包括多个元素或元素列表中的确切地一个元素。通常，如本文使用的术语“或”仅当前面有排他性术语(例如“任一个”，“...中的一个”，“...中的仅一个”，或者“...中的确切地一个”)时才应解释为指示排他性备选(即，“一个或另一个但是并非两者”)。当在权利要求中使用时，“实质上由...组成”应当具有其在专利法领域中使用的普通含义。

如本文中在说明书和权利要求书中所使用的，涉及一个或多个元素的列表的短语“至少一个”应该被理解为是指选自元素列表中的元素中的任何一个或多个的至少一个元素，但是不必包括元素列表内具体列出的每一个元素和每个元素中的至少一个，并且不排除元素列表中的元素的任何组合。该定义还允许除了在短语“至少一个”涉及的元素列表内具体识别的元素之外元素可以任选地存在，而不管与具体识别的那些元素相关还是不相关。因此，作为非限制性范例，“A和B中的至少一个”(或者等价地，“A或B中的至少一个”，或者等价地“A和/或B中的至少一个”)可以在一个实施例中指至少一个、任选地包括多于一个A，而不存在B(并且任选地包括除了B之外的元素)；在另一个实施例中，指至少一个、任选地包括多于一个B，而不存在A(并且任选地包括除了A之外的元素)；在又一个实施例中，指至少一个、任选地包括多于一个A，以及至少一个、任选地包括多于一个B(并且任选地包括其他元素)；等等。

还应该理解，除非明确地相反指示，在本文所要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的顺序不必限于叙述该方法的步骤或动作的顺序。

在权利要求书以及上面的说明书中，所有的过渡性短语，诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“带有”等等应被理解为是开放式的，即意味着包括但不限于。只有过渡性短语“由...组成”和“实质上由...组成”应分别是封闭式或半封闭式过渡短语，如美国专利局专利审查程序手册第2111.03节所阐明的。应该理解，依照专利合作条约(“PCT”)的规则6.2(b)在权利要求中使用的特定表达和附图标记不限制范围。

Claims (15)

1.一种计算机实施的方法，包括：

由一个或多个处理器采集(802)捕获至少包含第一对象的环境的数字图像；

由所述处理器中的一个或多个处理器将所述数字图像的描绘所述第一对象的第一部分分割(806)成多个超像素；

针对所述多个超像素中的每个超像素：

由所述处理器中的一个或多个处理器将语义标签分配(810)到所述超像素，

由所述处理器中的一个或多个处理器提取(812)所述超像素的特征，

由所述处理器中的一个或多个处理器确定(814)从所述超像素提取的所述特征与从在参考数字图像中识别的参考超像素提取的特征之间的相似度量度，其中，所述参考超像素具有与被分配到所述超像素的所述语义标签匹配的参考语义标签；并且

由所述处理器中的一个或多个处理器基于与所述多个超像素相关联的所述相似度量度来确定(818)所述第一对象被描绘在所述参考图像中。

2.根据权利要求1所述的计算机实施的方法，其中，所述数字图像捕获包含包括所述第一对象的多个对象的场景，并且所述方法还包括将所述数字图像分割(804)成多个部分，每个部分描绘所述多个对象中的不同对象。

3.根据权利要求2所述的计算机实施的方法，其中，通过将所述数字图像中包含的所述多个对象实例分割成掩模(530)来将所述数字图像分割成所述多个部分。

4.根据权利要求3所述的计算机实施的方法，其中，所述掩模的切口被用于将所述掩模分离成离散的子掩模，其中，每个子掩模对应于所述多个对象中的个体对象。

5.根据权利要求2所述的计算机实施的方法，其中，使用姿势估计将所述数字图像分割成所述多个部分。

6.根据权利要求1所述的计算机实施的方法，其中，所述多个超像素中的至少一个被分配与穿戴在人体躯干上的衣服相关联的语义标签。

7.根据权利要求6所述的计算机实施的方法，还包括由所述处理器中的一个或多个处理器基于与所述多个超像素相关联的所述相似度量度中的一个或多个相似度量度来确定在所述参考数字图像被捕获的时间与所述数字图像被捕获的时间之间的时间间隔期间所述第一对象改变了穿戴在所述第一对象的躯干上的衣服的可能性。

8.根据权利要求1所述的计算机实施的方法，其中，所述多个超像素中的至少一个超像素被分配与穿戴在人腿上的衣服相关联的语义标签。

9.根据权利要求1所述的计算机实施的方法，其中，所述多个超像素中的至少一个超像素被分配与人类头发相关联的语义标签。

10.根据权利要求1所述的计算机实施的方法，其中，所述多个超像素中的至少一个超像素被分配与人面部相关联的语义标签。

11.根据权利要求6所述的计算机实施的方法，还包括由所述处理器中的一个或多个处理器基于与所述多个超像素相关联的所述相似度量度来确定：

在所述参考数字图像被捕获的时间与所述数字图像被捕获的时间之间的时间间隔期间所述第一对象的外观被改变的第一可能性；以及

所述第一对象离开了所述环境的第二可能性。

12.根据权利要求1所述的计算机实施的方法，其中，所述环境包括医院等候室、体育馆或机场。

13.一种系统，被配置为：

采集(802)捕获至少包含第一对象的环境的数字图像；

将所述数字图像的描绘所述第一对象的第一部分分割(806)成多个超像素；

针对所述多个超像素中的每个超像素：

将语义标签分配(810)到所述超像素，

提取(812)所述超像素的特征，

确定(814)从所述超像素提取的所述特征与从在参考数字图像中识别的参考超像素提取的特征之间的相似度量度，其中，所述参考超像素具有与被分配到所述超像素的所述语义标签匹配的参考语义标签；并且

基于与所述多个超像素相关联的所述相似度量度来确定(818)所述第一对象被描绘在所述参考图像中。

14.根据权利要求13所述的系统，其中，所述数字图像捕获包含包括所述第一对象的多个对象的场景，并且所述系统还包括用于将所述数字图像分割成多个部分的指令，每个部分描绘所述多个对象中的不同对象。

15.一种包括指令的至少一个非瞬态计算机可读介质，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：

采集(802)捕获至少包含第一对象的环境的数字图像；

将所述数字图像的描绘所述第一对象的第一部分分割(806)成多个超像素；

针对所述多个超像素中的每个超像素：

将语义标签分配(810)到所述超像素，

提取(812)所述超像素的特征，

确定(814)从所述超像素提取的所述特征与从在参考数字图像中识别的参考超像素提取的特征之间的相似度量度，其中，所述参考超像素具有与被分配到所述超像素的所述语义标签匹配的参考语义标签；并且

基于与所述多个超像素相关联的所述相似度量度来确定(818)所述第一对象被描绘在所述参考图像中。

Images