CN111344713A - 用于对象识别的相机和图像校准 - Google Patents

用于对象识别的相机和图像校准 Download PDF

Info

Publication number
CN111344713A
CN111344713A CN201880073289.6A CN201880073289A CN111344713A CN 111344713 A CN111344713 A CN 111344713A CN 201880073289 A CN201880073289 A CN 201880073289A CN 111344713 A CN111344713 A CN 111344713A
Authority
CN
China
Prior art keywords
camera
face
images
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880073289.6A
Other languages
English (en)
Other versions
CN111344713B (zh
Inventor
王海波
C·C·A·M·范宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111344713A publication Critical patent/CN111344713A/zh
Application granted granted Critical
Publication of CN111344713B publication Critical patent/CN111344713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

在各种实施例中，由第一区域的第一相机(256、456、1156)捕获的第一多幅数字图像可以基于所述第一多幅数字图像的(一个或多个)视觉属性归类(1202‑1210)到多个预定类别中。由第二区域的第二相机(276、376、476、1176)捕获的第二多幅数字图像可以基于所述第二多幅数字图像的(一个或多个)视觉属性归类(1302‑1310)到相同预定类别中。在第二相机采集(1402)描绘所述第二区域中的未知对象的后续数字图像之后，所述后续数字图像可以基于其(一个或多个)视觉属性归类(1404‑1406)到所述预定类别中的给定一个中，并且然后基于归类到给定类别中的第一多幅数字图像与归类到给定类别中的第二多幅数字图像之间的关系来调节(1408)。

Description

用于对象识别的相机和图像校准
技术领域
本公开总体上但是非专有地涉及识别数字图像(包括数字图像的流)中的人。更特别地但非专有地，本文所公开的各种方法和装置涉及校准用于识别数字图像(或其流)中的人的相机设置和/或图像，使得那些人可以在医院的区域(诸如等候室)中被识别。
背景技术
存在其中能够期望基于捕获包含人的场景的数字图像自动地识别人(或者“对象”)的多个情景。例如，当患者访问医院时，其通常被登记、分诊并且然后被送到诸如等候室的区域以等候诸如医师的医院资源变为可用于检查和/或处置患者。能够自动识别个体患者可以帮助当他们等候医学资源的分配时监测其状况(例如，针对恶化)。其也可以帮助确定是否/何时患者离开而未被看到(LWBS)。基于数字图像自动识别人也可以在各种其他背景(诸如机场、火车站、过境处、体育馆和健身中心、各种公司等)下是有用的。
在一些背景下，能够期望识别包含多个对象的数字图像中的个体对象。例如，除等候患者之外，由等候室中的相机捕获的数字图像可能描绘能够与患者一起等候的其他人，诸如朋友、亲属等。面部检测技术可以检测数字图像中的所有面部，但是哪些面部属于患者并且哪些属于他人(诸如员工或同伴)可能是不清楚的。此外，诸如等候室的监测区域中的对象不可能查看相机。代替地，其可以查看其电话、杂志、彼此等。因此，甚至当检测到描绘的面部时，如在其原始状态中所描绘的检测到的面部可能表现为与在登记时采集的收录图像中基本上不同，例如当对象可以直接查看相机时。此外，区域中的光照条件可以跨时间(例如，日间与夜间)和/或跨物理空间变化。
发明内容
本公开涉及用于自动地识别所采集的数字图像中所描绘的人的方法、系统和装置。作为一个非限制性范例，多个分诊患者可以在等候室中等候，直到其可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的紧急性的量度(在本文中被称为“患者紧急性量度”)排序或者排名的患者监测队列(还简单地被称为“患者队列”)中，所述患者紧急性量度基于由分诊护士从所述患者获得/采集的信息以及其他数据点(诸如，患者等候时间、患者存在等)来确定。在该特定情景中，被安装在等候室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行来自每个患者的一个或多个经更新的生命体征和/或生理参数的无接触和/或无干扰的采集。这些经更新的生命体征和/或生理参数可以包括但不限于温度、脉搏率、血氧饱和度(“SpO2”)、呼吸速率、姿势、汗水等。
为了识别所述(一个或多个)生命体征采集相机应当从其采集经更新的生命体征的特定患者，本文所描述的技术可以被用于匹配“登记”对象-例如，登记和/或分诊患者-与在由一个或多个相机采集的一幅或多幅数字图像中捕获的场景中所描绘的“检测到的”对象。更一般地，本文所描述的技术可以在各种背景下被实施以识别数字图像(例如，单幅图像和/或数字图像的流(诸如视频馈送))中所描绘的对象，例如，通过收集来自要监测的每个对象(其在本文中可以被称为“登记对象”)的一幅或多幅参考图像，从每幅参考图像提取参考模板和/或对应的特征向量，并且稍后使用那些对象参考模板和/或特征向量来识别随后捕获的数字图像中的对象。
通常，在一个方面中，一种方法可以包括：使用第一区域中的第一相机来采集描绘所述第一区域中的多个对象的面部的多幅第一相机面部图像；针对所述多幅第一相机面部图像中的每幅第一相机面部图像：确定所述第一相机面部图像中描绘的所述面部的视觉属性测量结果，并且基于所述第一相机面部图像中描绘的所述面部的所述视觉属性测量结果将所述第一相机面部图像分配到多个预定分类中的一个；针对所述多个分类中的每个分类确定第一相机分类分布，所述第一相机分类分布在所述多幅第一相机面部图像中被分配所述分类的第一相机面部图像中间共享；使用第二区域中的第二相机来采集描绘所述第二区域中的所述对象的面部的多幅第二相机面部图像；针对所述多幅第二相机面部图像中的每幅第二相机面部图像：确定所述第二相机面部图像中描绘的所述面部的视觉属性测量结果，并且基于所述第二相机面部图像中描绘的所述面部的所述视觉属性测量结果将向所述第二相机面部图像分配到所述多个预定分类中的一个；针对所述多个分类中的每个分类确定第二相机分类分布，所述第二相机分类分布在所述多幅第二相机面部图像中被分配所述分类的第二相机面部图像中间共享；使用所述第二相机来采集描绘未识别的对象的面部的后续面部图像；确定所述后续面部图像中描绘的所述未识别的对象的面部的视觉属性测量结果；基于所述后续面部图像中描绘的所述面部的所述视觉属性测量结果将所述后续面部图像分配到所述多个预定分类中的给定预定分类；应用对所述后续面部图像的调节以生成经校准的后续面部图像，其中，应用所述调节基于与所述给定预定分类相关联的所述第一相机分类分布和所述第二相机分类分布；并且基于所述经校准的后续面部图像的一个或多个特征与所述多幅第一相机面部图像和所述多幅第二相机面部图像中的一幅或多幅的一个或多个特征的比较来确定所述未识别的对象的身份。
在各种实施例中，所述第一相机分类分布可以包括与被分配所述分类的多幅第一相机面部图像中的第一相机面部图像的RGB直方图相关联的第一统计数据，并且所述第二相机分类分布可以包括与被分配所述分类的多幅第二相机面部图像中的第二相机面部图像的RGB直方图相关联的第二统计数据。在各种版本中，所述第一统计数据可以包括被分配所述分类的多幅第一相机面部图像中的第一相机面部图像的RGB直方图的平均直方图，并且所述第二统计数据可以包括被分配所述分类的多幅第二相机面部图像中的第二相机面部图像的RGB直方图的平均直方图。
在各种实施例中，所述方法还可以包括：将被分配所述分类的多幅第一相机面部图像中的第一相机面部图像的RGB直方图进行规范化；并且将被分配所述分类的多幅第二相机面部图像中的第二相机面部图像的RGB直方图进行规范化。
在各种实施例中，所述调节可以包括直方图校正。在各种实施例中，所述方法还可以包括将所述第二相机的孔径校准到所述第一相机的孔径。在各种实施例中，所述方法还可以包括将所述第二相机的快门速度校准到所述第一相机的快门速度。在各种实施例中，所述方法还可以包括将所述第二相机的白平衡校准到所述第一相机的白平衡。在各种实施例中，所述多个预定分类可以包括多个皮肤色调范围。
在紧密相关方面中，另一方法可以包括：基于由第一相机捕获的第一多幅数字图像的一个或多个视觉属性将所述第一多幅数字图像归类到多个预定类别中，其中，第一多幅图像中的每幅数字图像描绘第一区域中的多个对象中的一个；基于由第二相机捕获的第二多幅数字图像的一个或多个视觉属性将所述第二多幅数字图像归类到相同的多个预定类别中，其中，所述第二多幅数字图像中的每幅数字图像描绘第二区域中的所述多个对象中的至少一个；使用所述第二相机来采集描绘所述第二区域中的未知对象的后续数字图像；基于所述后续数字图像的一个或多个视觉属性将所述后续数字图像归类到所述多个预定类别中的给定预定类别中；基于所述第一多幅数字图像中被归类到所述给定预定类别中的一幅或多幅数字图像与所述第二多幅数字图像中被归类到所述给定预定类别中的一幅或多幅数字图像之间的关系来调节所述后续数字图像；并且基于对经调节的后续数字图像的分析来确定所述未知对象的身份。
在本文中还描述了用于使能前述方法的执行的系统和非瞬态计算机可读介质。应当意识到，以下更详细讨论的前述构思和额外的构思的所有组合(假设这些构思不相互矛盾)被预期为本文所公开的主的题部分。具体而言，出现在本公开的结束处的请求保护的主题的所有组合被预期为本文中公开的主题的部分。还应当意识到，也可以出现在通过引用并入的任何公开中的本文明确采用的术语应该被赋予与本文中公开的具体构思最一致的含义。
附图说明
在附图中，相似的附图标记贯穿不同视图通常指代相同的部分。而且，附图不必是按比例的，而是通常将强调放在图示本公开的原理上。
图1示意性地图示了根据各种实施例的用于使用所公开的技术监测数字图像中所识别的患者的总体过程流。
图2图示了根据各种实施方式的其中本公开的各种部件可以实施本公开的选定的方面的范例环境。
图3描绘了根据各种实施例的其中可以实践所公开的技术的范例情景。
图4描绘了用于执行本公开的各方面的范例部件和操作。
图5描绘了根据各种实施例的对象参考模板和对应的模板特征向量可以如何根据收录数字图像生成的范例。
图6描绘了根据各种实施例的可以如何检测进入和/或离开相机的视场的对象的范例。
图7描绘了根据各种实施例的检测到的面部图像可以如何规范化(例如，到正面)的一个范例。
图8比图5更详细地描绘了根据各种实施例的可以如何从收录数字图像中选择对象参考模板的范例。
图9描绘了根据各种实施例的对象可以如何在被监测的区域中识别的一个范例。
图10描绘了根据各种实施例的用于执行本公开的选定的方面的范例方法。
图11说明了根据各种实施例的图像可以如何在多个相机之间校准的一个范例。
图12、图13和图14描绘了根据各种实施例的用于执行本公开的选定的方面的范例方法。
图15描绘了范例计算机系统的部件。
具体实施方式
图1总体上示意性地图示了可以如何使用所公开的技术监测患者。具体地，描绘了可以在预等候室区域中(诸如在(一个或多个)预等候室区域102处)发生的操作和动作，其可以包括接待和/或登记，和/或分诊站或台。此外，描绘了可以在等候室104中发生的操作和动作。应当理解，图1的顺序不旨在为限制性的，并且其他顺序是可能的。
在框106处，新患者可以进入和/或接近(一个或多个)预等候室区域102，例如在接待台(未描绘)报到之后。在框108处，可以登记新患者。登记可以包括，例如，收集关于患者的信息，例如患者的姓名、年龄、性别、保险信息和访问原因。通常但非排他地，该信息可以由诸如接待员或登记员的医学人员手动输入计算机中。在一些实施例中，患者的一幅或多幅参考数字图像可以例如由与由医学人员操作的计算设备集成的相机、由独立相机和/或由生命体征采集相机(在这种情况下，可以在登记时任选地采集至少一些生命体征以提供基线)来采集。如下面将更详细地描述的，在一些实施例中，在框108处在登记期间由相机采集的数字图像可以被称为“收录数字图像”。这些收录数字图像的子集，以及在一些情况下，这些图像的描绘例如面部的选定子部分，可以选择性地被保持为可以稍后被用于识别诸如等候室104的区域中的患者(或更一般地，“对象”)的“对象参考模板”。
在许多实例中，医学人员额外地可以使用各种医学仪器在框110处采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可以包括但不限于血压、脉搏、葡萄糖水平、SpO2、光体积描计图(“PPG”)、呼吸率(例如，呼吸速率)、温度、肤色等。在一些实施例中，患者可以被分配所谓的“患者紧急性量度”，其可以是被用于对患者的疾病的严重性进行排名的量度，并且在一些实例中可以指示对于急诊室资源的预期需要。任何数量的常用指标、标度和/或临床决策支持(“CDS”)算法可以被用于确定和/或分配患者紧急性量度，包括但不限于紧急严重性指数(“ESI”)、台湾分诊系统(“TTS”)、加拿大分诊和紧急性量表(“CTAS”)等。例如，在一些实施例中，可以将患者的生命体征与存储在系统数据库中的预定义生命体征阈值进行比较，或与通常针对给定患者年龄、性别、体重等的已发布或已知生命体征值进行比较，以确定患者的初始患者紧急性量度和/或患者在患者队列中的初始位置。在一些实施例中，可以将关于患者的各种生理信息和其他信息应用为跨以下的输出：训练模型(例如，回归模型、神经网络、深度学习网络等)、基于病例的推理算法或其他临床推理算法，以导出一个或多个紧急性量度。在一些实施例中，用于导出紧急性量度的信息可以包括或甚至完全限于可以由生命体征采集相机捕获的生命信息或其他信息。在一些实施例中，用于导出紧急性量度的信息可以备选地或额外地包括诸如以下项的信息：来自患者的先前电子病历(“EMR”)的信息、分诊时从患者采集的信息、来自可穿戴设备或由患者携带的其他传感器的信息、关于等候室中的其他患者或人的信息(例如，房间中的其他人的生命信息)、关于家庭成员的信息或与患者相关联的其他信息(例如，家庭成员EMR)等。
在框112处，一旦患者被登记和/或被分诊，患者可以被送到等候室104。在许多情景下，图1的操作可以以稍微不同的顺序发生。例如，在一些实例中，患者可以首先被登记，然后去等候室直到他们可以被分诊，并且然后在分诊之后的某个时间(要么立即要么在被送回等候室之后)被送到医生。在一些医院中，患者首先分诊，然后要么转到等候室要么直接看医生；在这些情况下，患者在等候室中登记或者其分别已经由医生稳定化。
在框114处，可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开等候室。框114可以包括扫描当前在等候室内的每个人(例如，作为寻求功能的部分，一旦患者处于要捕获生命信息的患者的队列的顶部，则所述寻求功能尝试定位患者，例如下面描述的框120的运行，或循环通过房间中的每个人以捕获生命信息，如包括下面描述的框118和120的回路的多次运行)并确定患者未被定位。在一些实施例中，系统可以在患者被认为已经离开等候室之前等候直到达到患者缺失的预定实例数量或已经过去了在其期间患者缺失的预定时间量，以考虑临时缺席(例如，去洗手间或与临床工作人员交谈)。例如，患者可能已经被送进ER中心，因为轮到他们看医生了。或者，患者的状况在他们等候时可能已经改进，从而导致他们离开医院。或者，患者可能已经变得不耐烦并且离开而到其他地方寻求护理。无论什么原因，一旦确定患者已经离开等候室至少阈值时间量，在框116处，患者就可以被认为是已经在没有被看到的情况下离开并且可以从系统中释放，例如，通过将他们从登记的患者被输入其中的队列中移除。
在框118处，等候室104中的一个或多个患者可以被选择用于监测。例如，在一些实施例中，存储在框108-110处获得的登记信息的数据库(例如，图4中的对象参考数据库412)可以被搜索以选择具有最高患者紧急性量度的患者或具有最近尚未被监测的测量的最高紧急性的患者，如可以由针对所有患者设置的或基于紧急性量度设置(例如，反相关)的时间阈值确定的。在其他实施例中，除了或代替诸如等候时间、患者在等候室中的存在(例如，可以选择缺失的患者以更频繁地监测来确定是否应当在重复缺席的情况下释放他们)等的其他量度，与等候室中的多个患者相关联的登记信息可以例如通过他们各自的患者紧急性量度被排名在患者监测队列中。在另外的其他实施例中，在对患者监测队列进行排名时可以不考虑患者紧急性量度，而是代替地可以仅考虑患者等候时间、患者存在等的考虑。在另外的其他实施例中，患者可以简单地例如按例如通过等候室104中的椅子或长椅的序列指示的预定扫描顺序来逐个地选择。
然而，这样的患者监测队列被排名，在一些实施例中，队列中的第一患者可以被选择为接下来要监测的患者。不要求(尽管可能)患者监测队列被存储在按患者紧急性量度排序的物理存储器位置的序列中。而是，在一些实施例中，排名的患者监测队列可以仅仅包括与每个患者相关联的排名或优先级水平值。换句话说，如本文所描述的“患者监测队列”可以指代基于患者紧急性量度、等候时间等在逻辑上排名的“逻辑”队列，而不一定是连续的存储器位置序列。可以在框118处按他们在患者监测队列中的相应排名来选择患者以进行监测。
在框120处，在框118处选择的患者可以被定位在等候室104中。在各种实施例中，被部署在等候室104中或附近的一个或多个相机(诸如一个或多个生命体征采集相机(未在图1中描绘，参见图2和图3)或其他更多个常规相机)可以被操作(例如，平移、倾斜、缩放等)以采集等候室104中的患者的一幅或多幅数字图像。如下面将更详细地描述的，那些采集的数字图像可以与在框108处的登记期间捕获的一幅或多幅参考患者图像(常常地在本文中被称为“对象参考模板”)进行比较。在一些实施例中，使用机器学习模型(诸如经训练的卷积神经网络)提取的那些采集的数字图像的特征可以与类似地提取的与登记的患者相关联的对象参考模板的特征进行比较。
在框122处，可以操作安装或以其他方式部署在等候室104中或附近的一个或多个生命体征采集相机，以执行对来自在框118处选择并且在框120处定位的患者的一个或多个更新的生命体征和/或生理参数的无干扰(例如，非接触)采集。这些生命体征采集相机可以被配置为从患者采集(在不与患者物理接触的情况下)各种不同的生命体征和/或生理参数，包括但不限于血压、脉搏率(或心率)、肤色、呼吸率、SpO2、温度、姿势、出汗水平等。在一些实施例中，生命体征采集相机可以被装备为执行所谓的“非接触方法”以从患者采集生命体征和/或提取生理信息，可以用作医学图像设备。这样的相机的非限制性范例在美国专利申请公开No.20140192177A1、20140139656A1、20140148663A1、20140253709A1、20140235976A1和美国专利No.US9125606B2中描述，出于全部目的通过引用将这些公开并入本文。在其他实施例中，来自常规相机的图像和/或视频流可以被分析用于提取生命体征。
在框124处，可以例如由(下面描述的)图2中描绘的一个或多个部件，基于在框122处采集的(一个或多个)更新的生命体征和/或生理参数与先前采集的生命体征和/或生理参数(例如，在框110处采集的初始生命体征或由生命体征采集相机采集的更新的生命体征/生理参数的先前迭代)的比较来确定患者的状况是否已经改变。例如，可以确定患者的脉搏率、呼吸率、血压、SpO2、PPG、温度等是否在患者已经等候时已经增大或减小。如果回答为否，则控制可以行进返回到框118，并且可以选择新患者(例如，具有下一个最高患者紧急性量度的患者)并且控制可以行进返回到框120。然而，如果在框124处的回答为是(即，患者的状况已经改变)，然后控制可以转到框126。在一些实施例中，患者的状况可以(至少部分地)由用于确定监测顺序的目的的相同紧急性量度表示。
在框126处，可以(再次，由图2的一个或多个部件)基于在框124处检测到的改变来确定医学警告是否有必要。例如，可以确定一个或多个生命体征或患者紧急性量度的改变是否满足一个或多个阈值(例如，具有增加到对该特定患者而言认为安全的水平以上的血压？)。如果回答为是，则控制可以转到框128。在框128处，可以向值班护士或其他医学人员输出患者正在恶化的警报。然后，医学人员可以检查患者以确定是否有必要进行补救动作，例如立即进入ED以看医生。在一些实施例中，控制然后可以返回到框118。然而，如果框126处的回答为否，则在一些实施例中，控制可以返回到框118。
图2描绘了根据各种实施例的可以用于实践所公开的技术的范例部件。医院信息系统240可以是在医院、医生办公室等中常见的类型。医院信息系统240可以使用一个或多个计算系统来实施，所述一个或多个计算系统可以或可以不经由一个或多个计算机网络(未描绘)连接。尤其，医院信息系统240可以包括登记模块242、分诊模块244、释放模块246和警报模块248。模块242-248中的一个或多个或本文描述的任何其他模块或引擎可以使用硬件和软件的任何组合(包括运行存储在存储器中的指令的一个或多个微处理器)来实施。例如，登记模块242可以包括实施本文结合在处理器上运行的登记而描述的功能的登记指令，而分诊模块244可以包括实施本文结合在相同处理器上运行的分诊而描述的功能的分诊指令。类似的底层硬件和软件可以用于实施本文描述的其他“模块”。
登记模块242可以被配置为接收新患者的登记信息，例如作为来自值班护士的手动输入。这可以包括例如患者的姓名、年龄、保险信息等。分诊模块244可以被配置为接收诸如上述生命体征的生命体征和/或其他生理数据(例如体重、身高、患者访问的原因等)，例如作为来自值班护士或直接来自联网医学设备的手动输入。在各种实施例中，由分诊模块244接收的生命体征和/或患者紧急性量度(例如，图2中的ESI)可以与由登记模块242接收的对应患者信息相关联，例如，在与医院信息系统240相关联的一个或多个数据库(未描绘)中。
警报模块248可以被配置为接收指示诸如患者恶化的各种事件的信息，并且作为响应发出各种警报和/或警告。可以使用各种模态输出这些警报和/或警告，包括但不限于视觉输出(例如，在医院人员可见的显示屏上)、内部通信公告、文本消息、电子邮件、音频警告、触觉警告、页面、弹出窗口、闪烁灯等。医院信息系统240的模块242-248可以例如经由一个或计算机网络(未描绘)可操作地耦合到医院信息系统接口250(图2中的“H.I.S.接口”)。
医院信息系统接口250可以用作传统医院信息系统240与配置有本公开的选定方面的患者监测系统252之间的接口。在各种实施例中，医院信息系统接口250可以例如向患者监测系统252的其他模块发布关于患者的各种信息，诸如登记信息、患者紧急性量度(例如，ESI)、处方和/或施用的药物、患者是否已经被释放、各种警报/警告等。如下面将描述的，在一些实施例中，这些发布可以被提供给事件发布和订阅(“EPS”)模块270，其然后可以选择性地将它们存储在数据库272中和/或选择性地将它们发布到患者监测系统252的其他模块。在一些实施例中，医院信息系统接口250可以额外地或备选地订阅由其他模块提供的一个或多个警告或发布。例如，医院信息系统接口250可以订阅来自恶化检测模块268的警告，例如，使得医院信息系统接口250可以向医院信息系统240的适当部件(例如警报模块248)通知患者正在恶化。EPS是可以被用于系统部件之间的通信的许多可能协议中的仅仅一个，并且不旨在为限制性的。
患者监测系统252可以包括各种部件，其便于监测诸如等候室104的区域中的患者，以确保以有助于他们的实际医学状况的方式服务患者。专利监测系统252可以包括例如与一个或多个相机256接口连接的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、前述EPS模块270以及一个或多个数据库272、274。如上所述，模块250、254和258-270中的每个可以使用硬件和软件的任何组合来实施。并且，尽管这些模块是分开描绘的，但这并不意味着限制或表明每个模块都是在硬件的单独的片上实施的。例如，可以组合和/或省略一个或多个模块，并且可以在经由一个或多个计算机网络(未描绘)可操作地连接的一个或多个计算系统上实施一个或多个模块。描绘的连接图2的各种部件的线可以表示可访问这些部件的通信信道。这些通信信道可以使用任何数量的网络或其他计算机通信技术(例如一个或多个总线、以太网、Wi-Fi、蓝牙、Z-波、ZigBee、蜂窝通信等)来实施。
患者监测系统252还可以包括一个或多个生命体征采集相机276，其被配置成从距患者的一定距离采集患者的一个或多个生命体征和/或生理参数。上面描述了这种生命体征采集相机的范例。在各种实施例中，生命体征采集相机276可以是平移-倾斜-缩放(“PTZ”)相机，其可操作用于平移、倾斜和缩放，使得诸如等候室104的区域的不同部分被包含在其FOV内。以这种方式，能够扫描被监测的区域以定位不同的患者，使得可以无干扰地采集更新的生命体征和/或生理参数。在其他实施例中，一个或多个常规相机可以代替生命体征采集相机276使用。在一些这样的实施例中，分析(一幅或多幅)图像以提取生命体征信息的任务可以被交给生命体征测量模块266。
患者捕获模块254可以从一个或多个相机256接收承载患者的捕获的图像数据的一个或多个信号。例如，在一些实施例中，患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如，面部检测、分割、检测人类形式的形状检测等)以检测何时患者存在，并且可以响应于该检测而捕获患者的一幅或多幅参考数字图像(例如，下面描述的收录数字图像)。在一些实施例中，由相机256捕获的参考数字图像可以以比由生命体征采集相机276捕获的视频流的个体帧更高的分辨率捕获，但是情况不总是这样。在一些实施例中，相机256可以是被部署在(一个或多个)预等候室区域102中或者附近的独立的相机，诸如网络摄像头、PTZ相机(例如，276等)。由相机276捕获的收录数字图像的子集可以被用于生成与登记患者(并且更一般地“对象”)相关联的对象参考模板和对应的模板特征向量并且稍后被用于识别和/或定位被监测的区域中的登记患者。
患者队列模块258可以被配置为建立和/或维持区域中的患者应当被监测的顺序的(例如，数据库中的)优先级队列。在各种实施例中，可以通过各种参数对队列进行排序。在一些实施例中，队列中的患者可以按患者紧急性量度的顺序(即，按接收医学护理的优先级)进行排名。例如，与较不危重的患者相比，最危重的患者可以更频繁地被放置在队列的前面。在一些实施例中，可以按队列的顺序从在被监测的区域(例如等候室104)中等候的患者采集更新的生命体征。在其他实施例中，可以按FIFO或轮循顺序从患者采集更新的生命体征。在其他实施例中，可以按与编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集更新的生命体征(例如，按顺序扫描每排椅子)。
患者识别模块260可以被配置有本公开的选定方面以与由患者捕获模块254捕获的对象参考模板和/或对应的模板特征向量相结合使用由生命体征采集相机276(或未被配置为无干扰地采集生命体征的另一相机)捕获的一幅或多幅数字图像来定位被监测的区域(例如，等候室104)中的一个或多个患者。患者识别模块260可以使用下文所描述的各种技术分析所采集的数字图像以识别和定位患者(对象)。下面所描述的图4-10说明了可以被用作在任何背景下辨别/识别/定位患者(或更一般地对象)的部分的各种技术的各个方面。
在一些实施例中，患者识别模块260可以搜索被监测的区域是否有从其获得更新的生命体征的特定患者。例如，患者识别模块260可以搜索被监测的区域是否有由患者队列模块258选择的患者，所述患者可以是例如队列中具有最高患者紧急性量度的患者。在一些实施例中，患者识别模块260可以使(一个或多个)生命体征采集相机276扫描被监测的区域(例如，等候室104)，直到识别出所选择的患者。
动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用并根据需要校准它们。例如，动态校准模块262可以确保每当指导生命体征采集相机276指向特定PTZ位置时，其总是指向精确相同的位置。PTZ相机可以是持续或至少频繁运动的。因此，它们的机械部件可能遭受磨损。小的机械误差/偏差可能累积并导致生命体征采集相机276随时间不同地响应于给定的PTZ命令。动态校准模块262可以例如通过偶尔运行校准例程来校正这一点，其中，可以使用界标(例如，诸如墙壁上的小贴纸的标记)来训练将使生命体征采集相机276适当地响应的校正机构。在一些实施例中，动态校准模块262可以执行图4的框423的选定方面和/或下文所描述的图11和图12的选定方面，但是不要求这一点。
一旦由患者队列模块258识别的患者由患者识别模块260识别/定位，则面部/躯干采集模块264可以被配置为平移、倾斜和/或缩放一个或多个生命体征采集相机276，使得其视场捕获患者的期望部分。例如，在一些实施例中，面部/躯干采集模块264可以平移、倾斜或缩放生命体征采集相机276，使得其聚焦于患者的面部和/或上躯干上。额外地或备选地，面部/躯干采集模块264可以平移、倾斜或缩放一个生命体征采集相机276以主要地捕获患者的面部，并且平移、倾斜或缩放另一个以主要地捕获患者的躯干。可以然后采集各种生命体征和/或生理参数。例如，可以例如由生命体征测量模块266通过在由(一个或多个)生命体征采集相机276捕获的患者的面部的视频上执行图像处理来获得生命体征，诸如患者的脉搏率和SpO2。可以例如由生命体征测量模块266通过在由(一个或多个)生命体征采集相机276捕获的患者的躯干的视频上执行图像处理来获得生命体征和/或生理参数，诸如患者的呼吸率等。当然，面部和躯干仅是可以被检查以获得生命体征的身体部分的两个范例，并且不意味着限制。在一些实施例中，生命体征测量模块266可以与相机集成，其可以使得该相机实际上是生命体征采集相机276。
恶化检测模块268可以被配置为分析各种信号和/或数据以确定登记的患者(或甚至未登记的同伴)的状况是否正在恶化、改善和/或保持稳定。在一些实施例中，患者状况可以至少部分地由上面描述的用于确定用于监测的患者的顺序的相同患者紧急性量度来表示。因此，恶化检测模块268可以包括一个或多个CDS、基于病例的推理、或如本文所述的其他临床推理算法或用于评估除了本文描述的紧急性量度之外的患者状况量度的其他临床推理算法(例如，训练的逻辑回归模型或其他机器学习模型)。在一些实施例中，用于评估由恶化检测模块268采用的患者紧急性或患者状况的其他量度的算法可以通过例如为选定的机器学习模型写入新的训练的权重(例如，西塔值)或提供用于由处理器运行的新指令(例如，以java档案、JAR、文件或编译库的形式)来不时地更新。这些信号可以包括例如患者的初始生命体征和其他生理信息(例如，在图1的框108-110处获得的)、由生命体征测量模块266获得的更新的生命体征、患者的初始患者紧急性量度(例如，在登记期间计算的)，和/或患者的更新的患者紧急性量度(例如，基于从生命体征测量模块266接收的更新的生命体征和/或生理参数计算的)。
基于使用这些数据和/或信号进行的确定，恶化检测模块268可以向各种其他模块发送各种警告以采取各种动作。例如，恶化检测模块268可以例如通过以下操作来发布警告：向EPS模块270发送警告使得EPS模块可以将警告发布到订阅的模块，诸如医院信息系统240的警报模块248。在一些实施例中，这样的警告可以包括例如患者的姓名(或更一般地，患者标识符)、图片、实况视频流、患者在等候室中最后检测到的位置、基线生命体征、一个或多个更新的生命体征和/或患者的紧急性量度的指示。在接收到警告时，警报模块248可以向医学人员发出如下警告或警报：患者的恶化，以及还有，患者在等候室中最后检测到的位置等。
EPS模块270可以是通用通信集线器，其被配置为分配由图2的各种其他部件释放的事件。在一些实施例中，图2中描绘的其他模块中的所有或至少一些可以生成指示来自该模块的某种形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的其他模块中的所有或一些可以选择接收或“订阅”来自任何其他模块的任何事件。当EPS模块270接收到事件时，其可以将指示事件的数据发送(例如，将事件转发)到已经订阅该事件的所有模块。
在一些实施例中，EPS模块270可以与一个或多个数据库(诸如数据库272和/或档案274(其可以是任选的))通信。在一些实施例中，EPS模块270可以接受来自任何模块的远程过程调用(“RPC”)以提供对存储在一个或多个数据库272和/或274中的信息的访问，和/或将从其他模块接收到的信息(例如，警告)添加到数据库272和/或274。数据库272(其在一些实施例中可以与对象参考数据库412相同)可以存储由图2中的一个或多个其他模块发送/广播/传送的警告、发布或其他通信中包含的信息。在一些实施例中，数据库272可以存储例如与患者相关联的对象参考模板和/或其初始生命体征、(由生命体征采集相机276采集的)更新的生命体征和/或患者紧急性量度。在一些实施例中，任选的档案274可以在更长的时间段内存储相同或相似的信息。
将显而易见的是，可以利用各种硬件装置来实施患者监测系统252。例如，在一些实施例中，单个设备可以实施整个系统252(例如，单个服务器来操作相机276以执行生命体征采集功能260-266并执行包括恶化检测268和患者队列管理258的(一个或多个)生命体征分析和警告功能)。在其他实施例中，多个独立设备可以形成系统252。例如，第一设备可以驱动生命体征采集相机276并实施功能260-266，而(一个或多个)其他设备可以执行其余功能。在一些这样的实施例中，一个设备可以在等候室本地而另一个设备可以是远程的(例如，被实施为地理上遥远的云计算架构中的虚拟机)。在一些实施例中，设备(例如，包括处理器和存储器)可以被设置在生命体征采集相机276自身内，并且这样一来，生命体征采集相机276可以不简单是哑的外围设备，而是可以执行生命体征功能260-266。在一些这样的实施例中，另一服务器可以向相机276提供指示(例如，标识符、完整记录或登记的面部图像)以请求返回生命信息以供进一步处理。在一些这样的实施例中，可以在相机276上机载地提供额外的功能，例如，可以在相机276上机载地执行恶化检测268(或其预处理)和/或患者队列模块258管理。在一些实施例中，相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。
图3图示了其中所公开的技术可以被实施为出于监测目的识别等候室304中的患者378A-C的范例情景。在该范例中，三个患者378A-C正在医院等候室304中等候由医学人员380医治。两个视频相机376A、376B被安装在等候室304的表面(例如，天花板、墙壁)上。两个视频相机376A、376B可以被用于监测等候室304中的患者378。患者378A-C均可以基于初步患者状况分析由分诊医学人员(未描绘)分配以患者紧急性量度。当患者378等候主治医师时，两个视频相机376A、376B可以捕获(一幅或多幅)数字图像，所述数字图像使用本文所描述的技术来分析以识别被选择用于监测的患者。相同的视频相机(假定其被配置为无干扰地采集生命体征)或不同的视频相机可以然后被操作为监测如上文所描述的患者378，例如，以检测患者恶化。在一些实施例中，可以响应于由患者监测系统(更具体地，恶化检测模块268)对患者已经恶化的检测而由医学人员更新与患者相关联的患者紧急性量度。在各种实施例中，当新患者进入等候室304中时，可以(例如，由患者监测系统252)执行新一轮的患者监测和优先化。每次新患者进入等候室304时，患者队列可以例如通过患者队列模块258自动地更新。额外地或备选地，医学人员可以手动地更新患者队列以包括在分诊之后的新到达的患者。
在本文中所描述的技术不限于医院等候室。存在其中本文所描述的技术可以被实施为识别/定位数字图像或视频中的对象的许多其他情景。例如，所公开的技术还可以被用于机场、竞技场、过境处和其他公共场所内的人群的安全监测。在这样的情景下，不是监测患者以确定患者紧急性量度，而是可以出于其他目的(诸如风险评估或事件后调查)识别对象。本文所描述的技术还可以适用于诸如在健身环境(例如，体育馆、疗养院)中的情景或其中可以实施数字图像中所描绘的个体对象的识别的其他监督情景(例如，机场、过境处等)中。例如，在机场中，在大门处等候的对象可以例如通过将在大门处等候的对象的图像与在登记处和/或从护照/证件照获得的对象参考模板进行比较来识别。另外，本文所描述的技术可以被用于识别在未看到的情况下离开的患者。
图4以相对高的水平示意性地描绘了被配置有本公开的选定方面的部件的范例，以及那些部件之间的范例交互。在各种实施例中，这些部件中的一个或多个可以使用硬件和软件的任何组合实施，例如，作为图2中的患者监测系统252的部分并且具体地作为患者捕获模块254和患者识别模块260的部分。例如，图4的部件可以在图1的框108处被用于将诸如患者的对象登记在对象参考数据库412中。与对象的收录信息(例如，年龄、性别、姓名、初始生命体征等)一起，包括来自多个视图(例如，不同的角度、不同的面部表情、不同的照明条件、不同的头部位置等)的对象的面部的数字图像的任何数量的“对象参考模板”可以(例如，通过医学记录编号(“MRN”))被选择并且与对象参考数据库412中的对象相关联。这些对象参考模板(并且如下所述，从这些对象参考模板生成的模板特征向量)然后可以稍后(例如，由患者识别模块260)用于使用捕获其视场中的等候室的另一相机(例如，生命体征采集相机276、376)识别诸如等候室的区域中的对象。一旦对象被识别，对象的位置可以被用于各种目的，诸如由医学人员接触、使生命体征无干扰地被采集等。
从右下角开始，描绘了根据各种实施例的收录例程402，其包括用于收录新登记的对象(例如，将新患者登记和/或分诊)并且将该对象的参考模板和/或参考特征向量添加到对象参考数据库412的操作。第一相机456可以被配置为捕获在本文中将被称为“收录”数字图像404(例如，个体图像和/或图像流，诸如视频流)的事物中的一个或多个。在一些实例中可以对应于图2中的相机256的第一相机456可以采取各种形式，诸如被定位在收录区域(例如，登记和/或分诊)中的网络摄像头、与由收录人员(例如，登记员或分诊护士)操作的计算设备集成的相机等。该图像捕获可以对于收录人员和对象两者是非侵入的，因为其可以在具有很少或没有人类介入的情况下自动地发生(但是这不意味着限制)。
在框406处，(一幅或多幅)收录数字图像404可以被分析(例如，由与相机456可操作地耦合的一个或多个计算系统(例如，图2中的患者捕获模块254))以检测数字图像404的描绘当前被定位在收录区域(例如，登记和/或分诊)中的对象的面部的一个或多个部分。图6说明了用于检测对象的面部的一个范例技术。其他技术可包括例如遗传算法、特征脸技术、模板匹配、卷积神经网络等。在一些实施例中，(一幅或多幅)收录数字图像404中的一幅或多幅可以剪裁或以其他方式改变(例如，背景剪裁)以聚焦于对象的面部，但是这不是必要的。
在框408处，可以从多幅收录数字图像404中选择描绘对象的面部的多个不同视图的收录数字图像的子集。所选择的子集可以被用于生成被用于稍后视觉地识别/定位对象的对象参考模板。在一些实施例中，被用于生成对象参考模板的收录数字图像的子集可以基于足够地不相似于一幅或多幅其他收录数字图像而被选择。下面图5和图8说明了用于选择用于生成对象参考模板的收录图像的子集的范例技术。
在一些实施例中，在框409处，在框408处生成的对象参考模板可以被应用为跨机器学习模型(诸如卷积神经网络)的输入，以生成本文中所谓的“模板特征向量”。这些模板特征向量可以包括除了或代替对象参考模板的原始数据的各种特征。具体地，卷积神经网络最近已经示出了优于其他面部识别方法的改进。卷积神经网络可以利用包括各种头部姿势、面部表情、照明条件等的数百万(更多)幅面部图像来训练，以确保卷积神经网络可用于生成比单独源图像更有辨别力的模板特征向量(和下面描述的其他特征向量)。在一些实施例中，卷积神经网络可以包括一堆卷积、规则化和池化层。在一些实施例中，一个或多个图形处理单元(“GPU”)可以被用来执行使用卷积神经网络的特征提取，因为它们可以能够比标准中央处理单元(“CPU”)更高效地这样做。在其他实施例中，特征提取可以借助于一个或多个张量处理单元(“TPU”)、现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)或这些的组合完成。
在O.M.Parkhi,A.Vedaldi,A.Zisserman的Deep Face Recognition(BritishMachine Vision Conference(2015))、Yaniv Taigman,Ming Yang,Marc’AurelioRanzato,Lior Wolf的DeepFace:Closing the Gap to Human-Level Performance inFace Verification(IEEE International Conference on Computer Vision andPattern Recognition(2014))和Florian Schroff,Dmitry Kalenichenko,James Philbin的FaceNet:A Unified Embedding for Face Recognition and Clustering(IEEEInternational Conference on Computer Vision and Pattern Recognition(2015))中描述了可以被用于生成本文所描述的各种特征向量(亦称“向量化描述符”、“嵌入式描述符”、“嵌入”等)以及其可以如何训练的适合的卷积神经网络的范例。一般而言，这些公开描述训练卷积神经网络以获悉从面部图像到嵌入之间的距离直接对应于面部相似性的量度的紧凑欧几里得距离的映射。一旦该紧凑欧几里得距离已经确定，面部识别可以使用嵌入作为特征向量来实施，诸如前述模板特征向量。在各种实施例中，卷积神经网络可以通过最小化最后一个网络层处的softmax损失来训练，其中每个对象身份作为独特类标签。该损失然后可以被反向传播到所有先前的层，以逐步地更新每个层中的所有系数。反向传播可以被迭代地执行例如数千次。在每个迭代期间，少至几十或数百幅面部图像可以从收集的要被用于损失最小化的数百万幅训练面部图像中被随机地采样。
在框410处，所生成的对象参考模板和对应的模板特征向量可以例如与对象相关联地被存储在对象参考数据库412中。在各种实施例中，所生成的对象参考模板和模板特征向量可以(例如，通过前述MRN)与关于对象的信息相关联地被存储在对象参考数据库412中。更一般地，对象参考数据库412可以存储与多个对象(诸如可能正等候医学处置的等候室104中的多个登记的患者)有关的对象参考模板和相关联的模板特征向量。在其他实施例中，与登记的对象相关联的模板特征向量可以根据需要和/或按要求被生成。
在左上处描绘了可以例如由图2的患者识别模块260使用可以或可以不采取先前描述的生命体征采集相机的形式的另一相机476执行的对象识别例程418。对象识别例程418可以在各种时间处响应于各种事件而被周期性地、连续地等执行。在一些实施例中，作为对象监测例程414的部分，对象可以被搜寻出，其中诸如护士的人员发出寻求定位特定对象的查询。在其他实施例中，对象识别例程418可以被连续地执行作为先前描述的正在进行的工作的部分，以监测患者的紧急性。在一些实施例中，相机476可以被循环通过每个检测到的对象以确定检测到的对象的身份，并且将它与检测到的对象的位置相关联。
对象识别例程418可以以对数字图像420(例如，视频流)的采集开始，该数字图像(例如，视频流)描绘查询的一个或多个对象通常被认为处于的区域，诸如等候室104。在框422处，(一幅或多幅)数字图像420的描绘区域中的特定对象的面部的一个或多个部分可以(例如，由患者识别模块260)被检测为在本文中将被称为“检测到的面部图像”的事物。在各种实施例中，框422的操作可以被连续地执行和/或可以通过对来自患者监测例程414的对象查询的接收来触发。与在框406处应用的类似的用于面部检测的技术可以在框422处应用，其中一些将在下面更详细地描述。
对象的参考模板看起来与该相同对象采集的后续数字图像越相似，验证对象参考模板和后续数字图像采集相同人越容易。许多因子能够贡献于对象参考模板数字图像(例如，收录数字图像404)与例如在等候室104中的后续数字图像捕获之间的差异，其中一些可能是不可控制的。例如，对象可以移除夹克、戴上眼镜等。然而，可以最小化导致参考图像与后续图像之间的差异的其他贡献因子。首先，从相似性视角，使用用于256和276的相同类型的相机是有益的，因为收录数字图像和后续数字图像两者将已经利用相同传感器捕获。此外，由于照明条件等可以在参考采集设置与等候室之间不同，因此在各种实施例中，相机256和/或相机276的一个或多个设置和/或与其捕获的数字图像相关联的一个或多个设置/参数可以调解和/或校准以降低导致这样的差异的因子。
例如，在框423处，可以做出一个或多个调节，例如，以利用由相机456(或，例如，256)采集的收录数字图像404尽可能紧密地校准由相机476采集的图像420。可以在框423处执行各种操作以实现该校准。在一些实施例中，可以做出相机476的一个或多个设置(诸如孔径、曝光、快门速度、白平衡等)以将设置与相机456的对应的设置对齐。孔径(光行进到光传感器的开口的大小)和快门速度(光传感器暴露于光的时间量)特别地是光学调节。减小孔径大小增加图像锐度并且使得到的图像更暗。更短的快门时间降低运动模糊并且还趋于使所得到的图像更暗。相机的孔径和快门速度设置通常是分立的，即，其在近似√2倍直径的步骤中可调节，其对应于光强度的两个改变的因子。同样地，快门速度可以通常还在两倍的步骤中控制。在一些情况下，该分立性可以限制图像调节的准确度。与这些光学调节相反，可以对一个或多个相机做出的电子调节是与红色、绿色和/或蓝色(RGB)相关联的个体增益中的白平衡调节。
额外地或者备选地，在一些实施例中，可以对由一个或两个相机(例如，456和/或476)采集的数字图像(404、420)做出调节(例如，使用(一个或多个)图像处理软件过程)以将图像彼此校准。例如，在一些实施例中，收录数字图像404和/或稍后采集的数字图像420可以例如使用一个或多个图像处理软件过程进行颜色校正，以调节亮度、调节色度等。额外地或者备选地，在一些实施例中，可以执行各种图像处理技术以实现收录数字图像404与稍后采集的数字图像420之间的头部姿势校正。
在一些实施例中，在框424处，可以选择在框422处生成的一幅或幅检测到的面部图像的子集(或“关键帧”)，其表示检测到的对象的面部的描绘的最大变化，例如，描绘不同姿势、位置、照明、面部表情等。在一些实施例中，类似于图8中描绘的过程的过程可以被用于选择检测到的面部图像(或“关键帧”)的子集。在框425处，可以执行一个或多个操作以将检测到的面部图像中描绘的面部规范化(“正面化”)。例如，在一些实施例中，几何翘曲和/或其他类似技术可以被用于将检测到的面部规范化为在正面视图处或者附近。下面描述的图7说明了用于将检测到的面部规范化的一个范例技术。因此，框425的输出可以是被监测的区域中的特定对象的一个或多个规范化的检测到的面部图像。
在框426处，在本文中被称为“特征比较”的过程可以被用于通过将特定对象与对象参考数据库412中的登记对象匹配来确定特定对象的身份。下面关于图9更详细地描述了“特征比较”的过程。在框428处，检测到的对象的身份和/或检测到的对象的位置(例如，特定位置，诸如对象位于的等候室中的座位的数)可以被提供作为输出。在框430处，相机476可以平移、倾斜和/或缩放例如以捕获位置(例如，等候室104中的椅子)的序列的下一位置处的对象(如果有的话)。
图5描绘了根据各种实施例的可以如何实施图4的收录例程402的工作流程的各个方面的一个范例。如上文所描述的，相机456可以采集收录数字图像404，例如，作为视频流。在一些实施例中，收录数字图像404可以描绘收录(例如，分诊)区域，但是不要求这一点。可以在各种计算设备(诸如与收录区域中或附近的相机456可操作地耦合的计算设备)处执行图5中所描绘的操作。
在其中新对象被评估(例如，临床评估)的收录(例如，分诊)区域中，针对由相机456捕获的每幅新收录数字图像(例如，视频流的帧)，分别地在框502和504处，可以并行执行(例如，新面部的)面部检测和(例如，在先前的收录数字图像中检测到的面部的)面部跟踪。这确保收录区域中的每个对象的面部被检测到，无论哪个对象首先进入。对于每个新检测到的面部，在框506处，发动新面部跟踪器。该新面部跟踪器将在下一个图像帧处开始其分析。然后，在框508处，新检测到的面部被规范化例如到接近正面视图(在图7中更详细地说明了规范化)。
在一些实施例中，该规范化的检测到的面部可以被视为对象模板候选。然后，如果任何还存在的话，(例如，在框510处)新对象参考模板候选可以与(例如，从先前的图像帧采集的)现有对象参考模板候选进行比较。各种准则可以被用于确定是保持新对象参考模板候选(例如，作为另一先前捕获的对象参考模板候选的替换)，还是丢弃新对象参考模板候选。最终，仅最具代表性的对象参考模板候选可以被选择并且被保留在对象参考数据库412中。图8更详细地说明了收录数字图像可以如何被选择(510)用于在生成对象参考模板中使用的一个范例。
现在转到面部跟踪框504，针对每个收录图像帧中先前检测到的每个跟踪面部，在框512处，可以确定对应的对象是否正在离开相机的视场。图6描绘了可以如何做出对象是否正在离开的确定的一个范例。如果在框512处的回答为是，那么操作返回转到框504并且选择下一个跟踪面部。如果在框512处的回答为否，那么在框514处，可以执行单应估计，例如，以估计当前收录图像帧中的跟踪面部的三维头部姿势。基于所估计的姿势，可以在框516处“正面化”当前帧中的跟踪面部图像(移除面部外观上的姿势效果)。控制可以然后转到框508。
图6说明了用于例如在收录期间(例如，在框406处)或稍后在对象监测期间(例如，在框422处)检测对象的面部的一个范例技术。相机的视场(“FOV”)640被示出，并且可以与本文所描述的任何相机(诸如相机456或相机476)相关联。图6图示了对象(642A)进入和对象(642B)离开两者的检测。这两种情况仅当对象的面部在FOV 640中部分可见时发生。对象的存在可以例如通过测量面部区域与FOV 640的交叠比率来检测。如果该比率小于具体数(诸如一)，并且与(一个或多个)先前帧相比较正在增加，则对象可以被确定为正在进入。否则，如果该比率大于一并且与(一个或多个)先前帧相比较正在减小，则对象可以被确定为正在离开。如果两种情况中的任一个持续预定时间间隔(诸如五秒)，则能够确定对象已经进入或离开。
图7描绘了例如可以在图4的框425和/或图5的框508处执行的一个范例面部规范化例程的细节。输入可以采取检测到的面部图像的形式，例如，来自图4的框422或框424和/或来自图5的框506/516。输出可以是规范化的检测到的面部图像。在框702和704处，可以执行左眼检测操作和右眼检测操作(还可以以相反的顺序或并行执行操作702和704)。这些操作可以包括各种图像处理技术，诸如边缘检测、模板匹配、特征空间方法、霍夫变换、形态学操作、训练的神经网络等。在框706处，如果双眼成功地被检测到，则控制可以转到框714，在该点处，可以对面部进行规范化(例如，几何扭曲可以被应用到检测到的面部图像以使面部近似地面向正面)。从框714，控制可以例如转到图4的框426或图5的框510。
如果在框706处的回答为否，那么在框708处可以确定任一眼睛是否被检测到。如果回答为否，那么控制可以通过操作714的下游，在一些实例中，可以引起故障事件，并且然后控制可以例如行进到图4的框426或图5的框510。如果仅一只眼睛在框702-704处被成功地检测到，那么在框710处，检测到的眼睛区域可以被水平地镜像，并且可以(例如，使用模板匹配)搜索镜像眼罩以定位另一眼睛。然后，操作可以行进到先前所描述的框714。
图8描绘了在图4的框408和图5的框510处如何检测到的面部图像可以被选择为对象参考模板(例如，用于包括在对象参考数据库412中)的一个范例。控制可以从各种位置转到图8的操作，诸如图4的框406、图5的框508(如果考虑中的检测到的面部图像在当前收录数字图像帧中新检测到)、和/或图5的框516(如果考虑中的检测到的面部图像在先验收录数字图像帧中检测到并且当前正在跟踪)。在框802处，可以确定面部是否是封闭的。如果回答是是，那么控制可以转到框504，在该点处可以分析下一跟踪的面部(如果有的话)。
如果在框802处的回答为否，那么在框806处，可以确定当前检测到的面部图像与针对当前对象的任何现有对象参考模板之间的图像相似性。在框808处，可以确定是否还存在针对当前对象收集的足够的对象参考模板。可以针对每个新对象选择各种数量的对象参考模板。在一些实施例中，可以收集多达九个对象参考模板。尽管收集更多对象参考模板是可行的，但是在某个点之后可能经历收益递减。
如果已经不存在针对当前对象收集的足够的对象参考模板，那么在框408-410(与图4相同)处，当前检测到的面部图像可以被用于生成对象参考模板(408)，对应的模板特征向量可以被生成(409)，并且两者然后可以被添加(410)到对象参考数据库412。然而，在框808处，如果已经存在收集的足够的模板，那么在一些实施例中，可以确定当前检测到的面部图像是否与当前对象的先前收集的对象参考模板足够地不同以使替换先前收集的对象参考模板有必要。例如，在框处，在框812处，可以对以下做出确定：当前检测到的面部图像与每个先前收集的对象参考模板是否比先前收集的对象参考模板中的任何与彼此更不相似。如果对于特定对象参考模板而言回答为是，那么当前检测到的面部图像可以被用于生成替换对象参考数据库412中的特定对象参考模板的新对象参考模板(409)。例如，对应的模板特征向量可以被生成409，并且模板和特征向量可以被添加(410)到对象参考数据库412。
图8的操作(并且更一般地，图5的操作)可以针对由相机456捕获的每幅收录数字图像重复，并且可以例如跟踪每个对象，直到他们离开收录区域(框512)。因此，在对象处于相机456的FOV 640中时采集的收录数字图像的总数中，具有最适合地(例如，最不同的)视图的n幅收录数字图像可以被选择为生成针对该特定对象的对象参考模板。如先前所提到的，可以稍后使用这些对象参考模板和/或对应的特征向量，例如，响应于对象在对象监测例程414处被查询。
图5和图8涉及收集要存储在对象参考数据库412中的每个对象的对象参考模板和对应的模板特征向量。图6和图7两者涉及收集对象参考模板并且使用那些对象参考模板以识别在诸如医院等候室的在收录区域的下游的区域中的对象。图9涉及后者。特别地，图9描绘了可以例如由患者识别模块260执行的操作的一个范例，作为图4的“特征比较”框426以及图4的框427和428的部分。
在图9中，接收两个输入：考虑中的(一幅或多幅)当前检测到的面部图像以来自对象参考数据库412的对象参考模板。如图9中所示，(一幅或多幅)当前检测到的面部图像可以基于从部署在诸如等候室104的区域中的相机976(或图4中的476)采集的数字图像(例如，图4中的420)生成。尽管在图9中未描绘，但是在各种实施例中，可以执行图4中的框422-425的操作中的一个或多个以生成被接收为图9中的输入的检测到的面部图像。
在框902处，(一幅或多幅)检测到的面部图像可以应用为跨机器学习模型(诸如上文所描述的卷积神经网络)的输入，以生成(在框904处)与检测到的面部图像中的一幅或多幅相关联的所谓的“面部特征向量”(也被称为“向量化描述符”)。在一些实施例中，(一个或多个)相同的卷积神经网络可以如在图4的框409处使用的那样被使用，以生成与对象参考模板一起被存储在对象参考数据库412中的模板特征向量。同时，在框906处，所有登记对象的模板特征向量可以在对象参考数据库412中进行检索和/或定位。在其他实施例中，所有登记对象的模板特征向量可以在运行中生成，例如与使用相同的卷积神经网络的框902的操作同时生成。
在一些实施例中，在框908处，可以确定一个或多个面部特征向量904(例如，多个面部特征向量的平均)与模板特征向量906之间的距离。特征向量之间的距离可以或可以不是欧几里得距离，并且可以以各种方式确定，诸如使用余弦相似性、点积等。在一些实施例中，距离(或者相似性的其他量度)可以用作最近邻域(“NN”)搜索的一部分，其中，可以识别最类似于(例如，最短欧几里得距离)考虑中的(一个或多个)面部特征向量的一个或多个模板特征向量。在一些实施例中，第一和第二最近邻域可以被识别，并且可以与NN和NN_2nd评分相关联，其可以是例如与距(一个或多个)面部特征向量的相应欧几里得距离反相关的所谓的“相关性评分”，并且因此表示相似性量度。
在一些实施例中，NN评分与NN_2nd评分之间的关系、比率等可以被分析以确定最近邻域模板特征向量(该再呼叫对应于对象参考数据库412中的登记对象)是否比第二最近邻域模板特征向量(其对应于对象参考数据库412中的另一登记对象)足够地更类似于面部特征向量(其对应于检测到的对象)。例如，在框910处，可以对NN评分/NN_2nd评分是否大于一些预定阈值做出确定(例如，其可以是手动设置、经验学习等)。如果答案是是，则那建议直观地，最近邻域模板特征向量是比第二最近邻域基本上更好的检测到的对象的匹配，并且因此最近邻域可能对应于与(一幅或多幅)检测到的面部图像相同的对象。另一方面，如果答案为否，那么最近邻域基本上不比第二最近邻域更好地匹配。
假设框910处的答案是是，那么在一些实施例中，可以对(一幅或多幅)当前检测到的面部图像和/或考虑中的面部特征向量是否应当分别存储作为在本文中将被称为“辅助对象参考模板”和/或“复制模板特征向量”的事物做出确定。辅助对象参考模板和/或其对应的辅助模板特征向量可以被用于补充或者取代已经存储在对象参考数据库412中的现有对象参考模板/模板特征向量。即，辅助对象参考模板和/或辅助模板特征向量可以随后被用于更准确地识别诸如等候室104的区域中的对象。在一些实施例中，仅辅助模板特征向量可以存储在对象参考数据库412中，但是这不是要求的。
存储这样的辅助数据可能产生各种技术优点。辅助对象参考模板/辅助模板特征向量通常使用由与在登记期间生成的对象参考模板(例如，其可以使用诸如相机256、456的相机捕获)不同的相机(例如，276、376、476、976)采集的数字图像(例如，420)生成。在登记处生成的对象参考模板和其对应的模板特征向量基于收录数字图像404，其中，对象在更受控制的设置(例如，分诊、登记等)中并且更可能面对相机。相反，辅助对象参考模板和其对应的辅助模板特征向量基于在较不受控制的设置(诸如等候室104)中采集的数字图像(例如，420)生成。因此，辅助对象参考模板/模板特征向量可以根据在与登记/分诊等处的照明不同的照明中从各种角度(并且在大多数情况下未查看或靠近相机)描绘对象的数字图像生成。
也许更重要地，辅助对象参考模板/模板特征向量可以更准确地表示他或她的当前状态中的对象，例如，坐在等候室104中读杂志。因此，如果面部特征向量可以确信地匹配到对象，那么该面部特征向量可以是生成并且存储辅助模板特征向量以用于未来使用的好的候选。由于随时间针对对象生成更多辅助模板特征向量，因此这些辅助模板特征向量可以使能比在登记处生成的原始模板特征向量更准确的各种(例如，等候室104)设置中的对象的识别。
返回参考图9，在一些实施例中，在框912处，可以对针对最近邻域模板特征向量在框908处所确定的NN评分(例如，相关性评分)是否大于考虑中的面部特征向量与针对对应于最近邻域的登记患者已经存在的任何辅助模板特征向量之间计算(例如，基于欧几里得距离)的相关性评分。如果答案是是(或者如果尚未存在用于最近邻域的任何辅助模板特征向量)，那么在框916处，面部特征向量可以作为新辅助模板特征向量被添加到对象参考数据库412以用于未来使用。在一些实施例中，检测到的面部图像自己也可以添加为辅助对象参考模板，但是这不是要求的。
然后，在框914(或图4的428)处，检测到的对象的身份(和/或诸如等候室椅子的位置)可以例如被提供为医学人员的输出，或者有助于使用一个或多个生命体征采集相机的来自对象的生命体征的无干扰的采集。如果框912处的答案为否-这意指已经存在存储在用于对象的对象参考数据库412中的一个或多个“更好的”辅助模板特征向量-那么控制可以直接转到框914而不将新辅助模板特征向量添加到对象参考数据库412。
在一些情况下，在登记期间生成的对象参考模板和/或对应的模板特征向量可能不足以识别检测到的面部图像中描绘的对象。例如，假如等候室中的对象的采集的(一幅或多幅)数字图像与在登记期间采集的收录数字图像404大大不同(例如，由于不同的角度、照明等)。在这样的情况下，检测到的对象可以与超过一个登记对象相对紧密匹配是可能的。例如，在图9的框910处，可以确定最近邻域不比第二最近邻域与面部特征向量足够地更类似(例如，该NN/NN_2nd<前述阈值)。
在这样的情景中，辅助模板特征向量可以证明是特别有用的。例如，如果在框910处的答案为否，那么在框918处，可以确定是否存(在对象参考数据库412中)在与对应于最近邻域的登记对象相关联的任何辅助模板特征向量。如果答案是是，那么在框920处，可以计算新NN评分，例如，作为最近邻域的辅助模板特征向量与当前考虑中的面部特征向量之间的欧几里得距离。可以针对第二最近邻域在框922和924处执行类似操作以生成新NN_2nd评分。然后，在框926处，可以分析新NN评分和新NN_2nd，例如，以确定其之间的比率(例如，使用诸如NN/NN_2nd或NN_2nd/NN的等式确定的)是否满足预定阈值(例如，与在框910处相同阈值或者不同阈值)。如果答案是是，那么控制可以转到框914(上文所描述的)；否则，在框928处，未做出关于检测到的对象的身份的决策(例如，提供了“不确定”的输出)。
图10描绘了根据各种实施例的用于实践本公开的选定方面的范例方法1000。为了方便起见，参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件，包括患者监测系统252。此外，尽管以特定顺序示出了方法1000的操作，但是这不意味着限制。一个或多个操作可以被重新排序、省略或添加。
在框1002处，系统可以例如从第一相机(例如，276、376、476)采集描绘诸如等候室104的区域中的对象的一幅或多幅数字图像(例如，视频帧)。例如，在一些实施例中，系统可以采集包括由第一数字相机采集的多幅数字图像的视频传送。在框1004处，系统可以检测一幅或多幅数字图像的描绘对象的面部的一个或多个部分作为一幅或多幅检测到的面部图像。在各种实施例中，与在图4的框406处采用的那些(在图6中更详细地描述了其一个范例)类似的技术可以被用于检测面部。在一些实施例中，从面向相机多达四十至四十五度的头部姿势可以用于检测面部。如上面提及的，在一些实施例中，多幅数字图像(例如，视频流)的“关键帧”可以被选择(例如，在框424处)，其描绘检测到的对象的各种不同的姿势、面部表情等。并且在各种实施例中，数字图像(例如，关键帧)可以使用各种面部检测技术(例如，模板比较)来分析，并且可以被裁剪，使其背景被移除等，使得检测到的面部图像仅或者主要包括对象的面部。
在框1006处，系统可以将一幅或多幅检测到的面部图像的特征与与对象参考数据库(412)中的一个或多个对象相关联的对象参考模板的特征进行比较。额外地或者备选地，系统可以将一幅或多幅检测到的面部图像的特征与与(一个或多个)对象相关联的辅助模板特征向量进行比较。显著地，对象参考模板基于由第二相机(例如，256、456)采集的收录数字图像(404)生成，而辅助模板特征向量基于由不同的第二相机(例如，276、376、476)采集的(一幅或多幅)数字图像生成。因此，并且如上所述，辅助模板特征向量可以更紧密地表示对象的当前状态(例如，坐在等候室104中、不看相机)，并且因此可以增强例如患者识别模块260准确地识别对象的能力。
在各种实施例中，框1006的比较可以包括诸如系统应用(在框1008处)检测到的面部图像作为跨一个或多个神经网络(例如，上文所描述的卷积神经网络)的输入以生成对应的面部特征向量的操作。在框1010处，系统可以将所生成的面部特征向量与根据跨相同或不同神经网络的对象参考模板的应用(其已经发生，例如，在登记/分诊期间或紧接地跟随登记/分诊)生成的模板特征向量进行比较。如前所述，由于对象参考模板基于由第二相机(例如，256、456)采集的收录数字图像404生成，因此模板特征向量也基于由第二相机采集的数字图像生成。在框1012处，系统可以额外地或者备选地将面部特征向量与基于由第一相机(例如，276、376、476)而非第二相机采集的数字图像(例如，420)生成的辅助模板特征向量进行比较。如上所述，框1008-1012的比较操作中的一个或多个可以涉及使用各种技术(诸如点积、余弦相似性、联合嵌入等)确定欧几里得距离。
在框1014处，基于比较，可以确定对象的身份。还基于比较-例如，如果检测到的面部图像的特征相比于第二最近邻域足够地更接近于最近邻域-在框1016处，一幅或多幅检测到的面部图像的特征可以存储在与对象相关联的对象参考数据库412中，例如，作为辅助模板特征向量。例如，在一些实施例中，系统可以确定根据检测到的面部图像中的一幅或多幅生成的面部特征向量与根据与对象参考数据库412中的第一对象相关联的(一个或多个)对象参考模板生成的第一模板特征向量之间的第一(例如，欧几里得)距离。系统可以同样地确定面部特征向量与根据与对象参考数据库412中的第二对象相关联的(一个或多个)对象参考模板生成的第二模板特征向量之间的第二距离。在一些情况下，这些距离(和额外距离，如果存在额外的登记对象)可以用作上文相对于框908所描述的最近邻域搜索的部分以计算直接与相似性相关的前述“相关性评分”。基于可以对应于先前所描述的NN评分和NN_2nd评分的第一相关性评分与第二相关性评分之间的关系，面部特征向量可以被存储作为对象参考数据库412中的辅助模板特征向量。
在框1016处确定的对象的身份可以用于各种目的。在一些实施例中，在(在框1002处采集的)原始数字图像中描绘的对象的位置可以例如基于捕获数字图像的相机的PTZ设置来确定。例如，在一些实施例中，相机可以被配置为扫描通过多个位置，诸如等候室104中的椅子，寻找每个位置处的对象。当对象在特定位置处被检测到并且然后被匹配到登记的对象时，对象的身份可以连同对象的位置一起例如作为音频或视频输出被提供给值班护士或其他医务人员。在一些实施例中，身份/位置可以被输出到患者监测系统252的其他模块。
在其他情景中，特定的登记的对象(例如，查询的对象)的位置可以是期望的，例如，使得对象的生命体征能够(例如，使用相机276无干扰地)被监测，对象能够被带去看医生等。在这种情况下，方法1000可以针对通过监测诸如等候室104的区域的一个或多个相机被检测的每个对象来执行直至搜寻的对象被定位。在一些这样的情景下，如果查询的对象未被找到，例如，因为对象被收入急诊部的处置区域或对象在没有被看到的情况下离开，可以通知相关的人员(例如，医院工作人员)。如果对象临时离开，例如使用休息室，对象可以被重新插入到上面描述的患者队列中，使得他们能够在稍后的时间被监测。
图11示意性地说明了由相机(诸如256和/或456)捕获的收录数字图像404和/或由相机(诸如相机276、376、476和/或976)捕获的后续数字图像可以如何彼此校准以便降低由例如变化的相机设置、照明的变化(例如，在收录数字图像404被采集的预等候室102与后续数字图像420被采集的等候室104之间)等引起的图像之间的差异。
在图11中，第一相机1156可以对应于可以例如被定位于医院的登记和/或分诊区域中的相机256和/或456。第一相机1156可以捕获多幅收录数字图像1104(其可以对应于收录图像404)，所述多幅收录数字图像可以例如被用于生成上文所描述的对象参考模板。这些收录数字图像1104也可以被称为“第一相机图像”1104，或者在一些情况下更特别地“第一相机面部图像”，因为在一些实施例中，其是可以感兴趣的数字图像中所描绘的面部(并且在一些情况下，可以使用上文所描述的各种技术隔离)。
在各种实施例中，对于多幅第一相机面部图像1104中的每幅第一相机面部图像，可以确定第一相机面部图像中所描绘的面部的视觉属性测量结果，例如通过动态校准模块262或者患者监测系统252的另一部件。基于第一相机面部图像中所描绘的面部的视觉属性，多个预定分类之一可以被分配给第一相机面部图像。这在图11中被描绘，其中，多幅第一相机面部图像1104被归类到多个预定分类中，其包括图11中的分类A、B和C(但是可以包括更多或更少分类)。
在各种实施例中，可以测量各种视觉属性以确定给定第一相机面部图像属于哪个预定分类。在一些实施例中，所测量的视觉属性可以是皮肤色调(或者皮肤着色或者皮肤颜色)，并且预定分类可以包括例如皮肤色调范围。在其他实施例中，可以测量与所描绘的对象的面部或者数字图像的另一方面相关联的其他视觉属性。
一旦第一相机面部图像基于一个或多个测量的视觉属性被归类到多个预定类别中的预定类别中，在各种实施例中，针对多个预定分类中的每个预定分类，可以确定在被分配分类的第一相机面部图像中间共享的“第一相机分类分布”1184。因此例如，分类A中的第一相机面部图像可以共享第一分类分布11841。分类B中的第一相机面部图像可以共享第二分类分布11842。分类C中的第一相机面部图像可以共享第三分类分布11843。等等。
在图11中，第一相机分类分布11841-3采取平均RGB直方图的形式，但是这不旨在是限制性的。在各种实施例中，可以针对特定预定分类的每幅第一相机面部图像确定RGB直方图。在一些实施例中，RGB直方图可以包括每个可能的R、G和B值在每幅图像中发生多少次的计数。在一些实施例中，针对每幅第一相机面部图像计算的RGB直方图可以规范化，例如，通过将每个计数除以图像的大小(例如，以像素为单位的宽度乘以以像素为单位的高度)，但是这不是要求的。一旦针对特定预定分类中的每幅第一相机面部图像计算RGB直方图，在一些实施例中，针对该特定预定分类的RGB直方图的平均可以被计算为第一相机分类分布11841-3。在一些实施例中，如果特定第一相机面部图像是要分配给特定预定分类的第一个，则该第一相机面部图像的直方图可以简单地用作平均RGB直方图。
在由第一相机1156捕获的收录数字图像1104上执行的相同操作(该再呼叫可以在登记和/或分诊处采集并且被用于生成稍后用于识别对象(例如，在等候室104中)的前述对象参考模板)也可以在由相机1176(其在一些情况下可以是生命体征采集相机，但是这不是要求的)捕获的后续数字图像1120上执行。例如，在本文中也可以被称为“第二相机面部图像”1120的后续数字图像1120可以被归类到与第一相机面部图像1104相同的预定分类(例如，图11中的A-C)中。此外，可以以与计算第一相机分类分布11841-3相同的方式针对预定分类计算第二相机分类分布11844-6。
第一相机分类分布11841-3和第二相机分类分布11844-6，以及特别地针对每个预定分类的第一相机分类分布与第二相机分类分布之间的差异(或之间的其他关系)然后可以被用于校准由第二相机1176捕获的后续数字图像(例如，等候室104中的对象的)，使得所描绘的对象看起来更类似于收录数字图像1104中所描绘的对象。例如，由第二相机1176捕获(例如，采集以努力将等候室104中的一个或多个患者与对象参考数据库412中的一个或多个对象参考模板匹配)的传入后续数字图像可以被归类为(或分配)多个预定分类中的特定预定分类(例如，基于皮肤色调)。传入后续数字图像然后可以基于与分配的预定分类相关联的第一相机分类分布与与分配的预定分类相关联的第二相机分类分布之间的关系来处理，例如，使用直方图校正。
在一些实施例中，直方图可以适用于由第二相机1176捕获的传入后续数字图像如下。针对每个像素的每个R、G和B分量，可以应用偏移和/或增益，例如，x→px+q。在一些实施例中，可以确定满足某种准则(诸如包含平均RGB直方图值的95％)的分配分类的第一相机分类分布的选定的像素范围aref—bref。类似地，可以确定满足某种准则(诸如包含平均RGB直方图值的95％)的分配分类的第二相机分类分布的选定的像素范围amon—bmon。在各种实施例中，p可以被设置为(bmon-amon)/(bref-aref)并且q可以被设置为amon-aref。
其他技术可以被用于校准由第一相机1156和第二相机1176捕获的图像，以及将相机的设置自身彼此校准，如上文所描述的。在一些实施例中，一个或两个相机可以具有可用于读取和/或调节相机的设置的应用编程接口(“API”)。额外地或者备选地，在一些实施例中，更高级的图像处理可以适用于由一个或两个相机捕获的数字图像，例如，在被用于识别对象之前。例如，在一些实施例中，对象的面部的暗区域可以变亮，特别地以校正由顶部照明引起的阴影。在其他实施例中，诸如自动白平衡或自动曝光的技术可以适用于由一个或两个相机捕获的数字图像，例如，检测到的面部区域。一些相机可以提供这样的功能作为其API的一部分；例如，边界区域可以在数字图像的边界内定义(例如，在描绘对象的面部的区域中)，并且自动曝光和/或自动白平衡可以应用在有界区域中。其他相机可以提供允许曝光、快门速度和/或分量增益的调节的API。在一些这样的实施例中，本文所描述的各种技术可以实施在相机外部的软件中。
图12描绘了根据各种实施例的用于实践本公开的选定方面的范例方法1200。为了方便起见，参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件，包括1510。此外，尽管以特定次序示出方法1200的操作，但是这不旨在是限制性的。可以重新排序、省略或者添加一个或多个操作。
在框1202处，系统可以使用第一区域(102)中的第一相机(256、456、1156)采集描绘第一区域中的多个对象的面部的多幅第一相机面部图像(1104)。在框1204处，系统可以确定是否存在多幅第一相机面部图像中要分析的更多第一相机面部图像。如果答案是是，那么在框1206处，系统可以选择多幅第一相机面部图像中的下一第一相机面部图像。在框1208处，系统可以确定选定的第一相机面部图像中所描绘的面部的视觉属性测量结果(例如，皮肤色调)。在框1210处，系统可以基于选定的第一相机面部图像中所描绘的面部的视觉属性测量结果将选定的第一相机面部图像分配到多个预定分类(例如，皮肤色调范围)之一。框1204-1210可以重复直到在框1204处确定不存在更多第一相机面部图像要分析。在框1214处，系统可以针对多个分类中的每个分类确定第一相机分类分布，所述第一相机分类分布在被分配分类的多幅第一相机面部图像中的第一相机面部图像中间共享。
图13描绘了根据各种实施例的用于实践本公开的选定方面的范例方法1300。为了方便起见，参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件，包括1510。此外，尽管以特定次序示出方法1300的操作，但是这不旨在是限制性的。可以重新排序、省略或者添加一个或多个操作。
除了第二相机(例如，276、376、476、976、1176)而不是第一相机(例如，256、456、1156)之外，方法1300的操作可以类似于方法1200的操作。在框1302处，系统可以使用第二区域(例如，等候室104)中的第二相机(276、376、476、976、1176)采集描绘第二区域中的多个对象的面部的多幅第二相机面部图像(1120)。在框1304处，系统可以确定是否存在多幅第二相机面部图像中要分析的更多第二相机面部图像。如果答案是是，那么在框1306处，系统可以选择多幅第二相机面部图像中的下一第二相机面部图像。在框1308处，系统可以确定选定的第二相机面部图像中所描绘的面部的视觉属性测量结果(例如，皮肤色调)。在框1310处，系统可以基于选定的第二相机面部图像中所描绘的面部的视觉属性测量结果将选定的第二相机面部图像分配给多个预定分类(例如，皮肤色调范围)之一。框1304-1310可以重复，直到在框1304处确定不存在要分析的更多第二相机面部图像。在框1314处，系统可以针对多个分类中的每个分类确定第二相机分类分布，所述第二相机分类分布在被分配分类的多幅第二相机面部图像中的第二相机面部图像中间共享。
图14描绘了根据各种实施例的用于实践本公开的选定方面的范例方法1400。为了方便起见，参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件，包括1510。此外，尽管以特定次序示出方法1400的操作，但是这不旨在是限制性的。可以重新排序、省略或者添加一个或多个操作。
在一些实施例中，可以例如在确定用于各种预定分类的第一相机分类分布和第二分类分布之后执行方法1400，例如，通过方法1200和1300。在框1402处，系统可以使用第二相机(例如，276、376、476、976、1176)来采集描绘未识别的对象的面部的后续面部图像。例如，该操作可与图10中的操作1002-1004比较。
在框1404处，系统可以确定后续面部图像中所描绘的未识别的对象的面部的视觉属性测量结果(例如，皮肤色调)。在框1406处，系统可以基于后续面部图像中所描绘的面部的视觉属性测量结果将后续面部图像分配到多个预定分类(例如，皮肤色调值的范围)中的给定预定分类。
在框1408处，系统可以应用对后续面部图像的调节以生成经校准的后续面部图像。在各种实施例中，应用调节可以基于与给定预定分类相关联的第一相机分类分布和第二相机分类分布。例如，如上所述，直方图校正可以应用于将后续面部图像与对象参考模板的视觉属性更紧密地对齐。在框1410处，类似于方法1000的框1014，系统可以例如基于经校准的后续面部图像的一个或多个特征(例如，特征向量/降低的维度嵌入)与多幅第一相机面部图像和多幅第二相机面部图像(如上文所描述的，其可以被用于对象参考模板)的一个或多个特征(例如，特征向量/降低的维度嵌入)的比较来确定未识别的对象的身份。
图15是范例计算机系统1510的框图。计算机系统1510通常包括至少一个处理器1514，至少一个处理器1514经由总线子系统1512与多个外围设备通信。如本文所使用的，术语“处理器”将被理解为涵盖能够执行归属于本文所描述的部件的各种功能的各种设备，例如微处理器、GPU、TPU、FPGA、ASIC、其他类似设备及其组合。这些外围设备可以包括：数据保留子系统1524，其包括例如存储器子系统1525和文件存储子系统1526；用户接口输出设备1520；用户接口输入设备1522和网络接口子系统1516。输入和输出设备允许用户与计算机系统1510的交互。网络接口子系统1516提供去往外部网络的接口，并且耦合到其他计算机系统中的对应的接口设备。
用户接口输入设备1522可以包括：键盘；指点设备，诸如鼠标、跟踪球、触摸板或图形输入板；扫描器；并入到显示器中的触摸屏；音频输入设备，诸如语音识别系统/麦克风；和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括将信息输入到计算机系统1510中或通信网络上的所有可能类型的设备和方式。
用户接口输出设备1520可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的某个其他机构。显示子系统还可以提供非视觉显示，例如经由音频输出设备。通常，对术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机系统1510输出到用户或另一机器或计算机系统的方式。
数据保留系统1524存储提供本文描述的模块中的一些或全部的功能的编程和数据构造。例如，数据保留系统1524可以包括用于执行图4-14的选定方面的逻辑和/或实施患者监测系统252的一个或多个部件的逻辑，包括患者识别模块260、患者捕获模块254、动态校准模块262等。
这些软件模块通常由处理器1514单独执行或与其他处理器结合执行。存储子系统中使用的存储器1525可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)1530、固定指令被存储于其中的只读存储器(ROM)1532，以及诸如指令/数据高速缓存的其他类型的存储器(其可以额外地或备选地与至少一个处理器1514集成)。文件存储子系统1526可以为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光驱或可移除介质盒。实施某些实施方式的功能的模块可以由在数据保留系统1524中的文件存储子系统1526存储，或存储在由(一个或多个)处理器1514可访问的其他机器中。如本文所使用的，术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如DRAM和SRAM)和非易失性存储器(例如闪速存储器、磁性存储设备以及光学存储设备)，但是不包括瞬态信号。
总线子系统1512提供用于使计算机系统1510的各种部件和子系统按预期与彼此通信的机制。尽管总线子系统1512被示意性地示为单个总线，但总线子系统的备选实施方式可以使用多个总线。在一些实施例中，特别地在计算机系统1510包括经由一个或多个网络连接的多个个体计算设备的情况下，一个或多个总线可以被添加有有线或无线网络连接和/或利用有线或无线网络连接来替换。
计算机系统1510可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器农场或任何其他数据处理系统或计算设备。在一些实施例中，计算机系统1510可以被实施在云计算环境内。由于计算机和网络的不断变化的性质，图15中描绘的计算机系统1510的描述仅旨在作为出于说明一些实施方式的目的的特定范例。具有比图15中描绘的计算机系统更多或更少的部件的计算机系统1510的许多其他配置是可能的。
尽管本文中已经描述和图示了若干实施例，但是本领域的普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其他装置和/或结构，并且这些变化和/或修改中的每个被认为是在本文描述的实施例的范围内。更一般地，本领域技术人员将容易意识到，本文中所描述的所有参数、尺寸、材料和配置意味着是示范性的，并且实际参数、尺寸、材料和/或配置将取决于教导被使用的一个或多个特定应用。本领域的技术人员将意识到，或仅仅使用常规实验就能够确定本文描述的特定实施例的许多等价方案。因此，应理解的是，前述实施例仅通过范例呈现，并且在随附权利要求及其等价方案的范围内，可以以与具体描述和要求保护的方式不同的方式来实践实施例。本公开的发明实施例涉及本文描述的每个个体特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不相互矛盾，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合都被包括在本公开的范围内。
如本文所定义和使用的所有定义应被理解为控制在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上。
如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”，除非明确相反指示。
如在本说明书和权利要求书中所使用的短语“和/或”应当被理解为是指如此结合的元件中的“任一个或两者”，即在一些情况下联合存在并且在其他情况下分离存在的元件。利用“和/或”列出的多个元件应当以相同的方式解释，即如此结合的元件中的“一个或多个”。除了由“和/或”子句特别识别的元件，其他元件可以任选地存在，不管与具体识别的那些元件相关还是不相关。因此，作为非限制性范例，当与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除了B之外的元件)；在另一个实施例中，仅指B(任选地包括除了A之外的元件)；在又一个实施例中，指A和B两者(任选地包括其他元件)；等等。
如在本说明书和权利要求书中所使用的，“或”应当被理解为具有与上面所定义的“和/或”相同的含义。例如，当在列表中分离项时，“或”或“和/或”应被解释为包含性的，即包括多个元件或元件列表中的至少一个元件，但也包括多于一个元件，以及任选地额外未列出的项。仅清楚地指示为相反的术语，诸如“中的仅一个”或“中的恰好一个”，或，当在权利要求中使用时，“由...组成”，将指包括多个元件或元件列表中的恰好一个元件。通常，如本文使用的术语“或”仅当前面有排他性术语(例如“任一个”，“中的一个”，“中的仅一个”，或“中的恰好一个”)时才应解释为指示排他性替代方案(即，“一个或另一个但是并非两者”)。当在权利要求中使用时，“实质上由...组成”应当具有其在专利法领域中使用的普通含义。
如本文中在说明书和权利要求书中所使用的，涉及一个或多个元件的列表的短语“至少一个”应当被理解为是指选自元件列表中的元件中的任何一个或多个的至少一个元件，但是不必包括元件列表内具体列出的每一个元件中的至少一个，并且不排除元件列表中的元件的任何组合。该定义还允许除了在短语“至少一个”涉及的元件列表内具体识别的元件之外的元件可以任选地存在，而不管与具体识别的那些元件相关还是不相关。因此，作为非限制性范例，“A和B中的至少一个”(或等价地，“A或B中的至少一个”，或等价地“A和/或B中的至少一个”)可以在一个实施例中指至少一个、任选地包括多于一个A，而不存在B(并且任选地包括除了B之外的元件)；在另一个实施例中，指至少一个、任选地包括多于一个B，而不存在A(并且任选地包括除了A之外的元件)；在又一个实施例中，指至少一个、任选地包括多于一个A，以及至少一个、任选地包括多于一个B(并且任选地包括其他元件)；等等。
还应当理解，除非明确相反指示，在本文所要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的顺序不必限于该方法的步骤或动作被记载的顺序。
在权利要求书以及上面的说明书中，所有的过渡性短语，诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“带有”等等应被理解为是开放式的，即意味着包括但不限于。只有过渡性短语“由...组成”和“实质上由...组成”应分别是封闭式或半封闭式过渡性短语，如美国专利局专利审查程序手册第2111.03节所阐明的。应当理解，依照专利合作条约(“PCT”)的条例6.2(b)在权利要求中使用的某些表达和附图标记不限制范围。

Claims (20)

1.一种由一个或多个处理器实施的方法，所述方法包括：
使用第一区域中的第一相机(256、456、1156)来采集(1202)描绘所述第一区域中的多个对象的面部的多幅第一相机面部图像(1104)；
针对所述多幅第一相机面部图像中的每幅第一相机面部图像：
确定(1208)所述第一相机面部图像中描绘的所述面部的视觉属性测量结果，并且
基于所述第一相机面部图像中描绘的所述面部的所述视觉属性测量结果将所述第一相机面部图像分配(1210)到多个预定分类中的一个；
针对所述多个分类中的每个分类确定(1214)第一相机分类分布(11841-3)，所述第一相机分类分布在所述多幅第一相机面部图像中被分配所述分类的第一相机面部图像中间共享；
使用第二区域中的第二相机(276、376、476、1176)来采集(1302)描绘所述第二区域中的所述对象的面部的多幅第二相机面部图像(1120)；
针对所述多幅第二相机面部图像中的每幅第二相机面部图像：
确定(1308)所述第二相机面部图像中描绘的所述面部的视觉属性测量结果，并且
基于所述第二相机面部图像中描绘的所述面部的所述视觉属性测量结果将所述第二相机面部图像分配(1310)到所述多个预定分类中的一个；
针对所述多个分类中的每个分类确定(1314)第二相机分类分布(11844-6)，所述第二相机分类分布在所述多幅第二相机面部图像中被分配所述分类的第二相机面部图像中间共享；
使用所述第二相机来采集(1402)描绘未识别的对象的面部的后续面部图像；
确定(1404)所述后续面部图像中描绘的所述未识别的对象的面部的视觉属性测量结果；
基于所述后续面部图像中描绘的所述面部的所述视觉属性测量结果将所述后续面部图像分配(1406)到所述多个预定分类中的给定预定分类；
应用(1408)对所述后续面部图像的调节以生成经校准的后续面部图像，其中，应用所述调节基于与所述给定预定分类相关联的所述第一相机分类分布和所述第二相机分类分布；并且
基于所述经校准的后续面部图像的一个或多个特征与所述多幅第一相机面部图像和所述多幅第二相机面部图像中的一幅或多幅的一个或多个特征的比较来确定(1410)所述未识别的对象的身份。
2.根据权利要求1所述的方法，其中，所述第一相机分类分布包括与所述多幅第一相机面部图像中被分配所述分类的所述第一相机面部图像的RGB直方图相关联的第一统计数据，并且所述第二相机分类分布包括与所述多幅第二相机面部图像中被分配所述分类的所述第二相机面部图像的RGB直方图相关联的第二统计数据。
3.根据权利要求2所述的方法，其中，所述第一统计数据包括所述多幅第一相机面部图像中被分配所述分类的所述第一相机面部图像的所述RGB直方图的平均直方图，并且所述第二统计数据包括所述多幅第二相机面部图像中被分配所述分类的所述第二相机面部图像的所述RGB直方图的平均直方图。
4.根据权利要求2所述的方法，还包括：
将所述多幅第一相机面部图像中被分配所述分类的所述第一相机面部图像的所述RGB直方图进行规范化；并且
将所述多幅第二相机面部图像中被分配所述分类的所述第二相机面部图像的所述RGB直方图进行规范化。
5.根据权利要求1所述的方法，其中，所述调节包括直方图校正。
6.根据权利要求1所述的方法，还包括将所述第二相机的孔径校准到所述第一相机的孔径。
7.根据权利要求1所述的方法，还包括将所述第二相机的快门速度校准到所述第一相机的快门速度。
8.根据权利要求1所述的方法，还包括将所述第二相机的白平衡校准到所述第一相机的白平衡。
9.根据权利要求1所述的方法，其中，所述多个预定分类包括多个皮肤色调范围。
10.一种包括指令的至少一个非瞬态计算机可读介质，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：
基于由第一相机(256、456、1156)捕获的第一多幅数字图像的一个或多个视觉属性将所述第一多幅数字图像归类(1202-1210)到多个预定类别中，其中，所述第一多幅数字图像中的每幅数字图像描绘第一区域中的多个对象中的一个；
基于由第二相机(276、376、476、1176)捕获的第二多幅数字图像的一个或多个视觉属性将所述第二多幅数字图像归类(1302-1310)到相同的多个预定类别中，其中，所述第二多幅数字图像中的每幅数字图像描绘第二区域中的所述多个对象中的至少一个；
使用所述第二相机来采集(1402)描绘所述第二区域中的未知对象的后续数字图像；
基于所述后续数字图像的一个或多个视觉属性将所述后续数字图像归类(1404-1406)到所述多个预定类别中的给定预定类别中；
基于所述第一多幅数字图像中被归类到所述给定预定类别中的一幅或多幅数字图像与所述第二多幅数字图像中被归类到所述给定预定类别中的一幅或多幅数字图像之间的关系来调节(1408)所述后续数字图像；并且
基于对经调节的后续数字图像的分析来确定(1410)所述未知对象的身份。
11.根据权利要求10所述的至少一个非瞬态计算机可读介质，其中，所述关系包括与所述第一多幅数字图像中被归类到所述给定类别中的数字图像的RGB直方图相关联的第一统计数据和与被归类到所述给定类别中的所述第二多幅数字图像的RGB直方图相关联的第二统计数据之间的关系。
12.根据权利要求11所述的至少一个非瞬态计算机可读介质，其中，所述第一统计数据包括所述第一多幅数字图像中被归类到所述给定类别中的所述数字图像的所述RGB直方图的平均直方图，并且所述第二统计数据包括被归类到所述给定类别中的所述第二多幅数字图像中的所述数字图像的所述RGB直方图的平均直方图。
13.根据权利要求12所述的至少一个非瞬态计算机可读介质，还包括执行以下操作的指令：
将所述第一多幅数字图像中被归类到所述给定类别中的所述数字图像的所述RGB直方图进行规范化；并且
将所述第二多幅数字图像中被归类到所述给定类别中的所述数字图像的所述RGB直方图进行规范化。
14.根据权利要求10所述的至少一个非瞬态计算机可读介质，其中，所述调节包括直方图校正。
15.根据权利要求10所述的至少一个非瞬态计算机可读介质，还包括用于将所述第二相机的孔径校准到所述第一相机的孔径的指令。
16.根据权利要求10所述的至少一个非瞬态计算机可读介质，还包括用于将所述第二相机的快门速度校准到所述第一相机的快门速度的指令。
17.根据权利要求10所述的至少一个非瞬态计算机可读介质，还包括用于将所述第二相机的白平衡校准到所述第一相机的白平衡的指令。
18.根据权利要求10所述的至少一个非瞬态计算机可读介质，其中，所述多个预定类别包括多个皮肤色调范围。
19.一种包括一个或多个处理器以及与所述一个或多个处理器可操作地耦合的存储器的系统，其中，所述存储器存储指令，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：
使用第一区域中的第一相机(256、456、1156)来采集(1202)描绘所述第一区域中的多个对象的面部的多幅第一相机面部图像(1104)；
针对所述多幅第一相机面部图像中的每幅第一相机面部图像：
确定(1208)所述第一相机面部图像中描绘的所述面部的视觉属性测量结果，并且
基于所述第一相机面部图像中描绘的所述面部的所述视觉属性测量结果将所述第一相机面部图像分配(1210)到多个预定分类中的一个；
针对所述多个分类中的每个分类确定(1214)第一相机分类分布(11841-3)，所述第一相机分类分布在所述多幅第一相机面部图像中被分配所述分类的第一相机面部图像中间共享；
使用第二区域中的第二相机(276、376、476、1176)来采集(1302)描绘所述第二区域中的所述对象的面部的多幅第二相机面部图像(1120)；
针对所述多幅第二相机面部图像中的每幅第二相机面部图像：
确定(1308)所述第二相机面部图像中描绘的所述面部的视觉属性测量结果，并且
基于所述第二相机面部图像中描绘的所述面部的所述视觉属性测量结果将所述第二相机面部图像分配(1310)到所述多个预定分类中的一个；
针对所述多个分类中的每个分类确定(1314)第二相机分类分布(11844-6)，所述第二相机分类分布在所述多幅第二相机面部图像中被分配所述分类的第二相机面部图像中间共享；
使用所述第二相机来采集(1402)描绘未识别的对象的面部的后续面部图像；
确定(1404)所述后续面部图像中描绘的所述未识别的对象的面部的视觉属性测量结果；
基于所述后续面部图像中描绘的所述面部的所述视觉属性测量结果将所述后续面部图像分配(1406)到所述多个预定分类中的给定预定分类；
应用(1408)对所述后续面部图像的调节以生成经校准的后续面部图像，其中，应用所述调节基于与所述给定预定分类相关联的所述第一相机分类分布和所述第二相机分类分布；并且
基于所述经校准的后续面部图像的一个或多个特征与所述多幅第一相机面部图像和所述多幅第二相机面部图像中的一幅或多幅的一个或多个特征的比较来确定(1410)所述未识别的对象的身份。
20.根据权利要求19所述的系统，其中，所述第一相机分类分布包括与所述多幅第一相机面部图像中被分配所述分类的所述第一相机面部图像的RGB直方图相关联的第一统计数据，并且所述第二相机分类分布包括与所述多幅第二相机面部图像中被分配所述分类的所述第二相机面部图像的RGB直方图相关联的第二统计数据。
CN201880073289.6A 2017-09-13 2018-09-11 用于对象识别的相机和图像校准 Active CN111344713B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US62/577,946 2017-09-13
US201762577946P 2017-10-27 2017-10-27
PCT/EP2018/074436 WO2019052997A1 (en) 2017-09-13 2018-09-11 CAMERA AND IMAGE CALIBRATION FOR SUBJECT IDENTIFICATION

Publications (2)

Publication Number Publication Date
CN111344713A true CN111344713A (zh) 2020-06-26
CN111344713B CN111344713B (zh) 2024-04-16

Family

ID=63683139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073289.6A Active CN111344713B (zh) 2017-09-13 2018-09-11 用于对象识别的相机和图像校准

Country Status (5)

Country Link
US (1) US11232287B2 (zh)
EP (1) EP3682366A1 (zh)
JP (1) JP7199426B2 (zh)
CN (1) CN111344713B (zh)
WO (1) WO2019052997A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133762A (zh) * 2021-03-03 2021-07-20 刘欣刚 一种无创血糖预测方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
CN107516105B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 图像处理方法及装置
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
US11547313B2 (en) * 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
CN110769175B (zh) * 2018-07-27 2022-08-09 华为技术有限公司 一种智能分析系统、方法及装置
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
WO2020124448A1 (en) * 2018-12-19 2020-06-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3799067A1 (en) * 2019-09-30 2021-03-31 Koninklijke Philips N.V. Automatic patient record updating
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US11847778B2 (en) * 2020-08-21 2023-12-19 Apple Inc. Image capture techniques personalized to individual subjects being imaged
US11810385B2 (en) * 2020-12-28 2023-11-07 Microsoft Technology Licensing, Llc Subject identification based on iterated feature representation
TWI802906B (zh) * 2021-01-28 2023-05-21 旺宏電子股份有限公司 資料識別裝置及辨識方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218759B1 (en) * 1998-06-10 2007-05-15 Canon Kabushiki Kaisha Face detection in digital images
CN105308944A (zh) * 2013-03-13 2016-02-03 柯法克斯公司 对移动设备捕获的数字图像中的对象进行分类的系统和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242737A (ja) * 1998-02-26 1999-09-07 Ricoh Co Ltd 画像処理方法及び装置並びに情報記録媒体
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
TW200539046A (en) 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US8345030B2 (en) 2011-03-18 2013-01-01 Qualcomm Mems Technologies, Inc. System and method for providing positive and negative voltages from a single inductor
MX347895B (es) 2011-08-01 2017-05-18 Koninklijke Philips Nv Dispositivo y método para obtener y procesar lecturas de medición de un ser vivo.
CN103764019B (zh) 2011-09-02 2017-03-22 皇家飞利浦有限公司 用于生成生物的生物测量信号的相机
JP5925557B2 (ja) * 2012-03-30 2016-05-25 セコム株式会社 画像照合装置
US9002109B2 (en) * 2012-10-09 2015-04-07 Google Inc. Color correction based on multiple images
RU2653799C2 (ru) 2012-11-23 2018-05-14 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
JP6389831B2 (ja) 2013-03-06 2018-09-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイタルサイン情報を決定するためのシステム及び方法
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9805252B2 (en) * 2015-05-15 2017-10-31 Toshiba Tec Kabushiki Kaisha Video based facial recognition for customer verification at touchless checkout
JP7107932B2 (ja) 2016-11-30 2022-07-27 コーニンクレッカ フィリップス エヌ ヴェ 患者識別システムおよび方法
US10832035B2 (en) 2017-06-22 2020-11-10 Koninklijke Philips N.V. Subject identification systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218759B1 (en) * 1998-06-10 2007-05-15 Canon Kabushiki Kaisha Face detection in digital images
CN105308944A (zh) * 2013-03-13 2016-02-03 柯法克斯公司 对移动设备捕获的数字图像中的对象进行分类的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133762A (zh) * 2021-03-03 2021-07-20 刘欣刚 一种无创血糖预测方法及装置
CN113133762B (zh) * 2021-03-03 2022-09-30 刘欣刚 一种无创血糖预测方法及装置

Also Published As

Publication number Publication date
US11232287B2 (en) 2022-01-25
CN111344713B (zh) 2024-04-16
JP2020533701A (ja) 2020-11-19
WO2019052997A1 (en) 2019-03-21
US20200250406A1 (en) 2020-08-06
JP7199426B2 (ja) 2023-01-05
EP3682366A1 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
CN111344713B (zh) 用于对象识别的相机和图像校准
CN111344715B (zh) 对象识别系统和方法
CN111095264B (zh) 对象识别系统和方法
US20220036055A1 (en) Person identification systems and methods
US11900647B2 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
CN110050276B (zh) 患者识别系统和方法
Bhaskaranand et al. Automated diabetic retinopathy screening and monitoring using retinal fundus image analysis
CN110168658B (zh) 患者监测系统和方法
US20210090736A1 (en) Systems and methods for anomaly detection for a medical procedure
JP7299923B2 (ja) 個人識別システムおよび方法
WO2023068956A1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
Jere et al. Deep learning-based architecture for social anxiety diagnosis
Wang et al. Framework for facial recognition and reconstruction for enhanced security and surveillance monitoring using 3D computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant