CN111095264B - 对象识别系统和方法 - Google Patents

对象识别系统和方法 Download PDF

Info

Publication number
CN111095264B
CN111095264B CN201880053977.6A CN201880053977A CN111095264B CN 111095264 B CN111095264 B CN 111095264B CN 201880053977 A CN201880053977 A CN 201880053977A CN 111095264 B CN111095264 B CN 111095264B
Authority
CN
China
Prior art keywords
object reference
patient
detected
similarity measure
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880053977.6A
Other languages
English (en)
Other versions
CN111095264A (zh
Inventor
王海波
项翔
C·C·A·M·范宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111095264A publication Critical patent/CN111095264A/zh
Application granted granted Critical
Publication of CN111095264B publication Critical patent/CN111095264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)

Abstract

所公开的技术涉及识别数字图像中的对象。在各种实施例中，可以采集(1002)描绘区域(104)中的对象的(一幅或多幅)数字图像(420)。可以将所述(一幅或多幅)数字图像的描绘所述对象的面部的(一个或多个)部分检测(1004)为(一幅或多幅)检测到的面部图像。可以将所述(一幅或多幅)检测到的面部图像中的每幅的特征和与对象参考数据库(412)中的给定对象相关联的对象参考模板的集合中的每个对象参考模板的特征进行比较(1006)。基于所述比较，可以从与所述给定对象相关联的所述对象参考模板的集合中选择(1012)对象参考模板。然后可以确定(1014)所述(一幅或多幅)检测到的面部图像中的给定的检测到的面部图像与所选择的对象参考模板之间的(一个或多个)相似度度量。可以基于所述(一个或多个)相似度度量来确定(1016)所述对象的身份。

Description

对象识别系统和方法
技术领域
本公开总体上但不完全地涉及识别数字图像(包括数字图像流)中的人。更具体地但不完全地，本文中公开的各种方法和装置涉及识别数字图像(或其流)中的人，使得那些人可以被定位在诸如医院的等候室的区域中。
背景技术
存在其中可能期望基于捕获包含人的场景的数字图像来自动地识别人(或“对象”)的多个情景。例如，当患者访问医院时，他们通常被登记、分诊并且然后被送到诸如等候室的区域以等候诸如医师的医院资源变为可用于检查和/或处置患者。能够自动识别个体患者可以有助于当他们等候医学资源的分配时监测他们的状况(例如，是否恶化)。其也可以有助于确定患者是否在没有被看到(LWBS)的情况下离开/何时离开。基于数字图像来自动地识别人也可以在各种其他背景(诸如机场、火车站、过境处、体育馆和健身中心、各种公司等)下是有用的。
在一些背景下，可能期望识别包含多个对象的数字图像中的个体对象。例如，除等候的患者之外，由等候室中的相机捕获的数字图像可能描绘可能与患者一起等候的其他人，诸如朋友、亲属等。面部检测技术可以检测数字图像中的所有面部，但是哪些面部属于患者并且哪些属于他人可能是不清楚的。此外，诸如等候室的监测区域中的对象不太可能去看相机。代替地，他们可能看他们的手机、杂志、彼此等。因此，即使当检测到描绘的面部时，如在其原始状态中描绘的检测到的面部可能对于识别对象也是不理想的。此外，区域中的光条件可以跨时间(例如，日间对夜间)和/或跨物理空间变化。
发明内容
本公开涉及用于自动地识别在所采集的数字图像中描绘的人的方法、系统和装置。作为一个非限制性范例，多个分诊的患者可以在等候室中等候直到他们可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的紧急性的量度(在本文中被称为“患者紧急性量度”)以及其他数据点(诸如患者等候时间、患者存在性、等)来排序或排名的患者监测队列(还简单地被称为“患者队列”)中，与每个患者相关联的紧急性的量度基于由分诊护士从所述患者获得/采集的信息来确定。安装在等候室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行对来自每个患者的一个或多个更新的生命体征和/或生理参数的非接触和/或无干扰的采集。这些更新的生命体征和/或生理参数可以包括但不限于温度、脉搏率、血氧饱和度(“SpO2”)、呼吸率、姿势、出汗等。
为了识别(一个或多个)生命体征采集相机应当从其采集更新的生命体征的特定患者，本文中描述的技术可以被用于将所谓的“对象参考模板”(例如描绘对象的面部的各种不同视图的数字图像)匹配到包含在由一个或多个生命体征采集相机(例如，从相对宽的视场(“FOV”))采集的一幅或多幅数字图像中捕获的场景中的人进行匹配。更一般地，本文中描述的技术可以在各种背景下被实施以识别在数字图像(例如，单幅图像和/或数字图像流，诸如视频传送)中描绘的对象，例如通过收集与要监测的每个对象(其在本文中可以被称为“登记的对象”)相关联的对象参考模板并且稍后使用那些对象参考模板来识别随后捕获的数字图像中的对象。
通常，在一个方面中，一种方法可以包括：采集描绘区域中的对象的一幅或多幅数字图像；将所述一幅或多幅数字图像的描绘所述对象的面部的一个或多个部分检测为一幅或多幅检测到的面部图像；将所述一幅或多幅检测到的面部图像中的每个的特征和与对象参考数据库中的给定对象相关联的对象参考模板的集合中的每个对象参考模板的特征进行比较，其中，所述对象数据库存储与多个对象有关的对象参考模板；基于所述比较，从与所述给定对象相关联的所述对象参考模板的集合中选择对象参考模板；确定所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所选择的对象参考模板之间的一个或多个相似度度量；以及基于所述一个或多个相似度度量来确定所述对象的身份。
在各种实施例中，所述比较可以包括：将所述一幅或多幅检测到的面部图像应用为跨神经网络的输入以生成一个或多个对应的面部特征向量；以及将与所述给定对象相关联的所述对象参考模板的集合应用为跨所述神经网络的输入以生成多个对应的模板特征向量。在各种实施例中，所述神经网络包括卷积神经网络。
在各种实施例中，所述比较可以包括计算所述一个或多个面部特征向量与所述多个模板特征向量之间的多个距离，其中，所述计算包括针对所述多个模板特征向量中的每个模板特征向量计算相距所述一个或多个面部特征向量中的每个的距离。在各种实施例中，所述选择可以是基于所述多个距离中的最低距离的。在各种实施例中，所述方法可以还包括基于所述最低距离从所述一幅或多幅检测到的面部图像中选择所述给定的检测到的面部图像。
在各种实施例中，所述区域可以包括等候室，并且描绘所述等候室的所述一幅或多幅数字图像可以是使用被配置为捕获所述等候室的相机来采集的。在各种实施例中，所述比较可以包括将所述一幅或多幅检测到的面部图像中的每个的特征和与所述多个对象相关联的对象参考模板的多个集合中的每个的特征进行比较。在各种实施例中，所述一个或多个相似度度量可以包括：第一相似度度量，其基于与所选择的对象参考模板几何地对齐的所述给定的检测到的面部图像的版本来计算；以及第二相似度度量，其直接基于所述给定的检测到的面部图像来计算。在各种实施例中，所述对象的所述身份可以基于所述第一相似度度量和所述第二相似度度量中的较大者来确定。
应当意识到，以下更详细讨论的前述构思和额外的构思的所有组合(假设这些构思不相互矛盾)被预期为本文所公开的主题的部分。具体而言，出现在本公开的结束处的请求保护的主题的所有组合被预期为本文中公开的主题的部分。还应当意识到，也可以出现在通过引用并入的任何公开中的本文明确采用的术语应该被赋予与本文中公开的具体构思最一致的含义。
附图说明
在附图中，相似的附图标记贯穿不同视图通常指代相同的部分。而且，附图不必是按比例的，而是通常将强调放在图示本公开的原理上。
图1示意性地图示了根据各种实施例的用于使用所公开的技术监测数字图像中识别的患者的总体过程流。
图2图示了根据各种实施方式的其中本公开的各种部件可以实施本公开的选定方面的范例环境。
图3描绘了根据各种实施例的所公开的技术可以被实践于其中的范例情景。
图4描绘了用于执行本公开的各个方面的范例部件和操作。
图5描绘了根据各种实施例的可以如何从收录数字图像生成对象参考模板的范例。
图6描绘了根据各种实施例的可以如何检测进入和/或离开相机的视场的对象的范例。
图7描绘了根据各种实施例的检测到的面部图像可以如何规范化(例如，到为正面)的一个范例。
图8比图5更详细地描绘了根据各种实施例的可以如何从收录数字图像中选择对象参考模板的范例。
图9描绘了根据各种实施例的可以如何在正被监测的区域中识别对象的一个范例。
图10描绘了根据各种实施例的用于执行本公开的选定方面的范例方法。
图11描绘了范例计算机系统的部件。
具体实施方式
图1总体上示意性地图示了可以如何使用所公开的技术监测患者。具体地，描绘了可以在预等候室区域中(诸如在(一个或多个)预等候室区域102处)发生的操作和动作，其可以包括接待和/或登记，和/或分诊站或台。此外，描绘了可以在等候室104中发生的操作和动作。应当理解，图1的顺序不旨在为限制性的，并且其他顺序是可能的。
在框106处，新患者可以进入和/或接近(一个或多个)预等候室区域102，例如在接待台(未描绘)报到之后。在框108处，可以登记新患者。登记可以包括，例如，收集关于患者的信息，例如患者的姓名、年龄、性别、保险信息和访问原因。通常但不完全地，该信息可以由诸如接待员或登记员的医学人员手动输入计算机中。在一些实施例中，患者的一幅或多幅参考数字图像可以例如由与由分诊护士操作的计算设备集成的相机、由独立相机和/或由生命体征采集相机(在这种情况下，可以在登记时任选地采集至少一些生命体征)来采集。如下面将更详细地描述的，在一些实施例中，在框108处在登记期间由相机采集的数字图像可以被称为“收录数字图像”。这些收录数字图像的子集，以及在一些情况下，这些图像的描绘例如面部的选定子部分，可以选择性地被保持为可以稍后被用于识别诸如等候室104的区域中的患者(或更一般地，“对象”)的“对象参考模板”。
在许多情况下，分诊护士此外可以使用各种医学仪器在框110处采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可以包括但不限于血压、脉搏、葡萄糖水平、SpO2、光体积描记图(“PPG”)、呼吸率(例如呼吸速率)、温度、肤色等。尽管未在图1中描绘，但是在一些实施例中，也可以在分诊时收集其他信息，例如采集/更新患者的病史，确定患者过敏，确定患者对药物的使用等。在一些实施例中，可以为患者分配所谓的“患者紧急性量度”，其可以是用于对患者疾病的严重性进行排名的量度，并且在一些情况下可以指示对急诊室资源的预期需要。可以使用任何数量的常用指标和/或临床医师决策支持(“CDS”)算法来确定和/或分配患者紧急性量度，包括但不限于紧急严重性指数(“ESI”)、中国台湾分诊系统(“TTS”)、加拿大分诊和紧急性量表(“CTAS”)等。例如，在一些实施例中，可以将患者的生命体征与存储在系统数据库中的预定义生命体征阈值进行比较，或与通常针对给定患者年龄、性别、体重等的已发布或已知生命体征值进行比较，以确定患者的初始患者紧急性量度和/或患者在患者队列中的初始位置。在一些实施例中，可以将关于患者的各种生理信息和其他信息应用为跨以下的输出：训练模型(例如，回归模型、神经网络、深度学习网络等)、基于病例的推理算法或其他临床推理算法，以导出一个或多个紧急性量度。在一些实施例中，用于导出紧急性量度的信息可以包括或甚至完全限于可以由生命体征采集相机捕获的生命信息或其他信息。在一些实施例中，用于导出紧急性量度的信息可以备选地或额外地包括诸如以下项的信息：来自患者的先前电子病历(“EMR”)的信息、分诊时从患者采集的信息、来自可穿戴设备或由患者携带的其他传感器的信息、关于等候室中的其他患者或人的信息(例如，房间中的其他人的生命信息)、关于家庭成员的信息或与患者相关联的其他信息(例如，家庭成员EMR)等。
在框112处，一旦患者被登记和/或被分诊，患者可以被送到等候室104。在许多情景下，图1的操作可以以稍微不同的顺序发生。例如，在一些实例中，患者可以首先被登记，然后去等候室直到他们可以被分诊，并且然后在分诊之后的某个时间(要么立即要么在被送回等候室之后)被送到医生。在一些情况下，诸如在紧急情况(例如，在灾难期间)下，患者可以直接去分诊并且然后到医生，并且可以仅当患者已经稳定时稍后被登记。
在框114处，可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开等候室。框114可以包括扫描当前在等候室内的每个人(例如，作为寻求功能的部分，一旦患者处于要捕获生命信息的患者的队列的顶部，则所述寻求功能尝试定位患者，例如下面描述的框120的运行，或循环通过房间中的每个人以捕获生命信息，如包括下面描述的框118和120的回路的多次运行)并确定患者未被定位。在一些实施例中，系统可以在患者被认为已经离开等候室以考虑临时缺席(例如，去洗手间或与临床工作人员交谈)之前等候直到达到患者缺失的预定实例数量或已经过去了在其期间患者缺失的预定时间量。例如，患者可能已经被送进ER中心，因为轮到他们看医生了。或者，患者的状况在他们等候时可能已经改进，从而导致他们离开医院。或者，患者可能已经变得不耐烦并且离开而到其他地方寻求护理。无论什么原因，一旦确定患者已经离开等候室至少阈值时间量，在框116处，患者就可以被认为是已经在没有被看到的情况下离开并且可以从系统中释放，例如，通过将他们从登记的患者被输入其中的队列中移除。
在框118处，等候室104中的一个或多个患者可以被选择用于监测。例如，在一些实施例中，存储在框108-110处获得的登记信息的数据库(例如，图4中的对象参考数据库412)可以被搜索以选择具有最高患者紧急性量度的患者或具有最近尚未被监测的测量的最高紧急性的患者，如可以由针对所有患者设置的或基于紧急性量度设置(例如，反相关)的时间阈值确定的。在其他实施例中，除了或代替诸如等候时间、患者在等候室中的存在(例如，可以选择缺失的患者以更频繁地监测来确定是否应当在重复缺席的情况下释放他们)等的其他量度，与等候室中的多个患者相关联的登记信息可以例如通过他们各自的患者紧急性量度被排名在患者监测队列中。在另外的其他实施例中，在对患者监测队列进行排名时可以不考虑患者紧急性量度，而是代替地可以仅考虑患者等候时间、患者存在等的考虑。在另外的其他实施例中，患者可以简单地例如按例如通过等候室104中的椅子或长椅的序列指示的预定扫描顺序来逐个地选择。
然而，这样的患者监测队列被排名，在一些实施例中，队列中的第一患者可以被选择为接下来要监测的患者。不要求(尽管可能)患者监测队列被存储在按患者紧急性量度排序的物理存储器位置的序列中。而是，在一些实施例中，排名的患者监测队列可以仅仅包括与每个患者相关联的排名或优先级水平值。换句话说，如本文所描述的“患者监测队列”可以指代基于患者紧急性量度、等候时间等在逻辑上排名的“逻辑”队列，而不一定是连续的存储器位置序列。可以在框118处按他们在患者监测队列中的相应排名来选择患者以进行监测。
在框120处，在框118处选择的患者可以被定位在等候室104中。在各种实施例中，被部署在等候室104中或附近的一个或多个相机(诸如一个或多个生命体征采集相机(未在图1中描绘，参见图2和图3)或其他更多个常规相机)可以被操作(例如，平移、倾斜、缩放等)以采集等候室104中的患者的一幅或多幅数字图像。如下面将更详细地描述的，那些采集的数字图像可以与在框108处的登记期间捕获的一幅或多幅参考患者图像(常常地在本文中被称为“对象参考模板”)进行比较。在一些实施例中，使用机器学习模型(诸如经训练的卷积神经网络)提取的那些采集的数字图像的特征可以与类似地提取的与登记的患者相关联的对象参考模板的特征进行比较。
在框122处，可以操作安装或以其他方式部署在等候室104中或附近的一个或多个生命体征采集相机，以执行对来自在框118处选择并且在框120处定位的患者的一个或多个更新的生命体征和/或生理参数的无干扰(例如，非接触)采集。这些生命体征采集相机可以被配置为从患者采集(在不与患者物理接触的情况下)各种不同的生命体征和/或生理参数，包括但不限于血压、脉搏率(或心率)、肤色、呼吸率、SpO2、温度、姿势、出汗水平等。在一些实施例中，生命体征采集相机可以被装备为执行所谓的“非接触方法”以从患者采集生命体征和/或提取生理信息，可以用作医学图像设备。这样的相机的非限制性范例在美国专利申请公开No.20140192177A1、20140139656A1、20140148663A1、20140253709A1、20140235976A1和美国专利No.US9125606B2中描述，出于全部目的通过引用将这些公开并入本文。
在框124处，可以例如由(下面描述的)图2中描绘的一个或多个部件，基于在框122处采集的(一个或多个)更新的生命体征和/或生理参数与先前采集的生命体征和/或生理参数(例如，在框110处采集的初始生命体征或由生命体征采集相机采集的更新的生命体征/生理参数的先前迭代)的比较来确定患者的状况是否已经改变。例如，可以确定患者的脉搏率、呼吸率、血压、SpO2、PPG、温度等是否在患者已经等候时已经增大或减小。如果回答为否，则控制可以行进返回到框118，并且可以选择新患者(例如，具有下一个最高患者紧急性量度的患者)并且控制可以行进返回到框120。然而，如果在框124处的回答为是(即，患者的状况已经改变)，然后控制可以转到框126。在一些实施例中，患者的状况可以(至少部分地)由用于确定监测顺序的目的的相同紧急性量度表示。
在框126处，可以(再次，由图2的一个或多个部件)基于在框124处检测到的改变来确定医学警告是否有必要。例如，可以确定一个或多个生命体征或患者紧急性量度的改变是否满足一个或多个阈值(例如，具有增加到对该特定患者而言认为安全的水平以上的血压？)。如果回答为是，则控制可以转到框128。在框128处，可以向值班护士或其他医学人员输出患者正在恶化的警报。然后，医学人员可以检查患者以确定是否有必要进行补救动作，例如立即进入ED以看医生。在一些实施例中，控制然后可以返回到框118。然而，如果框126处的回答为否，则在一些实施例中，控制可以返回到框118。
图2描绘了根据各种实施例的可以用于实践所公开的技术的范例部件。医院信息系统240可以是在医院、医生办公室等中常见的类型。医院信息系统240可以使用一个或多个计算系统来实施，所述一个或多个计算系统可以或可以不经由一个或多个计算机网络(未描绘)连接。尤其，医院信息系统240可以包括登记模块242、分诊模块244、释放模块246和警报模块248。模块242-248中的一个或多个或本文描述的任何其他模块或引擎可以使用硬件和软件的任何组合(包括运行存储在存储器中的指令的一个或多个微处理器)来实施。例如，登记模块242可以包括实施本文结合在处理器上运行的登记而描述的功能的登记指令，而分诊模块244可以包括实施本文结合在相同处理器上运行的分诊而描述的功能的分诊指令。类似的底层硬件和软件可以用于实施本文描述的其他“模块”。
登记模块242可以被配置为接收新患者的登记信息，例如作为来自值班护士的手动输入。这可以包括例如患者的姓名、年龄、保险信息等。分诊模块244可以被配置为接收诸如上述生命体征的生命体征和/或其他生理数据(例如体重、身高、患者访问的原因等)，例如作为来自值班护士或直接来自联网医学设备的手动输入。在各种实施例中，由分诊模块244接收的生命体征和/或患者紧急性量度(例如，图2中的ESI)可以与由登记模块242接收的对应患者信息相关联，例如，在与医院信息系统240相关联的一个或多个数据库(未描绘)中。
警报模块248可以被配置为接收指示诸如患者恶化的各种事件的信息，并且作为响应发出各种警报和/或警告。可以使用各种模态输出这些警报和/或警告，包括但不限于视觉输出(例如，在医院人员可见的显示屏上)、内部通信公告、文本消息、电子邮件、音频警告、触觉警告、页面、弹出窗口、闪烁灯等。医院信息系统240的模块242-248可以例如经由一个或计算机网络(未描绘)可操作地耦合到医院信息系统接口250(图2中的“H.I.S.接口”)。
医院信息系统接口250可以用作传统医院信息系统240与配置有本公开的选定方面的患者监测系统252之间的接口。在各种实施例中，医院信息系统接口250可以例如向患者监测系统252的其他模块发布关于患者的各种信息，诸如登记信息、患者紧急性量度(例如，ESI)、处方和/或施用的药物、患者是否已经被释放、各种警报/警告等。如下面将描述的，在一些实施例中，这些发布可以被提供给事件发布和订阅(“EPS”)模块270，其然后可以选择性地将它们存储在数据库272中和/或选择性地将它们发布到患者监测系统252的其他模块。在一些实施例中，医院信息系统接口250可以额外地或备选地订阅由其他模块提供的一个或多个警告或发布。例如，医院信息系统接口250可以订阅来自恶化检测模块268的警告，例如，使得医院信息系统接口250可以向医院信息系统240的适当部件(例如警报模块248)通知患者正在恶化。EPS是可以被用于系统部件之间的通信的许多可能协议中的仅仅一个，并且不旨在为限制性的。
患者监测系统252可以包括各种部件，其便于监测诸如等候室104的区域中的患者，以确保以有助于他们的实际医学状况的方式服务患者。专利监测系统252可以包括例如与一个或多个相机256接口连接的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、前述EPS模块270以及一个或多个数据库272、274。如上所述，模块250、254和258-270中的每个可以使用硬件和软件的任何组合来实施。并且，尽管这些模块是分开描绘的，但这并不意味着限制或表明每个模块都是在硬件的单独的片上实施的。例如，可以组合和/或省略一个或多个模块，并且可以在经由一个或多个计算机网络(未描绘)可操作地连接的一个或多个计算系统上实施一个或多个模块。描绘的连接图2的各种部件的线可以表示可访问这些部件的通信信道。这些通信信道可以使用任何数量的网络或其他计算机通信技术(例如一个或多个总线、以太网、Wi-Fi、蓝牙、Z-波、ZigBee、蜂窝通信等)来实施。
患者监测系统252还可以包括一个或多个生命体征采集相机276，其被配置成从相距患者的一定距离采集患者的一个或多个生命体征和/或生理参数。上面描述了这种生命体征采集相机的范例。在各种实施例中，生命体征采集相机276可以是平移-倾斜-缩放(“PTZ”)相机，其可操作用于平移、倾斜和缩放，使得诸如等候室104的区域的不同部分被包含在其FOV内。以这种方式，能够扫描被监测的区域以定位不同的患者，使得可以无干扰地采集更新的生命体征和/或生理参数。
患者捕获模块254可以从一个或多个相机256接收承载患者的捕获的图像数据的一个或多个信号。例如，在一些实施例中，患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如，面部检测、分割、检测人类形式的形状检测等)以检测何时患者存在，并且可以响应于该检测而捕获患者的一幅或多幅参考数字图像(例如，下面描述的收录数字图像)。在一些实施例中，可以以比视频流的个体帧更高的分辨率捕获参考数字图像，但这不是必需的。在一些实施例中，相机256可以是独立相机，诸如网络摄像头、PTZ相机(例如，276)等，其被部署在(一个或多个)预等候室区域102中或附近。由相机276捕获的收录数字图像的子集可以被用于生成与登记的患者(并且更一般地“对象”)相关联的对象参考模板并且稍后被用于识别被监测的区域中的登记的患者。
患者队列模块258可以被配置为建立和/或维持区域中的患者应当被监测的顺序的(例如，数据库中的)优先级队列。在各种实施例中，可以通过各种参数对队列进行排序。在一些实施例中，队列中的患者可以按患者紧急性量度的顺序(即，按优先级)进行排名。例如，与较不危重的患者相比，最危重的患者可以更频繁地被放置在队列的前面。在一些实施例中，可以按队列的顺序从在被监测的区域(例如等候室104)中等候的患者采集更新的生命体征。在其他实施例中，可以按FIFO或轮循顺序从患者采集更新的生命体征。在其他实施例中，可以按与编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集更新的生命体征(例如，按顺序扫描每排椅子)。
患者识别模块260可以被配置有本公开的选定方面以使用由生命体征采集相机276(或未被配置为无干扰地采集生命体征的另一相机)捕获的一幅或多幅数字图像结合由患者捕获模块254捕获的对象参考模板来定位被监测的区域(例如，等候室104)中的一个或多个患者。患者识别模块260可以使用下文所描述的各种技术分析所采集的数字图像以识别和定位患者(对象)。下面所描述的图4-10说明了可以被用作在任何背景下辨别/识别/定位患者(或更一般地对象)的部分的各种技术的各个方面。
在一些实施例中，患者识别模块260可以搜索被监测的区域是否有从其获得更新的生命体征的特定患者。例如，患者识别模块260可以搜索被监测的区域是否有由患者队列模块258选择的患者，所述患者可以是例如队列中具有最高患者紧急性量度的患者。在一些实施例中，患者识别模块260可以使(一个或多个)生命体征采集相机276扫描被监测的区域(例如，等候室104)，直到识别出所选择的患者。
动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用并根据需要校准它们。例如，动态校准模块262可以确保每当指导生命体征采集相机276指向特定PTZ位置时，其总是指向精确相同的位置。PTZ相机可以是持续或至少频繁运动的。因此，它们的机械部件可能遭受磨损。小的机械误差/偏差可能累积并导致生命体征采集相机276随时间不同地响应于给定的PTZ命令。动态校准模块262可以例如通过偶尔运行校准例程来校正这一点，其中，可以使用界标(例如，诸如墙壁上的小贴纸的标记)来训练将使生命体征采集相机276适当地响应的校正机构。
一旦由患者队列模块258识别的患者由患者识别模块260识别/定位，则面部/躯干采集模块264可以被配置为平移、倾斜和/或缩放一个或多个生命体征采集相机276，使得其视场捕获患者的期望部分。例如，在一些实施例中，面部/躯干采集模块264可以平移、倾斜或缩放生命体征采集相机276，使得其聚焦于患者的面部和/或上躯干上。额外地或备选地，面部/躯干采集模块264可以平移、倾斜或缩放一个生命体征采集相机276以主要地捕获患者的面部，并且平移、倾斜或缩放另一个以主要地捕获患者的躯干。可以然后采集各种生命体征和/或生理参数。例如，可以例如由生命体征测量模块266通过在由(一个或多个)生命体征采集相机276捕获的患者的面部的视频上执行图像处理来获得生命体征，诸如患者的脉搏率和SpO2。可以例如由生命体征测量模块266通过在由(一个或多个)生命体征采集相机276捕获的患者的躯干的视频上执行图像处理来获得生命体征和/或生理参数，诸如患者的呼吸率等。当然，面部和躯干仅是可以被检查以获得生命体征的身体部分的两个范例，并且不意味着限制。
恶化检测模块268可以被配置为分析各种信号和/或数据以确定登记的患者(或甚至未登记的同伴)的状况是否正在恶化、改善和/或保持稳定。在一些实施例中，患者状况可以至少部分地由上面描述的用于确定用于监测的患者的顺序的相同患者紧急性量度来表示。因此，恶化检测模块268可以包括一个或多个CDS、基于病例的推理、或如本文所述的其他临床推理算法或用于评估除了本文描述的紧急性量度之外的患者状况量度的其他临床推理算法(例如，训练的逻辑回归模型或其他机器学习模型)。在一些实施例中，用于评估由恶化检测模块268采用的患者紧急性或患者状况的其他量度的算法可以通过例如为选定的机器学习模型写入新的训练的权重(例如，西塔值)或提供用于由处理器运行的新指令(例如，以java档案、JAR、文件或编译库的形式)来不时地更新。这些信号可以包括例如患者的初始生命体征和其他生理信息(例如，在图1的框108-110处获得的)、由生命体征测量模块266获得的更新的生命体征、患者的初始患者紧急性量度(例如，在登记期间计算的)，和/或患者的更新的患者紧急性量度(例如，基于从生命体征测量模块266接收的更新的生命体征和/或生理参数计算的)。
基于使用这些数据和/或信号进行的确定，恶化检测模块268可以向各种其他模块发送各种警告以采取各种动作。例如，恶化检测模块268可以例如通过以下操作来发布警告：向EPS模块270发送警告使得EPS模块可以将警告发布到订阅的模块，诸如医院信息系统240的警报模块248。在一些实施例中，这样的警告可以包括例如患者的姓名(或更一般地，患者标识符)、图片、实况视频流、患者在等候室中最后检测到的位置、基线生命体征、一个或多个更新的生命体征和/或患者的紧急性量度的指示。在接收到警告时，警报模块248可以向医学人员发出如下警告或警报：患者的恶化，以及还有，患者在等候室中最后检测到的位置等。
EPS模块270可以是通用通信集线器，其被配置为分配由图2的各种其他部件释放的事件。在一些实施例中，图2中描绘的其他模块中的所有或至少一些可以生成指示来自该模块的某种形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的其他模块中的所有或一些可以选择接收或“订阅”来自任何其他模块的任何事件。当EPS模块270接收到事件时，其可以将指示事件的数据发送(例如，将事件转发)到已经订阅该事件的所有模块。
在一些实施例中，EPS模块270可以与一个或多个数据库(诸如数据库272和/或档案274(其可以是任选的))通信。在一些实施例中，EPS模块270可以接受来自任何模块的远程过程调用(“RPC”)以提供对存储在一个或多个数据库272和/或274中的信息的访问，和/或将从其他模块接收到的信息(例如，警告)添加到数据库272和/或274。数据库272(其在一些实施例中可以与对象参考数据库412相同)可以存储由图2中的一个或多个其他模块发送/广播/传送的警告、发布或其他通信中包含的信息。在一些实施例中，数据库272可以存储例如与患者相关联的对象参考模板和/或其初始生命体征、(由生命体征采集相机276采集的)更新的生命体征和/或患者紧急性量度。在一些实施例中，任选的档案274可以在更长的时间段内存储相同或相似的信息。
将显而易见的是，可以利用各种硬件装置来实施患者监测系统252。例如，在一些实施例中，单个设备可以实施整个系统252(例如，单个服务器来操作相机276以执行生命体征采集功能260-266并执行包括恶化检测268和患者队列管理258的(一个或多个)生命体征分析和警告功能)。在其他实施例中，多个独立设备可以形成系统252。例如，第一设备可以驱动生命体征采集相机276并实施功能260-266，而(一个或多个)其他设备可以执行其余功能。在一些这样的实施例中，一个设备可以在等候室本地而另一个设备可以是远程的(例如，被实施为地理上遥远的云计算架构中的虚拟机)。在一些实施例中，设备(例如，包括处理器和存储器)可以被设置在生命体征采集相机276自身内，并且因此，相机276可以不简单是哑的外围设备，而是可以执行生命体征功能260-266。在一些这样的实施例中，另一服务器可以向相机276提供指示(例如，标识符、完整记录或登记的面部图像)以请求返回生命信息以供进一步处理。在一些这样的实施例中，可以在相机276上机载地提供额外的功能，例如，可以在相机276上机载地执行恶化检测268(或其预处理)和/或患者队列模块258管理。在一些实施例中，相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。
图3图示了其中所公开的技术可以被实施为出于监测目的识别等候室304中的患者378A-C的范例情景。在该范例中，三个患者378A-C正在医院等候室304中等候由医学人员380医治。两个视频相机376A、376B被安装在等候室304的表面(例如，天花板、墙壁)上。两个视频相机376A、376B可以被用于监测等候室304中的患者378。患者378A-C均可以基于初步患者状况分析由分诊医学人员(未描绘)分配以患者紧急性量度。当患者378等候主治医师时，两个视频相机376A、376B可以捕获(一幅或多幅)数字图像，所述数字图像使用本文所描述的技术来分析以识别被选择用于监测的患者。相同的视频相机(假定其被配置为无干扰地采集生命体征)或不同的视频相机可以然后被操作为监测如上文所描述的患者378，例如，以检测患者恶化。在一些实施例中，可以响应于由患者监测系统(更具体地，恶化检测模块268)对患者已经恶化的检测而由医学人员更新与患者相关联的患者紧急性量度。在各种实施例中，当新患者进入等候室304中时，可以(例如，由患者监测系统252)执行新一轮的患者监测和优先化。每次新患者进入等候室304时，患者队列可以例如通过患者队列模块258自动地更新。额外地或备选地，医学人员可以手动地更新患者队列以包括在分诊之后的新到达的患者。
在本文中所描述的技术不限于医院等候室。存在其中本文所描述的技术可以被实施为识别/定位数字图像或视频中的对象的许多其他情景。例如，所公开的技术还可以被用于机场、竞技场、过境处和其他公共场所内的人群的安全监测。在这样的情形下，不是监测患者以确定患者紧急性量度，而是可以出于其他目的(诸如风险评估或事件后调查)识别对象。本文所描述的技术还可以适用于诸如在健身环境(例如，体育馆、疗养院)中的情景或其中可以实施数字图像中所描绘的个体对象的识别的其他监控情景(例如，机场、过境处等)中。例如，在机场中，在登机口处等候的对象可以例如通过将在登机口处等候的对象的图像与在登记处获得的对象参考模板进行比较来识别。此外，本文所描述的技术可以被用于在不要求患者的面部可见的情况下识别在没有被看到的情况下离开的患者。
图4以相对高的水平示意性地描绘了被配置有本公开的选定方面的部件的范例，以及那些部件之间的范例交互。在各种实施例中，这些部件中的一个或多个可以使用硬件和软件的任何组合实施，例如，作为图2中的患者监测系统252的部分并且具体地作为患者捕获模块254和患者识别模块260的部分。例如，图4的部件可以在图1的框108处被用于将诸如患者的对象登记在对象参考数据库412中。与对象的收录信息(例如，年龄、性别、姓名、初始生命体征等)一起，包括来自多个视图(例如，不同的角度、不同的面部表情、不同的照明条件、不同的头部位置等)的对象的面部的数字图像的任何数量的“对象参考模板”可以(例如，通过医学记录编号(“MRN”))被选择并且与对象参考数据库412中的对象相关联。这些对象参考模板(并且如下所述，从这些对象参考模板生成的模板特征向量)然后可以稍后(例如，由患者识别模块260)用于使用捕获其视场中的等候室的另一相机(例如，生命体征采集相机276、376)识别诸如等候室的区域中的对象。一旦对象被识别，对象的位置可以被用于各种目的，诸如由医学人员接触、使生命体征无干扰地被采集等。
从右下开始，描绘了根据各种实施例的收录例程402，其包括用于收录新登记的对象(例如，将新患者登记和/或分诊)并且将该对象添加到对象参考数据库412的操作。第一相机456可以被配置为捕获在本文中将被称为“收录”数字图像404(例如，个体图像和/或图像流，诸如视频流)的事物中的一个或多个。在一些实例中可以对应于图2中的相机256的第一相机456可以采取各种形式，诸如被定位在收录区域(例如，登记和/或分诊)中的网络摄像头、与由收录人员(例如，分诊护士)操作的计算设备集成的相机等。该图像捕获可以对于收录人员和对象两者是非侵入的，因为其可以在具有很少或没有人类介入的情况下自动地发生(但是这不意味着限制)。
在框406处，(一幅或多幅)收录数字图像404可以被分析(例如，由与相机456可操作地耦合的一个或多个计算系统(例如，图2中的患者捕获模块254))以检测数字图像404的描绘当前被定位在收录区域(例如，登记和/或分诊)中的对象的面部的一个或多个部分。图6说明了用于检测对象的面部的一个范例技术。其他技术可以包括例如基因算法、特征脸技术等。在一些实施例中，(一幅或多幅)收录数字图像404中的一幅或多幅可以被裁剪或以其他方式被改变以聚焦于对象的面部，但这不是必要的。
在框408处，可以从多幅收录数字图像404中选择描绘对象的面部的多个不同视图的收录数字图像的子集。所选择的子集可以被用于生成被用于稍后视觉地识别/定位对象的对象参考模板。在一些实施例中，被用于生成对象参考模板的收录数字图像的子集可以基于足够地不相似于一幅或多幅其他收录数字图像而被选择。下面图5和图8说明了用于选择用于生成对象参考模板的收录图像的子集的范例技术。
在一些实施例中，在框409处，在框408处生成的对象参考模板可以被应用为跨机器学习模型(诸如卷积神经网络)的输入，以生成本文中所谓的“模板特征向量”。这些模板特征向量可以包括除了或代替对象参考模板的原始数据的各种特征。具体地，卷积神经网络最近已经示出了优于其他面部识别方法的改进。卷积神经网络可以利用包括各种头部姿势、面部表情、照明条件等的数百万(更多)幅面部图像来训练，以确保卷积神经网络可用于生成比单独源图像更有辨别力的模板特征向量(和下面描述的其他特征向量)。在一些实施例中，卷积神经网络可以包括一堆卷积、规则化和池化层。在一些实施例中，一个或多个图形处理单元(“GPU”)可以被用来执行使用卷积神经网络的特征提取，因为它们可以能够比标准中央处理单元(“CPU”)更高效地这样做。
在O.M.Parkhi,A.Vedaldi,A.Zisserman的Deep Face Recognition(BritishMachine Vision Conference(2015))、Yaniv Taigman,Ming Yang,Marc’AurelioRanzato,Lior Wolf的DeepFace:Closing the Gap to Human-Level Performance inFace Verification(IEEE International Conference on ComputerVision and PatternRecognition(2014))和Florian Schroff,Dmitry Kalenichenko,James Philbin的FaceNet:A Unified Embedding for Face Recognition and Clustering(IEEEInternational Conference on ComputerVision and Pattern Recognition(2015))中描述了可以被用来生成所描述的各种特征向量以及它们可以如何被训练的合适的卷积神经网络的范例。在各种实施例中，卷积神经网络可以通过最小化最后一个网络层处的softmax损失来训练，其中每个对象身份作为独特类标签。该损失然后可以被反向传播到所有先前的层，以逐步地更新每个层中的所有系数。反向传播可以被迭代地执行例如数千次。在每个迭代期间，少至几十或数百幅面部图像可以从收集的要被用于损失最小化的数百万幅训练面部图像中被随机地采样。
在框410处，所生成的对象参考模板和对应的模板特征向量可以例如与对象相关联地被存储在对象参考数据库412中。在各种实施例中，所生成的对象参考模板和模板特征向量可以(例如，通过前述MRN)与关于对象的信息相关联地被存储在对象参考数据库412中。更一般地，对象参考数据库412可以存储与多个对象(诸如可能正等候医学处置的等候室104中的多个登记的患者)有关的对象参考模板(和相关联的模板特征向量)。在其他实施例中，与登记的对象相关联的模板特征向量可以根据需要被生成。
在左上处描绘了可以例如由图2的患者识别模块260使用可以或可以不采取先前描述的生命体征采集相机的形式的另一相机476执行的对象识别例程418。患者识别例程418可以在各种时间处响应于各种事件而被周期性地、连续地等执行。在一些实施例中，作为对象监测例程414的部分，对象可以被搜寻出，其中诸如护士的人员发出寻求定位特定对象的查询。在其他实施例中，对象识别例程418可以被连续地执行作为先前描述的正在进行的工作的部分，以监测患者的紧急性。在一些实施例中，相机476可以被循环通过每个检测到的对象以确定检测到的对象的身份，并且将它与检测到的对象的位置相关联。
对象识别例程418可以以对数字图像420(例如，视频流)的采集开始，该数字图像(例如，视频流)描绘查询的一个或多个对象通常被认为处于的区域，诸如等候室104。在框422处，(一幅或多幅)数字图像420的描绘区域中的特定对象的面部的一个或多个部分可以(例如，由患者识别模块260)被检测为在本文中将被称为“检测到的面部图像”的事物。在各种实施例中，框422的操作可以被连续地执行和/或可以通过对来自患者监测例程414的对象查询的接收来触发。与在框406处应用的类似的用于面部检测的技术可以在框422处应用，并且将在下面更详细地描述。
在一些实施例中，在框423处，可以选择在框422处生成的一幅或多幅检测到的面部图像的子集(或“关键帧”)，其表示检测到的对象的面部的描绘的最大变化，例如，描绘不同的姿势、位置、照明、面部表情等。在一些实施例中，与在图8中描绘的过程类似的过程可以被用于选择检测到的面部图像的子集(或“关键帧”)。在框424处，可以执行一个或多个操作以对检测到的面部图像中所描绘的面部进行规范化。例如，在一些实施例中，几何扭曲和/或其他类似技术可以被用于将检测到的面部规范化为在正面视图处或附近。下文图7说明了用于将检测到的面部规范化的一个范例技术。因此，框424的输出可以是正被监测的区域中的特定对象的一系列规范化的检测到的面部图像。
在框426处，在本文中被称为“姿势自适应识别”的过程可以被用来通过将特定对象匹配到对象参考数据库412中的登记的对象来确定特定对象的身份。姿势自适应面部图像匹配的过程通常涉及递增地(例如，以循环方式)将一幅或多幅检测到的面部图像(其可以或可以不被姿势规范化)和与多个登记的对象中的每个相关联的对象参考模板进行匹配。在一些实施例中，两阶段方法可以在每个循环增量中被用来确定检测到的对象与当前考虑的登记的对象之间的一个或多个相似度度量。
在第一阶段中，对应于当前考虑中的登记的对象的每个对象参考模板的特征可以与检测到的面部图像(描绘检测到的对象的面部)中的每幅的特征进行比较以识别最相似的图像对。因此，即使当前考虑的登记的对象实际上不匹配检测到的对象，然而最接近的图像对也将会被识别。在一些情况下，最接近的图像对将会是具有最相似的姿势(例如，位置、表情等)的两幅图像，即使对象在其他方面看起来不同。
然后，在第二阶段中，最相似的图像对(即，具有最相似的特征的检测到的面部图像和与当前考虑的登记的对象相关联的对象参考模板)可以使用各种图像比较技术(诸如模板匹配、直方图生成和比较、感知哈希、边缘检测加分割、共生矩阵、训练的神经网络等)来进行比较，以确定一个或多个相似度度量。检测到的对象与当前考虑中的登记的对象之间的这些一个或多个相似度度量然后可以与(在循环的其他迭代期间)在检测到的对象与其他登记的对象之间确定的相似度度量进行比较。具有(一个或多个)最高相似度度量的登记的对象可以被识别为检测到的对象。在框428处，检测到的对象的身份和/或检测到的对象的位置(例如，对象位于的具体位置，诸如等候室中的座位)可以被提供作为输出。用于姿势自适应识别的一个范例过程将结合图9详细地描述。
图5描绘了根据各种实施例的可以如何实施图4的收录例程402的工作流程的各个方面的一个范例。如上文所描述的，相机456可以采集收录数字图像404，例如，作为视频流。在一些实施例中，收录数字图像404可以描绘收录(例如，分诊)区域，但是不要求这一点。可以在各种计算设备(诸如与收录区域中或附近的相机456可操作地耦合的计算设备)处执行图5中所描绘的操作。
在其中新对象被评估(例如，临床评估)的收录(例如，分诊)区域中，针对由相机456捕获的每幅新收录数字图像(例如，视频流的帧)，分别地在框502和504处，可以并行执行(例如，新面部的)面部检测和(例如，在先前的收录数字图像中检测到的面部的)面部跟踪。这确保收录区域中的每个对象的面部被检测到，无论哪个对象首先进入。对于每个新检测到的面部，在框506处，发动新面部跟踪器。该新面部跟踪器将在下一个图像帧处开始其分析。然后，在框508处，新检测到的面部被规范化例如到接近正面视图(在图7中更详细地说明了规范化)。
在一些实施例中，该规范化的检测到的面部可以被视为对象模板候选。然后，如果任何还存在的话，(例如，在框510处)新对象参考模板候选可以与(例如，从先前的图像帧采集的)现有对象参考模板候选进行比较。各种准则可以被用于确定是保持新对象参考模板候选(例如，作为另一先前捕获的对象参考模板候选的替换)，还是丢弃新对象参考模板候选。最终，仅最具代表性的对象参考模板候选可以被选择并且被保留在对象参考数据库412中。图8更详细地说明了收录数字图像可以如何被选择(510)用于在生成对象参考模板中使用的一个范例。
现在转到面部跟踪框504，针对每个收录图像帧中先前检测到的每个跟踪面部，在框512处，可以确定对应的对象是否正在离开相机的视场。图6描绘了可以如何做出对象是否正在离开的确定的一个范例。如果在框512处的回答为是，那么操作返回转到框504并且选择下一个跟踪面部。如果在框512处的回答为否，那么在框514处，可以执行单应估计，例如，以估计当前收录图像帧中的跟踪面部的三维头部姿势。基于所估计的姿势，可以在框516处“正面化”当前帧中的跟踪面部图像(移除面部外观上的姿势效果)。控制可以然后转到框508。
图6说明了用于例如在收录期间(例如，在框406处)或稍后在对象监测期间(例如，在框422处)检测对象的面部的一个范例技术。相机的视场(“FOV”)640被示出，并且可以与本文所描述的任何相机(诸如相机456或相机476)相关联。图6图示了对象(642A)进入和对象(642B)离开两者的检测。这两种情况仅当对象的面部在FOV 640中部分可见时发生。对象的存在可以例如通过测量面部区域与FOV 640的交叠比率来检测。如果该比率小于具体数(诸如一)，并且与(一个或多个)先前帧相比较正在增加，则对象可以被确定为正在进入。否则，如果该比率大于一并且与(一个或多个)先前帧相比较正在减小，则对象可以被确定为正在离开。如果两种情况中的任一个持续预定时间间隔(诸如五秒)，则能够确定对象已经进入或离开。
图7描绘了例如可以在图4的框424和/或图5的框508处执行的一个范例面部规范化例程的细节。输入可以采取检测到的面部图像的形式，例如，来自图4的框422和/或来自图5的框506/516。输出可以是规范化的检测到的面部图像。在框702和704处，可以执行左眼检测操作和右眼检测操作(还可以以相反的顺序或并行执行操作702和704)。这些操作可以包括各种图像处理技术，诸如边缘检测、模板匹配、特征空间方法、霍夫变换、形态学操作、训练的神经网络等。在框706处，如果双眼成功地被检测到，则控制可以转到框714，在该点处，可以对面部进行规范化(例如，几何扭曲可以被应用到检测到的面部图像以使面部近似地面向正面)。从框714，控制可以例如转到图4的框426或图5的框510。
如果在框706处的回答为否，那么在框708处可以确定任一眼睛是否被检测到。如果回答为否，那么控制可以通过操作714的下游，在一些实例中，可以引起故障事件，并且然后控制可以例如行进到图4的框426或图5的框510。如果仅一只眼睛在框702-704处被成功地检测到，那么在框710处，检测到的眼睛区域可以被水平地镜像，并且可以(例如，使用模板匹配)搜索镜像眼罩以定位另一眼睛。然后，操作可以行进到先前所描述的框714。
图8描绘了检测到的面部图像在图4的框408和图5的框510处可以如何被选择为对象参考模板(例如，以包括在对象参考数据库412中)的一个范例。控制可以从以下各种位置转到图8的操作，诸如图4的框406、图5的框508(如果考虑中的检测到的面部图像是在当前收录数字图像帧中新检测到的)、和/或图5的框516(如果考虑中的检测到的面部图像在先前收录数字图像帧中被检测到并且当前正被跟踪)。在框802处，可以确定面部是否被遮挡。如果回答为是，那么控制可以转到框504，在该点处可以分析下一个跟踪面部(如果有的话)。
如果在框802处的回答为否，那么在框806处，可以确定当前检测到的面部图像与针对当前对象的任何现有对象参考模板之间的图像相似度。在框808处，可以确定是否还存在针对当前对象收集的足够的对象参考模板。可以针对每个新对象选择各种数量的对象参考模板。在一些实施例中，可以收集多达九个对象参考模板。尽管收集更多对象参考模板是可行的，但是在某个点之后可能经历收益递减。
如果已经不存在针对当前对象收集的足够的对象参考模板，那么在框408-410(与图4相同)处，当前检测到的面部图像可以被用于生成对象参考模板(408)，对应的模板特征向量可以被生成(409)，并且两者然后可以被添加(410)到对象参考数据库412。然而，在框808处，如果已经存在收集的足够的模板，那么在一些实施例中，可以确定当前检测到的面部图像是否与当前对象的先前收集的对象参考模板足够地不同以使替换先前收集的对象参考模板有必要。例如，在框处，在框812处，可以对以下做出确定：当前检测到的面部图像与每个先前收集的对象参考模板是否比先前收集的对象参考模板中的任何与彼此更不相似。如果对于特定对象参考模板而言回答为是，那么当前检测到的面部图像可以被用于生成替换对象参考数据库412中的特定对象参考模板的新对象参考模板(409)。例如，对应的模板特征向量可以被生成409，并且模板和特征向量可以被添加(410)到对象参考数据库412。
图8的操作(并且更一般地，图5的操作)针对由相机456捕获的每幅收录数字图像重复，并且可以例如跟踪每个对象，直到他们离开收录区域(框512)。因此，在对象处于相机456的FOV 640中时采集的收录数字图像的总数中，具有最适合地(例如，最不同的)视图的n幅收录数字图像可以被选择为生成针对该特定对象的对象参考模板。如先前所提到的，可以稍后使用这些对象参考模板，例如，响应于对象在对象监测例程414处被查询。
图5和图8涉及收集要存储在对象参考数据库412中的每个对象的对象参考模板和对应的模板特征向量。图6和图7两者涉及收集对象参考模板并且使用那些对象参考模板以识别在诸如医院等候室的在收录区域的下游的区域中的对象。图9涉及后者。具体地，图9描绘了可以被执行作为识别正被监测的区域(例如，等候室104)中的对象(诸如患者)的部分的操作的一个范例。
在图9中，接收两个输入：(一幅或多幅)考虑中的当前检测到的面部图像和来自对象参考数据库412的对象参考模板。在框902处，(一幅或多幅)检测到的面部图像可以被应用为跨机器学习模型(诸如上面描述的卷积神经网络)的输入，以生成(在框904处)与每个检测到的面部图像相关联的所谓的“面部特征向量”。在一些实施例中，(一个或多个)相同的卷积神经网络可以如在图4的框409处使用的那样被使用，以生成与对象参考模板一起被存储在对象参考数据库412中的模板特征向量。同时，在框906处，所有登记的对象的模板特征向量都可以在对象参考数据库412中进行检索和/或定位。在其他实施例中，所有登记的对象的模板特征向量可以在运行中被生成，例如，与使用相同的卷积神经网络的框902的操作同时地被生成。
在一些实施例中，框908-924可以以循环方式被执行，其中在循环的每个迭代期间，不同的登记的对象(在本文中被称为“当前考虑的登记的对象”)被考虑。在框908处，下一个登记的对象可以被设置为当前考虑的登记的对象，并且与当前考虑的登记的对象相关联的模板特征向量可以例如从所有登记的对象的模板特征向量中选择。在框910处，面部特征向量中的每个(框904)可以与在框908处针对当前考虑的登记的对象选择的模板特征向量中的每个进行比较，以识别最接近的匹配。在一些实施例中，这些比较可以被执行为最近邻域搜索。在一些实施例中，在它们之间具有最低(例如，欧几里德)距离(例如，使用点积、余弦相似度等确定)的面部特征向量和模板特征向量可以表示最接近的匹配。对应于(即，被用于生成)最接近匹配特征向量的相应的检测到的面部图像和对象参考模板然后可以在框912处被识别，并且将会在本文中被称为针对当前考虑的登记的对象的“最相似的图像对”。这结束了前面提到的图9的针对当前考虑的登记的对象的分析的第一阶段。
针对当前考虑的登记的对象的分析的第二阶段在框914和916处开始。在框914处，在最相似的图像对之间计算相似度度量S1。前面提到的用于确定图像之间的相似度度量的技术中的任一种可以被采用。在框916处，在一些实施例中，该框可以与框914的操作并行地被执行，最相似的图像对的检测到的面部图像的版本可以被生成，其与最相似的图像对的对象参考模板几何地对齐(例如，扭曲)，例如，以减轻任何几何差异。在框918处，可以在与对象参考模板几何地对齐的给定的检测到的面部图像的版本与最相似的图像对的对象参考模板之间计算另一相似度度量S2。
在框920处，S1和S1中的较大者可以被选择为临时值Si(其中i表示对应于第i个登记的对象(其为当前考虑的登记的对象)的正整数)。在框922处，到目前为止在所有登记的对象之中找到的最大相似度度量Smax与Si(如果当前考虑的登记的对象首先要被考虑，那么Smax可以最初被设置为零)进行比较。如果Si大于Smax，那么Smax可以被设置为Si，并且当前考虑的登记的对象可以被认为是到目前为止针对检测到的对象的最接近的匹配(并且与该登记的对象相关联的识别符可以被保存)；否则Smax保持其先前的值。因为登记的对象中的每个被考虑，所以如果任何新的最相似的图像对比先前的最相似的图像对更相似，那么Smax可以继续增加。在框924处，如果存在更多的登记的对象，那么控制可以返回到框908，并且循环的下一个迭代可以针对下一个登记的对象(i+1)进行。如果在框924处不存在更多的登记的对象，那么循环可以退出，并且Smax表示所有登记的对象与检测到的对象的最高相似度。在框926处，与Smax相关联的登记的对象的识别符(例如，MRN)可以被提供作为检测到的对象的身份。
图10描绘了根据各种实施例的用于实践本公开的选定方面的范例方法1000。为了方便起见，参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件，包括患者监测系统252。此外，尽管以特定顺序示出了方法1000的操作，但是这不意味着限制。一个或多个操作可以被重新排序、省略或添加。
在框1002处，系统可以例如从一个或多个相机(例如，276、376、476)采集描绘诸如等候室104的区域中的对象的一幅或多幅数字图像(例如，视频帧)。例如，在一些实施例中，系统可以采集包括由数字相机采集的多幅数字图像的视频传送。在框1004处，系统可以检测一幅或多幅数字图像的描绘对象的面部的一个或多个部分作为一幅或多幅检测到的面部图像。在各种实施例中，与在图4的框406处采用的那些(在图6中更详细地描述了其一个范例)类似的技术可以被用于检测面部。在一些实施例中，从面向相机多达四十至四十五度的头部姿势可以用于检测面部。如上面提及的，在一些实施例中，多幅数字图像(例如，视频流)的“关键帧”可以被选择，其描绘检测到的对象的各种不同的姿势、面部表情等。并且在各种实施例中，数字图像(例如，关键帧)可以使用各种面部检测技术(例如，模板比较)来分析，并且可以被裁剪，使其背景被移除等，使得检测到的面部图像仅包括对象的面部。
在框1006(其开始姿势自适应识别分析的阶段一)处，系统可以将一幅或多幅检测到的面部图像中的每幅的特征和与给定对象相关联的对象参考模板的集合中的每个对象参考模板的特征进行比较。在一些实施例中，框1006的操作可以包括，在框1008处，将一幅或多幅检测到的面部图像应用为跨神经网络(例如，卷积神经网络)的输入以生成一个或多个对应的面部特征向量。额外地或备选地，在一些实施例中，框1006的操作可以包括，在框1010处，将与给定对象相关联的对象参考模板的集合应用为跨神经网络的输入，以生成多个对应的模板特征向量。在其他实施例中，框1010的操作可以在先前(例如，在登记/分诊期间或之后立即(例如，在框409处))已经被执行，并且因此多个对应的模板特征向量可以简单地从对象参考数据库412进行检索。
基于所述比较，在框1012处，系统可以从与给定对象相关联的对象参考模板的集合中选择对象参考模板。例如，如上面关于图9描述的，系统可以选择对应于在它们之间具有最小距离(例如，欧几里德)的面部特征向和模板特征向量的对象参考模板和检测到的面部图像(即，“最相似的图像对”)。
在框1014(其开始姿势自适应识别分析的阶段二)处，系统可以确定一幅或多幅检测到的面部图像中的给定的检测到的面部图像(例如，“最相似的图像对”中的检测到的面部图像)与在框1012处选择的对象参考模板之间的一个或多个相似度度量(例如，图9的S1、S2)。在一些实施例中，两个相似度度量，即，上面描述的S1和S2，可以被计算。基于这些一个或多个相似度度量(并且在许多实施例中进一步基于与其他登记的患者相关联的相似度度量)，在框1016处，系统可以确定对象的身份。例如，一个或多个相似度度量可以针对每个登记的对象进行计算，并且具有最大的一个或多个相似度度量的登记的对象的身份可以归属于该对象。
在框1016处确定的对象的身份可以用于各种目的。在一些实施例中，在(在框1002处采集的)原始数字图像中描绘的对象的位置可以例如基于捕获数字图像的相机的PTZ设置来确定。例如，在一些实施例中，相机可以被配置为扫描通过多个位置，诸如等候室104中的椅子，寻找每个位置处的对象。当对象在特定位置处被检测到并且然后被匹配到登记的对象时，对象的身份可以连同对象的位置一起例如作为音频或视频输出被提供给值班护士或其他医务人员。在一些实施例中，身份/位置可以被输出到患者监测系统252的其他模块。
在其他情况下，特定的登记的对象(例如，查询的对象)的位置可以是期望的，例如，使得对象的生命体征能够(例如，使用相机276无干扰地)被监测，对象能够被带去看医生等。在这种情况下，方法1000可以针对通过监测诸如等候室1004的区域的一个或多个相机被检测的每个对象来执行直至搜寻的对象被定位。在一些这样的情景下，如果查询的对象未被找到，例如，因为对象被收入急诊部的处置区域或对象在没有被看到的情况下离开，可以通知相关的人员(例如，医院工作人员)。如果对象临时离开，例如使用休息室，对象可以被重新插入到上面描述的患者队列中，使得他们能够在稍后的时间被监测。
图11是范例计算机系统1110的框图。计算机系统1110通常包括至少一个处理器1114，其经由总线子系统1112与多个外围设备通信。如本文所使用的，术语“处理器”将被理解为涵盖能够执行归属于本文所描述的部件的各种功能的各种设备，例如微处理器、GPU、FPGA、ASIC、其他类似设备及其组合。这些外围设备可以包括：数据保留子系统1124，包括例如存储器子系统1125和文件存储子系统1126；用户接口输出设备1120；用户接口输入设备1122和网络接口子系统1116。输入和输出设备允许用户与计算机系统1110的交互。网络接口子系统1116提供去往外部网络的接口，并且耦合到其他计算机系统中的对应的接口设备。
用户接口输入设备1122可以包括：键盘；指点设备，诸如鼠标、跟踪球、触摸板或图形输入板；扫描器；并入到显示器中的触摸屏；音频输入设备，诸如语音识别系统/麦克风；和/或其他类型的输入设备。通常，术语“输入设备”的使用旨在包括将信息输入到计算机系统1110中或通信网络上的所有可能类型的设备和方式。
用户接口输出设备1120可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生可见图像的某个其他机构。显示子系统还可以提供非视觉显示，例如经由音频输出设备。通常，对术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机系统1110输出到用户或另一机器或计算机系统的方式。
数据保留系统1124存储提供本文描述的模块中的一些或全部的功能的编程和数据构造。例如，数据保留系统1124可以包括用于执行图4-10的选定方面的逻辑和/或实施患者监测系统252的一个或多个部件的逻辑，包括患者识别模块260、患者捕获模块254等。
这些软件模块通常由处理器1114单独执行或与其他处理器结合执行。存储子系统中使用的存储器1125可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)1130、固定指令被存储于其中的只读存储器(ROM)1132，以及诸如指令/数据高速缓存的其他类型的存储器(其可以额外地或备选地与至少一个处理器1114集成)。文件存储子系统1126可以为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光驱或可移除介质盒。实施某些实施方式的功能的模块可以由数据保留系统1124中的文件存储子系统1126存储，或存储在由(一个或多个)处理器1114可访问的其他机器中。如本文所使用的，术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如DRAM和SRAM)和非易失性存储器(例如闪存、磁性存储设备和光学存储设备)，但是不包括瞬态信号。
总线子系统1112提供用于使计算机系统1110的各种部件和子系统按预期与彼此通信的机制。尽管总线子系统1112被示意性地示为单个总线，但总线子系统的备选实施方式可以使用多个总线。在一些实施例中，特别地在计算机系统1110包括经由一个或多个网络连接的多个个体计算设备的情况下，一个或多个总线可以被添加有有线或无线网络连接和/或利用有线或无线网络连接来替换。
计算机系统1110可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器农场或任何其他数据处理系统或计算设备。在一些实施例中，计算机系统1110可以被实施在云计算环境内。由于计算机和网络的不断变化的性质，图11中描绘的计算机系统1110的描述仅旨在作为出于说明一些实施方式的目的的特定范例。具有比图11中描绘的计算机系统更多或更少的部件的计算机系统1110的许多其他配置是可能的。
尽管本文中已经描述和图示了若干实施例，但是本领域的普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其他装置和/或结构，并且这些变化和/或修改中的每个被认为是在本文描述的实施例的范围内。更一般地，本领域技术人员将容易意识到，本文中所描述的所有参数、尺寸、材料和配置意味着是示范性的，并且实际参数、尺寸、材料和/或配置将取决于教导被使用的一个或多个特定应用。本领域的技术人员将意识到，或仅仅使用常规实验就能够确定本文描述的特定实施例的许多等价方案。因此，应理解的是，前述实施例仅通过范例呈现，并且在随附权利要求及其等价方案的范围内，可以以与具体描述和要求保护的方式不同的方式来实践实施例。本公开的发明实施例涉及本文描述的每个个体特征、系统、物品、材料、套件和/或方法。此外，如果这样的特征、系统、物品、材料、套件和/或方法不相互矛盾，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合都被包括在本公开的范围内。
如本文所定义和使用的所有定义应被理解为控制在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上。
如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”，除非明确相反指示。
如在本说明书和权利要求书中所使用的短语“和/或”应当被理解为是指如此结合的元件中的“任一个或两者”，即在一些情况下联合存在并且在其他情况下分离存在的元件。利用“和/或”列出的多个元件应当以相同的方式解释，即如此结合的元件中的“一个或多个”。除了由“和/或”子句特别识别的元件，其他元件可以任选地存在，不管与具体识别的那些元件相关还是不相关。因此，作为非限制性范例，当与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除了B之外的元件)；在另一个实施例中，仅指B(任选地包括除了A之外的元件)；在又一个实施例中，指A和B两者(任选地包括其他元件)；等等。
如在本说明书和权利要求书中所使用的，“或”应当被理解为具有与上面所定义的“和/或”相同的含义。例如，当在列表中分离项时，“或”或“和/或”应被解释为包含性的，即包括多个元件或元件列表中的至少一个元件，但也包括多于一个元件，以及任选地额外未列出的项。仅清楚地指示为相反的术语，诸如“中的仅一个”或“中的恰好一个”，或，当在权利要求中使用时，“由...组成”，将指包括多个元件或元件列表中的恰好一个元件。通常，如本文使用的术语“或”仅当前面有排他性术语(例如“任一个”，“中的一个”，“中的仅一个”，或“中的恰好一个”)时才应解释为指示排他性替代方案(即，“一个或另一个但是并非两者”)。当在权利要求中使用时，“实质上由...组成”应当具有其在专利法领域中使用的普通含义。
如本文中在说明书和权利要求书中所使用的，涉及一个或多个元件的列表的短语“至少一个”应当被理解为是指选自元件列表中的元件中的任何一个或多个的至少一个元件，但是不必包括元件列表内具体列出的每一个元件中的至少一个，并且不排除元件列表中的元件的任何组合。该定义还允许除了在短语“至少一个”涉及的元件列表内具体识别的元件之外的元件可以任选地存在，而不管与具体识别的那些元件相关还是不相关。因此，作为非限制性范例，“A和B中的至少一个”(或等价地，“A或B中的至少一个”，或等价地“A和/或B中的至少一个”)可以在一个实施例中指至少一个、任选地包括多于一个A，而不存在B(并且任选地包括除了B之外的元件)；在另一个实施例中，指至少一个、任选地包括多于一个B，而不存在A(并且任选地包括除了A之外的元件)；在又一个实施例中，指至少一个、任选地包括多于一个A，以及至少一个、任选地包括多于一个B(并且任选地包括其他元件)；等等。
还应当理解，除非明确相反指示，在本文所要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的顺序不必限于该方法的步骤或动作被记载的顺序。
在权利要求书以及上面的说明书中，所有的过渡性短语，诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“带有”等等应被理解为是开放式的，即意味着包括但不限于。只有过渡性短语“由...组成”和“实质上由...组成”应分别是封闭式或半封闭式过渡性短语，如美国专利局专利审查程序手册第2111.03节所阐明的。应当理解，依照专利合作条约(“PCT”)的条例6.2(b)在权利要求中使用的某些表达和附图标记不限制范围。

Claims (12)

1.一种由一个或多个处理器实施的方法，所述方法包括：
采集（1002）描绘区域中的对象的一幅或多幅数字图像（420）；
将所述一幅或多幅数字图像的描绘所述对象的面部的一个或多个部分检测（1004）为一幅或多幅检测到的面部图像；
在面部识别分析的第一阶段中，将所述一幅或多幅检测到的面部图像中的每幅的特征与对象参考模板的集合中的每个对象参考模板的特征进行比较（1006），所述对象参考模板的集合与对象参考数据库（412）中的给定对象相关联，其中，所述对象参考数据库存储与多个对象有关的对象参考模板的集合；
基于所述比较，从与所述给定对象相关联的所述对象参考模板的集合中选择（1012）对象参考模板；
在所述面部识别分析的第二阶段中，确定（1014）所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所选择的对象参考模板之间的相似度度量，其中，所述相似度度量包括：
第一相似度度量，其基于与所选择的对象参考模板几何地对齐的所述给定的检测到的面部图像的版本来计算；以及
第二相似度度量，其直接基于所述给定的检测到的面部图像来计算；
以及
基于所述相似度度量来确定（1016）所述对象的身份，其中，所述对象的所述身份是基于所述第一相似度度量和所述第二相似度度量中的较大者来确定的。
2.根据权利要求1所述的方法，其中，所述比较包括：
将所述一幅或多幅检测到的面部图像应用为跨神经网络的输入以生成一个或多个对应的面部特征向量；以及
将与所述给定对象相关联的所述对象参考模板的集合应用为跨所述神经网络的输入以生成多个对应的模板特征向量。
3.根据权利要求2所述的方法，其中，所述神经网络包括卷积神经网络。
4.根据权利要求2所述的方法，其中，所述比较包括计算所述一个或多个面部特征向量与多个模板特征向量之间的多个距离，其中，所述计算包括针对所述多个模板特征向量中的每个模板特征向量计算相距所述一个或多个面部特征向量中的每个的距离。
5.根据权利要求4所述的方法，其中，所述选择是基于所述多个距离中的最低距离的。
6.根据权利要求5所述的方法，还包括基于所述最低距离从所述一幅或多幅检测到的面部图像中选择所述给定的检测到的面部图像。
7.根据权利要求1所述的方法，其中，所述区域包括等候室，并且描绘所述等候室的所述一幅或多幅数字图像是使用被配置为捕获所述等候室的相机（276、376、476）来采集的。
8.根据权利要求1所述的方法，其中，所述比较包括将所述一幅或多幅检测到的面部图像中的每幅的特征和与所述多个对象相关联的对象参考模板的多个集合中的每个的特征进行比较。
9.一种包括一个或多个处理器以及与所述一个或多个处理器可操作地耦合的存储器的系统，其中，所述存储器存储指令，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：
采集（1002）描绘区域中的对象的一幅或多幅数字图像（420）；
将所述一幅或多幅数字图像的描绘所述对象的面部的一个或多个部分检测（1004）为一幅或多幅检测到的面部图像；
在面部识别分析的第一阶段中，将所述一幅或多幅检测到的面部图像中的每幅的特征与对象参考模板的集合中的每个对象参考模板的特征进行比较（1006），所述对象参考模板的集合与对象参考数据库（412）中的给定对象相关联，其中，所述对象参考数据库存储与多个对象有关的对象参考模板的集合；
基于所述比较，从与所述给定对象相关联的所述对象参考模板的集合中选择（1012）对象参考模板；
在所述面部识别分析的第二阶段中，确定（1014）所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所选择的对象参考模板之间的相似度度量，其中，所述相似度度量包括：
第一相似度度量，其基于与所选择的对象参考模板几何地对齐的所述给定的检测到的面部图像的版本来计算；以及
第二相似度度量，其直接基于所述给定的检测到的面部图像来计算；
以及
基于所述相似度度量来确定（1016）所述对象的身份，其中，所述对象的所述身份是基于所述第一相似度度量和所述第二相似度度量中的较大者来确定的。
10.根据权利要求9所述的系统，其中，所述比较包括：
将所述一幅或多幅检测到的面部图像应用为跨神经网络的输入以生成一个或多个对应的面部特征向量；以及
将与所述给定对象相关联的所述对象参考模板的集合应用为跨所述神经网络的输入以生成多个对应的模板特征向量。
11.一种包括指令的至少一个非瞬态计算机可读介质，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作：
采集（1002）描绘区域中的对象的一幅或多幅数字图像（420）；
将所述一幅或多幅数字图像的描绘所述对象的面部的一个或多个部分检测（1004）为一幅或多幅检测到的面部图像；
在面部识别分析的第一阶段中，将所述一幅或多幅检测到的面部图像中的每幅的特征与对象参考模板的集合中的每个对象参考模板的特征进行比较（1006），所述对象参考模板的集合与对象参考数据库（412）中的给定对象相关联，其中，所述对象参考数据库存储与多个对象有关的对象参考模板的集合；
基于所述比较，从与所述给定对象相关联的所述对象参考模板的集合中选择（1012）对象参考模板；
在所述面部识别分析的第二阶段中，确定（1014）所述一幅或多幅检测到的面部图像中的给定的检测到的面部图像与所选择的对象参考模板之间的相似度度量，其中，所述相似度度量包括：
第一相似度度量，其基于与所选择的对象参考模板几何地对齐的所述给定的检测到的面部图像的版本来计算；以及
第二相似度度量，其直接基于所述给定的检测到的面部图像来计算；
以及
基于所述相似度度量来确定（1016）所述对象的身份，其中，所述对象的所述身份是基于所述第一相似度度量和所述第二相似度度量中的较大者来确定的。
12.根据权利要求11所述的至少一个非瞬态计算机可读介质，其中，所述比较包括：
将所述一幅或多幅检测到的面部图像应用为跨卷积神经网络的输入以生成一个或多个对应的面部特征向量；以及
将与所述给定对象相关联的所述对象参考模板的集合应用为跨所述卷积神经网络的输入以生成多个对应的模板特征向量。
CN201880053977.6A 2017-06-22 2018-06-22 对象识别系统和方法 Active CN111095264B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762523434P 2017-06-22 2017-06-22
US62/523,434 2017-06-22
PCT/EP2018/066751 WO2018234542A1 (en) 2017-06-22 2018-06-22 SYSTEMS AND METHODS FOR IDENTIFYING SUBJECTS

Publications (2)

Publication Number Publication Date
CN111095264A CN111095264A (zh) 2020-05-01
CN111095264B true CN111095264B (zh) 2024-04-16

Family

ID=62837862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053977.6A Active CN111095264B (zh) 2017-06-22 2018-06-22 对象识别系统和方法

Country Status (5)

Country Link
US (1) US10832035B2 (zh)
EP (1) EP3642757A1 (zh)
JP (1) JP7449093B2 (zh)
CN (1) CN111095264B (zh)
WO (1) WO2018234542A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869150B1 (en) 2017-06-01 2024-01-09 Apple Inc. Avatar modeling and generation
US10341407B2 (en) * 2017-06-30 2019-07-02 Gfycat, Inc. Mapping a low quality media file to a segment of a high quality media file
WO2019052997A1 (en) 2017-09-13 2019-03-21 Koninklijke Philips N.V. CAMERA AND IMAGE CALIBRATION FOR SUBJECT IDENTIFICATION
US11727724B1 (en) * 2018-09-27 2023-08-15 Apple Inc. Emotion detection
US11308133B2 (en) * 2018-09-28 2022-04-19 International Business Machines Corporation Entity matching using visual information
US11510742B2 (en) 2019-03-26 2022-11-29 Alcon Inc. System and method of utilizing computer-aided identification with medical procedures
US11830182B1 (en) 2019-08-20 2023-11-28 Apple Inc. Machine learning-based blood flow tracking
US11967018B2 (en) 2019-12-20 2024-04-23 Apple Inc. Inferred shading
CN111178203B (zh) * 2019-12-20 2021-01-29 江苏常熟农村商业银行股份有限公司 签名审核方法、装置、计算机设备和存储介质
CN111325276A (zh) * 2020-02-24 2020-06-23 Oppo广东移动通信有限公司 图像分类方法及装置、电子设备、计算机可读存储介质
CN113449756B (zh) * 2020-03-26 2022-08-16 太原理工大学 一种基于改进的DenseNet的多尺度图像识别方法和装置
WO2022102076A1 (ja) * 2020-11-13 2022-05-19 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP2022091341A (ja) * 2020-12-09 2022-06-21 日本電気株式会社 送信装置照合装置、学習装置、送信装置照合方法、学習方法、及びプログラム
WO2022128116A1 (en) * 2020-12-17 2022-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Determining an emergency based on a facial expression
CN116309593B (zh) * 2023-05-23 2023-09-12 天津市中西医结合医院（天津市南开医院） 基于数学模型的肝脏穿刺活检b超图像处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871531A (zh) * 2012-12-20 2015-08-26 皇家飞利浦有限公司 监控等候区

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
JP2003150963A (ja) 2001-11-13 2003-05-23 Japan Science & Technology Corp 顔画像認識方法及び顔画像認識装置
JP2003276849A (ja) 2002-03-20 2003-10-02 Toshiba Corp 物品管理システム及び物品管理方法
JP2004086625A (ja) 2002-08-27 2004-03-18 Hitoshi Hongo 顧客情報管理装置
GB2414615A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Object detection, scanning and labelling
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US8165282B1 (en) * 2006-05-25 2012-04-24 Avaya Inc. Exploiting facial characteristics for improved agent selection
JP5088507B2 (ja) * 2006-12-27 2012-12-05 日本電気株式会社 同一性判定装置、同一性判定方法および同一性判定用プログラム
RU2007102021A (ru) * 2007-01-19 2008-07-27 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ и система распознавания личности
JP2008242853A (ja) 2007-03-27 2008-10-09 Fujifilm Corp 待ち状況案内装置
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
JP5012247B2 (ja) * 2007-06-21 2012-08-29 ソニー株式会社 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
US9721148B2 (en) * 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
US8194938B2 (en) * 2009-06-02 2012-06-05 George Mason Intellectual Properties, Inc. Face authentication using recognition-by-parts, boosting, and transduction
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP6108486B2 (ja) 2011-08-01 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生体の測定読み出しを得る及び処理するデバイス及び方法
EP2741661B1 (en) 2011-09-02 2016-05-04 Koninklijke Philips N.V. Camera for generating a biometrical signal of a living being
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
US8948465B2 (en) * 2012-04-09 2015-02-03 Accenture Global Services Limited Biometric matching technology
JP6270287B2 (ja) 2012-11-23 2018-01-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理的情報を抽出するデバイス及び方法
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
US9589181B2 (en) * 2013-02-28 2017-03-07 Hitachi Kokusai Electric Inc. Person search method and device for searching person staying on platform
RU2697291C2 (ru) * 2013-03-06 2019-08-13 Конинклейке Филипс Н.В. Система и способ определения информации об основных показателях состояния организма
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US9390327B2 (en) 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
US9558396B2 (en) * 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
US10268950B2 (en) 2014-11-15 2019-04-23 Beijing Kuangshi Technology Co., Ltd. Face detection using machine learning
JP6785305B2 (ja) 2015-07-15 2020-11-18 １５ セカンズ オブ フェイム，インコーポレイテッド 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
US20170206403A1 (en) * 2016-01-19 2017-07-20 Jason RAMBACH Method of distributed face recognition and system thereof
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US10423830B2 (en) * 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10089521B2 (en) * 2016-09-02 2018-10-02 VeriHelp, Inc. Identity verification via validated facial recognition and graph database
CN108241836A (zh) * 2016-12-23 2018-07-03 同方威视技术股份有限公司 用于安检的方法及装置
US10565433B2 (en) * 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871531A (zh) * 2012-12-20 2015-08-26 皇家飞利浦有限公司 监控等候区

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Face Recognition;Omkar M. Parkhi et al.;《Procedings of the British Machine Vision Conference 2015》;20151231;第5-7页 *

Also Published As

Publication number Publication date
CN111095264A (zh) 2020-05-01
US20180373925A1 (en) 2018-12-27
EP3642757A1 (en) 2020-04-29
US10832035B2 (en) 2020-11-10
WO2018234542A1 (en) 2018-12-27
JP2020524850A (ja) 2020-08-20
JP7449093B2 (ja) 2024-03-13

Similar Documents

Publication Publication Date Title
CN111095264B (zh) 对象识别系统和方法
CN111344715B (zh) 对象识别系统和方法
CN111344713B (zh) 用于对象识别的相机和图像校准
CN110050276B (zh) 患者识别系统和方法
US20220036055A1 (en) Person identification systems and methods
JP7299923B2 (ja) 個人識別システムおよび方法
CN110168658B (zh) 患者监测系统和方法
US20210090736A1 (en) Systems and methods for anomaly detection for a medical procedure
US20190267136A1 (en) Queue for patient monitoring
JP2020501634A (ja) 患者モニタリング・システムおよび方法
Jere et al. Deep learning-based architecture for social anxiety diagnosis
WO2019137886A1 (en) Capturing subject data in dynamic environments using mobile cameras
Wang et al. Framework for facial recognition and reconstruction for enhanced security and surveillance monitoring using 3D computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant