CN111344715B - 对象识别系统和方法 - Google Patents

对象识别系统和方法 Download PDF

Info

Publication number
CN111344715B
CN111344715B CN201880073310.2A CN201880073310A CN111344715B CN 111344715 B CN111344715 B CN 111344715B CN 201880073310 A CN201880073310 A CN 201880073310A CN 111344715 B CN111344715 B CN 111344715B
Authority
CN
China
Prior art keywords
object reference
patient
camera
template
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880073310.2A
Other languages
English (en)
Other versions
CN111344715A (zh
Inventor
王海波
C·C·A·M·范宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111344715A publication Critical patent/CN111344715A/zh
Application granted granted Critical
Publication of CN111344715B publication Critical patent/CN111344715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

所公开的技术涉及识别数字图像中的对象。在各种实施例中,第一相机(276、376、476、976)可以采集(1002)描绘区域中的对象的(一幅或多幅)数字图像(420)。可以检测(1004)描绘所述对象的面部的所述(一幅或多幅)数字图像的(一个或多个)部分作为(一幅或多幅)检测到的面部图像。可以将所述(一幅或多幅)检测到的面部图像的特征和与对象参考数据库(412)中的与(一个或多个)对象相关联的对象参考模板的特征进行比较(1006)。所述对象参考数据库存储与多个对象相关联并且基于从第二相机(256、456)接收的数据生成的对象参考模板。基于所述比较,可以确定(1014)所述对象的身份,并且可以将所述(一幅或多幅)检测到的面部图像的所述特征存储(1016)在与所述对象相关联的所述对象参考数据库中,例如作为用于以后使用的辅助模板特征向量。

Description

对象识别系统和方法
技术领域
本公开总体上但是非排他地涉及识别数字图像(包括数字图像流)中的人。更具体地,但是非排他地,本文所公开的各种方法和装置涉及识别数字图像(或其流)中的人,使得那些人可以被定位在医院的诸如候诊室的区域中。
背景技术
存在可能期望基于捕获包含人的场景的数字图像自动地识别人(或“对象”)的多种情形。例如,当患者访问医院时,其通常被登记、分诊并且然后被送到诸如候诊室的区域以等候诸如医师的医院资源变为可提供以检查和/或处置患者。能够自动识别个体患者对于可以帮助当其等候医学资源的分配时持续监测其状况(例如,针对恶化)。其也可以帮助确定是否/何时患者离开而未被看到(LWBS)。基于数字图像自动地识别人也可以在各种其他背景(诸如机场、火车站、过境处、体育馆和健身中心、各种公司等)下是有用的。
在一些背景下,可能期望识别包含多个对象的数字图像中的个体对象。例如,除等候的患者之外,由候诊室中的相机捕获的数字图像可能描绘能够与患者一起等候的其他人,诸如朋友、亲属等。面部检测技术可以检测数字图像中的所有面部,但是哪些面部属于患者并且哪些属于他人可能是不清楚的。此外,诸如候诊室的监测区域中的对象将不大可能盯着相机。代替地,其可以看其电话、杂志、看着彼此等。因此,甚至即使在检测到描绘的面部时,在其原始状态中所描绘的检测到的面部可能似乎基本上不同于在登记处采集的收录图像(例如,当对象可能正在直接看着相机时)中。此外,区域中的光条件可以跨时间(例如,日间对夜间)和/或跨物理空间变化。
发明内容
本公开涉及用于自动地识别所采集的数字图像中所描绘的人的方法、系统和装置。作为一个非限制性范例,多个分诊的患者可以在候诊室中等候直到其可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的紧急性的量度(在本文中被称为“患者紧急性量度”)以及其他数据点(诸如患者等候时间、患者存在等)来排序或排名的患者监测队列(还简单地被称为“患者队列”)中,所述量度基于由分诊护士从所述患者获得/采集的信息来确定。被安装在候诊室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行来自每个患者的一个或多个经更新的生命体征和/或生理参数的非接触和/或不突兀的采集。这些经更新的生命体征和/或生理参数可以包括但不限于温度、脉搏率、血氧饱和度(“SpO2”)、呼吸率、姿态、汗水等。
为了识别(一个或多个)生命体征采集相机应当采集经更新的生命体征的具体患者,本文所描述的技术可以被用于将“登记的”对象——例如,登记的和/或分诊的患者——与在由一个或多个相机采集的一幅或多幅数字图像中捕获的场景中描绘的“检测到的”对象进行匹配。更一般地,本文所描述的技术可以在各种背景下被实施为识别数字图像(例如,单幅图像和/或数字图像流,诸如视频馈送)中所描绘的对象,例如通过收集与要监测的每个对象(其在本文中可以被称为“登记的对象”)相关联的对象参考模板和对应的模板特征向量并且稍后使用那些对象参考模板和/或对应的模板特征向量来识别随后捕获的数字图像中的对象。
总体地,在一个方面中,一种方法可以包括:使用第一相机采集描绘区域中的对象的一幅或多幅数字图像;检测所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分,作为与所述对象相关联的一幅或多幅检测到的面部图像;将所述一幅或多幅检测到的面部图像的特征与对象参考数据库中的与一个或多个对象相关联的对象参考模板的特征进行比较,其中,所述对象参考数据库存储与多个对象有关的对象参考模板,并且其中,被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机接收的数据来生成的;并且基于所述比较:确定所述对象的身份,并且将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储在所述对象参考数据库中,作为辅助模板特征向量以供以后使用。
在各种实施例中,所述比较可以包括:将所述一幅或多幅检测到的面部图像应用为跨神经网络的输入,以生成一个或多个对应的面部特征向量;并且将所述对象参考模板中的至少一些应用为跨所述神经网络的输入,以生成多个对应的模板特征向量。在各种实施例中,所述神经网络可以采取卷积神经网络的形式。
在各种实施例中,所述第二相机可以位于登记或分诊区域中。在各种实施例中,所述第一相机可以位于候诊室或普通病房中。在各种实施例中,所述方法可以还包括:使用所述第一相机采集描绘所述区域中的第二对象的一幅或多幅数字图像;检测所述一幅或多幅随后数字图像中的描绘所述第二对象的面部的一个或多个部分,作为与所述第二对象相关联的一幅或多幅检测到的面部图像;并且将与所述第二对象相关联的所述一幅或多幅检测到的面部图像的特征与所述对象参考数据库中的与一个或多个对象相关联的辅助对象参考模板的特征进行比较,其中,所述辅助对象参考模板是基于由所述第一相机采集的数字图像来生成的以确定所述第二对象的身份。
在各种实施例中,所述辅助模板特征向量可以替换与所述对象相关联的现有模板特征向量。在各种实施例中,所述比较可以包括:确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离;以及确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离。在各种实施例中,所述存储可以基于所述第一距离与所述第二距离之间的关系。
应当意识到,以下更详细讨论的前述构思和额外的构思的所有组合(假设这些构思不相互矛盾)被预期为本文所公开的主题的部分。具体而言,出现在本公开的结束处的请求保护的主题的所有组合被预期为是本文所公开的主题的部分。还应该意识到,本文明确采用的也可以出现在通过引用并入的任何公开中的术语应该被赋予与本文所公开的具体构思最一致的含义。
附图说明
在附图中,相似的附图标记贯穿不同视图通常指代相同的部件。而且,附图不一定是按比例的,而是通常将强调放在图示本公开的原理上。
图1示意性地图示了根据各种实施例的用于使用所公开的技术来监测数字图像中所识别的患者的总体处理流程。
图2图示了根据各种实施方式的、本公开的各种部件可以在其中实施本公开的选定的方面的范例环境。
图3描绘了根据各种实施例的可以实践在其中所公开的技术的范例场景。
图4描绘了用于执行本公开的各方面的范例部件和操作。
图5描绘了根据各种实施例的可以如何从收录数字图像生成对象参考模板和对应的模板特征向量的范例。
图6描绘了根据各种实施例的可以如何检测进入和/或离开相机的视场的对象的范例。
图7描绘了根据各种实施例的检测到的面部图像可以如何规范化(例如,规范化到正面)的一个范例。
图8比图5更详细地描绘了根据各种实施例的可以如何从收录数字图像中选择对象参考模板的范例。
图9描绘了根据各种实施例的可以如何在正被监测的区域中识别对象的一个范例。
图10描绘了根据各种实施例的用于执行本公开的选定的方面的范例方法。
图11描绘了范例计算机系统的部件。
具体实施方式
图1总体上示意性地图示了可以如何使用所公开的技术监测患者。具体地,描绘了可以在预候诊室区域中(诸如在(一个或多个)预候诊室区域102处)发生的操作和动作,其可以包括接收和/或登记,和/或分诊站或摊位。此外,描绘了能够在候诊室104中发生的操作和动作。应当理解,图1的顺序不旨在是限制性的,并且其他顺序是可能的。
在框106处,新的患者可以进入和/或接近(一个或多个)预等候区域,例如,在接收台检查之后(未示出)。在框108处,可以登记新患者。登记可以包括,例如,收集关于患者的信息,例如患者的姓名、年龄、性别、保险信息和访问原因。通常但非排他地,该信息可以由诸如接待员或登记员的医学人员手动输入计算机中。在一些实施例中,患者的一幅或多幅参考数字图像可以例如由与由分诊护士操作的计算设备集成的相机、由独立相机和/或由生命体征采集相机(在这种情况下,可以在登记时任选地采集至少一些生命体征)来采集。如下面将更详细地描述的,在一些实施例中,在框108处在登记期间由相机采集的数字图像可以被称为“收录数字图像”。这些收录数字图像的子集——并且在一些情况下,描绘例如面部的这些图像的选定的子部分——可以选择性地被保持为可以稍后被用于识别诸如候诊室104的区域中的患者(或更一般地,“对象”)的“对象参考模板”。
在许多情况下,分诊护士额外地可以使用各种医学仪器在框110采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可包括但不限于血压、脉搏、葡萄糖水平、SpO2、光电体积描记图(“PPG”)、呼吸率(例如呼吸速率)、温度、肤色等。尽管未在图1中描绘,但是在一些实施例中,也可以在分诊时收集其他信息,例如采集/更新患者的医学史,确定患者过敏,确定患者对药物的使用等。在一些实施例中,可以为患者分配所谓的“患者紧急性量度”,其可以是用于对患者疾病的严重性进行排名的量度,并且在一些情况下可以指示对急诊室资源的预期需要。可以使用任何数量的常用指示符和/或临床医师决策支持(“CDS”)算法来确定和/或分配患者紧急性量度,包括但不限于紧急严重性指数(“ESI”)、中国台湾分诊系统(“TTS”)、加拿大分诊和紧急性量表(“CTAS”)等。例如,在一些实施例中,可以将患者的生命体征与存储在系统数据库中的预定义生命体征阈值进行比较,或与针对给定患者年龄、性别、体重等的典型的已发布或已知生命体征值进行比较,以确定患者的初始患者紧急性量度和/或患者在患者队列中的初始位置。在一些实施例中,可以将关于患者的各种生理信息和其他信息应用为跨以下的输出:训练模型(例如,回归模型、神经网络、深度学习网络等)、基于案例的推理算法或其他临床推理算法,以导出一个或多个紧急性量度。在一些实施例中,用于导出紧急性量度的信息可以包括或甚至完全限于可以由生命体征采集相机捕获的生命征(vitals)或其他信息。在一些实施例中,用于导出紧急性量度的信息替代地或额外地包括诸如以下项的信息:来自患者的先前电子病历(“EMR”)的信息、分诊时从患者采集的信息、来自可穿戴设备或由患者携带的其他传感器的信息、关于候诊室中的其他患者或人的信息(例如,房间中其他人的生命征)、关于家庭成员或与患者相关联的其他人(例如,家庭成员EMR)的信息等。
在框112处,一旦患者被登记和/或被分诊,患者可以被送到候诊室104。在许多情形下,图1的操作可以以稍微不同的顺序发生。例如,在一些实例中,患者可以首先被登记,然后去候诊室直到其可以被分诊,并且然后在分诊之后的某个时间被送到医生(要么立即地要么在被送回候诊室之后)。在一些情况下,诸如在紧急情况(例如,在灾难期间)下,患者可以直接去分诊并且然后到医生,并且可以仅当稍后患者已经稳定时被登记。
在框114处,可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开候诊室。框114可以包括扫描当前在候诊室内的每个人(例如,作为寻求功能的部分,一旦患者处于要捕获生命征的患者的队列的顶部,则所述寻求功能尝试定位患者,例如下面描述的框120的运行,或循环通过要捕获生命征的房间中的每个人,如包括下面描述的框118和120的循环的多次运行)并确定患者未被定位。在一些实施例中,系统可以等候直到患者缺失的实例达到预定数量或在患者被认为已离开候诊室之前患者己缺失期间已经过去预定时间量,以考虑临时缺席(例如,去洗手间或与临床工作人员交谈)。例如,患者能够已经适当地被送进ER中,因为轮到其看医生了。或者,患者在其等候时状况可能已经改进,从而导致他们离开医院。或者,患者可能已经变得不耐烦并且离开而到其他地方寻求护理。无论什么原因,一旦确定患者已经至少在阈值时间量内离开候诊室,在框116处,患者可以被认为是已经离开而未被看到并且可以从系统中释放,例如,通过将他们从登记的患者被输入的队列中移除。
在框118处,候诊室104中的一个或多个患者可以被选择用于监测。例如,在一些实施例中,存储在框108-110处获得的登记信息的数据库(例如,图4中的对象参考数据库412)可以被搜索以选择具有最高患者紧急性量度的患者或最近未被监测的测量的具有最高紧急性的患者,如可以由为所有患者设置的或基于紧急性量度设置(例如,反相关)的时间阈值确定的。在其他实施例中,与候诊室中的多个患者相关联的登记信息可以在患者监测队列中排名,例如,按相应的患者紧急性度量,附加于或替代其他度量,例如等候时间、患者在候诊室中的存在(例如,可以选择缺失的患者以更频繁地监测以确定在重复缺席的情况下是否应该释放其)等。在另外的实施例中,在对患者监测队列进行排名时能够不考虑患者紧急性量度,而是代替地可以仅考虑患者等候时间、患者存在等的考虑。在其他实施例中,可以简单地例如以例如通过候诊室104中的椅子或长椅的序列指示的预定扫描顺序逐个选择患者。
然而,这样的患者监测队列被排名,在一些实施例中,队列中的第一患者可以被选择为接下来要监测的患者。不需要(尽管可能)患者监测队列以按患者紧急性量度排序的物理存储器位置的顺序被存储。而是,在一些实施例中,排名的患者监测队列可以仅包括与每个患者相关联的排名或优先级值。换句话说,如本文所描述的“患者监测队列”可以指代基于患者紧急性量度、等候时间等在逻辑上排名的“逻辑”队列,而不一定是存储器位置的连续序列。在框118处可以以患者监测队列中患者的相应的排名的顺序来选择患者以进行监测。
在框120处,在框118处选择的患者可以被定位在候诊室104中。在各种实施例中,被部署在候诊室104中或附近的一个或多个相机(诸如一个或多个生命体征采集相机(未在图1中描绘,参见图2和图3)或其他更多个常规相机)可以被操作(例如,平移、倾斜、缩放等)以采集候诊室104中的患者的一幅或多幅数字图像。如下面将更详细地描述的,可以将那些采集的数字图像与在框108处的登记期间捕获的一个或多个参考患者图像(常常地在本文中被称为“对象参考模板”)进行比较。在一些实施例中,可以将使用机器学习模型(诸如经训练的卷积神经网络)提取的那些采集的数字图像的特征与类似地提取的与登记的患者相关联的对象参考模板的特征进行比较。
在框122处,可以操作安装或以其他方式部署在候诊室104中或附近的一个或多个生命体征采集相机,以执行来自在框118处选择并且在框120处定位的患者的一个或多个经更新的生命体征和/或生理参数的不突兀(例如,无接触)采集。这些生命体征采集相机可以被配置为从患者采集(不与患者物理接触)各种不同的生命体征和/或生理参数,包括但不限于血压、脉搏率(或心率)、肤色、呼吸率、SpO2、温度、姿态、汗液水平等。在一些实施例中,生命体征采集相机可以被装备为执行所谓的“非接触方法”以从患者采集生命体征和/或提取生理信息,可以被用作医学图像设备。这样的相机的非限制性范例在美国专利申请公开US20140192177A1、US20140139656A1、US20140148663A1、US20140253709A1、US20140235976A1和美国专利US9125606B2中被描述,出于所有目的通过引用将这些公开并入本文。
在框124处,可以例如由图2中描绘的一个或多个部件(下面描述的),基于在框122处采集的(一个或多个)经更新的生命体征和/或生理参数与先前采集的生命体征和/或生理参数(例如,在框110处采集的初始生命体征或由生命体征采集相机采集的经更新的生命体征/生理参数的先前迭代)的比较来确定患者的状况是否已经改变。例如,可以确定患者的脉搏率、呼吸率、血压、SpO2、PPG、温度等是否在患者已经等候时已经增加或减少。如果答案为否,则控制可以行进返回到框118,并且可以选择新患者(例如,具有下一个最高患者紧急性量度的患者)并且控制可以行进返回到框120。然而,如果框124的答案为是(即,患者的状况已经改变),然后控制可以转到框126。在一些实施例中,患者的状况可以(至少部分地)由用于确定监测顺序的目的的相同的紧急性量度表示。
在框126处,可以(再次,由图2的一个或多个部件)基于在框124处检测到的改变确定医学警告是否有必要。例如,可以确定是否一个或多个生命体征或患者紧急性量度的改变满足一个或多个阈值(例如,血压是否增加到高于对该特定患者而言认为安全的水平?)。如果答案为是,则控制可以转到框128。在框128处,可以向值班护士或其他医学人员输出患者正在恶化的警报。然后,医学人员可以检查患者以确定是否有必要进行补救动作,例如立即收入到入ED以看医生。在一些实施例中,控制然后可以返回到框118。然而,如果框126处的答案为否,则在一些实施例中,控制可以返回到框118。
图2描绘了根据各种实施例的可以用于实践所公开的技术的范例部件。医院信息系统240可以是在医院、医生办公室等中常见的类型。医院信息系统240可以使用一个或多个计算系统来实施,所述一个或多个计算系统可以或可以不经由一个或多个计算机网络(未描绘)连接。除其他事物以外,医院信息系统240可以包括登记模块242、分诊模块244、释放模块246和警报模块248。模块242-248中的一个或多个,或本文描述的任何其他模块或引擎,可以使用硬件和软件的任何组合来实施,包括运行存储在存储器中的指令的一个或多个微处理器。例如,登记模块242可以包括实施本文结合在处理器上运行的登记而描述的功能的登记指令,而分诊模块244可以包括实施本文结合在相同处理器上运行的分诊所描述的功能的分诊指令。类似的底层硬件和软件可以用于实施本文描述的其他“模块”。
登记模块242可以被配置为接收新患者的登记信息,例如作为来自值班护士手动输入。这可以包括例如患者的姓名、年龄、保险信息等。分诊模块244可以被配置为接收诸如以上描述的生命体征的生命体征和/或其他生理数据(例如体重、身高、患者访问的原因等),例如作为来自值班护士的手动输入或直接来自联网医学装置。在各种实施例中,由分诊模块244接收的生命体征和/或患者紧急性量度(例如,图2中的ESI)可以与由登记模块242接收的对应患者信息相关联,例如,在与医院信息系统240相关联的一个或多个数据库(未描绘)中。
警报模块248可以被配置为接收指示诸如患者恶化的各种事件的信息,并且作为响应发出各种警报和/或警告。可以使用各种模态输出这些警报和/或警告,包括但不限于视觉输出(例如,在医院人员可见的显示屏上)、内部通信公告、文本消息、电子邮件、音频警告、触觉警告、寻呼、弹出窗口、闪烁灯等。医院信息系统240的模块242-248可以例如经由一个或计算机网络(未描绘)可操作地耦合到医院信息系统接口250(图2中的“H.I.S.接口”)。
医院信息系统接口250可以用作传统医院信息系统240与配置有本公开的选定方面的患者监测系统252之间的接口。在各种实施例中,医院信息系统接口250可以例如向患者监测系统252的其他模块发布关于患者的各种信息,诸如登记信息、患者紧急性量度(例如,ESI)、处方和/或施用的药物、患者是否已被释放、各种警报/警告等。如下面将描述的,在一些实施例中,这些发布可以被提供给事件发布和订阅(“EPS”)模块270,其然后可以选择性地将它们存储在数据库272中和/或选择性地将它们发布到患者监测系统252的其他模块。在一些实施例中,医院信息系统接口250可以额外地或替代地订阅由其他模块提供的一个或多个警告或发布内容。例如,医院信息系统接口250可以订阅来自恶化检测模块268的警告,例如,使得医院信息系统接口250可以向医院信息系统240的适当部件(例如警报模块248)通知患者正在恶化。EPS仅是可以被用于系统部件中间的通信的许多可能协议之一,并且不旨在是限制性的。
患者监测系统252可以包括多种部件,其便于监测诸如候诊室104的区域中的患者,以确保以有利于其实际医学状况的方式服务患者。患者监测系统252可包括例如与一个或多个相机256接合的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、前述EPS模块270和一个或多个数据库272、274。如上所述,模块250、254和258-270中的每个可以使用硬件和软件的任何组合来实施。尽管这些模块是分开描绘的,但这并不意味着限制或建议每个模块都是在硬件的单独的片上实施的。例如,可以组合和/或省略一个或多个模块,并且可以在经由一个或多个计算机网络(未描绘)可操作地连接的一个或多个计算系统上实施一个或多个模块。描绘的连接图2的各种部件的线可以表示可访问这些部件的通信信道。这些通信信道可以使用任何数量的网络或其他计算机通信技术来实施,例如一个或多个总线、以太网、Wi-Fi、蓝牙、Z-Wave、ZigBee、蜂窝通信等。
患者监测系统252还可以包括一个或多个生命体征采集相机276,其被配置为从距患者的一定距离采集患者的一个或多个生命体征和/或生理参数。这种生命体征采集相机的范例己在上面描述。在各种实施例中,生命体征采集相机276可以是平移-倾斜-缩放(“PTZ”)相机,其可操作于平移、倾斜和缩放,使得诸如候诊室104的区域的不同部分被包含在其FOV内。以这种方式,能够扫描被监测的区域以定位不同的患者,使得可以不突兀地采集经更新的生命体征和/或生理参数。
患者捕获模块254可以从一个或多个相机256接收携带患者的捕获的图像数据的一个或多个信号。例如,在一些实施例中,患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如,面部检测、分割、检测人类形式的形状检测等)以检测何时患者存在,并且可以响应于检测而捕获患者的一幅或多幅参考数字图像(例如,下面所描述的收录数字图像)。在一些实施例中,可以以比视频流的个体帧更高的分辨率捕获参考数字图像,但是不要求这样。在一些实施例中,相机256可以是独立相机,诸如网络摄像头、PTZ相机(例如,276)等,其被部署在(一个或多个)预候诊室区域102中或附近。由相机276捕获的收录数字图像的子集可以被用于生成与登记的患者(并且更一般地“对象”)相关联的对象参考模板和对应的模板特征向量并且稍后被用于识别和/或定位被监测的区域中的登记的患者。
患者队列模块258可以被配置为建立和/或维持区域中的患者应当被监测的顺序的优先级队列,例如,在数据库中。在各种实施例中,可以通过各种参数对所述队列进行排序。在一些实施例中,队列中的患者可以以患者紧急性量度的顺序(即,通过优先级)进行排名。例如,与较不危急的患者相比,最危急的患者可以被放置在队列的前面。在一些实施例中,可以按队列的顺序从在被监测的区域(例如候诊室104)中等候的患者采集经更新的生命体征。在其他实施例中,可以以FIFO或循环顺序从患者采集经更新的生命体征。在其他实施例中,可以以与编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集经更新的生命体征(例如,按顺序扫描每行椅子)。
患者识别模块260可以被配置有本公开的选定的方面以结合由患者捕获模块254捕获的对象参考模板和/或对应的模板特征向量使用由生命体征采集相机276(或未被配置为不突兀地采集生命体征的另一相机)捕获的一幅或多幅数字图像,以定位被监测的区域(例如,候诊室104)中的一个或多个患者。患者识别模块260可以使用下文所描述的各种技术分析所采集的数字图像以识别和定位患者(对象)。下面所描述的图4-10说明了可以被用作在任何背景下鉴别/识别/定位患者(或更一般地对象)的部分的各种技术的各方面。
在一些实施例中,患者识别模块260可以针对从其获得经更新的生命体征的特定患者来搜索被监测的区域。例如,患者识别模块260可以针对由患者队列模块258选择的患者来搜索被监测的区域,所述患者可以是例如队列中具有最高患者紧急性量度的患者。在一些实施例中,患者识别模块260可以使(一个或多个)生命体征采集相机276扫描被监测的区域(例如,候诊室104),直到识别出选定的患者。
动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用并根据需要校准它们。例如,动态校准模块262可以确保每当指导生命体征采集相机276指向特定PTZ位置时,其总是指向精确相同的位置。PTZ相机可以是持续或至少频繁运动的。因此,它们的机械部件可能经受磨损。小的机械误差/偏离可能累积并导致生命体征采集相机276随时间不同地对给定的PTZ命令进行响应。动态校准模块262可以例如通过偶尔运行校准例程来校正这一点,其中,可以使用界标(例如,诸如墙壁上的小贴纸的标记)来训练将使生命体征采集相机276适当地响应的校正机构。
一旦由患者队列模块258识别的患者由患者识别模块260识别/定位,面部/躯干采集模块264就可以被配置为平移、倾斜和/或缩放一个或多个生命体征采集相机276,使得其视场捕获患者的期望部分。例如,在一些实施例中,面部/躯干采集模块264可以平移、倾斜或缩放生命体征采集相机276,使得其聚焦于患者的面部和/或上部躯干上。额外地或替代地,面部/躯干采集模块264可以平移、倾斜或缩放一个生命体征采集相机276以主要地捕获患者的面部,并且平移、倾斜或缩放另一个以主要地捕获患者的躯干。可以然后采集各种生命体征和/或生理参数。例如,可以例如通过在由(一个或多个)生命体征采集相机276捕获的患者的面部的视频上执行图像处理由生命体征测量模块266获得生命体征,诸如患者的脉搏率和SpO2。可以例如通过在由(一个或多个)生命体征采集相机276捕获的患者的躯干的视频上执行图像处理由生命体征测量模块266获得生命体征和/或生理参数,诸如患者的呼吸率等。当然,面部和躯干仅是可以被检查以获得生命体征的身体部分的两个范例,并且不意味着限制。
恶化检测模块268可以被配置为分析各种信号和/或数据以确定登记的患者(或甚至未登记的同伴)的状况是否正在恶化、改进和/或保持稳定。在一些实施例中,患者状况可以至少部分地由上面描述的用于确定用于监测的患者的顺序的相同患者紧急性量度来表示。这样一来,恶化检测模块268可以包括一个或多个CDS、基于病例的推理、或如本文所述的其他临床推理算法或用于评估除了此处描述的紧急性量度之外的患者状况量度的其他临床推理算法(例如,经训练的逻辑回归模型或其他机器学习模型)。在一些实施例中,用于评估由恶化检测模块268采用的患者紧急性或患者状况的其他量度的算法可以通过例如为选定的机器学习模块写入新的训练的权重(例如,θ值)或提供由处理器运行的新指令(例如,以java档案、JAR、文件或编译库的形式)来不时地更新。这些信号可以包括,例如,患者的初始生命体征和其他生理信息(例如,在图1的框108-110处获得的)、由生命体征测量模块266获得的经更新的生命体征、患者的初始患者紧急性量度(例如,在登记期间计算的),和/或患者的经更新的患者紧急性量度(例如,基于从生命体征测量模块266接收的经更新的生命体征和/或生理参数计算的)。
基于使用这些数据和/或信号进行的确定,恶化检测模块268可以向各种其他模块发送各种警告以采取各种动作。例如,恶化检测模块268可以例如通过以下来发布警告:向EPS模块270发送警告使得EPS模块可以将警告发布到订阅的模块,诸如医院信息系统240的警报模块248。在一些实施例中,这样的警告可以包括例如患者的姓名(或更一般地,患者标识符)、图片、实况视频流、患者的在候诊室中最后检测到的位置、基线生命体征、一个或多个经更新的生命体征和/或患者的紧急性量度的指示。在接收到警告时,警报模块248可以向医学人员发出这样的警告或警报:患者的恶化,以及患者在候诊室中最后检测到的位置,等等。
EPS模块270可以是通用通信集线器,其被配置为分配由图2的各种其他部件释放的事件。在一些实施例中,图2中描绘的其他模块中的所有或至少一些可以生成指示来自该模块的某种形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的其他模块中的所有或一些可以选择接收或“订阅”来自任何其他模块的任何事件。当EPS模块270接收到事件时,其可以将指示事件的数据发送(例如,转发事件)到已经订阅该事件的所有模块。
在一些实施例中,EPS模块270可以与一个或多个数据库(诸如数据库272和/或档案274(其可以是任选的))通信。在一些实施例中,EPS模块270可以接受来自任何模块的远程流程调用(“RPC”)以提供对存储在一个或多个数据库272和/或274中的信息的访问,和/或将从其他模块接收到的信息(例如,警告)添加到数据库272和/或274。数据库272(其在一些实施例中可以与对象参考数据库412相同)可以存储由图2中的一个或多个其他模块发送/广播/传送的警告、发布或其他通信中包含的信息。在一些实施例中,数据库272可以存储例如与患者相关联的对象参考模板和/或其初始生命体征、经更新的生命体征(由生命体征采集相机276采集)和/或患者紧急性量度。在一些实施例中,任选的档案274可以在更长的时间段内存储相同或相似的信息。
将显而易见的是,可以利用各种硬件装置来实施患者监测系统252。例如,在一些实施例中,单个设备可以实施整个系统252(例如,单个服务器来操作相机276来执行生命体征采集功能260-266并执行包括恶化检测268和患者队列管理258的(一个或多个)生命体征分析和警告功能)。在其他实施例中,多个独立设备可以形成系统252。例如,第一设备可以驱动生命体征采集相机276并实施功能260-266,而(一个或多个)其他设备可以执行其余功能。在一些这样的实施例中,一个设备可以是候诊室的本地的而另一个设备可以是远程的(例如,实施为地理上遥远的云计算架构中的虚拟机)。在一些实施例中,设备(例如,包括处理器和存储器)可以设置在生命体征采集相机276自身内,并且这样一来,相机276可以不简单是哑的外围设备,而是可以执行生命体征功能260-266。在一些这样的实施例中,另一服务器可向相机276提供指示(例如,标识符、完整记录或登记的面部图像)以请求返回生命征以供进一步处理。在一些这样的实施例中,可以在相机276上机载地提供额外的功能,例如,可以在相机276上机载地执行恶化检测268(或其预处理)和/或患者队列模块258管理。在一些实施例中,相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。
图3图示了其中,所公开的技术可以被实施为出于监测目的识别候诊室304中的患者378A-C的范例情形。在该范例中,三个患者378A-C正在医院候诊室304中等候由医学人员380医治。两个视频相机376A、376B被安装在候诊室304的表面(例如,天花板、墙壁)上。所述两个视频相机376A、376B可以被用于监测候诊室304中的患者378。患者378A-C均可以基于初步患者状况分析由分诊医学人员(未描绘)分配患者紧急性量度。当患者378等候主治医师时,两个视频相机376A、376B可以捕获(一幅或多幅)数字图像,所述数字图像使用本文所描述的技术来分析以识别被选择用于监测的患者。相同的视频相机(假定其被配置为不突兀地采集生命体征)或不同的视频相机可以然后被操作为如上文所描述地监测患者378,例如,以检测患者恶化。在一些实施例中,可以响应于由患者监测系统(更具体地,恶化检测模块268)对患者已经恶化的检测而由医学人员更新与患者相关联的患者紧急性量度。在各种实施例中,当新患者进入候诊室304中时,可以执行新一轮患者监测和优先化(例如,由患者监测系统252)。每次新患者进入候诊室304时,患者队列可以例如通过患者队列模块258自动地更新。额外地或替代地,医学人员可以手动地更新患者队列以包括在分诊之后的新到达的患者。
在本文中所描述的技术不限于医院候诊室。存在本文所描述的技术可以被实施为识别/定位数字图像或视频中的对象的许多其他情形。例如,所公开的技术还可以被用于机场、竞技场、过境处和其他公共场所内的人群的安全监测。在这样的情形下,不是监测患者以确定患者紧急性量度,而是可以出于其他目的(诸如风险评估或事件后调查)识别对象。本文所描述的技术还可以适用于诸如在健身环境(例如,体育馆、疗养院)中的情形或其中,可以实现数字图像中所描绘的个体对象的识别的其他监督情形(例如,机场、过境处等)中。例如,在机场中,在登机口处等候的对象可以例如通过将在登机口处等候的对象的图像与在登记处和/或从护照/身份证照片获得的对象参考模板进行比较来识别。此外,本文所描述的技术可以被用于识别离开而未被看到的患者,不需要患者的面部可见。
图4在相对高的水平示意性地描绘了被配置有本公开的选定的方面的部件的范例,以及那些部件之间的范例交互。在各种实施例中,这些部件中的一个或多个可以使用硬件和软件的任何组合实施,例如,作为图2中的患者监测系统252的部分并且具体地作为患者捕获模块254和患者识别模块260的部分。例如,图4的部件可以在图1的框108处被用于将诸如患者的对象登记在对象参考数据库412中。与对象的收录信息(例如,年龄、性别、姓名、初始生命体征等)一起,包括来自多个视图(例如,不同的角度、不同的面部表情、不同的照明条件、不同的头部位置等)的对象的面部的数字图像的任何数量的“对象参考模板”可以被选择并且与对象参考数据库412中的对象相关联,例如,通过医学记录编号“MRN”。这些对象参考模板(并且如下所述,从这些对象参考模板生成的模板特征向量)然后可以稍后(例如,由患者识别模块260)用于使用捕获其视场中的候诊室的另一相机(例如,生命体征采集相机276、376)识别诸如候诊室的区域中的对象。一旦对象被识别,对象的位置可以被用于各种目的,诸如由医学人员接触、使生命体征不突兀地被采集等。
从右下开始,描绘了根据各种实施例的收录例程402,其包括用于收录新登记的对象(例如,将新患者登记和/或分诊)并且将该对象添加到对象参考数据库412的操作。第一相机456可以被配置为捕获在本文中将被称为“收录”数字图像404(例如,个体图像和/或图像流,诸如视频流)的事物中的一个或多个。在一些实例中可以对应于图2的相机256的第一相机456可以采取各种形式,诸如被定位在收录区域(例如,登记和/或分诊)中的网络摄像头、与由收录人员(例如,分诊护士)操作的计算设备集成的相机等。该图像捕获可以对于收录人员和对象两者是非侵入的,因为其可以在具有很少或没有人类介入的情况下自动地发生(但是这不意味着限制)。
在框406处,(一个或多个)收录数字图像404可以被分析(例如,由与相机456可操作地耦合的一个或多个计算系统(例如,图2中的患者捕获模块254))以检测描绘当前被定位在收录区域(例如,登记和/或分诊)中的对象的面部的数字图像404的一个或多个部分。图6展示了用于检测对象的面部的一个范例技术。其他技术可以包括例如基因算法、特征脸技术、模板匹配等。在一些实施例中,一个或多个收录数字图像404可以被裁剪或以其他方式被改变(例如,背景被裁剪)以聚焦于对象的面部,但这不是必要的。
在框408处,可以从多个收录数字图像404选择描绘对象的面部的多个不同的视图的收录数字图像的子集。选定的子集可以被用于生成被用于稍后视觉地识别/定位对象的对象参考模板。在一些实施例中,被用于生成对象参考模板的收录数字图像的子集可以基于足够地不类似于一个或多个其他收录数字图像来选择。下面图5和图8说明了用于选择用于对象参考模板的生成的收录图像的子集的范例技术。
在一些实施例中,在框409处,在框408处生成的对象参考模板可以被应用为跨机器学习模型(诸如卷积神经网络)的输入,以生成本文中所谓的“模板特征向量”。这些模板特征向量可以包括除了或代替对象参考模板的原始数据的多种特征。具体地,卷积神经网络最近已经示出了优于其他面部识别方法的改进。卷积神经网络可以利用包括多种头部姿态、面部表情、照明条件等的数百万(更多)个面部图像来训练,以确保卷积神经网络可用于生成比单独源图像更有辨别力的模板特征向量(和下面描述的其他特征向量)。在一些实施例中,卷积神经网络可以包括卷积、规则化和池化层的堆叠。在一些实施例中,一个或多个图形处理单元(“GPU”)可以被用来执行使用卷积神经网络的特征提取,因为它们可以能够比标准中央处理单元(“CPU”)更高效地这样做。
在O.M.Parkhi,A.Vedaldi,A.Zisserman的Deep Face Recognition(BritishMachine Vision Conference(2015)),Yaniv Taigman,Ming Yang,Marc’AurelioRanzato,Lior Wolf的DeepFace:Closing the Gap to Human-Level Performance inFace Verification(IEEE International Conference on Computer Vision andPattern Recognition(2014))和Florian Schroff,Dmitry Kalenichenko,James Philbin的FaceNet:A Unified Embedding for Face Recognition and Clustering(IEEEInternational Conference on Computer Vision and Pattern Recognition(2015))中描述了可以被用来生成本文所描述的的各种特征向量(也被称为“向量化描述符”、“嵌入描述符”、“嵌入”等)以及它们可以如何被训练的合适的卷积神经网络的范例。一般来说,这些出版物描述了训练卷积神经网络学习从面部图像到紧凑欧氏空间的映射,其中,嵌入之间的距离直接对应于面部相似度的度量。一旦该紧凑欧氏空间已经被确定,面部识别就能够使用特征向量(诸如前面提到的模板特征向量)来实施。在各种实施例中,卷积神经网络可以通过最小化最后一个网络层处的柔性最大损失来训练,其中,每个对象身份作为唯一类标签。该损失然后可以被反向传播到所有先前的层,以逐步地更新每个层中的所有系数。反向传播可以被迭代地执行例如数千次。在每个迭代期间,可以从收集的要被用于损失最小化的数百万个训练面部图像被随机地采样少到几十或数百个面部图像。
在框410处,所生成的对象参考模板和对应的模板特征向量可以例如被存储在对象参考数据库412中,与对象相关联。在各种实施例中,所生成的对象参考模板和模板特征向量可以被存储在对象参考数据库412中,与关于对象的信息相关联,例如,通过前述MRN的方式。更一般地,对象参考数据库412可以存储与多个对象(诸如可能正等候医学处置的候诊室104中的多个登记的患者)有关的对象参考模板和相关联的模板特征向量。在其他实施例中,与登记的对象相关联的模板特征向量可以在根据需要和/或者在按需的基础上被生成。
在右上处描绘了可以例如由图2的患者识别模块260使用可以或可以不采取先前地描述的生命体征采集相机的形式的另一相机476执行的对象识别例程418。对象识别例程418可以在各种时间处响应于各种事件而被周期性地、连续地等执行。在一些实施例中,对象可以被搜寻出作为对象监测例程414的部分,其中,诸如护士的人员发出定位具体对象的查询搜索。在其他实施例中,对象识别例程418可以被连续地执行作为先前描述的持续努力的部分,以监测患者的紧急度。在一些实施例中,相机476可以被循环遍历每个检测到的对象来确定检测到的对象的身份,并且将它与检测到的对象的位置相关联。
对象识别例程418可以以数字图像420(例如,视频流)的采集开始,数字图像420描绘查询的一个或多个对象通常被认为处于的区域,诸如候诊室。在框422处,描绘区域中的具体对象的面部的(一幅或多幅)数字图像420的一个或多个部分可以被检测(例如,由患者识别模块260),其本文中将被称为“检测到的面部图像”。在各种实施例中,框422的操作可以连续地执行和/或可以通过来自患者监测例程414的对象查询的接收来触发。与框406处应用的类似的用于面部检测的技术可以在框422处应用,其中,一些将在下面更详细地描述。
在一些实施例中,在框423处,可以进行一个或多个调整,例如,以与由相机456(或,例如,256)采集的收录数字图像404尽可能紧密地校准由相机476采集的图像420。各种操作可以在框423处被执行以实现这种校准。在一些实施例中,可以进行相机476的一个或多个设置(诸如孔径、曝光、快门速度、白平衡等)以对准该设置与相机456的对应设置。具体地,孔径(光通过其行进到光传感器的开口的大小)和快门速度(光传感器暴露于光的时间量)是光学调整。减小的孔径大小增加了图像清晰度,并且使得到的图像更暗。更短的快门时间减少了运动模糊,并且也倾向于使得到的图像更暗。相机的孔径和快门速度设置通常是不连续的,即,它们以直径的大约√2倍的步长可调,其对应于光强的两倍变化的因子。类似地,快门速度能够通常也以两倍的步长进行控制。在一些情况下,这种不连续性会限制图像调整的准确度。相比于这些光学调整,能够对一个或多个相机进行的电子调整是与红、绿和/或蓝(RGB)相关联的个体增益方面的白平衡调整。
额外地或替代地,在一些实施例中,可以对由一个或两个相机(例如,456和/或476)采集的数字图像(404、420)进行调整(例如,使用(一个或多个)图像处理软件处理)以将图像校准到彼此。例如,在一些实施例中,收录数字图像404和/或以后采集的数字图像420可以被颜色校正,例如,使用一个或多个图像处理软件处理,以调整亮度,调整色调,等等。额外地或替代地,在一些实施例中,各种图像处理技术可以被执行以实现收录数字图像404与以后采集的数字图像420之间头部姿态修正。
在一些实施例中,在框424处,可以选择在框422处生成的一幅或多幅检测到的面部图像的子集(或“关键帧”),其表示检测到的对象的面部的描绘的最大变化,例如,描绘不同的姿态、位置、照明、面部表情等。在一些实施例中,与在图8中描绘的过程类似的过程可以被用于选择检测到的面部图像的子集(或“关键帧”)。在框425处,可以执行一个或多个操作以对检测到的面部图像中所描绘的面部进行规范化(或“正面化”)。例如,在一些实施例中,几何翘曲和/或其他类似技术可以被用于将检测到的面部规范化为在正面视图处或附近。下面描述的图7说明了用于将检测到的面部规范化的一个范例技术。因此,框425的输出可以是正被监测的区域中的具体对象的一个或多个规范化的检测到的面部图像。
在框426处,在本文中被称为“特征比较”的过程可以被用来通过将具体对象匹配到对象参考数据库412中的登记的对象来确定具体对象的身份。“特征比较”的过程在下面关于图9更详细地进行描述。在框428处,检测到的对象的身份和/或检测到的对象的位置(例如,对象位于的具体位置,诸如候诊室中的椅子)可以被提供作为输出。在框430处,相机476可以被平移、倾斜和/或缩放,例如,以捕获一系列位置(例如,候诊室104中的椅子)中的下一位置处的对象(如果有的话)。
图5描绘了根据各种实施例的可以如何实施图4的收录例程402的工作流程的各方面的一个范例。如上文所描述的,相机456可以采集收录数字图像404,例如,作为视频流。在一些实施例中,收录数字图像404可以描绘收录(例如,分诊)区域,但是不要求这一点。可以在各种计算设备(诸如与收录区域中或附近的相机456可操作地耦合的计算设备)处执行图5中所描绘的操作。
在其中,新对象被评估(例如,临床评估)的收录(例如,分诊)区域中,针对由相机456捕获的每幅新收录数字图像(例如,视频流的帧),分别地在框502和504处,可以并行执行面部检测(例如,新面部的)和面部跟踪(例如,在先前的收录数字图像中检测到的面部的)。这确保收录区域中的每个对象的面部被检测到,无论哪个对象首先进入。对于每个新检测到的面部,在框506处,发动新面部跟踪器。该新面部跟踪器将在下一个图像帧处开始其分析。然后,在框508处,新检测到的面部被规范化例如到接近正面视图(在图7中更详细地说明了规范化)。
在一些实施例中,该规范化的检测到的面部可以被视为对象模板候选。然后,新对象参考模板候选可以与现有对象参考模板候选(例如,从先前的图像帧采集的)进行比较(例如,在框510处),如果任何还存在的话。各种准则可以被用于确定是否保持新对象参考模板候选(例如,作为另一先前地捕获的对象参考模板候选的替换),或丢弃新对象参考模板候选。最终地,仅最具代表性的对象参考模板候选可以被选择并且被保留在对象参考数据库412中。图8更详细地说明了收录数字图像可以如何被选择(510)用于在生成对象参考模板中使用的一个范例。
现在转到面部跟踪框504,针对每个收录图像帧中先前地检测到的每个跟踪面部,在框512处,可以确定对应的对象是否正离开相机的视场。图6描绘了可以如何做出对象是否正离开的确定的一个范例。如果在框512处的答案为是,那么操作返回转到框504并且选择下一个跟踪面部。如果在框512处的答案为否,那么在框514处,可以执行单应估计,例如,以估计当前收录图像帧中的跟踪面部的三维头部姿态。基于估计的姿态,可以在框516处“正面化”当前帧中的跟踪面部图像(移除面部外观上的姿态效果)。控制可以然后转到框508。
图6展示了用于例如在收录期间(例如,在框406处)或稍后在对象监测期间(例如,在框422处)检测对象的面部的一个范例技术。相机的视场(“FOV”)640被示出,并且可以与本文所描述的任何相机(诸如相机456或相机476)相关联。图6图示了对象(624A)进入和对象(642B)离开两者的检测。这两种情况仅当对象的面部在FOV 640中部分地可见时发生。对象的存在可以例如通过测量面部区域与FOV 640的交叠比来检测。如果该比小于特定数字(诸如一),并且与(一个或多个)先前帧相比较正在增加,则对象能够被确定为正进入。否则,如果该比大于一并且与(一个或多个)先前帧相比较正减小,则对象可以被确定为正离开。如果两个情况中的任一个持续预定时间间隔(诸如五秒),则能够确定对象已经进入或离开。
图7描绘了例如可以在图4的框425和/或图5的框508处执行的一个范例面部规范化例程的细节。输入可以采取检测到的面部图像的形式,例如,来自图4的框422或框424和/或来自图5的框506/516。输出可以是规范化的检测到的面部图像。在框702和704处,可以执行左和右眼检测操作(还可以以相反的顺序或并行执行操作702和704)。这些操作可以包括各种图像处理技术,诸如边缘检测、模板匹配、特征空间方法、霍夫变换、形态学操作、经训练的神经网络等。在框706处,如果双眼成功地被检测,则控制可以转到框714,在该点处,可以对面部进行规范化(例如,几何翘曲可以被应用到检测到的面部图像以使面部近似地面向正面)。从框714,控制可以例如转到图4的框426或图5的框510。
如果在框706处的答案为否,那么在框708处可以确定任一眼睛是否被检测到。如果答案为否,那么控制可以通过操作714的下游,在一些实例中,可以出现故障事件,并且然后控制可以例如转到图4的框426或图5的框510。如果仅一只眼睛在702-704处成功地检测到,那么在框710处,检测到的眼睛区域可以被水平地镜像,并且可以搜索镜像眼片(例如,使用模板匹配)以定位另一眼睛。然后,操作可以行进到先前地所描述的框714。
图8描绘了检测到的面部图像在图4的框408和图5的框510处可以如何被选择为对象参考模板(例如,以包括在对象参考数据库412中)的一个范例。控制可以从各种位置转到图8的操作,诸如图4的框406、图5的框508(如果考虑中的检测到的面部图像是在当前收录数字图像帧中新检测到的)、和/或图5的框516(如果考虑中的检测到的面部图像在先前收录数字图像帧中被检测到并且当前正被跟踪)。在框802处,可以确定面部是否被遮挡。如果答案为是,那么控制可以转到框504,在该点处可以分析下一个跟踪面部(如果有的话)。
如果在框802处的答案为否,那么在框806处,可以确定当前检测到的面部图像与针对当前对象的任何现有对象参考模板之间的图像相似度。在框808处,可以确定是否还存在针对当前对象收集的足够的对象参考模板。可以针对每个新对象选择各种数量的对象参考模板。在一些实施例中,可以收集多至九个对象参考模板。尽管收集更多对象参考模板是可行的,但是在某个点之后能够经历收益递减。
如果还没有针对当前对象收集的足够的对象参考模板,那么在框408/410(与图4相同)处,当前检测到的面部图像可以被用于生成对象参考模板(408),对应的模板特征向量可以被生成(409),并且两者然后可以被添加(410)到对象参考数据库412。然而,在框808处,如果已经收集了足够的模板,那么在一些实施例中,可以确定当前检测到的面部图像是否与当前对象的先前收集的对象参考模板足够地不同而使替换先前收集的对象参考模板有必要。例如,在框处,在框812处,可以对以下做出确定:当前检测到的面部图像是否比先前地收集的对象参考模板中的任一个与每个先前收集的对象参考模板彼此更不类似。如果对于特定对象参考模板而言答案为是,那么当前检测到的面部图像可以被用于生成替换对象参考数据库412中的特定对象参考模板的新对象参考模板(409)。例如,对应的模板特征向量可以被生成409,并且模板和特征向量可以被添加(410)到对象参考数据库412。
图8的操作(并且更一般地,图5的操作)可以针对由相机456捕获的每幅收录数字图像重复,并且可以例如跟踪每个对象,直到其离开收录区域(框512)。因此,在对象处于相机456的FOV 640中时采集的收录数字图像的总数中,具有最适合地(例如,最不同的)视图的n幅收录数字图像可以被选择为生成针对该特定对象的对象参考模板。如先前地所提到的,可以稍后使用这些对象参考模板和/或对应的模板特征向量,例如,响应于对象在对象监测例程414处被查询。
图5和图8涉及收集要存储在对象参考数据库412中的每个对象的对象参考模板和对应的模板特征向量。图6和图7两者涉及收集对象参考模板并且使用那些对象参考模板以在诸如医院候诊室的在收录区域的下游的区域中识别对象。图9涉及后者。具体地,图9描绘了可以例如通过患者识别模块260被执行作为图4的“特征比较”框426以及图4的框427和428的部分的操作的一个范例。
在图9中,接收两个输入:(一幅或多幅)考虑中的当前检测到的面部图和来自对象参考数据库412的对象参考模板。如图9中示出的,(一幅或多幅)当前检测到的面部图像可以基于从被部署在诸如候诊室104的区域中的相机976(或图4中的476)采集的数字图像(例如,图4中的420)来生成。虽然未在图9中描绘,但是在各种实施例中,图4中的框422-425的操作中的一个或多个可以被执行以生成在图9中作为输入被接收的检测到的面部图像。
在框902处,(一幅或多幅)检测到的面部图像可以被应用为跨机器学习模型(诸如上面描述的卷积神经网络)的输入,以生成(在框904处)与检测到的面部图像中的一幅或多幅相关联的所谓的“面部特征向量”(也被称为“向量化描述符”)。在一些实施例中,(一个或多个)相同的卷积神经网络可以如在图4的框409处使用的那样被使用,以生成与对象参考模板一起被存储在对象参考数据库412中的模板特征向量。同时,在框906处,所有登记的对象的模板特征向量都可以在对象参考数据库412中进行检索和/或定位。在其他实施例中,所有登记的对象的模板特征向量可以在飞行中生成,例如,与使用相同的卷积神经网络的框902的操作同时地。
在一些实施例中,在框908处,一个或多个面部特征向量904(例如,多个面部特征向量的平均值)与模板特征向量906之间的距离可以被确定。特征向量之间的距离可以是或不是欧几里得距离,并且可以以各种方式被确定,诸如使用余弦相似度、点积等。在一些实施例中,距离(或相似度的其他度量)可以用作最近邻居(“NN”)搜索的部分,其中,最相似于考虑中的(一个或多个)面部特征向量(例如,相距考虑中的(一个或多个)面部特征向量的最短欧几里得距离)的一个或多个模板特征向量可以被识别。在一些实施例中,第一和第二最近最近邻可以被识别,并且可以与例如可以是所谓的“相关得分”的NN和NN_2nd得分相关联,所述“相关得分”与相距(一个或多个)的面部特征向量的相应欧几里得距离逆相关,并且因此表示相似度度量。
在一些实施例中,NN得分与NN_2nd得分之间的关系、比等可以被分析以确定最近邻居模板特征向量(其对应于对象参考数据库412中的登记的对象)是否比第二最近邻居模板特征向量(对应于对象参考数据库412中的另一登记的对象)更充分地相似于面部特征向量(其对应于检测到的对象)。例如,在框910处,可以进行NN得分/NN_2nd得分是否大于预定预定阈值(例如,其可以被手动地设置、被经验地学习等)的确定。如果答案为是,这直观地表明,最近邻居模板特征向量基本上是比第二最近邻居更好的用于检测到的对象的匹配,并且因此最近邻可能对应于与(一幅或多幅)检测到的面部图像相同的对象。另一方面,如果答案为否,那么最近邻基本上不是比第二最近邻居更好的匹配。
假设在框910处答案为是,那么在一些实施例中,可以进行考虑中的(一幅或多幅)当前检测到的面部图像和/或面部特征向量是否应当分别被存储为本文中所谓的“辅助对象参考模板”和“辅助模板特征向量”的确定。辅助对象参考模板和/或其对应的辅助模板特征向量可以用来补充或替代已经被存储在对象参考数据库412中的现有对象参考模板/模板特征向量。即,辅助对象参考模板和/或辅助模板特征向量可以随后用来更准确地识别诸如候诊室104的区域中的对象。在一些实施例中,仅辅助模板特征向量可以被存储在对象参考数据库412中,但这不是必须的。
存储这样的辅助数据可以带来多种技术优点。辅助对象参考模板/辅助模板特征向量通常使用由与在登记期间生成的对象参考模板(例如,其可以使用不同的相机(例如,276、376、476、976)采集的数字图像(例如,420)(诸如相机256、456)来捕获)来生成。在登记处生成的对象参考模板和其对应的模板特征向量是基于对象在受控的环境(例如,分诊、登记等)中并且可能正面对相机的收录数字图像404。相比之下,辅助对象参考模板和其对应的辅助模板特征向量基于在诸如候诊室104的更不受控的环境中采集的数字图像(例如,420)来生成。因此,辅助对象参考模板/模板特征向量可以根据从各种角度(并且在大多数情况下不查看相机或不在相机附近)、在与登记/分诊处的灯光不同的灯光下等等描绘对象的数字图像来生成。
可能更重要地,辅助对象参考模板/模板特征向量可以在他或她的当前状态下更准确地表示对象,例如,坐在候诊室104中阅读杂志。因此,如果面部特征向量能够被确信地匹配到对象,那么该面部特征向量可以是生成并存储用于未来使用的辅助模板特征向量的良好候选者。由于随着时间针对对象生成更多的辅助模板特征向量,这些辅助模板特征向量可以在多种(例如,后候诊室104)环境中实现比在登记处生成的原始模板特征向量更准确的对象识别。
回来参考图9,在一些实施例中,在框912处,可以进行在框908处针对最近邻模板特征向量确定的NN得分(例如,相关得分)是否大于(例如,基于欧几里得距离)在考虑中的面部特征向量与针对登记的对象已经存在的对应于最近邻居的任何辅助模板特征向量之间计算的相关性得分的确定。如果答案为是(或如果对于最近邻居还不存在任何辅助模板特征向量),然后在框916处,面部特征向量可以作为新的辅助模板特征向量被添加到对象参考数据库412用于未来使用。在一些实施例中,检测到的面部图像本身也可以被添加作为辅助对象参考模板,但这不是必要的。
然后,在框914(或图4的428)处,检测到的对象的身份(和/或诸如候诊室椅子的位置)可以例如作为输出被提供给医务人员,或帮助使用一个或多个生命体征采集相机从对象的生命体征的不突兀采集。如果在框912处答案为否——意味着已经存在针对对象被存储在对象参考数据库412中的一个或多个“更好”辅助模板特征向量——那么控制可以直接转到框914而不将新的辅助模板特征向量添加到对象参考数据库412。
在一些情况下,在登记期间生成的对象参考模板和/或对应的模板特征向量可能不足以识别在检测到的面部图像中描绘的对象。例如,假设候诊室中的对象的所采集的(一幅或多幅)数字图像(例如,420)截然不同于在登记期间采集的收录数字图像404(例如,由于不同的角度、灯光等)。在这样的情况下,可能的是,检测到的对象可以相对紧密地匹配到多于一个登记的对象。例如,在图9的框910处,可以确定最近邻居基本上不比第二最近邻居更相似于面部特征向量(例如,该NN/NN_2nd<前面提到的阈值)。
在这样的场景中,辅助模板特征向量可以证明是特别有用的。例如,如果在框910处答案为否,则在框918处,可以确定(例如,对象参考数据库412中)是否存在与登记的对象相关联的对应于最近邻居的任何辅助模板特征向量。如果答案为是,然后在框920处,新的NN得分可以例如被计算为最近邻居的辅助模板特征向量与当前考虑中的面部特征向量之间的欧几里得距离。类似的操作可以在框922和924处针对第二最近邻居被执行以生成新的NN_2nd得分。然后,在框926处,新的NN得分和新的NN_2nd得分可以被分析,例如,以确定它们之间的比(例如,使用诸如NN/NN_2nd或NN_2nd/NN的公式确定)是否满足预定的阈值(例如,与在框910处相同的阈值或不同的阈值)。如果答案为是,那么控制可以转到框914(上面描述);否则在框928处,不关于检测到的对象的身份进行决策(例如,提供“非结论性”的输出)。
图10描绘了根据各种实施例的用于实践本公开的选定的方面的范例方法1000。为了方便起见,参考执行操作的系统描述了流程图的操作。该系统可以包括各种计算机系统的各种部件,包括患者监测系统252。此外,尽管以特定顺序示出了方法1000的操作,但是这不意味着限制。一个或多个操作可以被重新排序、省略或添加。
在框1002处,系统可以例如从第一相机(例如,276、376、476)采集描绘诸如候诊室104的区域中的对象的一幅或多幅数字图像(例如,视频帧)。例如,在一些实施例中,系统可以采集包括由第一数字相机采集的多个数字图像视频馈送。在框1004处,系统可以检测描绘对象的面部的一幅或多幅数字图像的一个或多个部分作为一幅或多幅检测到的面部图像。在各种实施例中,可以使用与在图4的框406处采用的那些(在图6中更详细地描述了其一个范例)类似的技术来检测面部。在一些实施例中,从面向相机多达四十至四十五的头部姿态可以用于检测面部。如上面提及的,在一些实施例中,多幅数字图像(例如,视频流)的“关键帧”可以被选择(例如,在框424处),其描绘检测到的对象多种不同的姿态、面部表情等。并且在各种实施例中,数字图像(例如,关键帧)可以使用各种面部检测技术(例如,模板比较)来分析,并且可以被剪裁,使其背景被移除等,使得检测到的面部图像仅或主要包括对象的面部。
在框1006处,系统可以将一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板进行比较。额外地或替代地,系统可以将一幅或多幅检测到的面部图像的特征和与(一个或多个)对象相关联的辅助模板特征向量进行比较。值得注意地,对象参考模板基于由第二相机(例如,256、456)采集的收录数字图像(404)来生成,而辅助模板特征向量基于由不同的第二相机(例如,276、376、476)采集的(一幅或多幅)数字图像来生成。因此,并且如上面提及的,辅助模板特征向量可以更紧密地表示对象的当前状态(例如,坐在候诊室104中,不查看相机),并且因此可以提高例如患者识别模块260的能力,以准确地识别对象。
在各种实施例中,框1006的比较可以包括诸如系统(在框1008处)将检测到的面部图像应用为跨一个或多个神经网络(例如,上面描述的卷积神经网络)的输入以生成对应的面部特征向量的操作。在框1010处,系统可以将所生成的面部特征向量与根据对象参考模板跨相同或不同的神经网络的应用(其可以已经发生,例如,在登记/分诊期间或之后立即)生成的模板特征向量进行比较。如之前提及的,因为对象参考模板基于由第二相机(例如,256、456)采集的收录数字图像404来生成,模板特征向量也基于由第二相机采集的数字图像来生成。在框1012处,系统可以额外地或替代地将面部特征向量与基于由第一相机(例如,276、376、476)而非第二相机采集的数字图像(例如,420)生成的辅助模板特征向量进行比较。如上面提及的,框1008-1012的比较操作中的一个或多个可以涉及使用各种技术(诸如点积、余弦相似度、联合嵌入等)来确定欧几里得距离。
在框1014处,基于所述比较,对象的身份可以被确定。而且基于所述比较——例如,如果检测到的面部图像的特征比第二最近邻居充分地更靠近最近邻居——在框1016处,一幅或多幅检测到的面部图像的特征可以例如作为辅助模板特征向量被存储在与对象相关联的对象参考数据库412中。例如,在一些实施例中,系统可以确定根据检测到的面部图像中的一幅或多幅生成的面部特征向量与根据对象参考数据库412中的第一对象相关联的(一个或多个)对象参考模板生成的第一模板特征向量之间的第一(例如,欧几里得)距离。系统类似地可以确定面部特征向量与根据与对象参考数据库412中的第二对象相关联的(一个或多个)对象参考模板生成的第二模板特征向量之间的第二距离。在一些情况下,这些距离(和另外的距离,如果存在另外的登记的对象)可以作为在上面关于框908描述的最近邻居搜索的部分用来计算前面提到的与相似度直接相关的“相关得分”。基于第一和第二相关得分(其可以对应于之前描述的NN得分和NN_2nd得分)之间的关系,面部特征向量可以作为辅助模板特征向量被存储在对象参考数据库412中。
在框1016处确定的对象的身份可以用于各种目的。在一些实施例中,在原始数字图像(在框1002处采集)中描绘的对象的位置可以例如基于捕获数字图像的相机的PTZ设置来确定。例如,在一些实施例中,相机可以被配置为扫描通过多个位置,诸如候诊室104中的椅子,寻找每个位置处的对象。当对象在具体位置处被检测到并且然后被匹配到登记的对象时,对象的身份可以连同对象的位置一起例如作为音频或视频输出被提供给值班护士或其他医务人员。在一些实施例中,身份/位置可以被输出到患者监测系统252的其他模块。
在其他场景中,具体的登记的对象(例如,查询的对象)的位置可以是期望的,例如,使得对象的生命体征能够被监测(例如,不突兀地使用相机276),对象能够被带去看医生等。在这样的场景中,方法1000可以针对通过监测诸如候诊室104的区域的一个或多个相机被检测的每个对象来执行直至搜寻的对象被定位。在一些此类情况下,如果查询的对象未被找到——例如,因为对象被允许进入急诊部的处置区域或对象留下而未被看见——相关的人员(例如,医院工作人员)可以被通知。如果对象临时留下例如使用休息室,对象可以被重新插入到上面描述的患者队列中,使得它们能够在稍后的时间被监测。
图11是范例计算机系统1110的框图。计算机系统1110通常包括至少一个处理器1114,至少一个处理器1114经由总线子系统1112与多个外围设备通信。如本文所使用的,术语“处理器”将被理解为涵盖能够执行归于本文所描述的部件的各种功能的各种设备,例如微处理器、GPU、FPGA、ASIC、其他类似设备及其组合。这些外围设备可以包括:数据保留子系统1124,包括例如存储器子系统1125和文件存储子系统1126;用户接口输出设备1120;用户接口输入设备1122和网络接口子系统1116。输入和输出设备允许用户与计算机系统1110的交互。网络接口子系统1116提供去往外部网络的接口,并且耦合到其他计算机系统中的对应的接口设备。
用户接口输入设备1122可以包括:键盘;指点设备,诸如鼠标、跟踪球、触摸板或图形输入板;扫描器;并入到显示器中的触摸屏;音频输入设备,诸如语音识别系统/麦克风;和/或其他类型的输入设备。通常,术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入到计算机系统1110中或通信网络上的方式。
用户接口输出设备1120可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于创建可见图像的一些其他机构。显示子系统还可以提供非视觉显示,例如通过音频输出设备。通常,术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算机系统1110输出到用户或另一机器或计算机系统的方式。
数据保留系统1124存储提供本文描述的模块中的一些或全部的功能的编程和数据构造。例如,数据保留系统1124可以包括用于执行图4-10的选定的方面的逻辑和/或实施患者监测系统252的一个或多个部件的逻辑,包括患者识别模块260、患者捕获模块254等。
这些软件模块通常由处理器1114单独执行或与其他处理器结合执行。存储子系统中使用的存储器1125可以包括多个存储器,包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)1130、固定指令被存储的只读存储器(ROM)1132,以及诸如指令/数据高速缓存的其他类型的存储器(其可以额外地或替代地与至少一个处理器1114集成)。文件存储子系统1126可以为程序和数据文件提供持久存储,并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光驱或可移除介质盒。实施某些实施方式的功能的模块可以由数据保留系统1124中的文件存储子系统1126存储,或存储在由(一个或多个)处理器1114可访问的其他机器中。如本文所使用的,术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如DRAM和SRAM)和非易失性存储器(例如闪存、磁性存储设备和光学存储设备),但是要排除瞬态信号。
总线子系统1112提供用于使计算机系统1110的各种部件和子系统按预期彼此通信的机制。尽管总线子系统1112示意性地示为单个总线,但总线子系统的备选实施方式可以使用多个总线。在一些实施例中,具体地在计算机系统1110包括经由一个或多个网络连接的多个个体计算设备的情况下,一个或多个总线可以被添加有有线或无线网络连接和/或利用有线或无线网络连接来替换。
计算机系统1110可以是各种类型的,包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理系统或计算设备。在一些实施例中,计算机系统1110可以在云计算环境内实施。由于计算机和网络的不断变化的性质,图11中描绘的计算机系统1110的描述仅旨在作为出于说明一些实施方式的目的的特定范例。计算机系统1110的许多其他配置可能具有比图11中描绘的计算机系统更多或更少的部件。
尽管本文中已经描述和图示了若干实施例,但是本领域的普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其他手段和/或结构,并且这些变化和/或修改中的每一个被认为是在本文描述的实施例的范围内。更具体地,本领域技术人员将容易意识到,本文中所描述的所有参数、尺度、材料和配置意味着是示范性的,并且实际参数、尺度、材料和/或配置将取决于教导被使用的一个或多个特定应用。本领域的技术人员将认识到,或仅仅使用常规实验就能够确定本文描述的特定实施例的许多等价方案。因此,应理解的是,前述实施例仅通过范例呈现,并且在权利要求及其等价方案的范围内,可以以与具体描述和要求保护的方式不同的方式来实践实施例。本公开的发明性实施例涉及本文描述的每个个体特征、系统、物品、材料、套件和/或方法。此外,如果这样的特征、系统、物品、材料、套件和/或方法不相互不一致,则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合都包括在本公开的范围内。
如本文所定义和使用的所有定义应被理解为控制在字典定义、通过引用并入的文献中的定义和/或所定义的术语的普通含义上。
如本文中在说明书和权利要求书中所使用的词语“一”和“一个”应被理解为意指“至少一个”,除非明确相反指示。
如在本说明书和权利要求书中所使用的短语“和/或”应该被理解为是指如此联合的元素中的“任一个或两者”,即在一些情况下联合存在并且在其他情况下分离存在的元素。利用“和/或”列出的多个元素应该以相同的方式解释,即如此联合的元素中的“一个或多个”。除了由“和/或”子句特别识别的元素,其他元素可以任选地存在,不管与具体识别的那些元素相关还是不相关。因此,作为非限制性范例,当与诸如“包括”的开放式语言结合使用时,对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除了B之外的元素);在另一个实施例中,仅指B(任选地包括除了A之外的元素);在又一个实施例中,指A和B两者(任选地包括其他元素);等等。
如在本说明书和权利要求书中所使用的,“或”应当被理解为具有与上面所定义的“和/或”相同的含义。例如,当在列表中分离项目时,“或”或“和/或”应被解释为包含性的,即包括多个元素或元素列表中的至少一个元素,但也包括多于一个元素,以及任选的其他未列出项目。仅清楚地指示为相反的术语,诸如“仅一个”或“确切地一个”,或,当在权利要求中使用时,“由...组成”,将指包括多个元素或元素列表中的确切地一个元素。通常,如本文使用的术语“或”仅当前面有排他性术语(例如“任一个”,“...中的一个”,“...中的仅一个”,或“...中的确切地一个”)时才应解释为指示排他性备选(即,“一个或另一个但是并非两者”)。当在权利要求中使用时,“主要由...组成”应当具有其在专利法领域中使用的普通含义。
如本文中在说明书和权利要求书中所使用的,涉及一个或多个元素的列表的短语“至少一个”应该被理解为是指选自元素列表中的元素中的任何一个或多个的至少一个元素,但是不必包括元素列表内具体列出的每一个元素和每个元素中的至少一个,并且不排除元素列表中的元素的任何组合。该定义还允许除了在短语“至少一个”涉及的元素列表内具体识别的元素之外元素可以任选地存在,而不管与具体识别的那些元素相关还是不相关。因此,作为非限制性范例,“A和B中的至少一个”(或等价地,“A或B中的至少一个”,或等价地“A和/或B中的至少一个”)可以在一个实施例中指至少一个、任选地包括多于一个A,而不存在B(并且任选地包括除了B之外的元素);在另一个实施例中,指至少一个、任选地包括多于一个B,而不存在A(并且任选地包括除了A之外的元素);在又一个实施例中,指至少一个、任选地包括多于一个A,以及至少一个、任选地包括多于一个B(并且任选地包括其他元素);等等。
还应该理解,除非明确地相反指示,在本文所要求保护的包括多于一个步骤或动作的任何方法中,方法的步骤或动作的顺序不必限于叙述该方法的步骤或动作的顺序。
在权利要求书以及上面的说明书中,所有的过渡性短语,诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“带有”等等应被理解为是开放式的,即意味着包括但不限于。只有过渡性短语“由...组成”和“主要由...组成”应分别是封闭式或半封闭式过渡短语,如美国专利局专利审查程序手册第2111.03节所阐明的。应该理解,依照专利合作条约(“PCT”)的规则6.2(b)在权利要求中使用的特定表达和附图标记不限制范围。

Claims (15)

1.一种由一个或多个处理器实施的方法,所述方法包括:
使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420);
检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分,作为与所述对象相关联的一幅或多幅检测到的面部图像;
将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006),其中,所述比较包括:
确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离;并且
确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离;
其中,所述对象参考数据库存储与多个对象有关的对象参考模板,并且其中,被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的;并且
基于所述比较:
确定(1014)所述对象的身份,并且
将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储(1016)在所述对象参考数据库中,作为辅助模板特征向量以供以后使用,其中,所述存储是基于所述第一距离与所述第二距离之间的关系的。
2.根据权利要求1所述的方法,其中,所述比较包括:
将所述一幅或多幅检测到的面部图像应用(1008)为跨神经网络的输入,以生成一个或多个对应的面部特征向量;并且
将所述对象参考模板中的至少一些应用(409)为跨所述神经网络的输入,以生成多个对应的模板特征向量。
3.根据权利要求2所述的方法,其中,所述神经网络包括卷积神经网络(902)。
4.根据权利要求1所述的方法,其中,所述第二相机被定位于登记或分诊区域(102)中。
5.根据权利要求4所述的方法,其中,所述第一相机被定位于候诊室(104)或普通病房中。
6.根据权利要求1所述的方法,还包括:
使用所述第一相机采集(1002)描绘所述区域中的第二对象的一幅或多幅随后数字图像;
检测(1004)所述一幅或多幅随后数字图像中的描绘所述第二对象的面部的一个或多个部分,作为与所述第二对象相关联的一幅或多幅检测到的面部图像;并且
将与所述第二对象相关联的所述一幅或多幅检测到的面部图像的特征与所述对象参考数据库中的与一个或多个对象相关联的辅助对象参考模板的特征进行比较(1012),其中,所述辅助对象参考模板是基于由所述第一相机采集的数字图像来生成的以确定所述第二对象的身份。
7.根据权利要求1所述的方法,其中,所述辅助模板特征向量替换与所述对象相关联的现有模板特征向量。
8.一种包括一个或多个处理器和能与所述一个或多个处理器耦合的存储器的系统,其中,所述存储器存储指令,所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器:
使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420);
检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分,作为与所述对象相关联的一幅或多幅检测到的面部图像;
将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006),其中,用于比较的指令包括用于以下操作的指令:
确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离;以及
确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离;
其中,所述对象参考数据库存储与多个对象相关联的对象参考模板,并且其中,被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的;并且
基于所述比较:
确定(1014)所述对象的身份,并且
将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储(1016)在所述对象参考数据库中,作为辅助模板特征向量,其中,所述存储是基于所述第一距离与所述第二距离之间的关系的。
9.根据权利要求8所述的系统,其中,所述比较包括:
将所述一幅或多幅检测到的面部图像应用(1008)为跨神经网络的输入,以生成一个或多个对应的面部特征向量;并且
将所述对象参考模板中的至少一些应用(409)为跨所述神经网络的输入,以生成多个对应的模板特征向量。
10.根据权利要求9所述的系统,其中,所述神经网络包括卷积神经网络(902)。
11.根据权利要求8所述的系统,其中,所述第二相机被定位于登记或分诊区域(102)中。
12.根据权利要求11所述的系统,其中,所述第一相机被定位于候诊室(104)或普通病房中。
13.根据权利要求8所述的系统,还包括以下指令:
使用所述第一相机采集(1002)描绘所述区域中的第二对象的一幅或多幅随后数字图像;
检测(1004)所述一幅或多幅随后数字图像中的描绘所述第二对象的面部的一个或多个部分,作为与所述第二对象相关联的一幅或多幅检测到的面部图像;并且
将与所述第二对象相关联的所述一幅或多幅检测到的面部图像的特征与所述对象参考数据库中的与一个或多个对象相关联的辅助对象参考模板的特征进行比较(1012),其中,所述辅助对象参考模板是基于由所述第一相机采集的数字图像来生成的以确定所述第二对象的身份。
14.根据权利要求8所述的系统,其中,所述辅助模板特征向量替换与所述对象相关联的现有模板特征向量。
15.一种包括指令的至少一个非瞬态计算机可读介质,所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器执行以下操作:
使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420);
检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分,作为与所述对象相关联的一幅或多幅检测到的面部图像;
将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006),
其中,所述对象参考数据库存储与多个对象相关联的对象参考模板,并且其中,被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的;其中,所述比较包括:
确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离;以及
确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离;并且
基于所述比较:
确定(1014)所述对象的身份,并且
将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储(1016)在所述对象参考数据库中,作为辅助模板特征向量,其中,所述存储是基于所述第一距离与所述第二距离之间的关系的。
CN201880073310.2A 2017-09-13 2018-09-07 对象识别系统和方法 Active CN111344715B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762557958P 2017-09-13 2017-09-13
US62/557,958 2017-09-13
PCT/EP2018/074148 WO2019052917A1 (en) 2017-09-13 2018-09-07 SYSTEMS AND METHODS FOR IDENTIFYING SUBJECTS

Publications (2)

Publication Number Publication Date
CN111344715A CN111344715A (zh) 2020-06-26
CN111344715B true CN111344715B (zh) 2024-04-09

Family

ID=63557454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073310.2A Active CN111344715B (zh) 2017-09-13 2018-09-07 对象识别系统和方法

Country Status (5)

Country Link
US (1) US11295150B2 (zh)
EP (1) EP3682365A1 (zh)
JP (1) JP2020533702A (zh)
CN (1) CN111344715B (zh)
WO (1) WO2019052917A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US10939824B2 (en) 2017-11-13 2021-03-09 Covidien Lp Systems and methods for video-based monitoring of a patient
WO2019135877A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
WO2019240991A1 (en) 2018-06-15 2019-12-19 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
CA3130231A1 (en) * 2019-03-26 2020-10-01 Alcon Inc. System and method of utilizing computer-aided identification with medical procedures
CN114503172A (zh) 2019-08-09 2022-05-13 克利尔维尤人工智能股份有限公司 基于人脸识别来提供关于人的信息的方法
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN111277893B (zh) * 2020-02-12 2021-06-25 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704531A (zh) * 2012-10-12 2015-06-10 皇家飞利浦有限公司 用于访问对象的面部的数据的系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039708B2 (ja) * 1997-02-14 2008-01-30 ヒューレット・パッカード・カンパニー パターン認識方法およびパターン認識装置
JP2004086625A (ja) * 2002-08-27 2004-03-18 Hitoshi Hongo 顧客情報管理装置
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
TW200539046A (en) 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
WO2006078265A2 (en) * 2004-03-30 2006-07-27 Geometrix Efficient classification of three dimensional face models for human identification and other applications
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
MX347895B (es) 2011-08-01 2017-05-18 Koninklijke Philips Nv Dispositivo y método para obtener y procesar lecturas de medición de un ser vivo.
JP6053793B2 (ja) 2011-09-02 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生体の生体測定信号を生成するカメラ
RU2653799C2 (ru) 2012-11-23 2018-05-14 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
RU2697291C2 (ru) 2013-03-06 2019-08-13 Конинклейке Филипс Н.В. Система и способ определения информации об основных показателях состояния организма
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
JP6661398B2 (ja) * 2016-02-03 2020-03-11 キヤノン株式会社 情報処理装置および情報処理方法
EP3318180A1 (en) 2016-11-02 2018-05-09 Koninklijke Philips N.V. Device, system and method for co2 monitoring
US10997397B2 (en) 2016-11-30 2021-05-04 Koninklijke Philips N.V. Patient identification systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704531A (zh) * 2012-10-12 2015-06-10 皇家飞利浦有限公司 用于访问对象的面部的数据的系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A performance evaluation of local descriptors;K.Mikolajczyk C.Schmid;《2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings》;第1-7页 *
An Effective Face Recognition under Illumination and Pose Variations;Sang-Il Choi,Chong-Ho Choi;《2007 International Joint Conference on Neural Networks》;第1-6页 *
Context-Sensitive Self-Updating for Adaptive Face Recognition;C.Pagano et al;《Springer》;第9-34页 *
Monitoring Patients in the Wild;Haibo Wang et al;《2017 IEEE 12th International Conference on Automatic Face & Gesture Recognition》;第997页 *

Also Published As

Publication number Publication date
EP3682365A1 (en) 2020-07-22
CN111344715A (zh) 2020-06-26
WO2019052917A1 (en) 2019-03-21
JP2020533702A (ja) 2020-11-19
US20200202154A1 (en) 2020-06-25
US11295150B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN111344715B (zh) 对象识别系统和方法
CN111344713B (zh) 用于对象识别的相机和图像校准
CN111095264B (zh) 对象识别系统和方法
US11157726B2 (en) Person identification systems and methods
CN110050276B (zh) 患者识别系统和方法
CN110838118B (zh) 用于医疗过程中异常检测的系统和方法
US11694809B2 (en) Patient monitoring systems and methods
JP7299923B2 (ja) 個人識別システムおよび方法
JP2020501634A (ja) 患者モニタリング・システムおよび方法
EP3539134A1 (en) Queue for patient monitoring
Jere et al. Deep learning-based architecture for social anxiety diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant