CN103400106B - 用基于深度的跟踪来生成和更新数据库的自学习面部识别 - Google Patents

用基于深度的跟踪来生成和更新数据库的自学习面部识别 Download PDF

Info

Publication number
CN103400106B
CN103400106B CN201310271853.4A CN201310271853A CN103400106B CN 103400106 B CN103400106 B CN 103400106B CN 201310271853 A CN201310271853 A CN 201310271853A CN 103400106 B CN103400106 B CN 103400106B
Authority
CN
China
Prior art keywords
people
frame
camera
colour
facial characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310271853.4A
Other languages
English (en)
Other versions
CN103400106A (zh
Inventor
哈沙瓦他那·纳拉亚纳·基克里
迈克尔·F·柯尼格
杰弗里·科尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IValley Holding Co., Ltd.
Original Assignee
Zhigu Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhigu Holdings Ltd filed Critical Zhigu Holdings Ltd
Publication of CN103400106A publication Critical patent/CN103400106A/zh
Application granted granted Critical
Publication of CN103400106B publication Critical patent/CN103400106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明涉及一种用基于深度的跟踪来生成和更新数据库的自学习面部识别。提出了如下面部识别训练数据库生成技术实施例：其一般涉及收集随着时间推移并且随着人移动通过环境而捕获的该人的面部的特性表征，以创建该人的面部特性表征的训练数据库。当随着时间推移捕获面部特性表征时，面部特性表征将表示从不同角度和距离、不同分辨率、以及在不同环境状况(例如，照明和模糊状况)下观看的人面部。此外，在周期性地收集人的面部特性表征的较长时段内，这些特性表征可以表示人的外貌的演变。这产生了用于面部识别系统的丰富训练资源。另外，由于人面部识别训练数据库可以在面部识别系统需要它之前被建立，因此一旦数据库被采用，则训练将较快。

Description

用基于深度的跟踪来生成和更新数据库的自学习面部识别
背景技术
已经研究了许多年根据图像中描绘的人的面部的外貌来识别这些人的问题。面部识别系统和处理本质上通过将人面部的某种类型的模型与从输入图像中提取的人面部的图像或特性表征进行比较来工作。通常通过使用人面部的图像(或其特性表征)训练面部识别系统来获得这些面部模型。因此，通常需要训练面部图像或特性表征的数据库来训练面部识别系统。
发明内容
这里描述的面部识别训练数据库生成技术实施例一般涉及收集随着时间推移并且随着人移动通过环境而捕获的人面部的特性表征，以创建该人的面部特性表征的训练数据库。在一个实施例中，采用计算机实现处理来为在环境中检测到的每个人生成面部识别训练数据库。处理开始于输入同时捕获的帧对的序列。每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧。接下来，使用面部检测方法和彩色摄像机帧来检测环境中潜在的人。另外，使用运动检测方法和深度摄像机帧来检测环境中潜在的人。
使用经由前述面部检测方法和运动检测方法生成的检测结果来确定环境中一个或多个人的位置。经由面部检测方法生成的检测结果还包括针对所检测到的每个潜在的人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征。对于仅经由运动检测方法检测到的每个人，处理还包括辨别该人在彩色摄像机的同时捕获的帧中的相应位置以及生成彩色摄像机帧的该部分的面部特性表征。
对于在环境中检测到的每个人，将为该人生成的每个面部特性表征分配给专门为该人建立的未知个人标识符，并且将该面部特性表征存储在与用来实现处理的计算机相关联的存储器中。然后尝试确认每个人的身份。如果对于人的尝试成功，则将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
应该注意，提供上述发明内容来以简化形式介绍概念选集，下面在具体实施方式中进一步描述该概念选集。本发明内容不意图确定所要求保护的主题内容的关键特征或本质特征，其也不意图用作辅助确定所要求保护的主题内容的范围。
附图说明
本公开的具体特征、方面以及优点将关于以下描述、所附权利要求以及附图而变得更好理解，其中，在附图中：
图1A-1B是一般性地概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于为在环境中检测到的每个人生成面部识别训练数据库。
图2A-2E是一般性地概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于基于同时捕获的帧对的新序列，为在环境中检测到的每个人生成或补充面部识别训练数据库。
图3是概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于每当多于尝试辨别人的规定尝试次数仍未辨别该人时，丢弃被分配给未知个人标识符的面部特性表征。
图4是概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于捕获位于环境中距彩色摄像机超过规定最大距离的距离处的人的放大图像。
图5A-5C是一般性地概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于基于由从不同视点捕获场景的另外的彩色摄像机和深度摄像机对输出的同时捕获的帧对的序列，为在环境中检测到的每个人生成或补充面部识别训练数据库。
图6A-6F是一般性地概述如下计算机实现处理的一个实施例的流程图：该计算机实现处理用于基于由捕获环境内的不同场景的另外的彩色摄像机和深度摄像机对输出的同时捕获的帧对的序列，为在环境中检测到的每个人生成或补充面部识别训练数据库。
图7A-7D是一般性地概述用于这里描述的面部识别训练数据库生成技术实施例的计算机实现运动检测处理的一个实施例的流程图。
图8是在其中可以实现这里描述的面部识别训练数据库生成技术实施例的适当移动机器人装置的简化部件图。
图9是描绘构成用于实现这里描述的面部识别训练数据库生成技术实施例的示例性系统的通用计算装置的图。
具体实施方式
在面部识别训练数据库生成技术实施例的以下描述中，参照构成该描述的一部分的附图，并且在附图中作为例示示出了可实践本技术的特定实施例。要理解的是，可以利用其他实施例并且可以在不脱离本技术的范围的情况下进行结构改变。
还要注意的是，特定术语将用于描述本发明以用于清楚目的，并且其不意图将本发明限制于所选择的特定术语。此外，还要理解的是，每个特定术语包括以宽泛类似的方式工作以实现类似目的的其全部技术等价物。这里对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构、或特性可以包括在本发明的至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定全部指同一实施例，也不是与其他实施例相互排斥的独立或替选实施例。此外，表示本发明的一个或多个实施例的处理流程的顺序不固有地指示任意特定顺序或暗示本发明的任何限制。
1.0用于面部识别系统的训练数据库生成
这里描述的面部识别训练数据库生成技术实施例一般涉及收集随着时间推移并且随着人移动通过环境而捕获的该人的面部的特性表征，以创建该人的面部特性表征的训练数据库。当随着时间推移捕获面部特性表征时，面部特性表征将表示从不同角度和距离、不同分辨率、以及在不同环境状况(例如，照明和模糊状况)下观看的人面部。此外，在周期性地收集人的面部特性表征的较长时段内，这些特性表征可以表示人的外貌的演变。例如，人可能体重增加或体重减少；长出或去除面部毛发；改变发型；戴不同帽子等等。因此，可以甚至在训练开始之前建立并填充所得到的训练数据库，并且随时间推移对该训练数据库进行添加以捕获人的面部姿态和外貌的上述变化。这产生用于面部识别系统的丰富训练资源。另外，由于人面部识别训练数据库可以在面部识别系统需要它之前被建立，因此一旦数据库被采用，则训练将较快。此外，这里描述的面部识别训练数据库生成技术实施例可以为在环境中找到的多个人生成训练数据库。另外，可以以增加的面部变化更新现有数据库。这允许逐渐地捕获人面部变化，从而足以允许即使在人的特征在一时段内大大改变时也能识别该人。例如，如果人正长出胡须，则他们的面部特征将缓慢变化。然而，由于每天变化足够小，因此具有部分胡须的新面部可以被添加到数据库。这样，当人的胡须完全长出时，即使没有使用该面部进行手动训练，他也依然可以被识别。同样原理适用于由于年龄、体重等而导致的任何逐渐变化。
要注意的是，如贯穿本公开使用的术语“环境”应该被宽泛地解释为人的任意外部周围。这包括室内设置、室外设置、或这两者的组合。
1.1用于生成面部识别训练数据库的处理
参照图1A-1B，呈现了用于为被检测为位于环境中的每个人生成面部识别训练数据库的计算机实现处理的一个实施例。处理开始于输入同时捕获的帧对的序列(处理动作100)。每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧。摄像机被同步为使得每个摄像机同时捕获场景的图像。因此，每次捕获场景时，产生同时的一对彩色帧和深度帧。接下来，使用面部检测方法和彩色摄像机帧来检测环境中潜在的人(处理动作102)。要注意的是，可以采取采用彩色视频帧的任何适当面部检测方法来完成前述任务。另外，使用运动检测方法和深度摄像机帧来检测环境中潜在的人(处理动作104)。要注意的是，可以采取采用深度视频帧的任何适当运动检测方法来完成前述任务。在一个实现(如图1A所示)中，几乎同时完成处理动作102和104。
使用经由前述面部检测方法和运动检测方法生成的检测结果来确定环境中一个或多个人的位置(处理动作106)。经由面部检测方法生成的检测结果还包括针对所检测到的每个潜在的人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征。面部特性表征的类型特定于所采用的特定面部检测方法，并且与将使用所生成的训练数据库的前述面部识别系统兼容。接下来辨别仅经由运动检测方法检测到的每个人(处理动作108)，并且在彩色摄像机的同时捕获的帧中查找每个所辨别的人的相应位置(处理动作110)。另外，为每个所辨别的人生成彩色摄像机帧的该部分的面部特性表征(处理动作112)。
处理继续到选择在环境中检测到的人中的先前未选择的人(处理动作114)。将为所选人生成的每个面部特性表征分配给专门为该人建立的未知个人标识符(处理动作116)，并且将该面部特性表征存储在与用来实现处理的计算机相关联的存储器中(处理动作118)。前述计算机可以例如是在本公开的示例性操作环境部分中描述的计算机之一。
要指出的是，到过程中的该点，已将面部特性表征分配给未知个人标识符。以此方式，即使所检测到的人的身份仍未知，面部特性表征也正被创建和保存。因此，如果最终建立所检测到的人的身份，则所保存的面部特性表征可以被重分配给为该人建立的面部识别训练数据库。为此，处理继续到尝试确认人的身份(处理动作120)。使用任意适当的传统方法(包括邀请未知的人与计算机交互以提供辨别信息)来完成该辨别动作。接下来确定尝试是否成功(处理动作122)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作124)。与处理动作120的尝试是否成功无关，接下来确定是否已选择所有所检测到的人(处理动作126)。如果不是，则重复处理动作114到126，直到已选择并考虑了所有所检测到的人为止。在该点处理结束。
1.2相继捕获的帧对序列
为了防止在相继捕获的帧对的序列中检测到的人与新的未知个人标识符相关联的情形，即使这样的标识符先前被发布给该同一人，也跟踪前述处理中检测到的每个人的位置。可以采用任何适当的传统跟踪方法用于此目的。因此，在分析未来的帧对序列时，将已知所检测到的人先前被检测到并且与未知个人指示符或面部识别训练数据库相关联。以此方式，为人创建的面部特性表征可以被分配给适当的集合，并且不需要建立新的未知个人标识符。
在给定前述的情况下，关于将如何处理在相继捕获的帧对序列中检测到的人存在多种可能性。例如，如果所检测到的人先前被检测到并且已被跟踪，则根据新序列创建的任何面部特性表征将在先前未辨别该人的情况下被分配给该人的现有未知个人标识符，或者在该人先前已被辨别的情况下被分配给该人的面部识别训练数据库。另一方面，如果所检测到的人对于场景是新的，则未知个人标识符将被创建并且被分配给所产生的面部特性表征。另外，每当面部特性表征被分配给未知个人指示符(无论现有的还是新的个人指示符)时，都将尝试辨别人。
更具体地，参照图2A-2E，在一个实施例中，当同时捕获的帧对的新序列变得可用时，输入该新序列(处理动作200)。然后，使用新的帧对序列来执行图1中的处理动作102到112。
处理然后继续到选择使用新的帧对序列而在环境中检测到的人之一(处理动作202)。然后，确定所选人是否对应于先前使用新序列之前的同时捕获的帧对的序列确定了其位置的人(处理动作204)。如先前所指示的，在一个实施例中，这通过随着时间推移跟踪先前所检测到的人的位置来完成。如果确定人对应于这样先前检测到的人，则接下来确定先前是否确认了该人的身份(处理动作206)。如果先前确认了该人的身份，则选择根据同时捕获的帧对的新序列为该人生成的面部特性表征中的先前未选择的面部特性表征(处理动作208)。要注意的是，如先前所述的那样生成面部特性表征。确定所选面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度(处理动作210)。如果相差规定程度，则将所选面部特性表征分配给为所选人建立的面部识别训练数据库(处理动作212)，并且将所选面部特性表征存储在与计算机相关联的存储器中(处理动作214)。否则，丢弃所选面部特性表征(处理动作216)。在任何情形下，然后确定是否已选择了根据新帧对序列为所选人创建的所有面部特性表征(处理动作218)。如果不是，则重复处理动作208到218，直到已选择并考虑了所有面部特性表征为止。
然而，如果在处理动作206中确定先前未确认所选人的身份，则选择根据同时捕获的帧对的新序列为该人生成的面部特性表征中的先前未选择的面部特性表征(处理动作220)。然后确定所选面部特性表征是否与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度(处理动作222)。如果相差规定程度，则将所选面部特性表征分配给为所选人建立的未知个人标识符(处理动作224)，并且将所选面部特性表征存储在与计算机相关联的存储器中(处理动作226)。否则，丢弃所选面部特性表征(处理动作228)。在任何情形下，然后确定是否已选择了根据新帧对序列为所选人创建的所有面部特性表征(处理动作230)。如果不是，则重复处理动作220到230，直到已选择并考虑了所有面部特性表征为止。处理然后继续到尝试确认人的身份(处理动作232)。如之前，使用任意适当的传统方法(包括邀请未知人与计算机交互以提供辨别信息)来完成辨别动作。接下来确定尝试是否成功(处理动作234)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作236)。
还存在如下可能性：所选人对于环境是新的或者在过去未被检测到。为此，如果在处理动作204中确定所选人不对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，则将为所选人生成的每个面部特性表征分配给专门为该人建立的未知个人标识符(处理动作238)，并且将该面部特性表征存储在与用来实现处理的计算机相关联的存储器中(处理动作240)。接下来，尝试确认人的身份(处理动作242)。然后确定尝试是否成功(处理动作244)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作246)。
一旦如上概述地考虑了当前所选人，则确定是否已选择了使用新帧对序列在环境中检测到的所有人(处理动作248)。如果不是，则重复处理动作202到248，直到已选择并考虑了所有检测到的人为止。此时，处理的当前迭代结束。然而，可以在下一次同时捕获的帧对的新序列变得可用时，重复该处理。
面部识别方法在根据人面部的图像辨别该人时，通常使用诸如先前描述的面部特性表征。关于用于尝试确认人的身份的前述处理动作，要注意的是，可以在尝试中采用为该人生成并被分配给该人的未知个人标识符的面部特性表征。
1.2.1不可辨别的人
在前述处理中还存在如下可能性：将无法辨别所检测到的人。为了节约存储器空间，在如图3概述的一个实施例中，如果在处理动作122、234或244中的任意一个中确定未确认所选人的身份，则记录在未确认该人的身份的情况下、同时捕获的帧对的序列已被输入和处理的次数(处理动作300)。然后，确定所记录的数目是否超过规定最大数目(例如，100)(处理动作302)。如果不超过，则按原样继续以上概述的处理，并且该存储器节约过程结束。然而，如果所记录的数目超过规定最大数目，则从计算机的存储器删除被分配给为所选人建立的未知个人标识符的每个面部特性表征(处理动作304)。
1.2.2变焦方案
要注意的是，可以与这里描述的面部识别训练数据库生成技术实施例相结合采用的许多面部识别方法经常将不能识别在环境中检测到、但却位于距摄像机较远距离处的人。虽然未必如此，但是当仅经由运动检测方法检测人时可能发生前述情形。可以使用变焦方案处理这种情形。在将为人生成的每个面部特性表征分配给为该人建立的未知个人标识符之前完成该变焦方案。更具体地，参照图4，在一个实施例中，选择被检测(通过任意前述方法)为存在于环境中的先前未选择的人(处理动作400)。然后确定所选人是否在环境中位于距彩色摄像机超过规定最大距离(例如3米)的距离处(处理动作402)。如果是，则将所选人的位置提供给控制具有变焦能力的彩色摄像机的控制器(处理动作404)。控制器使得彩色摄像机以与从彩色摄像机到人的距离成比例的程度对所选人的面部进行放大，然后捕获人面部的变焦图像。要注意的是，该彩色摄像机可以是前述彩色摄像机或被放置用以捕获环境的图像的独立摄像机。计算变焦的程度使得在给定从摄像机到所选人的距离的情况下，得到的图像将以有助于面部识别的分辨率描绘人面部。然后输入变焦图像(处理动作406)，并且生成描绘该人面部的变焦图像的部分的面部特性表征(处理动作408)。然后将该面部特性表征连同为所选人生成的所有其他面部特性表征一起分配给为该人建立的未知个人标识符。
1.3另外的彩色摄像机和深度摄像机
这里描述的面部识别训练数据库生成技术实施例工作的环境可以相当大。这样，在一个实施例中，采用一对以上的彩色摄像机和深度摄像机以覆盖环境。假设在环境中可用一对以上的摄像机，它们可被配置成捕获同一场景但是从不同视点(point of view)进行捕获。该情形允许在相同时段中为由不同对的摄像机检测到的同一人或者为一对摄像机无法“看到”其他对摄像机可“看到”的人时的不同人生成更多的面部特性表征。在这方面，有利的是，每对摄像机知道在场景中人的位置，使得可以容易地确定人是使用其他摄像机对检测到的同一人还是不同的人。在一个实施例中，这通过将摄像机对配置为基本上同时捕获帧对来完成。以该方式，如果是同一人，则由一对摄像机计算出的人的位置将与由其他对摄像机计算出的人的位置匹配，并且如果是不同的人，则不匹配。
1.3.1捕获同一场景但是从不同视点进行捕获
更具体地，参照图5A-5C，对于从不同视点捕获场景的每个另外的彩色摄像机和深度摄像机对，输入同时捕获的帧对的另外的序列(处理动作500)。接下来，使用面部检测方法和由另外的摄像机对的彩色摄像机输出的彩色摄像机帧来检测环境中潜在的人(处理动作502)。另外，使用运动检测方法和由另外的摄像机对的深度摄像机输出的深度摄像机帧来检测环境中潜在的人(处理动作504)。使用经由前述面部检测方法和运动检测方法生成的检测结果来确定环境中的一个或多个人的位置(处理动作506)。经由面部检测方法生成的检测结果还包括针对检测到的每个潜在的人、描绘该人的面部的彩色摄像机帧的部分的面部特性表征。
接下来辨别仅经由运动检测方法检测到的每个人(处理动作508)，并且在另外的摄像机对的彩色摄像机的同时捕获的帧中查找每个所辨别的人的相应位置(处理动作510)。另外，为每个所辨别的人生成彩色摄像机帧的该部分的面部特性表征(处理动作512)。
处理继续到选择基于从另外的彩色摄像机和深度摄像机对输出的帧对而在环境中检测到的人中的先前未选择的人(处理动作514)。然后，基于所辨别的人的位置，确定是否也已使用其他彩色摄像机和深度摄像机对检测到该人(处理动作516)。如果是，则基于使用其他彩色摄像机和深度摄像机对而对人的检测，将基于从另外的彩色摄像机和深度摄像机对输出的帧对而为所选人生成的每个面部特性表征分配给为该人建立的未知个人标识符(处理动作518)。否则，将基于从另外的彩色摄像机和深度摄像机对输出的帧对而为所选人生成的每个面部特性表征分配给为该人建立的未知个人标识符(处理动作520)。在任一情况下，将基于从另外的彩色摄像机和深度摄像机对输出的帧对而为所选人生成的每个面部特性表征存储在与计算机相关联的存储器中(处理动作522)。另外，还尝试确认人的身份(处理动作524)。然后确定尝试是否成功(处理动作526)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作528)。不管处理动作526的尝试是否成功，接下来确定是否已选择了所有检测到的人(处理动作530)。如果不是，则重复处理动作514到530，直到已选择并考虑了所有检测到的人为止。在该点处理结束，但是每当从另外的彩色摄像机和深度摄像机对输入同时捕获的帧对的新序列时可重复该处理。
1.3.2捕获不同场景
还可假设在环境中可用一对以上的摄像机，摄像机对可被配置成捕获不同场景。在一对摄像装置无法覆盖整个环境的情形中该配置是有用的。鉴于此，可以跟踪在一对摄像机覆盖的一个场景中检测到的人，并且如果该人移动到其他摄像机对覆盖的环境部分中，则当人离开一个场景到其他场景时他们的位置知识可用来确认在新场景中检测到的人是先前场景检测到的同一人。另外，如果可行，则可以采用面部识别方法或辨别人的一些其他方法来确认在新场景中检测到的人是否是在先前场景中检测到的同一人。这有利于将为新环境部分中的人生成的面部特性表征分配给正确的未知个人标识符(或者如果先前辨别了该人，则分配给正确的面部识别训练数据库)。
更具体地，参照图6A-6F，在给定捕获环境内的不同场景的另外的彩色摄像机和深度摄像机对的情况下，输入同时捕获的帧对的另外的序列(处理动作600)。接下来，使用面部检测方法和由另外的摄像机对的彩色摄像机输出的彩色摄像机帧来检测环境中潜在的人(处理动作602)。另外，使用运动检测方法和由另外的摄像机对的深度摄像机输出的深度摄像机帧来检测环境中潜在的人(处理动作604)。使用经由前述面部检测方法和运动检测方法生成的检测结果来确定环境中的一个或多个人的位置(处理动作606)。经由面部检测方法生成的检测结果还包括针对每个检测到的潜在的人、描绘该人的面部的彩色摄像机帧的部分的面部特性表征。
接下来辨别仅经由运动检测方法检测到的每个人(处理动作608)，并且在另外的摄像机对的彩色摄像机的同时捕获的帧中查找每个所辨别的人的相应位置(处理动作610)。另外，为每个所辨别的人生成彩色摄像机帧的该部分的面部特性表征(处理动作612)。
处理继续到选择基于从另外的彩色摄像机和深度摄像机对输出的帧对而在环境中检测到的人中的先前未选择的人(处理动作614)。然后，确定先前是否使用其他彩色摄像机和深度摄像机对在环境中的其他场景中检测到所选人(处理动作616)。如先前所指示，这可以基于当人离开一个场景到其他场景时对他们的位置的跟踪、面部识别方法、或辨别人的一些其他方法。如果先前在其他场景中检测到所选人，则进一步确定先前是否确认了所选人的身份(处理动作618)。如果先前未辨别所选人，则选择根据同时捕获的帧对的另外的序列生成的面部特性表征中的先前未选择的面部特性表征(处理动作620)，并且确定所选面部特性表征是否与被分配给先前为所选人建立的未知个人标识符的每个面部特性表征相差规定程度(处理动作622)。如果是，则将所选面部特性表征分配给先前为该人建立的未知个人标识符(处理动作624)，并且将所选面部特性表征存储在与计算机相关联的存储器中(处理动作626)。否则丢弃所选面部特性表征(处理动作628)。然后，确定是否已选择了根据同时捕获的帧对的另外的序列生成的所有面部特性表征(处理动作630)。如果不是，则重复处理动作620到630，直到已选择并考虑了所有面部特性表征为止。接下来，尝试确认所选人的身份(处理动作632)。然后确定尝试是否成功(处理动作634)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作636)。
然而，如果在处理动作618中确定先前辨别了所选人，则选择根据同时捕获的帧对的另外的序列生成的面部特性表征中的先前未选择的面部特性表征(处理动作638)，并且确定所选面部特性表征是否与被分配给先前为所选人建立的面部识别训练数据库的每个面部特性表征相差规定程度(处理动作640)。如果是，则将所选面部特性表征分配给为该人建立的面部识别训练数据库(处理动作642)，并且将所选面部特性表征存储在与计算机相关联的存储器中(处理动作644)。否则丢弃所选面部特性表征(处理动作646)。然后确定是否已选择了根据同时捕获的帧对的另外的序列生成的所有面部特性表征(处理动作648)。如果不是，则重复处理动作638到648，直到已选择并考虑了所有面部特性表征为止。
然而，如果在处理动作616中确定先前未在环境中的其他场景中检测到所选人，则处理继续到将基于从另外的彩色摄像机和另外的深度摄像机输出的帧对而为所选人生成的每个面部特性表征分配给为该人新建立的未知个人标识符(处理动作650)。将这些面部特性表征中的每个面部特性表征也存储在与计算机相关联的存储器中(处理动作652)。然后尝试确认所选人的身份(处理动作654)。然后确定尝试是否成功(处理动作656)。如果确认了所选人的身份，则将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作658)。
一旦如上所述已考虑了所选人，则确定是否已选择了所有检测到的人(处理动作660)。如果不是，则重复处理动作614到660，直到已选择并且考虑了所有检测到的人为止。在该点处理结束，但是每当从另外的彩色摄像机和深度摄像机对输入同时捕获的帧对的新序列时可以重复该处理。
1.4运动检测
尽管可以采取任意运动检测方法用于这里描述的面部识别训练数据库生成技术实施例，但是在一个实施例中采用了以下方法。一般，该方法利用从深度摄像机帧提取的深度数据中的短期变化来检测环境中潜在的人。
更具体地，参照图7A-7D，在一个实施例中，运动检测处理首先涉及将第一深度摄像机帧中的所有像素指定为背景像素(处理动作700)。然后，确定新的相继捕获的深度帧是否已变成可用(处理动作702)。如果不是，则重复处理动作702直到新的帧可用为止。当输入新的深度帧时，选择深度帧的先前未选择的像素(处理动作704)，并且确定所选像素的深度值是否已从紧接当前考虑的帧之前而捕获的深度帧中表示环境内的相同位置的像素的值改变了多于规定量(处理动作706)。如果深度值已改变了多于规定量，则将所选像素指定为前景像素(处理动作708)。接下来确定是否存在剩余的、深度帧的任何先前未选择的像素(处理动作710)。如果存在剩余像素，则重复处理动作704到710。如果不是，则确定当前考虑的深度帧是否是序列中的最后帧(处理动作712)。如果不是，则重复处理动作702到712。
然而，如果是最后帧，则在最后帧中的前景像素当中建立种子点，并且将与该点相关联的像素分配为斑点(blob)的一部分(处理动作714)。接下来，选择邻近被分配给斑点的像素(其最初仅是种子点像素)的并且还未被分配给该斑点的先前未选择的像素(处理动作716)。首先确定所选像素是否被分配给不同斑点(处理动作718)。如果是，则将两个斑点合并为一个斑点(处理动作720)。接下来，确定是否存在邻近被分配给合并的斑点的像素的、还未被分配给合并的斑点的任何先前未选择的像素(处理动作722)。如果是，则选择这些像素中的先前未选择的像素(处理动作724)，并且重复处理动作718到724。然而，每当在处理动作718中确定所选像素没有被分配给不同斑点时，确定所选像素的深度值是否在规定容限内与被分配给斑点的像素的当前平均值相同(处理动作726)。如果是，则将所选像素分配给斑点(处理动作728)。如果不是，则不采取动作。然而，在任一情况下，接下来确定是否存在邻近被分配给斑点(合并的或未合并的)的像素的并且还未分配给该斑点的任何先前未选择的像素(处理动作730)。如果存在这样的像素，则重复处理动作716到730。否则，不采取动作。因此，种子点像素周围的像素均被考虑并且导致斑点被合并或者如果像素具有所需深度值则被分配给斑点，然后考虑扩大的斑点(合并的或者未合并的)周围的像素，如此类推使得斑点增大。这继续直到不再能够找到未分配给斑点并且具有在所述规定容限内与被分配给斑点的像素的当前平均值相同的深度值的邻近像素为止。
接下来，确定是否存在尚未分配给斑点的前景像素(处理动作732)。如果剩余这样的像素，则在最后帧中未分配的前景像素当中建立种子点，并且将与该点相关联的像素分配为新斑点的一部分(处理动作734)。然后重复处理动作716到734，直到没有剩余未分配的前景像素为止。
一旦没有剩余未分配的前景像素(并且因此不能形成新的斑点)，则选择斑点中的先前未选择的斑点(处理动作736)。然后确定斑点是否满足指示该斑点表示人的一组规定准则(处理动作738)。如果不是，则移除斑点(处理动作740)。然而，如果所选斑点满足规定准则，则将该斑点指定为表示位于环境内的潜在的人(处理动作742)。
要注意的是，用来指示斑点表示人的准则可以是任何传统的一组准则。另外，准则可以包括斑点是否符合真实空间维度中的正常人体参数。例如，斑点是否呈现出与人胸部和头部对应的矩形区域。
2.0彩色摄像机和深度摄像机
现在将更加详细地描述这里描述的面部识别训练数据库生成技术实施例所采用的前述彩色摄像机和深度摄像机。一般，彩色摄像机输出摄像机捕获的场景的数字彩色图像的连续序列。如在前面描述中一样，这些图像有时被称为帧或者图像帧。合适的彩色摄像机的示例是传统的RGB摄像机。深度摄像机输出摄像机捕获的场景的数字深度图像的连续序列。如在前面描述中一样，这些图像有时在这里被称为帧或者深度帧。深度帧中的像素值指示深度摄像机和环境中的对象之间的距离。例如，一个合适的深度摄像机是传统的基于红外的深度摄像机。这种类型的摄像机将已知红外图案投影到环境，并且基于红外成像仪捕获的图案变形来确定深度。
如先前所述，这里描述的面部识别训练数据库生成技术的实施例可使用同时捕获的彩色帧和深度帧对之间的像素相关性。换句话说，知道一对帧中的一个帧中的哪个像素描绘场景中与另一帧中的给定像素所描绘的位置相同的位置有时是有用的。尽管可以在每次捕获一对同时帧时采用传统方法来确认该像素相关性，但是在一个实施例中，采用了定义像素坐标的预先计算的变换。更具体地，如果彩色摄像机和深度摄像机被同步使得它们以相同方式一起移动，则它们之间的相对变换将不改变。因此，可预先计算变换并且使用该变换来确定捕获的每对同时帧的像素相关性。
这里描述的面部识别训练数据库生成技术实施例还可采用固定位置的彩色摄像机和深度摄像机。固定位置意味着摄像机放置在环境内的特定位置，并且不独立地从该位置移动。当然，这不排除摄像机在环境内被重新放置。然而，可以预见在工作期间它们保持在同一位置。另外，当固定位置的摄像机不移动位置时，这不是意味着在该位置时摄像机不能被平移、倾斜、旋转或变焦。
可替选地，这里描述的面部识别训练数据库生成技术实施例可采用移动的彩色摄像机和深度摄像机。例如，摄像机可以安装在移动机器人装置中。合适的移动机器人装置一般可以是呈现下面属性的任何传统移动机器人装置。首先，参照图8，机器人装置800能够围绕它打算行进的环境移动。因此，移动机器人装置800包括用于移动装置通过环境的机动部802。移动机器人装置800还具有传感器，该传感器用于跟踪并且跟随通过适用环境的人。具体地，这些传感器包括前述彩色摄像机804和深度摄像机806。彩色摄像机804和深度摄像机806是可改变位置的，使得可以捕获环境的不同部分。为此，彩色摄像机804和深度摄像机806可安置在移动机器人装置800的头部808中，头部808通常放置在前述机动部802之上。通过重定向摄像机本身、或通过移动头部808或这两者，可以改变摄像机804、806的视点。后者情形的示例是如下配置：在该配置中，头部围绕垂直轴旋转以提供360度的平移运动，同时摄像机上下枢转以提供倾斜运动。摄像机还具有变焦特征。
移动机器人装置800还包括控制单元810，该控制单元810以传统方式控制机动部802来移动机器人装置通过环境；并且控制头部808或摄像机804、806或者两者的移动以捕获环境内的不同场景。另外，控制单元810包括计算装置812(诸如在本公开的示例性操作环境部分中描述的那些计算装置)。该计算装置812包括控制模块，该控制模块负责向机动部和头部发起移动控制信号，并且负责以先前描述的方式使用彩色摄像机和深度摄像机捕获的帧来生成面部识别训练数据库。使用传统方法进行机动部和头部的移动的控制。然而，由面部识别训练数据库生成子模块来处理后一功能。
要注意的是，在操作中，当移动机器人装置静止并且摄像机不移动时(例如，没有平移、倾斜、旋转或变焦)，将执行先前结合图7A-7D描述的运动检测处理。这防止由于摄像机的相对运动而导致的错误肯定。
3.0示例性操作环境
在多种类型的通用或专用计算系统环境或配置内，这里描述的面部识别训练数据库生成技术实施例是可操作的。图9示出了可在其上实现如这里所描述的面部识别训练数据库生成技术的各种实施例和要素的通用计算机系统的简化示例。要注意的是，图9中的折线或虚线表示的任何方框表示简化计算装置的可替选实施例，并且如下所述的这些可替选实施例的任何或者全部可与贯穿该文档描述的其他可替选实施例结合使用。
例如，图9显示示出了简化计算装置10的一般性系统图。通常可以在具有至少一些最小计算能力的装置(包括但不局限于个人计算机、服务器计算机、手持式计算装置、便携式电脑或移动计算机、诸如蜂窝电话和PDA(个人数字助理)的通信装置、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、音频或视频媒体播放器等)中找到这样的计算装置。
为了使装置实现这里描述的面部识别训练数据库生成技术实施例，装置应该具有足以能够进行基本计算操作的计算能力和系统存储器。具体地，如图9所示，计算能力通常由一个或多个处理单元12示出，并且还可包括一个或多个GPU(图形处理单元)14，处理单元12和GPU14之一或两者与系统存储器16通信。注意，通用计算装置的处理单元12可以是诸如DSP(数字信号处理器)、VLIW(超长指令字)或其他微控制器的专用微处理器、或者可以是具有一个或多个处理核(包括多核CPU中的专用基于GPU的核)的传统CPU。
另外，图9的简化计算装置还可包括其他部件，例如诸如通信接口18。图9的简化计算装置还可包括一个或多个传统计算机输入装置20(例如，指向装置、键盘、音频输入装置、视频输入装置、触觉输入装置、用于接收有线或无线数据传输的装置等)。图9的简化计算装置还可包括其他可选部件，例如诸如一个或多个传统显示装置24和其他计算机输出装置22(例如，音频输出装置、视频输出装置、用于传送有线或无线数据传输的装置等)。注意，用于通用计算机的典型通信接口18、输入装置20、输出装置22以及存储装置26是本领域技术人员公知的，将不会在这里详细描述。
图9的简化计算装置还可包括多种计算机可读介质。计算机可读介质可以是可由计算机10经由存储装置26访问的任何可用介质，并且包括作为可拆卸28和/或不可拆卸30的易失性和非易失性介质两者，用于存储诸如计算机可读或计算机可执行指令、数据结构，程序模块或其他数据的信息。通过示例的方式而不是限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括但不限于计算机或机器可读介质或存储装置(诸如DVD(数字多功能光盘)、CD(致密盘)、软盘、磁带驱动器、硬盘驱动器、光盘驱动器、固态存储器装置、RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他存储器技术、盒式磁带、磁带、磁盘存储装置或其它磁存储装置)或者可以用来存储期望的信息并且可以由一个或多个计算装置访问的任意其他装置。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等的信息的保留还可以通过使用各种前述通信介质中的任何一个对一个或多个调制数据信号或载波进行编码、或者其他传输机制或通信协议来完成，并且包括任何有线或无线信息传递机制。注意，术语“调制数据信号”或“载波”一般指的是如下信号：该信号使得以对该信号中的信息进行编码的方式设置或改变其特性中的一个或更多特性。例如，通信介质包括有线介质和无线介质，有线介质诸如为载有一个或多个调制数据信号的直接连线连接或有线网络，无线介质诸如为用于传送和/或接收一个或多个调制数据信号或载波的声学、RF(射频)、红外、激光以及其他无线介质。以上的任何组合也应该包括在通信介质的范围内。
此外，实施这里描述的各种面部识别训练数据库生成技术实施例或其部分的部分或全部的软件、程序、和/或计算机程序产品可以以计算机可执行指令或其他数据结构的形式而从计算机或机器可读介质或存储装置以及通信介质的任意期望组合被存储、接收、传送或者读取。
最后，可在由计算装置执行的诸如程序模块的计算机可执行指令的一般上下文中进一步描述这里描述的面部识别训练数据库生成技术实施例。通常，程序模块包括执行具体任务或实现具体抽象数据类型的例行程序、程序、对象、部件、数据结构等。这里描述的实施例也可以在分布式计算环境中实践，在分布式计算环境中，任务由一个或多个远程处理装置执行、或在通过一个或多个通信网络链接的一个或多个装置的“云”内执行。在分布式计算环境中，程序模块可位于包括媒体存储装置的本地计算机存储介质和远程计算机存储介质中。此外，前述指令可部分或者全部被实现为硬件逻辑电路，其可包括或可不包括处理器。
4.0其他实施例
在面部识别训练数据库生成技术实施例的前述描述中，采用了深度摄像机和使用来自这样的摄像机的深度帧的运动检测方法。然而，还存在可以仅使用彩色摄像机来检测环境中的人的传统运动检测方法。鉴于此，在可替选实施例中，移除深度摄像机，并且仅使用彩色摄像机来检测环境中潜在的人。因此，先前描述的处理将会被修改使得输入从彩色摄像机输出的帧的序列。然后，结合面部检测方法使用这些图像帧来检测环境中潜在的人，并且还结合适当的运动检测方法使用这些图像帧来检测环境中潜在的人。同样地，当如先前所述采用帧的新序列时，这些也仅是从彩色摄像机输出的帧的新序列。
还要注意，可以以任何期望的组合使用贯穿说明书的任意或所有前述实施例以形成另外的混合实施例。另外，尽管以特定于结构特征和/或方法行为的语言描述了主题内容，但是要理解的是，所附权利要求中限定的主题内容不一定限制于上述特定特征或行为。相反，上述特定特征和行为被公开作为实现权利要求的示例形式。
根据本公开的实施例，还公开了以下附记：
1.一种用于为被检测为位于环境中的每个人生成面部识别训练数据库的计算机实现处理，其包括：
使用计算机来执行以下处理动作：
(a)输入同时捕获的帧对的序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
(b)使用面部检测方法和彩色摄像机帧来检测环境中潜在的人；
(c)使用运动检测方法和深度摄像机帧来检测所述环境中潜在的人；
(d)使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
(e)对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的彩色摄像机帧的部分的所述面部特性表征；
(f)对于在所述环境中检测到的每个人，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，
将每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
2.根据附记1所述的处理，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前确认了该人的身份时，对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，确定所述面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，每当确定所述面部特性表征与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储在与所述计算机相关联的存储器中。
3.根据附记2所述的处理，其中，所述彩色摄像机和深度摄像机布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。
4.根据附记1所述的处理，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度时，
将该面部特性表征分配给为该人建立的未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
5.根据附记4所述的处理，其中，所述彩色摄像机和深度摄像机布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。
6.根据附记1所述的处理，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，确定在未确认该人的身份的情况下、同时捕获的帧对的序列已被输入并处理的次数，并且确定所述次数是否超过规定最大数目，
每当确定在未确认该人的身份的情况下、同时捕获的帧对的序列的已被输入并处理的次数超过所述规定最大数目时，从所述存储器删除被分配给为该人建立的未知个人标识符的每个面部特性表征。
7.根据附记1所述的处理，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人不对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，
将每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
8.根据附记7所述的处理，其中，所述彩色摄像机和深度摄像机布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。
9.根据附记1所述的处理，还包括在执行将为人生成的每个面部特性表征分配给为该人建立的未知个人标识符的处理动作之前，执行如下处理动作：
对于在距所述彩色摄像机超过规定最大距离的距离处检测到的每个人，
将该人的位置提供给控制具有变焦能力的彩色摄像机的控制器，所述控制器能够基于该人的位置来以与从所述彩色摄像机到该人的距离成比例的程度对该人的面部进行放大，并且捕获该人的面部的变焦图像，
输入该人的面部的所述变焦图像，以及
生成描绘该人的面部的变焦图像的部分的所述面部特性表征。
10.根据附记1所述的处理，其中，尝试确认人的身份的处理动作包括如下动作：所述动作在尝试确认人的身份时，采用为该人生成的并被分配给为该人建立的未知个人标识符的面部特性表征。
11.根据附记1所述的处理，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景相同的场景但是从不同视点进行捕获，并且每个另外的帧对是与从所述其他彩色摄像机和深度摄像机输出的帧对基本同时捕获的；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
基于所辨别的该人的位置，确定是否也已使用所述其他彩色摄像机和深度摄像机检测到该人，
每当确定也已使用所述其他彩色摄像机和深度摄像机检测到该人时，基于使用所述其他彩色摄像机和深度摄像机对该人的检测，将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，并且将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个所述面部特性表征存储在与所述计算机相关联的存储器中，
每当确定尚未也使用所述其他彩色摄像机和深度摄像机检测到该人时，将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，尝试确认该人的身份，并且每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
12.根据附记1所述的处理，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景不同的场景；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
确定先前是否在所述环境中的不同场景中检测到所检测到的人，
如果先前在所述环境中的不同场景中检测到该人，则确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给先前为该人建立的未知个人标识符的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给先前为该人建立的未知个人标识符的每个面部特性表征相差规定程度时，将该面部特性表征分配给先前为该人建立的未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库，
如果先前未在所述环境中的不同场景中检测到该人，
将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人新建立的未知个人标识符，
将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
13.根据附记1所述的处理，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景不同的场景；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
确定先前是否在所述环境中的不同场景中检测到所检测到的人，
如果先前在所述环境中的不同场景中检测到该人，
确定先前是否确认了该人的身份，
每当确定先前确认了该人的身份时，对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储在与所述计算机相关联的存储器中。
14.根据附记1所述的处理，其中，使用运动检测方法和深度摄像机帧来检测环境中潜在的人的处理动作包括如下动作：
将第一深度摄像机帧中的所有像素指定为背景像素；
对于以捕获帧的顺序包含在同时捕获的帧对的序列中的相继捕获的深度帧中的每个帧的每个像素；
辨别该像素的深度值是否已从紧接当前考虑的帧之前所捕获的深度帧中表示所述环境内的相同位置的像素的值改变了多于规定量；
每当该像素的深度值改变了多于所述规定量时，将该像素指定为前景像素；
一旦已处理了同时捕获的帧对的序列中包含的最后帧以辨别其像素深度值是否已改变了多于所述规定量，
(i)在所述最后帧中的前景像素当中建立种子点，并且将与所述种子点相关联的像素分配为分离斑点的一部分，
(ii)对于邻近被分配给所述斑点的像素的、还未被分配给该斑点的每个像素，递归确定其深度值是否在规定容限内与被分配给所述斑点的像素的当前平均值相同，如果是，则将该邻近像素分配为所述斑点的一部分，直到不再能够找到未分配给斑点的并且具有在所述规定容限内与被分配给所述斑点的像素的当前平均值相同的深度值的邻近像素为止，
(iii)每当在执行递归确定动作(ii)期间找到被分配给不同斑点的邻近像素时，将两个斑点合并成一个斑点，并且继续递归确定动作(ii)，以及
(iv)对于未分配的前景像素重复处理动作(i)到(iii)，直到不再能够形成斑点为止，
一旦不再能够形成斑点，则对于每个斑点，
确定该斑点是否满足指示该斑点表示人的一组规定准则，
移除不满足所述一组规定准则的每个斑点，以及
将每个剩余斑点指定为表示位于所述环境内的不同潜在的人。
15.一种用于为被检测为位于环境中的每个人生成面部识别训练数据库的计算机实现处理，其包括：
使用计算机来执行以下处理动作：
(a)输入从彩色摄像机输出的帧的序列；
(b)使用面部检测方法和彩色摄像机帧来检测环境中潜在的人；
(c)使用运动检测方法和彩色摄像机帧来检测环境中潜在的人；
(d)使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
(e)对于仅经由所述运动检测方法检测到的每个人，
定位描绘该人的面部的彩色摄像机帧的部分，以及
生成描绘该人的面部的彩色摄像机帧的部分的所述面部特性表征；
(f)对于在所述环境中检测到的每个人，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，
将每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
16.根据附记1所述的处理，还包括：
输入从所述彩色摄像机输出的帧的新序列；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在从彩色摄像机输出的所述帧的新序列中描绘的每个人，
确定该人是否对应于先前使用在所述新序列之前捕获的彩色摄像机帧的序列确定了其位置的人，
每当确定该人对应于先前确定了其位置的人时，确认先前是否确认了该人的身份，
每当确认先前确认了该人的身份时，对于根据所述帧的新序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度，
对于根据所述帧的新序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储在与所述计算机相关联的存储器中。
17.根据附记1所述的处理，还包括：
输入从所述彩色摄像机输出的帧的新序列；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在从所述彩色摄像机输出的所述帧的新序列中描绘的每个人，
确定该人是否对应于先前使用在所述新序列之前捕获的彩色摄像机帧的序列确定了其位置的人，
每当确定该人对应于先前确定了其位置的人时，确定先前是否确认了该人的身份，
每当确认先前未确认该人的身份时，对于根据所述帧的新序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度，
对于根据所述帧的新序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度时，
将该面部特性表征分配给为该人建立的未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
18.根据附记1所述的处理，还包括：
输入从所述彩色摄像机输出的帧的新序列；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在从所述彩色摄像机输出的所述帧的新序列中描绘的每个人，
确定该人是否对应于先前使用在所述新序列之前捕获的彩色摄像机帧的序列确定了其位置的人，
每当确定该人不对应于先前确定了其位置的人时，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，
将每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
19.一种用于检测位于环境中的人的计算机实现处理，其包括：
使用计算机来执行以下处理动作：
输入从深度摄像机输出的帧序列；
将第一深度摄像机帧中的所有像素指定为背景像素；
对于以捕获帧的顺序的包含在所述帧序列中的相继捕获的深度帧中的每个帧的每个像素；
辨别该像素的深度值是否已从紧接当前考虑的帧之前所捕获的深度帧中表示所述环境内的相同位置的像素的值改变了多于规定量；
每当该像素的深度值改变了多于所述规定量时，将该像素指定为前景像素；
一旦已处理了所述帧序列中包含的最后帧以辨别其像素深度值是否已改变了多于所述规定量，
(i)在所述最后帧中的前景像素当中建立种子点，并且将与所述种子点相关联的像素分配为分离斑点的一部分，
(ii)对于邻近被分配给所述斑点的像素的、还未被分配给该斑点的每个像素，递归确定其深度值是否在规定容限内与被分配给所述斑点的像素的当前平均值相同，如果是，则将该邻近像素分配为所述斑点的一部分，直到不再能够找到未分配给斑点的并且具有在所述规定容限内与被分配给所述斑点的像素的当前平均值相同的深度值的邻近像素为止，
(iii)每当在执行递归确定动作(ii)期间找到被分配给不同斑点的邻近像素时，将两个斑点合并成一个斑点，并且继续递归确定动作(ii)，以及
(iv)对于未分配的前景像素重复处理动作(i)到(iii)，直到不再能够形成斑点为止，
一旦不再能够形成斑点，则对于每个斑点，
确定该斑点是否满足指示该斑点表示人的一组规定准则，
移除不满足所述一组规定准则的每个斑点，以及
将每个剩余斑点指定为表示位于所述环境内的不同潜在的人。
20.根据附记19所述的处理，其中，确定斑点是否满足指示该斑点表示人的一组规定准则的处理动作包括：确定该斑点的至少一部分是否呈现出基本长方形形状。

Claims (9)

1.一种用于为被检测为位于环境中的每个人生成面部识别训练数据库的计算机实现处理方法，其包括：
使用计算机来执行以下处理动作：
(a)输入同时捕获的帧对的序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧(100)；
(b)使用面部检测方法和彩色摄像机帧来检测环境中潜在的人(102)；
(c)使用运动检测方法和深度摄像机帧来检测所述环境中潜在的人(104)；
(d)使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置(106)，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
(e)对于仅经由所述运动检测方法检测到的每个人(108)，辨别该人在所述彩色摄像机的同时捕获的帧中的相应位置(110)，
生成描绘该人的面部的彩色摄像机帧的部分的所述面部特性表征(112)；
其中，对于在距所述彩色摄像机超过规定最大距离的距离处检测到的每个人，所述生成描绘该人的面部的彩色摄像机帧的部分的所述面部特性表征(112)包括：
将该人的位置提供给控制具有变焦能力的彩色摄像机的控制器，所述控制器能够基于该人的位置来以与从所述彩色摄像机到该人的距离成比例的程度对该人的面部进行放大，并且捕获该人的面部的变焦图像，其中，所述具有变焦能力的彩色摄像机包括所述彩色摄像机或其他彩色摄像机；
输入该人的面部的所述变焦图像，以及
生成描绘该人的面部的变焦图像的部分的所述面部特性表征；
(f)对于在所述环境中检测到的每个人(114)，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符(116)，
将每个所述面部特性表征存储在与所述计算机相关联的存储器中(118)，
尝试确认该人的身份(120)，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(124)。
2.根据权利要求1所述的处理方法，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前确认了该人的身份时，对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，确定所述面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，每当确定所述面部特性表征与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储在与所述计算机相关联的存储器中。
3.根据权利要求1所述的处理方法，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的新序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程度时，
将该面部特性表征分配给为该人建立的未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的存储器中,
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
4.根据权利要求1所述的处理方法，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，确定在未确认该人的身份的情况下、同时捕获的帧对的序列已被输入并处理的次数，并且确定所述次数是否超过规定最大数目，
每当确定在未确认该人的身份的情况下、同时捕获的帧对的序列的已被输入并处理的次数超过所述规定最大数目时，从所述存储器删除被分配给为该人建立的未知个人标识符的每个面部特性表征。
5.根据权利要求1所述的处理方法，还包括：
输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出的帧和从深度摄像机输出的帧；
重复处理动作(b)到(e)；
对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列中描绘的每个人，
确定该人是否对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人，
每当确定该人不对应于先前使用所述新序列之前的同时捕获的帧对的序列确定了其位置的人时，
将为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符,
将每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
6.根据权利要求1所述的处理方法，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景相同的场景但是从不同视点进行捕获，并且每个另外的帧对是与从所述其他彩色摄像机和深度摄像机输出的帧对基本同时捕获的；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
基于所辨别的该人的位置，确定是否也已使用所述其他彩色摄像机和深度摄像机检测到该人，
每当确定也已使用所述其他彩色摄像机和深度摄像机检测到该人时，基于使用所述其他彩色摄像机和深度摄像机对该人的检测，将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，并且将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个所述面部特性表征存储在与所述计算机相关联的存储器中，
每当确定尚未也使用所述其他彩色摄像机和深度摄像机检测到该人时，将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人建立的未知个人标识符，尝试确认该人的身份，并且每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
7.根据权利要求1所述的处理方法，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景不同的场景；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
确定先前是否在所述环境中的不同场景中检测到所检测到的人，
如果先前在所述环境中的不同场景中检测到该人，则确定先前是否确认了该人的身份，
每当确定先前未确认该人的身份时，对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给先前为该人建立的未知个人标识符的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给先前为该人建立的未知个人标识符的每个面部特性表征相差规定程度时，将该面部特性表征分配给先前为该人建立的未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库，
如果先前未在所述环境中的不同场景中检测到该人，
将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个面部特性表征分配给为该人新建立的未知个人标识符，
将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而为该人生成的每个所述面部特性表征存储在与所述计算机相关联的存储器中，
尝试确认该人的身份，以及
每当确认了该人的身份时，将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库。
8.根据权利要求1所述的处理方法，还包括如下处理动作：
输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄像机所捕获的场景不同的场景；
使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境中潜在的人；
使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述环境中潜在的人；
使用经由所述面部检测方法和运动检测方法生成的检测结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄像机帧的部分的面部特性表征；
对于仅经由所述运动检测方法检测到的每个人，
辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应位置，
生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部特性表征；
对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对而在所述环境中检测到的每个人，
确定先前是否在所述环境中的不同场景中检测到所检测到的人，
如果先前在所述环境中的不同场景中检测到该人，
确定先前是否确认了该人的身份，
每当确定先前确认了该人的身份时，对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度，
对于根据所述同时捕获的帧对的另外的序列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储在与所述计算机相关联的存储器中。
9.根据权利要求1所述的处理方法，其中，使用运动检测方法和深度摄像机帧来检测环境中潜在的人的处理动作包括如下动作：
将第一深度摄像机帧中的所有像素指定为背景像素；
对于以捕获帧的顺序包含在同时捕获的帧对的序列中的相继捕获的深度帧中的每个帧的每个像素；
辨别该像素的深度值是否已从紧接当前考虑的帧之前所捕获的深度帧中表示所述环境内的相同位置的像素的值改变了多于规定量；
每当该像素的深度值改变了多于所述规定量时，将该像素指定为前景像素；
一旦已处理了同时捕获的帧对的序列中包含的最后帧以辨别其像素深度值是否已改变了多于所述规定量，
(i)在所述最后帧中的前景像素当中建立种子点，并且将与所述种子点相关联的像素分配为分离斑点的一部分，
(ii)对于邻近被分配给所述斑点的像素的、还未被分配给该斑点的每个像素，递归确定其深度值是否在规定容限内与被分配给所述斑点的像素的当前平均值相同，如果是，则将该邻近像素分配为所述斑点的一部分，直到不再能够找到未分配给斑点的并且具有在所述规定容限内与被分配给所述斑点的像素的当前平均值相同的深度值的邻近像素为止，
(iii)每当在执行递归确定动作(ii)期间找到被分配给不同斑点的邻近像素时，将两个斑点合并成一个斑点，并且继续递归确定动作(ii)，以及
(iv)对于未分配的前景像素重复处理动作(i)到(iii)，直到不再能够形成斑点为止，
一旦不再能够形成斑点，则对于每个斑点，
确定该斑点是否满足指示该斑点表示人的一组规定准则，
移除不满足所述一组规定准则的每个斑点，以及
将每个剩余斑点指定为表示位于所述环境内的不同潜在的人。
CN201310271853.4A 2012-06-22 2013-06-21 用基于深度的跟踪来生成和更新数据库的自学习面部识别 Active CN103400106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/530,925 2012-06-22
US13/530,925 US8855369B2 (en) 2012-06-22 2012-06-22 Self learning face recognition using depth based tracking for database generation and update

Publications (2)

Publication Number Publication Date
CN103400106A CN103400106A (zh) 2013-11-20
CN103400106B true CN103400106B (zh) 2017-06-16

Family

ID=48699349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310271853.4A Active CN103400106B (zh) 2012-06-22 2013-06-21 用基于深度的跟踪来生成和更新数据库的自学习面部识别

Country Status (7)

Country Link
US (2) US8855369B2 (zh)
EP (1) EP2864930B1 (zh)
JP (1) JP2015520470A (zh)
KR (1) KR20150021526A (zh)
CN (1) CN103400106B (zh)
ES (1) ES2704277T3 (zh)
WO (1) WO2013192253A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112823B2 (ja) * 2012-10-30 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
KR102161783B1 (ko) * 2014-01-16 2020-10-05 한국전자통신연구원 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
CN103792943B (zh) * 2014-02-19 2017-01-11 北京工业大学 基于距离信息和实例学习的机器人自主运动控制方法
WO2015130309A1 (en) * 2014-02-28 2015-09-03 Hewlett-Packard Development Company, L.P. Customizable profile to modify an identified feature in video feed
US9552519B2 (en) * 2014-06-02 2017-01-24 General Motors Llc Providing vehicle owner's manual information using object recognition in a mobile device
US9384386B2 (en) 2014-08-29 2016-07-05 Motorola Solutions, Inc. Methods and systems for increasing facial recognition working rang through adaptive super-resolution
US9544679B2 (en) * 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition
CN104463899B (zh) * 2014-12-31 2017-09-22 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
CN106778546A (zh) * 2016-11-29 2017-05-31 聚鑫智能科技（武汉）股份有限公司 一种基于可见光和非可见光的视觉识别方法及系统
JP2018093412A (ja) * 2016-12-06 2018-06-14 株式会社日立製作所 演算装置、送信プログラム、送信方法
CN108154375B (zh) * 2016-12-06 2019-10-15 阿里巴巴集团控股有限公司 一种业务数据处理方法及装置
CN106650656B (zh) * 2016-12-16 2023-10-27 中新智擎科技有限公司 一种用户身份识别装置和机器人
WO2018186398A1 (ja) 2017-04-07 2018-10-11 日本電気株式会社 学習データ生成装置、学習データ生成方法、および記録媒体
CN110869938A (zh) * 2017-04-14 2020-03-06 皇家飞利浦有限公司 人员识别系统和方法
WO2018191648A1 (en) 2017-04-14 2018-10-18 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US10242486B2 (en) 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
US10671840B2 (en) 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
US10943088B2 (en) * 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
CN109948468A (zh) * 2019-02-28 2019-06-28 南京甬宁科学仪器有限公司 一种激光显微镜图像分析识别系统
GB2586996B (en) * 2019-09-11 2022-03-09 Canon Kk A method, apparatus and computer program for acquiring a training set of images
CN111401205B (zh) * 2020-03-11 2022-09-23 深圳市商汤科技有限公司 动作识别方法及装置、电子设备、计算机可读存储介质
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN114827435A (zh) * 2021-01-28 2022-07-29 深圳绿米联创科技有限公司 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US5991429A (en) * 1996-12-06 1999-11-23 Coffin; Jeffrey S. Facial recognition system for security access and identification
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
WO2002019137A1 (en) * 2000-08-29 2002-03-07 Imageid Ltd. Indexing, storage & retrieval of digital images
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7024033B2 (en) 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
JP2003346149A (ja) * 2002-05-24 2003-12-05 Omron Corp 顔照合装置および生体情報照合装置
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US7668346B2 (en) 2006-03-21 2010-02-23 Microsoft Corporation Joint boosting feature selection for robust face recognition
JP4836633B2 (ja) * 2006-03-31 2011-12-14 株式会社東芝 顔認証装置、顔認証方法および入退場管理装置
JP2008017169A (ja) * 2006-07-06 2008-01-24 Nikon Corp 電子カメラ
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US8010471B2 (en) 2007-07-13 2011-08-30 Microsoft Corporation Multiple-instance pruning for learning efficient cascade detectors
EP2174310A4 (en) * 2007-07-16 2013-08-21 Cernium Corp DEVICE AND METHOD FOR VERIFYING VIDEO ALARMS
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
CN100543764C (zh) * 2007-12-25 2009-09-23 西南交通大学 一种具有光照鲁棒性的人脸特征提取方法
CN101990667B (zh) 2008-04-02 2013-08-28 谷歌公司 将自动人脸识别合并入数字图像集中的方法和装置
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US20110078097A1 (en) 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9858475B2 (en) * 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
EP2633474A4 (en) 2010-10-28 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) A face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
WO2012071677A1 (en) 2010-11-29 2012-06-07 Technicolor (China) Technology Co., Ltd. Method and system for face recognition
US9235977B2 (en) * 2011-02-22 2016-01-12 Richard Deutsch Systems and methods for monitoring caregiver and patient protocol compliance
US9530221B2 (en) * 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
KR101732613B1 (ko) * 2012-03-14 2017-05-04 구글 인코포레이티드 비디오 화상회의 동안 참가자의 외모 수정
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device

Also Published As

Publication number Publication date
US20130343600A1 (en) 2013-12-26
EP2864930B1 (en) 2018-11-28
WO2013192253A1 (en) 2013-12-27
US8855369B2 (en) 2014-10-07
CN103400106A (zh) 2013-11-20
US9317762B2 (en) 2016-04-19
KR20150021526A (ko) 2015-03-02
EP2864930A1 (en) 2015-04-29
JP2015520470A (ja) 2015-07-16
US20150092986A1 (en) 2015-04-02
ES2704277T3 (es) 2019-03-15

Similar Documents

Publication Publication Date Title
CN103400106B (zh) 用基于深度的跟踪来生成和更新数据库的自学习面部识别
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
CN107341442B (zh) 运动控制方法、装置、计算机设备和服务机器人
TWI438719B (zh) 檢測用資訊登錄裝置、電子機器、檢測用資訊登錄裝置的控制方法、電子機器的控制方法、檢測用資訊登錄裝置控制程式、電子機器的控制程式
WO2018198373A1 (ja) 映像監視システム
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN109145788A (zh) 基于视频的姿态数据捕捉方法和系统
WO2019176235A1 (ja) 画像生成方法、画像生成装置及び画像生成システム
CN108108698A (zh) 基于人脸识别和全景视频的目标跟踪方法和系统
CN106416220A (zh) 将视频自动插入照片故事
CN110428449A (zh) 目标检测跟踪方法、装置、设备及存储介质
JP2020119156A (ja) アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラム
CN103761758A (zh) 一种旅游虚拟人物照相方法及系统
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN107480614A (zh) 情绪管理方法、装置和终端设备
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
WO2017026154A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022041182A1 (zh) 音乐推荐方法和装置
JP2021077039A (ja) 画像処理装置、画像処理方法、及びプログラム。
WO2019207875A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
CN116152906A (zh) 图像识别方法、装置、通信设备及可读存储介质
JP2004295775A (ja) 画像認識装置および画像認識プログラム
CN115118536B (zh) 分享方法、控制设备及计算机可读存储介质
JP6362947B2 (ja) 映像分割装置、方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1190218

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150624

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150624

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160708

Address after: Cayman Islands, George Town

Applicant after: IValley Holding Co., Ltd.

Address before: Washington State

Applicant before: Micro soft technique license Co., Ltd

GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1190218

Country of ref document: HK