CN1849613A

CN1849613A - 用于特征识别的设备和方法

Info

Publication number: CN1849613A
Application number: CNA2004800258643A
Authority: CN
Inventors: R·P·克莱霍尔斯特; H·埃布拉希马莱克
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-09-10
Filing date: 2004-09-07
Publication date: 2006-10-18
Also published as: EP1665124A1; WO2005024707A1; KR20060119968A; JP2007521572A; US20070116364A1

Abstract

面部识别系统包括图像传感器(100)，所述图像传感器的输出供应给检测模块(102)并且所述检测模块(102)的输出供应给识别模块(104)。检测模块(102)检测和定位未知数目(如果有的话)的面部。这个过程的主要部分需要分段，即选择图像中的可能的面部区域。然后，通过移除太小的区域并且通过加强所选择感兴趣区域的某一纵横比使结果更加可靠。识别模块(104)将从检测模块(102)接收的数据与已知特征数据库中存储的数据相匹配，并且相关对象的标识发送给系统输出，假定所述“匹配”连同表示输出可靠性水平的信号被确定高于预定可靠性水平。所述系统还包括分析器(106)，并且如果输出的可靠性水平被确定低于预定阈值(所述预定阈值由比较器(108)设定)，则检测模块(102)的输出也供应给分析器(106)。分析器(106)评价来自检测模块(102)的至少一些数据以确定可靠性低的原因，并且输出信号给语音合成器(110)以发出口头指令给对象，例如“移动靠近照相机”、“向左边/右边移动”等等。如果当输出的可靠性达到预定阈值，则例如通过口头问候指示给对象。

Description

用于特征识别的设备和方法

本发明涉及一种用于特征识别的设备和方法，并且更加具体而言，本发明涉及一种用于在例如监视或识别系统中进行面部识别的设备和方法。

为了不同目的(象监视和识别)，对包括内置智能的照相机存在着快速增长的需求。近年来，就这些照相机而言，面部识别已经变为重要的应用。面部识别是人们能够几乎不费力气执行的视觉任务之一，但是对于计算机，它造成了一个挑战和困难的技术问题。

面部识别的应用在许多领域中越来越多，例如以环境智能形式的用户识别用于存取控制以替换pincode，并且用于修改机器的参数，例如PC设置，或者作为监视系统的一部分。

目前，多数面部识别系统使用先前捕获的视频，而不以视频速率工作。目前存在一些可用的系统，该系统能够执行来自捕获视频流的运行中(on-the-fly)的面部识别，并且对于这些系统的需求快速增长。然而，未必由于面部识别所使用的处理，但是由于场景和相关捕获图像的“适宜性”，这些系统倾向于不可靠并且麻烦。

例如如果用于检测处理的子图像太小，则识别处理是不可靠的，因为对象离照相机太远或者在这种情况下对象没有完全处于照相机的视场内。在目前的系统中，确定对象完全处于照相机的视场内的唯一方法是查看计算机屏幕上的中间信号，并且调整对象完全处于照相机的视场内的唯一方法是对象来回走动并且相对于照相机站在不同位置直到抓取的图像足够好用于识别的目的。

US专利号6134339描述了一种用于确定眼睛位置和用于校正捕获图像帧中的眼睛缺陷的方法和设备，包括用于识别图像帧内的眼睛的红眼检测器，用于确定所检测的眼睛对是否满足所有一些预定标准，如果不满足，则输出一些形式的误差代码。在一个所描述的实施例中，设置该系统输出音频信号(例如“蜂鸣声”)以表示捕获的图像内所检测的眼睛的位置是最佳的。

现在我们设计了一种改进的装置。

根据本发明，提供了一种用于特征识别的设备，所述设备包括：

-图像捕获装置，用于在其视场内捕获图像；

-检测装置，用于在所述图像内识别对象的存在并且用于检测所述对象的一个或多个特征；

-识别装置，用于将所述的一个或多个特征与所存储的特征数据相匹配；以及

-用于确定所述捕获图像是否足够用于特征识别的目的的装置；

特征在于：

-用于产生和发出指令给所述对象的装置，所述指令与所述视场内所述对象需要的运动有关，如果所述捕获图像被确定不足够用于特征识别的目的，则设计所述指令以帮助所述对象在所述视场内进行自我定位以便能够捕获足够的图像。

在一个优选实施例中，指令图像包括音频信号，优选地以语音信号的形式将方向指示给对象，在所述方向上需要对象相对图像捕获设备而移动。

根据本发明的第三实施例的设备包括检测模块和识别模块，用于输出与对象有关的数据以及表示所述输出数据的可靠性的数据。可以提供装置，用于将可靠性数据与预定阈值相比较以便确定是否捕获了足够的图像。优选地，提供分析器，用于确定对象所需要的动作以便能够捕获足够的图像，并且用于提供相应数据给装置用于发出指令给对象。

优选地，配置检测模块以识别捕获图像内的一个或多个特征并且将与一个或多个特征的位置有关的数据提供给识别模块。识别模块优选地包括特征数据库，以及用于将从检测模块接收的特征数据与数据库内容相比较以确定匹配的装置。

同样，根据本发明，提供一种特征识别的方法，所述方法包括以下步骤：

-在图像捕获装置的视场内捕获图像；

-在所述图像内识别对象的存在并且检测所述对象的一个或多个特征；

-将所述一个或多个特征与所存储的特征数据相匹配；以及

-确定所述捕获图像是否足够用于特征识别的目的；

特征在于以下步骤：

-提供用于自动地产生和发出指令给所述对象的装置，所述指令与所述视场内所述对象所需要的运动有关，如果所述捕获图像被确定不足够用于特征识别的目的，则设计所述指令以帮助所述对象在所述视场内进行自我定位以便能够捕获足够的图像。

因此，本发明提供了一种用于用户友好和直观面部识别系统的设备和方法，这意味着它分析捕获图像以及其中对象的位置，确定对象图像的质量是否足够用于特征识别的目的，如果不足够用于特征识别的目的，则确定对象如何在视场内移动以能够捕获足够质量的图像，并且产生和发出指令(即“反馈”)给所述对象以将对象引导到由系统可识别的正确位置。

通过在特征识别系统内包括反馈系统(优选地以语音的形式)，能够以优雅、快速和用户友好(直观)的方式克服现有技术面部识别系统的典型缺点，例如对于可靠识别来说，在捕获图像内的对象面部太小，或对象稍微在照相机的视场之外。例如，可以设置系统要求对象靠近点，移动到一方向或另一方向侧，或者直射入照相机。也可以设置系统给出一个问候(同样优选地，以语音的形式)以表示已经成功地识别了对象。以这种方式，能够去除对变焦透镜(该变焦透镜移动照相机)和由现有领域系统所需的技术反馈电路的需要。

参考下文所描述的实施例，本发明的这些和其它方面将显而易见并且被说明。

现在仅仅通过示例以及参考附图将描述本发明的实施例，其中：

图1是根据现有技术说明典型面部识别系统的配置的示意框图；

图2是图1的检测模块使用的操作的示意表示；

图3是图1的识别模块执行的匹配过程的示意表示；

图4是根据本发明的一个典型实施例说明面部识别系统的配置的示意框图。

参考图1，根据现有技术的典型面部识别系统包括图像传感器100，用于捕获视场内场景的图像(图2中101)，并且来自图像传感器100的输出被输入到检测模块102。检测模块102检测和定位捕获图像内的未知数目(如果有的话)的面部，并且这个过程的主要部分需要分段，即选择场景内可能面部的区域。这通过检测场景中的某些特征(例如“眼睛”、“眉形”或肤色)来实现。然后检测模块102产生维数dx、dy，位置x，y的子图像103(如图2所示的)并且将所述子图像发送给识别模块104。

识别模块可能将从检测模块102接收的所述子图像或每个子图像103按比例缩放为它自身优选的格式，并且然后将它与已知特征数据库中存储的数据相匹配(见图3)。识别模块将所述子图像或每个子图像103与所存储的子图像a、b和c相比较，识别子图像103最匹配的所存储的子图像，并且识别发送给系统输出的相关对象，假定所述“匹配”连同表示输出可靠性水平的信号被确定高于预定可靠性水平。

然而，如上所述的，未必由于面部识别所使用的处理，但是由于场景和相关捕获图像的“适宜性”，当前多数面部识别系统倾向于不可靠并且麻烦。

例如如果用于检测过程的子图像太小，则识别过程是不可靠的，因为对象离照相机太远或者在这种情况下对象没有完全处于照相机的视场内。在目前的系统中，确定对象完全处于照相机的视场内的唯一方法是查看计算机屏幕上的中间信号，并且调整对象完全处于照相机的视场内的唯一方法是对象来回走动并且相对于照相机站在不同位置直到抓取的图像足够好用于识别的目的。

参考图4，根据本发明的典型实施例的面部识别系统包括图像传感器100，所述图像传感器100的输出供应给检测模块102，如以前所述。检测模块102与参考图1所说明和描述的系统的相应模块的工作方式相同，并且检测模块102的输出(即，一个或多个识别子图像)供应给识别模块104，如以前所述。

更详细地，给定一个图像(来自视频序列)，检测模块能够检测和定位未知数目(如果有的话)的面部。这个过程的主要部分需要分段，即选择图像中可能面部的区域。在本发明的一个实施例中，这可以通过颜色具体选择来实现(例如，设置检测模块104通过搜索肤色像素或像素组的存在来检测捕获图像中的面部)。然后，通过移除太小的区域并且通过加强所选择感兴趣区域的某一纵横比使结果更加可靠。

再一次，识别模块可能将从检测模块102接收的所述子图像或每个子图像103按比例缩放为它自身优选的格式，并且然后将它与已知特征数据库中存储的数据相匹配(见图3)。识别模块将所述子图像或每个子图像与所存储的子图像a、b和c相比较，识别子图像最匹配的所存储的子图像，并且识别发送给系统输出的相关对象，假定所述“匹配”连同表示输出可靠性水平的信号被确定高于预定可靠性水平。

因此，通过面部识别过程，由检测模块检测的一个或多个面部相对于面部数据库而被识别。为此目的，使用径向基函数(RBF)神经网络。使用RBF神经网络的原因是在分类图像之前聚合类似图像的能力以及快速的学习速度和紧凑拓扑(参见J.Haddadnia，K.Faez和P.Moallem“Human Face Recognition with Moment Invariants Basedon Shape Information”(基于形状信息利用力矩不变量的人类面部识别)，关于信息系统、分析和合成的国际会议的会议记录，vol.20，(Orlando，Florida，USA)，信息学和分类学的国际协会(ISA2001))。

所述系统还包括分析器106，并且如果输出可靠性水平被确定低于预定阈值(所述预定阈值由比较器108设定)，则检测模块102的输出也供应给分析器106。分析器106评价来自检测模块102的至少一些数据以确定可靠性低的原因，并且输出信号给语音合成器110以发出口头指令给对象，例如“移动靠近照相机”、“向你的左边/右边移动”等等。如果当输出的可靠性达到预定阈值，则例如通过口头问候，如“你好，Green先生”指示给对象。

因此，上面描述的系统提供反馈给用户(通过口头指令或问候)，这十分直观并且口头指令将以一种用户友好的方式使人到达可识别的正确位置。

在一个实施例中，在分析器中运行的软件代码如下：

if((dx＜5g pixels)OR(dy＜6g pixels))

then speak(“come closer please”)

else if(x＝0)then speak(“move left”)

else if(x≈63g)then speak(“move right”)

else if(reliability＞threshold)

speak(“hello”，name_from_database(identifier))

end

因此，总而言之，在过去，面部识别已经是一个挑战性的任务，特别在cybertronics领域中。因为对于稳健识别，面部需要在合适的角度并且完全地在照相机之前，所以面部识别是困难的。同样，捕获图像中面部的大小必须跨越(span)最小数目的像素，因为如果面部部分不包含足够像素，则不能实现可靠的检测和识别。如果面部不完全处于照相机的视场内(例如，离左边太远或离右边太远)，则存在同样的问题。

如果在现有领域系统内用户被提供反馈，则这种反馈是技术特性，例如处理链中的中间图像。不提供实际反馈。在上面所描述的典型实施例中，本发明提供一种面部识别系统，所述面部识别系统包括使用语音合成的可听反馈。因此，如果面部在捕获图像内太小，则设置所述系统输出用于向一边运动的“靠近点”或“请左移”或“请看这里！”。因此，本发明提供了一种非常直观的用户界面系统，因为相比于现有技术领域系统可以较好地控制图像，所以能显著地改善识别能力。

应该理解的是，许多不同特征识别技术对于本领域的技术人员是已知的，并且本发明不限于此。

应该注意的是，上述实施例说明了本发明而不是限制了本发明，并且在不脱离所附权利要求所限定的本发明范围的情况下，本领域的技术人员能够设计一些可替换的实施例。在权利要求中，括号之间的任何参考标记不应该理解为限制权利要求。词“包括”和“包含”等不排除除了权利要求或整篇说明书中所列出的元件或步骤之外的元件或步骤的存在。元件的单数引用不排除这些元件的多数引用，反之亦然。通过包括若干不同元件的硬件并且通过合适编程的计算机来执行本发明。在列举若干装置的设备权利要求中，通过同一项硬件实施这些装置的若干个。在相互不同的从属权利要求中引述某些措施的唯一事实，不表示使用这些措施的组合不是有利的。

Claims

1.一种用于特征识别的设备，所述设备包括：

-图像捕获装置(100)，用于在其视场内捕获图像(101)；

-检测装置(102)，用于在所述图像内识别对象的存在并且用于检测所述对象的-个或多个特征；

-识别装置(104)，用于将所述的一个或多个特征与所存储的特征数据相匹配；以及

-装置(108)，用于确定所述捕获图像(101)是否足够用于特征识别的目的；

特征在于：

-用于产生和发出指令给所述对象的装置(106，110)，所述指令与所述视场内所述对象所需要的运动有关，如果所述捕获图像(101)被确定不足够用于特征识别的目的，则设计所述指令以帮助所述对象在所述视场内进行自我定位以便能够捕获足够的图像。

2.根据权利要求1的设备，其中所述指令包括音频信号。

3.根据权利要求2的设备，其中所述音频信号由语音合成器(110)提供，所述语音合成器输出口头指令给所述对象。

4.根据权利要求1-3中任一权利要求的设备，包括检测模块(102)和识别模块(104)，用于输出与所述对象有关的数据以及表示所述输出数据可靠性的数据。

5.根据权利要求4的设备，包括装置(108)，用于将所述可靠性数据与预定阈值相比较以便确定是否捕获足够的图像。

6.根据权利要求1-5中任一权利要求的设备，包括分析器(106)，用于确定对象所需要采取的动作以便能够捕获足够的图像，并且将相应数据提供给所述装置(110)，用于发出指令给所述对象。

7.根据权利要求4的设备，其中配置所述检测模块(102)以识别捕获图像内的一个或多个特征并且提供与所述一个或多个特征的位置有关的数据给所述识别模块。

8.根据权利要求7的设备，其中所述识别模块(104)包括特征数据库，以及用于将从所述检测模块(102)接收的特征数据与所述数据库的内容相比较以确定匹配的装置。

9.一种用于特征识别的方法，所述方法包括以下步骤：

-在图像捕获装置的视场内捕获图像(101)；

-将所述一个或多个特征与所存储的特征数据相匹配；以及

-确定所述捕获图像是否足够用于特征识别的目的；

特征在于以下步骤：

-提供装置(106，110)，用于自动地产生和发出指令给所述对象，所述指令与所述视场内所述对象所需要的运动有关，如果所述捕获图像被确定不足够用于特征识别的目的，则设计所述指令以帮助所述对象在所述视场内进行自我定位以便能够捕获足够的图像。