CN102542254B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。所述图像处理装置包括：面部检测单元，其被构造为周期性地执行从图像中检测人物的面部区域的面部检测处理；验证单元，其被构造为周期性地对检测到的面部区域执行个人验证处理；以及计算单元，其被构造为计算确定基准，该确定基准用来从检测到的面部区域中选择面部区域作为所述个人验证处理的目标，其中，所述验证单元以比所述面部检测处理的周期长的周期来执行所述个人验证处理，并且在所述面部检测单元从多个图像中检测到面部区域的情况下，从所述多个图像的面部区域中，选择符合由所述计算单元计算出的所述确定基准的面部区域，作为所述个人验证处理的目标。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法，特别是涉及从图像中检测人物面部并且对检测到的面部执行个人验证的图像处理技术。

背景技术

近年来推出了能够执行个人验证的静态摄像机，该静态摄像机在摄像期间周期性地检测面部，并且将检测到的面部与预先保持的个人信息进行比较，从而识别出是谁的面部。这种摄像机每秒执行若干次面部检测。在面部检测之后，利用检测结果来执行个人验证。个人验证处理花费的时间长于面部检测。因此，在该执行个人验证处理的时间期间，会执行多次面部检测。

然而，检测到的面部对于个人验证而言不一定是最佳的。例如，面部可能倾斜或者包括闭眼。在这种情况下，不能获得可靠的个人验证结果。

作为解决该问题的较佳的面部检测方法，日本专利特开2008-310775号公报描述了如下的图像处理装置，该图像处理装置每次在执行面部检测的同时确定检测结果，并且仅将满足条件的面部用于面部表情辨识。仅将满足条件的面部用于面部表情辨识的做法，使得能够提取出最佳面部。

然而，当执行上述相关技术的个人验证时，个人验证的开始发生延迟，因为需要等待面部检测结果满足预定条件。由于这一原因，获得个人验证结果的时间可能更长。

发明内容

本发明系在虑及前述各问题的情况下做出的，并且实现了如下的图像处理技术，该图像处理技术通过在从在个人验证的一个周期的时段中接收到的多个图像中检测到的面部中，选择合适条件的面部，而能够在每个个人验证时段中获得高的验证精度。

为了解决前述各问题，本发明提供了一种图像处理装置，该图像处理装置包括：面部检测单元，其被构造为周期性地执行从图像中检测人物的面部区域的面部检测处理；验证单元，其被构造为周期性地对由所述面部检测单元检测到的面部区域，执行个人验证处理；以及计算单元，其被构造为计算确定基准，该确定基准用来从由所述面部检测单元检测到的面部区域中选择面部区域作为所述个人验证处理的目标，其中，所述验证单元以比所述面部检测单元的所述面部检测处理的周期长的周期，来执行所述个人验证处理，并且在所述面部检测单元从多个图像中检测到面部区域的情况下，从所述多个图像的面部区域中，选择符合由所述计算单元计算出的所述确定基准的面部区域，作为所述个人验证处理的目标。

为了解决前述各问题，本发明提供了一种图像处理方法，该图像处理方法包括：面部检测步骤，周期性地执行从图像中检测人物的面部区域的面部检测处理；验证步骤，周期性地对在所述面部检测步骤中检测到的面部区域，执行个人验证处理；以及计算步骤，计算确定基准，该确定基准用来从在所述面部检测步骤中检测到的面部区域中选择面部区域作为所述个人验证处理的目标，其中，在所述验证步骤中，以比所述面部检测处理的周期长的周期，执行所述个人验证处理，并且在所述面部检测步骤中从多个图像中检测到面部区域的情况下，从所述多个图像的面部区域中，选择符合在所述计算步骤中计算出的所述确定基准的面部区域，作为所述个人验证处理的目标。

根据本发明，通过在从在个人验证的一个周期的时段中接收到的多个图像中检测到的面部中，选择合适条件的面部，能够在每个个人验证时段中获得高的验证精度。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是根据本发明的实施例的图像处理装置的框图；

图2是用于说明面部检测处理及个人验证处理各自的处理周期的图；

图3A及图3B是例示在根据第一实施例的个人验证的一个周期的时段中、通过面部检测获得的图像及检测结果的图；

图4A至图4C是例示根据第一实施例的确定个人验证目标面部的方法的图；

图5是例示根据第二实施例的确定个人验证目标面部的方法的图；以及

图6A至图6C是例示在根据第二实施例的个人验证的一个周期的时段中、通过面部检测获得的图像及检测结果的图。

具体实施方式

现在，将详细描述本发明的实施例。请注意，以下要描述的实施例仅是用于实现本发明的示例，并且应当依据各种条件或者本发明适用的装置的结构，来适当地进行修正或变更，并且，本发明不局限于以下的实施例。可以对以下要描述的实施例适当地进行部分组合。

[第一实施例]

首先，将描述第一实施例。以下，将把本发明的图像处理装置，描述为对拍摄的图像(运动图像或静止图像)执行面部检测及个人验证的数字视频摄像机。

<视频摄像机的结构>

首先，将参照图1，来说明视频摄像机100的结构。参照图1，视频摄像机100包括由单元101至104构成的控制系统。CPU 101依照程序来执行各类运算处理。RAM 102构成临时保持程序及数据等的易失性存储器。ROM 103构成诸如硬盘驱动器等的辅助存储设备，或者诸如快闪存储器等的非易失性存储器。操作单元104接受用户操作。

CPU 101经由内部总线105连接至诸如RAM 102、ROM 103及操作单元104等的块，并且基于存储在ROM 103中的控制程序来控制所述块。RAM 102用作当由CPU 101执行运算处理时的临时数据存储器。操作单元104包括用户可操作的按钮、键及杆之类的操作构件，并且将用户输入的操作输出至CPU 101。CPU 101基于用户操作指令来执行各类运算处理。

视频摄像机100还包括由单元110至114构成的图像拍摄光学系统。附图标记110表示变焦透镜；111表示聚焦透镜；112表示光阑(stop)。透镜驱动单元113驱动透镜110和111以及光阑112。图像传感元件114构成由CCD或CMOS制成的图像传感器，该图像传感器将被摄体图像转换为电信号。已穿过变焦透镜110及聚焦透镜111的光，在图像传感元件114的图像传感面上形成图像。图像传感面上的光学图像经历光电转换，并且作为图像信号被输出。透镜驱动单元113依照来自CPU 101的控制命令，来驱动变焦透镜110、聚焦透镜111及光阑112，从而调整光学变焦倍率、聚焦及光圈值。AFE 115根据来自CPU 101的控制命令，以电子快门速度来驱动图像传感元件114，以读出每1/60秒1帧的图像信号，并且执行图像信号的采样保持和放大以及向数字信号的转换。

视频摄像机100还包括图像处理单元120、曝光评价单元121、焦点评价单元122、缓冲存储器123、面部检测单元124及个人验证单元125，作为图像处理系统。图像处理单元120基于来自CPU 101的控制命令，经由AFE 115从图像传感元件114来接收图像信号，执行诸如颜色转换等的信号处理，并且将信号输出至缓冲存储器123。曝光评价单元121及焦点评价单元122，对获取自图像处理单元120的图像信号中包括的多个图像区域，来进行曝光状态及焦点状态的评价。面部检测单元124针对各帧，从缓冲存储器123读出图像信号，并且周期性地检测图像中包括的人物面部的数量，以及所述人物面部的大小及位置。

CPU 101在缓冲存储器123中，临时存储被面部检测单元124用于检测的图像数据。对于存储在缓冲存储器123中的各图像数据，与由面部检测单元124检测到的面部的大小及位置之类的面部检测结果相关联地，将检测目标图像数据存储在RAM 102中。

个人验证单元125依照来自CPU 101的控制命令，以慢于面部检测处理的预定周期来执行个人验证处理。在个人验证处理中，将基于确定基准(稍后描述)从由面部检测单元124检测到的面部中选择的面部，与存储在ROM 103中的个人信息列表中登记的各人物的面部进行比较。然后，确定是否有人物的面部与检测到的面部相似。也就是说，个人验证单元125计算，基于确定基准(稍后描述)从由面部检测单元124检测到的面部中选择的面部(图像数据)、与在个人信息列表中登记的面部(图像数据)之间的相似度。为了计算相似度，对面部图像数据的大小、角度及亮度等进行标准化，然后使用Fourier(傅立叶)频谱的KL展开法，正如在例如日本专利特开2000-030065号公报中所公开的。作为另一选择，基于到面部的距离对检测到的面部图像数据进行标准化，并且对该面部图像数据进行匹配，正如在日本专利特开2004-038531号公报中所公开的。请注意，预先登记的面部图像数据表示压缩并且存储的面部图像数据本身，或者表示代表关于面部的特征量的信息，包括眼睛、鼻子、嘴部及眉毛。

视频摄像机100还包括构成诸如USB等的接口的输出单元130，并且将从缓冲存储器123读出的图像信号，输出至诸如个人计算机(PC)或打印机等的外部设备。

<面部检测处理及个人验证处理>

接下来，将参照图2，来描述面部检测处理及个人验证处理。

图2例示了在个人验证的每一个周期的时段中、用于面部检测的图像数据。图2中的“被检测图像”，是指被面部检测单元124从缓冲存储器123读出并进行面部检测处理的图像。图像201至209被定义为被检测图像。首先，从缓冲存储器123读出图像201，并且执行面部检测处理。同样，依次对图像202、203及204执行面部检测处理。CPU 101在从被检测图像201至204中检测到的面部中，选择满足预定确定条件的合适条件的面部。个人验证单元125对选择的面部执行个人验证处理。

图2中的“个人验证处理”代表个人验证单元125中的处理时段。时段211及212各自为个人验证的一个周期的时段。在下一个人验证处理时段212中，对被检测图像201至204进行处理。同样，在下一个人验证处理时段213中，对被检测图像205至208进行处理。在该实施例中，在一个周期的个人验证处理中，进行4次面部检测，如图2所示。

下面，将描述缓冲存储器123的操作。与图2中的个人验证处理时段211中进行的面部检测的结果相对应的被检测图像201至204，被存储在缓冲存储器123及RAM 102中。在下一个人验证处理时段212中的个人验证处理中，CPU 101使用从被检测图像202中检测到的面部，作为合适条件的面部。当个人验证单元125开始个人验证处理时段212中的个人验证处理时，CPU 101删除被检测图像201、203和204及其面部检测结果，而将被检测图像202及其面部检测结果保留在缓冲存储器123中。然后，依次存储后续的被检测图像205至208。

如上所述，根据该实施例，CPU 101从已在个人验证处理时段211中经历面部检测的被检测图像201至204中，选择合适条件的面部，并且，对选择的面部执行个人验证处理。

请注意，作为面部检测方法，从图像数据中提取肉色数据，并且将被确定为落在肉色范围之内的区域，提取作为面部区域。然而，也可以使用其他方法，例如将重点放在诸如眼睛、鼻子或嘴部等的面部构成部分上的方法，或是利用着重于面部轮廓的椭圆形状信息的方法。

<面部选择方法>

接下来，将参照图3A及图3B，来描述使得CPU 101从被检测图像中选择合适条件的面部作为个人验证处理的目标的方法。CPU 101计算检测到的面部的大小(面部区域中包括的像素的数量)作为确定基准，并且从个人验证的一个周期的时段中检测到的面部中，选择具有最大面部区域的面部作为个人验证目标面部。这是因为，面部区域越大，则像素数越大，且个人验证精度越高。

图3A例示了在个人验证的一个周期的时段中接收到的被检测图像。参照图3A，面部检测单元124依次对被检测图像301(帧1)、被检测图像302(帧2)、被检测图像303(帧3)及被检测图像304(帧4)，来执行检测处理。

被检测图像301至304的区域311至314，各自示意性地代表由面部检测单元124检测到的人物A的面部区域。CPU 101在从4个被检测图像301至304中检测到的各面部中，确定合适条件的面部以用于个人验证。

图3B例示了将由面部检测单元124在各图像中检测到的面部的大小表示为数值的检测结果。面部检测单元124计算面部大小，并且为被检测图像中的较大面部设定较大的值。在图3B中的帧2中检测到的人物A的面部的大小值是60，这是4个值中最大的。基于该检测结果，CPU 101将帧2中的人物A的面部312，确定为合适条件的个人验证目标面部。

<确定基准的示例>

在该实施例中，将面部大小用作个人验证目标面部的确定基准。然而，也可以应用其他确定基准。例如，假定面部检测单元124能够检测面部的倾斜(例如，连接嘴部、鼻子及两眼中心的直线相对于垂直方向的倾斜)，则可以利用面部倾斜作为确定基准，来选择具有较小倾斜的面部。更具体地说，如图4A所示，面部检测单元124从被检测图像401至404中，来检测各面部的倾斜。CPU 101计算各面部的检测到的倾斜，来作为确定基准，并且确定合适条件的个人验证目标面部。在这种情况下，CPU 101在从各被检测图像401至404中检测到的面部411至414中，选择具有最小倾斜的面部412。

作为另一选择，假定面部检测单元124能够检测面部(相对于正面)的朝向，则可以利用面部朝向作为确定基准，来选择朝向最正面的面部。更具体地说，如图4B所示，面部检测单元124从各被检测图像421至424中，来检测各面部的朝向。CPU 101计算各面部的检测到的朝向，来作为确定基准，并且确定合适条件的个人验证目标面部。在这种情况下，CPU 101在从各被检测图像421至424中检测到的面部431至434中，选择朝向正面的面部432。

否则，可以增加被构造为检测面部表情(例如，笑脸或闭眼)的面部表情检测单元，并且，例如，可以利用面部表情作为确定基准，来选择没有闭眼的面部。更具体地说，如图4C所示，面部检测单元124从被检测图像441至444中，检测到面部451至454。面部表情检测单元检测各面部451至454中的闭眼状态。CPU 101计算各面部的检测到的闭眼状态，来作为确定基准，并且确定合适条件的个人验证目标面部。在这种情况下，CPU 101在从各被检测图像441至444中检测到的面部451至454中，选择没有闭眼的面部452。

请注意，为了确定诸如笑脸等的面部表情，可应用如日本专利特开2004-294498号公报中所记载的方法，该方法提取面部轮廓形状、眼睛形状及嘴部形状等，并且执行在它们的相对位置及形状与预先标准化的形状之间的模式(pattern)匹配，从而确定面部表情是否为笑脸。一般来说，当面部表情改变为笑脸时，嘴部的两个角向面部的上方移动，并且，眼睛半闭。因此，例如，如果在模式匹配时，检测到嘴部形状的两个角上升，并且眼睛开闭度小于等于给定阈值，则能够将面部表情确定为笑脸。请注意，眼睛睁开的程度越大，则眼睛开闭度所取的值越大。

为了确定闭眼，可应用如日本专利特开平06-032154号公报中所记载的方法，该方法从面部轮廓内部的黑色区域中提取眼睛，并且利用在提取到的眼睛区域中形成连续区域的黑色像素的最大数量，来确定眼睛的开闭状态。连续区域的黑色像素数在眼睛完全闭合时为0，并且在眼睛睁开时取正值。因此，例如，利用连续区域的黑色像素的最大数量作为眼睛开闭度，则在该值小于等于给定阀值的情况下，能够将面部表情确定为闭眼。

可以增加被构造为检测面部的运动的运动矢量检测单元，并且，可以利用面部运动作为确定基准，来选择具有小的运动的面部。这是因为，如果运动矢量是大的，则图像中的面部可能发生模糊或散焦。

可以将被检测图像中最接近中央的面部或者最亮的面部，用作确定基准。可以对诸如面部的大小、倾斜及朝向、眼睛状态以及运动矢量等的多个确定基准，进行适当的组合。此时，可以将优先级(权重)添加至各确定基准，以给予特定确定基准以较高优先级。

根据上述实施例，从在个人验证的一个周期的时段中检测到的面部中，选择合适条件的面部用于个人验证。这使得以预定周期执行的个人验证处理的精度能够提高。

[第二实施例]

接下来，将描述第二实施例。在第二实施例中，使得CPU 101确定个人验证目标面部的方法与第一实施例不同。请注意，在第二实施例中，CPU 101同样计算检测到的面部的大小作为确定基准，并且确定合适条件的个人验证目标面部。

将在个人验证的一个周期的时段中的多个被检测图像中的最新被检测图像中未检测到的人物的面部，从确定目标中排除。这是因为，在最新被检测图像中未检测到的面部，很有可能已经从图像中消失。

在第二实施例中，CPU 101基于检测结果的位置和大小的相关性，来确定在一个周期的时段中检测到的各面部是否属于相同人物(相同人物确定处理)。图5例示了在一个周期的时段中检测的图像。面部检测单元124依次对被检测图像501至504执行面部检测处理。首先，面部检测单元124在被检测图像501中检测到人物A的面部511。接下来，面部检测单元124确定被检测图像502中的面部512不属于人物A。这在图5中用叉号522来表示。接下来，面部检测单元124在被检测图像503中再次检测到人物A的面部513，并且同样地在被检测图像504中检测到人物A的面部514。

此时，CPU 101基于各图像间的检测结果的位置和大小的相关性，确定面部511、513及514属于相同人物。

接下来，将参照图6A至图6C，来描述根据该实施例的确定个人验证目标面部的方法。图6A例示了在个人验证的一个周期的时段中检测的图像。参照图6A，面部检测单元124依次对被检测图像601(帧1)、被检测图像602(帧2)、被检测图像603(帧3)及被检测图像604(帧4)，来执行面部检测处理。被检测图像601的区域611、621及631，分别示意性地代表人物A、B及C的面部。叉号641表示面部检测单元124不能检测到向下看的人物B。同样，被检测图像602的区域612、622及632以及被检测图像603的区域613、623及633，也分别示意性地代表人物A、B及C的面部。此时，被检测图像603中的人物C有一部分在帧之外，并且，叉号643表示面部检测单元124不能检测到人物C。在被检测图像604中，人物C完全在帧之外，并且，仅检测到用614及624表示的人物A及B的面部。

CPU 101在从4个被检测图像601至604中检测到的各面部中，确定个人验证目标面部。通过上述相同人物确定处理，确定图6A中的面部611、612、613及614属于人物A。同样，确定面部622、623及624属于人物B，并且确定面部631及632属于人物C。基于相同人物确定处理的结果，CPU 101生成如图6B所示的表格，在该表格中，由面部检测单元124检测的各被检测图像601至604中的面部大小的检测结果，是按人物来归类的。面部检测单元124为被检测图像中的较大面部设定较大的值。此时，在最新的被检测图像604中未检测到的人物C的面部，被从确定目标中排除。

在图6B中，在帧1中检测到的人物C的面部具有最大值“55”。然而，人物C未计入确定目标。在确定目标人物A及B的面部之中，在帧3中检测到的人物A的面部613具有最大值“50”。因此，CPU 101将帧3中的人物A的面部613，确定为个人验证目标面部。作为另一选择，可以分别针对人物A及B，将最大面部确定为个人验证目标。也就是说，对于人物A，可以将在帧3中检测到的面部613确定为个人验证目标，对于人物B，可以将在帧2中检测到的面部622确定为个人验证目标。

CPU 101可以设定当确定个人验证目标面部时的阈值，并且如果在任何面部中，确定基准的评价值均未超过阈值，则禁止个人验证处理。更具体地说，图6C例示了将由面部检测单元124检测的各图像中的面部的大小表示为数值的检测结果，参照图6C，利用面部大小作为确定基准，将阈值设定为20。在图6C的检测结果中，任何面部中的大小均未超过20。因此，CPU 101不执行个人验证处理。

根据上述实施例，从在个人验证的一个周期的时段中检测到的面部中，选择合适条件的面部以用于个人验证，同时排除不必要的面部。这使得以预定周期执行的个人验证处理的精度能够提高。

请注意，在上述各实施例中，将本发明应用于视频摄像机。然而，本发明不局限于此。也就是说，本发明也适用于诸如具有运动图像拍摄功能的数字静态摄像机或移动电话等的、能够拍摄多个图像的图像拍摄装置。

[其他实施例]

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (6)

1.一种图像处理装置，该图像处理装置包括：

面部检测单元，其被构造为周期性地执行从运动图像中检测人物的面部区域的面部检测处理；

验证单元，其被构造为周期性地对由所述面部检测单元检测到的面部区域，执行个人验证处理；

确定单元，其被构造为基于所述面部检测单元从多个帧图像中检测到的面部区域之间的相关性，从所述面部区域中确定代表相同人物的面部区域；以及

计算单元，其被构造为计算所述面部检测单元从所述多个帧图像中检测到的所述面部区域的评价值，

其中，所述验证单元以比所述面部检测单元的所述面部检测处理的周期长的周期，来执行所述个人验证处理，并且基于所述计算单元计算出的所述评价值，从在所述个人验证处理的各周期中的所述个人验证处理的一个周期的时段中检测到的、并被所述确定单元确定为相同人物的面部区域中，选择面部区域作为所述个人验证处理的目标。

2.根据权利要求1所述的图像处理装置，其中，

所述计算单元基于由所述面部检测单元检测到的面部区域的大小、倾斜、朝向、面部表情及运动中的至少一者，计算所述评价值。

3.根据权利要求1或权利要求2所述的图像处理装置，其中，如果在所述个人验证处理的所述一个周期的时段中检测到的、并被所述确定单元确定为相同人物的面部区域的所有评价值均不大于预定阀值，则所述验证单元在所述个人验证处理的所述周期中不执行由所述确定单元确定的人物的所述个人验证处理。

4.一种图像处理方法，该图像处理方法包括：

面部检测步骤，周期性地执行从运动图像中检测人物的面部区域的面部检测处理；

验证步骤，周期性地对在所述面部检测步骤中检测到的面部区域，执行个人验证处理；

确定步骤，基于在所述面部检测步骤中从多个帧图像中检测到的面部区域之间的相关性，从所述面部区域中确定代表相同人物的面部区域；以及

计算步骤，计算在所述面部检测步骤中从所述多个帧图像中检测到的所述面部区域的评价值，

其中，在所述验证步骤中，以比所述面部检测处理的周期长的周期，来执行所述个人验证处理，并且基于在所述计算步骤中计算出的所述评价值，从在所述个人验证处理的各周期中的所述个人验证处理的一个周期的时段中检测到的、并在所述确定步骤中被确定为相同人物的面部区域中，选择面部区域作为所述个人验证处理的目标。

5.根据权利要求4所述的图像处理方法，其中，

在所述计算步骤中，基于在所述面部检测步骤中检测到的面部区域的大小、倾斜、朝向、面部表情及运动中的至少一者，计算所述评价值。

6.根据权利要求4或权利要求5所述的图像处理方法，其中，如果在所述个人验证处理的所述一个周期的时段中检测到的、并在所述确定步骤中被确定为相同人物的面部区域的所有评价值均不大于预定阀值，则在所述验证步骤中，在所述个人验证处理的所述周期中不执行在所述确定步骤中确定的人物的所述个人验证处理。