CN102150180A

CN102150180A - 人脸识别装置及人脸识别方法

Info

Publication number: CN102150180A
Application number: CN2009801352630A
Authority: CN
Inventors: 富田裕人
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2008-10-14
Filing date: 2009-10-05
Publication date: 2011-08-10
Also published as: WO2010044214A1; US20110199499A1; JPWO2010044214A1

Abstract

本发明提供一种削减人眼位置检测处理和人脸特征提取处理中使用的数据传输量的人脸识别装置。第1规范化单元对含有由人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理。部位检测单元利用规范化了的人脸图像检测人脸的部位。第2规范化单元对含有由人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理。特征量提取单元用规范化了的人脸图像提取人脸的特征量。人脸图像获取单元用由人脸检测单元所检测出的人脸的位置及大小，获取成为规范化单元的处理对象的人脸图像。人脸图像获取选择单元切换单独地获取或共享规范化单元中所用的人脸图像。

Description

人脸识别装置及人脸识别方法

技术领域

本发明涉及的技术是一种应用于利用人的图像来识别该图像中所拍摄的人的装置及方法等。

背景技术

近年来，利用人的图像来进行识别处理，也就是所谓的人脸识别技术备受关注。人脸识别包括特定个人的识别、性别识别、表情识别及年龄识别等。人脸识别技术包括从所拍摄的图像中检测人脸的人脸检测处理，以及基于所检测的人脸图像来识别人脸的人脸识别。并且，人脸识别处理包括检测人脸图像的眼睛或嘴等人脸特征点的特征点检测处理，提取人脸的特征量的特征提取处理，以及利用特征量判断是否是识别对象的对照处理。

作为人脸识别处理的一例，例如专利文献1中提出了将两眼位置用作人脸特征点，作为人脸特征量的提取方法而用加博滤波器(Gabor Filter)的方案。

图13示出专利文献1的人脸识别系统70。以下对图13进行说明。拍摄图像被存入SDRAM74，为输入图像。人脸检测部71从SDRAM74获取输入图像，以24×24的像素单位来对输入图像整体进行人脸检测处理，并求出所检测出的人脸的大小及人脸的位置。作为人脸检测处理方法，使用像素间差分(pixel to pixel difference)方式。两眼位置检测部72获取由人脸检测部71所检测出的人脸位置的人脸图像，并规范化到24×24像素后，通过与人脸检测部71相同的像素间差分方式来检测两眼位置。根据所检测出的两眼位置信息来求出人脸的大小、人脸的位置以及人脸的角度。人脸识别部73再次获取由两眼位置检测部72所确定的人脸图像，并将之规范化到60×66像素后提取人脸特征。人脸特征的提取应用加博滤波(Gabor Filtering)，并求出该应用结果和将加博滤波应用到以前所注册的图像而得到的结果之间的类似度，根据该类似度来识别是否与注册图像一致。

这里，规范化后的人脸图像在两眼位置检测部72和人脸识别部73中的解像度不同，人脸识别部73需要更高的解像度。这是由于人脸识别处理比两眼位置检测处理要求更高精度的缘故。因此，需要在两眼位置检测部72和人脸识别部73中单独地生成规范化图像，从而也要单独地获取规范化所需的人脸图像数据。

现有技术文献

专利文献

专利文献1：日本特开2008-152530号公报

发明概要

发明要解决的问题

在上述现有技术的结构中，为了在两眼位置检测部72和人脸识别部73中，通过不同的解像度来对作为处理对象的人脸图像进行规范化，总是需要单独地来获取人脸图像数据。因而存在从SDRAM74获取的数据量大的技术问题。

于是，为了削减获取数据量，考虑的方法是从SDRAM74中省略规范化处理不需要的数据行(line)，而仅获取规范化处理所需的数据行。在将二维图像按光栅扫描顺序存储到SDRAM74的情况下，一般在水平方向的省略效果较小，而在垂直方向的省略不但容易而且效果大。由于SDRAM74的1字(word)中存有多个像素(例如4像素)，并且通过突发接入(burst access)同时获得连续的多个字，所以在水平方向省略会获得许多不需要的像素。因而水平方向的删除效果小。但是，由于垂直方向跨过多个字(例如，640×480像素及4像素/字的情况下为160字)，因而仅通过SDRAM74的地址控制就能够进行省略，从而容易且效果大。

这里，设要获取的人脸区域的大小为S_FACE×S_FACE，在两眼位置检测部72的规范化后的大小为NX_EYE(在图13中为24)，在人脸识别部73的规范化后的大小为NX_EXT(在图13中为66)。此时，若通过仅在垂直方向省略来获取人脸图像，则两眼位置检测部72的获取数据量为S_FACE×NX_EYE，人脸识别部73的获取数据量为S_FACE×NX_EXT。此外，在获取人脸区域整体的情况下，如上所述为S_FACE×S_FACE。

图8示出两眼位置检测部72和人脸识别部73单独地获取图像的情况下的、1次识别处理所需的总数据传输量，以及发送1次人脸区域整体，在两眼位置检测部72和人脸识别部73中共享传输数据的情况下的、1次识别处理所需的总数据传输量。横轴是获取的人脸区域的大小，纵轴是总数据传输量。单独传输的情况如(A)所示，为与人脸区域大小成正比的传输量。并且，人脸区域整体传输的情况如(B)所示，为与人脸区域大小的二次方成正比的传输量。由图8可知，当人脸区域的大小比两眼位置检测部72和人脸识别部73的规范化后的人脸区域的大小之和小时，传输人脸区域整体能够减小总数据传输量。

然而，在上述现有技术的结构中，由于总是要按两眼位置检测部72和人脸识别部73来单独地获取人脸图像，因而存在的技术问题是，不能够结合人脸区域的大小来控制人脸图像数据的传输方法。

发明内容

本发明用于解决上述现有技术问题，通过结合人脸的大小来控制人脸识别处理所需的人脸图像数据的传输方法，从而达到削减传输量的目的。

用于解决问题的手段

为了解决上述现有技术问题，本发明的人脸识别装置具备：人脸检测单元，从拍摄有人脸的图像中检测出人脸；第1规范化单元，对含有由所述人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；部位检测单元，用由所述第1规范化单元规范化了的人脸图像，检测人脸的部位；第2规范化单元，对含有由所述人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；特征量提取单元，用由所述第2规范化处理单元规范化了的人脸图像，提取人脸的特征量；人脸图像获取单元，根据单独地获取所述第1及第2规范化单元中使用的人脸图像的单独获取模式，或共享地获取所述第1及第2规范化单元中使用的人脸图像的共享获取模式，用由所述人脸检测单元所检测出的人脸的位置信息及大小信息，相应地获取成为所述第1及第2规范化单元的处理对象的人脸图像；以及，人脸图像获取选择单元，根据由所述人脸检测单元所检测出的人脸的大小信息，以及所述部位检测单元及所述特征量提取单元的规范化尺寸，相应地选择并切换所述人脸图像获取单元的所述获取模式；当由所述人脸检测单元检测出的人脸的大小、比所述第1规范化单元的规范化尺寸与所述第2规范化单元的规范化尺寸之和大时，所述人脸图像获取选择单元设定为所述单独获取模式，当由所述人脸检测单元检测出的人脸大小、比所述第1规范化单元的规范化尺寸与所述第2规范化单元的规范化尺寸之和小时，所述人脸图像获取选择单元设定为所述共享获取模式。

通过本结构，由于能够根据人脸的大小来相应地设定人脸图像数据的获取方法，因而能够减少人脸识别所需的数据传输量。

发明效果：根据本发明的人脸识别装置，通过结合人脸区域的大小来控制人脸图像数据传输方法，从而能够减少人脸识别所需的数据传输量。

附图说明

图1是本发明的实施方式1所涉及的人脸识别装置1的结构的一例的方框图。

图2是示出人脸识别装置1的处理流程的图。

图3是示出人眼位置检测处理及人脸特征提取处理的流程的图。

图4是双线性插值的说明图。

图5是本发明的实施方式1中，单独获取模式时的、从SDRAM获取图像的顺序的说明图。

图6是示出本发明的实施方式1中的单独获取模式的数据传输量的示意图。

图7是示出本发明的实施方式1中的人脸区域整体获取模式的数据传输量的示意图。

图8是示出单独获取模式与人脸区域整体获取模式的总数据传输量的关系的图。

图9是示出人脸图像获取部的传输模式的切换流程的图。

图10是示出本发明的实施方式1所涉及的人脸识别装置1的功能块的一例的图。

图11A是本发明的实施方式2所涉及的半导体集成电路50的方框图。

图11B是本发明的实施方式2所涉及的人脸识别装置1a的方框图。

图12是本发明的实施方式2所涉及的拍摄装置80的方框图。

图13是现有技术的人脸识别装置70的方框图。

具体实施方式

以下，参照附图来说明本发明的实施方式。

(实施方式1)

实施方式1所涉及的人脸识别装置1比较在所输入的人脸图像与所注册的注册图像之间所提取的特征量并算出类似度，基于该类似度的大小来进行人脸的对照判定。图1是示出本发明的实施方式1中的人脸识别装置1的结构的一例的图。图2及图3是示出人脸识别装置1的处理流程的图。

首先，用图2来说明人脸识别装置1的大致的处理流程。参照图2，人脸识别装置1对输入图像进行人脸检测，获取人脸的位置及人脸的大小(步骤S20)。接着，人脸识别装置1以该人脸的位置及人脸的大小为基准，获取人脸图像并检测两眼的位置，根据该两眼的位置信息算出人脸的位置、大小以及角度的信息(步骤S21)。接着，人脸识别装置1根据两眼的信息将人脸图像规范化，并提取人脸特征量(步骤S22)。人脸识别装置1将所提取的特征量与预先所注册的特征量进行比较，并将其结果作为识别结果输出(步骤S23)。

图3示出了步骤S21及步骤S22的处理的具体例子。首先，参照图3，从步骤S21的人眼位置检测处理开始说明。在步骤S21中，当获得人脸图像时，人脸识别装置1将所获得的人脸图像规范化到规定的大小(该例子中为24像素×24像素)(步骤S24)。接着，人脸识别装置1从规范化后的人脸图像中检测两眼的位置(步骤S25)，并基于该两眼的位置算出人脸的位置、大小、角度来作为规范化信息(步骤S26)。

接着，参照图3，说明步骤S22的人脸特征提取处理。步骤S22中，当获得人脸图像时，人脸识别装置1将所获得的人脸图像规范化到规定的大小(该例子中为64像素×64像素)(步骤S27)。接着，人脸识别装置1通过使人脸图像旋转来补正其倾斜度(步骤S28)，并利用加博滤波器来算出与人脸特征点有关的人脸特征量(步骤S29)。

接着，说明图1的结构。

图1中，人脸识别装置1包括人脸检测部2、人脸识别部3、作为人脸图像获取选择单元的传输模式设定部18及传输模式选择部19。人脸识别部3包括：作为部位检测单元的人眼位置检测部4、作为特征量提取单元的人脸特征提取部5、人脸对照部16以及人脸图像获取部6。人眼位置检测部4包括：规范化处理部7、规范化图像缓冲器8以及人眼位置检测处理部9。人脸特征提取部5包括：规范化处理部10、规范化图像缓冲器12、旋转处理部11以及加博滤波处理部13。

人脸检测部2获取存储在SDRAM17中的拍摄图像，并进行人脸检测处理。在人脸检测处理中，所检测出的人脸的位置信息以及人脸的大小信息作为检测结果而被输出，并被传送给人脸识别部3。在人脸识别部3中，根据所述所检测出的人脸的位置信息以及人脸的大小信息，分别获取人眼位置检测部4及人脸特征提取部5所需的人脸图像区域的人脸图像，并分别传送给各自的规范化处理部7、10。

在人眼位置检测部4中，规范化处理部7利用由所述人脸检测部2所检测出的人脸的大小来进行规范化处理，使人脸图像成为人眼位置检测处理所需的尺寸，并将规范化后的人脸图像存储到规范化图像缓冲器8。人眼位置检测处理部9对所述规范化图像缓冲器8中的人脸图像进行人眼位置检测处理，检测两眼位置，并且算出人脸的位置、大小以及角度的信息。所述所算出的人脸的位置、大小以及角度的信息被传送至人脸特征提取部5。

在人脸特征提取部5中，规范化处理部10利用由所述人眼位置检测部4所检测出的人脸的大小来进行规范化处理，使人脸图像成为人脸特征提取处理所需的尺寸，并将规范化后的人脸图像存储到规范化图像缓冲器12。旋转处理部11利用由所述人眼位置检测部4所检测出的人脸的角度，来进行旋转处理，并再次存储到规范化图像缓冲器12。加博滤波处理部13对所述规范化图像缓冲器12中的人脸图像进行加博滤波处理，并将结果作为特征量输出到人脸对照部16。人脸对照部16从SDRAM17获取预先所注册的人脸图像的特征量，并将之与人脸特征提取部5输出的特征量进行比较。该比较结果被作为人脸识别结果输出。

接着，详细说明各个部。

人脸检测部2从存储在SDRAM17中的拍摄图像中检测人脸，并将所检测出的人脸的位置或大小等作为检测结果输出。人脸检测部2例如可以是利用与人脸整体的轮廓对应的基准模板，通过模板匹配来检测人脸的结构。此外，人脸检测部2可以是通过基于人脸的构成要素(眼、鼻、耳等)的模板匹配来检测人脸的结构。此外，人脸检测部2可以是检测与肌肤颜色相近的区域，将该区域检测为人脸的结构。此外，人脸检测部2可以是使用神经网络，进行教师信号的学习，来将类似人脸的区域检测为人脸的结构。此外，人脸检测部2的人脸检测处理也可以通过应用其它现有的任意技术来实现。

此外，在从拍摄图像检测出多张人脸的情况下，可以按照人脸的位置、人脸的大小以及人脸的朝向等特定的基准，来决定人脸识别部3的处理对象。当然，也可以将所有检测出的人脸作为人脸识别对象。其处理顺序只要按照所述特定的基准就可。并且，这些人脸检测结果的信息被传送给人脸识别部3。

人眼位置检测部4的规范化处理部7根据存储在SDRAM17中的拍摄图像来生成人眼位置检测处理所需的规范化图像。具体情况如下：首先，利用作为人脸检测结果的位置或人脸的大小信息，来计算规范化处理时的缩小率、以及能够包含所检测出的人脸的人脸区域的位置及范围。并且，规范化处理部7也可以算出比作为人脸检测结果的人脸大小大或者小的范围。缩小率用式1表示。

[式1]

(缩小率)＝(输入人脸图像的尺寸)÷(规范化尺寸)

根据所算出的人脸区域的位置及范围的信息，算出规范化处理所需的数据行信息及人脸的大小(人脸的宽度)信息，并从人脸图像获取部6获取人脸图像。这里，之所以只获取规范化处理所需的数据行信息，如上所述是为了削减人脸图像数据的传输量的缘故。对所获取的人脸图像进行规范化处理以使调整后的尺寸与所述缩小率相对应，并将人脸图像存储到规范化图像缓冲器8。作为规范化处理方法，例如可以用双线性插值。双线性插值用图4及式2来表示。

[式2]

(双线性滤波器)＝C1×{(1-a)×(1-b)}+C2×{(1-a)×b}

+C3×{a×(1-b)}+C4×{a×b}

在双线性插值中，调整后的像素位置根据缩小率以小数点精度来算出，并通过线性插值来根据其位置的周边的4个整数像素来算出。如图4所示，调整后的像素位置X与其周边4个整数像素C1、C2、C3、C4的2顶点连接起来的矩形区域的面积为滤波系数。

表示规范化处理所需的数据行位置的数据行信息可以通过缩小率和规范化处理方法来计算。规范化处理方法若是如前所述的双线性插值，那么规范化处理所需的数据行则只是通过缩小率而决定的、调整后的像素位置的上下2行。例如，缩小率为1/4的情况下是第4n行及第4n+1行(n＝0、1、2、……)。

人脸图像获取部6能够在2个传输模式(获取模式)下运作，包括：数据行缓冲器14、数据行缓冲器15以及缓冲器管理部。缓冲器管理部管理数据行缓冲器14、15的动作，并且控制数据行缓冲器14、15与规范化处理部7、10之间的接入。人脸图像获取部6按照由传输模式设定部18所设定的传输模式，来变更人眼位置检测部4用的人脸图像的获取方法以及人脸特征提取部5用的人脸图像的获取方法。这里，用单独传输模式和人脸区域整体传输模式来作为2种传输模式。

单独传输模式是指，在人眼位置检测处理和人脸特征提取处理中来单独地获取人脸图像的模式。因此，也可以将单独传输模式称为单独获取模式。在单独传输模式下，人脸图像获取部6根据从人眼位置检测部4和人脸特征提取部5输出的人脸图像中的必要数据行信息，算出在SDRAM17上的地址，并以数据行为单位来从SDRAM17获取数据。用图5来说明获取顺序。根据人脸检测部2的输出而算出的、SDRAM17上的人脸的左上位置(FACE_POSITION)、人脸区域的宽度(S_FACE)、从人眼位置检测部4或人脸特征提取部5输出的数据行信息(图5中的n及n+1)、以及输入图像的图像宽度(WIDTH)是必要信息。

首先，当算出必要的数据行的开头地址时，人脸图像获取部6根据人脸的左上位置(FACE_POSITION)、输入图像的图像宽度(WIDTH)以及数据行信息(n)，算出FACEPOSITION+WIDTH×n。通过从中获取人脸的宽度(S_FACE)的数据，能够获取第1行的数据。接着，第2行数据的获取同样地通过算出数据行的开头地址，得到FACEPOSITION+WIDTH×(n+1)。由此，通过同样地获取人脸区域的宽度(S_FACE)的数据，能够获取第2行的数据。通过反复以上的顺序，就能够从SDRAM17只获取必要的数据行的数据。从SDRAM17获取的数据行数据被存储到人眼位置检测处理用和人脸特征提取处理用的、各自的数据行缓冲器，并被分别输出到人眼位置检测部4和人脸特征提取部5。

人脸区域整体传输模式是指，获取人脸区域的图像整体，在人眼位置检测处理和人脸特征提取处理中共享获取数据的模式。因而人脸区域整体传输模式又可以称为共享获取模式。在人脸区域整体传输模式下，人脸图像获取部6从SDRAM17上获取人脸区域整体，并将人脸区域整体的数据暂时保存到数据行缓冲器。从SDRAM17传输的顺序可以参考单独传输模式。根据从人眼位置检测部4和人脸特征提取部5输出的人脸图像中的必要数据行信息，人脸图像获取部6相应地从保存在数据行缓冲器中的人脸区域整体的数据中，将必要的数据行数据输出到人眼位置检测部4和人脸特征提取部5。

此外，在进行多个人的人脸识别时，也可以使人眼位置检测部4和人脸特征提取部5在流水线(pipeline)动作下，并列地执行不同人的人脸处理。该情况下，人脸图像获取部6的数据行缓冲器被分为2个区域，在单独传输模式下，分别存储人眼位置检测部4和人脸特征提取部5各自的数据行数据。在人脸区域整体传输模式下，作为流水线缓冲器，一个区域存储人眼位置检测部4所处理的人脸的人脸区域整体的数据，另一个区域存储人脸特征提取部5所处理的人脸的人脸区域整体的数据。

图6及图7示出的是在2个传输模式下传输的数据的差异的示意图。这里，S_FACE表示人脸检测结果的人脸的大小，NS_EYE表示人眼位置检测的规范化后的大小，NS_EXT表示人脸特征提取的规范化后的大小。L_EYE表示人眼位置检测处理中的规范化处理所需的数据行数(双线性插值的情况为L_EYE＝NS_EYE×2)，以及L_EXT表示在特征提取处理中的规范化处理所需的数据行数。在单独传送模式下传输的数据流如图6所示。此时，在来自SDRAM17的数据传输量中，人眼位置检测处理所需的数据传输量用式3表示，人脸特征提取处理所需的数据传输量用式4表示。从而，总数据传输量用式5表示。在人脸区域整体传输模式下所传输的数据流如图7所示。来自SDRAM17的数据传输量与人脸区域整体的数据量相等，用式6表示。

[式3]

(人眼位置检测用的数据传输量)

＝S-FACE×L_EYE＝S_FACE×NS_EYE×(滤波器抽头(tap)数)

[式4]

(人脸特征提取用的数据传输量)

＝S_FACE×L_EXT＝S_FACE×NS_EXT×(滤波器抽头数)

[式5]

(人眼位置检测+人脸特征提取的数据传输量)

＝S_FACE×NS_EYE×2+S_FACE×NS_EXT×2

[式6]

(一张人脸的数据传输量)＝S_FACE×S_FACE

人眼位置检测部4的人眼位置检测处理部9从规范化图像缓冲器8中的规范化图像中检测脸部的眼睛位置，并根据所检测出的眼睛的位置信息，算出人脸的大小、人脸的位置以及人脸的角度等信息。脸部眼睛的位置检测通过采用模式匹配或神经网络来实现。此外，人眼位置检测处理部9所执行的人眼位置检测处理也可以通过现有技术中的其他任意技术来实现。

根据脸部眼睛的位置信息来计算各种信息，例如可以进行如下计算。人脸的位置可以根据两眼的位置算出，人脸的大小也可以根据两眼的位置信息，通过计算两眼之间的距离而得到。人脸的角度可以根据两眼的位置信息通过计算偏离水平位置的角度而得到。当然，这些方法仅仅是一例，也可以用其他方法来计算。

人脸特征提取部5的规范化处理部10进行与人眼位置检测处理的规范化相同的处理。不过缩小率不同。人脸的大小信息用的是由人眼位置检测部4所算出的信息，规范化后的尺寸为人脸特征提取处理所需的尺寸。需要根据这些信息来计算缩小率。

人脸特征提取部5的旋转处理部11通过仿射变换(affine transformation)，使人脸图像成为眼睛的位置排列在同一水平线上(即，人脸相对于垂线的倾斜角度等于0度)的主视图像。这是通过下述方式实现的：对规范化图像缓冲器12中的人脸图像，利用由人眼位置检测部4算出的人脸的角度信息，进行仿射变换，并回写到规范化图像缓冲器12。此外，人脸的朝向也可以通过仿射变换使之旋转。此外，人脸图像的旋转处理也可以通过仿射变换以外的方法来实现。

人脸特征提取部5的加博滤波处理部13对规范化人脸图像中的一个以上的特征点实施加博小波变换(Gabor wavelet transformation)。式7示出加博滤波的表达式。

[式7]

通过加博滤波，获取特征点周边的浓淡特征的周期性及方向性来作为特征量。特征点的位置可以是脸部的部位(眼、鼻、嘴等)周边，但只要该位置与进行对照的注册图像的特征量的位置一致，任何位置都可以。该特征点的数量也如此。

人脸对照部16将由人脸特征提取部5所提取的特征量与预先注册的特征量进行比较，由此来计算其类似度。当所算出的类似度为最高，且该类似度超过阈值时，识别为是所注册的人物并输出该识别结果。此外，人脸对照部16所进行的人脸对照处理也可以通过现有技术中的其他任意技术来实现。例如也可以不直接比较特征量，而经过特定的变换后再作比较。

图8示出人眼位置检测部4以及人脸特征提取部5的处理所需的总数据输出量的关系。如前所述，数据传输量通过式2、式3、式4及式5而算出。其中，输入图像中的人脸区域的大小(S_FACE)为变量。因此，若将数据传输量看作为人脸区域的大小的函数，则在单独传输模式下的总数据传输量是与人脸区域的大小成正比的一次函数，在人脸区域整体传输模式下的数据传输量通过与人脸区域的大小的二次方成正比的二次函数来表示。由此，通过根据人脸区域的大小来相应地对2个传输模式进行选择，能够减少人脸识别所需的数据传输量。

图9示出2个传输模式的选择方法的一例。参照图9，传输模式选择部19获取由人脸检测部2所检测出的人脸区域(S_FACE)的大小(步骤S30)。接着，传输模式选择部19将人脸区域的大小(S_FACE)与在人眼位置检测部4及人脸特征提取部5规范化后的大小之和(L_EYE+L_EXT)进行比较(步骤S31)。当人脸区域的大小(S FACE)小时，传输模式选择部19选择人脸区域整体传输模式(步骤S32)，而当人脸区域的大小(S_FACE)大时，传输模式选择部19选择单独传输模式(步骤S33)。

图10是通过功能块来表示上述人脸识别装置1的图。图10中，人脸识别装置1具备：人脸检测单元101、第1规范化单元102、部位检测单元103、第2规范化单元104、特征量提取单元105、人脸图像获取单元106以及人脸图像获取选择单元107。以下说明各个功能块的动作。

人脸检测单元101从拍摄了人脸的图像检测人脸。第1规范化单元102对含有由人脸检测单元101所检测出的人脸的人脸图像进行规范化处理，使之调整为某一定的尺寸。部位检测单元103用由第1规范化单元102规范化了的人脸图像，检测脸部的部位。第2规范化单元104对含有由人脸检测单元101所检测出的人脸的人脸图像进行规范化处理，使之调整为某一定的尺寸。特征量提取单元105用由第2规范化单元104规范化了的人脸图像，提取人脸的特征量。

人脸图像获取单元106根据单独地获取第1规范化单元102及第2规范化单元104所用的人脸图像的单独获取模式，或共享地获取第1规范化单元102及第2规范化单元104所用的人脸图像的共享获取模式，用由人脸检测单元101所检测出的人脸的位置信息及大小信息，相应地获取成为第1规范化处理单元102及第2规范化单元104的处理对象的人脸图像的图像数据。人脸图像获取选择单元107根据由人脸检测单元101所检测出的人脸的大小信息，以及部位检测单元103和特征量提取单元105的规范化单元的规范化尺寸，相应地选择并切换人脸图像获取单元106的获取模式。

(实施方式2)

上述人脸识别装置1所具备的各个结构，分别可以通过集成电路LSI来实现。可以将它们单独地做成单芯片，或做成包含一部分或全部的单芯片。本发明中称为LSI，但根据集成度的不同，也可以称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI。

此外，电路集成的方法不仅仅局限于LSI，也可以通过专用电路或通用处理器来实现。LSI制造后，也可以利用能够进行编程的现场可编程门阵列(Field Programmable Gate Array)，或LSI内部的电路元件的连接或设定能够重构的可重构处理器。此外，随着半导体技术的进步或派生出另外的技术，若出现了能够取代LSI的电路集成技术，理所当然，也可以应用该技术对功能块进行集成。也有可能应用生物技术。

图11A是示出本发明的第2实施方式中的半导体集成电路的一例的方框图。图11A中，半导体集成电路50一般由CMOS等MOS晶体管构成，通过MOS晶体管的连接结构来实现特定的逻辑电路。近年来，半导体集成电路的集成度不断发展，非常复杂的逻辑电路(例如，本发明的人脸识别装置1)能够通过一个甚至多个半导体集成电路来实现。

半导体集成电路50具备实施方式1中所说明的人脸识别装置1及处理器52。此外，半导体集成电路50所具备的人脸识别装置1经由内部总线69从图象存储器51获取输入图像。

半导体集成电路50除了人脸识别装置1及处理器52以外，根据需要还可以具备图像编码/解码电路56、声音处理部55、ROM54、照相机输入电路58、LCD输出电路57。

半导体集成电路50所具备的人脸识别装置1如实施方式1中所说明的，能够实现根据人脸区域的大小来相应地削减数据传输量的人脸识别处理。

此外，半导体集成电路50也可以通过处理器52来实现人脸识别装置1的部分功能。例如半导体集成电路50也可以具备如图11B所示的人脸识别装置1a。图11B中，人脸识别装置1a也可以不具备传输模式设定部18及传输模式选择部19，而通过处理器52来实现它们的功能。

此外，通过半导体集成电路50来实现人脸识别装置1，能够实现小型化，耗电低等。

(实施方式3)

用图12来说明实施方式3。图12是本发明的实施方式3的拍摄装置的方框图。图12中，拍摄装置80具备：实施方式2中记载的半导体集成电路50、镜头65、光圈64、CCD等传感器63、A/D转换电路62、角度传感器68、闪存61等。A/D转换电路62将传感器63的模拟输出变换为数字信号。角度传感器68检测拍摄装置80的拍摄角度。闪存61存储要识别的人脸的特征量(注册特征量)。

半导体集成电路50中，在实施方式2所记载功能块的基础上，还具备：控制镜头65的变焦控制部67，以及控制光圈64的曝光控制部66等。

利用通过半导体集成电路50的人脸识别装置1所识别的、已经注册到闪存61的人脸的位置信息，变焦控制部67能够进行聚焦控制，将焦点调到例如家庭成员等某个特定的人脸的位置，曝光控制部66能够进行曝光控制。尤其实现一种能够清楚地拍摄家庭成员的脸的拍摄装置80。

此外，上述人脸识别装置1所进行的各种处理顺序也可以通过以下方法来实现：将存储在存储装置(ROM、RAM、硬盘等)的可执行上述处理顺序的规定的程序数据，通过CPU来解读执行。该情况下，程序数据既可以经由存储介质导入存储装置内，也可以从存储介质上直接执行。此外，存储介质是指ROM、RAM或闪存等半导体存储器，软盘或硬盘等磁盘存储器，CD-ROM、DVD、BD等光盘存储器，以及存储卡等。此外，存储介质的概念包括电话线、传输路径等通信介质。

工业实用性

本发明所涉及的人脸识别装置能够实现削减人脸识别处理的数据传输量等功能，适用于数码相机中的人脸识别装置等。此外，也可以应用到数字电影以及监控照相机装置等。

附图标记说明

1人脸识别装置

2人脸检测部

3人脸识别部

4人眼位置检测部

5人脸特征提取部

6人脸图像获取部

7人眼位置检测部的规范化处理部

8人眼位置检测部的规范化图像缓冲器

9人眼位置检测部的人眼位置检测处理部

10人脸特征提取部的规范化处理部

11人脸特征提取部的旋转处理部

12人脸特征提取部的规范化图像缓冲器

13人脸特征提取部的加博滤波处理部

16人脸对照部

50半导体集成电路

51图像存储器

52处理器

53动作检测电路

54ROM

55声音处理部

56图像编码电路

57LCD输出电路

58照相机输入电路

59LCD

60照相机

61闪存

62A/D变换电路

63传感器

64光圈

65镜头

66曝光控制部

67变焦控制部

68角度传感器

69内部总线

101人脸检测单元

102第1规范化单元

103部位检测单元

104第2规范化单元

105特征量提取单元

106人脸图像获取单元

107人脸图像获取选择单元

80拍摄装置

Claims

1.一种人脸识别装置，其特征在于，具备：

人脸检测单元，从拍摄有人脸的图像中检测人脸；

第1规范化单元，对含有由所述人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；

部位检测单元，用由所述第1规范化单元规范化了的人脸图像，检测人脸的部位；

第2规范化单元，对含有由所述人脸检测单元所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；

特征量提取单元，用由所述第2规范化单元规范化了的人脸图像，提取人脸的特征量；

人脸图像获取单元，根据单独地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的单独获取模式，或共享地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的共享获取模式，用由所述人脸检测单元所检测出的人脸的位置信息及大小信息，相应地获取成为所述第1规范化单元及第2规范化单元的处理对象的人脸图像；以及，

人脸图像获取选择单元，根据由所述人脸检测单元所检测出的人脸的大小信息，以及所述部位检测单元及所述特征量提取单元中的规范化单元的规范化尺寸，相应地选择并切换所述人脸图像获取单元的所述获取模式；

当由所述人脸检测单元检测出的人脸的大小、比所述第1规范化单元的规范化尺寸与所述第2规范化单元的规范化尺寸之和大时，所述人脸图像获取选择单元将所述获取模式设定为所述单独获取模式，当由所述人脸检测单元检测出的人脸的大小、比所述第1规范化单元的规范化尺寸与所述第2规范化单元的规范化尺寸之和小时，所述人脸图像获取选择单元将所述获取模式设定为所述共享获取模式。

2.根据权利要求1所述的人脸识别装置，其特征在于：

所述人脸图像获取单元具备：

第1图像数据存储单元及第2图像数据存储单元，保存所述获取的图像数据；及

图像数据存储控制单元，控制从所述第1规范化单元及第2规范化单元到所述第1图像数据存储单元及第2图像数据存储单元的接入；

当所述获取模式是所述单独获取模式时，所述图像数据存储控制单元控制为：仅所述第1规范化单元接入所述第1图像数据存储单元，仅所述第2规范化单元接入所述第2图像数据存储单元；

当所述获取模式是所述共享获取模式时，所述图像数据存储控制单元控制为：所述第1规范化单元及所述第2规范化单元的任意一个都能够接入所述第1图像数据存储单元及第2图像数据存储单元。

3.根据权利要求1或2所述的人脸识别装置，其特征在于：

当由所述人脸检测单元所检测出的人脸的大小、比分别将所述第1规范化单元的规范化尺寸和所述第2规范化单元的规范化尺寸、与各自的调整处理的滤波器的抽头数相乘后的值之和大时，所述人脸图像获取选择单元将所述获取模式设定为所述单独获取模式；当由所述人脸检测单元所检测出的人脸的大小，比分别将所述第1规范化单元的规范化尺寸和所述第2规范化单元的规范化尺寸、与各自的调整处理的滤波器的抽头数相乘后的值之和小时，所述人脸图像获取选择单元将所述获取模式设定为所述共享获取模式。

4.一种人脸识别方法，其特征在于，包括下述步骤：

人脸检测步骤，从拍摄有人脸的图像中检测人脸；

第1规范化步骤，对含有由所述人脸检测步骤所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；

部位检测步骤，用由所述第1规范化步骤规范化了的人脸图像，检测人脸的部位；

第2规范化步骤，对含有由所述人脸检测步骤所检测出的人脸的人脸图像，进行调整到某一定尺寸的规范化处理；

特征量提取步骤，用由所述第2规范化处理步骤规范化了的人脸图像，提取人脸的特征量；

人脸图像获取步骤，根据单独地获取所述第1规范化单元及第2规范化步骤中使用的人脸图像的单独获取模式，或共享并获取所述第1规范化步骤及第2规范化步骤中使用的人脸图像的共享获取模式，用由所述人脸检测步骤所检测出的人脸的位置信息及大小信息，相应地获取成为所述第1规范化步骤及第2规范化步骤的处理对象的人脸图像；以及，

人脸图像获取选择步骤，根据由所述人脸检测步骤所检测出的人脸的大小信息，以及所述部位检测步骤及所述特征量提取步骤的规范化尺寸，相应地选择并切换所述获取模式，

当由所述人脸检测步骤检测出的人脸的大小、比所述第1规范化步骤的规范化尺寸与所述第2规范化步骤的规范化尺寸之和大时，所述人脸图像获取选择步骤设定为所述单独获取模式，当由所述人脸检测步骤检测出的人脸的大小、比所述第1规范化单元的规范化尺寸与所述第2规范化步骤的规范化尺寸之和小时，所述人脸图像获取选择步骤设定为所述共享获取模式。

5.一种具备人脸识别装置的半导体集成电路，其特征在于，该人脸识别装置具备：

人脸检测单元，从拍摄有人脸的图像中检测人脸；

特征量提取单元，利用由所述第2规范化处理单元规范化了的人脸图像，提取人脸的特征量；

人脸图像获取单元，根据单独地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的单独获取模式，或共享地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的共享获取模式，用由所述人脸检测单元所检测出的人脸的位置信息及大小信息，相应地获取成为所述第1规范化及第2规范化单元的处理对象的人脸图像；以及，

人脸图像获取选择单元，根据由所述人脸检测单元所检测出的人脸的大小信息，以及所述部位检测单元及所述特征量提取单元的规范化尺寸，相应地选择并切换所述人脸图像获取单元的所述获取模式；

6.根据权利要求5所述的半导体集成电路，其特征在于：

所述半导体集成电路还具备处理器，

所述处理器实现所述人脸图像获取选择单元。

7.一种拍摄装置，其特征在于，具备：

外部存储单元，保存拍摄了人脸的图像；

人脸检测单元，从所述外部存储单元获取拍摄了人脸的图像，并从该获取图像中检测人脸；

特征量提取单元，用由所述第2规范化处理单元规范化了的人脸图像，提取人脸的特征量；

人脸图像获取单元，根据单独地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的单独获取模式，或共享地获取所述第1规范化单元及第2规范化单元中使用的人脸图像的共享获取模式，用由所述人脸检测单元所检测出的人脸的位置信息及大小信息，相应地从所述外部存储单元获取成为所述第1规范化单元及第2规范化单元的处理对象的人脸图像；以及，

人脸图像获取选择单元，根据由所述人脸检测单元所检测出的人脸的大小信息，以及所述部位检测单元及所述特征量提取单元的规范化尺寸，相应地选择并切换所述人脸图像获取单元的所述获取模式，