CN102043956B - 特征点定位装置、其处理方法及图像识别装置 - Google Patents

Abstract

本发明提供一种特征点定位装置、其处理方法及图像识别装置。所述特征点定位装置针对图像数据中的预定图案定位多个特征点。所述装置根据操作模式选择性地执行决定所述特征点的候选位置的第一候选决定处理和以高于所述第一候选决定处理的处理速度决定所述特征点的候选位置的第二候选决定处理，并且当所述操作模式是以高于通常模式的速度执行操作的高速模式时，针对比所述通常模式中多的特征点执行所述第二候选决定处理；并且基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置。

Description

特征点定位装置、其处理方法及图像识别装置

技术领域

本发明涉及特征点定位装置、其处理方法以及图像识别装置。

背景技术

已知一种用于从图像数据中识别预定图案(pattern)(例如，面部识别)的技术。在这样的识别处理中，面部器官或者与之相关的特征部位(以下称之为特征点)的位置决定是重要的工作，并且经常限制识别性能。

特征点的高精度位置决定需要高处理负荷，并且经常限制总体识别处理所需的时间。日本专利特开2009-75999号公报(以下称为参考文献1)公开了一种在要从运动图像数据中识别个体时，利用之前帧的识别结果来减少要从待处理的帧中提取的特征点的数量的方法。即，一旦识别了目标人(追踪状态)，就减少下一帧中要提取的特征点的数量，以此来加速处理。另一方面，[Beumer，G.M.；Tao，Q.；Bazen，A.M.；Veldhuis，R.N.J.“A landmark paper in face recognition(面部识别方向的里程碑式的论文)”Automatic Face and Gesture Recognition，2006.FGR 2006.7th InternationalConference，pp.73-78(以下称为参考文献2)]公开了一种根据几何约束决定多个面部器官特征位置的方法。

由于参考文献1中公开的方法减少了特征点的数量，因此识别性能的降低相当严重。当减少特征点时，在要使用所减少后的特征点来执行的识别处理上增加了负荷。例如，在识别处理中，必须要准备多个识别处理方法和参数(用于识别的各种处理参数、登记数据等)，并且必须要从中选择任意方法和参数。因此，作为替换和选择参数的结果，处理时间和处理所需的存储资源增加。

利用参考文献2中公开的方法，使用子空间校正特征点的位置。但是，当目标特征点的数量改变时，必须要准备与特征点的数量相应的子空间。

发明内容

本发明提供一种即使以高速执行特征点定位时、也能够抑制精度降低的技术。

根据本发明的第一方面，提供了一种特征点定位装置，其针对图像数据中的预定图案定位多个特征点，该特征点定位装置包括：第一候选决定单元，其被配置为执行第一候选决定处理，以决定所述特征点的候选位置；第二候选决定单元，其被配置为执行处理速度高于所述第一候选决定处理的第二候选决定处理，以决定所述特征点的候选位置；控制单元，其被配置为控制所述第一候选决定单元和所述第二候选决定单元，以根据操作模式而针对各个特征点选择性地执行所述第一候选决定处理和所述第二候选决定处理；以及校正单元，其被配置为基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置，其中，当所述操作模式是以高于通常模式的速度执行操作的高速模式时，所述控制单元进行控制以针对比所述通常模式中多的特征点执行所述第二候选决定处理。

根据本发明的第二方面，提供了一种图像识别装置，其基于由上述特征点定位装置决定的所述多个特征点的位置，来识别所述图像数据中的所述预定图案。

根据本发明的第三方面，提供了一种特征点定位装置的处理方法，所述特征点定位装置针对图像数据中的预定图案定位多个特征点，所述处理方法包括以下步骤：根据操作模式选择性地执行第一候选决定处理和第二候选决定处理，其中，所述第一候选决定处理决定所述特征点的候选位置，所述第二候选决定处理以高于所述第一候选决定处理的处理速度决定所述特征点的候选位置，并且当所述操作模式是以高于通常模式的速度执行操作的高速模式时，针对比所述通常模式中多的特征点执行所述第二候选决定处理；以及基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置。

通过下面参照附图对示例性实施例的说明，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的实施例的图像识别装置的结构的示例的框图；

图2是示出用于提取面部图像的处理的示例的图；

图3是示出通过图1所示的CPU 17实现的功能结构的示例的框图；

图4是示出特征点的校正处理的示例的图；

图5是示出图1和图2所示的图像识别装置10的操作的示例的流程图；

图6是示出特征点的示例的图；

图7示出了操作信息表的示例；

图8是示出图5所示的步骤S108中的第一候选决定处理的概要的图；

图9是示出图5所示的步骤S112中的校正处理的概要的图；

图10A至图10C是示出根据第二实施例的特征点的示例的图；

图11示出了根据第二实施例的操作信息表的示例；

图12A至图12C是示出根据第三实施例的特征点的示例的图；

图13示出了根据第三实施例的操作信息表的示例；以及

图14是示出根据第三实施例的图像识别装置10的操作的示例的流程图。

具体实施方式

现在，参照附图详细说明本发明的示例性实施例。应当注意，除非另外特殊说明，否则，这些实施例中描述的部件的相对设置、数字表达和数值并不限制本发明的范围。

(第一实施例)

图1是示出应用了根据本发明的实施例的特征点定位装置的图像识别装置10的结构的示例的框图。

图像识别装置10包含一个或者多个计算机。图像识别装置10从图像数据中提取预定图案(在本实施例中是面部图像数据)。然后，图像识别装置10从提取的面部图像数据中决定多个特征点的位置，并基于决定的特征点的位置执行面部识别。

在这种情况下，图像识别装置10包括图像输入单元11、预处理单元12、提取处理单元13、桥14、DMA控制器15、CPU 17、ROM 18以及RAM 19。

图像输入单元11将图像数据输入到该装置。图像输入单元11例如通过用于控制光学系统设备、光电转换设备以及传感器的驱动电路、AD转换器、用于控制各种图像校正的信号处理电路、以及帧缓存器等实现。

预处理单元12对图像输入单元11输入的图像数据实施预处理。预处理包括，例如，颜色转换处理和对比校正处理。注意，实施预处理是为了有效地实现各种后续处理。预处理单元12可以通过硬件或者软件实现。

提取处理单元13对预处理单元12处理(校正)过的图像数据实施面部检测处理，并针对各检测出的面部通过将其正规化至预定尺寸来提取面部图像数据。注意，可以使用常规提出的各种面部检测方法。更具体地说，如图2所示，提取处理单元13从预处理单元12处理过的图像31中检测面部区域32，并通过将面部区域32正规化至预定尺寸来提取面部图像33。即，面部图像33具有独立于面部的恒定尺寸。在下面的描述中，特征点的位置将以其在面部33中的坐标来说明。这种情况下的坐标通过以面部图像33的左上端为原点的坐标系(x和y坐标)来表现。注意，经由DMA(Direct Memory Access，直接存储访问)控制器15将提取的图像存储在RAM(Random Access Memory，随机存取存储器)19中。

CPU(中央处理单元)17系统地控制图像识别装置10中的操作。CPU17例如针对存储在RAM 19中的面部图像33执行识别处理。

桥14设置在图像总线20和CPU总线16之间，并提供总线桥功能。ROM(Read Only Memory，只读存储器)18存储由CPU 17执行的控制程序。RAM 19用作CPU 17的工作区域。RAM 19还存储指示作为识别目标登记的人的面部的信息(例如，指示特征的特征矢量)。注意，RAM19由例如，诸如DRAM(动态RAM)的相对大容量的存储器构成，并经由存储器控制器(未示出)连接到CPU总线16。图像总线20和CPU总线16上的设备同步操作。

图3是示出图1所示的CPU 17实现的功能结构的示例的框图。CPU17实现的各种处理功能主要在CPU 17执行存储在ROM 18中的控制程序时实现。

注意，CPU 17包括模式确定单元41、控制单元42、校正单元45和识别单元46作为功能部件。

模式确定单元41确定操作模式。根据第一实施例的操作模式包括通常模式和追踪模式(高速模式)。在通常模式中，通过与处理速度相比更强调识别精度来执行面部识别。在追踪模式中，尽管允许一定程度的精度降低，但是执行高速处理。基于在之前帧中是否识别了要识别的人(作为识别目标登记的人)来进行模式确定。更具体地说，模式确定单元41参照存储在RAM 19中的之前帧的识别结果确定操作模式。

控制单元42控制特征点的候选位置的决定处理的执行。控制单元42包括第一候选决定单元43和第二候选决定单元44。

第一候选决定单元43执行第一候选决定处理以决定特征点的候选位置。该处理使用，例如CNN(Convolutional Neural Networks，卷积神经网络)计算来以高精度决定特征点的候选位置。也就是说，第一候选决定单元43使用虽然需要长的处理时间但能够保证高精度的方法，来决定特征点的候选位置。

第二候选决定单元44执行第二候选决定处理以决定特征点的候选位置。该处理采用具有轻处理负荷的方法高速决定特征点的候选位置。该实施例将对预先计算特征点的平均位置、并将其用作特征点的候选位置的情况进行说明。特征点的平均位置可以使用例如几何校正处理(下面描述)中使用的平均矢量值。即，第二候选决定单元44根据通过学习(learning)预先计算的平均矢量，决定对应的特征点的坐标值的候选。

校正单元45对第一候选决定单元43和第二候选决定单元44决定的特征点的候选位置实施校正处理。例如，如图4所示，假设决定了特征点的候选位置。在这种情况下，特征点402a指示眼角，但是它布置在眉毛一端的位置。校正单元45将特征点402a校正到特征点402b的位置。注意，下文将说明该校正处理的细节，且校正单元45基于人的面部特征的布置关系，通过统计处理校正位置。

识别单元46基于校正过的特征点的位置执行识别处理(在该实施例中是面部识别)。注意，识别处理的方法并不特别限定，因为各种常规提出的方法可以用作识别处理。例如，参照决定的特征点的位置提取多个局部区域，并且通过例如正交变换执行局部区域的维度缩减。然后，将经过尺寸缩减的数据用作特征矢量。同样，通过与计算出的登记的人的特征矢量的相关计算来计算与登记的人的相似度。注意，登记的人的特征矢量在识别之前存储在例如RAM 19中。参照特征矢量的位置计算多个特征矢量。例如，基于包括眼睛、鼻子和嘴的多个局部区域计算特征矢量。然后，结合多个计算出的特征矢量的校正值来计算最终相似度。在计算出最终相似度后，进行阈值处理，并且基于处理结果确定是否要识别该登记的人。以此方式，可以实现识别处理。

上面说明了CPU 17实现的功能结构的示例。注意，上述结构并不总是由CPU 17实现。例如，可以在硬件中实现部分或者全部部件。

以下将参照图5说明图1和图2中示出的图像识别装置10的操作的示例。在该示例中，将说明当执行特征点位置决定处理和面部识别处理时的操作。注意，该处理主要由CPU 17执行。

当该处理开始时，图像识别装置10使用模式确定单元41确定操作模式(S101)。如上所述，确定操作模式是通常模式还是追踪模式。

在模式确定之后，图像识别装置10基于模式确定结果使用控制单元42获取操作信息。更具体地说，如果操作模式是通常模式(S102：是)，则控制单元42获取通常模式中的操作信息(通常模式表)(S103)。另一方面，如果操作模式是追踪模式(S102：否)，则控制单元42获取追踪模式中的操作信息(追踪模式表)(S104)。也就是说，控制单元42根据操作模式获取不同的操作信息。图6示出了面部器官和与这些面部器官相关的特征点的位置的示例。执行特征点位置决定处理以确定图6所示的特征点401至415(在该示例中有15个特征点)的位置。图7所示的操作信息表(包括通常模式表和追踪模式表)针对各特征点，规定使用第一候选决定处理和第二候选决定处理中的哪个来决定特征点的候选位置。图7所示的操作信息表中规定的“1”表示将要执行由第一候选决定单元43进行的第一候选决定处理，“2”表示将要执行由第二候选决定单元44进行的第二候选决定处理。

在获取操作信息之后，图像识别装置10使用控制单元42指定作为位置决定目标的特征点(S105)。也就是说，控制单元42指定特征点401至415中至少一个作为位置决定目标。基于例如预先设置的信息进行该指定。

接下来，图像识别装置10决定各个特征点的候选位置。注意，该处理以步骤S105中的处理中决定的特征点为目标。如上所述，使用第一候选决定单元43和第二候选决定单元44中的一者决定各个特征点的候选位置。使用第一候选决定单元43和第二候选决定单元44中的哪个，遵循操作信息表中规定的操作信息。当决定了各个特征点的候选位置时，基于步骤S103或S104中获取的操作信息决定当决定第n个特征点的候选位置时要执行的处理(S106)。然后，根据该决定结果，执行第一候选决定处理(S107中的“是”之后的S108)或者第二候选决定处理(S107中的“否”之后的S109)。也就是说，根据操作模式使用不同的方法针对各个特征点决定候选位置。例如，参照图7所示的表，在通常模式中，针对所有的特征点执行由第一候选决定单元43进行的第一候选决定处理。在追踪模式中，针对各个特征点执行不同的处理。例如，针对特征点401和402执行第一候选决定处理，针对特征点403和404执行第二候选决定处理。以此方式，在通常模式中，以高精度决定所有特征点的候选位置。另一方面，在追踪模式中，通过第一候选决定处理(例如使用CNN计算)以高精度决定特征点401，402，405，406，412和415的候选位置，通过第二候选决定处理(例如使用平均矢量)以高速决定剩余的特征点的候选位置。也就是说，在追踪模式中，仅仅后续处理中的一些具有高度重要性的特征点的候选位置以高精度计算。注意，考虑到处理速度和性能，预先决定图7所示的操作信息表中规定的信息。

之后，图像识别装置10使用控制单元42确定是否针对作为位置决定目标的所有特征点执行了上述步骤S106至S109中的处理。如果仍然存在要决定候选位置的特征点(步骤S110：否)，则控制单元42针对下一个特征点(n＝n+1)执行同样的处理(S111)。另一方面，如果处理了作为目标的所有特征点(S110：是)，则图像识别装置10使用控制单元42将所决定的特征点的候选位置存储在RAM 19中。

接下来，图像识别装置10使用校正单元45对由前述处理获得的特征点的候选位置(在本实施例中有15个候选位置)实施几何校正处理。这样，决定特征点的最终位置(S112)。

在决定了特征点的最终位置之后，图像识别装置10使用识别单元46，基于特征点的最终位置(特征点的校正位置)实施面部识别处理(S113)，并将结果存储在例如RAM 19中(S114)。之后，图像识别装置10针对下一帧执行前述处理。注意，不论操作模式如何，在步骤S113中的识别处理中使用的局部区域的数量和类型都相同。即，在本实施例中，不论操作模式如何都执行相同的识别处理。

下面，将参照图8说明图5所示的步骤S108中的第一候选决定处理。根据本实施例的第一候选决定处理使用CNN计算。为了便于理解，下面将举例说明要决定两个特征点的候选位置的情况。

CNN计算包括分级特征提取处理。图8示出了两层CNN计算的示例，第一层506的特征的数量是3，第二层510的特征的数量是2。附图标记501表示面部图像数据，其与使用图2描述的面部图像33对应。

附图标记503a至503c表示第一层506的特征面。特征面是存储通过特征提取滤波器(卷积计算的累积和处理和非线性处理)对前一层数据进行扫描和计算而获得的结果的图像数据面。特征面是对光栅扫描的图像数据的检测结果。因此，该检测结果用面表示。

参照面部图像数据501使用不同的特征提取滤波器来计算特征面503a至503c。分别通过二维卷积滤波器504a至504c的计算以及该计算结果的非线性转换而生成特征面503a至503c。注意，附图标记502表示卷积计算所需的参照图像区域。例如，具有滤波尺寸＝11×11(水平长度×垂直高度)的卷积滤波器计算使用以下给出的积和计算：

$\mathrm{output}(x,y)=\underset{\mathrm{row}-\mathrm{RowSize}/2}{\overset{\mathrm{rowSize}/2}{\mathrm{\Σ}}}\underset{\mathrm{column}=-\mathrm{columnSize}/2}{\overset{\mathrm{columnSize}/2}{\mathrm{\Σ}}}\mathrm{input}(x+\mathrm{column},y+\mathrm{row})\×\mathrm{weight}(\mathrm{column},\mathrm{row})---\left(1\right)$

其中，input(x，y)：坐标(x，y)处的参照像素值，

output(x，y)：坐标(x，y)处的计算结果，

weight(column，row)：坐标(x+column，y+row)处的权重系数，并且

columnSize＝11，rowSize＝11：滤波器尺寸(滤波器抽头(tap)数量)。

附图标记504a至504c表示具有不同系数的卷积滤波器。通过学习预先决定卷积滤波器的系数。注意，卷积滤波器也根据特征面而具有不同的尺寸。在CNN计算中，当针对各个像素扫描多个滤波器时重复进行积和计算，并且将最终积和结果进行非线性转换。这样，生成特征面。非线性转换可以使用例如sigmoid函数。例如，在特征面503a的计算的情况下，由于与前一层的耦合的数量为1，因此使用一个卷积滤波器504a。

另一方面，在特征面507a和507b中的各个的计算的情况下，由于与前一层的耦合的数量是3，因此，将3个卷积滤波器508a至508c或508d至508e的计算结果累加。也就是说，通过累加所有来自卷积滤波器508a至508c的输出，并且对该累积和进行非线性转换，来获得特征面507a中的一个特征值。

附图标记505a至505c表示卷积计算508所需要的参照图像区域。一般来说，CNN计算方法作为一种有力的特征提取方法为人所知，但是，如上所述，其需要大量的积和计算并具有高处理负荷。

第一候选决定处理计算作为CNN计算结果的特征面507a和507b的重心，作为特征点的位置的候选坐标。注意，实际处理可以考虑图像中特征点的存在可能性而针对所限定的区域执行计算。附图标记509a和509b表示要实际计算的2层的特征面的区域。这样，针对所限定的区域进行运算，将计算结果的重心决定为特征点的位置的候选(坐标)。

以上说明了第一候选决定处理。在本示例中，说明了提取2个特征点的情况，但是本发明并不限于此。在本实施例中，配置了能够决定15个特征点的候选位置的网络。这种情况下，第2层的特征的数量为15。根据步骤S105和S106中的处理的结果，仅提取所需的第2层的特征面来决定特征点的候选位置。

接下来，参照图9说明图5所示的步骤S112中的校正处理。

当校正处理开始时，校正单元45简单联结各个特征点的候选位置的坐标。这样，生成1个矢量数据(S201)。在本实施例中，由15个特征点的候选位置的坐标生成30维的特征点矢量V。生成简单联结各个特征点的位置坐标数据(x_i，y_i)[i：特征点的编号1至15]所获得的数据列，作为特征点矢量V(元素v_j：j＝1至30)。特征点的编号1至15与图6所示的特征点401至415对应。因此，特征点矢量的元素v₁和v₂分别与特征点401的x坐标值和y坐标值对应。特征点矢量V由下式定义：

V＝(v₁，v₂，v₃，…，v_2×f)^T                    (2)

其中T：转置，并且

f：特征点的数量。

接下来，校正单元45执行平均矢量减法(S202)和投影计算(S203)。这些计算处理使用平均矢量A和投影矩阵E以计算投影矢量P。使用从特征点矢量V中减去平均矢量A得到的矢量和投影矩阵E，通过下式来计算投影矢量P：

P＝E^T(V-A)                        (3)

注意，使用针对大量面部图像的特征点矢量(学习特征矢量)，通过主成分分析来预先计算投影矩阵E和平均矢量A。因此，这里投影矩阵E由本征矢量(eigenvector)构成。同样，各学习特征矢量由联结面部图像的特征点的正确的位置坐标而生成的矢量构成。

A＝(a₁，a₂，a₃，…，a_2×f)^T                (4)

E＝(u₁，u₂，…，u_p)                        (5)

其中，u₁，u₂，...，u_p分别为利用主成分分析得到的(2×f)维正交矢量(本征矢量)。在本实施例中，使用30维矢量。同样，p表示投影矢量的维度(本实施例中是8)。也就是说，在利用主成分分析得到的正交矢量中，通过选择具有大的对应本征值的8个矢量得到的矩阵是投影矩阵E。注意，预先计算投影矩阵E和平均矢量A，并且将其存储在例如ROM 18或RAM 19中。在步骤S202和S203的处理中，方程(3)给出的计算使(2×f)维特征点矢量维度缩减成为p维投影矢量。也就是说，(2×f)维特征点矢量被投影到预定维度(即p维)的子空间。

之后，校正单元45从投影矢量P恢复原来的特征点矢量(即坐标位置)(S204，S205)。恢复的矢量V′按照下式来计算：

V′＝EP+A                                (6)

即，将平均矢量A加到上述投影矩阵E中。

接下来，校正单元45执行特征点坐标输出处理(S206)以从逆投影的恢复矢量V′提取校正后的坐标数据。这样，联结所有的特征点的位置数据以获得矢量，该矢量经受了维度缩减然后被投影到子空间。之后，逆投影该矢量。这样，可以校正统计的异常值(参见参考文献2)。也就是说，可以校正投影的子空间不能表达的异常值(检测错误)。这样，可以根据各特征点的布局关系校正几何学的布局关系。因此，可以校正使用图4描述的检测错误。

注意，如上所述，根据本实施例的第二候选决定处理，指定与特征点对应的平均矢量A的元素作为特征点的候选位置。例如，在利用第二候选决定处理处理特征点403的情况下，将平均矢量A的元素(a₅，a₆)指定作为候选的坐标。步骤S202的处理假设与(具有平均矢量元素作为候选的)特征点对应的特征矢量的元素是“0”。因此，可以省略用于关于这些元素的投影的计算(S203)。

即，由于可以减少步骤S203中的投影计算的乘法计算的次数，因此可以进一步使处理加速。注意，在图5所示的步骤S109中的第2候选决定处理中，可以使用将与本征矢量E对应的元素(对应于目标的特征点位置的元素)设定为“0”来替换上述处理，而不选择平均矢量A的元素。

如上所述，根据第一实施例，使用针对各操作模式和特征点具有不同的处理速度的第一候选决定处理和第二候选决定处理中的一个，决定各个特征点的候选位置。这样，独立于操作模式，使用公用的方法对候选位置实施几何校正处理。这样，例如，在设定追踪模式并且必须以高速执行特征点定位的情况下，能够抑制所决定的特征点的位置精度降低。

由于特征点的数量不会因操作模式而增加/减少，因此不需要根据操作模式切换识别处理。这样，由于可以避免在操作模式的改变时替换识别处理参数和登记的矢量数据的需要，可以减少存储资源。

(第二实施例)

下面说明第二实施例。第一实施例说明了可用追踪模式和通常模式作为操作模式的情况。第二实施例将说明提供了其他操作模式的情况。注意，根据第二实施例的图像识别装置10中的功能结构与图1中所示的相同，因此不再重复其说明。在本实施例中，将说明与第一实施例中的操作的不同点。

在第二实施例中，设置了三种操作模式，即面部识别模式、闭眼识别模式、笑脸识别模式。在闭眼识别模式中，检测受试者眼睛是睁开还是闭着的。在笑脸识别模式中识别面部表情。图10A示出了面部识别模式中的特征点的示例，图10B示出了闭眼识别模式中的特征点的示例，图10C示出了笑脸识别模式中的特征点的示例。当设定了这些模式中的一个时，由特征点的位置和基于这些位置周围的亮度值的特征量，标识并识别面部、闭眼、笑脸等。

这里，作为与第一实施例的不同的操作，在图5所示的步骤S101中，确定上述三种操作模式。操作模式可以基于例如，用户经由预定的用户接口的指定来确定。

在图5所示的步骤S103和S104中，根据操作模式获取图11所示的操作信息表。注意，在第一实施例中，图11所示的操作信息表中规定的“1”表示执行由第一候选决定单元43进行的第一候选决定处理。“2”表示执行由第二候选决定单元44进行的第二候选决定处理。同样，“1′”表示执行比由第一候选决定单元43进行的第一候选决定处理更高精度地决定特征点的候选位置的处理。该处理可以利用任意方法执行。例如，将CNN计算范围设置得比第一候选决定处理时更广。注意，该处理可以由第一候选决定单元43执行，或者通过设置其他新的结构(第三候选决定处理)来执行。

在图5所示的步骤S105中，根据获取的操作信息决定当决定特征点的候选位置时要执行的处理。更具体地说，在面部识别模式中，由第一候选决定处理“1”以高精度处理图10A所示的所有特征点。在闭眼识别模式中，由第三候选决定处理“1’”以最高精度处理图10B中的与眼睛相关的特征点，由第二候选决定处理以高速处理其他的特征点。在笑脸识别模式中，由第三候选决定处理“1’”以最高精度处理图10C所示的与眼睛和嘴相关的特征点，由第二候选决定处理以高速处理其他的特征点。在图5所示的步骤S113中，根据操作模式，执行作为面部识别、闭眼识别、笑脸识别之一的识别处理。

如上所述，根据第二实施例，根据操作模式，精度最高的处理分配给重要的特征点的候选位置的决定，高速处理分配给其他的特征点的候选位置的决定。这样，可以在不增加总的处理时间的同时保持给定的精度。也就是说，通过针对各个特征点选择性地执行候选位置决定处理，可以容易地实现根据操作模式的处理时间和处理精度的权衡。如同在第一实施例中一样，独立于操作模式，可以使用公用的几何校正处理校正特征点的检测错误。

(第三实施例)

下面将说明第三实施例。第三实施例将说明根据预定的图案(面部)的状态(方向)选择性地执行候选决定处理的情况。注意，根据第三实施例的图像识别装置10的功能结构与图1中所示的相同，不再重复对其说明。在本实施例中，将说明与第一实施例的操作的不同点。

图12A至12C示出了在追踪模式中需要高精度决定特征点的候选位置的特征点的示例。图12A示出了人(面部)面向前方时的特征点的示例。图12B示出了当人面向右面时的特征点的示例。图12C示出了人面向左面时的特征点的示例。在第三实施例中，即使当面部的方向改变时，也以高精度确定可以清楚观察的区域的特征。图13示出了该情况下的操作信息表。

下面将参照图14说明与第一实施例中的操作的不同点。注意，图14中相同的步骤编号表示与图5中用于说明第一实施例的步骤编号相同的处理。

在第三实施例中，新增加了用于确定面部方向的处理(S301至S304)。因此，控制单元42包括确定面部的方向的状态确定单元(未示出)。注意，各种常规提出的方法可以用于面部方向确定，且该方法并不特别限定。结果，如果操作模式是追踪模式(S102：否)，则确定面部的方向。如果方向是向前的方向(S301中为“前”)，则获取追踪模式表(前)(S302)。如果方向是向左方向(S301中为“左”)，则获取追踪模式表(左)(S303)。如果方向是向右方向(S301中为“右”)，则获取追踪模式表(右)(S304)。这样，在步骤S105中，除了第一实施例以外，在追踪模式中还根据面部的方向获取不同的操作信息。

如上所述，根据第三实施例，在追踪模式中，还根据面部的方向选择性地执行特征点候选位置决定处理。更具体地说，针对可能以高精度决定候选位置的特征点执行高精度处理，针对其他的特征点执行高速处理。这样，即使当可能以高精度决定其候选的特征点的数量很小时，也能够抑制性能下降。另外，由于执行高精度处理以决定可能以高精度决定其候选的特征点的位置，因此能够提高识别处理性能。

以上说明了本发明的代表性实施例。然而，本发明并不限于上述以及图示的实施例，并且可以在不偏离本发明的范围的情况下进行适当的变更。

例如，上述的第一实施例至第三实施例举例说明了根据之前帧的识别结果确定操作模式(通常模式/追踪模式)的情况。但是，本发明并不限于此。例如，可以根据目标图像31中面部的数量来确定模式，或者可以根据用户经由用户接口的输入操作来确定模式。注意，当根据用户经由用户接口的输入操作来确定模式时，操作模式可以基于输入信息确定。

上述的第一实施例至第三实施例举例说明了使用平均矢量作为第二候选决定处理的示例。但是，本发明并不限于此。第二候选决定处理可以是满足处理速度高于、或者处理负荷轻于(即较小的计算量)第一候选决定处理中的至少一个的方法。例如，作为候选的特征点可以通过简单模板匹配来决定。这种情况下，可以通过学习来生成对应于要提取的特征点的位置的多个模板。这样，当执行第二候选决定处理时，在扫描要提取的特征点周围的模板的同时计算校正值，并且将提取对应于最大校正值的位置作为该特征点的候选位置。这样，可以进一步降低高速模式(例如，追踪模式)中的性能降低，并且也可以缩短处理时间。

上述的第一实施例至第三实施例举例说明了使用不同的方法执行第一候选决定处理和第二候选决定处理的情况。但是，本发明并不限于此。例如，第一候选决定处理和第二候选决定处理都可以通过CNN计算决定特征点的候选位置。在这种情况下，可以设置不同的CNN计算范围(特征点的候选位置的搜索范围)，以调整第一候选决定处理和第二候选决定处理中的处理速度。更具体地说，在第二候选决定处理中的CNN计算中，计算目标区域509a和509b被限定在比第一候选决定处理中的CNN计算更窄的范围(见图8)。这样，可以降低第二候选决定处理中的处理负荷，进而使处理加速。

上述第一实施例至第三实施例举例说明了从面部图像中识别特定人(或者识别人的状态)的情况。但是，本发明并不限于此，例如，可以基于特征点的布局识别或者检测预定对象。另外，举例说明了图像识别装置。但是，本发明并不限于此。例如，可以提供使用决定的特征点的坐标校正或者变更图像的图像处理装置。

上述第一实施例至第三实施例中说明的操作信息表规定的内容仅仅用于示例性目的，并且可以考虑处理速度和性能而对其进行适当地改变。例如，在第二实施例中，设置了指示要执行具有比第一候选决定处理更高的精度的第三候选决定处理的操作信息。然而，不需要总是执行第三候选决定处理，并且，例如，可以执行第一候选决定处理。

上述第三实施例举例说明了根据面部的方向切换特征点候选位置决定处理时的操作信息的情况。但是，本发明并不限于此。例如，可以准备对应于其他条件的操作信息表。例如，可以确定作为图像(预定图案)的状态的照度条件。

本发明可以采用以下形式的实施例，例如，系统，装置，方法，程序或者存储介质。更具体地说，本发明可以应用于包括多个设备的系统或者包括单一设备的装置。

(其他实施例)

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。所附权利要求的范围应当被给予最宽的解释，以涵盖所有的这类变型例及等同结构和功能。

Claims (9)

1.一种特征点定位装置，其针对图像数据中的预定图案定位多个特征点，该特征点定位装置包括：

第一候选决定单元，其被配置为执行第一候选决定处理，以决定所述特征点的候选位置；

第二候选决定单元，其被配置为执行处理速度高于所述第一候选决定处理的第二候选决定处理，以决定所述特征点的候选位置；

模式确定单元，其被配置为确定从包括通常模式和以高于所述通常模式的速度执行操作的高速模式的多个操作模式中选择的操作模式；

控制单元，其被配置为根据所述模式确定单元确定的所述操作模式而针对多个特征点的各个分别选择所述第一候选决定处理和所述第二候选决定处理中的一者，并进行控制以执行所选择的所述第一候选决定处理和所述第二候选决定处理中的一者；以及

校正单元，其被配置为基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置，

其中，在所述高速模式下，所述控制单元进行控制以针对比所述通常模式中多的特征点选择所述第二候选决定处理并进行控制以执行所述第二候选决定处理，并且

其中，所述第一候选决定单元和所述第二候选决定单元被包括在所述控制单元中。

2.根据权利要求1所述的特征点定位装置，其中，所述第二候选决定处理需要比所述第一候选决定处理小的计算量。

3.根据权利要求1所述的特征点定位装置，其中，在所述第一候选决定处理和所述第二候选决定处理中，通过搜索所述图像数据中的范围来决定所述特征点的所述候选位置，并且所述第二候选决定处理进行搜索的范围窄于所述第一候选决定处理进行搜索的范围。

4.根据权利要求1所述的特征点定位装置，其中，所述校正单元包括：

生成单元，其被配置为通过联结所述多个特征点的所述候选位置的坐标数据来生成矢量数据；

减法器，其被配置为从所述生成单元生成的所述矢量数据中减去预先计算出的平均矢量；

投影单元，其被配置为使用预先计算出的本征矢量，将所述减法器减过的所述矢量数据投影到具有与所述本征矢量相同维度的子空间上；

逆投影单元，其被配置为使用所述本征矢量，对所述投影单元投影了的所述矢量数据进行逆投影；以及

加法器，其被配置为将所述平均矢量加到由所述逆投影单元进行了逆投影的所述矢量数据中，并将结果作为所述特征点的校正位置输出。

5.根据权利要求4所述的特征点定位装置，其中，通过使用根据所述操作模式所需的所有特征点的位置坐标数据进行学习，来生成所述平均矢量和所述本征矢量。

6.根据权利要求4所述的特征点定位装置，其中，所述第二候选决定单元将与所述平均矢量对应的元素决定为所述特征点的所述候选位置。

7.根据权利要求1所述的特征点定位装置，其中，所述特征点定位装置还包括状态确定单元，所述状态确定单元被配置为确定所述图像数据中的所述预定图案的状态，并且，

所述模式确定单元根据所述状态确定单元的确定结果确定操作模式。

8.一种图像识别装置，其特征在于，该图像识别装置包括根据权利要求1所述的特征点定位装置，并且该图像识别装置基于所述特征点定位装置决定的所述多个特征点的位置，来识别所述图像数据中的所述预定图案。

9.一种特征点定位装置的处理方法，所述特征点定位装置针对图像数据中的预定图案定位多个特征点，所述处理方法包括以下步骤：

确定从包括通常模式和以高于所述通常模式的速度执行操作的高速模式的多个操作模式中选择的操作模式；

根据所确定的操作模式而针对多个特征点的各个分别选择第一候选决定处理和第二候选决定处理中的一者，并进行控制以执行所选择的所述第一候选决定处理和所述第二候选决定处理中的一者，其中，所述第一候选决定处理决定所述特征点的候选位置，所述第二候选决定处理以高于所述第一候选决定处理的处理速度决定所述特征点的候选位置，并且在所述高速模式下，进行控制以针对比所述通常模式中多的特征点选择所述第二候选决定处理并进行控制以执行所述第二候选决定处理；以及

基于所述多个特征点之间的布局关系，来校正通过所述第一候选决定处理和所述第二候选决定处理获得的所述多个特征点的所述候选位置。