CN102362291B - 脸部特征点检测装置及方法 - Google Patents

Abstract

即使在内眼角及外眼角部分由于噪声而未被显现的情况下，也高精度地检测内眼角位置及外眼角位置作为脸部特征点。将通过根据图像检测出的表示内眼角的第一位置的固定的控制点P3、表示外眼角的第一位置的固定的控制点P4、与上眼睑位置候补相对应的控制点P1(第一参数)及与下眼睑位置候补相对应的控制点P2(第二参数)来表示的贝赛尔曲线作为第一眼睑形状模型，并在固定了第一眼睑形状模型与图像包含的眼睑形状之间的拟合评价值λ最大时的P1及P2的第二眼睑形状模型中，将变更表示内眼角位置候补的控制点P3(第三参数)及表示外眼角位置候补的控制点P4(第四参数)时的拟合评价值λ最大时的P3及P4决定为内眼角的第二位置及外眼角的第二位置。

Description

脸部特征点检测装置及方法

技术领域

本发明涉及脸部特征点检测装置及程序，特别涉及检测内眼角位置及外眼角位置作为眼部特征点的脸部特征点检测装置及程序。 

背景技术

以往，提出了如下的脸部特征点检测方法，即，检测出包括在检测对象的图像中的脸部，利用该脸部的检测信息来检测构成脸部的眼部，并利用该眼部的检测信息来检测眼部的内眼角及外眼角，其中，使用学习识别器来检测内眼角及外眼角，该学习识别器是利用多幅样本图像预先生成的（例如，参照专利文献1）。 

另外，提出了以下特征点检测装置，即，利用角点检测（corner detection）法检测上眼睑边缘与下眼睑边缘的交点作为内外眼角候补点，然后剪切出所检测的候补点的周边图案，计算与预先登记的外眼角及内眼角的模板（template）之间的类似度，并将类似度高的外眼角候补及内眼角候补检测为外眼角及内眼角（例如，参照专利文献2）。 

专利文献1：日本特开2007-213377号公报 

专利文献2：日本特开2007-94906号公报 

发明内容

发明所要解决的问题 

但是，在上述专利文献1记载的技术中，虽然通过学习识别器能够判别要检测的区域似乎为外眼角或内眼角的部位，但是存在作为脸部特征点的外眼角位置及内眼角位置的检测精度不高的问题。另外，还存在以下问题：为了提高检测精度，需要事先生成并存储高精细的学习识别器，从而计算时间及所需存储量将增大。 

另外，在上述专利文献2记载的技术中，由于针对通过角点检测法检测到的候补点的周边的微小范围来计算与模板的类似度，因此存在以下问题： 在外眼角及内眼角部分因眼镜的映入等噪声而未被显现的情况下，检测外眼角位置及内眼角位置变得困难。 

本发明是为了解决上述问题而做出的，目的在于提供一种脸部特征点检测装置及程序，即使在内眼角及外眼角部分因眼镜的映入等噪声而未被显现的情况下，也能够高精度地检测内眼角位置及外眼角位置作为脸部特征点。 

用于解决问题的手段 

为了实现上述目的，本发明的脸部特征点检测装置具有：取得单元，其取得包括眼部区域的图像的图像数据，该眼部区域具有内眼角及外眼角；位置检测单元，其根据所述取得单元所取得的图像数据，通过图案匹配(pattern matching)来检测内眼角的第一位置及外眼角的第一位置；第一运算单元，其每变更第一参数及第二参数时都运算第一似然度(likelihood)，该第一似然度表示在变更了所述第一参数及所述第二参数时的第一眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第一眼睑形状模型是指，通过将所述位置检测单元检测出的内眼角的第一位置及外眼角的第一位置作为端点的上侧的曲线及下侧的曲线来示出，并将在所述上侧的曲线上所决定的上眼睑位置作为所述第一参数，将在所述下侧的曲线上所决定的下眼睑位置作为所述第二参数的眼睑形状模型；第二运算单元，其每变更第三参数及第四参数时都运算第二似然度，其中，该第二似然度表示在变更了所述第三参数及所述第四参数时的第二眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第二眼睑形状模型是所述第一运算单元运算出的第一似然度最大的所述第一眼睑形状模型，该第二眼睑形状模型将内眼角位置作为所述第三参数，将外眼角位置作为所述第四参数；以及位置决定单元，其将所述第二运算单元运算出的第二似然度最大的所述第二眼睑形状模型上的以第三参数表示的位置决定为内眼角的第二位置，将所述第二运算单元运算出的第二似然度最大的所述第二眼睑形状模型上的以第四参数表示的位置决定为外眼角的第二位置。 

另外，本发明的脸部特征点检测程序用于使计算机发挥以下单元的功能：取得单元，其取得包括眼部区域的图像的图像数据，该眼部区域具有内眼角及外眼角；位置检测单元，其根据所述取得单元所取得的图像数据，通过图案匹配来检测内眼角的第一位置及外眼角的第一位置；第一运算单元， 其每变更第一参数及第二参数时都运算第一似然度，该第一似然度表示在变更了所述第一参数及所述第二参数时的第一眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第一眼睑形状模型是指，通过将所述位置检测单元检测出的内眼角的第一位置及外眼角的第一位置作为端点的上侧的曲线及下侧的曲线来示出，并且将在所述上侧的曲线上所决定的上眼睑位置作为所述第一参数，将在所述下侧的曲线上所决定的下眼睑位置作为所述第二参数的眼睑形状模型；第二运算单元，其每变更第三参数及第四参数时都运算第二似然度，其中，该第二似然度表示在变更了所述第三参数及所述第四参数时的第二眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第二眼睑形状模型是所述第一运算单元运算出的第一似然度最大的所述第一眼睑形状模型，该第二眼睑形状模型将内眼角位置作为所述第三参数，将外眼角位置作为所述第四参数；以及位置决定单元，其将所述第二运算单元运算出的第二似然度最大的所述第二眼睑形状模型的上的以第三参数表示的位置决定为内眼角的第二位置，将所述第二运算单元运算出的第二似然度最大的所述第二眼睑形状模型上的以第四参数表示的位置决定为外眼角的第二位置。 

根据本发明的脸部特征点检测装置及程序，取得单元取得包括眼部区域的图像的图像数据，该眼部区域具有内眼角及外眼角，位置检测单元根据取得单元所取得的图像数据，通过图案匹配来检测内眼角的第一位置及外眼角的第一位置。这里，当在内眼角及外眼角附近存在噪声等的情况下，有时不能高精度地检测内眼角的第一位置及外眼角的第一位置。因此，第一运算单元每变更第一参数及第二参数时都运算第一似然度，其中，该第一似然度表示在变更了第一参数及第二参数时的第一眼睑形状模型与图像所包含的眼睑的形状相一致的程度，该第一眼睑形状模型是指，通过将位置检测单元检测出的内眼角的第一位置及外眼角的第一位置作为端点的上侧的曲线及下侧的曲线来示出，并且将在上侧的曲线上所决定的上眼睑位置作为第一参数，将在下侧的曲线上所决定的下眼睑位置作为第二参数的眼睑形状模型似然度；第二运算单元每变更第三参数及第四参数时都运算第二似然度，其中，该第二似然度表示在变更了第三参数及第四参数时的第二眼睑形状模型与图像所包含的眼睑的形状相一致的程度，该第二眼睑形状模型是第一运算单 元所运算出的第一似然度最大的第一眼睑形状模型，该第二眼睑形状模型将内眼角位置作为第三参数，将外眼角位置作为第四参数；位置决定单元将第二运算单元运算出的第二似然度最大的第二眼睑形状模型的以第三参数表示的位置决定为内眼角的第二位置，将第二运算单元运算出的第二似然度最大的第二眼睑形状模型的以第四参数表示的位置决定为外眼角的第二位置。 

这样，在以与图像包含的眼睑形状之间的似然度最大的第一眼睑形状模型的内眼角位置为第三参数且以与图像包含的眼睑形状之间的似然度最大的第一眼睑形状模型的外眼角位置为第四参数的第二眼睑形状模型中，将与图像包含的眼睑形状之间的似然度最大的第二眼睑形状模型的以第三参数表示的位置决定为内眼角的第二位置，将与图像包含的眼睑形状之间的似然度最大的第二眼睑形状模型的以第四参数表示的位置决定为外眼角的第二位置，因此即使在内眼角及外眼角部分由于眼镜的映入等噪声而未被显现起来的情况下，也能够高精度地检测出内眼角位置及外眼角位置作为脸部特征点。 

另外，在由所述位置检测单元进行的图案匹配的匹配度小于预先设定的阈值的情况下，本发明的所述第二运算单元能够在所述图像所包含的眼睑形状中利用所述第二眼睑形状模型的上眼睑位置及下眼睑位置附近的部分，来运算第二似然度。在由位置检测单元进行的图案匹配的匹配度小于预先设定的阈值的情况下，在内眼角及外眼角附近存在噪声的可能性大，因此通过利用第二眼睑形状模型的上眼睑位置及下眼睑位置附近的部分来运算第二似然度，能够排除噪声的影响而运算似然度。 

另外，在图案匹配的匹配度小于预先设定的阈值的情况下，本发明的所述位置检测单元检测多个内眼角候补点作为内眼角的第一位置，检测多个外眼角候补点作为外眼角的第一位置，所述第一运算单元能够针对内眼角候补点和外眼角候补点的全部组合都来运算特定第一眼睑形状模型的所述第一似然度，该特定第一眼睑形状模型是指将选自所述多个内眼角候补点中的一个内眼角候补点及选自所述多个外眼角候补点中的一个外眼角候补点作为端点的第一眼睑形状模型。由此，能够灵活地设定第一眼睑形状模型，能够决定似然度高的参数。 

另外，在所述第二眼睑形状模型的上眼睑位置与下眼睑位置之间的距离 小于预先设定的开度阈值的情况下，本发明的所述第二运算单元能够在预先设定的范围内变更所述第三参数及所述第四参数。在眼部开度小的情况下，因皱纹等的影响，有时在与本来的内眼角及外眼角相偏离的位置检测内眼角位置及外眼角位置，因此通过在预先设定的范围内变更第三参数及第四参数，能够防止检测的内眼角位置及外眼角位置大幅偏离。 

另外，本发明的脸部特征点检测装置能够包括控制单元，该控制单元进行控制，使得在所述位置决定单元本次所决定的内眼角的第二位置和内眼角的第一位置之差及本次决定的外眼角的第二位置和外眼角的第一位置之差中的至少一个差值大于预先设定的上次差阈值的情况下，利用本次决定的内眼角的第二位置及外眼角的第二位置置换内眼角的第一位置及外眼角的第一位置，并再次决定内眼角的第二位置及外眼角的第二位置。由此，将提高检测精度。 

另外，本发明的脸部特征点检测程序是用于使计算机发挥作为构成本发明的脸部特征点检测装置的各单元的功能的程序。 

发明的效果 

如以上说明，根据本发明的脸部特征点检测装置及程序，检测出内眼角位置及外眼角位置作为与眼睑形状之间的似然度大的眼睑形状模型的参数，因此能够得到以下效果：即使在外眼角及内眼角部分由于眼镜的映入等噪声而未被显现起来的情况下，也能够高精度地检测出内眼角位置及外眼角位置作为脸部特征点。 

附图说明

图1是表示本实施方式涉及的脸部特征点检测装置的结构的框图。 

图2是表示第一实施方式的脸部特征点检测装置中的脸部特征点检测处理的处理程序的内容的流程图。 

图3是表示第一实施方式中的内外眼角位置检测处理的处理程序的内容的流程图。 

图4A是用于说明脸部区域的检测的图。 

图4B是用于说明眼部的搜索范围的设定的图。 

图4C是用于说明眼部区域的检测的图。 

图5是用于说明内眼角的搜索范围及外眼角的搜索范围的设定的图。 

图6是用于说明内眼角区域的检测的图。 

图7是用于说明内眼角的第一位置的检测的图。 

图8是表示第一实施方式中的上下眼睑位置检测处理的处理程序的内容的流程图。 

图9A是用于说明控制点及作为眼睑形状模型的贝赛尔曲线的图。 

图9B是用于说明控制点P₁和上眼睑位置候补之间的关系的图。 

图10是用于说明拟合评价值与上眼睑位置及下眼睑位置之间的关系的图。 

图11是表示第一实施方式中的内外眼角位置决定处理的处理程序的内容的流程图。 

图12A是用于说明无噪声情况下的拟合(fitting)的图。 

图12B是用于说明有噪声情况下的拟合的图。 

图13是表示第二实施方式中的内外眼角位置检测处理的处理程序的内容的流程图。 

图14是用于说明多个内眼角位置候补的设定的图。 

图15是表示第二实施方式中的上下眼睑位置检测处理的处理程序的内容的流程图。 

图16是表示第三实施方式中的内外眼角位置决定处理的处理程序的内容的流程图。 

图17是用于说明眼部开度对内眼角位置及外眼角位置检测的影响的图。 

图18是表示第四实施方式的脸部特征点检测装置中的脸部特征点检测处理的处理程序的内容的流程图。 

图19是用于说明眼睑形状窗的眼睑形状模型的图。 

具体实施方式

以下，参照附图，详细地说明本发明的脸部特征点检测装置的实施方式。 

如图1所示，第一实施方式涉及的脸部特征点检测装置10具有：照相机12，对成为拍摄对象的对象物进行拍摄；显示装置14及计算机16。 

显示装置14由LCD(Liquid Crystal Display：液晶显示器)或CRT (Cathode Ray Tube：阴极射线管)构成，该LCD或CRT基于所输入的信息进行显示。 

计算机16包括：I/O(输入输出)端口16a、ROM(Read Only Memory：只读存储器)16b、HDD(Hard Disk Drive：硬盘驱动器)16c、CPU(Central Processing Unit：中央处理单元)16d、RAM(Random Access Memory：随机存取存储器)16e以及将这些I/O端口16a、ROM16b、HDD16c、CPU16d及RAM16e相互连接的总线16f。 

在作为存储介质的ROM16b或HDD16c中，存储有OS等基本程序、用于执行后述的脸部特征点检测处理的处理程序的脸部特征点检测程序等各种程序以及各种数据。 

CPU16d从ROM16b及HDD16c中读出并执行程序，各种数据临时存储在RAM16e中。 

I/O端口16a上连接有照相机12及显示装置14。 

接着，参照图2，对第一实施方式的脸部特征点检测装置中的脸部特征点检测处理的处理程序进行说明。此外，自脸部特征点检测装置10的开关(未图示)接通的时间点起，每规定时间间隔(例如数十毫秒)就由计算机16的CPU16d执行本程序。 

在步骤100中，取入由照相机12拍摄到的脸部图像的图像数据。接着，在步骤102中，执行内外眼角位置检测处理，即，从基于在上述步骤100中取入的图像数据的图像中检测内眼角的第一位置及外眼角的第一位置。接着，在步骤104中，执行上下眼睑位置检测处理，即，基于在上述步骤102中检测出的内眼角的第一位置及外眼角的第一位置，检测上眼睑位置及下眼睑位置。接着，在步骤106中，执行内外眼角位置决定处理，即，基于在上述步骤104中检测出的上眼睑位置及下眼睑位置，决定内眼角的第二位置及外眼角的第二位置。接着，在步骤108中，对显示装置14的显示进行控制，以使在上述步骤106中决定的内眼角的第二位置及外眼角的第二位置作为外眼角位置及内眼角位置的检测结果来显示，并结束处理。 

接着，参照图3，对上述脸部特征点检测处理的处理程序(图2)中的在步骤102中执行的内外眼角位置检测处理的处理程序进行说明。 

在步骤110中，如图4A所示那样，通过模板匹配(Template matching) 等方法从图像中检测例如矩形区域的脸部区域30。 

接着，在步骤112中，对于在上述步骤110中检测出的脸部区域30，如图4B所示那样设定眼部的搜索范围32。关于眼部的搜索范围32，根据检测出的脸部区域30的尺寸等，在假定为眼部存在的脸部区域30内，设定右眼用的搜索范围及左眼用的搜索范围。然后，如图4C所示，通过模板匹配等方法，从所设定的眼部的搜索范围32中检测出例如矩形区域的眼部区域34。 

接着，在步骤114中，基于在上述步骤112中检测出的眼部区域34，如图5所示那样，设定内眼角的搜索范围36及外眼角的搜索范围38。例如，在为左眼的情况下，内眼角的搜索范围36能够设定为将眼部区域横向三等分时的右侧区域及其周边区域。此外，对于右眼及左眼中的每一只眼都进行本步骤以后的处理，但这里对左眼的处理进行说明，因为右眼的处理是同样的，所以省略说明。 

接着，在步骤116中，如图6所示那样，利用例如矩形的内眼角搜索窗40对在上述步骤114中所设定的内眼角的搜索范围36进行扫描从而检测出内眼角区域，并通过模板匹配等方法，计算出表示内眼角区域的图像与模板的匹配度的输出值V_head。 

接着，在步骤118中，判定上述步骤116中计算出的输出值V_head是否小于预先设定的阈值α。在输出值V_head小的情况下即与模板的匹配度低的情况下，能够判断为由眼镜等的映入所引起的噪声对内眼角区域造成影响的可能性大。因此，将阈值α事先设定为能够判定是否存在噪声的值。在V_head＜α的情况下，进入步骤120，如图7所示那样，将内眼角的搜索范围36的中心检测为内眼角的第一位置。另一方面，在V_head≥α的情况下，进入步骤122，如图6所示那样，将内眼角区域(内眼角搜索窗40)的中心检测为内眼角的第一位置。 

此外，内眼角的第一位置通过与图像上的像素相对应的坐标(x，y)来确定。就后述的外眼角的第一位置、上眼睑位置及下眼睑位置等而言，也是同样的。 

接着，在步骤124至步骤130中，通过与检测出内眼角的第一位置的处理相同的处理，利用外眼角搜索窗42，计算输出值V_tail，检测出外眼角的第一位置，并返回。 

接着，参照图8，对上述脸部特征点检测处理的处理程序(图2)中的在步骤104中所执行的上下眼睑位置检测处理的处理程序进行说明。 

在步骤132中，如图9A所示那样，将在内外眼角位置检测处理中检测出的内眼角的第一位置设定为控制点P₃，将外眼角的第一位置设定为控制点P₄，并设定与上眼睑位置相对应的控制点P₁。控制点P₃及P₄设定为固定的点。然后，将基于控制点P₁、P₃及P₄确定的贝赛尔(bezier)曲线作为上眼睑形状模型。这里，如图9B所示，将从控制点P₁引出且与以控制点P₃及P₄为端点的线段垂直的垂线的中点设定为上眼睑位置候补。 

接着，在步骤134中，一边变更控制点P₁，一边通过下述式(1)计算拟合评价值λ。 

[式1] 

$\mathrm{\λ}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i\·e_i}{n}\·\·\·\left(1\right)$

这里，p_i是贝赛尔曲线上的点i处的法线矢量(normal vector)，e_i是点i处的图像的亮度梯度矢量(brightness gradient vector)，n是贝赛尔曲线上的点i的数量。根据点i处的法线矢量和图像的亮度梯度矢量的内积，计算贝赛尔曲线与图像所包括的眼睑形状之间的似然度。此外，控制点P₁的变更范围例如处在眼部的搜索范围32内，并且处在通过控制点P₃及P₄的直线的上方范围。 

接着，在步骤136中，判定是否已在变更范围内的全部位置进行控制点P₁的变更并计算出拟合评价值λ。在未计算出的情况下，返回步骤132，在下一位置设定控制点P₁，反复进行拟合评价值λ的计算处理。在全部位置结束了计算处理的情况下，进入步骤138，如图10所示那样，将由所计算的拟合评价值λ达到最大时的控制点P₁确定的上眼睑位置候补检测为上眼睑位置。 

接着，在步骤140至步骤146中，通过与检测出上眼睑位置的处理同样的处理，利用与下眼睑位置相对应的控制点P₂，计算拟合评价值λ，将由拟合评价值λ达到最大时的控制点P₂确定的下眼睑位置候补检测为下眼睑位置，并返回。 

接着，参照图11，对上述脸部特征点检测处理的处理程序(图2)中的在步骤106中执行的内外眼角位置决定处理的处理程序进行说明。 

在步骤150中，如图12A所示那样，将在上下眼睑位置检测处理中检测出的上眼睑位置的控制点设定为P₁，将下眼睑位置的控制点设定为P₂，将在内外眼角位置检测处理中检测出的外眼角的第一位置设定为控制点P₄，将内眼角的第二位置候补设定为控制点P₃。使上眼睑位置、下眼睑位置及P₄固定。然后，将基于控制点P₁、P₃及P₄确定的贝赛尔曲线及基于控制点P₂、P₃及P₄确定的贝赛尔曲线作为上下眼睑形状模型。 

接着，在步骤152中，通过判定在内外眼角位置检测处理(图3)的步骤116中计算出的输出值V_head是否为阈值α以上，判定在内眼角附近是否可能存在噪声。在V_head≥α的情况下，进入步骤154，利用控制点P₃～控制点P₁及控制点P₃～控制点P₂的贝赛尔曲线上的点i，通过上述式(1)计算拟合评价值λ。另一方面，在V_head＜α的情况下，进入步骤156，如图12B所示那样，利用上眼睑位置附近及下眼睑位置附近的贝赛尔曲线上的点i计算拟合评价值λ。所谓的上眼睑位置附近能够设定为，例如是，在控制点P₃至上眼睑位置之间的曲线上，距上眼睑位置规定距离的范围，该规定距离大小为控制点P₃至上眼睑位置的距离的1/2～1/3。就下眼睑位置附近而言，也是同样的。这样，通过不利用产生噪声的内眼角附近的眼睑形状来计算拟合评价值λ，能够提高评价值的计算精度。 

接着，在步骤158中，判定是否已在变更范围内的全部位置进行控制点P₃的变更并计算出拟合评价值λ。这里，变更范围例如能够为内眼角的搜索范围36内。在未计算出的情况下，返回步骤150，在下一位置设定控制点P₃，并反复进行拟合评价值λ的计算处理。在全部的位置结束了计算处理的情况下，进入步骤160，将所计算的拟合评价值λ达到最大时的控制点P₃的位置决定为内眼角的第二位置。 

接着，在步骤162至步骤172中，通过与决定内眼角的第二位置的处理同样的处理，将在上下眼睑位置检测处理中检测出的上眼睑位置的控制点设定为P₁，将下眼睑位置的控制点设定为P₂，将在上述步骤160中决定的内眼角的第二位置设定为控制点P₃，将外眼角的第二位置候补设定为控制点P₄，使上眼睑位置、下眼睑位置及P₃固定，一边变更控制点P₄一边计算拟合评 价值λ，将拟合评价值λ达到最大时的控制点P₄的位置决定为外眼角的第二位置，并返回。 

如以上说明，根据第一实施方式的脸部特征点检测装置，利用在内外眼角位置检测处理中检测出的内眼角的第一位置及外眼角的第一位置，进行与第一眼睑形状模型的拟合，利用拟合评价值最大时的上眼睑位置及下眼睑位置，进行与第二眼睑形状模型的拟合，从而决定内眼角的第二位置及外眼角的第二位置，因此即使在内眼角或外眼角部分因眼镜的映入等噪声而未被显现的情况下，也能够高精度地检测出内眼角位置及外眼角位置作为脸部特征点。 

接着，对第二实施方式进行说明。在第一实施方式中，对分别只检测一个内眼角的第一位置及1个外眼角的第一位置的情况进行了说明，但在第二实施方式中，不同点在于，在产生噪声时检测多个候补点。此外，对于与第一实施方式相同的结构及处理，标注相同的附图标记并省略说明。 

参照图13，对第二实施方式中的内外眼角位置检测处理的处理程序进行说明。 

与第一实施方式的情况同样地，在步骤116中，对于内眼角的搜索范围36，使例如矩形的内眼角搜索窗40进行扫描从而检测内眼角区域，通过模板匹配等方法，计算出表示内眼角区域的图像与模板之间的匹配度的输出值V_head，接着，在步骤118中，判定V_head是否小于阈值α。在小于阈值α的情况下，进入步骤200，如图14所示那样，在内眼角的搜索范围36内设定多个内眼角位置候补。另外，就外眼角位置而言，也是同样地，在输出值V_tail小于阈值α的情况下，在步骤202中，在外眼角的搜索范围38内设定多个外眼角位置候补。 

接着，参照图15，对第二实施方式中的上下眼睑位置检测处理的处理程序进行说明。 

在步骤210中，在通过内外眼角位置检测处理设定了多个内眼角位置候补及多个外眼角位置候补的情况下，从多个内眼角位置候补及多个外眼角位置候补中各选择一个内眼角位置候补及外眼角位置候补，接着，在步骤132中，将选择的内眼角位置候补作为控制点P3固定，将外眼角位置候补作为控制点P4固定，接着，在步骤134中，计算拟合评价值λ。 

在步骤136中，在判定为在变更范围内的全部位置都结束拟合的情况下，进入步骤212，判断是否已对全部的内眼角位置候补及外眼角位置候补的组合进行选择并结束处理，在还未全部结束的情况下，返回步骤210，选择下一个内眼角位置候补或外眼角位置候补。在已全部结束的情况下，在步骤138中，将由控制点P1确定的上眼睑位置候补检测为上眼睑位置，该控制点P1是对从内眼角位置候补中选择的一个第一内眼角位置和从外眼角位置候补中选择的一个第一外眼角位置的全部组合计算出的拟合评价值λ达到最大时的控制点。 

另外，就外眼角位置而言也是同样地，在步骤214中，从内眼角位置候补及外眼角位置候补中各选择一个，在步骤216中，判断是否已对全部组合进行选择并结束处理。 

如以上说明，根据第二实施方式的脸部特征点检测装置，在内外眼角位置检测处理时，当在内眼角或外眼角附近存在噪声的情况下，检测多个候补点作为内眼角的第一位置或外眼角的第一位置，对其全部组合进行拟合，并检测拟合评价值最大时的上眼睑位置及下眼睑位置，因此上眼睑位置及下眼睑位置的检测精度提高，利用该上眼睑位置及下眼睑位置决定的内眼角的第二位置及外眼角的第二位置的决定精度也提高。 

接着，对第三实施方式进行说明。在第三实施方式中，与第一实施方式的区别在于，通过眼部开度对用于检测内眼角的第二位置及外眼角的第二位置的控制点的变更范围加以限制。此外，对于与第一实施方式相同的结构及处理，标注相同的附图标记并省略说明。 

参照图16，对第三实施方式中的内外眼角位置决定处理的处理程序进行说明。 

在步骤300中，判定眼部开度是否为开度阈值以下，该眼部开度以在上下眼睑位置检测处理中检测出的上眼睑位置与下眼睑位置之间的距离来表示。如图17所示，在眼部开度小的情况下，受在内眼角及外眼角部分产生的皱纹等的影响，与本来的内眼角位置及外眼角位置明显不同的位置可能被检测为内眼角位置及外眼角位置。因此，作为开度阈值，预先设定为能够判别出特定眼部的开度的值，该特定眼部是指，内眼角位置及外眼角位置由于如上所述的影响而变得难以判别的眼部。在眼部开度为开度阈值以下的情况 下，进入步骤302，在开度大于开度阈值的情况下，进入步骤150。 

在步骤302中，限定控制点P3及P4的变更范围。例如，能够将控制点P3及P4的变更范围限定为规定范围内，即，事先将眼部开度为开度阈值以上时所决定的内眼角的第二位置及外眼角的第二位置存储在规定的存储区域，并使控制点P3及P4到该内眼角的第二位置及该外眼角的第二位置的距离分别在规定范围内。另外，还可以按以下方式限定变更范围，即，将眼部区域的图像标准化为规定尺寸(例如纵20个像素×横40个像素)，在脸部朝向正面的脸部图像的情况下，控制点P3与P4之间的距离为30个像素的距离，在脸部倾斜(45°)的脸部图像的情况下，控制点P3与P4之间的距离为20个像素的距离。 

以下，与第一实施方式中的内外眼角位置决定处理同样地进行处理，在步骤158及步骤170中，判断是否已用上述步骤302中限定的变更范围内的全部的点变更控制点P3或P4，并结束拟合评价值λ的计算。 

如以上说明，根据第三实施方式的脸部特征点检测装置，即使眼部开度小的情况下，也能够防止由于在内眼角及外眼角附近产生的皱纹等的影响而大幅偏离地检测内眼角位置及外眼角位置。 

接着，对第四实施方式进行说明。在第四实施方式中，与第一实施方式的区别在于，反复执行内外眼角位置决定处理。此外，对于与第一实施方式相同的结构及处理，标注相同的附图标记并省略说明。 

参照图18，对第四实施方式的脸部特征点检测装置中的脸部特征点检测处理的处理程序进行说明。 

在步骤100中，取入脸部图像的图像数据，接着，在步骤102中，执行检测内眼角的第一位置及外眼角的第一位置的内外眼角位置检测处理，接着，在步骤104中，执行检测上眼睑位置及下眼睑位置的上下眼睑位置检测处理，接着，在步骤106中，执行决定内眼角的第二位置及外眼角的第二位置的内外眼角位置决定处理。 

接着，在步骤400中，判断在上述步骤106中决定的内眼角的第二位置及外眼角的第二位置与内眼角的第一位置及外眼角的第一位置之间的差是否在规定范围内。当在规定范围内的情况下，进入步骤108，显示检测结果。另一方面，当在规定范围外的情况下，进入步骤402。 

在步骤402中，利用在上述步骤106中决定的内眼角的第二位置及外眼角的第二位置置换内眼角的第一位置及外眼角的第一位置，并进入步骤104。在步骤104中，利用在上述步骤402中置换过的内眼角的第一位置及外眼角的第一位置，再次检测上眼睑位置及下眼睑位置，接着，在步骤106中，再次决定内眼角的第二位置及外眼角的第二位置。 

如以上说明，根据第四实施方式的脸部图像特征点检测装置，与在内外眼角位置检测处理中检测出的内眼角的第一位置及外眼角的第一位置相比，利用高精度决定的内眼角的第二位置及外眼角的第二位置，再次进行上眼睑位置及下眼睑位置的检测和内眼角的第二位置及外眼角的第二位置的决定，并反复进行，直到与内眼角的第一位置及外眼角的第一位置之间的差处在规定范围为止，因此能够高精度地决定内眼角的第二位置及外眼角的第二位置。 

此外，在上述各实施方式中，对基于贝赛尔曲线上的点i处的法线矢量和图像的亮度梯度矢量的内积来计算拟合评价值的情况进行了说明，但由于在上下眼睑的横向边缘(horizontal edge)会增强，因此也可以计算使用了横向边缘强度的拟合评价值。 

另外，在上述各实施方式中，利用通过与内眼角位置、外眼角位置及上下眼睑位置相对应的控制点表示的贝赛尔曲线作为眼睑形状模型的情况进行了说明，但并不限定于此。例如，也可以如图19所示那样，可以将组合了三个窗50a、50b、50c的眼睑形状窗50作为眼睑形状模型。此时，能够一边在眼部的搜索范围内使该眼睑形状窗50进行扫描，一边检测在左右窗50a及50c内出现的纵向边缘(vertical edge)的强度，并检测在中央的窗50b内出现的横向边缘的强度，然后利用该强度的和进行拟合。 

附图标记说明 

10脸部特征点检测装置； 

12照相机； 

14显示装置； 

16计算机； 

16d CPU。 

Claims (8)

1.一种脸部特征点检测装置，具有：

取得部，其取得包括眼部区域的图像的图像数据，该眼部区域具有内眼角及外眼角；

位置检测部，其根据所述取得部所取得的图像数据，通过图案匹配来检测内眼角的第一位置及外眼角的第一位置；

第一运算部，其每变更第一参数及第二参数时都运算第一似然度，该第一似然度表示在变更了所述第一参数及所述第二参数时的第一眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第一眼睑形状模型是指，通过将所述位置检测部检测出的内眼角的第一位置及外眼角的第一位置作为端点的上侧的曲线及下侧的曲线来示出，并将在所述上侧的曲线上所决定的上眼睑位置作为所述第一参数，将在所述下侧的曲线上所决定的下眼睑位置作为所述第二参数的眼睑形状模型；

第二运算部，其每变更第三参数及第四参数时都运算第二似然度，该第二似然度表示在变更了所述第三参数及所述第四参数时的第二眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第二眼睑形状模型是所述第一运算部运算出的第一似然度最大的所述第一眼睑形状模型，该第二眼睑形状模型将内眼角位置作为所述第三参数，将外眼角位置作为所述第四参数；以及

位置决定部，其将所述第二运算部运算出的第二似然度最大的所述第二眼睑形状模型上的以第三参数表示的位置决定为内眼角的第二位置，将所述第二运算部运算出的第二似然度最大的所述第二眼睑形状模型上的以第四参数表示的位置决定为外眼角的第二位置。

2.根据权利要求1记载的脸部特征点检测装置，其中，在由所述位置检测部进行的图案匹配的匹配度小于预先设定的阈值的情况下，所述第二运算部在所述图像所包含的眼睑形状中利用所述第二眼睑形状模型的上眼睑位置及下眼睑位置附近的部分，来运算第二似然度。

3.根据权利要求1记载的脸部特征点检测装置，其中，

在图案匹配的匹配度小于预先设定的阈值的情况下，所述位置检测部检测多个内眼角候补点作为内眼角的第一位置，检测多个外眼角候补点作为外眼角的第一位置，

所述第一运算部针对内眼角候补点和外眼角候补点的全部组合都运算特定第一眼睑形状模型的所述第一似然度，该特定第一眼睑形状模型是指，将选自所述多个内眼角候补点中的一个内眼角候补点及选自所述多个外眼角候补点中的一个外眼角候补点作为端点的第一眼睑形状模型。

4.根据权利要求2记载的脸部特征点检测装置，其中，

在图案匹配的匹配度小于预先设定的阈值的情况下，所述位置检测部检测多个内眼角候补点作为内眼角的第一位置，检测多个外眼角候补点作为外眼角的第一位置，

所述第一运算部针对内眼角候补点和外眼角候补点的全部组合都运算特定第一眼睑形状模型的所述第一似然度，该特定第一眼睑形状模型是指，将选自所述多个内眼角候补点中的一个内眼角候补点及选自所述多个外眼角候补点中的一个外眼角候补点作为端点的第一眼睑形状模型。

5.根据权利要求1～4中任一项记载的脸部特征点检测装置，其中，在所述第二眼睑形状模型的上眼睑位置和下眼睑位置之间的距离小于预先设定的开度阈值的情况下，所述第二运算部在预先设定的范围内变更所述第三参数及所述第四参数。

6.根据权利要求1～4中任一项记载的脸部特征点检测装置，其中，包括控制部，该控制部进行控制，使得在所述位置决定部本次所决定的内眼角的第二位置和内眼角的第一位置之差及本次所决定的外眼角的第二位置和外眼角的第一位置之差中的至少一个差值大于预先设定的上次差阈值的情况下，利用本次所决定的内眼角的第二位置及外眼角的第二位置置换内眼角的第一位置及外眼角的第一位置，并再次决定内眼角的第二位置及外眼角的第二位置。

7.根据权利要求5记载的脸部特征点检测装置，其中，包括控制部，该控制部进行控制，使得在所述位置决定部本次所决定的内眼角的第二位置和内眼角的第一位置之差及本次所决定的外眼角的第二位置和外眼角的第一位置之差中的至少一个差值大于预先设定的上次差阈值的情况下，利用本次所决定的内眼角的第二位置及外眼角的第二位置置换内眼角的第一位置及外眼角的第一位置，并再次决定内眼角的第二位置及外眼角的第二位置。

8.一种脸部特征点检测方法，包括：

取得步骤，取得包括眼部区域的图像的图像数据，该眼部区域具有内眼角及外眼角；

位置检测步骤，根据在所述取得步骤所取得的图像数据，通过图案匹配来检测内眼角的第一位置及外眼角的第一位置；

第一运算步骤，每变更第一参数及第二参数时都运算第一似然度，该第一似然度表示在变更了所述第一参数及所述第二参数时的第一眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第一眼睑形状模型是指，通过将在所述位置检测步骤检测出的内眼角的第一位置及外眼角的第一位置作为端点的上侧的曲线及下侧的曲线来示出，并将在所述上侧的曲线上所决定的上眼睑位置作为所述第一参数，将在所述下侧的曲线上所决定的下眼睑位置作为所述第二参数的眼睑形状模型；

第二运算步骤，每变更第三参数及第四参数时都运算第二似然度，该第二似然度表示在变更了所述第三参数及所述第四参数时的第二眼睑形状模型与所述图像所包含的眼睑的形状相一致的程度，该第二眼睑形状模型是在所述第一运算步骤运算出的第一似然度最大的所述第一眼睑形状模型，该第二眼睑形状模型将内眼角位置作为所述第三参数，将外眼角位置作为所述第四参数；以及

位置决定步骤，其将在所述第二运算步骤运算出的第二似然度最大的所述第二眼睑形状模型上的以第三参数表示的位置决定为内眼角的第二位置，将在所述第二运算步骤运算出的第二似然度最大的所述第二眼睑形状模型上的以第四参数表示的位置决定为外眼角的第二位置。

Images