CN104732197B - 目标线检测设备和方法 - Google Patents

Abstract

涉及一种目标线检测设备和方法。其中，该目标线检测设备包括被配置成执行处理的处理器。该处理包括：在根据输入图像的亮度分量获得的亮度图像中检测在具有第一方向上的光度梯度的像素与具有与第一方向相反的第二方向上的光度梯度的像素之间的过渡点；以及，基于将彼此处于特定距离内的过渡点连接在一起的线的形状或长度或形状与长度的组合，从将过渡点连接在一起的线中提取表示检测目标的线。

Description

目标线检测设备和方法

技术领域

本文讨论的实施方式涉及目标线检测设备、目标线检测方法以及存储有目标线检测程序的存储介质。

背景技术

已经提出了下述图像处理方法：在面部的摄影图像中检测双眼的各自位置，并且基于双眼的各自位置来估计包括下巴的位置的下巴区和在下巴附近的区域。然后，在已经从其去除了非皮肤色的像素的下巴区内检测下巴的位置。在该图像处理方法中，将所估计的下巴区中的每个像素的像素值投射到面部的竖直方向的轴上，并且在轴向方向的每个高度处获得投射数据。然后基于投射数据针对每个高度得到边缘强度，并且将与具有最大边缘强度的高度对应的像素的位置确定为下巴的位置。

还提出了根据接收的彩色图像来计算下巴的位置的下巴位置计算设备。在该设备中，在彩色图像中检测皮肤色的面部，并且基于所检测的面部根据双眼之间的中心位置与面部的嘴的中心位置来计算参考线。获取表示双眼之间的中心位置、嘴的中心位置以及下巴的位置之间的统计位置关系的数据，并且根据表示位置关系的数据以及根据所计算的参考线来计算针对面部的下巴的位置的概率。还计算针对参考线上的皮肤色的像素的存在的概率，并且还计算参考线上的光度的变化速率。根据组合了相应的所计算的概率和速率的结果来计算下巴的位置。

已经提出了下述图像处理设备：针对原始图像数据中的每个像素来得到与周边像素的光度差，并且基于光度梯度来评估确定了轮廓图像数据中的这些像素的光度的轮廓水平。在该图像处理设备中，根据光度梯度的斜率方向在特定方向上移动具有大于阈值的光度梯度绝对值的像素的轮廓水平。

[相关专利文献]

日本特许公开专利申请第2006-133824号

日本特许公开专利申请第2009-086824号

日本特许公开专利申请第2008-083820号

在用于检测下巴位置的传统技术中，使用边缘强度或光度的变化速率来检测下巴位置。然而，有时，也具有高的边缘强度或光度的变化速率的不同于检测目标的位置例如痣、斑点、皱纹存在于为检测目标的下巴的附近。在这种情况下，具有高的边缘强度或光度的变化速率的不同于检测目标的位置的部分可能被错误地检测为检测目标下巴。

此外，采用光度梯度的传统技术采用下述方法：其中提取具有超过阈值的光度梯度强度的位置作为轮廓。然而，例如，有时，不能对检测目标例如在弱的光度对比度位置处的下巴或笑纹线进行检测。

发明内容

一方面的目的是即使在弱的色差和光度对比度的位置处也以良好的精度检测表示检测目标的线。

根据实施方式的一方面，目标线检测设备包括存储器和被配置为执行处理的处理器。该处理包括：在根据输入图像的亮度分量获得的亮度图像中检测在具有第一方向上的光度梯度的像素与具有与第一方向相反的第二方向上的光度梯度的像素之间的过渡点；以及，基于将彼此处于特定距离内的过渡点连接在一起的线的形状或长度或形状与长度的组合来从将过渡点连接在一起的线中提取表示检测目标的线。

附图说明

图1是示出了根据第一示例性实施方式的目标线检测设备的功能配置的框图。

图2是用于说明对光度梯度进行计算的图。

图3是用于说明对表示下巴的线进行检测的图。

图4是用于说明对连接线进行提取的图。

图5是示出了连接线列表的示例的图。

图6是示出了用作为根据第一示例性实施方式的目标线检测设备的计算机的概略配置的框图。

图7是示出了第一示例性实施方式中的目标线检测处理的示例的流程图。

图8是示出了候选者提取处理的示例的流程图。

图9是示出了最低坐标提取处理的示例的流程图。

图10是示出了前部检查处理的示例的流程图。

图11是示出了后部检查处理的示例的流程图。

图12是示出了根据第二示例性实施方式的目标线检测设备的功能配置的框图。

图13是用于说明对下巴区域进行估计的图。

图14是示出了第二示例性实施方式中的目标线检测处理的示例的流程图。

图15是用于说明对面部图像大小或滤波器大小进行修改的图。

图16是示出了限定了面部区域大小与滤波器大小之间的对应关系的表的示例的图。

图17是示出了滤波器大小修改处理的示例的流程图。

图18是示出了图像大小修改处理的示例的流程图。

图19是用于说明对表示笑纹线的线进行检测的图。

图20是示出了第四示例性实施方式中的目标线检测处理的示例的流程图。

具体实施方式

参照附图详细地说明本文公开的技术的实施方式的示例。

第一示例性实施方式

首先，说明第一示例性实施方式。在第一示例性实施方式中，给出关于下述情况的说明：其中在人面部的图像中检测表示为检测目标的下巴的线。

例如，在诸如美容支持领域，在人面部的图像中检测或手动地选择面部位置，并且基于各自的面部特征之间的距离来测量面部平衡。这种面部平衡测量的一个示例涉及：从面部的图像检测面部的发际线、下巴以及侧面的轮廓；以及测量从发际线到下巴的长度与面部的横向宽度之间的比是否接近于理想值(例如，1.46)。

在这样的测量中，可以基于面部部分、头发部分以及背景部分之间的色差和光度差来检测面部的发际线和侧面的轮廓。然而，在下巴的情况下，由于在沿着下巴的线的上方的面部部分与在沿着下巴的线的下方的颈部部分都是皮肤色，所以在这两部分之间存在较小的色差。此外，例如，不像眼睛那样，下巴不是位于创建明显对比度的位置，所以下巴具有弱的边缘强度。因此，难以使用检测发际线和面部的侧面的轮廓的这种方法来检测下巴。

可以考虑下述方法：其中将边缘提取技术应用于通过检测具有在针对下巴检测的预定阈值范围内的边缘强度的像素的分组来根据边缘提取滤波器的结果检测下巴。然而，边缘强度受因素例如捕获期间的照明环境和背景的影响，导致使得能够进行下巴检测的对阈值的预先设定困难。注意，这个问题不仅出现在检测下巴时，而且出现在检测由成像对象中的起伏引起的图像中的具有小的色差或光度对比度的线例如笑纹线时。

注意，通常在下述照明环境中捕获在如上所述的面部平衡测量中采用的面部图像：其中，不是在能够采用多个光源的摄影工作室内、而是例如利用一般室内照明，光从上方入射并且照射到前方。因此，在其中光从单个方向入射的照明环境中捕获的面部图像包括由于光入射到面部起伏的方式的不同而导致的下述区域：其中在该区域内在沿着特定方向的前进上光度增大的区域，以及其中在该区域内在沿着特定方向的前进上光度减小的区域。具体地，在其中在朝向面部的底部的前进上平面朝向前方伸出的区域中，在从面部的顶部到底部的前进上光度增大，并且在其中在朝向面部的底部的前进上平面朝向后方退却的区域中，在从面部的顶部到底部的前进上光度减小。

例如，在包含下巴的部分中，在沿着下巴的线的上方的面部区域和在沿着下巴的线的下方的颈部区域中光不同地入射。结果是，在其中从面部的顶部到底部的前进上光度增大的区域与其中从面部的顶部到底部的前进上光度减小的区域之间的边界出现在图像中的表示下巴的线上。

考虑到这一点，本示例性实施方式在图像中检测表示位于其中存在有小的色差和光度对比度的位置处的检测目标的线。

如图1所示，根据第一示例性实施方式的目标线检测设备10包括图像输入部12、检测部14、提取部16以及检测结果输出部18。

当将其中捕获了包含人面部的区域的面部图像输入到目标线检测设备10时，图像输入部12接收输入面部图像并且将面部图像传递到后一阶段的检测部14。图像输入部12使用公知的方法在输入面部图像中检测面部区域，以识别面部顶底方向并且旋转面部图像使得面部顶底方向匹配面部图像顶底方向。也就是说，在其中输入了90°景观面部图像的情况下，图像输入部12向右或向左将面部图像旋转90°。面部图像可以是彩色图像，或者可以是单色图像。注意，对本示例性实施方式的说明假定在其中光从上方入射并且照射到前方的照明环境中捕获了输入面部图像。

检测部14生成其中从自图像输入部12接收的面部图像中提取仅亮度分量的亮度图像。此外，检测部14针对亮度图像中的每个像素来计算竖直方向(面部图像顶底方向)光度梯度强度。具体地，如图2所示，检测部14将具有特定大小(在图2的示例中为3×3像素大小)的竖直方向梯度滤波器70施用至亮度图像61。注意，通过图像输入部12将面部顶底方向与面部图像顶底方向对准，然而，如果这两个方向不匹配，则检测部14可以旋转竖直方向梯度滤波器70的定向以在施用之前匹配面部图像中的面部顶底方向。

如上所述，本示例性实施方式假定在其中光从上方入射并且照射到前方的照明环境中捕获了面部图像。因此，通过施用如图2中示出的竖直方向梯度滤波器70，在朝向从给定像素观察的较低像素的前进上光度增大的情况下，也就是说，在存在有(从面部的顶部到底部的方向上的)向下光度梯度的情况下，这些像素具有有着正值(+)的光度梯度强度。然而，在朝向从给定像素观察的较高像素的前进上光度增大的情况下，也就是说，在存在有(从面部的底部到顶部的方向上的)向上光度梯度的情况下，这些像素具有有着负值(-)的光度梯度强度。具有正光度梯度强度值的像素处于下述位置：其中包括与该像素对应的位置的面部的平面在朝向面部的底部的前进上朝向前方伸出。然而，具有负光度梯度强度值的像素处于下述位置：其中包括与该像素对应的位置的面部的平面在朝向面部的底部的前进上朝向后方退却。

注意，上述提及的向上方向和向下方向是本文公开的技术的第一方向和第二方向的示例。第一方向和第二方向不限于向上方向和向下方向，并且根据检测目标而不同。因此，可以以针对根据检测目标的第一方向和第二方向而计算的光度梯度强度来施用具有根据检测目标的方向的梯度滤波器。具体地，可以施用具有与表示检测目标的线相交的方向的梯度滤波器。

如图3所示，检测部14根据施用至亮度图像61的竖直方向梯度滤波器70的滤波器结果来生成表示三个值的三元图像62，所述三个值为具有正值光度梯度强度的像素、具有负值光度梯度强度的像素以及具有零值的像素。例如，检测部14可以使具有正值光度梯度强度1的像素(为白色)、具有负值-1的像素(为灰色)以及具有零值0的像素(为黑色)。

此外，检测部14将在表示滤波器结果的三元图像62中具有相同像素值的相邻像素分组在一起，以从滤波器结果中去除噪声分量。如图3所示，检测部14通过将0的像素值分配给包含在其中分组的区域的面积是特定大小或以下的小区域中的像素来根据表示滤波器结果的三元图像62生成从其中去除了小区域的三元图像63。

如图3所示，在表示滤波器结果的三元图像62和从其中去除了小区域的三元图像63中，在包含下巴的部分处形成了具有在灰色像素区域下方的白色像素(正光度梯度强度值)区域的灰色像素(负光度梯度强度值)区域。灰色像素区域与白色像素区域之间的边界出现在表示下巴的线上。

为了提取上述区域之间的边界，检测部14首先检测具有向上光度梯度的像素与具有向下光度梯度的像素之间的过渡点。具体地，检测部14在从其去除了小区域的三元图像63中的灰色像素中进行检测，并且将下述任何灰色像素标记为与过渡点对应的像素：其中在灰色像素上方(朝向面部的顶部)的像素也是灰色像素，并且在灰色像素下方(朝向面部的底部)的像素是白色像素。注意，检测部14还可以在白色像素中进行检测，并且将下述任何白色像素标记为与过渡点对应的像素：其中在白色像素下方(朝向面部的底部)的像素也是白色像素，并且在白色像素上方(朝向面部的顶部)的像素是灰色像素。难以检测在顶底方向上在灰色像素分组区域与白色像素分组区域之间的边界。图3示出了其中使亮度图像61的标记像素为白色像素的标记图像64的示例。

提取部16从与由检测部14检测的过渡点对应的像素中提取将彼此处于特定距离内的像素连接在一起的连接线。具体地，如图4所示，提取部16在标记图像64中寻找标记像素，并且将找到的像素作为起点像素67。然后，提取部16在周边像素到起点像素67中寻找标记像素。当找到标记像素时，提取部16将起点像素67和找到的像素作为表示同一线的像素，并且记录连接线列表中的这些像素的坐标(像素位置，[X，Y])。然后，提取部16将找到的像素作为新的起点像素67，并且重复处理以在周边像素中寻找标记像素直到没有要寻找的标记像素为止。

图5示出了连接线列表的示例。在图5的示例中，连接线列表包括从最小X坐标值开始以升序分别布置的每个所提取的连接线的找到的像素的坐标的坐标列表。连接线列表还包括针对每个连接线的长度数据。X方向长度(坐标列表中的最大X坐标值-最小X坐标值)可以作为连接线的长度。X方向长度与Y方向长度(坐标列表中的最大Y坐标值-最小Y坐标值)之和也可以作为连接线的长度。相邻坐标之间的距离之和也可以作为连接线的长度。图3示出了其中将连接线叠加在亮度图像61上的连接线图像65的示例。

例如，在寻找标记像素时的周边像素可以是根据面部图像的图像大小和分辨率适当设定的例如集中于起点像素67的3×3像素或5×5像素。注意，在将周边像素的范围设定为3×3像素时，仅提取彼此相邻的标记像素作为连接线。将周边像素的范围设定为5×5像素或更多使得能够将彼此分离一个或更多个像素的标记像素被检测作为连接线。在将周边像素设定为5×5像素时，可以进行配置使得在3×3像素范围内进行对标记像素的初始寻找，并且然后在没有找到标记像素时将周边像素的范围扩大到5×5像素范围。

提取部16基于所提取的连接线的形状或长度或形状与长度的组合来从连接线中提取表示为检测目标的下巴的目标线。具体地，提取部16使用连接线列表中记录的连接线中的每个连接线的坐标列表来提取具有向下凸状曲线形状的连接线。向下凸状曲线形状是指向下圆弧形状、向下椭圆形状等。提取部16使用在连接线列表中记录的长度来从具有向下凸状曲线形状的所提取的连接线中提取最长连接线作为表示下巴的目标线。

检测结果输出部18输出由提取部16提取的表示下巴的目标线作为检测结果。例如，如图3所示，可以输出其中将表示下巴的目标线叠加在亮度图像61上的检测结果图像66。

如图6所示，例如，可以通过计算机40来实现目标线检测设备10。计算机40包括CPU42、存储器44、非易失性存储部46、输入输出接口(I/F)47以及网络I/F 48。CPU 42、存储器44、存储部46、输入输出I/F 47和网络I/F 48通过总线49连接到一起。

可以通过硬盘驱动器(HDD)、闪存存储器等来实现存储部46。用作为存储介质的存储部46存储有使计算机40用作为目标线检测设备10的目标线检测程序50。CPU 42从存储部46读取目标线检测程序50，在存储器44中扩展目标线检测程序50，并且顺序地执行目标线检测程序50的处理。

目标线检测程序50包括图像输入处理52、检测处理54、提取处理56以及检测结果输出处理58。CPU 42通过执行图像输入处理52来用作为图1中示出的图像输入部12。CPU 42通过执行检测处理54来用作为图1中示出的检测部14。CPU 42通过执行提取处理56来用作为图1中示出的提取部16。CPU 42通过执行检测结果输出处理58来用作为图1中示出的检测结果输出部18。因此，计算机40通过执行目标线检测程序50来用作为目标线检测设备10。

注意，还可以通过半导体集成电路例如更具体地通过专用集成电路(ASIC)等来实现目标线检测设备10。

接着，说明根据第一示例性实施方式的目标线检测设备10的操作。在面部图像已被输入到目标线检测设备10时，目标线检测设备10执行图7中示出的目标线检测处理。

在图7中示出的目标线检测处理的步骤S10处，图像输入部12接收输入面部图像。此外，图像输入部12检测输入面部图像中的面部区域以识别面部顶底方向，并且旋转面部图像使得面部顶底方向匹配面部图像顶底方向。

接着，在步骤S12处，检测部14生成其中从面部图像中提取仅亮度分量的亮度图像61。然后，在步骤S14处，检测部14将竖直方向梯度滤波器70施用至亮度图像61。检测部14根据滤波器结果来生成表示三元值的三元图像62，所述三元值为正光度梯度强度值像素、负光度梯度强度值像素以及零像素。

接着，在步骤S16处，检测部14将在表示滤波器结果的三元图像62中具有相同像素值的相邻像素分组在一起。然后检测部14在表示滤波器结果的三元图像62中将0的像素值分配给包含在其中分组的区域的表面面积是特定大小或以下的小区域中的像素以生成从其中去除了小区域的三元图像63。

接着，在步骤S18处，检测部14从其中去除了小区域的三元图像63中的灰色像素中检测下述灰色像素作为与过渡点对应的像素：其中在灰色像素上方(朝向面部的顶部)的像素也是灰色像素，并且在灰色像素下方(朝向面部的底部)的像素是白色像素。然后，检测部14标记与过渡点对应的像素。

接着，在步骤S20处，提取部16寻找彼此处于特定距离内的标记像素(与过渡点对应的像素)，并且提取将找到的像素连接在一起的连接线。具体地，如图4所示，例如，提取部16在起点像素67的右手侧相邻列中的特定数量(在图4示出的示例中为5)的像素中寻找标记像素。在找到标记像素时，提取部16将起点像素67和找到的像素作为表示同一连接线的像素，并且记录连接线列表中的像素的坐标(像素位置，[X，Y])。提取部16重复处理以使用找到的像素作为新的起点像素67在周边像素中寻找标记像素。

在没有找到标记像素时，提取部16从向右方更远一个像素的列中的特定数量的像素中寻找标记像素。当甚至在将寻找区域向右扩大了N行的情况下也没有找到标记像素时，结束对要设定的第一起点像素67的右手侧的寻找。然后，提取部16与右手侧寻找类似地寻找要设定的第一起点像素67的左手侧。在提取部16完成了左手侧寻找和右手侧寻找二者时，从最小X坐标值开始以升序布置在连接线列表中记录的坐标。然后，提取部16得到连接线的长度，并在连接线列表中记录该长度。

接着，在步骤S22处，提取部16针对每个连接线来执行在图8中详细示出的候选者提取处理，以提取具有向下凸状曲线形状的连接线。注意，采用下述图像坐标系：X坐标在朝右的前进上增大并且Y坐标在向下的前进上增大，面部图像的顶部左手像素作为原点。如图5所示，从最小X坐标开始以X坐标的升序按照第0坐标、第1坐标等直到第N-1坐标为止的顺序来记录在连接线列表中记录的坐标列表。注意，N是指在包含在各个连接线列表中的坐标列表中记录的坐标的总数量。

在图8中示出的候选者提取处理的步骤S26处，提取部16将与在包含在表示全部连接线的连接线列表中的坐标列表中记录的坐标中的最大Y坐标值(Y值)对应的最大Y值设定为0。此外，提取部16因此将最大Y值索引设定为0，以对应于在包括具有最大Y值的坐标的坐标列表中的最大Y值坐标的索引号。

接着，在步骤S28处，提取部16执行图9中详细示出的最低坐标提取处理。

在图9中示出的最低坐标提取处理的步骤S46处，提取部16将变量i设定为0。接着，在步骤S48处，提取部16确定i是否小于N(在包含在要处理的连接线列表中的坐标列表中记录的坐标的数量)。当i<N时，处理转到步骤S50。

在步骤S50处，提取部16确定第i坐标的Y值是否大于最大Y值的设定值。当第i坐标的Y值>最大Y值时，处理转到步骤S52。在步骤S52处，提取部16在处理转到步骤S54之前将第i坐标的Y值设定为最大Y值，并且将i设定为最大Y值索引。然而，当第i坐标的Y值≤最大Y值时，跳过步骤S52并且处理转到步骤S54。

在步骤S54处，提取部16使i递增，并且处理返回至步骤S48。当在步骤S48处提取部16确定出i≥N时，处理返回至候选者提取处理。当进行上述处理时，提取由被设定为最大Y值索引的i标识的坐标作为具有最大Y值的坐标，也就是说，作为最低坐标。

接着，在图8中示出的候选者提取处理的步骤S30处，提取部16计算N除以特定值(例如“4”)的值作为“余量”。接着，在步骤S32处，提取部16确定在步骤S28处提取的最低坐标是否朝向连接线的端部偏离中心。当最低坐标朝向连接线的端部偏离中心时，存在有下述的高概率：连接线不是表示为检测目标的下巴的目标线，因此不提取连接线作为目标线候选者。例如，提取部16确定是否存在最大Y值索引≥余量，以及是否存在最大Y值索引<(N-余量)。当确定为肯定时，最低坐标被确定为居中，也就是说，没有朝向连接线的端部偏离中心，并且处理转到步骤S34。当确定为否定时，最低坐标被确定为朝向连接线的端部偏离中心，并且在不提取连接线作为针对目标线的候选者的情况下结束针对连接线的候选者提取处理。

在步骤S34处，提取部16计算N除以特定值(例如“8”)的值作为“步长”。“步长”是用于确定在处理期间减薄在坐标列表中记录的坐标时要进行的减薄的程度(处理期间要跳过多少坐标)的值。可以进行配置使得在不进行减薄并且所有坐标都要受到处理时步长＝1。

接着，在步骤S36处，提取部16分别将用于对要受到处理的坐标进行计数的变量allCount和用于对要受到处理的坐标中的满足向下凸状曲线形状形成条件的坐标进行计数的变量okCount设定为0。

接着，在步骤S38处，提取部16执行在图10中详细示出的前部检查处理。

在图10中示出的前部检查处理的步骤S56处，提取部16将(最大Y值索引-步长)设定为变量i。接着，在步骤S58处，提取部16确定i是否为0或更大。当i≥0时，处理转到步骤S60。

在步骤S60处，确定坐标列表中的第i坐标的Y值是否小于第(i+步长)坐标的Y值。当第i坐标的Y值<第(i+步长)坐标的Y值时，第i坐标被确定为满足形成向下凸状曲线形状的条件的坐标，并且处理转到步骤S62。在步骤S62处，提取部16使okCount递增1，并且处理转到步骤S64。然而，当第i坐标的Y值≥第(i+步长)坐标的Y值时，第i坐标被确定为不满足形成向下凸状曲线形状的条件的坐标，跳过步骤S62，并且处理转到步骤S64。

在步骤S64处，提取部16使allCount递增1。接着，在步骤S66处，提取部16将(i-步长)设定为i，并且处理返回至步骤S58。当在步骤S58处提取部16确定出i<0时，针对坐标列表的前部，也就是说针对具有比最低坐标更小的X值的坐标，结束对是否满足了形成向下凸状曲线形状的条件的确定，并且处理返回至候选者提取处理。

接着，在图8中示出的候选者提取处理的步骤S40处，提取部16执行图11中详细示出的后部检查处理。

在图11中示出的后部检查处理的步骤S68处，提取部16将(最大Y值索引+步长)设定为变量i。接着，在步骤S70处，提取部16确定i是否小于N。当i<N时，处理转到步骤S72。

在步骤S72处，提取部16确定坐标列表的第i坐标的Y值是否小于第(i-步长)坐标的Y值。当第i坐标的Y值<第(i-步长)坐标的Y值时，第i坐标被确定为满足形成向下凸状曲线形状的条件的坐标，并且处理转到步骤S74。随后的从步骤S74至步骤S78的处理类似于图10中示出的前部检查处理的从步骤S62至步骤S66的处理。当在步骤S70处提取部16确定出i≥N时，针对坐标列表的后部，也就是说针对具有比最低坐标更大的X值的坐标，结束对是否满足了形成向下凸状曲线形状的条件的确定，并且处理返回至候选者提取处理。

接着，在图8中示出的候选者提取处理的步骤S42处，提取部16确定包含在连接线列表中的坐标中的特定部分的坐标是否满足形成向下凸状曲线形状的条件。例如，提取部16确定是否存在okCount/allCount>0.8。当确定为肯定时，处理转到步骤S44，并且提取部16提取连接线作为针对目标线的候选者。当确定为否定时，在不提取连接线作为针对目标线的候选者的情况下结束针对该连接线的候选者提取处理。当针对全部连接线完成了对是否提取连接线作为针对目标线的候选者的确定时，处理返回至目标线检测处理。

接着，在图7中示出的目标线检测处理的步骤S24处，提取部16使用在连接线列表中记录的长度来从被提取作为目标线候选者的具有向下凸状曲线形状的连接线中提取最长连接线作为表示下巴的目标线。然后，检测结果输出部18输出由提取部16提取的表示下巴的目标线作为检测结果，并且目标线检测处理结束。

如上所述，根据第一示例性实施方式的目标线检测设备10在考虑到光入射到面部起伏的方式的不同的情况下检测与具有向上光度梯度的像素和具有向下光度梯度的像素之间的过渡点对应的像素。然后，提取将与过渡点对应的像素连接在一起的连接线，并且基于连接线的形状和长度来从所提取的连接线中提取表示检测目标的目标线。从而，甚至在弱的色差和光度对比度的位置处也可以提取目标线，使得能够抑制对不同于检测目标例如痣或皱纹的线的错误检测，并且使得能够以良好的精度检测目标线。

注意，在第一示例性实施方式中，已经说明了其中基于坐标值的大小来确定连接线是否具有向下凸状曲线形状的情况，然而，不限于此。例如，可以制备模拟为检测目标的下巴的向下凸状曲线，并且该曲线分别嵌合所提取的连接线。可以将具有特定值或更大值的匹配程度的连接线确定为具有向下凸状曲线形状。

第二示例性实施方式

接着，说明第二示例性实施方式。类似于第一示例性实施方式，在第二示例性实施方式中，给出关于下述情况的说明：其中在人面部的图像中检测表示为检测目标的下巴的线。

如图12所示，根据第二示例性实施方式的目标线检测设备210包括图像输入部12、检测部14、估计部20、提取部216以及检测结果输出部18。注意，给与根据第一示例性实施方式的目标线检测设备10的部分类似的部分分配相同的附图标记，并且省略对其的详细说明。

如图13所示，估计部20在面部图像或亮度图像61中检测眼睛区域71，并且基于针对眼睛区域71的检测结果来估计下巴区域72。例如，在检测眼睛区域71时可以采用公知的方法例如使用字典的模式匹配。例如，如图13所示，为了基于眼睛区域71的检测结果来估计下巴区域72，可以在眼睛区域71下方以两个各自眼睛区域71的中心之间的距离的1倍至1.5倍的范围内的竖直宽度来估计下巴区域72。下巴区域72的横向宽度可以是两个眼睛区域71的外侧竖直边缘之间的宽度。

与第一示例性实施方式的提取部16类似，提取部216从与由检测部14检测的过渡点对应的像素中提取将彼此处于特定距离内的像素连接在一起的连接线。此外，提取部216基于所提取的连接线的形状或长度或形状与长度的组合来从连接线中提取表示为检测目标的下巴的目标线。当进行上述处理时，提取部216从所提取的连接线中从包含在由估计部20估计的下巴区域72中的连接线中提取表示为检测目标的下巴的目标线。

如图6所示，例如，可以通过计算机240来实现目标线检测设备210。计算机240包括通过总线49连接到一起的CPU 42、存储器44、存储部46、输入输出I/F 47以及网络I/F 48。存储部46存储有使计算机240用作为目标线检测设备210的目标线检测程序250。CPU 42从存储部46读取目标线检测程序250，在存储器44中扩展目标线检测程序250，并且顺序地执行目标线检测程序250的处理。

目标线检测程序250包括图像输入处理52、检测处理54、估计处理60、提取处理256以及检测结果输出处理58。CPU 42通过执行估计处理60来用作为图12中示出的估计部20。CPU 42通过执行提取处理256来用作为图12中示出的提取部216。其他处理与第一示例性实施方式的目标线检测程序50的处理类似。因此，计算机240通过执行目标线检测程序250来用作为目标线检测设备210。

注意，还可以通过例如半导体集成电路更具体地通过ASIC等来实现目标线检测设备210。

接着，说明根据第二示例性实施方式的目标线检测设备210的操作。在面部图像已被输入到目标线检测设备210时，目标线检测设备210执行图14中示出的目标线检测处理。注意，给与第一示例性实施方式的目标线检测处理类似的处理分配相同的附图标记，并且省略对其的详细说明。

在完成了步骤S18的处理时，处理转到步骤S80，并且估计部20从面部图像或亮度图像61中检测眼睛区域71，并且基于针对眼睛区域71的检测结果来估计下巴区域72。接着，在步骤S20处，提取部216从与所检测的过渡点对应的像素中提取将彼此处于特定距离内的像素连接在一起的连接线。接着，在步骤S22处，提取部216针对包含在步骤S80处估计的下巴区域72内的连接线来执行在图8中示出的候选者检测处理。然后，提取部216从包含在下巴区域72内的连接线中提取具有向下凸状曲线形状的连接线作为针对表示为检测目标的下巴的连接线的候选者。

接着，在步骤S24处，提取部216提取被提取作为针对目标线的候选者的连接线中的最长连接线作为表示为检测目标的下巴的目标线，并且输出该最长连接线作为检测结果。然后目标线检测处理结束。

注意，在上述目标线检测处理中，给出了关于下述情况的说明：其中在确定包含在所估计的下巴区域内的连接线是否是具有向下凸状曲线形状的连接线之前，在整个亮度图像中检测过渡点，并且提取连接过渡点的连接线。但是，可以进行配置使得在提取连接线之前估计下巴区域，使得能够提取将下巴区域内的过渡点连接在一起的连接线。此外，可以进行配置使得在检测过渡点之前估计下巴区域，使得能够在下巴区域内检测过渡点。

如上所述，在第二示例性实施方式的目标线检测设备210中，在估计其中要对检测目标进行检测的区域之后提取表示检测目标的线。因此，除了第一示例性实施方式的有益效果之外，使得能够降低处理负荷，并且例如甚至当在背景中捕获了长的向下突出线时也可以抑制错误检测。

第三示例性实施方式

接着，说明第三示例性实施方式。类似于第一示例性实施方式，在第三示例性实施方式中，给出关于下述情况的说明：其中在人面部的图像中检测表示为检测目标的下巴的线。

如图1所示，根据第三示例性实施方式的目标线检测设备310包括图像输入部12、检测部314、提取部16以及检测结果输出部18。注意，给与根据第一示例性实施方式的目标线检测设备10的部分类似的部分分配相同的附图标记，并且省略对其的详细说明。

与第一示例性实施方式的检测部14类似，检测部314生成其中从自图像输入部12接收的面部图像中提取仅亮度分量的亮度图像。检测部314施用例如如图2中示出的竖直方向梯度滤波器70来针对亮度图像中的每个像素计算顶底方向光度梯度强度。

如果所施用的竖直方向梯度滤波器70的大小不适合于包含在面部图像中的面部区域的大小，则存在有光度梯度强度的计算精度降低的问题以及目标线的检测精度降低的问题。例如，如果竖直方向梯度滤波器70的大小相对于面部区域的大小来说太大，则光度梯度强度值可能并入噪声。但是，如果竖直方向梯度滤波器70的大小对面部区域来说太小，则所计算的光度梯度强度可能给出局部值，使得不能检测期望的边界。

因此，检测部314改变面部区域的大小即亮度图像61的大小或竖直方向梯度滤波器70的大小或其组合，使得面部区域的大小和竖直方向梯度滤波器70的大小适合于彼此。

具体地，检测部314使用公知的方法在例如亮度图像61中检测矩形形状面部区域。如图15的上部部分所示，检测部314选择与所检测的面部区域的大小对应的滤波器大小。检测部314能够通过参照表例如图16中示出的示例来选择滤波器大小，在图16的示例中，通过测试等预先限定了面部区域的大小与滤波器大小之间的适当的对应关系。

可替代地，如图15的下部部分所示，检测部314计算放大因子以使所检测的面部区域的大小为与所设置的滤波器的大小对应的大小，并且采用所计算的放大因子来修改亮度图像61(图15中的61A)的大小。检测部314还可以修改亮度图像61的大小和滤波器大小二者以给出面部区域的大小与滤波器大小之间的适当的对应关系。

如图6所示，例如，可以通过计算机340来实现目标线检测设备310。计算机340包括通过总线49连接到一起的CPU 42、存储器44、存储部46、输入输出I/F 47以及网络I/F 48。存储部46存储有使计算机340用作为目标线检测设备310的目标线检测程序350。CPU 42从存储部46读取目标线检测程序350，在存储器44中扩展目标线检测程序350，并且顺序地执行目标线检测程序350的处理。

目标线检测程序350包括图像输入处理52、检测处理354、提取处理56以及检测结果输出处理58。CPU 42通过执行检测处理354来用作为图1中示出的检测部314。其他处理与第一示例性实施方式的目标线检测程序50的处理类似。因此，计算机340通过执行目标线检测程序350来用作为目标线检测设备310。

注意，还可以通过例如半导体集成电路更具体地通过ASIC等来实现目标线检测设备310。

接着，说明根据第三示例性实施方式的目标线检测设备310的操作。在面部图像已被输入到目标线检测设备310时，目标线检测设备310执行图7中示出的目标线检测处理。然而，在步骤S14处将竖直方向梯度滤波器70施用至亮度图像61期间进行图17中示出的滤波器大小修改处理或图18中示出的图像大小修改处理。

在图17中示出的滤波器大小修改处理的步骤S84处，检测部314例如从亮度图像61中检测矩形形状面部区域。接着，在步骤S86处，检测部314将变量L设定为1，变量L表示面部区域的大小与滤波器大小之间的对应关系水平。在例如图16中示出的表中限定了面部区域的大小与滤波器大小之间的对应关系以及对应关系水平。在图16的示例中，以升序将面部区域的大小与滤波器大小限定为水平1、水平2等。

接着，在步骤S88处，检测部314确定L是否是在图16中示出的表中限定的最大水平，或者所检测的面部区域的大小是否小于水平L的面部区域的大小。当确定为肯定时，处理转到步骤S92，并且检测部314设定针对要施用的竖直方向梯度滤波器70的滤波器大小的水平L滤波器大小。然而，当在步骤S88处确定为否定时，处理转到步骤S90，检测部314使L递增1，并且处理返回至步骤S88。

在图18中示出的图像大小修改处理的步骤S94处，检测部314设定与所设置的竖直方向梯度滤波器70的滤波器大小对应的水平作为目标水平。接着，在步骤S96处，检测部314例如从亮度图像61中检测矩形形状面部区域。

接着，在步骤S98处，检测部314通过给在步骤S94处设定的目标水平面部区域的大小除以在步骤S96处检测的面部区域的大小来计算放大因子。接着，在步骤S100处，检测部314修改亮度图像61的大小，使得修改后的亮度图像61的宽度和高度为以下大小：

修改后的宽度＝修改前的宽度×放大因子的平方根

修改后的高度＝修改前的高度×放大因子的平方根

如上所述，在根据第三示例性实施方式的目标线检测设备310中，使面部区域的大小与滤波器大小适当对应。因此，除了第一示例性实施方式的有益效果之外，使得能够增大光度梯度的计算精度，并且使得能够增大目标线的检测精度。

注意，如在第二示例性实施方式中那样，第三示例性实施方式可以设置有对包含检测目标的区域进行估计的估计部。

此外，在第三示例性实施方式中，给出了关于下述情况的说明：其中检测部314当修改图像大小时修改亮度图像的大小，但不限于此。可以进行配置使得在面部图像被传递到检测部之前，图像输入部使用与上述处理类似的处理将面部图像修改成适当大小。

第四示例性实施方式

说明第四示例性实施方式。在第四示例性实施方式中，给出关于下述情况的说明：其中在人面部的图像中检测表示作为检测目标的笑纹线的线。

如图1所示，根据第四示例性实施方式的目标线检测设备410包括图像输入部12、检测部414、提取部416以及检测结果输出部18。注意，给与根据第一示例性实施方式的目标线检测设备10的部分类似的部分分配相同的附图标记，并且省略对其的详细说明。

与第一示例性实施方式的检测部14类似，检测部414生成其中从自图像输入部12接收的面部图像中提取仅亮度分量的亮度图像。检测部414施用例如如图2中示出的竖直方向梯度滤波器70来针对亮度图像中的每个像素计算顶底方向光度梯度强度。当进行上述处理时，如图19所示，检测部414将亮度图像61旋转特定角度(图19中的61B)，使得竖直方向梯度滤波器70的方向(在本示例中为向上方向或向下方向)与为检测目标的笑纹线相交。

笑纹线是指从鼻子的两侧延伸到嘴唇的两端的线，并且是表现为线的面颊周边的缺口。检测部414首先从亮度图像61中检测两个眼睛区域和鼻子区域。可以采用公知的方法例如在JP-A第2006-38689号中描述的方法来检测鼻子区域。检测部414旋转亮度图像使得将两个眼睛区域和鼻子区域的各自中心连接在一起的三角形形状的边中的将右眼区域连接到鼻子区域的边变为竖直。因此右脸颊(在面部图像的左手侧)的笑纹线表现为在大致水平方向上延伸的向上凸状曲线形状。

在笑纹线上方(朝向经旋转的亮度图像61B的顶部)的区域是下述平面：在向下前进上朝向后方退却，并且在向下前进上光度减小。在笑纹线下方(朝向经旋转的亮度图像61B的底部)的区域是下述平面：在向下前进上朝向前方伸出，并且在向下前进上光度增大。也就是说，在亮度图像61B中在从顶部到底部的前进上光度减小的区域与在亮度图像61B中在从顶部到底部的前进上光度增大的区域之间的边界出现在笑纹线上。因此，可以通过将图2中示出的竖直方向梯度滤波器70施用至经旋转的亮度图像61B(图19中的63B)来检测与笑纹线对应的边界。

此外，如上所述，在笑纹线上方(朝向经旋转的亮度图像61B的顶部)的区域是在向下前进上朝向后方退却的平面，并且在笑纹线下方(朝向经旋转的亮度图像61B的底部)的区域是在向下前进上朝向前方伸出的平面。因此，类似于下巴为检测目标的情况，检测部414检测与下述两个区域之间的边界对应的过渡点：具有到上侧的负光度梯度强度值的区域，以及具有到下侧的正光度梯度强度值的区域。

此外，在检测左脸颊(在面部图像的右手侧)的笑纹线时，检测部414旋转亮度图像61使得将两个眼睛区域和鼻子区域的各自中心连接在一起的三角形形状的边中的将左眼区域连接到鼻子区域的边变为竖直。

与第一示例性实施方式的提取部16类似，提取部416从与由检测部414检测的过渡点对应的像素中提取将彼此处于特定距离内的像素连接在一起的连接线(图19中的64B)。此外，提取部416从所提取的连接线中提取具有向上凸状曲线形状的连接线作为针对目标线的候选者。与在第一示例性实施方式的候选者提取处理中类似，可以通过顺序地比较坐标值的大小来确定是否存在有向上凸状。在其中存在有为针对目标线的候选者的多个连接线的情况下，提取部416提取具有与鼻子区域最接近的坐标的连接线。

如图6所示，例如，可以通过计算机440来实现目标线检测设备410。计算机440包括通过总线49连接到一起的CPU 42、存储器44、存储部46、输入输出I/F 47以及网络I/F 48。存储部46存储有使计算机440用作为目标线检测设备410的目标线检测程序450。CPU 42从存储部46读取目标线检测程序450，将目标线检测程序450扩展到存储器44，并且顺序地执行目标线检测程序450的处理。

目标线检测程序450包括图像输入处理52、检测处理454、提取处理456以及检测结果输出处理58。CPU 42通过执行检测处理454来用作为图1中示出的检测部414。CPU 42通过执行提取处理456来用作为图1中示出的提取部416。其他处理与第一示例性实施方式的目标线检测程序50的处理类似。因此，计算机440通过执行目标线检测程序450来用作为目标线检测设备410。

注意，还可以通过例如半导体集成电路更具体地通过ASIC等来实现目标线检测设备410。

接着，说明根据第四示例性实施方式的目标线检测设备410的操作。在面部图像已被输入到目标线检测设备410时，目标线检测设备410执行图20中示出的目标线检测处理。注意，给与第一示例性实施方式的目标线检测处理类似的处理分配相同的附图标记，并且省略对其的详细说明。

在完成了步骤S12的处理时，处理转到步骤S102。在步骤S102处，检测部414在光度图像61中检测两个眼睛区域和鼻子区域。然后，检测部414旋转亮度图像使得将两个眼睛区域和鼻子区域的各自中心连接在一起的三角形形状的边中的将右眼区域连接到鼻子区域的边变为竖直。

接着，与第一示例性实施方式的目标线检测处理类似地执行步骤S14至步骤S20的处理。然后，在步骤S104处，执行图8中示出的候选者提取处理。然而，在第四示例性实施方式中，确定连接线是否具有向上凸状曲线形状。因此，在图8中示出的候选者提取处理中，用最小Y值来替代最大Y值，将大值设定为初始最大Y值(例如，图像的竖直宽度或无穷大的值)。此外，在图8中示出的候选者提取处理中，用最高坐标来替代最低坐标(包含在表示连接线的连接线列表中的坐标列表中的坐标中的最小Y值)。

在图9的步骤S50处，确定是否存在坐标列表中的第i坐标的Y值<最小Y值。此外，在图10的步骤S60处，确定是否存在坐标列表中的第i坐标的Y值>第(i-步长)坐标的Y值。此外，在图11的步骤S72处，确定是否存在坐标列表中的第i坐标的Y值<第(i-步长)坐标的Y值。

接着，在步骤S106处，提取部416从是针对目标线的候选者的连接线中提取具有与鼻子区域最接近的坐标的连接线作为表示笑纹线的目标线。然后，检测结果输出部18输出由提取部416提取的表示笑纹线的目标线作为检测结果，并且目标线检测处理结束。

如上所述，与检测下巴的情况类似，根据第四示例性实施方式的目标线检测设备410使得能够在检测笑纹线时以良好的精度检测目标线。

注意，在第四示例性实施方式中，已经说明了其中旋转面部图像或亮度图像使得检测目标线与梯度滤波器的方向相交的情况，然而，可以在将梯度滤波器施用至亮度图像之前旋转梯度滤波器。例如，可以旋转梯度滤波器使得将两个眼睛区域和鼻子区域的各自中心连接在一起的三角形形状的边中的将右眼区域或左眼区域连接到鼻子区域的边与梯度滤波器的方向对准。

此外，如在第二示例性实施方式中那样，第四示例性实施方式可以设置有对包含检测目标的区域进行估计的估计部。如在第三示例性实施方式中那样，还可以修改面部图像的大小或滤波器大小使得面部图像的大小与滤波器大小适当地彼此对应。

在第一示例性实施方式至第三示例性实施方式中，说明了其中检测目标是下巴的情况，以及在第四示例性实施方式中，说明了其中检测目标是笑纹线的情况，但不限于此。本文公开的技术可以应用于被设置成在下述两个区域之间的边界处形成线的其他检测目标：具有第一方向上的光度梯度的区域，以及具有与第一方向相反的第二方向上的光度梯度的区域。足以提取出现在光度梯度过渡的边界的线，然后足以确定这种线的形状或长度或形状与长度的组合是否表现出检测目标的特性。

上面已经说明了其中将目标线检测程序50、250、350、450预先存储(安装)在存储部46中的情况，然而，也可以将目标线检测程序50、250、350、450设置在被记录在存储介质例如CD-ROM或DVD-ROM上的格式中。

Claims (12)

1.一种目标线检测设备，包括：

检测部，所述检测部在根据输入图像的亮度分量获得的亮度图像中，检测以下像素：所述像素是在具有第一方向上的光度梯度的像素与具有与所述第一方向相反的第二方向上的光度梯度的像素之间的过渡点；以及

提取部，所述提取部基于将彼此处于预定距离内的过渡点连接在一起的线的形状或长度或形状与长度的组合，从将所述过渡点连接在一起的线中提取表示检测目标的线，其中，所述预定距离是能够确定像素是否指示同一线的像素间距离。

2.根据权利要求1所述的目标线检测设备，其中：

在所述检测目标为下巴的情况下，在提取表示所述检测目标的线时，具有向下凸状曲线形状的线中具有最长长度的线从将所述过渡点连接在一起的线中被提取作为表示所述检测目标的线。

3.根据权利要求2所述的目标线检测设备，还包括：

估计部，所述估计部基于眼睛位置检测结果来估计所述下巴的位置；并且

在提取表示所述检测目标的线时，所述提取部从包含由所述估计部估计的所述下巴位置的区域中提取表示所述检测目标的线。

4.根据权利要求1至3中任一项所述的目标线检测设备，其中：

在将光度梯度滤波器施用至所述亮度图像以针对每个像素计算光度梯度时，所述检测部基于包含在所述亮度图像中的面部区域的大小来修改所述亮度图像的大小或所述光度梯度滤波器的大小。

5.一种目标线检测方法，包括：

在根据输入图像的亮度分量获得的亮度图像中，检测以下像素：所述像素是在具有第一方向上的光度梯度的像素与具有与所述第一方向相反的第二方向上的光度梯度的像素之间的过渡点；以及

通过处理器基于将彼此处于预定距离内的过渡点连接在一起的线的形状或长度或形状与长度的组合，从将所述过渡点连接在一起的线中提取表示检测目标的线，其中，所述预定距离是能够确定像素是否指示同一线的像素间距离。

6.根据权利要求5所述的目标线检测方法，其中：

在所述检测目标为下巴的情况下，在提取表示所述检测目标的线时，从将所述过渡点连接在一起的线中提取具有向下凸状曲线形状的线中具有最长长度的线作为表示所述检测目标的线。

7.根据权利要求6所述的目标线检测方法，还包括：

基于眼睛位置检测结果来估计所述下巴的位置；并且

在提取表示所述检测目标的线时，从包含所估计的下巴位置的区域中提取表示所述检测目标的线。

8.根据权利要求5至7中任一项所述的目标线检测方法，其中：

在将光度梯度滤波器施用至所述亮度图像以针对每个像素计算光度梯度时，基于包含在所述亮度图像中的面部区域的大小来修改所述亮度图像的大小或所述光度梯度滤波器的大小。

9.一种存储有使计算机执行目标线检测处理的程序的非暂态记录介质，所述处理包括：

在根据输入图像的亮度分量获得的亮度图像中，检测以下像素：所述像素是在具有第一方向上的光度梯度的像素与具有与所述第一方向相反的第二方向上的光度梯度的像素之间的过渡点；以及

基于将彼此处于预定距离内的过渡点连接在一起的线的形状或长度或形状与长度的组合，从将所述过渡点连接在一起的线中提取表示检测目标的线，其中，所述预定距离是能够确定像素是否指示同一线的像素间距离。

10.根据权利要求9所述的非暂态记录介质，其中，在所述目标线检测处理中：

在所述检测目标为下巴的情况下，在提取表示所述检测目标的线时，从将所述过渡点连接在一起的线中提取具有向下凸状曲线形状的线中具有最长长度的线作为表示所述检测目标的线。

11.根据权利要求10所述的非暂态记录介质，所述目标线检测处理还包括：

基于眼睛位置检测结果来估计所述下巴的位置；并且

在提取表示所述检测目标的线时，从包含所估计的下巴位置的区域中提取表示所述检测目标的线。

12.根据权利要求9至11中任一项所述的非暂态记录介质，其中，在所述目标线检测处理中：

在将光度梯度滤波器施用至所述亮度图像以针对每个像素计算光度梯度时，基于包含在所述亮度图像中的面部区域的大小来修改所述亮度图像的大小或所述光度梯度滤波器的大小。