CN101159018A - 一种图像特征点定位方法及装置 - Google Patents

Abstract

本发明公开了一种图像特征点定位方法及装置，用以解决现有技术中存在的图像特征点定位效率低、应用受限的问题。本发明方法包括：采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域；确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。本发明用于对图像中的特征点进行定位，提高图像定位速率，并扩大了图像定位的应用范围。

Description

一种图像特征点定位方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像特征点定位方法及装置。

背景技术

在图像理解和计算机视觉技术领域中，包括人脸识别和人机交互等多种应用都需要快速准确地定位到图像中的人眼位置。为了能检测到图像中任意位置和大小的眼睛，必须对图像进行搜索，已定位图像中的眼睛的具体位置。现有技术中对图像中的眼睛进行定位的算法，参见图1，包括：

S101、通过人脸检测获得人脸位置和大小信息，并采用统计方式确定左眼搜索区域和右眼搜索区域。

即确定左眼和右眼在图像中的可能出现位置范围，将每个可能的位置称为初选位置。

S102、在所述左眼与右眼搜索区域内，分别采用左眼局部特征检测器与右眼局部特征检测器，为每个左眼初选位置和右眼初选位置确定一个单眼置信度数值。

置信度的数值越大，说明相应的眼睛位置越接近真实的眼睛位置。

S103、从所有左眼初选位置与右眼初选位置中，分别选择最大的前N个位置作为左眼候选位置和右眼候选位置，并将所有左眼和右眼候选位置配成双眼候选对。

S104、采用双眼区域验证器作为全局约束，对每个双眼候选对进行判别，并为每个双眼候选对确定一个双眼置信度数值。

S105、选择双眼置信度数值最大的前M个双眼候选对，对其中的所有左眼候选位置与所有右眼候选位置分别计算平均值，已确定图像中的左眼特征点位置和右眼特征点位置。

综上所述，现有技术中，有些直接在图像中搜索眼睛位置的算法，运算量太大而造成运算速度太低，无法满足实时要求；而其他算法首先采用人脸检测技术搜索人脸区域，并根据人脸区域限定眼睛的搜索范围，虽然提高了处理速度，但是，只有当人脸区域处于图像中时才能够检测到人脸并且定位到眼睛，对于某些情况下，被拍摄者距离图像采集设备太近而造成只有眼睛等部分人脸区域出现在图像中时，利用上述技术无法检测到人脸区域，从而无法定位到图像中的眼睛位置，使得某些应用受到了限制。

发明内容

本发明实施例提供了一种图像特征点定位方法及装置，用以解决现有技术中存在的图像特征点定位效率低、应用受限的问题。

本发明实施例提供的一种图像特征点定位方法，用于定位图像中的人的双眼位置，该方法包括：

采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域；

确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；

选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。

本发明实施例提供的一种图像特征点定位装置，用于定位图像中的人的双眼位置，该装置包括：

双眼区域检测单元，用于采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域；

候选位置确定单元，用于确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；

双眼位置确定单元，用于选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。

本发明实施例，采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域，并进一步确定所述双眼区域上的左眼搜索区域和右眼搜索区域；采用左眼局部特征检测器和右眼局部特征检测器分别对左眼搜索区域和右眼搜索区域进行检测，得到左眼和右眼的候选位置；进而采用双眼区域验证器确定左眼位置和右眼位置。通过该技术方案，避免了现有技术中需要人脸图像全部呈现在输入图像中，才能确定人脸图像上的特征点位置。因此，采用本发明实施例提供的技术方案实现的特征点定位效率更高，应用更广。

附图说明

图1为现有技术对图像中的眼睛特征点进行定位的方法流程示意图；

图2为本发明实施例提供的对图像中的眼睛特征点进行定位的方法流程示意图；

图3为本发明实施例提供的训练双眼区域检测器的方法流程示意图；

图4为本发明实施例提供的四类微结构特征示意图；

图5为本发明实施例提供的双眼区域检测器的工作流程示意图；

图6为本发明实施例提供的对输入图像进行旋转的示意图；

图7为本发明实施例提供的通过对输入图像进行旋转以定位到输入图像中的眼睛特征点的方法流程示意图；

图8为本发明实施例提供的对图像中的眼睛特征点进行定位的装置结构示意图。

具体实施方式

本发明实施例，以对图像中的人的眼睛特征点进行定位为例，提供了一种图像特征点定位方法及装置。本发明实施例不依赖于人脸检测算法的眼睛定位算法，克服了现有技术需要人的脸部全部呈现在图像中的限制。

下面结合附图，介绍本发明实施例的具体实现方式。

参见图2，本发明实施例提供的对图像中的眼睛特征点进行定位的方法，包括：

S201、采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域。

S202、确定所述双眼区域上的左眼搜索区域和右眼搜索区域。

S203、采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器检测对所述右眼搜索区域进行检测，得到右眼候选位置。

S204、选择置信度最大的若干左眼候选位置和右眼候选位置进行配对。

S205、采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，并且，对置信度最大的若干对左眼候选位置和右眼候选位置分别进行平均，得到左眼位置和右眼位置。

较佳地，对置信度最大的若干对左眼候选位置和右眼候选位置分别进行加权平均，得到左眼位置和右眼位置。

本发明实施例中提到的图像中的双眼区域，定义为以左眼右眼连线的中心点为中心，以双眼距离的一定倍数为宽度，双眼距离的一定倍数为高度的区域。双眼区域仅包含图像中的双眼及其附近区域，而不必包含鼻子和嘴巴等其他脸部特征区域。

参见图3，步骤S201中，预先训练能够在图像中快速准确地定位到双眼区域的检测器的步骤包括：

S301、采集图像，其中包括多种姿态和光照条件下的人脸图像，以及包含人脸其他特征区域的图像、不包含人脸的图像。

为了使得到的双眼区域检测器的检测效果更佳，可以采集多种姿态下的人脸图像。人脸相对图像采集设备的姿态要有一定的俯仰及旋转角度，例如可以设定为上下俯仰正负20度，左右旋转正负25度，顺时针、逆时针平面内旋转15度等。还需要采集各种光照亮度条件下的图像，以及各种测光和偏光条件下的图像。采用这样的训练图像训练得到的双眼区域检测器的检测效果的鲁棒性会很强，能够检测到各种姿态和光照条件下的双眼区域。

S302、根据定义的双眼区域大小，割取双眼区域样本，并归一化为统一大小，所述双眼区域样本包括正样本及反样本，所述正样本为包含双眼区域的样本，所述反样本为包含人脸其他特征区域的样本或其他不包含人脸的样本。

为了计算方便，定义的双眼区域的宽度和高度的比值可以设定为分数，如可以设定为20/12，或20/14，或20/16等，样本的宽度可以取为20像素、24像素或25像素等。

S303、采用微结构特征作为弱特征，采用自适应增强(Adaboost)算法作为分类器构造算法训练得到双眼区域检测器。

微结构特征最早应用于人脸检测中，由于微结构特征能够通过输入图像的积分图像快速计算得到，因而微结构特征取得了很广泛地应用。图4示出了四类微结构特征。

为了提高处理速度，采用层次型Adaboost算法作为分类器构造算法。层次型Adaboost算法，是现在使用最广泛的分类器构造算法之一，在包含人脸检测的很多技术领域都取得了成功的应用。

较佳地，步骤S303包括：

步骤一：对归一化后的当前层的正、反样本，提取其全部的微结构特征，数目大概在几千到几万。

步骤二：采用弱分类器构造算法，对提取到的全部微结构特征构造得到同样数目的候选弱分类器。

弱分类器构造算法可以选择基于阈值和极性的离散方式，也可以采用基于查找表的连续方式。

步骤三：采用层次型Adaboost算法从候选的弱分类器中每轮选择一个分类能力最强的，并更新样本对应权值，使得分类器更倾向于将错分样本分对。

此处的AdaBoost算法可以是任意版本的AdaBoost算法，包括DiscreteAdaBoost，Real AdaBoost，Gengle AdaBoost等等。

步骤四：根据每个选择出来的弱分类器的分类能力设定一个相应的权值，并将所有选择出来的弱分类器加权相加，并对应一个阈值，于是得到一个能够区分样本类别(正、反样本)的强分类器，将该强分类器作为层次型AdaBoost检测器中的当前层的分类器。

步骤五，选择反样本中能够通过目前已训练好的检测器的所有层的反样本作为下一层的反样本，将所有正样本作为下一层的正样本，重新进行步骤一，直到分类器的层数到达上限NT或者反样本的误检率低于阈值TFAR时完成训练。

最终得到的层次型检测器即双眼区域检测器。

此时训练得到的双眼区域检测器只能够判定某个固定大小(比如20*12)的区域是否为双眼区域，为了能够在图像中检测到不同大小、不同位置的双眼区域，需要对双眼区域检测器进行缩放，即以某个倍数(可以为大于1的任意数，一般取1.05到1.25之间的一个数值)对双眼区域检测器进行缩放，得到多个不同尺度的双眼区域检测器，从而使得双眼区域检测器能够判定不同尺度大小的区域是否为双眼区域。参见图5，双眼区域检测器的工作流程包括：

S501、计算输入图像的积分图像及平方积分图像，以快速得到输入图像的微结构特征。

S502、采用某一尺度的双眼区域检测器，以一定步长，在水平方向和垂直方向遍历得到该尺度大小的所有可能矩形区域位置。

S503、根据输入图像的微结构特征，判定每个矩形区域是否为候选的双眼区域，如果是，则进行步骤S504；否则，进行步骤S505。

S504、将候选双眼区域加入双眼区域队列。

S505、舍弃所述矩形区域。

S506、判断所有尺度的双眼区域检测器是否均检测完毕，如果是，则进行步骤S507；否则，返回步骤S502，采用下一尺度的双眼区域检测器进行检测。

S507、从所述双眼区域队列中确定双眼区域。

即双眼区域检测器采用不同尺度的区域框对积分图像进行验证，判定当前尺度的区域框是否有双眼区域，如果有，则作为候选的双眼区域通过分类器的矩形添加到双眼区域队列中。

较佳地，步骤S504将候选双眼区域加入双眼区域队列的具体实现方式如下：

首先，初始化双眼区域队列为空。

其次，将通过验证的候选双眼区域添加到双眼区域队列。如果双眼区域队列为空，则直接将候选双眼区域(待添加的候选双眼区域)添加到双眼区域队列；否则，判断该候选双眼区域是否和双眼区域队列中已有的候选双眼区域(已被记录的候选双眼区域)相似，如果与某个记录相似，则将二者合并，否则，将待添加的候选双眼区域作为新的记录项添加到双眼区域队列；

一种判定候选双眼区域和双眼区域队列中已有候选双眼区域是否相似的方法，是当两个候选双眼区域的大小相近且交叠时，认为二者相似。

假设待添加的候选双眼区域框表示为R(i，j，TWidth_n，THeight_n)，其中，i表示待添加的候选双眼区域框的左边框横坐标，j表示待添加的候选双眼区域框的上边框纵坐标，TWidth_n表示待添加的候选双眼区域框的宽，THeight_n表示待添加的候选双眼区域框的高。假定双眼区域队列中，第m个已被记录的候选双眼区域框表示为月R_m(l，t，wd，ht)，其中l为该候选双眼区域框的左边框横坐标，t为该候选双眼区域框的上边框纵坐标，wd为该候选双眼区域框的宽，ht为该候选双眼区域框的高。

一种判定二者大小是否相近的方法如下：

如果满足 $\mathrm{ENLARGE}0\≤\frac{\mathrm{wd}}{{\mathrm{TWidtb}}_n}\≤\mathrm{ENLARGE}1,$ 则认为所述待添加的候选双眼区域与所述双眼区域队列中已被记录的第m个候选双眼区域相近，否则，认为不相近。其中ENLARGE0和ENLARGE1分别为相近宽度比例区间的上限和下限。

一种判定二者是否交叠的方式如下：

令l_i＝max(i，l)，t_i＝max(j，t)，r_i＝min(i+TWidth_n，l+wd)，b_i＝min(j+THeight_n，t+ht)，则待添加的候选双眼区域与所述双眼区域队列中已被记录的第m个候选双眼区域的交叠面积为area_i＝(r_i-l_i)*(b_i-t_i)，双眼区域队列中的所述第m个候选双眼区域的面积为 ${\mathrm{area}}_m^r=\mathrm{wd}*\mathrm{ht}$ ，则如果满足 $\frac{{\mathrm{area}}_1}{{\mathrm{area}}_m^r}\≥\mathrm{ENLARGE}2$ ，则认为二者交叠，否则，认为二者不交叠。其中，ENLARGE2为阈值，min表示取最小值，max表示取最大值。

所述合并即将待添加的候选双眼区域的信息和双眼区域队列中相似的候选双眼区域的信息进行融合，作为双眼区域队列中新的记录。一种可行的方式如下：将待添加的候选双眼区域和已记录的候选双眼区域的左边框横坐标、上边框横坐标、宽度、高度分别取平均值作为新的候选双眼区域的左边框横坐标、上边框横坐标、宽度、高度，并以此新的候选双眼区域的信息更新所述已记录的候选双眼区域的信息。

进一步，在上述处理完成后，判断双眼区域队列中任意两个候选双眼区域之间是否存在包含关系(即一个处于另外一个中)，如果包含，则删除置信度较小的候选双眼区域信息，如果置信度相同，删除面积较小的候选双眼区域信息。

一种判定两个候选双眼区域是否相互包含的可行方法如下：

假定两个候选双眼区域分别表示为R_m(l，t，wd，ht)和R_m′(l′，t′，wd′，ht′)，则二者交叠区域的左边框横坐标，上边框纵坐标，右边框横坐标，下边框纵坐标分别为：

l_i＝max(l，l′)，t_i＝max(t，t′)，r_i＝min(l+wd，l′+wd′)，

b_i＝min(t+ht，t′+ht′)。

如果l_i＝＝l，t_i＝＝t，r_i＝＝(l+wd)，b_j＝＝(t+ht)或

l_i＝＝l′，t_i＝＝t′，r_i＝＝(l′+wd′)，b_j＝＝(t′+ht′)，则认为二者相互包含。

候选双眼区域的置信度可以定义为该候选双眼区域在合并过程中合并的所有待添加的候选双眼区域的数目。

较佳地，由于双眼区域中左眼和右眼的位置相对其在人脸中的位置要更加确定，所以，步骤S202中，可以简单地将双眼区域延中线分为两部分，分别作为左眼搜索区域和右眼搜索区域。为了达到更佳的搜索效果，根据预先定义的双眼区域的大小，比如当定义双眼区域的宽为双眼中心距离的2倍，高为双眼中心距离的1.2倍时，可以将双眼区域垂直中心线左侧1/4点作为左眼搜索区域中心，将双眼区域垂直中心线距左侧3/4点作为右眼搜索区域中心。然后，确定左眼和右眼搜索区域宽度，可以取为双眼区域宽度的一半。

较佳地，为了提高眼睛图像定位速度，可以采用周期处理的方式，即每隔N帧进行一次定位，这样可以将占用的系统时间降低为原来的1/N。

对于某些只需要检测最大人脸对应的左眼位置和右眼位置的应用，如视力保护应用中，仅需检测距离显示器最近的人眼。

为了进一步提高定位速度，可以按照双眼区域检测器尺度的由大到小的顺序，依次对输入图像进行检测，当确定了某个区域为候选双眼区域时，将该候选双眼区域作为最终确定的输入图像的双眼区域，然后执行步骤S202以后的操作，即确定双眼的搜索区域，并在搜索区域内检测左眼和右眼候选位置，采用双眼区域验证器进行判定，如果存在双眼区域验证器判定的置信度大于某阈值的候选位置，则表示所述双眼区域检测器检测到的双眼区域通过了所述双眼区域验证器的验证，将通过验证的置信度最大的前T个左眼坐标和右眼坐标分别进行平均，得到左眼位置和右眼位置，然后结束对当前输入图像的处理，继续处理下一帧的输入图像。如果双眼区域验证器没有得到大于某阈值的候选位置，即双眼区域验证器验证失败，则认为当前确定的双眼区域为虚警，那么，继续采用当前尺度的双眼区域检测器判定得到另一候选双眼区域，并将该候选双眼区域作为当前输入图像的双眼区域，重新进行双眼区域验证器的验证操作，如此循环，直到验证成功，则结束对当前输入图像的处理，继续处理下一帧的输入图像；如果通过当前尺度的双眼区域检测器得到的所有候选双眼区域均被作为过所述当前输入图像的双眼区域，并且均没有通过双眼区域验证器的验证时，则按照从大到小的顺序，采用下一尺度的双眼区域检测器继续进行判定，确定新的双眼区域，然后进行后续处理，如此循环，直到双眼区域验证器对确定的双眼区域的验证成功为止。

当图像采集设备为摄像头时，常常会出现包括人眼的图像在平行图像传感器靶面方向内旋转的情况(以下称为平面内旋转)，为了克服这种情况，进一步，本发明实施例采用图像旋转的方式来定位平面图像内的眼睛。例如，将输入图像分别对输入图像不旋转、逆时针旋转30度、顺时针旋转30度得到对应的三幅图像，并对这三幅图像分别采用双眼区域检测器检测双眼区域。参见图6，图中上左为输入图像，上右为将该输入图像顺时针旋转30度后的图像；下左为输入图像，下右为将该输入图像逆时针旋转30度后的图像。

如果对输入图像进行处理后，没有检测到输入图像的左眼和右眼位置，则参见图7，本发明实施例提供的另一种对图像中的眼睛特征点进行定位的方法，包括：

S701、对输入图像按照一定角度进行旋转，得到若干旋转图像。

S702、采用双眼区域检测器，检测得到若干旋转图像的双眼区域。

S703、确定所述双眼区域上的左眼搜索区域和右眼搜索区域。

S704、采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器检测对所述右眼搜索区域进行检测，得到右眼候选位置。

S705、选择置信度最大的若干左眼候选位置和右眼候选位置进行配对。

S706、采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，并且，对置信度最大的若干对左眼候选位置和右眼候选位置分别进行平均，得到左眼位置和右眼位置。

S707、根据步骤S701对输入图像旋转的角度，将左眼位置和右眼位置坐标进行矫正，得到与输入图像坐标相对应的左眼位置和右眼位置，即该输入图像实际的左眼位置和右眼位置。

为了进一步提高定位速度，可以先对输入图像逆时针旋转，然后再顺时针旋转，即采用如下顺序进行处理：

第一步，如果对输入图像进行处理后，没有检测到左眼和右眼位置，则对输入图像先逆时针旋转一个角度AT，求取积分图像，并按由大到小的顺序，依次采用双眼区域检测器，检测输入图像的双眼区域。对于每次检测到的双眼区域，执行步骤S202以后的操作，如果存在通过双眼区域验证器的左眼和右眼位置，则平均后并顺时针旋转角度AT，作为最终的眼睛位置，并退出处理；否则，继续采用下一尺度大小的双眼区域检测器进行检测，得到新的双眼区域，并进行后续操作，直到通过双眼区域验证器的验证。

第二步，如果对逆时针旋转图像进行处理后，没有定位到眼睛位置，则对图像进行顺时针旋转一个角度AT，求取积分图像，并按由大到小的顺序，依次采用双眼区域检测器检测输入图像的双眼区域。对于每次检测到的双眼区域，执行步骤S202以后的操作，如果存在通过双眼区域验证器的左眼和右眼位置，则平均后并逆时针旋转角度AT，作为最终的眼睛位置，并退出处理；否则，继续采用下一尺度大小的双眼区域检测器进行检测，得到新的双眼区域，并进行后续操作，直到通过双眼区域验证器的验证。

当然，也可以先对输入图像顺时针旋转，然后再逆时针旋转。

在实际应用中，例如，通过摄像头实时采集图像，对每帧输入图像都按照上述方法进行定位处理的速度会比较低，处理时间可能会长于一帧图像的采集速度，因而会造成图像显示的延时。因此，一种更优的方式是采用将不同尺度的双眼区域检测器分配给相邻的若干帧图像分别进行处理。

例如，对于相邻的M帧图像，假如M＝3，可以采用第n1到第n2尺度的双眼区域检测器对第3×n帧输入图像进行处理，采用第n2到第n3尺度的双眼区域检测器对第3×n+1帧输入图像进行处理，采用第n3到第n4尺度的双眼区域检测器对第3×n+2帧输入图像进行处理。当然，M可以取为2或者其他大于2的任何数值。这样，所有尺度的双眼区域检测器都得以完成处理，而每帧的运算量却控制在每帧图像的采集时间内，避免了所有运算都在一帧中处理，由于运算量过大而造成的图像停顿情况的发生。

进一步，可以采用人脸特征点跟踪方法对特征点进行跟踪，以提高对图像特征点进行定位的速度。

一种可行方式如下：

第一步，采用眼睛定位方法定位图像的左眼和右眼位置，当定位到左眼和右眼位置时，转到第二步。

第二步，对于后续各帧图像，根据上一帧图像的双眼位置和大小采用眼睛跟踪方法进行跟踪，得到图像的双眼位置。如果没有跟踪到双眼位置，则转到第一步，采用眼睛定位方法进行定位。如果跟踪到了双眼位置，则将该双眼位置和大小作为对下一帧图像进行跟踪处理的参考。

进一步，可以采用重点尺寸搜索方式定位图像中的眼睛。

一种可行方案如下：

第一步，采用全尺度的检测器对图像进行检测，当检测到眼睛位置时，记录该双眼区域的尺度，假定为s，转到第二步；

第二步，对于后续各帧图像，只采用尺度在[s-sr，s+sr]范围内的双眼区域检测器对图像进行检测，其中sr为大于或等于0的调整参数，用以决定搜索尺度的范围。当检测不到双眼区域时，转到第一步，采用全尺度的检测器进行检测。当检测到双眼区域时，通过该双眼区域确定双眼位置；并且，记录该双眼区域的尺度，作为对下一帧图像进行处理时采用的双眼区域检测器的尺度的参考。

下面介绍一下本发明实施例提供的装置。

参见图8，本发明实施例提供的对图像中的眼睛特征点进行定位的装置包括：

双眼区域检测单元81，用于采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域。

候选位置确定单元82，用于确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置。

双眼位置确定单元83，用于选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。

综上所述，本发明采用双眼区域检测器检测双眼区域，并根据双眼区域确定左眼和右眼的搜索范围，采用左眼局部特征检测器和右眼局部特征检测器在搜索范围内搜索左眼和右眼候选位置，并采用双眼区域验证器对置信度较大的左眼和右眼候选位置进行配对验证，最后，根据置信度较大的左眼和右眼候选位置分别进行平均得到左眼位置和右眼位置。通过该技术方案，可以提高图像特征点定位的速度，并扩大应用范围。本发明应用广泛，可以应用在视力保护装置中，或者应用在距离测量中确定双眼距离，或者应用在人脸特效、人脸识别中确定双眼位置等。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种图像特征点定位方法，用于定位图像中的人的双眼位置，其特征在于，该方法包括：

采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域；

确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；

选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。

2.根据权利要求1所述的方法，其特征在于，所述采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域的步骤包括：

预先对双眼区域检测器进行缩放，得到多个不同尺度的双眼区域检测器；

分别采用所述各个尺度的双眼区域检测器，以一定步长，依次对图像中的所有候选位置的矩形区域进行判定，当该矩形区域为候选双眼区域时，将该候选双眼区域加入双眼区域队列；

从所述双眼区域队列中确定双眼区域。

3.根据权利要求2所述的方法，其特征在于，将所述候选双眼区域加入双眼区域队列的步骤包括：

根据待添加的所述候选双眼区域的大小和位置，以及已被添加到双眼区域队列中的候选双眼区域的大小和位置，判断所述待添加的候选双眼区域是否与所述已添加的候选双眼区域相近，如果是，则将相近的候选双眼区域合并，并将被合并的候选双眼区域的个数作为合并后的候选双眼区域的置信度；否则，将所述待添加的候选双眼区域加入所述双眼区域队列中。

4.根据权利要求3所述的方法，其特征在于，从所述双眼区域队列中确定双眼区域的步骤包括：

当所述双眼区域队列中的一候选双眼区域包含于另一候选双眼区域时，将置信度较小的候选双眼区域删除；当置信度相同时，删除面积较小的候选双眼区域；

将经过所述合并和删除处理后的双眼区域队列中剩余的候选双眼区域确定为所述输入图像上的双眼区域。

5.根据权利要求2、3或4所述的方法，其特征在于，将所述多个不同尺度的双眼区域检测器分配给相邻的若干帧输入图像，分别用以检测相邻的若干帧输入图像的双眼区域。

6.根据权利要求1所述的方法，其特征在于，所述采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域的步骤包括：

预先对双眼区域检测器进行缩放，得到多个不同尺度的双眼区域检测器；

按照各个所述双眼区域检测器的尺度的从大到小的顺序，分别采用所述各个尺度的双眼区域检测器，以一定步长，依次对所述输入图像中的所有候选位置的矩形区域进行判定，当该矩形区域为候选双眼区域时，将该候选双眼区域作为所述输入图像的双眼区域；

根据所述双眼区域，得到若干对左眼候选位置和右眼候选位置；

采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，当验证通过时，确定所述输入图像的左眼位置和右眼位置，结束对当前输入图像的处理。

7.根据权利要求6所述的方法，其特征在于，当所述验证失败时，采用当前尺度的双眼区域检测器判定得到另一候选双眼区域，并将该候选双眼区域作为所述输入图像的双眼区域。

8.根据权利要求7所述的方法，其特征在于，当通过当前尺度的双眼区域检测器得到的所有候选双眼区域均被作为过所述输入图像的双眼区域，并且均验证失败时，

采用下一尺度大小的双眼区域检测器，以一定步长，依次对所述输入图像中的所有候选位置的矩形区域进行判定，当该矩形区域为候选双眼区域时，将该候选双眼区域作为所述当前输入图像的双眼区域。

9.根据权利要求1或8所述的方法，其特征在于，当无法确定所述输入图像的左眼位置和右眼位置时，该方法还包括：

对所述输入图像按照第一时钟方向旋转一定角度；

采用预先训练得到的双眼区域检测器，检测得到经过所述按照第一时钟方向旋转后的图像上的双眼区域；

根据该双眼区域，确定所述输入图像的左眼位置和右眼位置。

10.根据权利要求9所述的方法，其特征在于，当通过对所述输入图像逆时针旋转一定角度无法确定所述输入图像的左眼位置和右眼位置时，该方法还包括：

对所述输入图像按照与所述第一时钟方向相反的第二时钟方向旋转一定角度；

采用预先训练得到的双眼区域检测器，检测得到经过所述按照第二时钟方向旋转后的图像上的双眼区域；

根据该双眼区域，确定所述输入图像的左眼位置和右眼位置。

11.根据权利要求1所述的方法，其特征在于，对于所述输入图像以后的各帧图像，该方法还包括：

根据上一帧图像的双眼位置和大小，采用眼睛跟踪方法进行跟踪，得到当前图像的双眼位置，如果没有跟踪到双眼位置，则采用预先训练得到的双眼区域检测器，检测得到当前图像的双眼区域，并通过该双眼区域确定双眼位置；如果跟踪到了双眼位置，则将该双眼位置和大小作为对下一帧图像进行跟踪处理的参考。

12.根据权利要求1所述的方法，其特征在于，预先对双眼区域检测器进行缩放，得到多个不同尺度的双眼区域检测器；

对于所述输入图像以后的各帧图像，该方法还包括：

记录前一帧图像的双眼区域的尺度，根据该尺度，以及预先设置的调整参数，确定对当前图像进行检测所采用的双眼区域检测器；

利用该所述双眼区域检测器检测当前图像的双眼区域，当检测不到双眼区域时，采用其他各个尺度的检测器进行检测；当检测到双眼区域时，通过该双眼区域确定左眼位置和右眼位置；并且，记录该双眼区域的尺度，以选择对下一帧图像进行检测时所采用的双眼区域检测器。

13.一种图像特征点定位装置，用于定位图像中的人的双眼位置，其特征在于，该装置包括：

双眼区域检测单元，用于采用预先训练得到的双眼区域检测器，检测得到输入图像上的双眼区域；

候选位置确定单元，用于确定所述双眼区域上的左眼搜索区域和右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；

双眼位置确定单元，用于选择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。

Images