CN101271520A - 一种确定图像中的特征点位置的方法及装置 - Google Patents

Abstract

本发明公开了一种确定图像中的特征点位置的方法及装置，用以解决现有技术中存在的特征点定位精度不高的问题。本发明提供的一种确定图像中的特征点位置的方法包括：预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。

Description

一种确定图像中的特征点位置的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种确定图像中的特征点位置的方法及装置。

背景技术

人脸图像是计算机视觉系统中人机交互最便捷的方式之一。人脸定位就是在图像或图像序列中确定所有人脸的位置，而人脸跟踪则是持续跟踪视频序列中的一个或多个人脸的位置。人脸定位与跟踪技术不仅是人脸识别、表情识别、人脸合成等技术的必要前提，而且其在智能人机交互、视频会议、智能监控、视频检索等领域有着广泛的应用价值。

现有技术中在人脸定位领域应用非常广泛的活动形状模型(ASM，ActiveShape Models)是一种基于主元分析方法(PCA)、目标活动形状特征的参数模型。ASM算法基于点分布实现，由一个事先训练好的模型获取目标区域各个分布点的位置，进而确定目标区域各个轮廓的形状。常用的ASM模型大都基于人脸面部灰度或边界特征实现，这类方法对光照等干扰非常敏感，而且不同人脸面部的灰度数据差别巨大，导致针对部分人脸训练的模型无法应用于更多的人脸。

盖博(Gabor)特征在人脸识别等领域应用非常广泛，其可为人脸图像提供多尺度、多方向的精细描述，表现出优秀的时频聚集性，具备很强的刻画细节与局部结构的能力。Gabor特征具有带通滤波的性质，既能部分地抵抗慢变光照的影响，也能滤去一些高频噪声。

发明内容

本发明实施例提供了一种确定图像中的特征点位置的方法及装置，用以解决现有技术中存在的图像特征点定位精度不高的问题。

本发明实施例提供的一种确定图像中的特征点位置的方法包括：

预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；

对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；

结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。

本发明实施例提供的一种确定图像中的特征点位置的装置包括：

训练单元，用于预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；

初始位置单元，用于对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置；

Gabor特征单元，用于根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；

匹配单元，用于结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。

本发明实施例，预先基于图像样本训练得到由图像上的目标区域的形状模型和Gabor特征模型组成的活动形状模型ASM；通过对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据该初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的准确位置，从而提高了输入图像特征点定位结果的精确度。

附图说明

图1为本发明实施例提供的训练模型的特征点标定示意图；

图2为本发明实施例提供的一种确定图像中的特征点位置的方法的流程示意图；

图3为本发明实施例提供的特征点定位结果示意图；

图4为本发明实施例提供的特征点跟踪结果示意图；

图5为本发明实施例提供的一种确定图像中的特征点位置的装置的结构示意图。

具体实施方式

本发明实施例提供了一种确定图像中的特征点位置的方法及装置，用以实现对采集图像中的特征点进行准确地实时定位及跟踪。

本发明实施例以确定图像中的人脸特征点位置为例，介绍了如何快速获取图像中的各个姿态的人脸面部的特征点，如嘴角点、眼角点等，并对这些特征点进行持续、快速地跟踪。当然，根据本发明实施例提供的技术方案，也可以实现对图像中的汽车、动物等其他物体的特征点进行定位及跟踪。

本发明实施例将Gabor特征应用于人脸特征的抽取，将Gabor特征与ASM结合起来，在ASM模型的各个特征点计算Gabor特征，根据Gabor特征进行各个特征点位置的迭代搜索，最终获取图像中的各个特征点的精确位置。

本发明实施例首先需要训练人脸(图像中的目标区域)的ASM模型，该模型包括人脸的形状模型和Gabor特征模型两部分。

事先采集数千幅多姿态人脸图像样本，手工标定这些样本中的人脸的10个特征点的位置，如图1所示，为一副标准人脸图像的10个特征点的示意图。

首先训练人脸的形状模型。将人脸面部的特征点表示为s，每个人脸包含了10个特征点的x坐标和y坐标。将标准人脸图像作为训练样本，定位标准人脸图像中的10个特征点的位置，如图1所示。

将所有归一化后的各个特征点的坐标组成一个列向量s，对所有的s进行PCA变换，获取均值特征向量s₀、n个最大的特征值，以及对应的n个特征向量s_i，i＝1，2，...，n，这样，任意输入图像的人脸特征点的坐标组成的向量可近似表示为s₀与s_i，i＝1，2，...，n的线性求和：

$s=s_0+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{s}_i$

其中，p_i是s_i的线性加权系数。均值特征向量s₀、n个最大的特征值，以及对应的n个特征向量s_i，i＝1，2，...，n组成了人脸的ASM形状模型。

二维Gabor滤波器的冲激响应表示为：

${\mathrm{\ψ}}_j\left(x\right)=\frac{\left|\right|k_j\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{\left|\right|k_j\left|\right|\·\left|\right|x\left|\right|}{2{\mathrm{\σ}}^2})\left[\exp \left(i{k}_{j}x\right)\right]$

其中，方差σ＝2π，本发明实施例中考虑了5个频率v＝0，...，4，8个方向μ＝0，...，7，则有：

$k_v=2^{-\frac{v+2}{2}}\mathrm{\π},$ j＝μ+8v

可以看出，本发明共计算了5×8＝40个滤波器。对某个特征点，以该特征点为中心，将各个Gabor滤波器的冲激响应与输入图像进行卷积，可获取对应的Gabor特征，共有40个滤波器，因此在该点获取40维Gabor特征。

本发明实施例采用Gabor特征来描述各个特征点的局部特征，计算各个特征点的多维Gabor特征，并将一个输入图像的所有特征点的Gabor特征组成一个一维向量G，每个特征点对应的Gabor特征有40维，特征点有十个，则该向量共有400维。

根据前面计算的仿射变换系数将输入图像中的人脸归一化到标准的尺寸，接着再对人脸进行灰度的归一化。根据归一化后所有人脸的灰度和特征点的位置计算各点的Gabor特征，将各个人脸所有特征点的Gabor特征组成一维向量G。对所有人脸的一维向量G进行PCA变换，获取均值特征向量G₀、m个最大的特征值，及对应的m个特征向量G_i，i＝1，2，...，m，这样任意人脸的Gabor特征向量可近似表示为G₀与G_i，i＝1，2，...，m的线性求和：

$G=G_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{G}_i$

其中，λ_i是G_i的线性加权系数。均值特征向量G₀、m个最大的特征值以及对应的m个特征向量G_i，i＝1，2，...，m组成了人脸的ASM特征模型，该模型基于Gabor特征实现。

本发明采用训练好的ASM模型对人脸进行特征点定位，下面结合附图详细介绍本发明特征点定位的具体实现方式。

参见图2，本发明实施例提供的一种确定图像中的特征点位置的方法具体包括：

S201、通过摄像头采集输入图像。

S202、对输入图像进行多姿态人脸检测与跟踪，通过活动外观模型(AAM，Active Appearance Models)算法获取输入图像上的人脸特征点的仿射变换系数。

通过人脸图像样本训练，分别获得人脸正面与半侧面检测模型，并确定AAM人脸模型；利用所述人脸正面与半侧面检测模型，对输入的视频图像进行人脸检测，确定一帧图像中是否存在人脸；如果在某帧图像中检测到人脸，则在后续帧中追踪并验证该人脸。应用该方法，可以追踪检测多姿态的人脸，且能克服与人脸肤色相近的非人脸区域干扰的缺点，并能确保多姿态人脸的持续跟踪和检测算法的稳定性，并获取人脸的平面旋转角度，输出人脸的准确尺寸。

S203、根据仿射变换系数确定输入图像上的人脸特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征。

S204、结合预先设置的人脸的形状模型，对所述输入图像上的人脸的特征点的Gabor特征与Gabor特征模型中的Gabor特征进行匹配，获得输入图像上的人脸的特征点的准确位置。

S205、采用平移速度估算(Lucas-Kanade)算法对当前输入图像(简称图像A)的人脸特征点进行跟踪，获得该输入图像的下一帧输入图像(简称图像B)的人脸特征点的估算位置。

S206、结合图像B的人脸特征点的定位结果，对图像B的估算位置进行修正，确保图像B的人脸特征点的跟踪结果不会出错，从而进一步提高确定每一帧输入图像的人脸特征点的位置的准确性。

步骤S202根据标准图像的特征点位置，计算输入图像的特征点的仿射变换系数，该仿射变换系数包含了旋转角度、缩放比例和平移尺寸。

步骤S203根据输入图像的人脸特征点的仿射变换系数，对输入图像的10个特征点的初始位置进行几何归一化，获取归一化后的各个特征点的初始位置。

步骤S204中，设输入到ASM定位算法的归一化后的人脸图像为I，这幅图通过多姿态人脸检测算法得到的人脸中心点位置、人脸尺寸以及人脸的旋转角度求得。

下面需要计算合适的PCA线性加权系数p_i和仿射变换系数q＝{q_i}，根据这些参数获取任一人脸的10个特征点的位置，再根据这些特征点位置和输入图像I计算各特征点的Gabor特征，并对这些Gabor特征组成的向量与训练模型的Gabor向量进行匹配，两组向量的均方和的差应该尽可能的小，即使下式最小：

${[G_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{G}_i-G(I,S(p,q))]}^2$

其中，S(p，q)表示由线性加权系数和仿射变换系数获取的输入图像的特征点的位置，G(I，S(p，q))表示输入图像的特征点位置对应计算的Gabor特征向量。

较佳地，本发明实施例采用基于Lucas-Kanade算法的迭代搜索方法计算参数p和q，进而确定特征点位置。每次迭代都更新一次p和q，经过有限次迭代后，搜索计算完成，返回的p和q的值即可作为最后的结果，根据这两个参数即可获取各特征点的最终位置。下面两个表达式给出了每次迭代计算p和q时的更新公式：

$\mathrm{\Δp}=H{\left(p\right)}^{-1}{{[\▿G_0\frac{\∂S}{\∂p}]}_{\mathrm{sub}{\left(G_i\right)}^{\⊥}}}^T[G_0-G(I,S(p,q))]$

其中，H是Hessian矩阵，则有：

$H\left(p\right)={{[\▿G_0\frac{\∂S}{\∂p}]}_{\mathrm{sub}{\left(G_i\right)}^{\⊥}}}^T{[\▿G_0\frac{\∂S}{\∂p}]}_{\mathrm{sub}{\left(G_i\right)}^{\⊥}}$

表示向G_i组成的子空间的正交空间投影，该向量为n维列向量，其中第j项为 $K_j\left(p\right)={[\▿G_0\frac{\∂S}{\∂p_j}]}_{\mathrm{sub}{\left(G_i\right)}^{\⊥}}:$

$K_j\left(p\right)=\▿G_0\frac{\∂S}{\∂p_j}-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}[G_i\·\▿G_0\frac{\∂S}{\∂p_j}]G_i$

q的计算公式与p类似。

可以看出，本发明实施例在实现过程中采用了Lucas-Kanade反算算法，在训练时计算

由此可计算出K_j(p)、K_j(q)、H(p)和H(q)。大部分的计算量在预先训练模型时已经完成了，而迭代收敛时仅需要进行如下步骤的计算：

步骤一：根据变换数据对图像进行处理，获取变换后的特征点S(p，q)，并计算Gabor特征G(I，S(p，q))；

步骤二：计算差值数据G₀-G(I，S(p，q))；

步骤三：计算Δp和Δq；

步骤四：更新p＝p+Δp，q＝q+Δq，获取新的S(p，q)。

迭代收敛时需要计算的数据量非常小，因此，本发明实施例可实现快速的特征点定位。

较佳地，本发明实施例在计算

时，可直接由前面的Gabor特征对x和y求导：

$\frac{\∂{\mathrm{\ψ}}_j\left(x\right)}{\∂x}=\frac{\left|\right|k_j\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{\left|\right|k_j\left|\right|\·\left|\right|x\left|\right|}{2{\mathrm{\σ}}^2})\left[\exp \left(i{k}_{j}x\right)\right]i{k}_j-\frac{\left|\right|k_j\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{\left|\right|k_j\left|\right|\·\left|\right|x\left|\right|}{2{\mathrm{\σ}}^2})\left[\exp \left(i{k}_{j}x\right)\right]-\frac{\left|\right|k_j\left|\right|\·x}{2{\mathrm{\σ}}^2\left|\right|x\left|\right|}$

由于Gabor特征的计算是通过对邻域范围内的点的像素值求卷积得到的，上式中第二项包含了对x的乘积，这项经卷积后一般会远小于第一项卷积后的结果，因此，本发明实施例近似认为卷积后Gabor特征的梯度值中第一项比较大，第二项近似为零，由此可得到各点的Gabor特征的梯度表达式为：

$\▿G=i{k}_{j}G$

由这个公式即可计算出所有点的

本发明实施例通过采用这种方法，使得确定Gabor特征的梯度的算法更简单，效率也非常高，尽管是近似结果，但对最终的定位结果没有影响，可以说是一种非常有效的方法。

由于本发明实施例采用的多姿态人脸检测算法已将输入图像的人脸区分为正面、左侧、右侧人脸，因此，较佳地，本发明实施例为左侧、右侧、正面人脸分别训练ASM模型，根据输入图像的人脸的姿态信息选用不同的ASM模型进行人脸特征点的定位，进一步提高特征点定位的精度。

较佳地，本发明实施例在特征点定位时考虑了两级分辨率，先对输入图像的人脸进行较大比例的缩放，在低分辨率上定位，再降低缩放的比例，以低分辨率定位结果作为初始值，在较高的分辨率上对特征点再次进行定位，由此可保证较高的特征点定位精度，同时还可大幅度提高定位的效率。

较佳地，本发明实施例主要应用于视频序列中人脸特征点的实时定位与跟踪。假设通过本发明实施例提供的定位与跟踪算法已经获取前一帧输入图像中的人脸特征点的位置，为了获取当前输入图像中的人脸特征点的准确位置，本发明实施例采用基于Lucas-Kanade的平移速度估算算法快速、精确地估算出相邻帧输入图像中的同一人脸的平移矢量，确定当前输入图像上同一人脸特征点的准确位置。由于Lucas-Kanade算法仅在人脸发生平移时估算准确的平移矢量，如人脸发生旋转、缩放等变换，则这个算法的估算的结果精度不太高，因此，进一步，本发明实施例还随时采用ASM定位结果对跟踪结果进行修正，在不降低工作效率的前提下提高点定位的精度。

本发明实施例针对每帧输入图像都对跟踪结果进行修正，为了提高整个算法的处理效率，本发明实施例还可以在每帧输入图像都对输入图像的人脸进行低分辨率定位，而隔上几帧进行高分辨率定位，由这些定位结果对跟踪结果进行修正。在每次修正时都计算跟踪结果和定位结果的相似度，根据这个相似度进行加权比较，返回最终的结果。由于低分辨率定位结果要粗略一些，因此修正时跟踪结果权重要大一些，而高分辨率定位结果精确一些，修正时定位结果权重要大一些。采用这种方法后平均每帧人脸特征点的定位与跟踪时间可控制在10ms以内，可满足实时处理的需要，且可降低系统CPU的占用率。

如图3所示，为采用本发明实施例提供的方法得到的单幅输入图像的人脸特征点定位结果示意图；如图4所示，为采用本发明实施例提供的方法得到的基于视频的人脸特征点跟踪结果示意图。

下面介绍一下本发明实施例提供的装置。

参见图5，本发明实施例提供的一种确定图像中的特征点位置的装置包括：

训练单元50，用于预先基于图像样本训练得到由图像上的目标区域的形状模型和Gabor特征模型组成的活动形状模型ASM。

初始位置单元51，用于对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置。

Gabor特征单元52，用于根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征。

匹配单元53，用于结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的准确位置。

较佳地，所述初始位置单元51包括：

仿射变换系数单元511，用于对输入图像进行检测，获取所述输入图像的目标区域的仿射变换系数。

确定单元512，用于通过所述仿射变换系数确定所述目标区域内的特征点的初始位置。

较佳地，所述仿射变换系数单元511，采用活动外观模型算法，计算所述输入图像的目标区域的仿射变换系数。

较佳地，本发明实施例提供的一种确定图像中的特征点位置的装置还包括：

跟踪单元54，用于采用基于Lucas-Kanade的平移速度估算算法对所述输入图像的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的目标区域的特征点的估算位置。

较佳地，本发明实施例提供的一种确定图像中的特征点位置的装置还包括：

修正单元55，用于根据对所述输入图像的下一帧输入图像的目标区域的特征点进行定位的结果，对所述估算位置进行修正。

综上所述，本发明实施例实时地对输入视频流中的人脸特征点进行定位。对于实时输入的视频图像，本发明实施例在多姿态人脸检测与跟踪算法的基础上，检测视频图像中的人脸，获取人脸框以及姿态信息，接着采用AAM算法计算人脸的平面仿射变换系数，根据仿射变换系数获取当前人脸10个特征点的初始位置，再采用事先训练好的基于Gabor特征的ASM模型进行迭代收敛，获取较准确的特征点位置。进一步，本发明实施例还对获取的特征点位置进行持续跟踪，结合前一帧输入图像的特征点的跟踪结果和人脸图像，采用基于Lucas-Kanade的平移速度估算算法预测前一帧输入图像的各个特征点的平移速度，获取当前帧输入图像的特征点的位置。另外，由于在人脸面部器官剧烈运动时，某些特征点的跟踪会出错，本发明实施例进一步采用特征点定位结果对跟踪结果进行修正，确保特征点跟踪的稳定性。

本发明实施例不仅适用于人脸面部特征点定位，还可用于各类图像中轮廓特征的获取，如人脸的外轮廓、手的轮廓等，本发明具有一定的通用性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1、一种确定图像中的特征点位置的方法，其特征在于，该方法包括：

预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；

对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；

结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。

2、根据权利要求1所述的方法，其特征在于，对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置的步骤包括：

对输入图像进行检测，获取所述输入图像的目标区域的仿射变换系数；

通过所述仿射变换系数确定所述目标区域内的特征点的初始位置。

3、根据权利要求2所述的方法，其特征在于，采用活动外观模型算法，计算所述输入图像的目标区域的仿射变换系数。

4、根据权利要求1所述的方法，其特征在于，该方法还包括：

采用平移速度估算算法对所述输入图像的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的目标区域的特征点的估算位置。

5、根据权利要求4所述的方法，其特征在于，该方法还包括：

根据对所述输入图像的下一帧输入图像的目标区域的特征点进行定位的结果，对所述估算位置进行修正。

6、一种确定图像中的特征点位置的装置，其特征在于，该装置包括：

训练单元，用于预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；

初始位置单元，用于对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置；

Gabor特征单元，用于根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；

匹配单元，用于结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。

7、根据权利要求6所述的装置，其特征在于，所述初始位置单元包括：

仿射变换系数单元，用于对输入图像进行检测，获取所述输入图像的目标区域的仿射变换系数；

确定单元，用于通过所述仿射变换系数确定所述目标区域内的特征点的初始位置。

8、根据权利要求7所述的装置，其特征在于，所述仿射变换系数单元，采用活动外观模型算法，计算所述输入图像的目标区域的仿射变换系数。

9、根据权利要求6所述的装置，其特征在于，该装置还包括：

跟踪单元，用于采用平移速度估算算法对所述输入图像的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的目标区域的特征点的估算位置。

10、根据权利要求9所述的装置，其特征在于，该装置还包括：

修正单元，用于根据对所述输入图像的下一帧输入图像的目标区域的特征点进行定位的结果，对所述估算位置进行修正。

Images