CN104537386A - 一种基于级联混合高斯形状模型的多姿态图像特征点配准方法 - Google Patents

Abstract

本发明公开了一种基于级联混合高斯形状模型的多姿态图像特征点配准方法。该方法针对任意一种图像特征点定位器的定位结果，本发明中的配准方法能够显著提高其定位精度。本发明中所述的配准方法主要包括以下步骤：一、在多姿态的图像数据库上进行混合高斯形状模型的建模；二、采用一种级联的混合高斯形状模型对特征点进行校准，在每一级中，遍历特征点可能组成的形状，通过计算该形状对应的似然概率的阈值来判断出错误定位的特征点；三、采用正确特征点的高斯分布条件概率进行错误特征点的纠错。

Description

一种基于级联混合高斯形状模型的多姿态图像特征点配准方法

技术领域

本发明涉及一种图像特征点定位方法，特别涉及一种基于级联混合高斯形状模型的多姿态图像特征点配准方法

背景技术

在特征点定位过程中，很多不可控的因素都会对其造成干扰，如姿态的变化会对特征点定位模型产生严重的影响。所引入的误差量，会破坏特征点定位的精度，而特征点配准方法就是要尽量的减小这类破坏。

在特征点定位中，大多数偏差符合高斯分布，而由姿态变化引起的偏差，不符合高斯分布。这一类由姿态变化引入的偏差，在本发明中我们用高斯混合模型来建模。利用统计学习获得的先验模型，可以对特征点的定位结果进行校验，发现错误定位之处并纠错。

在现有的文献资料中，特征点定位的配准方法不能很好的解决多姿态的问题。在文献1中，提出了对特征点定位配准的高斯模型方法，虽然能够在固定姿态的人脸图像上进行特征点的校验，但是不能处理多姿态的情况。其中虽然提出了一种特征点迭代纠错的方法，但是其迭代过程中一旦发生错误，会导致错误的迅速传播，扩大偏差。在文献2中，提出了一种特征空间投影的发明专利，该方法能够提高高斯混合模型的适应能力，可以用于特征点定位之中。但是其中的投影方法过于简单，适合单个特征点的校验，不适合应用到多个特征点的配准中。

对比文献1，本发明采用多个高斯分量，能够适用于其不能处理的多姿态情况；本发明还采用了新的级联多层模型，与文献1中的迭代优化方法相比，避免了错误的扩大，具有更好的稳定性。对比文献2中的发明专利，本发明采用了新的阈值设置方法，以适应图像特征点的定位；本发明中还采用了新的级联多层模型，与文献2中的发明相比，能够通过遍历适应多个特征点的配准问题；此外，文献2中的算法适用于语音信号处理领域，本发明中的方法适用于图像处理领域。

参考文献

1.C.Huang,B.A.Efraty,U.Kurkure,M.Papadakis,S.K.Shah,I.A.Kakadiaris.Facial landmarkconfiguration for improved detection.IEEE International Workshop on Information Forensics andSecurity,Tenerife,Spain,2012.

2.赵力，黄程韦，魏昕，包永强，余华，基于特征空间自适应投影的语音情感识别方法，发明专利，授权公告号：CN102779510A

发明内容

本发明涉及的特征点配准方法，主要包括步骤：

1)图像数据准备工作：标注特征点坐标

在进行特征点的定位与配准前，需要准备一定量的图像数据，此类图像数据，包括但不局限于：人脸图像、车辆图像、行人图像等。以人脸图像为例，标注特征点后的图像如附图1所示。对于人脸图像来说，常用的特征点包括：眼角(eye corner)、鼻尖(nose tip)、鼻脚(nose corner)、嘴角(mouth corner)等。

2)统计学习特征点分布的先验模型

在某一类物体对象的图像中，其特征点(如人脸特征点)的位置分布符合一定的概率分布模型。本发明中采用混合高斯模型来拟合这一概率分布，主要包括以下子步骤：

2.1)坐标向量合并

在二维图像中，特征点的位置用横坐标(x)和纵坐标(y)描述，n个特征点的坐标可以合并构成以下的坐标向量，其形成特征点的形状模型：

$X=\left[\begin{array}{c}{x}_1\\ y_1\\ x_2\\ y_2\\ .\\ .\\ .\\ x_n\\ y_n\end{array}\right]---\left(1\right)$

2.2)混合高斯形状模型的混合度设置

本发明将混合高斯模型引入到特征点配准中。以多个高斯分布叠加混合形成混合高斯形状模型：

$p=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_i{b}_i---\left(2\right)$

其中p为混合高斯模型概率，M为高斯分量个数，a为权重分量，b为单个高斯分量。

针对图像可能发生的姿态变化，采用不同数量(即混合度)的高斯分量进行建模，具体的混合度根据实际应用而定。以人脸图像为例，针对不同级别的姿态变化，采用不同的混合度，如附图2所示。

2.3)混合高斯形状模型的参数估计

采用Expectation–Maximization(EM)算法，对混合高斯模型中的参数进行估计。获得权重、均值向量、协方差矩阵。

3)采用级联的多层模型进行特征点的校准

本发明中，提出一种级联的混合高斯模型，将其用于图像特征点的形状模型校验中。每一层次的模型，都可以通过GMM似然度的阈值，找出定位偏差最大的特征点。如果这一偏差达到一定阈值，则认为此特征点定位错误，启用下一层模型进行其余特征点定位结果的校验。如果这一偏差没有超过阈值，则停止错误校验，接受特征点定位结果。随模型层次的增加，该层内对应的特征点数量递减。级联的多层混合高斯形状模型如附图3所示。

具体的特征点校验方法包括以下子步骤：

3.1)通过不同特征点组合形成各类形状模型

图像中的多个特征点，进行不同的组合，可以形成多种形状模型。本发明中，将这类形状模型，用于特征点定位准确度的校验，参见附图3。特征点形状模型的具体组合方式，如附图4中所述。

3.2)对多种形状模型进行阈值校验

本发明中，通过一次训练、采用一个混合高斯形状模型，就能够对各种不同的特征点组合形成的各类形状模型进行定位准确度的校验。具体的方法过程如下：

(a)使用式(2)中的混合高斯模型计算特征点形状的似然概率值，P＝L(x|λ)，其中λ为混合高斯模型的权重、均值向量、协方差矩阵参数，λ＝{a_i，u_i，Σ_i}。

(b)根据经验公式计算似然度阈值，其中k为特征点数量，i,j为图像像素点位置标号：

$\mathrm{Th}=-0.1\{\log \left(C_k^2\right)+\log \left(\max \right\{P_i\}-\log \left({\mathrm{\&Sigma;}}_{i<j}{[\log \left(P_i\right)-\log \left(P_j\right)]}^2\right)\}---\left(3\right)$

(c)如果Th>1则终止校验，接受当前特征点形状，否则进入下一层级联模型进行校验。

(d)在式(1)中的特征形状矢量中移除一个特征点坐标，相应的混合高斯模型参数退化为：λ^*，其中的权重减少一个、均值向量降低一维、协方差矩阵的行列各移除对应维度数值。

(e)特征矢量空间维度降低后，对应的混合高斯模型的似然概率变为：p^*＝L(x^*|λ^*)，遍历每一个特征点，即移除一个特征点并计算对应的似然概率，搜索最大似然概率值对应的特征点，此特征点为当前层级定位偏差最大的点。

(f)计算本层级最大似然概率值对应的阈值，如果Th>1则终止校验，接受当前特征点形状，否则进入下一层级进行校验。

4)对定位错误特征点的纠错

采用2.3)中所述的EM算法，获得混合高斯形状模型中的权重a、均值向量u和协方差矩阵Σ，将经过级联模型校验接受的特征点坐标代入混合高斯形状模型，计算错误特征点坐标的条件概率。其中x_e代表错误特征点坐标向量，x_r代表正确特征点坐标向量，N_i代表多变量高斯分布分量的条件概率。

$p={\mathrm{\&Sigma;}}_{i=1}^M{a}_i{N}_i\left(x_e\right|x_r,u,\mathrm{\&Sigma;})---\left(4\right)$

根据公式(1)中的顺序，找出使得公式(4)中错误特征点的条件概率最大值的坐标数值，替换错误特征点坐标，完成纠错。

本发明的技术方案可实现如下有益的技术效果：本发明中的特征点配准方法可以用于提高特征点定位的精度。诸多现有的特征点定位器都可以得益于本发明中的方法，特征点定位器的输出(特征点坐标)，即是本发明中特征点配准系统的输入，本发明中特征点配准系统的输出，即是精度更高的特征点定位结果(更精确的特征点坐标)。

以人脸图像为例，特征点配准前后的效果，如附图5所示。可以看到，本来由于遮盖被挡住的眼角特征点，在配准后得到了纠正；并且鼻尖特征点也得到了更加精确的定位。

如图6所示，在不同姿态下特征点定为效果同样获得了提高。

在1000张姿态范围在负15度到正15度之间的人脸图像上进行特征点定位的测试，采用本发明中所述特征点配准方法后，定位精度曲线显著提高。如附图7中所示。其中横坐标代表归一化偏差百分比，其含义是以双眼瞳孔之间距离为单位进行定位偏差的归一化，超过一定的偏差百分比的特征点定位结果被认为是错误的，反之，不超过此偏差百分比的定位结果认为是正确。纵坐标代表定位的正确率，在一副图像上的特征点定位，如果有一个错误，即认为是失败。

本发明的有益效果，特别在于能够在多姿态的图像上进行特征点的配准，传统的配准方法，不能在同一个模型中达到适应多姿态的变化。采用混合高斯形状模型，能够扩大对不同姿态的适应范围。扩大姿态范围进行建模后，一般会降低模型的匹配度，本发明中采用的级联模型，能够提高多姿态下模型匹配的精度。

本发明的有益效果，不仅仅限于人脸图像，也能适用于其它物体目标的图像，如附图8所示。

本发明的有益效果，不仅限于特征点，也能适用于特征区域，如附图9所示。可以看到配准之后，较难定位的车把手被准确的定位出来。在这种情况下，自行车的其余部位都有较为固定的形状，具有较高的定位精度，依据形状模型校验出错误定位的区域后，可以依据形状模型提供的信息，纠正错误区域。

附图说明

图1是人脸特征点示意图；

图2是不同姿态下的高斯混合度；

图3是多层次级联模型；

图4是形状模型组合种类；

图5是正面特征点配准效果；

图6是多姿态特征点配准效果；

图7是配准前后效果对比统计图；

图8是脑成像特征配准效果图；

图9是特征区域配准效果图；

图10是图像似然概率图示意图。

具体实施方式

1特征点标注方法

在进行形状模型的建模前，需要有图像特征点训练数据，具体来说就是在图像样本上标注完成的特征点坐标。包括以下三个步骤：一、选取图像中能特别反映出图像内容特征的位置点；二、通过人工判断的方式，在计算机软件的图形界面上标出坐标点位置；三、通过计算机软件的计算，形成特征点的坐标数据，对应特定的图像样本。

2特征点检测器

本发明中所述的配准方法，对任意的特征点检测器都适用，所述特征点检测器，通常可以通过模式识别算法训练实现。常见的特征点检测器，包括主动形状模型、Stasm检测器、Viola-Jones检测器等。只要其输出为特征点坐标位置，都能用于本发明中的配准方法。

3距离规整化

由于图像在不同的环境下拍摄，会造成实际大小的偏差。此外，由于数字图像的缩放，也会造成图像中物体实际大小的偏差。因此，对距离的度量，就不能仅仅通过像素点的多寡，而是需要通过某一恒定大小的指标就行规整化。规整化的目的，是便于判断特征点定位偏差的大小，以人脸图像为例，我们可以采用瞳孔间距离为参照，来归一化处理面部特征之间的距离。

$D=\left(\frac{d}{\mathrm{IPD}}\right)*100\%---\left(5\right)$

其中IPD代表瞳孔间距，d代表图像特征点偏差距离，D代表归一化后的距离。

4EM算法建模过程

对不同姿态下的特征点形状，可以通过混合高斯模型来建模，所述混合高斯模型，其参数可以通过EM算法来估计，具体公式如下，其中T为训练样本数量：

混合参数的重估：

$a_m^i=\frac{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i}---\left(6\right)$

均值矢量的重估：

${\mathrm{\&mu;}}_m^i=\frac{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i{X}_t}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i}---\left(7\right)$

方差矩阵的重估：

${\mathrm{\&Sigma;}}_m^i=\frac{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i(X_t-{\mathrm{\&mu;}}_m^i){(X_t-{\mathrm{\&mu;}}_m^i)}^{\&prime;}}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_{\mathrm{tm}}^i}---\left(8\right)$

${\mathrm{\&gamma;}}_{\mathrm{tm}}^i=\frac{a_m^{i-1}N\left(X_t\right|{\mathrm{\&mu;}}_m^{i-1},{\mathrm{\&Sigma;}}_m^{i-1})}{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{a}_m^{i-1}N\left(X_t\right|{\mathrm{\&mu;}}_m^{i-1},{\mathrm{\&Sigma;}}_m^{i-1})}---\left(9\right)$

5级联的混合高斯形状模型算法伪代码

输入：特征点位置矢量X

混合高斯模型参数λ

输出：通过校验的特征点矢量

Step 1:计算似然度p＝L(X|λ)

Step 2: $\mathrm{Th}=-0.1\{\log \left(C_k^2\right)+\log \left(\max \right\{P_i\}-\log \left({\mathrm{\&Sigma;}}_{i<j}{[\log \left(P_i\right)-\log \left(P_j\right)]}^2\right)\}$

Step 3:IF Th>1 THEN Return X

Step 4:FOR n＝N→1,N DO

Step 5:去除1个特征点，Ψ^k-7＝Ψ^k-K_n

Step 6：计算新的似然度p⁽ⁿ⁾＝L(X|λ⁽ⁿ⁾)

Step 7: $\mathrm{Th}=-0.1\{\log \left(C_k^2\right)+\log \left(\max \right\{P_i\}-\log \left({\mathrm{\&Sigma;}}_{i<j}{[\log \left(P_i\right)-\log \left(P_j\right)]}^2\right)\}$

Step 7:IF Th>1 THEN Return X⁽ⁿ⁾＝X[-]K_n

Step 8:END FOR

其中N为特征点数量，Ψ为特征点集合，K_n为当前所校验的特征点，运算符[-]代表从特征矢量中移除相应的特征点坐标。

6搜索概率图最大值

通过校验找出定位准确的特征点与定位错误的特征点，依据正确的特征点进行条件概率的计算，找到错误特征点所应该在的正确位置的最大概率处。这一个过程可以通过搜索概率图的最大值处实现。计算获得的条件概率，由于其为图像位置的应变量，可画出概率图像如附图10所示。其中显示了一个非正面姿态的人脸特征点的概率图，包括了眼睛、鼻子、嘴巴等位置处特征点的条件概率的叠加，灰度较低处代表概率值越高，即出现相应特征点的可能性越高。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于级联混合高斯形状模型的多姿态图像特征点配准方法，其特征在于，该方法包括以下步骤：

(1)图像数据标注特征点坐标

(2)统计学习特征点分布的先验模型

(3)采用级联的多层模型进行特征点的校准

(4)对定位错误特征点的纠错。

2.根据权利要求1所述的一种基于级联混合高斯形状模型的多姿态图像特征点配准方法，其特征在于，所述步骤(3)具体包括以下步骤：

(3-1)通过图像中的多个特征点的组合形成多种形状模型；

(3-2)对步骤(3-1)中所述的多种形状模型进行阈值校验。

3.根据权利要求1所述的一种基于级联混合高斯形状模型的多姿态图像特征点配准方法，其特征在于，所述步骤(4)具体包括以下步骤：

(4-1)将通过校验的特征点坐标代入混合高斯形状模型，根据以下公式(1)计算错误特征点坐标的条件概率，其中x_e代表错误特征点坐标向量，x_r代表正确特征点坐标向量，N_i代表多变量高斯分布分量的条件概率；

(4-2)找出使得步骤(4-1)中所述条件概率最大的坐标数值，将其替换错误特征点坐标。

4.根据权利要求2所述的一种基于级联混合高斯形状模型的多姿态图像特征点配准方法，其特征在于，所述步骤(3-2)具体包括以下步骤：

(3-2-1)使用混合高斯模型参数计算特征点形状矢量的似然概率值；

(3-2-2)根据以下公式(2)计算似然度阈值，其中k为特征点数量，i,j为图像像素点位置标号：

(3-2-3)如步骤(3-2-2)中所述阈值Th>1则终止校验，接受当前特征点形状；

(3-2-4)在特征点形状矢量中移除一个特征点坐标，混合高斯模型参数中的权重减少一个、均值向量降低一维、协方差矩阵的行列各移除对应维度数值；

(3-2-5)使用步骤(3-2-4)中所述的混合高斯模型参数计算特征点形状矢量对应的似然概率，将最大似然概率值对应的特征点定为当前偏差最大的点；

(3-2-6)计算步骤(3-2-2)中所述的阈值，如果Th>1则终止校验，接受当前特征点形状，否则重复步骤(3-2-4)、步骤(3-2-5)进行校验。