CN102831388B - 基于扩展的活动形状模型的实时特征点检测方法与系统 - Google Patents

Abstract

本发明涉及一种基于扩展的活动形状模型的实时特征点检测方法与系统，所述的方法包括以下步骤：训练模块基于已有的特征点数据库使用扩展的活动形状模型进行训练产生训练模型；匹配模块基于训练模型使用扩展的活动形状模型对新的图片进行匹配处理，将匹配结果通过特征点标记模块添加入特征点数据库或进行进一步处理；测试模块测试匹配结果，并判断匹配处理方法的准确率和速度情况；所述的系统包括用于完成特征点的多模式标记工作特征点标记模块、产生训练模型的训练模块、对新的图形进行匹配的匹配模块和用于测试匹配结果判断匹配方法的准确率和速度情况的测试模块。与现有技术相比，本发明具有提高匹配准确度、降低特征点检测过程复杂度等优点。

Description

基于扩展的活动形状模型的实时特征点检测方法与系统

技术领域

本发明涉及一种数字图像处理、计算机视觉以及软件工程技术领域的方法，尤其是涉及一种基于扩展的活动形状模型的实时特征点检测方法与系统。

背景技术

特征点定位主要的目的就是从检测到的图像中提取出能代表图像本质的特征，从而大大降低特征空间的维数，以利于后续的分类过程。特征提取的关键是一方面要去除图像的冗余信息以简化和加快计算速度和识别过程，另一方面又要让提取的特征具有完备性和充分性以保障识别的识别率。准确定位特征点可以极大提高识别的精度。特征点定位在智能监控、安全检测、身份认证识别、自动化艺术创作等领域均有广泛应用。

在常见的需要对特征点进行检测的应用中，既包含a.单个的静态图片，例如在人脸特征点定位时，可能只需要对某一张图片进行定位，再根据定位的特征点来判断性别或是进行表情识别。也包含一些b.连续变化的场景，例如一段物体不断动态变化的视频。在以上两种场景中都希望所定位的特征点尽量的准确来反应图片中物体的特征，静态图片对于定位时间的要求不高，需要能够获得尽量准确的标记结果。而在动态视频中对于实时性有较高的要求，特征点的变化应该能够反应出物体的运动变化。

已有的图片物体特征点定位的方法大体上可以分为两种，匹配速度较快的活动形状模型和利用了纹理信息但时间较长的活动外观模型。两者各有优缺点，但都不能够较好满足实时特征点检测的需要。

经对现有技术的文献检索发现：

中国国家专利申请号200510111501.8的专利用支持向量机多类分类器搜索特征点新位置的方法提出了一种基于活动形状模型利用支持向量机进行特征点定位的方法。

中国国家专利申请号200610027975.9的专利结合活动形状模型和快速活动外观模型的特征点定位方法提出了一种基于活动形状模型和活动外观模型的特征点定位的方法。

中国国家专利申请号200510135668.8的专利视频序列中人脸的实时检测与持续跟踪的方法及系统提出了如何快速而连续的跟踪人脸的方法和实现时所使用的各个模块。

Active shape models-their training and application(活动形状模型-训练和应用，Computer vision and image understanding，61(1)：38-59，1995.)提出了活动形状模型对一些形状的训练方法以及这种方法在哪些领域能够运用。

在上述方法中，CN200510111501.8在定位速度上可以达到要求，但是该方法所使用的传统活动形状模型在准确率上不能满足后续应用的需要尤其是在a场景中不够准确；CN200610027975.9在特征点定位上获得了好的结果，但是该方法并没有提出一个比较快捷使用活动形状模型的工具系统。CN200510111501.8、CN200610027975.9都没有实现特征点的实时动态的定位，也没能够将这种方法通过扩展用于其他物体的特征点定位。CN200510135668.8在实时定位过程中的准确度也有待加强。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种能够获得更高的特征点检测准确率并在实时特征点定位时进行优化的基于扩展的活动形状模型的实时特征点检测方法与系统。

本发明的目的可以通过以下技术方案来实现；

一种基于扩展的活动形状模型的实时特征点检测方法，该方法包括以下步骤：

A、训练模块基于已有的特征点数据库使用扩展的活动形状模型进行训练产生训练模型；

B、匹配模块基于训练模型使用扩展的活动形状模型对新的图片进行匹配处理，将匹配结果通过特征点标记模块添加入特征点数据库或进行进一步处理；

C、测试模块测试匹配结果，并判断匹配处理方法的准确率和速度情况。

所述的步骤A中的特征点数据库是指带有物体图像及其特征点文件的数据库；

所述的扩展的活动形状模型是指：在标准活动形状模型的垂线搜索基础上，同时从切线、45度角斜线以及135度角斜线上搜索最优特征点；

所述的训练过程是指：

a)从特征点数据库随机选取出一个训练集，在训练集的每一个训练样本图像上选择n个特征点，组成维度为2n的形状向量：x＝[x₁，.....，x_n，y₁，...，y_n]^T，然后对所有的图像进行对齐操作，使形状向量所表示的形状在大小、方向和位置上最为接近；

b)对所有的对齐后的形状向量进行主成分分析，将所有的特征都表示为其中表示所有形状向量的平均值；Φ为特征向量，而b_i就是对应的参数；

c)计算训练样本的协方差矩阵 $s=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T,$ 其中m为所有形状个数；

所述的训练模型是指：将训练结果保存在一个文件夹的文件中，待匹配处理时直接导入使用。

所述的步骤B中的匹配处理包括两个方面：

a)局部范围内搜索最优点：在垂线方向、切线方向、45度角方向和135度角方向上搜索最优点，通过多次迭代不断向最优的方向移动，在profile上用马氏距离计算其最优点的位置，从而确定下一次迭代过程中的方向，其中profile是指特征向量，g_i是profile上的一点，是n个点的平均值，s是由公式 $s=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_i-\stackrel{\‾}{g}){(g_i-\stackrel{\‾}{g})}^T$ 得到的协方差矩阵；

b)全局范围内搜索最优点：将形状特征向量的参数限定在范围内搜索最优点，λ_i表示特征向量所对应的特征值；

所述的进一步处理包括将匹配的特征点用于物体种类识别和人脸表情识别。

一种基于扩展的活动形状模型的实时特征点检测系统，该系统包括特征点标记模块：完成特征点的多模式标记工作，用以扩充特征点数据库；

训练模块：在特征点数据库的基础上产生训练模型；

匹配模块：对新的图形进行匹配并输出新图形的特征点信息；

测试模块：用于测试匹配结果判断匹配处理方法的准确率和速度情况。

所述的特征点标记模块包括特征点标记工具和保存功能单元，所述的特征点标记工具用于在已有数据库的基础上定位新图像的特征点位置，所述的保存功能单元用于将特征点保存到特征点数据库。

所述的训练模块，包括图形对齐单元、主成分分析单元和协方差矩阵计算单元，所述的图形对齐单元是通过旋转、缩放、移动三种操作将训练的图形排列整齐，所述的主成分分析单元是找到对图形影响最大的几个特征向量，所述的协方差矩阵计算单元则是为后面匹配过程做准备。

所述的匹配模块包括局部搜索单元和全局形状限制单元，所述的局部搜索单元在局部范围内确定最优特征点，从而确定下一步迭代时此点的移动方向，所述的全局形状限制单元则是保证搜索范围控制在设定的范围内。

所述的测试模块用于将匹配处理所得特征点结果与人工标记结果进行对比，得出平均每个特征点的像素偏移量，从而判断匹配处理方法的准确率。

与现有技术相比，本发明提出的一种基于扩展的活动形状模型的实时特征点检测方法与系统，在匹配准确度上有了一定的提高，在实时特征点定位时，抓点的错误率有明显的下降。由于工具系统的使用，使得建立数据库，训练匹配到结果测试这一过程的复杂度大幅降低。本发明可以广泛地应用于人脸识别、表情识别以及医学图像应用领域。

附图说明

图1为本发明方法流程示意图；

图2为本发明方法模块结构示意图；

图3为本发明的实施例2的流程示意图；

图4为本发明的实施例2的标记点图；

图5为本发明的实施例2的匹配过程示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例按照图1方法所示，一种基于扩展的活动形状模型的实时特征点检测方法，该方法包括以下步骤：

A、训练模块基于已有的特征点数据库使用扩展的活动形状模型进行训练产生训练模型；

B、匹配模块基于训练模型使用扩展的活动形状模型对新的图片进行匹配处理，将匹配结果通过特征点标记模块添加入特征点数据库或进行进一步处理；

C、测试模块测试匹配结果，并判断匹配处理方法的准确率和速度情况。

所述的步骤A中的特征点数据库是指带有物体图像及其特征点文件的数据库；

所述的扩展的活动形状模型是指：在标准活动形状模型的垂线搜索基础上，同时从切线、45度角斜线以及135度角斜线上搜索最优特征点；

所述的训练过程是指：

a)从特征点数据库随机选取出一个训练集，在训练集的每一个训练样本图像上选择n个特征点，组成维度为2n的形状向量：x＝[x₁，.....，x_n，y₁，...，y_n]^T，然后对所有的图像进行对齐操作，使形状向量所表示的形状在大小、方向和位置上最为接近；

b)对所有的对齐后的形状向量进行主成分分析，将所有的特征都表示为其中表示所有形状向量的平均值：Φ为特征向量，而b_i就是对应的参数；

c)计算训练样本的协方差矩阵 $s=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T,$ 其中m为所有形状个数；

所述的训练模型是指：将训练结果保存在一个文件夹的文件中，待匹配处理时直接导入使用。

所述的步骤B中的匹配处理包括两个方面：

a)局部范围内搜索最优点：在垂线方向、切线方向、45度角方向和135度角方向上搜索最优点，通过多次迭代不断向最优的方向移动，在profile上用马氏距离计算其最优点的位置，从而确定下一次迭代过程中的方向，其中profile是指特征向量，g_i是profile上的一点，是n个点的平均值，s是由公式 $s=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_i-\stackrel{\‾}{g}){(g_i-\stackrel{\‾}{g})}^T$ 得到的协方差矩阵；

b)全局范围内搜索最优点：将形状特征向量的参数限定在范围内搜索最优点，λ_i表示特征向量所对应的特征值；

所述的进一步处理包括将匹配的特征点用于物体种类识别和人脸表情识别。

一种基于扩展的活动形状模型的实时特征点检测系统，结构如图2所示，包括：特征点标记模块1、训练模块2、匹配模块3和测试模块4，其中：特征点标记模块1完成特征点的多模式标记工作，用以扩充特征点数据库5，提高匹配的稳定性。训练模块2在特征点数据库的基础上产生训练模型；匹配模块3对新的图形进行匹配并输出新图形的特征点信息。测试模块4用于测试匹配结果判断匹配方法的准确率和速度情况。

所述的特征点标记模块1，是建立在已有的数据库训练基础上的模块，包括特征点标记工具和保存功能。在已有数据库的基础上定位新图像的特征点位置，再通过人工的方式来进行进一步地调整，获得新的标记文件来扩充数据库。标记工具就是帮助人工来进行点的调整，直观地在图像表面拖动特征点，增强了标记的准确性和易用性。保存功能则将特征点保存到数据库。

所述的训练模块2，包括图形对齐，主成分分析和计算协方差矩阵。图形对齐是通过旋转、缩放、移动三种操作将训练的图形排列整齐。主成分分析则是找到对图形影响最大的几个特征向量。协方差矩阵则是为后面匹配过程做准备。

所述的匹配模块3，包括局部搜索和全局形状限制。局部搜索在局部范围内确定最优特征点，从而确定下一步迭代时此点的移动方向，而全局形状限制则是保证物体形状不会发生太大的变化。

所述的测试模块4是指：将匹配所得特征点结果与人工标记结果进行对比，得出平均每个特征点的像素偏移量，从而判断匹配的准确率。

实施例2

如图3所示，为本发明方法与系统在人脸识别领域中的一个实现方案。

本实施例的应用背景为有背景变化地实时人脸特征点定位系统，此系统的传入图像可以从摄像头中实时获取也可以通过视频获得。帧率为8帧每秒。

本实施例所述的实时人脸特征点定位方案主要包括如下步骤：

步骤一、图片的实时抓取，可包括两个抓取方法。一个就是从已经录制好的实时人脸表情视频中抓取图片，另一个就是从摄像头中直接取出图片。前者可以用于对不同方法的测试，比较不同方法在相同的环境条件下的准确率。后者则是能够检测算法在实时环境下的表现。

步骤二、脸部检测，判断在图片中是否存在人脸。使用opencv自带的人脸检测函数，将检测出的人脸用框框出。如果检测不到人脸，则显然不需做任何操作，继续检测图片。如果检测到了人脸，有时候由于函数问题没能准确的框出，需要对框的形状做再次判断。

步骤三、判断检测到人脸的真实性，包括颜色、框的形状以及框的大小。这个步骤在提高准确度方面起着重要的作用，对于判断错误的人脸在下一步分别处理。

步骤四、如果确实是人脸，则消除掉背景颜色，减少背景对匹配过程的影响。如果判断不是人脸则调用上次匹配结果，作为下次匹配的开始。

步骤五、匹配过程。图4是人工选择的人脸特征点，本实施例中用58个特征点来代表一个人脸。图5表示的是搜索算法的改进方案，图5a表示原来的1D，2D profile的匹配过程，而图5b则是改进后的搜索方法，在四个方向上迭代查找最优特征点。

a)1D profile的活动形状模型是以穿过特征点并垂直于图形边界的垂线作为搜索范围的。它十分易于计算，但是它的缺点也是很明显的，如图5a所示，虽然最优特征点位置是p2，但是1D profile只能够搜索到p1。这很大程度上降低了定位的准确率。

b)为了扩大搜索范围，提高准确率，如图5a所示，除了垂直方向上的搜索线以外还添加了水平方向上的搜索。这明显提高了搜索的准确度，但由于它只能在垂线和切线上搜索，要移动到目标特征点需要迭代很多次。

c)为了减少迭代次数，如图5b所示，我们使用了在四个方向上搜索的方法。它在前面所述的基础上添加了45度角和135度角两个搜索方向。于是，在每次搜索过程中就可以用较少的迭代次数来移动到目标特征点上了。

将本发明与优化后的二维活动形状模型相比较，准确率提高5％。在实时的人脸特征点定位时，人脸检测失败率下降80％。达到了较好的效果。

Claims (7)

1.一种基于扩展的活动形状模型的实时特征点检测方法，其特征在于，该方法包括以下步骤：

A、训练模块基于已有的特征点数据库使用扩展的活动形状模型进行训练产生训练模型；

B、匹配模块基于训练模型使用扩展的活动形状模型对新的图片进行匹配处理，将匹配结果通过特征点标记模块添加入特征点数据库或进行进一步处理；

C、测试模块测试匹配结果，并判断匹配处理方法的准确率和速度情况；

所述的步骤B中的匹配处理包括两个方面：

a)局部范围内搜索最优点：在垂线方向、切线方向、45度角方向和135度角方向上搜索最优点，通过多次迭代不断向最优的方向移动，在profile上用马氏距离计算其最优点的位置，从而确定下一次迭代过程中的方向，其中profile是指特征向量，g_s为profile上的最优点，g_i是profile上的一点，是n个点的平均值，s是由公式得到的协方差矩阵；

b)全局范围内搜索最优点：将形状特征向量的参数限定在范围内搜索最优点，λ_i表示特征向量所对应的特征值；

所述的进一步处理包括将匹配的特征点用于物体种类识别和人脸表情识别；

所述的步骤C中具体为：将匹配所得特征点结果与人工标记结果进行对比，得出平均每个特征点的像素偏移量，从而判断匹配的准确率。

2.根据权利要求1所述的一种基于扩展的活动形状模型的实时特征点检测方法，其特征在于，所述的步骤A中的特征点数据库是指带有物体图像及其特征点文件的数据库；

所述的扩展的活动形状模型是指：在标准活动形状模型的垂线搜索基础上，同时从切线、45度角斜线以及135度角斜线上搜索最优特征点；

所述的训练过程是指：

a)从特征点数据库随机选取出一个训练集，在训练集的每一个训练样本图像上选择n个特征点，组成维度为2n的形状向量：x＝[x_1,.....,x_n,y_1,...,y_n]^T，然后对所有的图像进行对齐操作，使形状向量所表示的形状在大小、方向和位置上最为接近；

b)对所有的对齐后的形状向量进行主成分分析，将所有的特征都表示为其中表示所有形状向量的平均值：Φ为特征向量，而b_i就是对应的参数；

c)计算训练样本的协方差矩阵其中m为所有形状个数；

所述的训练模型是指：将训练结果保存在一个文件夹的文件中，待匹配处理时直接导入使用。

3.一种实施如权利要求1所述的基于扩展的活动形状模型的实时特征点检测方法的检测系统，其特征在于，该系统包括

特征点标记模块：完成特征点的多模式标记工作，用以扩充特征点数据库；

训练模块：在特征点数据库的基础上产生训练模型；

匹配模块：对新的图形进行匹配并输出新图形的特征点信息；

测试模块：用于测试匹配结果判断匹配处理方法的准确率和速度情况。

4.根据权利要求3所述的一种基于扩展的活动形状模型的实时特征点检测系统，其特征在于，所述的特征点标记模块包括特征点标记工具和保存功能单元，所述的特征点标记工具用于在已有数据库的基础上定位新图像的特征点位置，所述的保存功能单元用于将特征点保存到特征点数据库。

5.根据权利要求3所述的一种基于扩展的活动形状模型的实时特征点检测系统，其特征在于，所述的训练模块，包括图形对齐单元、主成分分析单元和协方差矩阵计算单元，所述的图形对齐单元是通过旋转、缩放、移动三种操作将训练的图形排列整齐，所述的主成分分析单元是找到对图形影响最大的几个特征向量，所述的协方差矩阵计算单元则是为后面匹配过程做准备。

6.根据权利要求3所述的一种基于扩展的活动形状模型的实时特征点检测系统，其特征在于，所述的匹配模块包括局部搜索单元和全局形状限制单元，所述的局部搜索单元在局部范围内确定最优特征点，从而确定下一步迭代时此点的移动方向，所述的全局形状限制单元则是保证搜索范围控制在设定的范围内。

7.根据权利要求3所述的一种基于扩展的活动形状模型的实时特征点检测系统，其特征在于，所述的测试模块用于将匹配处理所得特征点结果与人工标记结果进行对比，得出平均每个特征点的像素偏移量，从而判断匹配处理方法的准确率。