CN101916381A - 基于稀疏表示的物体轮廓提取方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的物体轮廓提取方法，属于数字图像处理与感知技术领域。本发明方法包括：a)在训练集中为输入的物体图像确定一个初始化轮廓，b)对初始化轮廓进行多次组合处理，每次组合处理包括局部搜索和矫正，c)当局部搜索的次数达到设定的阈值，或者一次局部搜索过程中未移动位置的控制点数量超过设定的阈值，终止所述组合处理，并输出得到的轮廓。本发明可以广泛应用于图像理解和感知的各个领域，提高计算机自动处理图像以及视频的效率，具有广泛的应用前景。

Description

基于稀疏表示的物体轮廓提取方法

技术领域

本发明涉及物体轮廓提取，尤其涉及一种基于稀疏表示的物体轮廓提取方法，属于数字图像处理与感知技术领域。

背景技术

随着现代科技的飞速发展，人们所需要处理的图像的数目变得极为庞大，因此对于图像的自动理解(不需要人工干预)和处理技术的需求变得越来越迫切，要求也越来越高。而研究如何从图像中提取出人脸等特殊目标物体的轮廓(这里所指的轮廓是由一个个控制点的坐标来表示的，用直线将这些控制点连接起来就形成了物体完整的轮廓)对于图像的自动理解以及处理具有非常重要的意义。例如：从人脸图像中提取出人脸各个部位的轮廓可以有助于进行表情识别，从手的图像中获取手的轮廓之后可以进行手势的识别，从核磁共振图像中提取出各个具体部位的轮廓之后则可以根据已有知识判断各个部位是否有病变发生等等。

和普通的边缘检测方法不同，对于人脸等固定目标轮廓的提取，现有技术主要依赖于基于模板的匹配搜索。基于模板的搜索可以划分为基于固定模板与基于可变形模板两类，其中，前者虽然复杂度低而且实现简单速度快，但应用范围较小，而后者则受限于模型的可变性不易控制而常常不能实现精确的轮廓提取。

下面给出现有技术中常用的两种轮廓提取方法。

一：基于马尔科夫随机场的轮廓提取

基于马尔科夫随机场的轮廓提取方法根源于概率论中的贝叶斯后验概率模型，它通过引入能量函数来构建可变性模板，并以这个模板为指引来进行轮廓的搜索。由于这种以能量函数形式表示的模板只是对轮廓控制点的相对位置以及纹理特征在统计意义上进行了一定的描述，而不是具体化的可见模板，所以实际上这种方法的模板与早前流行的Snake方法一样可控性比较差，因此搜索到的结果可能有比较大的偏差，此外，由于这种算法需要进行全局的搜索及大量计算，因此这种方法的速度通常较慢。

二：基于主动轮廓模型(ASM)的轮廓提取

主动轮廓模型(ASM)利用统计模型对物体轮廓进行建模，即假设合法轮廓在训练集的PCA(主成分分析)各个轴上的投影服从高斯分布。这种方法对于不精确的轮廓进行的矫正的原则是：利用服从高斯分布的随机变量的取值主要分布于均值左右各3倍的标准差的范围内的规律，将超过这一范围的取值视为不合法的轮廓，并将这些不合格的值调整为对应的边界值。这种方法的速度非常快，但主要缺陷在于，由于他所采用的是统计模板：当具体应用于某一轮廓的矫正时，只应用统计信息模板难以精确地确定这个错误的轮廓所对应的真正最优正确轮廓，因此所做出的调整通常不是最优的，这就造成最终获得的轮廓往往不够精确，对于这一问题，相关权威期刊已有论文对此进行论述，由于这种方法的模板不确定性较大，因此将正负3倍的标准差这一范围改小能提高最终的输出效果，但这样做是以缩小模板的可变性为代价的。

发明内容

本发明针对传统的基于统计模板的轮廓提取方法对具体输入不能实现精确矫正，使得最终的定位效果出现偏差的问题，引入稀疏表示构建模板来取代不精确的统计模板，因此可以实现更为精确的轮廓提取。

为了实现上述技术目的，本发明采用如下技术方案。图1给出了本发明方法的流程示意图。

一种基于稀疏表示的物体轮廓提取方法，包括下列步骤：

a)在设定的训练集中，为输入的物体图像确定一个初始化轮廓，所述训练集由多个经过标定的样本轮廓组成。

此处所述的“初始化轮廓”形象地说是从训练集中为物体图像挑选的最初轮廓，以作为后续处理的基础。所述初始化轮廓可以是训练集中的一个轮廓、或者所有轮廓的平均轮廓。这一初始化并不要求十分精确，如图2所示，其中展示的是为一个输入的人脸图像确定的一个初始化人脸轮廓。可以理解，在一般情况下，这样的初始化轮廓必定和输入的物体图像之间存在较大差别，这也是后续处理的必要性所在。由于轮廓是由一系列控制点的坐标表示的，此处所述的“平均轮廓”指所有训练轮廓的对应位置控制点坐标的平均值。

此处所述的“经过标定的样本轮廓”指的是基于人工方法或者其他方法由作为样本的物体图像经过标定得到的轮廓。如图3所示，图3中以字母t表示的人脸轮廓都是经过标定的样本轮廓，可以看到，这些轮廓和物体图像较为吻合，符合预期。

b)对初始化轮廓进行多次组合处理，每次组合处理包括局部搜索和矫正，

所述局部搜索包括：沿着物体轮廓的每个控制点的法向搜索设定的像素范围(比如在控制点内侧和外侧沿着法线方向各10个像素)，如图4所示，若能找到更符合控制点身份特征的位置，则以该位置替换当前控制点位置，没找到则保持不动。注意，此处所述的“法向”相对于控制点在轮廓线上的切向而言，既包括轮廓线内内侧法向，也包括轮廓线外侧的法向。此处所述的“控制点身份特征”可以是沿着控制点法向的设定范围(比如在控制点内侧和外侧沿着法线方向各10个像素)内的各个像素点的梯度值。

局部搜索之后，依据稀疏表示构建的模板来对当前的轮廓进行矫正(由于进行的是基于控制点局部特征的局部搜索，所以不可避免的会出现搜索错误，因此必须进行矫正)。

所述矫正包括：利用训练集的所有样本轮廓与N个正交的单位向量的线性加权组合轮廓逼近当前轮廓，N表示样本轮廓的维数，其中的各个权重由设定的线性优化算法(比如l₁优化算法或者l₀优化算法)确定，在优化过程中，在不影响逼近程度的前提下，要求使N个单位向量的权重尽可能小，由此使得当前训练集轮廓的加权线性组合最佳逼近输入轮廓，然后由此组合轮廓取代当前轮廓，

由于本发明涉及迭代处理，或者说循环处理，因此本发明所述的“当前”(比如“当前轮廓”、“当前控制点”)指的是进行某项处理的时刻所在的那个处理过程。这一术语在本领域是通用的，本领域技术人员理解其含义。

c)当局部搜索的次数达到设定的阈值，或者一次局部搜索过程中未移动位置的控制点数量超过设定的阈值，终止所述组合处理，并输出得到的轮廓。

本发明的迭代处理过程的终止条件有两个，一是局部搜索的次数(也可以说步骤b)的组合处理次数)达到阈值(比如20次)或者固定的点数达到阈值(比如70％)。

本发明所述物体不限于人脸，也可以是人脸的某个部位、人手、或人体特定器官等。

在本发明方法的具体实施过程中，还优选包括获取先验知识的过程，其主要是指从已经标记好控制点的训练集图像中提取出每个控制点的身份特征。这些特征将在搜索过程中作为从图像中搜寻相应控制点的唯一依据。先验知识只需要获取一次，在每次的搜索过程中都不需要再重新进行训练。

下面对本发明的矫正过程作原理上的描述。

本发明以引入稀疏表示来构建轮廓模板为核心。稀疏表示的概念来源于信息论，最初是被用来实现对信号进行采样。基于稀疏表示的采样可以突破经典采样定理的要求，以极低的采样频率实现对原始信号的采样而不损失有效信息，因此这种方法也可以用来进行信号的压缩。其基本思想为：首先假定存在一个训练集合(也被称为数据字典)，T＝{t₁，t₂，...，t_M}∈R^N×M，其中每一个元素t_i∈R^N。如果这个集合存在一定的冗余，即各个元素之间并不是完全独立的(所谓独立是指相互之间不能进行线性表示)而是有一定的相似性，那么如果一个新样本(元素)可以被这个集合中的元素所线性表示的，那么就一定能从这个集合中挑选出几个元素来对这个新元素进行稀疏的表示，所谓稀疏表示，就是指用少数几个元素来表示，一般来说，如果训练集由N个元素构成，则用小于N/3个元素来表示新的元素就可以称之为稀疏表示。训练集合的冗余性的具体表现就是集合的元素的维数比集合中所包含的元素的个数要小，即N＜M(这样才能使得线性方程组有无穷多解，从而使稀疏表示的实现成为可能)。

本发明独创性的利用稀疏表示构建正确轮廓的模板，对轮廓局部搜索过程中出现的错误进行修正。为了更好地描述其原理，首先构建一个矩阵P＝[T，I]∈R^N×(M+N)，其中，训练集T中的元素是由人工标定的目标物体轮廓的控制点坐标所组成的向量，I表示对角元素为1其余元素为0的单位矩阵，这个矩阵就是利用稀疏表示进行轮廓调整的调整矩阵。这里引入单位阵的目的是用于表示目前搜索到的轮廓中的误差。将目前搜索到的轮廓(即基于模板的矫正的对象)表示为x∈R^N。由于x与训练集中的元素属于相同的类别(都是描述目标物体的轮廓，只不过x中可能还有搜索过程中加入的误差)，再加上误差表示矩阵I，必然可以找到一个向量u＝[c₁，c₂，...，c_M，d₁，d₂，...d_N]∈R^M+N使得x可以由矩阵P的各个列元素所线性表示，即x＝Pu成立。然后通过l₀优化，即u^s＝min||u||₀，s.t.x＝Pu，其中l₀模||·||₀表示计算向量中非零项的个数，即可找到样本x在矩阵P(即其列元素组成的集合)下的稀疏表示形式u^s(u^s＝[c^s ₁，c^s ₂，...，c^s _M，d^s ₁，d^s ₂，...d^s _N])。在进行l₀优化之后，通过将所有d^s _i(i＝1，2，...N)赋值为0得到向量u⁰＝[c^s ₁，c^s ₂，...，c^s _M，0，0，...0]，再求出其对应的x⁰＝Pu⁰，就可以获得经过矫正之后的轮廓x⁰，完成轮廓矫正过程。这是由于T中各元素与x的相似度明显高于I中各列向量，因此，l₀优化之后所求得的向量u^s中对应于I的各列向量的项(d^s _i)会被尽可能的减少，这样也就实现了误差的最小化，从而使与样本x最相近的无误差轮廓与误差完成分离(由于T中各元素都为无误差标准轮廓，所以其线性表示也必然为无误差轮廓)。图5展示了基于稀疏表示的矫正的流程。另外，由于l₀优化的速度一般而言比较慢，因此在实际的操作过程中通常都是以l₁优化，即u^s＝min||u||₁，s.t.x＝Pu来近似进行求解(这一近似的有效性已经有论文证明)，其中||·||₁代表向量的1范数，这样可以有效提高运行速度。图3展示了利用稀疏表示剔除局部搜索所引入的误差的过程，其中左侧的输入轮廓为局部搜索所找到的轮廓，底部的轮廓为利用稀疏表示剔除误差后所得到的结果，柱状图上方的图像为权重最大的九个训练轮廓。

本发明实现简单，运行快速，可以在计算机上方便的实现，也可以写入硬件做成芯片实现。

和现有技术相比，本发明的优势在于：

本发明通过引入稀疏表示构建轮廓的搜索模板，解决了传统方法利用统计模型构建轮廓模板时不能对具体的输入进行精确矫正的问题，是一种更为高效精确的物体轮廓提取方法。而且，与基于马尔科夫随机场的方法相比，本发明只需要进行非常有限且简单的局部搜索，因此在速度上有很大的优势。此外，利用通过稀疏表示构建的轮廓模板，可以非常方便的获得输入轮廓与原始训练集中各个轮廓的相似度，而基于这种相似度则可以直接进行轮廓的识别，例如：训练集由人脸各个姿态的轮廓构成，则新提取出的轮廓所属的姿态可以依据相应的相似度直接进行判断。

本发明可以应用于人脸的表情识别，姿态识别等人机交互系统中，另外可以用于对视频中的人脸进行跟踪定位。此外，除了对人脸轮廓进行定位，本发明同样可以对其他特定物体的轮廓进行提取定位，例如，对人手进行定位，对医学图像中各个器官进行定位等。因此，本发明可以广泛应用于图像理解和感知的各个领域，提高计算机自动处理图像以及视频的效率，具有广泛的应用前景。

附图说明

图1表示基于稀疏表示物体轮廓提取方法流程示意图；

图2表示人脸轮廓的初始化示意图；

图3表示利用稀疏表示剔除局部搜索所引入的误差的过程示意图；

图4表示局部搜索范围示意图；

图5表示基于稀疏表示的矫正流程示意图

图6表示实施例中所用到的人脸的5个不同姿态。

具体实施方式

下面通过具体实施例对本发明作进一步描述。

下述实施例提供基于稀疏表示的人脸轮廓提取方法。

在进行轮廓提取之前，首先获取必要的先验知识：

(1)获取20个人的面部图像，其中每个人各包含5幅不同姿态的图像，具体的姿态如图6所示，从左到右分别为左偏25°，左偏15°，标准正脸，右偏15°，右偏25°；

(2)在每一幅图像上标定指明人脸轮廓位置的控制点，每个轮廓用60个控制点表示；

(3)在每个控制点，沿轮廓的法向量方向向内外两侧分别提取5个像素点的梯度值，用这10个梯度值所组成的向量作为此控制点的身份特征；

(4)用每一个轮廓所对应的60个控制点的水平坐标和垂直坐标组成一个列向量，并将所有轮廓的列向量放在一起组成矩阵T∈R^120×100；

(5)用矩阵T与120×120的单位矩阵I组成稀疏表示的调整矩阵P＝[T，I]∈R^120×220。

注：这些先验知识只需要获取一次，以后每次进行轮廓提取时都不需要重新进行计算。

具体轮廓提取过程如下：

(1)输入包含需提取轮廓物体的图像；

(2)求先期获得的100个轮廓的均值，作为在输入图像上进行轮廓搜索的初始化轮廓；

(3)在每个控制点的内侧和外侧，沿轮廓法向量方向各搜索10个像素位置，如果发现有像素点的身份特征与先期获得的控制点的身份特征更加相近(差的绝对值更小)，则将此位置作为当前控制点的位置，否则控制点位置保持不动。遍历更新所有控制点位置之后获得新的轮廓x(由控制点的坐标位置组成)；

(4)利用l₁优化求当前轮廓x的稀疏表示形式，即求u^s＝min||u||₁，s.t.x＝Pu，将单位向量所对应的权重设为0，获得x⁰＝Pu⁰，将x⁰设定为新的轮廓，剔除局部搜索引入的误差，如图3所示；

(5)如果在步骤(3)中遍历所有控制点时有70％的控制点位置保持不动或局部搜索的次数大于20，则继续执行步骤(6)，否则跳回步骤(3)，继续进行局部搜索；

(6)输出当前人脸轮廓位置。

Claims (10)

1.一种基于稀疏表示的物体轮廓提取方法，包括下列步骤：

a)在设定的训练集中，为输入的物体图像确定一个初始化轮廓，所述训练集由多个经过标定的样本轮廓组成，

b)对初始化轮廓进行多次组合处理，每次组合处理包括局部搜索和矫正，所述局部搜索包括：沿着物体轮廓的每个控制点的法向搜索设定的像素范围，若能找到更符合控制点身份特征的位置，则以该位置替换当前控制点位置，所述矫正包括：利用训练集的所有样本轮廓与N个正交的单位向量的线性加权组合轮廓逼近当前轮廓，N表示样本轮廓的维数，其中的各个权重由设定的线性优化算法确定，在优化过程中，在不影响逼近程度的前提下，要求使N个单位向量的权重尽可能小，由此使得当前训练集轮廓的加权线性组合最佳逼近输入轮廓，然后由此组合轮廓取代当前轮廓，

c)当局部搜索的次数达到设定的阈值，或者一次局部搜索过程中未移动位置的控制点数量超过设定的阈值，终止所述组合处理，并输出得到的轮廓。

2.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，所述初始化轮廓是训练集中的一个轮廓、或者所有轮廓的平均轮廓。

3.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，步骤b)所述设定的像素范围是指在控制点内侧和外侧沿着法线方向各10个像素。

4.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，步骤b)所述控制点身份特征是沿着控制点法向的设定范围内的各个像素的梯度值。

5.如权利要求4所述的基于稀疏表示的物体轮廓提取方法，其特征在于，所述设定范围是指在控制点内侧和外侧沿着法线方向各5个像素。

6.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，所述设定的线性优化算法是l₀优化算法。

7.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，所述设定的线性优化算法是l₁优化算法。

8.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，局部搜索次数的阈值为20次。

9.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，未移动位置的控制点数量的阈值为总控制点数量的70％。

10.如权利要求1所述的基于稀疏表示的物体轮廓提取方法，其特征在于，所述物体为人脸、人脸的部位、人手、或人体特定器官。

Images