CN106023232B - 一种带窗动态空间规整的图匹配方法 - Google Patents

Abstract

本发明了公开了一种带窗动态空间规整的图匹配方法,属于计算机视觉和模式识别领域，更为具体的讲，涉及一种带窗动态空间规整的图匹配方法。根据参考图像与待匹配图像的局部特征描述，通过带窗的动态空间规整衡量节点与节点之间匹配程度，实现图匹配方法，具有内存消耗少，并可以实现非精确匹配的特征。针对参考图像G₁中节点与其相邻节点的ε‑邻接图关系，根据节点数目确定图像G₂建立待匹配子图；利用子图中夹角余弦来表示中心节点的局部信息，并利用带窗的动态空间规整来衡量子图与子图的几何匹配程度，给出对于中心节点的匹配支持程度；再选择匹配支持程度最高的节点对，完成图匹配过程。

Description

一种带窗动态空间规整的图匹配方法

技术领域

本发明属于计算机视觉和模式识别领域，更为具体的讲，涉及一种带窗动态空间规整的图匹配方法。

背景技术

从两个点集中寻找点与点的映射关系一直是计算机视觉和模式识别领域中的核心问题，即是特征匹配，其应用遍布于目标识别、检索、定位，三维重建，运动分割，图像变形等。近些年来，利用图匹配实现特征匹配的研究得到了迅猛的发展。其中图可以是通过提取目标的二维和三维特征点，再添加带权边所构成。这主要是因为：图匹配方法不仅可以考虑特征的一阶外观信息，而且可以将更高阶，例如边信息等用于特征匹配。在一些特殊情况下，当特征的外观信息不具有判别性时，可以通过其二阶的几何结构信息来进行特征匹配，从而提高特征匹配的有效性和准确度。

近些年来，针对图匹配的特征问题，国内外的研究者们做了大量的工作。从待匹配图的特点来看，图匹配方法可以分为精确图匹配和非精确图匹配。前者要求两个待匹配图的节点数相同，从而实现一对一的匹配，而后者要求两个待匹配图的节点数不同，需要实现一对多的匹配。从匹配效果来看，非精确匹配的准确程度会远远低于精确匹配。从建模的方式上来看，图匹配方法主要分为两类：一种认为图匹配问题是图同构问题，即是通过置换邻接矩阵，寻找两图对应节点和边的最小代价；一种认为图匹配是二次分配问题，即是通过构造两图的相似矩阵，计算其最大特征值所对应的特征向量再离散化，寻找两图节点的对应矩阵。然而这两类算法的主要缺点是：前者属于NP-完全问题，在求解时需要依靠非凸优化寻找结果，难以获得目标函数的最优且仅能实现精确图匹配。后者可以处理非精确匹配问题，但构建两图的相似矩阵需要O(n⁴)的存储空间，所以只能适应于节点数较少的图匹配问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种带窗动态空间规整的图匹配方法，以各节点为中心建立局部子图，通过衡量子图特征的匹配程度，确定两图的节点匹配。

本发明的技术方案一种带窗动态空间规整的图匹配方法，该方法包括：

步骤1：分别提取参考图像和待匹配图像的特征节点；将特征节点相连分别建立参考图和待匹配图的邻接图；

步骤2：在参考邻接图中以每一个特征节点为中心建立参考邻域子图，各邻域子图包括中心特征节点及与中心特征节点相连的其它子特征节点；并记录各邻域子图中的子特征节点的总个数m，再根据各参考邻域子图建立空间特征向量其中α₁,α₂,...,α_m分别表示相邻子特征节点与中心特征节点连边的夹角，其中i表示第i个中心特征节点；

步骤3：在待匹配邻接图中以每一个特征节点为中心建立待匹配邻域子图，并记录各待匹配邻域子图子特征节点的数目，选取子特征节点的数目为[m-δ,m+δ]的待匹配邻域子图作为待匹配子图，其中δ根据实际需要确定；

步骤4：获取待匹配子图的空间特征向量，并将各待匹配子图的空间特征向量中的各元素复制再按原顺序排列两次获得待匹配向量F₂；

步骤5：建立长度为n的划窗，将划窗应用于待匹配向量F₂中，从待匹配向量F₂中的第一个元素开始往后滑动，滑动步长为1个元素，将每次滑动后滑窗中的向量与空间特征向量进行匹配度计算，滑动完毕后找出匹配度最大的滑窗对应的向量，该向量中各元素主要对应的中心特征节点即为参考邻接图中对应的第i个中心特征节点的匹配节点；

步骤6：采用上述相同方法计算出参考邻接图中其它中心特征节点的匹配节点。

进一步的，所述步骤1中建立邻接图的方法为：预先设定的阈值ε，计算图中每两个特征节点之间的欧式距离d；当距离小于等于ε时，建立两特征点的连边；设定连边的权重为两特征点的欧式距离。

进一步的，设定参考邻域子图的阈值设为110，匹配邻域子图的阈值设为100。

进一步的，所述步骤5中匹配度的计算方法为：

步骤5.1：设定一个大小为(m+1)×(n+1)的动态空间规整矩阵W，W(1,j)表示动态空间规整矩阵W中第一行的元素，W(q,1)表示第一列的元素,其中W(1,1)＝0，其余第一行和第一列元素为无穷大；

步骤5.2：计算动态空间规整矩阵W中各元素的数值：

W(q,j)＝cost+min(W(q-1,j),W(q,j-1),W(q-1,j-1))；

其中：

步骤5.3：最终计算出动态空间规整矩阵W中最末尾的元素，认为W(m+1,n+1)的数值为每次滑动后滑窗中的向量与空间特征向量的匹配度。

与现有技术相比，本发明的有益效果是：

(1)本发明利用图中以节点为中心的子图局部信息来刻画节点特征，构建了一种带窗动态空间规整的图匹配方法，提出的基于局部信息的图匹配方法适用于精确匹配和非精确匹配，具有匹配准确度较高的特征。

(2)本发明只针对子图建立特征向量，对子图特征匹配不需要建立全局的相似矩阵，具有内存消耗小的特征。

(3)本发明采用角度的余弦来描述子图的局部信息，有效地刻画了中心节点与其邻接节点的高阶几何关系；通过带窗的动态空间规整进行子图匹配，子图匹配具有旋转不变性。

附图说明

图1一种带窗动态空间规整的图匹配方法流程图

图2参考图像与待匹配图像示意图

图3邻域子图的空间特征向量表示示意图

图4带窗的动态空间规整匹配示意图

图5参考图与带匹配图的匹配效果示意图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的的技术人员更好地理解本发明。需要特别提醒注意的是：在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明带窗动态空间规整的图匹配方法流程图。

本实施例中选用Willow-Object数据库中的人脸图片进行实验，如图1所示，本发明基于带窗动态空间规整的图匹配方法，包括以下步骤：

1.分别提取参考图图像和待匹配图像的图像特征，特征可以包括：单点特征、边缘特征或块特征等。建立参考图G₁和待匹配图G₂，其中记G₁有N₁个节点G₂有N₂个节点根据特征分别建立参考图G₁和待匹配图G₂点的ε-邻接图，如图2所示。预先设定的阈值ε，计算图中每两个特征点之间的欧式距离d；当距离小于等于ε时，建立两特征点的连边；设定连边的权重为两特征点的欧式距离，其中G₁的阈值设为110。

2.以G₂中每一个节点为中心，分别建立其邻域子图其中G₂的阈值设为100。

3.提取G₁中节点i为中心的邻域子图i＝1,...,N₁，记的节点数目为m；将邻域子图表示为空间特征向量其中α₁,α₂,...,α_m分别为对应边的夹角，如图3所示。

4.提取G₂中邻域子图节点数目介于[m-δ,m+δ]的子图，作为的待匹配子图，假定有K个，分别记为在实验中δ＝1。

5.将G₂的邻域子图表示为空间特征向量构建针对F₂建立窗口大小为n的滑动窗口，记滑动窗口内的向量为p＝1,...,P，依次计算特征向量与的匹配程度s^p，其中p表示第p次滑动，的向量长度为m，的向量长度介于[m-δ,m+δ]之间，为n。

其中匹配程度s^p的计算方法如下：

(1)确定动态空间规整的距离计算为d＝|x-y|，其中x,y表示求距离的两个对象。

(2)设定动态空间规整矩阵W，其中W(1,1)＝0，其余第一行和第一列元素为无穷大；

(3)令q＝2,...,m+1，执行步骤(4)，循环执行q＝q+1，直至q＝m+1，退出循环；

(4)令j＝2,...,n+1，

计算代价

更新W(q,j)＝cost+min(W(q-1,j),W(q,j-1),W(q-1,j-1))；

执行j＝j+1，循环执行步骤(4)，直至j＝n+1，退出；

(5)令s^p＝W(m+1,n+1)，输出。

6.滑动窗口p，循环执行步骤6，直至p＝P，退出循环。带窗的动态空间规整方法如图4所示。

7.选择并记录s^p,p＝1,...,P中匹配程度最高的分数，记为转至步骤6循环执行步骤6、7，直至k＝K，退出循环。

8.选择中分数最高的匹配，记为s_max，其对应的子图是G₂以C_i为中的子图，则确定G₁中的第i个节点与G₂中的C_i节点对应，转至步骤4循环，直至i＝N₁，退出循环，匹配完成，如图5所示匹配结果。

Claims (4)

1.一种带窗动态空间规整的图匹配方法，该方法包括：

步骤1：分别提取参考图像和待匹配图像的特征节点；将特征节点相连分别建立参考邻接图和待匹配邻接图；

步骤2：在参考邻接图中以每一个特征节点为中心建立参考邻域子图，各参考邻域子图包括中心特征节点及与中心特征节点相连的其它子特征节点；并记录各参考邻域子图中的子特征节点的总个数m，再根据各参考邻域子图建立空间特征向量sF₁ ⁱ＝(cosα₁,cosα₂,...,cosα_m)，其中α₁,α₂,...,α_m分别表示相邻子特征节点与中心特征节点连边的夹角，其中i表示第i个中心特征节点；

步骤3：在待匹配邻接图中以每一个特征节点为中心建立待匹配邻域子图，并记录各待匹配邻域子图子特征节点的数目，选取子特征节点的数目为[m-δ,m+δ]的待匹配邻域子图作为待匹配子图；

步骤4：获取待匹配子图的空间特征向量，并将所有待匹配子图的空间特征向量中的各元素按顺序排列为一个待匹配向量F₂；

步骤5：建立长度为n的滑窗，将滑窗应用于待匹配向量F₂中，从待匹配向量F₂中的第一个元素开始往后滑动，滑动步长为1个元素，将每次滑动后滑窗中的向量与空间特征向量sF₁ ⁱ进行匹配度计算，滑动完毕后找出匹配度最大的滑窗对应的向量，该向量中各元素对应的中心特征节点即为参考邻接图中对应的第i个中心特征节点的匹配节点；

步骤6：采用与上述步骤5相同的方法计算出参考邻接图中其它中心特征节点的匹配节点。

2.如权利要求1所述的一种带窗动态空间规整的图匹配方法，其特征在于所述步骤1中建立邻接图的方法为：预先设定的阈值ε，计算图中每两个特征节点之间的欧式距离d；当距离小于等于ε时，建立两特征点的连边；设定连边的权重为两特征点的欧式距离。

3.如权利要求1所述的一种带窗动态空间规整的图匹配方法，其特征在于所述步骤2中参考邻域子图包括中心特征节点及与中心特征节点相连的距离小于110的其它子特征节点；所述步骤3中匹配邻域子图包括中心特征节点及与中心特征节点相连的距离小于100的其它子特征节点。

4.如权利要求1所述的一种带窗动态空间规整的图匹配方法，其特征在于所述步骤5中匹配度的计算方法为：

步骤5.1：设定一个(m+1)×(n+1)大小的动态空间规整矩阵W，设定动态空间规整矩阵W中第一行第一列的元素,其中W(1,1)＝0，其余第一行和第一列元素为无穷大；

步骤5.2：依次计算动态空间规整矩阵W中各元素的数值：

W(q,j)＝cost+min(W(q-1,j),W(q,j-1),W(q-1,j-1))；

其中：

步骤5.3：最终计算出动态空间规整矩阵W(m+1,n+1)中的元素，认为元素W(m+1,n+1)的数值为每次滑动后滑窗中的向量与空间特征向量sF₁ ⁱ的匹配度。