CN104298990B - 一种基于骨架图的快速图形匹配与识别的方法 - Google Patents

Abstract

本发明属于模式识别与计算机视觉技术领域，具体公开了一种基于骨架图的快速图形匹配与识别的方法，主要解决了在保证图形识别准确度的同时，加快了图形的匹配速度。其实现步骤包括：(1)用经典canny边缘检测算子提取图形的轮廓；(2)对图形轮廓进行等间距的采样；(3)以采样点作为三角形顶点，剖分图形；(4)构建图形的内部骨架结构图；(5)提取图形骨架图的特征向量；(6)计算图形的匹配代价矩阵；(7)找到图形最佳匹配点；(8)旋转图形骨架结构图，重复步骤(6)‑(7)；(9)输出最小匹配代价作为图形相似度距离。本发明能够在维持一定识别准确度的情况下，有效地降低了形状描述符算子的复杂度，加快了图形的匹配速度。

Description

一种基于骨架图的快速图形匹配与识别的方法

技术领域

本发明属于模式识别与计算机视觉领域，涉及基于图形内部结构图的图形识别方法，具体是一种基于骨架图的快速图形匹配与识别的方法，能够应用于图形的快速匹配与识别中。

背景技术

近年来，随着科学技术与计算机互联网技术的快速发展，数字图像在各行各业中使用的越来越广泛。在数字的海洋中，如何能够快速识别出一幅图像，一直成为计算机视觉与模式识别热门讨论的话题。自从20世纪90年代初，基于内容的图像检索技术(content-based image retrieval)被提出以来，它一直是研究者的研究热点。它主要通过提取图像的纹理、颜色、目标的形状以及它们的空间位置信息等特征，计算被检索图像与数据集中的图像的相似度距离，来实现图像的识别与检索。经过近20年的研究与发展，在应用方面也已经比较成熟，像google、百度、Bing等收索引擎公司都开发了属于自己的基于内容的图像搜索产品。比如：Google Similar Images，百度识图等。

形状特征作为图像的最基本特征之一，自问世以来，就得到大量学者以及研究员的广泛注意。通常情况下，形状特征可以分为两类，一类是基于边界的特征，一类是基于区域的特征。边界特征主要针对图形的外部轮廓情况，区域特征主要针对整个图形内部区域。一个好的形状描述符不仅应该具有尺度、旋转和转换不变性，而且对于失真的形状，也应该具有很好的识别能力。传统的方法，像简单的几何特征、傅里叶描述符、小波描述符、曲率尺度空间等都不能很好的满足这些特性，图形的识别率也不是很高，直到Belongie S，MalikJ和Puzicha J发表了文献Shape matching and object recognition using shapecontexts.Pattern Analysis and Machine Intelligence,IEEE Transactions on,2002,pp:509-522.他们提出了shape context形状描述符，将边界轮廓转化成一维的函数来进行匹配，大大提高了图形的识别准确性。但是，这种方法不能有效地利用形状轮廓内部的特征，对复杂的图形不具有良好的识别效果，而且时间复杂度高，匹配效率低。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于骨架图的快速形状匹配与识别的方法，该方法在满足一定识别精度的情况下，大大加快了形状的匹配速度。

本发明的技术方案：一种基于骨架图的快速形状匹配与识别的方法具体实现步骤如下：

(1)依次读入图形数据集中的图形S_i，其中i＝1,2,...,N，N为数据中图形的个数，利用canny边缘检测算子分别对每一幅图形S_i进行边界处理，提取它们的轮廓C_i；

(2)对图形的轮廓C_i进行顺时针均匀采样，得到等间隔的M个采样点P_ij，其中j＝1,2,...,M；

(3)将采样点P_ij作为三角形的各个顶点，根据受限delauney三角剖分原则，将图形内部区域划分为很多相邻的小三角形区域；

(4)根据划分后的三角形区域，计算出新的采样点；利用这些新采样点，构建图形的内部骨架图；

(5)利用shape context方法，建立基于骨架图的形状描述符，提取特征向量；

(6)根据χ²统计原则，计算两幅图形骨架图的匹配代价矩阵；

(7)采用dynamic programming的方法，得到图形间的最小匹配代价和最佳匹配点；

(8)将图形骨架图旋转60°，重复步骤(6)、(7)，直到图形旋转一周；

(9)找到6次最小匹配代价的最小值作为最终的图形相似度值。

上述步骤(2)所述的“对图形的轮廓C_i顺时针均匀采样”，按如下步骤进行：

(2a)将图形上的轮廓点从图形左下角开始按顺时针排列，组成一个一维向量C_i＝{c_i1,c_i2,...,c_im}，其中m是轮廓点的个数；

(2b)从第一个点开始每隔round(m/M)个点，采样一个轮廓点P_ij，其中j＝1,2,...,M；

(2c)并将这M个采样点沿着图形轮廓的顺时针排列。

上述步骤(3)所述的“将图形内部区域划分为很多相邻的小三角形区域”，是根据受限delauney三角剖分原则，创建一个受限的delauney三角网：

(3a)将步骤(2)中的采样点作为delauney三角的网格点，采样点的排列顺序作为delauney三角的受限条件，划分出三角形区域；

(3b)保留图形内部的三角形，去除图形外部的三角形。

上述步骤(4)所述的“计算出新的采样点，构建图形的内部骨架图”，

按如下步骤进行：

(4a)根据划分的三角形区域tri_i，其中i＝1,2,...,K，K为划分后的三角形个数，分别得到其各个顶点的坐标P_ii(x,y)，P_ij(x,y)，和P_ik(x,y)；计算出每个三角形重心坐标center_i(x,y)＝(P_ii(x,y)+P_ij(x,y)+P_ik(x,y))/3，这些重心就是我们要得到的最优采样点，也就是骨架图的顶点；

(4b)如果两个delauney三角形相邻，用线段连接它们的重心center_i和center_j，其中i≠j，i,j＝1,2,...,k，其距离e_ij为center_i和center_j的欧几里得距离；如果两个delauney三角形不相邻，e_ij＝+∞；由center和e构成骨架图G；

(4c)对于只有一条连接边的重心点，定义为端点；对骨架图的端点进行标记，并按照顺时针排序。

上述步骤(5)所述的“建立基于骨架图的形状描述符，提取特征向量”，

按如下步骤进行：

(5a)以骨架图的一个端点n_i作为顶点，其中i＝1,2,...,t，计算该点到其它最优采样点center的距离与方向，转化为极坐标polar_i(θ,r)，并进行归一化处理，r限定到(0,1]，θ限定到(-π,π]，其中距离r是由Dijkstra算法搜索出来的该点到其它点的最短路径，Dijkstra算法是由荷兰科学家dijkstra提出的，采用广度优先搜索解决非负权有向图最短路径问题；角度θ为两点与水平面的夹角；

(5b)按照shape context方法建立一个2-D的灰度直方图，将距离作为横坐标进行m等分，角度作为纵坐标进行n等分，统计落入每个直方形区域最优采样点的个数h_i(k)，h_i(k)＝#{C:(C-n_i)∈bin(k)}，k＝1,2,...,m*n

并作归一化处理；

(5c)对每一个端点，都进行步骤(5a)和(5b)处理，得到骨架特征向量GSC＝{h₁,h₂,...,h_t}，其中t为骨架图端点的个数。

本发明的有益效果：本发明用canny边缘检测算子提取图像的轮廓，用采样点构建受限delauney三角，利用三角形重心构建骨架图，采用shape context方法提取骨架图特征，根据χ²统计的方法计算图形采样点的相似性度量矩阵，用dynamic programming方法计算最佳匹配点与最小匹配代价。本发明与现有技术相比具有以下优点：

1.本发明由于在对图形轮廓采样后，通过delauney三角转换，得到新的采样点分布在图形内部，有效利用了图形的内部特征。

2.采用dijkstras搜索算法，计算两个采样点间的最短距离，大大降低了形状描述符的时间复杂度。

3.需要匹配的图形上点的个数远远小于其它方法，加快了图形匹配速度。

附图说明

图1是本发明的总流程框图；

图2是本发明中所使用的图形数据集；

图3是数据集kimia99中其中一幅图形骨架图的构建；

图4是数据集kimia25中手势图形的匹配结果。

具体实施方式

图形匹配与识别问题，可以抽象为提取图形特征向量与计算特征向量相似性的问题。

参照图1，本发明设计的基于骨架图的图形匹配与识别的具体实现步骤如下：

步骤一：输入图形数据集的N幅图像S_i，i＝1,2,...,N，由于输入图像为二值图像，直接用canny边缘检测算子提取出各幅图像的轮廓C_i，i＝1,2,...,N。其中canny检测算子在1986年由John Canny提出。

步骤二：对图形的轮廓C_i进行顺时针均匀采样，得到等间隔的M个采样点P_ij(j＝1,2,...,M)：

(2a)将图形上的轮廓点从图形左下角开始按顺时针排列，组成一个一维向量C_i＝{c_i1,c_i2,...,c_im}(m是轮廓点的个数)；

(2b)从第一个点开始每隔round(m/M)个点，采样一个轮廓点P_ij(j＝1,2,...,M)；

(2c)并将这M个采样点沿着图形轮廓的顺时针排列。其每一个采样点P_ij，都可以用笛卡尔坐标表示为(x,y)，其中x为该点的横坐标，y为该点的纵坐标。本实验中，采样点的个数为100。

步骤三：将采样点P_ij作为三角形的各个顶点，根据受限delauney三角剖分原则，将图形内部区域划分为若干个相邻的三角形区域tri_i，(i＝1,2,...,K，K为图形划分后的三角形个数)：

(3a)将步骤(2)中的采样点作为delauney三角的网格点，采样点的排列顺序作为delauney三角的受限条件，划分出三角形区域；

(3b)保留图形内部的三角形，去除图形外部的三角形。

其具体实施方法见于J.R.Shewchuk于1996年提出的Triangle:Engineering a 2DQuality Mesh Generator and Delaunay Triangulator。

步骤四：对于图形S_i，构建其骨架结构图G_i。

(4a)根据划分的三角形区域tri_i，i＝1,2,...,K，分别得到其各个顶点的坐标P_ii(x,y)，P_ij(x,y)和P_ik(x,y)，计算出每个三角形重心坐标计算出每个三角形重心坐标center_i(x,y)＝(P_ii(x,y)+P_ij(x,y)+P_ik(x,y))/3，这些重心就是我们要得到的最优采样点，也就是骨架图的顶点；

(4b)如果两个delauney三角形相邻，用线段连接它们的重心center_i和center_j(i≠j，i,j＝1,2,...,k)，其距离e_ij为center_i和center_j的欧几里得距离；如果两个delauney三角形不相邻，e_ij＝+∞；由center和e构成骨架图G；

(4c)对于骨架图G＝(center,e)，我们把只有一条连接边的重心点，定义为端点；具有两条连接边的重心点，定义为连接点；具有三条或三条以上的连接边的重心点，定义为中心点。对骨架图的端点进行标记，并按照顺时针排序。

步骤五：建立基于骨架图的形状描述符，提取特征向量。

(5a)以骨架图的一个端点n_i，i＝1,2,...,t，作为顶点，计算该点到其它最优采样点C_j的距离与方向，转化为极坐标polar(r,θ)，并进行归一化处理，r限定到(0,1]，θ限定到(-π,π]。其中距离r是由Dijkstra算法搜索出来的该点到其它点的最短路径，Dijkstra算法是由荷兰科学家dijkstra提出的，采用广度优先搜索解决非负权有向图最短路径问题；角度θ为两点与平面的夹角。

(5b)按照shape context方法建立一个2-D的灰度直方图，将距离作为横坐标进行m等分，角度作为纵坐标进行n等分，统计落入每个直方形区域最优采样点的个数h_i(k)，并作归一化处理。

h_i(k)＝#{C:(C-n_i)∈bin(k)}，k＝1,2,...,m*n (1)

本实验室中，设m为5，n为12。

(5c)对每一个端点，都进行步骤(5a)和(5b)处理，得到骨架特征向量GSC＝{h₁,h₂,...,h_t}(t为骨架图端点的个数)。

Shape context方法是一种常用的提取图形特征的方法，具有良好的尺度，旋转不变性。其具体实施步骤见于Belongie S，Malik J和Puzicha J于2002年在PAMI,IEEETransactions on发表的文献Shape matching and object recognition using shapecontexts。

步骤六：计算任意两个骨架结构图GSC₁与GSC₂的匹配代价矩阵。

(6a)假设是骨架图GSC₁的一个端点，是骨架图GSC₂的一个端点，根据χ²统计原则，这两点的匹配代价为：

其中，与分别是与的灰度直方图的值。

(6b)分别计算GSC₁各个端点与GSC₂各个端点的匹配代价，组成匹配代价矩阵：

其中，N1为GSC₁端点的个数，N2为GSC₂端点的个数。

步骤七：采用dynamic programming的方法找到骨架图GSC₁与GSC₂的最小匹配代价：

其中，K是GSC₁与GSC₂的最小端点个数，是GSC₁在第i个端点对应于GSC₂的最佳匹配点。

Dynamic programming的具体实施步骤参见M.R.Daliri和V.Torre于2008年发表在Pattern Recognition上的文章Robust symbolic representation for shaperecognition and retrieval。

步骤八：将图形骨架图旋转60°，重复步骤(6)(7)，直到其旋转一周，转到步骤九。

步骤九：找到6次最小匹配代价的最小值作为图形相似度值。在图形的匹配过程中，根据k近邻算法，找到前k个最相似的图形。对于比较大的图形集，比如MPEG-7数据集(内含1400幅图形)，使用了离心率、凹凸度等一系列几何特征来提高本算法的性能。在本实验中，最终的相似性距离为：

D＝H(GSC₁,GSC₂)+α₁|E₁-E₂|+α₂|S₁-S₂| (5)

其中，E₁和E₂分别是图形1和2的离心率，S₁和S₂分别是图形1和2的凹凸度，α₁和a₂是权重系数。这里的离心率是指与图形区域具有相同标准二阶中心距的椭圆的离心率。凹凸度是指同时在区域和其最小凸多边形中的像素比，这是个仿射特征，实际上反映出区域的牢靠性程度。这两个特征都在matlab图像处理工具箱中regionprops图像分析函数内。

本发明的效果可以通过以下实验进一步说明：

1.仿真实验采用的图形：

实验分别使用了图形数据集kimia25(图2(a))和kimia99(图2(b))作为测试数据集，这些图形都是特征比较明显的二值图形。

2.仿真实验的参数设定：

设定参数为：轮廓点的采样点个数为100；用极坐标构建2-D灰度直方图的距离横坐标进行5等分，角度纵坐标进行12等分；dynamic programming的阈值为0.6；步骤九的权重系数α₁＝3，α₂＝1。

3.仿真实验环境：

在CPU为core2 2.2GHz、内存3Gb、windows7系统上进行的matlab与c语言混合仿真实验。

4.仿真内容：

仿真1：采样图形内部最优点，构建骨架结构图

图3中(a)是kimia99数据集中的一幅测试图形原图；(b)是用canny边缘检测到的图形轮廓；(c)是均匀的轮廓采样点；(d)是对图形进行的delauney三角剖分；(e)是图形的内部采样点；(f)是图形的骨架结构图。

仿真2：图形的匹配

图4中(a)是kimia25数据集中两种手势的匹配，(b)是有遮挡的手势匹配；

仿真3：在数据集kimia25，kimia99以及MPEG-7上检索

在数据集kimia25，kimia99上的检索结果采用的是knn方法，在kimia25中k为3，在kimia99中k等于10。上述方法见H.Ling和D.W.Jacobs于2005年在CVPR发表的文章Usingthe inner-distance for classification of articulated shapes。

表1本发明与对比算法在kimia25数据集上的检索结果

算法	第1列	第2列	第3列
				SC	25/25	24/25	22/25
IDSC+DP	25/25	24/25	25/25
				CPDH+EM	25/25	24/25	24/25
D本发明	25/25	24/25	24/25

表2本发明与对比算法在kimia99数据集上的检索结果

从表1和表2上可以看到本算法的结果优于SC和CPDH+EMD算法，略差于IDSC+DP算法。但是本发明的形状描述符的时间复杂度为O(n²)，等于CPDH+EMD的时间复杂度，比SC的O(n³)和IDSC+DP的O(n³)要低一个数量级。对于在大量的图形数据匹配中，本算法的优势更加明显，在牺牲一定精度的前提下，大大加快了图形的匹配与识别速度，比如在大型数据集MPEG-7的检索中，IDSC+DP算法花费了9.94个小时，而本算法为0.63个小时。

对比算法SC见Belongie S，Malik J和Puzicha J于2002年在PAMI,IEEETransactions on发表的文献Shape matching and object recognition using shapecontexts。IDSC+DP见H.Ling和D.W.Jacobs于2005年在CVPR发表的文章Using the inner-distance for classification of articulated shapes。CPDH+EMD见Xin Shu和Xiao-JunWu于2011年在Image and Vision Computing发表的文章A novel contour descriptorfor 2D shape matching and its application to image retrieval。

因此，本发明与现有技术相比具有以下优点：

本发明由于在对图形轮廓采样后，通过delauney三角转换，得到新的采样点分布在图形内部，有效利用了图形的内部特性。

1.采用dijkstras搜索算法，计算两点间的最短距离，大大降低了形状描述符的时间复杂度。

2.需要匹配的图形上点的个数远远小于其它方法，加快了检索速度。

本实施方式没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (1)

1.一种基于骨架图的快速图形匹配与识别的方法，其特征在于：包括如下步骤：

(1) 依次读入图形数据集中的图形Si，其中i ＝ 1,2,...,N，N 为数据中图形的个数，利用canny 边缘检测算子分别对每一幅图形Si 进行边界处理，提取它们的轮廓Ci ；

(2) 对图形的轮廓Ci 进行顺时针均匀采样，得到等间隔的M 个采样点Pij，其中j ＝1,2,...,M ；

(3) 将采样点Pij 作为三角形的各个顶点，根据受限delauney 三角剖分原则，将图形内部区域划分为很多相邻的小三角形区域；

(4) 根据划分后的三角形区域，计算出新的采样点；利用这些新采样点，构建图形的内部骨架图；

(5) 利用shape context 方法，建立基于骨架图的形状描述符，提取特征向量；

(6) 根据χ2 统计原则，计算两幅图形骨架图的匹配代价矩阵；

(7) 采用dynamic programming 的方法，得到图形间的最小匹配代价和最佳匹配点；

(8) 将图形骨架图旋转60°，重复步骤(6)、(7)，直到图形旋转一周；

(9) 找到6 次最小匹配代价的最小值作为最终的图形相似度值；

步骤(2) 所述的对图形的轮廓Ci 顺时针均匀采样，按如下步骤进行：

(2a) 将图形上的轮廓点从图形左下角开始按顺时针排列，组成一个一维向量Ci ＝{ci1,ci2,...,cim}，其中m 是轮廓点的个数；

(2b) 从第一个点开始每隔round(m/M) 个点，采样一个轮廓点Pij，其中j ＝ 1,2,...,M ；

(2c) 并将这M 个采样点沿着图形轮廓的顺时针排列；

步骤(3) 所述的将图形内部区域划分为很多相邻的小三角形区域，是根据受限delauney 三角刨分原则，创建一个受限的delauney 三角网：

(3a) 将步骤(2) 中的采样点作为delauney 三角的网格点，采样点的排列顺序作为delauney 三角的受限条件，划分出三角形区域；

(3b) 保留图形内部的三角形，去除图形外部的三角形；

步骤(4) 所述的计算出新的采样点，构建图形的内部骨架图，按如下步骤进行：

(4a) 根据划分的三角形区域trii，其中i ＝ 1,2,...,K，K 为划分后的三角形个数，分别得到其各个顶点的坐标Pii(x,y)，Pij(x,y)，和Pik(x,y) ；计算出每个三角形重心坐标centeri(x,y) ＝ (Pii(x,y)+Pij(x,y)+Pik(x,y))/3，这些重心就是我们要得到的最优采样点，也就是骨架图的顶点；

(4b) 如果两个delauney 三角形相邻，用线段连接它们的重心centeri 和centerj，其中i ≠ j，i,j ＝ 1,2,...,k，其距离eij 为centeri 和centerj 的欧几里得距离；如果两个delauney 三角形不相邻，eij ＝ + ∞ ；由center 和e 构成骨架图G ；

(4c) 对于只有一条连接边的重心点，定义为端点；对骨架图的端点进行标记，并按照顺时针排序；

步骤(5) 所述的建立基于骨架图的形状描述符，提取特征向量，按如下步骤进行：

(5a) 以骨架图的一个端点ni 作为顶点，其中i ＝ 1,2,...,t，计算该点到其它最优采样点center 的距离与方向，转化为极坐标polari(θ,r)，并进行归一化处理，r 限定到(0,1]，θ 限定到(-π,π]，其中距离r 是由Dijkstra 算法搜索出来的该点到其它点的最短路径，Dijkstra 算法是由荷兰科学家dijkstra 提出的，采用广度优先搜索解决非负权有向图最短路径问题；角度θ 为两点与水平面的夹角；

(5b) 按照shape context 方法建立一个2-D 的灰度直方图，将距离作为横坐标进行m等分，角度作为纵坐标进行n 等分，统计落入每个直方形区域最优采样点的个数hi(k)，

hi(k) ＝ #{C:(C-ni) ∈ bin(k)}，k ＝ 1,2,...,m*n 并作归一化处理；

(5c) 对每一个端点，都进行步骤(5a) 和(5b) 处理，得到骨架特征向量GSC ＝{h1,h2,...,ht}，其中t 为骨架图端点的个数。