CN105139013A - 一种融合形状特征和兴趣点的物体识别方法 - Google Patents

Abstract

一种融合形状特征和兴趣点的物体识别方法，针对用单一的全局特征或者单一的局部特征识别物体的缺陷，采用改进的HU矩描述的形状表示全局特征，快速鲁棒特征描述的兴趣点表示局部特征。将二者融合起来共同描述物体的特征，采用相似性测度进行物体的分类识别。实验结果表明，该方法对物体的尺度变换、视角变换和多种不同的噪声变化具有较好的鲁棒性。并将该方法与同类方法进行比较，结果表明该方法具有更佳的识别性能。

Description

一种融合形状特征和兴趣点的物体识别方法

技术领域

本发明涉及物体识别，尤其涉及一种融合形状特征和兴趣点的物体识别方法。

背景技术

物体识别，是计算机能够对任何环境下观察到的任意物体进行分类和辨别。其被广泛地应用于医学图像，视频监控，虚拟现实，机器人，遥感，视觉导航和数字图书馆等方面。在计算机视觉领域中，物体识别主要包括物体特征的提取、表示以及决策、分类的过程。其中，所提取特征的优劣直接影响最终的物体识别率。目前对物体识别的研究中，有提取物体的全局特征的识别算法，也有提取物体的局部特征的识别算法。文献[1,2]使用不变矩提取物体的形状特征，从而完成物体识别。该方法对于物体的平移、旋转、缩放都具有较高的鲁棒性，但对于噪声物体的识别，其识别率较低。文献[3,4]采用SIFT算法提取物体的局部特征，算法稳定性较高，但计算较耗时,对识别速度有一定的影响。文献[5]融合HU矩和SIFT特征来表示商标，该方法的识别率高于二者单独使用的识别率，但由于SIFT特征的维数较高，识别速度不理想，更重要的是该方法没有考虑HU矩和SIFT特征对最终识别率的贡献度。

针对现有算法的优缺点，本文将形状特征和兴趣点融合起来描述物体，然后采用相似性测度来识别物体。其中，物体的形状特征采用改进的HU矩描述，兴趣点采用快速鲁棒特征进行描述。采用相似性测度识别物体时，考虑改进的HU矩和快速鲁棒特征对识别率的贡献度，引入权值因子。

参考文献：

[1]EsinDogantekin,MustafaYilmaz，AkifDogantekin,EnginAvci.Arobusttechniquebasedoninvariantmoments–ANFISforrecognitionofhumanparasiteeggsinmicroscopicimages[J].ExpertSystemswithApplications,2008,35:728-738.

[2]ZhangFeng,LiuShangqian,WangDabao,GuanWei.Aircraftrecognitionininfraredimageusingwaveletmomentinvariants[J].ImageandVisionComputing,2009,27:313-318.

[3]ShengnanSun,ShicaiYang,LinduZhao.NoncooperativebovineirisrecognitionviaSIFT[J].Neurocomputing,2013,120:310-317.

[4]GeorgiosKordelas,PetrosDaras.Viewpointindependentobjectrecognitioninclutteredscenesexploitingray-triangleintersectionandSIFTalgorithms[J].PatternRecognition,2010,43:3833-3845.

[5]王振海,融合HU不变矩和SIFT特征的商标检索[J].计算机工程与应用,2012,48(1):187-191.

[6]M.K.Bhuyan,KarlF.MacDorman,MithunKumarKar.Handposerecognitionfrommonocularimagesbygeometricalandtextureanalysis[J].JournalofVisualLanguages&Computing,2015,28(1):39-55.

[7]JieZhu,JianYu,ChaomuriligeWang.Objectrecognitionviacontextualcolorattention[J].JournalofVisualCommunicationandImageRepresentation,2015,27(2):44-56.

[8]ShahAtiqurRahman,M.K.H.Leung,Siu-YeungCho.Humanactionrecognitionemployingnegativespacefeatures[J].JournalofVisualCommunicationandImageRepresentation,2013,24(3):217-231.

[9]VicentePalazon-Gonzalez,AndresMarzal,JuanM.Vilar.OnhiddenMarkovmodelsandcyclicsringsforshaperecognition[J].PatternRecognition,2014,47(7):2490-2504.

[10]HuMK.Visualpatternrecognitionbymomentinvariant[J].IRETransInformationTheory,1962,1(8):179-187.

[11]张蕾，刘勇，范庆辉.基于修正不变矩和范数的物体特征识别方法[J].微电子学与计算机，2008,25（6）：42-47.

[12]LeonardoChang,MiriamM.Duarte,L.E.Sucar,EduardoF.Morales.ABayesianapproachforobjectclassificationbasedonclustersofSIFTlocalfeatures[J].ExpertSystemswithApplications,2012,39(4):1679-1686.

[13]ShengnanSun,ShicaiYang,LinduZhao.NoncooperativebovineirisrecognitionviaSIFT[J].Neurocomputing,2013,120(1):310-317.

[14]ZhenbingZhao,NingLiu.TherecognitionandlocalizationofinsulatorsadoptingSURFandIFSbasedoncorrelationcoefficient[J].InternationalJournalforLightandElectronOptics,2014,125(20):6049-6052.

[15]HunnyMehrotra,PankajK.Sa,BanshidharMajhi.FastsegmentationandadaptiveSURFdescriptorforirisrecognition[J].MathematicalandComputerModelling,2013,58(1):132-146。

发明内容

为解决上述技术问题，一种融合形状特征和兴趣点的物体识别方法，将形状特征和兴趣点融合起来描述物体，然后采用相似性测度来识别物体。

为实现上述技术目的，本发明所采用的技术方案是：一种融合形状特征和兴趣点的物体识别方法，其特征在于：包括以下步骤，

步骤一、提取物体的形状不变矩特征，即，，其中为物体的七个HU矩；

步骤二、提取物体的兴趣点，即SURF根据尺度空间理论提取特征点，在各尺度下通过Hessian矩阵的行列式获得图像中的兴趣点，Hessian矩阵可定义为：

(3)

式中，表示任意一点，表示相应的尺度，、和是图像上的点与对应的高斯滤波二阶偏导的卷积结果；

通过改变盒子滤波的大小来构建不同尺度的金字塔，经盒子滤波后，和分别近似代替、和；在尺度上，可通过式（4）近似计算Hessian矩阵行列式的值判断某一点是否为兴趣点，如果,则该点为兴趣点；

(4)

在多尺度空间的立体邻域内，将兴趣点和其26个邻域值比较，若是为最小或最大的极值点，则该兴趣点是此区域的特征点；

步骤三、对步骤一中的HU矩进行相似度测度，得到HU矩的相似度测度；

步骤四、对步骤二中的兴趣点进行相似度测度，得到兴趣点的相似度测度；

步骤五、将步骤三和步骤四中的两种相似性测度进行融合，同时引入权值因子，表示如下：

(10)

(11)

(12)

其中，p，q分别是和对应的权值，并且满足，，n是物体的兴趣点特征数，根据图像中特征点的数量确定相似性测度的关系，根据公式（10）计算出融合后的相似性测度S，然后根据实验情况设定一个阈值，如果,则可以识别为同一个物体，相反如果,则判断为不同的物体。

本发明所述的步骤三中HU矩进行相似度测度的方法是，设数据库中某一标准样本的改进HU矩特征向量为，待识别物体的改进HU矩特征向量为，采用相似性测度函数完成改进HU矩的特征匹配；

为了方便相似性测度函数的计算，先对改进的HU矩进行归一化，其归一化函数如下：

(6)

则数据库中标准样本和待识别物体之间的相似性可用以下度量函数计算：

(7)

相似性测度函数表示改进HU矩的相似性测度，其值越逼近1，则相似度越高。

本发明所述的步骤四中兴趣点进行相似度测度的方法，设数据库中某一标准样本的SURF特征点数为m，则该样本的SURF特征构成标准特征向量，待识别物体的SURF特征点数为n，则该物体的SURF特征构成待识别特征向量，F和G中每个特征向量都是64维的，F和G中的每一个分量是由V构成；

对步骤二中每个特征点，进行插值处理确定其位置和尺度，以特征点为圆心，为半径的圆形邻域内，分别近似X和Y方向Harr小波的响应，以确定特征点的主方向，以特征点为中心，沿主方向把图像分为４×４个子区域，在每个子区域中计算Harr小波的响应dx和dy，生成４维特征向量如式（5）所示，因此４×４个子区域共可得到64个值，然后进行归一化处理，将该64维的特征向量作为SURF特征描述子

(5)；

将F中每个特征向量与G中所有特征向量进行匹配，设匹配对数为t，则，然后采用各个向量之间夹角的余弦值来分别计算每个匹配对的相似性测度

(8)

其中，和分别代表第k个匹配对的F中的第i个特征向量和G中的第j个特征向量；

再计算待识别物体和标准样本中各匹配对的相似性测度的平均值，如式(9)，相似性测度函数表示兴趣点的相似性测度，其值越大，相似度越高，

(9)。

本发明的有益效果是：该方法对物体的尺度变换、视角变化和噪声变化具有较好的鲁棒性。并将该方法与其它同类方法相比较，实验结果表明该算法具有更好的识别性能，识别时间短，识别率高。

附图说明

图1为标准图像；

图2是图1标准图像缩小0.8倍后的图像；

图3是图1标准图像放大1.1倍后的图像；

图4是图1标准图像旋转30度后的图像；

图5是图1标准图像添加高斯噪声后的图像。

具体实施方式

1.特征提取和表示

1.1物体的形状特征提取和表示

特征提取和表示是物体识别过程中非常重要和关键的一步。常用的物体特征有纹理特征[6]、颜色特征[7]、空间关系特征[8]和形状特征[9]。其中形状特征是最直接、最重要的视觉特征。形状描述的是物体的全局特征。提取形状特征的方法很多，有傅里叶形状描述法、几何参数特征、形状不变矩特征。其中形状不变矩特征是目前物体识别中应用最广泛的一种。HU定义的七个不变矩[10]常用于提取物体的形状特征，该矩在连续条件下具有比例、平移和旋转不变性,但在离散条件下比例不变性不成立。因此，本文采用改进的七个HU矩[11]来表示物体的形状特征，其描述如下：

(1)

因为该改进的HU不变矩组变化范围较大,为方便比较和计算,我们采用取对数来压缩数据，同时考虑到该不变矩为负值的情况,故实际使用的不变矩为

(2)

1.2物体的兴趣点的提取和表示

兴趣点是图像中的“稳定点”，这些点比较特殊，不会因为光照的变化、视角的改变、噪音的干扰而消失，例如边缘点、角点、亮区域的暗点以及暗区域的亮点。其描述的是物体的局部特征，表示方法有多种，常用的有尺度不变特征表示法[12,13]和快速鲁棒特征表示法[14,15]。尺度不变特征表示法（SIFT）鲁棒性较好，并具有尺度不变性，但其描述物体特征维数较高，特征点较多，使得计算量较大，故本文采用快速鲁棒特征表示法（SURF）来描述物体的特征。SURF是最有区分度、最有代表性的特征，其具有尺度和旋转不变性，并对噪声具有较好的鲁棒性。

SURF根据尺度空间理论提取特征点，在各尺度下通过Hessian矩阵的行列式获得图像中的兴趣点。Hessian矩阵可定义为：

(3)

式中，表示任意一点，表示相应的尺度，、和是图像上的点与对应的高斯滤波二阶偏导的卷积结果。

采用盒子滤波代替二阶高斯滤波，通过改变盒子滤波的大小来构建不同尺度的金字塔，经盒子滤波后，和分别近似代替、和。在尺度上，可通过式（4）近似计算Hessian矩阵行列式的值判断某一点是否为兴趣点。如果,则该点为兴趣点。

(4)

在多尺度空间的立体邻域内，将兴趣点和其26个邻域值比较，若是最小或最大的极值点，则该兴趣点是此区域的特征点。对每个特征点，进行插值处理确定其位置和尺度。以特征点为圆心，为半径的圆形邻域内，分别近似X和Y方向Harr小波的响应，以确定特征点的主方向。

以特征点为中心，沿主方向把图像分为４×４个子区域，在每个子区域中计算Harr小波的响应dx和dy，生成４维特征向量如式（5）所示。因此４×４个子区域共可得到64个值，然后进行归一化处理，将该64维的特征向量作为SURF特征描述子。

(5)

2.识别算法

相似性测度用于衡量同类样本的相似性，在分类决策中应用广泛，故物体的分类识别采用相似性测度的方法。由于提取物体的改进HU矩和SURF特征，所以分类识别时，先分别计算两种特征的相似性测度，再根据两种特征对于识别的贡献度，加入权值因子，通过自适应地调节权值因子的值，以区分每种特征对识别率的影响。

2.1改进HU矩的相似性测度

设数据库中某一标准样本的改进HU矩特征向量为，待识别物体的改进HU矩特征向量为，采用相似性测度函数完成改进HU矩的特征匹配。

为了方便相似性测度函数的计算，先对改进的HU矩进行归一化，其归一化函数如下：

(6)

则数据库中标准样本和待识别物体之间的相似性可用以下度量函数计算：

(7)

相似性测度函数表示改进HU矩的相似性测度，其值越逼近1，则相似度越高。

2.2SURF特征的相似性测度

设数据库中某一标准样本的SURF特征点数为m，则该样本的SURF特征构成标准特征向量。待识别物体的SURF特征点数为n，则该物体的SURF特征构成待识别特征向量，F和G中每个特征向量都是64维的，F和G中的每一个分量是由V构成。

将F中每个特征向量与G中所有特征向量进行匹配，设匹配对数为t，则，然后采用各个向量之间夹角的余弦值来分别计算每个匹配对的相似性测度

(8)

其中，和分别代表第k个匹配对的F中的第i个特征向量和G中的第j个特征向量。

再计算待识别物体和标准样本中各匹配对的相似性测度的平均值，如式(9)。相似性测度函数表示兴趣点的相似性测度，其值越大，相似度越高。

(9)

2.3两种相似性测度的融合

由于改进的HU矩和SURF特征对物体识别的贡献度不同，所以将式(7)和(9)中的两种相似性测度进行融合，同时引入权值因子，表示如下：

(10)

(11)

(12)

其中，p，q分别是和对应的权值，并且满足，。n是物体的兴趣点特征数，根据图像中特征点的数量确定相似性测度的关系。

根据公式（10）计算出融合后的相似性测度S，然后根据实验情况设定一个阈值，如果,则可以识别为同一个物体，相反如果,则判断为不同的物体。

3.实验结果及分析

本实验用的计算机是IntelCorei3CPU（3.40GHz），3.43GRAM，2GB内存，Windows7旗舰版操作系统，用MATLAB2010b作为仿真平台。为了验证本文方法的鲁棒性，具体采用哥伦比亚图像数据库COIL-100中的物体进行实验。该数据库包含100个不同外形的物体图像。具体拍摄时，将物体放在一个旋转的平台上,摄像机固定,旋转平台，每隔5°拍摄一幅图像，这样每个物体可有72幅不同视角的图像。图像的分辨率是128×128。图1-图5给出了典型的三个物体，每个物体给出了五幅不同视角的图像，其中图1是标准图像，图2是标准图像缩小0.8倍后的图像，图3是标准图像放大1.1倍后的图像，图4是标准图像旋转30度后的图像，图5是标准图像添加高斯噪声后的图像。

由于各物体的结构逻辑信息不同，所以提取的兴趣点的数量也不一样。对图1中，物体obj1的信息较丰富，可提取到较多的兴趣点，此时兴趣点对分类识别的贡献更大，相应地权值q会较大。物体obj2，可提取的兴趣点较少，此时形状特征对分类识别起主要作用，相应地权值p会较大。相对于obj1和obj2来说,物体obj3，可提取的兴趣点数量居中，因此兴趣点和形状特征对分类识别的贡献相等，相应地权值p和q相等。

在相同的实验条件下，用基于形状的物体识别，基于兴趣点的物体识别，融合形状和SIFT的物体识别以及本文算法对物体发生尺度、视角、噪声（包括高斯噪声和椒盐噪声）变化时进行比较，其结果如表1-3所示。其中识别时间是指每一幅图像的平均识别时间,包括特征提取时间、归一化时间和分类识别的时间。

表1各算法在尺度变化时的性能比较

方法	识别图像数	正确识别数	识别率(%)	识别时间(s)
					形状	258	215	83.3	0.035
兴趣点	258	222	86.0	0.643
					形状和SIFT	258	234	90.7	1.425
本文方法	258	242	93.8	0.687

表2各算法在视角变化时的性能比较

方法	识别图像数	正确识别数	识别率(%)	识别时间(s)
					形状	297	250	84.2	0.058
兴趣点	297	238	80.1	0.664
					形状和SIFT	297	266	89.6	1.342
本文方法	297	271	91.2	0.729

表3各算法在噪声变化时的性能比较

方法	识别图像数	正确识别数	识别率(%)	识别时间(s)
					形状	186	140	75.3	0.046
兴趣点	186	133	71.5	0.702
					形状和SIFT	186	149	80.1	1.587
本文方法	186	166	89.2	0.779

本文从识别率和识别时间两方面综合评价算法的优劣。从表1-3的实验结果可看出，无论是发生尺度、视角变化，还是发生噪声变化，本文方法的正确识别率均比单独使用形状或兴趣点的识别率提高了。特别是在发生视角变化时，本文方法的正确识别率比单独使用兴趣点的识别率要高出11.1%。本文方法的识别率比使用形状和SIFT的识别率也稍有提高。也就是说，从识别率上看，本文方法是四种方法中最优的。从识别时间上看，单独使用形状特征的识别时间最短，使用形状和SIFT特征的识别时间最长，本文方法的识别时间在二者之间，与单独使用兴趣点的识别时间比较接近。

通过比较分析，我们发现在发生各种变化时，本文方法的正确识别率在四种方法中是最高的。主要是因为单独使用形状或兴趣点的识别，只考虑了单一的全局特征或局部特征，有一定的片面性。而本文方法综合考虑物体的全局特征和局部特征，融合改进HU矩和SURF特征进行物体识别，同时引入权值因子，自适应地调整两种特征的相似性测度对最终识别率的贡献。本文方法的识别时间比使用形状和SIFT的识别时间要短得多（前者识别速度几乎是后者识别速度的2倍），主要是因为使用形状和SIFT的方法提取128维的SIFT特征和HU特征,同时每幅图像可产生大量的SIFT特征点。而本文方法提取64维的SURF特征和改进的HU矩特征，尽可能地减少冗余信息，每幅图像产生最有代表性的SURF特征点，数量较少，同时提取的特征维数较少，所以识别速度快。总体来说，本文方法的识别率明显高于单独使用形状或兴趣点的识别率；本文方法的识别速度几乎是使用形状和SIFT的识别速度的2倍，同时本文方法的识别率也比使用形状和SIFT的识别率提高了。

Claims (3)

1.一种融合形状特征和兴趣点的物体识别方法，其特征在于：包括以下步骤，

步骤一、提取物体的形状不变矩特征，即，，其中为物体的七个HU矩；

步骤二、提取物体的兴趣点，即SURF根据尺度空间理论提取特征点，在各尺度下通过Hessian矩阵的行列式获得图像中的兴趣点，Hessian矩阵可定义为：

(3)

式中，表示任意一点，表示相应的尺度，、和是图像上的点与对应的高斯滤波二阶偏导的卷积结果；

通过改变盒子滤波的大小来构建不同尺度的金字塔，经盒子滤波后，和分别近似代替、和；在尺度上，可通过式（4）近似计算Hessian矩阵行列式的值判断某一点是否为兴趣点，如果,则该点为兴趣点；

(4)

在多尺度空间的立体邻域内，将兴趣点和其26个邻域值比较，若是为最小或最大的极值点，则该兴趣点是此区域的特征点；

步骤三、对步骤一中的HU矩进行相似度测度，得到HU矩的相似度测度；

步骤四、对步骤二中的兴趣点进行相似度测度，得到兴趣点的相似度测度；

步骤五、将步骤三和步骤四中的两种相似性测度进行融合，同时引入权值因子，表示如下：

(10)

(11)

(12)

其中，p，q分别是和对应的权值，并且满足，，n是物体的兴趣点特征数，根据图像中特征点的数量确定相似性测度的关系，根据公式（10）计算出融合后的相似性测度S，然后根据实验情况设定一个阈值，如果,则可以识别为同一个物体，相反如果,则判断为不同的物体。

2.如权利要求1所述的一种融合形状特征和兴趣点的物体识别方法，其特征在于：所述的步骤三中HU矩进行相似度测度的方法是，设数据库中某一标准样本的改进HU矩特征向量为，待识别物体的改进HU矩特征向量为，采用相似性测度函数完成改进HU矩的特征匹配；

为了方便相似性测度函数的计算，先对改进的HU矩进行归一化，其归一化函数如下：

(6)

则数据库中标准样本和待识别物体之间的相似性可用以下度量函数计算：

(7)

相似性测度函数表示改进HU矩的相似性测度，其值越逼近1，则相似度越高。

3.如权利要求1所述的一种融合形状特征和兴趣点的物体识别方法，其特征在于：所述的步骤四中兴趣点进行相似度测度的方法，设数据库中某一标准样本的SURF特征点数为m，则该样本的SURF特征构成标准特征向量，待识别物体的SURF特征点数为n，则该物体的SURF特征构成待识别特征向量，F和G中每个特征向量都是64维的，F和G中的每一个分量是由V构成；

对步骤二中每个特征点，进行插值处理确定其位置和尺度，以特征点为圆心，为半径的圆形邻域内，分别近似X和Y方向Harr小波的响应，以确定特征点的主方向，以特征点为中心，沿主方向把图像分为４×４个子区域，在每个子区域中计算Harr小波的响应dx和dy，生成４维特征向量如式（5）所示，因此４×４个子区域共可得到64个值，然后进行归一化处理，将该64维的特征向量作为SURF特征描述子

(5)；

将F中每个特征向量与G中所有特征向量进行匹配，设匹配对数为t，则，然后采用各个向量之间夹角的余弦值来分别计算每个匹配对的相似性测度

(8)

其中，和分别代表第k个匹配对的F中的第i个特征向量和G中的第j个特征向量；

再计算待识别物体和标准样本中各匹配对的相似性测度的平均值，如式(9)，相似性测度函数表示兴趣点的相似性测度，其值越大，相似度越高，

(9)。