CN110136160A - 一种基于圆投影的快速图像匹配方法 - Google Patents
一种基于圆投影的快速图像匹配方法 Download PDFInfo
- Publication number
- CN110136160A CN110136160A CN201910393089.5A CN201910393089A CN110136160A CN 110136160 A CN110136160 A CN 110136160A CN 201910393089 A CN201910393089 A CN 201910393089A CN 110136160 A CN110136160 A CN 110136160A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- projection
- similarity
- circular projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000009416 shuttering Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005314 correlation function Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000009415 formwork Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 244000080767 Areca catechu Species 0.000 description 1
- 235000006226 Areca catechu Nutrition 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于圆投影的快速图像匹配方法，首先利用圆的各向同性和投影特征，将二维灰度图像转换为一维旋转不变性的表示形式，使用原始均值投影和方差投影相结合的混合圆投影计算子图特征向量，并对模板和搜索子图分别计算出来的混合圆投影向量使用归一化相关系数计算匹配相似度；然后，使用图像金字塔技术进行加速，使用顶层局部聚类和逐层候选点筛选，确定目标位置；最后，对得到的匹配目标，使用环形移动和角度直方图估计，计算出匹配目标的旋转角度，完成对目标的匹配。本发明方法的旋转估计优于其他同类方法，且可以在旋转、偏移、光照变化场景图像中获得准确、鲁棒的结果。各种实验结果表明，本发明方法适用于工业场景中的图像匹配。
Description
技术领域
本发明属于计算机机器视觉技术领域，用于对图像中的物体进行匹配，具体为一种快速的基于圆投影的图像匹配方法。
背景技术
模板匹配是基于已知的模板在待匹配图中找到最佳匹配位置的过程，是数字图像处理中一个重要内容，已广泛应用于工业对位、目标检测识别、跟踪等。近年来模板匹配研究已经有一些有效的算法(如文献[1])。但现有的模板匹配过程大多将模板与场景图像进行卷积，计算模板与场景图像之间的相似度以确定位置(如文献[2])。由于相关性的计算量很大，因此需要低成本的相关性算法进行实时处理，文献[3]中提出了大量相关类型的算法。这些方法大多分为两类：1)对模板和场景图像都使用图像金字塔，并通过自顶向下搜索来执行匹配(如文献[4])；2)采用两次搜索算法，在第一次搜索过程中使用亚模板在粗网格中搜索，第二次在先前发现的候选点附近搜索更好的匹配(如文献[5])。但是，当检测目标发生旋转时，以上算法将不再有效。
近年来国内外学者相继提出了一些可以任意旋转的方法。Lowe(文献[6])提出了一种尺度不变特征变换(SIFT)，它利用检测区域的梯度分布，具有缩放和旋转不变性，但是当图像特征点过少或出现重复结构时，基于SIFT的匹配容易失败，且运算量大。文献[7]提出一种将SIFT和旋转不变LBP结合的图像匹配方法，提高了运算速度，但是当图像细节纹理过多时，该算法匹配性能将显著降低。基于圆投影的旋转不变性，Tang(文献[8])提出了用圆的各向同性和投影特征进行任何角度匹配，但原始的圆投影匹配计算量较大。后续不断有学者对圆投影算法改进。Tsai(文献[9])使用环形投影技术表示多通道图像中的模板，通过计算彩色环形投影信息之间的NCC来快速选择候选模板，然后通过旋转模板来估计旋转。为了减少计算复杂度，文献[10]使用了一种快速检测到相似候选项的消除策略。文献[11]将原始圆投影向量改进，使得改进后的圆投影匹配算法对光照、噪声、对比度变化有更好的鲁棒性。文献[12]提出了两阶段匹配方法，利用第一阶段环形投影的矢量和选择候选点，然后对第一阶段存留的候选点使用旋转不变属性进行Zernike矩模板匹配。文献[14]将圆投影和序贯相似性检测结合起来，通过跳跃大量匹配点，减少非匹配点的计算量。文献[15]提出了一种扩展的圆投影算法(Extended RPT，E-RPT)，通过添加辅助点约束的方法来有效提高匹配精度。但是上述
算法忽略了圆投影向量本身对于同质区域无法识别的问题，同时具有计算复杂度较高、识别率较低等缺点。
参考文献
[1]Zitová,B.；Flusser,J.Image registration methods:A survey.ImageVis.Comput.2003,21,977–1000.
[2]J.K.Aggarwal,L.S.Davis,W.N.Martin,Correspondence process indynamic scene analysis,Proc IEEE 69(5)(1981)562}572.
[3]J.P.Secilla,N.Garcia,Template location in noisy pictures,SignalProcess.14(1987)347}361.
[4]Tanimoto,S.L.Template matching in pyramids.Comput.Graph.ImageProcess.1981,16,356–369.
[5]A.Rosenfeld,A.Kak,Digital Image Processing,2nd Edition,Vol.2,Academic Press,Orlando,1982.
[6]Lowe,D.G.Distinctive image features from scale-invariantkeypoints.Int.J.Comput.Vis.2004,60,91–110.
[7]郑永斌,黄新生,丰松江.SIFT和旋转不变LBP相结合的图像匹配算法[J].计算机辅助设计与图形学学报,2010,22(2):286-292.
[8]Tang,Y.Y.；Cheng,H.D.；Suen,C.Y.Transformation-ring-projection(TRP)algorithm and its VLSI implementation.Int.J.Pattern Recogn.Artif.Intell.1991,5,25–56.
[9]Tsai,D.-M.；Tsai,Y.-H.Rotation-invariant pattern matching withcolor ring-projection.Pattern Recogn.2002,35,131–141.
[10]Lee,W.-C.；Chen,C.-H.A fast template matching method with rotationinvariance by combining the circular projection transform process and boundedpartial correlation.IEEE Signal Process.Lett.2012,19,737–740.
[11]徐亦斌,王敬东,李鹏.基于圆投影向量的景象匹配方法研究[J].系统工程与电子技术,2005,27(10).
[12]M.S.Choi and W.Y.Kim,“A novel two stage template matching methodfor rotation and illumination invariance,”Pattern Recognit.,vol.35,pp.119–129,2002.
[13]Sassanapitak,S.；Kaewtrakulpong,P.An efficient translation-rotation template matching using pre-computed scores of rotated templates.InProceedings of the 6th International Conference on Electrical Engineering/Electronics,Computer,Telecommunications andInformation Technology(ECTI-CON2009),Pattaya,Chonburi,Thailand,6–9May 2009；pp.1040–1043.
[14]贾晓芬,赵佰亭,周孟然,et al.采用圆投影和序贯相似检测的图像匹配技术[J].哈尔滨商业大学学报(自然科学版),2015(2).
[15]于辉,张忠秋,何周灿.用于任意旋转角度景象匹配的圆投影算法[J].计算机工程与应用,2011,47(5):172-174.
发明内容
本发明要解决的问题是：传统基于灰度的图像匹配算法计算量大、不抗旋转；现有基于圆投影的匹配方法抗旋转，但是计算量大、匹配精度不高、对同质区域无法识别，在机器视觉领域需要做到实时性和效率的兼容，同时需要识别旋转目标。
本发明的技术方案为：一种基于圆投影的快速图像匹配方法，对任意大小样本图像，提取圆形模板，利用混合圆投影算法将二维图像转换到一维向量，以快速提取图像特征用于图像匹配，具体为：对选定的圆形模板图像，首先进行金字塔分解，将其降采样到指定层，然后使用混合圆投影变换计算出每一层模板的混合圆投影向量，并确定每一层的得分阈值；对待检测图像，首先进行金字塔分解，降采样到指定层，并从图上依次选择搜索子图，搜索子图为圆形，和降采样后的模板尺寸一致，并计算搜索子图的混合圆投影向量，然后对降采样后的模板和搜索子图的混合圆投影向量使用NCC算法计算相似度得分，得到某点所在子图对应的得分，结合阈值的局部聚类算法对得到的点过滤，逐层扩大搜索，使用非极大值抑制算法得到目标匹配位置，最后使用角度直方图估计策略得到目标的旋转角度，完成旋转目标的匹配。
进一步的，原始圆投影向量P(r)如下式所示：
其中，n(r)为半径为r的圆周上的像素个数，T(r,θ)为模板图上对应半径和旋转角度点的灰度值。
方差投影σ(r)定义为：
其中，T(r,θ)为模板图上对应点的灰度值；n(r)为半径为r上的圆周上的像素个数。
结合均值投影(1)和方差投影(2)，用于模板图和待搜索子图的混合投影Hp(r)、Hs(r)分别定义为：
Hp(r)＝ωm×Pp(r)+ωσ×σp(r) (3)
Hs(r)＝ωm×Ps(r)+ωσ×σs(r) (4)
其中，ωm、ωσ分别为均值投影和方差投影的权重因子。
进一步的，相似度函数计算具体为：
其中，Hp(r)和Hs(r)分别是模板图和搜索子图的混合圆投影向量，分别是模板图和搜索子图Rmax～Rmin范围内混合圆投影的平均值；Rmax、Rmin分别是计算相似度时选择的外环和内环大小；得到的相似度f在-1到1之间。
图像金字塔分解具体为：
3.1)将图像降采样到给定层，使用缩小后的待检测图像和缩小后的模板进行顶层局部聚类算法，得到若干个候选点，其基本思想是：将候选点按照位置分成若干个团簇，每个团簇内的候选点拥有同一个簇编号，不同簇彼此不相邻，具体流程为：
3.1.1)构建一个和待检测图像大小相同的掩码图mask，mask用于存储候选点所在团簇编号，以及团簇相关信息的hash_table，hash_table用于存储簇内最相似点的位置和相应的相似度，最相似度点即簇心；
3.1.2)计算某点P所在子图与模板的相似度T，如果T大于相似度阈值Tn-1，则计算该点上方和左边点对应的mask值m_up和m_left：
c)如果m_up和m_left不都为零，说明这是已经存在的某个簇的一部分，将P点加入到该簇，即将该点对应mask值设置为m_up和m_left的较大值，如果P点对应相似度大于簇中最相似点的相似度，则更新簇中最相似点的位置和相似度，否则不更新hash_table；
d)反之，如果m_up和m_left都为零，说明P是新的点，将P对应位置和相似度放入hash_table中，将对应mask点的值设置为hash_table的大小，以此建立新的簇种子点；
3.1.3)计算下一个点，重复步骤3.1.2)，直到图像的所有的点遍历完，计算结束；
3.1.4)最终将hash_table中的点位置保存下来，得到候选点位置和对应相似度信息；
3.2)逐层对候选点过滤，直到选出最匹配的点，具体的候选点筛选措施为：
3.2.1)将候选点集合B根据hash_table中的相似度得分进行降序排列；
3.2.2)选择具有最大相似度的点Q，将其从B集合中移除并加入到最终的候选点集合D中；
3.2.3)计算B中剩余候选点中与Q距离dis，将dis小于阈值d的点从B中移除，阈值d选择为模板的内切圆半径；
3.2.4)重复步骤3.2.1)～3.2.3)，直到B为空或D中候选点数已超过设定的数量，此时D中保留的候选点，作为本层最终的候选点集，此时的候选点位置即为目标匹配后的位置。
进一步的，在待检测图像上确定匹配位置后，目标相对模板的旋转角度估计策略具体为：在半径为r的环上，旋转角度θr通过以下式子得到：
其中，kr为偏移量，为步进角度，Nr为半径为r的环上像素数量
偏移量kr使用环形移动估计得到，具体为：
kr＝arg max(δr(k)),k∈[0,Nr] (7)
其中，δr(k)为偏移k像素之后和模板中环的归一化互相关系数，由于待搜索子图是模板旋转某一角度后得到的，环上像素发生环形移动，定义δr(k)如下：
其中，pr(n)和pr'(n)分别为模板图和待搜索子图对应半径圆上像素灰度值，和分别为模板图和待搜索子图对应半径圆上像素灰度平均值；
根据环上像素移动确定出的旋转角度，由于选择半径不同会发生变化且鲁棒性不高，这里使用角度直方图估计角度，具体为：(1)构建一个维数为360的数组a[360]，存放旋转角度对应的环的数量；(2)计算半径为r处的旋转角度，四舍五入后angle放入直方图，即a[angle]加一；(3)对所有半径进行(3)操作，最终构建角度分布的直方图；(4)检查步骤(3)得到的角度直方图中的众数，即为最终角度。
本发明提出了一种改进的圆投影匹配算法，在确保匹配速度的同时具有较高的匹配精度，其主要创新点为：(1)提出了混合圆投影向量，将图像从二维变换到一维向量，减少了计算复杂度，对于同质区域也能提供稳定、独特的特征；(2)使用图像金字塔，结合顶层局部聚类和逐层金字塔筛选，显著提升运算速度；(3)基于旋转目标像素的环形移位，构建角度直方图对角度进行估计，提高了角度计算的鲁棒性和准确性。
附图说明
图1为本发明方法的流程图。
图2为圆投影模板示意图。
图3为简单图和其对应的圆投影向量。
图4为基于图3的方差投影向量示意图。
图5为本发明改进的混合投影向量示意图。
图6为本发明中的逐层金字塔策略示意图。
图7为本发明中的顶层局部聚类流程图。
图8为本发明中的顶层局部聚类效果图。
图9为使用非极大值抑制过滤候选点的示意图。
图10为目标旋转时环上像素分布图。
图11为本发明中，使用角度直方图对图10进行环上角度统计的示意图。
图12为本发明在光照变化下的匹配效果。
图13为本发明中用到的旋转测试图片。
图14为本发明中用到的性能测试图片。
具体实施方式
针对背景技术中所提到的现有技术的问题，本发明设计了一种新的改进的圆投影匹配算法，主要贡献为：(1)提出了混合圆投影向量，提供稳定和独特的特征；(2)使用图像金字塔，结合顶层局部聚类和逐层金字塔筛选，提升运算速度；(3)构建角度直方图，估计精确的旋转角度。实验结果表明该发明对任意旋转的物体能精确地定位并估计角度，计算速度也有了明显提升。
如图1所示，本发明通过圆投影变换对图像进行匹配。首先对模板和搜索图像进行金字塔分解，降采样到指定层，计算降采样后的模板和搜索图像的混合圆投影向量，并计算其相似度，根据聚类和筛选策略，结合图像金字塔加速，定位候选点位置。最后，使用角度直方图策略(AHE)，估计旋转角度。至此完成了旋转目标的匹配。下面具体说明本发明的实施。
1、圆投影向量的改进
圆投影匹配以模板中心为圆心，模板图片最大内切圆的半径R为半径创建圆型模板。如图2所示，采用极坐标系表示图像T，以图像中心“O”为圆心建立极坐标系，定义半径为r上的圆投影向量P(r)为
其中T(r,θ)为模板图上对应半径r和旋转角度θ的点的灰度值。
当图像旋转时，图上的像素会随着图像的旋转而旋转，P(r)为固定量，因此圆投影算法抗旋转。当半径r不同时，所对应图像圆投影向量为：
P＝(p(0),p(1),,p(R)) (2)
为了方便计算，此处我们定义圆投影向量P(r)为：
其中，n(r)为半径为r上的圆周上的像素个数。
然而，标准圆投影向量对于相近灰度值(同质)的区域是无法识别的。如图3所示，(a)为半径为r的圆，圆上所有像素点灰度值都为100，(b)为等半径圆上，一半像素点值为50另一半为150，计算圆投影向量如图3(e)所示，可以看到原始圆投影向量对于(a)(b)这种同质区域是无法区别的。
圆投影变换得到图像特征，是为了降低计算复杂度，而且这些特征必须是稳定而且独特的。而原始圆投影向量对于图3(a)(b)这种相近灰度值(同质)的区域无法区分，我们必须找到这些图片的独特之处来加以区分。为解决这个问题，本发明引入了对应半径r上的方差投影σ(r)，定义如下：
其中，T(r,θ)为模板图上对应点的灰度值；为半径为r的圆上灰度平均值；n(r)为半径为r上的圆周上的像素个数。
如图4所示，方差投影向量表明图3(b)图片和其他三种图片图3(a)、(c)、(d)有显著区别。图3(a)(c)(d)这三类图片无法用方差投影区分，但是可以用式(3)中的圆投影向量区分出来，如图3(e)所示。
为了兼顾稳定性和独特性，本发明结合均值投影(3)和方差投影(4)，得到了混合投影，用于模板图和待搜索子图的混合投影Hp(r)、Hs(r)分别定义如下：
Hp(r)＝ωm×Pp(r)+ωσ×σp(r) (5a)
Hs(r)＝ωm×Ps(r)+ωσ×σs(r) (5b)
其中，ωm、ωσ分别为均值投影和方差投影的权重因子,一般是经验值设定，如ωm＝0.6、ωσ＝0.4。
如图5所示，为图3(a)～(d)图对应的混合投影向量的分布图。此处使用ωm＝0.6,ωσ＝0.4.可以看到，通过混合圆投影变换，四幅图片有较好的区分度。
2、相似度函数
使用归一化互相关(Normalized Cross Correlation,NCC)计算匹配的相似度，具体计算如下：
Hp(r)、Hs(r)分别是模板图和搜索子图的混合圆投影向量，分别是模板图和搜索子图Rmax～Rmin范围内混合圆投影的平均值；Rmax、Rmin分别是计算相似度时选择的外环和内环大小；得到的相似度f在-1到1之间。待搜索子图和模板完全匹配时，f＝1。
3、图像金字塔加速
为了提高匹配效率，使用图像金字塔进行加速。这里分两个步骤：第一步，将图像降采样到给定层，使用缩小后的图像和缩小后的模板进行粗搜索，给出若干个候选点；第二步，逐层对候选点过滤，直到选出最匹配的点。假设取样层数为n-1层，设置每一层的相似性阈值thresh[n]＝{T0,T1,…,Tn-1}，只有大于阈值的匹配点才能够被保留下来。图6表示了金字塔层数为3时的搜索示例，最佳匹配结果用红色块表示。
(1)顶层局部聚类
在最顶层使用对应层数模板和待匹配子图的圆投影向量匹配。为了提高效率，这里引入了局部聚类算法，基本思想是将候选点按照位置分成若干个团簇，每个团簇内的候选点拥有同一个簇编号，不同簇彼此不相邻。
如图7所示的流程图，算法流程表述如下:
A.构建一个和待匹配图相同大小的掩码图mask(里面存储候选点所在团簇编号)，以及团簇相关信息的hash_table(里面存储簇内最相似点位置和相应的相似度)。
B.计算某点P所在子图与模板的相似度T，如果T大于相似度阈值Tn-1，则计算该点上方和左边点对应的mask值m_up和m_left。
a)如果m_up和m_left不都为零，说明这是已经存在的某个簇的一部分，将P点加入到该簇，即将该点对应mask值设置为m_up和m_left的较大值，如果P点对应相似度大于簇中最相似点的相似度，则更新簇中最相似点的位置和相似度，否则不更新hash_table；
b)反之，如果m_up和m_left都为零，说明P是新的点，将P对应位置和相似度放入hash_table中，将对应mask点的值设置为hash_table的大小，以此建立新的簇种子点。
C.计算下一个点，重复步骤B，直到所有的点遍历完，计算结束。
D.最终将hash_table中的点位置保存下来。
以LENA图像为例，使用局部聚类之后的mask图像如图8所示,(a)为匹配之后的效果，(b)为模板，(c)为mask图。
可以看到，使用局部聚类，可以在线性时间内快速滤除干扰点，将相邻候选点聚集成簇，减少后续候选点数，减少了计算量。
(2)逐层金字塔筛选
在最顶层使用对应层数模板和上一层得到若干候选点之后，传入本层，对候选点相应位置进行扩大区域方法搜索，如果计算相似度大于阈值，将其传入到本层候选点集合中。但是在本层候选集合中有很多候选点，全都传入下一层进行扩散搜索是非常耗时的。为了减少运算量，这里引入非极大值抑制(Non-Maximum Suppression,NMS)，选取本层最终候选点。
NMS的基本思想是，保留局部最大值，抑制非极大值。计算流程如下：对于候选点列表B及其对应的相似度S，结果候选点集合为D，采用下面的计算方式：
A.将候选点集合B根据相似度得分进行降序排列；
B.选择具有最大相似度的点Q，将其从B集合中移除并加入到最终的候选点集合D中；
C.计算B中剩余候选点中与Q距离dis，将dis小于阈值d的点从B中移除,此处阈值一般选择为模板的内切圆半径；
D.重复这个过程,直到B为空或D中候选点数已超过一定数量。此时D中保留的候选点，作为本层最终的候选点集。
NMS流程示意图如图9所示，(a)为刚开始候选点集合B；(b)为处理的结果D。刚开始O1～4计算得到的相似度分别为0.9、0.7、0.6、0.8；通过选择最大得分O1加入候选集D并在B中删除，删除B中与O1距离在r以内的点(O2、O3)，在B中选择最大得分的点(仅有O4)，加入到D中并将其从B中删除，得到D{O1、O4}。
使用NMS减少了相邻候选点的出现，避免结果的重叠，同时可以根据输入目标点数的要求，得到最终指定数量的匹配目标。
4、角度估计策略
由于我们保存了所在圆环上像素的灰度，就可以比较容易的计算出旋转角度了。
图10为环上像素值分布示意图(r＝100),其中(a)为原图，(b)为旋转110度图，(c)为原图(Pr)和旋转后(Pr′)环上像素值分布图。
可以看到，旋转之后，环上所有像素的灰度值发生了循环移位(简称环移)。由此，在半径为r的环上，旋转角度θr可以定义为：
其中，Kr为偏移量，为步进角度，其中Nr为半径为r的环上像素数量。
偏移量Kr定义为：
kr＝arg max(δr(k)),k∈[0,Nr] (8)
Nr为半径为r的环上像素数量。θr(k)为偏移k像素之后和模板中环的归一化互相关系数，定义如下：
其中，pr(n)和pr′(n)分别为模板图和待搜索子图对应半径圆上像素灰度值。
采用(7)～(9)的式子，就可以计算出半径为r处候选点的旋转角度。为了提升角度估计的准确性，我们提出了一种用角度直方图(Angle Histogram Estimation,AHE)估计角度的方法。详细表述为：
(1)构建一个维数为360的数组a[360]，存放旋转角度对应的环的数量。
(2)计算半径为r处的旋转角度θr，四舍五入后angle放入直方图，即a[angle]加一；
(3)对所有半径进行步骤(2)，最终构建角度分布的直方图；
(4)检查步骤(3)得到的角度直方图中的众数，即为最终角度。
图11是图10(b)以图10(a)为模板，计算旋转角度之后的角度统计图，图11(a)为环上的角度统计，图11(b)是角度对应的环数分布直方图。
可以看到，通过AHE，计算得到最终角度，为直方图中的众数(即尖峰)，即110°，和理论旋转角度相符合。使用AHE可以对角度有较好的估计，避免r过小时计算角度误差较大，另外，对于环上存在同质区域(灰度值分布一致)时角度计算不正确的情况，也具有一定的抗干扰能力，提高了角度估计的鲁棒性。
5、具体实施及效果分析。
使用上述方法，本发明试验了多组同一目标在发生不同变化下的匹配效果。为了验证该方法的有效性，将结果与原始圆投影方法[8](Transformation-ring-projection，简写为TRP)和文献[13](Pre-computed scores of rotated templates,简写为PCS)中的方法进行了比较。所有实验均在一台使用VS2013/OpenCV3.0.0，Intel Core i5 1.6Hz CPU和8GB内存的电脑上进行。
(1)光照变化
如图12所示，是不同光照下使用工业相机拍摄的槟榔图片，(a)为模板图片，(b)～(f)为光照变化时匹配图片，红色圆圈内为匹配出来的结果。可以看到，本发明方法针对过曝、欠曝的图片都可以很好的识别出来，具有很强的光照不变性。
(2)角度估计结果
图13是旋转测试图片，用于估计所提出算法的角度精度，(a)为旋转基准图(1296*972)，(b)为模板(180*180)。将原始图像在0°～360°范围内每间隔10°做一次旋转，一共得到36张图片，然后使用本发明方法，对旋转后的36幅图片和原始基准图进行匹配。
角度误差为匹配出来的角度和真实旋转角度之差的绝对值。为了提供一个全面的精度评价，使用误差Er的三个性能指标来定量地展示性能：误差的均值Er_m、误差的标准差Er_std和最大误差Er_max。匹配结果如表1所示。
表1旋转角度匹配结果
从表1可以看出，本发明方法误差均值、标准差、最大值分别为0.0988、0.1836、1.107。原始的圆投影算法(TRP)只使用圆投影向量进行目标的定位，并没有计算旋转角度，这里不便进行比较。在文献[13]中，角度精度严重依赖于预先建立的旋转模板(PCS)和使用归一化互相关系数(NCC)估计出来的位置。如果没有精确定位将无法准确估算出角度，文献[13]使用9个预先建立的旋转模板。可以看到，本发明方法能进行较好的角度估计，且适用于任意旋转的物体。
(3)运行速度测试
使用工业相机捕获的PCB图像进行了运行速度的测试。所用测试和相应的模板图像如图14所示。测试图像(a)的大小1920*1080，模板图像(b)为283*283。
本实验根据匹配结果对计算性能进行了评估。此外，为了保证比较的公平性，本文还利用图像金字塔搜索框架对比较方法进行了优化。效率和金字塔层数的统计结果如表2所示。
表2运行时间(s)
由表2可以看出，本发明方法相对其他方法在运行效率上有明显的优势，在金字塔层数为3时，相对于TRP和PCS，分别提升了12.5％、900％。另外可看到，金字塔搜索策略可以显著提高匹配效率。
针对原始圆投影匹配算法存在的对于同质区域无法识别、计算复杂度高、计算慢的缺点，本发明提出了一种基于圆投影的快速图像匹配方法。结合混合圆投影向量和图像金字塔搜索策略，可以减少计算量，提升匹配效率。另外结合环移和角度直方图统计，可以精确的估计出旋转角度。结果表明，该方法的旋转估计优于其他同类方法。此外，本发明方法可以在旋转、偏移、光照变化场景图像中获得准确、鲁棒的结果。各种实验结果表明，本发明方法适用于工业场景中的图像匹配。
Claims (5)
1.一种基于圆投影的快速图像匹配方法，其特征是对任意大小样本图像，提取圆形模板，利用混合圆投影算法将二维图像转换到一维向量，以快速提取图像特征用于图像匹配，具体为：对选定的圆形模板图像，首先进行金字塔分解，将其降采样到指定层，然后使用混合圆投影变换计算出每一层模板的混合圆投影向量，并确定每一层的得分阈值；对待检测图像，首先进行金字塔分解，降采样到指定层，并从图上依次选择搜索子图，搜索子图为圆形，和降采样后的模板尺寸一致，并计算搜索子图的混合圆投影向量，然后对降采样后的模板和搜索子图的混合圆投影向量使用NCC算法计算相似度得分，得到某点所在子图对应的得分，结合阈值的局部聚类算法对得到的点过滤，逐层扩大搜索，使用非极大值抑制算法得到目标匹配位置，最后使用角度直方图估计策略得到目标的旋转角度，完成旋转目标的匹配。
2.根据权利要求1所述的一种基于圆投影的快速图像匹配方法，其特征是求取图像混合圆投影向量的具体步骤为：
1)原始均值投影向量P(r)如下式所示：
其中，n(r)为半径为r的圆周上的像素个数，T(r,θ)为模板图上对应半径r和旋转角度θ的点的灰度值，R为选定圆形模板的半径；
2)方差投影σ(r)定义如下：
其中，T(r,θ)为模板图上对应点的灰度值；n(r)为半径为r上的圆周上的像素个数；
3)结合原始均值投影(1)和方差投影(2)，计算模板图和搜索子图的混合投影向量Hp(r)、Hs(r)分别定义如下：
Hp(r)＝ωm×Pp(r)+ωσ×σp(r) (3)
Hs(r)＝ωm×Ps(r)+ωσ×σs(r) (4)
其中，ωm、ωσ分别为均值投影和方差投影的权重因子。
3.根据权利要求1所述的一种基于圆投影的快速图像匹配方法，其特征是相似度计算具体为：
其中，Hp(r)、Hs(r)分别是模板图和搜索子图的混合圆投影向量，分别是模板图和搜索子图Rmax～Rmin范围内混合圆投影的平均值；Rmax、Rmin分别是计算相似度时选择的外环和内环大小；得到的相似度f在-1到1之间。
4.根据权利要求1所述的一种基于圆投影的快速图像匹配方法，其特征是图像金字塔分解具体为：
3.1)将图像降采样到给定层，使用缩小后的待检测图像和缩小后的模板进行顶层局部聚类算法，得到若干个候选点，其基本思想是：将候选点按照位置分成若干个团簇，每个团簇内的候选点拥有同一个簇编号，不同簇彼此不相邻，具体流程为：
3.1.1)构建一个和待检测图像大小相同的掩码图mask，mask用于存储候选点所在团簇编号，以及团簇相关信息的hash_table，hash_table用于存储簇内最相似点的位置和相应的相似度，最相似度点即簇心；
3.1.2)计算某点P所在子图与模板的相似度T，如果T大于相似度阈值Tn-1，则计算该点上方和左边点对应的mask值m_up和m_left：
a)如果m_up和m_left不都为零，说明这是已经存在的某个簇的一部分，将P点加入到该簇，即将该点对应mask值设置为m_up和m_left的较大值，如果P点对应相似度大于簇中最相似点的相似度，则更新簇中最相似点的位置和相似度，否则不更新hash_table；
b)反之，如果m_up和m_left都为零，说明P是新的点，将P对应位置和相似度放入hash_table中，将对应mask点的值设置为hash_table的大小，以此建立新的簇种子点；
3.1.3)计算下一个点，重复步骤3.1.2)，直到图像的所有的点遍历完，计算结束；
3.1.4)最终将hash_table中的点位置保存下来，得到候选点位置和对应相似度信息；
3.2)逐层对候选点过滤，直到选出最匹配的点，具体的候选点筛选措施为：
3.2.1)将候选点集合B根据hash_table中的相似度得分进行降序排列；
3.2.2)选择具有最大相似度的点Q，将其从B集合中移除并加入到最终的候选点集合D中；
3.2.3)计算B中剩余候选点中与Q距离dis，将dis小于阈值d的点从B中移除，阈值d选择为模板的内切圆半径；
3.2.4)重复步骤3.2.1)～3.2.3)，直到B为空或D中候选点数已超过设定的数量，此时D中保留的候选点，作为本层最终的候选点集，此时的候选点位置即为目标匹配后的位置。
5.根据权利要求1所述的一种基于圆投影的快速图像匹配方法，其特征是在待检测图像上确定匹配位置后，目标相对模板的旋转角度估计策略具体为：
在半径为r的环上，旋转角度θr通过以下式子得到：
其中，kr为偏移量，为步进角度，Nr为半径为r的环上像素数量
偏移量kr使用环形移动估计得到，具体为：
kr＝arg max(δr(k)),k∈[0,Nr] (7)
其中，δr(k)为偏移k像素之后和模板中环的归一化互相关系数，由于待搜索子图是模板旋转某一角度后得到的，环上像素发生环形移动，定义δr(k)如下：
其中，pr(n)和pr'(n)分别为模板图和待搜索子图对应半径圆上像素灰度值，和分别为模板图和待搜索子图对应半径圆上像素灰度平均值；
根据环上像素移动确定出的旋转角度，由于选择半径不同会发生变化且鲁棒性不高，这里使用角度直方图估计角度，具体为：(1)构建一个维数为360的数组a[360]，存放旋转角度对应的环的数量；(2)计算半径为r处的旋转角度，四舍五入后angle放入直方图，即a[angle]加一；(3)对所有半径进行(3)操作，最终构建角度分布的直方图；(4)检查步骤(3)得到的角度直方图中的众数，即为最终角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393089.5A CN110136160B (zh) | 2019-05-13 | 2019-05-13 | 一种基于圆投影的快速图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393089.5A CN110136160B (zh) | 2019-05-13 | 2019-05-13 | 一种基于圆投影的快速图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136160A true CN110136160A (zh) | 2019-08-16 |
| CN110136160B CN110136160B (zh) | 2023-03-24 |
Family
ID=67573452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910393089.5A Active CN110136160B (zh) | 2019-05-13 | 2019-05-13 | 一种基于圆投影的快速图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136160B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111000528A (zh) * | 2019-12-23 | 2020-04-14 | 西南交通大学 | 一种人体睡觉姿势的检测方法 |
| CN111026902A (zh) * | 2019-12-20 | 2020-04-17 | 贵州黔岸科技有限公司 | 用于建筑材料类别的智能识别系统及方法 |
| CN111191651A (zh) * | 2019-12-06 | 2020-05-22 | 中国平安财产保险股份有限公司 | 单证图片识别方法、装置、计算机设备及存储介质 |
| CN111340134A (zh) * | 2020-03-11 | 2020-06-26 | 南京理工大学 | 一种基于局部动态规整的快速模板匹配方法 |
| CN111445480A (zh) * | 2020-03-23 | 2020-07-24 | 南京理工大学 | 一种基于新型模板的图像旋转角度和缩放系数测量方法 |
| CN112149744A (zh) * | 2020-09-25 | 2020-12-29 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112149671A (zh) * | 2020-09-28 | 2020-12-29 | 天津大学 | 基于归一化互相关模板匹配的目标区域精准定位方法 |
| CN112508846A (zh) * | 2020-10-30 | 2021-03-16 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
| CN112801865A (zh) * | 2021-03-22 | 2021-05-14 | 深圳棱镜空间智能科技有限公司 | 旋转不变的模板图像生成方法、装置、设备及存储介质 |
| CN114398978A (zh) * | 2022-01-13 | 2022-04-26 | 深圳市腾盛精密装备股份有限公司 | 一种模板匹配方法、装置、存储介质以及电子设备 |
| CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
| CN116863176A (zh) * | 2023-09-04 | 2023-10-10 | 苏州聚视兴华智能装备有限公司 | 一种数字智能制造用图像模板匹配方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| US20180004074A1 (en) * | 2016-06-30 | 2018-01-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| CN107633535A (zh) * | 2017-09-06 | 2018-01-26 | 深圳市易天自动化设备股份有限公司 | 一种新型机器视觉目标高速定位方法 |
-
2019
- 2019-05-13 CN CN201910393089.5A patent/CN110136160B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| US20180004074A1 (en) * | 2016-06-30 | 2018-01-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| CN107633535A (zh) * | 2017-09-06 | 2018-01-26 | 深圳市易天自动化设备股份有限公司 | 一种新型机器视觉目标高速定位方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191651A (zh) * | 2019-12-06 | 2020-05-22 | 中国平安财产保险股份有限公司 | 单证图片识别方法、装置、计算机设备及存储介质 |
| CN111026902A (zh) * | 2019-12-20 | 2020-04-17 | 贵州黔岸科技有限公司 | 用于建筑材料类别的智能识别系统及方法 |
| CN111026902B (zh) * | 2019-12-20 | 2023-06-16 | 贵州黔岸科技有限公司 | 用于建筑材料类别的智能识别系统及方法 |
| CN111000528A (zh) * | 2019-12-23 | 2020-04-14 | 西南交通大学 | 一种人体睡觉姿势的检测方法 |
| CN111340134B (zh) * | 2020-03-11 | 2022-09-06 | 南京理工大学 | 一种基于局部动态规整的快速模板匹配方法 |
| CN111340134A (zh) * | 2020-03-11 | 2020-06-26 | 南京理工大学 | 一种基于局部动态规整的快速模板匹配方法 |
| CN111445480A (zh) * | 2020-03-23 | 2020-07-24 | 南京理工大学 | 一种基于新型模板的图像旋转角度和缩放系数测量方法 |
| CN112149744B (zh) * | 2020-09-25 | 2022-09-16 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112149744A (zh) * | 2020-09-25 | 2020-12-29 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112149671A (zh) * | 2020-09-28 | 2020-12-29 | 天津大学 | 基于归一化互相关模板匹配的目标区域精准定位方法 |
| CN112508846A (zh) * | 2020-10-30 | 2021-03-16 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
| CN112801865A (zh) * | 2021-03-22 | 2021-05-14 | 深圳棱镜空间智能科技有限公司 | 旋转不变的模板图像生成方法、装置、设备及存储介质 |
| CN112801865B (zh) * | 2021-03-22 | 2021-08-06 | 深圳棱镜空间智能科技有限公司 | 旋转不变的模板图像生成方法、装置、设备及存储介质 |
| CN114398978A (zh) * | 2022-01-13 | 2022-04-26 | 深圳市腾盛精密装备股份有限公司 | 一种模板匹配方法、装置、存储介质以及电子设备 |
| CN116543188A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
| CN116543188B (zh) * | 2023-07-06 | 2023-10-13 | 深圳市睿达科技有限公司 | 一种基于灰度匹配的机器视觉匹配方法及系统 |
| CN116863176A (zh) * | 2023-09-04 | 2023-10-10 | 苏州聚视兴华智能装备有限公司 | 一种数字智能制造用图像模板匹配方法 |
| CN116863176B (zh) * | 2023-09-04 | 2023-12-05 | 苏州聚视兴华智能装备有限公司 | 一种数字智能制造用图像模板匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136160B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136160A (zh) | 一种基于圆投影的快速图像匹配方法 | |
| Guo et al. | 3D object recognition in cluttered scenes with local surface features: A survey | |
| Sipiran et al. | Harris 3D: a robust extension of the Harris operator for interest point detection on 3D meshes | |
| CN106485651B (zh) | 快速鲁棒性尺度不变的图像匹配方法 | |
| WO2006132046A1 (ja) | 三次元形状の位置あわせ方法及びプログラム | |
| CN103295014B (zh) | 基于像素位置排列直方图的图像局部特征描述方法 | |
| CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
| CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
| Salti et al. | On the affinity between 3D detectors and descriptors | |
| Liu et al. | Multi-sensor image registration by combining local self-similarity matching and mutual information | |
| Seib et al. | Object recognition using hough-transform clustering of surf features | |
| CN113379777A (zh) | 一种基于最小外接矩形垂直内距离比例的形状描述与检索方法 | |
| CN109785283B (zh) | 一种用于织物分割的纹理特征匹配方法及装置 | |
| Cui et al. | A new image registration scheme based on curvature scale space curve matching | |
| Sui et al. | Automatic image registration based on shape features and multi-scale image segmentation | |
| CN111126484B (zh) | 基于nfsc的宽基线图像匹配特征筛选方法 | |
| Tang et al. | Modified sift descriptor for image matching under interference | |
| Ma et al. | SC-PROSAC: An improved progressive sample consensus algorithm based on spectral clustering | |
| CN116612165A (zh) | 一种针对大视角差异sar图像的配准方法 | |
| CN111626096B (zh) | 一种三维点云数据兴趣点提取方法 | |
| Wu et al. | An accurate feature point matching algorithm for automatic remote sensing image registration | |
| Zhao et al. | Robust Region Feature Extraction with Salient MSER and Segment Distance-weighted GLOH for Remote Sensing Image Registration | |
| Luft et al. | Content-based Image Retrieval for Map Georeferencing | |
| Chen et al. | Method of item recognition based on SIFT and SURF | |
| Dai et al. | Real object registration algorithm based on SURF and RANSAC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |