CN107590502A - 一种全场稠密点快速匹配方法 - Google Patents

Abstract

一种全场稠密点快速匹配方法，包括：a.在参考图像中选取参考子区作为匹配的全模板，在目标图像中选取搜索区域；b.使用参考子区中的部分像素点组成局部模板，利用局部模板在搜索区域中进行局部模板匹配；c.计算每次滑动的相关系数值，将计算得到的相关系数值与阈值比较，选出候选匹配窗口，对候选匹配窗口再进行全模板匹配，确定最佳匹配点；若相关系数值小于阈值，则忽略该搜索区域继续计算下一搜索区域的相关系数值；d.根据直方图统计后的相关系数值计算产生新的阈值，记录上一次最佳匹配点的位移分量，自适应调整下一匹配点搜索区域位置和大小，改变选取搜索区域的参数，进行下一次的搜索匹配。本发明能够提高匹配速度与精度。

Description

一种全场稠密点快速匹配方法

技术领域

本发明涉及图像处理领域，具体涉及一种全场稠密点快速匹配方法。

背景技术

材料或者物体的三维形变及形貌测量在航空航天、质量控制、逆向工程、安全监测和材料科学等领域具有极其广泛的应用。近年来，随着图像处理和机器视觉的快速发展，视觉测量方法越来越受到人们的关注。数字散斑相关方法是物体三维信息获取过程中计算最复杂的方法，它通过对被测物体变形前后的位移或变形前后的两个散斑场图像进行相关性计算而得到其形变等力学性能，作为视觉测量方法之一，它具有全场非接触、高精度、高稳定性等优点，已经作为三维形变及形貌测量领域的一种重要测量手段，但其计算复杂度高、速度慢，如何降低其计算复杂度以及提高其计算处理速度已经成为当今学者研究的重点。数字散斑相关方法自二十世纪八十年代提出以来，随着不断研究的深入，该方法已经延伸到材料测量、机器视觉及生物医学分析等领域，并成功的在许多领域得到了实际应用。

国外许多科研人员对数字散斑相关方法进行了一系列的研究。1983年，Peters在刚体位移测量方法研究中首次使用了数字散斑相关方法，为后来的科研学者提供了理论基础。同年，Sutton对相关搜索方法提出改进，采用粗细粒搜索的方法提高了相关计算的速度，然而实验结果表明该方法还有待完善。随后，Chu T.C.和Ranson等人对粗细粒搜索方法进行研究改进，使该方法在测量精度上有了明显的提高。1988年，M.A.Sutton等人通过对亚像素重建的研究以及测量误差的分析，将亚像素重建的方法应用到数字散斑相关方法中，使相关运算精度进一步提高。1993年，加拿大的LuHua教授从统计学的角度深入研究了数字散斑相关测量方法中的随机误差并分析产生误差的原因，提出了减小随机误差的有效方法。2012年，Grebenyuk等人将频域傅里叶变换应用到数字散斑相关方法中，使算法精度得到了进一步提升。

国内许多高校和科研院所也对数字散斑相关方法进行了研究。1989年，高建新等人从理论上系统分析了相关方法，提出了针对物体位移测量以及电镜照片分析等领域的相关搜索方法，但由于当时实验条件的局限性导致搜索匹配算法的速度和精度相对较低。1994年，苗嘉白、金昌观等人对相关搜索匹配方法进行改进，提出了一种十字搜索匹配算法，该方法显著提高了相关运算的速度，并从统计学的角度提出一种新的相关函数，提高了相关计算精度。2007年，潘兵等人将差分进化算法应用在快速整像素位移求解过程中，并将求解的结果作为Newton-Raphson的迭代初值，极大的提高了数字散斑相关方法的计算速度和精度。

然而，现有的大多数新型数字散斑相关算法虽然搜索匹配速度和精度都有一定的提高，但还是难以满足一些实时高精度测量的需求。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种全场稠密点快速匹配方法，该方法采用局部模板匹配进行粗匹配，再用全模板匹配进行精匹配，直方图统计后自适应选取阈值，降低算法的计算复杂度，通过自适应调整搜索区域的大小，提高算法的搜索速度。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

a.导入参考图像与目标图像，在参考图像中选取参考子区作为匹配的全模板，在目标图像中选取搜索区域；b.使用参考子区中的部分像素点组成局部模板，利用局部模板在搜索区域中逐点滑动进行局部模板的匹配；c.利用归一化相关系数函数计算每次滑动的相关系数值，将计算得到的相关系数值与阈值比较，若相关系数值大于阈值，判定搜索区域与参考子区的相关性较强，作为候选匹配窗口，对候选匹配窗口再进行全模板匹配，确定最佳匹配点，完成一对匹配点的搜索；若相关系数值小于阈值，则判定搜索区域与参考子区的相关性较弱，忽略该搜索区域继续计算下一搜索区域的相关系数值；采用直方图统计整个局部模板匹配过程相关系数值的频数；d.根据直方图统计后的相关系数值计算产生一个新的阈值作为下一对匹配点的阈值，记录上一次最佳匹配点的位移分量，自适应调整下一匹配点搜索区域位置和大小，改变选取搜索区域的参数，进行下一次的搜索匹配。

局部模板在全模板中的各个不同位置选取区域块构成，包括全模板中间位置及四个角上。

采用直方图统计整个局部模板匹配过程相关系数值频数的方法为：将0～1细分为100个区间作为直方图的横坐标，每个区间长度为0.01，直方图的纵坐标表示相关系数的数量，横坐标表示相关系数值；当局部模板在搜索区域内每滑动一次计算得到一个相关系数，判断该相关系数所在的区间，并对相应区间的直方图加1，从而完成该相关系数的统计。

对于局部模板下的匹配点A，当找到最佳匹配点时，得到相关系数在直方图各个区间出现的次数，将直方图从较大区间向较小区间依次累加，当累加值达到总数的1％～10％时停止累加，并将当前所在的横坐标作为匹配点B的阈值。

自适应调整下一匹配点搜索区域位置和大小的具体步骤为：

P点为参考图像的初始待匹配点，在目标图像中以P点坐标为中心选取搜索区域，当搜索完成后得到最佳匹配点，记录当前匹配点的位移量；在进行相邻匹配点Q的搜索时，在目标图像中找到Q点按P点位移量位移之后对应的Q*点，以Q*点坐标为中心，选取一个小于P点搜索区域的区域作为Q点的搜索区域，在该搜索区域内搜索Q点的最佳匹配点，完成搜索后记录Q点的位移量，对下一点的搜索区域进行调整。

所述的步骤b中利用局部模板在搜索区域中按从左到右、从上到下逐点滑动进行匹配。

与现有技术相比，本发明具有如下的有益效果：1、局部模板匹配；采用两层匹配，利用参考子区中的部分像素点组成局部模板，先用局部模板进行粗匹配，局部模板匹配排除了大量的非匹配窗口，筛选出与匹配点相关性强的候选匹配窗口，再对候选匹配窗口用全模板进行精匹配，能够在保证匹配精度的情况下减少全模板参与搜索匹配计算的次数，提高了匹配速度。2、直方图统计自适应选取阈值；在进行局部模板匹配时，采用直方图统计当前匹配点在局部模板匹配下相关系数的分布，通过计算相关系数的分布产生下一匹配点的阈值，从而自适应的调整阈值，将局部模板匹配所得的相关系数值与该阈值进行比较，比较失败则进行下一匹配点的计算，排除了一些相关性较差的点，比较成功则筛选出了需要进行全模板匹配的候选匹配窗口。3、自适应调整搜索区域的位置和大小；在全模板匹配完成了第一次最佳匹配点的搜索匹配后，根据匹配得出的最佳匹配点位移量，改变搜索区域的参数，从而下一匹配点的搜索区域的位置和大小会进行自适应的调整，每次完成最佳匹配点任务后，都会根据这次记录的位移量改变下一次搜索区域的参数，提高了算法匹配搜索的效率。

附图说明

图1本发明匹配方法的整体流程图；

图2本发明局部模板选取示意图；

图3相邻匹配点的重叠区域示意图；

图4自适应调整搜索区域示意图；(a)初始搜索匹配；(b)最佳匹配点位移示意图；(c)相邻匹配点搜索区域调整示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图1，本发明全场稠密点快速匹配方法包括：导入参考图像M001、导入目标图像M002、选取参考子区M003、选取搜索区域M004、调整搜索区域位置和大小M005、直方图统计M006、局部模板匹配M007、比较是否大于阈值M008、全模板匹配M009、确定最佳匹配点M010、记录位移量M011、完成搜索M012。

具体的操作步骤为：首先导入参考图像M001、导入目标图像M002，在参考图像中选取参考子区M003作为匹配的全模板，并在目标图像中选取搜索区域M004；然后再用参考子区中的部分像素点组成局部模板，利用局部模板在搜索区域中从左到右、从上到下逐点滑动进行局部模板匹配M007，并利用归一化相关系数函数计算每次滑动的相关系数值，将计算得到的相关系数值与阈值比较得出是否大于阈值M008，若相关系数值大于阈值，说明该搜索窗口与参考子区的相关性较强，可作为候选匹配窗口，对候选匹配窗口再进行全模板匹配M009，确定最佳匹配点M010，从而对一对匹配点完成搜索M012，如果相关系数值小于阈值，则说明该搜索窗口与参考子区的相关性较弱，忽略该窗口继续计算下一窗口的相关系数值，同时采用直方图统计M006整个局部模板匹配M007过程中的相关系数值的频数；最后对直方图统计M006后的相关系数值进行算法计算产生一个阈值，用它来替换比较是否大于阈值M008模块中的阈值作为下一对匹配点的阈值，并记录上一次最佳匹配点M010的位移分量M011从而自适应调整下一匹配点的搜索区域位置和大小M005，改变选取搜索区域M004模块的参数，再进行下一次的搜索匹配。

本发明快速匹配方法主要包括以下三个方面的特点：

1、局部模板匹配；

本发明采用两层匹配算法，用局部模板匹配进行粗匹配，有效的减少了全模板匹配的计算量。局部模板匹配作为提高算法效率的一个重要步骤，不仅要求其包含尽可能较少的像素点，而且还需要尽可能多的反映全模板的纹理信息，因此，本算法在全模板中各个不同位置选取区域块构成局部模板。如图2所示，选取R0、R1、R2、R3和R4五个区域来构成局部模板，其中R0分布在全模板的中间位置，其他四个区域分布在全模板的四个角上，这五个区域分布在全模板的不同位置，可以有效的表征出全模板的纹理信息。假设全模板为H×H的区域，则可选取h＝H/4～H/6的区域R0、R1、R2、R3和R4作为局部模板。

传统的模板匹配算法是将全模板作为滑动窗口在搜索区域内进行滑动，每滑动一次都需要对全模板内所有像素点进行相关计算，采用31×31的模板进行归一化互相关计算时，则每个窗口内需要进行2883次乘法计算，在搜索区域内需要进行很多次窗口搜索，其计算耗时非常长；采用局部模板匹配的方法进行归一化互相关计算时，则每个窗口只用进行735次乘法计算，利用自适应阈值排除大量的非匹配窗口，对候选窗口采用全模板匹配，有效的减少了全模板参与窗口计算的次数。

2、直方图统计自适应选取阈值；

阈值的作用是将局部模板匹配计算的相关系数与该阈值进行比较，排除一些相关性较差的点，降低算法的计算复杂度，提高算法计算速度。选取的阈值过大，则会保留大量的候选匹配点，增加全模板计算次数，导致计算耗时增加；选取的阈值过小，则有可能排除最佳匹配点，导致图像失配的可能性较大。图像相关匹配通常需要对位移前后的整个散斑图像的所有像素进行遍历运算，从而确定物体位移前后全场像素点的位移矢量。相邻两个匹配点的参考子区和搜索区域都会存在重叠区域，如图3所示。相邻两个匹配点搜索区域的纹理信息以及受到的噪声和曝光影响相似，因此相关系数分布存在一定的相似性。本算法基于该特征，统计当前匹配点在局部模板匹配下相关系数的分布，采用直方图统计的方法对匹配点A在局部模板下的相关系数进行数量统计，统计方法为：将0～1细分为100个区间作为直方图的横坐标，每个区间长度为0.01，直方图的纵坐标表示相关系数的数量，横坐标表示相关系数值。当局部模板在搜索区域内每滑动一次就计算得到一个相关系数，判断该相关系数所在的区间，并对相应区间的直方图加1，从而完成该相关系数的统计。当找到最佳匹配点后，可以得到相关系数在各个区间的出现的次数。将直方图从较大区间向较小区间依次进行累加，当累加值达到总数的1％～10％时停止累加，并将当前所在的横坐标作为匹配点B的阈值。

3、自适应调整搜索区域的位置和大小；

在传统的整像素搜索算法中，搜索区域的选择通常是以参考子区的中心点坐标为中心在目标图像中框定一个大于参考子区的区域作为搜索区域，在不知道物体位移量的情况下时，需要选取一个较大的搜索区域，防止最佳匹配点不在搜索区域内导致的图像失配，然而搜索区域过大会导致搜索的次数增加，降低搜索速度。

在利用数字散斑进行工业测量时，物体表面各点的位移或形变都可视为连续变化的，在位移前后的散斑图中相邻两个匹配点的位移值相差不大，基于这一特征，本发明提出一种自适应调整搜索区域的位置和大小的方法来解决上述问题。如图4所示，图(a)中P点为该参考图像的初始待匹配点，此时与传统搜索匹配方法相同，在目标图像中以P点坐标为中心选取一个较大的区域作为搜索区域P，如图(b)所示。当搜索完成后得到最佳匹配点为P*，记录当前匹配点的位移量(u,v)。在进行相邻匹配点Q的搜索时，在目标图像中找到Q点位移(u,v)后对应的Q*，此时以Q*为中心，选取一个小于搜索区域P的区域作为Q点的搜索区域，如图(c)所示。然后在该搜索区域内搜索Q点的最佳匹配点，完成搜索后记录Q点的位移量(u0,v0)对下一点搜索区域进行调整。

本发明属于图像处理中数字散斑相关方法的一种改进的快速整像素搜索匹配算法，该方法采用局部模板匹配进行粗匹配，再用全模板匹配进行精匹配，直方图统计后自适应选取阈值，降低算法的计算复杂度，通过自适应调整搜索区域的大小，提高了算法的搜索速度。

Claims (6)

1.一种全场稠密点快速匹配方法，其特征在于，包括以下步骤：

a.导入参考图像(M001)与目标图像(M002)，在参考图像(M001)中选取参考子区(M003)作为匹配的全模板，在目标图像(M002)中选取搜索区域(M004)；

b.使用参考子区(M003)中的部分像素点组成局部模板(M007)，利用局部模板(M007)在搜索区域(M004)中逐点滑动进行局部模板(M007)的匹配；

c.利用归一化相关系数函数计算每次滑动的相关系数值，将计算得到的相关系数值与阈值(M008)比较，若相关系数值大于阈值(M008)，判定搜索区域(M004)与参考子区(M003)的相关性较强，作为候选匹配窗口，对候选匹配窗口再进行全模板匹配(M009)，确定最佳匹配点(M010)，完成一对匹配点的搜索；若相关系数值小于阈值，则判定搜索区域(M004)与参考子区(M003)的相关性较弱，忽略该搜索区域(M004)继续计算下一搜索区域(M004)的相关系数值；采用直方图(M006)统计整个局部模板(M007)匹配过程相关系数值的频数；

d.根据直方图(M006)统计后的相关系数值计算产生一个新的阈值作为下一对匹配点的阈值(M008)，记录上一次最佳匹配点(M010)的位移分量，自适应调整下一匹配点搜索区域位置和大小(M005)，改变选取搜索区域(M004)的参数，进行下一次的搜索匹配。

2.根据权利要求1所述的全场稠密点快速匹配方法，其特征在于：局部模板(M007)通过在全模板中的各个不同位置选取区域块构成，包括全模板的中间位置及四个角上。

3.根据权利要求1所述的全场稠密点快速匹配方法，其特征在于，采用直方图(M006)统计整个局部模板(M007)匹配过程相关系数值频数的方法为：将0～1细分为100个区间作为直方图的横坐标，每个区间长度为0.01，直方图的纵坐标表示相关系数的数量，横坐标表示相关系数值；当局部模板在搜索区域内每滑动一次计算得到一个相关系数，判断该相关系数所在的区间，并对相应区间的直方图加1，从而完成该相关系数的统计。

4.根据权利要求3所述的全场稠密点快速匹配方法，其特征在于：对于局部模板(M007)下的匹配点A，当找到最佳匹配点(M010)时，得到相关系数在直方图(M006)各个区间出现的次数，将直方图(M006)从较大区间向较小区间依次累加，当累加值达到总数的1％～10％时停止累加，并将当前所在的横坐标作为匹配点B的阈值。

5.根据权利要求1所述的全场稠密点快速匹配方法，其特征在于，自适应调整下一匹配点搜索区域位置和大小(M005)的具体步骤为：P点为参考图像(M001)的初始待匹配点，在目标图像(M002)中以P点坐标为中心选取搜索区域(M004)，当搜索完成后得到最佳匹配点(M010)，记录当前匹配点的位移量；在进行相邻匹配点Q的搜索时，在目标图像(M002)中找到Q点按P点位移量位移之后对应的Q*点，以Q*点坐标为中心，选取一个小于P点搜索区域的区域作为Q点的搜索区域(M004)，在该搜索区域(M004)内搜索Q点的最佳匹配点(M010)，完成搜索后记录Q点的位移量，对下一点的搜索区域(M004)进行调整。

6.根据权利要求1所述的全场稠密点快速匹配方法，其特征在于，所述的步骤b中利用局部模板(M007)在搜索区域(M004)中按从左到右、从上到下逐点滑动进行匹配。