CN113838120A - 一种基于数字图像相关的大转角运动位移测量方法 - Google Patents

Abstract

本发明提出了一种基于数字图像相关的大转角运动位移测量方法，包括以下步骤：S1，源图像输入：输入参考图和单张变形图；S2，特征点检测：采用SURF算法检测出参考图与变形图中具有旋转不变性的特征点；S3，特征点匹配，成功匹配的两个特征点作为一个匹配点对；S4，特征点优化：利用环形模板计算匹配点对之间的相似程度；S5，运动参数计算：通过RANSAC方法估计映射变换模型；S6，旋转补偿迭代：S7，进行亚像素迭代得到最终的位移值，获得被测物体在两个时刻的位置变化；S8，重复步骤S1～S7，依次输入连续的变形图即可获得被测物体在一段时间内的运动位移。本发明能够实现当被测物体发生较大的旋转时，能够准确测量物体的运动位移。

Description

一种基于数字图像相关的大转角运动位移测量方法

技术领域

本发明涉及工程结构变形监测技术领域，尤其涉及一种基于数字图像相关的大转角运动位移测量方法。

背景技术

数字图像相关(Digital Image Correlation,DIC)是一种基于图像特征的非接触光学测量方法。该方法利用视觉传感器捕获被测物体在变形前后的图像，根据既定整像素搜索策略在感兴趣区域内寻找变形子集，并与参考子集进行相关函数计算，匹配最大相似像素点，通过匹配点在图像坐标系的位置变化获得整像素位移初值，再通过亚像素迭代算法确定最终位移，整个过程操作简单，具有全场测量、测量精度高等特点，已被广泛应用于航空航天、土木工程、机械、材料等领域。近年来，DIC方法在工程结构的动态位移测量、健康监测等方面得到飞速发展。例如，通过采集被测物体表面目标点的位移时程信息，分析结构的动力特性实现损伤辨识；或根据运动轨迹判断结构在的工作状态下是否存在异常变形等。但是，当被测物体发生较大的旋转时，例如风电叶片、直升机螺旋桨叶、机械齿轮等，传统DIC方法会出现去相关现象，造成错误的匹配，从而导致无法准确测量物体的运动位移。此外，为提高整像素搜索的效率，传统DIC方法的搜索范围通常需要通过对被测物体的变形预估进行人为设定，而绕轴旋转的物体，其位移随转角的增加呈正弦或余弦型递增和周期性变化，这对搜索区域的自动化识别提出新的挑战。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于数字图像相关的大转角运动位移测量方法。

为了实现本发明的上述目的，本发明提供了一种基于数字图像相关的大转角运动位移测量方法，包括以下步骤：

S1，源图像输入：被测物体从第一位置变换到第二位置，被测物体处于第一位置时静止状态下的图像作为唯一参考图，被测物体在变换过程中捕获的一系列图像作为变形图，输入参考图和单张变形图；

S2，特征点检测：采用SURF算法检测出参考图与变形图中具有旋转不变性的特征点；

S3，特征点匹配：利用欧式距离匹配参考图和变形图中感兴趣区域内的特征点；成功匹配的两个特征点作为一个匹配点对；

S4，特征点优化：利用环形模板计算匹配点对之间的相似程度；

S5，运动参数计算：通过RANSAC方法估计映射变换模型；

S6，旋转补偿迭代：

根据S5运动参数中的转角θ，绕原始变形图的图像中心逆向旋转角度θ形成新的变形图；将原始参考图和新的变形图作为源图像输入，重复步骤S2～S5获取新的转角θ'；当相邻转角增量的绝对值|θ'-θ|<1×10^-4时，停止循环，并累加所有的转角和位移值作为亚像素迭代初值(u₀,v₀,θ₀)，其中u₀为变形图相对参考图在同一坐标系下横坐标上的位移初值，v₀为变形图相对参考图在纵坐标上的位移初值，θ₀为变形图相对参考图的转角也就是最终的转角值；

S7，进行亚像素迭代得到最终的位移值，获得被测物体在两个时刻的位置变化；

S8，重复步骤S1～S7，依次输入连续的变形图即可获得被测物体在一段时间内的运动位移。

进一步地，所述S1包括以下步骤：

S1-1，在被测物体的表面制作散斑图案；

S1-2，将相机垂直于运动平面进行拍摄，捕获被测物体在静止状态下的图像作为参考图，在变换过程中捕获的一系列图像作为变形图；

S1-3，若图像为彩色图像须转化为灰度图像；

S1-4，为消除采集的图像中静止背景存在的特征点，须在参考图中划定需要计算的感兴趣区域。

进一步地，所述S1-1中的散斑图案可通过下式得到：

散斑模拟公式：

其中，s为散斑总数，

(x,y)表示散斑图中像素点的坐标值，

I₀为散斑的峰值强度，

(x_l,y_l)是第l个散斑的位置，

R为散斑大小。

进一步地，所述S4中的相似程度可通过下式得到：

式中，n表示总环数，

P(r_i)表示参考图环形模板中第i环的灰度均值，

表示以参考图中特征点为中心的环形模板的灰度均值，

Q(r_i)分别表示变形图环形模板中第i环的灰度均值，

表示以变形图中对应的匹配点为中心的环形模板的灰度均值；

然后将相似程度S_ZNCC<0.999的匹配点对消除，否则将匹配点对存储在采样库中。

进一步地，所述S5包括以下步骤：

S5-1，在采样库中随机抽取至少3个匹配点对，通过下式估计变换矩阵M：

其中，(x_k,y_k)表示参考图中第k个特征点的坐标值，

(x′_k,y′_k)表示变形图中对应的第k个匹配点的坐标值，k∈(1...m)；

S5-2，根据M计算参考图中剩余特征点在变形图中的变换坐标值(x”,y”)，验算匹配点的坐标值与变换坐标值的误差δ：

其中，·^T表示转置；

遍历采样库所有匹配点对后，提取采样库中小于容许误差δ_max的匹配点对，代入公式(2)计算最优变换矩阵，即可得相应的转角θ和整像素位移值t_x，t_y；

由此求得最优变换矩阵中的运动参数，所述运动参数包括转角和整像素位移。

进一步地，所述S7包括以下步骤：

S7-1，根据最终转角θ₀逆向旋转原始变形图获得最终变形图，对原始参考图和最终变形图进行亚像素迭代计算；

S7-2，采用逆向组合高斯牛顿迭代算法计算最终位移，其中采用一阶形函数匹配；

S7-3，通过下式获得目标点在x、y方向的最终位移Δu、Δv：

其中，(x,y)表示参考图中特征点的坐标值，

(x',y')表示变形图中对应的匹配点的坐标值，

u₀为变形图相对参考图在同一坐标系下横坐标上的位移初值，

v₀为变形图相对参考图在纵坐标上的位移初值

Δx为参考子集中参考点与该子集内部任意一点在x方向的坐标差，

Δy为参考子集中参考点与该子集内部任意一点在y方向的坐标差，

u_x表示整像素位移u₀在x方向上的位移梯度，

u_y表示整像素位移u₀在y方向上的位移梯度，

v_x表示整像素位移v₀在x方向上的位移梯度，

v_y表示整像素位移v₀在y方向上的位移梯度。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.利用特征点检测SURF算法，有效的解决了传统DIC方法中整像素搜索出现去相关的技术难题，同时针对大尺度运动中目标点搜索效率低、需要人为设定搜索区域的不足，该方法能够实现搜索区域自动识别，大幅度提高了计算效率。

2.提出的特征点相似度评价准则能够直观判断匹配点对之间的相似程度，能够有效的清除异常点对，减少寻找变换模型的迭代次数；结合旋转补偿方式进一步缩减了初值估计误差，实现了任意转角下的高精度位移测量。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的流程图。

图2是本发环形模板示意图。

图3是本发明旋转补偿示意图。

图4是本发明目标点位移计算示意图。

图5是本发明部分散斑示意图。

图6是本发明位移误差示意图。

图6(a)是1～5号散斑图在x方向的绝对误差；图6(b)6～10号散斑图在x方向的绝对误差图6(c)1～5号散斑图在y方向的绝对误差；图6(d)6～10号散斑图在y方向的绝对误差。

图7是本发明RANSAC迭代时间对照示意图。

图8是本发明在任何转角下的相关系数示意图。

图9是本发明不同旋转半径造成的误差对比示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本文采用基于加速鲁棒特征(Speeded-up Robust Features,SURF)算法的特征点检测技术，提取参考图像与变形图像中具有旋转不变性的匹配点对，再通过欧式距离和随机抽样一致(Random Sampling Consensus,RANSAC)两步法的方式来匹配特征点，用成功匹配点的坐标信息求取变换模型，即可获得物体运动参数：转角和整像素位移。为传统DIC方法的整像素搜索范围及亚像素迭代提供准确可靠的参考值。该方法可实现任意旋转下的整像素位移初值估计。

而传统的RANSAC方法在一定的容许误差范围内对匹配点提纯，随机抽样寻找最优变换模型，具有很高的容错率。但是，当错误匹配点对的比例较高时，会导致迭代次数增加、变换模型估计精度降低的问题，最终造成物体运动的位移参数偏差增大，会严重影响亚像素迭代算法的效率与精度。

针对以上问题，为实现在任意转角下高精度的位移测量，本方法提出特征点相似度评价准则和旋转补偿的方式，前者用于评价匹配点对之间的相似程度，将相关程度低的匹配点对消除，选择正确概率最高的点优化变换模型，能有效地减少寻找最优模型的迭代时间；后者以迭代的方式逐渐逼近最优参数，通过高精度模型计算的转角，对变形图像进行逆向旋转形成新的变形图像，用于和参考图像进行下一轮的初值估计，循环直至运动参数的增量趋于稳定时，即为最终初值。该方法能够在保证初值估计精度的同时，有效提高亚像素位移计算的效率，实现旋转物体在任意转角下的高精度位移测量。

本发明提出的一种基于数字图像相关的大转角运动位移测量方法，包括以下步骤：

S1：源图像输入。首先根据测量区域，须在被测物体的表面制作散斑图案。将相机垂直于运动平面进行拍摄，捕获被测物体在静止状态下的图像(若为彩色图像须转化为灰度图像)作为参考图，在旋转过程中捕获的图像作为变形图。为消除采集的图像中静止背景存在的特征点，提前在参考图中划定需要计算的感兴趣区域。

S2：特征点检测。采用SURF算法检测参考图和变形图的特征点。提取参考图像与变形图像中具有旋转不变性的匹配点对。

S3：特征点匹配。利用欧式距离匹配参考图和变形图中感兴趣区域内的特征点。成功匹配的两个特征点作为一个匹配点对。

S4：特征点优化。利用环形模板计算匹配点对之间的相似程度，环形模板如图2所示，分别以参考图中的特征点和变形图中的匹配点为圆心，形成n个环，第1环的宽度取h个像素，其他环的宽度均为j个像素，h大于j。第i个环的半径为r_i(i∈1,2,....n)。参考图环形模板中第i环的灰度均值用P(r_i)表示，变形图环形模板中第i环的灰度均值用Q(r_i)表示。

相关函数如式(1)所示：

式中，

分别表示以参考图中特征点、变形图中对应的匹配点为中心的环形模板的灰度均值，P(r_i)、Q(r_i)分别表示参考图、变形图环形模板中第i环的灰度均值，灰度均值等于需计算的环区域内所有像素点的灰度之和除以需计算的环区域内像素点的数量，n表示总环数。本方法n＝15，第1环的宽度取3个像素，其他环的宽度均为1个像素。

将相似程度S_ZNCC<0.999的匹配点对消除，其中S_ZNCC＝1表示完全相关，S_ZNCC＝0表示零相关；否则将匹配点对存储在采样库中。

S5：运动参数计算。通过RANSAC方法估计映射变换模型，步骤为：首先在采样库中随机抽取至少3个匹配点对，按式(2)估计变换矩阵M，

式中，(x,y)表示参考图中特征点的坐标值，(x',y')表示变形图中对应的匹配点的坐标值。

本发明方法的具体实施例采用4个匹配点对，变换矩阵M的式子如下：

再根据M计算参考图中剩余特征点在变形图中的变换坐标值(x”,y”)，验算匹配点的坐标值与变换坐标值的误差δ，

遍历采样库所有匹配点对后，提取采样库中小于容许误差δ_max(默认值0.6)的匹配点对，代入公式(2)计算最优变换矩阵，即可得转角θ和整像素位移值t_x，t_y。

由此根据式(2)求得最优变换矩阵中的运动参数，所述运动参数包括转角和整像素位移。

S6：旋转补偿迭代。利用式(2)计算最优变换矩阵中的运动参数(转角和整像素位移)，对于绕自身中心转动的变形图，根据运动参数中的转角θ，绕原始变形图的图像中心逆向旋转角度θ形成新的变形图，生成新的变形图需要进行插值，其中插值方式为双三次插值。将原始参考图和新的变形图作为源图像输入，重复步骤S2～S5获取新的转角θ'，当相邻转角增量的绝对值|θ'-θ|<1×10^-4时，停止循环，并累加所有的转角和位移值作为亚像素迭代初值(u₀,v₀,θ₀)。旋转补偿示意图如图3所示。

S7：亚像素迭代。为解决去相关问题，先根据最终转角θ₀逆向旋转原始变形图获得最终变形图，对原始参考图和最终变形图进行亚像素迭代计算。采用逆向组合高斯牛顿(Inverse Compositional Gauss-Newton,IC-GN)迭代算法计算最终位移，其中采用一阶形函数匹配，逆向组合高斯牛顿迭代算法的子集尺寸参数为31×31像素，所述子集包括变形子集和参考子集。通过式(4)获得目标点在x、y方向的最终位移Δu、Δv。

式中，Δx、Δy为参考子集中参考点与该子集内部任意一点的坐标差，u_x、u_y、v_x、v_y表示整像素位移u₀、v₀在x、y方向上的位移梯度。位移计算示意图如图4所示。

在具体的实施中，试验条件：使用计算机Matlab软件随机生成10幅400×400散斑图作为10个参考图像，如图5所示。散斑模拟公式如式(5)所示，散斑图参数：s为散斑总数(5000)，R为散斑大小(3)，I₀为散斑的峰值强度(0.4)，(x_l,y_l)是第l个散斑的位置，散斑均随机分布。散斑图参数根据具体情况进行设置，使散斑图中的黑白像素点均匀分布，本发明的具体实施例中，设s为5000，R为3，I₀为0.4。

将每个参考图像按15°的转角增量顺时针旋转至180°，一个参考图像生成对应的12张序列变形图像，模拟刚体大角度旋转运动。由于传统DIC无法实现大角度旋转测量，不具备对比的条件，为了更好的突出本方法所提出的特征点相似度评价准则S4和旋转补偿方式S6对高精度测量的贡献，因此对照算法步骤为S1～S3+S5+S7，本文算法步骤为S1～S7。参考图像中参考点坐标为(200,100)。

试验结果：如图6所示，图中散斑序号1、1'分别表示用对照算法、本文算法计算的结果。通过对比图中测量值与真实值的绝对误差可知，本文方法可以大幅度的降低大旋转运动的测量误差，显著提高测量精度。此外，对于不同序号的散斑图，对照算法的位移误差会出现明显波动，而本文算法的测量误差均保持在较低水平，说明了该方法的鲁棒性。图7对比了两种算法的RANSAC迭代时间差异，可知特征点优化可以有效的减少迭代时间，计算效率提高至少200％。图8中不同序号散斑图在任何转角下，相关系数均保持在0.999以上，验证了旋转补偿方式可以有效的解决去相关问题，同时说明了计算结果的可靠性和准确性。

值得注意是，本算例的目的为验证所提方法的可行性，采用的散斑图像素仅有400×400像素。对于同一转角误差，造成的位移误差随旋转半径增加而递增，如图9所示。而目前通用的相机分辨率一般在百万级至千万级像素，且对于风电叶片、飞机涡轮等大型结构的旋转位移测量，对相机的分辨率具有更高的需求，同时会造成位移误差随着相机像素、视场的增大而被放大。因此，提高转角的测量精度是减少位移测量误差最直接、高效的方式，这也是本文方法的价值所在。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种基于数字图像相关的大转角运动位移测量方法，其特征在于，包括以下步骤：

S1，源图像输入：被测物体从第一位置变换到第二位置，被测物体处于第一位置时静止状态下的图像作为唯一参考图，被测物体在变换过程中捕获的一系列图像作为变形图，输入参考图和单张变形图；

S2，特征点检测：采用SURF算法检测出参考图与变形图中具有旋转不变性的特征点；

S3，特征点匹配：利用欧式距离匹配参考图和变形图中感兴趣区域内的特征点；成功匹配的两个特征点作为一个匹配点对；

S4，特征点优化：利用环形模板计算匹配点对之间的相似程度；

S5，运动参数计算：通过RANSAC方法估计映射变换模型；

S6，旋转补偿迭代：

根据S5运动参数中的转角θ，绕原始变形图的图像中心逆向旋转角度θ形成新的变形图；将原始参考图和新的变形图作为源图像输入，重复步骤S2～S5获取新的转角θ'；当相邻转角增量的绝对值|θ'-θ|<1×10^-4时，停止循环，并累加所有的转角和位移值作为亚像素迭代初值(u₀,v₀,θ₀)，其中u₀为变形图相对参考图在同一坐标系下横坐标上的位移初值，v₀为变形图相对参考图在纵坐标上的位移初值，θ₀为变形图相对参考图的转角也就是最终的转角值；

S7，进行亚像素迭代得到最终的位移值，获得被测物体在两个时刻的位置变化；

S8，重复步骤S1～S7，依次输入连续的变形图即可获得被测物体在一段时间内的运动位移。

2.根据权利要求1所述的一种基于数字图像相关的大转角运动位移测量方法，其特征在于，所述S1包括以下步骤：

S1-1，在被测物体的表面制作散斑图案；

S1-2，将相机垂直于运动平面进行拍摄，捕获被测物体在静止状态下的图像作为参考图，在变换过程中捕获的一系列图像作为变形图；

S1-3，若图像为彩色图像须转化为灰度图像；

S1-4，为消除采集的图像中静止背景存在的特征点，须在参考图中划定需要计算的感兴趣区域。

3.根据权利要求2述的一种基于数字图像相关的大转角运动位移测量方法，其特征在于，所述S1-1中的散斑图案可通过下式得到：

散斑模拟公式：

其中，s为散斑总数，

(x,y)表示散斑图中像素点的坐标值，

I₀为散斑的峰值强度，

(x_l,y_l)是第l个散斑的位置，

R为散斑大小。

4.根据权利要求1所述的一种基于数字图像相关的大转角运动位移测量方法，其特征在于，所述S4中的相似程度可通过下式得到：

式中，n表示总环数，

P(r_i)表示参考图环形模板中第i环的灰度均值，

表示以参考图中特征点为中心的环形模板的灰度均值，

Q(r_i)分别表示变形图环形模板中第i环的灰度均值，

表示以变形图中对应的匹配点为中心的环形模板的灰度均值；

然后将相似程度S_ZNCC<0.999的匹配点对消除，否则将匹配点对存储在采样库中。

5.根据权利要求1所述的一种基于数字图像相关的大转角运动位移测量方法，其特征在于，所述S5包括以下步骤：

S5-1，在采样库中随机抽取至少3个匹配点对，通过下式估计变换矩阵M：

其中，(x_k,y_k)表示参考图中第k个特征点的坐标值，

(x′_k,y′_k)表示变形图中对应的第k个匹配点的坐标值，k∈(1...m)；

S5-2，根据M计算参考图中剩余特征点在变形图中的变换坐标值(x”,y”)，验算匹配点的坐标值与变换坐标值的误差δ：

其中，·T表示转置；

遍历采样库所有匹配点对后，提取采样库中小于容许误差δ_max的匹配点对，代入公式(2)计算最优变换矩阵，即可得相应的转角θ和整像素位移值t_x，t_y；

由此求得最优变换矩阵中的运动参数，所述运动参数包括转角和整像素位移。

6.根据权利要求1所述的一种基于数字图像相关的大转角运动位移测量方法，其特征在于，所述S7包括以下步骤：

S7-1，根据最终转角θ₀逆向旋转原始变形图获得最终变形图，对原始参考图和最终变形图进行亚像素迭代计算；

S7-2，采用逆向组合高斯牛顿迭代算法计算最终位移，其中采用一阶形函数匹配；

S7-3，通过下式获得目标点在x、y方向的最终位移Δu、Δv：

其中，(x,y)表示参考图中特征点的坐标值，

(x',y')表示变形图中对应的匹配点的坐标值，

u₀为变形图相对参考图在同一坐标系下横坐标上的位移初值，

v₀为变形图相对参考图在纵坐标上的位移初值

Δx为参考子集中参考点与该子集内部任意一点在x方向的坐标差，

Δy为参考子集中参考点与该子集内部任意一点在y方向的坐标差，

u_x表示整像素位移u₀在x方向上的位移梯度，

u_y表示整像素位移u₀在y方向上的位移梯度，

v_x表示整像素位移v₀在x方向上的位移梯度，

v_y表示整像素位移v₀在y方向上的位移梯度。

Images