CN112233104B

CN112233104B - 实时位移场和应变场检测方法、系统、装置和存储介质

Info

Publication number: CN112233104B
Application number: CN202011160853.3A
Authority: CN
Inventors: 王文龙; 莫迪威; 张春良
Original assignee: Guangzhou University
Current assignee: Guangzhou University
Priority date: 2020-10-27
Filing date: 2020-10-27
Publication date: 2022-12-20
Anticipated expiration: 2040-10-27
Also published as: CN112233104A

Abstract

本发明公开了一种实时位移场和应变场检测方法、系统、装置和存储介质，涉及机器视觉技术，包括以下步骤：获取第一图像和第一配置参数；根据所述第一配置参数对所述第一图像进行分割，得到多个第一子图；提取各所述第一子图的第一特征；获取第二图像和第二配置参数；根据所述第二配置参数对所述第二图像进行分割，得到多个第二子图；根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，根据第二位置得到各所述第一子图的第二中心坐标；根据各所述第一子图的第一中心坐标和第二中心坐标，得到应变场。本方案可以大大提升应变场的检测效率。

Description

实时位移场和应变场检测方法、系统、装置和存储介质

技术领域

本发明涉及机器视觉技术，尤其是一种实时位移场和应变场检测方法、系统、装置和存储介质。

背景技术

工程问题中常常需要位移场、应变场等实时变形数据。目前，测量物体微小形变的方法有多种，如:粘贴应变片、光栅法，电子散斑干涉法，数字图像相关法等等。其中数字图像相关法因其光路简单，精度高，非接触等优点被越来越广泛地予以使用。

现有物体表面的变形位移量的检测，多使用应变片或者引伸计等方式粘贴在变形物体表面，通过非电量电测的手段将位移变形量转化为电阻或者其他电量进行测量，是接触式测量方法，且测量属于点测量，无法给出位移和应变全场测量信息。此外，光栅法和电子散斑干涉法虽然具有实时、非接触、全场的无损检测，但是其光源或其他辅助系统要求较高。数

字图像相关技术(digital image correlation，DIC)，仅需白光光源，系统要求简单。DIC通过图像采集以及后续图像处理的方式进行非接触式全场检测。

但是，在现有的DIC测量系统中，实时位移场检测的系统鲜有涉及，市面上的DIC系统基本均为离线式的检测系统。

发明内容

为解决上述技术问题的至少之一，本发明的目的在于：提供一种实时位移场和应变场检测方法、系统、装置和存储介质，以提高检测效率。

第一方面，本发明实施例提供了：

一种实时位移场和应变场检测方法，包括以下步骤：

获取第一图像，所述第一图像为待测物的初始表面图像；

获取第一配置参数；

根据所述第一配置参数对所述第一图像进行分割，得到大小相同且呈矩阵分布的多个第一子图，记录各所述第一子图的第一中心坐标；

对各所述第一子图的特征进行提取，得到各所述第一子图的第一特征；

获取第二图像，所述第二图像为待测物变形后的表面图像；

获取第二配置参数；

根据所述第二配置参数对所述第二图像进行分割，得到大小相同且呈矩阵分布的多个第二子图，所述第一子图的长度小于所述第二子图，所述第一子图的宽度小于所述第二子图，所述第一子图的数量与所述第二子图相同，每个所述第二子图均对应有一个中心相同的所述第一子图；

根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，根据第二位置得到各所述第一子图的第二中心坐标；

根据各所述第一子图的第一中心坐标和第二中心坐标，得到位移场和应变场。

在一些实施例中，所述根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，具体包括：

依次对各所述第一子图的第一特征进行特征搜索，其中，针对每个所述第一子图的第一特征进行特征搜索时，包括：

按照设定的步进在所述第一子图对应的所述第二子图中截取与第一子图大小相同的多个第三子图；

将多个所述第三子图中与所述第一子图相似度最高的一个的位置，作为所述第一子图的第一特征在对应的第二子图中的第二位置。

在一些实施例中，所述根据各所述第一子图的第一中心坐标和第二中心坐标，得到应变场，具体为：

根据各所述第一子图的第一中心坐标和第二中心坐标，拟合以下应变场公式：

u(x,y)＝a₀+a₁x+a₂y

v(x,y)＝b₀+b₁x+b₂y

u(x,y)表示点P(x,y)的X轴方向位移，v(x,y)表示该点Y轴方向的位移，x,y表示该点的坐标，其中，u(x,y)根据第一中心坐标的X轴坐标计算得到，v(x,y)根据第一中心坐标的Y轴坐标计算得到；

根据各所述第一子图的第一中心坐标和第二中心坐标，得到位移场，具体为：

根据各所述第一中心坐标和对应的所述第二中心坐标之差确定位移场。

在一些实施例中，所述第一配置参数包括第一长度参数和第一间隔参数；所述第一子图的长和宽均根据所述第一长度参数设定，相邻的两个所述第一子图的第一中心坐标的距离根据所述第一间隔参数设定；

所述第二配置参数包括偏移量参数；所述第二子图的长度和宽度均根据所述第一长度参数和所述偏移量参数确定。

在一些实施例中，所述第二子图的长度和宽度均根据所述第一长度参数和所述偏移量参数确定，具体为：

所述第二子图的长度和宽度相同，所述第二子图的长度为第一长度参数所表示的长度和所述偏移量参数表示的长度的两倍之和。

在一些实施例中，所述方法基于Labview实现。

在一些实施例中，各所述第一子图不重叠。

第二方面，本发明实施例提供了：

一种实时位移场和应变场检测系统，包括：

第一获取模块，用于获取第一图像，所述第一图像为待测物的初始表面图像；

第二获取模块，用于获取第一配置参数；

第一分割模块，用于根据所述第一配置参数对所述第一图像进行分割，得到大小相同且呈矩阵分布的多个第一子图，记录各所述第一子图的第一中心坐标；

特征提取模块，用于对各所述第一子图的特征进行提取，得到各所述第一子图的第一特征；

第三获取模块，用于获取第二图像，所述第二图像为待测物变形后的表面图像；

第四获取模块，用于获取第二配置参数；

第二分割模块，用于根据所述第二配置参数对所述第二图像进行分割，得到大小相同且呈矩阵分布的多个第二子图，所述第一子图的长度小于所述第二子图，所述第一子图的宽度小于所述第二子图，所述第一子图的数量与所述第二子图相同，每个所述第二子图均对应有一个中心相同的所述第一子图；

匹配模块，用于根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，根据第二位置得到各所述第一子图的第二中心坐标；

应变场确定模块，用于根据各所述第一子图的第一中心坐标和第二中心坐标，得到位移场和应变场。

第三方面，本发明实施例提供了：

一种实时位移场和应变场检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行实时位移场和应变场检测方法。

第四方面，本发明实施例提供了：

一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时实现实时位移场和应变场检测方法。

本发明实施例的有益效果是：本发明通过切割子图的方式，并提取第一子图的特征作为识别对象，然后在第一子图对应的第二子图中进行特征搜索，相对于全局搜索效率更高，而且通过子图分割，可以在图像上比较均匀地进行采样，最终拟合得到的结果比较准确，故本发明实施例相对于现有技术处理速度更快，可以在较短的时间内实现检测，从而达到实时检测的要求。

附图说明

图1为根据本发明实施例提供的一种实时位移场和应变场检测方法的流程图；

图2为根据本发明实施例提供的一种物品形变的特征变化示意图；

图3为根据本发明实施例提供的一种第一子图的分割方法示意图；

图4为根据本发明实施例提供的一种第一子图和第二子图的关系示意图；

图5为根据本发明实施例提供的随机生成的散斑图；

图6为对图5在X轴方向上施加位移0.1个像素生成的图像；

图7为对图5在X轴方向上施加应变0.004生成的图像；

图8为图6对应的位移场云图；

图9为图7对应的应变场云图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，本实施例公开了一种实时位移场和应变场检测方法，该方法可以由计算机执行，本实施例的方法包括以下步骤：

步骤101、获取第一图像，所述第一图像为待测物的初始表面图像。

需要理解的是，在本实施例中待测物的初始图像是指还没形变的状态，或者指待测物在受到测试作用力之前的图像。参照图2，中示出了物体表面在受到应变作用前后的特征变化。在物体表面I₁中存在特征区域I₀，当物体发生某种形变后，物体表面I₁的特征区域I₀位置发生了变化。因此记录初始的表面图像可以用作和形变后的表面图像进行比对来确定应变场。

步骤102、获取第一配置参数。

在本实施例中，第一配置参数用于配置子图分割的大小和间距。确定子图的大小和间距，子图的数量也是确定的。

步骤103、根据所述第一配置参数对所述第一图像进行分割，得到大小相同且呈矩阵分布的多个第一子图，记录各所述第一子图的第一中心坐标。

具体地，在本步骤中，基于第一参数对第一图像进行分割。参照图3，可以按照以下顺序对图像进行分割。一般情况下，可以根据子图的尺寸和子图的间距确定出第一个子图的位置。也可以在第一配置参数中指定其中一个第一子图的中心坐标，通过第一子图之间的间距，就可以确定出其他第一子图的位置。n个第一子图依次被命名为I₀S₁、I₀S₂、……I₀S_n。

步骤104、对各所述第一子图的特征进行提取，得到各所述第一子图的第一特征。

在该步骤中，提取每个第一子图的特征，相当于将原始图像的局部特征提取出来，这样不用将全局的特征进行提取，提取的效率比较高，在后续匹配时，也仅需要局部匹配，提升了匹配的效率。

步骤105、获取第二图像，所述第二图像为待测物变形后的表面图像。

与步骤101对应，在本步骤中获取的是待测物形变后相同表面的图像。

步骤106、获取第二配置参数。

在本步骤中，第二配置参数，包括用于确定第二子图的尺寸的信息。

步骤107、根据所述第二配置参数对所述第二图像进行分割，得到大小相同且呈矩阵分布的多个第二子图，所述第一子图的长度小于所述第二子图，所述第一子图的宽度小于所述第二子图，所述第一子图的数量与所述第二子图相同，每个所述第二子图均对应有一个中心相同的所述第一子图。n个第二子图依次被命名为I₁S₁、I₁S₂、……I₁S_n。

参照图4，图4给出了第一子图和第二子图之间的关系，其中通过第二配置参数中的位移参数PO，结合第二子图和第一子图中心相同的特点，可以确定出一个各边均比第一子图长2PO的一个区域。假设待测物表面的形变在PO范围内，则第一子图的特征仍然在与第一子图中心相同的第二子图以内。利用该特点，可以在第二子图中进行特征搜索，从而大大缩小搜索范围。

步骤108、根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，根据第二位置得到各所述第一子图的第二中心坐标。

参照图2的例子，可以根据通过特征搜索的方式确定第二子图中与第一子图相似度最大的区域，来确定第一特征在第二子图中的位置。这样相当于设置一个和第一子图大小一样的扫描框在第一子图对应第二子图中进行特征搜索。

步骤109、根据各所述第一子图的第一中心坐标和第二中心坐标，得到位移场和应变场。

根据各第一子图在待测物变形前后的中心坐标之差，可以确定出位移场。根据第一子图在形变前后的中心坐标，可以采用多点拟合的方式得到最终的应变场函数。

从上述实施例可知，本方案通过子图分割的方式，以局部特征搜索替代全局特征搜索，可以减少特征搜索时的运算量。通过降低运算量，使得检测效率大大提升，进而使得实时检测变成了可能。

在该实施例中，步进可以是1个像素，或者5个像素等，通过设置步进可以确定出搜索时特征搜索的次数。在本实施例中，按照设定的步进从第二子图中截取和第一子图大小相同的第三子图来进行比对，实际上是在第二子图中寻找和第一子图相似度最大的区域，以此来确定第一子图在待测物形变后的位置。

在部分实施例中，所述根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，具体包括：

采用低离散抽样法，根据所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置。

其中，低离散抽样法(Low Discrepancy Sampling)根据某种序列对图像进行离散采样。如采样之后对离散点进行周围的Stable距离进行计算。Stable可能表示灰度强度，可能是梯度或其它纹理信息得到新的离散点。再根据距离大小进行分类，匹配时先进行大距离的进行粗匹配，之后再进行细匹配。

基于低离散抽样的方法依赖于伪随机点，这些点是根据它们代表邻域的精确程度选择的。

①采用低差序列(sobol采样)对模板图像进行采样。所有基于现代CPU的随机数生成算法都是伪随机的。它们受限于一个周期。当超过周期后就会重复出现，而不再是相互无关的随机数。这个周期的最终限定是由电脑的位数来决定的，因此，没有一个内建的随机数是“真正”随机的。低差异采样法是另一种采样方式，可以避开这种局限，sobol采样法就是其中的一种低差异采样法。

②下一步，对样本点进行局部稳定性分析。为此，将每个点与其邻域内的点进行相关，得到其稳定的距离。“稳定”意味着强度值保持在一个阈值内(既以采样点周围计算灰度值，以稳定距离作为半径，不断扩大稳定距离计算周围灰度，直至触碰到灰度变化明显区域，或者其它采样点)。

下面以低差异采样法进行讨论：

③采样点生成后，对每个点进行稳定距离计算，根据采样点稳定距离大小进行分类，保留最大距离的一类点，去除稳点距离较小的点。此为粗匹配。

④粗匹配完成后得到一个点，以该匹配点的稳定距离作为图像步进迭代求相关性，求最大相关性的点。

⑤逐步缩小该稳定距离，不断迭代求图像相关性，满足要求后即可完成匹配。

u(x,y)＝a₀+a₁x+a₂y

v(x,y)＝b₀+b₁x+b₂y

u(x,y)表示点P(x,y)的X轴方向位移，v(x,y)表示该点Y轴方向的位移，x,y表示该点的坐标，其中，u(x,y)根据第一中心坐标的X轴坐标计算得到，v(x,y)根据第一中心坐标的Y轴坐标计算得到。

本实施例采用上述公式，可以通过最小二乘法进行拟合，方法简单，运算量不大，适合实时检测。

参照图4，第一配置参数配置了第一子图的长宽均为WL，通过第一子图之间的间距和第一个第一子图的位置，可以确定出各第一子图的位置。而第二子图实际上是在第一子图所在区域的各方向上进行一个长度为PO的延伸，即每个第二子图的长度均为(WL+2PO)。本实施例的优点在于可以通过设置PO参数来控制搜索的区域大小，这样可以有效地控制算法的处理时间。

在一些实施例中，所述方法基于Labview实现。在Labview中，可以采用各类基于图像的特征搜索模块，只需要根据以上方式来调用这些功能，即可以实现应变场的快速检测。

在一些实施例中，各所述第一子图不重叠。设置各第一子图不重叠的目的在于使得检测的子图较少的情况下可以比较好地覆盖整个待测图的表面图像。

本实施例公开了一种实时位移场和应变场检测方法，在本实施例中，使用Labview封装图像匹配函数实现实时位移场和应变场检测。首先设置学习模式为平移模式，输入原始图像I₀然后通过机器学习模型提取图像I₀的特征，输出结果成为模板。接着将模板传递给图像匹配函数作为模板，同时输入形变后的图像I₁进行匹配后输出匹配结果，并解析得到模板相对于I₁的位移。

以图2为例，如图所示，以I₁中心为原点建立坐标系。I₁未发生变形或位移时，提取局部图像为I₀，此时I₀的中心坐标为(X₀,Y₀)。当物体发生变形后使用Labview进行图像匹配输出新的坐标信息I₀中心坐标为(X₁,Y₁)。则认为局部图像I₀在X方向产生(X₁-X₀)个像素的位移，Y方向产生(Y₁-Y₀)个像素的位移。

利用上述原理，通过对待测物的图像进行分割，然后确定待测图表面图像的多个子图在待测物形变前后的位置变化，即可以推算出应变场。

根据实际需求设置输入参数子区域边长(WL)，窗口间隔(WI)，像素偏移(PO)，M值。其中M值参数影响位移场至应变场的换算，本发明采用最小二乘法二维一次多项式进行位移场至应变场的换算，该方法要求应变场的一个数据点需要(2M+1)*(2M+1)个位移场数据点来求解，由公式可知至少需要3个数据点即可进行求解。M通常取值5-10即可。

其中，应变场公式为：

u(x,y)＝a₀+a₁x+a₂y

v(x,y)＝b₀+b₁x+b₂y；

选取一张预先拍摄好无变形时的物体感兴趣区域图像，图像大小为Px*Py个像素，简称为图像I。根据输入参数PO对图像进行裁剪，按照像素大小为(Px-2*PO)*(Py-2*PO)生成新的图像，以下简称为原图I₀。为加快图像匹配的速度，本发明根据输入参数WL和WI对I₀进行图像分割。

间隔为WI个像素，依次将I₀分割为大小为WL*WL像素的局部图像称为I₀S₁-I₀S_N共计N张，并依次进行机器学习获取特征后再进行保存，机器学习后的图像称为模板。即上述实施例所指出的第一子图。

获取到实时图像I₁后，根据输入参数WL，WI与PO对I₁进行图像分割。间隔为WI个像素，依次将I₁分割为大小为(WL+2*PO)*(WL+2*PO)像素的局部图像I₁S₁-I₁S_N，共计N张，即上述所指的第二子图。每分割一次，加载I₁S中心坐标对应的I₀S图像进行配对，即可获得匹配信息推算出局部位移。进行N次局部位移获取后，即可获得全场位移为下一步应变场计算做准备。

图像匹配过程可简化为窗口滑移，对比图像特征的相关性。首先将I₀S通过机器学习提取特征，将其与I₁S进行对比，寻找特征相关性最大处，(此处相关性计算是基于待匹配局部图像区域中的像素值进行函数计算)。当未发生变形时，I₀S特征相关性最大值位置(X0,Y0)，当发生变形后，进行匹配搜索时，I₀S在I₁S上进行有序移动，移动过程(类似上文提及图像分割)中会对比重叠部分的特征相关性并量化为分数，当分数超过设定的最小匹配分数，保留匹配结果。若下次匹配分数高于上次匹配结果分数，将会覆盖匹配结果。直至整个I₁S全部与I₀S进行对比。假设变形后最大分数出现在下图所示位置(X1,Y1)。则可计算位移点X方向位移：X1-X0，Y方向位移：Y1-Y0。若进行图像分割后共有N张局部图像I₀S₁-I₀S_N，则索引全部图像匹配完成将得到N个位移点构成的位移场。

最后根据各点的位移场通过最小二乘法对应变场进行拟合。

参照图5-图9，本实施例探究WL与WI参数对匹配时间与应变时间的影响，

图像大小为250*250，M值为11，像素偏移为2，输入不同WL与WI获得匹配时间数据如表1和表2：

表1

表2

由数据表知，若考虑实时检测位移场与应变场可选取窗口间隔8，窗口大小为40，保证位移场刷新时间在600ms内。

窗口大小：在实际测试过程中发现窗口大小过小，容易出现图像特征较少，匹配失败。本次模拟实验在窗口大小40像素情况下，可全部匹配成功。

间隔：实际测试中，窗口间隔选取过小，图像位移点离散密集，计算量大。不符合实时测量目的。窗口间隔选取过大，导致图像位移点离散稀疏，即匹配位移点较少，包含有效信息较少。综合考虑选取窗口间隔8，窗口大小选取40。

①使用matlab生成参考图像和模拟变形图像，验证位移、应变计算的可行性。

使用matlab生成随机散斑图I₀，如图5所示，以I₀中心点做为坐标原点建立如图坐标系xOy。

对I₀的X方向施加位移0.1个像素生成新的变形图像ID₁，如图6所示，以进行系统的位移场检测验证。

对I₀的X方向施加应变0.004生成新的变形图像IS₁，如图7所示，以进行系统的应变场检测验证。

②labview设置

考虑实时位移场与应变场的检测，Labview匹配输入参数的匹配窗口边长设置为40像素，窗口间隔8像素，像素偏移设置2像素。根据最小二乘法理论，M值大于1即可保证有解计算出应变场，本次试验M值设置为5。

②匹配结果

图像ID₁进行快速匹配位移场结果如图8所示，由图可知ID₁位移场最大值为0.112，最小值为0.096。

图像IS₁进行快速匹配应变场结果如图9所示，由图可知IS₁应变场最大值为0.00405，最小值为0.00375。

本次模拟匹配实验最终耗时均为580ms，应变场计算耗时2ms。满足实时检测要求。ID₁匹配位移场平均值为0.104像素，误差0.004像素。IS₁匹配应变场平均值为0.0038，误差0.0002。

综上所述，本发明设计的检测系统可快速对图像进行位移场检测以及实时位移场和应变场检测，可胜任实时位移场与应变场的检测任务。

本实施例公开了一种实时位移场和应变场检测系统，包括：

第二获取模块，用于获取第一配置参数；

第四获取模块，用于获取第二配置参数；

应变场确定模块，用于根据各所述第一子图的第一中心坐标和第二中心坐标，得到应变场。

本实施例公开了一种实时位移场和应变场检测系统，包括：

存储器，用于存储程序；

本实施例公开了一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时实现实时位移场和应变场检测方法。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种实时位移场和应变场检测方法，其特征在于，包括以下步骤：

获取第一图像，所述第一图像为待测物的初始表面图像；

获取第一配置参数；

获取第二图像，所述第二图像为待测物变形后的表面图像；

获取第二配置参数；

2.根据权利要求1所述的方法，其特征在于，所述根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，具体包括：

将多个所述第三子图中与所述第一子图相似度最高的一个的位置，作为所述第一子图的第一特征在对应的第二子图中的第二位置；

或者，所述根据各所述第一子图的第一特征进行特征搜索，确定各所述第一子图的第一特征在对应的第二子图中的第二位置，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述根据各所述第一子图的第一中心坐标和第二中心坐标，得到应变场，具体为：

u(x,y)＝a₀+a₁x+a₂y

v(x,y)＝b₀+b₁x+b₂y

4.根据权利要求1所述的方法，其特征在于，所述第一配置参数包括第一长度参数和第一间隔参数；所述第一子图的长和宽均根据所述第一长度参数设定，相邻的两个所述第一子图的第一中心坐标的距离根据所述第一间隔参数设定；

5.根据权利要求4所述的方法，其特征在于，所述第二子图的长度和宽度均根据所述第一长度参数和所述偏移量参数确定，具体为：

6.根据权利要求1所述的方法，其特征在于，所述方法基于Labview实现。

7.根据权利要求1所述的方法，其特征在于，各所述第一子图不重叠。

8.一种实时位移场和应变场检测系统，其特征在于，包括：

第二获取模块，用于获取第一配置参数；

第四获取模块，用于获取第二配置参数；

9.一种实时位移场和应变场检测系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的方法。