CN113888609A - 局部数字图像相关方法的残余灰度场计算方法 - Google Patents

Abstract

局部数字图像相关方法的残余灰度场计算方法，包括计算点网格构建、位移场插值与灰度插值、残余灰度场计算；残余灰度场后处理。本发明在传统的使用残余灰度场分析的基础上，消除了传统方法中出现的混叠等不利于提取特征的因素；相比传统的使用DIC的相关系数的判别方法，本方法能为特征提供更加精准定位，以及能定量且直观地展现匹配的结果，且能提示新出现的图像特征，如裂缝，缺陷等；本方法基于网格构建，可以将子区DIC中离散计算点的位移场组织起来，实现位移场的连续插值，保证位移场的连续性，不会出现二义；方法流程清晰，且易于实现，不仅可以使用CPU实现，还可以使用GPU的着色器实现，具有极高的计算效率。

Description

局部数字图像相关方法的残余灰度场计算方法

技术领域

本发明涉及实验固体力学中的数字图像相关方法，尤其涉及数字图像相关方法在缺陷检测、裂纹检测等相关的领域。具体的讲，是一种利用基于图像子区的局部数字图像相关方法的计算结果进行残余灰度场的计算方法，并将其用于缺陷检测及裂纹检测等相关应用场景。

背景技术

在传统的缺陷检测方法中，大多是基于图像变换与图像配准实现的，其通过将计算目标通过图像整体变换与模板配准，并做差得到残余灰度场，并对残余灰度场进行分析来确定缺陷或裂纹的大小和位置。

现有的图像配准算法，往往只考虑了图像整体的变化，如图像的平移，旋转等刚体变换，以及缩放，仿射变换，单应变换等变形来考虑不同视角下的图像变化。再比如，ECC图像配准算法¹还考虑了图像的亮度与对比度变换。然而，这些方法没有考虑图像的局部变形，缺陷识别的精准度低。在实验力学应用中，往往会由于被测对象的局部变形与全局变形不一致而在残余灰度场中出现混叠现象。

DIC方法通过匹配参考图与变形图子区，可以得到子区中心的位移。而通过计算参考图和变形图之间的相关系数可以衡量匹配的准确度和可信度。在现有的将DIC应用于裂纹检测的方法中，往往是通过计算相关性系数来衡量匹配结果的优劣以及可信度，并进一步地认为相关系数较低(可信度较低)的地方为缺陷或裂纹存在的地方。但相关性系数作为一个图像子区(subset)内的单一系数指标，只能体现图像子区匹配的质量，难以对感兴趣的对象(缺陷、裂纹)进行高精度的定位。

数字图像相关方法(Digital Image Correlation,DIC)作为一种非接触式的光学测量方法，其通过对比被测物体变形前后的图像，可以得到被测对象全场的位移场和应变场，在实验力学研究和工程应用中得到了广泛的使用。为了更高精度的定位裂纹或缺陷，需要把DIC给出的位移信息整合到残余灰度场中，即使用变形场来得到变形后的参考图，从而消除由于局部位移场带来的图像混叠形象。现有的DIC方法可以分为基于网格的全局DIC方法和基于图像子区的局部DIC。在全局DIC中，在计算迭代过程中可获得考虑变形的残余灰度场，但其程序编写复杂、计算量大，难以并行。而基于图像子区的局部DIC实现简单，应用广泛，是DIC里的主流计算方法。

现有的图像配准方法如ECC配准算法，目前被收录于开源计算机视觉计算库OpenCV中，作为一个与DIC算法极为类似的图像匹配算法，其考虑的是模板图像在各种变形(仿射，单应)，以及光照，对比度等条件下的图像匹配问题。与DIC中使用零均值归一化互相关系数的DIC算法一致。然而这一算法着眼于图像整体的变换，没有考虑到局部变形。常用于图像拼接，多通道图像重构等任务。并不适合用于本文所关注的材料力学中裂纹识别以及缺陷定位等问题。

发明内容

有鉴于此，本发明旨在提出一种结合局部数字图像相关方法提供的位移场的残余灰度场的计算方法。具体而言，使用局部DIC给出的位移场对参考图像进行映射，得到在此位移场作用下变形的参考图像，并与实际采集的变形图进行比较，得到在考虑位移场条件下的残余灰度场。由于两个图像中对应位置均已通过DIC方法进行配准，在进行做差处理时能极大降低由于局部位移带来的混叠现象，剩下的主要为由网格插值方法以及图像噪声等带来的误差。由配准后的图像计算得到的残余灰度场可以以较高精度定位特征边缘，进而提高特征提取的精度。

本发明提出的基于图像子区的局部数字图像相关方法的残余灰度场计算方法的流程如图1所示，主要包括四部分：计算点网格构建，位移场插值与灰度插值，残余灰度场计算及后处理。具体方案如下:

基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：包括如下步骤：

第一步，计算点网格构建：根据子区数字图像相关方法中的计算点的分布，构建计算点的网格；用以组织计算点，保证位移场的连续性以及方便后续的插值运算；

第二步，位移场插值与灰度插值：

使用网格组织计算点，对待插值的图像点进行快速定位，针对不同的网格，选取对应的形函数对待插值点进行插值，得到变形后图像点对应变形前图像点的坐标，并通过图像插值的方法获取这一点的图像灰度。

第三步，残余灰度场计算：

将插值得到的变形后图像与真实变形图进行做差，得到变形图中各个像素的残余灰度场；由于融合了数字图像相关方法得到的位移场，得到的残余灰度场可以消除由于图像未完全配准带来的混叠现象；

第四步，残余灰度场后处理：

残余灰度场以图像的形式保存，可以直接使用图像处理中各种后处理方式对其进行处理，以提高图像质量，使感兴趣的特征更具有区分度。

优选为：所述第一步进一步包括：构建计算点的网格，包括但不限于三角形网格，四边形网格。

优选为：所述三角形网格使用线性插值；所述四边形网格使用双线性插值。

优选为：所述第一步进一步包括如下内容：使用delaunay三角化方法来构建三角网格；所述Delaunay三角化算法的具体实现如下：

(1)首先得到一能覆盖所有计算点的超级三角形；

(2)将一计算点插入到三角形中，将外接圆包含该点的三角形的公共边删除，并将插入点与这些三角形的顶点相连；

(2)根据局部最优准则，使用边翻转使得有公共边的三角形的最小角最大；

(3)循环第2步，直到所有计算点均插入完毕，即构建完成。

优选为：所述第二步进一步包括如下内容：当得到变形图像点对应变形前图像点的坐标，即可通过图像插值的方法获取这一点的图像灰度；对于不在计算点覆盖的区域，即没有位移场信息的点，则可以赋予NaN或直接使用变形图像的对应像素，在后续的残余灰度场计算中会将其消除。

优选为：所述图像插值的方法包括双三次插值，双三次B样条插值获取这一点的图像灰度。

优选为：当使用上述的delaunay三角网格，对变形图中的每一个像素，都已经计算得到其在网格中的位置，即落在哪个三角形中，而由于三角形的每个顶点均包含位置，位移，以及对应参考图的位置等信息，可以使用下述的网格插值算法进行插值：

记待插值点为P(x,y)，三角形的三个顶点以逆时针顺序标记为1,2,3；由于在三角形单元中，各点物理量和坐标均满足线性插值关系，故点P的面积坐标P_L(L₁,L₂,L₃)即满足插值形函数的要求，可以作为插值形函数。其中，L₁＝A_P23/A,L₂＝A_P13/A,L₃＝A_P12/A，A_P12为△P12的面积，以此类推；故P点的任一物理量u可以由三角形三个顶点的物理量插值给出：

(x,y)＝u₁L₁+u₂L₂+u₃L₃

由于坐标x,y也满足这一插值关系，为了得到变形图中点P对应的坐标，仅需将式中的u换成变形前图像中对应的坐标即可，即：

x′(x,y)＝x′₁L₁+x′₂L₂+x′₃L₃

y′(x,y)＝y′₁L₁+y′₂L₂+y′₃L₃

由此即得到了变形图中的点P(x,y)在参考图像中的位置(x′,y′)，得到点在参考图中的位置后，即可通过插值得到其灰度信息，即完成了变形图像的构建。

本发明还公开一种将上述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法应用于缺陷检测、裂纹检测中。

本发明的特点及有益效果是：

1.本发明在传统的使用残余灰度场分析的基础上，考虑了图像变形场的影响，消除了传统方法中出现的混叠等不利于提取特征的因素。

2.相比传统的使用DIC的相关系数的判别方法，本方法能为特征提供更加精准定位，以及能定量且直观地展现匹配的结果，且能提示新出现的图像特征，如裂缝，缺陷等。

3.本方法基于网格构建，可以将子区DIC中离散计算点的位移场组织起来，实现位移场的连续插值，保证位移场的连续性，不会出现二义。

4.方法流程清晰，且易于实现，不仅可以使用CPU实现，还可以使用GPU的着色器实现，具有极高的计算效率。

附图说明

附图1残余灰度场计算流程图。

图2(a)实验前和图2(b)试验后采集的试样图像。

图3使用直接相减法得到的残余灰度场。

图4使用Delaunay三角剖分算法构建的三角网格。

图5使用提出的方法计算得到的残余灰度场。

图6使用DIC方法计算得到的相关系数场

图7三角插值原理示意图

具体实施方式

本发明提出的基于图像子区的局部数字图像相关方法的残余灰度场计算方法的流程如图1所示，主要包括四部分：计算点网格构建，位移场插值与灰度插值，残余灰度场计算及后处理。具体方案如下:

第一部分，计算点网格构建：根据子区数字图像相关方法中的计算点的分布，可以构建计算点的网格，包括但不限于三角形网格，四边形网格等。用以组织计算点，保证位移场的连续性以及方便后续的插值运算。

在已知计算点的情况下，一般可以使用delaunay三角化方法来构建三角网格。delaunay三角网格具有唯一性，规则性，最优性等优势，可以快速稳定地得到高质量的三角网格。

Delaunay三角化算法的具体实现如下：

(1)首先得到一能覆盖所有计算点的超级三角形。

(2)将一计算点插入到三角形中，将外接圆包含该点的三角形的公共边删除，并将插入点与这些三角形的顶点相连。

(3)根据局部最优准则，使用边翻转使得有公共边的三角形的最小角最大。

(4)循环第2步，直到所有计算点均插入完毕，即构建完成。

由于在参考图中，计算点一般为等间距分布的，使用delaunay三角化得到的网格非常规整。由此构建得到的网格映射到变形图中，即可以用于下一步在变形图中的插值。而由于网格点均已确定，可以在O(logN)的时间复杂度内得到其所在的三角形。

第二部分，位移场插值与灰度插值：使用网格组织计算点，可以对待插值的图像点进行快速定位。而使用针对不同的网格，可以选取对应的形函数对待插值点进行插值，如三角形单元可以使用线性插值，而四边形单元使用双线性插值等。得到变形后图像点对应变形前图像点的坐标，即可通过图像插值的方法，如双三次插值，双三次B样条插值等获取这一点的图像灰度。对于不在计算点覆盖的区域，即没有位移场信息的点，则可以赋予NaN或直接使用变形图像的对应像素，在后续的残余灰度场计算中会将其消除。

在这一步骤中，如使用上述的delaunay三角网格，对变形图中的每一个像素，都已经计算得到其在网格中的位置，即落在哪个三角形中。而由于三角形的每个顶点均包含位置，位移，以及对应参考图的位置等信息，可以使用下述的网格插值算法进行插值：

如图7所示，记待插值点为P(x,y)，三角形的三个顶点以逆时针顺序标记为1,2,3。由于在三角形单元中，各点物理量和坐标均满足线性插值关系。故点P的面积坐标P_L(L₁,L₂,L₃)即满足插值形函数的要求，可以作为插值形函数。其中，L₁＝A_P23/A,L₂＝A_P13/A,L₃＝A_P12/A，其中A为整个三角形单元的面积，A_P12为△P12的面积，以此类推。故P点的任一物理量u可以由三角形三个顶点的物理量插值给出：

(x,y)＝u₁L₁+u₂L₂+u₃L₃

由于坐标x,y也满足这一插值关系，为了得到变形图中点P对应的坐标，仅需将式中的u换成变形前图像中对应的坐标即可，即：

x′(x,y)＝x′₁L₁+x′₂L₂+x′₃L₃

y′(x,y)＝y′₁L₁+y′₂L₂+y′₃L₃

由此即得到了变形图中的点P(x,y)在参考图像中的位置(x′,y′)。得到点在参考图中的位置后，即可通过插值得到其灰度信息，即完成了变形图像的构建。

另外，这一步骤还可以使用GPU的渲染管线来直接得到。即将所构建的网格作为顶点存入顶点缓冲中，并将参考图作为纹理存入GPU。每个顶点包括其在变形图中的位置，以及在参考图中的位置。位置插值可以直接使用顶点着色器(Vertex Shader)实现，而图像灰度插值可以使用纹理以及片元着色器(Fragment Shader)来实现。由于GPU的渲染管线极为成熟，这一步骤可以通过GPU非常快速的完成。

第三部分，残余灰度场计算：将插值得到的变形后图像与真实变形图进行做差，得到变形图中各个像素的残余灰度场。由于融合了数字图像相关方法得到的位移场，得到的残余灰度场可以消除由于图像未完全配准带来的混叠等现象。

第四部分，残余灰度场后处理：残余灰度场以图像的形式保存，故可以直接使用图像处理中各种后处理方式对其进行处理，如伪彩色映射，对比度增强等以提高图像质量，使感兴趣的特征更具有区分度。

具体实施例一：_

图2为一疲劳试验中产生裂纹的试验件在实验前和实验后的图像，试件中部时候后产生一道裂纹。记变形前拍摄的图片为F(x，y)，变形后的图像为G(x，y)，其中(x，y)为图像的像素坐标。

按传统直接使用图像相减计算残余灰度场的方法得到的残余灰度场如图3所示。为了使结果更加鲜明，对残余灰度图进行了反色处理。其计算公式可以表示为：

D(x，y)＝255-|F(x，y)-G(x，y)|

由于图片未配准，而图像上下两部分运动差异较大，故在残余灰度场中表现为，上部具有微弱的变形，而下部变形较大，会出现大量的混叠，影响裂纹判读。

使用本发明提出的计算残余灰度场的方法一例如下：

(1)计算步骤

首先使用数字图像相关方法计算得到其横向位移场U，纵向位移场V。再使用接下来的步骤进行残余灰度场绘制。

第一步：使用Delaunay三角化方法建立了三角形网格，如图4所示；

第二步：使用三角形网格对应的线性插值法计算坐标(x，y)变形前的坐标(x-u，y-v)，并使用双三次B样条插值函数对图像灰度进行插值。

第三步：将插值后的参考图与变形图相减得到残余灰度场D(x，y)。其计算公式为：

D(x，y)＝F(x-u，y-u)-G(x，y)

第四步：对残余灰度场进行简单的后处理，以保证其数据在可视化的图像范围内，且能突出其特征。其计算公式为：

D′(x，y)＝255-|D(x，y)|

(2)结果分析

如图5所示，计算得到的残余灰度场经过了反色处理，其中白色的地方代表残余灰度极小，而黑色的地方即为残余灰度较大的地方，即所关心的新组织或裂纹等信息。结果清晰地显示出了裂纹所在的位置以及长度等信息。

与图2中展示的原始方法相比，所提出的计算残余灰度场的方法可以消除由于图像未配准及图像局部变形引起的混叠现象，将由被测对象本身的纹理以及局部运动带来的影响消除到最低。

图6展示了计算得到的相关系数场，在计算区域中，深色表示相关系数较高，而浅色表示相关系数较低。与图6中展示的相关系数场相比，所提出的方法可以对裂纹所在位置进行精准的定位，而仅使用ZNCC判断只能给出一个大致区域，定位精度较差。

可以看出，本发明给出的残余灰度场的计算方法将实验力学图像中特有的变形场用于图像配准，从而能够很好的实现对实验力学中所关心的裂纹，缺陷等特征的定位。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：包括如下步骤：

第一步，计算点网格构建：根据子区数字图像相关方法中的计算点的分布，构建计算点的网格；用以组织计算点，保证位移场的连续性以及方便后续的插值运算；

第二步，位移场插值与灰度插值：

使用网格组织计算点，对待插值的图像点进行快速定位，针对不同的网格，选取对应的形函数对待插值点进行插值，得到变形后图像点对应变形前图像点的坐标，并通过图像插值的方法获取这一点的图像灰度。

第三步，残余灰度场计算：

将插值得到的变形后图像与真实变形图进行做差，得到变形图中各个像素的残余灰度场；由于融合了数字图像相关方法得到的位移场，得到的残余灰度场可以消除由于图像未完全配准带来的混叠现象；

第四步，残余灰度场后处理：

残余灰度场以图像的形式保存，可以直接使用图像处理中各种后处理方式对其进行处理，以提高图像质量，使感兴趣的特征更具有区分度。

2.根据权利要求1所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：所述第一步进一步包括：构建计算点的网格，包括但不限于三角形网格，四边形网格。

3.根据权利要求2所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：所述三角形网格使用线性插值；所述四边形网格使用双线性插值。

4.根据权利要求1所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：所述第一步进一步包括如下内容：使用delaunay三角化方法来构建三角网格；所述Delaunay三角化算法的具体实现如下：

(1)首先得到一能覆盖所有计算点的超级三角形；

(2)将一计算点插入到三角形中，将外接圆包含该点的三角形的公共边删除，并将插入点与这些三角形的顶点相连；

(2)根据局部最优准则，使用边翻转使得有公共边的三角形的最小角最大；

(3)循环第2步，直到所有计算点均插入完毕，即构建完成。

5.根据权利要求1所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：所述第二步进一步包括如下内容：当得到变形图像点对应变形前图像点的坐标，即可通过图像插值的方法获取这一点的图像灰度；对于不在计算点覆盖的区域，即没有位移场信息的点，则可以赋予NaN或直接使用变形图像的对应像素，在后续的残余灰度场计算中会将其消除。

6.根据权利要求5所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：所述图像插值的方法包括双三次插值，双三次B样条插值获取这一点的图像灰度。

7.根据权利要求4所述的基于图像子区的局部数字图像相关方法的残余灰度场计算方法,其特征为：当使用上述的delaunay三角网格，对变形图中的每一个像素，都已经计算得到其在网格中的位置，即落在哪个三角形中，而由于三角形的每个顶点均包含位置，位移，以及对应参考图的位置等信息，可以使用下述的网格插值算法进行插值：

记待插值点为P(x,y)，三角形的三个顶点以逆时针顺序标记为1,2,3；由于在三角形单元中，各点物理量和坐标均满足线性插值关系，故点P的面积坐标P_L(L₁,L₂,L₃)即满足插值形函数的要求，可以作为插值形函数。其中，L₁＝A_P23/A,L₂＝A_P13/A,L₃＝A_P12/A，A_P12为△P12的面积，以此类推；故P点的任一物理量u可以由三角形三个顶点的物理量插值给出：

(x,y)＝u₁L₁+u₂L₂+u₃L₃

由于坐标x,y也满足这一插值关系，为了得到变形图中点P对应的坐标，仅需将式中的u换成变形前图像中对应的坐标即可，即：

x′(x,y)＝x′₁L₁+x′₂L₂+x′₃L₃

y′(x,y)＝y′₁L₁+y′₂L₂+y′₃L₃

由此即得到了变形图中的点P(x,y)在参考图像中的位置(x′,y′)，得到点在参考图中的位置后，即可通过插值得到其灰度信息，即完成了变形图像的构建。

Images