CN114022460A - 一种剪切散斑干涉视频图像多缺陷融合方法 - Google Patents

Abstract

本发明为一种剪切散斑干涉视频图像多缺陷融合方法，包括：搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。

Description

一种剪切散斑干涉视频图像多缺陷融合方法

技术领域

本发明涉及光电检测技术领域，具体涉及一种剪切散斑干涉视频图像多缺陷融合方法。

背景技术

剪切散斑干涉测量技术(ESSPI)因其测量精度高、稳定、测量范围广等优点被广泛应用于粘接结构以及复合材料无损检测中。

剪切散斑干涉仪用于测量材料内部缺陷时，需要借助外部作用对物体进行加载，主要的加载方式有热加载、声加载、振动加载以及负气压加载等。通过对物体进行均匀的加载，使得物体发生变形，而缺陷处将发生微小的非均匀变形，从而反映到物体表面，进而通过剪切散斑干涉系统捕捉该非均匀变形，从而获得缺陷的检测。

在实际测量中，外部的加载强度通常是逐渐增加的，于是由于物体内部缺陷质量的差异，将导致在加载强度较小时，质量差的缺陷被检测出，质量较好的缺陷未被检测；而随着加载强度的增加，质量差的缺陷将可能由于变形过大使得条纹过密，从而导致不能被检测出，而质量较好的缺陷此刻可能被检测出。因此可知，在动态检测某一时刻，有些缺陷被很好的检测出，而有些缺陷不能被检出。然而在整个检测过程中，所有缺陷只能通过视频图像中被观测到，这样不利于缺陷的直观表达。因此，为了便于更好地获得所有缺陷检测结果，需要将视频图像中的所有缺陷融合为一幅高质量的多缺陷图。

鉴于上述，一种剪切散斑干涉视频图像多缺陷融合方法的发明在剪切散斑干涉缺陷检测中尤为重要。

发明内容

本发明提出一种剪切散斑干涉视频图像多缺陷融合方法，该方法能将缺陷检测的视频图像融合为一副高质量的多缺陷图，从而使得缺陷的观察更加直观。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种剪切散斑干涉视频图像多缺陷融合方法，包括：

搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；

运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；

将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；

根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。

进一步地，建立缺陷识别模型包括：

手动截取相位图中的缺陷子图像，并将缺陷子图像作为输入，利用R-CNN、Fast R-CNN、Faster R-CNN-、Detectron、YOLO、SSD等深度学习网络构建缺陷识别模型。

进一步地，建立缺陷骨架提取模型包括：

对截取的缺陷子图像进行二值化、条纹细化、消分支图像处理步骤获得缺陷子图像的骨架线图像，并将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，获得骨架线提取模型。

进一步地，将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，训练过程包括前向传播和反向传播；

其中，在前向传播中，ESSPI缺陷条纹图像作为输入图像输入到U-Net网络，经过L个卷积层后，最终转换为具有两个通道的特征向量；加上缺陷条纹图像I表示为{I_i,i＝1,…,Z}的集合，其中I_i表示为像素点i对应的灰度值,Z表示为像素个数；则特征向量

可以表示为：

其中，

是卷积算子,

是第l-1卷积层输出的特征图；ReLU是整流线性单元；

缺陷条纹图像I的输出特征向量I_fm可以表示为

然后使用softmax函数确定像素是否属于骨架像素I_i或者非骨架像素；Softmax函数定义为：

其中，p_c(I_i)是像素I_i属于c类的概率值,c＝1或2；利用softmax函数，输出的结果是一系列的概率值；

利用交叉熵损失函数来量化正向传播得到的概率值与真值之间的差值，交叉熵表达如下：

其中，yⁱ为1×2向量，表示像素I_i的真值类别；yⁱ＝0或1，判断取决于对应的骨架像素S_i；

在反向传播中，通过最小化交叉熵损失函数，最终得到最优参数：

W^l,B^l)＝argmin(loss)

当网络参数确定后，训练过程结束。

进一步地，运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，包括在检测前采集一幅真实物体图像作为被展示的图像，然后对物体进行均匀持续加载，使其缺陷表现为物体表面变形，同时系统动态地捕获其内部缺陷相位图，从而得到缺陷相位图的视频图像。

进一步地，获得缺陷子图像的骨架线图像的过程包括将缺陷子图像输入到已经训练好的缺陷骨架提取模型，输入缺陷图像中的每一个像素都将由训练后的网络来确定是否属于骨架像素，从而最终自动提取出缺陷图像的条纹骨架。

进一步地，根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量包括，得出一个判断缺陷子图像质量的参数，即：

μ＝n/σ

其中，n为条纹骨架数量，σ为缺陷子图像的归一化的均方差；

根据最大的参数μ值选取缺陷视频图像中同一个位置最好的缺陷子图像，并将该子图像替换真实图像相应位置的子图像；每个缺陷执行同样的操作，则最终融合为一副完整的包含所有缺陷的图像。

本发明的有益效果为：

1.相比现有剪切散斑干涉无损检测中的利用视频图像观测缺陷位置和大小，本发明提出的将缺陷质量不一致的视频图像进行融合，合成为一副完整高质量的缺陷图，融合后的缺陷图显示在真实图像表面有利于找出缺陷在真实物体的具体位置，并且融合后的缺陷图包含检测中的所有缺陷，便于检测人员得出可靠的结论。

2.本发明结合了深度学习自动识别技术、条纹图骨架线自动提取技术，并提出了缺陷子图像的评价体系，能方便地用于评价缺陷子图像质量。

附图说明

图1为剪切散斑干涉视频图像多缺陷融合流程图；

图2为缺陷骨架自动提取流程图；

图3为根据本发明优选实施例中搭建的剪切散斑干涉无损检测系统结构示意图；

图4为根据本发明优选实施例中剪切散斑干涉视频图像多缺陷融合流程与结果。

具体实施方式

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

一种剪切散斑干涉视频图像多缺陷融合方法，包括：

搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；

运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；

将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；

根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。

可选的，建立缺陷识别模型包括：

手动截取相位图中的缺陷子图像，并将缺陷子图像作为输入，利用R-CNN、Fast R-CNN、Faster R-CNN-、Detectron、YOLO、SSD等深度学习网络构建缺陷识别模型。

可选的，建立缺陷骨架提取模型包括：

对截取的缺陷子图像进行二值化、条纹细化、消分支图像处理步骤获得缺陷子图像的骨架线图像，并将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，获得骨架线提取模型。

可选的，将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，训练过程包括前向传播和反向传播；

其中，在前向传播中，ESSPI缺陷条纹图像作为输入图像输入到U-Net网络，经过L个卷积层后，最终转换为具有两个通道的特征向量；加上缺陷条纹图像I表示为{I_i,i＝1,…,Z}的集合，其中I_i表示为像素点i对应的灰度值,Z表示为像素个数；则特征向量

可以表示为：

其中，

是卷积算子,

是第l-1卷积层输出的特征图；ReLU是整流线性单元；

缺陷条纹图像I的输出特征向量I_fm可以表示为

然后使用softmax函数确定像素是否属于骨架像素I_i或者非骨架像素；Softmax函数定义为：

其中，p_c(I_i)是像素I_i属于c类的概率值,c＝1或2；利用softmax函数，输出的结果是一系列的概率值；

利用交叉熵损失函数来量化正向传播得到的概率值与真值之间的差值，交叉熵表达如下：

其中，yⁱ为1×2向量，表示像素I_i的真值类别；yⁱ＝0或1，判断取决于对应的骨架像素S_i；

在反向传播中，通过最小化交叉熵损失函数，最终得到最优参数：

W^l,B^l)＝argmin(loss)

当网络参数确定后，训练过程结束。

可选的，运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，包括在检测前采集一幅真实物体图像作为被展示的图像，然后对物体进行均匀持续加载，使其缺陷表现为物体表面变形，同时系统动态地捕获其内部缺陷相位图，从而得到缺陷相位图的视频图像。

可选的，获得缺陷子图像的骨架线图像的过程包括将缺陷子图像输入到已经训练好的缺陷骨架提取模型，输入缺陷图像中的每一个像素都将由训练后的网络来确定是否属于骨架像素，从而最终自动提取出缺陷图像的条纹骨架。

可选的，根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量包括，得出一个判断缺陷子图像质量的参数，即：

μ＝n/σ

其中，n为条纹骨架数量，σ为缺陷子图像的归一化的均方差；

根据最大的参数μ值选取缺陷视频图像中同一个位置最好的缺陷子图像，并将该子图像替换真实图像相应位置的子图像；每个缺陷执行同样的操作，则最终融合为一副完整的包含所有缺陷的图像。

具体而言，本实施案例以热加载(声加载、振动加载以及负气压加载类似)为例搭建一个剪切散斑干涉无损检测系统，如图3所示，系统包括激光器、迈克尔逊干涉光路、散斑照相机、激励控制器和热激励。根据本发明提供的多缺陷融合方法，由图1为优选的剪切散斑干涉视频图像多缺陷融合方法流程图，具体操作如下：

检测前采集一幅真实物体图像作为被展示的图像，然后对物体进行均匀持续加载，使其缺陷表现为物体表面变形，同时系统动态地捕获其内部缺陷相位图，从而得到缺陷相位图的视频图像。

运用深度学习建立好的缺陷识别模型，在缺陷视频图像进行缺陷的自动识别并标识每个缺陷的图像位置，从而得到缺陷视频图像中每一帧缺陷图像位置，缺陷位置结果如图4(b)中矩形框所示。

利用已经训练好的U-Net网络模块对每一帧中缺陷条纹骨架线进行全自动提取，从而自动获得这幅缺陷图像中所有的条纹骨架线。

利用上述获得的骨架线和子图像均方差综合评价缺陷子图像的质量，通过如下公式判断缺陷子图像质量，即：

μ＝n/σ

其中n为条纹骨架线数量，σ为缺陷子图像的归一化的均方差。

从而根据最大的参数μ值选取缺陷视频图像中同一个位置最好的缺陷子图像，所选的结果如图4(b)中虚线框所示的缺陷。将该子图像替换图4(a)的真实图像相应位置的子图像。每个缺陷执行同样的操作，最终将缺陷视频图像融合为一副完整的包含所有缺陷的图像，融合后的缺陷图像如图4(c)所示。提出的方法将缺陷质量不一致的视频图像融合为了一副高质量的缺陷图像。并且将融合后的缺陷图显示在真实图像表面有利于找出缺陷在真实物体的具体位置，并且融合后的缺陷图包含检测中的所有缺陷，便于检测人员得出可靠的结论。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于，包括：

搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；

运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；

将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；

根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。

2.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述建立缺陷识别模型包括：

手动截取相位图中的缺陷子图像，并将缺陷子图像作为输入，利用R-CNN、Fast R-CNN、Faster R-CNN-、Detectron、YOLO、SSD深度学习网络构建缺陷识别模型。

3.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述建立缺陷骨架提取模型包括：

对截取的缺陷子图像进行二值化、条纹细化、消分支图像处理步骤获得缺陷子图像的骨架线图像，并将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，获得骨架线提取模型。

4.根据权利要求3所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述将该骨架线图像与缺陷子图像作为输入图像，利用U-Net卷积神经网络进行训练，训练过程包括前向传播和反向传播；

其中，在所述前向传播中，ESSPI缺陷条纹图像作为输入图像输入到U-Net网络，经过L个卷积层后，最终转换为具有两个通道的特征向量；加上缺陷条纹图像I表示为{I_i，i＝1，…，Z}的集合，其中I_i表示为像素点i对应的灰度值，Z表示为像素个数；则特征向量

可以表示为：

其中，

是卷积算子，

是第I-1卷积层输出的特征图；ReLU是整流线性单元；

缺陷条纹图像I的输出特征向量I_fm可以表示为

然后使用softmax函数确定像素是否属于骨架像素I_i或者非骨架像素；Softmax函数定义为：

其中，p_c(I_i)是像素I_i属于c类的概率值，c＝1或2；利用softmax函数，输出的结果是一系列的概率值；

利用交叉熵损失函数来量化正向传播得到的概率值与真值之间的差值，交叉熵表达如下：

其中，yⁱ为1×2向量，表示像素I_i的真值类别；yⁱ＝0或1，判断取决于对应的骨架像素S_i；

在所述反向传播中，通过最小化交叉熵损失函数，最终得到最优参数：

W^l，B^l)＝arg min(loss)

当网络参数确定后，训练过程结束。

5.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，包括在检测前采集一幅真实物体图像作为被展示的图像，然后对物体进行均匀持续加载，使其缺陷表现为物体表面变形，同时系统动态地捕获其内部缺陷相位图，从而得到缺陷相位图的视频图像。

6.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述获得缺陷子图像的骨架线图像的过程包括将缺陷子图像输入到已经训练好的缺陷骨架提取模型，输入缺陷图像中的每一个像素都将由训练后的网络来确定是否属于骨架像素，从而最终自动提取出缺陷图像的条纹骨架。

7.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：

所述根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量包括，得出一个判断缺陷子图像质量的参数，即：

μ＝n/σ

其中，n为条纹骨架数量，σ为缺陷子图像的归一化的均方差；

根据最大的参数μ值选取缺陷视频图像中同一个位置最好的缺陷子图像，并将该子图像替换真实图像相应位置的子图像；每个缺陷执行同样的操作，则最终融合为一副完整的包含所有缺陷的图像。

Images