CN112184693A - 一种射线工业底片焊缝缺陷智能检测方法 - Google Patents

Abstract

本发明提供一种射线工业底片焊缝缺陷智能检测方法，涉及射线工业底片焊缝缺陷检测技术领域。该方法用两种数据预处理方式实现缺陷与背景的对比度增强，使缺陷特征更加明显。利用迭代检测与集成学习的思想，检测器对不同数据的检测效果不同，当该数据缺陷没有被检测器检测到时，用另外一组数据的检测结果去补充，以此得到一个更好更全面的检测模型。具体的检测过程为先迭代再集成；迭代时将前一次的检测结果采用三次样条插值方式将缺陷消除后重新放入检测器，每迭代一次将增强检测器对下一轮缺陷的感知。然后将两种处理方式迭代后的检测结果集成，运用非极大值抑制算法去除重叠的目标。最后再针对根部未熔合缺陷及夹层未熔合缺陷进行进一步检测。

Description

一种射线工业底片焊缝缺陷智能检测方法

技术领域

本发明涉及射线工业底片焊接缺陷检测技术领域，尤其涉及一种射线工业底片焊缝缺陷智能检测方法。

背景技术

焊接技术在工业应用十分广泛，被广泛的应用到航空航天，机械制造等领域。由于不同焊接人员技术水平的不同，在实际对目标进行焊接时会不可避免的出现一些圆孔型、长条形、未熔合、未焊透、裂纹、烧穿、内凹等七种类型缺陷。为了保证焊接工程质量，避免由于未能及时检测出焊接区域缺陷，而给环境、经济和安全造成巨大损失，必须严格按照焊接标准对焊缝进行缺陷检测。

X射线探伤是工业无损检测的主要方法，其检测结果已经作为焊缝缺陷分析和质量评定的重要判据。目前的检测手段主要以人工检查X射线缺陷图像为主，但是往往存在很多缺点，比如检测人员专业素质、技能经验等不同对质量的检测标准会造成很多偏差，其次检验人员很难对缺陷进行定量的判断，无法定量分析检出率、精度等标准。最后这种检测方式效率低下并且需要耗费大量的专业技术人员，因此综合几种因素人工视觉检测已经越来越不能满足当今时代工业领域的需要。目前以图像处理技术为基础的机器视觉技术恰好可以弥补人工技检测的部分不足。整个缺陷检测步骤分为：图像增强、焊缝提取和缺陷分割。但是单独依靠图像处理技术为主的机器视觉的焊缝缺陷检测方式也存在以下点问题：其一，缺陷的特征是人为设定的，在面对噪声干扰时，除了人为修正之外，很难拿找到其它方法。其二，由于算法本身理解难度较大且调参复杂，上手困难的特点，非常不利于初学者研究。最后焊接缺陷检测任务中的缺陷种类较多，这些缺陷通常表现出不同的特性，缺陷的可变性大大增加了缺陷检测问题的复杂性，这使得很难找到一种通用图像处理方法来解决所有缺陷类型的检测。

随着近些年来计算机计算能力的提高，深度学习算法已广泛应用于检测领域。但是基于射线工业底片焊缝缺陷样本数据清晰度差，特征不明显的特殊的背景下，因此运用X射线成像得到的原始数据集，单独直接的采用深度网络的方法得到的检测结果也不是很理想。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种射线工业底片焊缝缺陷智能检测方法，利用图像处理方式使焊缝缺陷特征更加明显，结合深度神经网络，利用集成学习方式实现射线工业底片管道焊缝缺陷检测，并提升缺陷的检出率。

为解决上述技术问题，本发明所采取的技术方案是：一种射线工业底片焊缝缺陷智能检测方法，包括以下步骤：

步骤1：依据光电技术和数字处理技术将焊缝信息转换成数字信号，由X射线扫描得到原始焊缝缺陷图像，并对原始焊缝缺陷图像数据进行标注制作训练数据集；

步骤2：利用改进的Retinex理论与小波去噪结合的方式对训练数据集中的原始焊缝缺陷图像进行第一种图像预处理，实现对原始焊缝缺陷图像的增强去噪处理，得到增强的焊缝缺陷图像；

步骤2-1：使用小波变换对原始焊缝缺陷图像F(x,y)进行二维小波分解，得到低频信息图像F_l(x,y)和高频信息图像F_h(x,y)，其中，(x,y)为图像的像素点坐标；

步骤2-2：对高频信息图像采用小波阈值去噪的方法进行降噪处理，得到降噪后的高频信息图像F′_h(x,y)；

步骤2-3：将低频信息图像分解为光照函数和反射函数的乘积，如下公式所示：

F_l(x,y)＝L(x,y)·R(x,y) (1)

其中，R(x,y)为反射函数，L(x,y)为光照函数；

所述光照函数使用高斯卷积函数进行估计得到，如下公式所示：

L(x,y)＝G(x,y)*F_l(x,y) (2)

其中，G(x,y)是高斯卷积函数；

所述反射函数采用改进的S型函数Seh()来替换对数函数计算得到，如下公式所示：

其中，max为原始焊缝图像中像素点的最大值，Δ代表输入到S型函数Seh()中的图像，a与b分别为满足0<a<0.1，0<b<10的常数；

步骤2-4：将对光照函数的估计，代入式(8)得到原始焊缝缺陷图像的细节增强图像R′(x,y)，如下公式所示：

步骤2-5：对原始焊缝缺陷图像处理后的高频系数

和细节增强图像R′(x,y)进行小波逆变换得到焊缝缺陷增强图像；

步骤3：采用频域滤波方法对图像进行增强，并与小波去噪图像相融合，对训练数据集中的原始焊缝缺陷图像进行第二种图像预处理，得到融合的焊缝缺陷图像；

步骤3-1：对原始焊缝缺陷图像做对数傅里叶变换，从空间域F(x,y)变换到频率域D(u,v)如下公式所示：

D(u,v)＝DFT[lnF(x,y)]＝l(u,v)+r(u,v) (5)

其中，DFT为傅里叶变换，l(u,v)为频率域的光照函数，r(u,v)为频率域的反射函数，(u,v)表示焊缝缺陷图像在频率域的像素点；

步骤3-2：设计如下公式(6)所示的改进的高通滤波器H(u,v)对对数傅里叶变换后频率域的焊缝缺陷图像进行高通滤波：

其中，γ_L为对数傅里叶变换后焊缝缺陷图像的低频分量，D₀为滤波半径，n为高通滤波器的阶数；

步骤3-3：再对频率域焊缝缺陷图像的高频部分进行滤波，进一步提取高通滤波后焊缝缺陷图像的缺陷边缘信息，如下公式所示：

s(u,v)＝[1+m·H(u,v)]·D(u,v) (7)

其中，s(u,v)为对频率域焊缝缺陷图像的高频部分进行滤波后的缺陷焊缝图像，m为一个常数，具体的选则根据评价图像质量的信噪比确定；

步骤3-4：对滤波处理后的焊缝缺陷图像进行傅里叶逆变换，如下公式所示：

S(x,y)＝DFT^-1[s(u,v)]＝l′(x,y)+r′(x,y) (8)

其中，S(x,y)为对滤波处理后的焊缝缺陷图像s(u,v)进行傅里叶逆变换后的缺陷焊缝图像，l′(x,y)和r′(x,y)分别为滤波处理后的空间域光照函数和反射函数；

步骤3-5：对傅里叶逆变换后的焊缝缺陷图像S(x,y)进行指数变换，得到增强的焊缝缺陷图像F₂(x,y)，如下公式所示：

F₂(x,y)＝e^S(x,y)＝e^{l′(x,y)+r′(x,y)}＝l₀(x,y)+r₀(x,y) (9)

其中，l₀(x,y)是增强的焊缝缺陷图像的照射分量，r₀(x,y)是增强的焊缝缺陷图像的反射分量；

步骤3-6：将降噪后的高频信息图像F′_h(x,y)与原始低频信息F_l(x,y)进行小波逆变换实现图像重构，得到重构的缺陷焊缝图像F₁(x,y)，如下公式所示：

其中，ψ_x,y(t)为小波基，t表示时间；

步骤3-7：将重构的焊缝缺陷图像F₁(x,y)与增强的焊缝缺陷图像F₂(x,y)进行像素级的自适应图像融合，得到融合的焊缝缺陷图像F_R(x,y)，如下公式所示：

其中，ω₁为重构的焊缝缺陷图像F₁(x,y)的权重系数，ω₂为增强的焊缝缺陷图像F₂(x,y)的权重系数；权重系数ω₁和ω₂通过对数变换进行自适应调整，如下公式所示：

其中，r为指数常数；

步骤4：将经过步骤2和步骤3预处理后的焊缝缺陷图像均送入到Faster-RCNN检测器中，得到两个焊缝缺陷检测模型，具体方法为：

步骤4-1：将经过步骤2和步骤3预处理过的焊缝缺陷图像进行尺寸裁剪得到统一尺寸，然后将统一大小后的焊缝缺陷图像均送入Faster-RCNN检测器的深度神经网络，利用深度神经网络的卷积层，激活层和池化层对图像数据进行卷积操作后得到多个特征图；

步骤4-3：在步骤4-2得到特征图上的每个像素点生成多种不同尺寸的锚框，利用SoftMax函数对每个锚框做二分类，最后输出M个建议检测框作为目标缺陷区域；

步骤4-4：对M个建议检测框进行目标多分类，预测目标缺陷区域的具体缺陷类型，并计算每个建议检测框的位置用于边框回归定位；

继续用Softmax函数对建议检测框内的特征进行目标多分类，判断目标缺陷的具体缺陷类型；再计算建议检测框的位置用于边框回归定位；其中，用于边框回归的目标函数的输入参数分别是建议检测框的位置中心坐标和建议检测框的宽和高；

步骤4-5：根据步骤4-4所述的目标多分类和边框回归定位两个任务，使目标区域的预测值和真实值差值最小，得到Faster-RCNN检测器的损失函数Loss，如下公式所示：

其中，L_cls()、L_reg()分别为目标多分类与和边框回归定位两个任务的损失函数；p_r和

分别为预测目标的概率和真实标签；t_r＝(t_rx,t_ry,t_rw,t_rh)和

分别为第r个预测框和真实框的4个位置坐标向量，t_rx,t_ry,t_rw,t_rh分别为第r个预测框的位置中心坐标和预测框的宽、高，

分别为第r个真实框的位置中心坐标和真实框的宽、高；

分别为目标多分类与和边框回归定位两个任务的权重系数，λ为平衡参数；

步骤4-6：通过训练数据集中经过两种预处理后的焊缝缺陷图像重复训练Faster-rcnn检测器，直至损失函数达到稳定，得到两个焊缝缺陷检测模型；

步骤5：通过两个焊缝缺陷检测模型对待检测焊缝缺陷图像进行目标缺陷区域的初步检测，并采用迭代检测方法对缺陷进一步检测，得到待检测焊缝缺陷图像的全体目标缺陷区域的集合；

步骤5-1：将待检测缺陷焊缝图像输入两个焊缝缺陷检测模型中，得到并保存焊缝缺陷图像目标区域的两种初步缺陷检测结果；

步骤5-2：使用三次样条插值函数对两个焊缝缺陷检测模型初步检测得到的待检测焊缝缺陷图像目标缺陷区域中的像素点值进行逐行插值消除检测到的缺陷，并分别重构图像；

步骤5-3：将重构后的两个图像对应输入到两个焊缝缺陷检测模型中进行进一步检测并保存检测结果，再通过三次样条插值函数消除检测到的缺陷后再次分别重构图像；

步骤5-4：重复执行步骤5-3K次，并将K次的检测结果进行合并，得到K次迭代后待检测焊缝缺陷图像的目标缺陷区域的两个集合，如下公式所示：

其中，LOC₁、LOC₂分别为通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的目标缺陷区域的集合，N为输入到两个焊缝缺陷检测模型的待检测焊缝缺陷图像的个数，n′和m′分别为两个焊缝缺陷检测模型对每张图像检测出的目标缺陷区域的个数，j代表迭代检测的次数，F(x_ij)代表数据为第i张图像第j次插值得到的重构图像，H₁()、H₁()分别表示第一种图像预处理方式和第二种图像预处理方式对应的焊缝缺陷检测模型，loc_1ki,soc_1ki分别表示第一种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度，loc_2ki,soc_2ki分别表示第二种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度；

步骤6：将步骤5-3中通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂中的目标缺陷区域进行集合，并去掉重叠区域，得到每种缺陷的精确检测结果；

步骤6-1:将焊缝缺陷类型标号为1、2、…、M，则待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂按照缺陷类别表示为：

将上述两个式子进行集成得到待检测焊缝缺陷图像的全体目标缺陷区域集合：

其中，loc,soc分别表示目标缺陷区域的位置以及位置所对应的置信度；

步骤6-2：根据步骤6-1得到的待检测焊缝缺陷图像目标缺陷区域的集合LOC，依次遍历该集合中的所有目标缺陷区域，选取置信度最大的一个目标缺陷区域作为基准缺陷区域；

步骤6-3：将步骤6-2基准缺陷区域依次与待检测焊缝缺陷图像的全体目标缺陷区域集合中的其他目标缺陷区域进行重复度IOU的比较，如果重复度IOU大于阈值0.5，将该目标缺陷区域删除，反之将其保留，然后按照6-2中步骤对其余的目标缺陷区域进行下一个基准缺陷区域的确定；

步骤6-4：重复执行步骤6-2-6-3，直到将待检测焊缝缺陷图像的全体目标缺陷区域集合中最后一个目标缺陷区域遍历完毕，得到去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′；

步骤6-5:为每种缺陷类型设置置信度阈值，并将去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′中各目标缺陷区域的置信度值与该缺陷区域所属缺陷类别对应的置信度阈值进行比较，如果小于置信度阈值则去除该目标缺陷区域，否则保留该目标缺陷区域，最后得到焊缝目标缺陷区域集合LOC″；

步骤7：对待检测的焊缝缺陷图像进行根部未熔合缺陷及夹层未熔合缺陷的检测，完成对焊缝缺陷图像的检测；

步骤7-1：根据已有焊缝缺陷样本数据对焊缝缺陷图像的根部熔合线区域进行标记，并根据步骤4方法，得到熔合线检测模型；

步骤7-2:将待检测的N张焊缝缺陷图像输入到熔合线检测模型，对两条根部熔合线进行定位，得到两条根部熔合线间的区域Ω，如下公式所示：

其中，H(x_i)为熔合线检测模型，F(x_i)输入到熔合线检测模型的第i张的焊缝缺陷图像；

步骤7-3：将焊缝目标缺陷区域集合LOC″中所有的未熔合目标缺陷区域逐一与两条根部熔合线间的区域Ω进行比较，若未熔合目标缺陷区域在两条根部熔合线间的区域Ω内，则该未熔合目标缺陷区域为根部未熔合缺陷区域，否则该未熔合目标缺陷区域为夹层未熔合缺陷区域，进而得到根部未熔合缺陷区域集合LOC_lfr和夹层未熔合缺陷区域集合LOC_lfI；

最后得到所有焊缝缺陷的精确位置集合

其中，LOC_C为第C种缺陷类型的最终目标缺陷区域的集合。

采用上述技术方案所产生的有益效果在于：本发明提供的一种射线工业底片焊缝缺陷智能检测方法，从两个方面增强缺陷与背景的对比度，其一，采用多种数据预处理方式，从数据处理的角度对全部缺陷进行特征优化，其二通过迭代算法，迭代时将前一次迭代先检测出来的特征较明显的结果采用三次样条插值方式对缺陷像素进行插值填平后重新放入检测器，以增强下一轮缺陷与背景的对比度。利用集成学习的思想，检测器对不同数据的检测效果不同，当该数据缺陷没有被检测器检测到时，用另外一组数据的检测结果去补充，以此得到一个更好更全面的检测模型，从而全面提升焊缝缺陷的检出率。

附图说明

图1为本发明实施例提供的一种射线工业底片焊缝缺陷智能检测方法的流程图；

图2为本发明实施例提供的第一种图像预处理的流程图；

图3为本发明实施例提供的第二种图像预处理的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例以管道焊缝为例，采用本发明的一种射线工业底片焊缝缺陷智能检测方法对管道焊缝缺陷进行检测。

本实施例中，一种射线工业底片焊缝缺陷智能检测方法，如图1所示：包括以下步骤：

步骤1：依据光电技术和数字处理技术将焊缝信息转换成数字信号，由X射线扫描得到原始焊缝缺陷图像，并对原始焊缝缺陷图像数据进行标注制作训练数据集；

步骤2：利用改进的Retinex理论与小波去噪结合的方式对训练数据集中的原始焊缝缺陷图像进行第一种图像预处理，如图2所示，实现对原始焊缝缺陷图像的增强去噪处理，得到增强的焊缝缺陷图像，在良好的消除噪声前提下，提升焊接区域对比度；

步骤2-1：使用‘sym4’小波函数族对原始焊缝缺陷图像F(x,y)进行二维小波分解，得到低频信息图像F_l(x,y)和高频信息图像F_h(x,y)，(x,y)为图像的像素点坐标；

焊缝图像普遍伴有对比度较低和噪声较大的特点，对图像中的缺陷细节影响较大，利用小波变换对原始焊缝缺陷图像进行分解，保持边缘特性，得到焊缝缺陷图像的低频信息和高频信息，焊缝图像的平滑近似分量保存在低频信息图像中，轮廓细节分量保存在高频信息图像中；

步骤2-2：对高频信息图像采用小波阈值去噪的方法进行降噪处理，降低图像的噪声干扰，得到降噪后的高频信息图像F′_h(x,y)；

小波阈值去噪方法包括硬阈值去噪和软阈值去噪两种方式，对于焊缝图像选择硬阈值去噪的方式可以提升对比度范围，有更好的增强效果，因此，本实施例按照公式(9)对高频信息图像进行去噪：

其中，

为高频信息图像第(j,k)个位置硬阈值去噪后的高频系数，ω_j,k为高频信息图像的原始高频系数，θ为给定阈值，

N为高频信息图像信号的长度，γ为高频信息图像噪声的方差估计；

步骤2-3：工业底片焊缝图像基于X射线成像，照射源基本不变，可以认为光照函数的频谱集中于低频段；由于管道焊缝区、融合区、热影响区之间有密度和厚度的差别，可以认为反射函数集中于高频段，根据公式(4)，将低频信息图像分解为光照函数和反射函数的乘积，如下公式所示：

F_l(x,y)＝L(x,y)·R(x,y) (2)

其中，R(x,y)为反射函数，反映了焊缝缺陷图像的内在属性，需要尽可能将其保留，L(x,y)为光照函数，反映了焊缝缺陷图像的动态范围，需要尽可能将其去除；

所述光照函数使用标准差为25的高斯卷积函数进行估计得到，如下公式所示：

L(x,y)＝G(x,y)*F_l(x,y) (3)

其中，G(x,y)是高斯卷积函数，满足公式(6)：

其中，λ和σ分别为高斯卷积函数的幅值和方差；

Retinex理论采用对数变换分离光照函数和反射函数，但是对于射线底片焊缝缺陷图像来说，全局对数变换会损失部分细节，而这些细节特征对于缺陷检测很重要。因此所述反射函数采用改进的S型函数Seh()来替换对数函数计算得到，如下公式所示：

其中，max为原始焊缝图像中像素点的最大值，原始焊缝图像是8位数据，所以式(7)中像素点最大值max的值选取为2⁸-1，Δ代表输入到S型函数Seh()中的图像，a与b分别为满足0<a<0.1，0<b<10的常数，本实施例通过大量实验发现选取a＝0.05，b＝4对于低对比度区域有较大的动态提升范围；

步骤2-4：将对光照函数的估计，代入式(8)得到原始焊缝缺陷图像的细节增强图像R′(x,y)，如下公式所示：

步骤2-5：对原始焊缝缺陷图像处理后的高频系数

和细节增强图像R′(x,y)进行小波逆变换得到焊缝缺陷增强图像；

步骤3：根据焊缝缺陷数据的特点，采用频域滤波方法对图像进行增强，并与小波去噪图像相融合，对训练数据集中的原始焊缝缺陷图像进行第二种图像预处理，如图3所示，得到融合的焊缝缺陷图像；

步骤3-1：对原始焊缝缺陷图像做对数傅里叶变换，从空间域F(x,y)变换到频率域D(u,v)如下公式所示：

D(u,v)＝DFT[lnF(x,y)]＝l(u,v)+r(u,v) (7)

其中，DFT为傅里叶变换，l(u,v)为频率域的光照函数，r(u,v)为频率域的反射函数，(u,v)表示焊缝缺陷图像在频率域的像素点；

步骤3-2：对数傅里叶变换后焊缝缺陷图像的高频部分与反射分量相对应，低频部分与照射分量相对应，设计如下公式(11)所示的改进的高通滤波器H(u,v)对对数傅里叶变换后频率域的焊缝缺陷图像进行高通滤波，来抑制对数图像傅里叶变换后焊缝缺陷图像的低频分量、扩大高频分量：

其中，γ_L为对数傅里叶变换后焊缝缺陷图像的低频分量，D₀为滤波半径，本实施例中取5，n为高通滤波器的阶数；

步骤3-3：再对频率域焊缝缺陷图像的高频部分进行滤波，进一步提取高通滤波后焊缝缺陷图像的缺陷边缘信息，如下公式所示：

s(u,v)＝[1+m·H(u,v)]·D(u,v) (9)

其中，s(u,v)为对频率域焊缝缺陷图像的高频部分进行滤波后的缺陷焊缝图像，m为一个常数，具体的选则根据评价图像质量的信噪比确定；

本实施例中，作为评价缺陷焊缝图像质量的信噪比计算如下公式所示：

其中，SNR为信噪比，M和N分别为高通滤波后焊缝缺陷图像像素的长度和高度像素个数，g(i,j)和f(i,j)分别为原始焊缝缺陷图像和去噪后焊缝缺陷图像在像素点(i，j)的灰度值，经过实验论证，当参数m＝5时，作为图像质量评价指标的信噪比SNR提升33.8，增强后的图像效果最佳；

步骤3-4：对滤波处理后的焊缝缺陷图像进行傅里叶逆变换，如下公式所示：

S(x,y)＝DFT^-1[s(u,v)]＝l′(x,y)+r′(x,y) (11)

其中，S(x,y)为对滤波处理后的焊缝缺陷图像s(u,v)进行傅里叶逆变换后的缺陷焊缝图像，l′(x,y)和r′(x,y)分别为滤波处理后的空间域光照函数和反射函数；

步骤3-5：对傅里叶逆变换后的焊缝缺陷图像S(x,y)进行指数变换，得到增强的焊缝缺陷图像F₂(x,y)，如下公式所示：

F₂(x,y)＝e^S(x,y)＝e^{l′(x,y)+r′(x,y)}＝l₀(x,y)+r₀(x,y) (12)

其中，l₀(x,y)是增强的焊缝缺陷图像的照射分量，r₀(x,y)是增强的焊缝缺陷图像的反射分量；

步骤3-6：将降噪后的高频信息图像F′_h(x,y)与原始低频信息F_l(x,y)进行小波逆变换实现图像重构，得到重构的缺陷焊缝图像F₁(x,y)，如下公式所示：

其中，ψ_x,y(t)为小波基，t表示时间；

步骤3-7：将重构的焊缝缺陷图像F₁(x,y)与增强的焊缝缺陷图像F₂(x,y)进行像素级的自适应图像融合，得到融合的焊缝缺陷图像F_R(x,y)，如下公式所示：

其中，ω₁为重构的焊缝缺陷图像F₁(x,y)的权重系数，ω₂为增强的焊缝缺陷图像F₂(x,y)的权重系数；由于焊缝缺陷图像多为亮目标暗背景的灰度图像，因此ω₁可以理解为随着灰度值的增加而增加的权重，ω₂可以理解为随着灰度值增加而减小的权重。焊缝图像的直方图分布集中于低灰度值，为了将低灰度范围映射到相对较宽的灰度范围，权重系数ω₁和ω₂通过对数变换进行自适应调整，如下公式所示：

其中，r为指数常数，选取r＝2；

步骤4：将经过步骤2和步骤3预处理后的焊缝缺陷图像均送入到Faster-RCNN检测器中，得到两个焊缝缺陷检测模型，具体方法为：

步骤4-1：将经过步骤2和步骤3预处理过的焊缝缺陷图像进行尺寸裁剪得到统一尺寸，设定图像短边不超过800，长边不超过1000。由于管道焊缝数据图像高度值固定，因此统一对输入图像进裁剪得到800*750的输入尺寸，然后将统一大小后的焊缝缺陷图像均送入Faster-RCNN检测器的深度神经网络，利用深度神经网络的卷积层，激活层和池化层对图像数据进行卷积操作后得到多个60*40的特征图；

步骤4-3：在步骤4-2得到特征图上的每个像素点生成多种不同尺寸的锚框，利用SoftMax函数对每个锚框做二分类，最后输出M个建议检测框作为目标缺陷区域；

本实施例中，根据步骤4-2得到的多个特征图，在每个特征图上面生成多个大小为16x16初始锚框，并定义一个基准锚框；每个初始锚框均对应于特征图上的一个像素点，从特征图映射回原始缺陷焊缝图像时，将基准锚框对应回原始缺陷焊缝图上一个16x16大小的区域，然后将锚框的比例和规模分别设置成(1:2,1:1,2:1)×(1:2,1:1,2:1)共9种不同尺寸，以便可以检测到不同形状的目标。再利用SoftMax函数对每个锚框做二分类，判断锚框所对应图像区域是目标缺陷还是图像背景，最后输出300个建议检测框。

步骤4-4：对M个建议检测框进行目标多分类，预测目标缺陷区域的具体缺陷类型，并计算每个建议检测框的位置用于边框回归定位；

继续用Softmax函数对建议检测框内的特征进行目标多分类，判断目标缺陷的具体缺陷类型；再计算建议检测框的位置用于边框回归定位；其中，用于边框回归的目标函数的输入参数分别是建议检测框的位置中心坐标和建议检测框的宽和高；

步骤4-5：根据步骤4-4所述的目标多分类和边框回归定位两个任务，使目标区域的预测值和真实值差值最小，得到Faster-rcnn检测器的损失函数Loss，如下公式所示：

其中，L_cls()、L_reg()分别为目标多分类与和边框回归定位两个任务的损失函数；p_r和

分别为预测目标的概率和真实标签；t_r＝(t_rx,t_ry,t_rw,t_rh)和

分别为第r个预测框和真实框的4个位置坐标向量，t_rx,t_ry,t_rw,t_rh分别为第r个预测框的位置中心坐标和预测框的宽、高，

分别为第r个真实框的位置中心坐标和真实框的宽、高；

分别为目标多分类与和边框回归定位两个任务的权重系数，具体取值依赖于每一批次进入的训练数据的个数，这里选为了使两个损失任务权重平衡，使用λ调节，λ为平衡参数；

步骤4-6：通过训练数据集中经过两种预处理后的焊缝缺陷图像重复训练Faster-rcnn检测器，直至损失函数达到稳定，得到两个焊缝缺陷检测模型；

步骤5：通过两个焊缝缺陷检测模型对待检测焊缝缺陷图像进行目标缺陷区域的初步检测，并采用迭代检测方法对缺陷进一步检测，得到待检测焊缝缺陷图像的全体目标缺陷区域的集合；

步骤5-1：将待检测缺陷焊缝图像输入两个焊缝缺陷检测模型中，得到并保存焊缝缺陷图像目标区域的两种初步缺陷检测结果；

步骤5-1：使用三次样条插值函数对两个焊缝缺陷检测模型初步检测得到的待检测焊缝缺陷图像目标缺陷区域中的像素点值进行逐行插值消除检测到的缺陷，并分别重构图像；

本实施例中，选取目标缺陷区域第一行n个点的坐标，记为(x₁,y₁,z₁)···(x_n,y_n,z_n)，其中，x_n,y_n,z_n分别为当前缺陷位置第一行第n个点的横坐标、纵坐标和所在位置的像素值，当进行逐行插值时，由于每一行纵坐标值固定，因此按照(x,z)简化得到三次样条插值函数；

步骤5-2：将重构后的两个图像对应输入到两个焊缝缺陷检测模型中进行进一步检测并保存检测结果，再通过三次样条插值函数消除检测到的缺陷后再次分别重构图像；

步骤5-3：重复执行步骤5-2K次，并将K次的检测结果进行合并，得到K次迭代后待检测焊缝缺陷图像的目标缺陷区域的两个集合，如下公式所示：

其中，LOC₁、LOC₂分别为通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的目标缺陷区域的集合，N为输入到两个焊缝缺陷检测模型的待检测焊缝缺陷图像的个数，n′和m′分别为两个焊缝缺陷检测模型对每张图像检测出的目标缺陷区域的个数，j代表迭代检测的次数，F(x_ij)代表数据为第i张图像第j次插值得到的重构图像，H₁()、H₂()分别表示第一种图像预处理方式和第二种图像预处理方式对应的焊缝缺陷检测模型，loc_1ki,soc_1ki分别表示第一种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度，loc_2ki,soc_2ki分别表示第二种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度；

步骤6：将步骤5-3中通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂中的目标缺陷区域进行集合，并去掉重叠区域，得到每种缺陷的精确检测结果；

步骤6-1:将焊缝缺陷类型标号为1、2、…、M，则待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂按照缺陷类别表示为：

将上述两个式子进行集成得到待检测焊缝缺陷图像的全体目标缺陷区域集合：

其中，loc,soc分别表示目标缺陷区域的位置以及位置所对应的置信度；

步骤6-2：根据步骤6-1得到的待检测焊缝缺陷图像目标缺陷区域的集合LOC，依次遍历该集合中的所有目标缺陷区域，选取置信度最大的一个目标缺陷区域作为基准缺陷区域；

步骤6-3：将步骤6-2基准缺陷区域依次与待检测焊缝缺陷图像的全体目标缺陷区域集合中的其他目标缺陷区域进行重复度IOU的比较，如果重复度IOU大于阈值0.5，将该目标缺陷区域删除，反之将其保留，然后按照6-2中步骤对其余的目标缺陷区域进行下一个基准缺陷区域的确定；

本实施例中，两个目标缺陷区域的重复度IOU的计算如下公式所示：

其中，loc₁,soc₁为待检测焊缝缺陷图像的第一个目标缺陷区域的位置和该位置对应的置信度，loc₂,soc₂为待检测焊缝缺陷图像的第二个目标缺陷区域的位置和该位置对应的置信度；

步骤6-4：重复执行步骤6-2-6-3，直到将待检测焊缝缺陷图像的全体目标缺陷区域集合中最后一个目标缺陷区域遍历完毕，得到去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′；

步骤6-5:为每种缺陷类型设置置信度阈值，并将去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′中各目标缺陷区域的置信度值与该缺陷区域所属缺陷类别对应的置信度阈值进行比较，如果小于置信度阈值则去除该目标缺陷区域，否则保留该目标缺陷区域，最后得到焊缝目标缺陷区域集合LOC″；

根据每种缺陷的危害程度不同，为了降低漏检，增加检出，设置每种缺陷类型的置信度阈值，本实施例以圆孔型、长条形、未熔合、未焊透、裂纹、烧穿、内凹这七种类型缺陷为例，置信度阈值分别设置为ω₁,ω₂,ω₃,ω₄,ω₅,ω₆,ω₇，圆孔型、长条形和的缺陷危害相对较轻，为了减少误检，设置这两种缺陷的置信度阈值相对较高ω₁＝ω₂＝0.8，烧穿内凹等中等危害的缺陷置信度阈值设置为ω₃＝ω₄＝0.6，由于未焊透，裂纹，未熔合这两种缺陷的危害严重，因此将其置信度阈值调低，设置为ω₅＝ω₆＝ω₇＝0.4。

步骤7：对待检测的焊缝缺陷图像进行根部未熔合缺陷及夹层未熔合缺陷的检测，完成对焊缝缺陷图像的检测；

步骤7-1：根据已有焊缝缺陷样本数据对焊缝缺陷图像的根部熔合线区域进行标记，并根据步骤4方法，得到熔合线检测模型；

步骤7-2:将待检测的N张焊缝缺陷图像输入到熔合线检测模型，对两条根部熔合线进行定位，得到两条根部熔合线间的区域Ω，如下公式所示：

其中，H(x_i)为熔合线检测模型，F(x_i)输入到熔合线检测模型的第i张的焊缝缺陷图像；

步骤7-3：根据熔合线定位，根部未熔合缺陷区域应该在根部熔合线区域之间，而夹层未熔合区域应该在根部熔合线区域之外，因此，将焊缝目标缺陷区域集合LOC″中所有的未熔合目标缺陷区域逐一与两条根部熔合线间的区域Ω进行比较，若未熔合目标缺陷区域在两条根部熔合线间的区域Ω内，则该未熔合目标缺陷区域为根部未熔合缺陷区域，否则该目标缺陷区域为夹层未熔合缺陷区域，进而得到根部未熔合缺陷区域集合LOC_lfr和夹层未熔合缺陷区域集合LOC_lfI；

最后得到所有焊缝缺陷的精确位置集合

其中，LOC_C为第C种缺陷类型的目标缺陷区域的集合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种射线工业底片焊缝缺陷智能检测方法，其特征在于：包括以下步骤：

步骤1：依据光电技术和数字处理技术将焊缝信息转换成数字信号，由X射线扫描得到原始焊缝缺陷图像，并对原始焊缝缺陷图像数据进行标注制作训练数据集；

步骤2：利用改进的Retinex理论与小波去噪结合的方式对训练数据集中的原始焊缝缺陷图像进行第一种图像预处理，实现对原始焊缝缺陷图像的增强去噪处理，得到增强的焊缝缺陷图像；

步骤3：采用频域滤波方法对图像进行增强，并与小波去噪图像相融合，对训练数据集中的原始焊缝缺陷图像进行第二种图像预处理，得到融合的焊缝缺陷图像；

步骤4：将经过步骤2和步骤3预处理后的焊缝缺陷图像均送入到Faster-RCNN检测器中，得到两个焊缝缺陷检测模型；

步骤5：通过两个焊缝缺陷检测模型对待检测焊缝缺陷图像进行目标缺陷区域的初步检测，并采用迭代检测方法对缺陷进一步检测，得到待检测焊缝缺陷图像的全体目标缺陷区域的集合；

步骤5-1：将待检测缺陷焊缝图像输入两个焊缝缺陷检测模型中，得到并保存焊缝缺陷图像目标区域的两种初步缺陷检测结果；

步骤5-2：使用三次样条插值函数对两个焊缝缺陷检测模型初步检测得到的待检测焊缝缺陷图像目标缺陷区域中的像素点值进行逐行插值消除检测到的缺陷，并分别重构图像；

步骤5-3：将重构后的两个图像对应输入到两个焊缝缺陷检测模型中进行进一步检测并保存检测结果，再通过三次样条插值函数消除检测到的缺陷后再次分别重构图像；

步骤5-4：重复执行步骤5-3K次，并将K次的检测结果进行合并，得到K次迭代后待检测焊缝缺陷图像的目标缺陷区域的两个集合，如下公式所示：

其中，LOC₁、LOC₂分别为通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的目标缺陷区域的集合，N为输入到两个焊缝缺陷检测模型的待检测焊缝缺陷图像的个数，n′和m′分别为两个焊缝缺陷检测模型对每张图像检测出的目标缺陷区域的个数，j代表迭代检测的次数，F(x_ij)代表数据为第i张图像第j次插值得到的重构图像，H₁()、H₂()分别表示第一种图像预处理方式和第二种图像预处理方式对应的焊缝缺陷检测模型，loc_1ki,soc_1ki分别表示第一种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度，loc_2ki,soc_2ki分别表示第二种图像预处理方式对应的焊缝缺陷检测模型及迭代检测所得到的目标缺陷区域的位置和该位置对应的置信度；

步骤6：将步骤5-3中通过两个焊缝缺陷检测模型及迭代检测得到的待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂中的目标缺陷区域进行集成，并去掉重叠区域，得到每种缺陷的精确检测结果；

步骤6-1:将焊缝缺陷类型标号为1、2、…、M，则待检测焊缝缺陷图像的全体目标缺陷区域的集合LOC₁、LOC₂按照缺陷类别表示为：

将上述两个式子进行集成得到待检测焊缝缺陷图像的全体目标缺陷区域集合：

其中，loc,soc分别表示目标缺陷区域的位置以及位置所对应的置信度；

步骤6-2：根据步骤6-1得到的待检测焊缝缺陷图像目标缺陷区域的集合LOC，依次遍历该集合中的所有目标缺陷区域，选取置信度最大的一个目标缺陷区域作为基准缺陷区域；

步骤6-3：将步骤6-2基准缺陷区域依次与待检测焊缝缺陷图像的全体目标缺陷区域集合中的其他目标缺陷区域进行重复度IOU的比较，如果重复度IOU大于阈值0.5，将该目标缺陷区域删除，反之将其保留，然后按照6-2中步骤对其余的目标缺陷区域进行下一个基准缺陷区域的确定；

步骤6-4：重复执行步骤6-2和步骤6-3，直到将待检测焊缝缺陷图像的全体目标缺陷区域集合中最后一个目标缺陷区域遍历完毕，得到去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′；

步骤6-5：为每种缺陷类型设置置信度阈值，并将去除重叠目标缺陷区域后的焊缝目标缺陷区域集合LOC′中各目标缺陷区域的置信度值与该缺陷区域所属缺陷类别对应的置信度阈值进行比较，如果小于置信度阈值则去除该目标缺陷区域，否则保留该目标缺陷区域，最后得到焊缝目标缺陷区域集合LOC″；

步骤7：对待检测的焊缝缺陷图像进行根部未熔合缺陷及夹层未熔合缺陷的检测，完成对焊缝缺陷图像的检测；

步骤7-1：根据已有焊缝缺陷样本数据对焊缝缺陷图像的根部熔合线区域进行标记，并根据步骤4方法，得到熔合线检测模型；

步骤7-2:将待检测的N张焊缝缺陷图像输入到熔合线检测模型，对两条根部熔合线进行定位，得到两条根部熔合线间的区域Ω，如下公式所示：

其中，H(x_i)为熔合线检测模型，F(x_i)输入到熔合线检测模型的第i张的焊缝缺陷图像；

步骤7-3：将焊缝目标缺陷区域集合LOC″中所有的未熔合目标缺陷区域逐一与两条根部熔合线间的区域Ω进行比较，若未熔合目标缺陷区域在两条根部熔合线间的区域Ω内，则该未熔合目标缺陷区域为根部未熔合缺陷区域，否则该区域为夹层未熔合缺陷区域，进而得到根部未熔合缺陷区域集合LOC_lfr和夹层未熔合缺陷区域集合LOC_lfi；

最后得到所有焊缝缺陷的精确位置集合

其中，LOC_C为第C种缺陷类型的最终目标缺陷区域的集合。

2.根据权利要求1所述的一种射线工业底片焊缝缺陷智能检测方法，其特征在于：所述步骤2的具体方法为：

步骤2-1：使用小波变换对原始焊缝缺陷图像F(x,y)进行二维小波分解，得到低频信息图像F_l(x,y)和高频信息图像F_h(x,y)，其中，(x,y)为图像的像素点坐标；

步骤2-2：对高频信息图像采用小波阈值去噪的方法进行降噪处理，得到降噪后的高频信息图像F′_h(x,y)；

步骤2-3：将低频信息图像分解为光照函数和反射函数的乘积，如下公式所示：

F_l(x,y)＝L(x,y)·R(x,y) (7)

其中，R(x,y)为反射函数，L(x,y)为光照函数；

所述光照函数使用高斯卷积函数进行估计得到，如下公式所示：

L(x,y)＝G(x,y)*F_l(x,y) (8)

其中，G(x,y)是高斯卷积函数；

所述反射函数采用改进的S型函数Seh()来替换对数函数计算得到，如下公式所示：

其中，max为原始焊缝图像中像素点的最大值，Δ代表输入到S型函数Seh()中的图像，a与b分别为满足0<a<0.1，0<b<10的常数；

步骤2-4：将对光照函数的估计，代入式(8)得到原始焊缝缺陷图像的细节增强图像R′(x,y)，如下公式所示：

步骤2-5：对原始焊缝缺陷图像处理后的高频系数

和细节增强图像R′(x,y)进行小波逆变换得到焊缝缺陷增强图像。

3.根据权利要求2所述的一种射线工业底片焊缝缺陷智能检测方法，其特征在于：所述步骤3的具体方法为：

步骤3-1：对原始焊缝缺陷图像做对数傅里叶变换，从空间域F(x,y)变换到频率域D(u,v)如下公式所示：

D(u,v)＝DFT[lnF(x,y)]＝l(u,v)+r(u,v) (11)

其中，DFT为傅里叶变换，l(u,v)为频率域的光照函数，r(u,v)为频率域的反射函数，(u,v)表示焊缝缺陷图像在频率域的像素点；

步骤3-2：设计如下公式(6)所示的改进的高通滤波器H(u,v)对对数傅里叶变换后频率域的焊缝缺陷图像进行高通滤波：

其中，γ_L为对数傅里叶变换后焊缝缺陷图像的低频分量，D₀为滤波半径，n为高通滤波器的阶数；

步骤3-3：再对频率域焊缝缺陷图像的高频部分进行滤波，进一步提取高通滤波后焊缝缺陷图像的缺陷边缘信息，如下公式所示：

s(u,v)＝[1+m·H(u,v)]·D(u,v) (13)

其中，s(u,v)为对频率域焊缝缺陷图像的高频部分进行滤波后的缺陷焊缝图像，m为一个常数，具体的选则根据评价图像质量的信噪比确定；

步骤3-4：对滤波处理后的焊缝缺陷图像进行傅里叶逆变换，如下公式所示：

S(x,y)＝DFT^-1[s(u,v)]＝l′(x,y)+r′(x,y) (14)

其中，S(x,y)为对滤波处理后的焊缝缺陷图像s(u,v)进行傅里叶逆变换后的缺陷焊缝图像，l′(x,y)和r′(x,y)分别为滤波处理后的空间域光照函数和反射函数；

步骤3-5：对傅里叶逆变换后的焊缝缺陷图像S(x,y)进行指数变换，得到增强的焊缝缺陷图像F₂(x,y)，如下公式所示：

F₂(x,y)＝e^S(x,y)＝e^{l′(x,y)+r′(x,y)}＝l₀(x,y)+r₀(x,y) (15)

其中，l₀(x,y)是增强的焊缝缺陷图像的照射分量，r₀(x,y)是增强的焊缝缺陷图像的反射分量；

步骤3-6：将降噪后的高频信息图像F′_h(x,y)与原始低频信息F_l(x,y)进行小波逆变换实现图像重构，得到重构的缺陷焊缝图像F₁(x,y)，如下公式所示：

其中，ψ_x,y(t)为小波基，t表示时间；

步骤3-7：将重构的焊缝缺陷图像F₁(x,y)与增强的焊缝缺陷图像F₂(x,y)进行像素级的自适应图像融合，得到融合的焊缝缺陷图像F_R(x,y)，如下公式所示：

其中，ω₁为重构的焊缝缺陷图像F₁(x,y)的权重系数，ω₂为增强的焊缝缺陷图像F₂(x,y)的权重系数；权重系数ω₁和ω₂通过对数变换进行自适应调整，如下公式所示：

其中，r为指数常数。

4.根据权利要求3所述的一种射线工业底片焊缝缺陷智能检测方法，其特征在于：所述步骤4的具体方法为：

步骤4-1：将经过步骤2和步骤3预处理过的焊缝缺陷图像进行尺寸裁剪得到统一尺寸，然后将统一大小后的焊缝缺陷图像均送入Faster-RCNN检测器的深度神经网络，利用深度神经网络的卷积层，激活层和池化层对图像数据进行卷积操作后得到多个特征图；

步骤4-3：在步骤4-2得到特征图上的每个像素点生成多种不同尺寸的锚框，利用SoftMax函数对每个锚框做二分类，最后输出M个建议检测框作为目标缺陷区域；

步骤4-4：对M个建议检测框进行目标多分类，预测目标缺陷区域的具体缺陷类型，并计算每个建议检测框的位置用于边框回归定位；

继续用Softmax函数对建议检测框内的特征进行目标多分类，判断目标缺陷的具体缺陷类型；再计算建议检测框的位置用于边框回归定位；其中，用于边框回归的目标函数的输入参数分别是建议检测框的位置中心坐标和建议检测框的宽和高；

步骤4-5：根据步骤4-4所述的目标多分类和边框回归定位两个任务，使目标区域的预测值和真实值差值最小，得到Faster-RCNN检测器的损失函数Loss，如下公式所示：

其中，L_cls()、L_reg()分别为目标多分类与和边框回归定位两个任务的损失函数；p_r和

分别为预测目标的概率和真实标签；t_r＝(t_rx,t_ry,t_rw,t_rh)和

分别为第r个预测框和真实框的4个位置坐标向量，t_rx,t_ry,t_rw,t_rh分别为第r个预测框的位置中心坐标和预测框的宽、高，

分别为第r个真实框的位置中心坐标和真实框的宽、高；

分别为目标多分类与和边框回归定位两个任务的权重系数，λ为平衡参数；

步骤4-6：通过训练数据集中经过两种预处理后的焊缝缺陷图像重复训练Faster-RCNN检测器，直至损失函数达到稳定，得到两个焊缝缺陷检测模型。

Images