CN102565103A - 一种基于x射线图像的焊缝缺陷跟踪检测方法 - Google Patents

Abstract

本发明涉及一种基于X射线图像的焊缝缺陷跟踪检测方法，它包括以下步骤：1)采用X射线实时成像器件采集焊接工件焊缝区域的实时图像，在所采集的每一帧实时图像获取ROI图像序列；2)采用单帧图像焊缝缺陷分割算法对ROI图像序列逐帧进行处理，计算每一潜在缺陷重心或形心坐标；3)对连续2N+1帧ROI图像的潜在缺陷进行配对，计算每一潜在缺陷对运动速度，得到速度直方图；4)对所有潜在缺陷对进行分组，统计每组中潜在缺陷数量，如果某组潜在缺陷数量超过阈值，则判断该组中所有潜在缺陷为同一真实缺陷；5)剔除步骤3)中第1帧ROI图像，增加一帧ROI图像，得到新的连续2N+1帧ROI图像中潜在缺陷相关的“潜在缺陷对”速度直方图，进行新的潜在缺陷跟踪。本发明可以广泛应用于运动速度未知焊接工件的缺陷自动检测中。

Description

一种基于X射线图像的焊缝缺陷跟踪检测方法

技术领域

本发明涉及一种焊缝缺陷跟踪检测方法，特别是关于一种基于X射线图像的焊缝缺陷跟踪检测方法。

背景技术

基于X射线图像的焊缝缺陷自动检测方法是指利用X射线实时成像器件对焊接工件的焊缝区域进行实时成像并传输到计算机，通过计算机进行缺陷自动检测并报警显示，其优点是可以实现在线连续检测，提高自动化水平和生产效率，不仅避免人工检测存在的劳动强度大的问题，同时也避免了由于视觉疲劳和情绪波动而产生的漏检问题。目前所提出的基于X射线图像的焊缝缺陷自动检测方法主要针对单帧图像进行处理，对于焊缝的X射线实时图像，由于其成像时间短，图像噪声相对较大，在单帧图像中很难区分噪声引起的伪缺陷与弱小缺陷，因此迫切需要提出能够有效利用实时图像间的关联信息进行缺陷检测的方法。

现有技术中已有利用缺陷在图像序列之间的连续性来提高缺陷检出效果的方法，其提出了采用不同角度拍摄待检测工件的X射线图像序列，利用已知的拍摄角度得到的各种几何关系来进行约束实现对潜在缺陷的匹配，从而实现对缺陷的跟踪，此方法需要预先知道成像位置关系，因此并不适合于工件运动速度未知的缺陷跟踪。现有技术中也提出了利用相位相关技术实现对焊缝X射线实时图像序列相邻图像的匹配，从而为利用图像序列信息进行时空率滤波，运动模糊恢复，以及缺陷跟踪提供了基础，但一方面由于该算法多次用到傅里叶变换，其实时性相对较差，另一方面需要利用焊缝边缘方向的不相似性进行匹配，如果焊缝图像噪声较大且焊缝边缘方向较为相似时，容易匹配失败。

发明内容

针对上述问题，本发明的目的是提供一种对焊缝缺陷的漏检率及误检率都比较低、实时性好、适用于对运动速度未知的焊接工件的焊缝缺陷进行识别的基于X射线图像的焊缝缺陷跟踪检测方法。

为实现上述目的，本发明采取以下技术方案：1、一种基于X射线图像的焊缝缺陷跟踪检测方法，它包括以下步骤：1)采用X射线实时成像器件连续采集焊接工件焊缝区域的实时图像，在所采集的每一帧实时图像上根据焊缝区域选取ROI图像，获取ROI图像序列；2)采用单帧图像焊缝缺陷分割算法对ROI图像序列逐帧进行处理，分割出每帧ROI图像的潜在缺陷，并计算每一潜在缺陷重心或形心的坐标；3)对连续2N+1帧ROI图像中的潜在缺陷进行两两配对，并计算每一潜在缺陷对的水平投影速度，统计所有潜在缺陷对在各水平投影速度出现的次数，得到“潜在缺陷对”速度直方图；4)根据步骤3)的速度直方图对所有潜在缺陷对进行分组，统计每组中潜在缺陷的数量，如果某组潜在缺陷数量超过阈值T_N，则判断该组中所有潜在缺陷为同一真实缺陷，实现对真实缺陷运动速度的估计及跟踪；5)在步骤3)所得到的速度直方图中，剔除步骤3)中连续2N+1帧ROI图像中的与第1帧ROI图像上潜在缺陷相关的水平投影速度统计，增加与第2N+2帧ROI图像上潜在缺陷相关的水平投影速度统计，得到新的连续2N+1帧ROI图像中潜在缺陷对的速度直方图，然后重复步骤4)，直至完成所有ROI图像的处理。

所述X射线实时成像器件包括一设置在所述焊接工件内部的X射线源，所述X射线源发出X射线透过所述焊接工件照射到设置在所述焊接工件焊缝上端的图像增强器，所述图像增强器将X射线图像转化为可见光图像并在其输出端显示，设置在所述图像增强器输出端上端的CCD摄像机采集所述可见光图像并发送给计算机。

所述X射线实时成像器件包括一设置在所述焊接工件内部的X射线源，所述X射线源发出X射线透过所述焊接工件照射到设置在所述焊接工件焊缝上端的平板探测器，所述平板探测器将X射线图像转化为数字图像并发送给计算机。

所述步骤3)对连续2N+1帧ROI图像中的潜在缺陷进行两两配对，并计算每一潜在缺陷对的水平投影速度，具体计算过程为：对于任意一对不在同一帧ROI图像上的潜在缺陷n₁＜n₂进行配对，如果潜在缺陷对同时满足以下公式(1)和公式(2)，则按照公式(3)计算此潜在缺陷对所对应的水平投影速度

dN_min≤n₂-n₁≤dN_max                (1)

$\mathrm{Abs}(Y_{n_2{q}_2}-Y_{n_1{q}_1})\≤T_{\mathrm{dY}}---\left(2\right)$

$V_{n_1{q}_1{n}_2{q}_2}=\mathrm{Round}\left((X_{n_2{q}_2}-X_{n_1{q}_1})/\left(n_2-n_1\right)\right)---\left(3\right)$

上述公式中，[dN_min，dN_max]为“潜在缺陷对”在ROI图像序列之间的间隔范围，

为求

的绝对值，T_dY为“潜在缺陷对”之间的坐标Y_nq的波动范围阈值，Round()表示四舍五入，

表示第n₁帧ROI图像中的第q₁个潜在缺陷，表示第n₂帧ROI图像中的第q₂个潜在缺陷。

所述步骤4)的具体过程为：设定真实缺陷速度范围的宽度Vwidth，对于每个潜在缺陷对的水平投影速度V，将速度直方图中[V，V+Vwidth-1]范围内的纵坐标累积值的和作为V对应的新速度直方图中纵坐标值HistVNew(V)，按照如下公式计算新的速度直方图纵坐标值HistNew(V)：

搜索新速度直方图HistNew(V)纵坐标最大值及对应横坐标的速度值，设纵坐标最大值对应的速度值为V_t，则真实缺陷的速度在[V_min，V_max]内，其中V_min＝V_t、V_max＝V_t+Vwidth-1，对于速度直方图中的每个潜在缺陷对

如果其对应的水平投影速度满足

则将这对潜在缺陷分为同一组，表示这对潜在缺陷可能为同一真实缺陷，处理完所有潜在缺陷对并依照潜在缺陷的对应关系完成分组后，统计每组中潜在缺陷的数量，如果某一组中潜在缺陷数量超过阈值T_N＝N，判断该组中所有潜在缺陷为同一真实缺陷，并报警显示，其中，

表示第n₁帧ROI图像中的第q₁个潜在缺陷，

表示第n₂帧ROI图像中的第q₂个潜在缺陷。

本发明由于采取以上技术方案，其具有以下优点：1、本发明充分利用ROI图像序列中缺陷的连续性，有效排除噪声引起的误检，因此与单幅图像缺陷分割算法配合使用时，可以通过降低缺陷分割算法的阈值来保证缺陷的检出，而由此引起的噪声误检则可以通过分析潜在缺陷对的速度直方图，实现对真实缺陷运动速度的估计及跟踪，将不能被跟踪的潜在缺陷剔除。2、本发明由于只需利用缺陷的位置信息，而不需要对缺陷进行匹配，与现有技术中利用多帧图像实现缺陷检测的技术相比，能够避免误检的同时，有效检出低对比度弱小缺陷，处理效率非常高，实时性好。本发明可以广泛应用于各种焊接工件缺陷的自动检测中。

附图说明

图1是本发明结构示意图；

图2是本发明速度直方图示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明以X射线实时成像钢管焊缝缺陷的自动检测为实施例，说明基于X射线图像的焊缝缺陷跟踪检测方法的具体实施过程，其包括以下步骤：

1)采用X射线实时成像器件连续等时间间隔采集钢管焊缝区域的实时图像，在所采集的每一帧实时图像上根据钢管的焊缝区域选取ROI图像(Region Of Interest，感兴趣区域)，获取ROI图像序列。

获取ROI图像序列的方法：以每一帧实时图像的中心作为选取每一帧ROI图像的中心，每一帧ROI图像的大小要求覆盖钢管的焊缝，在连续等时间间隔采集的每一帧实时图像均选取一ROI图像构成ROI图像序列。为了方便后续图像处理，要求每一帧ROI图像中的焊缝及其运动方向与图像本身保持接近水平位置关系，一般在0～45°范围内，因此选取ROI图像时需要根据焊缝与水平方向的夹角进行选取，如果焊缝与水平方向的夹角为β，则选取ROI图像的方向与水平方向的夹角也要为β，本发明实施例中ROI图像的宽度为300，高度为450，与水平方向的夹角为45度，实际应用中由于焊缝是运动的，焊缝与水平方向的夹角可能会有变化，设变化范围为[β₁，β₂]，则选取ROI图像时与水平的夹角为[β₁+β₂]/2。

其中，X射线实时成像器件可以采用“图像增强器+CCD摄像机”的方式完成钢管焊缝区域的实时图像采集，它包括一设置在钢管内部的X射线源，X射线源发出X射线透过钢管照射到设置在钢管焊缝上端的图像增强器，图像增强器将X射线图像转化为可见光图像并在其输出端显示，设置在图像增强器输出端上端的CCD摄像机采集图像增强器输出端显示的可见光图像，并通过数据线和图像采集卡将可见光图像传送给计算机。

X射线实时成像器件还可以采用平板探测器完成钢管焊缝区域的实时图像采集，它包括一设置在钢管内部的X射线源，X射线源发出X射线透过钢管照射到设置在钢管焊缝上端的平板探测器，平板探测器将X射线图像转化为数字图像，并通过数据线和图像采集卡将数字图像传送给计算机。

2)采用单帧图像焊缝缺陷分割算法对ROI图像序列逐帧进行处理，分割出每帧ROI图像的潜在缺陷，并计算每一潜在缺陷的重心或形心坐标。

①焊缝缺陷预分割

本发明首先采用现有的波形分析法检测出每一帧ROI图像即每一焊缝的上下边缘，将每一焊缝的上下边缘分别表示为：mUp和mDown，然后在每一焊缝上下边缘之间的焊缝区域内采用大模板均值滤波背景消除法和列波形分析法结合实现对焊缝缺陷的分割，将焊缝缺陷分割的结果称为潜在缺陷，将所有的潜在缺陷从左到右依次排序，利用P_nq表示第n帧ROI图像中的第q个潜在缺陷。

②计算每一潜在缺陷的重心或形心坐标，如表1所示

计算每一帧ROI图像中每一个潜在缺陷重心或形心的相对坐标(X_nq，Y_nq)，计算公式为：

$X_{\mathrm{nq}}=\mathrm{Round}\left(\frac{\mathrm{Sum}(i*\mathrm{mSub}(i,j))}{\mathrm{Sum}\left(\mathrm{mSub}(i,j)\right)}\right),(\∀\mathrm{pixel}(i,j)\∈P_{\mathrm{nq}})---\left(1\right)$

$Y_{\mathrm{nq}}=\mathrm{Round}\left(\frac{\mathrm{Sum}((j-\mathrm{mWeldMid}\left(j\right))*\mathrm{mSub}(i,j))}{\mathrm{Sum}\left(\mathrm{mSub}(i,j)\right)}\right),(\∀\mathrm{pixel}(i,j)\∈P_{\mathrm{nq}})---\left(2\right)$

上述公式中，mWeldMid＝(mUp+mDown)/2为焊缝中心线的位置，Sum表示求和运算，mSub(i，j)为背景消除后图像即采用大模板均值滤波背景消除法将背景消除后的图像，pixel(i，j)表示ROI图像中第j列第i行的像素，Round()表示四舍五入。

表1

3)对连续2N+1帧ROI图像中的潜在缺陷按照一定规律进行两两配对，并计算每一潜在缺陷对的水平投影速度，统计所有潜在缺陷对在各水平投影速度出现的次数，得到“潜在缺陷对”速度直方图

对于任意一对不在同一帧ROI图像上的潜在缺陷

(n₁＜n₂)进行配对，如果两个潜在缺陷同时满足以下公式(3)和公式(4)，则按照公式(5)计算此潜在缺陷对所对应的水平投影速度

dN_min≤n₂-n₁≤dN_max                (3)

$\mathrm{Abs}(Y_{n_2{q}_2}-Y_{n_1{q}_1})\≤T_{\mathrm{dY}}---\left(4\right)$

$V_{n_1{q}_1{n}_2{q}_2}=\mathrm{Round}\left((X_{n_2{q}_2}-X_{n_1{q}_1})/\left(n_2-n_1\right)\right)---\left(5\right)$

上述公式中，[dN_min，dN_max]为“潜在缺陷对”在ROI图像序列之间的间隔范围，

为求

的绝对值，T_dY为“潜在缺陷对”纵坐标Y_nq的波动范围阈值即同一真实缺陷Y_nq值的最大可能偏差，Round()表示四舍五入。

按照上述公式(5)计算所有“潜在缺陷对”对应的水平投影速度，对所有潜在缺陷对的水平投影速度出现的次数进行直方图统计，将该直方图称为“潜在缺陷对”速度直方图，简称为速度直方图Hist(V)。

如图2所示，本发明以连续的2N+1帧ROI图像为实施例对所有“潜在缺陷对”对应的水平投影速度进行统计，取N＝5，T_dY＝3，dN_min＝2，dN_max＝4，得到“潜在缺陷对”速度直方图。

4)分析潜在缺陷对的速度直方图，根据步骤3)的速度直方图对所有潜在缺陷对进行分组，统计每组中潜在缺陷的数量，如果某组潜在缺陷数量超过阈值，则判断该组中所有潜在缺陷为同一真实缺陷，实现对真实缺陷运动速度的估计及跟踪。

根据钢管的实际运动情况，设定真实缺陷速度范围的宽度Vwidth，对于每个潜在缺陷对的水平投影速度V(即速度直方图横坐标)，将速度直方图中[V，V+Vwidth-1]范围内速度直方图纵坐标累积值的和作为V对应的新的速度直方图纵坐标HistVNew(V)，即按照如下公式(6)计算新的速度直方图统计值HistNew(V)；

$\mathrm{HistVNew}\left(V\right)=\underset{i=V}{\overset{V+\mathrm{Vwidth}-1}{\mathrm{\Σ}}}\mathrm{HistV}\left(i\right)---\left(6\right)$

搜索新的速度直方图HistNew(V)纵坐标的最大值及对应的横坐标的速度值，设纵坐标最大值对应的速度值为V_t，则真实缺陷的速度可能在[V_min，V_max]内，其中V_min＝V_t、V_max＝V_t+Vwidth-1；对于步骤3)中满足公式(3)和(4)的每个潜在缺陷对

如果其对应的水平投影速度

满足

则将这对潜在缺陷分为同一组，表示这对潜在缺陷可能为同一真实缺陷。处理完所有潜在缺陷对并依照潜在缺陷的对应关系完成分组后，统计每组中潜在缺陷的数量，如果某一组中潜在缺陷的数量超过阈值T_N，判断该组中所有潜在缺陷为同一真实缺陷，并报警显示。阈值T_N的确定依据所选取的ROI图形的数量确定，若连续选取2N+1帧ROI图像进行处理，则阈值T_N＝N，假设N＝5，Vwidth＝2，通过对新速度直方图进行分析得到V_min＝-12、V_max＝-11，计算得到满足

且满足公式(3)、(4)的“潜在缺陷对”有22对，如下表2所示，其中D(n，q)表示第n帧ROI图像上的第q个潜在缺陷。根据表2中潜在缺陷的对应关系进行分组，可得到2组潜在缺陷，如表3所示，其中只有[D(6，1)D(10，2)]这对潜在缺陷与其它潜在缺陷无相互对应关系单独分成一组，其它相互之间存在对应关系的分成一组，组1的缺陷数量超过T_N＝5，因此判断组1中的所有潜在缺陷为同一真实缺陷，并进行显示与报警。

表2

表3

5)在步骤3)所得到的速度直方图中，剔除步骤3)中连续2N+1帧ROI图像中与第1帧ROI图像上的潜在缺陷相关的水平投影速度统计，增加与第2N+2帧ROI图像上的潜在缺陷相关的水平投影速度统计，得到新的连续2N+1帧ROI图像中潜在缺陷对速度直方图，然后返回步骤4)进行新的潜在缺陷跟踪直至完成所有ROI图像的处理。

综上所述，本发明充分利用了X射线实时检测时焊缝缺陷呈现有规律的运动轨迹而噪声引起的伪缺陷则随机出现的特点，不仅仅适用于钢管焊缝缺陷的自动检测，也同样适用于其它焊接工件焊缝的自动检测，能够有效实现焊缝缺陷的跟踪，提高缺陷检出的可靠性，避免噪声引起的误检。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和实施方法的步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (6)

1.一种基于X射线图像的焊缝缺陷跟踪检测方法，它包括以下步骤：

1)采用X射线实时成像器件连续采集焊接工件焊缝区域的实时图像，在所采集的每一帧实时图像上根据焊缝区域选取ROI图像，获取ROI图像序列；

2)采用单帧图像焊缝缺陷分割算法对ROI图像序列逐帧进行处理，分割出每帧ROI图像的潜在缺陷，并计算每一潜在缺陷重心或形心的坐标；

3)对连续2N+1帧ROI图像中的潜在缺陷进行两两配对，并计算每一潜在缺陷对的水平投影速度，统计所有潜在缺陷对在各水平投影速度出现的次数，得到“潜在缺陷对”速度直方图；

4)根据步骤3)的速度直方图对所有潜在缺陷对进行分组，统计每组中潜在缺陷的数量，如果某组潜在缺陷数量超过阈值T_N，则判断该组中所有潜在缺陷为同一真实缺陷，实现对真实缺陷运动速度的估计及跟踪；

5)在步骤3)所得到的速度直方图中，剔除步骤3)中连续2N+1帧ROI图像中的与第1帧ROI图像上潜在缺陷相关的水平投影速度统计，增加与第2N+2帧ROI图像上潜在缺陷相关的水平投影速度统计，得到新的连续2N+1帧ROI图像中潜在缺陷对的速度直方图，然后重复步骤4)，直至完成所有ROI图像的处理。

2.如权利要求1所述的一种基于X射线图像的焊缝缺陷跟踪检测方法，其特征在于：所述X射线实时成像器件包括一设置在所述焊接工件内部的X射线源，所述X射线源发出X射线透过所述焊接工件照射到设置在所述焊接工件焊缝上端的图像增强器，所述图像增强器将X射线图像转化为可见光图像并在其输出端显示，设置在所述图像增强器输出端上端的CCD摄像机采集所述可见光图像并发送给计算机。

3.如权利要求1所述的一种基于X射线图像的焊缝缺陷跟踪检测方法，其特征在于：所述X射线实时成像器件包括一设置在所述焊接工件内部的X射线源，所述X射线源发出X射线透过所述焊接工件照射到设置在所述焊接工件焊缝上端的平板探测器，所述平板探测器将X射线图像转化为数字图像并发送给计算机。

4.如权利要求1或2或3所述的一种基于X射线图像的焊缝缺陷跟踪检测方法，其特征在于：所述步骤3)对连续2N+1帧ROI图像中的潜在缺陷进行两两配对，并计算每一潜在缺陷对的水平投影速度，具体计算过程为：对于任意一对不在同一帧ROI图像上的潜在缺陷

n₁＜n₂进行配对，如果潜在缺陷对同时满足以下公式(1)和公式(2)，则按照公式(3)计算此潜在缺陷对所对应的水平投影速度

dN_min≤n₂-n₁≤dN_max                            (1)

$\mathrm{Abs}(Y_{n_2{q}_2}-Y_{n_1{q}_1})\≤T_{\mathrm{dY}}---\left(2\right)$

$V_{n_1{q}_1{n}_2{q}_2}=\mathrm{Round}\left((X_{n_2{q}_2}-X_{n_1{q}_1})/\left(n_2-n_1\right)\right)---\left(3\right)$

上述公式中，[dN_min，dN_max]为“潜在缺陷对”在ROI图像序列之间的间隔范围，

为求

的绝对值，T_dY为“潜在缺陷对”之间的坐标Y_nq的波动范围阈值，Round()表示四舍五入，

表示第n₁帧ROI图像中的第q₁个潜在缺陷，表示第n₂帧ROI图像中的第q₂个潜在缺陷。

5.如权利要求1或2或3所述的一种基于X射线图像的焊缝缺陷跟踪检测方法，其特征在于：所述步骤4)的具体过程为：设定真实缺陷速度范围的宽度Vwidth，对于每个潜在缺陷对的水平投影速度V，将速度直方图中[V，V+Vwidth-1]范围内的纵坐标累积值的和作为V对应的新速度直方图中纵坐标值HistVNew(V)，按照如下公式计算新的速度直方图纵坐标值HistNew(V)：

$\mathrm{HistVNew}\left(V\right)=\underset{i=V}{\overset{V+\mathrm{Vwidth}-1}{\mathrm{\Σ}}}\mathrm{HistV}\left(i\right)$

搜索新速度直方图HistNew(V)纵坐标最大值及对应横坐标的速度值，设纵坐标最大值对应的速度值为V_t，则真实缺陷的速度在[V_min，V_max]内，其中V_min＝V_t、V_max＝V_t+Vwidth-1，对于速度直方图中的每个潜在缺陷对

如果其对应的水平投影速度满足

则将这对潜在缺陷分为同一组，表示这对潜在缺陷可能为同一真实缺陷，处理完所有潜在缺陷对并依照潜在缺陷的对应关系完成分组后，统计每组中潜在缺陷的数量，如果某一组中潜在缺陷数量超过阈值T_N＝N，判断该组中所有潜在缺陷为同一真实缺陷，并报警显示，其中，

表示第n₁帧ROI图像中的第q₁个潜在缺陷，

表示第n₂帧ROI图像中的第q₂个潜在缺陷。

6.如权利要求4所述的一种基于X射线图像的焊缝缺陷跟踪检测方法，其特征在于：所述步骤4)的具体过程为：设定真实缺陷速度范围的宽度Vwidth，对于每个潜在缺陷对的水平投影速度V，将速度直方图中[V，V+Vwidth-1]范围内的纵坐标累积值的和作为V对应的新速度直方图中纵坐标值HistVNew(V)，按照如下公式计算新的速度直方图纵坐标值HistNew(V)：

$\mathrm{HistVNew}\left(V\right)=\underset{i=V}{\overset{V+\mathrm{Vwidth}-1}{\mathrm{\Σ}}}\mathrm{HistV}\left(i\right)$

搜索新速度直方图HistNew(V)纵坐标最大值及对应横坐标的速度值，设纵坐标最大值对应的速度值为V_t，则真实缺陷的速度在[V_min，V_max]内，其中V_min＝V_t、V_max＝V_t+Vwidth-1，对于速度直方图中的每个潜在缺陷对

如果其对应的水平投影速度

满足

则将这对潜在缺陷分为同一组，表示这对潜在缺陷可能为同一真实缺陷，处理完所有潜在缺陷对并依照潜在缺陷的对应关系完成分组后，统计每组中潜在缺陷的数量，如果某一组中潜在缺陷数量超过阈值T_N＝N，判断该组中所有潜在缺陷为同一真实缺陷，并报警显示，其中，表示第n₁帧ROI图像中的第q₁个潜在缺陷，

表示第n₂帧ROI图像中的第q₂个潜在缺陷。

Images