CN113421304A - 一种工业射线底片图像焊道区域智能定位方法 - Google Patents
一种工业射线底片图像焊道区域智能定位方法 Download PDFInfo
- Publication number
- CN113421304A CN113421304A CN202110688156.3A CN202110688156A CN113421304A CN 113421304 A CN113421304 A CN 113421304A CN 202110688156 A CN202110688156 A CN 202110688156A CN 113421304 A CN113421304 A CN 113421304A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- box
- weld bead
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011324 bead Substances 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003466 welding Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像滤波和人工智能技术领域，具体是一种工业射线底片图像焊道区域智能定位方法，首先利用传统图像滤波方式使工业射线底片的焊道熔合线显著化，然后利用深度学习技术实现焊道的定位，最后根据检测结果进行校正，通过后处理环节使检测结果与真实焊道有更高的拟合度。本发明提出了一种适用于工业射线底片焊道熔合线显著化的图像滤波方法，更加有利于深度神经网络学习到焊道熔合线的特征。搭建深度神经网络解决工业射线底片焊道识别在传统图像分割上的瓶颈问题。引入交叠比例α保证底片细节信息的完整性。采用连通域连接、连通域选取、异常点剔除等手段完成对焊道定位的修正后处理环节。
Description
技术领域
本发明涉及图像滤波和人工智能技术领域，具体是一种工业射线底片图像焊道区域智能定位方法。
背景技术
油气管道作为国家的特殊重要设施，一旦发生事故，往往造成严重后果，不仅会造成油气运输间断，影响人们生活，由于运输物质的特殊性，往往还会造成严重的环境污染，并伴随重大经济损失。管道运营商应对管道焊缝处进行周期性X射线检测，这样不仅可以建立管道焊缝的基本资料，而且可以为全面掌控管道提供数据保障，是对缺陷监控的重要手段。
射线图像在成像过程中，由于被测管道焊缝结构的复杂性和焊道不同位置的焊接工艺对X射线吸收的差异性，在成像过程中受到X射线的量子噪声、散射现象的影响以及焊缝检测射线图像在成像系统中的相互迭加，这一系列不利因素使得管道焊缝X射线图像特点不同于一般图像，工业射线检测形成的图像含有大量的背景噪声，目标和背景的空间对比度及细节对比度较差，图像模糊，视觉效果差，图像质量下降，这给管道焊缝缺陷检测以及焊缝图像分析造成了困难。工业射线检测最重要的步骤就是通过分析射线图像得到工件结构质量的好坏，射线图像中的细节信息对于诊断分析工件细节缺陷具有十分重要的作用。然而仅仅使用传统图像处理手段定位焊道存在以下问题：
(1)传统图像处理算法本身理解难度较大且调参复杂，不利于初学者进行研究。
(2)由于焊接工艺的复杂性和多样性，很难找到一种通用的传统图像处理方式对焊道进行定位。
(3)焊道熔合线的特征是人为设定的，当工业射线底片存在较大的噪声干扰时，需要利用主观特性进行修正。
如今，人工智能技术在计算机视觉领域取得了突破性进展，深度学习在这其中发挥着关键作用。在工业射线底片的特征多样化、背景噪声大和目标区域不清晰的复杂背景下，单独使用深度学习技术也无法取得理想的焊道区域定位结果。
发明内容
为解决上述技术问题，本发明提供了一种工业射线底片图像焊道区域智能定位方法，提出一种基于传统图像滤波手段并借助深度神经网络对工业射线底片焊道定位的方法，解决了工业射线底片焊道定位的技术性难题。
具体技术方案如下：
一种工业射线底片图像焊道区域智能定位方法，首先利用传统图像滤波方式使工业射线底片的焊道熔合线显著化，然后利用深度学习技术实现焊道的定位，最后根据检测结果进行校正，通过后处理环节使检测结果与真实焊道有更高的拟合度，具体包括如下步骤：
步骤一：依据光电技术和数字处理技术将焊缝信息转换成数字信号，由X射线扫描得到原始管道焊缝图像；
步骤二：对原始管道焊缝图像数据进行裁剪，通过图像滤波处理使工业射线底片焊道熔合线显著化；
步骤三：对处理后的工业射线底片数据进行标注制作训练数据集，利用深度神经网络训练焊道定位模型；
步骤四：利用训练好的模型完成对焊道的定位测试及校正处理。
步骤二中所述的通过图像滤波处理使工业射线底片焊道熔合线显著化具体包括如下步骤：
(1)工业射线底片的长宽比约为25:1，而神经网络的输入图像比例应约等于1:1，因此需将工业射线底片进行裁剪，为了避免部分底片信息丢失，采用首尾交叠的方式对底片进行裁剪，首尾交叠比例为α；
(2)对裁剪后的底片图像I进行像素级的滤波处理，将当前点I(i,j)的像素值与距离尺度为FG的点I(i+FG,j-FG)像素值作差得到梯度图像G(i,j)，按照公式一对底片进行滤波处理：
G(i,j)＝I(i,j)-I(i+FG,j-FG) (公式一)
(3)利用像素值偏移系数FQ对梯度图像G(i,j)做像素校正，得到校正图像H(i,j)：
H(i,j)＝G(i,j)+FQ (公式二)
(4)再通过灰度系数FB调整校正后的图像H(i,j)整体灰雾度，得到最终滤波图像F(i,j)：
F(i,j)＝H(i,j)+FB (公式三)
(5)由于图像中距离尺度为FG的两像素点之间RGB值比较接近，在通过滤波算法处理之后图像F(i,j)中只有尺度FG区域内RGB值差异较大的部分会得到显著性结果，其他平滑区域的像素值都接近FQ*FB左右，满足将工业射线底片焊道熔合线显著化的需求。
步骤三中所述的利用深度神经网络训练焊道定位模型具体包括如下步骤：
(1)将步骤1预处理过的工业射线底片图像送入深度神经网络，通过神经网络的前向传播过程，利用卷积核计算生成自下至上的多层特征Pl；
(2)再自上至下的把更抽象、语义更强的高层特征图进行最邻近上采样得到中间特征C'l，如公式四，其中γ为上采样因子，u为upsample上采样，Cl为最高层特征图，
C'l＝up(Cl,γ) (公式四)
(3)然后横向联合自下至上生成的相同大小的多层特征Pl进行特征融合，迭代出最终的每一层特征输出Cl-1，式中Conv1×1表示进行尺度为1×1的卷积操作，⊕表示按元素顺序添加涉及到的特征映射：
(4)将所有的特征映射融合到一个平衡的级别，以整合所有尺度之间的信息，通过公式六实现三层特征融合，得到平衡特征Cbl，C3、C4、C5分别为对应层的特征图，
(5)在平衡特征Cbl中的每一个像素点上预设多个候选ROI区域，利用Softmax函数给每一个候选区域做前景背景分类，最后推选出M个边界框作为目标区域A-box；
(6)继续使用Softmax函数对M个目标推选框A-box内的特征做多分类任务，预测A-box的区域内的熔合线类型；
(7)假设一共有K个类别，利用sigmoid函数计算出A-box中每个点的K个二值mask，通过sigmoid函数可以区别于其他常用手段，可以有效避免产生类间竞争；
(8)使用四维向量(x，y，w，h)来表示区域框，x和y表示中心点横纵坐标，w和h表示宽和高，通过边界框回归得到推荐框A-box和真实目标区域框GT-box之间的变换参数，即平移(tx和ty)和缩放参数(tw和th)：
(9)在如上所述的熔合线分类、mask生成和边界框回归三个分支任务中，通过损失函数L反向传递使得目标区域的预测值与真实值误差最小，得到神经网络的损失函数L如下：
L＝Lcls+Lmask+Lbox (公式九)
Lcls为熔合线分类的损失函数，是目标与非目标的对数损失；
Lmask为mask生成的损失函数，神经网络为每一类生成一个mask，不用与其他类进行竞争，其依赖于熔合线分类分支所预测的类别标签来选择输出的mask；
Lbox为边界框回归损失，通过smoothL1函数计算，其中
ti＝{tx,ty,tw,th}表示推荐框A-box的参数向量，
表示真实目标区域框GT-box的参数向量；
步骤四中所述的焊道的定位测试及校正处理，具体包括如下步骤：
(1)待检测原始底片图像T(i,j)应用步骤1方法进行裁剪及滤波处理，将处理后的一组待检测图像送入焊道定位模型进行焊道熔合线的初次定位，保存检测模型输出的熔合线mask位置信息，mask是由0/1组成与输入图像同尺寸的掩膜矩阵，1代表目标区域，0代表背景区域；
(2)利用线性插值将每张底片检测结果mask中为断续的焊道区域进行连接；
(3)基于8邻域计算mask矩阵的连通区域面积，保存每张底片检测结果中的最大连通域，抑制小区域干扰；
(4)当测试底片根部熔合线不清晰时，检测模型可能会推理出波动较大的根部熔合线，由先验知识得知，在像素点(i，j)邻域w的范围内焊道熔合线的峰谷差不超过N个像素点，根据公式十一对mask边缘异常点集合θ进行选取，其中ji表示小区域w内横坐标i对应的纵坐标j，||·||表示数据点数；
θ＝||max[ji-w,L,ji-1,ji,ji+1,L,ji+w]-min[ji-w,L,ji-1,ji,ji+1,L,ji+w]＞N|| (公式十一)
(5)选取出异常点集合θ后，将mask矩阵在每个异常点邻域(θi-ε,θi+ε)内的边缘进行异常点修正，得到修正后的mask；
(6)为了与原始工业射线底片的尺寸保持一致性，将修正后的mask矩阵以交叠比列α进行合并拼接，得到与原始图像尺寸相同的掩膜矩阵mask'；
(7)利用Canny算子对掩膜矩阵mask'进行边缘提取，把提取到的边缘关键点信息保存下来；
(8)把边缘关键点信息
绘制到原始底片图像T(i,j)上，得到最终的焊道定位结果显示图像Res(i,j)。
与现有技术相比，本发明具有如下有益技术效果：
(1)本发明提出了一种适用于工业射线底片焊道熔合线显著化的图像滤波方法，更加有利于深度神经网络学习到焊道熔合线的特征。
(2)本发明搭建深度神经网络解决工业射线底片焊道识别在传统图像分割上的瓶颈问题。
(3)本发明引入交叠比例α保证底片细节信息的完整性。
(4)本发明采用连通域连接、连通域选取、异常点剔除等手段完成对焊道定位的修正后处理环节。
附图说明
图1为本发明总体方法流程图；
图2为本发明图像滤波处理方法图解示意图；
图3为本发明深度神经网络特征融合过程示意图；
图4为本发明边缘提取流程图；
图5为本发明实施例1得到的最终的焊道定位结果显示图像。
具体实施方式
下面结合附图对本发明进行详细说明，但本发明的保护范围不受实施例所限。
实施例1：
如图1所示：
步骤一：工业射线底片焊道熔合线显著化
(1)工业射线底片的长宽比约为25:1，而神经网络的输入图像比例应约等于1:1，为了避免部分底片信息丢失，选取首尾交叠比例α＝0.25对底片进行裁剪。
(2)对裁剪后的底片图像I进行像素级的滤波处理，如图2所示，其中距离尺度FG＝5，像素值偏移系数FQ＝20，灰度系数FB＝4。
步骤二：利用深度神经网络训练焊道定位模型
(1)将步骤一预处理过的工业射线底片图像送入深度神经网络，通过神经网络的前向传播过程，利用卷积核计算生成自下至上的五层特征Pl＝{P1，P2，P3，P4，P5}。
(2)再自上至下的把更抽象、语义更强的高层特征图进行最邻近上采样得到中间特征C'l，上采样因子γ取值为2。
(3)由于{P4，P5}层特征语义信息过低，同时为了简化计算量，横向联合自下至上生成的相同大小的三层特征{P3，P4，P5}进行特征融合，迭代出最终的每一层特征输出Cl-1，如图3所示。
(4)将所有的特征映射融合到一个平衡的级别，以整合所有尺度之间的信息，得到平衡特征Cbl。
(5)在平衡特征Cbl中的每一个像素点上预设多个候选ROI区域，利用Softmax函数给每一个候选区域做前景背景分类，最后推选出M个边界框作为目标区域A-box。
(6)继续使用Softmax函数对M个目标推选框A-box内的特征做多分类任务，预测A-box的区域内的熔合线类型。
(7)在本发明中一共有2个类别，利用sigmoid函数计算出A-box中每个点的2个二值mask，通过sigmoid函数可以区别于其他常用手段，可以有效避免产生类间竞争。
(8)使用四维向量(x，y，w，h)来表示区域框，x和y表示中心点横纵坐标，w和h表示宽和高，通过边界框回归得到推荐框A-box和真实目标区域框GT-box之间的变换参数，即平移(tx和ty)和缩放参数(tw和th)：
(9)在如上所述的熔合线分类、mask生成和边界框回归三个分支任务中，通过损失函数L反向传递使得目标区域的预测值与真实值误差最小，得到神经网络的损失函数L如下：
L＝Lcls+Lmask+Lbox
Lcls为熔合线分类的损失函数，是目标与非目标的对数损失；
Lmask为mask生成的损失函数，神经网络为每一类生成一个mask，不用与其他类进行竞争，其依赖于熔合线分类分支所预测的类别标签来选择输出的mask；
Lbox为边界框回归损失，通过smoothL1函数计算，其中
ti＝{tx,ty,tw,th}表示推荐框A-box的参数向量，
表示真实目标区域框GT-box的参数向量。
步骤三：焊道的定位测试及校正
(1)待检测原始底片图像T(i,j)应用步骤一方法进行裁剪及滤波处理，将处理后的一组待检测图像送入焊道定位模型进行焊道熔合线的初次定位，保存检测模型输出的熔合线mask位置信息，mask是由0/1组成与输入图像同尺寸的掩膜矩阵，1代表目标区域，0代表背景区域。
(2)利用线性插值将每张底片检测结果mask中为断续的焊道区域进行连接。
(3)基于8邻域计算mask矩阵的连通区域面积，保存每张底片检测结果中的最大连通域，抑制小区域干扰。
(4)当测试底片根部熔合线不清晰时，检测模型可能会推理出波动较大的根部熔合线，根据先验知识在像素点(i，j)邻域200个像素点的范围内焊道熔合线的峰谷差不超过30个像素点，由公式十一对mask边缘异常点集合θ进行选取。
(5)选取出异常点集合θ后，将mask矩阵在每个异常点邻域(θi-ε,θi+ε)内的边缘进行异常点修正，选取ε＝20，得到修正后的mask。
(6)为了与原始工业射线底片的尺寸保持一致性，将修正后的mask矩阵以交叠比列α＝0.25进行合并拼接，得到与原始图像尺寸相同的掩膜矩阵mask'。
(7)利用Canny算子对掩膜矩阵mask'进行边缘提取，把提取到的边缘关键点信息保存下来，边缘提取流程如图4所示。
(8)把边缘关键点信息
绘制到原始底片图像T(i，j)上，得到最终的焊道定位结果显示图像Res(i，j)，如图5所示。
Claims (4)
1.一种工业射线底片图像焊道区域智能定位方法，其特征在于，首先利用传统图像滤波方式使工业射线底片的焊道熔合线显著化，然后利用深度学习技术实现焊道的定位，最后根据检测结果进行校正，通过后处理环节使检测结果与真实焊道有更高的拟合度，具体包括如下步骤：
步骤一：依据光电技术和数字处理技术将焊缝信息转换成数字信号，由X射线扫描得到原始管道焊缝图像；
步骤二：对原始管道焊缝图像数据进行裁剪，通过图像滤波处理使工业射线底片焊道熔合线显著化；
步骤三：对处理后的工业射线底片数据进行标注制作训练数据集，利用深度神经网络训练焊道定位模型；
步骤四：利用训练好的模型完成对焊道的定位测试及校正处理。
2.根据权利要求1所述的工业射线底片图像焊道区域智能定位方法，其特征在于，步骤二中所述的通过图像滤波处理使工业射线底片焊道熔合线显著化具体包括如下步骤：
(1)工业射线底片的长宽比约为25:1，而神经网络的输入图像比例应约等于1:1，因此需将工业射线底片进行裁剪，为了避免部分底片信息丢失，采用首尾交叠的方式对底片进行裁剪，首尾交叠比例为α；
(2)对裁剪后的底片图像I进行像素级的滤波处理，将当前点I(i,j)的像素值与距离尺度为FG的点I(i+FG,j-FG)像素值作差得到梯度图像G(i,j)，按照公式一对底片进行滤波处理：
G(i,j)＝I(i,j)-I(i+FG,j-FG) (公式一)
(3)利用像素值偏移系数FQ对梯度图像G(i,j)做像素校正，得到校正图像H(i,j)：
H(i,j)＝G(i,j)+FQ (公式二)
(4)再通过灰度系数FB调整校正后的图像H(i,j)整体灰雾度，得到最终滤波图像F(i,j)：
F(i,j)＝H(i,j)+FB (公式三)
(5)由于图像中距离尺度为FG的两像素点之间RGB值比较接近，在通过滤波算法处理之后图像F(i,j)中只有尺度FG区域内RGB值差异较大的部分会得到显著性结果，其他平滑区域的像素值都接近FQ*FB左右，满足将工业射线底片焊道熔合线显著化的需求。
3.根据权利要求1所述的工业射线底片图像焊道区域智能定位方法，其特征在于，步骤三中所述的利用深度神经网络训练焊道定位模型具体包括如下步骤：
(1)将步骤1预处理过的工业射线底片图像送入深度神经网络，通过神经网络的前向传播过程，利用卷积核计算生成自下至上的多层特征Pl；
(2)再自上至下的把更抽象、语义更强的高层特征图进行最邻近上采样得到中间特征C'l，如公式四，其中γ为上采样因子，u为upsample上采样，Cl为最高层特征图，
C'l＝up(Cl,γ) (公式四)
(3)然后横向联合自下至上生成的相同大小的多层特征Pl进行特征融合，迭代出最终的每一层特征输出Cl-1，式中Conv1×1表示进行尺度为1×1的卷积操作，
表示按元素顺序添加涉及到的特征映射：
(4)将所有的特征映射融合到一个平衡的级别，以整合所有尺度之间的信息，通过公式六实现三层特征融合，得到平衡特征Cbl，C3、C4、C5分别为对应层的特征图，
(5)在平衡特征Cbl中的每一个像素点上预设多个候选ROI区域，利用Softmax函数给每一个候选区域做前景背景分类，最后推选出M个边界框作为目标区域A-box；
(6)继续使用Softmax函数对M个目标推选框A-box内的特征做多分类任务，预测A-box的区域内的熔合线类型；
(7)假设一共有K个类别，利用sigmoid函数计算出A-box中每个点的K个二值mask，通过sigmoid函数可以区别于其他常用手段，可以有效避免产生类间竞争；
(8)使用四维向量(x，y，w，h)来表示区域框，x和y表示中心点横纵坐标，w和h表示宽和高，通过边界框回归得到推荐框A-box和真实目标区域框GT-box之间的变换参数，即平移(tx和ty)和缩放参数(tw和th)：
(9)在如上所述的熔合线分类、mask生成和边界框回归三个分支任务中，通过损失函数L反向传递使得目标区域的预测值与真实值误差最小，得到神经网络的损失函数L如下：
L＝Lcls+Lmask+Lbox (公式九)
Lcls为熔合线分类的损失函数，是目标与非目标的对数损失；
Lmask为mask生成的损失函数，神经网络为每一类生成一个mask，不用与其他类进行竞争，其依赖于熔合线分类分支所预测的类别标签来选择输出的mask；
Lbox为边界框回归损失，通过smoothL1函数计算，其中
ti＝{tx,ty,tw,th}表示推荐框A-box的参数向量，
表示真实目标区域框GT-box的参数向量；
4.根据权利要求1所述的工业射线底片图像焊道区域智能定位方法，其特征在于，步骤四中所述的焊道的定位测试及校正处理，具体包括如下步骤：
(1)待检测原始底片图像T(i,j)应用步骤1方法进行裁剪及滤波处理，将处理后的一组待检测图像送入焊道定位模型进行焊道熔合线的初次定位，保存检测模型输出的熔合线mask位置信息，mask是由0/1组成与输入图像同尺寸的掩膜矩阵，1代表目标区域，0代表背景区域；
(2)利用线性插值将每张底片检测结果mask中为断续的焊道区域进行连接；
(3)基于8邻域计算mask矩阵的连通区域面积，保存每张底片检测结果中的最大连通域，抑制小区域干扰；
(4)当测试底片根部熔合线不清晰时，检测模型可能会推理出波动较大的根部熔合线，由先验知识得知，在像素点(i，j)邻域w的范围内焊道熔合线的峰谷差不超过N个像素点，根据公式十一对mask边缘异常点集合θ进行选取，其中ji表示小区域w内横坐标i对应的纵坐标j，||·||表示数据点数；
θ＝||max[ji-w,L,ji-1,ji,ji+1,L,ji+w]-min[ji-w,L,ji-1,ji,ji+1,L,ji+w]＞N|| (公式十一)
(5)选取出异常点集合θ后，将mask矩阵在每个异常点邻域(θi-ε,θi+ε)内的边缘进行异常点修正，得到修正后的mask；
(6)为了与原始工业射线底片的尺寸保持一致性，将修正后的mask矩阵以交叠比列α进行合并拼接，得到与原始图像尺寸相同的掩膜矩阵mask'；
(7)利用Canny算子对掩膜矩阵mask'进行边缘提取，把提取到的边缘关键点信息保存下来；
(8)把边缘关键点信息
绘制到原始底片图像T(i,j)上，得到最终的焊道定位结果显示图像Res(i,j)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110688156.3A CN113421304B (zh) | 2021-06-21 | 2021-06-21 | 一种工业射线底片图像焊道区域智能定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110688156.3A CN113421304B (zh) | 2021-06-21 | 2021-06-21 | 一种工业射线底片图像焊道区域智能定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421304A true CN113421304A (zh) | 2021-09-21 |
| CN113421304B CN113421304B (zh) | 2024-05-28 |
Family
ID=77789636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110688156.3A Active CN113421304B (zh) | 2021-06-21 | 2021-06-21 | 一种工业射线底片图像焊道区域智能定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421304B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119461A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 基于深度学习的锂电池模组侧面焊缝外观检测算法及系统 |
| CN114792316A (zh) * | 2022-06-22 | 2022-07-26 | 山东鲁岳桥机械股份有限公司 | 一种盘刹车轴底板点焊缺陷检测方法 |
| WO2023092302A1 (zh) * | 2021-11-23 | 2023-06-01 | 宁德时代新能源科技股份有限公司 | 图像识别方法、装置和计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3171297A1 (en) * | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
| US20190147283A1 (en) * | 2016-05-16 | 2019-05-16 | United Technologies Corporation | Deep convolutional neural networks for crack detection from image data |
| CN109886298A (zh) * | 2019-01-16 | 2019-06-14 | 江苏大学 | 一种基于卷积神经网络的焊缝质量检测方法 |
| CN111489310A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 小径管焊接接头射线检验图像焊缝区域的搜索方法 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN112085700A (zh) * | 2020-07-31 | 2020-12-15 | 上海航天精密机械研究所 | X射线图像中焊缝区域的自动化提取方法、系统及介质 |
| CN112184693A (zh) * | 2020-10-13 | 2021-01-05 | 东北大学 | 一种射线工业底片焊缝缺陷智能检测方法 |
-
2021
- 2021-06-21 CN CN202110688156.3A patent/CN113421304B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3171297A1 (en) * | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
| US20190147283A1 (en) * | 2016-05-16 | 2019-05-16 | United Technologies Corporation | Deep convolutional neural networks for crack detection from image data |
| CN109886298A (zh) * | 2019-01-16 | 2019-06-14 | 江苏大学 | 一种基于卷积神经网络的焊缝质量检测方法 |
| CN111489310A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 小径管焊接接头射线检验图像焊缝区域的搜索方法 |
| CN112085700A (zh) * | 2020-07-31 | 2020-12-15 | 上海航天精密机械研究所 | X射线图像中焊缝区域的自动化提取方法、系统及介质 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN112184693A (zh) * | 2020-10-13 | 2021-01-05 | 东北大学 | 一种射线工业底片焊缝缺陷智能检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119461A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 基于深度学习的锂电池模组侧面焊缝外观检测算法及系统 |
| WO2023092302A1 (zh) * | 2021-11-23 | 2023-06-01 | 宁德时代新能源科技股份有限公司 | 图像识别方法、装置和计算机可读存储介质 |
| US11823457B2 (en) | 2021-11-23 | 2023-11-21 | Contemporary Amperex Technology Co., Limited | Image recognition method and apparatus, based on context representation, and computer-readable storage medium |
| CN114792316A (zh) * | 2022-06-22 | 2022-07-26 | 山东鲁岳桥机械股份有限公司 | 一种盘刹车轴底板点焊缺陷检测方法 |
| CN114792316B (zh) * | 2022-06-22 | 2022-09-02 | 山东鲁岳桥机械股份有限公司 | 一种盘刹车轴底板点焊缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421304B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113421304B (zh) | 一种工业射线底片图像焊道区域智能定位方法 | |
| CN113674247B (zh) | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 | |
| CN111814867B (zh) | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 | |
| US20200133182A1 (en) | Defect classification in an image or printed output | |
| US7187811B2 (en) | Method for image resolution enhancement | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
| CN116309292A (zh) | 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN111754507A (zh) | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 | |
| CN112508935A (zh) | 基于深度学习的产品包装检测方法及系统和产品包装分拣系统 | |
| CN114119505A (zh) | 一种检测芯片粘连区域缺陷的方法及装置 | |
| CN117058606A (zh) | 一种x射线图像违禁品检测方法 | |
| CN117058018A (zh) | 面向水下结构检测的悬浮杂质视觉遮挡区域修复方法 | |
| CN114419081B (zh) | 一种图像语义分割方法、系统及可读存储介质 | |
| CN117252839A (zh) | 基于改进YOLO-v7模型的纤维预浸料缺陷检测方法及系统 | |
| CN115641510B (zh) | 一种遥感影像舰船检测识别方法 | |
| CN116596866A (zh) | 一种基于高分辨率图像的缺陷检测方法、存储介质 | |
| CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
| CN116128833A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 | |
| CN115511827A (zh) | 一种基于深度学习的工业产品图像角度检测与校正方法 | |
| CN115205210A (zh) | 一种基于深度自编码器的表面瑕疵检测方法 | |
| CN113506230A (zh) | 一种基于机器视觉的光伏电站航拍影像匀光处理方法 | |
| CN113850734A (zh) | 融合泊松方程的遥感影像自动化匀色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |