CN104977313A - 一种焊缝x射线图像缺陷检测与识别方法和装置 - Google Patents

Abstract

本发明提供了一种焊缝X射线图像缺陷检测与识别方法和装置，包括视觉扫描、中央-周边差运算、灰度显著图获取、注意焦点搜索、可疑区域确定的步骤；采取深度学习将可疑区域的像素灰度信号直接通过已训练的层状网络深度模型，获取可疑缺陷区域的本质特征直接进行识别。本发明按照视觉显著性由强到弱的顺序串行选择和识别图像目标，提高了图像分析与识别的效率和准确性、适应性强、通用性好。

Description

一种焊缝X射线图像缺陷检测与识别方法和装置

技术领域

本发明涉及射线成像与无损检测，特别涉及一种焊缝X射线图像缺陷检测与识别方法和装置。

背景技术

目前焊接是现在制造领域的一种重要工艺方法之一。随着计算机技术、自动控制技术以及信息和软件技术迅速地引入焊接领域，焊接生产自动化、智能化已经成为21世纪焊接技术发展的重要方向。计算机视觉技术以其信息量大、精度高、检测范围大等特点，在焊接缺陷的检测领域得到了广泛的应用。而X射线检测是常规无损检测常用的重要方法之一，其检测结果将作为焊缝缺陷分析和质量评定的重要判定依据。X射线检测是将强度均匀的射线照射到被测的物体，使透过的射线在照相胶片上感光，而在成像的底片上，可以检测出被检测物体的焊接缺陷位置、类型、尺寸和数目等。要评定X射线对焊缝的检测结果，必须对获取的焊缝射线图像进行分析处理以评价焊接质量。评定X射线检测结果有两种方法：人工评定和计算机图像识别评定。

传统的缺陷检测方法主要由评片人员手工完成。目前实际生产中，主要采取的方式是人工分析焊缝图像，凭经验确定有无缺陷及缺陷的类型、位置、尺寸等，由此评定焊接质量。人工评定方式受个人技术水平、经验、疲劳程度、情绪等人为因素及外界条件的影响，效率低、不可靠、一致性差，且读片的强光容易灼伤人的眼睛。现代机械制造对精度的要求越来越高，人工操作越来越不能满足生产发展的需要。采用计算机图像处理技术，对X射线缺陷检测图像进行分析、检测和识别，可以较好的解决人工评定的上述问题，有效克服由于个人技术素质、经验差异等引起的对焊件缺陷的误判和漏判等可靠性和稳定性问题，使焊接质量评定更科学、客观和规范。

但是，X射线检测图像背景不均匀、灰度起伏大，以及模糊的缺陷边缘、较低的对比度，且图像噪声多，如何进行焊接图像缺陷信息的检测，并进行缺陷特征的自动提取和分类识别，是射线无损检测方向研究的热点和尚未很好解决的难点。至今，国内外学者针对焊缝构件、铸件等零件缺陷进行了大量基于X射线图像缺陷检测的研究，在缺陷识别、算法分析、实验效果等方面均获得了一定的进展，但现在还存在不少问题，还未达到可以在生产中实际应用的水平。如何提高射线检测的准确性、适应性、可靠性及智能化、自动化和定量化，仍然是目前射线图像检测技术的研究热点和难点，其中复杂精密焊件中微小和微弱缺陷图像的提取、分析和特征的有效描述是一个仍待解决的关键问题。

X射线图像检测识别中仍然存在较多还未解决的问题，主要有：

(1)复杂大背景下微小及微弱缺陷目标的检测与识别问题，对此采用何种更具针对性的图像处理算法；(2)如何解决X射线焊缝图像灰度对比度低、不均匀、存在较大的起伏及焊接图像背景复杂、噪声多等不利因素，进一步提高检测与识别准确率及可靠性问题；(3)特征描述的有效性问题。如何对类型多样、形状各异的缺陷进行有效特征描述，以能准确识别的问题。；(4)方法的适应性和通用性问题。焊接图像千变万化、缺陷影像千差万别，如何提高缺陷检测与识别方法的适应性和通用性问题等；(5)焊接缺陷分类识别方法问题，目前采用的神经网络和支持向量机等方法还存在不少问题，目前所有方法中实验中正确识别率通常为85％左右，如果是针对具有噪声较强和对比度较低的图片(如X射线焊接图像)，且缺陷面积较小(如焊接缺陷)，及实验环境和实际生产环境的差异，识别正确率更低。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种焊缝X射线图像缺陷特别是微小缺陷自动检测与识别的有效方法。

本发明采用如下技术方案：一种焊缝X射线图像的识别方法，其特征在于，包括：

步骤一：对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点；

步骤二：根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域；

步骤三：基于卷积神经网络的构造深度学习网络，从初始卷积网络开始，利用预设网络自生长规则进行生长，直到识别能力和检测效率都达到预设期望值；

步骤四：基于上述深度学习网络，将可疑区域的像素灰度信号输入已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，从而识别出焊缝缺陷。

优选地，所述步骤一中进一步包括：

(1)对X射线图像进行逐行逐列线扫描，

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n，

(3)定义目标区域N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域；

计算中央-周边差Δh(x_iL，y_j)=h(x_iL，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh，

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，

(5)计算扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)。将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，得到焊缝X射线图的显著图。

优选地，在步骤二的确定可疑缺陷区域中，基于对各注意焦点的显著性强度的排序来顺序处理显著区域，如注意焦点的显著性强度S(x_i，y_j)>T，则该注意焦点为可疑缺陷区域，其中T为预设判定阈值。

优选地，所输入的图像为获得的感兴趣区域，大小按比例规范为32×32；

所述卷积网络的结构共有7层，每层都包含可训练参数，分别为：

卷积层C1，由两个5×5卷积核卷积输入图像获得，由2个特征图构成，特征图中每个神经元与输入中5×5的邻域相连。特征图的大小为28×28，包括52个可训练参数，连接数为52×(28×28)个；

下采样层S2，对图像进行子抽样获得，具有2个14×14的特征图，特征图中的每个单元与C1中相对应特征图的2×2邻域相连接，每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过sigmoid函数计算，每个特征图的大小是C1中特征图大小的1／4，有4个可训练参数和4×(14×14)个连接；

卷积层C3，通过3种不同的5×5卷积核去卷积层S2，由3张10×10特征图组成，每张含10×10个神经元，每个特征图连接到S2中的1个或者2个特征图；

下采样层S4，由16个5×5大小的特征图构成，每个单元与C3中相应特征图的2×2邻域相连接，具有4个可训练参数；

卷积层C5，有100个特征图，每个单元与S4层的全部单元的5×5邻域相连，特征图的大小为1×1，构成了S4和C5之间的全连接；

点积计算层F6，与C5全相连，计算输入向量和权重向量之间的点积，再加上一个偏置，然后将其传递给sigmoid函数产生单元的一个状态；

其中所述卷积网络连接输出层，其由欧氏径向基函数单元组成，计算输入向量和参数向量之间的欧氏距离，该向量在F6sigmoid的范围内，防止sigmoid函数饱和。

优选地，所述步骤三的自生长规则进一步定义为：

所述C1、S2、C3、S4层同步匹配生长，各层特征图数量为N_C1、N_S2、N_C3、N_S4，C1特征图每次生长数量为2；S2的特征图数量与C1层相同；C3的前M1个特征图以S2中N_S2／2个相邻的特征图子集为输入；接下来的M2个特征图以S2中N_S2／2+1个相邻特征图子集为输入。然后M3个以不相邻的(N_S2／2)+1个特征图子集为输入，最后一个将S2中所有特征图为输入，C3的特征图数量为M1+M2+M3+1；S4的特征图数量与C3相同；

设定样本训练时网络的平均误差指标和误差收敛速度阈值，训练初始卷积网络，当平均误差没有达到所述指标时，则生长网络结构，如果平均误差达到所述指标，则考察样本误差收敛速度，如收敛速度没有超过设定阈值，则继续生长网络结构，直到收敛速度达到阈值。

优选地，所述步骤四进一步包括：

将上述步骤二获得的依显著性强度排序的可疑区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，通过输出层径向基网络进行识别，输出为缺陷类型。

优选地，所述特征包括气孔或裂纹。

根据本发明的另一方面，提供了一种焊缝X射线图像的识别装置，包括：

显著图获取模块，用于对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点；

可以缺陷区域确定模块，用于根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域；

深度学习网络构造模块，用于基于卷积神经网络，从初始卷积网络开始，利用预设网络自生长规则进行生长，直到识别能力和检测效率都达到预设期望值；

焊缝缺陷识别模块，用于基于上述深度学习网络，将可疑区域的像素灰度信号输入已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，从而识别出焊缝缺陷。

优选地，所述显著图获取模块进一步包括用于执行以下过程的模块：

(1)对X射线图像进行逐行逐列线扫描，

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n，

(3)定义目标区域N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域；

计算中央-周边差Δh(x_iL，y_j)=h(x_iI，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh，

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，

(5)计算扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)。将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，得到焊缝X射线图的显著图。

优选地，所述可疑缺陷区域确定模块进一步配置为，基于对各注意焦点的显著性强度的排序来顺序处理显著区域，如注意焦点的显著性强度S(x_i，y_j)>T，则该注意焦点为可疑缺陷区域，其中T为预设判定阈值。

优选地，所述焊缝缺陷识别模块进一步配置为：

将上述可疑缺陷区域确定模块获得的依显著性强度排序的可疑区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，通过输出层径向基网络进行识别，输出为缺陷类型。

相比于现有技术，本发明的技术方案的具有以下优点：

(1)以人眼视觉选择注意机制快速聚焦于焊缝X射线图像可疑缺陷区域，使图像数据处理量减少80％以上，保证了算法有较高的效率，减少无关数据干扰同时提高算法准确性；

(2)采取深度学习取代传统“人工特征+机器学习”的方法，即深度学习机理应用于图像识别提升准确性，而且避免了人工特征抽取的时间消耗，从而提高了计算效率，可为视觉缺陷检测领域研究提供新的科学思路。

附图说明

图1a是根据本发明实施例的焊缝X射线图像缺陷自动检测与识别的方法流程图。

图1b是根据本发明实施例的焊缝X射线图像扫描线的灰度分布曲线图。

图2是根据本发明实施例的初始卷积网络CNN-1结构的层次示意图。

图3是根据本发明实施例的卷积和子采样过程的示意图。

图4是根据本发明实施例的C3层与S2层神经元连接方式表。

图5是根据本发明实施例的深度网络CNN-1的训练过程示意图。

图6是根据本发明实施例的深度网络CNN-2的训练过程示意图。

图7是根据本发明实施例的深度网络CNN-3的训练过程示意图。

图8是根据本发明实施例的深度网络CNN-4的训练过程示意图。

图9是根据本发明实施例的深度网络CNN-3的结构层次示意图。

图10是根据本发明实施例的C3层与S2层神经元的连接方式表。

图11是根据本发明实施例的深度网络CNN-3的实验结果示意图。

具体实施方式

多种方式可以用于(包括实施为过程；装置；系统；物质组成；在计算机可读存储介质上包括的计算机程序产品；和／或处理器(诸如如下处理器，该处理器被配置成执行在耦合到处理器的存储器上存储的和／或由该存储器提供的指令))实施本发明。在本说明书中，这些实施或者本发明可以采用的任何其他形式可以称为技术。一般而言，可以在本发明的范围内变更公开的过程的步骤顺序。除非另有明示，描述为被配置成执行任务的部件(诸如处理器或者存储器)可以实施为被临时配置成在给定时间执行该任务的一般部件或者被制造成执行该任务的具体部件。

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的目的在于针对现有焊缝X射线图像检测存在的难点及现有技术的不足，将人眼视觉注意机制引入焊缝图像分析中，提出一种焊缝X射线图像缺陷特别是微小缺陷自动检测与识别的有效方法，克服现有技术中存在的问题。

传统方法需对所有X射线图像区域同等看待、进行同等的检测与分析，但实际上所关心的可疑焊接缺陷区域通常仅占X射线整体图像中非常小的一部分，可能不到1％的比例，甚至更少。这不但造成了缺陷检测识别系统的计算资源与计算时间的浪费，而且加重检测识别的分析难度、降低准确性。本发明将人眼视觉选择性注意机制引入到X射线焊缝图像缺陷目标的检测中，通过模拟人眼视觉的扫描来进行自适应中央-周边差计算来直接获得显著图的方法，以迅速有效地减少图像处理的数据量，提高检测速度；更重要的是有效地消除无效数据对缺陷检测区域的干扰，有助于提高检测精度和准确度。并且，采取深度学习取代传统“人工特征+机器学习”的方法，将可疑区域的像素灰度信号直接通过已训练的层状网络深度模型，获取可疑缺陷区域的本质特征直接进行识别。

图1是根据本发明实施例的焊缝X射线图像缺陷自动检测与识别的方法流程图。如图1所示，实施本发明的具体步骤如下：

步骤一：获取焊缝图像的显著图。通过直接对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点。

人类视觉神经元对位于其感受野中央小区域的刺激最敏感，而中央区周围的更广、更弱区域内的刺激将抑制该神经元的响应。这种对局部空间具有不连续性的敏感结构特别适用于检测局部显著性较强的区域，这即是生物感受野的线性中央-周边操作。本发明对强度特征的计算，是通过线扫描及计算自适应中央周边差阈值的方式来获得视点中央与周围部分的差值，从而实现与生物感受野类似的线性中央-周边操作。

在本发明的一个实施例中，焊缝图像的显著图获取方法如下：

(1)对X射线图像进行逐行(列)线扫描。图1b是扫描线上的灰度分布曲线。

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，i=1，2，Λ，n。

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n。

(3)定义目标区域N(x_i，y_j)：N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域。其中j=1，2，Λ，k，k为图像行数，Z表示整数集、L表示目标区域左边界，R表示目标区域右边界，例如x_iL表示目标区域左边界的行坐标，x_iR表示目标区域右边界的行坐标。

中央-周边差Δh：Δh(x_iL，y_j)=h(x_iL，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh。

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，一般取3～5。

(5)扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)。将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0。

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，合并完成后得到焊缝X射线图的显著图S。

步骤二：判定焊缝图像可疑区域。根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域，从而对这些可疑缺陷区域进行优先、细致的处理，提高X射线缺陷检测的效率和准确性；

具体地，根据各注意焦点的显著性强度排序标记，强度大的显著区域优先处理。

如注意焦点的显著性强度S(x_i，y_j)>T，T为判定阈值，则该注意焦点为可疑缺陷区域，需通过步骤三的深度学习网络作进一步细致分析。

步骤三：基于卷积神经网络的深度学习网络构造，利用卷积网络的自生长方法，从初始卷积网络开始，根据生长规则，自动生长到识别能力和检测效率都达到期望阈值。

类似于生物视觉神经网络，卷积神经网络具有层次化和局部感知区域抽取特征的特点，适当增加各层感知器的数量，能够提高网络中各层所能抽取的特征数量，提高网络的识别能力，相对于与噪音、平移和扰动的鲁棒性也会更好，但前提是在样本数量满足的情况下。如样本数量相对不足，可能造成复杂卷积网络训练不充分，而使识别能力降低；且即使样本数量充足，卷积网络规模增大，运算量也会成倍增加，可能造成识别能力提高少许，而检测效率降低很多。合适的卷积神经网络应该同时兼顾识别能力和检测速度。

有鉴于此，本发明改进了卷积网络的自生长方法，从初始卷积网络开始，根据生长规则，自动生长到识别能力和检测效率都达到期望阈值为止。初始卷积网络CNN-1结构如图2所示。

该卷积神经网络基本结构共有7层，不包含输入，每层都包含可训练参数(连接权重)。输入图像为获得的感兴趣区域，大小按比例规范为32×32。潜在的明显特征如气孔、裂纹等能够出现在最高层特征监测子感受野的中心。

C1层是一个卷积层，是两个5×5卷积核卷积输入图像获得，由2个特征图构成。特征图中每个神经元与输入中5×5的邻域相连。特征图的大小为28×28。C1有52个可训练参数(每个滤波器5×5=25个unit参数和一个bias参数，一共2个滤波器，共(5×5+1)×2=52个参数)，共52×(28×28)个连接。

S2层是一个下采样层，是利用图像局部相关性的原理，对图像进行子抽样获得，有2个14×14的特征图。特征图中的每个单元与C1中相对应特征图的2×2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid函数计算。可训练系数和偏置控制着sigmoid函数的非线性程度。如果系数比较小，那么运算近似于线性运算，亚采样相当于模糊图像。如果系数比较大，根据偏置的大小亚采样可以被看成是有噪声的“或”运算或者有噪声的“与”运算。每个单元的2×2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1／4(行和列各1／2)。S2层有4个可训练参数和共4×(14×14)个连接。

如图3所示，卷积过程包括：用一个可训练的滤波器f_x去卷积一个输入的图像(第一阶段是输入的图像，后面的阶段就是卷积特征map了)，然后加一个偏置b_x，得到卷积层C_x。子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量W_x+1加权，再增加偏置b_x+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图S_x+1。

所以从一个平面到下一个平面的映射可以看作是作卷积运算，S-层可看作是模糊滤波器，起到二次特征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。

C3层也是一个卷积层，通过3种不同的5x5卷积核去卷积层S2，由3张10×10特征图组成，即每张含10×10个神经元。C3中的每个特征图连接到S2中的所有1个或者2个特征图，表示本层的特征图是上一层提取到的特征图的不同组合，如图4所示。由于不同的特征图有不同的输入，所以能抽取不同的特征。正如人的视觉系统一样，底层的结构构成上层更抽象的结构，例如边缘构成形状或者目标的部分。

S4层是一个下采样层，由16个5×5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样。S4层有4个可训练参数(每个特征图1个因子和一个偏置)。

C5层是一个卷积层，有100个特征图(有输出层和F6层决定)。每个单元与S4层的全部单元的5×5邻域相连。由于S4层特征图的大小也为5×5(同卷积核一样)，故C5特征图的大小为1×1：这构成了S4和C5之间的全连接。

F6层有个50单元(由输出层的设计决定)，与C5层全相连。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元的一个状态。

输出层由欧氏径向基函数(Euclidean Radial Basis Function)单元即RBF单元组成，每类一个单元，每个有50个输入。即每个输出RBF单元计算输入向量和参数向量之间的欧氏距离。输入离参数向量越远，RBF输出的越大。RBF参数向量起着F6层目标向量的角色。这些向量的是+1或-1，这正好在F6sigmoid的范围内，因此可以防止sigmoid函数饱和。实际上，+1和-1是sigmoid函数的最大弯曲的点处。这使得F6单元运行在最大非线性范围内。必须避免sigmoid函数的饱和，因为这将会导致损失函数较慢的收敛和病态问题。

本发明优选的实施例采用以下网络生长规则：

1)为了确保存在主要的特征图组合，网络结构的C1层、S2层、C3层、S4层同步匹配生长，设各层特征图数量为N_C1、N_S2、N_C3、N_S4，匹配生长规则为：C1特征图每次生长数量为2；S2层的特征图数量与C1层相同；C3的前M1个特征图以S2中N_S2／2个相邻的特征图子集为输入；接下来的M2个特征图以S2中N_S2／2+1个相邻特征图子集为输入。然后M3个以不相邻的(N_S2／2)+1个特征图子集为输入。最后一个将S2中所有特征图为输入，因此C3的特征图数量为M1+M2+M3+1；S4层的特征图数量与C3层相同。其中M1表示以S2中N_S2／2个相邻的特征图子集为输入的特征图数量、M2表示以S2中N_S2／2+1个相邻特征图子集为输入的特征图数量、M3表示以S2中NS2／2+1个不相邻特征图子集为输入的特征图数量。

2)设定样本训练时网络的平均误差指标和和误差收敛速度阈值。训练初始卷积神经网络，如平均误差没有达到指标，则生长网络结构，直到平均误差达到设定要求，这时的网络结构基本可用。

3)平均误差达到设定要求后，即考察样本误差收敛速度，如收敛速度没有超过设定阈值，说明平均误差还有进一步提高空间。则继续生长网络结构，直到收敛速度达到阈值。此时，网络结构成型，误差收敛速度符合要求，同时具有较低的平均误差。

步骤四：基于深度学习网络的焊缝缺陷识别，将可疑区域的像素灰度信号直接通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征直接进行识别。

把上述步骤二获得的依显著性强度排序标记的可疑区域作为重点分析对象，可疑区域按比例规范为32×32的灰度图像，保证潜在的明显特征如气孔、裂纹等能够出现在最高层特征监测子感受野的中心，其作为卷积神经网络的输入图像。将32×32像素点的灰度信号作为网络的输入，直接通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的50个深度学习本质特征，通过输出层径向基网络直接进行识别，输出为缺陷类型。

为进一步阐述本发明，以下将以图2的初始网络的实际训练情况为例，具体描述的本发明方法的实施例。

用600个样本对上述初始网络CNN-1进行训练，训练过程中的误分类曲线如图所示，平均误差未达到要求，网络迭代36次后，训练收敛时误差率超过16％，如图5所示。

根据网络生长规则对初始网络进行一次生长得到深度网络CNN-2，C1、S2层特征图数量生长为4，C3、S4特征图数量匹配生长为9，生长后网络结构CNN-2如图6所示。训练过程中的误分类曲线如图所示，网络迭代36次后，训练收敛时误差率超11％。训练后平均误差仍未达到要求。

再次对网络进行生长获得深度网络CNN-3，C1、S2层特征图数量生长为6，C3、S4特征图数量匹配生长为16。训练后平均误差达到指标，且误差收敛速度小于设定阈值，训练过程如图7所示。继续对网络中各层进行生长形成深度网络CNN-4，其中C1层和S2层增加到8个，相对应的C3层和S4层为24个，生长后，网络需训练参数也大大增加，训练过程中的误分类曲线如图8所示，由于样本数量不充足的原因，训练已不能收敛。因此，决定最终的网络结构如图9所示。

C1卷积层，由6个特征图构成。特征图中每个神经元与输入中5×5的邻域相连。特征图的大小为28×28。C1有156个可训练参数(每个滤波器5×5=25个unit参数和一个bias参数，一共6个滤波器，共(5×5+1)×6=156个参数)，共156×(28×28)=122,304个连接。

S2下采样层，有6个14×14的特征图。特征图中的每个单元与C1中相对应特征图的2×2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid函数计算。每个单元的2×2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1／4(行和列各1／2)。S2层有12个可训练参数和5880个连接。

C3卷积层，通过16种不同的5×5的卷积核去卷积层S2得到的16个特征图，每个含10×10个神经元。C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。这样C3层有1516个可训练参数和151600个连接。如图10所示

S4下采样层，由16个5×5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样。S4层有32个可训练参数(每个特征图1个因子和一个偏置)和2000个连接。

C5层、F6层及输出层的结构和神经元数量与初始网络相同。

成型的深度卷积神经网络CNN-3在实验中的误分类率曲线如图11所示。从图中可知，在进行到42次迭代以后，训练的误分类率达到最低点的8.5％，继续训练误分类率有所降低，但测试的误分率在第46次迭代后上升，但随后保持基本稳定，因此，深度网络在第45次迭代完成后网络训练收敛，训练的误分类率5％，测试的误分类率为6.5％。

根据本发明的另一方面，提供了一种焊缝X射线图像的识别装置，包括：

显著图获取模块，用于对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点；

可以缺陷区域确定模块，用于根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域；

深度学习网络构造模块，用于基于卷积神经网络，从初始卷积网络开始，利用预设网络自生长规则进行生长，直到识别能力和检测效率都达到预设期望值；

焊缝缺陷识别模块，用于基于上述深度学习网络，将可疑区域的像素灰度信号输入已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，从而识别出焊缝缺陷。

优选地，所述显著图获取模块进一步包括用于执行以下过程的模块：

(1)对X射线图像进行逐行逐列线扫描，

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n，

(3)定义目标区域N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域；

计算中央-周边差Δh(x_iL，y_j)=h(x_iL，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh，

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，

(5)计算扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)。将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，得到焊缝X射线图的显著图。

优选地，所述可疑缺陷区域确定模块进一步配置为，基于对各注意焦点的显著性强度的排序来顺序处理显著区域，如注意焦点的显著性强度S(x_i，y_j)>T，则该注意焦点为可疑缺陷区域，其中T为预设判定阈值。

优选地，所述焊缝缺陷识别模块进一步配置为：

将上述可疑缺陷区域确定模块获得的依显著性强度排序的可疑区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，通过输出层径向基网络进行识别，输出为缺陷类型。

综上所述，本发明克服了传统缺陷，可以较好的解决人工评片因受人为因素及外界条件的影响，造成效率低、不可靠、一致性差，且读片的强光容易灼伤人的眼睛的问题。有效克服由于个人技术素质、经验差异等引起的对焊件缺陷的误判和漏判等可靠性和稳定性问题，使焊接质量评定更科学、客观和规范。无需其他图像预处理，克服了传统焊缝缺陷图像检测方法适应性不强，通用性不好，效率低、难以检测微弱缺陷的问题。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种焊缝X射线图像的识别方法，其特征在于，包括：

步骤一：对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点；

步骤二：根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域；

步骤三：基于卷积神经网络的构造深度学习网络，从初始卷积网络开始，利用预设网络自生长规则进行生长，直到识别能力和检测效率都达到预设期望值；

步骤四：基于上述深度学习网络，将可疑区域的像素灰度信号输入已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，从而识别出焊缝缺陷。

2.根据权利要求1所述的方法，其特征在于，所述步骤一中进一步包括：

(1)对X射线图像进行逐行逐列线扫描，

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n，

(3)定义目标区域N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域；其中j=1，2，Λ，k，k为图像行数，Z表示整数集、L表示目标区域左边界，R表示目标区域右边界，

计算中央-周边差Δh(x_iL，y_j)=h(x_iL，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh，

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，

(5)计算扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)，将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，得到焊缝X射线图的显著图。

3.根据权利要求1所述的方法，其特征在于，在步骤二的确定可疑缺陷区域中，基于对各注意焦点的显著性强度的排序来顺序处理显著区域，如注意焦点的显著性强度S(x_i，y_j)>T，则该注意焦点为可疑缺陷区域，其中T为预设判定阈值。

4.根据权利要求1所述的方法，其特征在于，所输入的图像为获得的感兴趣区域，大小按比例规范为32×32；

所述卷积网络的结构共有7层，每层都包含可训练参数，分别为：

卷积层C1，由两个5×5卷积核卷积输入图像获得，由2个特征图构成，特征图中每个神经元与输入中5×5的邻域相连；特征图的大小为28×28，包括52个可训练参数，连接数为52×(28×28)个；

下采样层S2，对图像进行子抽样获得，具有2个14×14的特征图，特征图中的每个单元与C1中相对应特征图的2×2邻域相连接，每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过sigmoid函数计算，每个特征图的大小是C1中特征图大小的1／4，有4个可训练参数和4×(14×14)个连接；

卷积层C3，通过3种不同的5×5卷积核去卷积层S2，由3张10×10特征图组成，每张含10×10个神经元，每个特征图连接到S2中的1个或者2个特征图；

下采样层S4，由16个5×5大小的特征图构成，每个单元与C3中相应特征图的2×2邻域相连接，具有4个可训练参数；

卷积层C5，有100个特征图，每个单元与S4层的全部单元的5×5邻域相连，特征图的大小为1×1，构成了S4和C5之间的全连接；

点积计算层F6，与C5全相连，计算输入向量和权重向量之间的点积，再加上一个偏置，然后将其传递给sigmoid函数产生单元的一个状态；

其中所述卷积网络连接输出层，其由欧氏径向基函数单元组成，计算输入向量和参数向量之间的欧氏距离，该向量在F6sigmoid的范围内，防止sigmoid函数饱和。

5.根据权利要求4所述的方法，其特征在于，所述步骤三的自生长规则进一步定义为：

所述C1、S2、C3、S4层同步匹配生长，各层特征图数量为N_C1、N_S2、N_C3、N_S4，C1特征图每次生长数量为2；S2的特征图数量与C1层相同；C3的前M1个特征图以S2中N_S2／2个相邻的特征图子集为输入；接下来的M2个特征图以S2中N_S2／2+1个相邻特征图子集为输入，然后M3个以不相邻的(N_S2／2)+1个特征图子集为输入，最后一个将S2中所有特征图为输入，C3的特征图数量为M1+M2+M3+1；S4的特征图数量与C3相同；其中M1表示以S2中N_S2／2个相邻的特征图子集为输入的特征图数量、M2表示以S2中N_S2／2+1个相邻特征图子集为输入的特征图数量、M3表示以S2中NS2／2+1个不相邻特征图子集为输入的特征图数量。

设定样本训练时网络的平均误差指标和误差收敛速度阈值，训练初始卷积网络，当平均误差没有达到所述指标时，则生长网络结构，如果平均误差达到所述指标，则考察样本误差收敛速度，如收敛速度没有超过设定阈值，则继续生长网络结构，直到收敛速度达到阈值。

6.根据权利要求1所述的方法，其特征在于，所述步骤四进一步包括：

将上述步骤二获得的依显著性强度排序的可疑区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，通过输出层径向基网络进行识别，输出为缺陷类型。

7.根据权利要求4所述的方法，其特征在于，所述特征包括气孔或裂纹。

8.一种焊缝X射线图像的识别装置，其特征在于，包括：

显著图获取模块，用于对灰度焊缝图像进行逐线视觉扫描，搜索各扫描线的中央点，通过中央-周边差运算，获得焊缝图像的显著图和注意焦点；

可以缺陷区域确定模块，用于根据自适应梯度阈值计算方法，利用自适应中央-周边差阈值和各注意焦点的显著性强度，确定可疑缺陷区域；

深度学习网络构造模块，用于基于卷积神经网络，从初始卷积网络开始，利用预设网络自生长规则进行生长，直到识别能力和检测效率都达到预设期望值；

焊缝缺陷识别模块，用于基于上述深度学习网络，将可疑区域的像素灰度信号输入已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，从而识别出焊缝缺陷。

9.根据权利要求8所述的装置，其特征在于，所述显著图获取模块进一步包括用于执行以下过程的模块：

(1)对X射线图像进行逐行逐列线扫描，

(2)搜索第j列灰度曲线各局部极小峰值点h(x_i，y_j)即中央点，i=1，2，Λ，n，n为中央点的数量；各中央点对应的像素坐标为(x_i，y_j)，

由各中央点开始向左右两侧分别搜索离其最近的顶部，分别为h(x_iL，y_j)和h(x_iR，y_j)，i=1，2，Λ，n；各顶部对应的像素点即周边点，分别为(x_iL，y_j)和(x_iR，y_j)，i=1，2，Λ，n，

(3)定义目标区域N(x_i，y_j)={(x_im，y_j)|m∈Z，L≤m≤R}，由左右两侧周边点之间的像素组成，为可能的注意焦点区域；

计算中央-周边差Δh(x_iL，y_j)=h(x_iL，y_j)-h(x_i，y_j)，Δh(x_iR，y_j)=h(x_iR，y_j)-h(x_i，y_j)，其中i=1，2，Λ，n；取Δh(x_iL，y_j)和Δh(x_iR，y_j)的较小者为中央-周边差Δh，

(4)计算第j行扫描线的自适应中央-周边差阈值T_j：T_j=μ_Δf+kσ_Δf，其中μ_Δf为扫描线中央-周边差的均值；σ_Δf为扫描线中央-周边差的标准差；k为常系数，

(5)计算扫描线上各点显著性强度：将Δh(x_iL，y_j)和Δh(x_iR，y_j)与各扫描线的自适应中央-周边差阈值T_j比较，假设Δh(x_iL，y_j)≥Δh(x_iR，y_j)，将Δh(x_iL，y_j)≥T_j，则该目标区域N(x_i，y_j)显著焦点，各点在显著图中的显著性强度置为S(x_i，y_j)=Δh(x_iL，y_j)，扫描线上其余各点显著性强度置为0，

(6)整副图像扫描完成后，合并相连的显著区域，以最大的显著性强度作为合并区域的显著性强度，得到焊缝X射线图的显著图。

10.根据权利要求8所述的装置，其特征在于，所述可疑缺陷区域确定模块进一步配置为，基于对各注意焦点的显著性强度的排序来顺序处理显著区域，如注意焦点的显著性强度S(x_i，y_j)>T，则该注意焦点为可疑缺陷区域，其中T为预设判定阈值；

并且，所述焊缝缺陷识别模块进一步配置为：将上述可疑缺陷区域确定模块获得的依显著性强度排序的可疑区域作为分析对象，将灰度图像信号作为网络的输入，通过已训练的卷积神经网络深度模型，获取可疑缺陷区域的深度学习本质特征，通过输出层径向基网络进行识别，输出为缺陷类型。