CN111091538B - 一种管道焊缝自动识别、缺陷检测方法及装置 - Google Patents

Abstract

本发明公开了一种管道焊缝自动识别、缺陷检测方法及装置，所述方法包括如下步骤：步骤S1，对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像；步骤S2，对采集的焊缝射线底片图像进行预处理，形成训练样本集；步骤S3，搭建深度神经网络模型，利用所述训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练；步骤S4，获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的所述深度神经网络模型，提取所述焊缝射线底片图像中的焊缝区域、文字信息以及缺陷信息，本发明实现了实现一种方便可行，准确率以及效率高的自动化焊缝识别、缺陷检测技术。

Description

一种管道焊缝自动识别、缺陷检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种管道焊缝自动识别、缺陷检测方法及装置。

背景技术

焊缝射线底片是焊缝质量检测的重要文件，通过对射线底片有效数据的采集，及时了解到管道运行状态，可避免发生泄露与断裂事故。

然而现阶段这项检测工作通常是基于人工在观片室中通过观片灯获取底片焊缝信息，分析并记录到纸质文件，存档保留。这种方法不仅实施困难、效率低下，同时长时间作业易令操作员产生疲累感，降低检测以及评片的准确性，对于人员的生理以及心理考验较大。

因此，业界急需一种方便可行，准确率以及效率高的自动化焊缝识别、缺陷检测技术。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种管道焊缝自动识别、缺陷检测方法及装置，以实现一种方便可行，准确率以及效率高的自动化焊缝识别、缺陷检测技术。

为达上述目的，本发明提出一种管道焊缝自动识别、缺陷检测方法，包括如下步骤：

步骤S1，对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像；

步骤S2，对采集的焊缝射线底片图像进行预处理，形成训练样本集；

步骤S3，搭建深度神经网络模型，利用所述训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练；

步骤S4，获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的所述深度神经网络模型，提取所述焊缝射线底片图像中的焊缝区域、文字信息以及缺陷信息。

优选地，于步骤S4中，对于焊缝区域的提取，通过所述深度神经网络模型，得到图像中各区域焊缝对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h。

优选地，于步骤S4中，对于文字信息的提取，通过所述深度神经网络模型，对图像中焊缝编号自动识别，去除所述深度神经网络模型返回结果中像质计，中心标记，箭头区域以及中文类目所对应的区域，根据返回的各个文字坐标将文字串联起来组成字符串。

优选地，对于缺陷信息的提取，通过所述深度神经网络模型返回缺陷坐标，根据缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。

优选地，步骤S2进一步包括：

步骤S200，对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到所述深度神经网络输入的标准尺寸；。

步骤S201，计算每张所述图像样本中相关图像信息的位置坐标，制作成标签集，并将每张所述图像样本与相应的标签集配对，形成训练样本集。

步骤S202，将各图像样本适当调整图像整体灰度作为数据增广，模拟不同扫描仪亮度下的扫描情况，保存为新的图片并加入原训练样本集。

优选地，于步骤S4中，对于部分T字型较为复杂的焊缝，采用焊缝融合策略得到焊缝区域。

优选地，于步骤S4后，还包括如下步骤：

根据步骤S4获取的焊缝，在数据库中对同类型焊缝进行逐一匹配，并返回相似度靠前的若干焊缝编号，以实现假片判别。

优选地，于步骤S4中，所述文字提取采用字符自动组合方法，包括如下步骤：

对于检测出的区域，首先去除中心标记，单向箭头，汉字以及像质计区域的影响，同时将置信度小于阈值T的文字区域去除；

随后将所有检测出的字符区域记为E₁,E₂,...,E_n，每个字符的中心位置记为(x_ci,y_ci)，并计算该图像中检测出的字符的平均长宽，作为距离判断的阈值；

计算任意两个字符之间的距离D_ij，并利用一个n·n大小的矩阵，用以表征两个字符之间的距离，当D_ij大于两个字符之间距离的阈值T_D时记为0，认为两个字符之间无法直接可达，反之记为1，得到一个n·n大小的初始化可达矩阵；

求解所述可达矩阵得到相应的字符串集合。

优选地，于步骤S4后，还包括如下步骤:

对字符串集合进行处理，去除无关字符，以提高焊缝文字信息提取准确度。

为达到上述目的，本发明还提供一种管道焊缝自动识别、缺陷检测装置，包括：

图像采集模块，用于对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像；

训练样本集形成模块，用于对采集的焊缝射线底片图像进行预处理，形成训练样本集；

模型训练模块，用于搭建深度神经网络模型，利用所述训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练；

焊缝识别模块，用于获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的所述深度神经网络模型，提取所述焊缝射线底片图像中的焊缝区域、文字信息以及缺陷信息。

与现有技术相比，本发明一种管道焊缝自动识别、缺陷检测方法及装置通过搭建深度神经网络模型，利用训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练，通过获取焊缝射线底片图像，并将将预处理后的图像输入搭建并训练好的深度神经网络模型，以得到图像中各焊缝区域及其对应的类目，中心位置C，置信度以及识别出焊缝的宽高，实现了一种方便可行，准确率以及效率高的自动化焊缝识别、缺陷检测技术。

附图说明

图1为本发明一种管道焊缝自动识别、缺陷检测方法的步骤流程图；

图2为本发明具体实施例中深度神经网络模型的训练流程图；

图3为本发明一种管道焊缝自动识别、缺陷检测装置的系统架构图；

图4为本发明具体实施例中管道焊缝自动识别、缺陷检测装置的工作流程示意图；

图5示出了本发明具体实施例的假片判别流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种管道焊缝自动识别、缺陷检测方法的步骤流程图。如图1所示，本发明一种管道焊缝自动识别、缺陷检测方法，包括如下步骤：

步骤S1，对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像，典型缺陷用于学习缺陷特征，而无缺图像以及缺陷图像都可以用于训练焊缝区域提取，文字提取等图像信息。在本发明具体实施例中，可利用扫描仪(例如中晶MII-1000LC)采集焊缝射线底片图像。

步骤S2，对采集的焊缝射线底片图像进行预处理，形成训练样本集。

在本发明具体实施例中，对焊缝射线底片图像进行预处理的目的一是要将图像尺寸归一化到416×416大小，以用于神经网络标准输入，其次是为了针对不同亮度设置下扫描仪获取的图片要进行图像增广。具体地，步骤S2进一步包括：

步骤S201，对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到标准尺寸，以减少图像失真影响。在本发明具体实施例中，根据底片类型(有的是小径管的焊缝图片，有的为普通的焊缝图片)，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸，例如416×416大小的标准尺寸。

步骤S202，计算每张所述图像样本中相关图像信息的位置坐标，制作成标签集，并将每张所述图像样本与相应的标签集配对，形成训练样本集。

步骤S203，训练样本集增广：将预处理后的图像适当调整图像整体灰度，模拟不同扫描仪亮度下的扫描情况，保存为新的图片并加入原训练样本集。

对于任意一张图像I，其任意位置的像素值可以表示为I(x,y)，其中x∈[0,415]，y∈[0,415]，统一增加或者减少p像素值，其中p∈[10,50]，为任意整数。则生成图像I’任意位置像素值可以表示为

或者

/>

本发明中增广次数为6次，即多生成6倍的数据量。同时由于并没有改变图像各个类别的位置，所以不用重新进行标记。

步骤S3，搭建深度神经网络模型，利用训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练。

在本发明具体实施例中，深度神经网络模型采用的是Yolo-V3网络，具体地，对于焊缝提取，分为普通长管道焊缝，小口径管道焊缝以及像质计，因此，在利用所述深度神经网络进行焊缝提取时，将其最后输出层修改为3个类别；对于文字识别，定义字母A-Z，数字0-9，中心标记，中文(包括汉字“年”、“月”、“日”，统一作为一类)，像质计，以及箭头共40个类目，其中，像质计由于含有字母以及数字，在文字提取过程中易发生误检现象，故单独作为一类，因此，在利用所述深度神经网络进行文字提取时，将其最后输出层修改为40个类别；在在利用所述深度神经网络进行缺陷定位时，将其输出层修改为1个类别。

如图2所示，于步骤S3中，将所述训练样本集中的训练样本输入到所述深度神经网络，分别进行焊缝提取、文字识别以及缺陷定位训练，得到训练后的深度神经网络。在本发明具体实施例中，训练样本集中的图像数据与人工标记的标签文件(标签集)一一对应的，通过标签文件可以了解到对应图像区域的图像内容表征的图像信息，通过神经网络抽象出不同图像信息的特征，以达到训练的目的，由于深度神经网络的训练过程为现有技术的成熟技术，在此不予赘述。

在本发明具体实施例中，步骤S3具体进行如下：

1、焊缝提取训练：在训练样本集打标时将焊缝人工分为小管径焊缝以及普通长焊缝，不同的焊缝对应的文字方向以及缺陷定位以及表示方式不同，利用训练样本集通过深度神经网络模型进行焊缝提取训练，焊缝类型确定为本发明中最基础的步骤。

2、文字识别训练：包括训练字母A-Z，数字0-9，中心标记，中文(包括汉字“年”、“月”、“日”，统一作为一类)，像质计，以及箭头共40个类目，这些都是焊缝文字中最常见的类目，在本发明具体实施例中，有一些例如连接线“-”等不常见的字符由于样本量太少而没有放到模型中训练；

3、缺陷定位训练：由于焊缝多数占图像整体区域面积不到三分之一，而缺陷又小之又小，很多时候人眼比较难以发现，对于缺陷类型判定、度量十分困难，因此本发明仅提供了缺陷定位功能。

步骤S4，测试阶段：获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的深度神经网络模型，提取图像中的焊缝区域、文字信息以及缺陷信息。也就是说，于步骤S4中，对于任意一张管道焊缝图像，分为以下三部分提取图像信息：

一，提取焊缝区域：通过所述深度神经网络模型，得到图像中各区域焊缝对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h。

二、提取文字信息：通过所述深度神经网络模型，对图像中焊缝编号自动识别，具体为去除神经网络返回结果中像质计，中心标记，箭头区域以及中文类目所对应的区域，根据返回的各个文字坐标将文字串联起来组成字符串。

三、提取缺陷信息：通过所述深度神经网络模型进行缺陷区域定位，具体为通过缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。

具体地，如图2所示，步骤S4进一步包括：

步骤S400，获取焊缝射线底片图像。在本发明具体实施例中，可利用扫描仪采集焊缝射线底片图像，但本发明的图像采集方式不以此为限。

步骤S401，对获取的焊缝射线底片图像进行预处理。

对焊缝射线底片图像进行预处理的目的一是要将图像尺寸归一化到416×416大小，以用于神经网络标准输入，其次是为了针对不同亮度设置下扫描仪获取的图片要进行图像增广。

具体地，步骤S401进一步包括：

步骤S401a，根据底片类型，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸。

由于大部分焊缝底片的尺寸都不一致，同时扫描仪有自动优化功能，会将边缘曝光区域去除，也会影响最终得到的图像尺寸，因此需要先对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到标准尺寸，以减少图像失真影响。在本发明具体实施例中，根据底片类型(有的是小径管的焊缝图片，有的为普通的焊缝图片)，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸，例如416×416大小的标准尺寸。

步骤S401b，将步骤S401a得到的图像适当调整图像整体灰度，模拟不同扫描仪亮度下的扫描情况。

对于任意一张图像I，其任意位置的像素值可以表示为I(x,y)，其中x∈[0,415]，y∈[0,415]，统一增加或者减少p像素值，其中p∈[10,50]，为任意整数。则生成图像I’任意位置像素值可以表示为

或者

本发明中增广次数为6次，即多生成6倍的数据量。同时由于并没有改变图像各个类别的位置，所以不用重新进行标记。

步骤S402，将预处理后的图像输入训练好的深度神经网络模型，提取出图像中的焊缝区域、文字信息以及缺陷信息。

具体地，对于焊缝区域提取，通过所述深度神经网络模型，得到图像中各焊缝区域及其对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h，该中心位置C指的是矩形框的中心位置。

具体地说，所述深度神经网络自动识别焊缝类型，返回的参数存在类目、矩形框中心坐标、矩形框的长宽，对于获取的中心位置C，其坐标表示为(x_c,y_c)，则识别出的矩形框区域左上角坐标表示为([x_c-0.5*h],[y_c-0.5*w])，右下角坐标表示为([x_c+0.5*h],[y_c+0.5*w])，其中[]表示取整。

优选地，由于部分焊缝是T字型较为复杂，因此对于此类焊缝的焊缝区域，本发明采用焊缝融合策略，假设对于一张输入图像检测出多个焊缝区域W₁,W₂,...,W_n，每个焊缝区域对应的左上角坐标表示为W_li，其中i∈[1,n]，则对应的坐标记为W_li(x_li,y_li)，那么，融合后的焊缝左上角记为

其中，min表示求最小值；右下角记为/>

其中max代表求最大值，/>

表示焊缝区域顶部坐标，/>

表示焊缝区域底部坐标，则融合后焊缝区域的宽度w＝y_r-y_l。焊缝的宽度h以及坐标位置(参数/>

及/>

)由最长焊缝参数决定，其中，最长焊缝定义为W_longest＝W_i if y_ri-y_li＝max(y_r1-y_l1,y_r2-y_l2,...,y_rn-y_ln)，则该焊缝高度即为要求的融合后焊缝高度h。

对于文字信息的提取，通过所述深读神经网络模型，对图像中焊缝编号自动识别，具体为去除神经网络返回结果中像质计，中心标记，箭头区域以及中文区域，根据返回的各个文字坐标将文字串联起来组成字符串。

在本发明具体实施例中，对于文字提取采用字符自动组合方法。具体地说，该方法步骤如下：

对于通过所述深度神经网络检测出的区域，首先去除中心标记，单向箭头，汉字以及像质计区域的影响，同时将置信度小于阈值T的文字区域去除；

随后将所有检测出的字符区域记为E₁,E₂,...,E_n，每个字符的中心位置记为(x_ci,y_ci)，同时，计算该图像中检测出的字符的平均长宽，作为距离判断的阈值；

计算任意两个字符之间的距离，在本发明具体实施例中，假设字符的平均高度记为h_m，平均宽度记为w_m，则任意两个字符E_i,E_j的中心距可以表示为：

其中D表示距离，i∈[1,n]，j∈[1,n]，由此，可以获取一个n·n大小的矩阵，用以表征两个字符之间的距离，两个字符之间距离的阈值TD为w_m·k₂，当D_ij大于TD时记为0，认为两个字符之间无法直接可达，反之记为1，最后可以得到一个n·n大小的初始化可达矩阵；

求解可达矩阵即可得到相应的字符串集合。

特别地，本发明中的阈值T取值为0.6，k₁的取值为0.6，k₂的取值为1.5，本发明中使用Tarjan算法(一种求解有向图强连通分量的线性时间的算法)求解可达矩阵。

对于缺陷信息提取，通过缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。优选地，于步骤S4中，除了在所述焊缝射线底片图像中定位缺陷位置之外，还给出该缺陷区域是缺陷的置信度。

优选地，于步骤S4中，还将不同类型的焊缝将分别存储，以为之后焊缝相似度匹配做准备。于步骤S4后，还包括如下步骤：

步骤S5，根据步骤S4获取的焊缝，在数据库中对同类型焊缝进行逐一匹配，并返回相似度靠前的若干焊缝编号，以供人员自主判别，实现焊缝假片判别。在本发明具体实施例中，采用的匹配方法具体如下：

对于待测焊缝W，数据库含有的焊缝W_i，首先选取W中三个子区域B₁，B₂，B₃，选取方法为在水平方向长度的第一四分位处，中心位置，第三四分位处l×l大小的正方形，在本发明具体实施例中，l的取值为50像素。选取了该三个区域作为模板，分别对W_i进行模板匹配。由于假片存在焊缝颠倒，部分偏转的问题，所以只能通过对W_i进行翻转(包括左右翻转，上下反转以及左右上下同时翻转)生成三张额外图像，总计四张图像W_ij，其中j∈[1,4]，使用三个模板对这几张图像进行匹配，匹配所使用的评价标准为皮尔逊系数，计算方法为：

其中，为了书写方便以及不造成歧义，使用变量Y表示W_ij。

通过判断W_ij中最符合模板的三个区域是否近似在同一直线上，同时顺序是否如待测焊缝选取顺序一致，来判断是否有假片可能，若三个模板中有两个能够顺序一致，则认为该焊缝与待测焊缝存在假片可能，进入下一步检测，否则则认为两者并不相似。

优选地，于步骤S4后，还包括如下步骤:

对字符串集合进行处理，去除无关字符，以提高焊缝文字信息提取准确度。

在本步骤中，涉及到无关字符去除策略，具体为使用正则表达式匹配方法，将独立的字符串中存在的类似日期以及厚度的字符串去除，提高焊缝文字信息提取准确度。其中，正则表达式分为以下几个：

(1)^(((20)[0|1][1-9]).*？(0？[1-9]|1[0-2]).*？(0？[1-9]|[12][0-9]|3[01]).*？)$

(2)^(\d\d)(0？[1-9]|1[0-2])(0？[1-9]|[12][0-9]|3[01])$

(3)^(((？:19|20)\d\d)(0？[1-9]|1[0-2])(0？[1-9]|[12][0-9]|3[01]))$

(4)^(T\d\d)$

其中(1)(2)(3)是针对不同的日期匹配，(4)针对的是厚度。

图3为本发明一种管道焊缝自动识别、缺陷检测装置的系统架构图。如图3所示，本发明一种管道焊缝自动识别、缺陷检测装置，包括：

图像采集模块301，用于对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像，典型缺陷用于学习缺陷特征，而无缺图像以及缺陷图像都可以用于训练焊缝区域提取，文字提取等图像信息。在本发明具体实施例中，可利用扫描仪(例如中晶MII-1000LC)采集焊缝射线底片图像。

训练样本集形成模块302，用于对采集的焊缝射线底片图像进行预处理，形成训练样本集。

在本发明具体实施例中，对焊缝射线底片图像进行预处理的目的一是要将图像尺寸归一化到416×416大小，以用于神经网络标准输入，其次是为了针对不同亮度设置下扫描仪获取的图片要进行图像增广。

所述训练样本集形成模块302具体用于：

对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到标准尺寸，以减少图像失真影响。在本发明具体实施例中，根据底片类型(有的是小径管的焊缝图片，有的为普通的焊缝图片)，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸，例如416×416大小的标准尺寸。

计算每张所述图像样本中相关图像信息的位置坐标，制作成标签集，并将每张所述图像样本与相应的标签集配对，形成训练样本集。

训练样本集增广：将预处理后的图像适当调整图像整体灰度，模拟不同扫描仪亮度下的扫描情况，保存为新的图片并加入原训练样本集。

对于任意一张图像I，其任意位置的像素值可以表示为I(x,y)，其中x∈[0,415]，y∈[0,415]，统一增加或者减少p像素值，其中p∈[10,50]，为任意整数。则生成图像I’任意位置像素值可以表示为

或者

本发明中增广次数为6次，即多生成6倍的数据量。同时由于并没有改变图像各个类别的位置，所以不用重新进行标记。

模型训练模块303，用于搭建深度神经网络模型，利用训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练。

在本发明具体实施例中，深度神经网络模型采用的是Yolo-V3网络，具体地，对于焊缝提取，分为普通长管道焊缝，小口径管道焊缝以及像质计，因此，在利用所述深度神经网络进行焊缝提取时，将其最后输出层修改为3个类别；对于文字识别，定义字母A-Z，数字0-9，中心标记，中文(包括汉字“年”、“月”、“日”，统一作为一类)，像质计，以及箭头共40个类目，其中，像质计由于含有字母以及数字，在文字提取过程中易发生误检现象，故单独作为一类，因此，在利用所述深度神经网络进行文字提取时，将其最后输出层修改为40个类别；在在利用所述深度神经网络进行缺陷定位时，将其输出层修改为1个类别。

如图4所示，于模型训练模块303中，将所述训练样本集中的训练样本输入到所述深度神经网络，分别进行焊缝提取、文字识别以及缺陷定位训练，得到训练后的深度神经网络。在本发明具体实施例中，训练样本集中的图像数据与人工标记的标签文件(标签集)一一对应的，通过标签文件可以了解到对应图像区域的图像内容表征的图像信息，通过神经网络抽象出不同图像信息的特征，以达到训练的目的，由于深度神经网络的训练过程为现有技术的成熟技术，在此不予赘述。

在本发明具体实施例中，模型训练模块303具体进行如下：

1、焊缝提取训练：在训练样本集打标时将焊缝人工分为小管径焊缝以及普通长焊缝，不同的焊缝对应的文字方向以及缺陷定位以及表示方式可能不同，焊缝类型确定为本发明中最基础的步骤。

2、文字识别训练：包括训练字母A-Z，数字0-9，中心标记，中文(包括汉字“年”、“月”、“日”，统一作为一类)，像质计，以及箭头共40个类目，这些都是焊缝文字中最常见的类目，在本发明具体实施例中，有一些例如连接线“-”等不常见的字符由于样本量太少而没有放到模型中训练；

3、缺陷定位训练：由于焊缝多数占图像整体区域面积不到三分之一，而缺陷又小之又小，很多时候人眼比较难以发现，对于缺陷类型判定、度量十分困难，因此本发明仅提供了缺陷定位功能。

焊缝识别模块304，用于获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的深度神经网络模型，提取图像中的焊缝区域、文字信息以及缺陷信息。也就是说，于焊缝识别模块304中，对于任意一张管道焊缝图像，分为三个部分提取图像信息：

一，提取焊缝区域：通过所述深度神经网络模型，得到图像中各区域焊缝对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h。

二、提取文字信息：通过所述深度神经网络模型，对图像中焊缝编号自动识别，具体为去除神经网络返回结果中像质计，中心标记，箭头区域以及中文类目所对应的区域，根据返回的各个文字坐标将文字串联起来组成字符串。

三、提取缺陷信息：通过所述深度神经网络模型进行缺陷区域定位，具体为通过缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。

具体地，焊缝识别模块304进一步包括：

图像获取单元，用于获取焊缝射线底片图像。在本发明具体实施例中，可利用扫描仪采集焊缝射线底片图像，但本发明的图像采集方式不以此为限。

图像预处理单元，用于对获取的焊缝射线底片图像进行预处理。

对焊缝射线底片图像进行预处理的目的一是要将图像尺寸归一化到416×416大小，以用于神经网络标准输入，其次是为了针对不同亮度设置下扫描仪获取的图片要进行图像增广。

图像预处理单元具体用于：

根据底片类型，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸。

由于大部分焊缝底片的尺寸都不一致，同时扫描仪有自动优化功能，会将边缘曝光区域去除，也会影响最终得到的图像尺寸，因此需要先对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到标准尺寸，以减少图像失真影响。在本发明具体实施例中，根据底片类型(有的是小径管的焊缝图片，有的为普通的焊缝图片)，将所述的焊缝射线底片图像采用边缘填充或者裁减的方式统一尺寸，然后归一化到标准尺寸，例如416×416大小的标准尺寸。

将归一化到标准尺寸的图像适当调整图像整体灰度，模拟不同扫描仪亮度下的扫描情况。

对于任意一张图像I，其任意位置的像素值可以表示为I(x,y)，其中x∈[0,415]，y∈[0,415]，统一增加或者减少p像素值，其中p∈[10,50]，为任意整数。则生成图像I’任意位置像素值可以表示为

或者

/>

本发明中增广次数为6次，即多生成6倍的数据量。同时由于并没有改变图像各个类别的位置，所以不用重新进行标记。

图像识别单元，用于将预处理后的图像输入训练好的深度神经网络模型，提取出图像中的焊缝区域、文字信息以及缺陷信息。

具体地，对于焊缝区域提取，通过所述深度神经网络模型，得到图像中各焊缝区域及其对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h，该中心位置C指的是矩形框的中心位置。

具体地说，所述深度神经网络自动识别焊缝类型，返回的参数存在类目、矩形框中心坐标、矩形框的长宽，对于获取的中心位置C，其坐标表示为(x_c,y_c)，则识别出的矩形框区域左上角坐标表示为([x_c-0.5*h],[y_c-0.5*w])，右下角坐标表示为([x_c+0.5*h],[y_c+0.5*w])，其中[]表示取整。

优选地，由于部分焊缝是T字型较为复杂，因此对于此类焊缝的焊缝区域，本发明采用焊缝融合策略，假设对于一张输入图像检测出多个焊缝区域W₁,W₂,...,W_n，每个焊缝区域对应的左上角坐标表示为W_li，其中i∈[1,n]，则对应的坐标记为W_li(x_li,y_li)，那么，融合后的焊缝左上角记为

其中，min表示求最小值；右下角记为/>

其中max代表求最大值，/>

表示焊缝区域顶部坐标，/>

表示焊缝区域底部坐标，则融合后焊缝区域的宽度w＝y_r-y_l。焊缝的宽度h以及坐标位置(参数/>

及/>

)由最长焊缝参数决定，其中，最长焊缝定义为W_longest＝W_i if y_ri-y_li＝max(y_r1-y_l1,y_r2-y_l2,...,y_rn-y_ln)，则该焊缝高度即为要求的融合后焊缝高度h。

对于文字信息的提取，通过所述深读神经网络模型，对图像中焊缝编号自动识别，具体为去除神经网络返回结果中像质计，中心标记，箭头区域以及中文区域，根据返回的各个文字坐标将文字串联起来组成字符串。

在本发明具体实施例中，对于文字提取采用字符自动组合方法。具体地说，该方法步骤如下：

对于通过所述深度神经网络检测出的区域，首先去除中心标记，单向箭头，汉字以及像质计区域的影响，同时将置信度小于阈值T的文字区域去除；

随后将所有检测出的字符区域记为E₁,E₂,...,E_n，每个字符的中心位置记为(x_ci,y_ci)，同时，计算该图像中检测出的字符的平均长宽，作为距离判断的阈值；

计算任意两个字符之间的距离，在本发明具体实施例中，假设字符的平均高度记为h_m，平均宽度记为w_m，则任意两个字符E_i,E_j的中心距可以表示为：

其中D表示距离，i∈[1,n]，j∈[1,n]，由此，可以获取一个n·n大小的矩阵，用以表征两个字符之间的距离，两个字符之间距离的阈值TD为w_m·k₂，当D_ij大于TD时记为0，认为两个字符之间无法直接可达，反之记为1，最后可以得到一个n·n大小的初始化可达矩阵；

求解可达矩阵即可得到相应的字符串集合。

特别地，本发明中的阈值T取值为0.6，k₁的取值为0.6，k₂的取值为1.5，本发明中使用Tarjan算法求解可达矩阵。

对于缺陷信息提取，通过缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。优选地，焊缝识别模块304除了在所述焊缝射线底片图像中定位缺陷位置之外，还给出该缺陷区域是缺陷的置信度。

优选地，于焊缝识别模块304中，还将不同类型的焊缝将分别存储，以为之后焊缝相似度匹配做准备。

优选地，所述管道焊缝自动识别、缺陷检测装置还包括：

假片识别模块305，用于根据焊缝识别模块304获取的焊缝，在数据库中对同类型焊缝进行逐一匹配，并返回相似度靠前的若干焊缝编号，以供人员自主判别，实现焊缝假片判别。在本发明具体实施例中，采用的匹配方法具体如下：

对于待测焊缝W，数据库含有的焊缝W_i，首先选取W中三个子区域B₁，B₂，B₃，选取方法为在水平方向长度的第一四分位处，中心位置，第三四分位处l×l大小的正方形，在本发明具体实施例中，l的取值为50像素。选取了该三个区域作为模板，分别对W_i进行模板匹配。由于假片存在焊缝颠倒，部分偏转的问题，所以只能通过对W_i进行翻转(包括左右翻转，上下反转以及左右上下同时翻转)生成三张额外图像，总计四张图像W_ij，其中j∈[1,4]，使用三个模板对这几张图像进行匹配，匹配所使用的评价标准为皮尔逊系数，计算方法为：

其中，为了书写方便以及不造成歧义，使用变量Y表示W_ij。

通过判断W_ij中最符合模板的三个区域是否近似在同一直线上，同时顺序是否如待测焊缝选取顺序一致，来判断是否有假片可能，若三个模板中有两个能够顺序一致，则认为该焊缝与待测焊缝存在假片可能，进入下一步检测，否则则认为两者并不相似。

优选地，所述管道焊缝自动识别、缺陷检测装置还包括:

文字内容清洗模块306，用于对字符串集合进行处理，去除无关字符，以提高焊缝文字信息提取准确度。

在本发明中，涉及到无关字符去除策略，具体为使用正则表达式匹配方法，将独立的字符串中存在的类似日期以及厚度的字符串去除，提高焊缝文字信息提取准确度。其中，正则表达式分为以下几个：

(1)^(((20)[0|1][1-9]).*？(0？[1-9]|1[0-2]).*？(0？[1-9]|[12][0-9]|3[01]).*？)$

(2)^(\d\d)(0？[1-9]|1[0-2])(0？[1-9]|[12][0-9]|3[01])$

(3)^(((？:19|20)\d\d)(0？[1-9]|1[0-2])(0？[1-9]|[12][0-9]|3[01]))$

(4)^(T\d\d)$

其中(1)(2)(3)是针对不同的日期匹配，(4)针对的是厚度。

图5示出了本发明具体实施例的假片判别流程。其中步骤306的进一步匹配，具体为选取从焊缝图像W的第一个四分位处，到第三个四分位处这一段距离，宽度为50像素的矩形条，而从W_ij中选取第一个匹配到的点，相同长宽的矩形。两者面积一致，长宽一致，则可以通过皮尔逊系数进行相似度判定。步骤307是根据相似度从高到低排列，然后选取最高的5个所对应的焊缝图像返回给用户，让用户最终判定。

综上所述，本发明一种管道焊缝自动识别、缺陷检测方法及装置通过搭建深度神经网络模型，利用训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练，通过获取焊缝射线底片图像，并将将预处理后的图像输入搭建并训练好的深度神经网络模型，以得到图像中各焊缝区域及其对应的类目，中心位置C，置信度以及识别出焊缝的宽高，实现了一种方便可行，准确率以及效率高的自动化焊缝识别、缺陷检测技术。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (7)

1.一种管道焊缝自动识别、缺陷检测方法，包括如下步骤：

步骤S1，对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像；

步骤S2，对采集的焊缝射线底片图像进行预处理，形成训练样本集；

步骤S3，搭建深度神经网络模型，利用所述训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练；

步骤S4，获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的所述深度神经网络模型，提取所述焊缝射线底片图像中的焊缝区域、文字信息以及缺陷信息；

对于焊缝区域的提取，通过所述深度神经网络模型，得到图像中各区域焊缝对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h；

对于文字信息的提取，通过所述深度神经网络模型，对图像中焊缝编号自动识别，去除所述深度神经网络模型返回结果中像质计，中心标记，箭头区域以及中文类目所对应的区域，根据返回的各个文字坐标将文字串联起来组成字符串；

所述文字信息提取采用字符自动组合方法，包括如下步骤：

对于检测出的区域，首先去除中心标记，单向箭头，汉字以及像质计区域的影响，同时将置信度小于阈值T的文字区域去除；

随后将所有检测出的字符区域记为E₁,E₂,...,E_n，每个字符的中心位置记为(x_ci,y_ci)，并计算该图像中检测出的字符的平均长宽，作为距离判断的阈值；

计算任意两个字符之间的距离D_ij，并利用一个n·n大小的矩阵，用以表征两个字符之间的距离，当D_ij大于两个字符之间距离的阈值T_D时记为0，认为两个字符之间无法直接可达，反之记为1，得到一个n·n大小的初始化可达矩阵；

求解所述可达矩阵得到相应的字符串集合。

2.如权利要求1所述的一种管道焊缝自动识别、缺陷检测方法，其特征在于，对于缺陷信息的提取，通过所述深度神经网络模型返回缺陷坐标，根据缺陷返回的坐标，在所述焊缝射线底片图像中标记缺陷位置。

3.如权利要求1所述的一种管道焊缝自动识别、缺陷检测方法，其特征在于，步骤S2进一步包括：

步骤S200，对所述焊缝射线底片图像进行填充或者裁减操作，再归一化到所述深度神经网络输入的标准尺寸；

步骤S201，计算每张所述焊缝射线底片图像样本中相关图像信息的位置坐标，制作成标签集，并将每张所述焊缝射线底片图像样本与相应的标签集配对，形成训练样本集；

步骤S202，将各图像样本适当调整图像整体灰度作为数据增广，模拟不同扫描仪亮度下的扫描情况，保存为新的图片并加入原训练样本集。

4.如权利要求1所述的一种管道焊缝自动识别、缺陷检测方法，其特征在于：于步骤S4中，对于部分T字型较为复杂的焊缝，采用焊缝融合策略得到焊缝区域。

5.如权利要求4所述的一种管道焊缝自动识别、缺陷检测方法，其特征在于，于步骤S4后，还包括如下步骤：

根据步骤S4获取的焊缝，在数据库中对同类型焊缝进行逐一匹配，并返回相似度靠前的若干焊缝编号，以实现假片判别。

6.如权利要求1所述的一种管道焊缝自动识别、缺陷检测方法，其特征在于，于步骤S4后，还包括如下步骤:

对字符串集合进行处理，去除无关字符，以提高焊缝文字信息提取准确度。

7.一种管道焊缝自动识别、缺陷检测装置，包括：

图像采集模块，用于对不同类型的焊缝，不同尺寸的焊缝底片进行搜集，建立焊缝射线底片图像数据库，其中包括含有典型缺陷的以及无缺陷的图像；

训练样本集形成模块，用于对采集的焊缝射线底片图像进行预处理，形成训练样本集；

模型训练模块，用于搭建深度神经网络模型，利用所述训练样本集对焊缝提取、文字识别以及缺陷定位分别进行训练；

焊缝识别模块，用于获取焊缝射线底片图像并进行预处理，将预处理后的图像输入训练好的所述深度神经网络模型，提取所述焊缝射线底片图像中的焊缝区域、文字信息以及缺陷信息；

对于焊缝区域的提取，通过所述深度神经网络模型，得到图像中各区域焊缝对应的类目，中心位置C，置信度以及识别出焊缝的宽高w、h；

对于文字信息的提取，通过所述深度神经网络模型，对图像中焊缝编号自动识别，去除所述深度神经网络模型返回结果中像质计，中心标记，箭头区域以及中文类目所对应的区域，根据返回的各个文字坐标将文字串联起来组成字符串；

所述文字信息提取采用字符自动组合方法，包括如下步骤：

对于检测出的区域，首先去除中心标记，单向箭头，汉字以及像质计区域的影响，同时将置信度小于阈值T的文字区域去除；

随后将所有检测出的字符区域记为E₁,E₂,...,E_n，每个字符的中心位置记为(x_ci,y_ci)，并计算该图像中检测出的字符的平均长宽，作为距离判断的阈值；

计算任意两个字符之间的距离D_ij，并利用一个n·n大小的矩阵，用以表征两个字符之间的距离，当D_ij大于两个字符之间距离的阈值T_D时记为0，认为两个字符之间无法直接可达，反之记为1，得到一个n·n大小的初始化可达矩阵；

求解所述可达矩阵得到相应的字符串集合。

Images