CN116773547B - 一种基于多模态的焊缝缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于多模态的焊缝缺陷检测方法，该焊缝缺陷检测方法中，控制模块根据导波特征参量和图像特征参量确定出关于目标焊缝的品质评价指数，并基于该品质评价指数而得出是否检测出焊缝缺陷的检测结果。本发明公开的基于多模态的焊缝缺陷检测方法是以第二导波信号以及目标焊缝的实时图像作为取样数据而最终确定焊缝缺陷的检测结果，第二导波信号以及目标焊缝的实时图像是来自不同传感器得到的不同类型的取样数据，其中，第二导波信号由关于导波信号的导波信号检测模块得到，表面实时图像和X射线实时图像由实时图像获取模块得到，从而实现了非单一类型数据作为取样数据的焊缝缺陷检测，有利于提高焊缝缺陷检测结果的准确性。

Description

一种基于多模态的焊缝缺陷检测方法

技术领域

本发明涉及焊接技术领域，尤其涉及一种基于多模态的焊缝缺陷检测方法。

背景技术

专利申请CN114596309A公开了一种焊缝缺陷的检测、模型训练方法、系统、设备和存储介质，通过焊缝检测模型识别出焊接工件图像中的焊缝区域，通过缺陷检测模型对焊缝图像进行焊缝缺陷检测，能够高质量地从各种尺寸和拍摄角度的焊接工件图像识别出焊缝区域，并且能够准确地从焊缝区域对应的焊缝图像识别出焊缝缺陷信息，对大量的焊缝缺陷种类具有良好的判别性，提高了检测的准确性和精准度。

然而，上述技术方案的局限性在于有且仅有焊缝图像这一类数据作为焊缝缺陷检测的取样数据，使得缺陷检测的结果往往实际上依靠于焊缝图像的拍摄质量。可以理解的是，该焊缝图像在实际拍摄过程中往往容易出现镜头被遮挡或者待识别的焊缝被遮挡等情况而导致缺陷检测结果的准确性降低。

可见，如何基于非单一类型数据作为取样数据而实现焊缝缺陷检测，是亟需解决的技术问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于多模态的焊缝缺陷检测方法，该方法基于非单一类型数据作为取样数据而实现焊缝缺陷检测。

为了解决上述技术问题，本发明公开了一种基于多模态的焊缝缺陷检测方法，所述焊缝缺陷检测方法应用于焊缝缺陷检测系统，所述焊缝缺陷检测系统包括实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块、结果输出模块以及控制模块，所述实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块和结果输出模块分别与所述控制模块电连接，

其中，所述焊缝缺陷检测方法包括：

所述控制模块控制所述导波发生模块从目标焊缝一端输入第一导波信号；

所述控制模块控制所述导波信号检测模块检测在目标焊缝的长度方向上传播的第二导波信号；

所述控制模块控制所述图像分析模块生成所述第二导波信号对应的导波信号曲线图；

所述控制模块控制所述图像分析模块对所述导波信号曲线图执行特征提取的操作，确定出关于所述第二导波信号的导波特征参量；

所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像，其中，所述实时图像包括表面实时图像和X射线图像；

所述控制模块控制所述图像分析模块对所述实时图像执行特征提取的操作，确定出关于所述目标焊缝的图像特征参量；

所述控制模块根据所述导波特征参量和所述图像特征参量确定出关于所述目标焊缝的品质评价指数；

所述控制模块判定所述品质评价指数是否属于预先确定的品质评价指数阈值范围，若是，则所述控制模块控制所述结果输出模块输出表示未检测出焊缝缺陷的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示检测出焊缝缺陷的第二结果信息。

本发明公开的基于多模态的焊缝缺陷检测方法中，控制模块根据导波特征参量和图像特征参量确定出关于目标焊缝的品质评价指数，并基于该品质评价指数而得出是否检测出焊缝缺陷的检测结果。本发明公开的基于多模态的焊缝缺陷检测方法是以第二导波信号以及目标焊缝的实时图像作为取样数据而最终确定焊缝缺陷的检测结果，第二导波信号以及目标焊缝的实时图像是来自不同传感器得到的不同类型的取样数据，其中，第二导波信号由关于导波信号的导波信号检测模块得到，表面实时图像和X射线实时图像由实时图像获取模块得到，从而实现了非单一类型数据作为取样数据的焊缝缺陷检测，有利于提高焊缝缺陷检测结果的准确性。

作为一种具体的实施方式，本发明中，在所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像之后，以及在所述控制模块控制所述图像分析模块对所述实时图像执行特征提取的操作，确定出关于所述目标焊缝的图像特征参量之前，所述焊缝缺陷检测方法还包括：

所述控制模块控制所述图像分析模块对所述表面实时图像执行霍夫变换直线检测的操作，确定出所述表面实时图像中所述目标焊缝一侧与第一焊接母材之间的第一表面实时图像边界以及确定出所述表面实时图像中所述目标焊缝另一侧与第二焊接母材之间的第二表面实时图像边界。

作为一种具体的实施方式，本发明中，所述导波特征参量包括所述第二导波信号中的回波信号段的数目，在所述控制模块控制所述图像分析模块对所述导波信号曲线图执行特征提取的操作，确定出关于所述第二导波信号的导波特征参量之后，以及在所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像之前，所述焊缝缺陷检测方法还包括：

所述控制模块判定所述第二导波信号中的回波信号段的数目是否大于等于预先确定的阈值，若是，则触发所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像的步骤执行，若否，则所述控制模块控制所述结果输出模块输出表示未检测出内部焊缝缺陷的第三结果信息。

作为一种具体的实施方式，本发明中，所述控制模块根据所述导波特征参量和所述图像特征参量确定出关于所述目标焊缝的品质评价指数，采用的公式如下：

，

式中，为目标焊缝的品质评价指数，/>为导波特征参量影响指数，/>为图像特征参量影响指数，/>、/>为经验系数，

其中，确定采用的公式如下：

；

式中，表示对第二导波信号的取样的样本总数，/>表示第二导波信号的样本序号，表示第/>个样本的第二导波信号的波形幅值，/>表示/>的均值，

以及，确定采用的公式如下：

；

式中，表示对第一表面实时图像边界上的像素点取样的样本总数或者对第二表面实时图像边界上的像素点取样的样本总数，/>表示第一表面实时图像边界上的像素点的样本序号或者第二表面实时图像边界上的像素点的样本序号，/>表示第一表面实时图像边界上的第/>个样本对应的像素点与实时图像第一边缘之间的图像距离，/>表示/>对应的像素点在水平方向上位于第二表面实时图像边界上的对应像素点与表面实时图像边缘之间的图像距离，/>表示X射线实时图像上的目标焊缝的图像长度。

作为一种具体的实施方式，本发明中，所述导波发生模块设置有激励传感器，当激励传感器检测到激励源所输出的激励信号时，所述激励传感器激发的第一导波信号向目标焊缝的一端输入。

作为一种具体的实施方式，本发明中，所述导波信号曲线图包括横坐标为导波传播的时间、纵坐标为第二导波信号的波形幅值构成的坐标系以及位于该坐标系上的表示第二导波信号的波形曲线。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种焊缝缺陷检测系统的结构示意图；

图2是本发明实施例的一种基于多模态的焊缝缺陷检测方法的流程示意图；

图3是本发明实施例的导波传播示意图；

图4是本发明实施例的另一种基于多模态的焊缝缺陷检测方法的流程示意图；

图5是本发明实施例的目标焊缝的一种回波信号示意图；

图6是本发明实施例的目标焊缝的另一种回波信号示意图；

图7是本发明实施例的又一种基于多模态的焊缝缺陷检测方法的流程示意图；

图8是本发明实施例的关于目标焊缝的第二导波信号曲线图；

图9是本发明实施例的关于目标焊缝的表面实时图像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

实施例一：本发明公开了一种基于多模态的焊缝缺陷检测方法，该焊缝缺陷检测方法应用于焊缝缺陷检测系统，如图1所示，焊缝缺陷检测系统包括实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块、结果输出模块以及控制模块，实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块和结果输出模块分别与控制模块电连接。

其中，如图2所示，该焊缝缺陷检测方法包括：

S101、控制模块控制导波发生模块从目标焊缝一端输入第一导波信号。

S102、控制模块控制导波信号检测模块检测在目标焊缝的长度方向上传播的第二导波信号。

可以结合图3的导波传播示意图以更加清楚地理解上述的第一导波信号和第二导波信号的传播过程。可选的，导波发生模块设置有激励传感器，当激励传感器检测到激励源所输出的激励信号时，激励传感器激发的第一导波信号向目标焊缝的一端输入。进一步可选的，导波信号检测模块可以设置有信号接收器，该信号接收器可以设置在目标焊缝靠近激励传感器而设置。第一导波信号从激励源向焊缝长度方向传播过程中，经过焊缝缺陷以及到达焊缝的另一端，会产生关于第一导波信号的回波信号，即第二导波信号。

S103、控制模块控制图像分析模块生成第二导波信号对应的导波信号曲线图。

S104、控制模块控制图像分析模块对导波信号曲线图执行特征提取的操作，确定出关于第二导波信号的导波特征参量。

S105、控制模块控制实时图像获取模块获取关于目标焊缝的实时图像。其中，实时图像包括表面实时图像和X射线图像。可选地，该实时图像获取模块可以包括用于拍摄目标焊缝的表面实时图像的摄像头以及用于获取目标焊缝的X射线图像的X射线成像装置。

S106、控制模块控制图像分析模块对实时图像执行特征提取的操作，确定出关于目标焊缝的图像特征参量。其中，关于目标焊缝的图像特征参量包括关于焊缝的表面实时图像的图像特征参量和X射线实时图像的图像特征参量。可以理解的是，步骤S105和步骤S106为关于图像特征参量的确定步骤，而步骤S101至步骤S104为关于导波特征参量的确定步骤，图像特征参量的确定步骤和导波特征参量的确定步骤之间的先后顺序可以需要而调整。

S107、控制模块根据导波特征参量和图像特征参量确定出关于目标焊缝的品质评价指数。

S108、控制模块判定品质评价指数是否属于预先确定的品质评价指数阈值范围，若是，则执行步骤S109a，若否，则执行步骤S109b。

S109a、控制模块控制结果输出模块输出表示未检测出焊缝缺陷的第一结果信息。

S109b、控制模块控制结果输出模块输出表示检测出焊缝缺陷的第二结果信息。

本发明公开的基于多模态的焊缝缺陷检测方法中，控制模块根据导波特征参量和图像特征参量确定出关于目标焊缝的品质评价指数，并基于该品质评价指数而得出是否检测出焊缝缺陷的检测结果。本发明公开的基于多模态的焊缝缺陷检测方法是以第二导波信号以及目标焊缝的实时图像作为取样数据而最终确定焊缝缺陷的检测结果，第二导波信号以及目标焊缝的实时图像是来自不同传感器得到的不同类型的取样数据，其中，第二导波信号由关于导波信号的导波信号检测模块得到，表面实时图像和X射线实时图像由实时图像获取模块得到，从而实现了非单一类型数据作为取样数据的焊缝缺陷检测，有利于提高焊缝缺陷检测结果的准确性。

实施例二：为了便捷地获取目标焊缝地图像特征参量，可以在图像分析模块对实时图像执行特征提取的操作之前，对该实时图像关于目标焊缝所在的图像位置甄别。可选地，可以通过确定目标焊缝两侧与对应焊接木材相接处的焊缝表面实时图像边界从而确定目标焊缝的图像焊缝位置。

具体而言，在控制模块控制实时图像获取模块获取关于目标焊缝的实时图像之后（即步骤S105之后），以及在控制模块控制图像分析模块对实时图像执行特征提取的操作，确定出关于目标焊缝的图像特征参量之前（即步骤S106之前），如图4所示，该焊缝缺陷检测方法还包括以下步骤：

S1051、控制模块控制图像分析模块对表面实时图像执行霍夫变换直线检测的操作，确定出表面实时图像中目标焊缝一侧与第一焊接母材之间的第一表面实时图像边界以及确定出表面实时图像中目标焊缝另一侧与第二焊接母材之间的第二表面实时图像边界。

目标焊缝端面处以及内部焊缝缺陷（如，气孔）处由于反射面的结构差异较大，对应的回波信号具有较大区别。具体地，如图5所示，为包括有目标焊缝长度方向上的端面之间的焊缝内部缺陷处的缺陷回波信号和该焊缝缺陷处一侧的目标焊缝端面处的端面回波信号，其中，始发波为激励传感器激发的第一导波信号。如图6所示，为目标焊缝长度方向上的端面之间未出现焊缝内部缺陷时的目标焊缝一端面处的端面回波信号（目标焊缝长度方向上的端面之间的回波信号处于相对平稳状态，即未出现明显波动），其中，始发波为激励传感器激发的第一导波信号。那么，可以通过判定第二导波信号中的回波信号段的数目便捷地确定出目标焊缝内部是否存在缺陷（即对目标焊缝的缺陷进行初步筛查），从而提高焊缝缺陷检测的效率。

具体地，导波特征参量可以包括第二导波信号中的回波信号段的数目，在控制模块控制图像分析模块对导波信号曲线图执行特征提取的操作，确定出关于第二导波信号的导波特征参量之后（即步骤S104之后），以及在所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像之前（即步骤S105之前），如图7所示，该焊缝缺陷检测方法还包括：

S1041、控制模块判定第二导波信号中的回波信号段的数目是否大于等于预先确定的阈值，若是，则执行步骤S105，若否，则执行步骤S1042。可选地，该第二导波信号中的回波信号段的预先确定的阈值可以为2。

S1042、控制模块控制结果输出模块输出表示未检测出内部焊缝缺陷的第三结果信息。

实施例三：为了提高确定品质评价指数的过程的高效性，可以基于导波特征参量指数和图像特征参量影响指数以综合考量关于目标焊缝的导波特征的取样数据和关于目标焊缝的实时图像的取样数据而确定出目标焊缝的品质评价指数。

具体地，控制模块根据导波特征参量和图像特征参量确定出关于目标焊缝的品质评价指数，采用的公式如下：

，

式中，为目标焊缝的品质评价指数，/>为导波特征参量影响指数，/>为图像特征参量影响指数，/>、/>为经验系数。可选的，/>、/>可以是本领域技术人员根据经验而预先设定的。

其中，确定采用的公式如下：

；

式中，表示对第二导波信号的取样的样本总数，/>表示第二导波信号的样本序号，表示第/>个样本的第二导波信号的波形幅值，/>表示/>的均值。

为了更好地理解关于导波特征参量影响指数的确定过程，具体的，如图8所示，第二导波信号曲线图对应的导波信号曲线图包括横坐标为导波传播的时间、纵坐标为第二导波信号的波形幅值构成的坐标系以及位于该坐标系上的表示第二导波信号的波形曲线。

以及，确定采用的公式如下：

；

式中，表示对第一表面实时图像边界上的像素点取样的样本总数或者对第二表面实时图像边界上的像素点取样的样本总数，/>表示第一表面实时图像边界上的像素点的样本序号或者第二表面实时图像边界上的像素点的样本序号，/>表示第一表面实时图像边界上的第/>个样本对应的像素点与实时图像第一边缘之间的图像距离，/>表示/>对应的像素点在水平方向上位于第二表面实时图像边界上的对应像素点与表面实时图像边缘之间的图像距离,/>表示X射线实时图像上的目标焊缝的图像长度。可以参见图9以更好地理解关于导波特征参量影响指数的确定过程。可选的，/>可以通过确定X射线实时图像上的目标焊缝长度方向上图像距离最远的两个像素点而确定。

可选的，、/>可以通过关于导波特征参量的先验数据、关于图像特征参量的先验数据以及对应的质量评价指数的先验值作为数据基础并基于机器学习的技术手段（如，神经网络算法）得以确定。进一步可选的，品质评价指数阈值范围可以是通过关于品质评价指数的先验值以及对应的目标焊缝是否存在缺陷的先验分类类型并基于机器学习的技术手段（如，KNN算法）得以确定。

最后应说明的是：本发明实施例公开的一种基于多模态的焊缝缺陷检测方法中，所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述的实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (3)

1.一种基于多模态的焊缝缺陷检测方法，其特征在于，所述焊缝缺陷检测方法应用于焊缝缺陷检测系统，所述焊缝缺陷检测系统包括实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块、结果输出模块以及控制模块，所述实时图像获取模块、导波发生模块、导波信号检测模块、图像生成模块、图像分析模块和结果输出模块分别与所述控制模块电连接，

其中，所述焊缝缺陷检测方法包括：

所述控制模块控制所述导波发生模块从目标焊缝一端输入第一导波信号；

所述控制模块控制所述导波信号检测模块检测在目标焊缝的长度方向上传播的第二导波信号；

所述控制模块控制所述图像分析模块生成所述第二导波信号对应的导波信号曲线图；

所述控制模块控制所述图像分析模块对所述导波信号曲线图执行特征提取的操作，确定出关于所述第二导波信号的导波特征参量；

所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像，其中，所述实时图像包括表面实时图像和X射线图像；

所述控制模块控制所述图像分析模块对所述实时图像执行特征提取的操作，确定出关于所述目标焊缝的图像特征参量；

所述控制模块根据所述导波特征参量和所述图像特征参量确定出关于所述目标焊缝的品质评价指数；

所述控制模块判定所述品质评价指数是否属于预先确定的品质评价指数阈值范围，若是，则所述控制模块控制所述结果输出模块输出表示未检测出焊缝缺陷的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示检测出焊缝缺陷的第二结果信息；

在所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像之后，以及在所述控制模块控制所述图像分析模块对所述实时图像执行特征提取的操作，确定出关于所述目标焊缝的图像特征参量之前，所述焊缝缺陷检测方法还包括：

所述控制模块控制所述图像分析模块对所述表面实时图像执行霍夫变换直线检测的操作，确定出所述表面实时图像中所述目标焊缝一侧与第一焊接母材之间的第一表面实时图像边界以及确定出所述表面实时图像中所述目标焊缝另一侧与第二焊接母材之间的第二表面实时图像边界；

所述导波特征参量包括所述第二导波信号中的回波信号段的数目，在所述控制模块控制所述图像分析模块对所述导波信号曲线图执行特征提取的操作，确定出关于所述第二导波信号的导波特征参量之后，以及在所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像之前，所述焊缝缺陷检测方法还包括：

所述控制模块判定所述第二导波信号中的回波信号段的数目是否大于等于预先确定的阈值，若是，则触发所述控制模块控制所述实时图像获取模块获取关于目标焊缝的实时图像的步骤执行，若否，则所述控制模块控制所述结果输出模块输出表示未检测出内部焊缝缺陷的第三结果信息；

所述控制模块根据所述导波特征参量和所述图像特征参量确定出关于所述目标焊缝的品质评价指数，采用的公式如下：

，

式中，为目标焊缝的品质评价指数，/>为导波特征参量影响指数，/>为图像特征参量影响指数，/>、/>为经验系数，

其中，确定采用的公式如下：

；

式中，表示对第二导波信号的取样的样本总数，/>表示第二导波信号的样本序号，/>表示第/>个样本的第二导波信号的波形幅值，/>表示/>的均值，

以及，确定采用的公式如下：

；

式中，表示对第一表面实时图像边界上的像素点取样的样本总数或者对第二表面实时图像边界上的像素点取样的样本总数，/>表示第一表面实时图像边界上的像素点的样本序号或者第二表面实时图像边界上的像素点的样本序号，/>表示第一表面实时图像边界上的第/>个样本对应的像素点与实时图像第一边缘之间的图像距离，/>表示/>对应的像素点在水平方向上位于第二表面实时图像边界上的对应像素点与表面实时图像边缘之间的图像距离，/>表示X射线实时图像上的目标焊缝的图像长度。

2.根据权利要求1所述的基于多模态的焊缝缺陷检测方法，其特征在于，所述导波发生模块设置有激励传感器，当激励传感器检测到激励源所输出的激励信号时，所述激励传感器激发的第一导波信号向目标焊缝的一端输入。

3.根据权利要求2所述的基于多模态的焊缝缺陷检测方法，其特征在于，所述导波信号曲线图包括横坐标为导波传播的时间、纵坐标为第二导波信号的波形幅值构成的坐标系以及位于该坐标系上的表示第二导波信号的波形曲线。