CN115294034A - 焊缝质量检测方法及训练方法 - Google Patents

Abstract

本发明提供了一种焊缝质量检测方法及训练方法。其中，所述焊缝质量检测方法包括如下步骤：获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。基于所述第一灰度图获取所述被检对象的第一法向角图。基于所述第一法向角图划分标记区域。以及，输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。基于所述第一法向角图获取了更多信息并且所携带的信息本身也更为精准，能够提高焊缝质量检测的检测精度，从而解决现有技术中对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

Description

焊缝质量检测方法及训练方法

技术领域

本发明涉及图像识别领域，特别涉及一种焊缝质量检测方法及训练方法。

背景技术

现有技术中，对焊缝表面质量的检测主要依赖激光立体成像或双目立体视觉，前者采用激光结构光进行扫描，后者基于视差原理获得焊缝表面的三维信息，在焊缝表面高度图或三维点云中进行缺陷识别。这种三维重建技术通常耗时较长，特别是当被测物体表面反射率较高时，易出现较多无法测量的区域。三维点云稀疏度较大，当焊缝尺寸较小时，有效数据量较少。这些缺点使得相关方法在高反射材料焊缝表面质量检测时的误判率和漏判率均较高。

也就是说，现有技术中存在对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

发明内容

本发明的目的在于提供一种焊缝质量检测方法及训练方法，以解决现有技术中对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

为了解决上述技术问题，根据本发明的第一个方面，提供了一种焊缝质量检测方法，所述焊缝质量检测方法包括如下步骤：获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。基于所述第一灰度图获取所述被检对象的第一法向角图。基于所述第一法向角图划分标记区域。以及，输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。

可选的，所述基于所述第一灰度图获取所述被检对象的第一法向角图的步骤包括：基于映射模型和所述第一灰度图获取所述第一法向角图；其中，获取所述映射模型的方法包括如下步骤：所述至少两个光源依次照射第一样品，获得第二灰度图，其中，所述第二灰度图的数量和所述光源的数量相对应，所述第一样品的第二法向角图已知；以及，基于所述第二法向角图和所述第二灰度图获取所述映射模型。

可选的，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤包括：若一像素在每一张所述第一灰度图中的灰度符合孔洞判断条件，该像素对应的法向角设置为0°；以及，若一像素在任意一张所述第一灰度图中的灰度不符合孔洞判断条件，该像素对应的法向角基于所述映射模型得到。

可选的，所述第一法向角图以灰度方式存储和展示，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤还包括：所述第一法向角图的像素的灰度值按照像素对应的法向角进行转化计算，其中，180°转化为灰度最大值，0°转化为灰度最小值，其余的角度按照比例进行转化。

可选的，所述光源的照射方向与所述被检对象的被照平面所成的角度小于预设角度。

可选的，所述焊缝质量检测方法还包括如下步骤：获取所述被检对象的在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系；以及，输出和/或展示所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果以获得所述焊缝质量检测结果，所述焊缝质量检测结果包括所述被检对象的表面凹凸性。

可选的，所述标记区域包括水平区域，所述基于所述第一法向角图划分标记区域的步骤包括：对法向角属于水平判定区间的像素进行合并得到至少一个第一子区域；以及，若所述第一子区域大于第一预设面积，所述第一子区域被划分为所述水平区域。

可选的，所述标记区域包括孔洞区域，所述基于所述第一法向角图划分标记区域的步骤包括：对符合孔洞判定条件的像素进行合并得到至少一个第二子区域；以及，若所述第二子区域大于第二预设面积，所述第二子区域被划分为所述孔洞区域，或者，所述第二子区域基于预设规则进行扩展，扩展后的所述第二子区域被划分为所述孔洞区域。

可选的，所述标记区域包括水平区域、孔洞区域和非水平区域，所述基于所述第一法向角图划分标记区域的步骤包括：划分所述水平区域和所述孔洞区域；对于未划分入所述水平区域和所述孔洞区域的像素进行聚类得到至少一类第三子区域；每类所述第三子区域中面积最大的一个被配置为候选子区域；以及，若所述候选子区域的面积大于第三预设面积，并且所述候选子区域的落差高度大于预设高度，所述候选子区域被划分为所述非水平区域。

为了解决上述技术问题，根据本发明的第二个方面，提供了一种训练方法，用于训练焊缝质量检测模型，所述训练方法包括如下步骤：获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射第二样本获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光；基于所述第一灰度图获取所述被检对象的第一法向角图；获取所述第二样本在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系；基于所述第一法向角图划分标记区域；以及，基于所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果训练所述焊缝质量检测模型；其中，所述焊缝质量检测模型用于基于被检对象的所述照明彩色图输出焊缝质量检测结果。

与现有技术相比，本发明提供的一种焊缝质量检测方法及训练方法中，所述焊缝质量检测方法包括如下步骤：获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。基于所述第一灰度图获取所述被检对象的第一法向角图。基于所述第一法向角图划分标记区域。以及，输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。基于所述第一法向角图获取了更多信息并且所携带的信息本身也更为精准，能够提高焊缝质量检测的检测精度，从而解决现有技术中对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1是本发明一实施例的焊缝质量检测方法的流程示意图；

图2a是本发明一实施例的法向角图的工作原理示意图一；

图2b是本发明一实施例的法向角图的工作原理示意图二；

图3a是本发明一实施例的凸面示意图；

图3b是本发明一实施例的凹面示意图；

图4a是本发明一实施例的水平区域的示意图；

图4b是本发明一实施例的孔洞区域的示意图；

图4c是本发明一实施例的非水平区域的示意图；

图5是本发明一实施例的训练方法的流程示意图。

附图中：

1-拍摄装置；2-光源；3-被检对象；11-第一方向角图；12-划分示意图；13彩色照明图；14-水平区域；15-孔洞区域；16-非水平区域。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的核心思想在于提供一种焊缝质量检测方法及训练方法，以解决现有技术中对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

以下参考附图进行描述。请参考图1至图5，其中，图1是本发明一实施例的焊缝质量检测方法的流程示意图；图2a是本发明一实施例的法向角图的工作原理示意图一；图2b是本发明一实施例的法向角图的工作原理示意图二；图3a是本发明一实施例的凸面示意图；图3b是本发明一实施例的凹面示意图；图4a是本发明一实施例的水平区域的示意图；图4b是本发明一实施例的孔洞区域的示意图；图4c是本发明一实施例的非水平区域的示意图；图5是本发明一实施例的训练方法的流程示意图。

本实施例提供了一种焊缝质量检测方法，具有速度快、稳定性好、重复精度高的特点。对于高反射率的被检对象优势更佳，同时也可以应用于低反射率的被检对象。在本说明书中，“高反射率”的概念应当根据本领域公知常识进行理解，也可以理解为，反射率高于预设反射率。

如图1所示，所述焊缝质量检测方法包括如下步骤：

S10获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。

S20基于所述第一灰度图获取所述被检对象的第一法向角图。

S30基于所述第一法向角图划分标记区域。

以及，S40输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。

在步骤S10中，每个所述第一灰度图拍摄时，所述被检对象和拍摄装置之间的相对位置关系不变。“依次照射”应当理解为所述光源不同时打开，以防止互相之间的干扰，所述拍摄装置优选为远心镜头且镜头尺寸大于被检对象的尺寸，如此设置可以忽略镜头小孔成像原理造成的灰度差异。“平行光”应当理解为在工程范畴内平行，能够符合工程应用的标准，而不要求其在实验室精度下平行。“至少两个光源”应当以相对照射位置进行区分，若存在一种方案，仅采用一个物理光源，但是通过一定位装置进行移动，从至少两个预设位置对所述被检对象进行照射，或者所述被检对象和所述拍摄装置通过一定位装置进行移动，使得该物理光源能够从至少两个预设位置对所述被检对象进行照射，上述的变化方案也应当理解为“至少两个光源”。

在步骤S20中，所述第一法向角图是指图中每个像素表征其对应位置的法向角的图，但是具体选择的数据格式是可以任意选择的，在后文中会介绍一种具体的所述第一法向角图的数据设置方式。可以理解的，若存在另一种方案，将每个像素的切向作为参考数据进行分析，其实切向和法向是可以互相转换的，另一种方案中若出现“切向角图”，其实“切向角图”也可以理解为一种广义的“法向角图”，因为两者的转换非常简单和直接。可以理解的，上述的变化方案，或者其他形式的将法向角进行简单转换得到的方案，若每个像素中仍然包含了法向角的信息，那么都可以广义地理解为“法向角图”。

在步骤S40中，若方案采用输出的方式，则相当于将数据输入至其他算法进行后续分析，如此配置，减轻了后续算法的工作负担和设计成本，有利于所述焊缝质量检测结果的获得；若方案采用展示的方式，则后续由用户进行判断分析，由于展示内容已经进行了前期的分析，提取了用户能够理解识别的信息，也有利于所述焊缝质量检测结果的获得。

所述第一灰度图和所述被检对象的每个像素位置的法向角之间包含的原理如图2a和图2b所示。在图2a中，示出了一个所述拍摄装置1，一个所述光源2和两个所述被检对象3，所述被检对象的倾斜程度变化时，所述光源2射出的光线按照光路L1或者光路L2前进，从而使得所述拍摄装置1接收到的光强不同，这个现象在高反射率的材料上更为明显。为了保证检测的准确性，可以采用多个所述光源1进行照射，图2b示出了这种情况，包括一个所述拍摄装置1，两个所述光源2和一个所述被检对象3，所述光源的照射角度发生变化时，所述光源2射出的光线按照光路L3或者光路L4前进，从而使得所述拍摄装置1接受到的光强发生变化。结合多个角度的所述光源2进行照射，可以保证最终法向角的精度。

进一步地，步骤S20所述基于所述第一灰度图获取所述被检对象的第一法向角图的步骤包括：基于映射模型和所述第一灰度图获取所述第一法向角图；其中，获取所述映射模型的方法包括如下步骤：所述至少两个光源依次照射第一样品，获得第二灰度图，其中，所述第二灰度图的数量和所述光源的数量相对应，所述第一样品的第二法向角图已知；以及，基于所述第二法向角图和所述第二灰度图获取所述映射模型。所述映射模型包含灰度值和法向角的映射关系。

例如，可以将平面标定板(即所述第一样品)置于被测区域，调节标定板角度，依次点亮光源并触发拍摄，获得不同照明条件下的灰度图像。由此，获得一系列向量{α,x,y,g1,g2…,gn}，其中α为对应被测点的法向角，x，y为图像像素的横坐标和纵坐标，g1,g2…,gn为不同角度照明时的像素灰度值。基于上述向量组可进行机器学习建立映射模型，即根据不同角度照明的像素灰度值，以及该像素的图像坐标位置，推断被测表面对应区域的法向角。在其他实施例中也可以采用区别于机器学习的其他方法建立映射模型，例如数学拟合等。当所述映射模型得到后，可将被检对象的所述第一灰度图输入所述映射模型，得到第一法向角图。在其他实施例中，平面标定板也可以替换为其他的样品。

该法向角映射模型与成像系统(即光源位置、拍摄装置型号和拍摄位置等)具有对应关系，当成像系统发生变动时，应重新标定并学习。

由于孔洞区域存在特殊的反射特性，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤可以进一步包括：若一像素在每一张所述第一灰度图中的灰度符合孔洞判断条件，该像素对应的法向角设置为0°；以及，若一像素在任意一张所述第一灰度图中的灰度不符合孔洞判断条件，该像素对应的法向角基于所述映射模型得到。在一实施例中，孔洞判断条件为灰度低于预设灰度，预设灰度取值可以例如是50。

为了便于后续处理，所述第一法向角图以灰度方式存储和展示，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤还包括：所述第一法向角图的像素的灰度值按照像素对应的法向角进行转化计算，其中，180°转化为灰度最大值，0°转化为灰度最小值，其余的角度按照比例进行转化。

例如，在一实施例中，灰度最大值为255，灰度最小值为0，180°转化为255，0°转化为0，其他角度的转化公式如下：v＝Int(x/180*255)，其中，v代表转化后的灰度，x代表法向角值，Int表示任意一种取整计算，例如，四舍五入法、去尾法或者进位法等。

为了提高所述焊缝质量检测方法的精度，所述光源的照射方向与所述被检对象的被照平面所成的角度小于预设角度。所述预设角度可以是10°、20°、30°等。所述被照平面应当理解为所述被检对象的表面通过数学方法拟合得到的假想平面，具体的拟合方式可以根据实际需要进行选择。

所述焊缝质量检测方法还包括如下步骤：获取所述被检对象的在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系；以及，输出和/或展示所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果以获得所述焊缝质量检测结果，所述焊缝质量检测结果包括所述被检对象的表面凹凸性。

其中，预设条件下的照明彩色图可根据实际需要进行选择，例如，环形光照明彩色图。具体的照明角度要求、光源要求以及光照强度要求等，可以按照本领域公知常识进行设置。所述照明彩色图中携带的信息可与所述第一法向角图以及所述标记区域的划分结果相互印证，以获得更多的结果或者更精准的结果。

所述被检对象的表面凹凸性可根据图3a和图3b进行理解，在图3a和3b中，有四种光源对所述被检对象进行照射，箭头代表光源以及指示了光源的照射方向，中间的圆形区域表示所述被检对象。四种光源的颜色(或者其他的可区分特性)分别为C1、C2、C3、C4。若所述被检对象的表面为凸面，则其表面的颜色如图3a所示，与光源相邻的区域会呈现相同的颜色。若所述被检对象的表面为凹面，则其表面的颜色如图3b所示，与光源相对的区域会呈现相同的颜色。因此，可根据所述照明彩色图中颜色的分布方式来分析所述表面凹凸性。

在一实施例中，所述标记区域包括水平区域、孔洞区域和非水平区域，步骤S30所述基于所述第一法向角图划分标记区域的步骤包括：对法向角属于水平判定区间的像素进行合并得到至少一个第一子区域；以及，若所述第一子区域大于第一预设面积，所述第一子区域被划分为所述水平区域。例如，当灰度最大值为255，灰度最小值为0时，所述水平判定区间为灰度区间[120,140]所对应的法向角。在一实施例中，所述水平区域14的划分结果如图4a所示，图4a中从左到右依次为所述第一方向角图11、所述典型区域的划分示意图12以及所述彩色照明图13。三张子图所展示的区域对应于相同的所述被检对象。图4b和图4c中的三张子图也可以按照同样的思路进行理解。

步骤S30所述基于所述第一法向角图划分标记区域的步骤还包括：对符合孔洞判定条件的像素进行合并得到至少一个第二子区域；以及，若所述第二子区域大于第二预设面积，所述第二子区域被划分为所述孔洞区域，或者，所述第二子区域基于预设规则进行扩展，扩展后的所述第二子区域被划分为所述孔洞区域。例如，在一实施例中，将所述第一法向角图中灰度为0的区域视为所述孔洞区域。需理解，在本说明书中出现了“孔洞判断条件”和“孔洞判定条件”，上述两个条件所指代的具体条件不同。具体涵义可参见本文相关部分进行理解。在一实施例中，所述孔洞区域15的划分结果如图4b所示。在图4b中，可以看到大小两个区域，小的区域是扩展前的所述第二子区域，大的区域是扩展后的所述第二子区域，扩展的所述预设规则可以根据实际需要进行设置。

步骤S30所述基于所述第一法向角图划分标记区域的步骤还包括：划分所述水平区域和所述孔洞区域；对于未划分入所述水平区域和所述孔洞区域的像素进行聚类得到至少一类第三子区域；每类所述第三子区域中面积最大的一个被配置为候选子区域；以及，若所述候选子区域的面积大于第三预设面积，并且所述候选子区域的落差高度大于预设高度，所述候选子区域被划分为所述非水平区域。具体的聚类方法可以根据实际需要进行选择。

所述候选子区域的落差高度可以这样计算：先找到所述第三子区域的长轴，根据长度和角度计算所述落差高度。在一实施例中，所述非水平区域16的划分结果如图4c所示。图中的三条线段分别为三个所述非水平区域16的长轴。

上述的步骤流程已经可以有助于获得高精度的所述焊缝质量检测结果。为了使得上述方法提供更多的贡献，本实施例还提供了一种训练方法，用于训练焊缝质量检测模型，所述训练方法包括如下步骤：

S110获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射第二样本获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。所述第二样本可以是经过挑选的典型样本，也可以将所述焊缝质量检测方法的运行过程中的被检对象作为所述第二样本。

S120基于所述第一灰度图获取所述被检对象的第一法向角图。

S130获取所述第二样本在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系。

S140基于所述第一法向角图划分标记区域。

以及，S150基于所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果训练所述焊缝质量检测模型。

所述训练方法训练得到的所述焊缝质量检测模型可用于基于被检对象的所述照明彩色图输出焊缝质量检测结果。即，所述焊缝质量检测模型的输出结果不需要所述第一法向图的介入就能得检测结果。

上述步骤流程的具体细节可以参考前文中关于所述焊缝质量检测方法相对应的步骤流程进行设置。

所述训练方法可以单独运行，也可以在所述焊缝质量检测方法的运行过程中收集相关训练图集从而提高效率。

在一实施例中，基于卷积神经网络构建迁移学习模型，其特点在针对不同类型的表面缺陷选用不同的标记图片。对焊点尺寸的判别，可采用所述水平区域，未焊区域通常较平，金属表面留有切割的痕迹，已焊区域经过加热熔化，表面通常有一定程度起伏，金属表面的切割痕迹消失；对于飞溅造成的下凹焊点，采用所述非水平区域，除了法向图外，所述照明彩色图提供了表面的纹理特征；对于表面孔洞检测，采用所述孔洞区域，只留有暗颗粒及其周边像素的法向角和灰度值，有效避免了图像其他信息的干扰。

通常，表面孔洞和未焊区域在图像中的面积比例很低，直接将原始图片送入深度学习模型，难以保证模型学习的特征与人工标记相对应，极易发生漏判或误判，本实施例所采用的训练图片只保留与待检缺陷相关的信息，主动将其他信息去除，基于人工知识降低了模型注意力偏离的风险，有效提高了模型判别的准确性。

现在介绍一具体实施例如下：

针对定子铜排端面激光焊缝进行表面质量检测，检测的缺陷类型包括焊点小、飞溅凹坑和表面孔洞。相机位于焊点上方，配有大尺寸远心镜头，被测面周围均布4个LED平行光，依次低角度照射，平行光照明时同步触发相机拍摄，获得不同入射角的图像。

第一步：采用一块与被测焊点相同材质的铜板作为标定板，将其旋转至不同角度进行拍摄，获取像素灰度值与法向角的映射向量。本实施例中，标定铜板的角度变化范围为0-180度，间隔角度为5度，采用BP神经网络建立映射模型，该模型作为预置参数存在电脑中。

第二步：将被检测铜焊点至于相机下方，按顺序依次启动低角度平行光并触发拍照。焊点检测时，除了不同方向平行光照射外，最后4个LED平行光同时点亮并触发相机拍照，获得近似环形照明的焊点彩色图像(即所述照明彩色图)。所有拍摄均保持相机和被测焊点不动，同一焊点的图像直接按像素对齐即可。

第三步：对焊点的所有图片进行处理，将焊点从背景图像中裁剪出来，以像素为单位建立向量{x,y,g1,g2…,gn}作为BP神经网络的输入，网络输出各像素对应区域的法向角，将法向角按比例转换为1-255重构法向图。将各图像中灰度值均低于50的像素标记为孔洞，将其法向图中对应像素的灰度值设为0。

第四步：首先采用机器视觉方法遍历法向图寻找灰度值为120-140和0的像素点，其中灰度值在120-140范围的像素对应法向角为90度附近，可以判定为水平区域，灰度值为0的像素对应为极少反光的表面孔洞。统计水平区域的面积，如果大于所述第一预设面积，则标记该子平面，结合环照彩色图得到标记图A，标记图A即图4a。

第五步：统计暗颗粒面积，如果大于所述第二预设面积，则标记该暗颗粒，结合环形照明彩色图得到标记图B，标记图B即图4b。

第六步：对于其他灰度值的像素进行聚类分析，本实施例中，聚类个数设定为5，统计聚类分析后的子平面面积，选取各类中面积最大的子平面，如果该子平面面积超过所述第三预设面积，则找到该子平面的长轴，根据长度和角度计算落差高度。如果落差高度大于设定高度阈值，则标记该子平面，结合环形照明彩色图得到标记图C，标记图C即图4c。

第七步：搜集合格焊点与不合格焊点图片，其中不合格焊点包括尺寸偏小、飞溅凹坑和表面孔洞，分别建立图片库；针对3类缺陷分别采用ResNet50模型进行迁移学习，完成模型末层(顶层)重训练和模型内层(前100层)二次训练，所有学习均采用TensorFlow2.4.1(CUDA 11.0)搭建并训练模型，Batch为32，Epoch为10，学习速率为0.00001。经过持续优化，本实施例对飞溅凹坑的识别准确率达到97.5％，对小焊点的识别准确率达到95.3％，对表面孔洞识别准确率达到92.6％。

本实施例具有如下有益效果：

1.提高了检测系统的稳定性，能够获得高反射表面的清晰图像，分辨率高，不存在信号丢失，重复性好。

2.缩短了检测时间，单焊点的总耗时不到300ms，其中图像处理和模式判别的算法耗时不到100ms。相对于传统3D成像检测方法而言，检测时间可降低50％-150％。

3.降低了硬件成本和采购风险，本方案采用通用工业相机、远心镜头和LED光源搭建成像系统，相关元器件市场供应稳定且有国产化元件，相对于3D相机来说，不仅价格较低，而且避免了供货渠道受制于人，降低了企业的采购风险。

综上所述，本实施例提供了一种焊缝质量检测方法及训练方法。其中，所述焊缝质量检测方法包括如下步骤：获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光。基于所述第一灰度图获取所述被检对象的第一法向角图。基于所述第一法向角图划分标记区域。以及，输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。基于所述第一法向角图获取了更多信息并且所携带的信息本身也更为精准，能够提高焊缝质量检测的检测精度，从而解决现有技术中对表面反射率较高的被测物体进行焊缝质量检测时误判率和漏判率较高的问题。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种焊缝质量检测方法，其特征在于，所述焊缝质量检测方法包括如下步骤：

获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射被检对象获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光；

基于所述第一灰度图获取所述被检对象的第一法向角图；

基于所述第一法向角图划分标记区域；以及，

输出和/或展示所述第一法向角图以及所述标记区域的划分结果以获得焊缝质量检测结果。

2.根据权利要求1所述的焊缝质量检测方法，其特征在于，所述基于所述第一灰度图获取所述被检对象的第一法向角图的步骤包括：基于映射模型和所述第一灰度图获取所述第一法向角图；其中，获取所述映射模型的方法包括如下步骤：

所述至少两个光源依次照射第一样品，获得第二灰度图，其中，所述第二灰度图的数量和所述光源的数量相对应，所述第一样品的第二法向角图已知；以及，

基于所述第二法向角图和所述第二灰度图获取所述映射模型。

3.根据权利要求2所述的焊缝质量检测方法，其特征在于，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤包括：

若一像素在每一张所述第一灰度图中的灰度符合孔洞判断条件，该像素对应的法向角设置为0°；以及，

若一像素在任意一张所述第一灰度图中的灰度不符合孔洞判断条件，该像素对应的法向角基于所述映射模型得到。

4.根据权利要求3所述的焊缝质量检测方法，其特征在于，所述第一法向角图以灰度方式存储和展示，所述基于映射模型和所述第一灰度图获取所述第一法向角图的步骤还包括：

所述第一法向角图的像素的灰度值按照像素对应的法向角进行转化计算，其中，180°转化为灰度最大值，0°转化为灰度最小值，其余的角度按照比例进行转化。

5.根据权利要求1所述的焊缝质量检测方法，其特征在于，所述光源的照射方向与所述被检对象的被照平面所成的角度小于预设角度。

6.根据权利要求1所述的焊缝质量检测方法，其特征在于，所述焊缝质量检测方法还包括如下步骤：

获取所述被检对象的在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系；以及，

输出和/或展示所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果以获得所述焊缝质量检测结果，所述焊缝质量检测结果包括所述被检对象的表面凹凸性。

7.根据权利要求1～6中任一项所述的焊缝质量检测方法，其特征在于，所述标记区域包括水平区域，所述基于所述第一法向角图划分标记区域的步骤包括：

对法向角属于水平判定区间的像素进行合并得到至少一个第一子区域；以及，

若所述第一子区域大于第一预设面积，所述第一子区域被划分为所述水平区域。

8.根据权利要求1～6中任一项所述的焊缝质量检测方法，其特征在于，所述标记区域包括孔洞区域，所述基于所述第一法向角图划分标记区域的步骤包括：

对符合孔洞判定条件的像素进行合并得到至少一个第二子区域；以及，

若所述第二子区域大于第二预设面积，所述第二子区域被划分为所述孔洞区域，或者，所述第二子区域基于预设规则进行扩展，扩展后的所述第二子区域被划分为所述孔洞区域。

9.根据权利要求1～6中任一项所述的焊缝质量检测方法，其特征在于，所述标记区域包括水平区域、孔洞区域和非水平区域，所述基于所述第一法向角图划分标记区域的步骤包括：

划分所述水平区域和所述孔洞区域；

对于未划分入所述水平区域和所述孔洞区域的像素进行聚类得到至少一类第三子区域；

每类所述第三子区域中面积最大的一个被配置为候选子区域；以及，

若所述候选子区域的面积大于第三预设面积，并且所述候选子区域的落差高度大于预设高度，所述候选子区域被划分为所述非水平区域。

10.一种训练方法，其特征在于，用于训练焊缝质量检测模型，所述训练方法包括如下步骤：

获取第一灰度图，其中，所述第一灰度图基于至少两个光源依次照射第二样本获得，所述第一灰度图的数量和所述光源的数量相对应，所述光源输出平行光；

基于所述第一灰度图获取所述被检对象的第一法向角图；

获取所述第二样本在预设条件下的照明彩色图，其中，所述照明彩色图和所述第一法向角图上的像素具有对应关系；

基于所述第一法向角图划分标记区域；以及，

基于所述第一法向角图、所述照明彩色图以及所述标记区域的划分结果训练所述焊缝质量检测模型；其中，所述焊缝质量检测模型用于基于被检对象的所述照明彩色图输出焊缝质量检测结果。

Images