CN114612457A - 一种基于计算机视觉的汽车零件激光焊接调节方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于计算机视觉的汽车零件激光焊接调节方法及系统。该方法通过初始图像和热度图像确定焊缝热度图像。将焊缝热度图像分为多个焊缝子区域，以焊缝子区域内的热度均值与正常焊缝温度范围做对比获得异常子区域集合，进一步获得异常连通域集合。根据异常连通域集合内的连通域数量获得异常分布连续性。根据异常子区域集合内每个焊缝子区域的宽度差异获得异常宽度相似性。设定中间区域，根据中间区域内焊缝子区域间的热度均值差异获得温度一致性。根据异常分布连续性、异常宽度相似性和温度一致性调节焊接过程。本发明根据焊缝热度图像中各项分布特征全面分析了异常焊缝类型，实时调节激光焊接过程。

Description

一种基于计算机视觉的汽车零件激光焊接调节方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于计算机视觉的汽车零件激光焊接调节方法及系统。

背景技术

激光焊接因为独特的优点使其应用广泛。激光焊接能量密度集中使其焊接速度快，焊接深度大且材料变形小。并且激光焊接工艺稳定，可以通过调节光学器件设置焊接数据，并与自动化机器人结合实现自动化激光焊接。

对于汽车零件来说，激光焊接可以利用焊接优点，提高汽车零件的焊接效率。但是因为焊接过程中的焊接数据的变化或则材料的特殊性，会导致焊缝出现异常。对于异常焊缝可通过多种传感器对焊缝进行识别检测，分析异常状态。但是利用传感器进行异常检测成本过高，且对于一些数据如颜色数据需要人为进行判断，无法自动化的分析异常进而调节焊接过程。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于计算机视觉的汽车零件激光焊接调节方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于计算机视觉的汽车零件激光焊接调节方法，所述方法包括：

获得初始图像和热度图像；分割所述初始图像中的焊缝区域；根据所述焊缝区域确定所述热度图像上的焊缝热度图像；

通过历史正常焊缝数据获得正常焊缝温度范围；将所述焊缝热度图像分为多个焊缝子区域，并获得所述焊缝子区域内的热度均值；将所述热度均值与所述正常焊缝温度范围做对比，获得异常子区域集合；根据所述异常子区域集合获得异常连通域集合；

根据所述异常连通域集合内的连通域数量获得异常分布连续性；

根据所述异常子区域集合内每个所述焊缝子区域内连通域的宽度差异获得异常宽度相似性；

获取所述焊缝热度图的中间区域；根据所述中间区域内所述焊缝子区域之间的所述热度均值差异获得温度一致性；

根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性调节焊接过程。

进一步地，所述分割所述初始图像中的焊缝区域包括：

将所述初始图像送入预先处理好的焊缝区域分割网络中，输出焊缝区域。

进一步地，所述根据所述焊缝区域确定所述热度图像上的焊缝热度图像包括：

根据所述焊缝区域构建掩膜图像；利用所述掩膜图像处理所述热度图像，获得初始焊缝热度图像；将所述初始焊缝热度图像内大于预设热度阈值的像素点保留，获得所述焊缝热度图像。

进一步地，所述通过历史正常焊缝数据获得正常焊缝温度范围包括：

获得所述历史正常焊缝数据内温度概率分布；在所述概率分布内选取满足预设置信度阈值的温度范围作为所述正常焊缝温度范围。

进一步地，所述根据所述异常子区域集合获得异常连通域集合包括：

获得所述异常子区域集合内每个所述焊缝子区域的所述异常连通域；将相邻的所述焊缝子区域内的所述异常连通域合并为一个连通域，获得所述异常连通域集合。

进一步地，所述根据所述异常连通域集合内的连通域数量获得异常分布连续性包括：

以所述连通域数量的倒数作为所述异常分布连续性；

若所述异常分布连续性为一，则判断所述异常连通域分布连续；否则，判断所述异常连通域分布间断。

进一步地，所述根据所述异常子区域集合内所述焊缝子区域的宽度差异获得异常宽度相似性包括：

获取所述异常子区域集合内所有所述焊缝子区域内的连通域的宽度均值；以所有所述焊缝子区域内连通域的宽度与所述宽度均值的平均差异作为宽度偏差；以所述宽度偏差的倒数作为所述异常宽度相似性；

若所述异常宽度相似性大于预设相似性阈值，则判断所述焊缝子区域之间宽度相似；否则，判断所述焊缝子区域域之间宽度不相似。

进一步地，所述根据所述中间区域内所述焊缝子区域之间的所述热度均值差异获得温度一致性包括：

获取所述中间区域每个相邻所述焊缝子区域的热度均值差异；以所述热度均值差异与所述焊缝子区域的所述热度额均值的比值作为所述焊缝子区域的热度偏差；以所述中间区域内所有所述焊缝子区域的平均热度偏差作为所述温度一致性；

若所述温度一致性大于预设一致性阈值，则判断所述中间区域温度分布一致；否则，判断所述中间区域温度分布不一致。

进一步地，所述根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性调节焊接过程包括：

利用二进制编码根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性构建状态特征；根据所述状态特征判断焊缝异常类型，调节焊接过程。

本发明还提出了，一种基于计算机视觉的汽车零件激光焊接调节系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于计算机视觉的汽车零件激光焊接调节方法的步骤。

本发明具有如下有益效果：

本发明实施例通将焊缝热度图像分为多个焊缝子区域，通过历史正常焊缝数据获得温度异常的异常连通域集合。根据异常分布连续性、异常宽度相似性和温度一致性获得了异常区域内的位置分布信息、尺寸差异信息和焊缝整体温度分布信息。通过获取的多种特征信息能够在激光焊接过程中实时的识别异常状态，进而有效调整焊接数据，提高焊接效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于计算机视觉的汽车零件激光焊接调节方法流程图；

图2为本发明一个实施例所提供的一个不同焊缝类型热度对比图；

图3为本发明一个实施例所提供的一个焊缝子区域划分示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的汽车零件激光焊接调节方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于计算机视觉的汽车零件激光焊接调节方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的汽车零件激光焊接调节方法流程图，该方法包括：

步骤S1：获得初始图像和热度图像；分割初始图像中的焊缝区域；根据焊缝区域确定热度图像上的焊缝热度图像。

自动激光焊接机可以通过预先调整的焊接数据自动化控制激光焊接，为了对焊接过程中的焊接数据进行调整，在自动激光焊接机上部署普通RGB相机和红外相机，获得初始图像和热度图像。因为异常焊缝的热度在热度图像中会出现断续现象，所以不能直接通过热度图像中的颜色特征定位焊缝区域，需要分割初始图像中的焊缝区域，根据焊缝区域确定热度图像上的焊缝热度图像，具体包括：

将初始图像送入预先处理好的焊缝区域分割网络中，输出焊缝区域。根据焊缝区域构建掩膜图像。利用掩膜图像处理热度图像，获得初始焊缝热度图像。为了更准确的分析焊缝热度特征，需要去除背景信息仅保留激光焊接直接形成的高热区域。因此将初始焊缝热度图像内大于预设热度阈值的像素点保留，获得焊缝热度图像。在本发明实施例中，热度阈值设置为280度。

在本发明实施例中，因为考虑到焊缝样式不固定，为了让系统适应各种情况，增加泛化能力，焊缝区域分割网络采用语义分割网络。焊缝区域分割网络的具体训练方法包括：

(1)以包含多种焊缝信息的RGB图像作为训练数据。将焊缝像素标注为1，其他像素标注为0，获得标签数据。

(2)焊缝区域分割网络的具体结构为编码-解码结构，将训练数据和标签数据送入焊缝分割编码器中提取特征，获得特征图。焊缝分割解码器将特征图经过采样变换后输出分割图，获得焊缝区域。

(3)采用交叉熵损失函数进行训练。

步骤S2：通过历史正常焊缝数据获得正常焊缝温度范围；将焊缝热度图像分为多个焊缝子区域，并获得焊缝子区域内的热度均值；将热度均值与正常焊缝温度范围做对比，获得异常子区域集合；根据异常子区域集合获得异常连通域集合。

请参阅图2，其示出了本发明一个实施例所提供的一个不同焊缝类型热度对比图。由图2可见，异常焊缝主要体现在高热区域的分布及对应的温度大小上，因此为了准确判断焊缝的异常，需要获得焊缝热度图像中的异常区域。

焊缝热度图像上焊缝的异常区域最直观的特征是温度特征，因此可根据正常的温度范围在焊缝热度图像中筛选出来异常区域，具体包括：

获得历史正常焊缝数据内温度概率分布。在概率分布内选取满足预设置信度阈值的温度范围作为正常焊缝温度范围。为了对异常区域的筛选更精细化，将焊缝热度图像分为多个焊缝子区域，以每个焊缝子区域内的热度均值作为该焊缝子区域的温度特征。将热度均值与正常焊缝温度范围做对比，获得异常子区域集合。需要说明的是，异常子区域集合包括低温异常段和高温异常段，因为两个异常段的后续处理方法相同，所以统称为异常子区域。在本发明实施例中，置信度阈值设置为百分之九十。

请参阅图3，其示出了本发明一个实施例所提供的一个焊缝子区域划分示意图。在本发明实施例中，焊缝子区域为根据焊缝热度图像的长度分割为多个长边连续且尺寸相同的矩形区域，并且每个焊缝子区域都设置有序且连续的序号。

为了方便对异常区域特征，需要根据异常子区域集合内的各个子区域的像素分布获得异常连通域集合。因为焊缝热度图像分为了多个独立的焊缝子区域，对每个焊缝子区域进行单独的连通域分析会影响后续分析结果，不能准确的分析异常焊缝的分布，因此需要获得异常子区域集合内每个焊缝子区域的异常连通域。将相邻的焊缝子区域内的异常连通域合并为一个连通域，获得异常连通域集合。

在本发明实施例中，以异常子区域集合内第一个焊缝子区域为基准，计算下一个焊缝子区域与第一个焊缝子区域的序号差值，若序号差值为1，则说明两个焊缝子区域为相邻区域，将两个焊缝子区域内的异常连通域合并。遍历整个异常子区域集合，获得异常连通域集合。

步骤S3：根据异常连通域集合内的连通域数量获得异常分布连续性。

异常连通域集合经过合并处理后，集合内的连通域数量可以反映异常连通域的分布。如果存在多个异常连通域，则说明异常连通域的分布不连续，存在焊缝整体存在断点；如果只存在一个异常连通域，则说明异常焊缝都被包含在一个连通域内，异常连通域分布连续。因此以异常连通域集合内的连通域数量的倒数作为异常分布连续性。若异常分布连续性为一，则判断异常连通域分布连续；否则，判断异常连通域分布间断。

步骤S4：根据异常子区域集合内每个焊缝子区域内连通域的宽度差异获得异常宽度相似性。

正常的激光焊缝在热度图中的连通域应该是宽度分布均匀的，即各个位置的连通域宽度差异不大。对于一些异常焊缝来说，在热度图中会出现宽度分布不均匀的情况因此可根据异常子区域集合内每个焊缝子区域内连通域的宽度差异表示异常子区域中的宽度分布，具体包括：

获取异常子区域集合内所有焊缝子区域内的连通域的宽度均值。以所有焊缝子区域内连通域的宽度与宽度均值的平均差异作为宽度偏差。以宽度偏差的倒数作为异常宽度相似性。

若异常宽度相似性大于预设相似性阈值，则判断焊缝子区域之间宽度相似。否则，判断焊缝子区域之间宽度不相似。在本发明实施例中，相似性阈值设置为0.9.

步骤S5：获取焊缝热度图的中间区域；根据中间区域内焊缝子区域之间的热度均值差异获得温度一致性。

在激光焊接过程中，中间区域代表了焊接过程中的主要焊接区域，因此在正常焊缝的中间区域中，温度分布应该是均匀的，不同区域不会出现较大差异。因此可根据中间区域内焊缝子区域间的热度均值差异获得温度一致性，具体包括：

获取中间区域每个相邻焊缝子区域的热度均值差异。以热度均值差异与焊缝子区域的热度额均值的比值作为焊缝子区域的热度偏差。以中间区域内所有焊缝子区域的平均热度偏差作为温度一致性。

若温度一致性大于预设一致性阈值，则判断中间区域温度分布一致。否则，判断中间区域温度分布不一致。在本发明实施例中，一致性阈值设置为0.04。

在本发明实施例中，当第i段焊缝子区域满足：

时，人为该焊缝子区域为中间区域，其中，w为焊缝区域的长度，n为焊缝子区域在焊缝区域的长度。

步骤S6：根据异常分布连续性、异常宽度相似性和所述温度一致性调节焊接过程。

异常分布连续性表示了在焊缝上异常区域的位置分布特征，异常宽度相似性表示了在焊缝上异常区域的宽度分布特征，温度一致性表示了在焊缝上焊接的温度分布特征。因此可根据三种特征判断当前的异常状态，进而调节焊接过程，实现实时调节激光焊接。

优选的，利用二进制编码根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性构建状态特征。例如[1，0，1]，表示异常连通域分布连续，焊缝子区域之间宽度不相似且中间区域分布一致。根据所述状态特征判断焊缝异常类型，调节焊接过程，具体调节过程包括：

当焊缝状态特征为[0，0，0]时，如图2所示的第一种焊缝类型，说明焊接过程功率较小，不能满足焊缝温度要求，需要以1瓦为功率间隔将功率值调大，并实时检测焊缝热度图像，直至焊缝的温度值达到焊接要求。

当焊缝状态特征为[0，1，1]时，如图2所示的第二种焊缝类型，说明异常区域分布分散但是宽度均匀，且中间区域温度分布正常。说明此时异常区域可能为焊缝区域温度较大的两端，且由于中间区域温度分布正常因此说明此时焊接过程正常，无需调整焊接功率。

当焊缝状态特征为[1,1,1]时，如图2所示的第三种焊缝类型说明此时中间区域为连续分布的高温异常区域，激光功率较高，需要以1瓦为功率间隔将功率值调小，并实时检测焊缝的热度图，直至焊缝的温度值达到焊接要求。

当焊缝状态特征为[0,0,1]时，如图2所示的第四种焊缝类型，说明异常区域分布分散且尺寸存在差异，可能导致焊缝各区域未通过焊接连接在一起，需要以1瓦为功率间隔将功率值调大，并实时检测焊缝的热度图，直至焊缝的温度值达到焊接要求。

当焊缝状态特征为[0,1,0]时，如图2所示的第五种焊缝类型，说明焊接过程中空气对焊接进行影响，导致了焊缝区域中高温断断续续且尺寸不均匀，需要加强防护，防止空气侵入。

当焊缝状态特征为[1,0,1]时，如图2所示的第六种焊缝类型，说明高温异常区域分布集中，且各个位置尺寸存在差异，此时激光功率过大形成了熔池喷射的现象，需要以2瓦为功率间隔将功率值调小，并实时检测焊缝的热度图，直至焊缝的温度值达到焊接要求。

综上所述，本发明实施例通过初始图像和热度图像确定焊缝热度图像。将焊缝热度图像分为多个焊缝子区域，以焊缝子区域内的热度均值与正常焊缝温度范围做对比获得异常子区域集合，进一步获得异常连通域集合。根据异常连通域集合内的连通域数量获得异常分布连续性。根据异常子区域集合内每个焊缝子区域的宽度差异获得异常宽度相似性。设定中间区域，根据中间区域内焊缝子区域间的热度均值差异获得温度一致性。根据异常分布连续性、异常宽度相似性和温度一致性调节焊接过程。本发明实施例根据焊缝热度图像中各项分布特征全面分析了异常焊缝类型，实时调节激光焊接过程。

本发明还提出了一种基于计算机视觉的汽车零件激光焊接调节系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种基于计算机视觉的汽车零件激光焊接调节方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述方法包括：

获得初始图像和热度图像；分割所述初始图像中的焊缝区域；根据所述焊缝区域确定所述热度图像上的焊缝热度图像；

通过历史正常焊缝数据获得正常焊缝温度范围；将所述焊缝热度图像分为多个焊缝子区域，并获得所述焊缝子区域内的热度均值；将所述热度均值与所述正常焊缝温度范围做对比，获得异常子区域集合；根据所述异常子区域集合获得异常连通域集合；

根据所述异常连通域集合内的连通域数量获得异常分布连续性；

根据所述异常子区域集合内每个所述焊缝子区域内连通域的宽度差异获得异常宽度相似性；

获取所述焊缝热度图的中间区域；根据所述中间区域内所述焊缝子区域之间的所述热度均值差异获得温度一致性；

根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性调节焊接过程。

2.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述分割所述初始图像中的焊缝区域包括：

将所述初始图像送入预先处理好的焊缝区域分割网络中，输出焊缝区域。

3.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述焊缝区域确定所述热度图像上的焊缝热度图像包括：

根据所述焊缝区域构建掩膜图像；利用所述掩膜图像处理所述热度图像，获得初始焊缝热度图像；将所述初始焊缝热度图像内大于预设热度阈值的像素点保留，获得所述焊缝热度图像。

4.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述通过历史正常焊缝数据获得正常焊缝温度范围包括：

获得所述历史正常焊缝数据内温度概率分布；在所述概率分布内选取满足预设置信度阈值的温度范围作为所述正常焊缝温度范围。

5.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述异常子区域集合获得异常连通域集合包括：

获得所述异常子区域集合内每个所述焊缝子区域的所述异常连通域；将相邻的所述焊缝子区域内的所述异常连通域合并为一个连通域，获得所述异常连通域集合。

6.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述异常连通域集合内的连通域数量获得异常分布连续性包括：

以所述连通域数量的倒数作为所述异常分布连续性；

若所述异常分布连续性为一，则判断所述异常连通域分布连续；否则，判断所述异常连通域分布间断。

7.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述异常子区域集合内所述焊缝子区域的宽度差异获得异常宽度相似性包括：

获取所述异常子区域集合内所有所述焊缝子区域内的连通域的宽度均值；以所有所述焊缝子区域内连通域的宽度与所述宽度均值的平均差异作为宽度偏差；以所述宽度偏差的倒数作为所述异常宽度相似性；

若所述异常宽度相似性大于预设相似性阈值，则判断所述焊缝子区域之间宽度相似；否则，判断所述焊缝子区域域之间宽度不相似。

8.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述中间区域内所述焊缝子区域之间的所述热度均值差异获得温度一致性包括：

获取所述中间区域每个相邻所述焊缝子区域的热度均值差异；以所述热度均值差异与所述焊缝子区域的所述热度额均值的比值作为所述焊缝子区域的热度偏差；以所述中间区域内所有所述焊缝子区域的平均热度偏差作为所述温度一致性；

若所述温度一致性大于预设一致性阈值，则判断所述中间区域温度分布一致；否则，判断所述中间区域温度分布不一致。

9.根据权利要求1所述的一种基于计算机视觉的汽车零件激光焊接调节方法，其特征在于，所述根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性调节焊接过程包括：

利用二进制编码根据所述异常分布连续性、所述异常宽度相似性和所述温度一致性构建状态特征；根据所述状态特征判断焊缝异常类型，调节焊接过程。

10.一种基于计算机视觉的汽车零件激光焊接调节系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～9任意一项所述方法的步骤。

Images