CN116012306A

CN116012306A - 基于偏移校正的焊缝检测方法、系统、装置和存储介质

Info

Publication number: CN116012306A
Application number: CN202211605623.2A
Authority: CN
Inventors: 江骏杰; 卢毅然; 彭坤旺
Original assignee: Guangzhou Siruite Intelligent Technology Co ltd
Current assignee: Guangzhou Siruite Intelligent Technology Co ltd
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2023-04-25

Abstract

本发明公开了一种基于偏移校正的焊缝检测方法、系统、装置和存储介质，可广泛应用于智能检测技术领域。本发明方法包括以下步骤：获取搜索基准图像上的模板图像；确定所述模板图像在所述搜索基准图像上的位置坐标作为第一坐标；获取待检测图像，所述待检测图像与所述搜索基准图像相似且包含所述模板图像的特征；确定所述模板图像在所述待检测图像上的位置坐标作为第二坐标；根据所述第一坐标和所述第二坐标对预设检测线进行校正；根据校正后的预设检测线对所述待检测图像进行焊缝检测。本发明能够使待检测的焊缝特征位置与设置参数时的搜索基准图像上的焊缝特征位置一致，进而有效提高焊缝检测的准确度。

Description

基于偏移校正的焊缝检测方法、系统、装置和存储介质

技术领域

本发明涉及智能检测技术领域，尤其是一种基于偏移校正的焊缝检测方法、系统、装置和存储介质。

背景技术

基于机器视觉的车辆焊缝检测技术，主要通过视觉传感器获取到焊缝图像，再通过设定的检测区域进行检测。实际生产过程中，由于工件来料偏差、采图过程不稳定等外部原因，会导致采集到的图像中，待检测的焊缝特征位置，与设置参数时的搜索基准图像上的焊缝特征位置不一致，导致检测区域出现定位不准确的现象，从而导致搜索结果不准确，进而使得焊缝检测结果不准确。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于偏移校正的焊缝检测方法、系统、装置和存储介质，能够有效提高焊缝检测的准确度。

一方面，本发明实施例提供了一种基于偏移校正的焊缝检测方法，包括以下步骤：

获取搜索基准图像上的模板图像；

确定所述模板图像在所述搜索基准图像上的位置坐标作为第一坐标；

获取待检测图像，所述待检测图像与所述搜索基准图像相似且包含所述模板图像的特征；

确定所述模板图像在所述待检测图像上的位置坐标作为第二坐标；

根据所述第一坐标和所述第二坐标对预设检测线进行校正；

根据校正后的预设检测线对所述待检测图像进行焊缝检测。

在一些实施例中，所述获取待检测图像，包括：

获取预设搜索区域范围；

在当前车辆图像上截取所述预设搜索区域范围的图像作为待检测图像。

在一些实施例中，所述确定所述模板图像在所述待检测图像上的位置坐标作为第二坐标，包括：

确定所述模板图像在所述待检测图像上的搜索分数；

根据所述搜索分数确定所述准图像在所述待检测图像上的位置坐标作为第二坐标。

在一些实施例中，所述确定所述模板图像在所述待检测图像上的搜索分数，包括：

获取所述待检测图像上与所述模板图像对应的区域图像；

根据所述区域图像和所述模板图像确定所述搜索分数。

在一些实施例中，所述根据所述第一坐标和所述第二坐标对预设检测线进行校正，包括：

计算所述第一坐标与所述第二坐标的差值；

获取所述预设检测线的位置坐标作为第三坐标；

根据所述差值修改所述第三坐标的数值。

在一些实施例中，所述根据校正后的预设检测线对所述待检测图像进行焊缝检测，包括：

根据校正后的所述预设检测线从所述待检测图像上裁剪得到当前检测区域图像；

对所述当前检测区域图像进行焊缝检测。

在一些实施例中，所述根据校正后的所述预设检测线从所述待检测图像上裁剪得到当前检测区域图像，包括：

根据校正后的所述预设检测线生成矩形框；

获取裁剪间隔；

根据所述矩形框和所述裁剪间隔从所述待检测图像上裁剪得到多个矩形图像作为当前检测区域图像。

另一方面，本发明实施例提供了一种基于偏移校正的焊缝检测系统，包括：

第一模块，用于获取搜索基准图像上的模板图像；

第二模块，用于确定所述模板图像在所述搜索基准图像上的位置坐标作为第一坐标；

第三模块，用于获取待检测图像，所述待检测图像与所述搜索基准图像相似且包含所述模板图像的特征；

第四模块，用于确定所述模板图像在所述待检测图像上的位置坐标作为第二坐标；

第五模块，用于根据所述第一坐标和所述第二坐标对预设检测线进行校正；

第六模块，用于根据校正后的预设检测线对所述待检测图像进行焊缝检测。

另一方面，本发明实施例提供了一种基于偏移校正的焊缝检测装置，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行所述的基于偏移校正的焊缝检测方法。

另一方面，本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现所述的基于偏移校正的焊缝检测方法。

本发明实施例提供的一种基于偏移校正的焊缝检测方法，具有如下有益效果：

本实施例通过确定搜索基准图像上的模板图像后，根据模板图像在搜索基准图像的位置坐标与在待检测图像上的位置坐标之间的差值来校正预设检测线，然后通过校正后的预设检测线来对待检测图像进行焊缝检测，从而使得待检测的焊缝特征位置与设置参数时的搜索基准图像上的焊缝特征位置一致，进而有效提高焊缝检测的准确度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为本发明实施例一种基于偏移校正的焊缝检测方法的流程图；

图2为本发明实施例一种基于偏移校正的焊缝检测方法的完整流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

参照图1，本发明实施例一种基于偏移校正的焊缝检测方法。其中，本实施例的检测方法可以应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明实施例不作具体限制。

在应用过程中，如图1所示，本实施例包括但不限于以下步骤：

步骤S110、获取搜索基准图像上的模板图像；

在本实施例中，搜索基准图像可以是预设设置好的图像，该图像可以是车辆上某个区域对应的空白图像。模板图像可以是该搜索基准图像上某个小区域上的图像。示例性地，在车辆焊接检测领域中，可以将囊括一个车身侧面的空白图像作为搜索基准图像，将该区域内的车门区域图像作为模板图像。具体地，搜索基准图像可以预先保存在MF文件内，在使用过程中，可以通过调用该MF文件后，即能从MF文件中获取得到对应区域的搜索基准图像。

步骤S120、确定模板图像在搜索基准图像上的位置坐标作为第一坐标；

在本实施例中，当获取到搜索基准图像，并根据实际情况确定了模板图像后，可以根据搜索基准图像在坐标系上的位置信息确定每个像素的位置坐标，然后通过确定模板图像在搜索基准图像上的位置信息确定模板图像上每个像素的位置坐标。在本实施例中，由于模板图像是有多个像素点组成，因此，可以选择该模板图像上的中心点坐标作为该模板图像的坐标，也可以选择其他像素点的位置坐标作为该模板图像的位置坐标，具体可以根据实际情况进行调整。

步骤S130、获取待检测图像。

在本实施例中，待检测图像与搜索基准图像相似且包含模板图像的特征。示例性地，若搜索基准图像是指车身侧面区域的空白图像，则待检测图像也是属于车身侧面区域的实际图像。其中，待检测图像可以是实时采集的图像。具体地可以通过摄像设备对车身区域进行实时采集。可以理解的是，当实时采集的车辆图像包括车身和车尾区域，但是搜索基准图像是属于车身区域的图像，则可以将预设搜索区域范围确定为车身区域，因此，在实时采集的车辆图像上截取得到预设搜索区域范围的图像作为待检测图像。在本实施例中，在截取过程中，可以先确定预设搜索区域范围的边界位置，然后确定该边界位置在实时采集的车辆图像上对应的目标位置，然后将该目标位置围成的区域范围截取出来作为待检测图像。

步骤S140、确定模板图像在待检测图像上的位置坐标作为第二坐标；

在本实施例中，可以将待检测图像放入与搜索基准图像相同的坐标系上，使待检测图像与搜索基准图像的位置坐标属于同一坐标系，进而使得后续处理过程无需进行坐标系的转化，提高处理效率。具体地，当确定待检测图像上各个像素点在该坐标系上的位置坐标后，确定模板图像在待检测图像上的区域位置，然后将该区域位置上待检测图像对应的像素点位置坐标作为模板图像在待检测图像上的位置坐标。

在一些实施例中，模板图像的区域可以完全落入待检测图像所属区域内，也可以部分落入待检测图像所属区域内，还可以是完全没有落入待检测图像所属区域内。示例性地，若模板图像的区域只有一小部分落入待检测图像所属区域内，此时将模板图像在待检测图像上的位置坐标作为第二位置坐标，则该位置坐标无法有效表示模板图像与待检测图像的位置关系。因此，本实施例通过模板图像在待检测图像上的搜索分数来确定模板图像在检测图像上的位置坐标。具体地，当模板图像完全落入待检测图像，则可以确定此时的搜索分数为满分100分；当模板图像只有一半落入待检测图像，则可以确定此时的搜索分数为50分；当模板图像完全没有落入待检测图像，则可以确定此时的搜索分数为0分。可以理解的是，本实施例的搜索分数可以根据模板图像落入待检测图像的区域图像与模板图像的比值来确定。

在本实施例中，当确定了模板图像在待检测图像上的搜索分数后，将该搜索分数与分数阈值进行比较，若搜索分数大于分数阈值，则将模板图像在待检测图像上的位置坐标作为第二位置坐标；若搜索分数小于等于分数阈值，则将调整模板图像或重新获取待检测图像。具体地，若调整模板图像，则需要重新确定模板图像在搜索基准图像的位置坐标；若重新获取待检测图像，则只需要重新确定模板图像在待检测图像上的位置坐标。可以理解的是，第二坐标可以通过模板图像在待检测图像上对应的像素点位置坐标确定。具体可以将中心像素点的位置坐标作为第二坐标，也可以将模板图像在待检测图像上对应的所有像素点位置坐标的平均值作为第二坐标。在本实施例中，若第一坐标是选择模板图像在搜索基准图像上某一确定像素点坐标，则第二坐标也选择模板图像在待检测图像上谋一确定像素点坐标；若第一坐标是选择模板图像在搜索基准图像上所有像素点坐标的中心点坐标，则第二坐标也选择模板图像在待检测图像上所有像素点坐标的中心点坐标，通过将两个坐标选择相同的处理方式，以保持两个坐标的同步性。在本实施例中，为了提高第二坐标的代表性，可以将分数阈值设置为90分、95分或98分，但是具体可以根据实际情况进行调整。

步骤S150、根据第一坐标和第二坐标对预设检测线进行校正；

在本实施例中，预设检测线用于确定车辆图像上的焊缝长度和位置。具体地，在得到第一坐标和第二坐标后，可以根据第一坐标和第二坐标的差值来校正预设检测线。可以理解的是，本实施例可以通过计算第一坐标与第二坐标的差值，同时获取预设检测线的位置坐标作为第三坐标，然后根据差值修改第三坐标的数值。其中，校正过程可以将第三坐标的数值加上该差值进行校正。具体地，若第一坐标的数值小于第二坐标的数值，则差值为负数；若第一坐标的数值大于第二坐标的数值，则差值为正数。在根据差值对第三坐标进行校正时，不需要对差值取绝对值，直接将该差值的实际数值与第三坐标进行相加，即可得到校正后的第三坐标。

步骤S160、根据校正后的预设检测线对待检测图像进行焊缝检测。

在本实施例中，在完成预设检测线的校正后，可以通过校正后的预设检测线进行焊缝检测。在检测过程中，本实施例可以根据校正后的预设检测线从待检测图像上裁剪得到当前检测区域图像，对当前检测区域图像进行焊缝检测，从而可以提高焊缝图像裁剪的准确度，进而提高焊缝检测结果的准确度。具体地，对于当前检测区域图像的裁剪过程，可以根据校正后的预设检测线生成矩形框，同时获取裁剪间隔，然后根据矩形框和裁剪间隔从待检测图像上裁剪得到多个矩形图像作为当前检测区域图像。示例性地，当裁剪得到单个当前检测区域图像时，则可以该单个当前检测区域图像进行焊缝分析，例如分析其形状、长度、宽度等信息，进而得到焊缝类型。当裁剪得到多个当前检测区域图像时，则可以逐个对当前检测区域图像进行焊缝分析，例如分析其形状、长度、宽度等信息，进而得到多个当前检测区域图像对应的焊缝类型。在本实施例的分析过程中，焊缝类型包括但不限于纵向裂纹、横向裂纹、放射状裂纹等。

在一些实施例中，如图2所示，本实施例提供的一种基于偏移校正的焊缝检测方法的整体流程如下：

获取MF文件，并从MF文件中抽取当前焊缝检测对应的模板图像a，并确定搜索基准图像b上模板图像a的位置坐标p；

在当前车辆图像上截取预设搜索区域范围Rect的图像作为待检测图像SP；

在待检测图像SP搜索与模板图像a对应的区域后，得到搜索分数MS^，和模板图像a在待检测图像SP上对应的位置坐标p^，；

将搜索分数MS^，与分数阈值MS进行比较，若搜索分数MS^，小于等于分数阈值MS，则确定在待检测图像SP未搜索到与模板图像a对应的区域，此时偏移量为0；若搜索分数MS^，大于分数阈值MS，则计算位置坐标p和位置坐标p^，的差值，并将该差值作为偏移量；

将偏移量附加到预设检测线的起点坐标PStart和终点坐标Pend，以完成预设检测线的校正；

通过校正后的预设检测线进行车辆图像焊缝检测。

本发明实施例提供了一种基于偏移校正的焊缝检测系统，包括：

第一模块，用于获取搜索基准图像上的模板图像；

第二模块，用于确定模板图像在搜索基准图像上的位置坐标作为第一坐标；

第三模块，用于获取待检测图像，其中，待检测图像与搜索基准图像相似且包含所述模板图像的特征；

第四模块，用于确定模板图像在待检测图像上的位置坐标作为第二坐标；

第五模块，用于根据第一坐标和第二坐标对预设检测线进行校正；

第六模块，用于根据校正后的预设检测线对待检测图像进行焊缝检测。

本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例提供了一种基于偏移校正的焊缝检测装置，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载上述程序以执行图1所示的基于偏移校正的焊缝检测方法。

在本实施例中，处理器可以通过总线或其他连接方式与存储器连接。储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于深度学习的焊缝检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现图1所示的基于偏移校正的焊缝检测方法。

本发明方法实施例的内容均适用于本存储介质实施例，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

此外，本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的基于偏移校正的焊缝检测方法。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims

1.一种基于偏移校正的焊缝检测方法，其特征在于，包括以下步骤：

获取搜索基准图像上的模板图像；

根据所述第一坐标和所述第二坐标对预设检测线进行校正；

根据校正后的预设检测线对所述待检测图像进行焊缝检测。

2.根据权利要求1所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述获取待检测图像，包括：

获取预设搜索区域范围；

3.根据权利要求1所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述确定所述模板图像在所述待检测图像上的位置坐标作为第二坐标，包括：

确定所述模板图像在所述待检测图像上的搜索分数；

4.根据权利要求3所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述确定所述模板图像在所述待检测图像上的搜索分数，包括：

获取所述待检测图像上与所述模板图像对应的区域图像；

根据所述区域图像和所述模板图像确定所述搜索分数。

5.根据权利要求1所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述根据所述第一坐标和所述第二坐标对预设检测线进行校正，包括：

计算所述第一坐标与所述第二坐标的差值；

获取所述预设检测线的位置坐标作为第三坐标；

根据所述差值修改所述第三坐标的数值。

6.根据权利要求1所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述根据校正后的预设检测线对所述待检测图像进行焊缝检测，包括：

对所述当前检测区域图像进行焊缝检测。

7.根据权利要求6所述的一种基于偏移校正的焊缝检测方法，其特征在于，所述根据校正后的所述预设检测线从所述待检测图像上裁剪得到当前检测区域图像，包括：

根据校正后的所述预设检测线生成矩形框；

获取裁剪间隔；

8.一种基于偏移校正的焊缝检测系统，其特征在于，包括：

第一模块，用于获取搜索基准图像上的模板图像；

9.一种基于偏移校正的焊缝检测装置，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的基于偏移校正的焊缝检测方法。

10.一种存储介质，其特征在于，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现如权利要求1-7任一项所述的基于偏移校正的焊缝检测方法。