CN114354618A - 一种焊缝检测的方法及装置 - Google Patents
一种焊缝检测的方法及装置 Download PDFInfo
- Publication number
- CN114354618A CN114354618A CN202111540853.0A CN202111540853A CN114354618A CN 114354618 A CN114354618 A CN 114354618A CN 202111540853 A CN202111540853 A CN 202111540853A CN 114354618 A CN114354618 A CN 114354618A
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- image data
- weld
- area
- welding seam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000013135 deep learning Methods 0.000 claims description 47
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 23
- 230000007547 defect Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例涉及机器视觉技术领域，公开了一种焊缝检测的方法及装置，用以高效、准确地确定焊缝是否符合质量标准。方法包括：获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像对应相同的焊件表面区域；基于所述二维图像，确定焊件表面的焊缝在所述二维图像中的第一目标位置区域；基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。基于多源数据对焊件表面的焊缝进行检测及定量判别，根据二维图像数据快速准确定位到焊缝的第一目标位置区域，根据三维图像数据对焊缝进行定量的质量判别。融合该两种数据检测结果，能够实现高效、准确地确定焊缝是否符合预设质量标准。
Description
技术领域
本申请涉及机器视觉技术领域，特别涉及一种焊缝检测的方法及装置。
背景技术
焊接技术是在工业制造生产过程中十分重要的一个环节，广泛的应用于众多军事民生领域。焊缝质量检测是工业制造行业重点关注的问题，具有极大的应用前景及发展意义，其中焊缝的表面质量是最先关心的部分，其直接影响着工业产品的安全性和可靠性。制造业的飞速发展，焊接技术由人工焊接发展为机器人自动焊接，在焊接过程中，由于焊接工艺、焊件结构复杂和热变形等原因，焊接质量难以保证，因此需要在生产过程中对焊缝的表面进行质量判别，来确定焊缝是否合格。如何高效、准确地确定焊缝是否符合质量标准，是需要解决的技术问题。
发明内容
本申请提供一种焊缝检测的方法及装置，用以提升检测焊缝是否符合质量标准的效率和准确度。
为达到上述目的，本申请实施例公开了一种焊缝检测的方法，所述方法包括：
获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；
基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；
基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，基于所述二维图像，确定焊缝在所述二维图像中的第一目标位置区域，包括：
将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；或者，
将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到所述第一目标位置区域；或者，
将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到焊缝在所述二维图像中的第一子位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第二子位置区域；基于所述第一子位置区域和所述第二子位置区域，确定所述第一目标位置区域。
一种示例中，所述基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准；其中，
所述三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的周边位置区域的图像数据。
一种示例中，所述三维图像数据包括所述第一参考图像数据，所述基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；
基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据，所述基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差；
基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
一种示例中，所述基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差，包括：
确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；
将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。
一种示例中，在基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准之前，还包括：
对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域；
将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包含焊缝。
本申请实施例公开了一种焊缝检测的装置，所述装置包括：
获取模块，用于获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；
位置检测模块，用于基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；
质量检测模块，用于基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述位置检测模块，用于将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；或者，将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到所述第一目标位置区域；或者，将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到焊缝在所述二维图像中的第一子位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第二子位置区域；基于所述第一子位置区域和所述第二子位置区域，确定所述第一目标位置区域。
一种示例中，所述质量检测模块，用于基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准；其中，所述三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的周边位置区域的图像数据。
一种示例中，所述三维图像数据包括所述第一参考图像数据，所述质量检测模块，具体用于基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据，所述质量检测模块，具体用于基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差；基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
一种示例中，所述质量检测模块，具体用于确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。
一种示例中，所述质量检测模块，还用于对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域；将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包含焊缝。
本申请实施例公开了一种焊缝检测的装置，包括处理器和存储器；
所述存储器，用于存储计算机程序或指令；
所述处理器，用于执行所述存储器中的部分或者全部计算机程序或指令，当所述部分或者全部计算机程序或指令被执行时，用于实现如上所述的焊缝检测的方法。
本申请实施例公开了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序包括用于实现如上所述的焊缝检测的方法的指令。
本申请实施例公开了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如上所述的焊缝检测的方法。
基于多源数据对焊件表面的焊缝进行检测及定量判别，根据二维图像数据快速准确定位到焊缝的第一目标位置区域，根据三维图像数据对焊缝进行定量的质量判别。融合该两种数据检测结果，能够实现焊缝的自动化定量检测，以实现高效、准确地确定焊缝是否符合质量标准。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种焊缝检测过程示意图；
图2为本申请提供的一种焊缝示意图；
图3为本申请提供的一种焊缝检测过程示意图；
图4为本申请提供的一种焊缝检测的装置结构图；
图5为本申请提供的一种焊缝检测的装置结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的一种焊缝检测过程示意图，该过程的执行设备可以是任一电子设备。该过程至少包括以下步骤：
步骤101：获取焊件表面的二维图像和三维图像。
所述二维图像和所述三维图像是针对相同的焊件表面区域采集的，即所述二维图像和所述三维图像对应相同的焊件表面区域。
该步骤101的具体细节可以参考图3中的步骤301、步骤302、步骤304a和步骤304b中的描述。
步骤102：基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域。
如图2所示，提供了一种焊件表面上的焊缝示意图。焊缝(welded seam)利用焊接热源的高温，将焊条和接缝处的金属熔化连接而成的缝。焊缝金属冷却后，即将两个焊件连接成整体。
位置区域可以采用坐标的形式表示，例如采用位置区域左上角坐标和右下角坐标表示，或者采用位置区域右上角坐标和左下角坐标表示。
在一种可选的示例中，基于所述二维图像，确定焊缝在所述二维图像中的第一目标位置区域，包括：将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域。为了便于区分，将基于第一深度学习网络模型确定的第一目标位置区域称为第一子位置区域。该步骤的具体细节可以参考图3中的步骤305中的描述。例如，第一子位置区域表示为[(xld,y1d),(x2d，y2d)，其中，(x1d，y1d)为第一子位置区域左上角坐标，(x2d，y2d)为第一子位置区域右下角坐标；或者，(x1d，y1d)为第一子位置区域右上角坐标，(x2d，y2d)为第一子位置区域左下角坐标。
在一种可选的示例中，基于所述二维图像，确定焊缝在所述二维图像中的第一目标位置区域，包括：将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第一目标位置区域。为了便于区分，将基于模板匹配确定的第一目标位置区域称为第二子位置区域，得到第二子位置区域的具体细节可以参考图3中的步骤303和步骤306中的描述。例如，第二子位置区域表示为[(x1l,y1l),(x2l,y2l)]。
在一种可选的示例中，将基于预先训练好的第一深度学习网络模型得到的第一子位置区域和模板匹配得到的第二子位置区域进行取并集或交集，作为最终的第一目标位置区域，表示为[(X1，Y1)，(X2，Y2)]。该示例的具体细节可以参考图3中的步骤307中的描述。将采用第一深度学习网络模型得到的第一子位置区域与采用模板匹配方式得到的第二子位置区域进行结合，来确定最终的第一目标位置区域，避免单一的检测方法造成的焊缝的漏检，可以使确定出的焊缝的位置区域更加精确，可以进一步提高焊缝质量检测的准确性。
步骤103：基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
质量标准可以分为两级，例如合格、不合格。质量标准可以分为三级或更多级，例如差、中、优等。
基于多源数据对焊件表面的焊缝进行检测及定量判别，根据二维图像数据快速准确定位到焊缝的第一目标位置区域，根据三维图像数据对焊缝进行定量的质量判别。融合该两种数据检测结果，能够实现焊缝的自动化定量检测，以实现高效、准确地确定焊缝是否符合质量标准。
在基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准时，可以是基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准。
与所述第一目标位置区域关联的三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的第二周边位置区域的图像数据。
第二目标位置区域和第二周边位置区域可以采用三维坐标来表示。
如图2所示，提供了一种焊件表面上的焊缝的目标位置区域和周边位置区域的示意图。
所述第二周边位置区域可以是在三维图像中对第二目标位置区域进行边界扩大后得到的，第二周边位置区域为第二目标位置区域的外围的位置区域。
所述第二周边位置区域可以是在二维图像中对第一目标位置区域进行边界扩大后，再映射至三维图像中得到的。例如，在二维图像中对第一目标位置区域进行边界扩大，得到第二位置区域，第二位置区域中包括第一目标位置区域和第一周边位置区域。三维图像中的第二目标位置区域与二维图像中的第一目标位置区域对应所述焊件表面上的同一区域。三维图像中的第二周边位置区域与二维图像中的第一周边位置区域对应所述焊件表面上的同一区域。
在一种可选的示例中，在所述三维图像数据包括所述第一参考图像数据的情况下，在基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准时，可以是基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
所述第一高度差可以是基于第二目标位置区域中的深度值确定的，例如第一高度差h1为第二目标位置区域中的最大深度值与最小深度值的差值的绝对值。深度值可以理解为3D相机至焊件的各个点的距离。
第一阈值的取值例如为1㎜、1.5mm、2mm、2.5mm等，当第一高度差大于或等于第一阈值时，确定所述焊缝的质量不符合预设质量标准，当第一高度差小于或等于第一阈值时，确定所述焊缝的质量符合预设质量标准。也可以是设置2个、甚至更多个阈值，来确定所述焊缝的质量是否符合预设质量标准。
在一种可选的示例中，在所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据的情况下，在基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准时，可以是基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝第二周边位置区域和第二目标位置区域的第二高度差；基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
所述第二高度差可以是基于第二目标位置区域中的深度值以及第二周边位置区域中的深度值确定的。例如，第二高度差为第二目标位置区域中的最小/最大深度值和第二周边位置区域中的最小/最大深度值的差值的绝对值。
再例如，在基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝第二周边位置区域和第二目标位置区域的第二高度差时，可以是确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。采用平均值来确定高度差，可以使高度差的取值更加精准，可以进一步提高焊缝质量检测的准确性。
第二阈值例如为0.5mm、1mm、1.5mm等，当第二高度差大于或等于第二阈值时，确定所述焊缝的质量不符合预设质量标准，当第二高度差小于或等于第二阈值时，确定所述焊缝的质量符合预设质量标准。也可以是设置2个、甚至更多个阈值，来确定所述焊缝的质量是否符合预设质量标准。
在一种可选的示例中，在所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据的情况下，可以基于第一高度差、第一阈值，以及第二高度差和第二阈值，来确定所述焊缝是否符合预设质量标准。例如，同时满足第一高度差小于或等于第一阈值，第二高度差小于或等于第二阈值，才确定焊缝的质量符合预设质量标准。通过对边界进行扩充，结合两种类别的高度差来对焊缝进行检测，可以进一步提高焊缝质量检测的准确性。
在一种可选的示例中，在基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准之前，还可以对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域，将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包括焊缝；所述第二深度学习网络模型用于确定图像中是否包括焊缝。如果输出结果为第二位置区域不包括焊缝，则可以结束。如果输出结果为第二位置区域包括焊缝，则可以执行后续步骤。该过程的具体细节可以参考图3中的步骤309中的描述。采用基于深度学习的目标分类技术对扩大后的区域进行焊缝缺陷的二次判别，这样可以滤除掉之前的错误检测的结果，提升缺陷焊缝检测的准确率。
图3为本申请提供的一种具体的焊缝检测过程示意图，包括以下步骤：
步骤301：2D相机和3D相机的安装。
2D相机和3D相机朝向待检焊件安装，2D相机和3D相机安装高度相同，且2D相机和3D相机之间无间隔，最终两个相机的成像区域相同，采集的图像数据和深度数据清晰。
步骤302：2D相机和3D相机的图像配准。
对2D相机和3D相机进行图像配准，使得2D相机的坐标和3D相机的坐标相对应。
例如，分别对2D相机和3D相机进行相机标定，获取相机坐标系与世界坐标系之间的矩阵变换，例如，w2D＝M2D×P2D，w3D＝M3D×P3D，其中，P2D为2D相机的相机坐标系，P3D为3D相机的相机坐标系，w2D为2D相机的世界坐标系，w3D为3D相机的世界坐标。标定方法包括但不限于自标定法，主动标定法等。然后对2D相机的世界坐标系和3D相机的世界坐标系进行矩阵转换对齐，可实现2D相机和3D相机的图像配准。其中，w3D＝M×w2D，P3D＝M×M2D×P2D×M3D -1。M为2D相机的世界坐标系和3D相机的世界坐标系之间的转换矩阵，上标-1为矩阵求逆。
步骤303：建立焊缝缺陷数据模板。
模板中包括但不限于凹陷、烧痕、空洞和气泡等焊缝类别。
步骤304a：2D相机采集焊件表面的二维图像数据。
步骤304b：3D相机采集焊件表面的三维图像数据。
由于两个相机的成像区域相同，所以二维图像和三维图像对应相同的焊件表面区域。
步骤305：将二维图像数据进行基于第一深度学习网络的检测，确定所述二维图像中焊缝的第一子位置区域(即上文介绍的第一目标位置区域)。
例如，构建一个多层的深度学习网络模型，包含多个卷积层、池化层和下采样层等。获取多个二维图像，并在二维图像上标注焊缝的数据集，得到样本二维图像。焊缝的数据集例如焊缝的位置区域信息，可选的，还可以包括焊缝类别信息，焊缝类别包括但不限于凹陷、烧痕、空洞和气泡等。
采用多个样本二维图像对构建好的深度学习网络模型进行训练，得到训练好的第一深度学习网络模型。还可以采用梯度下降的策略和Adam的优化函数持续训练优化模型结果。第一深度学习网络模型训练完成后，采用最优的训练结果来检测焊件表面质量，初步得到焊缝的位置区域(即第一子位置区域)，可选的，还可以得到焊缝的类别。
焊缝的第一子位置区域表示为[(x1d，y1d),(x2d,y2d)]，其中，(x1d，y1d)为第一子位置区域左上角坐标，(x2d，y2d)为第一子位置区域右下角坐标；或者，(x1d，y1d)为第一子位置区域右上角坐标，(x2d，y2d)为第一子位置区域左下角坐标。
可以理解的是，该第一深度学习网络模型还具有判断二维图像中是否包含焊缝区域的能力。当输入到第一深度学习网络模型的二维图像中不包括焊缝区域时，该第一深度学习网络模型可以不输出位置区域的坐标，即坐标为空，或者输出的位置区域的坐标可以是默认值，例如默认值为(0，0)。
步骤306：将二维图像数据与模板进行匹配，确定所述二维图像中焊缝的第二子位置区域(即上文介绍的第一目标位置区域)。
通过对比二维图像数据与步骤303建立的焊缝缺陷数据模板，确定焊缝的第二子位置区域，表示为[(x1l,y1l),(x2l,y2l)]。可选的，模板中包括多种焊缝缺陷类别，还可以得到焊缝的类别。使用方法包括但不限于互相关系数法、归一化互相关系数法等。
可以理解的是，通过模板比对还可以判断二维图像中是否包含焊缝区域的能力。当不包含焊缝区域时，模板比对输出的位置区域的坐标可以为空，或者可以是默认值，例如默认值为(0，0)。
步骤307：结合步骤305的结果和步骤306中的结果，确定焊缝的最终位置区域[(X1，Y1)，(X2，Y2)](即上文介绍的第一目标位置区域)。
可以将步骤305中的焊缝的第一子位置区域[(x1d，y1d),(x2d，y2d),和步骤306中的焊缝的第二子位置区域[(x1l，y1l)，(x2l，y2l)]的并集或交集，作为焊缝的最终位置区域[(X1，Y1)，(X2，Y2)]。
在步骤305和步骤306的结果中只要有任一结果不为空，或不为默认值，则说明检测到了焊缝区域，可以执行步骤307，来确定焊缝的最终位置区域。如果步骤305和步骤306的结果均为空，或默认值，说明未检测到焊缝区域，则可以结束。
将采用第一深度学习网络模型得到的第一子位置区域与采用模板匹配方式得到的第二子位置区域进行结合，来确定最终的第一目标位置区域，避免单一的检测方法造成的焊缝的漏检，可以使确定出的焊缝的位置区域更加精确，可以进一步提高焊缝质量检测的准确性。
步骤308：将步骤307中的焊缝的最终位置区域[(X1，Y1)，(X2，Y2)]进行边界扩大。
例如，将焊缝的最终位置区域[(X1，Y1)，(X2，Y2)]以中心坐标为基准进行边界扩大，得到区域集合(即上文介绍的第二位置区域)为[(x1m，ylm)，(x2m，y2m)]。
步骤309：采用基于深度学习的目标分类方法，对扩大后的区域(即上文介绍的第二位置区域)进行分类。
该分类类别包括：是焊缝区域、或不是焊缝区域。即确定扩大后的区域中是否包括焊缝，采用基于深度学习的目标分类技术对扩大后的区域进行焊缝缺陷的二次判别，这样可以滤除掉步骤305和步骤306中错误检测的结果，提升缺陷焊缝检测的准确率。
可以理解的是，步骤305和步骤309中的深度学习网络不同，步骤305的第一深度学习网络倾向于焊缝位置区域的检测，步骤309中的第二深度学习网络倾向于是否包括焊缝区域的检测。
如果步骤309的分类结果不是焊缝，则不报警。
如果步骤309的分类结果为焊缝，则执行步骤310。
步骤310：根据步骤304b采集的三维图像及扩大后的区域，确定扩大后的区域的三维深度数据。
基于扩大后的区域的三维深度数据确定焊缝的最终位置区域[(X1，Y1)，(X2，Y2)]对应的三维深度数据、及焊缝周围区域对应的三维深度数据。
焊缝周围区域对应的三维深度数据为在扩大后的区域对应的三维深度数据，将最终位置区域[(X1，Y1)，(X2，Y2)]对应的三维深度数据删除。
步骤311：计算焊缝的最终位置区域内的第一高度差h1，焊缝的最终位置区域和焊缝周围区域的第二高度差h2。
例如，焊缝的最终位置区域内的第一高度差h1，为焊缝深度值中的最大值与焊缝深度值中的最小值的差值绝对值。
例如，焊缝的最终位置区域和焊缝周围区域的第二高度差h2，为焊缝的最终位置区域中的深度值的平均值与焊缝周围区域中的深度值的平均值的差值绝对值。
步骤312：比较第一高度差h1与第一阈值，第二高度差h2与第二阈值，确定焊缝是否符合质量标准。
在确定焊缝不符合质量标准的情况下，系统报警。
在确定焊缝符合质量标准的情况下，不报警。
如果第一高度差h1大于或等于第一阈值或者第二高度差h2大于或等于第二阈值，则焊缝不符合质量标准，系统报警。如果高度差h1小于或等于第一阈值，且高度差h2小于或等于第二阈值，则为符合质量标准的焊缝，系统不报警。第一阈值与第二阈值相同或不同。
通过定量的质量判别，减小焊缝缺陷检测误检率。
如图4所示，供了一种焊缝检测的装置，所述装置包括：
获取模块401，用于获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；
位置检测模块402，用于基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；
质量检测模块403，用于基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述位置检测模块402，用于将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；或者，将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到所述第一目标位置区域；或者，将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到焊缝在所述二维图像中的第一子位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第二子位置区域；基于所述第一子位置区域和所述第二子位置区域，确定所述第一目标位置区域。
一种示例中，所述质量检测模块403，用于基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准；其中，所述三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的周边位置区域的图像数据。
一种示例中，所述三维图像数据包括所述第一参考图像数据，所述质量检测模块403，具体用于基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据，所述质量检测模块403，具体用于基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差；基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
一种示例中，所述质量检测模块403，具体用于确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。
一种示例中，所述质量检测模块403，还用于对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域；将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包含焊缝。
如图5所示，本申请提供了一种焊缝检测的装置，包括处理器501和存储器502；
所述存储器502，用于存储计算机程序或指令；
所述处理器501，用于执行所述存储器中的部分或者全部计算机程序或指令，当所述部分或者全部计算机程序或指令被执行时，用于实现上述介绍的焊缝检测的方法。
例如，所述处理器501，用于获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述处理器501，具体用于将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；或者，
将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到所述第一目标位置区域；或者，
将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到焊缝在所述二维图像中的第一子位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第二子位置区域；基于所述第一子位置区域和所述第二子位置区域，确定所述第一目标位置区域。
一种示例中，所述处理器501，具体用于基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准；其中，所述三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的周边位置区域的图像数据。
一种示例中，所述三维图像数据包括所述第一参考图像数据，所述处理器501，具体用于基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
一种示例中，所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据，所述处理器501，具体用于基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差；基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
一种示例中，所述处理器501，具体用于确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。
一种示例中，所述处理器501，还用于对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域；将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包含焊缝。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被计算机执行时，可以使得所述计算机用于执行上述焊缝检测的方法。或者说：所述计算机程序包括用于实现上述焊缝检测的方法的指令。
本申请实施例还提供了一种计算机程序产品，包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机可以执行上述提供的焊缝检测的方法。
另外，本申请实施例中提及的处理器可以是中央处理器(central processingunit，CPU)，基带处理器，基带处理器和CPU可以集成在一起，或者分开，还可以是网络处理器(network processor，NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片或其他通用处理器。上述硬件芯片可以是专用集成电路(application-specific integratedcircuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)及其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等或其任意组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本申请描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中提及的收发器中可以包括单独的发送器，和/或，单独的接收器，也可以是发送器和接收器集成一体。收发器可以在相应的处理器的指示下工作。可选的，发送器可以对应物理设备中发射机，接收器可以对应物理设备中的接收机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请中的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请中所涉及的多个，是指两个或两个以上。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。
Claims (11)
1.一种焊缝检测的方法，其特征在于，所述方法包括：
获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；
基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；
基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
2.如权利要求1所述的方法，其特征在于，基于所述二维图像，确定焊缝在所述二维图像中的第一目标位置区域，包括：
将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到所述第一目标位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；或者，
将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到所述第一目标位置区域；或者，
将所述二维图像输入到预先训练好的第一深度学习网络模型中，得到焊缝在所述二维图像中的第一子位置区域；所述第一深度学习网络模型用于确定焊缝在所述二维图像中的位置区域；将所述二维图像与预先建立的焊缝缺陷数据模板进行匹配，得到焊缝在所述二维图像中的第二子位置区域；基于所述第一子位置区域和所述第二子位置区域，确定所述第一目标位置区域。
3.如权利要求1所述的方法，其特征在于，所述基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准；其中，
所述三维图像数据包括第一参考图像数据和/或第二参考图像数据；所述第一参考图像数据包括所述三维图像中第二目标位置区域的图像数据，所述第二目标位置区域与所述第一目标位置区域对应所述焊件表面上的同一区域；所述第二参考图像数据包括所述三维图像中第二目标位置区域的周边位置区域的图像数据。
4.如权利要求3所述的方法，其特征在于，所述三维图像数据包括所述第一参考图像数据，所述基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述第一参考图像数据，确定所述第二目标位置区域的第一高度差；
基于所述第一高度差和第一阈值，确定所述焊缝的质量是否符合预设质量标准。
5.如权利要求3或4所述的方法，其特征在于，所述三维图像数据包括所述第一参考图像数据和所述第二参考图像数据，所述基于所述三维图像中与所述第一目标位置区域关联的三维图像数据，确定所述焊缝的质量是否符合预设质量标准，包括：
基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差；
基于所述第二高度差和第二阈值，确定所述焊缝是否符合预设质量标准。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一参考图像数据和所述第二参考图像数据，确定焊缝的周边位置区域和第二目标位置区域的第二高度差，包括：
确定所述第一参考图像数据对应的第一平均深度值及所述第二参考图像数据对应的第二平均深度值；
将所述第一平均深度值与所述第二平均深度值的差值绝对值，确定为所述第二高度差。
7.如权利要求1所述的方法，其特征在于，在基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准之前，还包括：
对所述焊缝的第一目标位置区域进行边界扩大，得到第二位置区域；
将所述第二位置区域的图像输入到预先训练好的第二深度学习网络模型中，确定所述第二位置区域中是否包含焊缝。
8.一种焊缝检测的装置，其特征在于，所述装置包括：
获取模块，用于获取焊件表面的二维图像和三维图像，所述二维图像和所述三维图像是针对相同的焊件表面区域采集的；
位置检测模块，用于基于所述二维图像，确定所述焊件表面上的焊缝在所述二维图像中的第一目标位置区域；
质量检测模块，用于基于所述三维图像和所述第一目标位置区域，确定所述焊缝的质量是否符合预设质量标准。
9.一种焊缝检测的装置，其特征在于，包括处理器和存储器；
所述存储器，用于存储计算机程序或指令；
所述处理器，用于执行所述存储器中的部分或者全部计算机程序或指令，当所述部分或者全部计算机程序或指令被执行时，用于实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于实现权利要求1-7任一项所述的方法的指令。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540853.0A CN114354618A (zh) | 2021-12-16 | 2021-12-16 | 一种焊缝检测的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540853.0A CN114354618A (zh) | 2021-12-16 | 2021-12-16 | 一种焊缝检测的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114354618A true CN114354618A (zh) | 2022-04-15 |
Family
ID=81098888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540853.0A Pending CN114354618A (zh) | 2021-12-16 | 2021-12-16 | 一种焊缝检测的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114354618A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228640A (zh) * | 2022-12-14 | 2023-06-06 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
| CN116542977A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 图像处理方法、装置、设备、存储介质和程序产品 |
| WO2024000953A1 (zh) * | 2022-06-21 | 2024-01-04 | 苏州大学 | 搅拌摩擦焊表面焊接质量检测方法 |
| US11878364B2 (en) | 2022-06-27 | 2024-01-23 | Soochow University | Method for detecting surface welding quality of friction stir welding |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07110213A (ja) * | 1993-04-15 | 1995-04-25 | Deutsche Aerospace Ag | 継ぎ目測定法 |
| CN111178250A (zh) * | 2019-12-27 | 2020-05-19 | 深圳市越疆科技有限公司 | 物体识别定位方法、装置及终端设备 |
| WO2020129617A1 (ja) * | 2018-12-19 | 2020-06-25 | パナソニックＩｐマネジメント株式会社 | 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 |
| CN111462110A (zh) * | 2020-04-20 | 2020-07-28 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、系统及电子设备 |
| CN111815572A (zh) * | 2020-06-17 | 2020-10-23 | 深圳市大德激光技术有限公司 | 一种基于卷积神经网络对锂电池焊接质量的检测方法 |
| CN111882601A (zh) * | 2020-07-23 | 2020-11-03 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置及设备 |
| CN113421242A (zh) * | 2021-06-23 | 2021-09-21 | 河北科技大学 | 基于深度学习的焊点外观质量检测方法、装置及终端 |
| CN113469940A (zh) * | 2021-05-26 | 2021-10-01 | 成都唐源电气股份有限公司 | 基于三维点云结合二维图像处理技术的扣件松动检测方法 |
| CN113516660A (zh) * | 2021-09-15 | 2021-10-19 | 江苏中车数字科技有限公司 | 适用于列车的视觉定位与缺陷检测方法和装置 |
| WO2021227694A1 (zh) * | 2020-05-13 | 2021-11-18 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-16 CN CN202111540853.0A patent/CN114354618A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07110213A (ja) * | 1993-04-15 | 1995-04-25 | Deutsche Aerospace Ag | 継ぎ目測定法 |
| WO2020129617A1 (ja) * | 2018-12-19 | 2020-06-25 | パナソニックＩｐマネジメント株式会社 | 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 |
| CN111178250A (zh) * | 2019-12-27 | 2020-05-19 | 深圳市越疆科技有限公司 | 物体识别定位方法、装置及终端设备 |
| CN111462110A (zh) * | 2020-04-20 | 2020-07-28 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、系统及电子设备 |
| WO2021227694A1 (zh) * | 2020-05-13 | 2021-11-18 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111815572A (zh) * | 2020-06-17 | 2020-10-23 | 深圳市大德激光技术有限公司 | 一种基于卷积神经网络对锂电池焊接质量的检测方法 |
| CN111882601A (zh) * | 2020-07-23 | 2020-11-03 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置及设备 |
| CN113469940A (zh) * | 2021-05-26 | 2021-10-01 | 成都唐源电气股份有限公司 | 基于三维点云结合二维图像处理技术的扣件松动检测方法 |
| CN113421242A (zh) * | 2021-06-23 | 2021-09-21 | 河北科技大学 | 基于深度学习的焊点外观质量检测方法、装置及终端 |
| CN113516660A (zh) * | 2021-09-15 | 2021-10-19 | 江苏中车数字科技有限公司 | 适用于列车的视觉定位与缺陷检测方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吴易洲;苗瑞;朱健华;张洁;: "基于三维激光扫描的窄搭接焊特征提取与缺陷识别", 应用激光, no. 05, 15 October 2018 (2018-10-15) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000953A1 (zh) * | 2022-06-21 | 2024-01-04 | 苏州大学 | 搅拌摩擦焊表面焊接质量检测方法 |
| US11878364B2 (en) | 2022-06-27 | 2024-01-23 | Soochow University | Method for detecting surface welding quality of friction stir welding |
| CN116228640A (zh) * | 2022-12-14 | 2023-06-06 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
| CN116228640B (zh) * | 2022-12-14 | 2024-04-12 | 广州市斯睿特智能科技有限公司 | 基于深度图像的焊缝检测方法、系统、装置及存储介质 |
| CN116542977A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 图像处理方法、装置、设备、存储介质和程序产品 |
| CN116542977B (zh) * | 2023-07-06 | 2024-02-06 | 宁德时代新能源科技股份有限公司 | 图像处理方法、装置、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114354618A (zh) | 一种焊缝检测的方法及装置 | |
| CN108921925B (zh) | 基于激光雷达和视觉融合的语义点云生成方法和装置 | |
| KR101155816B1 (ko) | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 | |
| US8086019B2 (en) | Method of creating master data used for inspecting concave-convex figure | |
| JP2011191312A (ja) | 画像処理装置 | |
| CN113160161B (zh) | 目标边缘处缺陷的检测方法和装置 | |
| CN114051628B (zh) | 一种确定目标对象点云集的方法及装置 | |
| CN114693633A (zh) | 一种焊接缺陷检测方法、装置以及检测系统 | |
| CN117011290B (zh) | 缺陷诊断方法、系统及计算机设备 | |
| CN114581368A (zh) | 一种基于双目视觉的棒材焊牌方法及装置 | |
| CN116839473A (zh) | 焊缝定位及尺寸计算方法、装置、存储介质及电子设备 | |
| CN113469991B (zh) | 一种锂电池极耳激光焊点视觉在线检测方法 | |
| JP2007026423A (ja) | 画像処理装置および画像処理方法 | |
| CN113128247B (zh) | 一种图像定位标识验证方法及服务器 | |
| CN114814810A (zh) | 行人检测方法 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| CN115908292A (zh) | 焊接工件的缺陷检测方法、装置及存储介质 | |
| WO2021226852A1 (zh) | 车位检测方法、装置、计算机设备和存储介质 | |
| CN111062937B (zh) | 一种基于rgb-d相机的数控nc代码虚实验证方法 | |
| Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
| CN114092542A (zh) | 一种基于二维视觉的螺栓测量方法以及系统 | |
| CN115731458A (zh) | 一种遥感影像的处理方法、装置和电子设备 | |
| RU2644617C2 (ru) | Мобильный сканер для определения качества поверхности сварного шва | |
| CN117408958B (zh) | 一种钢结构件生产质量监测方法及系统 | |
| CN117437602B (zh) | 一种双图层数据标定方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |