CN116630264A - 密封钉焊接缺陷的检测方法、存储介质以及电子设备 - Google Patents

密封钉焊接缺陷的检测方法、存储介质以及电子设备 Download PDF

Info

Publication number
CN116630264A
CN116630264A CN202310581810.XA CN202310581810A CN116630264A CN 116630264 A CN116630264 A CN 116630264A CN 202310581810 A CN202310581810 A CN 202310581810A CN 116630264 A CN116630264 A CN 116630264A
Authority
CN
China
Prior art keywords
defect
initial
result
detection
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310581810.XA
Other languages
English (en)
Inventor
姚士民
陈想
魏溪含
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310581810.XA priority Critical patent/CN116630264A/zh
Publication of CN116630264A publication Critical patent/CN116630264A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种密封钉焊接缺陷的检测方法、存储介质以及电子设备。其中，该方法包括：获取原始图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。本申请解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。

Description

密封钉焊接缺陷的检测方法、存储介质以及电子设备
技术领域
本申请涉及密封钉焊接缺陷的检测领域，具体而言，涉及一种密封钉焊接缺陷的检测方法、存储介质以及电子设备。
背景技术
目前在对密封钉焊接缺陷进行检测时，是通过缺陷检测模型直接对密封钉焊接的3D点云进行检测，缺陷检测模型一般是将不同类型的缺陷对应的模型进行耦合得到的模型，在对缺陷检测模型中某一类缺陷进行更新时，会影响到缺陷检测模型对其他类型缺陷的检测精确度，导致对密封钉焊接缺陷进行检测的准确度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种密封钉焊接缺陷的检测方法、存储介质以及电子设备，以至少解决相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
根据本申请实施例的一个方面，提供了一种密封钉焊接缺陷的检测方法，包括：获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
根据本申请实施例的另一方面，还提供了一种密封钉焊接缺陷的检测方法，包括：获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；利用多个模型分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
根据本申请实施例的另一方面，还提供了一种密封钉焊接缺陷的检测方法，其特征在于，包括：响应作用于操作界面上的输入指令，在操作界面上显示原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；响应作用于操作界面上的焊接缺陷检测指令，在操作界面上显示原始图像的缺陷检测结果，其中，缺陷检测结果是对初始检测结果、初始分割结果和初始分类结果进行汇总得到的，初始检测结果、初始分割结果和初始分类结果是分别对原始图像进行缺陷检测、实例分割和缺陷分类得到的，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
根据本申请实施例的另一方面，还提供了一种密封钉焊接缺陷的检测方法，包括：通过调用第一接口获取原始图像，其中，第一接口包括第一参数，第一参数的参数值为原始图像，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果；通过调用第二接口输出缺陷检测结果，其中，第二接口包括第二参数，第二参数的参数值为缺陷检测结果。
在本申请实施例中，获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现密封钉焊接缺陷的检测方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本申请实施例1的密封钉焊接缺陷的检测方法的流程图；
图3是根据本申请实施例的一种密封钉的示意图；
图4是根据本申请实施例的一种基于多模型融合的锂电池密封钉焊接缺陷检测系统的示意图；
图5是根据本申请实施例的一种缺陷检测模块的检测流程图；
图6是根据本申请实施例2的一种密封钉焊接缺陷的检测方法的流程图；
图7是根据本申请实施例3的一种密封钉焊接缺陷的检测方法的流程图；
图8是根据本申请实施例4的一种密封钉焊接缺陷的检测方法的流程图；
图9是根据本申请实施例5的一种密封钉焊接缺陷的检测装置的示意图；
图10是根据本申请实施例6的一种密封钉焊接缺陷的检测装置的示意图；
图11是根据本申请实施例7的一种密封钉焊接缺陷的检测装置的示意图；
图12是根据本申请实施例8的一种密封钉焊接缺陷的检测装置的示意图；
图13是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
交并比(Intersection Over Union，简称为IOU)，交并比就是两个矩形框(通常为预测框和真实边界框)相交部分面积与两个矩形框并集部分面积的比值；
感兴趣区域(Region of Interest，简称为ROI)，在密封钉焊接的过程中，感兴趣区域可以为密封钉的焊道、耳朵、尾点；
密封钉，是一种用于密封物体的固定元件。通常由两个主要部分组成，即头部和柄部。头部通常用于在表面上提供一个平坦的、压紧的面，确保密封性能，并提供一个安装点来安装其它零配件，柄部是加强结构，通常具有螺纹或固定齿以便将其拧入所需细孔中并确保不会移动。
实施例1
根据本申请实施例，还提供了一种密封钉焊接缺陷的检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本申请实施例的一种用于实现密封钉焊接缺陷的检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个(图中采用102a，102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的密封钉焊接缺陷的检测方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的密封钉焊接缺陷的检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图2所示的密封钉焊接缺陷的检测方法。图2是根据本申请实施例1的密封钉焊接缺陷的检测方法的流程图。如图2所示，该方法可以包括如下步骤：
步骤S202，获取原始图像。
其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像。
在一种可选的实施例中，用户可以直接通过拍摄设备对焊接有密封钉的区域进行拍摄，得到多个拍摄图像，用户可以从多个拍摄图像中选择清晰度较高且焊接有密封钉的区域较为完整的拍摄图像，将该拍摄图像作为上述的原始图像，若多个拍摄图像中没有清晰度较高且焊接有密封钉的区域较为完整的拍摄图像，可以利用拍摄设备重新对焊接有密封钉的区域进行拍摄，得到上述的原始图像。
在另一种可选的实施例中，可以在获取到原始图像之后，对原始图像进行初步的检测，确定该原始图像是否可以用于进行密封钉的缺陷检测，也即，该原始图像是否清晰，若该原始图像出现不清晰、模糊等问题，则说明可以重新对焊接有密封钉的区域进行拍摄，得到清晰的原始图像。可选的，可以将原始图像发送给用户，可以由用户判断该原始图像是否合格，若该原始图像合格，则可以对原始图像进行后续的操作，若该原始图像不合格，则可以重新对焊接有密封钉的区域进行拍摄得到合格的原始图像。
步骤S204，分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果。
其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
上述的第一焊接缺陷可以为焊渣缺陷和小型的非焊渣缺陷，上述的第二焊接缺陷可以为大型非焊渣缺陷，例如熔钉、无钉、未焊接等，第二焊接缺陷一般为面积比较大且比较明显的缺陷，一般不需要进行位置的获取，直接获取缺陷类别即可。
上述的焊接位置可以为焊道、耳朵等。
上述的第一区域可以为密封钉的焊接位置上可能会包含焊接缺陷的有效区域。
在一种可选的实施例中，可以通过不同的模型分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果。可选的，可以采用多阶段模型组合的方式，先进行缺陷检测，再对缺陷进行分类和分割，最后再基于第一区域对缺陷进行过滤，以便过滤到不包含焊接缺陷的区域，保持不同阶段任务的单一性，能有效提升不同阶段使用模型的准确性，从而使整个密封钉焊接缺陷的检测的精度更高，为了减少不同阶段间的相互影响，不同阶段的模型对应的训练数据可以保持独立，不与上下游数据直接关联，一般在测试阶段进行数据的从上到下的传递。
在另一种可选的实施例中，在利用模型对原始图像进行缺陷检测时，可以将模型解耦为多个小模型的方式，使模型的任务更加简单，提升了模型的准确度和更新速度，增加了密封钉焊接缺陷检测方法的灵活性。
步骤S206，对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
在一种可选的实施例中，可以根据初始分割结果得到的有效区域对初始检测结果中不在有效区域的第一焊接缺陷进行过滤，可以根据初始分类结果得到第二焊接缺陷，可以将有效区域内的第一焊接缺陷和第二焊接缺陷进行合并，得到上述的缺陷检测结果。
在另一种可选的实施例中，可以将初始检测结果、初始分割结果和初始分类结果发送给用户，在用户确认无误后，对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，若用户认为有误，则可以对初始检测结果、初始分割结果和初始分类结果进行调整，基于调整后的结果得到原始图像的缺陷检测结果。
在本申请实施例中，获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
本申请上述实施例中，分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，包括：利用目标检测模型对原始图像进行缺陷检测，得到初始检测结果；利用实例分割模型对原始图像进行实例分割，得到初始分割结果；利用第一分类模型对原始图像进行缺陷分类，得到初始分类结果。
上述的实例分割模型可以用于获取原始图像中密封钉的焊道、耳朵、尾点三个有效区域，用于后续基于有效区域过滤焊接缺陷。需要说明的是，实例分割的对象不限于上述密封钉的三个有效区域，还可以根据实际的场景对原始图像中需要进行实例分割的对象进行限定。
上述的第一分类模型可以用于对原始图像中的大型缺陷进行分类，例如，面积比较大、比较明显的缺陷，针对于此类缺陷，可以获取缺陷类别，不要对缺陷的位置进行获取，例如熔钉、无钉、未焊接等类型的严重缺陷。可以直接使用第一分类模型对大型缺陷进行整图分类即可，任务简单，准确性高。第一分类模型可以为残差网络(Resnet18、Resnet34)、轻量级的卷积神经网络模型(Mobilenet)，但不限于此，可以根据实际情况进行设置。
上述的目标检测模型可以为一次检测系列(You Only Look Once，简称为YOLO)、基于全卷积的单阶段物体检测模型(Fully Convolutional One-Stage ObjectDetection，简称为FCOS)、一种轻量级的YOLO模型(damoYOLO、YOLOv4)等类型的轻量化模型，目标监测模型还可以为两阶段方案(two-stage)，例如：更快的卷积神经网络(FasterRCNN)、级联的卷积神经网络(Cascade RCNN)等，但不限于此，可以根据实际情况进行设置。
实例分割模型可以为单阶段方法，例如：单阶段实例分割网络(SOLO、SOLOv2)、基于深度可学习的检测与特征重构进行实例分割(YOLACT)、极坐标掩膜网络(PolarMask)、遮挡提取模型(BlendMask)等；也可以是多阶段的方法，如：目标检测和实例化遮罩预测卷积神经网络(MaskRCNN)、物体检测任务的神经网络模型(Hybrid Task Cascade Algorithm，简称为HTC)。
上述的各类模型可以依据其任务不同，结合运算能力来进行确定。但不限于此，可以根据实际情况进行设置。对上述模型的选取的核心是满足精度和速度的要求。
本申请上述实施例中，第一焊接缺陷至少包括：焊渣缺陷和除焊渣缺陷之外的至少一种焊接缺陷，其中，利用目标检测模型对原始图像进行缺陷检测，得到初始检测结果，包括：利用目标检测模型中的第一检测模型对原始图像中是否存在焊渣缺陷进行检测，得到焊渣检测结果；利用目标检测模型中的至少一个第二检测模型分别对原始图像中是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果；对焊渣检测结果和其他缺陷检测结果进行融合，得到初始检测结果。
上述的焊渣缺陷是指焊接过程中产生的涂层物质残留在焊缝内或表面形成的缺陷。这些残留物可能会影响焊接强度和耐腐蚀性，导致零件失效。
上述的至少一种焊接缺陷可以为爆孔、针孔、凸起、虚焊等。
上述的第一检测模型和第二检测模型可以为相同的模型结构也可以为不同的模型结构，可以根据实际情况进行设置。
上述的第一检测模型用于对原始图像中的焊渣缺陷进行检测，上述的第二检测模型用于对除焊渣缺陷之外的其他焊接缺陷进行检测，例如，可以对爆孔、针孔、凸起、虚焊等焊接缺陷进行检测。
在一种可选的实施例中，可以利用目标检测模型中至少一个第二检测模型分别对原始图像中的有效区域进行检测，确定原始图像中是否存在至少一种焊渣缺陷。
在一种可选的实施例中，由于焊渣具有飞溅性，会在原始图像的任意位置出现，因此，在需要进行焊渣检测时，可以直接将原始图像输入到第一检测模型中或者可以将原始图像放大尺寸后输入到第一检测模型中，以便得到焊渣检测结果。
上述的至少一个第二检测模型可以与焊接缺陷中除焊渣缺陷之外的其他焊接缺陷一一对应。可以利用一个第二检测模型对焊接缺陷中除焊渣缺陷之外的至少一种焊接缺陷进行检测，也可以利用不同焊接缺陷对应的第二检测模型对不同的焊接缺陷进行检测，减少缺陷标准或缺陷数据迭代带来的影响，从而提高检测的准确度；同时，对于不同缺陷的第二检测模型可以采用不同的训练参数，以便更好的提升模型的准确性。
在一种可选的实施例中，在需要检测爆孔、针孔、凸起、虚焊的焊接缺陷时，可以通过一个第二检测模型对爆孔、针孔、凸起、虚焊等焊接缺陷进行检测，也可以通过检测爆孔的第二检测模型对爆孔进行检测，通过检测针孔的第二检测模型对针孔进行检测，通过检测凸起的第二监测模型对凸起进行检测，通过检测虚焊的第二检测模型对虚焊进行检测。
进一步的，可以将焊渣检测结果和其他缺陷检测结果进行融合，以便得到焊接缺陷的初始检测结果，在得到初始检测结果后可以将初始检测结果发送给用户，以便用户查看该初始检测结果是否准确，若不准确，可以手动对初始检测结果进行调整，还可以根据调整后的初始检测结果对第一检测模型和/或第二检测模型的模型参数进行更新，从而提高第一检测模型和/或第二检测模型的检测准确度。
本申请上述实施例中，利用目标检测模型中的至少一个第二检测模型分别对原始图像中是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果，包括：利用目标检测模型中的第三检测模型提取原始图像中的第二区域，其中，第二区域用于表征至少一种焊接缺陷对应的区域；利用至少一个第二检测模型分别对第二区域内是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果。
上述的第三检测模型可以与第一检测模型和第二检测模型的模型结构相同，也可以不同，此处不做具体限定，可以根据实际情况进行设置。
上述的第二区域中至少包含有焊道、耳朵、尾点，此处可以根据实际情况调整第二区域的范围。其中，第二区域可以为感兴趣区域，指在图像中根据特定的需求，选取一部分感兴趣的区域进行处理、分析或获取相关信息等操作。
图3是根据本申请实施例的一种密封钉的示意图，如图3所示，第二区域可以为非焊渣缺陷所在的有效区域，第二区域中可以包含有密封钉的焊道、两个耳朵、尾点。
上述的第二区域可以为至少一种焊接缺陷可能所在的区域，一般焊接缺陷中除了焊渣可能会掉落在除密封钉所处区域之外的区域外，其他的焊接缺陷一般都存在于密封钉所在的区域中，因此，可以在对除焊渣缺陷之外的至少一种焊接缺陷进行检测时，可以对原始图像的尺寸进行调整，缩小待检测缺陷的区域，去除缺陷不存在的区域，以便减少背景干扰。
在一种可选的实施例中，通过提取原始图像中的第二区域，可以减少背景的干扰，缩小待检测的范围，提高至少一个第二检测模型的检测准确度。
本申请上述实施例中，至少一种焊接缺陷至少包括：第三焊接缺陷，该方法还包括：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用第二分类模型对目标图像中是否存在第三焊接缺陷进行识别，得到目标图像的缺陷识别结果；对焊渣检测结果、其他缺陷检测结果和缺陷识别结果进行融合，得到初始检测结果。
上述的第三焊接缺陷可以为出现误检过多的焊接缺陷，例如，针孔类型的缺陷，此处不做具体限定，可以根据实际情况进行设置。
在一种可选的实施例中，可以根据焊渣检测结果和其他缺陷检测结果的检测矩形框对原始图像中的焊接缺陷所在的区域进行扣取，得到目标图像，在扣取原始图像中的目标图像时，一般会对检测矩形框的长宽方向进行适度的外扩，充分保留焊接缺陷的轮廓以及周边图像特征，例如，可以外扩20％，此处对外扩的比例不做具体限定，可以根据实际的情况进行调整。
针对误检较多的缺陷类别可以使用第二分类模型来降低误检，在上游检测的一些较小的缺陷类型，其结果偏向于检出，会导致过多的误检，通过添加第二分类模型可以采用较大尺寸的缺陷局部图得到更丰富的特征，可以大量的减少误检的情况。
在另一种可选的实施例中，可以对输入至第二分类模型中目标图像的大小进行调整，从而提高第二分类模型的分类精确度。可以根据焊接缺陷的大小设置输入至第二分类模型中目标图像的大小，例如，可以将输入至第二分类模型中目标图像的大小设置为200*200，此处仅作实例说明，不做具体限定，可以根据实际情况对输入至第二分类模型的目标图像大小进行设置。
本申请上述实施例中，该方法还包括：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用轮廓分割模型对目标图像进行轮廓分割，得到目标图像的轮廓分割结果，其中，轮廓分割结果用于表征目标图像中存在的目标焊接缺陷所在区域的轮廓信息；对焊渣检测结果、其他缺陷检测结果和轮廓分割结果进行融合，得到初始检测结果。
上述的目标焊接缺陷可以为各种类型的焊接缺陷，例如，焊渣缺陷、小型非焊渣缺陷和大型非焊渣缺陷，其中，小型非焊渣缺陷可以为爆孔、针孔、凸起、虚焊等，大型非焊渣缺陷可以为熔钉、无钉、未焊接等。
在一种可选的实施例中，可以利用轮廓分割模型对目标图像中焊接缺陷的轮廓进行分割，得到目标图像的轮廓分割结果，在对目标图像中焊接缺陷的轮廓进行分割的过程中，不需要考虑焊接缺陷的类别，可以对目标图像中焊接缺陷的前景和背景进行分割。
在另一种可选的实施例中，可以对焊渣检测结果、其他缺陷检测结果和轮廓分割结果进行合并，并将合并后的结果映射回原始图像的原始坐标系中，从而得到初始检测结果。
在对轮廓分割模型进行训练时，可以根据从目标图像中扣取的焊接缺陷局部图进行训练，输入至轮廓分割模型中目标图像的大小可以设置为96*96，此处仅作实例说明，不做具体限定，可以根据实际情况对输入至轮廓分割模型的目标图像大小进行设置。
本申请上述实施例中，对焊渣检测结果和其他缺陷检测结果进行融合，得到初始检测结果，包括：对焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果；将合并检测结果映射至原始图像的原始坐标系，得到初始检测结果。
对于原始图像中不同的焊接缺陷，本申请是通过不同的模型对不同的焊接缺陷进行检测，因此，在得到焊渣检测结果和其他缺陷检测结果之后，可以将焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果，可以将合并检测结果映射至原始图像的原始坐标系中以便后续可以根据焊接缺陷的类别进行过滤，例如，焊渣缺陷可以不进行过滤，非焊渣缺陷可以根据位置进行过滤。
通过将合并检测结果映射至原始图像的原始坐标系中可以得到原始图像的初步检测结果，可以计算出合并检测结果中的焊接缺陷在原始图像中具有多大面积，并且进一步推断出焊接缺陷的准确大小和形状，便于后续基于原始图像的初步检测结果对原始图像进行细粒度的缺陷过滤控制，从而提高缺陷检出的准确度。
本申请上述实施例中，对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，包括：基于初始分割结果对初始检测结果中的其他缺陷检测结果进行过滤，得到过滤后的检测结果；对过滤后的检测结果和初始分类结果进行汇总，得到缺陷检测结果。
在一种可选的实施例中，可以根据初始分割结果将初始检测结果中不在有效区域的非焊渣缺陷进行过滤，减少了非焊渣缺陷的误检，得到过滤后的检测结果；对于焊道、耳朵、尾点等不同的有效区域可以采用不同的过滤规则进行过滤，达到细粒度控制过滤焊接缺陷。
在另一种可选的实施例中，可以根据初始分割结果的预测框和初始检测结果中的目标框之间面积的IOU对初始检测结果中其他的检测结果进行过滤，得到过滤后的检测结果，例如，若IOU＜0.1。
本申请上述实施例中，对过滤后的检测结果和初始分类结果进行汇总，得到缺陷检测结果，包括：基于预设过滤条件对过滤后的检测结果和初始分类结果进行过滤，得到缺陷检测结果。
上述的预设过滤条件包括但不限于焊接缺陷的面积、长宽、置信度、类别等。
在一种可选的实施例中，可以设置面积、长宽、置信度、类别等过滤条件，实现更精准的焊接缺陷检出，同时可以降低焊接缺陷的误检。
在另一种可选的实施例中，可以利用轮廓分割模型得到焊接缺陷的精确轮廓，根据轮廓可以获得精确面积，同时获得轮廓的外接矩形，即长宽，在没有缺陷分割的情况下可以根据第一检测模型和第二检测模型得到的焊渣检测结果和其他缺陷检测结果的检测框以及置信度，也可以根据第一分类模型得到焊接缺陷的置信度和缺陷类别信息，可以根据上述条件对过滤后的检测结果和初始分类结果进行过滤，得到缺陷检测结果，例如，在面积大于30且置信度高于0.6的焊接缺陷可以检出爆孔焊接缺陷，此处仅作实例说明，不做具体限定，可以根据实际情况进行设置。
随着新能源汽车快速的增长，动力电池的生产也进入了一个快速增长的阶段。动力电池作为新能源车的动力来源，其安全性备受关注。在动力电池的整个生产环节，密封钉的焊接主要用于动力电池的中游生产，在将电解液注入电池模组内部后，再采用激光焊接的方式填充密封钉与锂电池外壳的缝隙，以确保密封性。介于生产的材料、工艺、设备、环境等影响，激光焊接的过程中往往容易出现一些质量问题，如针孔、焊渣、爆孔、熔钉、焊偏等缺陷，会严重影响电池的安全性。
人工智能技术在工业质检领域得到长足的验证，能有效解决传统视觉方法所不能解决的许多问题，对于复杂场景的缺陷识别可以达到比较高的水平，大大提升生产的效率，同时提升生产的产品质量把控，提升整个产业的价值。
目前存在一些基于深度学习方法的密封钉焊接缺陷检测方法如下：
方案一，可以结合2D算法和3D算法模块，综合判别缺陷的类别和位置。其中2D视觉采用YOLOv5模型进行缺陷判别，3D点云算法依据瑕疵面积、瑕疵形状、瑕疵图像灰度信息以及深度学习算法进行瑕疵的检测及分类；后置的综合判别模块进行逻辑判断。这种方案存在两个方面的问题，第一方面将原图尺度2592*1944进行img.resize为640*640*3，会导致较小缺陷的漏检，如针孔类型的缺陷；第二方面是采用单一的YOLOv5模型对不同缺陷类型进行检测，将不同缺陷的模型耦合，会导致模型迭代更受限制，灵活度低，且不同缺陷放在同一模型中也容易存在数据不均衡等问题，从而影响识别结果。
方案二，采用一种快速定位旋转中心的旋转式扫描焊缝检测方法，对2D机器视觉图像数据使用深度学习预测分类，判定焊缝图像数据是否存在小针孔、小凹坑和裂纹等小缺陷，实时旋转式扫描获取焊缝的点云数据，并将该点云数据转化成深度图像数据，判定是否存在缺陷。这种方法主要是依赖于3D的点云图像，与本申请中基于2D方法有所不同；这种方法在2D识别的基础上增加3D识别，增加了误检的可能性，且同样对于缺陷模型的迭代存在不灵活的问题。
方案三，采用线扫3D影像和2D影像，结合AI深度学习算法，实现缺陷的检测。核心是建立平面方程，对密封钉数据和平面方程进行计算，以判断密封钉是否完好、是否放置不良；对焊缝区域微分分割，获得分割区域平面度，得到平面度异常区域的异常点，训练AI模型从而识别检测出来。该方法重点是从平面度的角度进行缺陷检测，与本申请中使用的2D图像检测方法有根本上的区别，且采用平面度计算，对于平面度差异较小的缺陷容易造成漏检。
上述三种方案对于密封钉焊接缺陷检测均有很大程度的局限性，不同的密封钉焊接工艺，以及不同工厂的不同缺陷标准对于检测方案要求更具有灵活性，具有定制化的能力，否则无法实现更通用的密封钉焊接缺陷检测系统。
综上来说，现有的密封钉焊接缺陷检测方法主要存在以下问题，第一，灵活度低，将不同缺陷模型进行耦合，没有形成灵活的解决方案，不能够快速进行定制和模型迭代更新；第二，3D点云的局限性，针对针孔类型的缺陷，3D点云的成像对于曲面上角度不定、孔径极小的针孔来说，成像效果不佳，容易造成漏检；第三，小缺陷识别，对图像的缩放影响小缺陷的检出。
针对以上的几个缺点，本申请着重从多模型融合的角度，提升密封钉焊接缺陷检测方法及系统的灵活性，以及可定制化的能力，采用多阶段、小模型组合的方式提升小缺陷的检出能力，以达到满足缺陷检出的任务指标要求。
本申请可以使用多模型融合的方式提升密封钉焊接缺陷检测的精度和灵活性，通过解耦可以将缺陷模型分为多个小模型，并结合分阶段检测小缺陷的方法，最终形成一个2D图像的检测方案，可作为3D检测的一个强力补充，大大提升缺陷的检出精度，以及不同产线的交付速度。
图4是根据本申请实施例的一种基于多模型融合的锂电池密封钉焊接缺陷检测系统的示意图，如图4所示，该系统包含密封钉区域图像采集模块、缺陷检测模块、任务规则过滤模块。
密封钉区域图像采集模块首先定位到密封钉区域，可以使用2D相机采集密封钉区域的图像，例如，采集图像的大小可以为2448*2048，此处仅作实例，可以根据实际需求调整图像采集设备，可以采用2K、4K、8K等相机。
缺陷检测模块为核心算法模块，可以先对采集的图像进行预处理，然后使用检测、分类、分割等模型进行缺陷识别和有效区域识别，可以得到缺陷的类别、区域、置信度等，并对缺陷进行过滤，得到过滤后的检测结果。
任务规则过滤模块可以根据缺陷检测模块的输出结果，结合实际产线的任务要求，设置不同的过滤规则，例如，置信度过滤、面积过滤、其他过滤，实现缺陷产品的检出。
图5是根据本申请实施例的一种缺陷检测模块的检测流程图，如图5所示，该方法包括：
步骤S501，获取原始图像；
步骤S502，对原始图像进行预处理，然后执行步骤S503至步骤S506；
可选的，对原始图像进行预处理可以为调整原始图像的尺寸大小，针对不同的下游模块，可以选择不同的尺寸，对于焊渣检测可以采用大图，提取感兴趣区域可以采用小图，分割有效区域可以采用中等尺度的图像，其中，大图的尺寸可以为1536*1536，小图的尺寸可以为512*512，中等尺度的图像的尺寸可以为1024*1024。
步骤S503，焊渣检测，并执行步骤S508；
可以采用目标检测模型中的第一检测模型进行焊渣检测，由于焊渣具有飞溅性，会在全图的任意位置出现，因此，需要对整图的焊渣进行监测，焊渣检测的输入图像可以与原始图像的尺寸接近；焊渣的尺度变化较大，为了实现小焊渣的检出，需要采用大尺度的图像。
步骤S504，提取感兴趣区域，并执行步骤S507；
可以获取非焊渣缺陷所在的矩形区域，进一步减少背景干扰，缩小待检测缺陷的区域，去除不存在缺陷的区域，可以增大下游缺陷识别模型的有效区域，使得下游模型检测更加准确。上述的感兴趣区域中至少包含焊道、耳朵、尾点。
步骤S505，对有效区域进行分割，并执行步骤S512；
可以通过实例分割模型对有效区域进行分割，获取原始图像中密封钉的焊道、耳朵、尾点这三个有效区域，用于后续基于有效区域过滤非焊渣缺陷，在获得有效区域的初始分割结果后，可以将初始分割结果映射回原图的坐标系中。
步骤S506，大型焊接缺陷分类，并执行步骤S513；
针对面积比较大、比较明显的缺陷，可以获取缺陷的类别，不需要进行位置的获取，例如熔钉、无钉、未焊接等类型的严重缺陷，使用第一分类模型进行整图分类即可，任务简单，准确性高。
步骤S507，对非焊渣缺陷进行检测；
除焊渣以外的焊接缺陷，如爆孔、针孔、凸起、虚焊等，主要集中在焊道、耳朵、尾点上的焊接缺陷，采用第二检测模型进行识别，不同的缺陷可以拆分到不同的模型中进行识别，减少缺陷标准或缺陷数据迭代带来的影响，即对解耦第二检测模型，提升缺陷检测系统的灵活性。同时对于不同缺陷可以采用不同的训练参数，更好的提升模型准确性。
步骤S508，对焊接缺陷进行扣取，并执行步骤S509和步骤S510；
可以根据焊接缺陷检测得到的矩形框，扣取焊接缺陷区域图像，用于下游分类和分割模块；扣取缺陷通常会对长宽方向适度的外扩，充分保留缺陷的轮廓以及周边图像特征。
步骤S509，对焊接缺陷进行分类；
可以根据实际需求对缺陷进行分类，对于误检较多的焊接缺陷类别可以使用分类模型降低误检，通过添加分类模型，可以采用尺寸较大的缺陷局部图得到更丰富的特征，从而可以减少误检。
步骤S510，对焊接缺陷进行分割；
为了获得更精确的缺陷区域，可以使用轮廓分割模型获得焊接缺陷的轮廓。
步骤S511，对焊接缺陷进行融合；
可以将焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果，可以将合并检测结果映射至原始图像的原始坐标系，得到初始检测结果。
步骤S512，对有效区域的位置进行过滤；
上述的有效区域指的是焊道、耳朵、尾点这三个区域。可以使用IOU预测框和目标框之间面积的交并比，过滤掉不在有效区域中的非焊渣缺陷，减少了非焊渣缺陷的误检。
步骤S513，利用预设过滤条件对焊接缺陷进行检出；
步骤S514，输出缺陷检测结果。
在一种可选的实施例中，可以根据实际的图像特征和任务对用于进行缺陷检测的模型进行适当的增减，例如，在原始图像中密封钉区域的占比较大时，可以去掉用于检测感兴趣区域的第三检测模型，对于不需要精确分割的焊接缺陷也可以去掉轮廓分割模型，从而降低模型在计算资源中的占用量。
可选的，本申请上述的所提供的密封钉焊接缺陷的检测方法中，一般不能删减的模块为焊渣检测焊渣检测、有效区分割、大型缺陷分类、非焊渣缺陷检测、缺陷融合、有效区域位置过滤和预设过滤条件检出；可以缩减的模块为RoI提取、缺陷分类、缺陷扣取、缺陷分割。
本申请中多阶段模型组合，串联RoI区域检测、缺陷检测、缺陷分类、缺陷分割分割、有效区过滤，保持不同阶段模型任务的单一性，同时不同阶段的模型训练保持独立性，减少阶段间的影响，极大程度上提升了系统的精度；单个大的目标检测模型解耦为多个小的检测模型，减少缺陷间的影响，保持单个模型的任务简单，减少因某一类缺陷更新导致的其他类别精度受影响的问题，获得更高精度；同时实现快速迭代不同类缺陷的目的，灵活性高；小尺度缺陷检出可以先在小尺度图像中获取RoI，扣取出区域图像缺陷检测，再扣取缺陷区域进行缺陷分类和缺陷分割，通过使用比较合适的尺度的图片，能综合提升缺陷识别的精度和检测速度。
本申请主要是借助多模型组合解决锂电池密封钉焊接缺陷的准确识别问题，通过分类、检测、分割等不同种类的模型，结合检测任务对不同缺陷的检出要求，形成针对性解决方案，实现多种缺陷的类别区分、位置定位、分割。同时基于本申请所提供的方案，根据检测任务要求的变化，可以适应性的进行调整，以支持不同的缺陷标准。还可以进一步与3D视觉方案进行结合，以解决对于依赖深度信息进行识别的缺陷。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例，还提供了一种密封钉焊接缺陷的检测方法，需要说明的是，在附图的流程图示出了步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本申请实施例2的一种密封钉焊接缺陷的检测方法的流程图，如图6所示，该方法包括如下步骤：
步骤S602，获取原始图像。
其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像。
步骤S604，利用多个模型分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果。
其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
步骤S606，对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
通过上述步骤，获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；利用多个模型分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种密封钉焊接缺陷的检测方法，需要说明的是，在附图的流程图示出了步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例3的一种密封钉焊接缺陷的检测方法的流程图，如图7所示，该方法包括如下步骤：
步骤S702，响应作用于操作界面上的输入指令，在操作界面上显示原始图像。
其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像。
上述的操作界面可以为智能设备的操作界面，其中，智能设备包括但不限于移动终端、计算机终端、智能穿戴设备、智能音响等。
步骤S704，响应作用于操作界面上的焊接缺陷检测指令，在操作界面上显示原始图像的缺陷检测结果。
其中，缺陷检测结果是对初始检测结果、初始分割结果和初始分类结果进行汇总得到的，初始检测结果、初始分割结果和初始分类结果是分别对原始图像进行缺陷检测、实例分割和缺陷分类得到的，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
上述的焊接缺陷检测指令可以为用户需要对原始图像中焊接有密封钉的区域进行检测时，通过对操作界面的相关控件进行操作或其他方式生成的指令。
通过上述步骤，响应作用于操作界面上的焊接缺陷检测指令，在操作界面上显示原始图像的缺陷检测结果，其中，缺陷检测结果是对初始检测结果、初始分割结果和初始分类结果进行汇总得到的，初始检测结果、初始分割结果和初始分类结果是分别对原始图像进行缺陷检测、实例分割和缺陷分类得到的，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种密封钉焊接缺陷的检测方法，需要说明的是，在附图的流程图示出了步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例4的一种密封钉焊接缺陷的检测方法的流程图，如图8所示，该方法包括如下步骤：
步骤S802，通过调用第一接口获取原始图像。
其中，第一接口包括第一参数，第一参数的参数值为原始图像，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像。
上述步骤中的第一接口可以是云服务器与客户端之间进行数据交互的接口，客户端可以将原始图像传入接口函数，作为接口函数的第一参数，实现将原始图像上传到云服务器的目的。
步骤S804，分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果。
其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
步骤S806，对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
步骤S808，通过调用第二接口输出缺陷检测结果。
其中，第二接口包括第二参数，第二参数的参数值为缺陷检测结果。
上述的第二接口可以是云服务器与客户端之间进行数据交互的接口，云服务器可以将缺陷检测结果传入接口函数，作为接口函数的第二参数，实现将缺陷检测结果下发至客户端的目的。
通过上述步骤，通过调用第一接口获取原始图像，其中，第一接口包括第一参数，第一参数的参数值为原始图像，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果；通过调用第二接口输出缺陷检测结果，其中，第二接口包括第二参数，第二参数的参数值为缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例，还提供了一种用于实施上述密封钉焊接缺陷的检测方法的密封钉焊接缺陷的检测装置，图9是根据本申请实施例5的一种密封钉焊接缺陷的检测装置的示意图，如图9所示，该装置900包括：获取模块902、处理模块904、汇总模块906。
其中，获取模块用于获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；处理模块用于分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；汇总模块用于对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
此处需要说明的是，上述获取模块902、处理模块904、汇总模块906对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的计算机终端10中。
本申请上述实施例中，处理模块还用于利用目标检测模型对原始图像进行缺陷检测，得到初始检测结果，利用实例分割模型对原始图像进行实例分割，得到初始分割结果，利用第一分类模型对原始图像进行缺陷分类，得到初始分类结果。
本申请上述实施例中，第一焊接缺陷至少包括：焊渣缺陷和除焊渣缺陷之外的至少一种焊接缺陷，处理模块还用于利用目标检测模型中的第一检测模型对原始图像中是否存在焊渣缺陷进行检测，得到焊渣检测结果，利用目标检测模型中的至少一个第二检测模型分别对原始图像中是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果，对焊渣检测结果和其他缺陷检测结果进行融合，得到初始检测结果。
本申请上述实施例中，处理模块还用于利用目标检测模型中的第三检测模型提取原始图像中的第二区域，其中，第二区域用于表征至少一种焊接缺陷对应的区域，利用至少一个第二检测模型分别对第二区域内是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果。
本申请上述实施例中，至少一种焊接缺陷至少包括：第三焊接缺陷，处理模块还用于基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷，利用第二分类模型对目标图像中是否存在第三焊接缺陷进行识别，得到目标图像的缺陷识别结果，对焊渣检测结果、其他缺陷检测结果和缺陷识别结果进行融合，得到初始检测结果。
本申请上述实施例中，该装置还用于基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷，利用轮廓分割模型对目标图像进行轮廓分割，得到目标图像的轮廓分割结果，其中，轮廓分割结果用于表征目标图像中存在的目标焊接缺陷所在区域的轮廓信息，对焊渣检测结果、其他缺陷检测结果和轮廓分割结果进行融合，得到初始检测结果。
本申请上述实施例中，处理模块还用于对焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果，将合并检测结果映射至原始图像的原始坐标系，得到初始检测结果。
本申请上述实施例中，汇总模块还用于基于初始分割结果对初始检测结果中的其他缺陷检测结果进行过滤，得到过滤后的检测结果，对过滤后的检测结果和初始分类结果进行汇总，得到缺陷检测结果。
本申请上述实施例中，汇总模块还用于基于预设过滤条件对过滤后的检测结果和初始分类结果进行过滤，得到缺陷检测结果。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述密封钉焊接缺陷的检测方法的密封钉焊接缺陷的检测装置，图10是根据本申请实施例6的一种密封钉焊接缺陷的检测装置的示意图，如图10所示，该装置1000包括：获取模块1002、处理模块1004、汇总模块1006。
其中，获取模块用于获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；处理模块用于利用多个模型分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；汇总模块用于对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
此处需要说明的是，上述获取模块1002、处理模块1004、汇总模块1006对应于实施例2中的步骤S602至步骤S606，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例，还提供了一种用于实施上述密封钉焊接缺陷的检测方法的密封钉焊接缺陷的检测装置，图11是根据本申请实施例7的一种密封钉焊接缺陷的检测装置的示意图，如图11所示，该装置1100包括：第一显示模块1102、第二显示模块1104。
其中，第一显示模块用于响应作用于操作界面上的输入指令，在操作界面上显示原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；第二显示模块用于响应作用于操作界面上的焊接缺陷检测指令，在操作界面上显示原始图像的缺陷检测结果，其中，缺陷检测结果是对初始检测结果、初始分割结果和初始分类结果进行汇总得到的，初始检测结果、初始分割结果和初始分类结果是分别对原始图像进行缺陷检测、实例分割和缺陷分类得到的，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同。
此处需要说明的是，上述第一显示模块1102、第二显示模块1104对应于实施例3中的步骤S702至步骤S702，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述密封钉焊接缺陷的检测方法的密封钉焊接缺陷的检测装置，图12是根据本申请实施例8的一种密封钉焊接缺陷的检测装置的示意图，如图12所示，该装置1200包括：获取模块1202、处理模块1204、汇总模块1206、输出模块1208。
其中，获取模块用于通过调用第一接口获取原始图像，其中，第一接口包括第一参数，第一参数的参数值为原始图像，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；处理模块用于分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；汇总模块用于对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果；输出模块用于通过调用第二接口输出缺陷检测结果，其中，第二接口包括第二参数，第二参数的参数值为缺陷检测结果。
此处需要说明的是，上述获取模块1202、处理模块1204、汇总模块1206、输出模块1208对应于实施例4中的步骤S802至步骤S808，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的计算机终端10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行密封钉焊接缺陷的检测方法中以下步骤的程序代码：获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
可选地，图13是根据本申请实施例的一种计算机终端的结构框图。如图13所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的密封钉焊接缺陷的检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的密封钉焊接缺陷的检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：利用目标检测模型对原始图像进行缺陷检测，得到初始检测结果；利用实例分割模型对原始图像进行实例分割，得到初始分割结果；利用第一分类模型对原始图像进行缺陷分类，得到初始分类结果。
可选的，上述处理器还可以执行如下步骤的程序代码：利用目标检测模型中的第一检测模型对原始图像中是否存在焊渣缺陷进行检测，得到焊渣检测结果；利用目标检测模型中的至少一个第二检测模型分别对原始图像中是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果；对焊渣检测结果和其他缺陷检测结果进行融合，得到初始检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：利用目标检测模型中的第三检测模型提取原始图像中的第二区域，其中，第二区域用于表征至少一种焊接缺陷对应的区域；利用至少一个第二检测模型分别对第二区域内是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用第二分类模型对目标图像中是否存在第三焊接缺陷进行识别，得到目标图像的缺陷识别结果；对焊渣检测结果、其他缺陷检测结果和缺陷识别结果进行融合，得到初始检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用轮廓分割模型对目标图像进行轮廓分割，得到目标图像的轮廓分割结果，其中，轮廓分割结果用于表征目标图像中存在的目标焊接缺陷所在区域的轮廓信息；对焊渣检测结果、其他缺陷检测结果和轮廓分割结果进行融合，得到初始检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：对焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果；将合并检测结果映射至原始图像的原始坐标系，得到初始检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于初始分割结果对初始检测结果中的其他缺陷检测结果进行过滤，得到过滤后的检测结果；对过滤后的检测结果和初始分类结果进行汇总，得到缺陷检测结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于预设过滤条件对过滤后的检测结果和初始分类结果进行过滤，得到缺陷检测结果。
采用本申请实施例，获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。
本领域普通技术人员可以理解，图13所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图13中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图13所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例10
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的密封钉焊接缺陷的检测方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用目标检测模型对原始图像进行缺陷检测，得到初始检测结果；利用实例分割模型对原始图像进行实例分割，得到初始分割结果；利用第一分类模型对原始图像进行缺陷分类，得到初始分类结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用目标检测模型中的第一检测模型对原始图像中是否存在焊渣缺陷进行检测，得到焊渣检测结果；利用目标检测模型中的至少一个第二检测模型分别对原始图像中是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果；对焊渣检测结果和其他缺陷检测结果进行融合，得到初始检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用目标检测模型中的第三检测模型提取原始图像中的第二区域，其中，第二区域用于表征至少一种焊接缺陷对应的区域；利用至少一个第二检测模型分别对第二区域内是否存在至少一种焊接缺陷进行检测，得到其他缺陷检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用第二分类模型对目标图像中是否存在第三焊接缺陷进行识别，得到目标图像的缺陷识别结果；对焊渣检测结果、其他缺陷检测结果和缺陷识别结果进行融合，得到初始检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于焊渣检测结果和其他缺陷检测结果对原始图像进行扣取，得到目标图像，其中，目标图像中存在焊渣缺陷或至少一种焊接缺陷；利用轮廓分割模型对目标图像进行轮廓分割，得到目标图像的轮廓分割结果，其中，轮廓分割结果用于表征目标图像中存在的目标焊接缺陷所在区域的轮廓信息；对焊渣检测结果、其他缺陷检测结果和轮廓分割结果进行融合，得到初始检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对焊渣检测结果和其他缺陷检测结果进行合并，得到合并检测结果；将合并检测结果映射至原始图像的原始坐标系，得到初始检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于初始分割结果对初始检测结果中的其他缺陷检测结果进行过滤，得到过滤后的检测结果；对过滤后的检测结果和初始分类结果进行汇总，得到缺陷检测结果。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于预设过滤条件对过滤后的检测结果和初始分类结果进行过滤，得到缺陷检测结果。
采用本申请实施例，获取原始图像，其中，原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；分别对原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，初始检测结果用于表征原始图像中是否存在第一焊接缺陷，初始分割结果用于表征密封钉的焊接位置对应的第一区域，初始分类结果用于表征原始图像中是否存在第二焊接缺陷，缺陷检测、实例分割和缺陷分类处理的图像的尺寸不同；对初始检测结果、初始分割结果和初始分类结果进行汇总，得到原始图像的缺陷检测结果，实现了提高密封钉焊接缺陷进行检测的准确度；容易注意到的是，通过获取2D的原始图像，可以对小尺度的缺陷达到比较好的检测效果，可以分别对原始图像进行缺陷检测、实例分割和缺陷分类，从而保持不同处理任务的单一性，可以减少不同处理任务之间相互产生的影响，在某一类缺陷更新时减少对其他类缺陷进行检测的影响，从而可以提高对密封钉焊接缺陷检测的准确度，进而解决了相关技术中对密封钉焊接缺陷进行检测的准确度较低的技术问题。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种密封钉焊接缺陷的检测方法，其特征在于，包括：
获取原始图像，其中，所述原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；
分别对所述原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，所述初始检测结果用于表征所述原始图像中是否存在第一焊接缺陷，所述初始分割结果用于表征所述密封钉的焊接位置对应的第一区域，所述初始分类结果用于表征所述原始图像中是否存在第二焊接缺陷，所述缺陷检测、所述实例分割和所述缺陷分类处理的图像的尺寸不同；
对所述初始检测结果、所述初始分割结果和所述初始分类结果进行汇总，得到所述原始图像的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，分别对所述原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，包括：
利用目标检测模型对所述原始图像进行缺陷检测，得到所述初始检测结果；
利用实例分割模型对所述原始图像进行实例分割，得到所述初始分割结果；
利用第一分类模型对所述原始图像进行缺陷分类，得到所述初始分类结果。
3.根据权利要求2所述的方法，其特征在于，所述第一焊接缺陷至少包括：焊渣缺陷和除所述焊渣缺陷之外的至少一种焊接缺陷，其中，利用目标检测模型对所述原始图像进行缺陷检测，得到所述初始检测结果，包括：
利用所述目标检测模型中的第一检测模型对所述原始图像中是否存在所述焊渣缺陷进行检测，得到焊渣检测结果；
利用所述目标检测模型中的至少一个第二检测模型分别对所述原始图像中是否存在所述至少一种焊接缺陷进行检测，得到其他缺陷检测结果；
对所述焊渣检测结果和所述其他缺陷检测结果进行融合，得到所述初始检测结果。
4.根据权利要求3所述的方法，其特征在于，利用所述目标检测模型中的至少一个第二检测模型分别对所述原始图像中是否存在所述至少一种焊接缺陷进行检测，得到其他缺陷检测结果，包括：
利用所述目标检测模型中的第三检测模型提取所述原始图像中的第二区域，其中，所述第二区域用于表征所述至少一种焊接缺陷对应的区域；
利用所述至少一个第二检测模型分别对所述第二区域内是否存在所述至少一种焊接缺陷进行检测，得到所述其他缺陷检测结果。
5.根据权利要求3所述的方法，其特征在于，所述至少一种焊接缺陷至少包括：第三焊接缺陷，所述方法还包括：
基于所述焊渣检测结果和所述其他缺陷检测结果对所述原始图像进行扣取，得到目标图像，其中，所述目标图像中存在所述焊渣缺陷或所述至少一种焊接缺陷；
利用第二分类模型对所述目标图像中是否存在所述第三焊接缺陷进行识别，得到所述目标图像的缺陷识别结果；
对所述焊渣检测结果、所述其他缺陷检测结果和所述缺陷识别结果进行融合，得到所述初始检测结果。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述焊渣检测结果和所述其他缺陷检测结果对所述原始图像进行扣取，得到目标图像，其中，所述目标图像中存在所述焊渣缺陷或所述至少一种焊接缺陷；
利用轮廓分割模型对所述目标图像进行轮廓分割，得到所述目标图像的轮廓分割结果，其中，所述轮廓分割结果用于表征所述目标图像中存在的目标焊接缺陷所在区域的轮廓信息；
对所述焊渣检测结果、所述其他缺陷检测结果和所述轮廓分割结果进行融合，得到所述初始检测结果。
7.根据权利要求3所述的方法，其特征在于，对所述焊渣检测结果和所述其他缺陷检测结果进行融合，得到所述初始检测结果，包括：
对所述焊渣检测结果和所述其他缺陷检测结果进行合并，得到合并检测结果；
将所述合并检测结果映射至所述原始图像的原始坐标系，得到所述初始检测结果。
8.根据权利要求1所述的方法，其特征在于，对所述初始检测结果、所述初始分割结果和所述初始分类结果进行汇总，得到所述原始图像的缺陷检测结果，包括：
基于所述初始分割结果对所述初始检测结果中的其他缺陷检测结果进行过滤，得到过滤后的检测结果；
对所述过滤后的检测结果和所述初始分类结果进行汇总，得到所述缺陷检测结果。
9.根据权利要求8所述的方法，其特征在于，对所述过滤后的检测结果和所述初始分类结果进行汇总，得到所述缺陷检测结果，包括：
基于预设过滤条件对所述过滤后的检测结果和所述初始分类结果进行过滤，得到所述缺陷检测结果。
10.一种密封钉焊接缺陷的检测方法，其特征在于，包括：
获取原始图像，其中，所述原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；
利用多个模型分别对所述原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，所述初始检测结果用于表征所述原始图像中是否存在第一焊接缺陷，所述初始分割结果用于表征所述密封钉的焊接位置对应的第一区域，所述初始分类结果用于表征所述原始图像中是否存在第二焊接缺陷，所述缺陷检测、所述实例分割和所述缺陷分类处理的图像的尺寸不同；
对所述初始检测结果、所述初始分割结果和所述初始分类结果进行汇总，得到所述原始图像的缺陷检测结果。
11.一种密封钉焊接缺陷的检测方法，其特征在于，包括：
响应作用于操作界面上的输入指令，在所述操作界面上显示原始图像，其中，所述原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；
响应作用于所述操作界面上的焊接缺陷检测指令，在所述操作界面上显示所述原始图像的缺陷检测结果，其中，所述缺陷检测结果是对初始检测结果、初始分割结果和初始分类结果进行汇总得到的，所述初始检测结果、所述初始分割结果和所述初始分类结果是分别对所述原始图像进行缺陷检测、实例分割和缺陷分类得到的，所述初始检测结果用于表征所述原始图像中是否存在第一焊接缺陷，所述初始分割结果用于表征所述密封钉的焊接位置对应的第一区域，所述初始分类结果用于表征所述原始图像中是否存在第二焊接缺陷，所述缺陷检测、所述实例分割和所述缺陷分类处理的图像的尺寸不同。
12.一种密封钉焊接缺陷的检测方法，其特征在于，包括：
通过调用第一接口获取原始图像，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述原始图像，所述原始图像用于表征对焊接有密封钉的区域进行拍摄得到的图像；
分别对所述原始图像进行缺陷检测、实例分割和缺陷分类，得到初始检测结果、初始分割结果和初始分类结果，其中，所述初始检测结果用于表征所述原始图像中是否存在第一焊接缺陷，所述初始分割结果用于表征所述密封钉的焊接位置对应的第一区域，所述初始分类结果用于表征所述原始图像中是否存在第二焊接缺陷，所述缺陷检测、所述实例分割和所述缺陷分类处理的图像的尺寸不同；
对所述初始检测结果、所述初始分割结果和所述初始分类结果进行汇总，得到所述原始图像的缺陷检测结果；
通过调用第二接口输出所述缺陷检测结果，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述缺陷检测结果。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
14.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。
CN202310581810.XA 2023-05-21 2023-05-21 密封钉焊接缺陷的检测方法、存储介质以及电子设备 Pending CN116630264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581810.XA CN116630264A (zh) 2023-05-21 2023-05-21 密封钉焊接缺陷的检测方法、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581810.XA CN116630264A (zh) 2023-05-21 2023-05-21 密封钉焊接缺陷的检测方法、存储介质以及电子设备

Publications (1)

Publication Number Publication Date
CN116630264A true CN116630264A (zh) 2023-08-22

Family

ID=87612830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581810.XA Pending CN116630264A (zh) 2023-05-21 2023-05-21 密封钉焊接缺陷的检测方法、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN116630264A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557563A (zh) * 2024-01-11 2024-02-13 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统
CN117783147A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 焊接检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112102255A (zh) * 2020-08-21 2020-12-18 杭州培慕科技有限公司 基于工业场景下的x射线成像图像的缺陷智能评级方法
CN113155869A (zh) * 2021-03-22 2021-07-23 太原科技大学 一种焊缝ｘ射线底片自动数字化采集及智能检测评定装置
CN114881989A (zh) * 2022-05-23 2022-08-09 国网智能电网研究院有限公司 基于小样本目标对象缺陷检测的方法、装置、电子设备
CN115222649A (zh) * 2021-04-16 2022-10-21 美光科技公司 用于对热图的图案进行检测和分类的系统、设备和方法
CN115705646A (zh) * 2021-08-12 2023-02-17 波音公司 过程中检测和映射复合铺层中的缺陷的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112102255A (zh) * 2020-08-21 2020-12-18 杭州培慕科技有限公司 基于工业场景下的x射线成像图像的缺陷智能评级方法
CN113155869A (zh) * 2021-03-22 2021-07-23 太原科技大学 一种焊缝ｘ射线底片自动数字化采集及智能检测评定装置
CN115222649A (zh) * 2021-04-16 2022-10-21 美光科技公司 用于对热图的图案进行检测和分类的系统、设备和方法
CN115705646A (zh) * 2021-08-12 2023-02-17 波音公司 过程中检测和映射复合铺层中的缺陷的方法
CN114881989A (zh) * 2022-05-23 2022-08-09 国网智能电网研究院有限公司 基于小样本目标对象缺陷检测的方法、装置、电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557563A (zh) * 2024-01-11 2024-02-13 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统
CN117557563B (zh) * 2024-01-11 2024-03-22 深圳市新技智能设备有限公司 一种焊接缺陷识别检测方法及系统
CN117783147A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 焊接检测方法及系统

Similar Documents

Publication Publication Date Title
CN116630264A (zh) 密封钉焊接缺陷的检测方法、存储介质以及电子设备
CN111768386B (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN110210302B (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN109118515B (zh) 一种电力设备的视频跟踪方法及装置
CN110472510A (zh) 基于红外及可见图像的电力设备故障检测方法及评估设备
EP3723046A1 (en) Target tracking method and device
CN110298819A (zh) 一种目标对象的质检方法及边缘计算设备
TWI715932B (zh) 車輛損傷識別的處理方法及其處理裝置、車輛定損的資料處理設備、定損處理系統、客戶端及伺服器
CN113299073B (zh) 识别车辆违章停车的方法、装置、设备和存储介质
CN116503414B (zh) 屏幕缺陷检测方法、装置、计算机设备和存储介质
CN110837760B (zh) 目标检测方法、用于目标检测的训练方法和装置
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110490118A (zh) 图像处理方法及装置
CN113077524A (zh) 一种双目鱼眼相机自动标定方法、装置、设备及存储介质
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN115147386A (zh) U型管的缺陷检测方法、装置及电子设备
CN115619636A (zh) 图像拼接方法、电子设备以及存储介质
CN114255476A (zh) 行人识别方法、装置、智能机器人及存储介质
CN113469994A (zh) 受电弓检测方法、装置、电子设备和存储介质
CN112991175A (zh) 一种基于单ptz摄像头的全景图片生成方法及设备
CN112686155A (zh) 图像识别方法、装置、计算机可读存储介质及处理器
CN116168370B (zh) 一种自动驾驶数据识别方法及其系统
CN111898622A (zh) 信息处理、信息显示与模型训练方法、系统及设备
CN115578264B (zh) 一种快速的高质量图像拼接方法、装置和系统
CN112581465B (zh) 一种焊缝缺陷检测方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination