CN114596290A - 缺陷检测方法及其装置、存储介质、程序产品 - Google Patents

缺陷检测方法及其装置、存储介质、程序产品 Download PDF

Info

Publication number
CN114596290A
CN114596290A CN202210242790.9A CN202210242790A CN114596290A CN 114596290 A CN114596290 A CN 114596290A CN 202210242790 A CN202210242790 A CN 202210242790A CN 114596290 A CN114596290 A CN 114596290A
Authority
CN
China
Prior art keywords
image
defect
weld
welding seam
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210242790.9A
Other languages
English (en)
Inventor
吴涛
刘俊
高斌斌
李昱希
王亚彪
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210242790.9A priority Critical patent/CN114596290A/zh
Publication of CN114596290A publication Critical patent/CN114596290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种缺陷检测方法及其装置、存储介质、程序产品，在获取待处理图像之后，根据获取待处理图像计算灰度梯度幅值图像和亮度校正图像，然后将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，接着对三通道图像进行缺陷检测处理得到第一缺陷图像。本申请能够提高针对缺陷的识别准确性，从而降低出现漏检的概率。本申请可以广泛应用于例如智能手机、平板电脑、笔记本电脑、台式计算机、服务器、车载终端等设备的图像处理技术中。

Description

缺陷检测方法及其装置、存储介质、程序产品
技术领域
本申请涉及图像处理技术领域，尤其涉及一种缺陷检测方法及其装置、存储介质、程序产品。
背景技术
焊接作为一种基本的工艺方法被广泛应用于电力、燃气、石油、船舶及普通机械设备生产等领域，然而焊接过程中受各种因素的影响，可能会出现气孔或者裂纹等缺陷，不仅影响产品的质量和可靠性，甚至可能会带来灾难性的后果，因此，对焊接缺陷进行检测是必不可少的。
相关技术中，提出了基于人工智能算法实现对焊缝图像中的焊接缺陷进行自动识别的方案，但是，当焊缝图像中低灰度值区域和高灰度值区域均存在焊接缺陷时，相关技术中的方案无法准确识别出焊接缺陷，从而导致出现漏检的问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种缺陷检测方法及其装置、存储介质、程序产品，能够提高针对缺陷的识别准确性，从而降低出现漏检的概率。
一方面，本申请实施例提供了一种缺陷检测方法，包括以下步骤：
获取待处理图像；
根据所述待处理图像计算得到所述待处理图像的灰度梯度幅值图像；
根据所述待处理图像计算得到所述待处理图像的亮度校正图像；
将所述待处理图像、所述灰度梯度幅值图像和所述亮度校正图像合并成三通道图像；
对所述三通道图像进行缺陷检测处理得到第一缺陷图像。
另一方面，本申请实施例还提供了一种缺陷检测装置，包括：
第一获取单元，用于获取待处理图像；
第二获取单元，用于根据所述待处理图像计算得到所述待处理图像的灰度梯度幅值图像；
第三获取单元，用于根据所述待处理图像计算得到所述待处理图像的亮度校正图像；
图像合并单元，用于将所述待处理图像、所述灰度梯度幅值图像和所述亮度校正图像合并成三通道图像；
缺陷检测单元，用于对所述三通道图像进行缺陷检测处理得到第一缺陷图像。
可选地，所述待处理图像的数量为多个，所述第一获取单元包括：
第四获取单元，用于获取目标图像；
图像增强单元，用于对所述目标图像进行图像增强处理，得到增强图像；
多尺度转换单元，用于对所述目标图像和所述增强图像分别进行多尺度转换处理，得到多个所述待处理图像。
可选地，所述待处理图像、所述灰度梯度幅值图像、所述亮度校正图像和所述三通道图像的数量均为多个，所述待处理图像、所述灰度梯度幅值图像、所述亮度校正图像和所述三通道图像之间一一对应；所述缺陷检测单元包括：
图像检测单元，用于对多个所述三通道图像进行缺陷检测处理，得到多个缺陷标注图像；
尺度映射单元，用于将多个所述缺陷标注图像映射到同一尺度，得到多个候选缺陷图像；
抑制合并单元，用于对多个所述候选缺陷图像进行非极大值抑制合并处理，得到所述第一缺陷图像。
可选地，所述第四获取单元包括：
第五获取单元，用于获取第一焊缝图像，所述第一焊缝图像含有焊缝区域；
焊缝识别单元，用于对所述第一焊缝图像进行焊缝识别处理，得到与所述焊缝区域对应的焊缝掩膜图像；
图像截取单元，用于根据所述焊缝掩膜图像对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像。
可选地，所述第一缺陷图像中标记有缺陷位置；所述缺陷检测装置还包括：
缺陷确定单元，用于根据所述焊缝掩膜图像在所述第一缺陷图像中确定目标缺陷区域；
图像删除单元，用于删除所述第一缺陷图像中的目标缺陷位置得到第二缺陷图像，其中，所述目标缺陷位置为所述第一缺陷图像中处于所述目标缺陷区域之外的缺陷位置。
可选地，所述第一焊缝图像的数量为多个，所述第五获取单元包括：
图像接收单元，用于接收第二焊缝图像；
第一尺寸获取单元，用于获取所述第二焊缝图像的第一长度信息；
图像分割单元，用于当所述第一长度信息大于第一预设长度阈值，对所述第二焊缝图像进行分割处理得到多个所述第一焊缝图像。
可选地，所述图像分割单元包括：
参数获取单元，用于获取分割长度阈值、分割宽度阈值、交叠比例值和所述第二焊缝图像的第一宽度信息；
坐标计算单元，用于根据所述分割长度阈值、所述分割宽度阈值、所述交叠比例值、所述第一长度信息和所述第一宽度信息，计算得到分割坐标信息；
图像分割子单元，用于根据所述分割坐标信息对所述第二焊缝图像进行分割处理，得到多个所述第一焊缝图像。
可选地，所述缺陷检测装置还包括：
坐标获取单元，用于获取所述第二缺陷图像中的缺陷位置的目标坐标信息；
信息映射单元，用于将所述目标坐标信息映射到所述第二焊缝图像，得到目标缺陷图像。
可选地，所述图像截取单元包括：
第一边框获取单元，用于获取所述焊缝掩膜图像的第一边界框；
第一坐标确定单元，用于根据所述第一边界框确定所述焊缝掩膜图像的第一掩膜坐标信息；
第一截取单元，用于根据所述第一掩膜坐标信息对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像。
可选地，所述图像截取子单元包括：
第一尺寸计算单元，用于根据所述第一掩膜坐标信息计算得到所述焊缝掩膜图像的第二长度信息和第二宽度信息；
旋转处理单元，用于当所述第二长度信息大于所述第二宽度信息，对所述焊缝掩膜图像进行旋转处理得到旋转掩膜图像，并且对所述第一焊缝图像进行所述旋转处理得到旋转焊缝图像；
第二边框获取单元，用于获取所述旋转掩膜图像的第二边界框；
第二坐标确定单元，用于根据所述第二边界框确定所述旋转掩膜图像的第二掩膜坐标信息；
第二截取单元，用于根据所述第二掩膜坐标信息对所述旋转焊缝图像中的焊缝区域进行截图处理，得到所述目标图像。
可选地，所述第二截取单元包括：
第二尺寸计算单元，用于根据所述第二掩膜坐标信息计算得到所述旋转掩膜图像的第三长度信息；
分割处理单元，用于当所述第三长度信息大于第二预设长度阈值，根据所述第二预设长度阈值对所述旋转掩膜图像和所述旋转焊缝图像进行分割处理，得到多个分割后的旋转掩膜图像和多个分割后的旋转焊缝图像；
第三边框获取单元，用于获取所述分割后的旋转掩膜图像的第三边界框；
第三坐标确定单元，用于根据所述第三边界框确定所述分割后的旋转掩膜图像的第三掩膜坐标信息；
第三截取单元，用于根据所述第三掩膜坐标信息对所述分割后的旋转焊缝图像中的焊缝区域进行截图处理，得到所述目标图像。
另一方面，本申请实施例还提供了一种缺陷检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的缺陷检测方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如前面所述的缺陷检测方法。
另一方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述计算机设备执行如前面所述的缺陷检测方法。
本申请实施例至少包括以下有益效果：在获取待处理图像之后，根据获取待处理图像计算灰度梯度幅值图像和亮度校正图像，然后将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，接着对三通道图像进行缺陷检测处理得到第一缺陷图像。由于灰度梯度幅值图像能够将处于低灰度值区域的缺陷和处于高灰度值区域的缺陷均映射到同一灰阶范围，从而降低缺陷之间的灰度值差异，而亮度校正图能够平衡低灰度值区域和高灰度值区域之间的亮度差异，从而提高缺陷的检出概率，因此，对由待处理图像、灰度梯度幅值图像和亮度校正图像合并成的三通道图像进行缺陷检测处理，能够提高针对缺陷的识别准确性，从而降低出现漏检的概率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请一个实施例提供的一种缺陷检测方法的流程图；
图3是本申请一个实施例提供的灰度强度值和灰度梯度值的对应关系示意图；
图4是图2中步骤110的一种具体方法流程图；
图5a是本申请一个实施例提供的原始的目标图像的示意图；
图5b是本申请一个实施例提供的经过图像增强处理后的增强图像的示意图；
图6是图2中步骤150的一种具体方法流程图；
图7是本申请一个实施例提供的对多个三通道图像进行缺陷检测处理的示意图；
图8是本申请一个实施例提供的将多个缺陷标注图像映射到同一尺度并对多个候选缺陷图像进行非极大值抑制合并处理的示意图；
图9是图4中步骤141的一种具体方法流程图；
图10是本申请一个实施例提供的对第一焊缝图像中的焊缝区域进行截图处理的示意图；
图11是本申请另一个实施例提供的一种缺陷检测方法的流程图；
图12a是本申请一个实施例提供的第一缺陷图像的示意图；
图12b是本申请一个实施例提供的焊缝掩膜图像的示意图；
图12c是本申请一个实施例提供的第二缺陷图像的示意图；
图13是图9中步骤1411的一种具体方法流程图；
图14是本申请一个实施例提供的对第二焊缝图像进行分割以及焊缝识别处理的示意图；
图15是本申请一个实施例提供的将目标坐标信息映射到第二焊缝图像的示意图；
图16是图9中步骤1413的一种具体方法流程图；
图17是图16中步骤14133的一种具体方法流程图；
图18是本申请一个具体例子提供的服务器对焊缝图像进行缺陷检测的处理流程图；
图19是图18中步骤203的一种具体方法流程图；
图20是图18中步骤207的一种具体方法流程图；
图21是本申请一个实施例提供的一种缺陷检测装置的示意图；
图22是本申请另一个实施例提供的一种缺陷检测装置的示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)灰度梯度幅值图像，是指由图像的灰度梯度幅值构成的图像。图像的灰度梯度幅值，是指灰度化的该图像的某像素在X轴方向和Y轴方向上与相邻像素之间的变化值，是一个二维向量，包括两个分量：X轴变化值和Y轴变化值。其中的一种计算方式为：X轴变化值为当前像素右侧的像素值减去当前像素左侧的像素值；Y轴变化值为当前像素下方的像素值减去当前像素上方的像素值。
2)非极大值抑制(Non-Maximum Suppression，NMS)，可以用于抑制除局部最大值之外的所有值，其能够指示具有最强烈的强度值变化的位置。
3)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
4)计算机视觉(Computer Vision，CV)：是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
5)机器学习(Machine Learning，ML)：一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
6)深度学习(Deep Learning，DL)：深度学习是机器学习领域中一个新的研究方向，它用于学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
7)区块链(Blockchain)，是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务以及智能合约等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能。平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
焊接作为一种基本的工艺方法被广泛应用于电力、燃气、石油、船舶及普通机械设备生产等领域，焊接技术的优劣直接影响产品的质量和安全性能，例如针对油气管道等的焊接处理，如果焊接位置出现气孔或者裂纹等焊接缺陷，则可能会带来灾难性的后果。因此，对焊接缺陷进行检测是必不可少的。
X射线具有强穿透能力，能够用于透视材质内部的缺陷，常常用于无损探伤检测领域。传统的检测方式是由评片人员对X射线焊缝胶片进行缺陷的确认，但这种方式的工作量巨大，并且X射线焊缝胶片的成像质量参差不齐，容易导致漏检。为了解决这个问题，相关技术中提出了基于人工智能算法实现对焊缝图像中的焊接缺陷进行自动识别的方案，具体地，采用计算机视觉技术，通过使用数字化扫描设备将X射线焊缝胶片扫描为数字图像，然后使用计算机对数字化后的图像进行焊接缺陷的定位和识别，实现底片评级和对焊接部位的风险评估。但是，在使用数字化扫描设备将X射线焊缝胶片扫描为数字图像时，受到成像设备和数据采集人员的影响，部分图像的对比度和亮度均较低，导致存在成像质量较差的问题，此时，如果图像中的低灰度值区域和高灰度值区域均存在焊接缺陷，此类方案无法准确识别出焊接缺陷，从而导致出现漏检的问题。
为了能够提高针对缺陷的识别准确性，本申请实施例提供了一种缺陷检测方法、缺陷检测装置、计算机可读存储介质以及计算机程序产品，在获取待处理图像之后，根据获取待处理图像计算灰度梯度幅值图像和亮度校正图像，然后将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，接着对三通道图像进行缺陷检测处理得到第一缺陷图像。由于灰度梯度幅值图像能够将处于低灰度值区域的缺陷和处于高灰度值区域的缺陷均映射到同一灰阶范围，从而降低缺陷之间的灰度值差异，而亮度校正图能够平衡低灰度值区域和高灰度值区域之间的亮度差异，从而提高缺陷的检出概率，因此，对由待处理图像、灰度梯度幅值图像和亮度校正图像合并成的三通道图像进行缺陷检测处理，能够提高针对缺陷的识别准确性，从而降低出现漏检的概率。
图1是本申请实施例提供的一种实施环境的示意图。参照图1，该实施环境包括终端101和服务器102，终端101与服务器102通过有线或无线通信方式进行直接或间接的连接。其中，终端101与服务器102可以为区块链中的节点，本实施例对此并不作具体限定。
终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、车载终端等，但并不局限于此。可选地，终端101可以安装有应用程序，终端101可以利用该应用程序对待处理图像进行焊缝缺陷检测，或者可以通过该应用程序将待处理图像上传给服务器102，使得服务器102可以对待处理图像进行焊缝缺陷检测。
终端101至少具有获取待处理图像、显示焊缝缺陷检测结果等功能，例如，能够在获取待处理图像之后，对待处理图像进行焊缝缺陷检测处理得到焊缝缺陷检测结果，然后显示该焊缝缺陷检测结果；又如，能够在获取待处理图像之后，将待处理图像上传给服务器102，使得服务器102对待处理图像进行焊缝缺陷检测处理得到焊缝缺陷检测结果，然后接收服务器102发送的焊缝缺陷检测结果，接着显示焊缝缺陷检测结果。
服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102至少具有获取待处理图像、对待处理图像进行焊缝缺陷检测等功能，例如，能够在接收到终端101发送的待处理图像之后，对待处理图像进行焊缝缺陷检测处理得到焊缝缺陷检测结果，然后向终端101发送焊缝缺陷检测结果，使得终端101显示焊缝缺陷检测结果。
需要说明的是，终端101和服务器102所具有的上述功能，可以应用于不同的应用场景中，例如：
在一应用场景中，终端101为用于对油气管道等进行焊缝缺陷探测的探测仪器，终端101安装有用于拍摄图像的摄像头、对图像进行焊缝缺陷检测的应用程序以及用于显示缺陷检测结果的显示屏。响应于用户通过该应用程序触发摄像头对油气管道的焊接位置进行图像拍摄的操作，终端101获取待处理图像，并通过该应用程序将该待处理图像发送给服务器102；响应于获取到该待处理图像，服务器102根据该待处理图像计算得到该待处理图像的灰度梯度幅值图像和亮度校正图像，再将该待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，然后对该三通道图像进行缺陷检测处理得到第一缺陷图像，接着向终端101发送该第一缺陷图像；响应于接收到该第一缺陷图像，终端101通过显示屏向用户显示该第一缺陷图像。
在另一应用场景中，终端101为台式计算机，并且终端101安装有用于处理图像的应用程序，该应用程序集成有从服务器102中下载的经过训练的焊缝缺陷检测模型。响应于用户将待处理图像输入到终端101的操作，终端101调用该应用程序计算得到该待处理图像的灰度梯度幅值图像和亮度校正图像，再将该待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，然后将该三通道图像输入到经过训练的焊缝缺陷检测模型，得到第一缺陷图像；响应于得到第一缺陷图像，终端101向用户显示该第一缺陷图像。
图2是本申请实施例提供的一种缺陷检测方法的流程图。在本实施例中，以服务器作为执行主体为例进行说明。参照图2，该缺陷检测方法包括但不限于步骤110至步骤150。
步骤110：获取待处理图像。
需要说明的是，待处理图像可以是通过拍摄得到图像、用户输入的图像或者从数据库中获取的图像等，此处不作具体限定。
需要说明的是，待处理图像可以是原始图像、对原始图像进行了分割处理而得到的局部图像、对原始图像进行了灰度化等预处理的图像等，此处不作具体限定。
需要说明的是，待处理图像可以是待检测表面是否存在缺陷的产品图像，例如，可以是油气管道的焊缝位置的图像、金属板件的焊缝位置的图像或者其他金属件的表面图像等，此处不作具体限定。
步骤120：根据待处理图像计算得到待处理图像的灰度梯度幅值图像。
本步骤中，由于在步骤110获取到了待处理图像，因此可以根据待处理图像计算得到待处理图像的灰度梯度幅值图像，其中，灰度梯度幅值图像能够将处于低灰度值区域的缺陷和处于高灰度值区域的缺陷均映射到同一灰阶范围，从而可以降低缺陷之间的灰度值差异，所以，在低灰度值区域和高灰度值区域均存在缺陷的情况下，灰度梯度幅值图像能够有助于提高针对缺陷的识别准确性，从而能够降低出现漏检的概率。
需要说明的是，根据待处理图像计算得到待处理图像的灰度梯度幅值图像，可以有不同的实施方式，可以根据实际应用情况而进行适当选择，例如，可以利用Sobel算子计算待处理图像的灰度梯度幅值图像，或者利用Scharr算子计算待处理图像的灰度梯度幅值图像，又或者利用Laplacian算子计算待处理图像的灰度梯度幅值图像。其中，Sobel算子用于求取一阶导数或者二阶导数，是高斯平滑和微分操作的结合体，具有良好的抗噪声能力。Scharr算子是对Sobel算子的部分优化，也是用于求取一阶导数或者二阶导数，当卷积核大小为-1时，使用Scharr算子计算灰度梯度幅值图像的效果会优于使用Sobel算子计算灰度梯度幅值图像的效果；Laplacian算子用于求取二阶导数，在计算Laplacian算子时，可以调用Sobel算子，对Sobel算子进行二阶求导而计算得到。
下面以一个例子对灰度梯度幅值图像的作用进行说明，参考图3，图3是待处理图像的灰度强度值和灰度梯度值的对应关系示意图。图3的上面一个曲线图为待处理图像的灰度强度曲线图，其中，横坐标是像素索引，纵坐标是灰度强度值；图3的下面一个曲线图为该待处理图像的灰度梯度曲线图，其中，横坐标是像素索引，纵坐标是灰度梯度值。根据灰度强度曲线图可知，在像素索引为100和350时，灰度强度曲线出现了“尖峰”，表示在这两个位置存在缺陷，其中，像素索引为100时对应的缺陷属于低灰度值区域的缺陷，像素索引为350时对应的缺陷属于高灰度值区域的缺陷，由于这两种缺陷处于不同的灰阶范围，因此出现了较大的灰度值差异，从而增加了针对这两个缺陷的识别难度。为了降低针对这两个缺陷的识别难度，可以根据该灰度强度曲线计算得到该灰度梯度曲线，根据该灰度梯度曲线可知，在像素索引为100和350时，对应的灰度梯度值处于同一水平值，也就是说，处于低灰度值区域的缺陷和处于高灰度值区域的缺陷能够被映射到同一灰阶范围，降低了这两个缺陷之间的灰度值差异，从而降低了针对这两个缺陷的识别难度，提高了缺陷的检出概率。因此，根据待处理图像计算得到的灰度梯度幅值图像，能够将处于低灰度值区域的缺陷和处于高灰度值区域的缺陷均映射到同一灰阶范围，从而可以降低缺陷之间的灰度值差异，达到提高缺陷的检出概率的目的。
需要说明的是，当待处理图像为单通道灰度图时，可以直接根据待处理图像计算得到待处理图像的灰度梯度幅值图像；当待处理图像并非为单通道灰度图时，可以先对待处理图像进行灰度化等预处理，将待处理图像转换成单通道灰度图，然后再根据待处理图像计算得到待处理图像的灰度梯度幅值图像。
步骤130：根据待处理图像计算得到待处理图像的亮度校正图像。
需要说明的是，经过研究分析，在待处理图像中可能会存在难以分辨的细微缺陷，为了能够降低这类细微缺陷的漏检概率，可以通过提升低灰度区域的亮度以及压缩高灰度区域的亮度，使得这类细微缺陷易于被检测，因此，在本步骤中，可以根据待处理图像计算得到待处理图像的亮度校正图像，其中，亮度校正图能够平衡低灰度值区域和高灰度值区域之间的亮度差异，从而可以提高缺陷的检出概率，所以，在待处理图像存在难以分辨的细微缺陷的情况下，亮度校正图像能够有助于提高针对细微缺陷的检出概率，从而能够降低出现漏检的概率。
需要说明的是，可以通过如下公式(1)计算得到待处理图像的亮度校正图像：
Iγ＝Iγ,(0<γ<1) (1)
在公式(1)，I为待处理图像，γ为亮度校正指数，Iγ为亮度校正图像。
在一些实施方式中，亮度校正指数可以是伽马校正指数，通过伽马校正指数对待处理图像进行校正，能够调整待处理图像中像素的亮度，达到提升低灰度区域的亮度以及压缩高灰度区域的亮度的目的，从而提升针对待处理图像中的细微缺陷的检测能力。
步骤140：将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像。
本步骤中，由于在步骤120中得到了待处理图像的灰度梯度幅值图像，在步骤130中得到了待处理图像的亮度校正图像，因此可以将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，使得待处理图像、灰度梯度幅值图像和亮度校正图像形成一个整体，这样，三通道图像中既包含了待处理图像的原始信息，又包含了经过增强处理的图像信息，从而有利于后续步骤所进行的缺陷检测处理，使得检测结果具备较高的准确性和较低的漏检率。
需要说明的是，将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，可以包括以下步骤：对于待处理三通道图像中的像素点P，从待处理图像中获取对应的像素值P1，从灰度梯度幅值图像中获取对应的像素值P2，以及从亮度校正图像中获取对应的像素值P3，然后将像素值P1、像素值P2和像素值P3结合来表示三通道图像中的像素点P的像素值，即三通道图像中的像素点P的像素值为(P1，P2，P3)，如此完成对待处理图像中的每个像素点的处理，最后得到三通道图像。
步骤150：对三通道图像进行缺陷检测处理得到第一缺陷图像。
本步骤中，由于在步骤140中将待处理图像、灰度梯度幅值图像和亮度校正图像合并成了三通道图像，使得三通道图像中既包含了待处理图像的原始信息，又包含了经过增强处理的图像信息，因此可以对三通道图像进行缺陷检测处理得到第一缺陷图像，使得第一缺陷图像具备较高的缺陷识别准确率和较低的缺陷漏检率。
需要说明的是，可以采用预训练的缺陷检测模型对三通道图像进行缺陷检测处理得到第一缺陷图像，其中，缺陷检测模型可以为Faster-RCNN模型、YOLO(You Only LookOnce)模型或者CascadeRCNN模型等，可以根据实际应用情况而进行适当的选择，此处不作具体限定。
Faster-RCNN模型采用卷积神经网络(Convolutional Neural Networks，CNN)自行产生参考框，并和目标检测网络共享该CNN，使得参考框的数量能够大大减小，从而提高了检测效率和检测准确性。
YOLO模型将单个CNN应用于整个图像，将整个图像分成多个网格，并预测每个网格所对应的类别概率和目标检测框的大小。YOLO模型能够预测目标检测框中存在对象的概率，如果该概率大于或等于预设的概率阈值，则可以认为识别到对应的对象，如果该概率小于预设的概率阈值，则可以认为没有识别到对应的对象。
CascadeRCNN模型能够将多个RCNN网络(Region Convolutional NeuralNetworks)基于不同的交并比阈值进行级联，从而对检测的结果进行不断的优化。其中，前一个RCNN网络的输出可以作为后一个RCNN网络的输入，越往后的RCNN网络所界定的正负样本的交并比阈值是不断上升的。
需要说明的是，为了能够提高缺陷检测模型的检测准确性，可以对缺陷检测模型设置合适的模型参数，其中，不同类型的模型会有不同的模型参数，可以根据实际应用情况而进行适当的设置，此处不作具体限定。
下面以缺陷检测模型为CascadeRCNN模型作为例子进行说明：
假设采用CascadeRCNN模型对三通道图像进行缺陷检测处理，为了能够提高检测的准确性以及降低漏检的概率，可以采用HRNet32(即32层的HRNet)作为CascadeRCNN模型的主干网络，并且边界框回归损失函数选用smooth-l1 loss函数，参考框(Anchor)设置为包括0.03125、0.0625、0.125、0.25、0.5、1.0、2.0、4.0、8.0、16.0、32.0、64.0等多种尺寸，以覆盖不同长宽比的缺陷，例如狭长裂纹、未焊透等缺陷。此外，在对CascadeRCNN模型进行训练的时候，针对样本占比少但重要程度高的缺陷类别，可以采用Copypaste算法对样本进行数据扩增，具体地，将缺陷裁切出来并随机粘贴到焊缝区域中，不仅可以增加样本数量，还可以提升针对这类缺陷的召回率。
需要说明的是，HRNet(High-Resolution Net，高分辨率网络)能够生成多种不同分辨率的特征。在网络前进的过程中，不仅会保持较大的特征图，还会平行地做一些下采样处理以缩小特征图，如此迭代下去，最后可以生成多组具有不同分辨率的特征图，然后融合这些特征图并做分割图的预测处理。
本实施例中，通过包括前面步骤110至步骤150的缺陷检测方法，在获取待处理图像之后，根据获取待处理图像计算灰度梯度幅值图像和亮度校正图像，然后将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像，接着对三通道图像进行缺陷检测处理得到第一缺陷图像。由于灰度梯度幅值图像能够将处于低灰度值区域的缺陷和处于高灰度值区域的缺陷均映射到同一灰阶范围，从而降低缺陷之间的灰度值差异，而亮度校正图能够平衡低灰度值区域和高灰度值区域之间的亮度差异，从而提高缺陷的检出概率，因此，对由待处理图像、灰度梯度幅值图像和亮度校正图像合并成的三通道图像进行缺陷检测处理，能够提高针对缺陷的识别准确性，从而降低出现漏检的概率。
参照图4所示，本申请的一个实施例，对步骤110进行进一步的说明，在待处理图像的数量为多个的情况下，步骤110可以包括但不限于步骤111至步骤113。
步骤141：获取目标图像。
需要说明的是，目标图像可以是通过拍摄得到图像、用户输入的图像或者从数据库中获取的图像等，此处不作具体限定。
需要说明的是，目标图像可以是原始图像、对原始图像进行了分割处理而得到的局部图像、对原始图像进行了灰度化等预处理的图像等，此处不作具体限定。
需要说明的是，目标图像可以是待检测表面是否存在缺陷的产品图像，例如，可以是油气管道的焊缝位置的图像、金属板件的焊缝位置的图像或者其他金属件的表面图像等，此处不作具体限定。
步骤142：对目标图像进行图像增强处理，得到增强图像。
需要说明的是，目标图像可能会存在对比度较低、亮度较低或者边缘轮廓模糊等问题，这容易导致后续的缺陷检测结果不准确，为了解决这个问题，可以先对目标图像进行图像增强处理得到增强图像，再根据增强图像进行后续的缺陷检测处理，提高缺陷检测结果的准确性。
需要说明的是，针对目标图像所存在的问题的不同，可以对应进行不同的图像增强处理，例如可以提高目标图像的对比度、提高目标图像的亮度或者对目标图像进行锐化处理等，可以根据实际应用情况而进行适当的选择，此处不作具体限定。
下面以一个例子进行说明，假设目标图像存在对比度较低的问题，为了提高目标图像的对比度，可以采用对比度自适应均衡算法对目标图像进行图像增强处理，例如，可以调用OpenCV中的cv2.createCLAHE函数对目标图像进行对比度的调整。其中，OpenCV是一个开源的跨平台计算机视觉和机器学习软件库，其提供了有关图像处理和计算机视觉的多种通用算法。cv2.createCLAHE函数能够用于生成自适应均衡化图像，其包括有clip_limits和tile_sizes这两个参数，clip_limits表示对比度的阈值，tile_sizes表示像素均衡化的网格大小，这两个参数可以根据实际应用情况进行适当选择，例如，在一些可行的实施方式中，cv2.createCLAHE函数的参数可以设置为clip_limits＝2，tile_sizes＝8。如图5a和图5b所示，图5a是原始的目标图像，图5b是经过图像增强处理后的增强图像，根据图5a和图5b可以看出，增强图像中的细节内容较之于目标图像更加明显，所以，后续步骤中根据增强图像进行缺陷检测处理，能够提高缺陷检测结果的准确性。
步骤143：对目标图像和增强图像分别进行多尺度转换处理，得到多个待处理图像。
需要说明的是，虽然在步骤142中对目标图像进行图像增强处理得到了增强图像，但是图像的尺度是固定，有些缺陷可能由于比较细小而导致无法被检出，为了解决这个问题，本步骤中，可以先对目标图像和增强图像分别进行多尺度转换处理得到多个待处理图像，使得比较细小的缺陷可以随着图像尺度的增大而增大，从而能够提高后续步骤的缺陷检测处理的检测准确性。此外，如果后续步骤采用缺陷检测模型实现针对缺陷的检测处理，那么，在对目标图像和增强图像分别进行多尺度转换处理而得到多个待处理图像的情况下，可以使得这些待处理图像涉及到多种尺度，从而可以提高缺陷检测模型针对不同尺度的图像的缺陷检出能力，进而可以提高缺陷检测模型的适用范围。
需要说明的是，在对目标图像和增强图像分别进行多尺度转换处理时，可以根据实际应用情况而设置不同的尺度参数，例如，在一些可行的实施方式中，可以在多尺度转换处理中设置3种不同的尺度参数，例如可以设置为600×600、450×450和300×300的像素尺寸。
参照图6所示，本申请的一个实施例，对步骤150进行进一步的说明，在待处理图像的数量为多个的情况下，步骤150可以包括但不限于步骤151至步骤153。
步骤151：对多个三通道图像进行缺陷检测处理，得到多个缺陷标注图像。
需要说明的是，缺陷标注图像是指标注有缺陷位置的图像，例如，带有用于指示缺陷位置的检测框的图像。
需要说明的是，由于灰度梯度幅值图像和亮度校正图像都是根据待处理图像而计算得到的，并且三通道图像是将待处理图像、灰度梯度幅值图像和亮度校正图像进行合并而得到的，因此，在待处理图像的数量为多个的情况下，灰度梯度幅值图像、亮度校正图像和三通道图像的数量均为多个，并且待处理图像、灰度梯度幅值图像、亮度校正图像和三通道图像之间一一对应。此外，由于多个待处理图像涉及到多种尺度，因此得到的多个三通道图像也会涉及到多种尺度，所以，本步骤中对多个三通道图像进行缺陷检测处理得到多个缺陷标注图像，能够提高针对不同尺度的图像的缺陷检出能力，有利于降低缺陷的漏检概率。
需要说明的是，可以采用预训练的缺陷检测模型对三通道图像进行缺陷检测处理得到多个缺陷标注图像，例如，可以采用Faster-RCNN模型、YOLO(You Only Look Once)模型或者CascadeRCNN模型等对三通道图像进行缺陷检测处理，此处不作具体限定。
下面以一个例子进行说明，如图7所示，图7是对多个三通道图像进行缺陷检测处理的一个例子的示意图。假设有3个三通道图像，并且这3个三通道图像的尺度分别为600×600、450×450和300×300，那么将这3个三通道图像分别输入到CascadeRCNN模型之后，可以得到3个缺陷标注图像(检测框在焊缝区域内标注了缺陷的位置)，其中，这3个缺陷标注图像的尺度分别为600×600、450×450和300×300的像素尺寸。
步骤152：将多个缺陷标注图像映射到同一尺度，得到多个候选缺陷图像。
需要说明的是，由于多个三通道图像涉及到多种尺度，因此得到的多个缺陷标注图像也会涉及到多种尺度，但是，这些缺陷标注图像都是针对同一个待处理图像的，因此这些缺陷标注图像中的缺陷位置可能会存在重复的情况，从而会导致检测结果混乱，而且，由于这些缺陷标注图像的尺度并不相同，因此可能会影响最终的缺陷检测结果的准确性。为了避免这个问题，在执行步骤151得到多种尺度的缺陷标注图像之后，可以先将这些缺陷标注图像映射到同一尺度得到多个候选缺陷图像，以便于后续步骤可以对这些尺度统一的候选缺陷图像进行非极大值抑制合并处理以得到准确的缺陷检测结果。
在一些可行的实施方式中，可以先在这些缺陷标注图像中选择一个目标缺陷标注图像，并以这个目标缺陷标注图像的尺度作为基准尺度，然后将其他缺陷标注图像的尺度转换到该基准尺度，得到多个候选缺陷图像。
步骤153：对多个候选缺陷图像进行非极大值抑制合并处理，得到第一缺陷图像。
本步骤中，由于在步骤152中得到了多个候选缺陷图像，并且这些候选缺陷图像的尺度均相一致，因此可以对这些候选缺陷图像进行非极大值抑制合并处理，从而得到准确的第一缺陷图像。
在一些可行的实施方式中，对多个候选缺陷图像进行非极大值抑制合并处理的过程可以为：首先将这些候选缺陷图像合并为合并图像，使得该合并图像包括所有候选缺陷图像中的用于指示缺陷位置的检测框；然后确定这些检测框的置信度，并选择置信度最大的检测框；接着判断该置信度最大的检测框与其他检测框的交并比，丢弃交并比大于交并比阈值的检测框，并标记该置信度最大的检测框；然后从剩余的检测框中再选择置信度最大的检测框，重复上述步骤，直到确定所有被标记的检测框；接着将这些被标记的检测框映射到合并图像中，得到第一缺陷图像。
下面以一个例子进行说明，如图8所示，图8是将多个缺陷标注图像映射到同一尺度并对多个候选缺陷图像进行非极大值抑制合并处理的一个例子的示意图。假设在步骤151中得到了6个候选缺陷图像，这6个候选缺陷图像包括3个对应于前面的目标图像的候选缺陷图像和3个对应于前面的增强图像的候选缺陷图像，其中，这些候选缺陷图像中的检测框在焊缝区域内标注了缺陷的位置，这6个候选缺陷图像包括了600×600、450×450和300×300这3种像素尺寸，那么可以先将这6个候选缺陷图像的尺度均映射到600×600的像素尺寸，并将这6个候选缺陷图像合并为合并图像；接着对该合并图像进行非极大值抑制合并处理，得到第一缺陷图像，其中，在进行非极大值抑制合并处理时，可以设置检测框的置信度阈值为0.3，交并比阈值为0.5，当然，置信度阈值和交并比阈值还可以设置为其他数值，可以根据实际应用情况而进行适当的选择，此处不作具体限定。
参照图9所示，本申请的一个实施例，对步骤141进行进一步的说明，步骤141可以包括但不限于步骤1411至步骤1413。
步骤1411：获取第一焊缝图像，第一焊缝图像含有焊缝区域。
需要说明的是，第一焊缝图像可以是通过拍摄得到图像、用户输入的图像或者从数据库中获取的图像等，此处不作具体限定。
需要说明的是，第一焊缝图像可以是原始图像、对原始图像进行了分割处理而得到的局部图像、对原始图像进行了灰度化等预处理的图像等，此处不作具体限定。
需要说明的是，第一焊缝图像可以是油气管道的焊缝位置的图像、金属板件的焊缝位置的图像或者其他金属件的焊缝位置的图像等，此处不作具体限定。
步骤1412：对第一焊缝图像进行焊缝识别处理，得到与焊缝区域对应的焊缝掩膜图像。
需要说明的是，由于第一焊缝图像含有焊缝区域和非焊缝区域，如果直接对第一焊缝图像进行缺陷检测处理，可能会引入处于非焊缝区域的噪声，从而导致缺陷检测的结果不准确，因此，为了提高缺陷检测结果的准确性，可以先对第一焊缝图像进行焊缝识别处理得到与焊缝区域对应的焊缝掩膜图像，以便于后续步骤可以根据该焊缝掩膜图像在第一焊缝图像中截取以焊缝区域为主要内容的目标图像，进而能够提高后续的缺陷检测的准确性。
需要说明的是，可以采用预训练的焊缝识别模型对第一焊缝图像进行焊缝识别处理得到焊缝掩膜图像，例如，可以采用深度神经网络模型或者卷积神经网络模型等对第一焊缝图像进行焊缝识别处理，此处不作具体限定。
在一些可行的实施方式中，考虑到性能和效率的平衡，可以选择OCRNet模型作为焊缝识别模型，其中，主干网络采用HRNet18(即18层的HRNet)。需要说明的是，在对OCRNet模型进行训练的过程中，为了应对图像质量差的问题，可以对训练样本进行随机对比度、随机亮度、随机饱和度、随机雾化、随机伽马校正、随机模糊、随机图像块丢弃等数据增扩处理，提高OCRNet模型的泛化能力。此外，为了减少针对竖线焊缝的漏检，可以在训练过程中依据50％的随机概率将训练样本旋转90度，并且设置模型的输入参数为1000×1000的像素尺寸。
需要说明的是，OCRNet模型可计算一组物体区域的特征表达，然后根据物体区域特征表示与像素特征表示之间的相似度将这些物体区域特征表示传播给每一个像素，从而可以预测每个像素的语义类别。
步骤1413：根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，由于在步骤1412中得到了与焊缝区域对应的焊缝掩膜图像，因此可以根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像，以便于后续步骤可以对目标图像进行图像增强以及多尺度转换等处理，从而可以方便进行后续的缺陷检测处理。
在一些可行的实施方式中，如图10所示，根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理得到目标图像，具体可以为：先将焊缝掩膜图像叠加到第一焊缝图像，使得焊缝掩膜图像中的焊缝掩膜区域与第一焊缝图像中的焊缝区域重叠，然后根据焊缝掩膜区域对第一焊缝图像进行截图处理，得到与焊缝掩膜区域对应的目标图像。
在另一些可行的实施方式中，根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理得到目标图像，具体可以为：先确定焊缝掩膜图像中的焊缝掩膜区域的坐标信息，然后将焊缝掩膜区域的坐标信息映射到第一焊缝图像，得到映射坐标信息，然后根据映射坐标信息对第一焊缝图像进行截图处理，得到与焊缝掩膜区域对应的目标图像。
参照图11所示，本申请的一个实施例，对该缺陷检测方法进行进一步的说明，在第一缺陷图像中标记有缺陷位置的情况下，在执行步骤150之后，该缺陷检测方法还可以包括但不限于步骤160和步骤170。
步骤160：根据焊缝掩膜图像在第一缺陷图像中确定目标缺陷区域。
需要说明的是，步骤150中得到的第一缺陷图像，可能会包括处于焊缝区域的缺陷以及处于非焊缝区域的缺陷，其中，处于非焊缝区域的缺陷可能是由于处于非焊缝区域的噪声而引起的误检，实际上并不存在该处于非焊缝区域的缺陷，因此，为了提高缺陷检测的准确性，可以先根据焊缝掩膜图像在第一缺陷图像中确定目标缺陷区域(如目标缺陷的有效区域等)，使得后续步骤可以在目标缺陷区域中确定缺陷位置，并且将目标缺陷区域中的缺陷位置作为检测结果，从而可以降低误检率，提高缺陷检测的准确性。
步骤170：删除第一缺陷图像中的目标缺陷位置得到第二缺陷图像，其中，目标缺陷位置为第一缺陷图像中处于目标缺陷区域之外的缺陷位置。
本步骤中，由于在步骤160确定了目标缺陷区域，因此可以删除第一缺陷图像中处于目标缺陷区域之外的目标缺陷位置，得到缺陷位置处于目标缺陷区域之内的第二缺陷图像，从而降低误检率，提高缺陷检测的准确性。
如图12a、图12b和图12c所示，图12a是一个例子中的第一缺陷图像，在该第一缺陷图像中，包括有处于焊缝区域的缺陷和处于非焊缝区域的缺陷(如图12a中的箭头所示)；图12b是一个例子中的焊缝掩膜图像；图12c是一个例子中的第二缺陷图像。由于第一缺陷图像中包括有处于焊缝区域的缺陷和处于非焊缝区域的缺陷，因此该处于非焊缝区域的缺陷会影响最终的缺陷检测的准确性，为了能够提高缺陷检测的准确性，可以将图12b中的焊缝掩膜图像叠加到图12a中的第一缺陷图像以确定目标缺陷区域，然后删除第一缺陷图像中的处于非焊缝区域的缺陷(如图12a中的箭头所示)，得到如图12c所示的第二缺陷图像。由于第二缺陷图像中仅包括处于焊缝区域的缺陷，因此可以提高缺陷检测的准确性，从而降低误检率。
参照图13所示，本申请的一个实施例，对步骤1411进行进一步的说明，在第一焊缝图像的数量为多个的情况下，步骤1411可以包括但不限于步骤14111至步骤14113。
步骤14111：接收第二焊缝图像。
需要说明的是，第二焊缝图像可以是通过拍摄得到图像、用户输入的图像或者从数据库中获取的图像等，此处不作具体限定。
需要说明的是，第二焊缝图像可以是原始图像、对原始图像进行了分割处理而得到的局部图像、对原始图像进行了灰度化等预处理的图像等，此处不作具体限定。
需要说明的是，第二焊缝图像可以是油气管道的焊缝位置的图像、金属板件的焊缝位置的图像或者其他金属件的焊缝位置的图像等，此处不作具体限定。
步骤14112：获取第二焊缝图像的第一长度信息。
需要说明的是，针对焊缝图像(例如管道焊缝图像)，经过研究分析，发现这些焊缝图像的长度分布十分广泛，从数百像素到数万像素不等，如果直接将这些焊缝图像输入到焊缝识别模型，将会导致输出的焊缝特征分布差异过大，大大增加了后续的焊缝识别的处理难度，从而会影响焊缝识别的准确性。为了解决这个问题，可以先对焊缝图像进行分割得到多个焊缝图像片段，降低焊缝特征分布的差异，再将这些焊缝图像片段输入到焊缝识别模型进行焊缝识别处理，以便于可以提高焊缝识别的准确性。因此，在执行步骤14111接收到了第二焊缝图像之后，可以先获取第二焊缝图像的第一长度信息，以便于后续步骤可以根据第一长度信息确定是否需要对第二焊缝图像进行分割处理。
步骤14113：当第一长度信息大于第一预设长度阈值，对第二焊缝图像进行分割处理得到多个第一焊缝图像。
本步骤中，由于在步骤14112中获取到了第二焊缝图像的第一长度信息，因此可以将第一长度信息和第一预设长度阈值进行比较，判断第二焊缝图像的长度是否过长。当第一长度信息大于第一预设长度阈值，可以认为第二焊缝图像的长度过长，因此可以对第二焊缝图像进行分割处理得到多个第一焊缝图像，从而可以降低后续的焊缝识别的处理难度。
需要说明的是，当第一长度信息小于或者等于第一预设长度阈值，说明第二焊缝图像的长度并非过长，因此可以不对第二焊缝图像进行分割处理。
需要说明的是，第一预设长度阈值可以根据实际应用情况而进行适当的选择，此处不作具体限定，例如，第一预设长度阈值可以设置为10000像素。
另外，本申请的一个实施例，对步骤14113进行进一步的说明，步骤14113可以包括但不限于以下步骤：
获取分割长度阈值、分割宽度阈值、交叠比例值和第二焊缝图像的第一宽度信息；
根据分割长度阈值、分割宽度阈值、交叠比例值、第一长度信息和第一宽度信息，计算得到分割坐标信息；
根据分割坐标信息对第二焊缝图像进行分割处理，得到多个第一焊缝图像。
本实施例中，当根据第一长度信息和第一预设长度阈值确定需要对第二焊缝图像进行分割处理时，可以先获取预设的分割长度阈值、分割宽度阈值和交叠比例值，以及获取第二焊缝图像的第一宽度信息，然后根据分割长度阈值、分割宽度阈值、交叠比例值、第一长度信息和第一宽度信息，计算得到用于对第二焊缝图像进行分割处理的分割坐标信息，接着根据该分割坐标信息对第二焊缝图像进行分割处理，得到多个第一焊缝图像。此外，通过先对第二焊缝图像进行分割处理得到多个第一焊缝图像，而后对这些第一焊缝图像进行焊缝识别处理，能够避免由于输入图像过大而导致图形处理器(Graphics ProcessingUnit，GPU)显存不足的问题。
在一可行的实施方式中，可以根据如下公式(2)计算得到第i个第一焊缝图像的分割坐标信息：
Figure BDA0003543301630000161
在公式(2)中，W为第二焊缝图像的第一宽度信息，H为第二焊缝图像的第一长度信息，ws为分割宽度阈值，hs为分割长度阈值，r为交叠比例值，i为被分割后的第一焊缝图像的索引值，
Figure BDA0003543301630000162
为第i个第一焊缝图像的左上角在X轴方向上的坐标值，
Figure BDA0003543301630000163
为第i个第一焊缝图像的左上角在Y轴方向上的坐标值，
Figure BDA0003543301630000164
为第i个第一焊缝图像的右下角在X轴方向上的坐标值，
Figure BDA0003543301630000165
为第i个第一焊缝图像的右下角在Y轴方向上的坐标值。
需要说明的是，在对第二焊缝图像进行分割处理时，缺陷位置有可能会处于分割的位置，因此会造成缺陷特征的丢失，不利于后续步骤的缺陷检测处理，为了避免这个问题，可以设置两个第一焊缝图像之间的交叠比例值，使得在对第二焊缝图像进行分割处理时，可以避开对缺陷位置的分割，避免丢失缺陷特征。交叠比例值的取值可以根据实际应用情况而进行适当的选择，例如，可以根据第二焊缝图像中的缺陷位置的历史统计数据确定交叠比例值的取值，使得交叠比例值的取值能够具备一定的普遍适用性。
需要说明的是，本实施例中，通过将第二焊缝图像分割为多个第一焊缝图像，不仅可以在具体应用中提高焊缝识别的准确性，还可以在模型训练过程中提高训练样本的一致性和多样性。例如图14所示，图14是一个具体例子中对第二焊缝图像进行分割处理以及焊缝识别处理的示意图，在图14中，先对长度过长的第二焊缝图像进行分割处理，得到多个长度较短的第一焊缝图像，然后对这些第一焊缝图像分别进行焊缝识别处理，得到多个焊缝掩膜图像。
另外，本申请的一个实施例，对该缺陷检测方法进行进一步的说明，在执行步骤170之后，该缺陷检测方法还可以包括但不限于以下步骤：
获取第二缺陷图像中的缺陷位置的目标坐标信息；
将目标坐标信息映射到第二焊缝图像，得到目标缺陷图像。
需要说明的是，虽然在步骤170中得到了仅包括处于焊缝区域的缺陷的第二缺陷图像，但是第二缺陷图像只是对应于原始的第二焊缝图像的一部分，因此无法直接得到第二焊缝图像中的准确的缺陷位置，因此，在得到了第二缺陷图像之后，可以先获取第二缺陷图像中的缺陷位置的目标坐标信息，然后将目标坐标信息映射到第二焊缝图像，得到目标缺陷图像，其中，目标缺陷图像是在第二焊缝图像中标注了处于焊缝区域的全部缺陷位置的图像，也就是说，此时完成了对第二焊缝图像的缺陷检测处理。
需要说明的是，第二缺陷图像中标注有用于指示缺陷位置的检测框，因此可以根据该检测框确定缺陷位置的目标坐标信息，其中，该目标坐标信息是归属于第二缺陷图像的坐标系中的坐标信息；然后，可以将归属于第二缺陷图像的坐标系的目标坐标信息，映射到第二焊缝图像的坐标系中，得到缺陷位置在第二焊缝图像的坐标系中的坐标信息；接着，可以根据缺陷位置在第二焊缝图像中的坐标信息，在第二焊缝图像中对缺陷位置标注检测框，得到目标缺陷图像。例如图15所示，图15是一个具体例子中将目标坐标信息映射到第二焊缝图像的示意图，在图15中，获取第二缺陷图像中的缺陷位置的目标坐标信息(即图15中检测框的坐标信息)，然后将目标坐标信息映射到第二焊缝图像，得到目标缺陷图像。
参照图16所示，本申请的一个实施例，对步骤1413进行进一步的说明，步骤1413可以包括但不限于以下步骤：
步骤14131：获取焊缝掩膜图像的第一边界框；
步骤14132：根据第一边界框确定焊缝掩膜图像的第一掩膜坐标信息；
步骤14133：根据第一掩膜坐标信息对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像。
本实施例中，当需要根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理时，首先需要确定进行截图的坐标信息，因此，可以先获取焊缝掩膜图像的第一边界框，然后根据第一边界框确定焊缝掩膜图像的第一掩膜坐标信息，接着根据第一掩膜坐标信息对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像。本实施例中，通过先获取需要进行截图的坐标信息，能够提高对焊缝区域的截图准确性，减小引入非焊缝区域的噪声，从而可以提高后续步骤的缺陷检测的准确性。
需要说明的是，在获取焊缝掩膜图像的第一边界框时，可以先求取焊缝掩膜图像的外接多边形，然后根据该外接多边形计算得到焊缝掩膜图像的第一边界框。其中，在求取焊缝掩膜图像的外接多边形时，可以调用OpenCV中的findContours函数计算焊缝掩膜图像的所有轮廓图，然后选择面积最大的轮廓图作为焊缝掩膜图像的外接多边形。另外，假设该外接多边形的坐标为
Figure BDA0003543301630000171
那么，在根据该外接多边形计算焊缝掩膜图像的第一边界框时，可以采用如下公式(3)进行计算：
Figure BDA0003543301630000172
在公式(3)中，
Figure BDA0003543301630000173
为第一边界框的左上角在X轴方向上的坐标值，
Figure BDA0003543301630000174
为第一边界框的左上角在Y轴方向上的坐标值，
Figure BDA0003543301630000175
为第一边界框的右下角在X轴方向上的坐标值，
Figure BDA0003543301630000176
为第一边界框的右下角在Y轴方向上的坐标值。
参照图17所示，本申请的一个实施例，对步骤14133进行进一步的说明，步骤14133可以包括但不限于以下步骤：
步骤141331：根据第一掩膜坐标信息计算得到焊缝掩膜图像的第二长度信息和第二宽度信息；
步骤141332：当第二长度信息大于第二宽度信息，对焊缝掩膜图像进行旋转处理得到旋转掩膜图像，并且对第一焊缝图像进行旋转处理得到旋转焊缝图像；
步骤141333：获取旋转掩膜图像的第二边界框；
步骤141334：根据第二边界框确定旋转掩膜图像的第二掩膜坐标信息；
步骤141335：根据第二掩膜坐标信息对旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，经过研究分析，焊缝图像的几何特征一般呈现为横向狭长型或者竖向狭长型，其中，常用的焊缝图像更多的是呈现为横向狭长型的图像，只有少量的焊缝图像是呈现为竖向狭长型的图像，因此，用于训练缺陷检测模型的样本大多是呈现为横向狭长型的图像，如果将竖向狭长型的焊缝图像输入到缺陷检测模型进行缺陷检测处理，将会导致缺陷检测结果不准确的问题。为了解决这个问题，可以先判断焊缝图像的长宽比将竖向的焊缝图像旋转为横向的焊缝图像，接着对旋转为横向的焊缝图像进行截图处理，以便于后续步骤可以对缺陷进行准确的检测。所以，本实施例中，当需要对第一焊缝图像中的焊缝区域进行截图处理时，可以先根据第一掩膜坐标信息计算得到焊缝掩膜图像的第二长度信息和第二宽度信息，再判断第二长度信息是否大于第二宽度信息，当第二长度信息大于第二宽度信息，说明焊缝掩膜图像和第一焊缝图像均呈现为竖向狭长型，因此可以对焊缝掩膜图像进行旋转处理得到旋转掩膜图像，并且对第一焊缝图像进行旋转处理得到旋转焊缝图像，然后，获取旋转掩膜图像的第二边界框，并根据第二边界框确定旋转掩膜图像的第二掩膜坐标信息，接着，根据第二掩膜坐标信息对旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，在获取旋转掩膜图像的第二边界框以及根据第二边界框确定旋转掩膜图像的第二掩膜坐标信息时，可以采用如前面图16所示实施例中的方法，获取旋转掩膜图像的第二边界框以及根据第二边界框确定旋转掩膜图像的第二掩膜坐标信息，具体方法可以参考如前面图16所示实施例中的相关描述，为了避免内容重复冗余，此处不再赘述。
需要说明的是，在对焊缝掩膜图像和第一焊缝图像进行旋转处理时，可以采用转置操作或者调用NumPy中的swapaxes函数实现。其中，NumPy是一种开源的数值计算扩展工具，可用来存储和处理大型矩阵，支持大量的维度数组与矩阵运算。swapaxes函数可用于对矩阵进行对轴的两两置换处理，因此，swapaxes函数可用于实现对焊缝掩膜图像和第一焊缝图像的旋转处理。
另外，本申请的一个实施例，对步骤141335进行进一步的说明，步骤141335可以包括但不限于以下步骤：
根据第二掩膜坐标信息计算得到旋转掩膜图像的第三长度信息；
当第三长度信息大于第二预设长度阈值，根据第二预设长度阈值对旋转掩膜图像和旋转焊缝图像进行分割处理，得到多个分割后的旋转掩膜图像和多个分割后的旋转焊缝图像；
获取分割后的旋转掩膜图像的第三边界框；
根据第三边界框确定分割后的旋转掩膜图像的第三掩膜坐标信息；
根据第三掩膜坐标信息对分割后的旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，经过研究分析，焊缝图像的几何特征一般呈现为横向狭长型或者竖向狭长型，而采用神经网络构建的缺陷检测模型一般对于输入长度和输入宽度相接近的图像具有更强的拟合能力，因此，如果直接对狭长型的焊缝图像进行缺陷检测处理，将会导致缺陷检出能力降低的问题，从而不利于准确检测出缺陷。为了解决这个问题，可以先对焊缝图像进行二次分割，使得分割后的焊缝图像能够满足缺陷检测模型对于输入数据的要求，进而能够提高针对缺陷的检出能力；此外，通过先对焊缝图像进行二次分割，而后利用二次分割后的焊缝图像进行缺陷检测处理，还能够避免由于输入图像过大而导致GPU显存不足的问题。所以，本实施例中，当需要对旋转焊缝图像中的焊缝区域进行截图处理时，可以先根据第二掩膜坐标信息计算得到旋转掩膜图像的第三长度信息，再判断第三长度信息是否大于第二预设长度阈值，当第三长度信息大于第二预设长度阈值，说明旋转掩膜图像和旋转焊缝图像均未能满足缺陷检测模型对于输入数据的要求，因此可以根据第二预设长度阈值对旋转掩膜图像和旋转焊缝图像进行分割处理，得到多个分割后的旋转掩膜图像和多个分割后的旋转焊缝图像，然后，获取分割后的旋转掩膜图像的第三边界框，并根据第三边界框确定分割后的旋转掩膜图像的第三掩膜坐标信息，接着，根据第三掩膜坐标信息对分割后的旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，在获取分割后的旋转掩膜图像的第三边界框以及根据第三边界框确定分割后的旋转掩膜图像的第三掩膜坐标信息时，可以采用如前面图16所示实施例中的方法，获取分割后的旋转掩膜图像的第三边界框以及根据第三边界框确定分割后的旋转掩膜图像的第三掩膜坐标信息，具体方法可以参考如前面图16所示实施例中的相关描述，为了避免内容重复冗余，此处不再赘述。
需要说明的是，第二预设长度阈值可以根据实际应用情况而进行适当的选择，此处不作具体限定，例如，第二预设长度阈值可以设置为600像素。
为了更加清楚的说明本申请实施例提供的缺陷检测方法的处理流程，下面结合不同的应用场景给出不同的具体示例以进行说明。
场景一：
参照图18，图18是一个具体例子中服务器对焊缝图像进行缺陷检测的处理流程图。
当用户采用探测仪器对油气管道的焊接位置进行图像拍摄并针对拍摄到的焊缝图像进行缺陷检测时，探测仪器会向服务器发送拍摄到的焊缝图像；当服务器接收到该焊缝图像后，服务器会执行如下步骤：
步骤201：输入焊缝图像；
步骤202：判断焊缝图像的长度是否超出设定的长度，若是，执行步骤203，若否，执行步骤204；
步骤203：对焊缝图像进行图像分割处理，得到分割后的多个焊缝图像；
步骤204：对焊缝图像进行焊缝识别处理，得到焊缝掩膜图像；
步骤205：利用焊缝掩膜图像对焊缝图像进行截图处理，得到焊缝区域图像；
步骤206：根据焊缝掩膜图像判断是否需要对焊缝区域图像进行旋转以及二次分割处理，若是，执行步骤207，若否，执行步骤208；
步骤207：根据焊缝掩膜图像对焊缝区域图像进行旋转以及二次分割处理，得到处理后的焊缝区域图像；
步骤208：对焊缝区域图像进行图像增强以及多尺度转换处理，得到多个目标焊缝区域图像；
步骤209：对这些目标焊缝区域图像进行缺陷检测处理，得到多个缺陷图像；
步骤210：对这些缺陷图像进行NMS合并处理，得到目标缺陷图像；
步骤211：判断目标缺陷图像是否经过了旋转处理，若是，执行步骤212，若否，执行步骤213；
步骤212：对目标缺陷图像中的检测框进行旋转处理，得到旋转后的检测框；
步骤213：将目标缺陷图像中的检测框映射到焊缝图像，得到缺陷检测结果。
其中，参照图19，图19是步骤203的具体流程图，具体地，步骤203可以包括如下步骤：
步骤2031：获取分割长度阈值、分割宽度阈值、交叠比例值以及焊缝图像的长度值和宽度值；
步骤2032：根据分割长度阈值、分割宽度阈值、交叠比例值以及焊缝图像的长度值和宽度值，计算得到分割坐标信息；
步骤2033：根据分割坐标信息对焊缝图像进行分割处理；
步骤2034：返回经过分割处理的多个焊缝图像以及相应的图像坐标信息。
其中，参照图20，图20是步骤207的具体流程图，具体地，步骤207可以包括如下步骤：
步骤2071：获取焊缝掩膜图像；
步骤2072：计算焊缝掩膜图像的边界框以及边界框的坐标信息；
步骤2073：根据焊缝掩膜图像的边界框判断焊缝掩膜图像的长度是否大于宽度，若是，执行步骤2074，若否，执行步骤2075；
步骤2074：对焊缝掩膜图像、边界框和焊缝图像进行旋转处理，得到旋转后的焊缝掩膜图像、边界框和焊缝图像；
步骤2075：判断焊缝掩膜图像的长度是否大于设定长度，若是，执行步骤2076，若否，执行步骤2077；
步骤2076：对焊缝掩膜图像和焊缝图像进行二次分割，并重新计算二次分割后的焊缝掩膜图像的边界框以及边界框的坐标信息；
步骤2077：根据边界框的坐标信息对焊缝图像进行截取处理，得到焊缝区域图像。
通过执行上述场景一中的缺陷检测方法，能够有效提升针对大尺寸、低质量的管道焊缝图像中缺陷的检出能力，并且能够有效降低非焊缝区域的误检风险，还能够避免由于输入图像过大而导致的GPU显存不足的问题。
场景二：
当用户采用台式计算机对预存的金属板焊缝图像进行缺陷检测处理时，台式计算机可以调用预先安装于其内的图像处理应用程序，执行对金属板焊缝图像的缺陷检测处理。具体地，先判断焊缝图像的长度是否超出设定的长度，若是，对焊缝图像进行图像分割处理得到分割后的多个焊缝图像，若否，对焊缝图像进行焊缝识别处理得到焊缝掩膜图像；然后，利用焊缝掩膜图像对焊缝图像进行截图处理得到焊缝区域图像，并且根据焊缝掩膜图像判断是否需要对焊缝区域图像进行旋转以及二次分割处理，如果需要，根据焊缝掩膜图像对焊缝区域图像进行旋转以及二次分割处理得到处理后的焊缝区域图像，如果不需要，对焊缝区域图像进行图像增强以及多尺度转换处理得到多个目标焊缝区域图像；接着，对这些目标焊缝区域图像进行缺陷检测处理得到多个缺陷图像，并对这些缺陷图像进行NMS合并处理得到目标缺陷图像；进一步地，判断目标缺陷图像是否经过了旋转处理，若是，对目标缺陷图像中的检测框进行旋转处理得到旋转后的检测框，若否，将目标缺陷图像中的检测框映射到焊缝图像，得到缺陷检测结果。
通过执行上述场景二中的缺陷检测方法步骤，能够有效提升针对大尺寸、低质量的金属板焊缝图像中缺陷的检出能力，并且能够有效降低非焊缝区域的误检风险，还能够避免由于输入图像过大而导致的GPU显存不足的问题。
参照图21，本申请实施例还公开了一种缺陷检测装置，该缺陷检测装置300能够实现如前面实施例的缺陷检测方法，该缺陷检测装置300包括：
第一获取单元310，用于获取待处理图像；
第二获取单元320，用于根据待处理图像计算得到待处理图像的灰度梯度幅值图像；
第三获取单元330，用于根据待处理图像计算得到待处理图像的亮度校正图像；
图像合并单元340，用于将待处理图像、灰度梯度幅值图像和亮度校正图像合并成三通道图像；
缺陷检测单元350，用于对三通道图像进行缺陷检测处理得到第一缺陷图像。
在一实施例中，待处理图像的数量为多个，第一获取单元310包括：
第四获取单元，用于获取目标图像；
图像增强单元，用于对目标图像进行图像增强处理，得到增强图像；
多尺度转换单元，用于对目标图像和增强图像分别进行多尺度转换处理，得到多个待处理图像。
在一实施例中，待处理图像、灰度梯度幅值图像、亮度校正图像和三通道图像的数量均为多个，待处理图像、灰度梯度幅值图像、亮度校正图像和三通道图像之间一一对应；缺陷检测单元350包括：
图像检测单元，用于对多个三通道图像进行缺陷检测处理，得到多个缺陷标注图像；
尺度映射单元，用于将多个缺陷标注图像映射到同一尺度，得到多个候选缺陷图像；
抑制合并单元，用于对多个候选缺陷图像进行非极大值抑制合并处理，得到第一缺陷图像。
在一实施例中，第四获取单元包括：
第五获取单元，用于获取第一焊缝图像，第一焊缝图像含有焊缝区域；
焊缝识别单元，用于对第一焊缝图像进行焊缝识别处理，得到与焊缝区域对应的焊缝掩膜图像；
图像截取单元，用于根据焊缝掩膜图像对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像。
在一实施例中，第一缺陷图像中标记有缺陷位置；缺陷检测装置300还包括：
缺陷确定单元，用于根据焊缝掩膜图像在第一缺陷图像中确定目标缺陷区域；
图像删除单元，用于删除第一缺陷图像中的目标缺陷位置得到第二缺陷图像，其中，目标缺陷位置为第一缺陷图像中处于目标缺陷区域之外的缺陷位置。
在一实施例中，第一焊缝图像的数量为多个，第五获取单元包括：
图像接收单元，用于接收第二焊缝图像；
第一尺寸获取单元，用于获取第二焊缝图像的第一长度信息；
图像分割单元，用于当第一长度信息大于第一预设长度阈值，对第二焊缝图像进行分割处理得到多个第一焊缝图像。
在一实施例中，图像分割单元包括：
参数获取单元，用于获取分割长度阈值、分割宽度阈值、交叠比例值和第二焊缝图像的第一宽度信息；
坐标计算单元，用于根据分割长度阈值、分割宽度阈值、交叠比例值、第一长度信息和第一宽度信息，计算得到分割坐标信息；
图像分割子单元，用于根据分割坐标信息对第二焊缝图像进行分割处理，得到多个第一焊缝图像。
在一实施例中，缺陷检测装置300还包括：
坐标获取单元，用于获取第二缺陷图像中的缺陷位置的目标坐标信息；
信息映射单元，用于将目标坐标信息映射到第二焊缝图像，得到目标缺陷图像。
在一实施例中，图像截取单元包括：
第一边框获取单元，用于获取焊缝掩膜图像的第一边界框；
第一坐标确定单元，用于根据第一边界框确定焊缝掩膜图像的第一掩膜坐标信息；
第一截取单元，用于根据第一掩膜坐标信息对第一焊缝图像中的焊缝区域进行截图处理，得到目标图像。
在一实施例中，图像截取子单元包括：
第一尺寸计算单元，用于根据第一掩膜坐标信息计算得到焊缝掩膜图像的第二长度信息和第二宽度信息；
旋转处理单元，用于当第二长度信息大于第二宽度信息，对焊缝掩膜图像进行旋转处理得到旋转掩膜图像，并且对第一焊缝图像进行旋转处理得到旋转焊缝图像；
第二边框获取单元，用于获取旋转掩膜图像的第二边界框；
第二坐标确定单元，用于根据第二边界框确定旋转掩膜图像的第二掩膜坐标信息；
第二截取单元，用于根据第二掩膜坐标信息对旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
在一实施例中，第二截取单元包括：
第二尺寸计算单元，用于根据第二掩膜坐标信息计算得到旋转掩膜图像的第三长度信息；
分割处理单元，用于当第三长度信息大于第二预设长度阈值，根据第二预设长度阈值对旋转掩膜图像和旋转焊缝图像进行分割处理，得到多个分割后的旋转掩膜图像和多个分割后的旋转焊缝图像；
第三边框获取单元，用于获取分割后的旋转掩膜图像的第三边界框；
第三坐标确定单元，用于根据第三边界框确定分割后的旋转掩膜图像的第三掩膜坐标信息；
第三截取单元，用于根据第三掩膜坐标信息对分割后的旋转焊缝图像中的焊缝区域进行截图处理，得到目标图像。
需要说明的是，由于本实施例的缺陷检测装置300能够实现如前面实施例中以服务器作为执行主体的缺陷检测方法，因此本实施例的缺陷检测装置300与前面实施例中以服务器作为执行主体的缺陷检测方法，具有相同的技术原理以及相同的有益效果，为了避免内容重复，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
参照图22，本申请实施例还公开了一种缺陷检测装置，该缺陷检测装置400包括：
至少一个处理器401；
至少一个存储器402，用于存储至少一个程序；
当至少一个程序被至少一个处理器401执行时，实现如前面任意实施例所述的缺陷检测方法。
本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序被处理器执行时，用于实现如前面任意实施例所述的缺陷检测方法。
本申请实施例还公开了一种计算机程序产品，包括计算机程序或计算机指令，计算机程序或计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序或计算机指令，处理器执行计算机程序或计算机指令，使得计算机设备执行如前面任意实施例所述的缺陷检测方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (15)

1.一种缺陷检测方法，其特征在于，包括以下步骤：
获取待处理图像；
根据所述待处理图像计算得到所述待处理图像的灰度梯度幅值图像；
根据所述待处理图像计算得到所述待处理图像的亮度校正图像；
将所述待处理图像、所述灰度梯度幅值图像和所述亮度校正图像合并成三通道图像；
对所述三通道图像进行缺陷检测处理得到第一缺陷图像。
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述待处理图像的数量为多个，所述获取待处理图像，包括：
获取目标图像；
对所述目标图像进行图像增强处理，得到增强图像；
对所述目标图像和所述增强图像分别进行多尺度转换处理，得到多个所述待处理图像。
3.根据权利要求1所述的缺陷检测方法，其特征在于，所述待处理图像、所述灰度梯度幅值图像、所述亮度校正图像和所述三通道图像的数量均为多个，所述待处理图像、所述灰度梯度幅值图像、所述亮度校正图像和所述三通道图像之间一一对应；
所述对所述三通道图像进行缺陷检测处理得到第一缺陷图像，包括：
对多个所述三通道图像进行缺陷检测处理，得到多个缺陷标注图像；
将多个所述缺陷标注图像映射到同一尺度，得到多个候选缺陷图像；
对多个所述候选缺陷图像进行非极大值抑制合并处理，得到所述第一缺陷图像。
4.根据权利要求2所述的缺陷检测方法，其特征在于，所述获取目标图像，包括：
获取第一焊缝图像，所述第一焊缝图像含有焊缝区域；
对所述第一焊缝图像进行焊缝识别处理，得到与所述焊缝区域对应的焊缝掩膜图像；
根据所述焊缝掩膜图像对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像。
5.根据权利要求4所述的缺陷检测方法，其特征在于，所述第一缺陷图像中标记有缺陷位置；所述对所述三通道图像进行缺陷检测处理得到第一缺陷图像之后，所述缺陷检测方法还包括：
根据所述焊缝掩膜图像在所述第一缺陷图像中确定目标缺陷区域；
删除所述第一缺陷图像中的目标缺陷位置得到第二缺陷图像，其中，所述目标缺陷位置为所述第一缺陷图像中处于所述目标缺陷区域之外的缺陷位置。
6.根据权利要求5所述的缺陷检测方法，其特征在于，所述第一焊缝图像的数量为多个，所述获取第一焊缝图像，包括：
接收第二焊缝图像；
获取所述第二焊缝图像的第一长度信息；
当所述第一长度信息大于第一预设长度阈值，对所述第二焊缝图像进行分割处理得到多个所述第一焊缝图像。
7.根据权利要求6所述的缺陷检测方法，其特征在于，所述对所述第二焊缝图像进行分割处理得到多个所述第一焊缝图像，包括：
获取分割长度阈值、分割宽度阈值、交叠比例值和所述第二焊缝图像的第一宽度信息；
根据所述分割长度阈值、所述分割宽度阈值、所述交叠比例值、所述第一长度信息和所述第一宽度信息，计算得到分割坐标信息；
根据所述分割坐标信息对所述第二焊缝图像进行分割处理，得到多个所述第一焊缝图像。
8.根据权利要求6所述的缺陷检测方法，其特征在于，所述删除所述第一缺陷图像中的目标缺陷位置得到第二缺陷图像之后，所述缺陷检测方法还包括：
获取所述第二缺陷图像中的缺陷位置的目标坐标信息；
将所述目标坐标信息映射到所述第二焊缝图像，得到目标缺陷图像。
9.根据权利要求4所述的缺陷检测方法，其特征在于，所述根据所述焊缝掩膜图像对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像，包括：
获取所述焊缝掩膜图像的第一边界框；
根据所述第一边界框确定所述焊缝掩膜图像的第一掩膜坐标信息；
根据所述第一掩膜坐标信息对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像。
10.根据权利要求9所述的缺陷检测方法，其特征在于，所述根据所述第一掩膜坐标信息对所述第一焊缝图像中的所述焊缝区域进行截图处理，得到所述目标图像，包括：
根据所述第一掩膜坐标信息计算得到所述焊缝掩膜图像的第二长度信息和第二宽度信息；
当所述第二长度信息大于所述第二宽度信息，对所述焊缝掩膜图像进行旋转处理得到旋转掩膜图像，并且对所述第一焊缝图像进行所述旋转处理得到旋转焊缝图像；
获取所述旋转掩膜图像的第二边界框；
根据所述第二边界框确定所述旋转掩膜图像的第二掩膜坐标信息；
根据所述第二掩膜坐标信息对所述旋转焊缝图像中的焊缝区域进行截图处理，得到所述目标图像。
11.根据权利要求10所述的缺陷检测方法，其特征在于，所述根据所述第二掩膜坐标信息对所述旋转焊缝图像中的焊缝区域进行截图处理，得到所述目标图像，包括：
根据所述第二掩膜坐标信息计算得到所述旋转掩膜图像的第三长度信息；
当所述第三长度信息大于第二预设长度阈值，根据所述第二预设长度阈值对所述旋转掩膜图像和所述旋转焊缝图像进行分割处理，得到多个分割后的旋转掩膜图像和多个分割后的旋转焊缝图像；
获取所述分割后的旋转掩膜图像的第三边界框；
根据所述第三边界框确定所述分割后的旋转掩膜图像的第三掩膜坐标信息；
根据所述第三掩膜坐标信息对所述分割后的旋转焊缝图像中的焊缝区域进行截图处理，得到所述目标图像。
12.一种缺陷检测装置，其特征在于，包括：
第一获取单元，用于获取待处理图像；
第二获取单元，用于根据所述待处理图像计算得到所述待处理图像的灰度梯度幅值图像；
第三获取单元，用于根据所述待处理图像计算得到所述待处理图像的亮度校正图像；
图像合并单元，用于将所述待处理图像、所述灰度梯度幅值图像和所述亮度校正图像合并成三通道图像；
缺陷检测单元，用于对所述三通道图像进行缺陷检测处理得到第一缺陷图像。
13.一种缺陷检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至11任意一项所述的缺陷检测方法。
14.一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时用于实现如权利要求1至11任意一项所述的缺陷检测方法。
15.一种计算机程序产品，包括计算机程序或计算机指令，其特征在于，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述计算机设备执行如权利要求1至11任意一项所述的缺陷检测方法。
CN202210242790.9A 2022-03-11 2022-03-11 缺陷检测方法及其装置、存储介质、程序产品 Pending CN114596290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210242790.9A CN114596290A (zh) 2022-03-11 2022-03-11 缺陷检测方法及其装置、存储介质、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210242790.9A CN114596290A (zh) 2022-03-11 2022-03-11 缺陷检测方法及其装置、存储介质、程序产品

Publications (1)

Publication Number Publication Date
CN114596290A true CN114596290A (zh) 2022-06-07

Family

ID=81809588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210242790.9A Pending CN114596290A (zh) 2022-03-11 2022-03-11 缺陷检测方法及其装置、存储介质、程序产品

Country Status (1)

Country Link
CN (1) CN114596290A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device
CN116205911A (zh) * 2023-04-27 2023-06-02 济南市莱芜区综合检验检测中心 基于机器视觉的皮革制体育用品外观缺陷检测方法
CN116385336A (zh) * 2022-12-14 2023-07-04 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116630308A (zh) * 2023-07-20 2023-08-22 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统
CN116993653A (zh) * 2022-09-28 2023-11-03 腾讯科技（深圳）有限公司 相机镜头缺陷检测方法、装置、设备、存储介质及产品

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device
US11833618B2 (en) * 2020-07-23 2023-12-05 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device
CN116993653A (zh) * 2022-09-28 2023-11-03 腾讯科技（深圳）有限公司 相机镜头缺陷检测方法、装置、设备、存储介质及产品
CN116385336A (zh) * 2022-12-14 2023-07-04 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116385336B (zh) * 2022-12-14 2024-04-12 广州市斯睿特智能科技有限公司 基于深度学习的焊缝检测方法、系统、装置及存储介质
CN116205911A (zh) * 2023-04-27 2023-06-02 济南市莱芜区综合检验检测中心 基于机器视觉的皮革制体育用品外观缺陷检测方法
CN116630308A (zh) * 2023-07-20 2023-08-22 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统
CN116630308B (zh) * 2023-07-20 2023-09-26 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统
CN116630308B8 (zh) * 2023-07-20 2023-10-27 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统

Similar Documents

Publication Publication Date Title
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN110033471B (zh) 一种基于连通域分析和形态学操作的框线检测方法
WO2022001509A1 (zh) 图像优化方法、装置、计算机存储介质以及电子设备
GB2581374A (en) 3D Face reconstruction system and method
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN112052845A (zh) 图像识别方法、装置、设备及存储介质
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN109241867A (zh) 采用人工智能算法识别数字岩心图像的方法及装置
Hovhannisyan et al. AED-Net: A single image dehazing
CN113313092B (zh) 手写签名识别方法、理赔自动化处理方法、装置和设备
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及系统
CN115439850B (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN115294392B (zh) 基于生成网络模型的可见光遥感图像云去除方法及系统
CN114445726B (zh) 一种基于深度学习的样本库建立方法和装置
Meng et al. A Novel Steganography Algorithm Based on Instance Segmentation.
CN113065407B (zh) 基于注意力机制和生成对抗网络的财务票据印章擦除方法
CN113962928A (zh) 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质
CN116188973B (zh) 认知生成机制裂缝检测方法
CN111666973A (zh) 车辆损伤图片处理方法、装置、计算机设备及存储介质
CN116704513B (zh) 文本质量检测方法、装置、计算机设备和存储介质
CN112287898B (zh) 一种图像的文本检测质量评价方法及系统
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071434

Country of ref document: HK