CN114565548A - 工业缺陷识别方法、系统、计算设备及存储介质 - Google Patents

工业缺陷识别方法、系统、计算设备及存储介质 Download PDF

Info

Publication number
CN114565548A
CN114565548A CN202011268302.9A CN202011268302A CN114565548A CN 114565548 A CN114565548 A CN 114565548A CN 202011268302 A CN202011268302 A CN 202011268302A CN 114565548 A CN114565548 A CN 114565548A
Authority
CN
China
Prior art keywords
defect
industrial
target area
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011268302.9A
Other languages
English (en)
Inventor
王秀东
金鑫
涂丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to CN202011268302.9A priority Critical patent/CN114565548A/zh
Priority to PCT/CN2021/124254 priority patent/WO2022100366A1/zh
Priority to EP21890893.7A priority patent/EP4231229A4/en
Publication of CN114565548A publication Critical patent/CN114565548A/zh
Priority to US18/316,757 priority patent/US20230281784A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请实施例公开了一种工业缺陷识别方法、系统、计算设备及存储介质，属于AI领域。在本申请实施例中，首先从待识别图像中提取目标区域，然后再从目标区域中获得包含有工业缺陷的缺陷粗选区域。通过两次区域提取，提高了工业缺陷相对背景的尺寸占比，能够提高小尺寸的工业缺陷的检出概率。在检测出包含有工业缺陷的缺陷粗选区域之后，对缺陷粗选区域中的工业缺陷进行进一步定位和尺寸估计，能够有效提高缺陷定位和尺寸估计的精度。另外，本申请实施例中不仅对缺陷类型进行了识别，还能够对工业缺陷进行定位和尺寸估计，丰富了工业缺陷的识别维度。

Description

工业缺陷识别方法、系统、计算设备及存储介质
技术领域
本申请实施例涉及人工智能(artificial intelligence，AI)技术领域，特别涉及一种工业缺陷识别方法、系统及存储介质。
背景技术
在工业领域中，工业产品在生产、制造和维护的过程中可能会出现工业缺陷，例如，焊缝缺陷。为了保证工业产品能够正常使用，对工业产品进行工业缺陷检测是必要的。当前，基于工业产品的图像进行检测是工业缺陷检测的重要手段之一。另外，随着近些年来神经网络模型在图像识别领域的广泛应用，已有一些通过神经网络模型对图像中的工业缺陷进行识别的方法出现。然而，目前通过神经网络模型进行工业缺陷识别的方法往往仅适合对大尺寸工业缺陷的识别，对小尺寸工业缺陷的识别能力有限，并且，识别结果往往仅包含对工业缺陷类型的识别，识别维度单一。
发明内容
本申请实施例提供了一种工业缺陷识别方法、系统、计算设备及存储介质，能够提高小尺寸的工业缺陷的检出概率，提高缺陷定位和尺寸估计的精度，丰富工业缺陷的识别维度。所述技术方案如下：
第一方面，提供了一种工业缺陷识别方法，所述方法包括：获取待识别图像，所述待识别图像为反映工业产品的图像；根据目标区域检测模型从所述待识别图像中提取至少一个目标区域，所述至少一个目标区域为可能存在工业缺陷的区域；根据所述至少一个目标区域和缺陷检测模型，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和所述缺陷粗选区域包含的工业缺陷的类型；确定所述缺陷粗选区域包含的工业缺陷的尺寸和位置。
在本申请实施例中，首先从待识别图像中提取目标区域，然后再从目标区域中获得包含有工业缺陷的缺陷粗选区域。通过两次区域提取，提高了工业缺陷相对背景的尺寸占比，能够提高小尺寸的工业缺陷的检出概率。在检测出包含有工业缺陷的缺陷粗选区域之后，对缺陷粗选区域中的工业缺陷进行进一步定位和尺寸估计，能够有效提高缺陷定位和尺寸估计的精度。另外，本申请实施例中不仅对缺陷类型进行了识别，还能够对工业缺陷进行定位和尺寸估计，丰富了工业缺陷的识别维度。
可选地，所述根据所述至少一个目标区域和缺陷检测模型，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和所述缺陷粗选区域包含的工业缺陷的类型的实现过程为：将所述至少一个目标区域作为所述缺陷检测模型的输入，通过所述缺陷检测模型进行推理，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域在目标区域中的位置，和所述缺陷粗选区域包含的工业缺陷的缺陷类型，其中，所述缺陷检测模型为利用缺陷训练样本训练完成的人工智能AI模型；根据所述缺陷粗选区域在所述目标区域中的位置，从所述目标区域中提取所述缺陷粗选区域。
其中，至少一个目标区域为可能发生工业缺陷的区域。这样，对于任意一个目标区域，该目标区域中可能包含有工业缺陷，也可能不包括。基于此，在将目标区域提取出来之后，可以进一步通过缺陷检测模型对目标区域检测，以确定该目标区域是否包含有工业缺陷，如果包含有工业缺陷，则该缺陷检测模型能够输出包含有该工业缺陷的缺陷粗选区域和该工业缺陷的类型。
在本申请实施例中，通过目标区域检测模型提取到的目标区域是一个某种工业缺陷可能发生的范围较大的区域，而通过缺陷检测模型得到缺陷粗选区域则是在目标区域的基础上进一步缩小范围后提取出的一个相较该目标区域更小的包含有工业缺陷的区域。这样，工业缺陷在该目标区域中的占比将大于在待识别图像中的占比，在缺陷粗选区域中的占比又将大于在目标区域中的占比。也即，通过从待识别图像中提取目标区域，然后再从目标区域中提取缺陷粗选区域，逐渐的提高了工业缺陷相对背景的占比，这样，能够提高小尺寸的工业缺陷的检出概率。
可选地，所述确定所述缺陷粗选区域包含的工业缺陷的尺寸和位置的实现过程可以为：根据所述缺陷粗选区域内的灰度分布，确定所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置和尺寸；根据所述缺陷粗选区域在所述目标区域中的位置、所述目标区域在所述待识别图像中的位置以及所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置，确定所述缺陷粗选区域包含的工业缺陷在所述待识别图像中的位置。
在本申请实施例中，在检测出包含有工业缺陷的缺陷粗选区域之后，根据缺陷粗选区域内的灰度分布，对缺陷粗选区域中的工业缺陷进行进一步定位和尺寸估计，能够有效提高缺陷定位和尺寸估计的精度。
可选地，在对缺陷粗选区域内的工业缺陷进行定位和尺寸估计之后，所述方法还包括：生成检测报告，所述检测报告包括在所述待识别图像中检测到的工业缺陷的缺陷类型、尺寸和位置；向用户提供所述检测报告。
可选地，所述工业缺陷为焊缝缺陷，所述目标区域为焊缝所在的区域。
可选地，所述方法还包括：获取多个工业训练样本，每个工业训练样本均对应有目标区域标注信息，所述目标区域标注信息包括相应工业训练样本中标注的多自由度四边形的位置信息和用于指示相应多自由度四边形为目标区域的标注类别信息；通过所述多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练，得到所述目标区域检测模型。
在本申请实施例中，采用多自由度四边形对工业训练样本中可能包含有工业缺陷的目标区域进行标注，进而通过该工业训练样本对目标区域检测网络进行训练，以获得目标区域检测模型，这样，该目标区域检测模型能够更为准确的检测图像中以不同方向、形态分布的可能包含缺陷的各种目标区域。
可选地，所述通过所述多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练的实现过程可以为：根据第一工业训练样本的目标区域标注信息，确定第一外接矩形和第二外接矩形，所述第一外接矩形是指所述第一工业训练样本中标注的多自由度四边形的最小旋转外接矩形，所述第二外接矩形是指所述第一外接矩形的水平外接矩形；通过所述目标区域检测网络确定所述第一工业训练样本中的多自由度四边形的预测值、所述第一外接矩形的预测值、所述第二外接矩形的预测值和预测类别信息；根据所述第一工业训练样本的目标区域标注信息、所述第一外接矩形、所述第二外接矩形、所述第一工业训练样本中的多自由度四边形的预测值、所述第一外接矩形的预测值、所述第二外接矩形的预测值和所述预测类别信息，计算损失函数值；根据所述损失函数值对所述目标区域检测网络进行参数更新。
可选地，所述方法还包括：获取多个缺陷训练样本；通过所述目标区域检测模型从所述多个缺陷训练样本中提取多个目标区域；获取所述多个目标区域中包含有工业缺陷的目标区域的缺陷标注信息，所述缺陷标注信息用于指示相应目标区域内的工业缺陷的缺陷类型和位置；通过包含有工业缺陷的目标区域和相应目标区域的缺陷标注信息对缺陷检测网络进行训练，得到所述缺陷检测模型。
在本申请实施例中，先训练得到目标区域检测模型，之后，通过该目标区域检测模型对缺陷训练样本中包含的工业缺陷进行粗定位，以提取目标区域，进而通过该目标区域中标注的缺陷的精细位置和缺陷类型训练缺陷检测网络，以得到缺陷检测模型。这样，后续在通过该缺陷检测模型检测从待识别图像中提取出来的目标区域时，能够得到工业缺陷在该目标区域中更为准确的定位，并能够输出具体的工业缺陷的缺陷类型，不仅提高了定位的准确性，而且丰富了缺陷识别得到维度。
可选地，所述目标区域检测模型使用多自由度四边形作为检测框，所述多自由度四边形的各个边与所述待识别图像的各个边的角度为0度至180度中的任一数值。
在本申请实施例中，在目标区域提取环节，使用以多自由度四边形为检测框的神经网络检测模型，可以适合不同类型的目标区域，所述目标区域检测模型具有良好的通用性。
第二方面，提供了一种工业缺陷识别系统，所述工业缺陷识别系统具有实现上述第一方面中工业缺陷识别方法的功能。所述工业缺陷识别系统包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的工业缺陷识别系统方法。
第三方面，提供了一种计算设备，所述计算设备的结构中包括处理器和存储器，所述存储器用于存储支持计算设备执行上述第一方面所提供的工业缺陷识别方法的程序，以及存储用于实现上述第一方面所提供的工业缺陷识别方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述计算设备还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的工业缺陷识别方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的工业缺陷识别方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
本申请实施例提供的技术方案带来的有益效果至少包括以下三个方面：
第一，在本申请实施例中，首先从待识别图像中提取目标区域，然后再从目标区域中获得包含有工业缺陷的缺陷粗选区域。通过两次区域提取，提高了工业缺陷相对背景的尺寸占比，能够提高小尺寸的工业缺陷的检出概率。
第二，在检测出包含有工业缺陷的缺陷粗选区域之后，对缺陷粗选区域中的工业缺陷进行进一步定位和尺寸估计，能够有效提高缺陷定位和尺寸估计的精度。
第三，本申请实施例中不仅对缺陷类型进行了识别，还能够对工业缺陷进行定位和尺寸估计，丰富了工业缺陷的识别维度。
附图说明
图1是本申请实施例提供的一种工业缺陷识别系统的结构示意图；
图2是本申请实施例提供的一种工业缺陷识别系统的部署示意图；
图3是本申请实施例提供的一种工业缺陷识别系统的应用示意图；
图4是本申请实施例提供的另一种工业缺陷识别系统的部署示意图；
图5是本申请实施例提供的一种计算设备的结构示意图；
图6是本申请实施例提供的一种训练目标区域检测模型和缺陷检测模型的流程图；
图7是本申请实施例提供的一种在工业训练样本中标注得到的多自由度四边形的示意图；
图8是本申请实施例提供的一种在工业训练样本中标注的多自由度四边形、生成的第一外接矩形和第二外接矩形的示意图；
图9是本申请实施例提供的一种工业缺陷识别方法流程图；
图10是本申请实施例提供的一种计算机系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前，先对本申请实施例的应用场景予以介绍。
在工业领域中，工业产品在生产、制造和维护的过程可能会出现工业缺陷。例如，在油气管道、航天器、汽车等工业产品的制造或维护过程中，经常使用焊接，在焊接留下的焊缝处可能存在焊缝缺陷。再例如，在汽车某部件上，可能会由于生产或维护工艺的问题，导致该部件上存在裂纹、划痕等缺陷。工业产品中诸如此类的缺陷往往会影响到工业产品的正常使用，基于此，对工业产品进行工业缺陷的检测是非常必要的。当前，基于工业产品的图像进行检测是工业缺陷检测的重要手段之一。其中，一种主要的方法是依靠人工从工业产品的图像中识别工业缺陷。然而这种方法不仅不利于工作人员的健康，识别质量也难以保证。近些年来，随着神经网络模型在图像识别领域的广泛应用，已有一些基于神经网络模型的工业缺陷识别方法出现，以替代人工识别。但是目前基于神经网络模型的工业缺陷识别方法仍存在一些问题，主要表现在两个方面，一方面是该种方法往往仅适用于大尺寸缺陷的识别，对于小尺寸缺陷的识别效果较差；另一方面，该种方法往往仅能识别图像中是否存在工业缺陷，但是无法对工业缺陷进行定位和尺寸估计，识别维度较为单一。基于此，本申请实施例提供了一种基于AI模型对工业产品图像中的工业缺陷进行识别方法，以丰富工业缺陷的识别维度，提高小尺寸工业缺陷的识别效果。
需要说明的是，本申请实施例提供的工业缺陷识别方法由工业缺陷识别系统01来执行。其中，该工业缺陷识别系统01可以由软件系统来实现，也可以由硬件设备来实现，还可以由软件系统和硬件设备结合来实现。
其中，当该工业缺陷识别系统01为软件系统时，参见图1，该工业缺陷识别系统01可以在逻辑上划分识别装置10和训练装置11。其中，识别装置10和训练装置11在逻辑上均可以划分为多个模块，每个模块具有不同的功能。示例性地，参见图1，该识别装置10包括目标区域检测模块101、缺陷粗检测模块102和缺陷精细识别模块103。需要说明的是，本申请实施例仅对识别装置10的结构和功能模块进行示例性划分，但是并不对其具体划分做任何限定。
目标区域检测模块101，用于获取待识别图像，并根据目标区域检测模型从待识别图像中提取至少一个目标区域。其中，待识别图像为包含工业产品的图像。至少一个目标区域是指可能存在工业缺陷的区域。例如，在焊缝缺陷的检测中，该目标区域可以是待识别图像中包含有完整焊缝的区域。其中，目标区域可以为一个多边形区域。示例性地，该目标区域为多自由度四边形。所谓多自由度四边形是指该四边形的各边与待识别图像的边之间的夹角或平行关系自由，不局限于垂直或平行关系，并且，该四边形的四条边之间的夹角或平行关系自由，也不局限于垂直或平行关系。也就是说，多自由度四边形的各条边与待识别图像的各个边的角度可以为0度至180度中的任一数值。并且，多自由四边形区域的相邻边之间可以垂直也可以不垂直，对边之间可以平行也可以不平行。
需要说明的是，目标区域检测模型为一个利用工业训练样本训练好的AI模型。目标区域检测模型用于从待识别图像中确定可能出现某种工业缺陷的感兴趣区域，也即目标区域，并输出目标区域在待识别图像中的位置。
缺陷粗检测模块102，用于与目标区域检测模块101和缺陷精细识别模块103进行通信，接收目标区域检测模块101提取的至少一个目标区域，并根据至少一个目标区域和缺陷检测模型，获得至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域和缺陷粗选区域包含的工业缺陷的类型。其中，缺陷检测模型是一个利用缺陷训练样本训练好的AI模型。并且，该缺陷检测模型用于从目标区域中进一步检测包含有工业缺陷的缺陷粗选区域，并输出该缺陷粗选区域在目标区域中的位置信息。例如，在焊缝缺陷的检测中，该缺陷粗选区域可以是指从包含有完整焊缝的区域中提取到一个更小的包含有焊缝缺陷的区域。除此之外，该缺陷检测模型还用于输出缺陷粗选区域内包含的工业缺陷的类型。当然，需要说明的是，由于前述目标区域检测模块101提取的至少一个目标区域是工业缺陷可能出现的区域，也就是说，有些目标区域中也可能并不包含有工业缺陷，在这种情况下，缺陷检测模型在对这些目标区域进行检测后，将会输出用于指示目标区域内无缺陷的识别结果。
缺陷精细识别模块103，用于与缺陷粗检测模块102进行通信，接收缺陷粗检测模块102提取的缺陷粗选区域，并确定缺陷粗选区域包含的工业缺陷的尺寸和位置。
在一些可能的实现方式中，缺陷精细识别模块103还用于接收缺陷粗检测模块102发送的缺陷粗选区域在目标区域中的位置信息，以及与目标区域检测模块101进行通信，接收目标区域检测模块101发送的目标区域在待识别图像中的位置信息。之后，缺陷精细识别模块103根据缺陷粗选区域中的灰度分布，确定缺陷粗选区域中包含的工业缺陷的尺寸以及该工业缺陷在缺陷粗选区域中的位置。根据缺陷粗选区域在目标区域中的位置信息、包含该缺陷粗选区域的目标区域在待识别图像中的位置信息以及该工业缺陷在缺陷粗选区域中的位置，获得该工业缺陷在待识别图像中的位置。
可选地，在一些可能的情况中，参见图1，该识别装置10还可以包括报告生成模块104，该报告生成模块104用于与缺陷精细识别模块103进行通信，接收缺陷精细识别模块103发送的识别结果，进而根据该识别结果生成检测报告，将该检测报告提供给用户。其中，该识别结果包括在待识别图像中检测到的工业缺陷的类型、尺寸和位置，相应地，该检测报告包括上述识别结果，除此之外，该检测报告还可以包括其他内容，例如，还可以包括根据该识别结果确定的待识别图像中的工业产品是否合格的信息等，本申请实施例对此不作限定。
可选地，报告生成模块104还用于与缺陷粗检测模块102进行通信，接收缺陷粗检测模块102输出的用于指示某些目标区域内无缺陷的识别结果，进而根据该识别结果生成检测报告。
由前述介绍可知，目标区域检测模型和缺陷检测模型均为训练好的AI模型。在这两个模型被用于进行工业缺陷的检测之前，可由训练装置11对目标区域检测网络进行训练得到目标区域检测模型，对缺陷检测网络进行训练得到缺陷检测模型。参见图1，该训练装置11包括目标区域检测模型生成模块111、目标区域提取模块112、缺陷检测模型生成模块113以及存储模块114。
目标区域检测模型生成模块111，用于从存储模块114中获取多个工业训练样本，并通过获取的多个工业训练样本对目标区域检测网络进行训练，从而得到目标区域检测模型。其中，该多个工业训练样本为均包含目标区域的图像，该目标区域是指有可能出现工业缺陷的区域。另外，每个工业训练样本均对应有目标区域标注信息，该目标区域标识信息包括相应工业训练样本中标注的多自由度四边形的位置信息和用于指示相应多自由度四边形为目标区域的标注类别信息。
目标区域提取和缺陷标注模块112，用于从存储模块114中获取多个缺陷训练样本，并通过训练好的目标区域检测模型从每个缺陷训练样本中提取目标区域。其中，多个缺陷训练样本均为包含有目标区域的训练样本。在从各个缺陷训练样本中提取到目标区域之后，目标区域提取和缺陷标注模块112还可以获取由用户对目标区域中的工业缺陷进行标注后得到的缺陷标注信息，其中，该缺陷标注信息用于指示相应目标区域内的工业缺陷的缺陷类型和位置。
缺陷检测模型生成模块113，用于与目标区域提取和缺陷标注模块112进行通信，接收目标区域提取和缺陷标注模块112发送的多个目标区域以及每个目标区域的缺陷标注信息，进而通过该多个目标区域和每个目标区域的缺陷标注信息对缺陷检测网络进行训练，从而得到缺陷检测模型。
在本申请实施例中，训练装置11与识别装置10为两个独立的装置。在这种情况下，经过训练装置11训练得到目标区域检测模型和缺陷检测模型将被部署至识别装置10中。可选地，训练装置11也可以是识别装置10的一部分。
上述介绍的工业缺陷识别系统01可以灵活地部署。例如，该工业缺陷识别系统01部署在云环境。云环境是云计算模式下利用基础资源向用户提供云服务的实体，云环境包括云数据中心和云服务平台。
云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源)，云数据中心包括的计算资源可以是大量的计算设备(例如服务器)。该工业缺陷识别系统01可以是部署在云数据中心中的服务器或者虚拟机上的软件系统，该软件系统可以用于进行工业缺陷的识别，该软件系统可以分布式地部署在多个服务器上、或者分布式地部署在多个虚拟机上、或者分布式地部署在虚拟机和服务器上。例如，如图2所示，该工业缺陷识别系统01部署在云环境中。客户端02可以将待识别图像发送至该工业缺陷识别系统01，该工业缺陷识别系统01在接收到待识别图像之后，可以根据目标区域检测模型从待识别图像中提取至少一个目标区域，根据至少一个目标区域和缺陷检测模型，获得至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域和缺陷粗选区域包含的工业缺陷的类型。之后，确定缺陷粗选区域包含的工业缺陷的尺寸和位置。之后，该工业缺陷识别系统01将上述检测得到的工业缺陷的类型、位置和尺寸反馈给客户端02。
示例性地，图3为本申请中的工业缺陷识别系统01的一种应用示意图，如图3所示，工业缺陷识别系统01可以由云服务提供商部署在云数据中心，云服务提供商将工业缺陷识别系统01提供的功能抽象成为一项云服务，云服务平台供用户咨询和购买这项云服务。用户购买这项云服务后即可使用云数据中心的该工业缺陷识别系统01提供的工业缺陷识别服务。该工业缺陷识别系统01还可以由租户部署在租户租用的云数据中心的计算资源中，租户通过云服务平台购买云服务提供商提供的计算资源云服务，在购买的计算资源中运行该工业缺陷识别系统01，使得该工业缺陷识别系统01进行工业缺陷的识别。
可选地，该工业缺陷识别系统01还可以是边缘环境中运行在边缘计算设备上的软件系统或者是由边缘环境中的一个或多个边缘计算设备组成。所谓边缘环境是指某个应用场景中包括一个或多个边缘计算设备在内的设备集合，其中，该一个或多个边缘计算设备可以是一个数据中心内的计算设备或者是多个数据中心的计算设备。当工业缺陷识别系统01为软件系统时，工业缺陷识别系统01可以分布式地部署在多台边缘计算设备，也可以集中地部署在一台边缘计算设备。示例性地，如图4所示，该工业缺陷识别系统01分布式地部署在某个企业的数据中心包括的边缘计算设备03中，该企业中的客户端04可以将待识别图像发送至该工业缺陷识别系统01，该工业缺陷识别系统01在接收到待识别图像之后，可以通过本申请实施例提供的方法识别该待识别图像中包含的工业缺陷，并将识别结果反馈给客户端04。
当该工业缺陷识别系统01为硬件设备时，该工业缺陷识别系统01可以为任意环境中的计算设备，例如，可以为前述介绍的边缘计算设备，也可以为前述介绍的云环境下的计算设备。图5是本申请实施例提供的一种计算设备500的结构示意图。该计算设备500包括处理器501，通信总线502，存储器503以及至少一个通信接口504。
处理器501可以是一个通用中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，图形处理器(graphicsprocessing unit，GPU)或其任意组合。处理器501可以包括一个或多个芯片，处理器501可以包括AI加速器，例如：神经网络处理器(neural processing unit，NPU)。
通信总线502可包括在计算设备500各个部件(例如，处理器501、存储器503、通信接口504)之间传送信息的通路。
存储器503可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器503可以是独立存在，通过通信总线502与处理器501相连接。存储器503也可以和处理器501集成在一起。存储器503可以存储计算机指令，当存储器503中存储的计算机指令被处理器501执行时，可以实现本申请的工业缺陷识别方法。另外，存储器503中还可以存储有处理器在执行上述方法的过程中所需的数据以及所产生的中间数据和/或结果数据。
通信接口504，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
在具体实现中，作为一种实施例，处理器501可以包括一个或多个CPU。
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在本申请实施例中，工业缺陷识别系统采用目标区域检测模型和缺陷检测模型来对待识别图像中的工业缺陷进行识别，其中，目标区域检测模型和缺陷检测模型均为训练好的AI模型。基于此，接下来首先对目标区域检测模型和缺陷检测模型的训练过程进行介绍。
图6是本申请实施例提供的一种训练目标区域检测模型和缺陷检测模型的流程图。该方法可以应用于前述工业缺陷识别系统中的训练装置中，参见图6，该方法包括以下步骤：
步骤601：获取多个工业训练样本，每个工业训练样本均对应有目标区域标注信息。
在本申请实施例中，训练装置收集多个工业训练样本。其中，该工业训练样本可以是由其他采集设备采集并发送至该训练装置的图像，例如，可以由工业环境中的摄像头采集并发送至该训练装置。当然，该工业训练样本也可以由采集设备采集之后发送到其他设备存储，再由其他设备发送至该训练装置。或者，工业训练样本也可以是客户端发送至工业缺陷识别系统进行识别后的图像。也即，训练装置可以收集经过工业缺陷识别系统中的识别装置识别之后的图像，将这些图像作为工业训练样本。
需要说明的是，该多个工业训练样本均为包含有目标区域的图像。其中，该目标区域是指可能存在工业缺陷的区域，该工业缺陷是指工业产品在生产、制造或维护过程中产生的缺陷，例如，该工业缺陷为焊缝缺陷，由于焊缝缺陷只出现在焊缝所在的区域，所以此时目标区域即为焊缝区域。再例如，对于某种工业缺陷，该工业缺陷只出现在汽车的某个部件上，则此时目标区域即为该部件所在的区域，本申请实施例在此不再赘述。
在获取到多个工业训练样本之后，训练装置向用户依次显示每个工业训练样本，以便用户对每个工业训练样本进行目标区域标注。之后，训练装置获取用户在每个工业训练样本中进行标注时产生的目标区域标注信息。
其中，用户采用四边形标注框在该工业训练样本中对目标区域进行标注，从而得到一个包含有目标区域的四边形。
需要说明的是，该四边形标注框为一个多自由度四边形标注框。相应地，标注得到的四边形也为一个多自由度四边形。所谓多自由度四边形是指该四边形的四条边与工业训练样本的四条边之间的角度为0-180度之间的任一数值。换句话说，该多自由四边形的各条边与工业训练样本的各条边之间的可以垂直或不垂直，也可以平行也可以不平行。除此之外，并且，该多自由度四边形的相临边之间可以垂直或不垂直，对边之间可以平行或不平行。
示例性地，图7是本申请实施例示出的在工业训练样本中标注得到的一个多自由度四边形。如图7所示，该多自由度四边形的边Q1Q2与工业训练样本的各条边既不垂直也不平行，其他三条边与该工业训练样本的各条边也既不垂直也不平行。另外，如图7中所示，多自由四边形的边Q1Q2和边Q3Q4平行，边Q1Q4和边Q2Q3不平行，并且，该多自由度四边形中每相邻的两条边之间也均不垂直。
以工业缺陷为焊缝缺陷，目标区域为焊缝区域为例，用户采用四边形标注框在工业训练样本中进行标注时，均可以采用该四边形标注框包围焊缝，得到一个包围焊缝的四边形。需要说明的是，由于焊缝通常是长条状的不规则的四边形，且焊缝在工业训练样本中并不是水平或竖直的，因此，在本申请实施例中，用户可以采用多自由度的四边形标注框来框选焊缝，这样，该多自由度的四边形标注框能够更好的适应焊缝的形状，更为紧密的包围该焊缝，从而能够尽可能的减少标注得到的多自由度四边形内不包含有焊缝缺陷的区域的面积。
用户在通过四边形标注框在工业训练样本中标注得到四边形之后，训练装置自动获取该四边形在工业训练样本中的位置信息。其中，该位置信息可以包括四边形的四个顶点在工业训练样本中的坐标信息。
除此之外，针对每个工业训练样本，在用户标注得到四边形之后，训练装置可以生成该四边形的标注类别信息，该标注类别信息用于指示该四边形为目标区域。其中，标注类别信息可以为第一标识，示例性地，第一标识为“1”。相应的，训练装置可以将标注类别信息和该四边形的位置信息作为该工业训练样本对应的目标区域标注信息。
步骤602：通过多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练，得到目标区域检测模型。
在获取到多个工业训练样本和每个工业训练样本的目标区域标注信息之后，训练装置通过该多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练，从而得到目标区域检测模型。接下来以多个工业训练样本中的一个工业训练样本，且标注得到的四边形区域为多自由度四边形为例来对该过程进行说明，为了方便说明，下文中将该工业训练样本称为第一工业训练样本。
示例性地，训练装置根据第一工业训练样本的目标区域标注信息，确定第一外接矩形和第二外接矩形，第一外接矩形是指第一工业训练样本中标注的多自由度四边形的最小旋转外接矩形，第二外接矩形是指第一外接矩形的水平外接矩形；通过目标区域检测网络确定第一工业训练样本中的多自由度四边形的预测值、第一外接矩形的预测值、第二外接矩形的预测值和预测类别信息；根据第一工业训练样本的目标区域标注信息、第一外接矩形、第二外接矩形、第一工业训练样本中的多自由度四边形的预测值、第一外接矩形的预测值、第二外接矩形的预测值和预测类别信息，计算损失函数值；根据损失函数值对目标区域检测网络进行参数更新。
在本申请实施例中，考虑到多自由度四边形的自由度较高，回归难度比较大，所以训练装置首先在第一工业训练样本中确定标注的多自由度四边形的最小旋转外接矩形，也即第一外接矩形，之后，确定第一外接矩形的水平外接矩形，也即第二外接矩形。其中，第一外接矩形是指四条边与第一工业训练样本的四条边均不平行且面积最小的外接矩形。第二外接矩形是指第一外接矩形的外接矩形中面积最小且相邻两条边分别与第一工业训练样本的相邻两条边平行的外接矩形。例如，如图8所示，第一工业训练样本中标注的多自由度四边形为Q1Q2Q3Q4，第一外接矩形为R1R2R3R4，第二外接矩形为K1K2K3K4。
另外，训练装置通过目标区域检测网络在第一工业训练样本中检测，从而获得标注的多自由度四边形的预测值、第一外接矩形的预测值、第二外接矩形的预测值和预测类别信息。该预测类别信息用于指示标注的多自由度四边形的预测值为前景区域还是背景区域。例如，如果标注的多自由度四边形的预测值为前景区域，则预测类别信息为第一标识，如果标注的多自由度四边形的预测值为背景区域，则预测类别信息为第二标识。
在通过目标区域检测网络得到标注的多自由度四边形的预测值、第一外接矩形的预测值、第二外接矩形的预测值和预测类别信息之后，训练装置可以利用上述预测值、标注得到的各个四边形的参数信息、预测类别信息以及标注类别信息来计算损失函数值，进而根据计算得到的损失函数值来对目标区域检测网络进行参数更新。
其中，在计算损失函数值时，训练装置可以对标注得到的数据和预测得到的数据分别进行参数化，进而通过参数化后的参数值来计算损失函数值。
示例性地，以第一工业训练样本中标注的多自由度四边形为一组对边平行、另一组对边不平行的四边形为例，例如，如图8所示，此时，该多自由度四边形可以通过该四边形的三个顶点Q1、Q2、Q3的顶点坐标和边Q3Q4的长度来表征，也即，该多自由度四边形的参数信息为
Figure BDA0002776791500000101
其中，
Figure BDA0002776791500000102
为顶点Q1的坐标，
Figure BDA0002776791500000103
为顶点Q2的坐标，
Figure BDA0002776791500000104
为顶点Q3的坐标，wQ为边Q3Q4的长度。同理，假设该多自由度四边形的预测值为q1q2q3q4，则该多自由度四边形的预测值的参数信息为
Figure BDA0002776791500000105
对于第一工业训练样本中的多自由度四边形的最小旋转外接矩形，也即第一外接矩形，可以通过该矩形的相邻的两个顶点的坐标和这两个顶点组成的边的相邻边的长度来表征。例如，如图8所示，第一外接矩形R1R2R3R4可以通过顶点R1和R2的坐标以及边R2R3的长度来表征，此时，第一外接矩形的参数信息为
Figure BDA0002776791500000106
其中，
Figure BDA0002776791500000107
为顶点R1的坐标，
Figure BDA0002776791500000108
为顶点R2的坐标，hR为R2R3的长度，也即该第一外接矩形的高。或者，第一外接矩形也可以通过顶点R2和R3的坐标以及边R1R2的长度来表征，本申请实施例对此不再赘述。同理，假设该第一外接矩形的预测值为r1r2r3r4，则第一外接矩形的预测值的参数信息可以为
Figure BDA0002776791500000109
对于第二外接矩形，由于第二外接矩形为水平外接矩形，因此，第二外接矩形可以通过一个顶点的坐标和该外接矩形的宽和高来表征。例如，如图8中所示，第二外接矩形K1K2K3K4可以通过顶点K1的坐标、边K1K2和边K2K3的长度来表征。也即，第二外接矩形的参数信息可以为
Figure BDA00027767915000001010
其中，
Figure BDA00027767915000001011
为顶点K1的坐标，wK为第二外接矩形的宽，也即，边K1K2的长度，hK为第二外接矩形的高，也即，边K2K3的长度。同理，假设第二外接矩形的预测值为k1k2k3k4，则第二外接矩形的预测值的参数信息可以为
Figure BDA0002776791500000111
对于上述标注得到的各个四边形的参数信息和预测得到的各个四边形的参数信息，训练装置可以采用目标区域检测网络在预测上述各个四边形的过程中所生成的水平矩形目标区域来对其进行参数化。假设在采用目标区域检测网络预测上述各个四边形的过程中所生成的水平矩形目标区域的参数信息为(x,y,w,h)，则训练装置可以通过下述公式(1)-(3)对第一工业训练样本中标注的多自由度四边形、该多自由度四边形的预测值的参数信息进行参数化，通过公式(1)、(2)和(4)对第一外接矩形和第一外接矩形的预测值的参数信息进行参数化，通过公式(1)-(4)对第二外接矩形和第二外接矩形的预测值的参数信息进行参数化，从而得到各个四边形的参数组。
Figure BDA0002776791500000112
Figure BDA0002776791500000113
Figure BDA0002776791500000114
Figure BDA0002776791500000115
其中，当采用公式(1)-(3)对第一工业训练样本中标注的多自由度四边形和该多自由度四边形的预测值的参数信息进行参数化时，i的取值为1,2,3。N的取值为Q,q。这样，该多自由度四边形的参数组可以表示为
Figure BDA0002776791500000116
该多自由度四边形的预测值的参数组可以表示为
Figure BDA0002776791500000117
当采用公式(1)、(2)和(4)对第一外接矩形和第一外接矩形的预测值的参数信息进行参数化时，i的取值为1,2。N的取值为R,r。这样，第一外接矩形的参数组可以表示为
Figure BDA0002776791500000118
第一外接矩形的预测值的参数组可以表示为
Figure BDA0002776791500000119
当采用公式(1)-(4)对第二外接矩形和第二外接矩形的预测值的参数信息进行参数化时，i的取值为1。N的取值为K,k。这样，第二外接矩形的参数组可以表示为
Figure BDA00027767915000001110
第二外接矩形的预测值的参数组可以表示为
Figure BDA00027767915000001111
在将标注得到的数据和预测得到的数据分别进行参数化之后，训练装置基于上述参数化后的各个参数组，通过下述公式(5)来计算损失函数值。
Figure BDA00027767915000001112
其中，Lcls()为分类损失函数，lp为预测类别信息，lg为标注类别信息，λ1、λ2、λ3为预设的平衡因子，用于调整相应项在计算损失函数值的过程中的相对贡献；
Figure BDA00027767915000001113
为标注的多自由度四边形的参数的回归函数，
Figure BDA00027767915000001114
为第一外接矩形的参数的回归函数，
Figure BDA00027767915000001115
为第二外接矩形的参数的回归函数。
在通过上述公式获得损失函数值之后，训练装置可以计算得到的损失函数的引导下迭代训练目标区域检测网络，从而得到目标区域检测模型。
需要说明的是，上文中用于表征标注得到的各个四边形和预测得到的各个四边形的参数仅是本申请实施例提供的一种示例，在一些可能的场景中，也可以通过其他参数信息来表征各个四边形，例如，通过各个四边形的四个顶点的坐标来表征相应四边形，本申请实施例对此不做限定。
步骤603：获取多个缺陷训练样本。
在本申请实施例中，训练装置收集多个缺陷训练样本。其中，该多个缺陷训练样本均为包含有目标区域的图像。需要说明的是，在一些可能的情况下，该多个缺陷训练样本与上述用于训练得到目标区域检测模型的多个工业训练样本不存在交集，在另一些可能的情况中，该多个缺陷训练样本中可以包含有上述多个工业训练样本中包含有工业缺陷的工业训练样本。
步骤604：通过目标区域检测模型从多个缺陷训练样本中提取多个目标区域。
在训练得到目标区域检测模型并获取到缺陷训练样本之后，训练装置通过目标区域检测模型从每个缺陷训练样本中提取目标区域。
需要说明的是，由于目标区域检测模型是通过在工业训练样本中标注可能存在工业缺陷的四边形训练得到的，所以该目标区域检测模型以多自由度四边形作为检测框，这样，通过该目标区域检测模型，能够从每个缺陷训练样本中检测出可能存在工业缺陷且形状为四边形的目标区域。其中，当训练时所采用的四边形为多自由度四边形，则从每个缺陷训练样本中检测到的也将为多自由度四边形。然而，由于后续训练缺陷检测网络时，输入到缺陷检测网络的训练样本通常要求为矩形，因此，在本申请实施例中，在检测出目标区域之后，训练装置可以进一步的确定该目标区域的最小外接矩形，在最小外接矩形和该目标区域之间填充背景色，然后从缺陷训练样本中提取该最小外接矩形，将提取的图像作为后续缺陷检测网络的输入。
示例性地，对于检测焊缝缺陷的目标区域检测模型，在用于训练该目标区域检测模型的各个工业训练样本中可以通过多自由度四边形来标注焊缝，这样，通过该目标区域检测模型能够从缺陷训练样本中检测到包含有焊缝且形状为多自由度四边形的目标区域。训练装置可以确定该目标区域的最小外接矩形，并在最小外接矩形和该目标区域之间填充背景色，之后，从缺陷训练样本中提取包含有该目标区域的最小外接矩形。
步骤605：获取多个目标区域中包含有工业缺陷的目标区域的缺陷标注信息。
在从每个缺陷训练样本中提取得到目标区域之后，由于该目标区域可能包含有工业缺陷，也可能不包含，所以训练装置可以向用户显示提取到的多个目标区域，由用户从多个目标区域中挑选出包含有工业缺陷的目标区域，并对包含有工业缺陷的目标区域内的工业缺陷进行标注。之后，训练装置获取用户在每个目标区域中进行标注时产生的缺陷标注信息。
其中，用户可以采用水平矩形标注框来标注目标区域中包含的工业缺陷，并在缺陷类型选项中输入该水平矩形标注框内包含的工业缺陷的缺陷类型。相应地，训练装置获取用户在目标区域内标注的水平矩形标注框的位置，将该位置作为目标区域内包含的工业缺陷的位置。与此同时，训练装置获取用户输入的工业缺陷的缺陷类型。将获取到的工业缺陷的位置和缺陷类型作为目标区域的缺陷标注信息。
需要说明的是，在通过水平矩形标注框标注目标区域中包含的工业缺陷时，该水平矩形标注框可以在包围该工业缺陷的情况下面积尽可能的小，也即，该水平矩形标注框可以紧紧包围该工业缺陷。训练装置在获取水平矩形标注框的位置时，可以获取该水平矩形标注框的中心点的位置。
步骤606：通过包含有工业缺陷的目标区域和相应目标区域的缺陷标注信息对缺陷检测网络进行训练，得到缺陷检测模型。
在获取到包含有工业缺陷的目标区域以及相应目标区域的缺陷标注信息之后，训练装置通过每个包含有工业缺陷的目标区域和对应的缺陷标注信息对缺陷检测网络进行训练，从而得到缺陷检测模型。
其中，由前述步骤604中的介绍可知，在提取目标区域时，提取的可以是一个包含有目标区域的最小外接矩形。基于此，对于任一个包含有工业缺陷的目标区域，训练装置将包含该目标区域的最小外接矩形输入至缺陷检测网络，缺陷检测网络对该目标区域中包含的工业缺陷进行识别，从而得到该目标区域内包含的工业缺陷的预测位置和预测缺陷类型。根据该工业缺陷的预测位置和该目标区域的缺陷标注信息中包含的标注的缺陷位置计算位置损失函数值，根据该工业缺陷的预测缺陷类型和缺陷标注信息中包含的标注的缺陷类型计算类型损失函数值。之后，根据该位置损失函数值和类型损失函数值对缺陷检测网络进行参数更新，从而得到缺陷检测模型。
在本申请实施例中，通过多自由度四边形对工业训练样本中可能包含有工业缺陷的目标区域进行标注，进而通过该工业训练样本对目标区域检测网络进行训练，以获得目标区域检测模型，这样，该目标区域检测模型能够更为准确的检测图像中以不同方向、形态分布的可能包含缺陷的各种目标区域。另外，在本申请实施例中，先训练得到目标区域检测模型，之后，通过该目标区域检测模型对缺陷训练样本中包含的工业缺陷进行粗定位，以提取目标区域，进而通过该目标区域中标注的缺陷的精细位置和缺陷类型训练缺陷检测网络，以得到缺陷检测模型。这样，后续在通过该缺陷检测模型检测从待识别图像中提取出来的目标区域时，能够得到工业缺陷在该目标区域中更为准确的定位，并能够输出具体的工业缺陷的缺陷类型，不仅提高了定位的准确性，而且丰富了缺陷识别得到维度。
上述实施例主要介绍了目标区域检测模型和缺陷检测模型的训练过程，接下来对采用该目标区域检测模型和缺陷检测模型对待识别图像进行识别的过程进行介绍。
图9是本申请实施例提供的一种工业缺陷的识别方法流程图。该方法可以应用于前述介绍的工业缺陷识别系统中的识别装置中，参见图9，该方法包括以下步骤：
步骤901：获取待识别图像，该待识别图像为反映工业产品的图像。
在本申请实施例中，识别装置获取待识别图像，该待识别图像是该识别装置中存储的，或者是该待识别图像是其他设备发送至该识别装置的。其中，其他设备可以为采集该待识别图像的设备，也可以是存储该待识别图像的设备，本申请实施例对此不做限定。
步骤902：根据目标区域检测模型从待识别图像中提取至少一个目标区域，该至少一个目标区域为可能存在工业缺陷的区域。
在获取到待识别图像之后，识别装置将该待识别图像作为目标区域检测模型的输入，通过该目标区域检测模型从该待识别图像中提取至少一个目标区域，其中，该至少一个目标区域为可能存在工业缺陷的区域，也即，该至少一个目标区域是指某种工业缺陷可能发生的区域。
示例性地，以一个目标区域为例，识别装置通过目标区域检测模型在待识别图像中确定目标区域，并输出目标区域在待识别图像中的位置。之后，识别装置根据目标区域在待识别图像中的位置，获得包含该目标区域的最小外接矩形。其中，目标区域在待识别图像中的位置可以通过目标区域的各个顶点的坐标来表征，也可以根据目标区域的形状，采用别的参数来表征，本申请实施例对此不做限定。
需要说明的是，由于目标区域检测模型是通过在工业训练样本中标注的四边形训练得到的，所以通过该目标区域检测模型，能够从待识别图像中确定出形状为四边形的目标区域。其中，当训练时所采用的四边形为多自由度四边形，则从待识别图像中确定出的目标区域也将为多自由度四边形。由于后续检测第一区域中的工业缺陷时需要通过缺陷检测模型来检测，而输入到缺陷检测模型的图像通常要求为矩形，因此，在本申请实施例中，在检测出目标区域之后，识别装置可以进一步的确定目标区域的最小外接矩形，在最小外接矩形和目标区域之间填充背景色，然后根据目标区域的最小外接矩形对待识别图像进行裁剪，从而得到包含有目标区域的图像。
例如，在焊缝缺陷识别的场景中，在训练目标区域检测模型时，在工业训练样本中通过多自由度四边形标注框标注焊缝，这样，在采用该目标区域检测模型对包含有焊缝的待识别图像进行检测时，则能够从该待识别图像中识别得到多自由度的包含有焊缝的目标区域。之后，识别装置可以确定目标区域的最小外接矩形，并在目标区域和最小外接矩形之间的空隙中填充背景色，将该最小外接矩形从待识别图像中提取出来，从而得到包含有目标区域的图像。
步骤903：根据至少一个目标区域和缺陷检测模型，获得至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和缺陷粗选区域包含的工业缺陷的类型。
在通过目标区域检测模型提取得到至少一个目标区域之后，识别装置将至少一个目标区域作为缺陷检测模型的输入，通过缺陷检测模型进行推理，获得至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域在目标区域中的位置，和缺陷粗选区域包含的工业缺陷的缺陷类型；之后，根据缺陷粗选区域在目标区域中的位置，从目标区域中提取缺陷粗选区域。
其中，仍以至少一个目标区域中的一个目标区域为例，识别装置将包含有该目标区域的图像输入至缺陷检测模型。缺陷检测模型对该目标区域进行处理。需要说明的是，由于目标区域是工业缺陷可能出现的区域，因此，该目标区域中可能包含有工业缺陷，也可能不包含。基于此，如果该目标区域中不包含有工业缺陷，则缺陷检测模型将会输出用于指示该目标区域内无缺陷的识别结果。如果该目标区域中包括有工业缺陷，则缺陷检测模型将能够在该目标区域中确定出缺陷粗选区域并对缺陷粗选区域内的工业缺陷进行识别，之后，缺陷检测模型输出缺陷粗选区域在该目标区域内的位置以及识别得到的缺陷粗选区域内的工业缺陷的缺陷类型。识别装置在得到缺陷粗选区域在目标区域内的位置之后，根据该位置对目标区域进行裁剪，从而得到缺陷粗选区域。其中，缺陷粗选区域在目标区域内的位置同样可以采用缺陷粗选区域的顶点坐标来表征，或者是根据缺陷粗选区域的形状采用其他参数来表征。
需要说明的是，如果前述在训练缺陷检测模型时，在从缺陷训练样本提取到的目标区域内是通过水平矩形标注框标注的工业缺陷，则在本步骤中，在目标区域中确定的缺陷粗选区域也是一个水平矩形区域。
例如，在焊缝缺陷识别场景中，通过目标区域检测模型从待识别图像中提取得到一个包含焊缝的目标区域，将该目标区域输入至该缺陷检测模型，该缺陷检测模型对目标区域进行处理，从而在该目标区域中确定出一个包含有焊缝缺陷的水平矩形区域。根据确定出的水平矩形区域的位置，将该水平矩形区域从目标区域中提取出来，从而得到缺陷粗选区域。此时，缺陷粗选区域是一个包含有焊缝缺陷且面积比目标区域更小的区域。这样，焊缝缺陷在缺陷粗选区域中的占比将大于在目标区域中的占比。
由上述介绍可知，通过目标区域检测模型提取到的目标区域是一个某种工业缺陷可能发生的范围较大的区域，而通过缺陷检测模型得到缺陷粗选区域则是在目标区域的基础上进一步缩小范围后提取出的一个相较该目标区域更小的包含有工业缺陷的区域。这样，工业缺陷在该目标区域中的占比将大于在待识别图像中的占比，在缺陷粗选区域中的占比又将大于在目标区域中的占比。也即，通过从待识别图像中提取目标区域，然后再从目标区域中提取缺陷粗选区域，逐渐的提高了工业缺陷相对背景的占比。在此基础上，进一步地对缺陷粗选区域中的工业缺陷进行定位和尺寸估计，能够提高缺陷定位和尺寸估计的精度。尤其是对于小尺寸的工业缺陷，通过上述的方法不断放大该工业缺陷在图像中的占比，更有利于后续对该工业缺陷的定位和尺寸估计。
对于从待识别图像中提取到的至少一个目标区域中的每个目标区域，识别装置均能够参考上述方法对该至少一个目标区域进行检测，从而从该至少一个目标区域中获得包含有工业缺陷的目标区域的缺陷粗选区域和缺陷粗选区域包含的工业缺陷的类型。
步骤904：确定缺陷粗选区域包含的工业缺陷的尺寸和位置。
在通过步骤903获得缺陷粗选区域以及该缺陷粗选区域内包含的工业缺陷的缺陷类型，则识别装置可以进一步的通过对缺陷粗选区域进行分割来确定缺陷粗选区域内包含的工业缺陷的尺寸和位置。
在一种可能的实现方式中，如果缺陷粗选区域不是灰度图像，识别装置先对该缺陷粗选区域进行灰度化，当然，如果该缺陷粗选区域本身为灰度图像，则不必再执行灰度化操作。在此基础上，识别装置根据灰度化的缺陷粗选区域内的灰度分布，确定缺陷粗选区域包含的工业缺陷的尺寸以及该工业缺陷在缺陷粗选区域内的位置，根据缺陷粗选区域在目标区域中的位置、目标区域在待识别图像中的位置以及缺陷粗选区域包含的工业缺陷在缺陷粗选区域内的位置，确定缺陷粗选区域包含的工业缺陷在待识别图像中的位置。
需要说明的是，由于在图像中工业缺陷部分的灰度通常与非缺陷部分的灰度存在差别，所以，在本申请实施例中，识别装置可以采用区域内自适应阈值二值化方法，根据缺陷粗选区域内的灰度分布，确定该区域内的工业缺陷的位置和尺寸。
其中，识别装置根据灰度化的缺陷粗选区域内的灰度值分布，确定灰度阈值。之后，识别装置将灰度化的缺陷粗选区域内的每个像素点的灰度值与该灰度阈值进行比较，如果相应像素点的灰度值小于该灰度阈值，则将相应像素点的灰度值设置为第一数值，如果相应像素点的灰度值不小于该灰度阈值，则将该像素点的灰度值设置为第二数值。其中，第一数值和第二数值不相等。例如，第一数值为0，第二数值为255。通过上述方法，识别装置将灰度化的缺陷粗选区域内的各个像素点的灰度值二值化。之后，识别装置根据灰度化的缺陷粗选区域内灰度值为第一数值的像素点确定工业缺陷的位置和尺寸。
在确定出该工业缺陷在缺陷粗选区域内的位置之后，识别装置根据该工业缺陷在缺陷粗选区域内的位置以及缺陷粗选区域在相应的目标区域内的位置，通过该目标区域和缺陷粗选区域之间的坐标转换，得到该工业缺陷在目标区域内的位置。之后，识别装置再根据该工业缺陷在目标区域内的位置以及该目标区域在待识别图像中的位置，通过目标区域和待识别图像之间的坐标转换，得到该工业缺陷在待识别图像中的位置。
需要说明的是，在一些可能的情况中，识别装置也可以直接将确定出的该工业缺陷在缺陷粗选区域内的位置作为最终得到的该工业缺陷的位置。
在得到该工业缺陷的位置和尺寸之后，识别装置可以生成检测报告，并向客户端反馈该检测报告。其中，该检测报告包括在待识别图像中检测到的工业缺陷的缺陷类型、尺寸和位置。可选地，该检测报告中还可以包括其他内容，例如，还可以包括根据上述的识别结果确定得到的待识别图像中的工业产品是否合格的信息等，本申请实施例对此不做限定。
可选地，如果缺陷检测模型在对目标区域检测时输出的是用于指示目标区域内无缺陷的识别结果，则识别装置生成包含有用于指示该目标区域内无缺陷的识别结果的检测报告，并向客户端反馈该检测报告。
综上可知，本申请实施例提供的工业缺陷识别方法带来的有益效果至少包括以下四个方面：
第一，在本申请实施例中，在目标区域提取环节，使用以多自由度四边形为检测框的神经网络检测模型，可以适合不同类型的目标区域，所述目标区域检测模型具有良好的通用性。
第二，在本申请实施例中，首先从待识别图像中提取目标区域，然后再从目标区域中获得包含有工业缺陷的缺陷粗选区域。通过两次区域提取，提高了工业缺陷相对背景的尺寸占比，能够提高小尺寸的工业缺陷的检出概率。
第三，在检测出包含有工业缺陷的缺陷粗选区域之后，对缺陷粗选区域中的工业缺陷进行进一步定位和尺寸估计，能够有效提高缺陷定位和尺寸估计的精度。
第四，本申请实施例中不仅对缺陷类型进行了识别，还能够对工业缺陷进行定位和尺寸估计，丰富了工业缺陷的识别维度。
本申请实施例还提供了如图1中所示的识别装置10，该识别装置10包括的模块和功能如前文的描述，在此不再赘述。
在一些实施例中，识别装置10中的目标区域检测模块101用于执行前述实施例中的步骤901和902。缺陷粗检测模块102用于执行前述实施例中的步骤903。缺陷精细识别模块103用于执行前述实施例中的步骤904。
可选地，该模型优化装置10还可以包括报告生成模块104，该报告生成模块104可以用于生成包括识别结果的检测报告，并向用户提供该检测报告。
本申请还提供了如图1中所示的训练装置11，该训练装置11包括的模块和功能如前文的描述，在此不再赘述。
在一些实施例中，训练装置11中的目标区域检测模型生成模块111可以用于执行前述实施例中的步骤601和步骤602。目标区域提取和缺陷标注模块112可以用于执行前述实施例中的步骤603至步骤605。缺陷检测模型生成模块113可以用于执行前述实施例中的步骤606。
本申请实施例还提供了一种如图5所示的计算设备500。计算设备500中的处理器501读取存储器503中存储的一组计算机指令以执行前述的工业缺陷识别方法。
由于本申请实施例提供的识别装置10中的各个模块可以分布式的部署在同一环境或不同环境的多个计算机上，因此，本申请还提供了一种如图10所示的计算设备(也可以称为计算机系统)，该计算机系统包括多个计算机1000，每个计算机1000的结构与前述图5中的计算设备500的结构相同或相似，在此不再赘述。
上述每个计算机1000间通过通信网络建立通信通路。每个计算机1000上运行前述目标区域检测模块101、缺陷粗检测模块102、缺陷精细识别模块103、报告生成模块104中的任意一个或多个。任一计算机1000可以为云数据中心中的计算机(例如：服务器)，或边缘计算机，或终端计算设备。
上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。实现工业缺陷识别的计算机程序产品包括一个或多个进行工业缺陷识别的计算机指令，在计算机上加载和执行这些计算机程序指令时，全部或部分地产生按照本申请实施例图6和图9所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如：固态硬盘(solid state disk，SSD))等。
应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本文的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (19)

1.一种工业缺陷识别方法，其特征在于，所述方法包括：
获取待识别图像，所述待识别图像为反映工业产品的图像；
根据目标区域检测模型从所述待识别图像中提取至少一个目标区域，所述至少一个目标区域为可能存在工业缺陷的区域；
根据所述至少一个目标区域和缺陷检测模型，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和所述缺陷粗选区域包含的工业缺陷的类型；
确定所述缺陷粗选区域包含的工业缺陷的尺寸和位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标区域和缺陷检测模型，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和所述缺陷粗选区域包含的工业缺陷的类型，包括：
将所述至少一个目标区域作为所述缺陷检测模型的输入，通过所述缺陷检测模型进行推理，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域在目标区域中的位置，和所述缺陷粗选区域包含的工业缺陷的缺陷类型，其中，所述缺陷检测模型为利用缺陷训练样本训练完成的人工智能AI模型；
根据所述缺陷粗选区域在所述目标区域中的位置，从所述目标区域中提取所述缺陷粗选区域。
3.根据权利要求1或2所述的方法，其特征在于，所述确定所述缺陷粗选区域包含的工业缺陷的尺寸和位置，包括：
根据所述缺陷粗选区域内的灰度分布，确定所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置和尺寸；
根据所述缺陷粗选区域在所述目标区域中的位置、所述目标区域在所述待识别图像中的位置以及所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置，确定所述缺陷粗选区域包含的工业缺陷在所述待识别图像中的位置。
4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
生成检测报告，所述检测报告包括在所述待识别图像中检测到的工业缺陷的缺陷类型、尺寸和位置；
向用户提供所述检测报告。
5.根据权利要求1-4任一所述的方法，其特征在于，所述工业缺陷为焊缝缺陷，所述目标区域为焊缝所在的区域。
6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：
获取多个工业训练样本，每个工业训练样本均对应有目标区域标注信息，所述目标区域标注信息包括相应工业训练样本中标注的多自由度四边形的位置信息和用于指示相应多自由度四边形为目标区域的标注类别信息；
通过所述多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练，得到所述目标区域检测模型。
7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：
获取多个缺陷训练样本；
通过所述目标区域检测模型从所述多个缺陷训练样本中提取多个目标区域；
获取所述多个目标区域中包含有工业缺陷的目标区域的缺陷标注信息，所述缺陷标注信息用于指示相应目标区域内的工业缺陷的缺陷类型和位置；
通过包含有工业缺陷的目标区域和相应目标区域的缺陷标注信息对缺陷检测网络进行训练，得到所述缺陷检测模型。
8.根据权利要求1-7任一所述的方法，其特征在于，所述目标区域检测模型使用多自由度四边形作为检测框，所述多自由度四边形的各个边与所述待识别图像的各个边的角度为0度至180度中的任一数值。
9.一种工业缺陷识别系统，其特征在于，所述工业缺陷识别系统包括：
目标区域检测模块，用于获取待识别图像，所述待识别图像为反映工业产品的图像；根据目标区域检测模型从所述待识别图像中提取至少一个目标区域，所述至少一个目标区域为可能存在工业缺陷的区域；
缺陷粗检测模块，用于根据所述至少一个目标区域和缺陷检测模型，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域，和所述缺陷粗选区域包含的工业缺陷的类型；
缺陷精细识别模块，用于确定所述缺陷粗选区域包含的工业缺陷的尺寸和位置。
10.根据权利要求9所述的系统，其特征在于，所述缺陷粗检测模块用于：
将所述至少一个目标区域作为所述缺陷检测模型的输入，通过所述缺陷检测模型进行推理，获得所述至少一个目标区域中包含有工业缺陷的目标区域的缺陷粗选区域在目标区域中的位置，和所述缺陷粗选区域包含的工业缺陷的缺陷类型，其中，所述缺陷检测模型为利用缺陷训练样本训练完成的人工智能AI模型；
根据所述缺陷粗选区域在所述目标区域中的位置，从所述目标区域中提取所述缺陷粗选区域。
11.根据权利要求9或10所述的系统，其特征在于，所述缺陷精细识别模块用于：
根据所述缺陷粗选区域内的灰度分布，确定所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置和尺寸；
根据所述缺陷粗选区域在所述目标区域中的位置、所述目标区域在所述待识别图像中的位置以及所述缺陷粗选区域包含的工业缺陷在所述缺陷粗选区域内的位置，确定所述缺陷粗选区域包含的工业缺陷在所述待识别图像中的位置。
12.根据权利要求9-11任一所述的系统，其特征在于，所述系统还包括报告生成模块，所述报告生成模块用于：
生成检测报告，所述检测报告包括在所述待识别图像中检测到的工业缺陷的缺陷类型、尺寸和位置；
向用户提供所述检测报告。
13.根据权利要求9-12任一所述的系统，其特征在于，所述工业缺陷为焊缝缺陷，所述目标区域为焊缝所在的区域。
14.根据权利要求9-13任一所述的系统，其特征在于，所述系统还用于：
获取多个工业训练样本，每个工业训练样本均对应有目标区域标注信息，所述目标区域标注信息包括相应工业训练样本中标注的多自由度四边形的位置信息和用于指示相应多自由度四边形为目标区域的标注类别信息；
通过所述多个工业训练样本和每个工业训练样本的目标区域标注信息对目标区域检测网络进行训练，得到所述目标区域检测模型。
15.根据权利要求9-14任一所述的系统，其特征在于，所述系统还用于：
获取多个缺陷训练样本；
通过所述目标区域检测模型从所述多个缺陷训练样本中提取多个目标区域；
获取所述多个目标区域中包含有工业缺陷的目标区域的缺陷标注信息，所述缺陷标注信息用于指示相应目标区域内的工业缺陷的缺陷类型和位置；
通过包含有工业缺陷的目标区域和相应目标区域的缺陷标注信息对缺陷检测网络进行训练，得到所述缺陷检测模型。
16.根据权利要求9-15任一所述的系统，其特征在于，所述目标区域检测模型使用多自由度四边形作为检测框，所述多自由度四边形的各个边与所述待识别图像的各个边的角度为0度至180度中的任一数值。
17.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器用于存储一组计算机指令，当所述处理器执行所述一组计算机指令时，所述计算设备执行上述权利要求1至8任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行权利要求1至8中任一项所述的方法。
19.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算设备上运行时，使得所述计算设备执行权利要求1至8中任一项所述的方法。
CN202011268302.9A 2020-11-13 2020-11-13 工业缺陷识别方法、系统、计算设备及存储介质 Pending CN114565548A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011268302.9A CN114565548A (zh) 2020-11-13 2020-11-13 工业缺陷识别方法、系统、计算设备及存储介质
PCT/CN2021/124254 WO2022100366A1 (zh) 2020-11-13 2021-10-16 工业缺陷识别方法、系统、计算设备及存储介质
EP21890893.7A EP4231229A4 (en) 2020-11-13 2021-10-16 METHOD AND SYSTEM FOR DETECTING INDUSTRIAL DEFECTS, COMPUTER DEVICE AND STORAGE MEDIUM
US18/316,757 US20230281784A1 (en) 2020-11-13 2023-05-12 Industrial Defect Recognition Method and System, Computing Device, and Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268302.9A CN114565548A (zh) 2020-11-13 2020-11-13 工业缺陷识别方法、系统、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN114565548A true CN114565548A (zh) 2022-05-31

Family

ID=81600823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268302.9A Pending CN114565548A (zh) 2020-11-13 2020-11-13 工业缺陷识别方法、系统、计算设备及存储介质

Country Status (4)

Country Link
US (1) US20230281784A1 (zh)
EP (1) EP4231229A4 (zh)
CN (1) CN114565548A (zh)
WO (1) WO2022100366A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758040A (zh) * 2023-06-26 2023-09-15 上海感图网络科技有限公司 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953404B (zh) * 2023-03-14 2023-05-30 常州微亿智造科技有限公司 应用于工业质检的切图方法及装置
CN116452791B (zh) * 2023-03-27 2024-03-22 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、系统、装置及存储介质
CN116468725B (zh) * 2023-06-13 2023-09-05 北京航空航天大学杭州创新研究院 基于预训练模型的工业缺陷检测方法、装置及存储介质
CN117078665B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10142165A (ja) * 1996-11-14 1998-05-29 Kubota Corp 疵検出装置
KR102222983B1 (ko) * 2013-03-11 2021-03-04 링컨 글로벌, 인크. 가상 현실 환경에서의 향상된 교육 및 훈련을 제공하는 시스템 및 방법
CN109087294A (zh) * 2018-07-31 2018-12-25 深圳辰视智能科技有限公司 一种产品缺陷检测方法、系统及计算机可读存储介质
US11010888B2 (en) * 2018-10-29 2021-05-18 International Business Machines Corporation Precision defect detection based on image difference with respect to templates
CN110389127B (zh) * 2019-07-03 2020-08-14 浙江大学 一种金属陶瓷零件识别及表面缺陷检测系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758040A (zh) * 2023-06-26 2023-09-15 上海感图网络科技有限公司 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质
CN116758040B (zh) * 2023-06-26 2024-02-20 上海感图网络科技有限公司 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20230281784A1 (en) 2023-09-07
WO2022100366A1 (zh) 2022-05-19
EP4231229A4 (en) 2024-04-10
EP4231229A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN114565548A (zh) 工业缺陷识别方法、系统、计算设备及存储介质
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
CN111680750B (zh) 图像识别方法、装置和设备
CN112686595A (zh) 物流操作违规行为的检测方法、装置、设备和存储介质
Ortega et al. Generating 3D city models from open LiDAR point clouds: Advancing towards smart city applications
CN114003613A (zh) 高精地图车道线更新方法、装置、电子设备以及存储介质
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
US11308364B1 (en) Automatic benchmarking of labeling tasks
CN113393442A (zh) 列车零部件异常检测方法、系统、电子设备及存储介质
CN113378768A (zh) 垃圾桶状态识别方法、装置、设备以及存储介质
CN109697722A (zh) 用于生成三分图的方法及装置
CN116229211A (zh) 样本生成方法、模型训练方法、对象检测方法及装置
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
Mohsin et al. Convolutional neural networks for real-time wood plank detection and defect segmentation
CN113808142A (zh) 一种地面标识的识别方法、装置、电子设备
CN114445320A (zh) 图像分割质量的评测方法、装置、电子设备和存储介质
CN112308688A (zh) 适用于电商平台的尺码表检测方法
CN117575985B (zh) 一种汽车零部件铸造监管方法、装置、设备及介质
CN111598078A (zh) 一种基于序列优化的物体检测的方法及系统
CN114120062B (zh) 样本生成方法及装置
CN117974635B (zh) 电缆通道检测方法、装置、电子设备与计算机可读介质
Dekker et al. Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
Jbira et al. Reproducibility Experimentation among Computer‐Aided Inspection Software from a Single Point Cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination