CN116977239A - 缺陷检测方法、装置、计算机设备及存储介质 - Google Patents

缺陷检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116977239A
CN116977239A CN202210388265.8A CN202210388265A CN116977239A CN 116977239 A CN116977239 A CN 116977239A CN 202210388265 A CN202210388265 A CN 202210388265A CN 116977239 A CN116977239 A CN 116977239A
Authority
CN
China
Prior art keywords
defect
feature
image
prediction
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210388265.8A
Other languages
English (en)
Inventor
汪浩
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202210388265.8A priority Critical patent/CN116977239A/zh
Publication of CN116977239A publication Critical patent/CN116977239A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种缺陷检测方法、装置、计算机设备及存储介质，该方法通过获取待识别面板图像；提取待识别面板图像的多个不同尺度的特征图，特征图包括待识别面板图像的缺陷点信息；根据各个不同尺度的所述特征图，得到待识别面板图像的若干候选缺陷区域图像；根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像，本实施例中通过对更具有细粒度的缺陷点信息进行分析识别处理，实现了目标缺陷区域图像的高效识别，提高了缺陷区域识别的准确性。

Description

缺陷检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及深度学习技术领域，具体涉及一种缺陷检测方法、装置、计算机设备及存储介质。
背景技术
缺陷检测广泛使用于布匹瑕疵检测、工件表面质量检测、航空航天领域等，用于对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。然而，现有技术通常是对工件图像通过特征匹配等方法进行缺陷定位，然后对定位的缺陷进行分类，识别出相应的缺陷类别进行处理。然而，上述方法对特征不明显的、形状多样、场景比较混乱的场合，其检测效率低下。
申请内容
本申请实施例提供一种缺陷检测方法、装置、计算机设备及存储介质，以解决缺陷特征不明显导致的缺陷检测效率低下的问题。
一方面，本申请提供一种缺陷检测方法，包括：
获取待识别面板图像；
提取所述待识别面板图像的多个不同尺度的特征图，所述特征图包括所述待识别面板图像的缺陷点信息；
根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像；
根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像。
一方面，本申请提供一种缺陷检测装置，包括：
获取模块，用于获取待识别面板图像；
提取模块，用于提取所述待识别面板图像的多个不同尺度的特征图，所述特征图包括所述待识别面板图像的缺陷点信息；
确定模块，用于根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像；
识别模块，用于根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像。
一方面，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请所提供的缺陷检测方法中的步骤。
一方面，本申请提供一种计算机可读介质，存储有计算机程序，所述计算机程序被处理器执行时实现本申请所提供的缺陷检测方法中的步骤。
本申请实施例提供了一种缺陷检测方法、装置、计算机设备及存储介质，该方法通通过获取待识别面板图像；提取待识别面板图像的多个不同尺度的特征图，特征图包括待识别面板图像的缺陷点信息；根据各个不同尺度的所述特征图，得到待识别面板图像的若干候选缺陷区域图像；根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像，本实施例中通过对更具有细粒度的缺陷点信息进行分析识别处理，实现了目标缺陷区域图像的高效识别，提高了缺陷区域识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中缺陷检测方法的流程图；
图2为一个实施例中PP-YOLO模型的结构示意图；
图3为一个实施例中ResNet50-DCN网络的结构示意图；
图4为一个实施例中特征金字塔网络的结构示意图；
图5为一个实施例中卷积模块的细化结构示意图；
图6为一个实施例中上采样模块的结构示意图；
图7为一个实施例中缺陷检测装置的结构框图；
图8为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种缺陷检测方法，该缺陷检测方法既可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该缺陷检测方法具体包括以下步骤：
步骤102，获取待识别面板图像；
其中，待识别面板图像是指需要进行缺陷检测的面板的图像，如液晶面板的图像，待识别面板图像可以是彩色图像，也可以是灰度图像，还可以是二值化图像。待识别面板图像的获取可以是通过调用终端中的摄像头实时对面板进行拍摄得到，也可以是从图像数据库获取。
步骤104，提取待识别面板图像的多个不同尺度的特征图，特征图包括待识别面板图像的缺陷点信息。
其中，特征图是指对待识别面板图像进行缺陷点信息的特征提取，得到的不同尺度的特征图，如在3个尺度上进行对象检测，依次检测大、中、小物体，得到3个尺度对应的特征图。缺陷点信息是指具有面板缺陷特征的像素点。具体地，可以通过特征编码网络进行缺陷点信息的特征提取，可以理解地，本实施例中通过提取缺陷点信息的特征图，使得特征图的特征更具有细粒度，相较于传统的形状或者颜色特征，能够更加凸显面板图像的缺陷特征，有利于提高后续的缺陷识别准确性。
步骤106，根据各个不同尺度的所述特征图，得到待识别面板图像的若干候选缺陷区域图像。
其中，候选缺陷图像是指初步筛选的疑似包含有待识别图像的缺陷信息的待识别图像的区域图像，具体地，对各个特征图进行融合、解码等处理，即对缺陷点信息进行分析识别或者预测，从而得到若干候选缺陷区域图像。可以是采用基于图像的人工特征的识别方式、也可以是采用基于神经网络型的识别方式对不同的特征图进行处理，识别出识别面板图像的若干候选缺陷区域图像。
步骤108，根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像。
其中，目标缺陷图像是指待识别面板图像中的存在缺陷区域的图像。具体地，根据若干候选缺陷区域图像的相关信息，如干候选缺陷区域图像的定位信息、定位信息的置信度或者各个候选区域图像中的缺陷点信息的图像特征信息，滤除不满足条件的候选缺陷区域图像，将满足条件的候选缺陷区域图像确定为目标缺陷区域图像。本实施例中通过对若干候选缺陷区域图像进行分析筛选，得到目标缺陷区域图像，由于是基于更具有细粒度的缺陷点信息进行处理，实现了目标缺陷区域图像的高效识别，提高了缺陷区域识别的准确性。
上述缺陷检测方法，通过获取待识别面板图像；提取待识别面板图像的多个不同尺度的特征图，特征图包括待识别面板图像的缺陷点信息；根据各个不同尺度的所述特征图，得到待识别面板图像的若干候选缺陷区域图像；根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像，本实施例中通过对更具有细粒度的缺陷点信息进行分析识别处理，实现了目标缺陷区域图像的高效识别，提高了缺陷区域识别的准确性。
在一个实施例中，根据各个不同尺度的特征图，得到待识别面板图像的若干候选缺陷区域图像，包括：对各个不同尺度的特征图进行融合处理，得到融合特征图；对融合特征图进行特征解码处理，得到若干候选缺陷区域图像。
具体地，对各个不同尺度的特征图进行融合处理，例如，可以采用颈部网络融合多个不同尺度的特征图，相应得到融合特征图，然后通过检测头网络对融合特征图进行特征解码，得到若干候选缺陷区域图像。
在一个实施例中，对融合特征图进行特征解码处理，得到若干候选缺陷区域图像，包括：对融合特征图中的缺陷点信息进行特征解码计算，得到待识别面板图像的中存在缺陷的缺陷区域；通过非极大值抑制方式对缺陷区域进行预测，得到预测框；根据预测框确定对应的候选缺陷区域图像。
其中，预测框是指用于描述存在缺陷区域的定位信息的区域图像，具体地，对融合特征图中的缺陷点信息进行特征解码计算，得到待识别面板图像的中存在缺陷的缺陷区域，实现了对缺陷区域的定位，相应得到对应的预测框。非极大值抑制方式(Non-MaximumSuppression，NMS)，是一种抑制不是极大值的元素的方式，用于进行局部最大搜索，也即用于目标检测中提取分数最高的窗口，具体地，通过非极大值抑制方式去除低质量的预测框，保留高质量的预测框，也即得到高质量预测框确定为对应的候选缺陷区域图像，实现了对到低质量预测框的高效滤除，从而提高了候选缺陷区域图像的定位检测效率。
在一个实施例中，根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像，包括：获取每个预测框的预测交并比及置信度；根据各个预测框的预测交并比及置信度，从若干候选缺陷区域图像中确定待识别面板图像的目标缺陷区域图像。
其中，预测交并比是用于判断预测框的位置的准确程度的指标数据，代表着所选预测框与真实框相交的面积和预测框与真实框合并的面积的比例，预测交并比越大，则预测框越接近真实的位置。置信度为所选预测框与真实框相交的面积与预测框与真实框合并的面积的乘积。具体地，根据各个预测框的预测交并比及置信度，将预测交并比及置信度同时满足相应的预设阈值的预测框对应的候选缺陷区域图像确定为待识别面板图像的目标缺陷区域图像。
在一个实施例中，对各个不同尺度的特征图进行融合处理，得到融合特征图，包括：通过缺陷识别模型中的主干网络对待识别面板图像进行特征编码，得到各个不同尺度的特征图；其中，PP-YOLO模型包括主干网络、颈部网络和检测头网络；将多个不同尺度的特征图输入颈部网络，得到融合特征图；对融合特征图进行特征解码处理，得到待识别面板图像的若干候选缺陷区域图像，包括：将融合特征图输入检测头网络进行特征解码处理，检测头网络输出结果作为待识别面板图像的若干候选缺陷区域图像。
其中，PP-YOLO模型是一种改进的YOLOV3模型，其识别精度和识别效率均优于YOLOV4模型。如图2所示，PP-YOLO模型由三部分组成，分别为主干网络、颈部网络和检测头网络。其中，主干网络是模型的基础，用于在多个不同的尺度进行特征编码，相应编码得到多个不同尺度的特征图，特征图待识别面板图像的缺陷点信息；颈部网络连接主干网络和检测头网络，用于对主干网络编码得到的多个不同尺度的特征图进行特征融合，并将融合得到融合特征图作为检测头网络的输入；检测头网络用于对输入的融合特征图进行特征解码，相应得到待识别面板图像的若干候选缺陷区域图像。
在一个实施例中，缺陷识别模型的训练过程包括：获取训练图像样本，将训练图像样本输入预设的PP-YOLO模型，得到训练图像样本的缺陷区域预测概率图；根据缺陷区域预测概率图和预设的交并比损失函数，得到对应的第一损失值；根据缺陷区域预测概率图和预设的L1损失函数，得到对应的第二损失值；根据第一损失值、第二损失值对预设的PP-YOLO模型进行训练，得到缺陷识别模型。
其中，L1损失函数也被称为最小绝对值偏差或最小绝对值误差，作用在于将标签值与预测值的绝对差值的总和最小化。交并比损失函数直接使用真实框和预测框的交并比作为损失函数。具体地，获取训练图像样本，将训练图像样本输入预设的PP-YOLO模型，得到训练图像样本的缺陷区域预测概率图；根据缺陷区域预测概率图和预设的交并比损失函数，得到对应的第一损失值；根据缺陷区域预测概率图和预设的L1损失函数，得到对应的第二损失值；根据第一损失值、第二损失值对预设的PP-YOLO模型进行训练，得到缺陷识别模型。本实施例中，通过采用L1损失函数和交并比损失函数在预先获取的训练图像样本上对PP-YOLO模型进行训练，直至满足预设停止条件，得到缺陷识别模型。其中，预设停止条件可以配置为训练过程中对PP-YOLO模型的参数的迭代次数达到预设次数，或者配置为L1损失函数和交并比损失函数收敛。
在一个实施例中，主干网络包括残差网络，颈部网络包括特征金字塔网络，检测头网络包括YOLO检测头网络；残差网络中的部分或全部卷积层为可变形卷积层；和/或，残差网络和特征金字塔网络之间通过空间金字塔池化层连接；和/或，残差网络和特征金字塔网络之间通过空间金字塔池化层连接；和/或，YOLO检测头网络中的分类分支为交并比预测分支；和/或，特征金字塔网络中设置有DropBlock层；通过缺陷识别模型中的主干网络对待识别面板图像进行特征编码，得到各个不同尺度的所述特征图，包括：将待识别面板图像分别输入残差网络中个的各个卷积层，得到各个卷积层对应的不同尺度的特征图；将多个不同尺度的特征图输入颈部网络，得到融合特征图，包括：将各个不同尺度的特征图输入特征金字塔网络，得到特征金字塔网络输出的特征图金字塔，将特征图金字塔作为融合特征图；将融合特征图输入检测头网络进行特征解码处理，检测头网络输出结果作为待识别面板图像的若干候选缺陷区域图像，包括：将融合特征图输入YOLO检测头网络，根据交并比预测分支，得到待识别面板图像的若干候选缺陷区域图像。
在一些实施例中，主干网络包括残差网络，是用于对每层的输入进行学习形成残差函数，以使残差函数更容易优化，使网络层数大大加深，该ResNet网络包括但不限于是ResNet50网络、ResNet101网络、ResNet50-VD网络或ResNet50vd-DCN网络，作为本实施例的优选，选取ResNet50vd-DCN网络，以利用其中的可变形卷积层提高预测的精度和速度。如图3所示，ResNet50-DCN网络可以划分为5个不同尺度的特征提取层，分别为C1特征提取层、C2特征提取层、C3特征提取层、C4特征提取层以及C5特征提取层。其中，C1特征提取层、C2特征提取层、C3特征提取层、C4特征提取层以及C5特征提取层用于依次对待识别面板图像进行特征编码，相应得到5种不同尺度的特征图。
颈部网络包括特征金字塔网络，检测头网络包括YOLO检测头网络，该YOLO检测头网络优选为YOLOV3检测头网络。如图4所示，特征金字塔网络可以划分为3层，分别为第一卷积层和两个卷积模块构成的第一特征金字塔层，第二卷积层和两个卷积模块构成的第二特征金字塔层，第三卷积层和两个卷积模块构成的第三金字塔层，以及用于横向连接第一特征金字塔层和第二特征金字塔层的上采样模块和Concat模块(由图4中表示)，用于横向连接第二特征金字塔层和第三特征金字塔层的上采样模块和Concat模块。其中，图6中C5表示第一特征金字塔层与C5特征提取层连接，C4表示第二特征金字塔层与C4特征提取层连接，C3表示第三特征金字塔层与C3特征提取层连接，P5表示C5特征提取层提取的特征图经第一特征金字塔层处理后得到特征图，P4表示C4特征提取层提取的特征图经第二特征金字塔层处理后得到特征图，P3表示C3特征提取层提取的特征图经第三特征金字塔层处理后得到特征图。另外，如图4所示，P5经上采样模块上采样后与C4特征提取层提取的特征图Concat后作为第二特征金字塔层的输入，P4经上采样模块上采样后与C3特征提取层提取的特征图Concat后作为第三特征金字塔层的输入。其中，第一卷积层包括512个512通道的1x1卷积，第二卷积层包括512个256通道的1x1卷积，第三卷积层包括256个128通道的1x1卷积。
如图5所示，卷积模块包括3x3卷积层和1x1卷积层，其中3x3卷积层中3x3卷积核个数与输入通道数相同，3x3卷积核通道数为其个数的两倍，1x1卷积层中1x1卷积核个数为输入通道数两倍，1x1卷积核通道数为其个数的二分之一。
如图6所示，上采样模块包括1x1卷积层和2倍上采样层，其中1x1卷积层中1x1卷积核个数与输入通道数相同，1x1卷积核通道数为其个数的二分之一。
由上可知，本实施例中，待识别面板图像通过C1特征提取层、C2特征提取层、C3特征提取层、C4特征提取层以及C5特征提取层依次进行特征编码，相应得到5种不同尺度的特征图。然后，进一步通过特征金字塔网络选取C3特征提取层、C4特征提取层以及C5特征提取层输出的特征图进行特征融合，相应得到3种不同尺度的特征图所构成的特征图金字塔，即融合特征图。
另外，YOLOV3检测头网络包括3个对应不同尺度特征图的检测头，检测头结构相同，包括3x3卷积层和1x1卷积层。其中，3个检测头分别用于对特征图金字塔中3种不同尺度的特征图进行特征解码，根据交并比预测分支，得到待识别面板图像的若干候选缺陷区域图像。
本实施例中，构建ResNet50-VD网络作为PP-YOLO模型的主干网络，构建特征金字塔网络作为PP-YOLO模型的颈部网络，以及构建YOLOV3检测头网络作为PP-YOLO模型的检测头网络。比如，可以采用paddlepaddle平台实现前述各部分网络的构建。
在一个实施例中，获取每个预测框的预测交并比及置信度，包括：通过YOLO检测头网络对融合特征图进行特征解码，得到解码后的预测框的位置坐标的预测值；将位置坐标的预测值输入激活函数，得到位置坐标的预测值的坐标激活值；根据预设修正系数对坐标激活值进行修正，得到坐标修正值；根据坐标修正值以及预设缩放系数，得到预测框的位置坐标的修正值；根据各个预测框的位置坐标的修正值确定对应的预测交并比及置信度。
其中，预测框的位置坐标的预测值是指YOLOV3检测头网络对预测框的位置坐标的原始预测值，在通过检测头网络对融合特征图进行特征解码，得到解码后的预测框的位置坐标的预测值，然后，将位置坐标的预测值输入激活函数，得到位置坐标的预测值的坐标激活值，此处对激活函数的选取不作具体限制，可由本领域技术人员根据实际需要进行选取，比如，本实施例选取Sigmoid函数作为激活函数。然后，根据预设修正系数对坐标激活值进行修正，得到坐标修正值，接着，根据坐标修正值以及预设缩放系数，得到预测框的位置坐标的修正值，最后，根据各个预测框的位置坐标的修正值，采用预设的缩放系数，计算对应的预测交并比及置信度。值得说明的是，由于YOLOV3检测头网络的定位原理是将图像划分成多个网格进行定位，以上根据预测框的位置坐标的预测值得到预测框的位置坐标过程可直接采用Grid Sensitive算法实现，表示为如下公式(1)：
其中，x表示预测框的位置坐标中的横坐标值，y表示预测框的位置坐标中的纵坐标值，σ()表示激活函数，px表示预测框的位置坐标中横坐标的预测值，py表示预测框的位置坐标中纵坐标的预测值，gx表示(σ(px)，σ(py))在前述待识别面板图像中所处网格的左上顶点的横坐标值，gy表示(σ(px)，σ(py))在前述待识别面板图像中所处网格的左上顶点的纵坐标值，α表示预设修正系数(可由本领域技术人员根据实际需要选取经验值，比如本实施例中取值为1.05)，S表示预设缩放系数，根据前述待识别面板图像的大小确定。
本实施例中，引入Grid Sensitive算法，并通过Grid Sensitive算法来确定预测框的位置坐标，能够提升预测框的定位精度。根据标准坐标系及预测框的位置和大小，可以确定预测框的中心点坐标，利用Grid Sensitive网络对中心点坐标进行缩放和偏移，得到更新后的预测框，以使预测框中心点能够有效的拟合真实框刚好落在网格边线上，使得更新后的缺陷位置预测框位置更加精准，本实施例中通过Grid Sensitive网络对缺陷位置预测框的位置进行优化，进一步提高了预测框定位的精准度。
在一个实施例中，根据各个预测框的预测交并比及置信度，从若干候选缺陷区域图像中确定待识别面板图像的目标缺陷区域图像，包括：根据预测框的预测交并比，对预测框的置信度进行调整，得到调整置信度；将调整置信度大于或等于第一预设置信度的预测框确定为目标预测框；根据目标预测框确定待识别面板图像的目标缺陷区域图像。
具体地，由于在YOLOV3检测头网络中引入了交并比预测分支，YOLOV3检测头网络输出的预测框将包括预测框的预测交并比及置信度。相应的，在根据检测头网络的输出结果确定待识别面板图像中存在缺陷的目标缺陷区域图像时，首先根据预测框的预测交并比对预测框的置信度进行调整，可以将一个预测框的预测交并比和置信度相乘，并将相乘的结果作为其调整后的置信度，也可以将一个预测框的预测交并比和置信度相加，并将相加的结果作为其调整后的置信度，将调整置信度大于或等于第一预设置信度的预测框确定为目标预测框，也即保留调整后的置信度大于或等于第一预设置信度的预测框，将目标预测框所指示的区域确定为待识别面板图像的目标缺陷区域图像。可以理解地，本实施例中通过在预测框的置信度中融合了预测交并比的信息，从而提高了目标预测框地定位精度，进而提高了目标缺陷区域图像的准确性。
在一个实施例中，根据各个预测框的位置坐标的修正值确定对应的预测交并比及置信度，包括：选取一个预测框作为当前预测框，遍历并计算当前预测框与其它各个预测框对应的预测交并比；针对每个当前预测框，根据预测交并比，选取大于预设交并比的预测框作为候选预测框，并获取各个候选预测框对应的置信度；删除置信度小于第二预设置信度的预测框，第二预设置信度小于第一预设置信度。
其中，当前预测框是指从多个预测框中选取的任意一个，用于确定当前预测框与其他各个预测框的预测交并比，对于真实存在缺陷的真实框，检测头网络可能输出多个预测框，这样导致冗余预测框的存在，需要去除冗余的预测框。具体地，针对每个当前预测框，根据预测交并比，选取大于预设交并比的预测框作为候选预测框，并获取各个候选预测框对应的置信度，删除置信度小于第二预设置信度的预测框，且第二预设置信度小于第一预设置信度，从而删除了置信度不满足条件的候选预测框，实现了对低质量预测框的滤除。
在一个实施例中，选取一个预测框作为当前预测框，遍历并计算当前预测框与其它各个预测框对应的预测交并比，包括：构建用于计算当前预测框与其他各个预测框之间的交并比的计算矩阵，并根据计算矩阵及各个预测框的位置坐标的修正值，确定当前预测框与其它各个预测框对应的预测交并比。
具体地，构建用于计算所有预测框两两之间的交并比的计算矩阵，并根据各个预测框的位置坐标的修正值及计算矩阵，并行计算得到所有预测框两两之间的交并比。
在一个实施例中，在根据若干候选缺陷区域图像，确定待识别面板图像的目标缺陷区域图像之后，还包括：从待识别面板图像中裁剪出目标缺陷区域图像；通过缺陷分类模型对目标缺陷区域图像进行缺陷分类，确定缺陷区域的缺陷类型。
其中，缺陷分类模型是指用于缺陷分类的模型，对于缺陷分类模型的具体架构不作具体限制，可由本领域技术人员根据实际需要进行选取，包括但不限于VGG Net、GoogleNet、ResNet、DenseNet等，缺陷分类则是识别缺陷区域的缺陷类别。本实施例中，缺陷类别包括破损缺陷、划痕缺陷等外观缺陷，以及亮点缺陷、线缺陷等功能性缺陷。具体地，在确定待识别面板图像的目标缺陷区域图像之后，进一步从待识别面板图像中裁剪出该目标缺陷区域图像，该目标缺陷区域图像可能为一个，也可能为多个。然后，通过缺陷分类模型对目标缺陷区域图像进行缺陷分类，例如，采用DenseNet201作为基础架构训练得到的缺陷分类模型对目标缺陷区域图像进行缺陷分类，从而确定缺陷区域的缺陷类型。
在一个实施例中，缺陷分类模型包括特征编码网络和特征解码网络，特征编码网络至少包括深度可分离卷积层，通过缺陷分类模型对目标缺陷区域图像进行缺陷分类，确定缺陷区域的缺陷类型，包括：通过深度可分离卷积层对目标缺陷区域图像进行特征编码，得到目标缺陷区域图像的特征图；通过特征解码网络对特征图进行特征解码，得到缺陷区域的缺陷类别的检测结果；根据检测结果确定目标缺陷区域图像的缺陷类型。
其中，特征编码网络是用于从输入中提取特征的网络，特征解码网络使用与对编码后的特征进一步进行特征优化和分类处理的网络。深度可分离卷积层是一种逐通道卷积网络层，即一个卷积核负责一个通道，一个通道只被一个卷积核卷积，对于来自上一层的多通道特征图，首先将其全部拆分为单个通道的特征图，分别进行单通道卷积，重新堆叠到一起。特征图是指多个特征组成的图。本实施例中的特征图是通过对目标缺陷区域图像进行卷积计算得到的特征图。可以理解地，由于深度可分离卷积层将三维矩阵分解成二维矩阵乘法，在减少参数量的前提下降低计算量，提高了目标缺陷区域图像检测实时性，同时，相较于传统的特征提取方式，本实施例中通过深度可分离卷积层的逐通道卷积计算，增强了目标缺陷区域图像的特征，使得特征图更加凸显。具体地，通过深度可分离卷积层对目标缺陷区域图像进行特征编码，实现对目标缺陷区域图像的特征提取，得到目标缺陷区域图像的特征图，然后通过特征解码网络对特征图进行特征解码，实现对特征图的优化以及分类，相应得到用于描述缺陷区域的缺陷类别的检测结果。比如，检测结果包括用于表征缺陷类别的数值以及对应的置信度，在得到用于描述缺陷区域的缺陷类别的检测结果之后，即可根据该检测结果确定缺陷区域的缺陷类别，例如，特征解码网络输出的检测结果包括用于表征缺陷类别A的数值及对应的置信度、用于表征缺陷类别B的数值及对应的置信度，和用于表征缺陷类别C的数值及对应的置信度。其中，若任一数值对应的置信度达到其表征缺陷类别的置信度阈值，其中的置信度阈值(可在训练阶段通过后处理测试得到，比如，对于一缺陷类别，将准确度大于或等于90％时的置信度配置为该缺陷类别的置信度阈值)，即确定缺陷区域的缺陷类别为该数值所表征的缺陷类别。
在一个实施例中，深度可分离卷积层包括逐通道卷积子层和逐点卷积子层，通过深度可分离卷积层对目标缺陷区域图像进行特征编码，得到目标缺陷区域图像的特征图，包括：通过逐通道卷积子层对目标缺陷区域图像的多个通道分别进行卷积操作，得到多个卷积结果；通过逐点卷积层对多个卷积结果进行加权组合，得到特征图。
其中，逐通道卷积层中的一个卷积核只负责一个通道的卷积，这个过程产生的卷积结果的通道数和输入的通道数完全一致。比如，对于一5×5像素、RGB三通道目标缺陷区域图像，通过逐通道卷积子层中的3个卷积核分别对RGB三通道进行卷积操作，相应得到R通道的卷积结果、G通道的卷积结果以及B通道的卷积结果。逐点卷积层的运算与常规卷积运算相似，它的卷积核的尺寸为1×1×M，M取值为输入通道数，其用于将输入的上一步卷积结果在深度方向上进行加权组合，相应得到目标缺陷区域图像的特征图。比如，通过逐通道卷积子层对缺陷图像R通道、G通道以及B通道的卷积结果在深度方向上进行加权组合，相应得到目标缺陷区域图像的特征图。
在一个实施例中，评估深度可分离卷积层中的每一卷积核对深度可分离卷积层进行特征编码的影响程度；根据每一卷积核对应的影响程度，选取影响程度满足预设阈值的卷积核作为深度可分离卷积层的卷积核。
其中，深度可分离卷积层包括多个卷积核，不同卷积核对深度可分离卷积层进行特征编码的影响程度不同，对于一卷积核，该卷积核对深度可分离卷积层进行特征编码的影响程度可以通俗的理解为：从深度可分离卷积层中删除该卷积核前后，深度可分离卷积层对同一缺陷图像进行特征编码得到的特征图的差异程度，差异程度越大，影响程度也就越小。因此，可以选取深度可分离卷积层中的影响程度较大的卷积核，从而达到了减小模型体积，提升运算速度的目的。
在一个实施例中，缺陷分类模型按照如下步骤生成：从训练样本集中获取不同缺陷类别的正样本图像，以及获取预测的缺陷区域小于预设缺陷阈值的负样本图像；根据正样本图像以及负样本图像，采用聚焦损失函数对缺陷分类模型进行训练。
本实施例中，根据显示面板可能存在的不同缺陷类别，获取这些不同缺陷类别的样本缺陷图像，记为正样本图像。比如，对于一缺陷类别，通过摄像头对存在该缺陷类别的缺陷的显示面板进行拍摄，相应得到正样本图像。另外，还可以获取预测的缺陷区域小于预设缺陷阈值的样本图像，记为负样本图像。比如，通过摄像头对预测的缺陷区域小于预设缺陷阈值的显示面板进行拍摄，相应得到负样本图像。由于不同类别缺陷真实发生的概率不同，比如，有的类别缺陷较常发生，而有的类别缺陷较难发生，从而导致获取到不同缺陷类别的正样本图像的数量不均衡，最终影响模型的精度。因此，本实施例中，在对基于深度可分离卷积的缺陷分类模型进行训练时，根据正样本图像以及负样本图像，采用聚焦损失函数对基于深度可分离卷积的缺陷分类模型进行训练，直至满足预设停止条件。其中，预设停止条件可以配置为训练过程中对基于深度可分离卷积的缺陷分类模型参数的迭代次数达到预设次数，或者可以为聚焦损失函数收敛。
其中，聚焦损失函数可以表示为公式(2)：
其中y是样本图像的标签，y＝1表示正样本图像，y＝0表示负样本图像，y’是经过sigmoid激活函数的预测值(此处表征缺陷类别)，γ表示平衡因子，可由本领域技术人员根据实际需要取任意正值，以此降低数量较多的缺陷类别的正样本图像在训练中所占的权重，相应增加数量较少的缺陷类别的正样本图像在训练中所占的权重，从而达到提升模型精度的目的。
在一个实施例中，采用聚焦损失函数对缺陷分类模型进行训练之后，还包括：对训练后的缺陷分类模型进行量化处理，以将训练后的缺陷分类模型的权值和/或激活值由浮点型转换为整型。
具体地，对训练后的缺陷分类模型进行量化处理，以将训练后的缺陷分类模型的权值和/或激活值由浮点型转换为整型。由于训练后的模型都是采用浮点型进行存储的，其通常需要占用几十上百兆的存储空间，并且，从运算的角度来看，浮点型数据的运算会占用大量的运算资源。因此，本实施例中还训练后的缺陷分类模型进行量化处理，以将缺陷分类模型的权值和/或激活值由浮点型转换为整型。本实施例中对于采用何种量化方式不作具体限制，可由本领域技术人员根据实际需要进行选择，比如，可以通过BinnaryConnect的方式实现模型量化，其核心在于采用二值权重替代浮点权重。
在一个实施例中，缺陷识别模型的训练样本集是通过自监督学习生成的，训练样本集的生成过程具体包括：获取无标注图像集，无标注图像集包括多个无标注图像；利用预设编码器计算各个无标注图像之间的相似性度量函数；通过聚焦损失函数及相似性度量函数确定无标注图像的相应标注，生成包含有正样本和负样本的训练样本集。
其中，自监督学习是一种通过学习对两种事物相似或不同的特征进行编码来构建表示的方法。本实施例中，即是结合基于对比的自监督学习的方法，通过学习对两个无标注图像的缺陷的相似或不相似进行编码来构建特征表征，从而生成包含有正样本和负样本，实现了对无标注图像集的自动标注，减少了目标样本集的生成时间，进而有利于提高模型的训练效率。
其中，预设编码器是指预先设定用于对输入的样本进行判断分类的神经网络，例如，决策树、逻辑回归等。相似性度量函数是用于表征两幅无标准图像的缺陷对应的编码相似程度的函数，例如，score函数，可以表示为公式(3)：
score(f(x),f(x+))>>score(f(x),f(x-)) (3)；
其中，x+表示与x相似或相等的无标注图像，称为正样本，x-表示与x不同的无标注图像，称为负样本。f(x)表示无标准图像x的特征。聚焦损失函数可以是InfoNCE损失函数，最小化InfoNCE损失可使f(x)和f(x+)之间互信息的下界最大化。通过InfoNCE损失函数鼓励相似性度量函数将较大的值分配给正样本，将较小的值分配给负样本，其中，使用负样本的损失函数可以表示为公式(4)：
其中，T表示为超参，xj表示第j幅无标注图像的特征，LN表示为损失函数。具体地，通过聚焦损失函数，从而将相似性度量函数将较大的值分配给正样本，将较小的值分配给负样本，实现了自动确定无标注图像的相应标注，生成了包含有正样本和负样本的目标样本集，提高了目标样本的生成效率。
如图7所示，在一个实施例中，提出了一种缺陷检测装置，所述缺陷检测装置包括：
获取模块702，用于获取待识别面板图像；
提取模块704，用于提取所述待识别面板图像的多个不同尺度的特征图，所述特征图包括所述待识别面板图像的缺陷点信息；
确定模块706，用于根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像；
识别模块708，用于根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像。
在一个实施例中，确定模块包括：
融合子模块，用于对各个不同尺度的所述特征图进行融合处理，得到融合特征图；
解码子模块，用于对所述融合特征图进行特征解码处理，得到若干候选缺陷区域图像。
在一个实施例中，解码子模块包括：
计算单元，用于对所述融合特征图中的所述缺陷点信息进行特征解码计算，得到所述待识别面板图像的中存在缺陷的缺陷区域；
预测单元，用于通过非极大值抑制方式对所述缺陷区域进行预测，得到预测框；
确定单元，用于根据所述预测框确定对应的所述候选缺陷区域图像。
在一个实施例中，识别模块包括：
获取子模块，用于获取每个所述预测框的预测交并比及置信度；
确定子模块，用于根据各个所述预测框的所述预测交并比及所述置信度，从所述若干候选缺陷区域图像中确定所述待识别面板图像的所述目标缺陷区域图像。
在一个实施例中，融合子模块包括：
编码单元，用于通过缺陷识别模型中的主干网络对所述待识别面板图像进行特征编码，得到所述各个不同尺度的所述特征图；其中，所述缺陷识别模型包括主干网络、颈部网络和检测头网络；
融合单元，用于将所述多个不同尺度的特征图输入所述颈部网络，得到所述融合特征图；
解码单元，用于所述对所述融合特征图进行特征解码处理，得到所述待识别面板图像的若干所述候选缺陷区域图像，包括：将所述融合特征图输入所述检测头网络进行特征解码处理，所述检测头网络输出结果作为所述待识别面板图像的若干所述候选缺陷区域图像。
在一个实施例中，该缺陷检测装置还包括：
第一获取模块，用于获取训练图像样本，将所述训练图像样本输入预设的PP-YOLO模型，得到所述训练图像样本的缺陷区域预测概率图；
第一计算模块，用于根据所述缺陷区域预测概率图和预设的交并比损失函数，得到对应的第一损失值；
第二计算模块，用于根据所述缺陷区域预测概率图和预设的L1损失函数，得到对应的第二损失值；
训练模块，用于根据所述第一损失值、所述第二损失值对所述预设的PP-YOLO模型进行训练，得到所述缺陷识别模型。
在一个实施例中，编码单元包括：
卷积子单元，用于将所述待识别面板图像分别输入所述残差网络中个的各个卷积层，得到各个卷积层对应的不同尺度的所述特征图；
融合子单元，用于所述将所述多个不同尺度的特征图输入所述颈部网络，得到所述融合特征图，包括：将各个不同尺度的特征图输入所述特征金字塔网络，得到所述特征金字塔网络输出的特征图金字塔，将所述特征图金字塔作为所述融合特征图；
解码子单元，用于所述将所述融合特征图输入所述检测头网络进行特征解码处理，所述检测头网络输出结果作为所述待识别面板图像的若干所述候选缺陷区域图像，包括：将所述融合特征图输入YOLO检测头网络，根据所述交并比预测分支，得到所述待识别面板图像的若干所述候选缺陷区域图像。
在一个实施例中，获取子模块包括：
解码处理单元，用于通过所述YOLO检测头网络对所述融合特征图进行特征解码，得到解码后的所述预测框的位置坐标的预测值；
激活单元，用于将所述位置坐标的预测值输入激活函数，得到所述位置坐标的预测值的坐标激活值；
修正单元，用于根据预设修正系数对所述坐标激活值进行修正，得到坐标修正值；
缩放单元，用于根据所述坐标修正值以及预设缩放系数，得到所述预测框的位置坐标的修正值；
第一确定单元，用于根据各个所述预测框的位置坐标的修正值确定对应的所述预测交并比及所述置信度。
在一个实施例中，确定子模块包括：
调整单元，用于根据所述预测框的预测交并比，对所述预测框的所述置信度进行调整，得到调整置信度；
第二确定单元，用于将所述调整置信度大于或等于第一预设置信度的预测框确定为所述目标预测框；
第三确定单元，用于根据所述目标预测框确定所述待识别面板图像的所述目标缺陷区域图像。
在一个实施例中，第一确定单元包括：
遍历子单元，用于选取一个所述预测框作为当前预测框，遍历并计算所述当前预测框与其它各个所述预测框对应的所述预测交并比；
选取子单元，用于针对每个所述当前预测框，根据所述预测交并比，选取大于预设交并比的所述预测框作为候选预测框，并获取各个所述候选预测框对应的所述置信度；
剔除子单元，用于删除所述置信度小于第二预设置信度的预测框，所述第二预设置信度小于所述第一预设置信度。
在一个实施例中，遍历子单元包括：计算子子单元，用于构建用于计算所述当前预测框与其他各个所述预测框之间的交并比的计算矩阵，并根据所述计算矩阵及各个预测框的位置坐标的修正值，确定所述当前预测框与其它各个所述预测框对应的所述预测交并比。
在一个实施例中，该缺陷检测装置还包括：
裁剪模块，用于从所述待识别面板图像中裁剪出所述目标缺陷区域图像；
分类模块，用于通过缺陷分类模型对所述目标缺陷区域图像进行缺陷分类，确定所述缺陷区域的缺陷类型。
在一个实施例中，分类模块包括：
第一编码子模块，用于通过所述深度可分离卷积层对所述目标缺陷区域图像进行特征编码，得到所述目标缺陷区域图像的特征图；
第一解码子模块，用于通过所述特征解码网络对所述特征图进行特征解码，得到所述缺陷区域的缺陷类别的检测结果；
第一确定子模块，用于根据所述检测结果确定所述目标缺陷区域图像的缺陷类型。
在一个实施例中，第一编码子模块包括：
卷积单元，用于通过所述逐通道卷积子层对所述目标缺陷区域图像的多个通道分别进行卷积操作，得到多个卷积结果；
加权计算单元，用于通过所述逐点卷积层对所述多个卷积结果进行加权组合，得到所述特征图。
在一个实施例中，该缺陷检测装置还包括：
评估模块，用于评估所述深度可分离卷积层中的每一卷积核对所述深度可分离卷积层进行特征编码的影响程度；
选定模块，用于根据每一卷积核对应的影响程度，选取影响程度满足预设阈值的所述卷积核作为所述深度可分离卷积层的卷积核。
在一个实施例中，该缺陷检测装置还包括：
第二获取模块，用于从所述训练样本集中获取不同缺陷类别的正样本图像，以及获取预测的缺陷区域小于预设缺陷阈值的负样本图像；
训练模块，用于根据所述正样本图像以及所述负样本图像，采用聚焦损失函数对所述缺陷分类模型进行训练。
在一个实施例中，该缺陷检测装置还包括：量化模块，用于对所述训练后的缺陷分类模型进行量化处理，以将所述训练后的缺陷分类模型的权值和/或激活值由浮点型转换为整型。
在一个实施例中，第一获取模块包括：
第一获取子模块，用于获取无标注图像集，所述无标注图像集包括多个无标注图像；
计算子模块，用于利用预设编码器计算各个所述无标注图像之间的相似性度量函数；
确定子模块，用于通过聚焦损失函数及所述相似性度量函数确定所述无标注图像的相应标注，生成包含有正样本和负样本的训练样本集。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，所述服务器包括但不限于高性能计算机和高性能计算机集群。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现缺陷检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行缺陷检测方法。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的缺陷检测方法可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成缺陷检测装置的各个程序模板。比如，获取模块702，提取模块704，确定模块706，识别模块708。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述缺陷检测方法中的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述缺陷检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (21)

1.一种缺陷检测方法，其特征在于，包括：
获取待识别面板图像；
提取所述待识别面板图像的多个不同尺度的特征图，所述特征图包括所述待识别面板图像的缺陷点信息；
根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像；
根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像。
2.如权利要求1所述的缺陷检测方法，其特征在于，所述根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像，包括：
对各个不同尺度的所述特征图进行融合处理，得到融合特征图；
对所述融合特征图进行特征解码处理，得到所述若干候选缺陷区域图像。
3.如权利要求2所述的缺陷检测方法，其特征在于，所述对所述融合特征图进行特征解码处理，得到若干候选缺陷区域图像，包括：
对所述融合特征图中的所述缺陷点信息进行特征解码计算，得到所述待识别面板图像的中存在缺陷的缺陷区域；
通过非极大值抑制方式对所述缺陷区域进行预测，得到预测框；
根据所述预测框确定对应的所述候选缺陷区域图像。
4.如权利要求3所述的缺陷检测方法，其特征在于，所述根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像，包括：
获取每个所述预测框的预测交并比及置信度；
根据各个所述预测框的所述预测交并比及所述置信度，从所述若干候选缺陷区域图像中确定所述待识别面板图像的所述目标缺陷区域图像。
5.如权利要求2所述的缺陷检测方法，其特征在于，所述对各个不同尺度的所述特征图进行融合处理，得到融合特征图，包括：
通过缺陷识别模型中的主干网络对所述待识别面板图像进行特征编码，得到所述各个不同尺度的所述特征图；其中，所述缺陷识别模型包括主干网络、颈部网络和检测头网络；
将所述多个不同尺度的特征图输入所述颈部网络，得到所述融合特征图；
所述对所述融合特征图进行特征解码处理，得到所述待识别面板图像的若干所述候选缺陷区域图像，包括：
将所述融合特征图输入所述检测头网络进行特征解码处理，所述检测头网络输出结果作为所述待识别面板图像的若干所述候选缺陷区域图像。
6.如权利要求5所述的缺陷检测方法，其特征在于，所述缺陷识别模型的训练过程包括：
获取训练图像样本，将所述训练图像样本输入预设的PP-YOLO模型，得到所述训练图像样本的缺陷区域预测概率图；
根据所述缺陷区域预测概率图和预设的交并比损失函数，得到对应的第一损失值；
根据所述缺陷区域预测概率图和预设的L1损失函数，得到对应的第二损失值；
根据所述第一损失值、所述第二损失值对所述预设的PP-YOLO模型进行训练，得到所述缺陷识别模型。
7.如权利要求5所述的缺陷检测方法，其特征在于，所述主干网络包括残差网络，所述颈部网络包括特征金字塔网络，所述检测头网络包括YOLO检测头网络；所述残差网络中的部分或全部卷积层为可变形卷积层；和/或，所述残差网络和所述特征金字塔网络之间通过空间金字塔池化层连接；和/或，所述残差网络和所述特征金字塔网络之间通过空间金字塔池化层连接；和/或，所述YOLO检测头网络中的分类分支为交并比预测分支；和/或，所述特征金字塔网络中设置有DropBlock层；所述通过缺陷识别模型中的主干网络对所述待识别面板图像进行特征编码，得到所述各个不同尺度的所述特征图，包括：
将所述待识别面板图像分别输入所述残差网络中个的各个卷积层，得到各个卷积层对应的不同尺度的所述特征图；
所述将所述多个不同尺度的特征图输入所述颈部网络，得到所述融合特征图，包括：
将各个不同尺度的特征图输入所述特征金字塔网络，得到所述特征金字塔网络输出的特征图金字塔，将所述特征图金字塔作为所述融合特征图；
所述将所述融合特征图输入所述检测头网络进行特征解码处理，所述检测头网络输出结果作为所述待识别面板图像的若干所述候选缺陷区域图像，包括：
将所述融合特征图输入YOLO检测头网络，根据所述交并比预测分支，得到所述待识别面板图像的若干所述候选缺陷区域图像。
8.如权利要求4所述的缺陷检测方法，其特征在于，所述获取每个所述预测框的预测交并比及置信度，包括：
通过所述YOLO检测头网络对所述融合特征图进行特征解码，得到解码后的所述预测框的位置坐标的预测值；
将所述位置坐标的预测值输入激活函数，得到所述位置坐标的预测值的坐标激活值；
根据预设修正系数对所述坐标激活值进行修正，得到坐标修正值；
根据所述坐标修正值以及预设缩放系数，得到所述预测框的位置坐标的修正值；
根据各个所述预测框的位置坐标的修正值确定对应的所述预测交并比及所述置信度。
9.如权利要求8所述的缺陷检测方法，其特征在于，所述根据各个所述预测框的所述预测交并比及所述置信度，从所述若干候选缺陷区域图像中确定所述待识别面板图像的所述目标缺陷区域图像，包括：
根据所述预测框的预测交并比，对所述预测框的所述置信度进行调整，得到调整置信度；
将所述调整置信度大于或等于第一预设置信度的预测框确定为目标预测框；
根据所述目标预测框确定所述待识别面板图像的所述目标缺陷区域图像。
10.如权利要求8所述的缺陷检测方法，其特征在于，所述根据各个所述预测框的位置坐标的修正值确定对应的所述预测交并比及所述置信度，包括：
选取一个所述预测框作为当前预测框，遍历并计算所述当前预测框与其它各个所述预测框对应的所述预测交并比；
针对每个所述当前预测框，根据所述预测交并比，选取大于预设交并比的所述预测框作为候选预测框，并获取各个所述候选预测框对应的所述置信度；
删除所述置信度小于第二预设置信度的预测框，所述第二预设置信度小于所述第一预设置信度。
11.如权利要求10所述的缺陷检测方法，其特征在于，所述选取一个所述预测框作为当前预测框，遍历并计算所述当前预测框与其它各个所述预测框对应的所述预测交并比，包括：
构建用于计算所述当前预测框与其他各个所述预测框之间的交并比的计算矩阵，并根据所述计算矩阵及各个预测框的位置坐标的修正值，确定所述当前预测框与其它各个所述预测框对应的所述预测交并比。
12.如权利要求1所述的缺陷检测方法，其特征在于，在所述根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像之后，还包括：
从所述待识别面板图像中裁剪出所述目标缺陷区域图像；
通过缺陷分类模型对所述目标缺陷区域图像进行缺陷分类，确定所述缺陷区域的缺陷类型。
13.如权利要求12所述的缺陷检测方法，其特征在于，所述缺陷分类模型包括特征编码网络和特征解码网络，所述特征编码网络至少包括深度可分离卷积层，所述通过缺陷分类模型对所述目标缺陷区域图像进行缺陷分类，确定所述缺陷区域的缺陷类型，包括：
通过所述深度可分离卷积层对所述目标缺陷区域图像进行特征编码，得到所述目标缺陷区域图像的特征图；
通过所述特征解码网络对所述特征图进行特征解码，得到所述缺陷区域的缺陷类别的检测结果；
根据所述检测结果确定所述目标缺陷区域图像的缺陷类型。
14.如权利要求13所述的方法，其特征在于，所述深度可分离卷积层包括逐通道卷积子层和逐点卷积子层，所述通过所述深度可分离卷积层对所述目标缺陷区域图像进行特征编码，得到所述目标缺陷区域图像的特征图，包括：
通过所述逐通道卷积子层对所述目标缺陷区域图像的多个通道分别进行卷积操作，得到多个卷积结果；
通过所述逐点卷积层对所述多个卷积结果进行加权组合，得到所述特征图。
15.如权利要求13所述的方法，其特征在于，所述方法还包括：
评估所述深度可分离卷积层中的每一卷积核对所述深度可分离卷积层进行特征编码的影响程度；
根据每一卷积核对应的影响程度，选取影响程度满足预设阈值的所述卷积核作为所述深度可分离卷积层的卷积核。
16.如权利要求12-15任一项所述的方法，其特征在于，所述缺陷分类模型按照如下步骤生成：
从所述训练样本集中获取不同缺陷类别的正样本图像，以及获取预测的缺陷区域小于预设缺陷阈值的负样本图像；
根据所述正样本图像以及所述负样本图像，采用聚焦损失函数对所述缺陷分类模型进行训练。
17.如权利要求13所述的方法，其特征在于，所述采用聚焦损失函数对所述缺陷分类模型进行训练之后，还包括：
对所述训练后的缺陷分类模型进行量化处理，以将所述训练后的缺陷分类模型的权值和/或激活值由浮点型转换为整型。
18.如权利要求5所述的缺陷检测方法，其特征在于，所述缺陷识别模型的训练样本集是通过自监督学习生成的，所述训练样本集的生成过程具体包括：
获取无标注图像集，所述无标注图像集包括多个无标注图像；
利用预设编码器计算各个所述无标注图像之间的相似性度量函数；
通过聚焦损失函数及所述相似性度量函数确定所述无标注图像的相应标注，生成包含有正样本和负样本的训练样本集。
19.一种缺陷检测装置，其特征在于，包括：
获取模块，用于获取待识别面板图像；
提取模块，用于提取所述待识别面板图像的多个不同尺度的特征图，所述特征图包括所述待识别面板图像的缺陷点信息；
确定模块，用于根据各个不同尺度的所述特征图，得到所述待识别面板图像的若干候选缺陷区域图像；
识别模块，用于根据所述若干候选缺陷区域图像，确定所述待识别面板图像的目标缺陷区域图像。
20.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至18任一项所述缺陷检测方法的步骤。
21.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至18任一项所述缺陷检测方法的步骤。
CN202210388265.8A 2022-04-13 2022-04-13 缺陷检测方法、装置、计算机设备及存储介质 Pending CN116977239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210388265.8A CN116977239A (zh) 2022-04-13 2022-04-13 缺陷检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210388265.8A CN116977239A (zh) 2022-04-13 2022-04-13 缺陷检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977239A true CN116977239A (zh) 2023-10-31

Family

ID=88471720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210388265.8A Pending CN116977239A (zh) 2022-04-13 2022-04-13 缺陷检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977239A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451744A (zh) * 2023-12-20 2024-01-26 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451744A (zh) * 2023-12-20 2024-01-26 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质
CN117451744B (zh) * 2023-12-20 2024-03-19 东莞市钜欣电子有限公司 红外透镜的缺陷检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
TW202027007A (zh) 電腦執行的車輛定損方法及裝置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN111311540A (zh) 车辆定损方法、装置、计算机设备和存储介质
CN112580458B (zh) 人脸表情识别方法、装置、设备及存储介质
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN114998324A (zh) 半导体晶圆缺陷检测模型的训练方法及装置
KR20220117328A (ko) 금속 조직의 상의 분류 방법, 금속 조직의 상의 분류 장치, 금속 조직의 상의 학습 방법, 금속 조직의 상의 학습 장치, 금속 재료의 재료 특성 예측 방법 및 금속 재료의 재료 특성 예측 장치
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN116977239A (zh) 缺陷检测方法、装置、计算机设备及存储介质
Jacobsen et al. A comparison between neural networks and decision trees
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN113808099A (zh) 一种铝材表面缺陷检测装置与方法
CN117173145A (zh) 电力设备表面缺陷的检测方法、装置、设备及存储介质
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN111179245A (zh) 图像质量检测方法、装置、电子设备和存储介质
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN115690001A (zh) 一种用于检测钢管焊接数字射线图像中缺陷的方法
Castillo et al. Object detection in digital documents based on machine learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication