CN114723649A - 一种面板缺陷检测方法、存储介质及终端设备 - Google Patents

一种面板缺陷检测方法、存储介质及终端设备 Download PDF

Info

Publication number
CN114723649A
CN114723649A CN202011518647.5A CN202011518647A CN114723649A CN 114723649 A CN114723649 A CN 114723649A CN 202011518647 A CN202011518647 A CN 202011518647A CN 114723649 A CN114723649 A CN 114723649A
Authority
CN
China
Prior art keywords
panel
defect
image
position information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011518647.5A
Other languages
English (en)
Inventor
李培鹏
李秀阳
汪浩
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202011518647.5A priority Critical patent/CN114723649A/zh
Publication of CN114723649A publication Critical patent/CN114723649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种面板缺陷检测方法、存储介质及终端设备，所述方法包括：根据待检测的面板图像中的缺陷区域的缺陷位置信息以及待检测的述面板图像，确定若干候选面板图像；根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。本申请在获取到缺陷区域的缺陷位置信息后，根据所述缺陷位置信息在所述面板图像中选取若干候选面板图，并根据选取到的若干候选面板图像确定所述面板图像的缺陷类别，这样可以增加获取到的面板图像的特征信息，从而提高缺陷类别的准确性。

Description

一种面板缺陷检测方法、存储介质及终端设备
技术领域
本申请涉及面板加工技术领域，特别涉及一种面板缺陷检测方法、存储介质及终端设备。
背景技术
产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(TFT-LCD，Thin Film Transistor-Liquid Crystal Display)等)为例，每条产线都需要对显示面板进行缺陷检测。然而，目前普遍是通过人工对显示面板进行缺陷检测，然而，检测人员在大量重复性的劳动时因出现视力疲劳而造成误判，进而影响显示面板的质量。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种面板缺陷检测方法、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种面板缺陷检测方法，所述方法包括：
根据待检测的面板图像中的缺陷区域的缺陷位置信息及待检测的面板图像，确定若干候选面板图像；
根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。
所述面板缺陷检测方法，其中，所述若干候选面板图像中至少存在两个候选面板图像的图像尺寸互不相同。
所述面板缺陷检测方法，其中，所述根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别具体包括：
根据所述若干候选面板图像，确定目标面板图像；
将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别。
所述面板缺陷检测方法，其中，所述根据所述若干候选面板图像，确定目标面板图像具体包括：
分别对若干候选面板图像进行调整，以得到若干参考面板图像；其中，若干参考面板图像中的各参考面板图像的图像尺寸相同；
将若干参考面板图像拼接，以得到目标面板图像，其中，所述目标面板图像的通道数等于若干参考面板图像的通道数之和。
所述面板缺陷检测方法，其中，所述缺陷分类模型包括通道注意力模块以及分类模块，所述将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别具体包括：
将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定目标特征向量；
将所述目标特征向量输入分类模块，通过所述分类模块确定所述面板图像对应的缺陷类别。
所述面板缺陷检测方法，其中，所述通道注意力模块包括卷积单元、注意力单元以及融合单元；所述将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定通道目标特征向量具体包括：
将所述目标图像输入卷积单元，通过所述卷积单元确定第一特征向量；
将所述第一特征向量输入所述注意力单元，通过所述注意力单元确定第二特征向量，其中，所述第二特征向量用于反映目标图像中的各通道的权重信息；
将所述第一特征向量和所述第二特征向量输入所述融合单元，通过所述融合单元确定目标特征向量。
所述面板缺陷检测方法，其中，所述缺陷分类模型基于预设训练样本集训练得到的，其中，所述预设训练样本集的确定过程具体包括：
获取若干面板图像；
对于若干面板图像中的每个面板图像，确定该面板图像中的缺陷区域的缺陷位置信息；
根据所述缺陷位置信息在所述面板图像中选取若干参照面板图像，其中，若干参照面板图像均包括所述缺陷区域中的一部分或者全部区域；
在若干参照面板图像中选取指定面板图像，其中，所述指定面板图像为若干参照面板图像中图像尺寸最小的参照面板图像；
按照预设角度旋转所述指定面板图像，并根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组；
将生成的所有参照面板图像组作为所述预设训练样本集。
所述面板缺陷检测方法，其中，所述根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组具体包括：
按照第一预处理方式对旋转得到的指定面板图像进行增强处理，以得到第一面板图像；
按照第二预设处理方式分别对若干参照面板图像中除指定面板图像外的各参照面板图像进行增强处理，以得到各第二面板图像，其中，第一预处理方式与第二预处理方式不同；
根据所述第一面板和所有第二面板图像，确定参照面板图像组。
所述面板缺陷检测方法，其中，若干参照面板图像中的各参照面板图像的图像尺寸互不相同，所述指定面板图像为若干参照面板图像中图像尺寸最小的参照面板图像。
所述面板缺陷检测方法，其中，所述获取待检测的面板图像中的缺陷区域的缺陷位置信息具体包括：
将待检测的面板图像输入经过训练的缺陷识别模型，通过所述缺陷识别模型确定所述面板图像中的缺陷区域的缺陷位置信息。
所述面板缺陷检测方法，其中，所述缺陷位置信息包括缺陷区域的区域尺寸以及缺陷区域的定位信息。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的面板缺陷检测方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的面板缺陷检测方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种面板缺陷检测方法、存储介质及终端设备，所述方法包括：根据待检测的面板图像中的缺陷区域的缺陷位置信息以及待检测的述面板图像，确定若干候选面板图像；根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。本申请在获取到缺陷区域的缺陷位置信息后，根据所述缺陷位置信息在所述面板图像中选取若干候选面板图，并根据选取到的若干候选面板图像确定所述面板图像的缺陷类别，这样可以增加获取到的面板图像的特征信息，从而提高缺陷类别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的面板缺陷检测方法的流程图。
图2为本申请提供的面板缺陷检测方法的流程示例图。
图3为本申请提供的面板缺陷检测方法中通道注意力模块的原理图。
图4为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种面板缺陷检测方法、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
发明人经过研究发现，产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(TFT-LCD，Thin Film Transistor-Liquid Crystal Display)等)为例，每条产线都需要对显示面板进行缺陷检测。目前普遍采用的显示面板的缺陷检测过程普遍为：首先通过自动光学检测设备对面板生产过程中的显示面板进行检测，并对具有缺陷的显示面板进行初步拍照，再将拍摄得到面板缺陷区域图像交给具有专业知识的技术人员进行检测。这种依赖人工检测的方法面临人力成本高、效率低等问题，同时，大量重复性的劳动容易造成人员视力疲劳，引起误判。
为了避免人工检测存在的问题，技术人员们在不断研究自动分类方法。目前，普遍使用的自动分类方法主要包括传统方法和深度学习方法。传统方法通过设计掩膜模板，并对缺陷图像在滤波后做图像差分，得到缺陷图像的位置和形态信息，再根据设定的规则进行类别划分。然而，在使用传统方法进行缺陷自动分类时，需要具有专业知识的技术人员进行算法设计，并根据不同的缺陷形状设计不同的识别规则，使得传统方法存在难度大以及灵活性差的问题。同时，传统方法的处理速度慢，并且仅适用于简单场景。深度学习方法普遍为使用包含缺陷位置和类别信息的数据训练检测模型(例如，YOLO以及SSD等)，在对面图像进行检测时，获取到面板图像中的缺陷区域的缺陷位置和缺陷类别。然而，该方法需要将整张面板图像缩小至指定尺寸，并将缩小后的面板图像输入到网络模型中，这样导致缺陷的面板图像的细节信息丢失，从而使得检测效果不好。
为了解决上述问题，在本申请实施例中，根据待检测的面板图像中的缺陷区域的缺陷位置信息以及待检测的述面板图像，确定若干候选面板图像；根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。本申请在获取到缺陷区域的缺陷位置信息后，根据所述缺陷位置信息在所述面板图像中选取若干候选面板图，并根据选取到的若干候选面板图像确定所述面板图像的缺陷类别，这样可以增加获取到的面板图像的特征信息，从而提高缺陷类别的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
图1是本实施例提供的一种面板缺陷检测方法的流程示意图。该方法可以由面板缺陷检测装置来执行，所述装置可以由软件实现，应用于诸如PC机、平板电脑、服务器或个人数字助理等之类的电子设备上。参见图1和图2，本实施例提供的面板缺陷检测方法具体包括：
S10、根据待检测的面板图像中的缺陷区域的缺陷位置信息及所述面板图像，确定若干候选面板图像。
具体地，所述待检测的面板图像可以为通过预先设置于生产面板的产线上的图像采集装置(例如摄像头或照相机等)，在面板生产的过程中实时或每间隔预设时间采集的面板图像；或者是，从运行面板缺陷检测模型的生成方法的电子设备的本地存储空间中获取的面板图像；或者是，向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的面板图像等；当然，面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，面板图像可以包括TFT-LCD面板、LCD面板、集成电路面板或芯片面板等，所述待检测面板可以包括电路区域和非电路区域等。
所述缺陷位置信息用于反映面板缺陷的区域位置以及区域大小，在获取到缺陷位置信息后，可以根据该缺陷位置信息在面板图像中确定一个图像区域，所述图像区域可以为长方形区域或者正方形区域等。由此，所述缺陷位置信息可以包括缺陷区域的区域尺寸以及缺陷区域的定位信息，其中，所述缺陷区域的定位信息用于反映缺陷区域在面板图像中的位置，所述缺陷区域的区域尺寸用于反映缺陷区域的区域大小。所述缺陷区域的定位信息可以为缺陷区域的中心点的坐标信息，也可以为缺陷区域的左上角的坐标信息，还可以是缺陷区域的右上角的坐标信息等；所述区域大小包括所述缺陷区域的区域宽度和区域高度。在本实施例的一个具体实现方式中，所述定位信息为缺陷区域的中心点的坐标信息，以便于候选确定的候选图像区域的图像中心与缺陷区域的图像中心重合，并且候选区域包括缺陷区域外围的图像信息，提高基于候选面板图像获取到背景信息与缺陷区域的相关性。
例如，缺陷位置信息包括缺陷区域的中心点的坐标信息和缺陷区域的区域宽度和区域高度，那么当缺陷位置信息为{(200,200),50,60}时，说明缺陷区域的中心点坐标为(200,200)，区域宽度为50，区域高度为60，由此，缺陷位置信息确定图像区域为以面板图像中坐标点为(200,200)的像素点为中心，50为宽度，60为高度的图像区域。
当然，在实际应用中，所述面板图像可以包括一个缺陷区域，也可以包括多个缺陷区域。当面板图像包括一个缺陷区域时，所述缺陷位置信息为一个；当面板图像包括多个缺陷区域时，所述缺陷位置信息为多个，并且若干缺陷区域与多个缺陷位置信息一一对应，并且各缺陷位置信息在面板图像中确定的各图像区域的区域形状可以相同，也可以不同，例如，部分缺陷位置信息确定的图像区域为长方形区域，部分缺陷位置信息确定图像区域为正方形区域等，或者是，全部缺陷位置信息确定的图像区域均为长方形区域，或者是，全部缺陷位置信息确定的图像区域均为正方形区域等。
在本实施例的一个实现方式中，待检测的面板图像中的缺陷区域的缺陷位置信息的获取过程具体可以包括包括：
将待检测的面板图像输入经过训练的缺陷识别模型，通过所述缺陷识别模型确定所述面板图像中的缺陷区域的缺陷位置信息。
具体地，所述缺陷识别模型为经过训练的深度学习模型，通过所述缺陷识别模型可以确定面板图像中的缺陷区域的缺陷位置信息。可以理解的是，所述缺陷识别模型的输入项为待检测的面板图像，所述缺陷识别模型的输出项为缺陷位置信息，并且所述缺陷识别模型输出的缺陷位置信息的数量与识别模型识别的缺陷区域的数量相同，并且缺陷位置信息与面板图像携带的缺陷区域一一对应。例如，缺陷面板图像包括缺陷区域A、缺陷区域B以及缺陷区域C，那么缺陷识别模型输出的缺陷位置信息包括缺陷位置信息1、缺陷位置信息2以及缺陷位置信息3，并且缺陷位置信息1与缺陷区域A相对应，缺陷位置信息2与缺陷区域B相对应，缺陷位置信息3与缺陷区域C相对应。在实际应用中，所述缺陷识别模型可以采用yolo v3模型等。
所述若干候选面板图像中的每个候选面板图像均为包括所述缺陷区域，所述若干候选面板图像中至少存在两个候选面板图像的图像尺寸互不相同。可以理解的是，各候选面板图像均为面板图像中的部分图像区域，并且每个候选面板图像包括的缺陷区域相同，换句话说，各候选面板图像为基于同一缺陷位置信息确定。例如，面板图像中的缺陷区域A对应的缺陷位置信息1，若干候选面板图像包括候选面板图像a、候选面板图像b以及候选面板图像c，那么候选面板图像a、候选面板图像b以及候选面板图像c均是基于缺陷位置信息1确定，并且候选面板图像a、候选面板图像b以及候选面板图像c中均包括缺陷区域A。本实施例通过选取不同图像尺寸的候选面板图像，由于不同图像尺寸的候选面板图像携带的图像信息不同，其中，大尺寸的候选面板图像可以提供面板图像的全局特征，小尺寸的候选面板图像可以提供面板图像的缺陷区域的细节特征。这样在将若干候选面板图像进行融合时，可以通过若干候选面板图像中的大尺寸的候选面板图像提供面板图像的全局特征，通过若干候选面板图像中的小尺寸的候选面板图像提供面板图像的缺陷区域的细节特征，提高融合得到目标图像包括的图像信息，从而提高基于目标图像确定缺陷类别的准确性。在本实施例的一个具体实现方式中，各候选面板图像的图像尺寸互不相同。
基于此，在确定若干候选面板图像时，可以确定缺陷位置信息的数量，当缺陷位置信息的数量等于1时，根据缺陷位置信息以及面板图像确定若干候选面板图像；当缺陷位置信息的数量大于1时，对于每个缺陷位置信息，根据该缺陷位置信息以及面板图像，确定该缺陷位置信息对应的若干候选面板图像；当缺陷位置信息的数量为0时，说明面板图像未携带缺陷区域，直接确定所述面板图像为无缺陷面板，完成面板缺陷检测。此外，当缺陷位置信息的数量大于1时，每个缺陷位置信息对应的候选面板图像的数量相同。
在本实施例的一个实现方式中，所述缺陷位置信息包括定位信息以及区域尺寸，所述根据所述缺陷位置信息及所述面板图像，确定若干候选面板图像具体包括：
读取所述缺陷位置信息中的区域尺寸，根据所述区域尺寸确定若干目标区域尺寸，其中，若干目标区域尺寸中的每个目标区域尺寸均大于所述区域尺寸；
读取所述缺陷位置信息中的定位信息，根据所述定位信息以及若干目标区域尺寸，在所述面板图像中确定若干图像区域；
将确定得到的若干图像区域作为若干候选面板图像。
具体地，若干目标区域尺寸中每个目标区域尺寸对应一个候选面板图像，该目标区域尺寸为其对应的候选面板图像的图像尺寸。所述若干目标区域尺寸中的每个目标区域尺寸均大于缺陷区域的区域尺寸，以使得确定的每个候选面板区域均可以包括缺陷区域，其中，目标区域尺寸均大于缺陷区域的区域尺寸指的是目标区域尺寸中的宽度大于区域尺寸中的宽度，目标区域尺寸中的高度大于区域尺寸中的高度。例如，目标区域尺寸为50*50，区域尺寸为30*40，则目标区域尺寸大于区域尺寸。
在实施例的一个具体实现方式中，若干目标区域尺寸的确定过程可以包括：在获取到缺陷区域的区域尺寸后，读取区域尺寸中的区域宽度和区域高度，在区域宽度和区域高度中选取一目标宽度，其中，目标宽度为区域宽度与区域高度中较大的一个；在获取到目标宽度后，根据目标宽度确定若干参考宽度，其中，若干参考宽度中每个参考宽度均大于目标宽度，且均小于面板图像的宽度以及面板图像的高度；以及分别将以目标宽度作宽度和高度以及将各参考宽度作为宽度和高度，以得到若干目标区域尺寸。例如，目标宽度为40，若干参考宽度包括50和60，那么目标区域尺寸分为{40,40}，{50,50}以及{60,60}
所述若干参考宽度的确定过程可以为随机选取若干大于目标宽度的宽度作为若干参考宽度，例如，目标宽度为40，随机选取45和50作为参考宽度；或者是，按照若干预设比例(例如，10％，20％，30％等)将目标宽度扩大，以得到若干参考宽度，例如，目标宽度为40，将目标宽度分别扩大10％和20％，得到参考宽度分为44和48；或者是，将目标宽度按照预设比例(例如，10％等)扩大得到一参考宽度，将该参考宽度作为目标宽度，并重新执行将目标宽度按照预设比例扩大得到一参考宽度的步骤，直至重新执行次数大于预设次数阈值(例如，2次等)，以得到若干参考宽度，例如，目标宽度为,100，预设比例为10％，得到参考宽度为110和121。当然，在实际应用中，参考宽度还可以采用其他方式选取，这里就不一一说明。
在本实施例的一个实现方式中，若干目标区域尺寸的确定过程可以包括：在获取到缺陷区域的区域尺寸后，读取区域尺寸中的区域宽度和区域高度，根据区域宽度和区域高度确定一目标区域尺寸，其中，该目标区域尺寸的区域宽度和区域高度均相等，并且该目标区域的区域宽度为区域宽度和区域高度中较大的一个；确定面板图像的图像尺寸与缺陷区域的区域尺寸的比值，若所述比值大于或等于预设比值阈值，则分别将1/N倍的面板图像的图像尺寸至M/N倍的面板图像的图像尺寸作为目标区域尺寸，其中，N为预设比值阈值，根据若干目标区域尺寸的数量确定的，M等于目标区域尺寸的数量减一为正整数且M<N。例如，目标区域尺寸的数量为3，预设比值阈值为3，那么根据面板图像确定目标区域尺寸分别为面板图像的图像尺寸的三分之一以及面板图像的图像尺寸的三分之一。此外，若所述比值小于预设比值阈值时，可以随机选取预设数量的目标区域尺寸，预设数量等于若干目标区域尺寸的数量减一。
S30、根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。
具体地，所述缺陷类别用于反映面板缺陷的缺陷形状，所述缺陷类别可以包括三角形、闪电形、点状以及沙状等。例如，对于面板图像A，面板图像A上的面板缺陷的形状为三角形，则所述缺陷类别为三角形缺陷。所述若干候选面板图像对应同一缺陷区域，所述缺陷类别为该缺陷区域对应的缺陷类别。
在本实施例的一个实现方式中，所述根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别具体包括：
根据所述若干候选面板图像，确定目标面板图像；
将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别。
具体地，所述缺陷分类模型为经过训练的深度学习模型，通过所述缺陷识别模型可以确定目标面板图像中的缺陷区域的缺陷类别。可以理解的是，所述缺陷分类模型的输入项为目标面板图像，所述缺陷分类模型的输出项为缺陷类别，以通过所述缺陷分类模型确定所述目标面板图像对应的确定类别。
在本实施例的一个实现方式中，由于面板图像可以包括若干缺陷区域，从而若干候选面板图像可以包括若干候选面板图像组，若干候选面板图像组中的每个候选面板图像组包括若干候选面板图像，其中，所述若干候选面板图像组的数量与待检测的面板图像携带的缺陷区域的数量相同，并且每组候选面板图像组对应一个缺陷区域，每组候选面板图像确定一张目标面板图像。可以理解的是，每组候选面板图像组中的若干候选面板图像均为基于其对应的缺陷区域对应的缺陷位置信息确定得到，各候选面板图像均包括该缺陷区域。例如，缺陷面板图像包括缺陷区域A、缺陷区域B以及缺陷区域C，缺陷区域A对应缺陷位置信息1，缺陷区域B对应缺陷位置信息2，缺陷区域C对应缺陷位置信息3，那么若干候选面板图像组包括候选面板图像组a、候选面板图像组b以及候选面板图像组c，候选面板图像组a为基于缺陷位置信息1确定的，候选面板图像组b为基于缺陷位置信息2确定的，候选面板图像组c为基于缺陷位置信息3确定的。
在本实施例的一个实现方式中，所述根据所述若干候选面板图像，确定目标面板图像具体包括：
分别对若干候选面板图像进行调整，以得到若干参考面板图像；
将若干参考面板图像拼接，以得到目标面板图像，其中，所述目标面板图像的通道数等于若干参考面板图像的通道数之和。
具体地，所述若干参考面板图像与若干候选面板图像一一对应，若干参考面板图像中每个参考面板图像均是通过该参考面板图像对应的候选面板图像进行预处理得到，并且若干参考面板图像中每个参考面板图像的图像尺寸相同。例如，若干候选面板图像包括候选面板图像A、候选面板图像B以及候选面板图像C，那么若干参考面板图像包括三个参考面板图像，分别记为参考面板图像a、参考面板图像b以及参考面板图像c，其中，参考面板图像a为通过对候选面板图像A进行预处理得到，参考面板图像b通过对候选面板图像B进行预处理得到，参考面板图像c通过对候选面板图像C进行预处理得到。在本实施例的一个具体实现方式中，所述预处理可以包括像素值归一化和图像尺寸缩放等，并且各候选面板图像进行的预处理过程相同。
在本实施的一个实现方式中，所述缺陷分类模型包括通道注意力模块以及分类模块，所述将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别具体包括：
将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定目标特征向量；
将所述目标特征向量输入分类模块，通过所述分类模块确定所述面板图像对应的缺陷类别。
具体地，所述分类模块用于基于目标特征向量确定面板图像对应的缺陷类别，所述分类模型的输入项为目标特征向量，输出项缺陷类别。其中，所述分类模块可以采用现有的用于检测类别的网络模型，例如，由VGG、ResNet以及DenseNet构成的分类网络模型等。所述通道注意力模块用于确定所述目标图像对应的目标特征向量，所述通道注意力模块配置有通道注意力机制，通过所述通道注意力机制确定所述目标图像对应的目标特征向量。所述目标特征图是由若干候选面板图像按照通道融合得到，并且各候选面板图像对应的图像尺寸不同，这样通过通道注意力机制可以使得不同缺陷区域注意目标图像不同通道的图像信息，从而使得模型可以获取到与缺陷区域相关的图像信息，从而可以提高缺陷类别预测的准确性。例如，对于如形状微小的缺陷可以依赖小尺寸的候选面板图像中的图像细节特征，位置相关的缺陷可以依赖大尺寸的候选面板图像的全局信息等。
在本实施例的一个实现方式中，如图3所示，所述通道注意力模块包括卷积单元、注意力单元以及融合单元；所述将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定通道目标特征向量具体包括：
将所述目标图像输入卷积单元，通过所述卷积单元确定第一特征向量；
将所述第一特征向量输入所述注意力单元，通过所述注意力单元确定第二特征向量，其中，所述第二特征向量用于反映目标图像中的各通道的权重信息；
将所述第一特征向量和所述第二特征向量输入所述融合单元，通过所述融合单元确定目标特征向量。
具体地，所述注意力单元包括全局平均池化层、第一全连层、第一激活函数层、第二全连接层以及第二激活函数层；所述卷积单元包括卷积层，所述卷层的输入项为目标图像，输出项为第一特征向量，所述全局平均池化层的输入项为第一特征向量，输出项为第一全连接层的输入项，第一全连接层的输出项通过第一激活函数层后输入第二全连接层，第二全连接层的输出项通过第二激活函数后，输出第二特征相连接。所述融合单元的输入项为第一特征向量和第二特征向量，所述融合单元将第一特征向量和第二特征向量按照通道维度做乘法以得到目标特征向量。这样通过将第一特征向量和第二特征向量进行乘法，由于第二特征向量用于反映目标图像中的各通道的权重信息，从而在第一特征向量的各通道得到加权时，各第一特征向量的各通道的加权权重系数不同，从而使得各目标图像的各通道得到不同注意。此外，所述第二特性向量的维度与第一特征向量的通道维度相等。
举例说明：目标图像的图像尺度为90*299*299，所述卷积层的参数可以为3*3*128，目标图像通过卷积层输出128*299*299的数据维度的第一特征向量，第一特征向量通过局平均池化得到128*1*1的张量，128*1*1的张量通过全连接层得到32维向量，32维向量通过第二激活函数层配置的Relu激活后出入第二全连接层，并通过第二全连接层输出维度为128维向量，128维向量通过第二激活函数层配置的sigmoid激活进行归一化处理，以得到128维归一向量，所述融合层将128为归一向量与第一特征向量按照通道维度做乘法，以得到目标特征向量。
在本实施例的一个方式中，所述缺陷分类模型基于预设训练样本集训练得到的，其中，所述预设训练样本集的确定过程具体包括：
获取若干面板图像；
对于若干面板图像中的每个面板图像，确定该面板图像中的缺陷区域的缺陷位置信息；
根据所述缺陷位置信息在所述面板图像中选取若干参照面板图像，其中，若干参照面板图像均包括所述缺陷区域中的一部分或者全部区域；
在若干参照面板图像中选取指定面板图像，其中，所述指定面板图像为若干参照面板图像中图像尺寸最小的参照面板图像；
按照预设角度旋转所述指定面板图像，并根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组；
将生成的所有参照面板图像组作为所述预设训练样本集。
具体地，所述每个面板图像对应的若干参照面板图像包括至少两张包括相同缺陷区域的参照面板图像，并若干参照面板图像中至少存在第一参照面板图像和第二参照面板图像，第一参照面板图像的图像尺寸与第二参照面板图像的图像尺寸不同。可以理解的是，若干参照面板图像均包括至少两张参照面板图像，若干参照面板图像中的各参照面板图像对应的缺陷区域相同，需要说明的是，若干参照面板图像均可以包括所述缺陷区域中的一部分或者全部区域，在一种实现方式中，所述若干参照面板图像中的每个参照面板图像可以均包括所述缺陷区域中的全部区域，即包括整个完整的缺陷区域；并且若干参照面板图像中至少存在第一参照面板图像和第二参照面板图像，第一参照面板图像的图像尺寸与第二参照面板图像的图像尺寸不同。例如，若干参照面板图像包括参照面板图像A和参照面板图像B，参照面板图像A和参照面板图像B对应相同的图像区域，参照面板图像A和参照面板图像B各自对应的图像尺寸不同。此外，值得说明的是，每个面板图像对应的若干参照面板图像的确定过程均与上述实施例中的每个缺陷区域对应的若干参照面板图像的确定过程相同，这里就不在赘述，具体可以参照上述说明。此外，各参照面板图像组中的各参照面板图像的图像尺寸互不相同。
在本实施例的一个实现方式中，若干参照面板图像中的各参照面板图像的图像尺寸互不相同，所述指定面板图像可以为若干参照面板图像组中图像尺寸最小的参照面板图像，例如，参照面板图像组包括参照面板图像A、参照面板图像B以及参照面板图像C，并且参照面板图像A、参照面板图像B以及参照面板图像C的图像尺寸依次增大，那么参照面板图像A为指定面板图像。
所述预设角度为预先设定，用于限定指定面板图像的旋转角度。其中，所述预设角度可以为0°、90°、180°以及270°中的一种或多种，并且当预设角度为多种时，则按照多个预设角度分别对指定面板图像进行旋转，以得到多张增强的参照面板图像组，这样可以提高训练图像集的多样性。同时，通过按照0°、90°、180°或270°旋转参照面板图像，可以能使模型避免过拟合的同时更易于特征学习。这是由于液晶面板的印刷电路通常是由水平或竖直线条组成，由于直角旋转可以使得参照面板图像中的缺陷区域处于水平方向或者竖直方向，从而更更易于特征学习，同时可以避免处于不同角度的缺陷区域造成的模型过拟合。
在本实施例的一个实现方式中，所述根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组具体包括；
按照第一预处理方式对旋转得到的指定面板图像进行增强处理，以得到第一面板图像；
按照第二预设处理方式分别对若干参照面板图像中除指定面板图像外的各参照面板图像进行增强处理，以得到各第二面板图像，其中，第一预处理方式与第二预处理方式不同；
根据所述第一面板和所有第二面板图像，确定参照面板图像组。
具体地，所述第一预设处理方式用于旋转得到的指定面板图像进行增强处理，以提高训练样本的多样性。所述第一预处理方式包括的各处理方式随机镜像、随机颜色抖动、等比例随机裁剪、像素值归一化以及图像大小缩放，其中，所述等比例随机裁剪可以为0.8到1.2之间的等比例随机裁剪。所述第二预处理方式包括随机颜色抖动、像素值归一化以及图像大小缩放。其中，指定面板图像通过第一预处理方式中的图像大小缩放后的图像尺寸为第一图像尺寸，各剩余候选图像通过第二预处理方式中的图像大小缩放后的图像尺寸为第二图像尺寸，第一图像尺寸与第二图像尺寸相同，剩余候选图像为若干参照面板图像中除指定面板图像外的参照面板图像。
综上所述，本实施例提供了一种面板缺陷检测方法、存储介质及终端设备，所述方法包括：根据待检测的面板图像中的缺陷区域的缺陷位置信息以及待检测的述面板图像，确定若干候选面板图像；根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。本申请在获取到缺陷区域的缺陷位置信息后，根据所述缺陷位置信息在所述面板图像中选取若干候选面板图，并根据选取到的若干候选面板图像确定所述面板图像的缺陷类别，这样可以增加获取到的面板图像的特征信息，从而提高缺陷类别的准确性。
在一个实施例中，由于显示面板上可能存在许多不同缺陷，并且这些缺陷在显示面板中所处的位置可能非常接近，这就会导致在对显示面板进行缺陷检测的过程中检测得到的缺陷框存在相交或嵌套的缺陷位置信息；而这些相交框或嵌套的缺陷位置信息会对缺陷检测结果产生影响，从而需要将相交或嵌套框进行滤除，以减少重复或重叠的缺陷位置信息，以此来提高面板缺陷检测的效果，基于此，在实施例的一个实现方式中，当所述缺陷检测区域为若干缺陷检测区域时；所述将待检测的面板图像输入所述检测模型，通过所述检测模型确定检测面板图像之后，所述方法还包括：
获取所述检测面板图像包括的各缺陷位置信息对应的置信度，基于所述置信度在各缺陷位置信息中选取目标缺陷位置信息；
将选取到的目标缺陷位置信息从所述检测面板图像中删除，并将删除后的检测面板图像作为检测面板图像。
具体地，所述缺陷位置信息用于反映面板缺陷的区域位置以及区域大小，在获取到缺陷位置信息后，可以根据该缺陷位置信息在面板图像中确定一个图像区域，其中，所述图像区域可以为长方形区域或者正方形区域等。各缺陷位置信息中可以存在部分缺陷位置信息之间相交或嵌套。其中，所述若干缺陷位置信息中的每个缺陷位置信息对应的缺陷区域均可以采用长方形框、正方形框等形状，并且若干缺陷位置信息中的各缺陷位置信息对应的缺陷区域的形状可以不同，例如，部分缺陷位置信息为长方形候选区域，部分缺陷位置信息为正方形候选区域等。此外，各缺陷位置信息均包括各自对应的置信度，各缺陷位置信息对应的置信度用于反映各缺陷位置信息对应的图像区域存在缺陷的可信程度；在本实施例的一个实现方式中，所述置信度的取值范围0-1，并且置信度的取值越大，说明缺陷位置信息的可信程度越高；反之，置信度的取值越小，说明缺陷位置信息的可信程度越低。例如，置信度为1时缺陷位置信息的可信程度高于置信度为0.1时缺陷位置信息的可信程度。
进一步，基于各缺陷位置信息对应的置信度，对所有缺陷位置信息进行过滤是可以采用非极大值抑制算法对检测得到所有缺陷位置信息进行过滤，以得到确定所述面板图像对应的缺陷位置信息。例如，将所有缺陷位置信息作为缺陷位置信息集，将缺陷位置信息集中所有置信度小于或等于第一阈值(如，0.1等)的缺陷位置信息删除，以更新缺陷位置信息集中；将更新后的缺陷位置信息集中的各缺陷位置信息按照置信度从大到小排列，选取置信度最高的缺陷位置信息，并确定缺陷位置信息集中其它缺陷位置信息与置信度最高的缺陷位置信息的交并比(交并比可以理解为两个检测框交集与并集的比例)，将交并比大于第二阈值(如，0.3等)的缺陷位置信息从更新后的缺陷位置信息集中过滤掉，将过滤后的缺陷位置信息集作为更新后的缺陷位置信息集，并继续执行将更新后的缺陷位置信息集中的各缺陷位置信息按照置信度从大到小排列，执行滤后的缺陷位置信息集中不包含缺陷位置信息；将选取到所有缺陷位置信息作为所述面板对应的面板缺陷位置信息。
在本实施例的一个实现方式中，所述基于所述置信度在各缺陷位置信息中选取目标缺陷位置信息具体包括：
获取各缺陷位置信息对应的位置参数；
基于各缺陷位置信息各自对应的置信度及位置参数，在各缺陷位置信息中选取目标缺陷位置信息。
具体地，所述位置参数用于反映该缺陷位置信息对应的缺陷区域在所述面板图像中的位置以及缺陷区域大小，可以理解的是，所述位置参数为该缺陷位置信息对应的缺陷区域在所述面板图像中所对应的图像区域的区域信息。其中，所述位置参数包括位置信息以及尺寸信息，所述尺寸信息用于反映缺陷位置信息的大小，所述位置信息用于反应缺陷位置信息在面板图像中所处的位置。例如，尺寸信息为该缺陷位置信息的面积，所述位置信息为该缺陷位置信息的中心与面板图像的图像中心之间的距离等。当然，在实际应用中，所述位置信息还可以采用其他方式确定，例如，缺陷位置信息的中心点到面板图像左上角的距离，缺陷位置信息的左上角到面板图像左上角的距离等。所述尺寸信息可以为采用其他方式确定，例如，缺陷位置信息的周长等。
进一步，在本实施例的一个实现方式中，以所述缺陷位置信息对应的缺陷区域为矩形候选区域，尺寸信息为该缺陷位置信息的面积，所述位置信息为该缺陷位置信息的中心与面板图像的图像中心之间的距离为例，对所述位置参数的确定过程进行说明。所述缺陷位置信息的位置参数的确定过程可以为：首先，获取该缺陷位置信息的四个顶点的顶点坐标；其次，根据四个顶点坐标确定该缺陷位置信息的四个边长以及中心点坐标；最后，根据四个边长确定该缺陷位置信息的尺寸信息，以及根据所述中心点坐标确定该缺陷位置信息的位置信息。例如，面板图像的图像中心坐标为(0,0)，缺陷位置信息A的四个顶点坐标分别为(0，2)、(2，2)，(2，0)以及(0，0)，那么，该缺陷位置信息A的位置信息为
Figure BDA0002848276250000191
该缺陷位置信息A的尺寸信息为4。
所述对在各缺陷位置信息中选取目标缺陷位置信息指的是对各缺陷位置信息中的每个缺陷位置信息进行筛选，以选取所有缺陷位置信息中部分不满足过滤条件的缺陷位置信息，并将选取到的缺陷位置信息作为目标缺陷位置信息，其中，所述过滤条件为基于各缺陷位置信息各自对应的置信度及位置参数确定。可以理解的是，将置信度以及位置参数两个因素作为缺陷位置信息的过滤因素，这样一方面考虑缺陷位置信息中是否存在面板区域，另一方面考虑缺陷位置信息在面板图像中的所处区域的区域信息，在过滤相交或嵌套缺陷位置信息时，在保留置信度高的缺陷位置信息的同时，还可以通过位置参数的限制保留尺寸以及位置满足条件的候选区域，提高了保留的缺陷位置信息的准确性，进而可以提高面板缺陷检测的准确性。
本实施例采用置信度和位置参数两个因素作为缺陷位置信息的过滤因素的原因为：显示面板的缺陷普遍为一些离散的缺陷小颗粒，使得缺陷位置信息为各缺陷小颗粒对应的缺陷位置信息，各缺陷小颗粒对应的缺陷位置信息会具有很高的置信度(例如，以置信度取值为0-1为例，很高的置信度可以理解为大于预设置信度的置信度，举例来说，可以为大于0.7的置信度等)，那么在基于置信度筛选缺陷位置信息时，可以筛选得到缺陷位置信息为每个缺陷小颗粒对应的缺陷位置信息，而无法得到包含这些缺陷小颗粒的缺陷的一个大的检测框中，进而无法基于筛选得到缺陷位置信息来确定显示面板对应的缺陷类别，进而造成缺陷检测准确率低的问题。
在本实施例的一个实现方式中，所述基于各缺陷位置信息各自对应的置信度及位置参数，在各缺陷位置信息中选取目标缺陷位置信息具体包括：
根据各缺陷位置信息各自对应的置信度及位置参数，确定各缺陷位置信息各自对应的置信分数；
根据各缺陷位置信息对应的置信分数，在各缺陷位置信息中选取目标缺陷位置信息。
具体地，所述置信分数用于反映缺陷位置信息被选取的可能性，并且置信分数的取值越大，说明缺陷位置信息的可信程度越高；反之，置信分数的取值越小，说明缺陷位置信息的可信程度越低。例如，置信分数为5时缺陷位置信息的被选取的可能性高于置信分数为1时缺陷位置信息的可能性。所述目标缺陷位置信息集为基于所述置信分数进行过滤得到的缺陷位置信息构成的候选区域集合，其中，所述目标缺陷位置信息集为缺陷位置信息集的子集，当基于置信分数过滤掉缺陷位置信息时，目标缺陷候选集为缺陷候选集的真子集；当基于置信分数未过滤掉缺陷位置信息时，目标缺陷候选集为缺陷候选集。例如，缺陷位置信息集包括缺陷位置信息A、缺陷位置信息B、缺陷位置信息C以及缺陷位置信息D，基于各缺陷位置信息对应的置信分数将缺陷位置信息A和缺陷位置信息D过滤掉，那么目标缺陷位置信息集包括缺陷位置信息B和缺陷位置信息D。
进一步，在本实施例的一个实现方式中，所述位置参数包括位置信息以及尺寸信息；所述根据各缺陷位置信息各自对应的置信度及位置参数，确定各缺陷位置信息各自对应的置信分数为：
对该缺陷位置信息对应的置信度、位置信息及尺寸信息进行加权处理，以得到该缺陷位置信息对应的置信分数。
具体地，所述尺寸信息用于反映缺陷位置信息的大小，例如，所述尺寸信息为该缺陷位置信息的面积，所述尺寸信息缺陷后续框的左侧边的边长等。所述位置信息用于方式缺陷位置信息在面板图像中所处的位置。例如，尺寸信息为该缺陷位置信息的面积，所述位置信息为该缺陷位置信息的中心与面板图像的图像中心之间的距离，缺陷位置信息的中心点到面板图像左上角的距离，缺陷位置信息的左上角到面板图像左上角的距离等。所述置信度为该缺陷位置信息携带的置信度。
进一步，在对所述置信度、位置信息及尺寸信息进行加权处理前，需要确定置信度、位置信息以及尺寸信息各自对应的权重系数。其中，所述置信度对应的权重系数以及尺寸信息对应的权重系数均为预先设置，例如，所述置信度的权重系数为1，所述尺寸信息的权重系数为0.5等。此外，在实际应用中，所述尺寸信息对应的权重系数可以根据实际检测情况进行设置的，并且尺寸信息对应的权重系数可以根据检测任务中尺寸大小的重要程度来确定，并且当尺寸大小的重要程度高时，尺寸信息对应的权重系数大；反之，当尺寸大小的重要程度低时，尺寸信息对应的权重系数小，这样使得当尺寸较大的缺陷位置信息的置信度较低时，该尺寸较大的缺陷位置信息对应的置信分数也会增大，以使得尺寸较大的缺陷位置信息被选取的概率增大。例如，在注重缺陷位置信息的尺寸大小的检测任务中，尺寸信息对应的权重系数的值大于注重缺陷位置信息的检测任务中尺寸信息对应的权重系数的值，例如，注重缺陷位置信息的尺寸大小的检测任务中，尺寸信息对应的权重系数的值为0.8；注重缺陷位置信息的检测任务中，尺寸信息对应的权重系数的值为0.4等。
进一步，在本实施例的一个实现方式中，所述位置信息对应的权重参数获取过程具体包括：
对于该缺陷位置信息中的每条边，确定该边与目标边之间的距离，其中，该目标边为所述面板图像的与该边相对应的边；
根据确定得到的所有距离，确定所述位置信息对应的第二权重系数。
具体地，所述距离指的是区域边和目标边之间的距离，该区域边与所述目标边平行，由此，所述距离的确定过程可以为：在该区域边上选取一起始点，由该起始点向目标边作垂线，并将该起始点点与垂点的距离作为该区域边与目标边之间的距离。例如，对于缺陷位置信息中的边a，面板图像中存在边框a和边框b平移，边框a与边a之间的距离为A，边框b与边a之间的距离为B，A>B，边框b为边a对应的目标边。当然，值得说明的，所述缺陷位置信息可以与面板图像的边缘框的形状相同，例如，均为矩形框等。
进一步，所述距离指的是两条平行边之间的距离，将两条平行边中一条边为初始边，一条边作为目标边，在确定初始边与目标边之间的距离可以在该初始边上选取一点，由该点向目标边作垂线，并将该点与垂点的距离作为初始边与目标边之间的距离。例如，缺陷位置信息为矩形框abcd，面板图像的边缘框为矩形宽ABCD，矩形框abcd的ab边对应的目标边为AB，ab边与AB边之间的距离为d_h1；bc边对应的目标边为BC，bc边与BC边之间的距离为d_w2；cd边对应的目标边为CD，cd边与CD边之间的距离为d_h2；da边对应的目标边为DA，da边与DA边之间的距离为d_w2。
进一步，在本实例的一个实现方式中，所述缺陷位置信息为矩形框；在获取到该缺陷位置信息中的每条边对应的距离后，将该缺陷位置信息的四条边划分为第一边组和第二边组；第一边组包括第一宽边和第一高边，第一宽边与第一高边相交；第二边组包括第二宽边和第二高边；第二宽边和第二高边相交。在获取到第一边组和第二边组之后，计算第一边组中第一宽边和第一高边的和，与第一宽边对应的目标边与第一高边对应的目标边的和的比值；以及第二边组中第二宽边和第二高边的和，与第二宽边对应的目标边与第二高边对应的目标边的和的比值；最后根据计算得到两个比值，确定位置信息对应的权重系数，例如，将两个比值中较小的比值作为位置信息对应的权重系数，或者将两个比值中较大的比值作为位置信息对应的权重系数等。
在一个具体实现方式中，将两个比值中较小的比值作为位置信息对应的权重系数，这样可以在保留位置信息对应置信分数的影响，又避免位置信息在置信分数中所占比重过高，而影响了置信度的比重，造成缺陷位置信息选取错误。由此，所述位置信息对应的权重系数的计算公式可以为：
Figure BDA0002848276250000231
其中，W1为位置信息对应的权重系数，dw1为第一宽边到其对应的目标边的距离；dh1为第一高边到其对应的目标边的距离；dw2为第二宽边到其对应的目标边的距离；dh2为第二宽边到其对应的目标边的距离；W为面板图像的边缘框的宽度值，H为面板图像的边缘框的高度值。
进一步，在确定置信度、尺寸信息、位置信息，置信度对应的权重系数，尺寸信息对应的权重系数以及位置信息对应的权重系数后，所述置信分数的计算公式可以为：
ComBox＝az+W0s+W1p
其中，ComBox为置信分数，z为置信度，a为置信度对应的权重系数，W0为尺寸信息对应的权重系数，s为尺寸信息，W1为位置信息对应的权重系数，p为位置信息。
进一步，在本实施例的一个实现方式中，所述根据各缺陷位置信息对应的置信分数，在各缺陷位置信息中选取目标缺陷位置信息具体包括：
根据各缺陷候选区域对应的置信分数，确定各缺陷位置信息对应的目标候选区域以及参考候选区域集，其中，所述参考候选区域集包括所述缺陷候选区域集去除该目标候选区域外的其余缺陷候选区域，所述目标候选区域为各缺陷位置信息中置信分数最高的一个缺陷位置信息；
对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数；
根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域；
将过滤后的参考候选区域作为缺陷位置信息，并继续执行根据各缺陷位置信息中的各缺陷位置信息对应的置信分数，确定各缺陷位置信息对应的目标候选区域以及参考候选区域集的步骤；直至过滤后的参考候选区域未包含参考候选区域；
将各面板缺陷中除确定得到的所有目标候选区域外的缺陷位置信息作为目标缺陷位置信息。
具体地，所述目标候选区域为缺陷位置信息集中的一个缺陷位置信息，参考候选区域集包括各缺陷位置信息去除该目标候选区域外的其余缺陷位置信息。可以理解的是，目标候选区域与参考候选区域集中的所有缺陷位置信息为缺陷位置信息集中的所有缺陷位置信息。由此可知，所述根据各缺陷位置信息中的各缺陷位置信息对应的置信分数，确定各缺陷位置信息对应的目标候选区域以及参考候选区域集的过程可以为：根据各缺陷位置信息的置信分数，在缺陷位置信息集中选取一个缺陷位置信息作为目标候选区域；将该目标候选区域从各缺陷位置信息中去除，以得到参考候选区域集，其中，所述目标候选区域可以为缺陷位置信息集中置信分数最大的缺陷位置信息。例如，缺陷位置信息包括缺陷位置信息A、缺陷位置信息B、缺陷位置信息C、缺陷位置信息D以及缺陷位置信息E，其中，缺陷位置信息A对应的置信分数为5、缺陷位置信息B对应的置信分数为4.8、缺陷位置信息C对应的置信分数为4.9、缺陷位置信息D对应的置信分数为3.8以及缺陷位置信息E对应的置信分数为5.8，那么缺陷位置信息E为目标候选区域，缺陷位置信息A、缺陷位置信息B、缺陷位置信息C以及缺陷位置信息D构成参考参考候选区域集。
进一步，所述第一面积参数用于反映目标候选区域与参考候选区域的相交区域与相并区域的比例信息，第二面积参数用于反映目标候选区域与参考候选区域的相交区域与目标候选区域的比例信息。由此，所述对于参考候选区域集中的每个参考候选区域，确定所述目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数具体包括：
对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的相交区域以及相并区域；
根据所述相交区域以及所述相并区域，确定该参考候选区域对应的第一面积参数；
根据所述相交区域以及该目标候选区域对应的图像区域，确定该参考候选区域对应的第二面积参数。
具体地，该目标候选区域与该参考候选区域之间的相交区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的相交区域；该目标候选区域与该参考候选区域之间的相并区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的相并区域。所述第一面积参数为相交区域的区域面积与相并区域的区域面积的比值。此外，目标候选区域对应的图像区域为与目标候选区域为边缘框的图像区域；所述第二面积参数为相交区域的区域面积与目标候选区域对应的图像区域的区域面积的比值。当然，值得说明的，相交区域、相并区域以及目标候选区域对应的图像区域可以均为面板图像的部分图像区域。
进一步，在本实施例的一个实现方式中，所述根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域具体为：
对于每个参考候选区域，若该参考候选区域对应的第一面积参数或者第二面积参数大于预设阈值时，将该参考候选区域从所述参考候选区域集中滤除，以得到过滤后的参考候选区域。
具体地，所述预设阈值为预先设置的，用于衡量各参考候选区域是否需要被滤除的标准，可以理解的是，预设阈值为对参考候选区域集进行过滤的过滤依据。由此，在获取到第一面积参数R1与第二面积参数R2，可以基于预设阈值对第一面积参数R1与第二面积参数R2进行衡量，以确定参考候选区域是否需要被滤除。
在本实施例的一个具体实现方式中，所述参考候选区域需要被滤除的条件可以为第一面积参数R1或第二面积参数R2大于预设阈值。由此，在获取第一面积参数R1与第二面积参数R2后，可以分别将第一面积参数R1与所述第二面积参数R2与预设阈值进行比较；若所述第一面积参数R1大于预设阈值或者所述第二面积参数R2大于预设阈值，将参考候选区域作为需要被滤除的参考候选区域，并将该参考候选区域从参考候选区域集中滤除；这样对每个参考候选区域分别执行将第一面积参数R1与所述第二面积参数R2与预设阈值进行比较的步骤，可以将参考候选区域集中所有需要被滤除的参考候选区域滤除，以得到过滤后的参考候选区域。
进一步，在获取到过滤后的参考候选集后，可判断过滤后的参考候选集中是否包含缺陷位置信息；若包括缺陷位置信息，将过滤后的参考候选集作为缺陷位置信息，并继续执行根据各缺陷位置信息对应的置信分数，确定各缺陷位置信息对应的目标候选区域以及参考候选区域集的步骤；若未包括缺陷位置信息，则获取确定得到的各目标候选区域，将各面板缺陷中除确定得到的所有目标候选区域外的缺陷位置信息作为目标缺陷位置信息。
基于上述面板缺陷检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的面板缺陷检测方法中的步骤。
基于上述面板缺陷检测方法，本申请还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种面板缺陷检测方法，其特征在于，所述方法包括：
根据待检测的面板图像中的缺陷区域的缺陷位置信息及待检测的面板图像，确定若干候选面板图像；
根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别。
2.根据权利要求1所述面板缺陷检测方法，其特征在于，所述若干候选面板图像中至少存在两个候选面板图像的图像尺寸互不相同。
3.根据权利要求1所述面板缺陷检测方法，其特征在于，所述根据所述若干候选面板图像，确定所述面板图像对应的缺陷类别具体包括：
根据所述若干候选面板图像，确定目标面板图像；
将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别。
4.根据权利要求3所述面板缺陷检测方法，其特征在于，所述根据所述若干候选面板图像，确定目标面板图像具体包括：
分别对若干候选面板图像进行调整，以得到若干参考面板图像；其中，若干参考面板图像中的各参考面板图像的图像尺寸相同；
将若干参考面板图像拼接，以得到目标面板图像，其中，所述目标面板图像的通道数等于若干参考面板图像的通道数之和。
5.根据权利要求3所述面板缺陷检测方法，其特征在于，所述缺陷分类模型包括通道注意力模块以及分类模块，所述将所述目标面板图像输入经过训练的缺陷分类模型；通过所述缺陷分类模型确定所述面板图像对应的缺陷类别具体包括：
将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定目标特征向量；
将所述目标特征向量输入分类模块，通过所述分类模块确定所述面板图像对应的缺陷类别。
6.根据权利要求5所述面板缺陷检测方法，其特征在于，所述通道注意力模块包括卷积单元、注意力单元以及融合单元；所述将所述目标图像输入通道注意力模块，通过所述通道注意力模块确定通道目标特征向量具体包括：
将所述目标图像输入卷积单元，通过所述卷积单元确定第一特征向量；
将所述第一特征向量输入所述注意力单元，通过所述注意力单元确定第二特征向量，其中，所述第二特征向量用于反映目标图像中的各通道的权重信息；
将所述第一特征向量和所述第二特征向量输入所述融合单元，通过所述融合单元确定目标特征向量。
7.根据权利要求3-6任一所述面板缺陷检测方法，其特征在于，所述缺陷分类模型基于预设训练样本集训练得到的，其中，所述预设训练样本集的确定过程具体包括：
获取若干面板图像；
对于若干面板图像中的每个面板图像，确定该面板图像中的缺陷区域的缺陷位置信息；
根据所述缺陷位置信息在所述面板图像中选取若干参照面板图像，其中，若干参照面板图像均包括所述缺陷区域中的一部分或者全部区域；
在若干参照面板图像中选取指定面板图像，其中，所述指定面板图像为若干参照面板图像中图像尺寸最小的参照面板图像；
按照预设角度旋转所述指定面板图像，并根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组；
将生成的所有参照面板图像组作为所述预设训练样本集。
8.根据权利要求7所述面板缺陷检测方法，其特征在于，所述根据旋转得到的指定面板图像以及若干参照面板图像中除指定面板图像外的参照面板图像确定参照面板图像组具体包括：
按照第一预处理方式对旋转得到的指定面板图像进行增强处理，以得到第一面板图像；
按照第二预设处理方式分别对若干参照面板图像中除指定面板图像外的各参照面板图像进行增强处理，以得到各第二面板图像，其中，第一预处理方式与第二预处理方式不同；
根据所述第一面板和所有第二面板图像，确定参照面板图像组。
9.根据权利要求7所述面板缺陷检测方法，其特征在于，若干参照面板图像中的各参照面板图像的图像尺寸互不相同，所述指定面板图像为若干参照面板图像中图像尺寸最小的参照面板图像。
10.根据权利要求1所述面板缺陷检测方法，其特征在于，所述获取待检测的面板图像中的缺陷区域的缺陷位置信息具体包括：
将待检测的面板图像输入经过训练的缺陷识别模型，通过所述缺陷识别模型确定所述面板图像中的缺陷区域的缺陷位置信息。
11.根据权利要求1或10所述面板缺陷检测方法，其特征在于，所述缺陷位置信息包括缺陷区域的区域尺寸以及缺陷区域的定位信息。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～11任意一项所述的面板缺陷检测方法中的步骤。
13.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-12任意一项所述的面板缺陷检测方法中的步骤。
CN202011518647.5A 2020-12-21 2020-12-21 一种面板缺陷检测方法、存储介质及终端设备 Pending CN114723649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011518647.5A CN114723649A (zh) 2020-12-21 2020-12-21 一种面板缺陷检测方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011518647.5A CN114723649A (zh) 2020-12-21 2020-12-21 一种面板缺陷检测方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN114723649A true CN114723649A (zh) 2022-07-08

Family

ID=82229935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011518647.5A Pending CN114723649A (zh) 2020-12-21 2020-12-21 一种面板缺陷检测方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN114723649A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661157A (zh) * 2022-12-28 2023-01-31 成都数之联科技股份有限公司 面板圆类缺陷检测方法、装置、介质、设备及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661157A (zh) * 2022-12-28 2023-01-31 成都数之联科技股份有限公司 面板圆类缺陷检测方法、装置、介质、设备及程序产品

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN112949564B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN113298169B (zh) 一种基于卷积神经网络的旋转目标检测方法及装置
CN112734641A (zh) 目标检测模型的训练方法、装置、计算机设备及介质
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN110781890A (zh) 身份证识别方法、装置、电子设备及可读取存储介质
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN114926385A (zh) 一种面板缺陷检测方法、存储介质及终端设备
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112215217A (zh) 模拟医师阅片的数字图像识别方法及装置
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN115601769A (zh) 手绘图形的调整方法、装置、电子设备及介质
CN114723649A (zh) 一种面板缺陷检测方法、存储介质及终端设备
CN112966757A (zh) 训练样本的扩展方法、装置、存储介质及设备
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及系统
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN113887455B (zh) 一种基于改进fcos的人脸口罩检测系统及方法
CN115937537A (zh) 一种目标图像的智能识别方法、装置、设备及存储介质
CN115345895A (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN113971649A (zh) 一种面板缺陷检测模型的生成方法、检测方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination