CN113205110A - 一种面板缺陷分类模型的建立方法及面板缺陷分类方法 - Google Patents

一种面板缺陷分类模型的建立方法及面板缺陷分类方法 Download PDF

Info

Publication number
CN113205110A
CN113205110A CN202110295284.1A CN202110295284A CN113205110A CN 113205110 A CN113205110 A CN 113205110A CN 202110295284 A CN202110295284 A CN 202110295284A CN 113205110 A CN113205110 A CN 113205110A
Authority
CN
China
Prior art keywords
defect
panel
data set
semantic information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110295284.1A
Other languages
English (en)
Other versions
CN113205110B (zh
Inventor
王绍凯
童光红
刘正君
谭久彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Original Assignee
Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute filed Critical Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Priority to CN202110295284.1A priority Critical patent/CN113205110B/zh
Publication of CN113205110A publication Critical patent/CN113205110A/zh
Application granted granted Critical
Publication of CN113205110B publication Critical patent/CN113205110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种面板缺陷分类模型的建立方法及面板缺陷分类方法，涉及面板缺陷检测技术领域。本发明所述的面板缺陷分类模型的建立方法，包括：获取缺陷数据集；根据所述缺陷数据集确定增广数据集；从所述增广数据集提取特征语义信息；根据所述特征语义信息确定融合语义信息；根据所述融合语义信息确定特征矩阵；根据所述特征矩阵确定所述面板缺陷的位置和类别；将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。本发明所述的技术方案，通过对包含面板缺陷的缺陷数据集进行数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，有利于提高面板缺陷分类的准确性。

Description

一种面板缺陷分类模型的建立方法及面板缺陷分类方法
技术领域
本发明涉及面板缺陷检测技术领域，具体而言，涉及一种面板缺陷分类模型的建立方法及面板缺陷分类方法。
背景技术
随着面板行业的现代化发展需求，面板的良品率以及次品坏区域是否可以修复等问题无论是对于降低企业成本，还是提升生产工业的智能化水平显得尤为必要。因此需要对面板进行光学检测，检测面板是否存在缺陷，以及缺陷为何种类型，以此保证面板产品出厂的良品率。
现有技术中，卷积神经网络已经被应用到缺陷分类中，通常使用大量卷积层来抽取特征信息，在最后卷积层输出的高层特征语义信息上，使用全连接层完成缺陷类别输出。该方法虽然使用范围较广，但是通常只能输出缺陷类型信息，不能得到其它信息，而且一张图像只能输出一个类别，如果图像存在多种类型缺陷，则会影响最终面板缺陷分类的准确性。
发明内容
本发明解决的问题是如何提高面板缺陷分类的准确性。
为解决上述问题，本发明提供一种面板缺陷分类模型的建立方法，包括：获取缺陷数据集，其中，所述缺陷数据集为包含面板缺陷的样本图片；根据所述缺陷数据集确定增广数据集；从所述增广数据集提取特征语义信息；根据所述特征语义信息确定融合语义信息；根据所述融合语义信息确定特征矩阵；根据所述特征矩阵确定所述面板缺陷的位置和类别；将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。
本发明所述的面板缺陷分类模型的建立方法，通过对包含面板缺陷的缺陷数据集进行数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，将两张所述原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定所述增广数据集。
本发明所述的面板缺陷分类模型的建立方法，通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，获取其中一张所述原始缺陷图片的位置区域，将所述位置区域与另一张所述原始缺陷图片融合，形成新缺陷图片以确定所述增广数据集。
本发明所述的面板缺陷分类模型的建立方法，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
可选地，所述从所述增广数据集提取特征语义信息包括：从所述增广数据集提取不同尺度的所述特征语义信息。
本发明所述的面板缺陷分类模型的建立方法，通过从增广数据集提取不同尺度的特征语义信息，由于不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征语义信息确定融合语义信息包括：将所述特征语义信息中的低层信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的所述融合语义信息。
本发明所述的面板缺陷分类模型的建立方法，通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述融合语义信息确定特征矩阵包括：采用编码器将所述融合语义信息转换为所述特征矩阵。
本发明所述的面板缺陷分类模型的建立方法，通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：对所述特征矩阵进行聚类确定所述面板缺陷的类型，以及对所述特征矩阵进行回归得到所述面板缺陷的位置。
本发明所述的面板缺陷分类模型的建立方法，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别还包括：对所述面板缺陷的类型和所述面板缺陷的位置进行筛选以筛除多余信息。
本发明所述的面板缺陷分类模型的建立方法，通过对面板缺陷的类型和缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：将所述特征矩阵还原为满足预设对比度的图片，根据所述图片确定所述面板缺陷的类型和位置。
本发明所述的面板缺陷分类模型的建立方法，通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
本发明还提供一种面板缺陷分类方法，包括：初检分类阶段和复检分类阶段；所述初检分类阶段包括：通过线扫系统扫描显示面板，获取待分类面板图像；采用线扫算法确定所述待分类面板图像的各类缺陷，并确定各类缺陷的缺陷评价结果；所述复检分类阶段包括：根据预先获取的缺陷评价结果确定需复检类面板缺陷，将所述待分类面板图像输入如上所述面板缺陷分类模型的建立方法建立的面板缺陷分类模型，确定所述需复检类面板缺陷的位置和类别，以完成所述需复检类面板缺陷的分类。所述面板缺陷分类方法与上述面板缺陷分类模型的建立方法相对于现有技术所具有优势相同，在此不再赘述。
附图说明
图1为本发明实施例的面板缺陷分类模型的建立方法的示意图；
图2为本发明实施例的面板缺陷分类模型的训练过程；
图3为本发明实施例的一种数据增广过程；
图4为本发明实施例的另一种数据增广过程；
图5为本发明实施例的用于面板缺陷分类的训练装置示意图；
图6为本发明实施例的面板缺陷分类方法的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
如图1所示，本发明实施例提供一种面板缺陷分类模型的建立方法，包括：获取缺陷数据集，其中，所述缺陷数据集为包含面板缺陷的样本图片；根据所述缺陷数据集确定增广数据集；从所述增广数据集提取特征语义信息；根据所述特征语义信息确定融合语义信息；根据所述融合语义信息确定特征矩阵；根据所述特征矩阵确定所述面板缺陷的位置和类别；将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。
具体地，在本实施例中，结合图2所示，面板缺陷分类模型的建立方法包括：获取缺陷数据集，一般会选用缺陷样本作为数据集，即包含各类面板缺陷的样本图片，缺陷数据集一般作为卷积神经网络训练时的输入；根据缺陷数据集确定增广数据集，以此让卷积神经网络在训练中更快收敛，提升网络的性能；从增广数据集提取特征语义信息，特征语义信息包含缺陷数据集中图片的原始信息；根据特征语义信息确定融合语义信息，即将特征语义信息进行融合后生成融合语义信息，使得面板缺陷分类模型的分类正确率更高；根据融合语义信息确定特征矩阵，即通过特定的编码器将融合语义信息转换为对应的特征矩阵；根据特征矩阵确定面板缺陷的位置和类别，即通过编码器从特征矩阵确定面板缺陷的位置和类别；根据缺陷数据集和缺陷的位置和类别建立面板缺陷分类模型，即将缺陷数据集作为模型输入，以及将面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。通过数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。
其中，结合图5所示，卷积神经网络训练装置包括计算机CPU、计算机存储器和计算机GPU，其中，计算机CPU发送读取指令到计算机存储器，读取存储的缺陷图片，计算机CPU还发送读取指令将训练数据迁到GPU，计算机CPU负责提供训练网络算力。
在本实施例中，通过对包含面板缺陷的缺陷数据集进行数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，将两张所述原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定所述增广数据集。
具体地，在本实施例中，结合图3所示，根据缺陷数据集确定增广数据集包括：从缺陷数据集任意选取两张原始缺陷图片，将两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集。即对于一图片计算其权重，对于另一图片计算其权重，通过权重占比进行融合计算，之后加上计算偏差，从而生成新的缺陷图片，通过新的缺陷图片来确定增广数据集。通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，即将缺陷数据集中的各原始缺陷图片生成新缺陷图片后，各新缺陷图片组合为增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
在本实施例中，通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，获取其中一张所述原始缺陷图片的位置区域，将所述位置区域与另一张所述原始缺陷图片融合，形成新缺陷图片以确定所述增广数据集。
具体地，在本实施例中，结合图4所示，根据缺陷数据集确定增广数据集包括：从缺陷数据集任意选取两张原始缺陷图片，通过缺陷掩膜获取其中一张原始缺陷图片的位置区域，其中，位置区域指的是原始缺陷图片在面板上的拍摄位置所在的区域，将位置区域与另一张原始缺陷图片融合，形成新缺陷图片以确定增广数据集。与上述实施例不同，本实施例中，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
在本实施例中，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。
可选地，所述从所述增广数据集提取特征语义信息包括：从所述增广数据集提取不同尺度的所述特征语义信息。
具体地，在本实施例中，结合图2所示，从增广数据集提取特征语义信息包括：从增广数据集提取不同尺度的特征语义信息。以三个尺度为例，从增广数据集提取低层特征语义信息、中层特征语义信息和高层特征语义信息，利用不同尺度语义层，不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。现有分类网络往往只利用到单层语义信息，对原图信息还原不够。
在本实施例中，通过从增广数据集提取不同尺度的特征语义信息，由于不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征语义信息确定融合语义信息包括：将所述特征语义信息中的低层信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的所述融合语义信息。
具体地，在本实施例中，结合图2所示，根据特征语义信息确定融合语义信息包括：将特征语义信息中的低层特征语义信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的融合语义信息。例如将低层特征语义信息与中层特征语义信息融合来确定融合中层语义信息，将低层特征语义信息与高层特征语义信息融合来确定融合高层语义信息。通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。
在本实施例中，通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。
可选地，所述根据所述融合语义信息确定特征矩阵包括：采用编码器将所述融合语义信息转换为所述特征矩阵。
具体地，在本实施例中，根据融合语义信息确定特征矩阵包括：采用编码器将融合语义信息转换为特征矩阵。在进行聚类和回归前，需要将融合语义信息转换为特征矩阵，通过对特征矩阵进行聚类和回归才能确定缺陷类型和位置，因此本实施例中通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。
在本实施例中，通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：对所述特征矩阵进行聚类确定所述面板缺陷的类型，以及对所述特征矩阵进行回归得到所述面板缺陷的位置。
具体地，在本实施例中，根据特征矩阵确定面板缺陷的位置和类别包括：对特征矩阵进行聚类确定面板缺陷的类型，以及对特征矩阵进行回归得到面板缺陷的位置。将融合语义信息转换为特征矩阵后，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。
在本实施例中，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别还包括：对所述面板缺陷的类型和所述面板缺陷的位置进行筛选以筛除多余信息。
具体地，在本实施例中，根据特征矩阵确定面板缺陷的位置和类别还包括：对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息。由于一个原图区域有许多信息表示，其中相当一部分是多余信息，因此筛选所有输出的面板缺陷的类型和面板缺陷的位置，特别是对于其中的重叠信息需要着重筛选。通过对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
在本实施例中，通过对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：将所述特征矩阵还原为满足预设对比度的图片，根据所述图片确定所述面板缺陷的类型和位置。
具体地，在本实施例中，根据所述特征矩阵确定面板缺陷的位置和类别包括：将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置。即将训练网络的解码器结构替换成还原结构，将编码器输出的特征矩阵还原成具有高对比度形式的图片，从而确定面板缺陷的类型和位置。通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
在本实施例中，通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。
本发明另一实施例提供一种面板缺陷分类方法，结合图6所示，包括：初检分类阶段和复检分类阶段；所述初检分类阶段包括：通过线扫系统扫描显示面板，获取待分类面板图像；采用线扫算法确定所述待分类面板图像的各类缺陷，并确定各类缺陷的缺陷评价结果；所述复检分类阶段包括：根据预先获取的缺陷评价结果确定需复检类面板缺陷，将所述待分类面板图像输入如上所述面板缺陷分类模型的建立方法建立的面板缺陷分类模型，确定所述需复检类面板缺陷的位置和类别，以完成所述需复检类面板缺陷的分类。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种面板缺陷分类模型的建立方法，其特征在于，包括：
获取缺陷数据集，其中，所述缺陷数据集为包含面板缺陷的样本图片；
根据所述缺陷数据集确定增广数据集；
从所述增广数据集提取特征语义信息；
根据所述特征语义信息确定融合语义信息；
根据所述融合语义信息确定特征矩阵；
根据所述特征矩阵确定所述面板缺陷的位置和类别；
将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。
2.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述缺陷数据集确定增广数据集包括：
从所述缺陷数据集任意选取两张原始缺陷图片，将两张所述原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定所述增广数据集。
3.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述缺陷数据集确定增广数据集包括：
从所述缺陷数据集任意选取两张原始缺陷图片，获取其中一张所述原始缺陷图片的位置区域，将所述位置区域与另一张所述原始缺陷图片融合，形成新缺陷图片以确定所述增广数据集。
4.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述从所述增广数据集提取特征语义信息包括：
从所述增广数据集提取不同尺度的所述特征语义信息。
5.根据权利要求4所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述特征语义信息确定融合语义信息包括：
将所述特征语义信息中的低层特征语义信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的所述融合语义信息。
6.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述融合语义信息确定特征矩阵包括：
采用编码器将所述融合语义信息转换为所述特征矩阵。
7.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：
对所述特征矩阵进行聚类确定所述面板缺陷的类型，以及对所述特征矩阵进行回归得到所述面板缺陷的位置。
8.根据权利要求7所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述特征矩阵确定所述面板缺陷的位置和类别还包括：
对所述面板缺陷的类型和所述面板缺陷的位置进行筛选以筛除多余信息。
9.根据权利要求1所述的面板缺陷分类模型的建立方法，其特征在于，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：
将所述特征矩阵还原为满足预设对比度的图片，根据所述图片确定所述面板缺陷的类型和位置。
10.一种面板缺陷分类方法，其特征在于，包括：
初检分类阶段和复检分类阶段；
所述初检分类阶段包括：
通过线扫系统扫描显示面板，获取待分类面板图像；
采用线扫算法确定所述待分类面板图像的各类缺陷，并确定各类缺陷的缺陷评价结果；
所述复检分类阶段包括：
根据预先获取的缺陷评价结果确定需复检类面板缺陷，将所述待分类面板图像输入如权利要求1至9任一项所述面板缺陷分类模型的建立方法建立的面板缺陷分类模型，确定所述需复检类面板缺陷的位置和类别，以完成所述需复检类面板缺陷的分类。
CN202110295284.1A 2021-03-19 2021-03-19 一种面板缺陷分类模型的建立方法及面板缺陷分类方法 Active CN113205110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295284.1A CN113205110B (zh) 2021-03-19 2021-03-19 一种面板缺陷分类模型的建立方法及面板缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295284.1A CN113205110B (zh) 2021-03-19 2021-03-19 一种面板缺陷分类模型的建立方法及面板缺陷分类方法

Publications (2)

Publication Number Publication Date
CN113205110A true CN113205110A (zh) 2021-08-03
CN113205110B CN113205110B (zh) 2024-03-19

Family

ID=77025534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295284.1A Active CN113205110B (zh) 2021-03-19 2021-03-19 一种面板缺陷分类模型的建立方法及面板缺陷分类方法

Country Status (1)

Country Link
CN (1) CN113205110B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN112200790A (zh) * 2020-10-16 2021-01-08 鲸斛(上海)智能科技有限公司 布料缺陷检测方法、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111862092A (zh) * 2020-08-05 2020-10-30 复旦大学 一种基于深度学习的快递外包装缺陷检测方法及装置
CN112200790A (zh) * 2020-10-16 2021-01-08 鲸斛(上海)智能科技有限公司 布料缺陷检测方法、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭大芹;刘恒;许国良;邓柯;: "基于双向特征融合卷积神经网络的液晶面板缺陷检测算法", 广东通信技术, no. 04, pages 66 - 73 *
陈坤;徐向?;: "改进Faster RCNN在铝型材表面缺陷检测中的应用研究", 中国计量大学学报, no. 02, pages 240 - 246 *

Also Published As

Publication number Publication date
CN113205110B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
US10818000B2 (en) Iterative defect filtering process
Nguyen et al. Inspecting method for defective casting products with convolutional neural network (CNN)
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN109859163A (zh) 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
Bianchi et al. Visual structural inspection datasets
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
CN117540779A (zh) 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法
CN114998216A (zh) 透明件表面缺陷快速检测方法及装置
US8924904B2 (en) Method and apparatus for determining factors for design consideration in yield analysis
Ni et al. Toward high-precision crack detection in concrete bridges using deep learning
KR20220105689A (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
He et al. Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion
Hu et al. Hybrid Pixel‐Level Crack Segmentation for Ballastless Track Slab Using Digital Twin Model and Weakly Supervised Style Transfer
CN113205110A (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
WO2022172469A1 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
Wang RETRACTED ARTICLE: Application of deep learning to detect defects on the surface of steel balls in an IoT environment
JP7118365B2 (ja) 画像検査装置
Liu et al. A multiple scale spaces empowered approach for welding radiographic image defect segmentation
Xu et al. The steel surface multiple defect detection and size measurement system based on improved yolov5
TWI795729B (zh) 圖像瑕疵檢測方法、電子設備及存儲介質
Dehaerne et al. Ensemble deep learning-based defect classification and detection in sem images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant