CN110033035A - 一种基于强化学习的aoi缺陷分类方法及装置 - Google Patents

一种基于强化学习的aoi缺陷分类方法及装置 Download PDF

Info

Publication number
CN110033035A
CN110033035A CN201910270941.XA CN201910270941A CN110033035A CN 110033035 A CN110033035 A CN 110033035A CN 201910270941 A CN201910270941 A CN 201910270941A CN 110033035 A CN110033035 A CN 110033035A
Authority
CN
China
Prior art keywords
aoi
amplification
defect
data
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910270941.XA
Other languages
English (en)
Inventor
陈春煦
张胜森
郑增强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Wuhan Jingce Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd, Wuhan Jingli Electronic Technology Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN201910270941.XA priority Critical patent/CN110033035A/zh
Publication of CN110033035A publication Critical patent/CN110033035A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于强化学习的AOI缺陷分类方法及装置，其中的方法首先采集面板检测图像；并对采集的面板检测图像进行预处理；然后基于预处理后的面板检测图像，构建AOI数据集；接着针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；再将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；最后将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。本发明实现了在减少收集大量缺陷样本的人力物力的同时，大幅提升AOI缺陷分类算法的准确度的效果。

Description

一种基于强化学习的AOI缺陷分类方法及装置
技术领域
本发明涉及面板的自动化缺陷检测技术领域，具体涉及一种基于强化学习的AOI缺陷分类方法及装置。
背景技术
随着手机和消费电子产品的普及及其快速的更新换代，对工业产线的液晶屏幕和OLED屏幕有着极大的产量需求。从屏幕最终成型的整个过程中，由于原材料、生产工艺、意外等情况，屏幕上常常存在各种缺陷(例如破片、气泡、划伤、缺角、压痕等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因而是不允许流入市场的。尽管在过去的十几年中，AOI(Automatic Optic Inspection自动光学检测技术)有了极大的进步，但目前的AOI技术主要基于传统计算机视觉算法设计，对一些比较小、颜色纹理特征不明显的缺陷检测效率低下，而且检测标准主观因素大，严重制约工业制造的自动化进程。
近年来，基于深度学习的面板缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐，被应用于缺陷检测领域。首先需要收集大量的正常样本和缺陷样本，通过神经网络学习正常样本与缺陷样本的公共特征，在检测阶段时，通过比较待检测样本与学习到的正常样本与缺陷样本的公共特征，对其进行分类和检测。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
由于面板生产过程中良率很高，这意味着合格的样本远远多于不合格的样本，这使得挑选足够多的缺陷样本用于训练神经网络分类器变的很困难。基于卷积神经网络的缺陷检测算法的准确率比较依赖缺陷样本的数量和质量，由于不合格样本比例极少，因此导致分类结果不准确。
由此可知，现有技术中的方法存在分类准确性不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于强化学习的AOI缺陷分类方法及装置，用以解决或者至少部分解决现有技术中的方法存在分类准确性不高的技术问题。
本发明第一方面提供了一种基于强化学习的AOI缺陷分类方法，包括：
采集面板检测图像；
对采集的面板检测图像进行预处理；
基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；
将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；
将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
在一种实施方式中，在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后，所述方法还包括：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
在一种实施方式中，对采集的面板检测图像进行预处理，包括：
将采集的面板图像进行灰度化处理；
再将进行灰度化处理后的面板缺陷检测图像裁剪为预设像素大小的子图像。
在一种实施方式中，选取的基本的数据扩增操作包括但不限于翻转、裁剪、平移、旋转。
在一种实施方式中，构建的AOI数据集中包括正常样本和缺陷样本。
在一种实施方式中，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略，包括：
选取第一预设数量的基本数据扩增操作合并为一个数据扩增子策略；
将第二预设数量的数据扩增子策略合并为扩增策略。
基于同样的发明构思，本发明第二方面提供了一种基于强化学习的AOI缺陷分类装置，包括：
图像采集模块，用于采集面板检测图像；
预处理模块，用于对采集的面板检测图像进行预处理；
AOI数据集构建模块，用于基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
扩增策略生成模块，用于针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；
扩增策略应用模块，用于将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；
分类模块，用于将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
在一种实施方式中，所述装置还包括权值更新模块块，用于在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于强化学习的AOI缺陷分类方法，采集面板检测图像，并对采集的面板检测图像进行预处理；然后基于预处理后的面板检测图像，构建AOI数据集；接着针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；再将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；最后将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
由于本发明可以针对AOI缺陷数据集的特征，通过强化学习算法控制器学习特定AOI缺陷数据集最优的数据扩增策略，然后应用于AOI数据集中的训练集和验证集，再进行AOI缺陷分类，对实现在减少收集大量缺陷样本的人力物力的同时，可以大幅提升AOI缺陷分类算法的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于强化学习的AOI缺陷分类方法的流程图；
图2为本发明实施例中基于强化学习算法控制器的结构示意图；
图3为本发明实施例中基于强化学习的AOI缺陷分类方法的整体架构；
图4为本发明实施例中一种基于强化学习的AOI缺陷分类装置的结构框图；
图5为本发明实施例中一种计算机可读存储介质的结构框图；
图6为本发明实施例中一种计算机设备的结构框图；
具体实施方式
本发明的目的在于针对现有技术中的方法在进行AOI缺陷分类时准确性不高的技术问题，从面板缺陷检测的特点出发，提供了一种基于强化学习的AOI缺陷分类的优化方法。
具体针对AOI缺陷数据集的特征，通过强化学习算法学习特定AOI缺陷数据集最优数据扩增策略，在实现减少收集样本的人力物力的同时，大幅提升了AOI缺陷分类算法的准确度。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请发明人通过大量的研究与实践发现，现有的基于卷积神经网络的方法应用于工业检测领域时，由于面板生产过程中良率很高，那么合格的样本远远多于不合格的样本，这使得挑选足够多的缺陷样本用于训练神经网络分类器变的很困难。并且，基于卷积神经网络的缺陷检测算法的准确率比较依赖缺陷样本的数量和质量，提供足够的高质量缺陷样本往往能够使模型取得更好的性能。由于不合格样本比例极少，需要花费大量的人力成本才能挑选出足够的不合格样本，因此在很多实际的项目中，往往难以找到充足的数据来完成任务。
为了提高AOI缺陷分类的准确性，本发明提供了一种分类方法，针对AOI缺陷的特征，选取一些合适的数据扩增技术，采用强化学习算法学习针对AOI缺陷分类算法最优的数据扩增策略，从而实现AOI缺陷分类的优化。
数据扩增是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。目前数据扩增主要包括：在不改变图片尺寸的情况下，水平或垂直翻转图片，旋转图片，裁剪图片，平移图片，改变图片亮度、对比度或清晰度，对图片进行模糊操作，对图片添加噪声等。而在实际应用中，并非所有的扩增方式都适用当前的训练数据，不合适的数据扩增方式甚至会降低准确率，需要根据数据集特征来确定数据扩增策略。
强化学习又称为增强学习，是一种以环境反馈作为输入的、特殊的、适应环境的机器学习方法，它的主要思想是与环境交互和试错，利用评价性的反馈信号实现决策的优化。这也是自然界中人类或动物学习的基本途径。
基于强化学习的AOI缺陷分类优化方法，根据AOI缺陷数据集选取一些基本的数据扩增操作，基于强化学习算法学习到基于AOI缺陷分类算法的最优扩增策略。因此基于强化学习的AOI缺陷分类优化方法是合乎逻辑的，然而，如何设计实现准确率高、端到端的AOI缺陷分类优化方法，将是一个非常具有挑战性的问题。
实施例一
本实施例提供了一种基于强化学习的AOI缺陷分类方法，请参见图1，该方法包括：
步骤S1：采集面板检测图像。
具体来说，可以通过已有的工具或者设备进行面板检测图像的采集。
步骤S2：对采集的面板检测图像进行预处理。
具体来说，预处理的目的是为了更好地处理图像，以便后续的分类检测。
在一种实施方式中，对采集的面板检测图像进行预处理，包括：
将采集的面板图像进行灰度化处理；
再将进行灰度化处理后的面板缺陷检测图像裁剪为预设像素大小的子图像。
具体来说，预设像素大小可以根据实际情况进行设置，且，剪裁的子图像数量也可以调整。
步骤S3：基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
其中，构建的AOI数据集中包括正常样本和缺陷样本。
在具体的实施过程中，可以根据情况设置训练集、验证集和测试集的比例，例如80％、10％和10％，或者70％、20％和10％。其中，训练集、验证集和测试集中都包括正常样本和缺陷样本，这些正常样本和缺陷样本通过人工挑选得出，其中正常样本为正常子图像，缺陷样本为有缺陷的子图像。
步骤S4：针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略。
具体来说，本申请人发明人通过大量的研究与实践，研究了AOI数据集的特征，并选取出了基本的数据扩增操作和操作幅度。强化学习算法控制器可以采取LSTM结构。
其中，选取的基本的数据扩增操作包括但不限于翻转、裁剪、平移、旋转。
更为具体地，请参见表1，为本发明实施例选取的数据扩增操作和操作幅度。
表1数据扩增操作和操作幅度
在一种实施方式中，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略，包括：
选取第一预设数量的基本数据扩增操作合并为一个数据扩增子策略；
将第二预设数量的数据扩增子策略合并为扩增策略。
具体来说，第一预设数量和第二预设数量可以根据实际情况进行选取。由于AOI数据集图片背景较简单，可采取的基本数据扩增策略较少。为了增大强化学习算法的搜索空间，则采用了合并的操作。
作为优先，第一预设数量为3，第二预设数量为4，可以采取选取三个基本数据扩增操作合并为一个数据扩增子策略。例如：一个数据扩增子策略为：翻转(1)，旋转(2)，平移(1)，操作幅度为水瓶翻转、顺时针旋转40度以及以图片的0.1比例进行平移。该数据扩增子策略子策略将按照顺序对图片分别进行水平翻转、顺时针旋转40度、以图片的0.1比例进行平移。然后通过强化学习算法控制器上述定义的基本数据扩增操作和操作幅度中随机生成一组扩增策略(包含四个数据扩增子策略)通过实验证明，采用该种方式，可以大大提高扩增的效果，进而提高分类的准确性。
请参见图2，为本发明实施例中基于强化学习算法控制器的结构示意图。本实施方式中的强化学习算法控制器采用LSTM结构，包括控制器隐层和softmax层，共输出24个单元，每个子策略输出6个单元，最优策略组包含4个子策略。
在生成扩增策略后，则执行步骤S5：将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集。
具体来说，扩增策略主要是根据AOI缺陷的特征生成的，用来扩增数据集的。
步骤S6：将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
具体来说，应用扩增后的训练集和验证集，则可以在预定义的卷积神经网络上进行缺陷分类实验。其中，预定义的卷积神经网络为CNN网络。
为了进一步提高分类的准确性，在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后，所述方法还包括：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
下面，请参见图3，为本发明实施例中基于强化学习的AOI缺陷分类方法的整体架构，图3中，首先根据AOI数据集的特征预定义数据扩增基本操作和幅度，然后构建强化学习算法控制器，并利用强化学习算法控制器生成数据扩增策略组，然后基于数据扩增策略组生成新的数据集，接着在预定义的缺陷分类卷积神经网络上进行分类，并获取测试集上的准确率，来更新强化学习算法控制器的权值。
基于同一发明构思，本申请还提供了一种与实施例一中基于强化学习的AOI缺陷分类方法对应的装置，详见实施例二。
实施例二
本实施例提供了一种基于强化学习的AOI缺陷分类装置请参见图4，该装置包括：
图像采集模块201，用于采集面板检测图像；
预处理模块202，用于对采集的面板检测图像进行预处理；
AOI数据集构建模块203，用于基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
扩增策略生成模块204，用于针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；
扩增策略应用模块205，用于将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；
分类模块206，用于将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
在一种实施方式中，本实施例提供的装置还包括权值更新模块，用于在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
在一种实施方式中，预处理模块202具体用于：
将采集的面板图像进行灰度化处理；
再将进行灰度化处理后的面板缺陷检测图像裁剪为预设像素大小的子图像。
在一种实施方式中，选取的基本的数据扩增操作包括但不限于翻转、裁剪、平移、旋转。
在一种实施方式中，构建的AOI数据集中包括正常样本和缺陷样本。
在一种实施方式中，扩增策略生成模块204具体用于：
选取第一预设数量的基本数据扩增操作合并为一个数据扩增子策略；
将第二预设数量的数据扩增子策略合并为扩增策略。
由于本发明实施例二所介绍的装置，为实施本发明实施例一中基于强化学习的AOI缺陷分类方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
实施例三
请参见图5，基于同一发明构思，本申请还提供了一种计算机可读存储介质300，其上存储有计算机程序311，该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于强化学习的AOI缺陷分类方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思，本申请还提供了一种计算机设备，请参见图6，包括存储401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403，处理器402执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于强化学习的AOI缺陷分类方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于强化学习的AOI缺陷分类方法，其特征在于，包括：
采集面板检测图像；
对采集的面板检测图像进行预处理；
基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；
将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；
将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
2.如权利要求1所述的方法，其特征在于，在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后，所述方法还包括：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
3.如权利要求1所述的方法，其特征在于，对采集的面板检测图像进行预处理，包括：
将采集的面板图像进行灰度化处理；
再将进行灰度化处理后的面板缺陷检测图像裁剪为预设像素大小的子图像。
4.如权利要求1所述的方法，其特征在于，选取的基本的数据扩增操作包括但不限于翻转、裁剪、平移、旋转。
5.如权利要求1所述的方法，其特征在于，构建的AOI数据集中包括正常样本和缺陷样本。
6.如权利要求1所述的方法，其特征在于，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略，包括：
选取第一预设数量的基本数据扩增操作合并为一个数据扩增子策略；
将第二预设数量的数据扩增子策略合并为扩增策略。
7.一种基于强化学习的AOI缺陷分类装置，其特征在于，包括：
图像采集模块，用于采集面板检测图像；
预处理模块，用于对采集的面板检测图像进行预处理；
AOI数据集构建模块，用于基于预处理后的面板检测图像，构建AOI数据集，其中，AOI数据集包括训练集、验证集和测试集；
扩增策略生成模块，用于针对AOI数据集的特征，选取基本的数据扩增操作和操作幅度，通过强化学习算法控制器在选取的基本的数据扩增操作和操作幅度中生成扩增策略；
扩增策略应用模块，用于将生成的扩增策略应用于训练集和验证集，获得扩增后的训练集和验证集；
分类模块，用于将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类。
8.如权利要求7所述的装置，其特征在于，所述装置还包括权值更新模块块，用于在将扩增后的训练集和验证集在预定义的卷积神经网络上进行AOI缺陷分类之后：
通过测试集测试在预定义的卷积神经网络上进行缺陷分类的准确度，以测试集上的准确度作为奖励信号，对强化学习控制器的权值进行更新。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1至6中任一项权利要求所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项权利要求所述的方法。
CN201910270941.XA 2019-04-04 2019-04-04 一种基于强化学习的aoi缺陷分类方法及装置 Pending CN110033035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270941.XA CN110033035A (zh) 2019-04-04 2019-04-04 一种基于强化学习的aoi缺陷分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270941.XA CN110033035A (zh) 2019-04-04 2019-04-04 一种基于强化学习的aoi缺陷分类方法及装置

Publications (1)

Publication Number Publication Date
CN110033035A true CN110033035A (zh) 2019-07-19

Family

ID=67237540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270941.XA Pending CN110033035A (zh) 2019-04-04 2019-04-04 一种基于强化学习的aoi缺陷分类方法及装置

Country Status (1)

Country Link
CN (1) CN110033035A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567967A (zh) * 2019-08-20 2019-12-13 武汉精立电子技术有限公司 显示面板检测方法、系统、终端设备及计算机可读介质
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN111899186A (zh) * 2020-06-29 2020-11-06 深圳中兴网信科技有限公司 图像数据增强方法、系统、存储介质和堆场覆盖检测方法
CN112488203A (zh) * 2020-11-30 2021-03-12 中国航天时代电子有限公司 一种面向似六边形弹孔智能识别检测的数据集扩增方法
CN113032919A (zh) * 2021-03-12 2021-06-25 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构
CN113268914A (zh) * 2020-02-14 2021-08-17 聚积科技股份有限公司 发光二极管调屏标准判定模型建立方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075238A (zh) * 2006-06-28 2007-11-21 腾讯科技（深圳）有限公司 一种多媒体文件搜索引擎的排序方法
CN101520831A (zh) * 2009-03-27 2009-09-02 深圳市永达电子有限公司 安全终端系统及终端安全方法
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
CN107944476A (zh) * 2017-11-10 2018-04-20 大连理工大学 一种基于深度强化学习的黄桃挖核机器人行为控制方法
CN107977609A (zh) * 2017-11-20 2018-05-01 华南理工大学 一种基于cnn的指静脉身份验证方法
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075238A (zh) * 2006-06-28 2007-11-21 腾讯科技（深圳）有限公司 一种多媒体文件搜索引擎的排序方法
CN101520831A (zh) * 2009-03-27 2009-09-02 深圳市永达电子有限公司 安全终端系统及终端安全方法
CN104102919A (zh) * 2014-07-14 2014-10-15 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
US20180017501A1 (en) * 2016-07-13 2018-01-18 Sightline Innovation Inc. System and method for surface inspection
CN107944476A (zh) * 2017-11-10 2018-04-20 大连理工大学 一种基于深度强化学习的黄桃挖核机器人行为控制方法
CN107977609A (zh) * 2017-11-20 2018-05-01 华南理工大学 一种基于cnn的指静脉身份验证方法
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王日升 等: "基于分类精度和相关性的随机森林算法改进", 《科学技术与工程》 *
郑起莹 等: "基于XACML的Web服务安全访问控制模型", 《计算机工程与设计》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567967A (zh) * 2019-08-20 2019-12-13 武汉精立电子技术有限公司 显示面板检测方法、系统、终端设备及计算机可读介质
CN110567967B (zh) * 2019-08-20 2022-06-17 武汉精立电子技术有限公司 显示面板检测方法、系统、终端设备及计算机可读介质
CN110807109A (zh) * 2019-11-08 2020-02-18 北京金山云网络技术有限公司 数据增强策略的生成方法、数据增强方法和装置
CN113268914A (zh) * 2020-02-14 2021-08-17 聚积科技股份有限公司 发光二极管调屏标准判定模型建立方法
CN111899186A (zh) * 2020-06-29 2020-11-06 深圳中兴网信科技有限公司 图像数据增强方法、系统、存储介质和堆场覆盖检测方法
CN112488203A (zh) * 2020-11-30 2021-03-12 中国航天时代电子有限公司 一种面向似六边形弹孔智能识别检测的数据集扩增方法
CN112488203B (zh) * 2020-11-30 2023-10-27 中国航天时代电子有限公司 一种面向似六边形弹孔智能识别检测的数据集扩增方法
CN113032919A (zh) * 2021-03-12 2021-06-25 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构
CN113032919B (zh) * 2021-03-12 2022-03-04 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构

Similar Documents

Publication Publication Date Title
CN110033035A (zh) 一种基于强化学习的aoi缺陷分类方法及装置
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
Zhao et al. A visual long-short-term memory based integrated CNN model for fabric defect image classification
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN113192040A (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN110414601A (zh) 基于深度卷积对抗网络的光伏组件故障诊断方法、系统及设备
CN111768365B (zh) 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN108171707A (zh) 一种基于深度学习的Mura缺陷等级评判方法及装置
CN106557778A (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN104200478B (zh) 一种基于稀疏表示的低分辨率触摸屏图像缺陷检测方法
CN107609575A (zh) 书法评价方法、书法评价装置和电子设备
CN109829895A (zh) 一种基于gan的aoi缺陷检测方法
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN109187579A (zh) 织物疵点检测方法及装置、计算机设备及计算机可读介质
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN112686894A (zh) 基于生成式对抗网络的fpcb板缺陷检测方法及装置
CN104954741A (zh) 深层次自我学习网络实现矿车空满状态的检测方法和系统
CN109543720A (zh) 一种基于对抗生成网络的晶圆图缺陷模式识别方法
CN109726671A (zh) 从全局到类别特征表达学习的动作识别方法和系统
CN112001219A (zh) 一种多角度多人脸识别考勤方法及系统
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统
Zhu et al. Deep-learning-enabled automatic optical inspection for module-level defects in LCD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190719