CN114022657A - 一种屏幕缺陷分类方法、电子设备及存储介质 - Google Patents

一种屏幕缺陷分类方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114022657A
CN114022657A CN202210009602.8A CN202210009602A CN114022657A CN 114022657 A CN114022657 A CN 114022657A CN 202210009602 A CN202210009602 A CN 202210009602A CN 114022657 A CN114022657 A CN 114022657A
Authority
CN
China
Prior art keywords
defect
image
screen
training
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210009602.8A
Other languages
English (en)
Other versions
CN114022657B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoshi Technology Suzhou Co ltd
Original Assignee
Gaoshi Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoshi Technology Suzhou Co ltd filed Critical Gaoshi Technology Suzhou Co ltd
Priority to CN202210009602.8A priority Critical patent/CN114022657B/zh
Publication of CN114022657A publication Critical patent/CN114022657A/zh
Application granted granted Critical
Publication of CN114022657B publication Critical patent/CN114022657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种屏幕缺陷分类方法、电子设备及存储介质。该屏幕缺陷分类方法包括：对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，预处理包括：滤波、阈值分割、缺陷面积和边缘分析、尺度调整和降采样。缺陷样本图像包括缺陷ROI区域，缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸，通过屏幕缺陷检测网络对缺陷样本图像进行分类，得到屏幕缺陷图像的缺陷类型。本申请通过结合预处理和屏幕缺陷检测网络，能够快速准确的获取包含缺陷ROI区域的缺陷样本图像，带有准确的缺陷ROI区域的缺陷样本图像能够提高屏幕缺陷检测网络的分类准确率。另外，本申请还能够解决传统算法需要根据不同缺陷类型调整参数和运算步骤的问题。

Description

一种屏幕缺陷分类方法、电子设备及存储介质
技术领域
本申请涉及屏幕缺陷检测技术领域，尤其涉及一种屏幕缺陷分类方法、电子设备及存储介质。
背景技术
屏幕缺陷分类方法可以检测出屏幕缺陷ROI区域，降低产品过检率和漏检率。现有的屏幕缺陷分类方法主要分为两类，一类是传统图像处理算法，另一类是卷积神经网络算法。传统图像处理算法根据不同类型的缺陷调整算法参数和算法步骤的顺序，增加了维护的工作量。卷积神经网络算法在采集缺陷ROI区域时，通常采用滑窗采集的方式，部分缺陷对应的图像区域跨度较大，可能导致采集的缺陷ROI区域不完整，使得屏幕缺陷分类准确率低。
传统图像处理算法使得维护工作量增加，卷积神经网络算法采集的缺陷ROI区域可能不完整，使得屏幕缺陷分类准确率低。
发明内容
本申请第一方面提供一种屏幕缺陷分类方法，包括：
对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，所述预处理包括：
对所述输入的屏幕缺陷图像进行滤波，得到滤波后的图像；对所述滤波后的图像进行阈值分割，得到阈值分割后的图像；对所述阈值分割后的图像进行缺陷面积和边缘分析，得到缺陷分割图像；对所述缺陷分割图像进行尺度调整，得到尺度调整图像；对所述尺度调整图像进行降采样，得到所述缺陷样本图像；
所述缺陷样本图像包括缺陷ROI区域，所述缺陷ROI区域为与所述屏幕缺陷图像中背景区域的颜色和轮廓皆不一致的图像区域；所述缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸；
通过所述屏幕缺陷检测网络对所述缺陷样本图像进行分类，得到所述屏幕缺陷图像的缺陷类型；所述屏幕缺陷检测网络为使用特征融合训练图像和特征融合训练标签训练得到的网络。
进一步地，在所述得到缺陷样本图像之后，还包括：
对缺少缺陷样本图像的缺陷类型进行样本扩充，获得缺陷训练图像；
所述对缺少缺陷样本图像的缺陷类型进行样本扩充，包括：
对所述缺陷样本图像进行旋转、平移、镜像和随机裁剪中的一种或多种处理后生成虚拟缺陷样本图像，将所述虚拟缺陷样本图像加入到同类型的所述缺陷样本图像。
进一步地，在所述获得缺陷训练图像之后，还包括：
将无缺陷训练图像和所述缺陷训练图像进行特征融合，得到所述特征融合训练图像和所述特征融合训练标签，其中，所述无缺陷训练图像为对不含屏幕缺陷的图像进行所述预处理得到的图像；
所述特征融合使用混类增强MixUp法，包括：
根据以下公式基于融合权重函数的两个分布参数得到融合权重：
λ=Beta（α,β）；
其中，λ为所述融合权重，α为第一分布参数，β为第二分布参数；
根据以下公式基于所述融合权重对所述无缺陷训练图像和所述缺陷训练图像进行加权融合，得到所述特征融合训练图像：
mixed_batchx=λ*batchx1+(1-λ)*batchx2；
其中，mixed_batchx为特征融合训练图像，batchx1为所述无缺陷训练图像，batchx2为所述缺陷训练图像；
根据以下公式对所述无缺陷训练图像对应的标签和所述缺陷训练图像对应的标签进行加权融合，得到所述特征融合训练标签：
mixed_batchy=λ*batchy1+(1-λ)*batchy2；
其中，mixed_batchy为特征融合训练标签，batchy1为所述无缺陷训练图像对应的标签，batchy2为所述缺陷训练图像对应的标签。
所述屏幕缺陷检测网络，包括：
输入层，用于获取图像；
2个64通道的卷积层，用于根据输入层获取的图像输出图像第一层特征；
2个128通道的卷积层，用于根据所述图像第一层特征输出图像第二层特征；
2个256通道的卷积层，用于根据所述图像第二层特征输出图像第三层特征；
4个512通道的卷积层，用于根据所述图像第三层特征输出图像第四层特征；
最大池化层，对所述图像第四层特征使用最大池化的方式进行池化后输出池化后的图像特征，用于减少图像的特征和保持图像特征不变；
全连接层，用于对池化后的图像特征进行加权求和，输出各个分类的概率；
输出层，用于根据各个分类的概率，使用归一化指数函数输出分类结果。
进一步地，在所述得到所述屏幕缺陷图像的缺陷类型之后，还包括：
增加分类准确率低的缺陷类型对应的缺陷训练图像；
调整所述屏幕缺陷检测网络的训练参数；
对未经训练的屏幕缺陷检测网络使用增加后的缺陷训练图像，训练所述未经训练的屏幕缺陷检测网络，得到优化后的屏幕缺陷检测网络。
所述缺少缺陷样本图像的缺陷类型，包括：
白点状亮度不均匀、异物晕开或边缘漏光。
进一步地，Beta为贝塔分布，第一分布参数α设置为0.5，第二分布参数β设置为0.5。
所述屏幕缺陷检测网络的训练参数，包括：
学习率、最大迭代次数或激活函数。
本申请第二方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行本申请提供的任一种屏幕缺陷分类方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行本申请提供的任一种屏幕缺陷分类方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供一种屏幕缺陷分类方法，对输入的屏幕缺陷图像进行预处理，能够快速准确的获取包含缺陷ROI区域的缺陷样本图像，将缺陷样本图像输入屏幕缺陷检测网络进行分类，带有准确的缺陷ROI区域的缺陷样本图像能够提高屏幕缺陷检测网络的分类准确率。通过结合预处理和屏幕缺陷检测网络，还能够解决传统算法需要根据不同缺陷类型调整参数和运算步骤的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的屏幕缺陷图像的缺陷分类的流程示意图；
图2是本申请实施例示出的屏幕缺陷检测网络的训练方法的流程示意图；
图3是本申请实施例示出的屏幕缺陷检测网络的结构示意图；
图4是本申请实施例示出的优化屏幕缺陷检测网络的流程示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
传统图像处理算法需要根据不同缺陷类型调整参数和运算步骤，增加了维护的工作量，而卷积神经网络算法在获取图像缺陷ROI区域时，当缺陷ROI区域跨度较大时，可能导致采集的缺陷ROI区域不完整，会降低屏幕缺陷检测网络的分类准确率。
针对上述问题，本申请实施例提供了解决方案，请参阅图1，图1是本申请实施例示出的屏幕缺陷图像的缺陷分类的流程示意图。
屏幕缺陷图像经过预处理后得到缺陷样本图像，将缺陷样本图像输入屏幕缺陷检测网络进行分类，得到屏幕缺陷图像的缺陷类型。
屏幕缺陷图像的缺陷分类过程如下：
A1、对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像。
屏幕缺陷图像可以是带有缺陷ROI区域的屏幕图像，也可以是无缺陷的屏幕图像。
所述预处理包括：滤波，阈值分割，缺陷面积和边缘分析，尺度调整和降采样，按照顺序依次进行滤波，阈值分割，缺陷面积和边缘分析，尺度调整和降采样。
在本申请实施例中，滤波过程具体如下：对所述输入的屏幕缺陷图像进行滤波，得到滤波后的图像，其中，滤波包括高斯滤波或中值滤波。
示例性地，如果输入的屏幕缺陷图像在缺陷ROI附近噪声分布不均匀，可以采用中值滤波；如果输入的屏幕缺陷图像在缺陷ROI附近噪声分布均匀，可以采用高斯滤波。
阈值分割过程具体如下：对所述滤波后的图像进行阈值分割，得到阈值分割后的图像，其中，阈值分割包括最大类间方差法或自定义阈值法。
示例性地，如果屏幕缺陷类型是较常见的，可以人工设置阈值，使用自定义阈值法。如果需要根据图像通过计算的方式得到分割阈值，使用最大类间方差法。
缺陷面积和边缘分析过程具体如下：对阈值分割后的图像进行缺陷面积和边缘的分析，得到缺陷分割图像。
尺度调整过程具体如下：对所述缺陷分割图像的长和宽用相同的倍数进行调整，得到尺度调整图像。示例性，分割图像大小为150×200，分割图像的长和宽都调整到M倍，M=0.5，调整后尺度调整图像的尺寸为75×100。
降采样过程具体如下：对所述尺度调整图像进行降采样，得到所述缺陷样本图像。根据降采样因子对尺度调整图像进行采样，从而降低尺度调整图像的分辨率。示例性地，尺寸调整图像分辨率为100×150，降采样因子N=2，降采样得到的缺陷样本图像分辨率为50×75。
在本申请实施例中，缺陷样本图像包括缺陷ROI区域，所述缺陷ROI区域为与所述屏幕缺陷图像中背景区域的颜色和轮廓皆不一致的图像区域；所述缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸。
其中，输入的屏幕缺陷图像可以是LCD屏幕缺陷图像，也可以是其他类型的屏幕缺陷图像。
在上述预处理过程中，先进行尺度调整，再进行降采样可以防止调整图像尺寸后缺陷发生形变。
A2、通过屏幕缺陷检测网络对缺陷样本图像进行分类，得到屏幕缺陷图像的缺陷类型。
具体的：
如果输入的缺陷样本图像不含缺陷ROI区域，则得到的屏幕缺陷图像的缺陷类型为无缺陷。
如果输入的缺陷样本图像包含缺陷ROI区域，则得到屏幕缺陷图像相应的缺陷类型。
本申请提供一种屏幕缺陷分类方法，对输入的屏幕缺陷图像进行预处理，能够快速准确的获取包含缺陷ROI区域的缺陷样本图像，将缺陷样本图像输入屏幕缺陷检测网络进行分类，带有准确的缺陷ROI区域的缺陷样本图像能够提高屏幕缺陷检测网络的分类准确率。通过结合预处理和屏幕缺陷检测网络，还能够解决传统算法需要根据不同缺陷类型调整参数和运算步骤的问题。
实施例二
为了增强屏幕缺陷检测网络的泛化能力，提高屏幕缺陷检测网络分类的准确率。
本申请实施例提供一种屏幕缺陷检测网络的训练方法，请参阅图2，图2是本申请实施例示出的屏幕缺陷检测网络的训练方法的流程示意图。
B1、对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像。
在本申请实施例中，步骤B1与上述实施例一中的步骤A1内容一致，此处不再赘述。
B2、对缺少缺陷样本图像的缺陷类型进行样本扩充，获得缺陷训练图像。
示例性的：对数量较少的缺陷样本图像进行旋转、平移、镜像和随机裁剪中的一种或多种处理后生成虚拟样本图像，将所述虚拟样本图像加入到同类型的缺陷样本图像，获得缺陷训练图像。缺少缺陷样本图像的缺陷类型包括：白点状亮度不均匀、异物晕开或边缘漏光。
对缺少样本图像的缺陷类型进行样本扩充，可以平衡不同缺陷类型的样本数量，增强屏幕缺陷检测网络的泛化能力。
B3、将无缺陷训练图像和缺陷训练图像进行特征融合，得到特征融合训练图像和特征融合训练标签。
其中，特征融合使用混类增强MixUp法，包括：
根据以下公式基于融合权重函数的两个分布参数α和β得到融合权重λ：
λ=Beta（α,β）；
Beta为贝塔分布，第一分布参数α设置为0.5，也可以设置为其他值，第二分布参数β设置为0.5，也可以设置为其他值。第一分布参数α的取值可以根据实际情况进行设定，优选地，第一分布参数α的取值为0.5；第二分布参数β的取值可以根据实际情况进行设定，优选地，第二分布参数β的取值为0.5。
根据以下公式基于所述融合权重λ将无缺陷训练图像和缺陷训练图像进行加权融合，得到所述特征融合训练图像：
mixed_batchx=λ*batchx1+(1-λ)*batchx2，其中，mixed_batchx为特征融合训练图像，batchx1为无缺陷训练图像，batchx2为缺陷训练图像。
根据以下公式对无缺陷训练图像对应的标签和缺陷训练图像对应的标签进行加权融合，得到所述特征融合训练标签：
mixed_batchy=λ*batchy1+(1-λ)*batchy2，其中，mixed_batchy为特征融合训练标签，batchy1为无缺陷训练图像对应的标签，batchy2为缺陷训练图像的对应的标签。
B4、将特征融合训练图像和特征融合训练标签输入屏幕缺陷检测网络进行训练。
图3是本申请实施例示出的屏幕缺陷检测网络的结构示意图，请参阅图3，屏幕缺陷检测网络，包括：
输入层，即图3中的Input Image，用于获取图像；
2个64通道的卷积层，即图3中的Conv3-64，用于根据输入层获取的图像输出图像第一层特征；
2个128通道的卷积层，即图3中的Conv3-128，用于根据所述图像第一层特征输出图像第二层特征；
2个256通道的卷积层，即图3中的Conv3-256，用于根据所述图像第二层特征输出图像第三层特征；
4个512通道的卷积层，即图3中的Conv3-512，用于根据所述图像第三层特征输出图像第四层特征；
其中，所用的卷积层全部为conv3卷积层，conv3卷积层的卷积核尺寸为3×3。
最大池化层，即图3中的Maxpool，对所述图像第四层特征使用最大池化的方式进行池化后输出池化后的图像特征，用于减少图像的特征和保持图像特征不变；
全连接层，即图3中的FC-1000，用于输入池化后的图像特征，对池化后的图像特征进行加权求和，输出各个分类的概率；
输出层，即图中的Softmax，用于根据各个分类的概率，使用归一化指数函数输出分类结果。
本申请实施例提供一种屏幕缺陷检测网络的训练方法，通过结合传统算法和屏幕缺陷检测网络，能够快速准确的得到缺陷分割图像，缺陷分割图像为包含与背景区域的颜色和轮廓不一致的缺陷ROI区域的图像，通过准确的缺陷分割图像得到准确的特征融合训练图像和特征融合训练标签，从而训练得到屏幕缺陷分类准确率高的屏幕缺陷检测网络。产品升级后屏幕缺陷检测网络只需重新训练即可，解决了传统算法大量调整参数的问题。
实施例三
通过屏幕缺陷检测网络对缺陷样本图像进行分类，得到屏幕缺陷图像的缺陷类型之后，需要提高分类准确率低的缺陷类型的分类准确率，对屏幕缺陷检测网络进行优化。
本申请实施例提供一种优化屏幕缺陷检测网络的方法，请参阅图4，图4是本申请实施例示出的优化屏幕缺陷检测网络的流程示意图。
C1、增加分类准确率低的缺陷类型对应的缺陷训练图像。
示例性地，若通过屏幕缺陷检测网络对缺陷样本图像进行分类后发现白点状亮度不均匀类型的屏幕缺陷分类准确率低，则相应地，增加白点状亮度不均匀类型的缺陷训练图像。
C2、调整屏幕缺陷检测网络的训练参数。
在本申请实施例中，屏幕缺陷检测网络的训练参数包括但不限于学习率、最大迭代次数或激活函数。
C3、训练未经训练的屏幕缺陷检测网络，得到优化后的屏幕缺陷检测网络。
对未经训练的屏幕缺陷检测网络使用增加后的缺陷训练图像，训练未经训练的屏幕缺陷检测网络，得到优化后的屏幕缺陷检测网络。
本申请实施例通过增加分类准确率低的缺陷类型对应的缺陷训练图像，以及调整屏幕缺陷检测网络的训练参数对未经训练的屏幕缺陷检测网络训练，得到优化后的屏幕缺陷检测网络，能够提高分类准确率低的缺陷类型的分类准确率。
实施例四
与前述应用功能实现方法实施例相对应，本申请还提供了一种电子设备及相应的实施例。
图5是本申请实施例示出的电子设备的结构示意图。
参见图5，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种屏幕缺陷分类方法，其特征在于，包括：
对输入的屏幕缺陷图像进行预处理，得到缺陷样本图像，所述预处理包括：
对所述输入的屏幕缺陷图像进行滤波，得到滤波后的图像；对所述滤波后的图像进行阈值分割，得到阈值分割后的图像；对所述阈值分割后的图像进行缺陷面积和边缘分析，得到缺陷分割图像；对所述缺陷分割图像进行尺度调整，得到尺度调整图像；对所述尺度调整图像进行降采样，得到所述缺陷样本图像；
所述缺陷样本图像包括缺陷ROI区域，所述缺陷ROI区域为与所述屏幕缺陷图像中背景区域的颜色和轮廓皆不一致的图像区域；所述缺陷样本图像的尺寸符合屏幕缺陷检测网络的输入图像尺寸；
通过所述屏幕缺陷检测网络对所述缺陷样本图像进行分类，得到所述屏幕缺陷图像的缺陷类型；所述屏幕缺陷检测网络为使用特征融合训练图像和特征融合训练标签训练得到的网络。
2.根据权利要求1所述的一种屏幕缺陷分类方法，其特征在于，在所述得到缺陷样本图像之后，还包括：
对缺少缺陷样本图像的缺陷类型进行样本扩充，获得缺陷训练图像；
所述对缺少缺陷样本图像的缺陷类型进行样本扩充，包括：
对所述缺陷样本图像进行旋转、平移、镜像和随机裁剪中的一种或多种处理后生成虚拟缺陷样本图像，将所述虚拟缺陷样本图像加入到同类型的所述缺陷样本图像。
3.根据权利要求2所述的一种屏幕缺陷分类方法，其特征在于，在所述获得缺陷训练图像之后，还包括：
将无缺陷训练图像和所述缺陷训练图像进行特征融合，得到所述特征融合训练图像和所述特征融合训练标签，其中，所述无缺陷训练图像为对不含屏幕缺陷的图像进行所述预处理得到的图像；
所述特征融合使用混类增强MixUp法，包括：
根据以下公式基于融合权重函数的两个分布参数得到融合权重：
λ=Beta（α,β）；
其中，λ为所述融合权重，α为第一分布参数，β为第二分布参数；
根据以下公式基于所述融合权重对所述无缺陷训练图像和所述缺陷训练图像进行加权融合，得到所述特征融合训练图像：
mixed_batchx=λ*batchx1+(1-λ)*batchx2；
其中，mixed_batchx为特征融合训练图像，batchx1为所述无缺陷训练图像，batchx2为所述缺陷训练图像；
根据以下公式对所述无缺陷训练图像对应的标签和所述缺陷训练图像对应的标签进行加权融合，得到所述特征融合训练标签：
mixed_batchy=λ*batchy1+(1-λ)*batchy2；
其中，mixed_batchy为特征融合训练标签，batchy1为所述无缺陷训练图像对应的标签，batchy2为所述缺陷训练图像对应的标签。
4.根据权利要求1所述的一种屏幕缺陷分类方法，其特征在于，所述屏幕缺陷检测网络，包括：
输入层，用于获取图像；
2个64通道的卷积层，用于根据输入层获取的图像输出图像第一层特征；
2个128通道的卷积层，用于根据所述图像第一层特征输出图像第二层特征；
2个256通道的卷积层，用于根据所述图像第二层特征输出图像第三层特征；
4个512通道的卷积层，用于根据所述图像第三层特征输出图像第四层特征；
最大池化层，对所述图像第四层特征使用最大池化的方式进行池化后输出池化后的图像特征，用于减少图像的特征和保持图像特征不变；
全连接层，用于对池化后的图像特征进行加权求和，输出各个分类的概率；
输出层，用于根据各个分类的概率，使用归一化指数函数输出分类结果。
5.根据权利要求1所述的一种屏幕缺陷分类方法，其特征在于，在所述得到所述屏幕缺陷图像的缺陷类型之后，还包括：
增加分类准确率低的缺陷类型对应的缺陷训练图像；
调整所述屏幕缺陷检测网络的训练参数；
对未经训练的屏幕缺陷检测网络使用增加后的缺陷训练图像，训练所述未经训练的屏幕缺陷检测网络，得到优化后的屏幕缺陷检测网络。
6.根据权利要求2所述的一种屏幕缺陷分类方法，其特征在于，所述缺少缺陷样本图像的缺陷类型，包括：
白点状亮度不均匀、异物晕开或边缘漏光。
7.根据权利要求3所述的一种屏幕缺陷分类方法，其特征在于，
Beta为贝塔分布，第一分布参数α设置为0.5，第二分布参数β设置为0.5。
8.根据权利要求5所述的一种屏幕缺陷分类方法，其特征在于，所述屏幕缺陷检测网络的训练参数，包括：
学习率、最大迭代次数或激活函数。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其特征在于，
其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
CN202210009602.8A 2022-01-06 2022-01-06 一种屏幕缺陷分类方法、电子设备及存储介质 Active CN114022657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210009602.8A CN114022657B (zh) 2022-01-06 2022-01-06 一种屏幕缺陷分类方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210009602.8A CN114022657B (zh) 2022-01-06 2022-01-06 一种屏幕缺陷分类方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114022657A true CN114022657A (zh) 2022-02-08
CN114022657B CN114022657B (zh) 2022-05-24

Family

ID=80069918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210009602.8A Active CN114022657B (zh) 2022-01-06 2022-01-06 一种屏幕缺陷分类方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114022657B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797349A (zh) * 2023-02-07 2023-03-14 广东奥普特科技股份有限公司 一种缺陷检测方法、装置和设备
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN117636077A (zh) * 2024-01-25 2024-03-01 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934118A (zh) * 2019-02-19 2019-06-25 河北大学 一种手背静脉身份识别方法
CN111145165A (zh) * 2019-12-30 2020-05-12 北京工业大学 一种基于机器视觉的橡胶密封圈表面缺陷检测方法
CN111768348A (zh) * 2020-05-29 2020-10-13 合肥联宝信息技术有限公司 一种缺陷检测方法、设备及计算机可读存储介质
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质
US20210192714A1 (en) * 2019-12-19 2021-06-24 Qeexo, Co. Automated machine vision-based defect detection
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN113569796A (zh) * 2018-11-16 2021-10-29 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569796A (zh) * 2018-11-16 2021-10-29 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109934118A (zh) * 2019-02-19 2019-06-25 河北大学 一种手背静脉身份识别方法
US20210192714A1 (en) * 2019-12-19 2021-06-24 Qeexo, Co. Automated machine vision-based defect detection
CN111145165A (zh) * 2019-12-30 2020-05-12 北京工业大学 一种基于机器视觉的橡胶密封圈表面缺陷检测方法
CN111951253A (zh) * 2020-05-19 2020-11-17 惠州高视科技有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质
CN111768348A (zh) * 2020-05-29 2020-10-13 合肥联宝信息技术有限公司 一种缺陷检测方法、设备及计算机可读存储介质
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGYI ZHANG 等: "mixup: BEYOND EMPIRICAL RISK MINIMIZATION", 《ARXIV》 *
VENKATESWARARAO CHERUKURI 等: "Deep Retinal Image Segmentation with Regularization Under Geometric Priors", 《ARXIV》 *
庄家俊 等: "面向辅助驾驶的夜间行人检测方法", 《华南理工大学学报(自然科学版)》 *
陆健强 等: "基于Mixup 算法和卷积神经网络的柑橘黄龙病果实识别研究", 《华南农业大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861246A (zh) * 2022-12-09 2023-03-28 马鞍山远昂科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN115861246B (zh) * 2022-12-09 2024-02-27 唐山旭华智能科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN115797349A (zh) * 2023-02-07 2023-03-14 广东奥普特科技股份有限公司 一种缺陷检测方法、装置和设备
CN117636077A (zh) * 2024-01-25 2024-03-01 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质
CN117636077B (zh) * 2024-01-25 2024-04-02 高视科技(苏州)股份有限公司 缺陷检测参数调整方法、电子设备和储存介质

Also Published As

Publication number Publication date
CN114022657B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114022657B (zh) 一种屏幕缺陷分类方法、电子设备及存储介质
CN110276754B (zh) 一种表面缺陷检测方法、终端设备及存储介质
CN111932489B (zh) 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN111968095B (zh) 一种产品表面缺陷检测方法及系统及装置及介质
CN111612751A (zh) 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN115351598A (zh) 一种数控机床轴承检测方法
CN112734756B (zh) 基于光度立体视觉的检测方法及系统
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN111027546B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN111861990B (zh) 一种产品不良外观检测的方法、系统及存储介质
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN112085022A (zh) 一种用于识别文字的方法、系统及设备
CN111179263A (zh) 一种工业图像表面缺陷检测模型、方法、系统及装置
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN110689134A (zh) 执行机器学习过程的方法、装置、设备以及存储介质
JP7453813B2 (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN113409234A (zh) 卷积神经网络(cnn)算法支持的晶片的最小监督自动检查(ai)
JP2022003495A (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及系统
CN110866931B (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
KR101929669B1 (ko) 엔트로피를 이용하여 이미지를 분석하는 방법 및 장치
CN116342474A (zh) 晶圆表面缺陷检测方法
US12008737B2 (en) Deep learning model for noise reduction in low SNR imaging conditions
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province

Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd.