CN111553929A - 基于融合网络的手机屏幕缺陷分割方法、装置及设备 - Google Patents

基于融合网络的手机屏幕缺陷分割方法、装置及设备 Download PDF

Info

Publication number
CN111553929A
CN111553929A CN202010397833.1A CN202010397833A CN111553929A CN 111553929 A CN111553929 A CN 111553929A CN 202010397833 A CN202010397833 A CN 202010397833A CN 111553929 A CN111553929 A CN 111553929A
Authority
CN
China
Prior art keywords
defect
image
network
segmentation
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010397833.1A
Other languages
English (en)
Other versions
CN111553929B (zh
Inventor
许国良
代朝东
徐千淞
陈怡�
田诗韵
雒江涛
毛骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010397833.1A priority Critical patent/CN111553929B/zh
Publication of CN111553929A publication Critical patent/CN111553929A/zh
Application granted granted Critical
Publication of CN111553929B publication Critical patent/CN111553929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器视觉、缺陷检测领域，特别涉及基于融合网络的手机屏幕缺陷分割方法、装置及设备；所述方法包括采集手机屏幕图像，包括缺陷图像和无缺陷图像；利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果；本发明将缺陷检测网络与图像重构网络进行结合，不仅能够实现缺陷小目标的检测，还能准确分割出缺陷图像。

Description

基于融合网络的手机屏幕缺陷分割方法、装置及设备
技术领域
本发明属于机器视觉、缺陷检测领域，特别涉及一种基于融合网络的手机屏幕缺陷分割方法、装置及设备。
背景技术
手机屏幕作为人机交互的第一窗口，用于显示图像及色彩。目前，手机屏幕主要采用薄膜晶体管液晶显示器(Thin-Film-Transistor Liquid-Crystal Display，TFT-LCD)，以及有机发光二极管(Organic Light-Emitting Diode，OLED)。TFT-LCD的构造是在两片平行的玻璃基板当中放置液晶盒，下基板玻璃上设置TFT(薄膜晶体管)，上基板玻璃上设置彩色滤光片，通过TFT上的信号与电压改变来控制液晶分子的转动方向，从而达到控制每个像素点偏振光出射与否而达到显示目的。OLED无需背光灯，采用非常薄的有机材料涂层和玻璃基板，当有电流通过时，这些有机材料就会发光，因为它的结构简单，可以使屏幕做得更轻更薄。
手机屏幕生产科学技术含量高、生产环境要求高，难以保证百分之百合格率。生产环节稍微出现不规范操作就可能造成屏幕缺陷，使得手机屏幕不能正常工作，无法体现应有的光电效应。典型的屏幕显示缺陷有亮点、暗点、亮斑、Mura缺陷等，按形状可以主要分为点缺陷、线缺陷、块缺陷。传统缺陷检测主要依靠专业工人进行检测，但是人工检测成本高昂、检测效率低，难以满足手机屏幕市场的巨大需求。
目前工业上也有针对手机屏幕的自动化检测，通过CCD工业相机采集手机屏幕图像，输入到控制处理系统进行缺陷检测。传统的机器视觉算法，针对特定的缺陷进行设计，在光照变化等复杂场景以及不同手机屏幕产品下，提取的特征不具有通用性，容易造成缺陷的漏检和错检。近年来，深度学习在机器视觉的广泛应用，给缺陷检测打开了新的思路，将深度学习应用于手机屏幕缺陷检测极具研究价值。
在智能化手机屏幕缺陷检测系统中，主要分为两类方法：一类是基于机器视觉的缺陷检测，另一类是基于深度学习的缺陷检测。基于机器视觉的缺陷检测方法，通过对缺陷图像进行背景纹理拟合或背景纹理抑制，来达到消除背景的目的，在不同的缺陷类型和光照变化中，相同的参数设置无法适应各类情况，导致算法的使用场景受限，不具有通用性和灵活性。基于深度学习的缺陷检测，其具有较高的通用性、灵活性、自适应性，近年来成为主流的缺陷检测方法。其中，语义分割网络需要通过构建带有标注信息的图像数据集，在预先构建的网络模型中进行训练，但是存在缺陷数据少，以及缺陷目标小的问题，容易造成漏检和分割精度不高。另外，利用无缺陷图像进行图像重构网络的构建，再对缺陷进行分割，这类方法数据成本较低，分割效果较好，但是分割结果在一定程度上受重构图像影响，容易造成缺陷错检。
语义分割网络在构建训练数据集时，缺陷目标小且不清晰的特点，使得图像信息的标注成本太大，也存在分割精度不高的问题。通过图像重构网络来进行缺陷分割时，网络是对整个图像进行背景重构，在缺陷分割时，受重构效果的影响，容易分割出假缺陷，造成缺陷错检。因此，现有的缺陷分割方法无法达到精准的缺陷分割效果。
发明内容
基于现有技术存在的问题，本发明提供一种基于融合网络的手机屏幕缺陷分割方法、装置及设备，为避免分割出假缺陷，本发明在图像重构网络的基础上，再通过目标检测数据集训练一个缺陷检测网络(相对于语义分割数据集，目标检测数据集的构建难度较小，网络结构适应小目标的检测，并采用轻量级的卷积方式)，提前获取缺陷的具体位置，再从分割结果中提取缺陷。可以实现快速准确的提取缺陷候选框，有效检测缺陷小目标，并实现对缺陷图像的精确分割，结合缺陷候选框，进一步提高缺陷分割准确度。
在本发明的第一方面，本发明的一种基于融合网络的手机屏幕缺陷分割方法，包括：
采集手机屏幕图像，包括缺陷图像和无缺陷图像；
利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；
利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；
将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
在本发明的第二方面，本发明的一种基于融合网络的手机屏幕缺陷分割装置，包括：
图像采集模块，用于采集手机屏幕图像，包括缺陷图像和无缺陷图像；
缺陷检测网络，用于对缺陷图像进行检测，并获得缺陷图像对应的缺陷候选框；
图像重构网络，用于对无缺陷图像进行重构，并恢复出背景重构图像；
第一图像分割模块，将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
第二图像分割模块，在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
在本发明的第三方面，本发明还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种基于融合网络的手机屏幕缺陷分割方法。
本发明的有益效果：
本发明与现有的缺陷分割方法相比：
1、本发明设计了一种轻量级的缺陷检测网络，并有效针对缺陷小目标，通过迁移学习的方式，解决了网络训练数据量不足的问题，实现检测小目标缺陷又快又准。
2、本发明用无缺陷图像训练图像重构网络，其训练数据获取不受限制，不需要标注图像信息，并且通过构建一种多尺度特征的图像重构网络，可以融合更多图像信息，提高缺陷分割精度，并结合缺陷检测网络的缺陷候选框，进一步提高缺陷分割的准确度。
附图说明
图1是本发明的基于融合网络的手机屏幕缺陷分割方法流程示意图；
图2是本发明的缺陷检测网络结构示意图；
图3是本发明的缺陷检测网络中主干网络的卷积模块示意图；
图4是本发明的图像重构网络结构示意图；
图5是本发明的方法处理过程示意图；
图6是本发明的基于融合网络的手机屏幕缺陷分割装置结构图；
图7是本发明中计算机设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于融合网络的手机屏幕缺陷分割方法、装置及设备，能够有效地改进手机屏幕缺陷分割中的分割效果，相应地，该种缺陷分割方法适用于手机屏幕缺陷分割装置，该缺陷分割装置部署于冯诺依曼体系结构的计算机设备中，例如该计算机设备可以是个人计算机和服务器等。
图1是本发明的一种基于融合网络的手机屏幕缺陷分割方法流程图，包括：
采集手机屏幕图像，包括缺陷图像和无缺陷图像；
利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；
利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；
将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
在一个实施例中，采集手机屏幕图像时，需要对其中的缺陷图像标注缺陷类型和边框位置等信息，并结合公开数据集中的磁瓦缺陷数据集、钢材表面缺陷数据集，构建缺陷图像数据集；而对于无缺陷图像，本实施例仅用无缺陷的手机屏幕图像构建出无缺陷图像数据集，无需对其进行标注。
在一个实施例中，所述缺陷检测网络包括基于轻量级卷积神经网络的主干网络和多尺度特征图的检测头部网络；其中，轻量级卷积神经网络包括依次连接的输入层、卷积层、归一化层、激活函数层以及输出层，卷积层的卷积形式为深度可分离卷积，包括顺次相连的两个深度卷积核与一个逐点卷积核，采用依次连接各卷积核的方式和跳跃连接的方式，将输入层的输入进行特征提取和特征堆叠，再从输出层输出至下一层，通过本实施例的设置，卷积中步长和填充的设置，使卷积前后的特征图大小相等，将卷积前的特征与卷积池化后的特征进行堆叠，增加通道数，减少卷积中的参数量和计算量的同时，保证特征信息不丢失。
在一个实施例中，如图2所示，所述缺陷检测网络还包括：缺陷检测网络的检测头部网络，在使用图3所示卷积模块构建主干网络后，缺陷图像从主干网络中提取最后三层的特征图输入检测头部网络，其中的1*1卷积用于特征图通道数控制。最后一层的特征图进行上采样，保证与前一层特征图具有相同的尺寸大小，然后进行通道数合并，再进行上采样，与前一层的特征图进行通道数合并，最后对输出的三层特征图通过回归层(检测器)和分类层(分类器)进行检测，经过快速的非极大值抑制输出结果；其中，检测器对候选框进行边框回归，分类器进行类别预测。
在一个实施例中，如图3所示，给出了所述主干网络中可以使用的两种卷积模块，这两种卷积模块都可以实现特征提取和特征堆叠；这两种卷积模块中1*1卷积用于扩充或减少特征图数量，3*3卷积用于特征提取，并在卷积层之间采用跳跃连接，增强特征信息；这两种卷积模块的区别在于，其3*3卷积的步长和填充不一致；通过步长和填充的设置，可以使卷积前后的特征图大小都是相等的。
假设输入的特征图F大小为DF*DF*M，标准卷积结构的卷积核大小为DK*DK*M*N，输出的特征图大小为DG*DG*N，计算量为DK*DK*M*N*DF*DF。在深度可分离卷积中，深度卷积作用在特征图的每一个通道上，不增加通道的数量，逐点卷积作用在深度卷积的输出上，可以增加或减少通道数量。假设深度卷积的卷积核大小为DK*DK*1*M，输出为DG*DG*M，计算量为DK*DK*M*DF*DF，在进行逐点卷积，卷积核大小为1*1*M*N，输出为DG*DG*N，计算量为M*N*DF*DF，与标准卷积相比较：
Figure BDA0002488235790000061
使用3x3卷积的情况下，计算量比标准卷积可以减少8到9倍。在参数量方面，标准卷积参数量为DK*DK*M*N，深度可分离卷积参数量为DK*DK*1*M+1*1*M*N，减少了大量的参数。
在一个实施例中，为了方便描述，本发明中从主干网络中获取三种尺度大小的特征图，通过1*1卷积来控制特征图的通道数，后一层特征图进行上采样再与前一层的特征图进行连接，从网络中选取的三种大小尺度的特征图，在特征图的每个像素点上，按1:1、1:2、2:1三种比例设置候选框，通过自适应训练样本选择进行了正负样本控制，提高小目标检测结果稳定性，再通过回归层和分类层进行边框预测和类别预测，检测头部的损失函数表达式如下：
Loss＝L1+L2+L3+L4
Figure BDA0002488235790000071
Figure BDA0002488235790000072
Figure BDA0002488235790000073
Figure BDA0002488235790000074
式中，Loss表示检测头部网络的损失；L1为中心点损失，L2为宽高损失，L3为置信度损失，L4为分类损失；其中，
Figure BDA0002488235790000075
表示第i个输出框是否有目标，其值对应为1或0，M表示检测头部网络进行一轮训练所输入的缺陷图像的数量，(xi、yi)表示第i个输出框的中心坐标；wi表示第i个输出框的宽度；hi表示第i个输出框的高度；Ci表示第i个输出框的置信度；pi表示第i个输出框的对应类别概率；
Figure BDA0002488235790000076
表示第i个输出框所对应标注的真实框的中心坐标；
Figure BDA0002488235790000077
表示第i个输出框所对应标注的真实框的宽度；
Figure BDA0002488235790000078
表示第i个输出框所对应标注的真实框的高度；
Figure BDA0002488235790000079
表示第i个输出框所对应标注的真实框的置信度；
Figure BDA00024882357900000710
表示第i个输出框所对应标注的真实框的对应类别概率。
在一个优选实施例中，将训练数据划分训练集和验证集比例为9：1，设置检测头部网络的数据训练轮数为150，若完成训练轮数，则停止训练；或连续10轮训练，且缺陷检测网络的验证集损失没有下降，则停止训练。
置信度损失分为有目标和无目标两种情况，是根据检测框是否有对应的真实缺陷框来进行选择。在中心损失和宽度损失中乘上一个系数(2-wi×hi)，物体越小损失越大，有利于小目标的检测。
在一个实施例中，为了保证有足够的正负样本进行训练，本实施例所采用的自适应训练样本选择是计算设置的每个缺陷候选框中心点与真实缺陷框中心点的欧式距离：
Figure BDA00024882357900000711
将距离较近的候选框加入备选正样本集合Cg，对备选正样本集合Cg中的每个候选框，计算与真实框的交并比Dg，然后计算Dg的均值mg和标准差vg，选取tg＝mg+vg作为交并比的阈值，只有Cg中与真实框的交并比大于阈值tg被选为正样本候选框，从而保持正负样本总数一定；通过这种方式可以保证有足够的正负样本进行训练，能够有效避免缺陷的漏检；其中，I1表示候选框中心点，I2表示真实缺陷框中心点。
在一个实施例中，本实施例中缺陷检测网络的训练方式为迁移学习方法，具体的，在已训练好的权重基础上进行微调的训练方式，主干网络权重已在ImageNet或COCO数据集下训练好，在已训练好的主干网络中即权重已固定的主干网络的基础上，利用构建出的缺陷图像数据集，训练缺陷检测头部网络，检测头部网络训练完成后，解除已固定的主干网络权重，对整个缺陷检测网络的权重进行微调训练。
在一个实施例中，如图4所示，图像重构网络包括去噪自编码器，其解码器采用多层特征融合的特征金字塔结构；利用编码器获取无缺陷图像在不同尺度的特征图；采用解码器对不同尺度的特征图进行解码，从而得到背景重构图像；本实施例能够提高缺陷分割的精度，去噪自编码器在编码阶段给图像增加噪声，使输入图像变为噪声图像，在解码阶段迫使网络的输出等于输入，从而让网络可以学习到去噪功能，实现从缺陷图像中重构出背景纹理图像。
具体的，所述图像重构网络通过卷积去噪自编码器进行构建，包括噪声模块、编码器、解码器，其中，噪声模块给无缺陷图像添加椒盐噪声、高斯噪声、掩膜噪声干扰；编码器部分包含卷积层、激活函数层、池化层，对图像进行特征提取和下采样；解码器部分包含卷积层、激活函数层、上采样层，并采用多层特征融合的特征金字塔结构，从编码器获取不同尺度的特征图，利用解码器对不同尺度的特征图进行解码，从而得到背景重构图像。
一般而言，图像重构网络训练设置数据训练150轮，完成训练轮数则停止训练。
图像重构网络所采用的误差损失函数表示为：
Figure BDA0002488235790000081
Ix为原始的无缺陷图像，Iy为背景重构图像，M为图像重构网络进行一轮训练所输入的无缺陷图像的数量。
在一个实施例中，缺陷分割图的获取方式包括对缺陷图像和背景重构图像进行空间域的减法运算，确定出差值图像；采用通过三角法在差值图像的像素直方图确定出自适应的图像阈值，并按照图像阈值对差值图像进行分割，得到缺陷分割图；其中，自适应的图像阈值的获取方式包括在差值图像的像素直方图的最高峰到最低峰构造出直线，遍历计算直方图中各个像素值位置到直线的垂直距离，将距离最大的像素值位置作为图像阈值。
差值运算是对图像进行空间域的减法运算，表达式如下：
Ir＝abs(I-Ib)
Ir为差值后的图像，I为缺陷图像，Ib为背景重构图像，abs表示绝对值运算。阈值分割是对差值运算后的图像进行缺陷分割，
Figure BDA0002488235790000091
Is为阈值分割后的图像，Ir为差值图像。阈值通过自适应选取，通过三角法在差值图像的像素直方图确定，在像素直方图的最高峰到最低峰构造直线，遍历计算直方图中像素值位置到直线的垂直距离，距离最大的像素值位置为图像阈值。
用缺陷图像数据集通过迁移学习的方式训练缺陷检测网络，用无缺陷图像训练图像重构网络。缺陷数据量无法满足从头训练缺陷检测网络的要求，所以利用迁移学习来训练缺陷检测网络。主干网络通过ImageNet或COCO数据集训练，权重得到充分训练，本发明利用迁移学习的思想，在已训练好的网络基础上，针对自己的数据集进行微调，第一步固定已训练好的主干网络权重，利用自己的数据集在检测头部进行训练，更新检测头部的网络权重，第二步解除固定的主干网络权重，利用自己的数据集在整个网络上进行权重更新，完成网络的训练，最后得到的网络可以很好地适应自己的数据集。
在训练图像重构网络时，编码器输入的是无缺陷图像，经过一个人为添加的噪声模块，在图像上添加高斯噪声、椒盐噪声、掩膜噪声等干扰，高斯噪声是一个均值为0，方差为σ2的正态分布，是一个加性噪声，它的定义如下：
Figure BDA0002488235790000101
x表示灰度值，μ和σ2分别表示期望和方差。随机产生一个满足上式的噪声Inoise，高斯噪声为加性噪声，因此噪声图像表示为：Igau_noise＝In×n+Inoise。
椒盐噪声为随机给图像像素点置为0或255，定义如下：
Figure BDA0002488235790000102
掩膜噪声是在图像随机位置加上掩膜块，噪声图像表示为：Imask_noise＝In×n+Inoise，10<n<50，In×n表示n×n大小的黑色像素块。无缺陷图像变成噪声图像，表达式为：
Figure BDA0002488235790000103
x为输入的无缺陷图像，f(x)为噪声模块，
Figure BDA0002488235790000104
为噪声图像。最后期望在解码器输出的是和输入一样的无缺陷图像，设置相应的损失函数指导网络的训练方向，最后输出的背景重构图像和原本的无缺陷图像具有较高的纹理背景相似度。
在一个实施例中，训练完成后，获得最终的缺陷分割结果的过程包括对m个不同尺度大小的特征图进行预测，通过回归和分类确定出缺陷候选框的参数(x,y,w,h,c)，通过快速的非极大值抑制方法进行筛选，选取置信度分数最高的缺陷候选框作为最终检测结果；其中，(x,y)表示缺陷候选框的中心坐标；w表示缺陷候选框的宽度；h表示缺陷候选框的高度；c表示缺陷候选框的置信度；pi表示缺陷候选框的对应类别概率。
在一个实施例中，如图5所示，缺陷图像通过缺陷检测网络得到了缺陷的候选区域位置，通过图像重构网络得到了背景重构图像，利用缺陷候选框的位置坐标以及缺陷分割图，缺陷候选框位置与缺陷分割结果的匹配，提取出缺陷候选框在缺陷分割图中位置坐标下的缺陷部分，筛选出真实的缺陷分割结果，过滤掉图像上的干扰，完成对缺陷的准确分割，获得最终的分割结果。
可以理解的是，本发明中的特征图都是通过对输入图像进行特征提取得到的，若输入的缺陷图像，则对应为缺陷图像的特征图，若输入的无缺陷图像，则对应为无缺陷图像的特征图；在本发明中，输入图像分为缺陷检测网络的缺陷图像，和图像重构网络中无缺陷图像经过处理后的噪声图像。
另外，基于本发明的一种基于融合网络的手机屏幕缺陷分割方法相同构思，本发明还提供了一种基于融合网络的手机屏幕缺陷分割装置，如图6所示，所述装置包括：
图像采集模块，用于采集手机屏幕图像，包括缺陷图像和无缺陷图像；
缺陷检测网络，用于对缺陷图像进行检测，并获得缺陷图像对应的缺陷候选框；
图像重构网络，用于对无缺陷图像进行重构，并恢复出背景重构图像；
第一图像分割模块，将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
第二图像分割模块，在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
在本发明的第三方面，本发明还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种基于融合网络的手机屏幕缺陷分割方法。
本发明的计算机设备包括通过系统总线连接的处理器、存储介质、存储器以及网络接口。其中，系统总线可以是CAN总线也可以是LIN总线，当然也可不限于上述两种总线；计算机设备的存储介质存储有操作系统及计算机指令，该计算机指令是计算机可执行的指令，用于实现本发明实施例中提供的基于用户融合网络的手机屏幕缺陷分割方法。该处理器用于提供计算和控制能力，支撑整个计算机设备的运行。计算机设备中的存储器为存储介质中的操作系统及计算机指令的运行提供环境，网络接口用于与其它的计算机设备进行网络通信。该计算机设备可以是手机、平板电脑、PC(personal computer)等终端，也可以是服务器等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，包括：
采集手机屏幕图像，包括缺陷图像和无缺陷图像；
利用缺陷图像使用迁移学习方法对预先建立的缺陷检测网络进行训练，并获得缺陷图像对应的缺陷候选框；
利用无缺陷图像对预先建立的图像重构网络进行训练，并恢复出背景重构图像；
将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
2.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，所述缺陷检测网络包括基于轻量级卷积神经网络的主干网络和多尺度特征图的检测头部网络；其中，轻量级卷积神经网络包括依次连接的输入层、卷积层、归一化层、激活函数层以及输出层，卷积层的卷积形式为深度可分离卷积，包括顺次相连的两个深度卷积核与一个逐点卷积核，采用依次连接各卷积核的方式和跳跃连接的方式，将输入层的输入进行特征提取和特征堆叠，再从输出层输出至下一层。
3.根据权利要求2所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，检测头部网络从轻量级卷积神经网络中获取m个不同尺度大小的特征图，在特征图的每个像素点上设置n种不同尺度大小的缺陷候选框，通过自适应训练样本选择进行了正负样本控制，设置的缺陷候选框与真实缺陷标注框的交并比大于自适应阈值则为正样本，否则为负样本；通过检测头部网络的回归层进行边框预测、通过检测头部网络的分类层进行类别预测，当完成训练轮数或者检测头部网络的损失函数没有下降时，则停止训练；其中，检测头部网络的损失函数表达式如下：
Loss＝L1+L2+L3+L4
Figure FDA0002488235780000021
Figure FDA0002488235780000022
Figure FDA0002488235780000023
Figure FDA0002488235780000024
式中，Loss表示检测头部网络的损失；L1为中心点损失，L2为宽高损失，L3为置信度损失，L4为分类损失；其中，
Figure FDA0002488235780000025
表示第i个输出框是否有目标，其值对应为1或0，M表示检测头部网络进行一轮训练所输入的缺陷图像的数量，(xi、yi)表示第i个输出框的中心坐标；wi表示第i个输出框的宽度；hi表示第i个输出框的高度；Ci表示第i个输出框的置信度；pi表示第i个输出框的对应类别概率；
Figure FDA0002488235780000026
表示第i个输出框所对应标注的真实框的中心坐标；
Figure FDA0002488235780000027
表示第i个输出框所对应标注的真实框的宽度；
Figure FDA0002488235780000028
表示第i个输出框所对应标注的真实框的高度；
Figure FDA0002488235780000029
表示第i个输出框所对应标注的真实框的置信度；
Figure FDA00024882357800000210
表示第i个输出框所对应标注的真实框的对应类别概率。
4.根据权利要求3所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，自适应训练样本选择是计算计算设置的每个候选框中心点与真实缺陷框中心点的欧氏距离：
Figure FDA00024882357800000211
将距离较近的候选框加入备选正样本集合Cg，对备选正样本集合Cg中的每个候选框，计算与真实框的交并比Dg，然后计算Dg的均值mg和标准差vg，选取tg＝mg+vg作为交并比的阈值，只有Cg中与真实框的交并比大于阈值tg被选为正样本候选框，从而保持正负样本总数一定；I1表示候选框中心点，I2表示真实缺陷框中心点。
5.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，缺陷检测网络所采用的迁移学习方法是在训练好的网络权重基础上进行微调的训练方式；在已训练好的主干网络中即权重已固定的主干网络的基础上，利用构建出的缺陷图像数据集，训练缺陷检测头部网络，检测头部网络训练完成后，解除已固定的主干网络权重，对整个缺陷检测网络的权重进行微调训练。
6.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，所述图像重构网络通过卷积去噪自编码器进行构建，包括噪声模块、编码器、解码器，其中，噪声模块给无缺陷图像添加椒盐噪声、高斯噪声、掩膜噪声干扰；编码器部分包含卷积层、激活函数层、池化层，对图像进行特征提取和下采样；解码器部分包含卷积层、激活函数层、上采样层，并采用多层特征融合的特征金字塔结构，从编码器获取不同尺度的特征图，利用解码器对不同尺度的特征图进行解码，从而得到背景重构图像；当完成训练轮数或者检测头部网络的损失函数没有下降时，则停止训练；其中，图像重构网络所采用的均方误差损失函数表示为：
Figure FDA0002488235780000031
L(x,y)表示图像重构网络所采用的均方误差损失函数；Ix为原始的无缺陷图像，Iy为背景重构图像，M为图像重构网络进行一轮训练所输入的无缺陷图像的数量。
7.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，缺陷分割图的获取方式包括对缺陷图像和背景重构图像进行空间域的减法运算，确定出差值图像；采用三角法在差值图像的像素直方图确定出自适应的图像阈值，并按照图像阈值对差值图像进行分割，得到缺陷分割图；其中，自适应的图像阈值的获取方式包括在差值图像的像素直方图的最高峰到最低峰构造出直线，遍历计算直方图中各个像素值位置到直线的垂直距离，将距离最大的像素值位置作为图像阈值。
8.根据权利要求1所述的一种基于融合网络的手机屏幕缺陷分割方法，其特征在于，获得最终的缺陷分割结果的过程包括对m个不同尺度大小的特征图进行预测，通过回归和分类确定出缺陷候选框的参数(x,y,w,h,c)，通过快速的非极大值抑制方法进行筛选，选取最高置信度分数的缺陷候选框作为最终检测结果；其中，(x,y)表示缺陷候选框的中心坐标；w表示缺陷候选框的宽度；h表示缺陷候选框的高度；c表示缺陷候选框的置信度；pi表示缺陷候选框的对应类别概率。
9.一种基于融合网络的手机屏幕缺陷分割装置，其特征在于，包括：
图像采集模块，用于采集手机屏幕图像，包括缺陷图像和无缺陷图像；
缺陷检测网络，用于对缺陷图像进行检测，并获得缺陷图像对应的缺陷候选框；
图像重构网络，用于对无缺陷图像进行重构，并恢复出背景重构图像；
第一图像分割模块，将缺陷图像和背景重构图像进行差值运算，采用阈值分割的方式得到缺陷分割图；
第二图像分割模块，在所述缺陷分割图上利用对应的缺陷候选框的位置坐标，提取出缺陷分割图在位置坐标下对应的缺陷部分，并获得最终的缺陷分割结果。
10.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一所述的一种基于融合网络的手机屏幕缺陷分割方法。
CN202010397833.1A 2020-05-12 2020-05-12 基于融合网络的手机屏幕缺陷分割方法、装置及设备 Active CN111553929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397833.1A CN111553929B (zh) 2020-05-12 2020-05-12 基于融合网络的手机屏幕缺陷分割方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397833.1A CN111553929B (zh) 2020-05-12 2020-05-12 基于融合网络的手机屏幕缺陷分割方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111553929A true CN111553929A (zh) 2020-08-18
CN111553929B CN111553929B (zh) 2022-08-09

Family

ID=72006209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397833.1A Active CN111553929B (zh) 2020-05-12 2020-05-12 基于融合网络的手机屏幕缺陷分割方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111553929B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968095A (zh) * 2020-08-19 2020-11-20 成都数之联科技有限公司 一种产品表面缺陷检测方法及系统及装置及介质
CN112085722A (zh) * 2020-09-07 2020-12-15 凌云光技术股份有限公司 一种训练样本图像获取方法及装置
CN112163530A (zh) * 2020-09-30 2021-01-01 江南大学 基于特征增强和样本选择的ssd小目标检测方法
CN112381043A (zh) * 2020-11-27 2021-02-19 华南理工大学 一种旗帜检测方法
CN112489037A (zh) * 2020-12-15 2021-03-12 科大讯飞华南人工智能研究院（广州）有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112598689A (zh) * 2020-12-29 2021-04-02 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112633352A (zh) * 2020-12-18 2021-04-09 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112884744A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113096101A (zh) * 2021-04-15 2021-07-09 深圳市玻尔智造科技有限公司 一种图像级标签缺省的手机屏幕缺陷检测方法
CN113129265A (zh) * 2021-03-18 2021-07-16 广东工业大学 瓷砖表面缺陷检测方法、装置及存储介质
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113344857A (zh) * 2021-05-13 2021-09-03 深圳市华汉伟业科技有限公司 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN113343807A (zh) * 2021-05-27 2021-09-03 北京深睿博联科技有限责任公司 一种重构引导下的复杂场景的目标检测方法及装置
CN113344872A (zh) * 2021-06-01 2021-09-03 上海大学 基于机器视觉的段码液晶屏缺陷检测方法
CN113450307A (zh) * 2021-05-12 2021-09-28 西安电子科技大学 一种产品边缘缺陷检测方法
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113658096A (zh) * 2021-07-15 2021-11-16 佛山市顺德区普瑞特机械制造有限公司 板材异常检测方法及装置
CN114022409A (zh) * 2021-09-30 2022-02-08 电子科技大学 基于深度学习的包覆药表面缺陷检测算法
CN114529529A (zh) * 2022-02-21 2022-05-24 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN115409694A (zh) * 2022-11-03 2022-11-29 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116228780A (zh) * 2023-05-10 2023-06-06 江苏森标科技有限公司 基于计算机视觉的硅片缺陷检测方法及系统
CN116503694A (zh) * 2023-06-28 2023-07-28 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备
CN116740074A (zh) * 2023-08-16 2023-09-12 青岛天仁微纳科技有限责任公司 基于机器视觉的晶圆缺陷精准识别方法
CN116883416A (zh) * 2023-09-08 2023-10-13 腾讯科技（深圳）有限公司 工业产品缺陷的检测方法、装置、设备及介质
CN116883399A (zh) * 2023-09-06 2023-10-13 内蒙古晶环电子材料有限公司 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备
CN116934687A (zh) * 2023-06-12 2023-10-24 浙江大学 一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182495A1 (en) * 2010-01-26 2011-07-28 General Electric Company System and method for automatic defect recognition of an inspection image
CN105976382A (zh) * 2016-05-11 2016-09-28 华中科技大学 一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN109242829A (zh) * 2018-08-16 2019-01-18 惠州学院 基于小样本深度学习的液晶屏缺陷检测方法、系统及装置
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN109919934A (zh) * 2019-03-11 2019-06-21 重庆邮电大学 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN110378887A (zh) * 2019-07-22 2019-10-25 京东方科技集团股份有限公司 屏幕缺陷检测方法、装置及系统、计算机设备及介质
WO2019232539A1 (en) * 2018-06-01 2019-12-05 New York University System, method and computer-accessible medium for facilitating noise removal in magnetic resonance imaging
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN113743203A (zh) * 2021-07-28 2021-12-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182495A1 (en) * 2010-01-26 2011-07-28 General Electric Company System and method for automatic defect recognition of an inspection image
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN105976382A (zh) * 2016-05-11 2016-09-28 华中科技大学 一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
WO2019232539A1 (en) * 2018-06-01 2019-12-05 New York University System, method and computer-accessible medium for facilitating noise removal in magnetic resonance imaging
CN109242829A (zh) * 2018-08-16 2019-01-18 惠州学院 基于小样本深度学习的液晶屏缺陷检测方法、系统及装置
CN109919934A (zh) * 2019-03-11 2019-06-21 重庆邮电大学 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN110378887A (zh) * 2019-07-22 2019-10-25 京东方科技集团股份有限公司 屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN113743203A (zh) * 2021-07-28 2021-12-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
THOMASSCHLEGL等: "f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks", 《MEDICAL IMAGE ANALYSIS》, vol. 54, 31 May 2019 (2019-05-31), pages 30 - 44, XP055785711, DOI: 10.1016/j.media.2019.01.010 *
代朝东等: "基于无监督网络的手机屏幕缺陷分割方法", 《激光与光电子学进展》, vol. 58, no. 20, 25 October 2021 (2021-10-25), pages 375 - 384 *
宋威: "基于深度卷积神经网络的手机屏幕缺陷检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 136 - 1017 *
李忆蕾: "基于迁移学习的LCD屏幕瑕疵识别系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2022 (2022-01-15), pages 136 - 234 *
纪超: "基于背景重构的TFT--LCD面板Mura缺陷检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 136 - 162 *
许国良等: "基于协同注意力的小样本的手机屏幕缺陷分割", 《电子与信息学报》, vol. 44, no. 4, 15 April 2022 (2022-04-15), pages 1476 - 1483 *
黄健等: "基于小样本度量迁移学习的表面缺陷检测", 《模式识别与人工智能》, vol. 34, no. 5, 15 May 2021 (2021-05-15), pages 407 - 414 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968095B (zh) * 2020-08-19 2022-08-02 成都数之联科技股份有限公司 一种产品表面缺陷检测方法及系统及装置及介质
CN111968095A (zh) * 2020-08-19 2020-11-20 成都数之联科技有限公司 一种产品表面缺陷检测方法及系统及装置及介质
CN112085722B (zh) * 2020-09-07 2024-04-09 凌云光技术股份有限公司 一种训练样本图像获取方法及装置
CN112085722A (zh) * 2020-09-07 2020-12-15 凌云光技术股份有限公司 一种训练样本图像获取方法及装置
CN112163530A (zh) * 2020-09-30 2021-01-01 江南大学 基于特征增强和样本选择的ssd小目标检测方法
CN112163530B (zh) * 2020-09-30 2024-04-09 江南大学 基于特征增强和样本选择的ssd小目标检测方法
CN112381043A (zh) * 2020-11-27 2021-02-19 华南理工大学 一种旗帜检测方法
CN112489037A (zh) * 2020-12-15 2021-03-12 科大讯飞华南人工智能研究院（广州）有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112633352A (zh) * 2020-12-18 2021-04-09 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112633352B (zh) * 2020-12-18 2023-08-29 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112598689B (zh) * 2020-12-29 2024-05-17 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112598689A (zh) * 2020-12-29 2021-04-02 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112884744A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113129265A (zh) * 2021-03-18 2021-07-16 广东工业大学 瓷砖表面缺陷检测方法、装置及存储介质
CN113096101A (zh) * 2021-04-15 2021-07-09 深圳市玻尔智造科技有限公司 一种图像级标签缺省的手机屏幕缺陷检测方法
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN113221881B (zh) * 2021-04-30 2022-03-22 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN113450307B (zh) * 2021-05-12 2023-07-25 西安电子科技大学 一种产品边缘缺陷检测方法
CN113450307A (zh) * 2021-05-12 2021-09-28 西安电子科技大学 一种产品边缘缺陷检测方法
CN113344857A (zh) * 2021-05-13 2021-09-03 深圳市华汉伟业科技有限公司 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN113344857B (zh) * 2021-05-13 2022-05-03 深圳市华汉伟业科技有限公司 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN113343807A (zh) * 2021-05-27 2021-09-03 北京深睿博联科技有限责任公司 一种重构引导下的复杂场景的目标检测方法及装置
CN113344872A (zh) * 2021-06-01 2021-09-03 上海大学 基于机器视觉的段码液晶屏缺陷检测方法
CN113313706B (zh) * 2021-06-28 2022-04-15 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113643235B (zh) * 2021-07-07 2023-12-29 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113658096A (zh) * 2021-07-15 2021-11-16 佛山市顺德区普瑞特机械制造有限公司 板材异常检测方法及装置
CN113643268B (zh) * 2021-08-23 2023-05-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114022409A (zh) * 2021-09-30 2022-02-08 电子科技大学 基于深度学习的包覆药表面缺陷检测算法
CN114022409B (zh) * 2021-09-30 2023-04-18 电子科技大学 基于深度学习的包覆药表面缺陷检测算法
CN114529529A (zh) * 2022-02-21 2022-05-24 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN114529529B (zh) * 2022-02-21 2024-04-09 清华大学 基于图像仿真增强的花边布匹表面缺陷检测方法及装置
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质
CN115409694A (zh) * 2022-11-03 2022-11-29 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质
CN116168259B (zh) * 2023-04-26 2023-08-08 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类方法
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116228780B (zh) * 2023-05-10 2023-07-07 江苏森标科技有限公司 基于计算机视觉的硅片缺陷检测方法及系统
CN116228780A (zh) * 2023-05-10 2023-06-06 江苏森标科技有限公司 基于计算机视觉的硅片缺陷检测方法及系统
CN116934687B (zh) * 2023-06-12 2024-02-09 浙江大学 基于半监督学习语义分割的注塑制品表面缺陷检测方法
CN116934687A (zh) * 2023-06-12 2023-10-24 浙江大学 一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法
CN116503694B (zh) * 2023-06-28 2023-12-08 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备
CN116503694A (zh) * 2023-06-28 2023-07-28 宁德时代新能源科技股份有限公司 模型训练方法、图像分割方法、装置和计算机设备
CN116740074B (zh) * 2023-08-16 2023-11-14 青岛天仁微纳科技有限责任公司 基于机器视觉的晶圆缺陷精准识别方法
CN116740074A (zh) * 2023-08-16 2023-09-12 青岛天仁微纳科技有限责任公司 基于机器视觉的晶圆缺陷精准识别方法
CN116883399A (zh) * 2023-09-06 2023-10-13 内蒙古晶环电子材料有限公司 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备
CN116883416A (zh) * 2023-09-08 2023-10-13 腾讯科技（深圳）有限公司 工业产品缺陷的检测方法、装置、设备及介质
CN116883416B (zh) * 2023-09-08 2023-11-24 腾讯科技（深圳）有限公司 工业产品缺陷的检测方法、装置、设备及介质
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Also Published As

Publication number Publication date
CN111553929B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111754498B (zh) 一种基于YOLOv3的传送带托辊检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN107561738B (zh) 基于fcn的tft-lcd表面缺陷快速检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN111612763A (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN109376591B (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN114299066B (zh) 基于显著性特征预提取与图像分割的缺陷检测方法和装置
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN110135446A (zh) 文本检测方法及计算机存储介质
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN115984226A (zh) 绝缘子缺陷检测方法、设备、介质及程序产品
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN113538342B (zh) 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN112686896B (zh) 基于分割网络的频域空间结合的玻璃缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant