CN111612763A - 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 - Google Patents

手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 Download PDF

Info

Publication number
CN111612763A
CN111612763A CN202010431122.1A CN202010431122A CN111612763A CN 111612763 A CN111612763 A CN 111612763A CN 202010431122 A CN202010431122 A CN 202010431122A CN 111612763 A CN111612763 A CN 111612763A
Authority
CN
China
Prior art keywords
defect
image
neural network
mobile phone
phone screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010431122.1A
Other languages
English (en)
Other versions
CN111612763B (zh
Inventor
许国良
毛骄
徐千淞
雒江涛
李万林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weizhifeng Electronic Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010431122.1A priority Critical patent/CN111612763B/zh
Publication of CN111612763A publication Critical patent/CN111612763A/zh
Application granted granted Critical
Publication of CN111612763B publication Critical patent/CN111612763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉、目标检测领域，具体涉及手机屏幕缺陷检测方法、装置及系统、计算机设备及介质；所述检测方法包括采集不同类型缺陷的多款手机屏幕图像，并进行预处理；构建全卷积神经网络，输出二通道的缺陷图像；建立孪生神经网络，在其两个子网络中输入配对后的缺陷图像，判断两者是否属于同一缺陷类型；采用迁移学习的方式训练全卷积神经网络和孪生神经网络，利用源域进行预训练，利用目标域进行微调，直至训练完完成；将待测手机屏幕图像预处理后，待测图像与抽取后的已标注图像进行配对，输出待测手机屏幕图像缺陷类型的判断结果以及其语义分割图像；本发明能够在小样本的基础上，仍提升缺陷检测的精确性，降低误检率、漏检率。

Description

手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
技术领域
本发明属于计算机视觉、目标检测领域，涉及一种利用少量样本完成缺陷检测的技术，具体涉及手机屏幕缺陷检测方法、装置及系统、计算机设备及介质。
背景技术
近年来，伴随着移动互联网的快速发展，智能手机已经成为了当代人生活中必不可少的通讯工具。随着智能手机功能的全面化以及使用人群的年轻化，其普及率将越来越高。但在智能手机快速普及的同时，人们对手机的硬件要求越来越高，而手机屏幕作为手机的重要组成部分之一，其质量的好坏严重影响手机用户的体验感。
手机屏幕的生产过程较为复杂，在生产的过程中容易出现各种各样的缺陷，常见的手机屏幕缺陷有亮点、暗点、亮线、暗线、黄斑以及MURA等，因此要保证手机屏幕高质量、高分辨率的要求，在生产过程中对其进行质量检测是必不可少的一道的工序。
目前，对于手机屏幕缺陷检测没有一个统一的国家检测标准和方案，而现有的检测方式主要以人工检测和机器视觉检测为主。人工检测在大规模生产的环境中，其检测速度不能赶上手机屏幕的生产速度，这将会大大地降低手机屏幕的生产效率。不仅如此，人工检测容易受检测主体的主观因素和客观因素的影响，往往不能够快速、准确、稳定地检测出手机屏幕中的图像缺陷，而且这种检测手段的人力成本、经济成本也很高。而基于机器视觉的检测方法，虽然能够对特定的缺陷实现快速、准确的识别，但这大大地依赖于特定特征的提取，对光照条件和背景颜色非常敏感。当出现新的缺陷时，需要重新设计算法来检测新的缺陷，这对缺陷检测的灵活性不够。此外，通过手工或浅层的学习技术识别的特征对复杂的条件没有足够的辨别力。这些方法通常针对特定的场景，缺乏检测环境的适应性和鲁棒性。
随着人工智能，深度学习的方法的逐渐成熟，越来越多的研究者采用卷积神经网络、VGGnet、GoogleNet、Resnet等网络完成对手机屏幕缺陷的检测。但这些检测方法都会使用大规模的缺陷图像数据集来完成检测，而实际采集的缺陷图像数量较少，只有通过数据增强的方式来扩大数据集，以此来完成对网络的训练，实现手机屏幕缺陷的检测。
因此，手机屏幕缺陷检测如何利用少量的图像样本下，在满足检测的准确性和实时性的同时，还能够对检测环境具有较高的适应性与鲁棒性，使得缺陷检测能够不依赖于特定特征的提取来实现缺陷的检测，同时在工业的条件下完成对手机屏幕缺陷的检测，这已经成为研究学者们关注的重点。
发明内容
基于现有技术，本发明的研究是在基于小样本学习基础上，以全卷积神经网络(Fully Convolutional Networks，简称FCNs)和孪生神经网络(Siamese network)为基础框架，通过多尺度特征融合和改进的相似度度量实现对手机屏幕缺陷的检测；本发明采用迁移学习的方式对网络进行预训练，提升了样本数据相对较少的手机屏幕缺陷领域的模型性能。
在本发明的第一方面，本发明提供了一种基于小样本学习的手机屏幕缺陷检测方法，包括以下步骤：
采集具有不同类型缺陷的多款手机屏幕图像，形成缺陷图像训练集，并进行至少包括图像切割、灰度处理、缺陷类型标注和以及分割标注的预处理；
构建全卷积神经网络，将缺陷图像训练集中每张缺陷图像的灰度缺陷图像输入至全卷积神经网络中，输出其语义分割图像，并将得到的语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；
建立孪生神经网络，将任意两两二通道缺陷图像进行配对形成样本对后输入至孪生神经网络的两个子网络中，将两个子网络输出的特征图进行相似度比较，按照相似度判断确定这两个特征图是否属于同一缺陷类型；
采用迁移学习的方式训练全卷积神经网络和孪生神经网络，将相关领域的标注数据作为源域对上述网络进行预训练，将缺陷图像训练集作为目标域对预训练后的网络进行微调，直至训练完成；
在训练完成之后，从每一类已知缺陷类别的缺陷图像训练集中提取相同数量的标注样本作为样本集；
将待测手机屏幕图像进行图像切割和灰度处理后，将其分别与每一类提取后的已知缺陷类别的缺陷图像共同输入至训练完成的全卷积神经网络中，并从训练完成的孪生神经网络中，输出待测手机屏幕图像与其他已知缺陷类型的缺陷图像是否属于同一缺陷类型的判断结果，从而确定出该待测手机屏幕图像的缺陷类型以及该待测手机屏幕图像的语义分割图像。
在本发明的第二方面，本发明提供了一种基于小样本学习的手机屏幕缺陷检测装置，包括：
图像采集模块，用于采集具有不同类型缺陷的多款手机屏幕图像；
预处理模块，用于对图像进行预处理，包括图像切割、灰度处理、缺陷类型标注和以及分割标注；
全卷积神经网络，用于获取灰度缺陷图像的语义分割图像，并将语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；
孪生神经网络，将任意两两二通道缺陷图像进行配对，输出两者是否属于同一缺陷类型的结果；
迁移学习模块，用于对全卷积神经网络以及孪生神经网络进行训练。
在本发明的第三方面，本发明还提供了一种基于小样本学习的手机屏幕缺陷检测系统，包括上述基于小样本学习的手机屏幕缺陷检测装置以及传输装置和存储装置，将缺陷检测装置获取到的待测手机屏幕图像的缺陷类型通过传输装置传输至存储装置存储。
在本发明的第四方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种基于小样本学习的手机屏幕缺陷检测方法。
在本发明的第五方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于小样本学习的手机屏幕缺陷检测方法。
本发明的有益效果：
(1)本发明充分解决了手机屏幕缺陷样本不足的问题，在小样本学习的基础上，通过迁移学习完成网络预训练，同时通过多尺度融合的方式以及改进的相似度度量进一步提升缺陷检测的精确性，降低误检率、漏检率。
(2)通过全卷积神经网络(FCNs)得到其图片的语义分割图像，并将其与原始灰度图像通过连接(concatenate)形成二通道图像，提升了网络的特征提取能力，提升手机屏幕缺陷检测算法的鲁棒性、泛化性。
附图说明
图1是本发明方法的步骤示意图；
图2是本发明采用的全卷积神经网络框架示意图；
图3是本发明采用的孪生神经网络框架示意图；
图4是本发明的多尺度特征融合示意图；
图5是本发明的两种融合方式示意图；
图6是本发明的改进的相似度度量方式示意图；
图7是本发明一个实施例中的手机屏幕检测的框架结构图；
图8是本发明的一种基于小样本学习的手机屏幕缺陷检测装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1是本发明实施例的一种基于小样本学习的手机屏幕缺陷检测方法的流程示意图，该方法包括：
101、采集具有不同类型缺陷的多款手机屏幕图像，并进行预处理；其中，这里的类型缺陷包含但不限于存在异常亮度线段信息、异常亮度点信息、异常亮度区域信息、和/或偏色信息等等；异常亮度线段信息包括暗线信息和/或亮线信息；异常亮度点信息包括亮点信息和/或暗点信息；异常亮度区域信息具体为光斑信息。
这里的预处理的过程包含但不限于图像切割、灰度处理、缺陷类型标注和分割标注；对于图像切割是为了分离出高分辨率图像中的各种缺陷，能够更好地用于网络训练；由于手机屏幕图像的特性，灰度处理后的缺陷图像能够突出屏幕缺陷，同时减小图像原始数据量，便于后续处理时计算量更少；对灰度缺陷图像标注出其缺陷类型，比如，标注为划痕、黑点、白印、mura、漏光等类型；分割标注是为了将背景与缺陷分离开来，凸显缺陷的大小、位置等信息。
为了更好对适应后续孪生神经网络的双输入通道，本发明将采集到的手机屏幕图像进行两两配对，例如采集到包含n个缺陷样本，通过组合配对的方式，形成
Figure BDA0002500630460000051
个样本对。当出现新的类型的缺陷样本时，对其进行类别标注和分割标注，同时将其与其他类型缺陷样本以及相同类型的样本进行配对，形成新的样本数据对。
102、构建全卷积神经网络，并输出二通道的缺陷图像；
全卷积神经网络将对预处理后的灰度缺陷图像进行处理，得到语义分割图像(mask image)，并将语义分割图像与该灰度缺陷图像通过连接(concatenate)形成二通道的缺陷图像；
如图2所示，本发明所采用的全卷积神经网络的结构图，灰度缺陷图像输入至全卷积神经网络的输入层，经过多个卷积层后，利用像素级别预测输出语义分割图像，将语义分割图像与灰度缺陷图像进行连接，形成二通道缺陷图像。
整个全卷积网络是由卷积部分和反卷积部分组成，卷积部分包括8个卷积模块conv1,conv2,conv3,conv4,conv5,conv6,conv7,conv8，而后将卷积部分提取出来的特征图通过4层的反卷积模块，分别为deconv1,deconv2,deconv3,deconv4，在反卷积的过程，将conv6的特征图与deconv1的特征图相连接输入到deconv2反卷积中，同时将conv4的特征图与deconv2相连接形成的特征图作为deconv3的输入，这种与卷积模块的特征图像连接，更有利于图像的恢复，得到更精确的语义分割图像。
这里需要说明的是，在深度学习中或者说在神经网络中，经常会涉及到两个特征结合，在使用卷积情况下就涉及特征映射(feature map)的结合。一般情况下，特征映射或称特征连接的结合有两种方法，一种是元素对应相加，简称add，另一种就是把特征图堆叠在一起，简称concatenate。在本发明中，采用concatenate连接方式将语义分割图像和灰度缺陷图像连接，能够形成二通道的图像；语义分割图像中包含了原始图像的更多的信息，对于后面的孪生神经网络中，二通道图像能够提供更多的特征信息，更有利于缺陷的识别。
103、建立孪生神经网络，并在其两个子网络中输入配对后的缺陷图像，并判断两者是否属于同一缺陷类型；
本发明所采用的孪生神经网络是两个结构完全相同，且共享参数的子网络，在一个实施例中，如图3所示，这两个子网络均包括8个卷积模块，分别标记为conv1，conv2，conv3，conv4，conv5，conv6，conv7，conv8；本发明将前四个卷积层作为浅层，后四个卷积层作为高层，并将第二个浅层和第三个高层进行融合，而后将两个子网络得到的特征图连接在一起；通过改进的相似性度量方式得到两者相似概率，当概率大于等于参数α(α此处取0.5)，两者视为相同类型缺陷；反之，视为不同类型缺陷。
本发明经过多次试验发现，第二个浅层所包含的简单特征会较为丰富一些，而通过第三个浅层和第四个浅层，简单特征会进一步的丢失。而到了高层，倒数第二个高层(第三个高层)能够包含的抽象的语义特征会更多。
可以理解的是，本实施例中全卷积神经网络与孪生神经网络中都采用了8个卷积层，但是在实际应用中，可以采用不同层数的卷积层，例如全卷积神经网络采用6个卷积层，孪生神经网络采用10个卷积层等等。
在孪生神经网络的特征提取的过程中，使用了多尺度特征融合的方法，具体的是将浅层的特征图分成与高层的特征图大小一致的特征块，然后与高层的特征图进行多尺度特征融合，形成新的特征图将用于接下来的卷积过程。其中，对于多尺度特征的融合，有两种方式：concatenate和add，如图4所示。将通道特征为(x1,x2,…xc)的浅层特征与通道特征为(y1,y2,…yc)的高层特征，两者的通道数都为c。若通过concatenate的方式进行融合，相当于通道数的合并，也就是说描述图像本身的特征增加了，而每一特征下的信息是没有增加，生成的新的特征图的通道数为2c，通道特征为(x1,x2,…,xc,y1,y2,…,yc)。若通过add的方式融合浅、高层特征，相当于通道数是不变，每个通道特征的信息增加了，也就是说描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，生成的特征图的通道数还是c，通道特征为(x1+y1,x2+y2,…,xc+yc)。
如图5所示，浅层特征图为通道数为1的4*4的矩阵，而高层特征图为通道数为1的2*2的矩阵，将4*4的特征图分割成4个2*2的矩阵，然后将分成的4个特征块与高层特征图进行concatenate连接形成5个通道的2*2的特征图。
对于改进的相似性度量方式，如图6所示，本发明采用了多种相似度度量方式分别计算两个子网络输出的特征图的相似度，采用加权平均的方式计算出相似概率，相似度的计算公式表示为：
Figure BDA0002500630460000071
其中，SXY表示特征图X与特征图Y最终的相似概率，ρi表示为不同度量方式分配的权值，si表示不同的度量方式得到的相似概率，n为度量方式的总数。
在一个优选实施中，本发明采用多种基本的相似性度量方式分别计算相似度，其中包括欧式距离、余弦相似度等方式，假设，有配对后的特征图X和Y，都包含m维特征，X＝(x1,x2,x3…xm)，Y＝(y1,y2,y3…ym)，其相似度计算方式如下：
Figure BDA0002500630460000081
其中，
Figure BDA0002500630460000082
为欧式距离，
Figure BDA0002500630460000083
为余弦相似性。
104、采用迁移学习的方式训练全卷积神经网络和孪生神经网络，利用源域进行预训练，利用目标域进行微调，直至训练完完成；
对于源域数据，可以采用来自LCD液晶屏缺陷数据集、GDXay数据集、Crack Forest数据集、Magnetic tile defect数据集和Isheet数据集，针对迁移过来的数据集，首先对图像进行灰度化处理；其次，把每种数据集分别与其自身数据集中的样本通过组合的方式进行逐一配对，构建与手机屏幕缺陷相似的成对的数据集。通过迁移学习数据集对整个网络进行预训练，完成网络的初始化；然后将构建的手机屏幕缺陷数据集对预训练网络进行微调，使其能够更好地适应手机屏幕缺陷，提升数据或特征相对较少的手机屏幕缺陷领域的模型性能。
在对网络训练的过程中，通过两个损失函数来完成训练。其一，是在全卷积网络(FCNs)的训练过程中，采用逐像素的多项式逻辑回归损失，即对每个图的像素做softmax分类，得到其全卷积网络的损失函数；其二，利用孪生神经网络对配对图像进行检测时，通过对比损失(contrastive loss)来完成训练。
全卷积网络的softmax损失为：
l(X；θ)＝∑ijl'(Xij；θ)
其中
Figure BDA0002500630460000084
l(X；θ)表示灰度缺陷图像X中每一个像素(i，j)的softmax损失之和，yk表示是否属于第k类型缺陷的标签，yk＝1表示属于第k类型缺陷，yk＝0表示不属于第k类型缺陷；y＝(y0,y1,...,yn),yi∈{0,1}是Xij类别描述；
Figure BDA0002500630460000091
表示每一个像素的softmax值，ak为该像素为第k型缺陷的概率值；n表示缺陷的类型总数。通过求解整个图像的softmax损失来得到全卷积网络的损失函数，以此来训练全卷积神经网络。
孪生神经网络的对比损失为：
Figure BDA0002500630460000092
其中，N表示样本对的数量，
Figure BDA0002500630460000093
则是第i对样本是否属于相同类型缺陷的标签，
Figure BDA0002500630460000094
时，第i对样本中两个样本属于相同类型缺陷；
Figure BDA0002500630460000095
时，第i对样本中两个样本属于不同类型缺陷；
Figure BDA0002500630460000096
表示第i对样本之间的相似度概率，m为设定的相似度概率阈值。
105、将待测手机屏幕图像进行图像切割和灰度处理后，输出待测手机屏幕图像与其他已知缺陷类型的缺陷图像是否属于同一缺陷类型的判断结果以及其语义分割图像。
从每一类缺陷样本数据集中提取相同数量的标注样本，并将待测图片与每一类标注的缺陷样本(提取后的每一类已知缺陷类别的缺陷图像集)进行配对，分别输入到全卷积网络(FCNs)中得到其分割图像，通过连接，得到二通道图像作为孪生网络模型的输入，通过判断输入的两张图片是否属于同类来完成手机屏幕缺陷的检测，同时获得其缺陷的语义分割图片。
小样本测试集的选取：测试集用于对训练后的网络的性能测试，测试孪生神经网络对缺陷检测的准确性，全卷积神经网络的分割准确性。而对于小样本测试集包含了经过图像预处理，但未对网络进行训练的手机屏幕缺陷图像，这些图像不仅可以来自手机屏幕缺陷图像训练集中未经过训练的缺陷图像，也可以是从实际手机屏幕生产线上获得的缺陷图像。测试集中的这些缺陷图像包含了参与网络训练的各种缺陷类型，但测试集中的各种缺陷的数量不会像训练集中的数量那么多，每种缺陷的数量只有训练集中的1/10。
在一个优选实施例中，当出现新的类型的缺陷图像时，对新的缺陷样本进行类别标注和分割标注，同时新的缺陷图像不仅要与其他缺陷类型的图像逐一配对，还要与它同类型的缺陷图像逐一配对。然后将新配对的缺陷图像输入到已训练好的网络中，通过网络调参使得网络能够适应新的类型缺陷的检测。
在一个实施例中，如图7所示，将迁移源域数据对整体网络(包括全卷积神经网络和孪生神经网络)进行预训练，其中这些源域数据包括LCD液晶屏缺陷数据集、GDXay数据集、Crack Forest数据集、Magnetic tile defect数据集和Isheet数据集；使用构建出的手机屏幕缺陷训练集对预训练网络进行微调，使得网络更能够适应手机屏幕缺陷；使用手机屏幕缺陷测试集完成对已训练网络的性能测试。
对于预训练过程，参考图7中第一平面，将这些源域数据进行预处理后，输入至全卷积神经网络中，全卷积神经网络将输出其语义分割图像，并将得到的语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；将该二通道的缺陷图像进行两两配对，输入至孪生神经网络中，通过改进的相似度量方法计算孪生神经网络中两个子网络的相似概率，将其与预设的阈值进行判断，确定是否属于同一缺陷类型。
对于网络微调过程，参考上述预训练过程，只是将源域数据替换为本发明所采集的缺陷图像训练集，对上述网络进行调参。
对于检测过程，同样参考上述过程，输入待测手机屏幕图像，通过训练完成的网络，输出最终的检测结果，但是，本过程中除了输入待测手机屏幕图像，还输入了部分缺陷图像训练集作为配对数据进行匹配。
本发明实施例通过在不同过程选择不同类型以及不同数量的数据集，能够在小样本下实现手机屏幕缺陷检测。
本发明实施例的方法由检测装置执行，检测装置将采集到的手机屏幕图像发送至终端或服务器进行解析，可以减小检测装置的数据处理量，提高检测设备的运行速度。
如图8所示，本发明的另一个实施例提供了一种基于小样本学习的手机屏幕缺陷检测装置，包括：
图像采集模块，用于采集具有不同类型缺陷的多款手机屏幕图像；
预处理模块，用于对图像进行预处理，包括图像切割、灰度处理、缺陷类型标注和以及分割标注；
全卷积神经网络，用于获取灰度缺陷图像的语义分割图像，并将语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；
孪生神经网络，将任意两两二通道缺陷图像进行配对，输出两者是否属于同一缺陷类型的结果；
迁移学习模块，用于对全卷积神经网络以及孪生神经网络进行训练。
在一个实施例中，本发明还提供了一种基于小样本学习的手机屏幕缺陷检测系统，包括上述基于小样本学习的手机屏幕缺陷检测装置以及传输装置和存储装置，将缺陷检测装置获取到的待测手机屏幕图像的缺陷类型通过传输装置传输至存储装置存储。本实施例提供的屏幕缺陷检测系统，可基于全卷积神经网络和孪生神经网络进行待测的屏幕图像缺陷类型识别，避免了背景纹理对缺陷检测的干扰，可得到清晰呈现缺陷位置及缺陷量化等级的缺陷图像，实现直观精确的缺陷检测。
在一个实施例中，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种基于小样本学习的手机屏幕缺陷检测方法。
示例性的，计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如屏幕缺陷检测程序。所述处理器执行所述计算机程序时实现上述各个屏幕缺陷检测方法实施例中的步骤，例如图1所示的步骤101至105。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述检测设备中的执行过程。例如，所述计算机程序可以被分割成图像采集模块和神经网络模块，各模块具体功能如下：图像采集模块用于对手机屏幕图像进行拍摄；神经网络模块用于对手机屏幕图像进行处理，以得到终端屏幕的显示缺陷信息。
本领域技术人员可以理解，上述仅仅是给出了计算机设备的一种示例，并不构成对检测设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述检测设备还可以包括输入输出设备、网络接入设备、总线等。
在一个实施例中，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于小样本学习的手机屏幕缺陷检测方法。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述检测设备的内部存储单元，例如检测设备的硬盘或内存。所述存储器也可以是所述检测设备的外部存储设备，例如所述检测设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述检测设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述检测设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
可以理解的是，本发明中的缺陷检测方法、装置及系统，计算机设备及介质的相应特征可以相互引用，本发明不再一一例举。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，包括以下步骤：
采集具有不同类型缺陷的多款手机屏幕图像，形成缺陷图像训练集，并进行至少包括图像切割、灰度处理、缺陷类型标注和以及分割标注的预处理；
构建全卷积神经网络，将缺陷图像训练集中每张缺陷图像的灰度缺陷图像输入至全卷积神经网络中，输出其语义分割图像，并将得到的语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；
建立孪生神经网络，将任意两两二通道缺陷图像进行配对形成样本对后输入至孪生神经网络的两个子网络中，将两个子网络输出的特征图进行相似度比较，按照相似度判断确定这两个特征图是否属于同一缺陷类型；
采用迁移学习的方式训练全卷积神经网络和孪生神经网络，将相关领域的标注数据作为源域对上述网络进行预训练，将缺陷图像训练集作为目标域对预训练后的网络进行微调，直至训练完成；
在训练完成之后，从每一类已知缺陷类别的缺陷图像训练集中提取相同数量的标注样本作为样本集；
将待测手机屏幕图像进行图像切割和灰度处理后，将其分别与每一类提取后的已知缺陷类别的缺陷图像共同输入至训练完成的全卷积神经网络中，并从训练完成的孪生神经网络中，输出待测手机屏幕图像与其他已知缺陷类型的缺陷图像是否属于同一缺陷类型的判断结果，从而确定出该待测手机屏幕图像的缺陷类型以及该待测手机屏幕图像的语义分割图像。
2.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，孪生神经网络中每个子网络均包括多个卷积模块，将其中的浅层特征图分割成与高层特征图大小相同的特征块，采用像素叠加以及特征图堆叠的方式，将特征块与高层特征图进行融合，形成多尺度特征融合的特征图。
3.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，所述相似度比较包括采用多种相似度度量方式分别计算两个子网络输出的特征图的相似度，采用加权平均的方式计算出相似概率，相似度的计算公式表示为：
Figure FDA0002500630450000021
其中，SXY表示特征图X与特征图Y最终的相似概率，ρi表示为不同度量方式分配的权值，si表示不同的度量方式得到的相似概率，n为度量方式的总数。
4.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，训练全卷积神经网络是采用逐像素的多项式逻辑回归损失，即对每张灰度缺陷图像的像素进行softmax分类，得到其全卷积神经网络的损失函数，利用该损失函数对全卷积神经网络进行训练；该损失函数表示为：
Figure FDA0002500630450000022
其中，l(X；θ)表示灰度缺陷图像X中每一个像素(i，j)的softmax损失之和，yk表示是否属于第k类型缺陷的标签，yk＝1表示属于第k类型缺陷，yk＝0表示不属于第k类型缺陷；
Figure FDA0002500630450000023
表示每一个像素的softmax值，ak为该像素为第k型缺陷的概率值；n表示缺陷的类型总数。
5.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，训练孪生神经网络是采用两个子网络的对比损失，其中，该对比损失函数表示为：
Figure FDA0002500630450000024
其中，N表示样本对的数量，
Figure FDA0002500630450000025
则是第i对样本是否属于相同类型缺陷的标签，
Figure FDA0002500630450000026
时，第i对样本中两个样本属于相同类型缺陷；
Figure FDA0002500630450000027
时，第i对样本中两个样本属于不同类型缺陷；
Figure FDA0002500630450000028
表示第i对样本之间的相似度概率，m为设定的相似度概率阈值。
6.根据权利要求1所述的一种基于小样本学习的手机屏幕缺陷检测方法，其特征在于，将测试出的手机屏幕图像加入到训练集样本中，重新训练神经网络。
7.一种基于小样本学习的手机屏幕缺陷检测装置，其特征在于，包括：
图像采集模块，用于采集具有不同类型缺陷的多款手机屏幕图像；
预处理模块，用于对图像进行预处理，包括图像切割、灰度处理、缺陷类型标注和以及分割标注；
全卷积神经网络，用于获取灰度缺陷图像的语义分割图像，并将语义分割图像与该灰度缺陷图像通过连接形成二通道的缺陷图像；
孪生神经网络，将任意两两二通道缺陷图像进行配对，输出两者是否属于同一缺陷类型的结果；
迁移学习模块，用于对全卷积神经网络以及孪生神经网络进行训练。
8.一种基于小样本学习的手机屏幕缺陷检测系统，其特征在于，包括如权利要求7中所述的装置以及传输装置和存储装置。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010431122.1A 2020-05-20 2020-05-20 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 Active CN111612763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010431122.1A CN111612763B (zh) 2020-05-20 2020-05-20 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010431122.1A CN111612763B (zh) 2020-05-20 2020-05-20 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN111612763A true CN111612763A (zh) 2020-09-01
CN111612763B CN111612763B (zh) 2022-06-03

Family

ID=72202022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010431122.1A Active CN111612763B (zh) 2020-05-20 2020-05-20 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN111612763B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144420A (zh) * 2019-11-19 2020-05-12 国网通用航空有限公司 基于小样本的电塔缺陷监测方法及系统
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN112183224A (zh) * 2020-09-07 2021-01-05 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112256905A (zh) * 2020-10-23 2021-01-22 常州微亿智造科技有限公司 图像数据集缺陷热点分布显示方法和装置
CN112348808A (zh) * 2020-11-30 2021-02-09 广州绿怡信息科技有限公司 屏幕透图检测方法及装置
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN112634245A (zh) * 2020-12-28 2021-04-09 广州绿怡信息科技有限公司 损耗检测模型训练方法、损耗检测方法及装置
CN112699811A (zh) * 2020-12-31 2021-04-23 中国联合网络通信集团有限公司 活体检测方法、装置、设备、储存介质及程序产品
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN112991344A (zh) * 2021-05-11 2021-06-18 苏州天准科技股份有限公司 基于深度迁移学习的检测方法、存储介质和检测系统
CN112991321A (zh) * 2021-04-08 2021-06-18 读书郎教育科技有限公司 一种平板花屏测试的检测方法及系统
CN113033635A (zh) * 2021-03-12 2021-06-25 中钞长城金融设备控股有限公司 一种硬币隐形图文检测方法及装置
CN113052798A (zh) * 2021-03-08 2021-06-29 广州绿怡信息科技有限公司 屏幕老化检测模型训练方法及屏幕老化检测方法
CN113096101A (zh) * 2021-04-15 2021-07-09 深圳市玻尔智造科技有限公司 一种图像级标签缺省的手机屏幕缺陷检测方法
CN113205110A (zh) * 2021-03-19 2021-08-03 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113469944A (zh) * 2021-06-03 2021-10-01 厦门宏泰智能制造有限公司 一种产品质检方法、装置和电子设备
CN113610155A (zh) * 2021-08-06 2021-11-05 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113655348A (zh) * 2021-07-28 2021-11-16 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、系统终端及可读存储介质
CN113822867A (zh) * 2021-09-24 2021-12-21 东莞市诺丽电子科技有限公司 一种列车外观异常检测方法及列车外观异常检测系统
CN113870175A (zh) * 2021-08-03 2021-12-31 阿里巴巴达摩院(杭州)科技有限公司 缺陷的检测方法、装置、系统、存储介质以及处理器
CN113899675A (zh) * 2021-10-13 2022-01-07 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
CN114494260A (zh) * 2022-04-18 2022-05-13 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
CN114998342A (zh) * 2022-08-04 2022-09-02 海门市刘氏铸造有限公司 基于镀锌板面图案识别的镀锌工艺控制方法及装置
CN115082417A (zh) * 2022-07-11 2022-09-20 北京字跳网络技术有限公司 一种图像质量的处理方法、装置、电子设备及存储介质
CN116091874A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 图像校验方法、训练方法、装置、介质、设备及程序产品
US20230196540A1 (en) * 2021-12-17 2023-06-22 Dell Products L.P. Device failure analysis utilizing aggregated views of multiple images of devices
CN118379283A (zh) * 2024-06-21 2024-07-23 叁零陆(江苏)动力部件有限公司 扁线电机定子表面缺陷检测方法、装置、设备及存储介质
CN118552538A (zh) * 2024-07-29 2024-08-27 广东工业大学 一种手机玻璃面板表面缺陷检测的度量约束迁移方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063730A (zh) * 2018-06-22 2018-12-21 杭州电子科技大学 一种凸规划聚类水污染溯源方法
CN109410192A (zh) * 2018-10-18 2019-03-01 首都师范大学 一种多纹理分级融合的织物缺陷检测方法及其装置
CN109727249A (zh) * 2018-12-10 2019-05-07 南京邮电大学 卷积神经网络中的一种语义图像分割方法
CN109885482A (zh) * 2019-01-16 2019-06-14 重庆大学 基于少样本数据学习的软件缺陷预测方法
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111027455A (zh) * 2019-12-06 2020-04-17 重庆紫光华山智安科技有限公司 行人特征提取方法、装置、电子设备及存储介质
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063730A (zh) * 2018-06-22 2018-12-21 杭州电子科技大学 一种凸规划聚类水污染溯源方法
CN109410192A (zh) * 2018-10-18 2019-03-01 首都师范大学 一种多纹理分级融合的织物缺陷检测方法及其装置
CN109727249A (zh) * 2018-12-10 2019-05-07 南京邮电大学 卷积神经网络中的一种语义图像分割方法
CN109885482A (zh) * 2019-01-16 2019-06-14 重庆大学 基于少样本数据学习的软件缺陷预测方法
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111027455A (zh) * 2019-12-06 2020-04-17 重庆紫光华山智安科技有限公司 行人特征提取方法、装置、电子设备及存储介质
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
G.RAHUL等: ""Block-based Feature Multi Level Multi Focus Image Fusion on Neural Network"", 《INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY》 *
YECAI GUO等: ""Fast and Accurate Super-Resolution of FY-2 Infrared Cloud Images via Multi-Scale Fusion Network"", 《IEEE ACCESS》 *
周鹏程等: ""基于深度特征融合的图像语义分割"", 《计算机科学》 *
李志欣等: ""利用对抗网络改进多标记图像分类"", 《计算机辅助设计与图形学学报》 *
许国良等: ""基于双向特征融合卷积神经网络的液晶面板缺陷检测"", 《广东通信技术》 *
陶显等: ""基于深度学习的表面缺陷检测方法综述"", 《自动化学报》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144420A (zh) * 2019-11-19 2020-05-12 国网通用航空有限公司 基于小样本的电塔缺陷监测方法及系统
CN111144420B (zh) * 2019-11-19 2023-08-11 国网电力空间技术有限公司 基于小样本的电塔缺陷监测方法及系统
CN111553929B (zh) * 2020-05-12 2022-08-09 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN112183224A (zh) * 2020-09-07 2021-01-05 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112256905A (zh) * 2020-10-23 2021-01-22 常州微亿智造科技有限公司 图像数据集缺陷热点分布显示方法和装置
CN112348808A (zh) * 2020-11-30 2021-02-09 广州绿怡信息科技有限公司 屏幕透图检测方法及装置
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN112634245A (zh) * 2020-12-28 2021-04-09 广州绿怡信息科技有限公司 损耗检测模型训练方法、损耗检测方法及装置
CN112699811A (zh) * 2020-12-31 2021-04-23 中国联合网络通信集团有限公司 活体检测方法、装置、设备、储存介质及程序产品
CN112699811B (zh) * 2020-12-31 2023-11-03 中国联合网络通信集团有限公司 活体检测方法、装置、设备、储存介质及程序产品
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN113052798A (zh) * 2021-03-08 2021-06-29 广州绿怡信息科技有限公司 屏幕老化检测模型训练方法及屏幕老化检测方法
CN113033635A (zh) * 2021-03-12 2021-06-25 中钞长城金融设备控股有限公司 一种硬币隐形图文检测方法及装置
CN113033635B (zh) * 2021-03-12 2024-05-14 中钞长城金融设备控股有限公司 一种硬币隐形图文检测方法及装置
CN112950606A (zh) * 2021-03-15 2021-06-11 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN113205110A (zh) * 2021-03-19 2021-08-03 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN113205110B (zh) * 2021-03-19 2024-03-19 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN112991321A (zh) * 2021-04-08 2021-06-18 读书郎教育科技有限公司 一种平板花屏测试的检测方法及系统
CN113096101A (zh) * 2021-04-15 2021-07-09 深圳市玻尔智造科技有限公司 一种图像级标签缺省的手机屏幕缺陷检测方法
CN112991344A (zh) * 2021-05-11 2021-06-18 苏州天准科技股份有限公司 基于深度迁移学习的检测方法、存储介质和检测系统
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113324993B (zh) * 2021-05-19 2022-09-27 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113469944A (zh) * 2021-06-03 2021-10-01 厦门宏泰智能制造有限公司 一种产品质检方法、装置和电子设备
CN113655348A (zh) * 2021-07-28 2021-11-16 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、系统终端及可读存储介质
CN113655348B (zh) * 2021-07-28 2023-12-08 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、系统终端及可读存储介质
CN113870175A (zh) * 2021-08-03 2021-12-31 阿里巴巴达摩院(杭州)科技有限公司 缺陷的检测方法、装置、系统、存储介质以及处理器
CN113610155B (zh) * 2021-08-06 2024-05-31 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113610155A (zh) * 2021-08-06 2021-11-05 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113822867A (zh) * 2021-09-24 2021-12-21 东莞市诺丽电子科技有限公司 一种列车外观异常检测方法及列车外观异常检测系统
CN113899675A (zh) * 2021-10-13 2022-01-07 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
CN113899675B (zh) * 2021-10-13 2022-05-27 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
US20230196540A1 (en) * 2021-12-17 2023-06-22 Dell Products L.P. Device failure analysis utilizing aggregated views of multiple images of devices
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备
WO2023201924A1 (zh) * 2022-04-18 2023-10-26 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN114494260A (zh) * 2022-04-18 2022-05-13 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
CN115082417A (zh) * 2022-07-11 2022-09-20 北京字跳网络技术有限公司 一种图像质量的处理方法、装置、电子设备及存储介质
CN114998342A (zh) * 2022-08-04 2022-09-02 海门市刘氏铸造有限公司 基于镀锌板面图案识别的镀锌工艺控制方法及装置
CN116091874A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 图像校验方法、训练方法、装置、介质、设备及程序产品
CN116091874B (zh) * 2023-04-10 2023-07-18 成都数之联科技股份有限公司 图像校验方法、训练方法、装置、介质、设备及程序产品
CN118379283A (zh) * 2024-06-21 2024-07-23 叁零陆(江苏)动力部件有限公司 扁线电机定子表面缺陷检测方法、装置、设备及存储介质
CN118379283B (zh) * 2024-06-21 2024-10-18 叁零陆(江苏)动力部件有限公司 扁线电机定子表面缺陷检测方法、装置、设备及存储介质
CN118552538A (zh) * 2024-07-29 2024-08-27 广东工业大学 一种手机玻璃面板表面缺陷检测的度量约束迁移方法及系统

Also Published As

Publication number Publication date
CN111612763B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN112950606B (zh) 一种基于小样本的手机屏幕缺陷分割方法
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN111553929A (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN117670820B (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN106548169B (zh) 基于深度神经网络的模糊文字增强方法及装置
CN109871845B (zh) 证件图像提取方法及终端设备
Li et al. A review of deep learning methods for pixel-level crack detection
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN116721107B (zh) 一种电缆生产质量智能监控系统
CN117677969A (zh) 一种缺陷检测的方法和装置
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
Liu et al. D-CenterNet: An anchor-free detector with knowledge distillation for industrial defect detection
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN112529901A (zh) 一种复杂环境下的裂缝识别方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
CN117351499A (zh) 一种分合指示状态识别方法、系统、计算机设备和介质
Li et al. Surface Defect Detection of Seals Based on K‐Means Clustering Algorithm and Particle Swarm Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231126

Address after: 518000 Floor 3, Building 10, Phase III, Huangtian Yangbei Industrial Zone, Huangtian Community, Hangcheng Street, Bao'an District, Shenzhen, Guangdong

Patentee after: Shenzhen Weizhifeng Electronic Technology Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS