CN108802041B - 一种屏幕检测的小样本集快速换型的方法 - Google Patents

一种屏幕检测的小样本集快速换型的方法 Download PDF

Info

Publication number
CN108802041B
CN108802041B CN201810218913.9A CN201810218913A CN108802041B CN 108802041 B CN108802041 B CN 108802041B CN 201810218913 A CN201810218913 A CN 201810218913A CN 108802041 B CN108802041 B CN 108802041B
Authority
CN
China
Prior art keywords
training
convolutional neural
neural network
data
small sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810218913.9A
Other languages
English (en)
Other versions
CN108802041A (zh
Inventor
宋明黎
沈红佳
高鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Xuxin Intelligent Technology Co ltd
Original Assignee
Huizhou Xuxin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Xuxin Intelligent Technology Co ltd filed Critical Huizhou Xuxin Intelligent Technology Co ltd
Priority to CN201810218913.9A priority Critical patent/CN108802041B/zh
Publication of CN108802041A publication Critical patent/CN108802041A/zh
Application granted granted Critical
Publication of CN108802041B publication Critical patent/CN108802041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种屏幕检测的小样本集快速换型方法,包括：1)采集现有大量数据的无缺陷图片和有缺陷图片，进行标记，制作训练数据集。采集需换型屏幕的数据，制作小样本数据集；2)利用已制作的数据集训练自定义卷积神经网络至收敛并且有较高准确率，将小样本数据集输入卷积神经网络，提取特征图，作为生成对抗网络的训练数据，训练自定义的生成对抗网络，直至收敛；3)利用生成对抗网络生成特征图，作为卷积神经网络的调优数据，强化训练卷积神经网络，直至收敛；4)将工业相机拍摄的屏幕图片进行多尺度缩放，并且以有重叠的方式分割成图像块。将所有图像块送入加强训练后的卷积神经网络模型，从而得到最终结果。

Description

一种屏幕检测的小样本集快速换型的方法
技术领域
本发明属于目标检测与识别领域，涉及从图像中检测特定目标，具体是检测屏幕缺陷的方法。
背景技术
传统的检测屏幕缺陷方法是在生产线上安排工人值守。工人通过肉眼逐一检测屏幕是否存在缺陷，以便及时发现含有缺陷的屏幕。但随着屏幕市场的需求日益增大，产商排量也上涨。通过人工检测屏幕缺陷的方法暴露出诸多弊端。
传统的基于机器视觉的屏幕缺陷检测算法，大多只是针对一种或者几种特定的缺陷类型进行算法设计，一旦遇到新的缺陷，又要针对性的设计新的算法，缺乏通用性。用工业相机对屏幕进行拍照时，图片上留下摩尔纹无法避免，传统的检测算法无法很好的解决摩尔纹问题，导致不少漏检。并且，一旦产品更换型号，传统的屏幕缺陷检测算法需要调节大量参数，调整大量参数容易造成时间的浪费。因此，设计一种高效的、准确的、通用的自动化检测设备以代替人工检测，是当务之急。
近年来，深度学习方法在计算机视觉领域产生了巨大的影响。深度学习采用多层网络结构，模拟人脑中神经系统的层次关系和传递方式，它已经在模式识别的多个领域得到了广泛的应用并取得了良好的成绩。也有不少关于卷积神经网络的屏幕缺陷检测方法的提出。但是卷积神经网络是一种有监督的方法，它需要大量的数据标注。当应对产品更换型号时，无法收集足够多的数据来应用该方法。
发明内容
本发明要克服现有的基于机器视觉的屏幕缺陷检测算法的上述缺陷，提供一种屏幕检测的小样本集快速换型方法。
为实现上述目的，本发明所述的一种屏幕检测的小样本集快速换型方法，包括如下步骤：
1)采集现有大量数据的无缺陷图片和有缺陷图片，制作训练数据集。并且，采集需换型屏幕的无缺陷图片和有缺陷图片，制作小样本集。其中，统一把无缺陷图片标记为0，有缺陷图片标记为1。
2)利用已经制作好的训练数据集训练自定义的卷积神经网络直至收敛并且有较高的准确。将小样本集输入已经训练好的卷积神经网络中，提取特征图，作为生成对抗网络的训练数据，训练自定义的生成对抗网络，直至收敛；
3)利用生成对抗网络生成特征图，作为卷积神经网络的调优数据，强化训练卷积神经网络，直至收敛；
4)采集屏幕图片数据，采用多尺度的方式缩放图片，并且以有重叠的方式分割成图像块。将图像块送入经过数据强化训练后的卷积神经网络中进行运算，得到特征图，得到最终结果。
步骤3)所述的强化训练卷积神经网络具体是：将七层的卷积神经网络分成两部分，前三层作为特征图提取器，用于提取小样本数据集的第三层的特征图，训练生成对抗网络模型。第四层至第七层作为优化模型，用生成对抗网络生成的特征图进行优化训练，更加适应于新型号的数据。
本发明的有益效果如下：
本发明是一种屏幕检测的小样本集快速换型方法。它基于深度学习的卷积神经网络和生成对抗网络，以现有型号的大量数据训练得到卷积神经网络，利用卷积神经网络提取新型号数据的特征图作为生成对抗网络的训练数据，训练生成对抗网络。并且，生成对抗网络只需要少部分的缺陷数据进行训练，能够有效的学习到缺陷数据分布与背景数据分布之间的不同。之后，利用生成对抗网络模型生成的数据对卷积神经网络进行优化，从而在新型号数据中，能够得到更好的分类结果。
与传统方法相比，本发明能够更有效地应对产品更换型号，缺陷数据量少，其它方法无法有效检测的情况，大大的增加了算法的通用性。此外，传统方法需要设置大量参数，每次换型都需要调整参数才能保证算法的准确性。本发明采用的生成对抗网络具有良好的自适应和泛化特性，能够快速进行屏幕产品换型，节省产线部署时间。
附图说明
图1是本发明的卷积神经网络示意图。
图2是本发明的提取得到的第三层特征图的图示。
具体实施方式
下面对本发明的技术方案进行清晰、完整的解释和描述。
本发明提出了一种屏幕检测的小样本集快速换型方法，该方法在已经拍摄的屏幕图片上，利用优化后的卷积神经网络确定图像块是否存在缺陷，并在原图对应位置圈出。
本发明一种屏幕检测的小样本集快速换型方法包括如下步骤：
步骤1，训练阶段数据采集。采集现有大量数据的型号的无缺陷图片和有缺陷图片，无缺陷图片标记为0，有缺陷图片标记为1，制作卷积神经网络的训练数据集。采集需要更换型号的屏幕的无缺陷图片和有缺陷图片，无缺陷图片标记为0，有缺陷图片标记为1，制作小样本数据集。
步骤2，将训练数据集按照9：1的比例分成训练集和验证集，训练自定义卷积神经网络，直到收敛，并且能够在验证集上达到较高的分类准确率。通过观察可视化卷积神经网络中间隐层的特征图，可以分析网络是否很好的学到了缺陷特征。将小样数据集输入卷积神经网络，提取第三层的特征图，作为生成对抗网络的训练数据，训练生成对抗网络，直至收敛。
步骤3，将步骤2中训练得到的卷积神经网络分成CNN1和CNN2两部分。 CNN1由前三层构成，主要的目的是提取特征图。CNN2由第四层后面的所有层构成，主要的目的是优化训练，使得模型更加适应于新型号的数据。利用生成对抗网络模型生成大量的特征图数据，作为CNN2模型的输入，优化训练CNN2模型，直至收敛，并且能够在新型号的数据集上达到较高的分类准确率。训练好之后，将CNN1和CNN2模型进行合并得到最终的卷积神经网络模型。
步骤4，测试阶段数据生成：预先设定一系列的缩放比例，将工业相机拍摄得到的高分辨率图片按照设定的缩放比例进行缩放，得到多尺度的图片，再由这些多尺度的图片裁剪得到大小相同的图像块。将图片输入步骤3中经过优化训练后得到的卷积神经网络模型中，得到最终的分类结果。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的举例，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种屏幕检测的小样本集快速换型的方法，包括如下步骤：
1)采集现有大量数据的无缺陷图片和有缺陷图片，制作训练数据集；并且，采集需换型屏幕的无缺陷图片和有缺陷图片，制作小样本集；其中，统一把无缺陷图片标记为0，有缺陷图片标记为1；
2)利用已经制作好的训练数据集训练自定义的卷积神经网络直至收敛并且有较高的准确；将小样本集输入已经训练好的卷积神经网络中，提取特征图，作为生成对抗网络的训练数据，训练自定义的生成对抗网络，直至收敛；
3)利用生成对抗网络生成特征图，作为卷积神经网络的调优数据，强化训练卷积神经网络，直至收敛，所述的强化训练卷积神经网络具体是：将七层的卷积神经网络分成两部分，前三层作为特征图提取器，用于提取小样本数据集的第三层的特征图，训练生成对抗网络模型；第四层至第七层作为优化模型，用生成对抗网络生成的特征图进行优化训练，更加适应于新型号的数据；
4)采集屏幕图片数据，采用多尺度的方式缩放图片，并且以有重叠的方式分割成图像块；将图像块送入经过数据强化训练后的卷积神经网络中进行运算，得到特征图，得到最终结果。
CN201810218913.9A 2018-03-16 2018-03-16 一种屏幕检测的小样本集快速换型的方法 Active CN108802041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810218913.9A CN108802041B (zh) 2018-03-16 2018-03-16 一种屏幕检测的小样本集快速换型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810218913.9A CN108802041B (zh) 2018-03-16 2018-03-16 一种屏幕检测的小样本集快速换型的方法

Publications (2)

Publication Number Publication Date
CN108802041A CN108802041A (zh) 2018-11-13
CN108802041B true CN108802041B (zh) 2023-05-05

Family

ID=64094965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810218913.9A Active CN108802041B (zh) 2018-03-16 2018-03-16 一种屏幕检测的小样本集快速换型的方法

Country Status (1)

Country Link
CN (1) CN108802041B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829891B (zh) * 2019-01-02 2020-11-27 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN109829895B (zh) * 2019-01-09 2021-08-17 武汉精立电子技术有限公司 一种基于gan的aoi缺陷检测方法
CN111582294B (zh) * 2019-03-05 2024-02-27 慧泉智能科技（苏州）有限公司 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN110262092A (zh) * 2019-04-26 2019-09-20 合刃科技（武汉）有限公司 一种基于机器视觉系统的液晶屏检测方法
CN110853557B (zh) * 2019-11-26 2022-09-02 武汉帆茂电子科技有限公司 一种基于fpga的液晶模组炸弹检查系统及检查方法
CN111652209B (zh) * 2020-04-30 2024-05-10 平安科技（深圳）有限公司 损伤检测方法、装置、电子设备及介质
CN117542301A (zh) * 2024-01-10 2024-02-09 深圳清大电子科技有限公司 一种显示屏的检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875373B (zh) * 2016-12-14 2019-12-20 惠州旭鑫智能技术有限公司 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107480788A (zh) * 2017-08-11 2017-12-15 广东工业大学 一种深度卷积对抗生成网络的训练方法及训练系统
CN107563385B (zh) * 2017-09-02 2019-10-25 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107609587B (zh) * 2017-09-11 2020-08-18 浙江工业大学 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法

Also Published As

Publication number Publication date
CN108802041A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108802041B (zh) 一种屏幕检测的小样本集快速换型的方法
CN108444708B (zh) 基于卷积神经网络的滚动轴承智能诊断模型的建立方法
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN104766097B (zh) 基于bp神经网络和支持向量机的铝板表面缺陷分类方法
CN103927534A (zh) 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN104331521A (zh) 基于图像处理的变电设备异常自动识别方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN109543753B (zh) 基于自适应模糊修复机制的车牌识别方法
CN110020691B (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN112070712B (zh) 基于自编码器网络的印刷缺陷检测方法
CN112017204A (zh) 一种基于边缘标记图神经网络的刀具状态图像分类方法
CN103745454A (zh) 一种基于排序学习的图像处理算法或系统的评价方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN112231971A (zh) 基于相对整体趋势扩散故障样本生成的高炉故障诊断方法
CN113962951A (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN105426926A (zh) 一种对amoled进行检测分类的方法及装置
CN109584208A (zh) 一种针对工业结构缺陷智能识别模型的检验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181205

Address after: 516006 5th Floor, North 36 Chenjiang Avenue, Chenjiang Street, Zhongkai High-tech Zone, Huizhou City, Guangdong Province

Applicant after: HUIZHOU XUXIN INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 310027 No. 38, Zhejiang Road, Hangzhou, Zhejiang, Xihu District

Applicant before: Zhejiang University

GR01 Patent grant
GR01 Patent grant