CN111524120B - 基于深度学习的印刷品细小划痕、套印偏差检测方法 - Google Patents

基于深度学习的印刷品细小划痕、套印偏差检测方法 Download PDF

Info

Publication number
CN111524120B
CN111524120B CN202010321716.7A CN202010321716A CN111524120B CN 111524120 B CN111524120 B CN 111524120B CN 202010321716 A CN202010321716 A CN 202010321716A CN 111524120 B CN111524120 B CN 111524120B
Authority
CN
China
Prior art keywords
good
defect
subgraph
deep learning
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010321716.7A
Other languages
English (en)
Other versions
CN111524120A (zh
Inventor
王岩松
和江镇
方志斌
韩飞
刘福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focusight Technology Co Ltd
Original Assignee
Focusight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focusight Technology Co Ltd filed Critical Focusight Technology Co Ltd
Priority to CN202010321716.7A priority Critical patent/CN111524120B/zh
Publication of CN111524120A publication Critical patent/CN111524120A/zh
Application granted granted Critical
Publication of CN111524120B publication Critical patent/CN111524120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于深度学习的印刷品细小划痕、套印偏差检测方法，基于有监督的深度学习检测方法通过GoogleNet模型进行标记、学习和检出划痕、套印偏差类缺陷，并根据GoogLeNet模型预测的缺陷位置信息以缺陷为中心分别在缺陷品和模板图上截取缺陷子图和好品子图；基于深度学习二分类方法在GoogLeNet模型基础上通过输入层6通道输入策略对检测输出的缺陷小图中的真正缺陷品和误检品进行二分类。本发明采用将有监督检测和二分类有效结合，在有监督的缺陷检测之后对检出结果生成的缺陷小图做二分类处理，并通过6通道输入策略提高二分类正确率，达到划痕、套印偏差类缺陷准确检出的同时并具备极低误检率效果。

Description

基于深度学习的印刷品细小划痕、套印偏差检测方法
技术领域
本发明涉及印刷品缺陷检测技术领域，尤其是一种基于深度学习的印刷品 细小划痕、套印偏差检测方法。
背景技术
近年来，得益于大数据和大规模端到端的学习框架，深度学习越来越受世界 各国相关研究人员和互联网公司的重视。深度学习作为神经网络的一个分支，具 有深度网络结构的神经网络是深度学习最早的网络模型，目前深度学习在视觉检 测领域应用非常广泛，能够通过学习特定样本，提取有效特征，进行比对判别。
而印刷产品的自动检测，由于具有高效、准确性高等特性，极大的降低了 企业由人工检测方式存在的人员主观情绪差异造成的错判、误判现象，凭借其 低成本、检测效率高的特点，已经被越来越多的企业所采用。
但是，随着印刷品自动检测系统的不断应用，企业对于印刷品质量的要求 也越来越严格。传统的视觉算法对于划痕、套印偏差这类微小、对比度较低的 缺陷，存在着大量明显的漏检、误检情况，这种情况下就需要人工进行二次翻 检。
发明内容
本发明要解决的技术问题是：提供一种基于深度学习的印刷品细小划痕、 套印偏差检测方法，解决对比度较低的缺陷在缺陷检测过程中存在较高误检率 的问题。
本发明解决其技术问题所采用的技术方案是：一种基于深度学习的印刷品 细小划痕、套印偏差检测方法，其特征在于：将有监督检测和二分类进行结合， 具有训练过程和检测过程；
所述的训练过程包括有监督检测模型的训练以及二分类模型的训练；
所述的检测过程包括以下步骤：
步骤1：待检产品通过深度学习检测运行库进行检测，依据得分值给出好品 和缺陷品判定结果，若判定结果为好品则直接进行好品输出口输出；
步骤2：若步骤1判定结果为缺陷品，根据缺陷位置信息并以缺陷为中心截 取200*200大小的缺陷子图，同时截取模板图相同位置200*200大小的好品子 图；
步骤3：好品子图与缺陷子图通过6通道输入策略形成新的数据，其张量表 达为：200*200*6；
步骤4：新的数据经过深度学习二分类运行库进行决策；
步骤5：若决策结果为好品子图，则判定该检测产品被误检，该检测产品作 为误检品经过好品输出口输出；若决策结果为缺陷子图，那么判定该检测产品 为真正的缺陷品，则经过废品输出口剔废处理。
进一步的说，本发明所述的有监督检测模型的训练包括以下步骤，
a、收集好品样本集和划痕、套印类缺陷样本集，其中划痕、套印类缺陷样 本通过人工标记缺陷位置；
b、好品样本集和缺陷样本集作为GoogLeNet网络的输入，经过GoogLeNet 有监督模型的迭代训练后形成深度学习检测运行库用于实际产品的检测。
再进一步的说，本发明所述的二分类模型的训练包括以下步骤，
a、依据缺陷位置信息并以缺陷为中心截取200*200的大小作为缺陷子图，
b、以同样的缺陷位置信息截取模板图相同位置子图作为好品子图；
c、缺陷子图与好品子图经过6通道输入策略形成负样本，好品子图与本身 经过6通道策略形成正样本；
d、正、负样本经过GoogLeNet二分类模型的迭代训练后形成深度学习二分 类运行库用于缺陷子图真实性的决策。
更进一步的说，本发明所述的步骤3中，好品子图与缺陷子图通过6通道 输入策略形成新的数据的方式为：
a、缺陷子图为RGB彩色的三通道图像，张量表示为X＝[R,G,B]，缺陷子图经过1×1卷积比例放缩以平衡数据后的结果为：
X＝CONV[Rdef,Gdef,Bdef]
其中Rdef，Gdef，Bdef分别表示原始图像的R，G，B三通道经过1×1卷积后的 结果；
b、好品子图为RGB彩色的三通道图像，张量表示为Y＝[R,G,B]，好品子图经过1×1卷积比例放缩以平衡数据后的结果为：
Y＝CONV[Rgood,Ggood,Bgood]
其中Rgood，Gggood，Bgood分别表示好品子图的R，G，B三通道经过1×1卷积 后的结果；
c、新的数据是X，Y的结合，作为GoogLeNet二分类模型训练和测试的输 入数据格式：
[X,Y]＝[Rdef,Gdef,Bdef,Rgood,Ggood,Bgood]。
本发明的有益效果是，解决了背景技术中存在的缺陷，采用深度学习方法 代替传统缺陷检测方法，在有监督的缺陷检测之后对检出结果生成的缺陷小图 做二分类处理，并通过6通道输入策略提高二分类正确率，达到划痕、套印偏 差类缺陷准确检出的同时并具备极低误检率效果。
附图说明
图1是本发明的整体流程图；
图2是本发明待测产品检测得分阈值图；
图3的(a)-(d)是本发明好品子图和缺陷子图展示图；其中，(a)、(b) 为缺陷子图展示图，(c)、(d)为好品子图展示图；
图4是本发明6通道输入策略结构示意图；
图5是本发明6通道输入策略实现流程图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为 简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明 有关的构成。
一种基于深度学习的印刷品细小划痕、套印偏差检测方法，整体流程如图1 所示，可分为训练过程和检测过程，检测过程依赖于深度学习检测运行库和深 度学习二分类运行库，二者均在训练过程中生成，具体过程如下：
A、训练过程
一、有监督检测模型的训练：
步骤1、收集好品样本集和划痕、套印类缺陷样本集。
步骤2、划痕、套印类缺陷样本由人工标记缺陷位置(有监督方式)。
步骤3、好品样本集和缺陷样本集作为GoogLeNet网络的输入，经过 GoogLeNet有监督模型的迭代训练后形成深度学习检测运行库用于实际产品的 检测。
二、二分类模型的训练：
步骤1、依据缺陷位置信息并以缺陷为中心截取200*200的像素大小作为缺 陷子图。
步骤2、以步骤1同样的缺陷位置信息截取模板图相同位置子图作为好品子 图。
步骤3、缺陷子图与好品子图经过6通道输入策略形成负样本，好品子图与 本身经过6通道策略形成正样本。
步骤4、正、负样本经过GoogleNet二分类模型的迭代训练后形成深度学习 二分类运行库用于缺陷子图真实性的决策。
B、检测过程：
深度学习检测运行库和深度学习二分类运行库在检测过程被调用，分别用 于好品、缺陷品的决策和好品子图、缺陷子图的划分，具体实施步骤如下：
步骤1：待检产品通过深度学习检测运行库进行检测，依据得分值给出好品 和缺陷品的判定结果，如图2中得分阈值小于0.27判定为好品，大于或等于0.27 则判定为缺陷品，若判定结果为好品则直接进行好品输出口输出；
步骤2：若步骤1的判定结果为缺陷品，根据缺陷位置信息并以缺陷为中心 截取200*200像素大小的缺陷子图，同时截取模板图相同位置200*200像素大 小的好品子图，如图3的(a)-(d)所示；由于本方法主要针对细小划痕、不明 显划痕的检出，因此，在图3的(a)、(b)中的划痕不能很明显的显示出，因此，在图中通过箭头进行指向；
步骤3：好品子图与缺陷子图通过6通道输入策略形成张量形式为 200*200*6格式的新数据；
步骤4：新数据经过深度学习二分类运行库进行决策；
步骤5：若决策结果为好品子图，则判定该检测产品被误检(实际为好品)， 作为误检品进行好品输出口输出；若决策结果为缺陷子图，那么判定该检测产 品为真正的缺陷品，则进行废品输出口剔废处理。
好品子图与缺陷子图在第三维度的结合，体现了相同坐标位置像素的突变 特征，如第一通道与第四通道在缺陷位置的像素值具备很强的突变性和不规律 性，而好品子图与本身在第三维度的结合却没有这种潜在特征。
因此，上述二分类模型的训练过程、检测过程均用到6通道输入策略生成 新的输入数据，所述6通道输入策略结合方式如图4所示，具体实施方案如下：
缺陷子图和好品子图均为RGB彩色的三通道图像，其像素尺寸为200×200×3， 其张量表示为X＝[R,G,B]，缺陷子图经过1×1卷积进行比例放缩后的结果为：
X＝CONV[Rdef,Gdef,Bdef]
其中Rdef，Gdef，Bdef分别表示原始图像的R，G，B三通道经过1×1卷积后的 结果。同样，好品子图为经过1×1卷积进行比例放缩后的结果为：
Y＝CONV[Rgood,Ggood,Bgood]
其中Rgood，Gggood，Bgood分别表示好品子图的R，G，B三通道经过1×1卷积 后的结果，最后GoogleNet网络模型的输入层是X，Y的结合：
[X,Y]＝[Rdef,Gdef,Bdef,Rgood,Ggood,Bgood]
实现过程如图5所示，具体实施步骤如下：
步骤1、分配一个6通道的图片内存空间：
BYTE*image_6＝new BYTE[200*200*6]
步骤2、读取大小为200*200*3的缺陷子图image_NG数据进行1*1卷积后 写入image_6变量。其中1*1卷积起比例缩放作用，缩放比例设为0.8。
步骤3、同样，读取大小为200*200*3的好品子图image_OK数据进行1*1 卷积后写入image_6变量，缩放比例设为0.8。
步骤4、至此，image_6变量中既包含了缺陷子图数据也包含了好品子图数 据，将image_6直接作为GoogLeNet网络模型运行库的输入并及时释放申请的内 存空间防止内存发生泄漏。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发 明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以 对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (2)

1.一种基于深度学习的印刷品细小划痕、套印偏差检测方法，其特征在于：将有监督检测和二分类进行结合，具有训练过程和检测过程；
所述的训练过程包括有监督检测模型的训练以及二分类模型的训练；
所述的检测过程包括以下步骤：
步骤1：待检产品通过深度学习检测运行库进行检测，依据得分值给出好品和缺陷品判定结果，若判定结果为好品则直接进行好品输出口输出；
步骤2：若步骤1判定结果为缺陷品，根据缺陷位置信息并以缺陷为中心截取像素值为200*200大小的缺陷子图，同时截取模板图相同位置200*200大小的好品子图；
步骤3：好品子图与缺陷子图通过6通道输入策略形成新的数据，其张量表达为：200*200*6；
好品子图与缺陷子图通过6通道输入策略形成新的数据的方式为：
a、缺陷子图为RGB彩色的三通道图像，张量表示为X＝[R,G,B]，缺陷子图经过1×1卷积比例放缩以平衡数据后的结果为：
X＝CONV[Rdef,Gdef,Bdef]
其中Rdef，Gdef，Bdef分别表示原始图像的R，G，B三通道经过1×1卷积后的结果；
b、好品子图为RGB彩色的三通道图像，张量表示为Y＝[R,G,B]，好品子图经过1×1卷积比例放缩以平衡数据后的结果为：
Y＝CONV[Rgood,Ggood,Bgood]
其中Rgood，Gggood，Bgood分别表示好品子图的R，G，B三通道经过1×1卷积后的结果；
c、新的数据是X，Y的结合，作为GoogLeNet二分类模型训练和测试的输入数据格式：
[X,Y]＝[Rdef,Gdef,Bdef,Rgood,Ggood,Bgood]；
步骤4：新的数据经过深度学习二分类运行库进行决策；
步骤5：若决策结果为好品子图，则判定检测产品被误检，检测产品作为误检品经过好品输出口输出；若决策结果为缺陷子图，那么判定检测产品为真正的缺陷品，则经过废品输出口剔废处理；
所述的二分类模型的训练包括以下步骤，
a’、依据缺陷位置信息并以缺陷为中心截取200*200的大小作为缺陷子图；
b’、以同样的缺陷位置信息截取模板图相同位置子图作为好品子图；
c’、缺陷子图与好品子图经过6通道输入策略形成负样本，好品子图与本身经过6通道策略形成正样本；
d’、正、负样本经过GoogLeNet二分类模型的迭代训练后形成深度学习二分类运行库用于缺陷子图真实性的决策。
2.如权利要求1所述的基于深度学习的印刷品细小划痕、套印偏差检测方法，其特征在于：所述的有监督检测模型的训练包括以下步骤，
a"、收集好品样本集和划痕、套印类缺陷样本集，其中划痕、套印类缺陷样本通过人工标记缺陷位置；
b"、好品样本集和缺陷样本集作为GoogLeNet网络的输入，经过GoogLeNet有监督模型的迭代训练后形成深度学习检测运行库用于实际产品的检测。
CN202010321716.7A 2020-04-22 2020-04-22 基于深度学习的印刷品细小划痕、套印偏差检测方法 Active CN111524120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321716.7A CN111524120B (zh) 2020-04-22 2020-04-22 基于深度学习的印刷品细小划痕、套印偏差检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321716.7A CN111524120B (zh) 2020-04-22 2020-04-22 基于深度学习的印刷品细小划痕、套印偏差检测方法

Publications (2)

Publication Number Publication Date
CN111524120A CN111524120A (zh) 2020-08-11
CN111524120B true CN111524120B (zh) 2023-04-25

Family

ID=71904363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321716.7A Active CN111524120B (zh) 2020-04-22 2020-04-22 基于深度学习的印刷品细小划痕、套印偏差检测方法

Country Status (1)

Country Link
CN (1) CN111524120B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161990A (zh) * 2020-09-23 2021-01-01 征图新视(江苏)科技股份有限公司 一种果冻异物视觉检测方法及其装置
CN112365047B (zh) * 2020-11-10 2021-08-27 世纪开元智印互联科技集团股份有限公司 一种拼版优化方法及系统
CN113935982B (zh) * 2021-10-27 2024-06-14 征图新视(江苏)科技股份有限公司 基于深度学习的印刷质量检测分析系统
CN117764963A (zh) * 2023-12-25 2024-03-26 深圳市恒顺亿包装材料有限公司 基于机器视觉的包装袋缺陷检测方法、装置、终端及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631031B1 (ko) * 2018-07-27 2024-01-29 삼성전자주식회사 반도체 장치의 불량 검출 방법
CN109711474B (zh) * 2018-12-24 2023-01-17 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109872323A (zh) * 2019-02-28 2019-06-11 北京国网富达科技发展有限责任公司 输电线路的绝缘子缺陷检测方法及装置
CN110020691B (zh) * 2019-04-11 2022-10-11 重庆信息通信研究院 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN110335262A (zh) * 2019-06-28 2019-10-15 西安理工大学 一种机器视觉中印刷品缺陷自动分类方法

Also Published As

Publication number Publication date
CN111524120A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524120B (zh) 基于深度学习的印刷品细小划痕、套印偏差检测方法
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
WO2021143343A1 (zh) 一种产品质量检测方法及装置
CN112950606B (zh) 一种基于小样本的手机屏幕缺陷分割方法
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
EP3343440A1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
CN106529537A (zh) 一种数字仪表读数图像识别方法
CN111951249A (zh) 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
CN108181316A (zh) 一种基于机器视觉的竹条缺陷检测方法
CN111161213B (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN112529901B (zh) 一种复杂环境下的裂缝识别方法
CN111861990A (zh) 一种产品不良外观检测的方法、系统及存储介质
CN102749034B (zh) 基于图像处理的铁路道岔缺口偏移量检测方法
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN110648323A (zh) 一种缺陷检测分类系统及其方法
CN114266743A (zh) 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质
WO2023236371A1 (zh) 用于电缆元件识别的视觉分析方法
CN117115171B (zh) 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN113298767A (zh) 一种能克服反光现象的围棋图谱可靠识别方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant