CN112132828A - 基于深度学习的薄膜瑕疵检测方法 - Google Patents

基于深度学习的薄膜瑕疵检测方法 Download PDF

Info

Publication number
CN112132828A
CN112132828A CN202011099999.1A CN202011099999A CN112132828A CN 112132828 A CN112132828 A CN 112132828A CN 202011099999 A CN202011099999 A CN 202011099999A CN 112132828 A CN112132828 A CN 112132828A
Authority
CN
China
Prior art keywords
network
film
training
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011099999.1A
Other languages
English (en)
Inventor
吴浩楠
王慧燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xiaopeng Technology Co ltd
Zhejiang Gongshang University
Original Assignee
Zhejiang Xiaopeng Technology Co ltd
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xiaopeng Technology Co ltd, Zhejiang Gongshang University filed Critical Zhejiang Xiaopeng Technology Co ltd
Priority to CN202011099999.1A priority Critical patent/CN112132828A/zh
Publication of CN112132828A publication Critical patent/CN112132828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的薄膜瑕疵检测方法。该发明包括以下步骤：首先根据yolov5的卷积神经网络结构，在coco数据库上进行训练得到一个预训练网络；然后通过对所述的预训练网络进行微调，在薄膜数据库上学习一个新的网络模型，即目标网络；最后将目标网络模型加载到系统中，将相机采集的实时薄膜数据载入系统中进行检测。本发明主要针对薄膜瑕疵小，难以识别检测出，浅层特征重复利用，对浅层参数与特征金字塔简单相加操作。由于参数量没有增加，只是增加了特征相加操作，在与原模型的检测速度相当情况下，使得对薄膜上的小瑕疵检测精准度更高。

Description

基于深度学习的薄膜瑕疵检测方法
技术领域
本发明属于计算机视觉中的视频图像处理和模式识别领域，涉及一种基于深度学习的薄膜瑕疵检测方法。
背景技术
在薄膜的实际生产过程中，由于各方面因素的影响，薄膜表面会出现诸如孔洞、蚊虫、黑点、晶点、划伤、斑点等瑕疵，严重影响了薄膜的质量，给生产商带来了不必要的损失。人眼往往不能及时准确的判断出瑕疵，薄膜表面缺陷检测系统能在线对生产过程中产生的表面缺陷瑕疵进行高速、精确的检测，显示和识别薄膜表面上的所有表面缺陷。能检测分别出极小尺寸的脏污点、条纹、破损、边缘裂缝、皱折、暗斑、亮斑、边缘破损、黑点疵点、毛发，蚊虫，等常见表面缺陷。强大的表面缺陷模式识别功能，根据表面缺陷的特征，在报警的同时，会指出导致该表面缺陷的设备、工艺问题所在，指导工人及时处理，从而有效的节约了生产成本、提高了产品质量。因此薄膜瑕疵在线检测系统成为高速薄膜生产线中不可或缺的检测设备。
目前国内外针对瑕疵检测的各种算法如：奇异值( Singular Value) 检测算法，能使得瑕疵显著化，但其计算量大，实际应用受限；小波以及形态学检测算法使输入图像通过小波变换，并运用多尺度积达到降低噪声、强化边缘特征的目的，最后运用形态学得到较准确的瑕疵标记，但此法的误检率偏高；方法库，顾名思义，会涉及多种方法，主要包括Gabor 滤波、形态学检测、多尺度小波检测，其检出率较高，但计算复杂度偏高；LBP(LocalBinary Patterns，局部二值模式) 算法，将一幅图像分割成若干块进行处理以获取图像的纹理特征从而进行瑕疵检测，此类方法的检测效果有待提升；BB( BollingerBands，布林带) 法、RB( Regular Band，规则带) 法则是对一整幅图像进行处理，检测精度较高，但不能准确定位出细小瑕疵。随着机器视觉理论与技术以及计算机硬件的发展，基于深度学习的目标检测成为研究的热点。在基于深度学习的框架下，瑕疵检测取得了极大的进步。
发明内容
针对现有技术的不足，本发明提供了一种基于深度学习的薄膜瑕疵检测方法，适用于薄膜生产过程中进行实时薄膜表面瑕疵检测，通过对浅层特征的重复使用，能够对小目标检测提升，可以有效提高对瑕疵检测准确率，这里的小目标已由国际组织SPIE定义。
本发明的技术方案为：
本发明包括以下步骤：
步骤（1）根据yolov5的卷积神经网络结构，在coco数据库上进行训练得到一个预训练网络。
步骤（2）通过对所述的预训练网络进行微调，在薄膜数据库上学习一个新的网络模型，即目标网络，所述的薄膜数据库采用以下方式得到：使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到所述薄膜数据库。
步骤（3）将目标网络加载到系统中，将相机采集的实时薄膜数据载入系统中进行检测。
所述步骤（2）的微调具体为：修改预训练网络的网络结构，将网络结构中的特征金字塔结构进行修改，将主干网络中的第3层进行下采样及升维度，与特征金字塔输出的P4层进行相加操作；将主干网络中的第5层进行下采样及升维度，与特征金字塔输出的P5层进行相加操作，得到直角特征金字塔结构。
进一步说，所述步骤（3）具体为：将采集薄膜图像的相机部署在生产线上，实时获取薄膜图像，将图像传入系统中进行实时检测；若检测到瑕疵，系统自动用红色矩形框在图像中标注并打印在屏幕上。
本发明的有益效果是：本发明主要针对薄膜瑕疵小，难以识别检测，浅层特征重复利用，对浅层参数与特征金字塔简单相加操作。由于参数量没有增加，只是增加了特征相加操作，在与原模型的检测速度相当情况下，使得对薄膜上的小瑕疵检测精准度更高。
附图说明
图1为本发明瑕疵检测流程示意图；
图2为本发明瑕疵检测网络修改示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明提供一种基于深度学习的薄膜瑕疵检测的方法。判定薄膜是否有瑕疵如图1所示，其步骤如下：
第一、系统读取实时薄膜图片；
第二、图片经过目标网络模型的前向网络进行预测；
第三、判断图片中是否有瑕疵；
第四、预测出有瑕疵的薄膜图片进行瑕疵标注，以红色矩形框进行标注；
第五、系统提示该薄膜存在瑕疵并且显示具体位置。
其中目标网络模型由以下步骤得到：
根据yolov5的卷积神经网络结构，在coco数据库上进行训练得到一个预训练网络；通过对所述的预训练网络进行微调，在薄膜数据库上学习一个新的网络模型，即目标网络。
预训练网络进行微调具体是：修改预训练网络的网络结构，将网络结构中的特征金字塔结构进行修改，将主干网络中的第3层进行下采样及升维度，与特征金字塔输出的P4层进行相加操作；将主干网络中的第5层进行下采样及升维度，与特征金字塔输出的P5层进行相加操作；得到直角特征金字塔结构，见图2。微调后的网络结构，保留细节特征浅层的特征图在与深层的特征图融合时可以保留更多细节信息。能够在瑕疵检测时候，瑕疵的部分在图像中的权重有所增加，可以更好地适应瑕疵等小目标检测。

Claims (2)

1.基于深度学习的薄膜瑕疵检测方法，其特征在于该方法包括以下步骤：
步骤（1）根据yolov5的卷积神经网络结构，在coco数据库上进行训练得到一个预训练网络；
步骤（2）通过对所述的预训练网络进行微调，在薄膜数据库上学习一个新的网络模型，即目标网络；
步骤（3）将目标网络加载到系统中，将相机采集的实时薄膜数据载入系统中进行检测；
所述步骤（2）的微调具体为：修改预训练网络的网络结构，将网络结构中的特征金字塔结构进行修改，将主干网络中的第3层进行下采样及升维度，与特征金字塔输出的P4层进行相加操作；将主干网络中的第5层进行下采样及升维度，与特征金字塔输出的P5层进行相加操作，得到直角特征金字塔结构。
2.根据权利要求1所述的基于深度学习的薄膜瑕疵检测方法，其特征在于：所述步骤（3）具体为：将采集薄膜图像的相机部署在生产线上，实时获取薄膜图像，将图像传入系统中进行实时检测；若检测到瑕疵，系统自动用红色矩形框在图像中标注并打印在屏幕上。
CN202011099999.1A 2020-10-15 2020-10-15 基于深度学习的薄膜瑕疵检测方法 Pending CN112132828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011099999.1A CN112132828A (zh) 2020-10-15 2020-10-15 基于深度学习的薄膜瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011099999.1A CN112132828A (zh) 2020-10-15 2020-10-15 基于深度学习的薄膜瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN112132828A true CN112132828A (zh) 2020-12-25

Family

ID=73854025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011099999.1A Pending CN112132828A (zh) 2020-10-15 2020-10-15 基于深度学习的薄膜瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN112132828A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966678A (zh) * 2021-03-11 2021-06-15 南昌航空大学 一种文本检测方法及系统
CN113160123A (zh) * 2021-02-24 2021-07-23 广东工业大学 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN113487570A (zh) * 2021-07-06 2021-10-08 东北大学 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法
WO2022252348A1 (zh) * 2021-06-01 2022-12-08 浙江工商大学 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法
US11619593B2 (en) 2021-06-01 2023-04-04 Zhejiang Gongshang University Methods and systems for detecting a defect of a film
CN117593244A (zh) * 2023-10-12 2024-02-23 浙江工业大学膜分离与水处理协同创新中心湖州研究院 一种基于改进注意力机制的膜产品缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN111008562A (zh) * 2019-10-31 2020-04-14 北京城建设计发展集团股份有限公司 一种特征图深度融合的人车目标检测方法
US20200311492A1 (en) * 2019-03-31 2020-10-01 Cortica Ltd Object detector having shallow neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
US20200311492A1 (en) * 2019-03-31 2020-10-01 Cortica Ltd Object detector having shallow neural networks
CN111008562A (zh) * 2019-10-31 2020-04-14 北京城建设计发展集团股份有限公司 一种特征图深度融合的人车目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐融;邱晓晖;: "一种改进的YOLO V3目标检测方法", 计算机技术与发展, no. 07 *
李维刚;叶欣;赵云涛;王文波;: "基于改进YOLOv3算法的带钢表面缺陷检测", 电子学报, no. 07, pages 1284 - 1292 *
陈亮;张浩舟;燕浩;: "基于深度学习算法的尿素泵体用铝型材表面瑕疵检测", 流体机械, no. 08, pages 47 - 52 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160123A (zh) * 2021-02-24 2021-07-23 广东工业大学 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN113160123B (zh) * 2021-02-24 2022-12-13 广东工业大学 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN112966678A (zh) * 2021-03-11 2021-06-15 南昌航空大学 一种文本检测方法及系统
WO2022252348A1 (zh) * 2021-06-01 2022-12-08 浙江工商大学 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法
US11619593B2 (en) 2021-06-01 2023-04-04 Zhejiang Gongshang University Methods and systems for detecting a defect of a film
CN113487570A (zh) * 2021-07-06 2021-10-08 东北大学 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN113487570B (zh) * 2021-07-06 2024-01-30 东北大学 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法
CN117593244A (zh) * 2023-10-12 2024-02-23 浙江工业大学膜分离与水处理协同创新中心湖州研究院 一种基于改进注意力机制的膜产品缺陷检测方法

Similar Documents

Publication Publication Date Title
CN112132828A (zh) 基于深度学习的薄膜瑕疵检测方法
CN101799434B (zh) 一种印刷图像缺陷检测方法
CN110349126A (zh) 一种基于卷积神经网络带标记的钢板表面缺陷检测方法
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN105894036A (zh) 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法
CN115131283B (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
CN113706490B (zh) 一种晶片缺陷检测方法
CN108896577A (zh) 一种刹车片轮廓缺陷的自动检测方法
CN113034488B (zh) 一种喷墨印刷品的视觉检测方法
CN110020691B (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN111681213A (zh) 一种基于深度学习的导光板线划伤缺陷检测方法
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN115311250A (zh) 基于深度学习和时空特征融合的烟支外观检测方法
CN117314826A (zh) 一种显示屏的性能检测方法
CN116739991A (zh) 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置
TWI749714B (zh) 瑕疵檢測方法、瑕疵分類方法及其系統
CN116385353B (zh) 一种摄像头模组异常检测方法
TWM606740U (zh) 瑕疵檢測系統
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
CN116258703A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN113592853A (zh) 一种基于深度学习的原丝纤维表面缺陷检测方法
TWM619409U (zh) 智慧化加工系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Huiyan

Inventor after: Wu Haonan

Inventor before: Wu Haonan

Inventor before: Wang Huiyan