CN111709918A - 基于深度学习的联合多个通道产品缺陷分类方法 - Google Patents

基于深度学习的联合多个通道产品缺陷分类方法 Download PDF

Info

Publication number
CN111709918A
CN111709918A CN202010483651.6A CN202010483651A CN111709918A CN 111709918 A CN111709918 A CN 111709918A CN 202010483651 A CN202010483651 A CN 202010483651A CN 111709918 A CN111709918 A CN 111709918A
Authority
CN
China
Prior art keywords
channel
training
defect
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010483651.6A
Other languages
English (en)
Other versions
CN111709918B (zh
Inventor
许琦
王立军
朱天同
潘勇
莫仲念
刘飞月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Deepvision Creative Technology Ltd
Original Assignee
Shenzhen Deepvision Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Deepvision Creative Technology Ltd filed Critical Shenzhen Deepvision Creative Technology Ltd
Priority to CN202010483651.6A priority Critical patent/CN111709918B/zh
Publication of CN111709918A publication Critical patent/CN111709918A/zh
Application granted granted Critical
Publication of CN111709918B publication Critical patent/CN111709918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型；设置训练参数，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图；开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；导入事先准备好的检测和联合多通道分类模型，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。本发明的算法通用性强，对比市面上一般深度学习单输入模式有很大进步和创新。

Description

基于深度学习的联合多个通道产品缺陷分类方法
技术领域
本发明涉及缺陷检测领域，特别涉及一种基于深度学习的联合多个通道产品缺陷分类方法。
背景技术
工业生产现场，一般对于产品缺陷类别要求较高的产品，缺陷检测设备需要相机和多种光源不同角度对产品进行打光及图像采集，同一产品在同一位置处不同光源打光下成像效果也各不相同，相较于一般的深度学习方法，需要收集所有光源呈现缺陷的图像进行训练分类，此类方法会出现同一类型缺陷在不同光源下最终的分类结果也各不相同，所以会导致缺陷最终分类结果不稳定。
发明内容
本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，以解决至少一个上述技术问题。
为解决上述问题，作为本发明的一个方面，提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：
步骤1，训练流程，包括：
步骤11，样本准备阶段：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上；
步骤12，生成小图阶段：设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图；
步骤13，将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；
步骤2，实际检测流程，包括以下步骤：
步骤21，导入事先准备好的检测和联合多通道分类模型。
步骤22，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；
步骤23，汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。
其中，每个通道图像是在相机不同角度、和同一光源不同角度、和不同光源打光的等各种上组合变化的情况下，对产品进行打光及图像采集而获得的图像。
在上述技术方案中，本发明在模型训练之前先人工手动标注单个通道的缺陷位置区域，然后根据标注的缺陷映射该产品对应的每一通道相同位置处缺陷，再按固定步长和固定大小对图像进行裁剪，再根据实际需要将其中需要训练的通道图像作为输入，最终会生成一个用于现场的联合多通道分类模型。因此，本发明的算法通用性强，对比市面上一般深度学习单输入模式有很大进步和创新，分类阶段现场实际判别准确率可达99.99％，速度比多个通道单输入模式快一倍。
具体实施方式
以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
针对背景技术中提及的问题，本发明结合实际现场情况已开发出一种基于深度学习联合多个通道(不同光源成像)自动进行缺陷分类方法，整体分类准确率会比一般的深度学习高10％左右，分类的结果稳定性也比之前高，目前已成功应用在工业手机玻璃缺陷检测分类领域。
本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：
1.训练流程：
步骤1：样本准备阶段，导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上。
步骤2：生成小图阶段，设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图。
步骤3：将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型。
2.实际检测流程：
步骤1：导入事先准备好的检测和联合多通道分类模型。
步骤2：按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类。
步骤3：汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。
在上述技术方案中，本发明在模型训练之前先人工手动标注单个通道的缺陷位置区域，然后根据标注的缺陷映射该产品对应的每一通道相同位置处缺陷，再按固定步长和固定大小对图像进行裁剪，再根据实际需要将其中需要训练的通道图像作为输入，最终会生成一个用于现场的联合多通道分类模型。因此，本发明的算法通用性强，对比市面上一般深度学习单输入模式有很大进步和创新，分类阶段现场实际判别准确率可达99.99％，速度比多个通道单输入模式快一倍。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度学习的联合多个通道产品缺陷分类方法，其特征在于，包括：
步骤1，训练流程，包括：
步骤11，样本准备阶段：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上；
步骤12，生成小图阶段：设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图；
步骤13，将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；
步骤2，实际检测流程，包括以下步骤：
步骤21，导入事先准备好的检测和联合多通道分类模型；
步骤22，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；
步骤23，汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。
2.根据权利要求1所述的基于深度学习的联合多个通道产品缺陷方法，其特征在于，每个通道图像是在相机不同角度、和同一光源不同角度、和不同光源打光的等各种上组合变化的情况下，对产品进行打光及图像采集而获得的图像。
CN202010483651.6A 2020-06-01 2020-06-01 基于深度学习的联合多个通道产品缺陷分类方法 Active CN111709918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483651.6A CN111709918B (zh) 2020-06-01 2020-06-01 基于深度学习的联合多个通道产品缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010483651.6A CN111709918B (zh) 2020-06-01 2020-06-01 基于深度学习的联合多个通道产品缺陷分类方法

Publications (2)

Publication Number Publication Date
CN111709918A true CN111709918A (zh) 2020-09-25
CN111709918B CN111709918B (zh) 2023-04-18

Family

ID=72538504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010483651.6A Active CN111709918B (zh) 2020-06-01 2020-06-01 基于深度学习的联合多个通道产品缺陷分类方法

Country Status (1)

Country Link
CN (1) CN111709918B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022200948A1 (en) * 2021-03-21 2022-09-29 B.G. Negev Technologies & Applications Ltd. Palm tree mapping
CN115497462A (zh) * 2021-06-17 2022-12-20 通用汽车环球科技运作有限责任公司 基于客户驱动的噪声诊断辅助的自动化深度学习

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法
CN109615611A (zh) * 2018-11-19 2019-04-12 国家电网有限公司 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109614888A (zh) * 2018-11-23 2019-04-12 华南理工大学 基于架空输电线路缺陷辅助数据集的深度学习缺陷检测模型训练方法
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109559298A (zh) * 2018-11-14 2019-04-02 电子科技大学中山学院 一种基于深度学习的乳液泵缺陷检测的方法
CN109615611A (zh) * 2018-11-19 2019-04-12 国家电网有限公司 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109614888A (zh) * 2018-11-23 2019-04-12 华南理工大学 基于架空输电线路缺陷辅助数据集的深度学习缺陷检测模型训练方法
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022200948A1 (en) * 2021-03-21 2022-09-29 B.G. Negev Technologies & Applications Ltd. Palm tree mapping
CN115497462A (zh) * 2021-06-17 2022-12-20 通用汽车环球科技运作有限责任公司 基于客户驱动的噪声诊断辅助的自动化深度学习

Also Published As

Publication number Publication date
CN111709918B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US20210073975A1 (en) Method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non transitory computer readable recording medium
US10891520B2 (en) Machine learning device, inspection device and machine learning method
CN111709918B (zh) 基于深度学习的联合多个通道产品缺陷分类方法
TWI698628B (zh) 用於檢查潮溼眼用鏡片的系統及方法
CN106796179A (zh) 检查装置以及检查方法
CN102637258B (zh) 一种建立在线表面质量检测系统缺陷库的方法
CN103868935A (zh) 基于计算机视觉的烟支外观质量检测方法
CN103366176B (zh) 光学元件缺陷批量自动识别装置和方法
US20200020094A1 (en) Artificial intelligence-based leather inspection method and leather product production method
CN114280075B (zh) 一种管类零件表面缺陷在线视觉检测系统及检测方法
CN111062961A (zh) 一种基于深度学习的隐形眼镜边缘缺陷检测方法
CN110956627A (zh) 智能型光学检测样品特征与瑕疵智能打光取像方法及装置
JP2020532122A (ja) 透明又は半透明ウェハを対象にした欠陥検出
US20190272627A1 (en) Automatically generating image datasets for use in image recognition and detection
CN116978834B (zh) 一种用于晶圆生产的智能监测预警系统
CN107590511A (zh) 一种缺陷识别方法以及用于自动检查机的缺陷识别系统
CN110412055A (zh) 一种基于多光源暗场照明的透镜白雾缺陷检测方法
US20200090319A1 (en) Machine learning method implemented in aoi device
JP2021128097A (ja) 欠陥検出装置、欠陥検出方法、欠陥修正装置
CN106886989A (zh) 键盘按键的自动光学检测方法
CN113034620A (zh) 校正方法、校正装置、计算机可读存储介质及计算机设备
CN113628159A (zh) 一种基于深度学习网络全自动训练方法、装置及存储介质
CN106780655A (zh) 用于自动焊接路径的人工决策方法与系统
JP4602087B2 (ja) 着色型眼用部品の自動化検査
CN106370673A (zh) 一种镜片疵病自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant