CN111507960A - 一种基于神经网络可视化的摄像模组镜头脏污检测方法 - Google Patents
一种基于神经网络可视化的摄像模组镜头脏污检测方法 Download PDFInfo
- Publication number
- CN111507960A CN111507960A CN202010298985.6A CN202010298985A CN111507960A CN 111507960 A CN111507960 A CN 111507960A CN 202010298985 A CN202010298985 A CN 202010298985A CN 111507960 A CN111507960 A CN 111507960A
- Authority
- CN
- China
- Prior art keywords
- image
- camera module
- neural network
- lens
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012800 visualization Methods 0.000 title claims abstract description 17
- 238000011109 contamination Methods 0.000 title description 6
- 230000004913 activation Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013434 data augmentation Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000007774 longterm Effects 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络可视化的摄像模组镜头脏污检测方法，针对缺陷样本较少的问题，提供比较快速和准确的脏污检测结果；本发明的有益效果在于，本发明的脏污检测方法使用的网络模型结构和原理比较简单，因此网络的推理时间快，可以达到实时检测的效果；本发明中的类激活图以神经网络可解释性为依据，类激活图的准确性能够更好地指导模型的训练，提高检测的准确率；本发明中的训练数据的准备和标注足够简单，适合工厂技术人员操作，从而能够加快模型的迭代效率以及新产品上线需求；本发明的脏污检测方法通过较小数量的样本就能实现较高的检测准确率，因此适合工厂生产线的长期使用。
Description
技术领域
本发明涉及检测技术领域，具体为一种基于神经网络可视化的摄像模组镜头脏污检测方法。
背景技术
随着数字图像技术的快速发展，摄像头得到了越来越广泛的应用，包括手机摄像头，车载摄像头等。摄像头质量的好坏与摄像模组有很大关系。在摄像模组生产中，非常重要的一个环节就是检查和清洁模组镜头上的脏污。摄像模组镜头的生产车间虽然是无尘车间，但由于传感器本身存在成像错误的像素点以及在组装过程中产生的灰尘粒子，导致成像时会出现亮点、暗点、色点及暗斑等脏污。
目前脏污检测主要是人工检测的方法、传统图像分割的方法、基于深度学习的图像分割和目标检测的方法。由于脏污与图像背景之间的颜色梯度很小，人工辨识费力；且工人在工作过程中眼睛容易疲劳，以及难以避免的人为疏忽，易导致脏污漏检和误判。为了解决传统人工检测中低效率，低稳定性，实时性差，准确率不高的问题，需要研究一种快速、可靠的检测方法来代替人工检测。传统的图像分割的方法，需要人工选取特征和经验知识，计算量较大，微小的缺陷容易出现漏检，鲁棒性和泛化性能不好。基于深度学习的图像分割和目标检测的方法，需要较大的样本量，存在较大的数据标注工作量，不能适应产品更新换代快的需求；并且，没有考虑到实际工业场景中数据稀疏的问题，缺陷样本数据太少会引起过拟合，使模型缺乏泛化性能，最终影响缺陷检测的准确率。
发明内容
1.需要解决的技术问题
本发明解决的技术问题在于，提供一种基于神经网络可视化的摄像模组镜头脏污检测方法，针对缺陷样本较少的问题。
2.技术方案
为实现上述目的，本发明提供如下技术方案：一种基于神经网络可视化的摄像模组镜头脏污检测方法，包括如下步骤：
步骤1，采集摄像模组镜头图像，将图像分为缺陷样本和非缺陷样本；
步骤2，采用数据增广方法，对步骤1采集的图像进行数据增广，将图片的数量扩展为采集图像数量的8倍；
步骤3，搭建CNN模型，将图像从低维特征向高维特征学习，提取步骤2图像的特征，再对所述图像的特征进行全局均值池化，计算每个图像的特征的全图均值；
步骤4，采用均值为0，方差为0.001的高斯分布初始化网络，结果通过Softmax归一化，得到步骤3模型的模型参数；
步骤5，将步骤4训练好的模型进行推理运算，得到类激活图，以确认模型学习结果成功；
步骤6，对步骤5得到的类激活图进行自适应切割，得到检测图像脏污的检测结果。
上述的基于神经网络可视化的摄像模组镜头脏污检测方法，其中，所述步骤1包括如下步骤：
步骤1.1，电子显微镜采集所述摄像模组镜头的图像；
步骤1.2，对步骤1.1采集的图像分类，得到脏污图像和非脏污图像。
上述的基于神经网络可视化的摄像模组镜头脏污检测方法，其中，所述步骤2的数据增广方式包括随机左右翻转、随机水平翻转、随机亮度变化、随机颜色变化、随机旋转90°。
上述的基于神经网络可视化的摄像模组镜头脏污检测方法，其中，所述步骤3的CNN模型包含注意力模块，其数学表达式为：
式中，
是全局注意力池化的权重，
表示Bottleneck Transform，
表示对某一层的所有神经元的进行Normalize操作
上述的基于神经网络可视化的摄像模组镜头脏污检测方法，其中，所述步骤3的全局均值池化采用如下数学表达式：
其中Fi表示全局均值化结果，fi(x,y)表示第i幅特征图中(x,y)位置的像素值，M,N表示特征图的大小。
上述的基于神经网络可视化的摄像模组镜头脏污检测方法，其中，所述步骤5中的类激活图计算方法如下式：
其中，CAMc(x,y)表示第c类的类激活图，类激活图中不同位置(x,y)处的响应强度代表着对分类的贡献大小。
3有益效果
综上所述，本发明的有益效果在于：
(1)本发明的脏污检测方法使用的网络模型结构和原理比较简单，因此网络的推理时间快，可以达到实时检测的效果；本发明中的类激活图是以神经网络可解释性为依据，类激活图的准确性能够更好地指导模型的训练，提高检测的准确率；
(2)本发明中的训练数据的准备和标注足够简单，适合工厂技术人员操作，从而能够加快模型的迭代效率以及新产品上线需求；本发明的脏污检测方法通过较小数量的样本就能实现较高的检测准确率，因此适合工厂流水线的长时间使用。
附图说明
图1是本发明实施例脏污图像的示意图；
图2是本发明实施例非脏污图像的示意图；
图3是本发明实施例脏污位置的类激活图；
图4是本发明实施例脏污位置的自适应分隔检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见附图1至附图4所示，一种基于神经网络可视化的摄像模组镜头脏污检测方法，包括如下步骤：
步骤1，采集摄像模组镜头图像，将图像分为缺陷样本和非缺陷样本：首先，通过电子显微镜采集所述摄像模组镜头的图像，然后对采集的图像分类，得到脏污图像和非脏污图像；
步骤2，采用数据增广方法，对步骤1采集的图像进行数据增广，将图片的数量扩展为采集图像数量的8倍，数据增广方式包括随机左右翻转、随机水平翻转、随机亮度变化、随机颜色变化、随机旋转90°；
步骤3，搭建CNN模型，将图像从低维特征向高维特征学习，提取步骤2图像的特征，再对所述图像的特征进行全局均值池化，计算每个图像的特征的全图均值，本实施例经过8个卷积层以和3个注意模块后得到256个32x32的特征图，再对特征图进行全局均值池化得到256维向量；
步骤4，采用均值为0，方差为0.001的高斯分布初始化网络，初始化偏置为0，批处理大小设为20，优化器采用Adam，学习率设为0.01，结果通过Softmax归一化，得到步骤3模型的模型参数；
步骤5，将步骤4训练好的模型进行推理运算，得到输入图像的不同区域对分类的贡献大小，进而可以将贡献大的区域分割出来作为脏污位置得到类激活图，以确认模型学习结果成功；
步骤6，对步骤5得到的类激活图进行自适应切割，得到图像脏污的检测结果。
优选的是，所述步骤3的CNN模型包含注意力模块，其数学表达式为：
式中，
是全局注意力池化的权重，
表示Bottleneck Transform，
表示对某一层的所有神经元的进行Normalize操作
优选的是，所述步骤3的全局均值池化采用如下数学表达式：
其中Fi表示全局均值化结果，fi(x,y)表示第i幅特征图中(x,y)位置的像素值，M,N表示特征图的大小。
优选的是，所述步骤5中的类激活图计算方法如下式：
其中，CAMc(x,y)表示第c类的类激活图，类激活图中不同位置(x,y)处的响应强度代表着对分类的贡献大小。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于神经网络可视化的摄像模组镜头脏污检测方法，其特征在于，包括如下步骤：
步骤1，采集摄像模组镜头图像，将图像分为缺陷样本和非缺陷样本；
步骤2，采用数据增广方法，对步骤1采集的图像进行数据增光，将图片的数量扩展为采集图像数量的8倍；
步骤3，搭建CNN模型，将图像从低维特征向高维特征学习，提取步骤2图像的特征，再对所述图像的特征进行全局均值池化，计算每个图像的特征的全图均值；
步骤4，采用均值为0，方差为0.001的高斯分布初始化网络，结果通过Softmax归一化，得到步骤3模型的模型参数；
步骤5，将步骤4训练好的模型进行推理运算，得到类激活图，以确认模型学习结果成功；
步骤6，对步骤5得到的类激活图进行自适应切割，得到检测图像的脏污检测结果。
2.根据权利要求1所述的一种基于神经网络可视化的摄像模组镜头脏污检测方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1，电子显微镜采集所述摄像模组镜头的图像；
步骤1.2，对步骤1.1采集的图像分类，得到脏污图像和非脏污图像。
3.根据权利要求1所述的一种基于神经网络可视化的摄像模组镜头脏污检测方法，其特征在于，所述步骤2的数据增广方式包括随机左右翻转、随机水平翻转、随机亮度变化、随机颜色变化、随机旋转90°。
4.根据权利要求1所述的一种基于神经网络可视化的摄像模组镜头脏污检测方法，其特征在于，所述步骤3的CNN模型包含注意力模块，其数学表达式为：
式中，
是全局注意力池化的权重；
表示Bottleneck Transform；
表示对某一层的所有神经元的进行Normalize操作。
5.根据权利要求1所述的一种基于神经网络可视化的摄像模组镜头脏污检测方法，其特征在于，所述步骤3的全局均值池化采用如下数学表达式：
其中Fi表示全局均值化结果，fi(x,y)表示第i幅特征图中(x,y)位置的像素值，M,N表示特征图的大小。
由下式，可以得到每一类激活图的预测值：
式中，fi表示最后一个卷积层输出的特征图，其中i表示特征图的序号，fi(x,y)的含义同全局均值池化数学表达式中其含义，Fi的含义同全局均值池化数学表达式中的含义，
表示第c类第i幅特征图对应的权重.
则每一类激活图的预测值又可表示为下式：
其中，CAMc(x,y)表示第c类的类激活图，类激活图中不同位置(x,y)处的响应强度代表对分类的贡献大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010298985.6A CN111507960A (zh) | 2020-04-16 | 2020-04-16 | 一种基于神经网络可视化的摄像模组镜头脏污检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010298985.6A CN111507960A (zh) | 2020-04-16 | 2020-04-16 | 一种基于神经网络可视化的摄像模组镜头脏污检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111507960A true CN111507960A (zh) | 2020-08-07 |
Family
ID=71876152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010298985.6A Pending CN111507960A (zh) | 2020-04-16 | 2020-04-16 | 一种基于神经网络可视化的摄像模组镜头脏污检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507960A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2609699A (en) * | 2021-07-28 | 2023-02-15 | Coopervision Int Ltd | Systems and methods for acquiring and inspecting lens images of ophthalmic lenses |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971153A (zh) * | 2017-03-08 | 2017-07-21 | 重庆三峡学院 | 一种人脸图像光照补偿方法 |
| CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| CN109035233A (zh) * | 2018-07-24 | 2018-12-18 | 西安邮电大学 | 视觉注意力网络及工件表面缺陷检测方法 |
| CN109559302A (zh) * | 2018-11-23 | 2019-04-02 | 北京市新技术应用研究所 | 基于卷积神经网络的管道视频缺陷检测方法 |
| CN110060508A (zh) * | 2019-04-08 | 2019-07-26 | 武汉理工大学 | 一种用于内河桥区的船舶自动检测方法 |
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN110648310A (zh) * | 2019-08-30 | 2020-01-03 | 上海理工大学 | 基于注意力机制的弱监督铸件缺陷识别方法 |
-
2020
- 2020-04-16 CN CN202010298985.6A patent/CN111507960A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971153A (zh) * | 2017-03-08 | 2017-07-21 | 重庆三峡学院 | 一种人脸图像光照补偿方法 |
| CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| US20190318469A1 (en) * | 2018-04-17 | 2019-10-17 | Coherent AI LLC | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns |
| CN109035233A (zh) * | 2018-07-24 | 2018-12-18 | 西安邮电大学 | 视觉注意力网络及工件表面缺陷检测方法 |
| CN109559302A (zh) * | 2018-11-23 | 2019-04-02 | 北京市新技术应用研究所 | 基于卷积神经网络的管道视频缺陷检测方法 |
| CN110060508A (zh) * | 2019-04-08 | 2019-07-26 | 武汉理工大学 | 一种用于内河桥区的船舶自动检测方法 |
| CN110648310A (zh) * | 2019-08-30 | 2020-01-03 | 上海理工大学 | 基于注意力机制的弱监督铸件缺陷识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2609699A (en) * | 2021-07-28 | 2023-02-15 | Coopervision Int Ltd | Systems and methods for acquiring and inspecting lens images of ophthalmic lenses |
| GB2609699B (en) * | 2021-07-28 | 2024-04-24 | Coopervision Int Ltd | Systems and methods for acquiring and inspecting lens images of ophthalmic lenses |
| US12051191B2 (en) | 2021-07-28 | 2024-07-30 | Coopervision International Limited | Systems and methods for acquiring and inspecting lens images of ophthalmic lenses |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111862194B (zh) | 基于计算机视觉的深度学习植物生长模型分析方法及系统 | |
| CN111582294B (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN111383209A (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| CN110853015A (zh) | 基于改进Faster-RCNN的铝型材缺陷检测方法 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN112233090B (zh) | 基于改进注意力机制的薄膜瑕疵检测方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN112686833B (zh) | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 | |
| CN113284123A (zh) | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 | |
| CN111523540A (zh) | 基于深度学习的金属表面缺陷检测方法 | |
| CN112991344A (zh) | 基于深度迁移学习的检测方法、存储介质和检测系统 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN115775236B (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN113781585B (zh) | 一种增材制造零件表面缺陷在线检测方法及系统 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| TWI822968B (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
| CN114463280A (zh) | 一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法 | |
| CN114627089A (zh) | 缺陷识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN111753572A (zh) | 一种基于深度学习的复杂背景低质量二维条码检测方法 | |
| CN113808104B (zh) | 一种基于分块的金属表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200807 |