CN114359253A - 基于卷积神经网络的影像脏污检测方法及系统 - Google Patents

Abstract

本发明涉及图像检测技术领域，具体公开了基于卷积神经网络的影像脏污检测方法及系统，其中系统包括：训练模块，用于将训练图像集中的图像输入卷积神经网络模型进行训练；初步验证模块，用于获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准；批量验证模块，用于获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。采用本发明的技术方案能够在保证准确率的情况下提高检测效率。

Description

基于卷积神经网络的影像脏污检测方法及系统

技术领域

本发明涉及图像检测技术领域，特别涉及基于卷积神经网络的影像脏污检测方法及系统。

背景技术

图像的脏污，也称POG、Blemish、瑕疵，是由摄像头滤光片、镜头内部镜片、表面上的灰尘、脏点而在芯片上成像造成的。图像的脏污一直是摄像头模组制造非常普遍且又非常重要的问题。

为了实现脏污的检测，目前常采用纹理分析法、基于边缘分割的检测法等，这些方法包括对目标图像区域增强、脏污的分割提取、脏污区域的位置标定及大小计算、脏污特征提取与分类识别等步骤。但是上述方法也存在如下问题：

1、检测速度较慢，当前检测1颗摄像头模组的时间在3秒左右，速度较慢，效率较低，无法跟上日益增大的摄像头模组的检测需求；

2、对高像素的支持较差，目前摄像头模组的像素已经超过5千万，有的甚至高达1亿像素，对于此类高像素的摄像头模组，由于像素更多，传输的数据量也更大，检测所需要的时间会更多，导致效率进一步降低，甚至有的检测方法存在不支持高像素的情况，需要进行降阶处理，例如将4个像素点合并为1个像素点，降低图像的像素后再进行检测，在合并过程中，容易掩盖掉单个像素的脏点等，导致检测不准确。

基于上述原因，需要一种能够在保证准确率的情况下提高检测效率的基于卷积神经网络的影像脏污检测方法及系统。

发明内容

本发明的目的之一在于，提供基于卷积神经网络的影像脏污检测方法及系统，能够在保证准确率的情况下提高检测效率。

为了解决上述技术问题，本申请提供如下技术方案：

基于卷积神经网络的影像脏污检测系统，包括：

采集模块，用于获取训练图像集，训练图像集内图像均具有脏污标记；

训练模块，预存有卷积神经网络模型，用于将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型；

初步验证模块，用于获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准；

批量验证模块，用于获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。

基础方案原理及有益效果如下：

本方案中，采用卷积神经网络模型对图像的脏污进行检测，能够将单张图像的检测速度从秒级提升到毫秒级，从而大幅提升检测效率。为了解决准确率的问题，本方案首先采用大量具有脏污标记的图像对卷积神经网络模型进行训练，使卷积神经网络模型的卷积核初步形成。再单独对训练结束的神经网络模型进行初步验证，即模拟生产线上的流程，将不良品摄像头模组的图像输入到卷积神经网络模型中，基于卷积神经网络模型的检测结果来判断是否正确，多次测试后即可统计正确率，从而判断正确率是否满足预设标准。若满足预设标准，例如正确率99％，证明该卷积神经网络模型已经满足使用的要求，标记为训练完成的卷积神经网络模型，若不满足预设标准则继续进行训练。此时如果直接在生产线上使用训练完成的卷积神经网络模型，可能会出现问题，例如卷积神经网络模型在实际生产中正确率降低，误判率升高，会影响整个生产线的正常运行。因此，本方案中，在正常的生产检测中，还保留原生产线的检测方法，使用卷积神经网络模型与原检测方法同时进行检查，直到卷积神经网络模型检测结果与生产线原有的检测结果的拟合度超过第一阈值，才认为卷积神经网络模型通过验证，确保使用卷积神经网络模型进行检测后，不影响准确率，能让生产线顺畅、不停摆地运行。

进一步，所述检测结果包括缺陷坐标和坐标位置的灰度值。

通过缺陷坐标能够确定脏污的位置。

进一步，还包括筛选模块，预存有图像判定标准，图像判定标准包含图像的区域划分以及对应区域的卡控阈值；筛选模块用于根据缺陷坐标确定所属区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。

因为摄像头模组的图像有shading现象，也就是摄像头模组的图像传感器边缘区域接收的光强比中心区域小，造成中心和四角亮度不一致的现象。所以图像的不同区域对于脏污的严重程度拦截要求不同，故通过对图像中不同区域设定不同的卡控阈值，加以区分拦截。

进一步，所述训练图像集包含若干不同像素、不同长宽比以及不同色温的图像。

可以使卷积神经网络模型的适应性更强。

进一步，所述生产线包括若干站位，站位包括检测模块；批量验证模块用于获取生产线选定站位上的摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与站位原有检测模块的检测结果进行对比。

进一步，所述批量验证模块还用于计算当前生产线选定站位上卷积神经网络模型输出检测结果的速度，与当前生产线选定站位上原有检测模块输出检测结果的速度的比值，判断比值是否大于第二阈值；

若大于第二阈值，批量验证模块还用于获取当前生产线上其他站位摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与当前生产线其他站位中检测模块的检测结果进行对比。

由于生产线的站位上摄像头模组的通过速率一定，而通过卷积神经网络模型进行检测的速度大于传统的检测模块，当检测模块还在检测中时，卷积神经网络模型已完成检测，此时处于空闲状态。本优选方案中，为了对卷积神经网络模型进行充分的验证，在卷积神经网络模型完成当前生产线选定站位上某个摄像头模组图像的检测后，还获取当前生产线其他站位上，单个摄像头模组图像进行检测，然后再对当前生产线选定站位上下一个摄像头模组图像的检测，如此循环，可以完成两组测试，对卷积神经网络模型的验证更为充分，保证卷积神经网络模型的准确率。

本发明的目的之二在于，提供基于卷积神经网络的影像脏污检测方法，包括如下步骤：

S1、获取训练图像集，训练图像集内图像均具有脏污标记；

S2、将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型；

S3、获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，转跳至S4，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准；

S4、获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。

本方法采用卷积神经网络模型对图像的脏污进行检测，能够将单张图像的检测速度从秒级提升到毫秒级，从而大幅提升检测效率。为了解决准确率的问题，本方案首先采用大量具有脏污标记的图像对卷积神经网络模型进行训练，使卷积神经网络模型的卷积核初步形成。再单独对训练结束的神经网络模型进行初步验证，即模拟生产线上的流程，将不良品摄像头模组的图像输入到卷积神经网络模型中，基于卷积神经网络模型的检测结果来判断是否正确，多次测试后即可统计正确率，从而判断正确率是否满足预设标准。若满足预设标准，例如正确率99％，证明该卷积神经网络模型已经满足使用的要求，标记为训练完成的卷积神经网络模型，若不满足预设标准则继续进行训练。此时如果直接在生产线上使用训练完成的卷积神经网络模型，可能会出现问题，例如卷积神经网络模型在实际生产中正确率降低，误判率升高，影响整个生产线的正常运行。本方案中，保留原生产线的检测方法，使用卷积神经网络模型与原检测方法同时进行检查，直到卷积神经网络模型检测结果与生产线原有的检测结果的拟合度超过第一阈值，才认为卷积神经网络模型通过验证，确保使用卷积神经网络模型进行检测后，不影响准确率，能让生产线顺畅、不停摆地运行。

进一步，所述步骤S4中，检测结果包括缺陷坐标和坐标位置的灰度值。

通过缺陷坐标能够确定脏污的位置。

进一步，还包括步骤S5、根据检测结果中缺陷坐标确定缺陷所属的图像区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。

进一步，所述步骤S5中，将图像划分为若干区域，在每一区域单独设置卡控阈值。

因为摄像头模组的图像有shading现象，也就是摄像头模组的图像传感器边缘区域接收的光强比中心区域小，造成中心和四角亮度不一致的现象。所以图像的不同区域对于脏污的严重程度拦截要求不同，故通过对于图像中不同区域设定不同的卡控阈值，加以区分拦截。

附图说明

图1为实施例一基于卷积神经网络的影像脏污检测系统的逻辑框图；

图2为实施例一基于卷积神经网络的影像脏污检测系统中训练用图像的示意图；

图3为实施例一基于卷积神经网络的影像脏污检测系统中图像区域划分的示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，本实施例的基于卷积神经网络的影像脏污检测系统，包括采集模块、训练模块、初步验证模块、批量验证模块和筛选模块。

采集模块用于获取训练图像集，如图2所示，训练图像集包含若干不同像素、不同长宽比以及不同色温的图像，且图像均具有脏污标记；本实施例中，图像的格式为BMP，像素的范围为200万-6400万。长宽比包括16：9和4：3，色温的范围为4500K-6500K；脏污通过红框标记；在其他实施例中，还可以根据实际生产的摄像头模组进行调整，例如，像素的范围可以扩大到1亿像素以上。本实施例中，图像指摄像头模组在工作状态(也叫点亮状态)，对着LED平板光源所抓取的影像。

训练模块预存有卷积神经网络模型，用于将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型。本实施例中，训练图像集中的图像训练完毕视为训练结束。

初步验证模块用于获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准。

具体的，将训练结束的卷积神经网络模型导入到测试程式中，取不良品摄像头模组放入现有的手动测试装置中，点亮不良品摄像头模组，运行测试程式，通过测试程式完成对不良品摄像头模组图像的脏污判断，持续的进行对比测试，记录正确率、误判率、失效率以及测试时间。误判、失效的视为判断错误，将其图像归为误判图像集，再次对神经网络模型进行训练，提高其置信度，不断重复这一过程，直至正确率满足预设标准，例如99％。

批量验证模块用于获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。若未超过，再次对神经网络模型进行训练，提高其置信度。具体的，选择生产线上的某一站位为选定站位，在此选定站位保留原有检测模块的同时，导入训练完成的卷积神经网络模型，持续的运行测试。检测结果包括缺陷坐标和坐标位置的灰度值。

筛选模块预存有图像判定标准，图像判定标准包含图像的区域划分以及对应区域的卡控阈值。本实施例中，将图像由中心到四周分成多个梯度的区域并分别设定卡控阈值，如图3所示，例如，根据图像四周到中心的距离分成10阶(10个视场区域)。筛选模块用于根据缺陷坐标确定所属区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。本实施例中，卡控阈值为灰度值，不同的摄像头模组的卡控阈值可根据实际情况进行设置。

基于上述系统，本实施例还提供基于卷积神经网络的影像脏污检测方法，包括如下步骤：

S1、获取训练图像集，训练图像集包含若干不同像素、不同长宽比以及不同色温的图像，且图像均具有脏污标记；本实施例中，图像的格式为BMP，像素的范围为200万-6400万。长宽比包括16：9和4：3，色温的范围为4500K-6500K；脏污通过红框标记；在其他实施例中，还可以根据实际生产的摄像头模组进行调整，例如，像素的范围可以扩大到1亿像素。

S2、将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型。本实施例中，训练图像集中的图像训练完毕视为训练结束。

S3、获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准。

S4、批量验证模块用于获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。检测结果包括缺陷坐标和坐标位置的灰度值。

S5、根据缺陷坐标确定缺陷所属的图像区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。本实施例中，将图像划分为若干区域以及每一区域单独设置卡控阈值。具体的，将图像由中心到四周分成多个梯度的区域并分别设定卡控阈值，例如，根据图像四周到中心的距离分成10阶(10个视场区域)。卡控阈值为灰度值，不同的摄像头模组的卡控阈值可根据实际情况进行设置。在其他实施例中，也可以在步骤S3时，使用步骤S5对图像不同区域的脏污进行区分拦截。

本实施例的方案采用卷积神经网络模型对图像的脏污进行检测，能够将单张图像的检测速度从秒级提升到毫秒级(900毫秒左右)，从而大幅提升检测效率。为了解决准确率的问题，本方案首先采用大量具有脏污标记的图像对卷积神经网络模型进行训练，使卷积神经网络模型的卷积核初步形成。再单独对训练结束的神经网络模型进行初步验证，即模拟生产线上的流程，将不良品摄像头模组的图像输入到卷积神经网络模型中，基于卷积神经网络模型的检测结果来判断是否正确，多次测试后即可统计正确率，从而判断正确率是否满足预设标准。若满足预设标准，例如正确率99％，证明该卷积神经网络模型已经满足使用的要求，标记为训练完成的卷积神经网络模型，若不满足预设标准则继续进行训练。此时如果直接在生产线上使用训练完成的卷积神经网络模型，可能会出现问题，例如卷积神经网络模型在实际生产中正确率降低，误判率升高，影响整个生产线的正常运行。本方案中，保留原生产线的检测方法，使用卷积神经网络模型与原检测方法同时进行检查，直到卷积神经网络模型检测结果与生产线原有的检测结果的拟合度超过第一阈值，才认为卷积神经网络模型通过验证，确保使用卷积神经网络模型进行检测后，不影响准确率，能让生产线顺畅、不停摆地运行。

实施例二

本实施例和实施例一的区别在于，本实施例的系统中，批量验证模块还用于计算当前生产线选定站位上卷积神经网络模型输出检测结果的速度与当前生产线选定站位上原有检测模块输出检测结果的速度的比值，判断比值是否大于第二阈值；

若大于第二阈值，批量验证模块还用于获取当前生产线上其他站位摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与当前生产线其他站位中检测模块的检测结果进行对比，判断拟合度。

若大于第三阈值，批量验证模块还用于获取其他生产线上选定站位摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与其他生产线选定站位上原有检测模块的检测结果进行对比，判断拟合度。其中第三阈值大于第二阈值，第二阈值和第三阈值可以根据生产线的站位上摄像头模组的实际通过速率进行确定。本实施例中，除当前生产线上选定站位的检测外，在满足条件的情况下，卷积神经网络模型只对当前生产线其他站位或其他生产线选定站位其中的一种进行检测，换句话说，大于第三阈值的情况下，只会对其他生产线上选定站位进行检测。

由于生产线的站位上摄像头模组的通过速率一定，而通过卷积神经网络模型进行检测的速度大于传统的检测模块，当检测模块还在检测中时，卷积神经网络模型已完成检测，此时处于空闲状态。本实施例为了对卷积神经网络模型进行充分的验证，在卷积神经网络模型完成当前生产线选定站位上某个摄像头模组图像的检测后，根据速度的比值，还获取当前生产线上其他站位或其他生产线选定站位上，单个摄像头模组图像进行检测，然后再对当前生产线选定站位上下一个摄像头模组图像的检测，如此循环，可以完成两组测试，对卷积神经网络模型的验证更为充分，保证卷积神经网络模型的准确率。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于卷积神经网络的影像脏污检测系统，其特征在于，包括：

采集模块，用于获取训练图像集，训练图像集内图像均具有脏污标记；

训练模块，预存有卷积神经网络模型，用于将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型；

初步验证模块，用于获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准；

批量验证模块，用于获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。

2.根据权利要求1所述的基于卷积神经网络的影像脏污检测系统，其特征在于：所述检测结果包括缺陷坐标和坐标位置的灰度值。

3.根据权利要求2所述的基于卷积神经网络的影像脏污检测系统，其特征在于：还包括筛选模块，预存有图像判定标准，图像判定标准包含图像的区域划分以及对应区域的卡控阈值；筛选模块用于根据缺陷坐标确定所属区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。

4.根据权利要求1所述的基于卷积神经网络的影像脏污检测系统，其特征在于：所述训练图像集包含若干不同像素、不同长宽比以及不同色温的图像。

5.根据权利要求1所述的基于卷积神经网络的影像脏污检测系统，其特征在于：所述生产线包括若干站位，站位包括检测模块；批量验证模块用于获取生产线选定站位上的摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与站位原有检测模块的检测结果进行对比。

6.根据权利要求5所述的基于卷积神经网络的影像脏污检测系统，其特征在于：所述批量验证模块还用于计算当前生产线选定站位上卷积神经网络模型输出检测结果的速度，与当前生产线选定站位上原有检测模块输出检测结果的速度的比值，判断比值是否大于第二阈值；

若大于第二阈值，批量验证模块还用于获取当前生产线上其他站位摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与当前生产线其他站位中检测模块的检测结果进行对比。

7.基于卷积神经网络的影像脏污检测方法，其特征在于，包括如下步骤：

S1、获取训练图像集，训练图像集内图像均具有脏污标记；

S2、将训练图像集中的图像输入卷积神经网络模型进行训练，得到训练结束的卷积神经网络模型；

S3、获取不良品摄像头模组的图像，输入训练结束的卷积神经网络模型，基于卷积神经网络模型的检测结果判断正确率是否满足预设标准，若满足，标记为训练完成的卷积神经网络模型，转跳至S4，若不满足，获取判断错误的图像，建立误判图像集，基于误判图像集再次对卷积神经网络模型进行训练，直至正确率满足预设标准；

S4、获取生产线上摄像头模组的图像，输入训练完成的卷积神经网络模型，将卷积神经网络模型输出的检测结果与生产线原有的检测结果进行对比，判断卷积神经网络模型检测结果与生产线原有的检测结果的拟合度是否超过第一阈值，若超过，标记为验证通过的卷积神经网络模型。

8.根据权利要求7所述的基于卷积神经网络的影像脏污检测方法，其特征在于：所述步骤S4中，检测结果包括缺陷坐标和坐标位置的灰度值。

9.根据权利要求8所述的基于卷积神经网络的影像脏污检测方法，其特征在于：还包括步骤S5、根据检测结果中缺陷坐标确定缺陷所属的图像区域，再判断坐标位置的灰度值是否超过对应区域的卡控阈值，若超过，判断为不良图像。

10.根据权利要求9所述的基于卷积神经网络的影像脏污检测方法，其特征在于：所述步骤S5中，将图像划分为若干区域，在每一区域单独设置卡控阈值。

Images