CN107123111B - 一种用于手机屏幕缺陷检测的深度残差网络构造方法 - Google Patents

Abstract

一种用于手机屏幕缺陷检测的深度残差网络构造方法,包括：1)分别采集包含瑕疵图片和正常图片，进行标记(1表示包含瑕疵图片，0表示正常图片)，通过训练数据训练自定义的深度残差网络直到收敛并且有较高准确率；2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型，并重复进行此操作，生成多个不同深度的网络模型；3)将高分辨率相机拍摄的手机屏幕图片进行不同比例的缩放，形成图片金字塔，对于每个尺度的图片，将图片分割成小块并使得图片块含有一定的重合面积，将所有小块图片作为一个组一起送入不同深度的网络模型中；4)选取每个网络模型输出的特征图作为缺陷的响应图，采用阈值分割的方法获得手机屏幕缺陷区域位置，最后将不同深度的网络模型的检测结果叠加，从而获得最终检测结果。

Description

一种用于手机屏幕缺陷检测的深度残差网络构造方法

技术领域

本发明属于目标检测与识别领域，涉及从图像中检测特定目标，具体是检测手机屏幕缺陷的方法。

背景技术

传统的用人工检测屏幕瑕疵方法存在诸多不足之处，在工业生产高速发展的今天，它已经完全无法适应当今工业生产高效、准确的要求。对手机屏幕产商而言，寻找一种高效、准确的自动化检测设备用以替代人工检测环节，成为了迫切的需求。随着计算机视觉、图像处理等领域的发展，基于机器视觉的自动化检测系统成为了一种良好的解决方案。该方案通过高分辨率工业相机采集手机屏幕图像，然后将图像信息通过图像分析模块进行实时的处理，从而判断手机屏幕是否合格。

传统的基于机器视觉的屏幕缺陷检测算法，大多是针对一种或几种类别的屏幕缺陷进行设计的，不具有通用性，所以对于特殊的瑕疵，需要写专门的算法。由于屏幕的特殊性，拍照时在成像上的摩尔纹是不可避免的，而传统算法不能很好地解决摩尔纹问题。另外，传统的算法虽然可以检测较明显的线状、点状缺陷，但是对于成像上很淡缺陷以及具有特殊形状的缺陷，准确率很低。最后，传统的屏幕缺陷检测算法需要调节大量参数，尤其是在屏幕产品换型时，调整大量参数会导致时间的浪费。因此，设计一个具有良好泛化性的算法具有非常实用的价值。

近年来，深度学习方法在计算机视觉领域产生了巨大的影响。深度学习采用多层网络结构，模拟人脑中神经系统的层次关系和传递方式，它已经在模式识别的多个领域得到了广泛的应用并取得了良好的成绩。本方法采用基于深度残差神经网络的分类算法，使用预处理后的手机屏幕局部图像块作为分类器的输入，然后抽取卷积神经网络的特征图作为检测结果，将缺陷检测问题转变成一个图像块分类问题，通过此方法得到的深度模型不仅能够有效地学习到图像的背景纹理模式，从含有背景纹理的图像块中准确地定位缺陷的位置，而且对于各种类型的缺陷都有较高的准确率。此外，深度残差网络模型是一种隐式的集成学习方法，训练一个深度残差网络模型可以通过移除残差模块的方式生成很多浅层网络模型，这些浅层网络模型对各种不同类型的缺陷分别具有不同的敏感度，从而能够相辅相成，检测各种不同的缺陷。使用深度残差网络的算法相比传统算法，训练过程简单，检测成功率高，并且通用性更好。

发明内容

本发明要克服基于机器视觉的屏幕缺陷检测算法的上述缺陷，提供一种用于手机屏幕缺陷检测的深度残差网络构造方法。

为实现上述目的，本发明所述的基于卷积神经网络剪枝算法的手机屏幕缺陷检测方法包括如下步骤：

1)分别采集包含瑕疵图片和正常图片，进行标记(1表示包含瑕疵图片，0表示正常图片)，通过训练数据训练自定义的深度残差网络直到收敛并且有较高准确率；

2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型，并重复进行此操作，生成多个不同深度的网络模型；

3)采集手机屏幕图片数据，生成图片金字塔，分割成图片块且保证每个图片块之间具有一定的重叠面积，用于测试阶段数据生成，送入到步骤2)获得的多个不同深度的网络模型中进行运算；

4)取每个网络模型的特征图作为响应图，采用阈值分割的方法获得缺陷位置，最后将多个不同深度网络模型的检测结果叠加并圈出。不同深度的网络模型对特定类型的缺陷具有较高的响应，通过叠加的方式能够检测出各种不同类型的手机屏幕缺陷。

步骤2)所述的通过移除残差模块生成浅层网络模型具体是：先通过随机的方式决定是否移除深度残差网络中的每个残差单元，反复多次执行此操作，并生成一系列不同的浅层网络模型；然后将这些浅层网络模型依次在测试集上测试准确率，选取准确率最高的前若干个网络模型并予以保留，将其余网络模型丢弃；利用上述方法生成浅层网络模型集合，这些网络模型各不相同，对各种不同类型缺陷具有不同的敏感度，具有相互补充的作用。

步骤3)所述的图片金字塔具体是：将原始高分辨率图片缩小成不同尺度的图片，这些不同尺度的图片合起来称为一组图片金字塔；使用图片金字塔的目的是来检测不同尺度上、不同大小的缺陷；在分割图片块时，图片块之间具有一定的重叠面积是为了避免一个完整的缺陷被分割到不同图片块中，从而造成检测结果不准确。

步骤4)所述的响应图具体是：将浅层网络模型集合中每个网络模型输出的特征图作为某一类缺陷的响应图；每个网络模型输出的特征图各不相同，并且对某一特定类型的缺陷具有良好的响应。

本发明的有益效果如下：

本发明是一种用于手机屏幕缺陷检测的深度残差网络构造方法。它基于深度学习的深度残差网络模型，采用移除残差模块的方式生成多个浅层网络模型，通过模型筛选保留检测效果较好的浅层网络集合，并将所有浅层网络模型的检测结果叠加，以达到最佳的检测效果。此外，由于深度残差网络能够自动地学习到背景纹理信息，可以较好地处理成像中的摩尔纹干扰，在屏幕产品换型时，只需要少量的训练图片进行网络微调，就可以重新保证网络的准确率达标。

与传统方法相比，本发明能够更有效地检测成像较淡以及形状特殊的缺陷。此外，传统方法需要设置大量参数，每次换型都需要调整参数才能保证算法的准确性。本发明采用的神经网络算法具有良好的自适应和泛化特性，能够快速进行屏幕产品换型，节省产线部署时间。

附图说明

图1是本发明方法的框架示意图。

图2是本发明的图片金字塔到分割成图片小块的图示。

具体实施方式

下面结合附图对本发明的技术方案进行清晰、完整的解释和描述。

本发明提出了一种用于手机屏幕缺陷检测的深度残差网络构造方法，该方法在已经拍摄的手机屏幕图片上，利用深度残差网络模型确定瑕疵在图片上的位置并圈出。

一种用于手机屏幕缺陷检测的深度残差网络构造方法包括如下步骤：

步骤1，训练阶段数据采集：分别采集包含瑕疵和正常图片小块，进行标记(1表示包含瑕疵图片，0表示正常图片)。按照10：1的比例分成训练集和验证集；自定义深度残差网络，利用上述的训练数据，训练深度残差网络直到收敛，并且能够在验证集上达到较高的分类准确率。通过观察可视化深度残差网络中间隐层的特征图，可以分析网络是否很好的学到了瑕疵特征。

步骤2，利用移除残差模块的方式生成浅层网络模型集合。具体地，预先设定一个概率p，表示每个残差模块被移除的概率。对深度残差网络的每个模块单元，根据概率p决定是否将其移除，从而得到一个浅层网络模型。然后考虑浅层网络模型集合R中是否已经包含该浅层网络模型，若不包含则将其加入到集合R中，否则丢弃该模型。反复执行上述步骤，直到集合R中包含N个不同模型。然后将集合R中的所有模型使用验证集的数据测试准确率，保留准确率前K大的模型，剔除其余模型，如图1所示。

步骤3，测试阶段数据生成：采集手机屏幕图片数据，图片包含且仅包含完整的手机屏幕位置。利用不同比例的缩放尺度将图片展成图像金字塔，用于多尺度检测。对于每个尺度的图片，预先设定图片块的重叠面积比例，然后分割成固定大小的图片块，将所有的图片块作为一组，作为所有浅层网络模型的输入数据，如图2所示。

步骤4，每一个图片块，将每个浅层网络模型输出的特征图作为响应图，将响应图对应到原图，通过阈值分割的方法，获得缺陷的位置。将所有浅层网络模型的检测结果叠加，从而获得最终检测结果。

Claims (3)

1.一种用于手机屏幕缺陷检测的深度残差网络构造方法，包括如下步骤：

1)分别采集包含瑕疵图片和正常图片，进行标记，1表示包含瑕疵图片，0表示正常图片，通过训练数据训练自定义的深度残差网络直到收敛；

2)通过对深度残差网络的每个残差模块使用一定的概率进行随机移除的方法来生成浅层网络模型，并重复进行此操作，生成多个不同深度的网络模型；

3)采集手机屏幕图片数据，生成图片金字塔，分割成图片块且保证每个图片块之间具有一定的重叠面积，用于测试阶段数据生成，送入到步骤2)获得的多个不同深度的网络模型中进行运算；

4)取每个网络模型的特征图作为响应图，采用阈值分割的方法获得缺陷位置，最后将多个不同深度网络模型的检测结果叠加并圈出，通过叠加的方式能够检测出各种不同类型的手机屏幕缺陷；

所述步骤2)通过移除残差模块生成浅层网络模型具体是：先通过随机的方式决定是否移除深度残差网络中的每个残差单元，反复多次执行此操作，并生成一系列不同的浅层网络模型；然后将这些浅层网络模型依次在测试集上测试准确率，选取准确率最高的前若干个网络模型并予以保留，将其余网络模型丢弃；利用上述方法生成浅层网络模型集合，这些网络模型各不相同，对各种不同类型缺陷具有不同的敏感度，具有相互补充的作用。

2.根据权利要求1所述的方法，其特征在于：所述步骤3)的图片金字塔具体是：将原始高分辨率图片缩小成不同尺度的图片，这些不同尺度的图片合起来称为一组图片金字塔；使用图片金字塔的目的是来检测不同尺度上、不同大小的缺陷；在分割图片块时，图片块之间具有一定的重叠面积是为了避免一个完整的缺陷被分割到不同图片块中，从而造成检测结果不准确。

3.根据权利要求1所述的方法，其特征在于，所述步骤4)的响应图具体是：将浅层网络模型集合中每个网络模型输出的特征图作为某一类缺陷的响应图；每个网络模型输出的特征图各不相同，并且对某一特定类型的缺陷具有良好的响应。

Images