CN109934811B - 一种基于深度学习的光学元件表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的光学元件表面缺陷检测方法，该方法包括以下步骤：1)获取光学元件表面缺陷图像并进行预处理；2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别。所述图像预处理是对采集到的图像进行畸变校正，并采用梯度图像自适应阈值分割法、边缘检测法、二值化处理、断点连接算法相融合的方式对图像进行处理；所述缺陷检测模型是由卷积层、池化层、全连接层等组成的多层神经网络模型。与现有技术相比，本发明避免了人工目视检测带来的主观干扰及难以准确量化等问题，又弥补了成像检测方法在缺陷识别过程中准确率低、漏检率高等问题。

Description

一种基于深度学习的光学元件表面缺陷检测方法

技术领域

本发明属于光学元件表面缺陷检测领域，具体涉及一种基于深度学习的光学元件表面缺陷检测方法。

背景技术

随着先进光学制造技术的不断发展，微电子装备、航空航天、精密测量和激光系统等应用领域对其核心组成部件精密光学元件的表面加工质量提出了更高的技术需求。特别是在一些高精密光学系统中，对光学元件表面缺陷有着严格的控制要求。然而，由于各种不确定因素的存在，即使采用现代精密加工技术也无法完全避免表面缺陷的产生。表面缺陷作为评价光学元件加工质量的重要评价指标之一，如何实现大口径曲面光学元件表面缺陷的快速检测一直是急需解决的关键问题。

目前，在主流的缺陷检测标准中主要采用人工目视比对的方法进行精密元件表面缺陷检测。检测人员在一定的照明条件下，使用目视法将待检元件表面上观察到的缺陷与缺陷标准板上的缺陷样本进行比对，从而实现缺陷的检测和分级。由于目视法的检测结果受限于人眼分辨能力和检测人员的主观判断，因而对尺寸较小、对比度较差的缺陷难以给出准确的检测结果。此外，一些基于成像法、散射能量分析法、激光频谱分析法及微观表面轮廓仪测量等方法也在缺陷检测方面有所应用，但其或多或少存在一些问题，例如无法精确获得缺陷数量和位置，检测精度不高，检测效率低，无法量化分析等问题。

随着深度学习算法的不断发展，其在图像识别与目标检测方面有着非常出色的表现，使得基于成像法的缺陷检测问题有了更好的解决办法。因此，可以在显微成像检测法的基础上，借助深度学习算法进行光学元件表面缺陷的快速检测和量化分析。

发明内容

本发明的目的是为了克服现有技术所存在的不足，提供一种基于深度学习的光学元件表面缺陷检测方法，该方法基于深度学习算法对光学元件表面缺陷进行智能识别，从而实现光学元件表面缺陷的准确评估。

本发明采用的技术方案为：一种基于深度学习的光学元件表面缺陷检测方法，其具体步骤是：

1)获取光学元件表面缺陷图像并进行预处理；

步骤1)中对表面缺陷图像进行预处理具体包括如下步骤：

101)对采集到的图像进行畸变校正；

102)采用梯度图像自适应阈值分割法、边缘检测法、二值化处理、断点连接算法对图像进行处理。

2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别。所述缺陷检测模型需要提前训练，其训练过程包括以下步骤：

a)构造多层卷积神经网络1和多层卷积神经网络2，所述多层卷积神经网络1用于对麻点缺陷进行检测，所述多层卷积神经网络2用于对划痕缺陷进行检测；

b)采集大量的缺陷图像并进行人工标记，标识出缺陷所在区域、缺陷种类和缺陷大小，在缺陷种类方面，主要针对麻点缺陷和划痕缺陷进行区分，从而得到用于训练缺陷检测模型的训练样本；

c)将麻点缺陷样本导入多层卷积神经网络1，结合人工标记信息利用优化算法对多层卷积神经网络进行优化训练，从而得到基于深度学习的麻点缺陷检测模型；

d)将划痕缺陷样本导入多层卷积神经网络2，结合人工标记信息利用优化算法对多层卷积神经网络进行优化训练，从而得到基于深度学习的划痕缺陷检测模型；

e)将所述基于深度学习的麻点缺陷检测模型和所述基于深度学习的划痕缺陷检测模型进行联合，从而得到光学元件表面缺陷检测模型。

其中，步骤2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别，具体包括如下步骤：

201)采用多目标检测方法将预处理后的缺陷图像分割成多张分辨率为m×m的缺陷图像，并输入所述基于深度学习的麻点缺陷检测模型，从而判断输入的每一张图像中是否存在麻点缺陷，若存在麻点缺陷，则给出麻点所在位置及麻点尺寸；

202)采用多目标检测方法将预处理后的缺陷图像分割成多张分辨率为n×n的缺陷图像，并输入所述基于深度学习的划痕缺陷检测模型，从而判断输入的每一张图像中是否存在划痕缺陷，若存在划痕缺陷，则给出划痕所在位置及划痕尺寸；

203)对麻点及划痕缺陷的数据信息进行汇总，输出光学元件表面的缺陷检测结果。

本发明所述一种基于深度学习的光学元件表面缺陷检测方法，除了针对麻点缺陷和划痕缺陷建立缺陷检测模型和进行智能分析，还可以针对光学元件表面常见的开口、破边、气泡、杂质建立相应的检测模型和进行智能分析。

本发明与现有技术相比的优点在于：

(1)本发明所述一种基于深度学习的光学元件表面缺陷检测方法，在显微成像的基础上借助深度学习算法进行光学元件表面缺陷的定量检测，避免了传统人工目视检测过程中，检测人员的主观干扰及难以准确量化等问题；

(2)本发明所述一种基于深度学习的光学元件表面缺陷检测方法，采用由卷积层、池化层、全连接层等组成的多层神经网络作为缺陷检测模型，从而实现对光学元件表面缺陷的量化分析，并通过使用大量缺陷样本对所述缺陷检测模型的不断强化训练，从而有效提高所述缺陷检测模型的检测能力，弥补了普通显微成像检测方法在缺陷检测过程中准确率低、漏检率高等问题。

附图说明

图1是本发明提出的一种基于深度学习的光学元件表面缺陷检测方法的流程图；

图2是实施例中对缺陷图像进行自适应阈值分割、边缘检测和二值化处理后的图像；

图3是实施例中对二值化处理后的图像进行噪声消除、断点连接后的结果；

图4是实施例中建立的用于识别麻点缺陷的多层卷积神经网络结构示意图；

图5是实施例中所述麻点缺陷检测模型的识别准确率随训练轮数的变化趋势；

图6是实施例中利用训练好的缺陷检测模型对图3所示图像进行缺陷识别的结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例：

下面结合附图并用具体实施例对本发明作进一步详细说明，有必要指出的是所述实施例只是用于对本发明的进一步描述，而并不意味着是对本发明保护范围的任何限定。如图1所示，本发明提出的一种基于深度学习的光学元件表面缺陷检测方法，具体包含以下步骤：

1)获取光学元件表面缺陷图像并进行预处理；

2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别。

其中，缺陷检测模型为基于深度学习的神经网络，包括依次级联的特征提取网络、分类器和回归器，特征提取网络对输入该模型的缺陷图像进行特征提取从而得到对应的特征图像，分类器和回归器是对特征图像进行分类回归得到待检测缺陷的具体信息。

根据上述步骤，本发明一种基于深度学习的光学元件表面缺陷检测方法的详细技术说明主要包括以下三个部分：

1.缺陷图像获取及预处理

2.缺陷检测模型训练

3.利用训练好的模型进行缺陷识别

具体如下：

1.缺陷图像获取及预处理

首先利用显微成像系统采集光学元件表面缺陷图像并进行畸变校正，再分别用梯度图像自适应阈值分割法和Sobel边缘检测法对图像进行处理，以得到更清晰更完整的缺陷检测图像，随后采用图像分块阈值分割算法对图像进行二值化处理。经二值化处理后的缺陷图像如图2所示。

在此基础上，还需要进一步消除噪声，滤除干扰信息。在此，采用先膨胀再细化的断点连接算法进行图像处理，通过膨胀将断续处连接起来，再通过细化操作得到完整的目标边界。在图2基础上进行图像处理后的结果如图3所示。

2.缺陷检测模型训练

在此以麻点缺陷的检测模型训练为例进行详细说明。在本实施例中，用于识别麻点缺陷的多层卷积神经网络结构如图4所示。该神经网络结构总共七层，第一层是大小为64×64的输入层；第二层为卷积层，卷积核大小为3×3，深度为4；第三层为最大池化层；第四层为卷积层，卷积核大小为3×3，深度为8；第五层为最大池化层；第六层为全连接层，有1024个神经节点；第七层为softmax分类层。采用双曲正切函数tanh作为激活函数：

在训练过程中，学习率采用按步长衰减的策略进行调整，学习率l表示为：

式中，l_base为基础学习率，maxround为总的学习轮数，round为当前轮数，γ是小于1的衰减系数。在本实施例中，以500个麻点缺陷样本作为一轮训练数据，共进行100轮训练。图5给出了100轮训练过程中所述麻点缺陷检测模型的识别准确率随训练轮数的变化趋势，可以看出随着训练过程的不断进行，所述麻点缺陷检测模型的识别准确率不断提高，经过100轮训练后，识别准确率已超过99％，表明所述麻点缺陷检测模型已经基本建成。

采用相同方法，建立用于识别划痕缺陷的多层卷积神经网络，并使用划痕缺陷样本进行神经网络训练。在此不再赘述。

3.利用训练好的模型进行缺陷识别

将图3所示缺陷图像作为输入图像，其空间尺寸为1mm×0.75mm，使用训练好的麻点缺陷检测模型和划痕缺陷检测模型进行缺陷识别，得到识别结果如图6所示，该缺陷图像共包含麻点缺陷两个，尺寸分别为16μm和25μm；划痕缺陷一个，长度为600μm，宽度为12μm。

通过上述实施例，表明本发明所述一种基于深度学习的光学元件表面缺陷检测方法能通过构建深度学习神经网络实现光学元件表面缺陷的智能识别和量化分析。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (2)

1.一种基于深度学习的光学元件表面缺陷检测方法，其特征在于：采用了基于深度学习的神经网络实现光学元件表面缺陷的智能识别和量化分析，其具体步骤是：

步骤1)获取光学元件表面缺陷图像并进行预处理；

步骤1)中对表面缺陷图像进行预处理具体包括如下步骤：

101)对采集到的图像进行畸变校正；

102)采用梯度图像自适应阈值分割法、边缘检测法、二值化处理、断点连接算法对图像进行处理；

步骤2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别；所述缺陷检测模型需要提前训练，其训练过程包括以下步骤：

a)构造多层卷积神经网络1和多层卷积神经网络2，所述多层卷积神经网络1用于对麻点缺陷进行检测，所述多层卷积神经网络2用于对划痕缺陷进行检测；

b)采集大量的缺陷图像并进行人工标记，标识出缺陷所在区域、缺陷种类和缺陷大小，在缺陷种类方面，主要针对麻点缺陷和划痕缺陷进行区分，从而得到用于训练缺陷检测模型的训练样本；

c)将麻点缺陷样本导入多层卷积神经网络1，结合人工标记信息利用优化算法对多层卷积神经网络进行优化训练，从而得到基于深度学习的麻点缺陷检测模型；

d)将划痕缺陷样本导入多层卷积神经网络2，结合人工标记信息利用优化算法对多层卷积神经网络进行优化训练，从而得到基于深度学习的划痕缺陷检测模型；

e)将所述基于深度学习的麻点缺陷检测模型和所述基于深度学习的划痕缺陷检测模型进行联合，从而得到光学元件表面缺陷检测模型；

其中，缺陷检测模型训练时，采用双曲正切函数tanh作为激活函数：

在训练过程中，学习率采用按步长衰减的策略进行调整，学习率l表示为：

式中，l_base为基础学习率，maxround为总的学习轮数，round为当前轮数，γ是小于1的衰减系数；

步骤2)将预处理后的缺陷图像输入预先训练好的缺陷检测模型进行光学元件表面缺陷的智能识别，具体包括如下步骤：

201)采用多目标检测方法将预处理后的缺陷图像分割成多张分辨率为m×m的缺陷图像，并输入所述基于深度学习的麻点缺陷检测模型，从而判断输入的每一张图像中是否存在麻点缺陷，若存在麻点缺陷，则给出麻点所在位置及麻点尺寸；

202)采用多目标检测方法将预处理后的缺陷图像分割成多张分辨率为n×n的缺陷图像，并输入所述基于深度学习的划痕缺陷检测模型，从而判断输入的每一张图像中是否存在划痕缺陷，若存在划痕缺陷，则给出划痕所在位置及划痕尺寸；

203)对麻点及划痕缺陷的数据信息进行汇总，输出光学元件表面的缺陷检测结果。

2.根据权利要求1所述的一种基于深度学习的光学元件表面缺陷检测方法，其特征在于：除了针对麻点缺陷和划痕缺陷建立缺陷检测模型和进行智能分析，还可以针对光学元件表面常见的开口、破边、气泡、杂质建立相应的检测模型和进行智能分析。

Images