CN110334760A - 一种基于resUnet的光学元器件损伤检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于resUnet的光学元器件损伤检测方法及系统，所述方法包括：采集同一光学元器件的两组图像，一组为高分辨率图像A，一组为低分辨率图像B；分别二值化处理图像A和图像B；基于二值化处理后的图像A和图像B，依据图像A和图像B的对应关系生成标签数据；将标签数据对应的图像B的二值化图像切割为若干大小相同的子图像，将切割生成的子图像作为训练数据集；利用训练数据集训练resUnet模型；将图像B输入训练后的resUnet模型，获得光学元器件损伤检测结果；利用高分辨率图像标注光学元器件损伤点位置，无须人工打标，即可完成图像信息量非常少、高噪声的条件下光学元器件损伤点位置检测。

Description

一种基于resUnet的光学元器件损伤检测方法及系统

技术领域

本发明涉及图像语义分割领域，具体地，涉及一种基于resUnet的光学元器件损伤检测方法及系统。

背景技术

图像语义分割是图像处理到图像分析的关键步骤，是把图像分成若干个特定的、具有独特性质的区域并提取感兴趣目标的技术和过程。从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。图像分割过程也是一个标记过程，即把属于同一区域的像素赋予相同的类别。

传统的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。传统方法主要依赖人工检测光学元器件的损伤区域，不仅耗时费力，而且检测错误率高，易出现错检漏检，造成大量不必要的成本损耗。

利用深度学习方法的目标检测算法与语义分割算法能够检测损伤区域。目标检测算法侧重检测识别具有较强视觉特征的目标，而对特征不明显的小目标识别能力较弱。在无需区分目标实例的情况下常常使用语义分割算法识别小目标，主要分为基于解码器、信息融合和循环神经网络(RNN)等的不同语义分割算法。语义分割既要克服同类物体因光线、角度和状态等不同产生的差异性，还要解决不同类物体之间的高度相似性。此外，语义分割的实际场景往往是复杂多样的，物体间常伴随有遮挡、割裂现象，进一步增加了语义分割的难度。

发明内容

本发明采用resUnet深度学习方法，针对光学元器件损伤点成像的低分辨率图像和高分辨率图像，利用高分辨率图像标注光学元器件损伤点位置，无须人工打标，即可完成光学元器件图像信息量非常少、高噪声的条件下光学元器件损伤点位置的检测。

另外本方法和系统在resUnet模型中选择了32*2,32*2,32*4,32*16的特征层数，同时采用3*3的卷积使得模型能够较好区分纹理细节；在卷积层之后都加入了GN层，提高了数据学习效率和检测能力。

为实现上述发明目的，本发明一方面提供了一种基于resUnet的光学元器件损伤检测方法，所述方法包括：

采集同一光学元器件的两组图像，一组图像的分辨率高于另外一组，其中A组为高分辨率图像，B组为低分辨率图像；

分别二值化处理图像A和图像B；

基于二值化处理后的图像A和图像B，依据图像A和图像B的对应关系生成标签数据；

将标签数据对应的图像B的二值化图像切割为若干大小相同的子图像，将切割生成的子图像作为训练数据集；

利用训练数据集训练resUnet模型；

将图像B输入训练后的resUnet模型，获得光学元器件损伤检测结果。

其中，本方法使用resUnet模型检测光学元器件损伤点或其他标记区域，学习能力更强，识别效果也更精确；本方法在最终检测之前先对标签数据和预测图像进行膨胀操作，用于减小计算误差，提高模型识别能力；本方法采用光学元器件的高清图像作为标注数据，大大减少人工打标的工作量。

进一步的，所述分别二值化处理图像A和图像B，具体包括：将像素灰度值小于100的像素点灰度值置为0，将像素灰度值大于或等于100的像素点灰度值置为255，实现图像二值化。

进一步的，依据图像A和图像B的对应关系生成标签数据，具体包括：利用measure函数库的regionprops方法分别查找图像A与图像B的损伤连通区域，遍历图像B的损伤连通区域，保留与图像A的损伤连通区域有交集的损伤连通区域作为标签数据。

进一步的，本方法以预设像素为步长，将图像B切分为若干个patch作为训练数据集。

进一步的，本方法中的resUnet模型为改进的resUnet模型，其中：

resUnet模型使用Dice’s coefficient作为损失函数；

resUnet模型使用Group Normalization层使模型得以收敛,将通道划分成组，在每组计算用于归一化的均值和方差。

另一方面，本发明还提供了一种基于resUnet的光学元器件损伤检测系统，所述系统包括：

数据采集及处理单元，用于采集同一光学元器件的两组图像，一组为高分辨率图像A，一组为低分辨率图像B；

数据处理单元，用于分别二值化处理图像A和图像B；基于二值化处理后的图像A和图像B，依据图像A和图像B的对应关系生成标签数据；将标签数据对应的图像B的二值化图像切割为若干大小相同的子图像，将切割生成的子图像作为训练数据集；

训练单元，用于利用训练数据集训练resUnet模型；

检测单元，用于将图像B输入训练后的resUnet模型，获得光学元器件损伤检测结果。

其中，本系统使用resUnet模型检测光学元器件损伤点或其他标记区域，学习能力更强，识别效果也更精确；本系统在最终检测之前先对标签数据和预测图像进行膨胀操作，用于减小计算误差，提高模型识别能力；本系统采用光学元器件的高清图像作为标注数据，大大减少人工打标的工作量。

其中，所述分别二值化处理图像A和图像B，具体包括：将像素灰度值小于100的像素点灰度值置为0，将像素灰度值大于或等于100的像素点灰度值置为255，实现图像二值化。

其中，依据图像A和图像B的对应关系生成标签数据，具体包括：利用measure函数库的regionprops方法分别查找图像A与图像B的连通区域，遍历图像B的损伤连通区域，保留与图像A的损伤连通区域有交集的损伤连通区域作为标签数据。

其中，本系统以预设像素为步长，将图像B切分为若干个patch作为训练数据集。

其中，本系统中的采用的resUnet模型为改进的Unet模型，其中：

resUnet模型使用Dice’s coefficient作为损失函数；

resUnet模型使用Group Normalization层使模型得以收敛,将通道划分成组，在每组计算用于归一化的均值和方差。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本方法及系统利用深度学习进行图像分割，可以实现在图像信息极少、高噪声情况下检测低分辨率图像的损伤点，最终检测率能够达到90％以上。

本方法及系统实现了对光学元器件上损伤点的精准检测。

本方法及系统解决了光学元器件上杂散光与重影对损伤点检测结果的干预和影响。

本方法及系统采用高分辨率图像作为标注数据，无须人工标注，解决了光学元器件人工标注困难的问题。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中基于resUnet的光学元器件损伤检测方法的流程示意图；

图2是本发明中基于resUnet的光学元器件损伤检测系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

请参考图1-图2，本方法及系统无须人工打标，但是需要采集光学元器件的两组图像，一组为高分辨率图像，一组为低分辨率图像，两组图像都是拍摄的同一光学元器件，高分辨率图像的成像细节更加清晰，通过高分辨率图像基本可以知道损伤区域的位置。低分辨率图像作为模型训练的输入文件，高分辨率图像为光学元器件的标注数据。

损伤检测通过训练resUnet深度神经网络识别低分辨率图像的损伤目标点。该部分重点是收集训练样本，低分辨率图像和高分辨率图像在相同位置的成像形状、大小、明暗等大不相同，一般模型很难学到如此复杂的对应关系。本发明采用深度学习方法，判断二值化图像中的亮点为真实损伤点或噪音点，根据这些信息去掉二值化后的低分辨率图像中的噪音点区域，只留下在高分辨率图中同为亮点的对应区域。主要步骤如下：

(1)分别二值化处理高分辨率图像和低分辨率图像

由于高分辨率和低分辨率图像中像素点的亮度不一致，且检测损伤点不需要亮度信息，故将像素灰度值小于100的像素点灰度值置为0，大于等于100的像素点灰度值置为255，实现图像二值化。

(2)依据高分辨率图像和低分辨率图像的对应关系生成标签数据

利用measure函数库的regionprops方法分别查找高分辨率和低分辨率图像的损伤连通区域，遍历低分辨率图像的损伤连通区域，保留与高分辨率图像的损伤连通区域有交集的损伤连通区域作为标签数据。

(3)分割样本图像；

由于样本图像很少，因此将低分辨率图像裁剪为多张大小相同的patch作为训练数据集。本实验中原始图像大小为2500*2500，然后以100像素为步长，切分为256*256的patch作为训练图像。

(4)训练resUnet模型

模型采用Unet模型的改进模型resUnet，用残差卷积层代替了Unet模型中的卷积层，改进模型学习能力更强，识别效果也更精确。主要改进点包括：

1、使用戴斯相似性系数Dice’s coefficient作为损失函数，由于感兴趣的区域仅占扫描区域非常小的区域，使得学习过程陷入损失函数的局部最小值，Dice’scoefficient通过加大前景区域权重，可以在光学元器件损伤点相对于背景区域占比极小的情况下取得不错的效果。

2、使用组归一化(Group Normalization,GN)层使模型得以收敛，将通道划分成组，在每组计算用于归一化的均值和方差。GN的计算不依赖于batch size，其准确率在各种batch size下是稳定的。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于resUnet的光学元器件损伤检测方法，其特征在于，所述方法包括：

采集同一光学元器件的两组图像A和图像B，其中A组为高分辨率图像，B组为低分辨率图像；

分别二值化处理图像A和图像B；

基于二值化处理后的图像A和图像B，依据图像A和图像B的对应关系生成标签数据；

将标签数据对应的图像B的二值化图像切割为若干大小相同的子图像，将切割生成的子图像作为训练数据集；

利用训练数据集训练resUnet模型；

将图像B输入训练后的resUnet模型，获得光学元器件损伤检测结果。

2.根据权利要求1所述的一种基于resUnet的光学元器件损伤检测方法，其特征在于，所述分别二值化处理图像A和图像B，具体包括：将像素灰度值小于100的像素点灰度值置为0，将像素灰度值大于或等于100的像素点灰度值置为255，实现图像二值化。

3.根据权利要求1所述的一种基于resUnet的光学元器件损伤检测方法，其特征在于，依据图像A和图像B的对应关系生成标签数据，具体包括：利用measure函数库的regionprops方法分别查找图像A与图像B的损伤连通区域，遍历图像B的损伤连通区域，保留与图像A损伤连通区域有交集的损伤连通区域作为标签数据。

4.根据权利要求1所述的一种基于resUnet的光学元器件损伤检测方法，其特征在于，本方法以预设像素为步长，将图像B切分为若干个patch作为训练数据集。

5.根据权利要求1所述的一种基于resUnet的光学元器件损伤检测方法，其特征在于，本方法中的resUnet模型为改进的Unet模型，其中：

resUnet模型使用Dice’s coefficient作为损失函数；

resUnet模型使用Group Normalization层使模型得以收敛，将通道划分成组，在每组计算用于归一化的均值和方差。

6.一种基于resUnet的光学元器件损伤检测系统，其特征在于，所述系统包括：

数据采集及处理单元，用于采集同一光学元器件的两组图像，一组图像的分辨率高于另外一组，其中A组为高分辨率图像，B组为低分辨率图像；

数据处理单元，用于分别二值化处理图像A和图像B；基于二值化处理后的图像A和图像B，依据图像A和图像B的对应关系生成标签数据；将标签数据对应的图像B的二值化图像切割为若干大小相同的子图像，将切割生成的子图像作为训练数据集；

训练单元，用于利用训练数据集训练resUnet模型；

检测单元，用于将图像B输入训练后的resUnet模型，获得光学元器件损伤检测结果。

7.根据权利要求6所述的一种基于resUnet的光学元器件损伤检测系统，其特征在于，所述分别二值化处理图像A和图像B，具体包括：将像素灰度值小于100的像素点灰度值置为0，将像素灰度值大于或等于100的像素点灰度值置为255，实现图像二值化。

8.根据权利要求6所述的一种基于resUnet的光学元器件损伤检测系统，其特征在于，依据图像A和图像B的对应关系生成标签数据，具体包括：利用measure函数库的regionprops方法分别查找图像A与图像B的损伤连通区域，遍历图像B的损伤连通区域，保留与图像A损伤连通区域有交集的损伤连通区域，作为标签数据。

9.根据权利要求6所述的一种基于resUnet的光学元器件损伤检测系统，其特征在于，本系统以预设像素为步长，将图像B切分为若干个patch作为训练数据集。

10.根据权利要求6所述的一种基于resUnet的光学元器件损伤检测系统，其特征在于，本系统中的resUnet模型为改进的Unet模型，其中：

resUnet模型使用Dice’s coefficient作为损失函数；

resUnet模型使用Group Normalization层使模型得以收敛,将通道划分成组，在每组计算用于归一化的均值和方差。