CN109858539A - 一种基于深度学习图像语义分割模型的roi区域提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习图像语义分割模型的ROI区域提取方法，其通过采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本，标注后得到多个标注ROI区域的子图像标注样本；通过将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型；采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型预测得到对应的ROI区域预测图像，从而实现待测面板的ROI区域提取。

Description

一种基于深度学习图像语义分割模型的ROI区域提取方法

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习图像语义分割模型的ROI区域提取方法。

背景技术

随着手机笔记本以及消费电子产品的普及及其快速的更新换代，对产线上的液晶屏幕和OLED屏幕有着极大的产量需求。从液晶屏幕和OLED屏幕生产过程中，由于原材料、生产工艺、意外等情况，屏幕上会存在各种缺陷(例如破片、气泡、划伤、缺角、压痕等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因此，需要对液晶屏幕和OLED屏幕进行缺陷检测。

液晶屏幕和OLED屏幕进行缺陷检测主要应用AOI(Automatic Optic Inspection自动光学检测)技术进行缺陷检测，AOI技术即利用照相设备对打光的显示面板成像，再利用如自动阈值分割和干扰过滤等传统算法提取出其中的ROI(Region of interesting，感兴趣的区域)区域，再利用传统的计算机视觉算法进行缺陷检测。

利用传统算法进行ROI区域提取，受背景，光照等因素影响较大，处理时间比较长，耗时约200～300ms，同时导致缺陷检测时效率低下，而且传统算法检测需要操作人员手动进行操作，受到操作人员的主观影响，因而，传统算法检测的准确性也较低，从而严重影响液晶屏幕和OLED屏幕工业制造的效率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习图像语义分割模型的ROI区域提取方法，其采集一定数量的训练集和验证集数据，分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型，从而利用最佳的深度学习语义分割模型实现待测面板的ROI区域提取。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习图像语义分割模型的ROI区域提取方法，具体步骤为：

S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；

S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度；准确度达到预设范围时，得到最佳的深度学习语义分割模型；

S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型得到对应的ROI区域预测图像，从而实现待测面板的ROI区域提取。

作为本发明的进一步改进，深度学习语义分割模型具体为：将输入图像经过深度卷积神经网络学习后分别得到1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据；上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后通过1×1卷积压缩通道；1×1卷积压缩通道的输出经过预设速率的上采样后与1×1卷积图像数据叠加得到3×3卷积叠加图像数据，3×3卷积叠加图像数据经过预设速率的上采样得到输出图像数据。

作为本发明的进一步改进，深度卷积神经网络选用mobilenet v2轻量级网络。

作为本发明的进一步改进，1×1卷积图像数据通过压缩子图像样本的图像数据通道数得到。

作为本发明的进一步改进，通过设置不同的空洞卷积扩张率得到所述多个3×3空洞卷积图像数据。

作为本发明的进一步改进，通过选取滑动矩形框内的最大值组成新的图像数据得到所述图像池化数据。

作为本发明的进一步改进，深度学习语义分割模型的mIOU准确度计算方法具体为：提取验证集中子图像标注样本的ROI区域和对应预测图像的ROI区域，两个ROI区域的交集和并集之比即为mIOU准确度。

作为本发明的进一步改进，利用labelme图像语义分割标注工具对预设尺寸的子图像样本进行标注得到子图像标注样本。

作为本发明的进一步改进，面板检测图像数据样本预处理的过程具体为：将面板样本检测图像进行灰度化处理，再将其裁剪为若干个预设尺寸的子图像样本。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明的一种基于深度学习图像语义分割模型的ROI区域提取方法，其采集一定数量的训练集和验证集数据，分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型，从而利用最佳的深度学习语义分割模型实现待测面板的ROI区域提取。

本发明的一种基于深度学习图像语义分割模型的ROI区域提取方法，其将深度学习语义分割的方法用于面板缺陷检测时的ROI区域提取，能有效地节约算法的处理时间，提升准确度，其中，提取ROI区域的时间，从传统方法的几百ms到现在的28ms，从而为后续的面板缺陷检测打下良好的基础。

本发明的一种基于深度学习图像语义分割模型的ROI区域提取方法，其采用的深度学习语义分割的方法相对于传统方法的适应性强，特别是对于背景和ROI区域比较接近，或光照不均匀等特殊情况，用传统方法处理时需要增加额外的开销来应对这些特殊情况，而用深度学习的方法只需要用这些特殊样本来训练模型，让模型学习特殊样本的特征，从而提高深度学习图像语义分割模型预测的准确度。

附图说明

图1是本发明技术方案的实施例的一种基于深度学习图像语义分割模型的ROI区域提取方法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

图1是本发明技术方案的实施例的一种基于深度学习图像语义分割模型的ROI区域提取方法的示意图。如图1所示，该方法具体步骤为：

S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；

利用工业相机采集预设数量的面板检测图像数据样本，面板检测图像数据样本预处理的过程具体为：将面板样本检测图像进行灰度化处理，再将其裁剪为若干个预设尺寸的子图像样本。作为一个示例，预设尺寸的子图像样本大小为512*512，3通道RGB图像，这样可以方便后续的深度学习语义分割模型能同时处理多个样本，如果设置样本尺寸太大，受GPU显存限制，训练时深度学习语义分割模型能同时处理的样本数据就会减少。

作为一个示例，可以使用labelme图像语义分割标注工具对预设尺寸的子图像样本进行标注得到子图像标注样本，具体操作步骤为：打开labelme图像语义分割标注工具，打开预设尺寸的子图像样本，用多边形框把预设尺寸的子图像样本中的ROI区域标示出来后保存，从而得到得到ROI区域的标注图像。当然，labelme图像语义分割标注工具仅为一个示例，可以采用其他图形分割标注工具，对预设尺寸的子图像样本进行标注。

S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的mIOU准确度；直至验证集的mIOU准确度达到预设范围时，得到最佳的深度学习语义分割模型；

将多个子图像样本和对应的子图像标注样本划分为训练集和验证集；深度学习语义分割模型具体为：将输入图像经过深度卷积神经网络学习后分别得到1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据；上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后通过1×1卷积压缩通道；1×1卷积压缩通道的输出经过预设速率的上采样后与1×1卷积图像数据叠加得到3×3卷积叠加图像数据，3×3卷积叠加图像数据经过预设速率的上采样得到输出图像数据，输出图像数据即为ROI区域预测图像。

通过深度卷积神经网络可以提取子图像样本的特征，该特征包括背景、ROI区域的不同颜色和纹理，深度卷积神经网络可以有多种选择，比如层数比较多的Xception，Resnet等，由于ROI区域分割的图像的语义信息相对简单，作一个优选的方案，深度卷积神经网络选用mobilenet v2轻量级网络，可以加快度卷积神经网络计算速度，节约显存。ROI区域预测图像即为深度学习语义分割模型学习的结果，ROI区域预测图像的像素被设置为0和1有两类，0代表背景，1代表ROI区域，子图像样本与ROI区域预测图像大小为1：1，从而依据对照ROI区域预测图像可以在原图上抠出ROI区域。

其中，1×1卷积图像数据通过压缩子图像样本的图像数据通道数得到；多个3×3空洞卷积图像数据通过设置不同的空洞卷积扩张率得到，作为一个示例，以512×512的子图像大小为示例，可以选取扩张率分别为6、12和18得到3个3×3空洞卷积图像数据，从而达到更大范围的感知子图像样本的语义信息，以便准确分割子图像样本的ROI区域；图像池化数据则通过选取滑动矩形框内的最大值组成新的图像数据得到。将上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后再通过1×1卷积压缩通道；

空洞卷积与普通的卷积相比，除了卷积核的大小以外，还有一个扩张率(dilationrate)参数，主要用来表示扩张的大小。空洞卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野，这里的感受野即为卷积核在图像上看到的大小。

深度学习语义分割模型的mIOU准确度计算方法具体为：提取验证集中子图像标注样本的ROI区域和对应预测图像的ROI区域数据，两个ROI区域的交集和并集之比即为mIOU准确度。

用训练集上的数据在模型上训练一段时间，直到验证集的mIOU准确度达到预设范围时，即可得到最佳的深度学习语义分割模型，作为一个示例，验证集计算得到验证分割的mIOU准确度为：99.7％。

S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型预测得到对应的ROI区域预测图像，从而实现待测面板的ROI区域提取。

作为一个示例，利用深度学习语义分割模型对分辨率为512*512大小的图像进行ROI区域提前，处理时间为28ms，GPU显存消耗约为300M，相对于传统的标注方法，处理时间大大缩短。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，具体步骤为：

S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；

S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度；准确度达到预设范围时，得到最佳的深度学习语义分割模型；

S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型得到对应的预测图像，从而实现待测面板的ROI区域提取。

2.根据权利要求1所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述深度学习语义分割模型具体为：将输入图像经过深度卷积神经网络学习后分别得到1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据；上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后通过1×1卷积压缩通道；1×1卷积压缩通道的输出经过预设速率的上采样后与1×1卷积图像数据叠加得到3×3卷积叠加图像数据，3×3卷积叠加图像数据经过预设速率的上采样得到输出图像数据。

3.根据权利要求2所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述深度卷积神经网络选用mobilenet v2轻量级网络。

4.根据权利要求2所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述1×1卷积图像数据通过压缩子图像样本的图像数据通道数得到。

5.根据权利要求2所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，通过设置不同的空洞卷积扩张率得到所述多个3×3空洞卷积图像数据。

6.根据权利要求2所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，通过选取滑动矩形框内的最大值组成新的图像数据，从而得到所述图像池化数据。

7.根据权利要求1所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述深度学习语义分割模型的准确度计算方法具体为：提取验证集中子图像标注样本的ROI区域和对应预测图像的ROI区域，两个ROI区域的交集和并集之比即为准确度。

8.根据权利要求1-7中任一项所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，利用labelme图像语义分割标注工具对预设尺寸的子图像样本进行标注得到子图像标注样本。

9.根据权利要求1-8中任一项所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述面板检测图像数据样本预处理的过程具体为：将面板样本检测图像进行灰度化处理，再将其裁剪为若干个预设尺寸的子图像样本。