CN111080723A

CN111080723A - 基于Unet网络的图像元素分割方法

Info

Publication number: CN111080723A
Application number: CN201911297392.1A
Authority: CN
Inventors: 廖志梁; 陶亮; 王道宁; 张亚东; 常晓辉
Original assignee: Yicheng Gaoke Dalian Technology Co ltd
Current assignee: Yicheng Gaoke Dalian Technology Co ltd
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2020-04-28
Anticipated expiration: 2039-12-17
Also published as: CN111080723B

Abstract

基于Unet网络的图像元素分割方法，包括以下步骤：1)图像输入到Unet网络后，经过卷积层下采样和上采样以及特征融合操作，恢复到输入图像相同大小的尺寸；2)把Unet网络作为Gan对抗网络的图片生成器G，用分类网络作为Gan对抗网络的图片鉴别器D，把Unet网络生成的图片传入鉴别器D进行真假判断，通过鉴别器D来不断促进Unet网络权重更新，降低二维熵loss；3)引入二维熵loss函数，分别计算R通道与B通道的图像熵，并与原有的loss进行权重相加，作为最终的loss函数进行训练；4)形态学处理。本发明相比于其他分割的方法，对更大尺寸的图像能够进行有效的分割；提升了图像中细小文字与图标区域的分割效果；分割后的图像边缘更加圆滑，分割结果与真实结果匹配度更高。

Description

基于Unet网络的图像元素分割方法

技术领域

本发明涉及图像处理技术领域。

背景技术

针对不同场景的图像元素分割，例如手机APP图像，网页图像，仪表盘图像等等，现阶段的图像元素分割方法包括：

1)基于边缘检测的分割方法，通过边缘检测算法，检测出图像灰度级或者梯度突变的区域，利用此特征进行图像分割；

2)通过大津法对图像进行二值化处理，根据二值化之后的颜色信息进行元素分割。

以上方案简单易行，缺点也是显而易见的。单个元素内部灰度级变化明显，基于边缘检测的方法会造成同一个元素被分割成多个，部分元素的边缘与背景灰度级相差不大，会造成元素丢失；通过大津法对图像进行二值化，会导致原有图像中部分信息的丢失，直接影响就是分割后元素的丢失；最关键的是这两种方法只是进行元素的分割，无法对分割后的元素进行分类，难以满足要求。

发明内容

为了解决现有图像元素分割方法存在的上述问题，本发明提供了一种基于Unet网络的图像元素分割方法。

本发明为实现上述目的所采用的技术方案是：基于Unet网络的图像元素分割方法，包括以下步骤：

1)图像输入到Unet网络后，经过卷积层下采样操作，得到区域特征F，之后对区域特征F 进行反卷积层的上采样操作，通过特征融合最终恢复到输入图像相同大小的尺寸；

2)把Unet网络作为Gan对抗网络的图片生成器G，用分类网络作为Gan对抗网络的图片鉴别器D，把Unet网络生成的图片传入鉴别器D进行真假判断，通过鉴别器D来不断促进Unet网络权重更新，降低二维熵loss；

3)在图片生成器G原有的loss函数的基础上，引入二维熵loss函数，定义二元组特征F 出现的频率公式如下:

其中i表示像素的灰度值，j表示邻域内的灰度均值，f(i,j)表示特征二元组出现的次数，N 表示图像的尺度，计算二维熵的公式如下：

通过上述公式分别计算R通道与B通道的图像熵，并与原有的loss进行权重相加，作为最终的loss函数进行训练；

4)形态学处理，包括以下步骤：

(3)输入图像经过Unet网络得到输出图像，将图像RGB三通道分离，提取图标图像和文字图像，分别对R与G进行反色处理，得到新的R、G图像；

(4)对处理后的图像R、G进行阈值分割，得到二值图像，再对二值图像进行开运算处理，消除分割后残留的细小区域，对较大的区域进行边缘平滑。

所述步骤2)中，用CNN分类网络作为Gan对抗网络的图片鉴别器D。

所述步骤4)-(2)中，对处理后的图像R、G进行大津法阈值分割。

本发明的基于Unet网络的图像元素分割方法，相比于其他分割的方法，对更大尺寸的图像能够进行有效的分割；提升了图像中细小文字与图标区域的分割效果；分割后的图像边缘更加圆滑，分割结果与真实结果匹配度更高。

附图说明

图1是Unet网络分割后结果示意图。

图2是形态学处理后的图像示意图。

图3是Unet网络结构图。

具体实施方式

本发明是基于Unet网络的图像元素分割技术，对输入图像进行卷积操作提取局部区域特征，对最后一个卷积层进行一系列上采样操作，恢复到输入图像相同大小的尺寸，可以对每一个像素进行预测，同时能够保留图像的空间信息。再对Unet网络的输出图像进行形态学处理，得到边缘更加圆滑，分割细节更加完美的图像。本方法主要包含Unet分割网络、Gan对抗网络、二维熵loss函数的引入与形态学后处理四个步骤：

1)Unet分割网络：

输入图像输入到Unet网络后，经过9个卷积层的下采样操作，每次卷积操作后图像长宽缩小一半，通道数增加一倍，最终得到包含512个通道的区域特征F。之后对F进行9 个反卷积层的上采样操作，每次反卷积操作后图像长宽增加一倍，最终恢复到输入图像相同大小的尺寸。反卷积过程中，为了避免下采样操作中图像特征过多丢失，反卷积操作后的图像特征与同尺寸的卷积层图像特征进行通道叠加，增加了特征的厚度，融合了更多原始图像的特征。因为处理图像尺寸较大，本方法在原本Unet网络的基础上添加了卷积层与反卷积层的个数，得到的特征尺寸更小，能够分割出更小的图标与文字区域，如图1所示。

2)Gan对抗网络：

把Unet网络作为Gan对抗网络的图片生成器G，用CNN分类网络作为Gan对抗网络的图片鉴别器D，把Unet网络生成的图片传入鉴别器D进行真假判断，通过鉴别器D来不断促进Unet网络权重更新，降低loss，最终实现图1的效果。

3)二维熵loss函数的引入：

本方法在生成器G原有的loss函数(针对G的L1正则loss函数与针对D的MSEloss函数的权重相加)的基础上，引入了二维熵loss函数。图像二维熵不仅能够反映图像像素位置的灰度信息，还能够反映像素邻域内灰度分布的空间特征。通过引入二维熵loss函数，降低局部区域的离散度，提升分割区域的规律性。对图像进行R，G，B三通道分离，分别对R，G通道进行处理。定义二元组特征F出现的频率公式如下：

通过上述公式分别计算R通道与B通道的图像熵，并与原有的loss进行权重相加，作为最终的loss函数进行训练。

4)形态学处理：

(1)输入图像经过Unet网络得到输出图像，Unet网络结构如图3所示，图像的背景为白色，图标为红色，文字为绿色，如图1右侧所示。将图像RGB三通道分离，提取红色通道 R作为图标图像，提取绿色通道G作为文字图像，分别对R与G进行反色处理，得到新的 R、G图像；

(2)对处理后的图像R、G进行大津法阈值分割，得到二值图像。再对二值图像进行开运算处理，消除分割后残留的细小区域，对较大的区域进行边缘平滑，得到的图像如图2所示，左侧是文字图像，右侧是图标图像，图标与文字已经得到完美的分割。

本方法的主要作用是针对多种类型图像，准确的进行元素分割，并且把分割的元素标记类别，目前标记为文字与图标两类。相比于其他分割的方法，本方法应对多种复杂的图像，都能够进行有效的元素分割，而且只需要进行图像数据集的迭代就能够提升分割精度。面对多种类型数据集无需修改代码即可完成图像分割。

本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims

1.基于Unet网络的图像元素分割方法，其特征在于：包括以下步骤：

1)图像输入到Unet网络后，经过卷积层下采样操作，得到区域特征F，之后对区域特征F进行反卷积层的上采样操作，最终恢复到输入图像相同大小的尺寸；

3)在图片生成器G原有的loss函数的基础上，引入二维熵loss函数，定义二元组特征F出现的频率公式如下:

其中i表示像素的灰度值，j表示邻域内的灰度均值，f(i,j)表示特征二元组出现的次数，N表示图像的尺度，计算二维熵的公式如下：

4)形态学处理，包括以下步骤：

(1)输入图像经过Unet网络得到输出图像，将图像RGB三通道分离，提取图标图像和文字图像，分别对R与G进行反色处理，得到新的R、G图像；

(2)对处理后的图像R、G进行阈值分割，得到二值图像，再对二值图像进行开运算处理，消除分割后残留的细小区域，对较大的区域进行边缘平滑。

2.根据权利要求1所述的基于Unet网络的图像元素分割方法，其特征在于：所述步骤2)中，用CNN分类网络作为Gan对抗网络的图片鉴别器D。

3.根据权利要求1所述的基于Unet网络的图像元素分割方法，其特征在于：所述步骤4)-(2)中，对处理后的图像R、G进行大津法阈值分割。