CN111612807A

CN111612807A - 一种基于尺度和边缘信息的小目标图像分割方法

Info

Publication number: CN111612807A
Application number: CN202010409642.2A
Authority: CN
Inventors: 李建强; 刘冠杰; 谢海华; 徐宏民
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2020-05-15
Filing date: 2020-05-15
Publication date: 2020-09-01
Anticipated expiration: 2040-05-15
Also published as: CN111612807B

Abstract

一种基于尺度和边缘信息的小目标图像分割方法涉及计算机视觉及图像处理技术领域。本发明是基于编码器解码器结构的分割模型进行改进，编码器解码器结构可以利用图像的尺度信息，在此基础上增加了一个边缘编码模块，该模块以编码器部分卷积块的最后一层卷积层为输入，由注意力模块和门控模块交替连接构成。注意力模块通过引入全局注意力增大图像的感受野，使其不至于忽略小目标区域的边缘信息；门控模块对输入图像标签的梯度图进行加权，增加了边缘的宽度，减少了边缘在计算过程中的损失。将边缘编码模块的输出与上采样后的特征图逐层点乘进行融合，通过softmax逐像素分类得到最终结果。该方法使得包含小目标区域的图像实现更精确的分割。

Description

一种基于尺度和边缘信息的小目标图像分割方法

技术领域

本发明涉及计算机视觉及图像处理技术领域，具体是通过利用图像的尺度和边缘信息实现对小目标图像更为精确的分割。

背景技术

语义分割是计算机视觉中的基本任务，对图像进行逐像素的分类，通过不同的颜色表示不同的类别，同一个类别的像素被分为一类。语义分割在自动驾驶，3D重建，图像生成，医学检测等领域有很多的研究，随着深度学习的发展，卷积神经网络可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征，有效的提高了图像语义分割的准确性。

虽然语义分割的准确性较以前已经有了很大的提高，但是依然存在一些问题，小目标图像的语义分割便是其中之一。小目标图像的语义分割一直是语义分割中的难点，小目标在图像中所占的面积往往很小，携带的信息量较少，而有时又往往很重要，需要分割这些部分。同时由于图像可能存在分辨率低，图像模糊等原因，导致特征表达能力弱，即在特征提取的过程中，能提取到的特征非常少，这些因素都不利于对小目标的分割。

全卷积神经网络(Fully Convolutional Networks，FCN)将卷积神经网络中的全连接层替换为卷积层。与经典的卷积神经网络在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接收任任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使其恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，最后在上采样的特征图上进行逐像素分类。

基于FCN的思想衍生出许多模型，segnet便是其中之一。Segnet采用了编码器解码器的结构，编码器部分交替采用卷积加池化操作，解码器交替采用上采样加卷积操作，用softmax做像素分类。同时在编码解码的过程中采用了池化索引，改善了图像分割率。Segnet相较FCN分割的准确率有了很大的提升，但仍存在一些问题：

一、segnet的编码器部分采用的使vgg网络的前13层，在卷积过程中，卷积核的感受野是固定不变的，这就导致卷积过程中只能利用局部的信息而不能使用全局的信息，导致目标过大或过小时被错误分类。

二、在编码器部分，连续的卷积池化操作会丢失图像的边缘信息，使得小目标物体为数不多的边缘信息变得更少，分割边缘过于平滑，导致小目标不能准确被分割。

发明内容

本发明针对编码器解码器结构的语义分割模型的缺点和不足，提出了一种基于尺度和边缘信息的小目标图像分割方法，具体是在segnet模型中添加了一个边缘编码模块，用来学习图像的边缘信息。边缘编码模块以编码器部分卷积块的最后一层卷积层为输入，通过全局注意力引入图像的全局信息，增大图像的感受野，并增加边缘的权重，减少在卷积池化过程中边缘信息的损失，更好的实现图像中小目标区域的语义分割。

针对上述提出的问题，本发明提出了基于尺度和边缘信息的解决方法，包括以下步骤：

1.对待分割的包含小目标的图像进行预处理，得到训练集数据、验证集数据和测试集数据及相应的标注的掩膜(ground truth)；

2.本发明设计的分割模型基于segnet，segnet的编码器部分由vgg16的前13层组成，如图2所示。设组成编码器的五个模块的最后一层卷积层分别为I1、I2、I3、I4、I5，组成解码器的五个模块经过上采样层之后的特征图分别为O1、O2、O3、O4、O5，将I1、I3、I4作为输入送入边缘编码模块。

3.设编码器传入边缘编码模块的特征图I1、I3、I4经过1×1卷积之后依次为S1、S2、S3，1×1卷积的作用是将多个通道的卷积层降维为单通道。其中对于任意两个相邻的特征图，都会经过注意力模块和门控模块的操作，其网络结构如图1所示，具体过程如下：

对于S₁到S_T中除了最后一个特征图的任一特征图S_t，S_t中任一像素点位置表示为m_i，S_t+1中任一像素点位置表示为n_j，则对于S_t+1中任一像素点，计算其与S_t中像素点的相似关系为

f_j(m_i,n_j)＝S_t(m_i)·S_t+1(n_j) (1)

相似关系为两个像素点的值相乘，相比较与卷积运算，逐点计算可以充分利用图像的全局信息。像素点n_j与S_t中所有像素点的相似关系为

N为归一化因子，将S_t+1中所有像素点都经过上述运算后得到注意力图a_t+1。

将当前输入图像的标注后的掩膜resize到大小与S_t+1相同，通过canny边缘检测求得其梯度图(边缘图)W_c，对于W_c中边缘上任一点X，对其进行加权，增大对边缘的关注，

W₀和σ为常数，根据经验可以分别取值为10和5，d₁(X)和d₂(X)分别为点X到距其最近和次近的边缘的距离,得到加权后的权重图W_t+1。

将特征图a_t+1和权重W_t+1送入门控模块，首先将S_t+1与注意力图a_t+1相乘，经过ReLU激活之后再与权重W_t+1相乘，得到的结果再加上S_t+1的值，最终输出为

结果

作为输入参与和下一个特征图的运算，同时也作为上采样过程中的参数。

在得到结果

之后，需要将其与模型原先的特征图做融合，设解码器中与

融合的上采样之后的特征图为O_t，融合后的输出为O′_t。若O_t的通道数为K，则对其任一通道k，

即

和O_t的每一维逐点相乘再加上O_t对应维的值。

本发明的创造性在于：基于编码器和解码器结构的分割模型充分运用了图像的尺度信息，但是其在卷积池化过程中会丢失边缘信息，同时由于感受野不足，不能利用全局信息，导致小目标物体在分割过程中被误判。本发明在原有基础上增加了一个边缘编码模块，该模块以编码器中的卷积层为输入，利用图像的全局信息获取比卷积更为丰富的信息，同时通过增强图像的边缘使得小目标区域的边缘信息在训练过程中不容易被忽略，增加了模型对小目标图像的分割精度。

附图说明

图1是本发明的网络结构图。

依次包括卷积层，最大池化层，上采样层，代表softmax层，箭头代表池化索引，Conv 1×1代表1×1的卷积操作。注意力模块内发生的操作为，将输入的两个特征图后一特征图中每个像素点都先依次与前一个特征图中的每个点相乘再相加并归一化，得到和两个卷积层中后一个卷积层尺寸相同的注意力图。门控模块内发生的操作为，将注意力图与后一个卷积层相乘，结果经过ReLU激活后乘以权重再加上后一个卷积层的值。圆圈内加乘号代表两个特征图融合。

图2是vgg16前13层网络结构图。

具体实施方式

本发明提出一种基于尺度和边缘信息的小目标图像分割方法，该方法基于segnet模型进行改进，如图1所示，segnet的编码器部分由vgg16的前13层组成，具体结构如图2所示。其特征在于：在原有模型的基础上增加了一个边缘编码模块，模型可以同时利用图像的尺度和边缘信息，使得小目标图像不容易被忽略。

该方法的具体步骤如下：

1.对于待分割的包含小目标物体的图像进行标注，同一类别的物体标为相同的颜色，颜色的类别数目和要分类的类别数目相同，得到标注后的后缀为png的掩膜。

2.对已有的图像进行数据增强，使用随机水平翻转、随机裁剪、随机噪声等方法扩充数据集，充分利用包含小目标物体的图片，提高模型的泛化能力。

3.将扩充完的数据按比例6：2：2分为训练集、验证集和测试集数据。

4.构建分割模型，分割模型基于segnet，模型的编码器由vgg16的前13层构成，分为五个卷积块，每个卷积块的最后一层卷积层的尺寸分别为224×224×64、112×112×128、56×56×256、28×28×512和14×14×512。将第一、三、四个卷积块的最后一个卷积层送入图像编码模块作为输入，三个卷积层经过1×1卷积后的尺寸分别为224×224×1、56×56×1和28×28×1，分别记为S1、S2、S3。

5.计算S2中任意一点n_j与S1中任意一点m_i的相似关系为

f_j(m_i,n_j)＝S_t(m_i)·S_t+1(n_j)

i∈{1,2,…,224²},j∈{1,2,…,56²}

像素点n_j与S_t中所有像素点的相似关系为

生成注意力图a₂，a₂的尺寸为56×56×1。

将输入图像标注后的掩膜resize为56×56×1，通过canny边缘检测求得其梯度图W_c1，对于W_c1中边缘上任一点X,加权之后的结果为

求得权重图W₂，尺寸为56×56×1。

将特征图a₂和权重图W₂送入门控模块，经过以下运算

得到输出

尺寸为56×56×1。

将

作为输入和S3计算相似度，与上述原理相同，得到注意力图a₃，尺寸为28×28×1。

将输入图像标注后的掩膜resize为28×28×1，通过canny边缘检测求得其梯度图W_c2，对于W_c2中边缘上任一点X,加权之后的结果为

通过门控模块的计算得到

的尺寸为28×28×1。

设组成解码器的五个模块经过上采样层后的特征图分别是O1、O2、O3、O4、O5，将O2，O3分别与

做融合，O2、O3的尺寸分别为28×28×512和56×56×256，若O2的通道数为K，则对其任一通道k，

得到特征图O′₂，同理可得特征图O′₃，O′₂和O′₃后接卷积层，如图1所示。

6.使用训练集、验证集训练基于尺度和边缘信息的小目标分割模型，保存好训练参数。

7.模型训练完成后，导入训练好的模型，对测试集中的图像进行分割，得到分割结果，计算交并比等参数。

Claims

1.一种基于尺度和边缘信息的小目标图像分割方法，其特征在于，包括以下步骤：

S1、对待分割的包含小目标的图像进行预处理，得到训练集、验证集和测试集数据；

S2、构建基于尺度和边缘信息的小目标图像分割模型，包括编码器部分、边缘编码模块和解码器部分，其中，编码器部分通过多层的卷积池化利用图像的尺度信息，边缘编码模块通过全局注意力和增加图像边缘的权重提取图像的边缘信息，解码器部分对编码器和边缘编码模块的输出进行融合，并通过上采样恢复图像尺寸，通过softmax逐像素预测图像分割后的掩膜；

S3、将训练集和验证集数据输入上述分割模型进行训练，得到学习后的语义分割模型；

S4、将测试集数据输入步骤S3所得学习后的语义分割模型，进行图像分割，得到分割后的图像。

2.如权利要求1所述的基于尺度和边缘信息的小目标图像分割方法，其特征在于：步骤S2中，编码器部分包含五个卷积块，分别为block1、block2、block3、block4和block5，选取block1、block3和block4的最后一层卷积层作为边缘编码模块的输入，通过1×1卷积将三个多维特征图降维成一维。

3.如权利要求1所述的基于尺度和边缘信息的小目标图像分割方法，其特征在于：步骤S2中，边缘编码模块包含注意力模块和门控模块两个部分，注意力模块通过全局注意力生成注意力图，对于前后相邻的两个特征图S_t和S_t+1，S_t中任一像素点位置表示为m_i，S_t+1中任一像素点位置表示为n_j，则对于S_t+1中任一像素点，计算其与S_t中像素点的相似关系为

f_j(m_i，n_j)＝S_t(m_i)·S_t+1(n_j)

像素点n_j与S_t中所有像素点的相似关系为

4.如权利要求3所述的基于尺度和边缘信息的小目标图像分割方法，其特征在于：步骤S2中，对于边缘编码模块中的门控模块，将当前输入图像的标注后的掩膜resize到大小与S_t+1相同，通过canny边缘检测求得其梯度图W_c，对于W_c中边缘上任一点X，对其进行加权，增大对边缘的关注，

W₀和σ为常数，d₁(X)和d₂(X)分别为点X到距其最近和次近的边缘的距离，得到加权后的权重图W_t+1，将特征图a_t+1和权重W_t+1送入门控模块，首先将S_t+1与注意力图a_t+1相乘，经过ReLU激活之后再与权重W_t+1相乘，得到的结果再加上S_t+1的值，最终输出为

结果

5.如权利要求1所述的基于尺度和边缘信息的小目标图像分割方法，其特征在于：步骤S2中，在解码器部分需要将编码器和边缘编码模块的输出进行融合，融合的部分为解码器的第二个上采样层的输出和边缘编码模块第二个门控模块的输出进行融合，解码器的第三个上采样层的输出和边缘编码模块第一个门控模块的输出进行融合，设解码器中与

融合的上采样之后的特征图为O_t，融合后的输出为O′_t；若O_t的通道数为K，则对其任一通道k，

即

和O_t的每一维逐点相乘再加上O_t对应维的值。