CN111127472A - 一种基于权重学习的多尺度图像分割方法 - Google Patents

Abstract

本发明公开了一种基于权重学习的多尺度图像分割方法。本发明设计的神经网络在不同尺度上充分提取了目标特征，充分保证了目标的边缘和形态特征，用可学习的权重来保留有用的特征剔除有噪声的特征。该网络模型主要包括编码和解码两部分，在编码阶段，网络提取不同尺度下的特征，在解码阶段融合多层特征空间的特征，每个增强的特征可以获得类别概率分布图，并且通过可学习的自适应权重对所获得增强特征进行加权得到最终特征。实验表明，应用本发明的方法在道路提取上具有更高的准确率和召回率，在道路外形上更贴近真实道路的轮廓。

Description

一种基于权重学习的多尺度图像分割方法

技术领域

本发明属于遥感图像处理技术领域，是一种基于权重学习的多尺度图像卷积层特征学习方法，可应用于图像目标识别、图像分割等图像特征提取阶段。

背景技术

特征提取是目标识别和图像分割的重要步骤。目标特征主要有目标的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但实际中一般都是人工完成的，然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。

深度学习可以自动地学习一些特征，不需要人参与特征的选取过程，它是机器学习中的一个分支，是当今AI领域最热门最前沿的研究内容。它考虑的是用非线性多处理层来学习数据的多尺度特征的抽象表征用反向传播算法对计算模型训练，通过监督或若监督的特征学习和分层特征提取代替手工获取特征。随着网络越深，模型学习到的特征语义信息越高，空间分辨率越低，丢失了浅层的位置特征和形状特征。基于深度学习模型的图像特征提取是目标识别、图像分割等应用的重要步骤，良好的图像特征可极大提示目标识别及图像分割的准确率。然而浅层特征不仅包含物体的位置特征和形状特征，还包含大量的噪声，有效地利用浅层的特征，剔除噪声可以提高目标识别与图像分割的准确率，本发明针对上述现有技术中的不足，对现有的深度学习模型进行了改进。

发明内容

本发明设计了一种基于权重学习的多尺度图像分割方法，用于改善常规卷积特征质量，提升目标识别与图像分割的准确率，增强对不同尺度图像的特征表达能力。该模型在常规的编码-解码结构网络架构后端增加了尺度权重学习特征融合模块，以获得不同级别和不同尺度的特征。解码器用于根据特征级别融合不同级别和不同级别的特征。每个增强特征可以获得类别概率分布图，并且通过可学习的自适应权重对所获得的不同级别的类概率分布图进行加权来获得加权类别概率加权分布图，最后，通过分类器获得最终的分割结果。

本发明实现的具体步骤如下：

1)将样本输入到所构建的模型中进行训练，获得训练好的权重，所述模型包括编码器和解码器；

2)将测试区遥感影像作为输入源输入到训练好的模型中；

3)利用编码器对测试区影像进行特征编码，得到n个不同尺度的池化特征；所述编码器包括五个降采样模块，前两个降采样模块分别包含两个卷积模块和一个池化层，后三个降采样模块包含三个卷积模块和一个池化层，其中卷积模块包含一个BN层，一个3*3卷积核的卷积层和一个ReLu的激活层；

4)将第n层池化特征输入解码器中的尺度模块的第一个尺度子模块中进行解码，得到解码特征，将得到的解码特征与第n-1层池化特征进行融合，得到尺度增强特征一，其中尺度子模块的个数为n，每个尺度子模块包含一个上采样层、三个卷积模块，每个卷积模块包含一个BN层和一个3*3卷积层；

5)将4)得到的尺度增强特征一输入到尺度模块的第二个尺度子模块中进行解码，将得到的解码特征与n-2层池化特征进行融合，得到尺度增强特征二；

6)重复4)、5)，直到与第一层池化特征进行融合；

7)将4)得到的尺度增强特征一输入到结构模块的第一个结构子模块中，得到尺度结构增强特征一，将5)得到的尺度增强特征二输入到结构模块的第二个结构子模块中，得到尺度结构增强特征二；

其中，结构模块中结构子模块的个数为n-1，每个结构子模块包含一个反卷积层、三个卷积模块，前两个卷积模块分别包含一个BN层和一个3*3卷积层，最后一个卷积模块包含一个BN层和一个1*1卷积层；

8)重复7)直到最后一个尺度增强特征输入完毕；

9)获得n-1个不同尺度增强后的类别概率分布图，利用1)中学习到的权重对其进行加权，然后利用softmax得到最终分割结果。

进一步的，步骤4)的具体实现方式如下，

在尺度模块中，对第i+1层的特征进行上采样，并通过卷积将其转换为密集特征，然后与前一层的池化特征融合，假设M_i是第i层的池化特征，N_i是第i层的尺度增强特征，N_i通过公式(1)计算，

其中Conv(X，w)表示X与w的卷积，w是滤波器，Up(X)表示X的上采样，⊙表示两个张量的加法运算。

进一步的，步骤9)中获得n-1个不同尺度增强后的类别概率分布图的具体实现方式如下，通过公式(2)预测每层的强化后尺度结构增强特征类别概率图C_i，

其中Conv(D_i，w)表示D_i与w的卷积，D_i为尺度结构增强特征，w是1×1滤波器，bias表示1×1张量，

表示两个张量的偏置加法运算。

进一步的，步骤9)中利用softmax得到最终分割结果的具体实现方式如下，

其中S(X)表示softmax函数，e是自然指数，k是数据的维度，w_i为权重；假设存在张量X，X_j表示X中的第j个元素，则该元素的softmax值如公式(4)所示。

本发明与常规遥感影像道路提取方法相比具有以下特点：将可以学习的权重值用于多层特征空间融合，应用本发明的方法在道路提取上具有更高的准确率和召回率，在道路外形上更贴近真实道路的轮廓。

附图说明

图1为本发明的总体框架图。

图2为本发明实施例中的编码器结构图。

图3为本发明实施例中的解码器结构图。

图4为本发明实施例中的结果图，其中(a)为原始影像，(b)为标签，(c)为Segnet模型处理结果图，(d)为U-net模型处理结果图，(e)为本发明方法处理结果图。

具体实施方式

下面结合附图对本发明方法的具体实施方式作进一步说明。

如图1所示，一种基于权重学习的多尺度图像卷积层特征学习方法，包括如下步骤：

1)将样本放入本发明设计的模型中进行训练；

本发明设计的模型的结构为：编码——解码结构

2)将测试区遥感影像作为输入源输入进1)中的模型；

3)利用编码器对测试区影像进行特征编码，得到五个不同尺度的池化特征。编码器采用五个降采样模块，前两个降采样模块包含两个卷积模块加一个池化层，后三个降采样模块包含三个卷积模块和一个池化层，卷积模块包含一个BN层，一个3*3卷积核的卷积层和一个ReLu的激活层，卷积层的输入和输出均为64个维度，如图2所示；

具体地，在编码阶段，通过卷积对图像进行编码，并且在每个卷积层之后通过池化层来压缩特征。

4)将最后一层池化特征输入解码器中的尺度模块进行解码将得到的解码特征与上一层池化特征进行融合，得到尺度增强特征一，其中尺度子模块的个数为n，每个尺度子模块包含一个上采样层、三个卷积模块，每个卷积模块包含一个BN层和一个3*3卷积层，如图3所示；

在尺度模块中，对第i+1层的特征进行上采样，并通过卷积将其转换为密集特征，然后与前一层的池化特征融合，我们假设M_i(i＝1，2，…n)是第i层的池化特征，N_i是第i层的尺度增强特征，N_i可以通过公式(1)计算：

其中Conv(X，w)表示X与w的卷积，w是滤波器，Up(X)表示X的上采样，⊙表示两个张量的加法运算。

在尺度模块中，这里所述的第i层对应的即为第i个尺度子模块。

5)将4)得到的尺度增强特征一输入到尺度模块的第二个尺度子模块中进行解码，将得到的解码特征与上一层池化特征进行融合，得到尺度增强特征二；

6)重复4)、5)，直到与第一层池化特征进行融合；

7)将4)得到的尺度增强特征一输入到结构模块的第一个结构子模块中，得到尺度结构增强特征一，将5)得到的尺度增强特征二输入到结构模块的第二个结构子模块中，得到尺度结构增强特征二；

其中，结构模块中结构子模块的个数为n-1，每个结构子模块包含一个反卷积层、三个卷积模块，前两个卷积模块分别包含一个BN层和一个3*3卷积层，3*3卷积层的输入和输出均为64个维度，最后一个卷积模块包含一个BN层和一个1*1卷积层，1*1卷积层的输入为64个维度和输出为1个维度；

8)重复7)直到最后一个尺度增强特征输入完毕；

9)得到四个不同尺度增强后的类别概率分布图，利用1)中学习到的权重对其进行加权，然后利用softmax得到最终分割结果。

在结构模块中，由于强化后的特征大小不同于图像的大小，因此有必要将强化后的特征上采样到图像的大小，然后通过卷积获得尺度结构增强特征D_i，并通过公式(2)预测每层的强化后的特征类别概率图C_i。

其中Conv(D_i，w)表示D_i与w的卷积，w是1×1滤波器，bias表示可以学习的1×1张量，

表示两个张量的偏置加法运算。通过可以学习的自适应权重矩阵，将在每个级别获得的类别概率图加在一起。

最后，通过使用softmax分类器获得分割结果。

其中S(X)表示softmax函数，e是自然指数，k是数据的维度，w_i为可学习的权重值；假设存在张量X，X_j表示X中的第j个元素，则该元素的softmax值如公式(4)所示。

为了验证本发明方法的性能，使用The Massachusetts Roads Dataset进行验证试验，该数据集中所有图像的大小为1500×1500，分辨率为1m。数据集由1108个训练图像，49个测试图像和14个验证图像组成。数据集在不同模型上的表现如表1和图4所示，从表中可以看出，本发明方法比Segnet召回率高15.4个百分点，精度则高18.9个百分点；从图中也可以直观的看出本发明方法分割的结果更完整，分割效果与标签图像最接近。

表1数据集在不同模型上的表现

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于权重学习的多尺度图像分割方法，其特征在于，包括如下步骤：

1)将样本输入到所构建的模型中进行训练，获得训练好的权重，所述模型包括编码器和解码器；

2)将测试区遥感影像作为输入源输入到训练好的模型中；

3)利用编码器对测试区影像进行特征编码，得到n个不同尺度的池化特征；所述编码器包括五个降采样模块，前两个降采样模块分别包含两个卷积模块和一个池化层，后三个降采样模块包含三个卷积模块和一个池化层，其中卷积模块包含一个BN层，一个3*3卷积核的卷积层和一个ReLu的激活层；

4)将第n层池化特征输入解码器中的尺度模块的第一个尺度子模块中进行解码，得到解码特征，将得到的解码特征与第n-1层池化特征进行融合，得到尺度增强特征一，其中尺度子模块的个数为n，每个尺度子模块包含一个上采样层、三个卷积模块，每个卷积模块包含一个BN层和一个3*3卷积层；

5)将4)得到的尺度增强特征一输入到尺度模块的第二个尺度子模块中进行解码，将得到的解码特征与第n-2层池化特征进行融合，得到尺度增强特征二；

6)重复4)、5)，直到与第一层池化特征进行融合；

7)将4)得到的尺度增强特征一输入到结构模块的第一个结构子模块中，得到尺度结构增强特征一，将5)得到的尺度增强特征二输入到结构模块的第二个结构子模块中，得到尺度结构增强特征二；

其中，结构模块中结构子模块的个数为n-1，每个结构子模块包含一个反卷积层、三个卷积模块，前两个卷积模块分别包含一个BN层和一个3*3卷积层，最后一个卷积模块包含一个BN层和一个1*1卷积层；

8)重复7)直到最后一个尺度增强特征输入完毕；

9)获得n-1个不同尺度增强后的类别概率分布图，利用1)中学习到的权重对其进行加权，然后利用softmax得到最终分割结果。

2.如权利要求1所述的一种基于权重学习的多尺度图像分割方法，其特征在于：步骤4)的具体实现方式如下，

在尺度模块中，对第i+1层的特征进行上采样，并通过卷积将其转换为密集特征，然后与前一层的池化特征融合，假设M_i是第i层的池化特征，N_i是第i层的尺度增强特征，N_i通过公式(1)计算，

其中Conv(X，w)表示X与w的卷积，w是滤波器，Up(X)表示X的上采样，⊙表示两个张量的加法运算。

3.如权利要求1所述的一种基于权重学习的多尺度图像分割方法，其特征在于：步骤9)中获得n-1个不同尺度增强后的类别概率分布图的具体实现方式如下，

通过公式(2)预测每层的强化后尺度结构增强特征类别概率图C_i，

其中Conv(D_i，w)表示D_i与w的卷积，D_i为尺度结构增强特征，i为n-1，w是1×1滤波器，bias表示1×1张量，

表示两个张量的偏置加法运算。

4.如权利要求3所述的一种基于权重学习的多尺度图像分割方法，其特征在于：步骤9)中利用softmax得到最终分割结果的具体实现方式如下，

其中S(X)表示softmax函数，e是自然指数，k是数据的维度，w_i为权重；假设存在张量X，X_j表示X中的第j个元素，则该元素的softmax值如公式(4)所示。

Images