CN110689544A

CN110689544A - 一种遥感图像细弱目标分割方法

Info

Publication number: CN110689544A
Application number: CN201910842331.2A
Authority: CN
Inventors: 于淼; 叶秀芬; 刘文智; 郭书祥; 马兴龙
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2019-09-06
Filing date: 2019-09-06
Publication date: 2020-01-14

Abstract

本发明提出的是一种遥感图像细弱目标分割方法。先对原始的遥感图像进行数据增强和相应预处理，借助DenseNet的稠密连接思想对U‑net进行改进，提出Dense‑Unet网络结构。通过在网络结构中使用稠密卷积，加强了各卷积通道之间的级联关系，又通过对称结构和跳跃连接思想，进一步使得各层特征之间的联系更加紧密，能够更有效地学习到细弱目标特征。为了保证最后网络识别的实时性，降低参数量，又在每个稠密块之后引入瓶颈层和批归一化层。使用代价敏感向量权重调整目标函数,解决分割目标类别不均衡问题，进一步提升分割精度。最后使用集成学习方法，训练多个独立模型并进行组合，共同对图片中的目标类别信息进行预测。

Description

一种遥感图像细弱目标分割方法

技术领域

本发明涉及的是一种数字图像处理方法，具体的说是一种对遥感图像中的细弱目标进行精准分割的方法。

背景技术

遥感图像目标分割是遥感图像目标识别的一个重要技术方法，其广泛应用于环境评测、交通规划、自动驾驶等多个领域。图像的语义分割是图像信息理解的关键，其基本原理是将像素按照图像中表达的语义含义不同进行不同区域的分割，即像素级的识别图像并标注出每个像素的对象类别。伴随着遥感技术的迅猛发展，高分辨率的遥感卫星图像具有观测范围广、包含物体信息多、信息特征提取困难等特点。传统的图像处理方法在在应对遥感图像目标提取的问题时，主要难度在于目标关键特征的选取，传统特征提取的方法依赖于领域专家的经验，虽然在某些问题下可以得到较好的结果，但是泛化能力很差，当遇到全新的任务时，再次选取特征需要浪费大量的时间。近些年随着深度学习尤其是深度卷积神经网络在计算机视觉领域得到迅猛发展以来，其对图像语义分割领域的发展同样起到了巨大的促进作用，深度卷积神经网络相比传统的方法，能够自动提取图像中的特征并进行训练,拥有良好的泛化性能。目前优秀的语义分割网络模型有SegNet,U-Net,DeepLab等等。其中DeepLab所使用的空洞卷积会导致很大的参数计算量，而且在遥感图像中实际的分割精度并不优于U-net,因此目前最常用的语义分割网络为前两种。

然而，以上的深度学习网络都需要较大规模的数据集和精确的人工标记，且都面临对于遥感图像中细弱目标特征不明显、类别非均衡、受背景干扰较大的问题，对遥感图像中细弱目标识别精度不佳。

发明内容

本发明的目的在于提供一种分割效果好，分割精度高的遥感图像细弱目标分割方法。

本发明的目的是这样实现的：

步骤一：对输入的原始图像进行图像增强和数据扩充，对背景样本进行样本平衡过采样，并最终统一将图片调整为512*512大小；

步骤二：对图像进行相关的预处理和数据扩充后得到的数据集，采取70％作为训练集，20％作为验证集，10％作为最终的测试集，为下一步网络训练做准备；

步骤三：预处理之后的图像经过Dense-Unet网络左侧的一系列稠密卷积块进行下采样，提取图像中的特征信息；

步骤四：在Dense-Unet网络右侧的的一系列稠密卷积块进行上采样，提取图像中的特征信息；

步骤五：采取代价敏感的方法，设置权重敏感向量来增大模型在训练过程中对小类别的注意力，对所有的分类均加上一个权重值，每一类的权重大小与该类别占样本中的比例负相关；

步骤六：使用集成学习的方法，通过训练多个独立的基本网络模型进行组合，集成多个基本模型共同对遥感图像中目标类别信息进行预测；

步骤七：在验证集上对训练模型评估分割效果，并对网络模型进行调整；

步骤八：如果分割精度不达标，则重复进行步骤三到步骤七继续优化网络参数；如果精度达标，则训练结束，得到合适的网络模型。

本发明还可以包括：

1.在下采样提取图像中的特征信息过程中，使用批归一化层和瓶颈层来进行网络优化，之后，在一些稠密卷积块之后添加随机失活处理。

2.在上采样提取图像中的特征信息过程中，使用批归一化层和瓶颈层来进行网络优化，并在上下采样层之间增加跳跃连接，最终将网络输出的图像尺寸通过上采样，以使其尺寸和输入尺寸相同，再进行损失误差的参数更新。

3.步骤五中用代价敏感向量权重调整目标函数，其中n为整体样本的数量，y为人工标记的真实值，a代表网络的预测值，ω是与类别的分布负相关的权重系数：

4.所述的对输入的原始图像进行图像增强和数据扩充具体包括采用随机剪裁、尺寸缩放、角度变换、仿射变换、随机噪声添加、滤波处理、亮度改变的数据预处理方法。

本发明以深度学习图像语义分割理论为依据，提出Dense-Unet网络模型，并结合一种代价敏感权重化目标函数和集成学习思想对遥感图像中的细弱目标进行精准分割。

本发明用于遥感图像中细弱目标(如高压线)的精确分割，相较于现在的遥感图像细弱目标识别算法，本发明所使用的方法网络预测结果与人工精细标注十分相近，能够很好的区分背景干扰对遥感图像中细弱目标分割带来的影响，即使在干扰很大的土地背景中，仍有优异的分割效果。而且相比于常用的其他语义分割网络，我们的对细弱目标的分割效果更精确，解决了常见网络在类别失衡的小目标识别时分割精度差的问题，在视觉上明显有更加良好的效果。

本发明主要基于一种新型全卷积神经网络Dense-Unet来进行遥感图像细弱目标分割。不同于传统的卷积神经网络在卷积层之后连接全连接层再进行分类，全卷积神经网络不限制输入图片的大小，能够接受任意尺寸图像的输入，对图像实现像素级的分类任务，从而对语义分割精度带来了巨大的提升。网络的整体结构主要由收缩路径和扩展路径组成，分别对应着编码和解码部分。相比于经典的全卷积神经网络，本发明中的网络不是简单地对图像进行编码和解码，而是在收缩编码路径上通过稠密卷积块将提取的高像素特征在上采样(upsampling)过程中与新的特征图进行结合，从而可以最大限度的保存之前降采样中得到的一些重要特征信息。

同时会通过网络间的跳跃连接(skip connection)建立起不相邻两层之间的通道，使得一层的输出可以连接到更高的一层或多层，为网络内部参数和特征的传输提供了高速的捷径，减少网络中的参数并降低由下采样过程引起的特征损失。针对我们遥感图像中精细目标的检测问题，跳跃连接的结构能融合卷积中高维和低维特征来更好的确认目标的边界，从而更好的提升识别精度。本发明的主要包括：

一、搭建训练网络结构

本发明所使用的网络借助DenseNet的稠密连接思想并借助其对U-net进行改进，提出Dense-Unet网络结构。将原始U-net中只向下传播的卷积层改进成为稠密块(如附图1所示)，这中设计方法相比于原始的U-net,进一步加强了各卷积通道之间的级联关系，并保留了原始U-net中的对称结构和跳跃连接思想，使得各层特征之间的联系更加紧密，能够更有效的学习到小目标特征，对遥感图像中细弱目标的识别精度提升起到很大作用。同时，为了保证最后网络识别的实时性，降低参数量，又在每个稠密块之后引入瓶颈层，通过1*1卷积核来减少参数数量，提升网络的速度。

另外，本发明的网络在所有的卷积层和转置卷积层之后都加入批归一化层来缓解梯度消失问题并提高网络的训练速度，有效避免了由于数据分布不均匀可能导致的学习速度下降和梯度消失等问题，能够学习训练数据中的特征分布，并在之后的测试中取得良好的泛化结果。最终搭建好的整体网络结构图如附图1所示。

二、基于代价敏感的目标函数处理类别不平衡问题

由于我们的识别目标在地物信息丰富的遥感图像中十分细弱，存在典型的小目标分割以及网络训练类别不平衡问题。针对这一问题，本发明在数据预处理和相关的损失函数中都使用了一定的方法进行类别平衡处理。

采取代价敏感的方法，设置权重敏感向量来增大模型在训练过程中对小类别的注意力，对所有的分类均加上一个权重值，每一类的权重大小与该类别占样本中的比例负相关。这样的一系列权重值就构成了一个代价敏感向量。以深度学习中常用的交叉熵损失函数为例，最简单的二元交叉熵如公式(1)所示，n为整体样本的数量，y为人工标记的真实值，a代表网络的预测值：

引入我们提出的权重值ω后，原二元交叉熵函数如公式(2)所示，ω与类别的分布负相关。

三、使用集成学习方法进一步提升网络分割精度

为了进一步提升网络在测试集上的精度和泛化能力，本发明采用了集成学习的Boosting方法来进一步提升模型精度。集成学习的基本思想是通过一系列弱分类器模型的组合训练出一个效果更好的强分类器，强分类器的效果至少会强于原本的基分类器。本发明中最后将训练集随机抽取得到了3份新数据集，最终通过训练得到Dense-Unet、Unet、SegNet共3个独立的网络模型，并基于此进行组合，对测试图片中每个像素点的分类都由这3个基础模型分配不同的权重进行投票，多个模型表决得到最终的预测结果，有效提高了最终预测的精度。

本发明和现有的技术相比，提供了一种遥感图像中细弱目标的精确分割方法。该方法通过提出的Dense-Unet网络、代价敏感向量权重调整的目标函数和集成学习思想，能够实现在较少数据集上得到较高精度的细弱目标分割效果，有效解决了目前常用的语义分割网络在识别显著类别非均衡的细弱目标时精度不足的问题。相对与传统的遥感图像目标分割方法，本发明的分割效果具有高精度、优异的视觉分割效果和良好的泛化能力，不必多次重复训练选取新的特征，且能够保证算法的实时性。

本发明所使用的Dense-Unet网络在少量训练数据集上仍能有良好表现，且通过其对称式的结构设计和特征间稠密连接的思想融合了卷积神经网络中的低维和高维特征，实现了输出层分辨率的一致性，这使得它部分解决了样本不足带来的影响。另外，本发明通过对批标准化网络改进，减小了数据分布不平衡影响并加快了训练速度。并使用代价敏感向量进行目标函数中的类别权重调整，改善了目标类别的分割精度。最终又通过集成学习的方法整合了各个训练模型，进一步提升了网络的预测精度和泛化能力。

附图说明

图1(a)为本发明所使用的网络结构图。

图1(b)为本发明网络结构中稠密卷积块的具体的结构示意图。

图2为本发明提供的遥感图像细弱目标分割的流程图。

图3以不同背景下遥感图像中的高压电线为例，展示了本发明与其它常用语义分割网络方法对遥感图像细弱目标分割效果对比图，具体介绍如下：

图3(a)为土地背景下的遥感图像中细弱高压线目标分割效果图。

图3(b)为森林背景下的遥感图像中细弱高压线目标分割效果图。

图3(c)为城区建筑背景下的遥感图像中细弱高压线目标分割效果图。

图3(d)为植被和土地干扰共同存在背景下的细弱高压线目标分割效果图，这种情况下背景对目标分割的干扰效果最为明显。

具体实施方式

下面结合附图，通过实际案例进一步描述本发明，但不以任何方式限制发明的范围。本发明提出了一种基于深度学习理论的遥感图像细弱目标精确分割新方法，具体使用的网络模型如附图1所示。附图2为本发明方法的整体流程图，本发明主要包括以下几个步骤：

步骤一：对输入的原始图像首先采用随机剪裁、尺寸缩放、角度变换、仿射变换、随机噪声添加、滤波处理、亮度改变等一系列数据预处理方法，对原始图像进行图像增强和数据扩充。同时由于数据样本中细弱目标往往在不同背景数量不均匀，而背景干扰又是影响目标分割的最主要因素，我们对较少的背景样本又进行了样本平衡过采样，并最终统一将图片调整为512*512大小。

步骤二：对图像进行相关的预处理和数据扩充后，最终得到1000张遥感图像构成的数据集，在此数据集基础上本发明采取70％作为训练集，20％作为验证集，10％作为最终的测试集，为下一步网络训练做准备。

步骤三：预处理之后的图像经过网络左侧的一系列稠密卷积块进行下采样提取图像中的特征信息，在下采样特征提取过程中，使用批归一化层来提升网络速度，减少可能出现的梯度消失问题；并使用瓶颈层中的1*1卷积核来控制减少特征参数数量，只保留最关键的特征信息，进一步加快网络训练的速度和检测时的实时性；之后，在一些稠密卷积块之后添加随机失活处理，提升网络的泛化能力，使其能够在较少训练集中依然可以得到良好的网络模型。

步骤四：在网络右侧的上采样过程中，同样使用批归一化层和瓶颈层来进行网络优化，并在上下采样层之间增加跳跃连接，保证特征层之间的联系，提升网络学习效率。最终将网络输出的图像尺寸通过上采样变得和输入尺寸一样大小，再进行损失误差的参数更新。

步骤五：由于遥感图像中的细弱目标信息占图片全部信息的比例很小，属于典型的类别不平衡问题。针对这一问题，本发明选择增加小样本错分的惩罚代价，并将这种惩罚代价直接体现在目标函数之中。即采取代价敏感的方法，设置权重敏感向量来增大模型在训练过程中对小类别的注意力，对所有的分类均加上一个权重值，每一类的权重大小与该类别占样本中的比例负相关。增大了网络对细弱目标的训练速度和识别精度。

步骤六：使用集成学习Boosting的方法进一步提升网络精度，集成学习方法步骤如下：

(1)训练Dense-Unet，U-net与SegNet3个网络作为基本网络，并每次从训练集中有放回地随机抽取部分作为新的训练集，有些样本可能会多次抽到，一共抽取出3个新的训练集，这3个训练集之间是相互独立的。

(2)每次使用一个新训练集得到一个模型，在各自的训练集上分别训练得到Dense-Unet，U-net与SegNet三个基本模型，这3个模型的训练过程是独立的。

(3)最终将分别训练得到的3个模型分配不同权重(Dense-Unet60％，U-net20％,SegNet20％)进行投票的方式共同对每个像素点的类别进行预测，最终组合成一个新的集成模型。

步骤七：在验证集上对训练模型评估分割效果，并对网络模型进行调整。

步骤八：如果分割精度不达标，则重复进行步骤三到步骤七继续优化调整网络；如果精度达标，则训练结束，得到合适的网络模型。

本网络结构紧凑，十分清晰，既通过稠密卷积块和跳跃连接保证了细节特征的提取和图像各尺度之间的紧密联系，又合理的地控制了卷积层个数和特征参数的数量，能够在准确分割目标的基础上保证算法的实时性。

本发明所做内容主要基于深度学习Pytorch框架和Python语言环境。模型通过在训练集和验证集上的训练和优化后，最终在测试集上取得95％的精确率。采用U-net、SegNet这种目前常用的语义分割网络和传统的图像分割方法与本发明所提出的分割网络效果作对比。这几种常用的图像分割方法与本发明方法对同一张含高压电线的遥感图像进行目标分割，效果如附图3所示，并且根据图像的评价指标查准率Precision、召回率Recall和F1系数以及IOU分数来对图像进行客观评估。查准率Precision代表着正确预测的正样本数和所有模型预测为正样本的比值；召回率Recall代表着正确预测的正样本数和所有真实标注为正样本的比值；F1系数是一个综合查准率与召回率的来评价网络模型好坏的指标，它的计算公式为：

其中IOU是对象类别分割问题的标准性能度量。对于真实标注区域X和网络预测区域Y，交并比的计算公式为

它给出了在该组图像中存在的对象的预测区域和地面实况区域之间的相似性,IOU的值越大，图像的分割效果越准确。表1显示了各方法的评价指标对比。

表1几种常用方法的评价指标对比

根据表1综合考虑图像分割的各项评价指标，本发明的遥感图像细弱目标分割方法要优于其它几种方法。

以图3中识别遥感图像中的高压电线为例，我们的识别目标高压电线在地物信息丰富的遥感图像中十分细弱，目标类别信息相对于整张图片全部信息来说占比过少。从图3可以看出本发明提供的一种遥感图像细弱目标分割方法能够得到十分精确的分割效果，预测结果与人工精细标注十分相近，能够很好的区分背景干扰对细弱目标电线分割带来的影响，在遥感图像中常见的土地、森林、城区及植被背景中，本发明方法都能得到精确的分割效果，即使在干扰很大的土地道路背景中，仍能很好的抑制背景干扰对目标区域识别所带来的影响。而且相比于其它方法，我们的对目标的分割效果更精确，在视觉上明显有更加优异的效果，能更好的抵抗背景噪声的干扰。这主要得益于我们所使用的稠密卷积、代价敏感权重化目标函数与批标准化技巧，增大了小类别的分割精度与泛化能力。另外，由于集成学习方法的使用，使得我们分割精度最终得到了进一步的提升，取得了令人满意的精细分割效果，不会出现其余方法检测结果中细弱目标丢失，将背景误检为目标的情况。

Claims

1.一种遥感图像细弱目标分割方法,其特征是：

2.根据权利要求1所述的遥感图像细弱目标分割方法，其特征是：在下采样提取图像中的特征信息过程中，使用批归一化层和瓶颈层来进行网络优化，之后，在一些稠密卷积块之后添加随机失活处理。

3.根据权利要求2所述的遥感图像细弱目标分割方法，其特征是：在上采样提取图像中的特征信息过程中，使用批归一化层和瓶颈层来进行网络优化，并在上下采样层之间增加跳跃连接，最终将网络输出的图像尺寸通过上采样，以使其尺寸和输入尺寸相同，再进行损失误差的参数更新。

4.根据权利要求1、2或3所述的遥感图像细弱目标分割方法，其特征是：步骤五中用代价敏感向量权重调整目标函数，其中n为整体样本的数量，y为人工标记的真实值，a代表网络的预测值，ω是与类别的分布负相关的权重系数：

5.根据权利要求1、2或3所述的遥感图像细弱目标分割方法，其特征是：所述的对输入的原始图像进行图像增强和数据扩充具体包括采用随机剪裁、尺寸缩放、角度变换、仿射变换、随机噪声添加、滤波处理、亮度改变的数据预处理方法。

6.根据权利要求4所述的遥感图像细弱目标分割方法，其特征是：所述的对输入的原始图像进行图像增强和数据扩充具体包括采用随机剪裁、尺寸缩放、角度变换、仿射变换、随机噪声添加、滤波处理、亮度改变的数据预处理方法。