CN106570485B - 一种基于深度学习的筏式养殖遥感图像场景标注方法 - Google Patents

Abstract

本发明一种基于深度学习的筏式养殖遥感图像场景标注方法，它有四大步骤：步骤一：计算机读取数据；步骤二：构造多尺度纯卷积神经网络网络；步骤三：训练网络；步骤四：图像标注，得到最终的结果图。本发明克服了现有技术的不足，很好地解决了筏式养殖遥感图像场景标注问题，自动化程度和标注精度均较高，能够大幅度降低人工成本，因此该方法可以应用于筏式养殖遥感图像的标注中，具有广阔的应用前景和价值。

Description

一种基于深度学习的筏式养殖遥感图像场景标注方法

(一)技术领域

本发明涉及一种基于深度学习的筏式养殖遥感图像场景标注方法，属于可见光遥感图像场景标注技术领域。

(二)背景技术

遥感(remote sensing)是应用探测仪器，不与探测目标相接处，从远处把目标的电磁波特性记录下来，通过分析，揭示出物体的特征性质及其变化的综合性探测技术。遥感图像(remote sensing images)是成像遥感的产物，此时探测仪器所接收到物体的电磁信号可以转换为图像，反之则属于非成像遥感的范畴。

遥感图像场景标注(scene labeling)是对遥感图像进行逐像素判断，将景物特征相似的像素标记为相同类别，这些像素所形成的集合则包含了区域、位置和类别等信息。场景标注的结果既可作为感兴趣区域，缩小目标识别算法的检测区域，从而提高目标识别的效率和降低目标识别的虚警率，也可以作为粗识别结果直接输出，提高信息获取效率。由于场景标注同时包含了检测和识别的过程，因此其相关算法在遥感数字图像计算机解译中起着重要作用。

场景标注的目标是对图像进行逐像素(pixel-wise)标注，特别要求较为准确地标注出目标物体的边界，计算机视觉领域通过应用深度卷积神经网络逐渐实现了这一目标。但是遥感图像包含的信息量和其复杂程度远超普通图像，而空间分辨率则远低于普通图像，目标物体占遥感图像的区域很小但干扰较多，因此在基于深度学习的遥感图像场景标注方面，目前以区块为单位进行标注的研究较多，逐像素标注的难度较大研究较少。

筏式养殖(raft culture)，是一种悬挂于浮筏的养殖方式，指在浅海水面上利用浮子和绳索组成浮筏，并用缆绳固定于海底，使海藻(如海带、紫菜)和固着动物(如贻贝)幼苗固着在吊绳上，悬挂于浮筏的养殖方式。我国推动筏式养殖产业发展后，获得了良好的经济效益，特别是在部分省份已经成为了主要的养殖方式之一。为了制定进一步的发展政策，有关部门需要对养殖的区域和面积进行持续监测。筏式养殖遥感图像标注主要依赖于人工标注，标注准确率高，但标注速度很慢，一景遥感图像大约需要3-4天的时间才能标注完成。本发明针对上述情况，提出了一种基于深度学习的筏式养殖遥感图像场景标注方法，自动化程度高，标注效果好。

(三)发明内容：

1、目的：本发明的目的是提供一种基于深度学习的筏式养殖遥感图像场景标注方法。该方法从深度学习出发，构建了一个多尺度纯卷积神经网络，对筏式养殖遥感图像进行标注。

2、技术方案：本发明是通过以下技术方案实现的：

本发明是一种深度学习的筏式养殖遥感图像场景标注方法。该方法的具体步骤如下：

步骤一：计算机读取数据。首先使用计算机读取遥感图像数据。本发明使用的数据来自于卫星多光谱相机采集到的包含筏式养殖区域的多光谱遥感图像，并提取1、2、3通道合成假彩色遥感图像。将这些假彩色遥感图像分为两部分，一部分是带标签的训练数据，另一部分是测试数据。由于计算机显存资源有限，因此预先将假彩色遥感图像切割成100*100的小图像，待处理后再拼接起来。

步骤二：构造多尺度纯卷积神经网络。如图1所示，网络分为2个分支，a分支不包含任何降采样层，被称为纯卷积网络，该网络的特点是精度高但虚警率同样较高；b分支则是包含了数个降采样层，降低了网络精度，但是提高网络了的泛化能力，有利于降低虚警率。将2个分支融合形成互补，就可以获得较高的标注精度和较低的虚警率。此外每个卷积层都采用ReLU函数作为激活函数，使得网络可以解决非线性问题。

步骤三：训练多尺度纯卷积神经网络。如步骤二构造好网络后，在Caffe深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络达到最优，并记录此时的网络参数。

步骤四：假彩色遥感图像标注。利用步骤三训练好的网络对测试数据进行标注。由于输入的是被切割的100*100的小图像，因此标注之后，还需要进行拼接，即可获得标注结果。3、优点及功效：

本发明是一种基于深度学习的筏式养殖遥感图像场景标注方法，本发明的优点是：通过构造多尺度纯卷积神经网络，对筏式养殖遥感图像进行标注。基于深度学习的多尺度纯卷积网络通过多个尺度特征融合和有监督学习，来保证标注的准确性。此外由于网络的输入输出均为图像，因此自动化程度高，能够大幅度提高标注效率，降低人工成本。

(四)附图说明

图1多尺度纯卷积神经网络的结构图。

图2本发明所述方法进行筏式养殖遥感图像场景标注的流程框图。

图3真实遥感测试图像(中下部分灰黑色长条状物体为浮筏)。

图4真实图像标注结果(黑色代表陆地，灰色代表海洋，白色代表浮筏)。

图5仿真遥感测试图像(灰黑色长方形用于仿真浮筏)。

图6仿真图像标注结果(黑色代表陆地，灰色代表海洋，白色代表浮筏)。

表1多尺度纯卷积神经网络参数设置图。

表2仿真图像标注结果的混淆矩阵。

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：

本发明在Ubuntu14.0.4和Caffe深度学习框架下实现。在Caffe框架下，首先完成网络的搭建，并配置相关的参数；再利用训练数据进行训练，获得调优的网络参数；最后利用训练好的网络对图像进行标注，并对标注结果进行拼接。

本发明所基于的多尺度纯卷积神经网络的结构图如图1所示，每一个方框代表神经网络中的一层，其中卷积层是对输入数据进行卷积操作且包含多个子卷积层，降采样层则是根据具体的类型，对输入数据进行最大或者平均降采样。此外细实线箭头代表数据流的流动方向，粗实线箭头代表神经网络的两个分支。流程图如图2所示，计算机配置采用Intel(R)Core(TM)i7-6700K处理器，主频4.0GHz，内存32GB，显卡是NVIDIA Tesla C2075，显存为6GB。该筏式养殖遥感图像场景标注方法包括如下步骤：

步骤一：计算机读取数据。使用计算机在Caffe框架下读取筏式养殖多光谱遥感图像，其分辨率为16米，并提取其中的1、2、3通道合成假彩色遥感图像。将这些假彩色遥感图像分为两部分，一部分是带标签的训练数据，需要预先对这些训练数据进行标注，另一部分是测试数据，用于验证神经网络的性能。由于计算机显存资源有限，因此预先将假彩色遥感图像切割成100*100的小图像，待处理后再拼接起来。

步骤二：构造网络。在Caffe框架下逐层搭建多尺度纯卷积神经网络，如表1所示，该神经网络的深度是17层，即从conv1到conv3经过a分支最后到conv7的层数。该网络的卷积层除最后一层外均采用3*3的卷积核，所包含的神经元数目随深度增加。a、b两分支的输入是conv3层的输出，而二者的输出则拼接为1024维特征图传递给conv7层。conv7层采用1*1的卷积核，将上述1024维特征图转化为3张输出结果图，分别代表原始图像属于陆地、海洋、浮筏的概率。

具体的，卷积层的计算公式如下：

和代表当前层第j个神经元的输出特征图和偏置，表示当前层输入(上一层输出)的第i个特征图，表示当前层第j个神经元对输入第i个特征图进行卷积时的卷积核。函数f为非线性激活函数，为神经网络引入非线性，使神经网络可以解决非线性问题，本发明采用的是ReLU激活函数。

降采样层的计算公式如下：

输出的尺寸小于等于输入的大小，down代表降采样，方式有最大值和均值降采样两种，具体的方法是用一个滑动窗口按照设置的步长遍历输入图像，输出的值是每个窗口内所有数据的最大值或者均值。

表1

步骤三：训练网络。如步骤二中构造的网络，利用带标签的训练数据对网络进行训练。具体的方法是：1、按照高斯分布对神经网络的权重进行初始化；2、将训练数据输入的神经网络中并得到结果；3、计算输出结果和标签图像的误差；4、利用误差反向传播算法调整网络的权重和偏置，并返回第2步。当网络的误差降到较小的范围时，则认为网络已经被调优，并记录此时的网络参数。

步骤四：图像标注。利用步骤三中训练好的网络对测试数据进行标注。具体的方法是：1、载入步骤三中调优的网络参数；2、将测试数据(如5000x5000像素)切割为100*100的小图像输入神经网络中，得到标注结果；3、将第2步中得到的2500张小图像进行拼接，即可获得完整的标注结果。

实验结果：本发明使用了1张遥感图像作为训练数据，4张遥感图像和1张仿真图像作为测试，标注结果为三类，分别代表陆地、海洋、浮筏。对于遥感图像，则定性评价算法性能，对于仿真图像，采用混淆矩阵来定量评价算法的性能。如图3、4，在遥感图像上，本发明标注结果与实际情况大致相符；如图5、6，在仿真图像上，本发明能够精确标注，如表2，对于浮筏的标注准确率达到97.28％。

表2

从实验结果来看，本发明很好地解决了筏式养殖遥感图像场景标注问题，自动化程度和标注精度均较高，能够大幅度降低人工成本，具有广阔的应用前景和价值。

Claims (1)

1.一种深度学习的筏式养殖遥感图像场景标注方法，特征在于：该方法的具体步骤如下：

步骤一：计算机读取数据；

首先使用计算机读取遥感图像数据，数据来自于卫星多光谱相机采集到的包含筏式养殖区域的多光谱遥感图像，并提取合成假彩色遥感图像；将这些假彩色遥感图像分为两部分，一部分是带标签的训练数据，另一部分是测试数据；预先将假彩色遥感图像切割成100*100的小图像，待处理后再拼接起来；

步骤二：构造多尺度纯卷积神经网络；

网络分为2个分支，a分支不包含任何降采样层，被称为纯卷积网络，b分支则是包含了数个降采样层；将2个分支融合形成互补；此外每个卷积层都采用ReLU函数作为激活函数，使得网络可以解决非线性问题；

所述纯卷积神经网络包括多个卷积层，并且卷积层的计算公式如下：

其中，和代表当前层第j个神经元的输出特征图和偏置，表示当前层输入的第i个特征图，表示当前层第j个神经元对输入第i个特征图进行卷积时的卷积核；函数f为非线性激活函数；

降采样层的计算公式如下：

其中，输出的尺寸小于等于输入的大小，down代表降采样；

步骤三：训练多尺度纯卷积神经网络；

如步骤二构造好网络后，在Caffe深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络达到最优，并记录此时的网络参数；

步骤四：假彩色遥感图像标注；

利用步骤三训练好的网络对测试数据进行标注；由于输入的是被切割的100*100的小图像，因此标注之后，还需要进行拼接，即可获得标注结果。