CN111986099B - 基于融合残差修正的卷积神经网络的耕地监测方法及系统 - Google Patents
基于融合残差修正的卷积神经网络的耕地监测方法及系统 Download PDFInfo
- Publication number
- CN111986099B CN111986099B CN202010620615.XA CN202010620615A CN111986099B CN 111986099 B CN111986099 B CN 111986099B CN 202010620615 A CN202010620615 A CN 202010620615A CN 111986099 B CN111986099 B CN 111986099B
- Authority
- CN
- China
- Prior art keywords
- farmland
- convolution
- image
- neural network
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 title claims description 24
- 238000003971 tillage Methods 0.000 title description 2
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000000877 morphologic effect Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000000654 additive Substances 0.000 claims description 4
- 230000000996 additive effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 23
- 230000011218 segmentation Effects 0.000 description 7
- 238000007792 addition Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
一种基于融合残差修正的卷积神经网络的耕地监测方法及系统，包括采集相同区域内不同时相高分辨率遥感影像，进行配准预处理，然后进行影像裁剪；提取相应的耕地区域矢量标注真值，得到影像区域内的耕地样本和背景样本；构建融合残差修正的卷积神经网络，包括基于Unet网络加入空洞卷积操作，扩大感受野提取全局特征，然后融合残差修正模型对耕地提取结果进行修正，取残差修正后的结果作为耕地提取结果；对融合残差修正的卷积神经网络进行训练；针对待提取的高分辨率遥感影像，通过训练结果进行耕地提取；包括根据相同区域不同时相的遥感影像中耕地提取结果，对耕地提取结果相应栅格图像进行差值运算和形态学滤波后处理，得到耕地区域变化检测结果。
Description
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于融合残差修正的卷积神经网 络的耕地监测方案。
背景技术
耕地是指用于种植农作物和耕种的土地，是人们赖以生存的资源，而基本农田是根 据国家、人口和农产品生产的需求，规划的不可占用的耕地。
遥感影像可以用来检测地表类型和状况的变化，即利用遥感影像进行变化检测。使 用两个或两个以上的时间获取的多时相高分辨率图像对耕地保护区的基本农田进行变化检测，是实施永久基本农田保护政策的有效途径。然而，目前各级单位中利用遥感影 像进行变化检测大多还是基于人工目视解译。目视解译在传统的耕地变化检测中，凭借 从业人员的丰富经验，可以取得符合生产需求的结果，但是效率较低，对工作人员的能 力和经验要求较高，这存在一定的局限性。
近年来人工智能和遥感大数据的发展，使得基于深度学习的遥感影像变化检测迅速 发展起来，利用深度学习方法从高分辨率图像提取地物，再进行变化检测也成为变化检测的常用解决方法。基于该方法可以提高检测效率，快速、客观、准确地对耕地资源进 行变化检测。目前在遥感影像语义分割、目标检测等任务中取得较好效果的卷积神经网 络主要包括AlexNet，VGGNet，ZFNet，GoogleNet，ResNet等。相比于传统的人工设 计特征的方法，卷积神经网络在具有强大的特征表征能力同时可以自动提取输入图像的 特征。由于卷积神经网络在自然图像领域展现出强大的优势，越来越多的研究者尝试将 卷积神经网络应用于遥感影像领域，并在遥感影像地物分割以及地物识别等方面取得了 一定的进展。
在遥感影像的像素级地物分类领域，全卷积神经网络(Fully ConvolutionalNeural Network，FCN)的提出，推进了其自动化进程。FCN目前是像素级语义分割的主流框架，在FCN的基础上，又有诸如UNet，SegNet，DeconvNet，Deeplab系列等图像语义 分割方法，为遥感影像的分类分割问题带来解决方案。但是，目前主流的图像语义分割 方法针对基于高分辨率遥感影像的耕地提取任务存在一定的误差，包括耕地边缘不完整 及椒盐噪声较多等问题。
因此，本发明基于遥感影像语义分割模型U-Net，引入空洞卷积和残差修正模型，针对高分辨率遥感影像进行耕地提取，并结合多时相影像进行耕地保护区变化检测。
发明内容
针对现有耕地保护区检测存在的不足，本发明的目的是提供一种基于融合残差修正 的卷积神经网络进行耕地提取，再利用不同时相的影像中耕地提取结果对比的耕地监测 方案。
本发明技术方案提供一种基于融合残差修正的卷积神经网络的耕地监测方法，包括 以下步骤：
步骤1，数据预处理，包括采集相同区域内不同时相高分辨率遥感影像，进行配准预处理，然后，进行影像裁剪得到大小一致的图像块；
步骤2，构建样本库，包括基于步骤a采集到的影像，提取相应的耕地区域矢量标注真值，得到影像区域内的耕地样本和背景样本，构成含有标注信息的耕地样本库；
步骤3，构建融合残差修正的卷积神经网络，包括基于Unet网络的基础上，加入空洞卷积操作，在避免输入图像信息丢失的前提下，扩大感受野提取全局特征，然后融合 残差修正模型对耕地提取结果进行修正，取残差修正后的结果作为耕地提取结果；
步骤4，训练耕地提取网络，包括基于步骤2所得含有标注信息的耕地样本库，对步骤3所得融合残差修正的卷积神经网络进行训练；
步骤5，耕地提取，包括针对待提取的高分辨率遥感影像，按照步骤1方式预处理后，分块通过步骤4训练所得网络进行耕地提取，然后将图像块拼接还原；
步骤6，变化检测，包括根据步骤5得到的相同区域不同时相的遥感影像中耕地提取结果，对耕地提取结果相应栅格图像进行差值运算和形态学滤波后处理，得到耕地区 域变化检测结果。
而且，步骤1中，影像裁剪时以256×256像素大小的滑动窗口，得到图像块。
而且，步骤3中，融合残差修正的卷积神经网络包括预测模型和残差修正模型，预测模型采用encoder-decoder结构，预测模型的编码器部分和解码器部分之间设置桥连接部分，预测模型所得预测概率图输入到残差修正模型，将输入图像与残差修正模型得到 的特征图以相加的方式进行融合后输入到Sigmoid函数中，得到最终的概率结果图；桥 连接部分和残差修正模型分别采用空洞率依次增大的空洞卷积串联的结构。
而且，编码器部分选用Unet网络中的前3个block，在预测模型的桥连接部分采用空洞率依次增大的空洞卷积串联的结构，结构中卷积核的尺寸为3x3，卷积核的数量都 为512，空洞率依次设置为1、2、4、8、16、32，将不同的空洞卷积输出的不同尺度特 征图以相加方式进行融合，空洞卷积获取的特征以上采样的方式与解码器连接；解码器 部分也是3个block，每个block由尺寸为2x2，步长为2的反卷积层和两层卷积层组成； 在解码器之后使用了一层尺寸为1x1，卷积核数量为1的卷积将特征图的通道数转化为 1，接着使用Sigmoid激活函数最终得到预测模型的预测概率图，并将预测概率图输入 到残差修正模型；
残差修正模型的结构和预测模型中的桥连接部分的结构类似，使用空洞卷积率依次 为1、2、4、8、16、32的尺寸为3x3的空洞卷积提取特征并以相加的方式将不同尺度 的特征图进行融合，每个卷积后使用了Batch Bormalization和PReLu激活函数，卷积的 卷积核的数量都为64，接着使用1个尺寸为3x3、步长为1的卷积操作，将特征图的通 道数转换为1；将来自解码器的输入图像与这一阶段得到的特征图以相加的方式进行融 合后输入到Sigmoid函数中得到最终的概率结果图。
而且，步骤4中，针对到耕地与背景的像素总数差异大，存在数据不平衡的问题，训练网络的损失函数采用Dice loss，使得训练过程中不断增大预测结果和真实结果的交并比，以提高耕地提取的准确度。
而且，步骤6中，首先将两季度影像耕地提取结果做差值运算，再采用形态学滤波去除过于细碎的区域，减少伪变化的产生。
本发明提供一种基于融合残差修正的卷积神经网络的耕地监测系统，用于执行上所 述的基于融合残差修正的卷积神经网络的耕地监测方法。
本发明和现有技术相比的优点和技术效果是：
(1)引入空洞卷积，在扩大感受野考虑更多全局特征的同时，避免使用过多池化层丢失图像信息。
(2)使用残差修正网络，进一步学习初提取网络模型的结果与标签之间的残差对预测模型的结果进行修正，使耕地提取结果更加准确。
(3)使用DiceLoss作为网络损失函数，可以在训练过程中增大预测结果和真实结果的交并比，解决数据不平衡的问题，提高耕地提取的准确度。
(4)针对不同时相的耕地提取结果进行变化检测，并采用形态学滤波剔除伪变化区域，简化了现有耕地变化检测的流程，提高了效率。
综上所述，相比于现有方法，本发明的优势在于：传统的人工勾画耕地保护区域变化图斑耗时耗力，效率较低，而传统机器学习方法进行耕地提取的精度不高，无法达到 作业要求。基于深度学习的方法进行耕地保护区变化检测可充分利用遥感图像的高维特 征，进行准确的耕地保护区提取，并通过栅格图像差值运算和形态学滤波准确快速地得 到耕地保护区的变化区域。
附图说明
图1为本发明实施例中基于融合残差修正的卷积神经网络的耕地提取网络结构图。
图2为本发明实施例耕地范围监测流程图。
图3为图1的左边局部放大图。
图4为图1的右边局部放大图。
具体实施方式
为了更好地理解本发明的技术方案。下面结合附图和实施例对本发明做进一步说明。
本发明的实施例所使用的环境：服务器的CPU为Intel Core i7-4710MQ，GPU为NVIDIA GTX1060，操作系统为Windows 10，编译环境为PyTorch 1.1.0，Python 3.5，CUDA9.2以及CUDNN7.1。
本发明的实施例是一种基于融合残差修正的卷积神经网络的耕地监测方法，具体流 程参照图2，本发明实施例的具体步骤如下：
步骤1，数据预处理：采集相同区域内不同时相高分辨率遥感影像，进行配准，裁剪和拼接等预处理操作。然后，将各景高分数据裁剪成相同大小的图像块。
首先采集空间分辨率为两米的高分辨率遥感影像。本发明实施例首先根据经纬坐标 选择覆盖耕地保护区的原始高分辨率图像。并通过现有的影像匹配和影像裁剪技术，获取不同时相的分辨率相同的已配准的遥感图像。
然后，以256×256像素大小的滑动窗口，并将横轴和纵轴方向的步长都设置为64进行影像裁剪，得到相同像素大小的图像块。
步骤2，构建样本库：基于步骤a采集到的影像，采用结合人工标注的矢量真值数据方式，得到影像区域内的耕地样本和背景样本，得到含有标注信息的耕地样本库。
样本库的构建基于高分辨率遥感影像和耕地矢量数据。首先将步骤1得到的遥感影 像作为样本数据原始影像，提取相应的耕地区域矢量标注真值，耕地和非耕地数据赋值分别为1和0。将耕地矢量数据输出为栅格数据，按栅格数据中RGB的数值转为对应 的网络可识别的Label数据，和原始影像共同为深度模型训练做准备。
步骤3，构建融合残差修正的卷积神经网络：构建融合残差修正的卷积神经网络，包括在基于Unet经典网络的基础上，加入空洞卷积操作，在避免输入图像信息丢失的 前提下，扩大感受野提取全局特征，然后融合残差修正模型对耕地提取结果进行修正， 取残差修正后的结果作为耕地提取结果。
实施例所用基于深度学习耕地提取网络如附图1、3、4所示。采用对称的 encoder-decoder(编码-解码)结构。融合残差修正的卷积神经网络包括预测模型和残差 修正模型，预测模型采用encoder-decoder结构，编码器部分和解码器部分之间设置桥连 接部分，预测模型的预测概率图输入到残差修正模型，将输入图像与残差修正模型得到 的特征图以相加的方式进行融合后输入到Sigmoid函数中，得到最终的概率结果图。
实施例中，输入部分为RGBNir(红、绿、蓝、近红外)四波段，大小为256x256 的遥感影像。编码器使用的是UNet的编码器的前三个卷积块block，每个block为两层 卷积(向右的黑色箭头，包括Conv3×3，Batch Normalization批量归一化和Relu激活 函数操作)和一层窗口大小为2x2、步长为2的最大池化层maxpool(向下的空心箭头， 即Maxpool2x2)，在卷积操作后都使用了批标准化处理Batch Normalization，对网络层 的每一层的特征都做归一化，网络中采用随机纠正线性单元PReLu激活函数，3个block 使用的卷积核尺寸都为3x3，数量依次为64、128、256。从编码器结构直接向右指向解 码器部分的箭头表示将左边的特征图“复制(Copy and concatenation)”到右边的特征图， 对其方式为通道。
为了进一步增大感受野以提取更加全局的信息，同时又要尽可能的不损失影像的信 息，在预测模型的桥连接部分采用了空洞率依次增大的空洞卷积串联的结构，在编码器第三个block后进行Maxpool池化操作后连接一个空洞卷积网络，该结构中卷积核的尺 寸为3x3，卷积核的数量都为512，空洞率依次设置为1、2、4、8、16、32，每个卷积 操作后都使用了Batch Normalization和PReLu激活函数。为了获取更加丰富的信息，将 不同的空洞卷积输出的不同尺度特征图以相加方式进行融合。空洞卷积获取的特征以上 采样的方式与解码器连接。
解码器部分与编码器部分相对应，总共有3个block，每个block由尺寸为2x2，步长为2的反卷积层和两层卷积层组成，反卷积的作用是将前一个阶段得到的特征图进行 2倍上采样(向上的黑色箭头，即“Up-conv 2x2”)，然后将上采样得到的特征图与编码 器对应的特征图以串联的方式进行融合，接着使用两个卷积层提取特征，每层卷积后面 都使用了Batch Normalization和PReLu激活函数。在解码器之后使用了一层尺寸为1x1， 卷积核数量为1的卷积将特征图的通道数转化为1，接着使用Sigmoid激活函数(向右 空心箭头，即Conv 1x1,sigmoid)最终得到预测模型的预测概率图，并将预测概率图输 入到残差修正模型。
残差修正模型的结构和预测模型中的桥连接部分的结构类似，使用空洞卷积率依次 为1、2、4、8、16、32的尺寸为3x3的空洞卷积提取特征并以相加的方式将不同尺度 的特征图进行融合，每个卷积后使用了Batch Bormalization和PReLu激活函数，卷积的 卷积核的数量都为64。接着使用1个尺寸为3x3、步长为1的卷积操作，将特征图的通 道数转换为1。输入图像为解码器输出的图像，包含了预测模型的初步结果信息，将输 入图像与这一阶段得到的特征图以相加的方式进行融合后输入到Sigmoid函数中得到最 终的概率结果图。
设定耕地和非耕地的类别为δ＝{0，1}，输入的遥感影像和对应的标签值GroundTruth 共有N个，表示为集合形式{(Xi,Gi)|Xi∈δH*W*4,Gi∈δH*W,i＝1,..N}，其中Xi表示 输入的四通道高分辨率遥感影像，Gi表示对应的标签值GroundTruth，H和W分别表示 图像的高和宽，N为输入的四通道高分辨率遥感影像的总数。
其中选用的激活函数为PReLU(Parametric Rectified Linear Unit)，即为带参数的Relu。 其中负值部分的斜率是根据数据来定的，而非预先定义的。
其中，ai是可更新的参数，xi为输入值。
步骤4，训练耕地提取模型：设置合适的超参数，将数据集分为训练集、测试集和验证集，对步骤3所得网络进行训练。
基于步骤1、2构建的样本库和步骤3构建的深度学习耕地提取模型，将样本库数据集按照7：2：1的比例随机分为训练集、测试集、验证集，进行网络的训练。训练网 络时为了得到一个鲁棒性高的网络模型，设置合适的批大小(batch-size)、学习率 (learningrate)等关键超参数。在硬件允许的情况下，一般尽量设置较大的batch-size。
训练网络使用的损失函数为Dice系数Dice loss，计算见(3)。
ldice＝1-Dice (3)
上式中的ldice为Dice loss的值。Dice为Dice Coefficient损失函数。DiceCoefficient 函数是用于评估两个样本的相似性的统计量，本质上是衡量两个样本的重叠部分。
Dice Coefficient计算见式(4)，数据不平衡中训练网络时最大化DiceCoefficient有利 于解决数据平衡的问题。训练网络时最小化Dice loss实质上与最大化Dice Coefficient 的目标是一致的。
上式中的Dice为Dice Coefficient，pi为图像第i个像素的预测概率值，gi为图像第i 个像素的真实值，N为图像的像素总数。
通常在二分类任务和两个类别的图像分割任务，二分类交叉熵损失(BCE loss)是最常 用的损失函数，计算见式(5)。
上式中lbce为BCE loss的值，pi为图像第i个像素的预测概率值，gi为图像第i个像素的真实值，N为图像的像素总数。
在高分辨率影像的耕地提取任务中，由于耕地与背景的像素总数差异往往较大，存 在数据不平衡的问题。使用Dice loss的实质是使得训练过程中不断增大预测结果和真实 结果的交并比，从而更好的解决了数据不平衡的问题，提高耕地提取的准确度.
步骤5，耕地提取：针对待提取的高分辨率遥感影像，按照步骤1方式预处理后， 分块通过步骤4的训练结果进行耕地提取。
首先，将待预测的高分辨率遥感影像按照步骤1方式进行预处理，通过滑动窗口得到256×256像素大小的图像块。
然后，将每个图像块输入步骤4训练的网络模型，输出耕地提取结果。最后，将图像块拼接还原影像大小。
步骤6，不同时相耕地保护区提取差值运算得到变化区域：根据步骤5得到的相同区域不同时相的遥感影像中耕地提取结果，对耕地提取结果相应栅格图像进行差值运算和形态学滤波后处理，得到耕地区域变化检测结果。
该方法针对上一步骤利用深度学习对耕地的分类结果进行类别标签的比较。如果影 像中发生了变化，那么类别标签也会发生相应的变化。可以利用对影像变化与否进行检测。
Dxij＝|xij(t1)-xij(t2)| (6)
其中，Dxij是两时相遥感影像(i，j)像素点的分类差值，xij(t1)是t1时相影像在(i，j)像素点的耕地提取结果，xij(t2)是t2时相影像在(i，j)像素点的耕地提取结 果.
首先将两季度影像耕地提取结果相应栅格图像做差值运算，再采用形态学滤波去除 过于细碎的区域，减少伪变化的产生。
采用的形态学滤波包括开运算和闭运算。其中，开运算为先腐蚀操作再膨胀操作，用来消除孤立的小图斑，减少椒盐噪声造成的伪变化。闭运算为先膨胀再腐蚀，用来填 充变化区域内的孔洞。
1.膨胀(dilation)。找到像素值为1的点，将它的邻近像素点都设置成这个值。一般用来扩充边缘或填充小的孔洞。
2.腐蚀(erosion)，和膨胀相反的操作。可用来提取骨干信息，去掉噪点，去掉孤立的像素。
具体实施时，该方法可采用计算机软件技术实现自动运行流程，实施方法流程的相 应系统装置也在本发明的保护范围内。
应用本专利，进行耕地保护区变化检测可充分利用遥感图像的高维特征，引入空洞 卷积在不丢失图像信息的前提下扩大感受野的范围，残差修正网络可以使耕地提取效果 更准确，形态学滤波等后处理操作可以减少伪变化的干扰，最终准确快速地得到耕地保护区的变化区域。
本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领 域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于融合残差修正的卷积神经网络的耕地监测方法，其特征在于，包括以下步骤：
步骤1，数据预处理，包括采集相同区域内不同时相高分辨率遥感影像，进行配准预处理，然后，进行影像裁剪得到大小一致的图像块；
步骤2，构建样本库，包括基于步骤1采集到的影像，提取相应的耕地区域矢量标注真值，得到影像区域内的耕地样本和背景样本，构成含有标注信息的耕地样本库；
步骤3，构建融合残差修正的卷积神经网络，包括基于Unet网络的基础上，加入空洞卷积操作，在避免输入图像信息丢失的前提下，扩大感受野提取全局特征，然后融合残差修正模型对耕地提取结果进行修正，取残差修正后的结果作为耕地提取结果；
所述融合残差修正的卷积神经网络包括预测模型和残差修正模型，预测模型采用encoder-decoder结构，预测模型的编码器部分和解码器部分之间设置桥连接部分，预测模型所得预测概率图输入到残差修正模型，将输入图像与残差修正模型得到的特征图以相加的方式进行融合后输入到Sigmoid函数中，得到最终的概率结果图；桥连接部分和残差修正模型分别采用空洞率依次增大的空洞卷积串联的结构；
所述编码器部分选用Unet网络中的前3个block，在预测模型的桥连接部分采用空洞率依次增大的空洞卷积串联的结构，结构中卷积核的尺寸为3x3，卷积核的数量都为512，空洞率依次设置为1、2、4、8、16、32，将不同的空洞卷积输出的不同尺度特征图以相加方式进行融合，空洞卷积获取的特征以上采样的方式与解码器连接；解码器部分也是3个block，每个block由尺寸为2x2，步长为2的反卷积层和两层卷积层组成；在解码器之后使用了一层尺寸为1x1，卷积核数量为1的卷积将特征图的通道数转化为1，接着使用Sigmoid激活函数最终得到预测模型的预测概率图，并将预测概率图输入到残差修正模型；
残差修正模型的结构和预测模型中的桥连接部分的结构类似，使用空洞卷积率依次为1、2、4、8、16、32的尺寸为3x3的空洞卷积提取特征并以相加的方式将不同尺度的特征图进行融合，每个卷积后使用了Batch Bormalization和PReLu激活函数，卷积的卷积核的数量都为64，接着使用1个尺寸为3x3、步长为1的卷积操作，将特征图的通道数转换为1；将来自解码器的输入图像与这一阶段得到的特征图以相加的方式进行融合后输入到Sigmoid函数中得到最终的概率结果图；
步骤4，训练耕地提取网络，包括基于步骤2所得含有标注信息的耕地样本库，对步骤3所得融合残差修正的卷积神经网络进行训练；
步骤5，耕地提取，包括针对待提取的高分辨率遥感影像，按照步骤1方式预处理后，分块通过步骤4训练所得网络进行耕地提取，然后将图像块拼接还原；
步骤6，变化检测，包括根据步骤5得到的相同区域不同时相的遥感影像中耕地提取结果，对耕地提取结果相应栅格图像进行差值运算和形态学滤波后处理，得到耕地区域变化检测结果。
2.根据权利要求1所述基于融合残差修正的卷积神经网络的耕地监测方法，其特征在于：步骤1中，影像裁剪时以256×256像素大小的滑动窗口，得到图像块。
3.根据权利要求1或2所述基于融合残差修正的卷积神经网络的耕地监测方法，其特征在于：步骤4中，针对到耕地与背景的像素总数差异大，存在数据不平衡的问题，训练网络的损失函数采用Dice loss，使得训练过程中不断增大预测结果和真实结果的交并比，以提高耕地提取的准确度。
4.根据权利要求1或2所述基于融合残差修正的卷积神经网络的耕地监测方法，其特征在于：步骤6中，首先将两季度影像耕地提取结果相应栅格图像做差值运算，再采用形态学滤波去除过于细碎的区域，减少伪变化的产生。
5.一种基于融合残差修正的卷积神经网络的耕地监测系统，其特征在于：用于执行如权利要求1至4任一项所述的基于融合残差修正的卷积神经网络的耕地监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620615.XA CN111986099B (zh) | 2020-06-30 | 2020-06-30 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620615.XA CN111986099B (zh) | 2020-06-30 | 2020-06-30 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986099A CN111986099A (zh) | 2020-11-24 |
| CN111986099B true CN111986099B (zh) | 2022-05-13 |
Family
ID=73437712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620615.XA Active CN111986099B (zh) | 2020-06-30 | 2020-06-30 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986099B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686261A (zh) * | 2020-12-24 | 2021-04-20 | 广西慧云信息技术有限公司 | 一种基于改进U-Net的葡萄根系图像分割方法 |
| CN112883131B (zh) * | 2021-01-11 | 2022-08-12 | 湖北地信科技集团股份有限公司 | 一种境界线约束下的耕地地块自动化修正处理方法 |
| CN112580610A (zh) * | 2021-01-27 | 2021-03-30 | 仲恺农业工程学院 | 一种基于全卷积神经网络的香蕉枯萎病遥感快速检测方法 |
| CN112819837B (zh) * | 2021-02-26 | 2024-02-09 | 南京大学 | 一种基于多源异构遥感影像的语义分割方法 |
| CN113158770A (zh) * | 2021-03-04 | 2021-07-23 | 中国科学院空天信息创新研究院 | 一种改进的全卷积孪生神经网络的矿区变化检测方法 |
| CN113011294B (zh) * | 2021-03-08 | 2023-11-07 | 中国科学院空天信息创新研究院 | 基于遥感影像识别圆形喷灌地的方法、计算机设备和介质 |
| CN113012087B (zh) * | 2021-03-31 | 2022-11-04 | 中南大学 | 基于卷积神经网络的图像融合方法 |
| CN113435254A (zh) * | 2021-05-27 | 2021-09-24 | 云南师范大学 | 一种基于哨兵二号影像的耕地深度学习提取方法 |
| CN113421194B (zh) * | 2021-06-04 | 2022-07-15 | 贵州省地质矿产勘查开发局 | 一种根据布格重力异常图像提取隐伏断层的方法 |
| CN113392748B (zh) * | 2021-06-07 | 2023-06-30 | 中国煤炭地质总局勘查研究总院 | 一种基于卷积神经网络的遥感影像耕地信息提取方法 |
| CN113324923B (zh) * | 2021-06-07 | 2023-07-07 | 郑州大学 | 一种结合时空融合与深度学习的遥感水质反演方法 |
| CN113487546B (zh) * | 2021-06-25 | 2024-04-02 | 中南大学 | 一种特征-输出空间双对齐的变化检测方法 |
| CN113361496B (zh) * | 2021-08-09 | 2021-12-17 | 深圳市勘察研究院有限公司 | 一种基于U-Net的城市建成区统计方法 |
| CN113763396B (zh) * | 2021-09-02 | 2023-07-25 | 中国农业科学院农业信息研究所 | 一种基于深度学习的遥感图像地块提取方法及系统 |
| CN113642535B (zh) * | 2021-10-13 | 2022-01-25 | 聊城高新生物技术有限公司 | 一种生物分支检测方法、装置及电子设备 |
| CN114926740A (zh) * | 2022-06-01 | 2022-08-19 | 江西省水利科学院 | 一种基于深度学习改进的高分遥感影像耕地提取方法 |
| CN114792295B (zh) * | 2022-06-23 | 2022-11-04 | 深圳憨厚科技有限公司 | 基于智能相框的被遮挡物修正方法、装置、设备及介质 |
| CN115035422A (zh) * | 2022-08-15 | 2022-09-09 | 杭州航天星寰空间技术有限公司 | 一种面向遥感影像区域土壤种植结构的数据增广方法及分割方法 |
| CN115661655B (zh) * | 2022-11-03 | 2024-03-22 | 重庆市地理信息和遥感应用中心 | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 |
| CN116168301B (zh) * | 2023-04-25 | 2023-07-11 | 耕宇牧星(北京)空间科技有限公司 | 一种基于嵌套编码器网络的农田施肥栅格检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108028942A (zh) * | 2015-06-04 | 2018-05-11 | 清华大学 | 编码方法、解码方法及其装置 |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197583B (zh) * | 2018-01-10 | 2020-04-24 | 武汉大学 | 基于图割优化和影像结构特征的建筑物变化检测方法 |
| US11030485B2 (en) * | 2018-03-30 | 2021-06-08 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification |
| CN108985238B (zh) * | 2018-07-23 | 2021-10-22 | 武汉大学 | 联合深度学习和语义概率的不透水面提取方法及系统 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109447994B (zh) * | 2018-11-05 | 2019-12-17 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN109919206B (zh) * | 2019-02-25 | 2021-03-16 | 武汉大学 | 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 |
| CN110211137B (zh) * | 2019-06-08 | 2022-12-06 | 西安电子科技大学 | 基于残差网络和U-Net分割网络的卫星图像分割方法 |
| CN110335208B (zh) * | 2019-06-10 | 2022-06-07 | 武汉大学 | 一种基于逐步校正的高分辨率遥感影像厚云去除方法 |
| CN110427946B (zh) * | 2019-07-04 | 2021-09-03 | 天津车之家数据信息技术有限公司 | 一种文档图像二值化方法、装置和计算设备 |
| CN110781773B (zh) * | 2019-10-10 | 2021-05-18 | 湖北工业大学 | 一种基于残差神经网络的道路提取方法 |
| CN111047551B (zh) * | 2019-11-06 | 2023-10-31 | 北京科技大学 | 一种基于U-net改进算法的遥感影像变化检测方法及系统 |
| CN110992382B (zh) * | 2019-12-30 | 2022-07-15 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统 |
-
2020
- 2020-06-30 CN CN202010620615.XA patent/CN111986099B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108028942A (zh) * | 2015-06-04 | 2018-05-11 | 清华大学 | 编码方法、解码方法及其装置 |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986099A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| EP3614308B1 (en) | Joint deep learning for land cover and land use classification | |
| CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
| CN109409263B (zh) | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 | |
| US9942440B2 (en) | Image-based field boundary detection and identification | |
| CN108830870B (zh) | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 | |
| Abdollahi et al. | Improving road semantic segmentation using generative adversarial network | |
| CN111626947B (zh) | 基于生成对抗网络的地图矢量化样本增强方法及系统 | |
| CN112949549A (zh) | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 | |
| CN109858450B (zh) | 一种十米级空间分辨率遥感影像城镇提取方法及系统 | |
| CN110458201B (zh) | 一种遥感影像面向对象分类方法及分类装置 | |
| CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| Chen et al. | Mapping agricultural plastic greenhouses using Google Earth images and deep learning | |
| CN112712535A (zh) | 基于模拟困难样本的Mask-RCNN滑坡分割方法 | |
| CN113989681B (zh) | 遥感影像变化检测方法、装置、电子设备及存储介质 | |
| CN110176005B (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| Maiya et al. | Slum segmentation and change detection: A deep learning approach | |
| CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| Albert et al. | Land use classification using conditional random fields for the verification of geospatial databases | |
| CN111079807A (zh) | 一种地物分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |