CN110852225B - 基于深度卷积神经网络的遥感影像红树林提取方法及系统 - Google Patents
基于深度卷积神经网络的遥感影像红树林提取方法及系统 Download PDFInfo
- Publication number
- CN110852225B CN110852225B CN201911058700.5A CN201911058700A CN110852225B CN 110852225 B CN110852225 B CN 110852225B CN 201911058700 A CN201911058700 A CN 201911058700A CN 110852225 B CN110852225 B CN 110852225B
- Authority
- CN
- China
- Prior art keywords
- time
- remote sensing
- classification
- training
- mangrove forest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 240000002044 Rhizophora apiculata Species 0.000 title claims abstract description 89
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000011160 research Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 241000120622 Rhizophoraceae Species 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000124033 Salix Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的遥感影像红树林提取方法及系统，本发明首先对高分辨率的遥感影像进行预处理，包括遥感影像的大气校正与研究区域裁剪，对处理后的各波段进行波段运算以提取先验特征信息；应用多源数据融合实现多波段和特征信息的融合，构建数据集；训练并验证由卷积神经网络搭建的语义分类模型ME‑net；调用ME‑net模型实现红树林的自动分类，输出一个png格式的掩模文件，即为分类和提取的结果；通过长距离条件随机场对分类结果进行细调。本发明中的分类模型在应用中可通过扩展数据集使得分类精度达到92.3％，完全可以代替人工目视解译，为高精度影像地图的更新和滨海地区生态系统的保护提供辅助技术支持。
Description
技术领域
本发明涉及地理信息科学领域，更具体地说，涉及一种基于深度卷积神经网络的遥感影像红树林提取方法及系统。
背景技术
在高精度影像地图的更新及生态环境的检测与保护中，遥感影像的分类与解译工作扮演者十分重要的角色，但由于遥感解译在实践过程中的复杂性，使得解译过程中会耗费大量的人力和物力；与此同时，遥感影像的地物分类的方法虽多，但分类结果却良莠不齐。其中，以滨海地区红树林的提取为例，可以发现存在诸多难点，其中红树林与影像中的植被，森林，湿地森林特征有很大的区别和联系；同时，红树林由于与一些其树种，如柳树等在遥感影像中存在十分类似的颜色、纹理和分布规律(靠近水域)等特征；此外，红树林又可分为人工种植和自然形成两种情况，人工种植的红树林会在开始阶段呈现一定的规律性，之后在一定时间演变后，又会形成另一种近似自然分布形态特征。传统的机器学习方法如随机森林，虽广泛应用于遥感影像分类中，但操作却较为复杂，精度也不够高；遥感影像的主成分分析等图像处理方法却需要大量人工去分析，所以急需一种精确度高、操作简单且低成本的方式实现红树林的自动分类和提取。
发明内容
本发明要解决的技术问题在于，针对现有技术中高分辨率遥感影像中红树林解译费时费力且精度低的技术缺陷，提供基于深度卷积神经网络的遥感影像红树林自动提取方法。
本发明解决其技术问题，所采用的技术原理是：本发明公开了一种基于深度卷积神经网络的遥感影像红树林提取方法及系统，模型被称为ME-net，通过训练、测试并调用ME-net模型实现遥感影像中地物类型的自动识别。本发明首先对高分辨率的遥感影像进行预处理，包括遥感影像的大气校正与研究区域裁剪；其次对处理后的各波段进行波段运算以提取先验特征信息；然后应用多源数据融合实现多波段和特征信息的融合，构建数据集；再然后训练并验证由卷积神经网络搭建的分类模型ME-net；再调用ME-net模型实现红树林的自动分类，输出一个png格式的掩模文件，即为分类和提取的结果；最后通过长距离条件随机场对分类结果进行细调。本发明中只需对多波段遥感影像进行基本的图像处理和特征信息波段融合，再调用红树林分类模型即可提取研究区域中的红树林地物，模型在应用中可通过扩展数据集使得分类精度达到92.3％，完全可以代替人工目视解译，为高精度影像地图的更新和滨海地区生态系统的保护提供辅助技术支持。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是基于深度卷积神经网络的遥感影像红树林提取方法一实施例的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，图1是基于深度卷积神经网络的遥感影像红树林提取方法一实施例的流程图。本实施例的基于深度卷积神经网络的遥感影像红树林提取方法包含如下步骤：
S1、下载欧洲航天局的哨兵-2数据(S2A MSIL1C)，打开CMD控制台，通过Sen2cor中的命令L2A_Process进行大气校正，通过SNAP软件对校正后的数据进行重采样(raster->geometric operations->resampling)，得到遥感影像各波段数据。
S2、通过遥感影像处理软件ENVI 5.3绘制研究区域以裁剪出海南岛的海滨地区(其中包含大量红树林覆盖的区域)，并通过波段运算计算出水域指数MNDWI＝(Green-SWIR-1)/(Green+SWIR-1)、归一化植被覆盖指数NDVI＝(NIR-Red)/(NIR+Red)、森林指数FDI＝NIR-(Red+Green)、湿地森林指数WFI＝(NIR-Red)/SWIR-2)和红树林指数MDI2＝(NIR-SWIR-2)/SWIR-2)这5个指数信息，并与Red、Green、Blue分别表示可见光波段的红、绿、蓝三个波段，NIR表示近红外波段，SWIR-1和SWIR-2分别表示两个波长不同的短波红外波段，一起一共9个波段数据，然后将9个波段数据划分为三组，输出3个tiff文件。
S3、通过ArcGIS软件新建个人地理数据库->新建要素数据集->新建面矢量文件，加载所述3个tiff文件，并根据遥感解译的方法，例如包括目视解译和建立野外标志，矢量化出真实的红树林覆盖区域，并保存于面矢量文件mangrove.shp中，将包含真实的红树林覆盖区域的mangrove.shp文件通过ArcToolBox中的工具To Raster转成栅格文件，最终输出为png格式的灰度图mangrove.png，将灰度图mangrove.png二值化，使得红树林覆盖区域的像素值为1，非红树林覆盖区域为0，二值化后的mangrove.png文件即为制作好的遥感影像红树林覆盖区域的标签文件。
S4、调用python内opencv-python库函数中的imread函数读取所述3个tiff文件和所述标签文件，通过裁剪、旋转、镜像变化和高斯加噪等数据增强方法生成15万张图片，所有图片文件尺寸大小为512*512；每张图片对应一个标签文件和与标签文件对应的经过数据增强方法所形成的3个tiff文件，各标签文件与tiff文件的尺寸相同，标签文件(512*512*1，最后一个数字为通道数，其他地方的类似表达也与此相同)为二值灰度图，通道数为1，tiff文件(512*512*3)为三通道彩色影像，通道数为3；对tiff文件的像素值进行归一化处理(每个像素点值减数据集的均值之差除以标准差)，然后将归一化处理后所述多张图片进行划分，得到训练集、验证集和测试集。
S5、调用深度学习框架TensorFlow和Keras中的卷积层、池化层、损失函数与激活函数，从而搭建遥感影像语义的分类模型ME-net，其中分类模型ME-net在进行训练时每个样本有四个输入，分别为一个标签文件(即二值化后的mangrove.png文件，大小为512*512*1)和对应的3个tiff文件(512*512*3)；分类模型ME-net通过如下编码步骤、解码步骤和数据融合步骤实现：
编码步骤：对每个样本中的3个tiff文件做5次下采样，下采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，即512*512、256*256、128*128、64*64、32*32，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍；然后采用所述卷积层提取空间上下文语义信息和通道注意力关联信息，提高抽取图像分类信息的能力和模型的泛化能力；在每次对特征图做池化之前，先通过三个卷积层提取特征图的语义信息，即得学习到红树林抽象的分类信息。分类信息作用就是提取图像特征，用于指导低层特征图的地物的位置确定；之所以抽象，是因为对特征图进行可视化后，人不能非常直观的看出其中的特征信息，但这些信息却又可以被计算机用于分类。编码层提取的特征信息，即语义信息，就是分类信息；编码层的五次下采样得到512*512，256*256....32*32，是不断得到语义信息的过程，解码层五次上采样32*32，64*64.....512*512是还原编码层到原始图像尺寸的过程，刚好尺寸相同的特征图一一对应按通道想加，因此编码层的语义信息指导了位置确定。
解码步骤：对每个样本中3个tiff文件做5次上采样，上采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，即512*512、256*256、128*128、64*64、32*32，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍，将解码步骤得到的5种不同尺寸的特征图与编码步骤具有相同尺寸的特征图进行通道相加(通道相加的原理例如512*512*1+512*512*3＝512*512*4)，根据相加后的结果通过3*3滤波器整合特征图的空间信息，消除上采样带来的混叠效应，并聚合通道信息，以减少计算量，提高模型的运行效率，从而得到特征图位置信息；然后整合所述语义信息和所述特征图位置信息(整合的含义：比如1024*1024*9的特征图通过一个3*3*9的卷积核变成了一个1024*1024*1的特征图，发现原来的通道为9，现在为1，我们称之为整合)，还原出图像掩模，图像掩模的大小与所述样本中的大小一致，通道数为1，即每个样本对应一个图像掩模512*512*1；其中图像掩模的灰度值若为1则代表归为红树林一类，若为0则为非红树林一类。
数据融合步骤：对解码步骤中得到的5种不同尺寸的特征图进行上采样，得到与样本的尺寸一样的特征图512*512，且本次上采样不改变通道数；给512*512、128*128、32*32最小的图像掩模(即分类结果)分别添加二值交叉熵损失函数，Dice系数差异损失函数和F1损失函数，将三个损失函数进行相加后得到总的损失函数；将数据融合步骤中进行上采样得到的5个特征图进行通道相加，利用3*3滤波器对本步骤中通道相加的结果进行特征图的空间信息和通道信息的整合，输出的特征图的通道数即为图像掩模的通道数，这里通道数为1，代表红树林的二值分类图，0代表非红树林，激活函数为sigmoid，通过精度评价指标IOU衡量图像掩模与标签文件之间的差异。
S6、根据两块NVIDIA GTX 1080Ti显卡的计算性能和模型参数量，将训练中的参数batch_size设为16，学习率learning设为0.001，调用train函数利用所述训练集对分类模型ME-net进行120轮的迭代训练，并利用验证集对每一轮训练后的模型进行120轮的迭代验证，在训练集和验证集关于分类模型ME-net的精度评价指标IOU均稳定之后，保存训练完成的分类模型ME-net，最后调用test函数在测试集检测训练完成的分类模型ME-net，模型的评价指标为IOU。以训练轮数为横轴，以IOU值为纵轴对训练过程进行可视化，经过几十轮的训练之后，IOU先上升然后无线逼近某个IOU值，最后在该值附近保持小范围的波动，而接下来的几十轮训练中，IOU值不随轮数的增加而增大或减小，则视为模型已经收敛，保存模型参数，停止训练，防止过拟合。在本实施例中即红树林自动分类模型ME-net的精度评价指标IOU在训练集到0.9387，验证集达到0.9372，并不再下降之后，保存模型，最后调用test函数在测试集检测精度IOU达到0.9214，然后继续步骤S7，若训练集和验证集的IOU不稳定，则回到步骤S4重新进行数据增强获取与之前不同的图片，并修改批量和学习率参数。
S7、在遥感影像的红树林分类结果输出之后，再通过条件随机场模型CRF对训练完成的分类模型ME-net进一步做后处理：利用条件随机场中的二元势函数对任意两个像素点间的颜色和位置进行约束，使得相近颜色和相邻位置的像素点更容易拥有相同的分类，同时考虑相邻像素点之间的平滑度，对边缘进行平滑，从而对语义分割结果进行细调，使得评价指标精度IOU更佳，从而得到最终的红树林分类模型。
S8、在得到最终的红树林分类模型后，通过flask框架将最终的红树林分类模型发布为HttpRest服务，客户端通过bas64编码工具base64.b64encode()将遥感影像转成的base64格式字符<img src＝“data:image/png；base64,*”/>，并发布post请求，服务响应post请求，并通过request.get_data()获取数据，再由base64.b64decode()解码出遥感影像，调用最终的红树林分类模型和后处理算法CRF，实现自动分类，再将分类结果映射在原始tiff数据中，最后将分类结果和映射结果分别通过base64编码返回。
根据本发明的另一方面，本发明为解决其技术问题，本发明还提供了一种基于深度卷积神经网络的遥感影像红树林提取系统，包含如下模块：
数据预处理模块，用于下载欧洲航天局的哨兵-2数据，通过Sen2cor中命令进行大气校正，通过SNAP软件对校正后的数据进行重采样，得到遥感影像各波段数据；
信息提取模块，用于通过遥感影像处理软件ENVI 5.3绘制研究区域以裁剪出海南岛的海滨地区，并通过波段运算计算出水域指数、归一化植被覆盖指数、森林指数、湿地森林指数和红树林指数5个指数信息，并与红绿蓝三个可见光波段以及一个短波红外波段一起一共9个波段数据，然后将9个波段数据划分为三组，以输出3个tiff文件；
标签文件制作模块，用于通过ArcGIS软件新建面矢量文件，加载所述3个tiff文件，并根据遥感解译的方法矢量化出真实的红树林覆盖区域，最终输出为png格式的灰度图mangrove.png，将灰度图mangrove.png二值化，二值化后的mangrove.png文件即为制作好的遥感影像红树林覆盖区域的标签文件；
数据集形成模块，用于基于所述3个tiff文件和所述标签文件，通过调用python内opencv-python库函数根据数据增强方法生成多张图片；每张图片对应一个标签文件和与标签文件对应的经过数据增强方法所形成的3个tiff文件，各标签文件与tiff文件的尺寸相同，标签文件为二值灰度图，通道数为1，tiff文件为三通道彩色影像，通道数为3；对tiff文件的像素值进行归一化处理，然后将归一化处理后所述多张图片进行划分，得到训练集、验证集和测试集；
分类模型建立模块，用于调用深度学习框架TensorFlow和Keras中的卷积层、池化层、损失函数与激活函数，从而搭建遥感影像语义的分类模型ME-net，其中分类模型ME-net在进行训练时每个样本有四个输入，分别为一个标签文件和对应的3个tiff文件；分类模型ME-net通过如下编码单元、解码单元和数据融合单元实现：
编码单元：对每个样本中的3个tiff文件做5次下采样，下采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍；在每次对特征图做池化之前，先通过三个卷积层提取特征图的语义信息，即学习到红树林抽象的分类信息；
解码单元：对每个样本中3个tiff文件做5次上采样，上采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍，将解码单元得到的5种不同尺寸的特征图与编码单元具有相同尺寸的特征图按通道相加，根据相加后的结果通过滤波器整合特征图的空间信息，从而得到特征图位置信息；然后整合所述语义信息和所述特征图位置信息，还原出图像掩模，图像掩模的大小与所述样本中的大小一致，通道数为1，即每个样本对应一个图像掩模；其中图像掩模的灰度值若为1则代表归为红树林一类，若为0则为非红树林一类；
数据融合单元：对解码单元中得到的5种不同尺寸的特征图进行上采样，得到与样本的尺寸一样的特征图，且本次上采样不改变通道数；给尺寸最大、中间、最小的图像掩模分别添加一个不同的所述损失函数，再将三个损失函数进行相加后得到总的损失函数；将数据融合步骤中进行上采样得到的5个特征图进行通道相加，利用滤波器对本步骤中通道相加的结果进行特征图的空间信息和通道信息的整合，输出特征图的通道数即图像掩模的通道数，这里通道数为1，代表红树林的二值分类图，激活函数为sigmoid，通过精度评价指标IOU衡量图像掩模与标签文件之间的差异；
模型训练模块，用于设置训练批量和学习率参数，调用train函数利用所述训练集对分类模型ME-net进行迭代训练，并在分类模型ME-net的精度评价指标IOU稳定之后，保存训练完成的分类模型ME-net，最后调用test函数在测试集检测训练完成的分类模型ME-net，模型的评价指标为IOU；以训练轮数为横轴，以IOU值为纵轴对训练过程进行可视化，经过几十轮的训练之后，IOU先上升然后无线逼近某个IOU值，最后在该值附近保持小范围的波动，而接下来的几十轮训练中，IOU值不随轮数的增加而增大或减小，则视为模型已经收敛，保存模型参数，停止训练，防止过拟合，然后继续步骤S7，若训练集和验证集的IOU不稳定，则回到步骤S4重新进行数据增强获取与之前不同的图片，并修改批量和学习率参数；
模型细调模块，用于在分类结果输出之后，再通过条件随机场模型CRF对训练完成的分类模型ME-net进一步做后处理：利用条件随机场中的二元势函数对任意两个像素点间的颜色和位置进行约束，使得相近颜色和相邻位置的像素点更容易拥有相同的分类，同时考虑相邻像素点之间的平滑度，对边缘进行平滑，从而对语义分割结果进行细调，使得评价指标精度IOU更佳，从而得到最终的红树林分类模型；
模型应用模块，用于在得到最终的红树林分类模型后，通过flask框架将最终的红树林分类模型发布为HttpRest服务，客户端通过bas64编码工具base64.b64encode()将遥感影像转成的base64格式字符<img src＝“data:image/png；base64,*”/>，并发布post请求，服务响应post请求，并通过request.get_data()获取数据，再由base64.b64decode()解码出遥感影像，调用最终的红树林分类模型和后处理算法CRF，实现自动分类，再将分类结果映射在原始tiff数据中，最后将分类结果和映射结果分别通过base64编码返回。
作为本发明的优选实施方式，数据集形成模块中，每张图片所包含的标签文件和tiff文件的尺寸大小为512*512。分类模型建立模块中的解码步骤和融合步骤中的滤波器均为3*3的滤波器。分类模型建立模块的融合步骤中融合步骤分别添加一个不同的所述损失函数是指给尺寸为512*512、128*128、32*32直接上采样到512*512的图像掩模文件分别添加二值交叉熵损失函数、Dice系数差异损失函数和F1损失函数。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于深度卷积神经网络的遥感影像红树林提取方法，其特征在于，包含如下步骤：
S1、下载欧洲航天局的哨兵-2数据，通过Sen2cor中命令进行大气校正，通过SNAP软件对校正后的数据进行重采样，得到遥感影像各波段数据；
S2、通过遥感影像处理软件ENVI 5.3绘制研究区域以裁剪出海南岛的海滨地区，并通过波段运算计算出水域指数、归一化植被覆盖指数、森林指数、湿地森林指数和红树林指数5个指数信息，并与红绿蓝三个可见光波段以及一个短波红外波段一起一共9个波段数据，然后将9个波段数据划分为三组，以输出3个tiff文件；
S3、通过ArcGIS软件新建面矢量文件，加载所述3个tiff文件，并根据遥感解译的方法矢量化出真实的红树林覆盖区域，最终输出为png格式的灰度图mangrove.png，将灰度图mangrove.png二值化，二值化后的mangrove.png文件即为制作好的遥感影像红树林覆盖区域的标签文件；
S4、基于所述3个tiff文件和所述标签文件，通过调用python内opencv-python库函数根据数据增强方法生成多张图片；每张图片对应一个标签文件和与标签文件对应的经过数据增强方法所形成的3个tiff文件，各标签文件与tiff文件的尺寸相同，标签文件为二值灰度图，通道数为1，tiff文件为三通道彩色影像，通道数为3；对tiff文件的像素值进行归一化处理，然后将归一化处理后所述多张图片进行划分，得到训练集、验证集和测试集；
S5、调用深度学习框架TensorFlow和Keras中的卷积层、池化层、损失函数与激活函数，从而搭建遥感影像语义的分类模型ME-net，其中分类模型ME-net在进行训练时每个样本有四个输入，分别为一个标签文件和对应的3个tiff文件；分类模型ME-net通过如下编码步骤、解码步骤和数据融合步骤实现：
编码步骤：对每个样本中的3个tiff文件做5次下采样，下采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍；在每次对特征图做池化之前，先通过三个卷积层提取特征图的语义信息，即得到红树林抽象的分类信息；
解码步骤：对每个样本中3个tiff文件做5次上采样，上采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍，将解码步骤得到的5种不同尺寸的特征图与编码步骤具有相同尺寸的特征图按通道相加，根据相加后的结果通过滤波器整合特征图的空间信息，从而得到特征图位置信息；然后整合所述语义信息和所述特征图位置信息，还原出图像掩模，图像掩模的大小与所述样本中的大小一致，通道数为1，即每个样本对应一个图像掩模；其中图像掩模的灰度值若为1则代表归为红树林一类，若为0则为非红树林一类；
数据融合步骤：对解码步骤中得到的5种不同尺寸的特征图进行上采样，得到与样本的尺寸一样的特征图，且本次上采样不改变通道数；给尺寸最大、中间、最小的图像掩模分别添加一个不同的所述损失函数，再将三个损失函数进行相加后得到总的损失函数；将数据融合步骤中进行上采样得到的5个特征图按通道相加，利用滤波器对本步骤中通道相加的结果进行特征图的空间信息和通道信息的整合，输出特征图的通道数即图像掩模的通道数，这里通道数为1，代表红树林的二值分类图，激活函数为sigmoid，通过精度评价指标IOU衡量图像掩模与标签文件之间的差异；
S6、设置训练批量和学习率参数，调用train函数利用所述训练集对分类模型ME-net进行迭代训练，并利用验证集对每一轮训练后的模型进行验证，在训练集和验证集关于分类模型ME-net的精度评价指标IOU均稳定之后，保存训练完成的分类模型ME-net，最后调用test函数在测试集检测训练完成的分类模型ME-net，模型的评价指标为IOU；以训练轮数为横轴，以IOU值为纵轴对训练过程进行可视化，经过几十轮的训练之后，IOU先上升然后无线逼近某个IOU值，最后在该值附近保持小范围的波动，而接下来的几十轮训练中，IOU值不随轮数的增加而增大或减小，则视为模型已经收敛，保存模型参数，停止训练，防止过拟合，然后继续步骤S7，若训练集和验证集的IOU不稳定，则回到步骤S4重新进行数据增强获取与之前不同的图片，并修改批量和学习率参数；
S7、在测试集的红树林分类结果输出之后，再通过条件随机场模型CRF对训练完成的分类模型ME-net进一步做后处理：利用条件随机场中的二元势函数对任意两个像素点间的颜色和位置进行约束，使得相近颜色和相邻位置的像素点更容易拥有相同的分类，同时考虑相邻像素点之间的平滑度，对边缘进行平滑，从而对语义分割结果进行细调，使得评价指标精度IOU更佳，从而得到最终的红树林分类模型。
2.根据权利要求1所述的基于深度卷积神经网络的遥感影像红树林提取方法，其特征在于，还包含如下步骤：
S8、在得到最终的红树林分类模型后，通过flask框架将最终的红树林分类模型发布为HttpRest服务，客户端通过bas64编码工具base64.b64encode()将遥感影像转成的base64格式字符<img src＝“data:image/png；base64,*”/>，并发布post请求，服务响应post请求，并通过request.get_data()获取数据，再由base64.b64decode()解码出遥感影像，调用最终的红树林分类模型和后处理算法CRF，实现自动分类，再将分类结果映射在原始tiff数据中，最后将分类结果和映射结果分别通过base64编码返回。
3.根据权利要求1所述的基于深度卷积神经网络的遥感影像红树林提取方法，其特征在于，步骤S4中，每张图片所包含的标签文件和tiff文件的尺寸大小为512*512。
4.根据权利要求1所述的基于深度卷积神经网络的遥感影像红树林提取方法，其特征在于，步骤S5中的解码步骤和融合步骤中的滤波器均为3*3的滤波器。
5.根据权利要求3所述的基于深度卷积神经网络的遥感影像红树林提取方法，其特征在于，步骤S5的融合步骤中融合步骤分别添加一个不同的所述损失函数是指给尺寸为512*512、128*128、32*32直接上采样到512*512的图像掩模文件分别添加二值交叉熵损失函数、Dice系数差异损失函数和F1损失函数。
6.一种基于深度卷积神经网络的遥感影像红树林提取系统，其特征在于，包含如下模块：
数据预处理模块，用于下载欧洲航天局的哨兵-2数据，通过Sen2cor中命令进行大气校正，通过SNAP软件对校正后的数据进行重采样，得到遥感影像各波段数据；
信息提取模块，用于通过遥感影像处理软件ENVI 5.3绘制研究区域以裁剪出海南岛的海滨地区，并通过波段运算计算出水域指数、归一化植被覆盖指数、森林指数、湿地森林指数和红树林指数5个指数信息，并与红绿蓝三个可见光波段以及一个短波红外波段一起一共9个波段数据，然后将9个波段数据划分为三组，以输出3个tiff文件；
标签文件制作模块，用于通过ArcGIS软件新建面矢量文件，加载所述3个tiff文件，并根据遥感解译的方法矢量化出真实的红树林覆盖区域，最终输出为png格式的灰度图mangrove.png，将灰度图mangrove.png二值化，二值化后的mangrove.png文件即为制作好的遥感影像红树林覆盖区域的标签文件；
数据集形成模块，用于基于所述3个tiff文件和所述标签文件，通过调用python内opencv-python库函数根据数据增强方法生成多张图片；每张图片具有一个标签文件和与标签文件对应的经过数据增强方法所形成的3个tiff文件，各标签文件与tiff文件的尺寸相同，标签文件为二值灰度图，通道数为1，tiff文件为三通道彩色影像，通道数为3；对tiff文件的像素值进行归一化处理，然后将归一化处理后所述多张图片进行划分，得到训练集、验证集和测试集；
分类模型建立模块，用于调用深度学习框架TensorFlow和Keras中的卷积层、池化层、损失函数与激活函数，从而搭建遥感影像语义的分类模型ME-net，其中分类模型ME-net在进行训练时每个样本有四个输入，分别为一个标签文件和对应的3个tiff文件；分类模型ME-net通过如下编码单元、解码单元和数据融合单元实现：
编码单元：对每个样本中的3个tiff文件做5次下采样，下采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍；在每次对特征图做池化之前，先通过三个卷积层提取特征图的语义信息，即学习到红树林抽象的分类信息；
解码单元：对每个样本中3个tiff文件做5次上采样，上采样采用所述池化层进行最大池化，分别输出5种不同尺寸的特征图，5种尺寸分别为原尺寸的1倍、1/2倍、1/4倍、1/8倍以及1/16倍，对应的通道数依次为原尺寸的1倍、2倍、4倍、8倍以及16倍，将解码单元得到的5种不同尺寸的特征图与编码单元具有相同尺寸的特征图按通道相加，根据相加后的结果通过滤波器整合特征图的空间信息，从而得到特征图位置信息；然后整合所述语义信息和所述特征图位置信息，还原出图像掩模，图像掩模的大小与所述样本中的大小一致，通道数为1，即每个样本对应一个图像掩模；其中图像掩模的灰度值若为1则代表归为红树林一类，若为0则为非红树林一类；
数据融合单元：对解码单元中得到的5种不同尺寸的特征图进行上采样，得到与样本的尺寸一样的特征图，且本次上采样不改变通道数；给尺寸最大、中间、最小的图像掩模分别添加一个不同的所述损失函数，再将三个损失函数进行相加后得到总的损失函数；将数据融合步骤中进行上采样得到的5个特征图进行通道相加，利用滤波器对本步骤中通道相加的结果进行特征图的空间信息和通道信息的整合，输出的特征图的通道数即图像掩模的通道，这里通道数为1，代表红树林的二值分类图激活函数为sigmoid，通过精度评价指标IOU衡量图像掩模与标签文件之间的差异；
模型训练模块，用于设置训练批量和学习率参数，调用train函数利用所述训练集对分类模型ME-net进行迭代训练，并利用验证集对每一轮训练后的模型进行验证，在训练集和验证集关于分类模型ME-net的精度评价指标IOU均稳定之后，保存训练完成的分类模型ME-net，最后调用test函数在测试集检测训练完成的分类模型ME-net，模型的评价指标为IOU；以训练轮数为横轴，以IOU值为纵轴对训练过程进行可视化，经过几十轮的训练之后，IOU先上升然后无线逼近某个IOU值，最后在该值附近保持小范围的波动，而接下来的几十轮训练中，IOU值不随轮数的增加而增大或减小，则视为模型已经收敛，保存模型参数，停止训练，防止过拟合，然后继续步骤S7，若训练集和验证集的IOU不稳定，则回到步骤S4重新进行数据增强获取与之前不同的图片，并修改批量和学习率参数；
模型细调模块，用于在测试集的红树林分类结果输出之后，再通过条件随机场模型CRF对训练完成的分类模型ME-net进一步做后处理：利用条件随机场中的二元势函数对任意两个像素点间的颜色和位置进行约束，使得相近颜色和相邻位置的像素点更容易拥有相同的分类，同时考虑相邻像素点之间的平滑度，对边缘进行平滑，从而对语义分割结果进行细调，使得评价指标IOU更佳，从而得到最终的红树林分类模型。
7.根据权利要求6所述的基于深度卷积神经网络的遥感影像红树林提取系统，其特征在于，还包含如下模块：
模型应用模块，用于在得到最终的红树林分类模型后，通过flask框架将最终的红树林分类模型发布为HttpRest服务，客户端通过bas64编码工具base64.b64encode()将遥感影像转成的base64格式字符<img src＝“data:image/png；base64,*”/>，并发布post请求，服务响应post请求，并通过request.get_data()获取数据，再由base64.b64decode()解码出遥感影像，调用最终的红树林分类模型和后处理算法CRF，实现自动分类，再将分类结果映射在原始tiff数据中，最后将分类结果和映射结果分别通过base64编码返回。
8.根据权利要求6所述的基于深度卷积神经网络的遥感影像红树林提取系统，其特征在于，数据集形成模块中，每张图片所包含的标签文件和tiff文件的尺寸大小为512*512。
9.根据权利要求6所述的基于深度卷积神经网络的遥感影像红树林提取系统，其特征在于，分类模型建立模块中的解码步骤和融合步骤中的滤波器均为3*3的滤波器。
10.根据权利要求8所述的基于深度卷积神经网络的遥感影像红树林提取系统，其特征在于，分类模型建立模块的融合步骤中融合步骤分别添加一个不同的所述损失函数是指给尺寸为512*512、128*128、32*32直接上采样到512X 512的图像掩模文件分别添加二值交叉熵损失函数、Dice系数差异损失函数和F1损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058700.5A CN110852225B (zh) | 2019-10-31 | 2019-10-31 | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058700.5A CN110852225B (zh) | 2019-10-31 | 2019-10-31 | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852225A CN110852225A (zh) | 2020-02-28 |
| CN110852225B true CN110852225B (zh) | 2022-05-06 |
Family
ID=69598500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911058700.5A Active CN110852225B (zh) | 2019-10-31 | 2019-10-31 | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852225B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428678B (zh) * | 2020-04-02 | 2023-06-23 | 山东卓智软件股份有限公司 | 一种空间约束条件下生成对抗网络遥感影像样本扩充方法 |
| CN113515969B (zh) * | 2020-04-09 | 2023-04-07 | 广西壮族自治区自然资源信息中心 | 基于卷积神经网络的多时态遥感影像地表覆盖分类方法 |
| CN111476170A (zh) * | 2020-04-09 | 2020-07-31 | 首都师范大学 | 一种结合深度学习和随机森林的遥感影像语义分割方法 |
| CN111461992A (zh) * | 2020-04-27 | 2020-07-28 | 廖廓 | 基于深度学习的超高分辨率遥感影像茶叶分布自动提取方法及装置 |
| CN111523516B (zh) * | 2020-05-14 | 2024-02-02 | 宁波工程学院 | 一种森林有害木识别方法 |
| CN111767801B (zh) * | 2020-06-03 | 2023-06-16 | 中国地质大学（武汉） | 一种基于深度学习的遥感影像水域自动提取方法及系统 |
| CN111814607B (zh) * | 2020-06-24 | 2023-12-29 | 中国地质大学（武汉） | 一种适用于小样本高光谱影像分类的深度学习模型 |
| CN111861134A (zh) * | 2020-06-24 | 2020-10-30 | 重庆市生态环境科学研究院 | 一种基于机器学习的生态保护红线测定方法 |
| CN111860246B (zh) * | 2020-07-08 | 2024-09-06 | 南通大学 | 面向深度卷积神经网络的心音信号分类的数据扩充方法 |
| CN112766155A (zh) * | 2021-01-19 | 2021-05-07 | 山东华宇航天空间技术有限公司 | 一种基于深度学习的海水养殖区提取方法 |
| CN112861807B (zh) * | 2021-03-18 | 2022-12-09 | 国家海洋信息中心 | 一种基于改进gli指数和深度学习的极地植被提取方法 |
| CN113225372A (zh) * | 2021-03-22 | 2021-08-06 | 中国科学院新疆生态与地理研究所 | 草地生态健康监测系统 |
| CN113033474A (zh) * | 2021-04-14 | 2021-06-25 | 海南大学 | 基于融合算法及模型的红树林资源遥感解译方法 |
| CN113468951A (zh) * | 2021-05-20 | 2021-10-01 | 华东师范大学 | 一种基于Landsat卫星遥感检测红树林地貌的方法 |
| CN114898097B (zh) * | 2022-06-01 | 2024-05-10 | 首都师范大学 | 图像识别方法及系统 |
| CN116188805B (zh) * | 2023-04-26 | 2023-08-04 | 青岛尘元科技信息有限公司 | 海量图像的图像内容分析方法、装置和图像信息网络 |
| CN116503597B (zh) * | 2023-04-26 | 2024-08-13 | 杭州芸起科技有限公司 | 一种跨域裸地语义分割网络构建方法、装置及存储介质 |
| CN117011555B (zh) * | 2023-10-07 | 2023-12-01 | 广东海洋大学 | 一种基于遥感图像识别的红树林生态检测方法 |
| CN117392539B (zh) * | 2023-10-13 | 2024-04-09 | 哈尔滨师范大学 | 一种基于深度学习的河流水体识别方法、电子设备及存储介质 |
| CN117423021B (zh) * | 2023-12-19 | 2024-02-23 | 广东海洋大学 | 一种无人机红树林受损影像识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学（武汉） | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
| CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| CN110287869A (zh) * | 2019-06-25 | 2019-09-27 | 吉林大学 | 基于深度学习的高分辨率遥感影像农作物分类方法 |
-
2019
- 2019-10-31 CN CN201911058700.5A patent/CN110852225B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学（武汉） | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
| CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| CN110287869A (zh) * | 2019-06-25 | 2019-09-27 | 吉林大学 | 基于深度学习的高分辨率遥感影像农作物分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于深度学习U-Net模型的高分辨率遥感影像分类方法研究";许慧敏;《豆丁网》;20180804;全文 * |
| 结合全卷积神经网络与条件随机场的资源3号遥感影像云检测;裴亮等;《激光与光电子学进展》;20181203(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852225A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852225B (zh) | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 | |
| CN111767801B (zh) | 一种基于深度学习的遥感影像水域自动提取方法及系统 | |
| CN108154192B (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
| CN109146889B (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
| CN111476170A (zh) | 一种结合深度学习和随机森林的遥感影像语义分割方法 | |
| CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| CN113239736B (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法 | |
| Sameen et al. | A refined classification approach by integrating Landsat Operational Land Imager (OLI) and RADARSAT-2 imagery for land-use and land-cover mapping in a tropical area | |
| Zulfiqar et al. | AI-ForestWatch: semantic segmentation based end-to-end framework for forest estimation and change detection using multi-spectral remote sensing imagery | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| CN116310826B (zh) | 一种基于图神经网络的高分遥感影像林地二级分类方法 | |
| CN112819753A (zh) | 一种建筑物变化检测方法、装置、智能终端及存储介质 | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN113673556A (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| Chepkochei | Object-oriented image classification of individual trees using Erdas Imagine objective: case study of Wanjohi area, Lake Naivasha Basin, Kenya | |
| CN116091937A (zh) | 基于深度学习的高分辨率遥感影像地物识别模型计算方法 | |
| CN115984632A (zh) | 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质 | |
| Mantripragada et al. | The effects of spectral dimensionality reduction on hyperspectral pixel classification: A case study | |
| Senchuri et al. | Machine learning methods for road edge detection on fused airborne hyperspectral and lidar data | |
| CN113516059A (zh) | 固体废弃物的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221228 Address after: 7th Floor, Beidou Building, No. 980, Gaoxin Avenue, Wuhan East Lake New Technology Development Zone, Wuhan, Hubei 430056 Patentee after: HUBEI DIXIN TECHNOLOGY GROUP CO.,LTD. Address before: 430000 Lu Mill Road, Hongshan District, Wuhan, Hubei Province, No. 388 Patentee before: CHINA University OF GEOSCIENCES (WUHAN CITY) |
|
| TR01 | Transfer of patent right |