CN114882380A - 一种基于改进hrnet模型的湿地资源遥感识别算法 - Google Patents

Abstract

本发明公开了一种基于改进hrnet模型的湿地资源遥感识别算法，属于遥感智能解译领域，其方法如下：A、获取湿地资源的样本影像数据集与标注数据集；B、基于tensorflow2框架设计的改进hrnet模型语义分割研究区影像；C、根据步骤B所获取的初步分类结果，进行后处理，消除碎斑块、填充面孔洞。本发明将反瓶颈层模块及ECA注意力机制模块引入改进的hrnet神经网络，改进了原hrnet参数量较大的问题，减少训练参数的同时提高了神经网络的分类精度、识别精度与训练的速度。

Description

一种基于改进hrnet模型的湿地资源遥感识别算法

技术领域

本发明属于遥感智能解译领域，具体涉及一种基于改进hrnet模型的湿地资源遥感识别算法。

背景技术

随着遥感技术的快速发展和诸多高分辨率的遥感影像的出现，通过遥感影像快速获取需要的地物信息，已被各国所重视，而湿地在维持生态平衡、保护珍稀物种资源和保持湿地生物多样性以及调节气候、涵养水源、预防水土流失、蓄洪防旱等多个方面均起到重要作用，因此，需要对湿地的地理位置及面积进行准确的测量与提取，对已开发的湿地认识其变化的程度及原因，以便实施保护并调整土地利用规划。而对于基于遥感的湿地资源提取，人工解译是最常用，也是精度较高的一种方法，但是该方法要求解译者有丰富的经验，主观性强，工作量大，并且有些复杂的遥感信息靠人的视力很难去辨别。尤其在面对海量的遥感影像土地利用分类时，该方法费时、费力，不实用。因此借助计算机提高提取遥感图像信息的效率便成为解决这一瓶颈的关键。而目前较热门的深度学习方法中的语义分割方法非常适合解决这一问题。高分辨率遥感影像的土地分类实际对应于计算机视觉领域内的语义分割任务，实现像素级别的划分。常用的语义分割算法有很多。Long等人于2014年提出了全卷积神经网络(Fully Convolutional Networks ，FCN)，首次提出了有效的语义分割网络结构，为其发展奠定了基础。2015年Ronneberger等人提出的U-net模型是对FCN网络的扩展，主要改进为引入对称的编码-解码(Encoder-Decoder)结构，编码器(Encoder)用于提取特征，解码器(Decoder)用来恢复原图，分割精度有所提高，获得了学者们的认可并进行了相应的应用和改进。Deeplab系列网络提出多尺度信息的融合方案，使用了空洞卷积(AtrousConvolutio)和带孔的空间金字塔池化(Atrous Spatial Pyramid Pooling，ASSP)层用来提高语义分割的精度。2019年，王井东等提出hrnet神经网络，该模型为一种多分支的网络结构，在各分支上同时维持从高分辨率到低分辨率的多个分辨率特征，从而获得多尺度特征的有效融合，得到更丰富的上下文信息，在遥感影像的语义分割任务中有较好的应用潜力，但目前FCN、UNET、Deeplab、 hrnet等网络涉及的参数量较大，训练起来较为困难，且精度有待提高与优化。

目前，利用hrnet及其改进神经网络应用于湿地遥感影像提取的论文和专利很少着眼于减少神经网络的训练参数量与添加跨通道信息融合的注意力机制。

专利申请公布号CN 112270213 A提出一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像；对卫星遥感影像进行预处理以及数据归一化后获得标准米级高分辨率图像；将标准图像划分为训练集、测试集以及检测集；由训练集中选择样本分别对U2-Net和HRNet-OCR深度学习卷积神经网络模型进行训练，由测试集中选择样本进行测试；采用封装的两种模型分别对检测集中的影像进行检测，输出检测结果进行融合后，获得植物型和动物型海上养殖区域分布结果。U2-Net和HRNet-OCR的训练参数较大，训练难度高，应用程度较难。

专利申请公布号CN 112906809 A提出一种利用组合损失函数hrnet解译高分辨率遥感影像的方法，包括以下步骤：高分辨率遥感影像士地利用分类数据集一语义分隔网络一分类结果—结果评价。此方法并没有考虑不同的地物类型于参数的设计，不适合应用于湿地遥感影像的提取。

发明内容

基于上述技术问题，本发明提供一种基于改进hrnet模型的湿地资源遥感识别算法。

本发明所采用的的技术解决方案是：

一种基于改进hrnet模型的湿地资源遥感识别算法，包括以下步骤：

步骤A：获取湿地资源的样本影像数据集与标注数据集，样本影像数据集中的数据为沿海湿地高分辨率遥感影像，标注数据集为人工目视解译湿地资源所得的栅格文件。

步骤B：基于tensorflow2设计构建改进hrnet模型的湿地资源遥感识别算法，基于改进hrnet模型的湿地资源遥感识别算法以hrnet作为基础网络结构，引入反瓶颈模块IB。将步骤A所获取的训练样本及验证样本输入改进hrnet模型中，得到初步分类结果。

步骤C：对步骤B所获取的初步分类结果进行后处理，消除碎斑块、填充面孔洞。

优选的，步骤A中获取湿地资源的样本影像数据集，具体采用以下方法得出：

基于滑动窗口的重叠裁剪算法，根据获取的高分辨率湿地遥感影像，利用步长为128，尺寸为256*256的正方形滑动窗口，设置重叠率为0.5，对获取的高分辨率湿地遥感影像滑动裁剪完成样本影像数据集的制作。采用7：3的比例将湿地资源的样本影像数据集划分为训练样本集与验证样本集。训练样本用于学习湿地样本的形状特征与纹理特征，验证样本不参与到样本训练中但用于一轮训练完后对网络是否过拟合进行检测。

优选的，步骤A中获取湿地资源的标注数据集，具体采用以下方法得出：

解译人工识别提取方法与滑动窗口的重叠裁剪算法：

（1）根据获取的高分辨率湿地遥感影像，基于目视解译，对其进行湿地资源的标注，完成湿地样本数据集的标注数据；

（2）根据获取的高分辨率湿地遥感影像，利用步长为128，尺寸为256*256的正方形滑动窗口，设置重叠率为0.5，对获取的高分辨率湿地遥感影像标注影像滑动裁剪完成样本影像标注数据集的制作。采用7：3的比例将湿地资源的样本标注数据集划分为训练标注样本集与验证标注样本集。训练样本用于学习湿地样本的形状特征与纹理特征，验证样本不参与到样本训练中但用于一轮训练完后对网络是否过拟合进行检测。

优选的，步骤B中引入的反瓶颈模块IB是对原瓶颈层的改进，改进的内容包括：卷积核大小、卷积滤子个数、非线性激活函数、ECA注意力机制模块、深度卷积模块。

优选的，反瓶颈层模块（IB）采用以下步骤得出：

（1）基于深度可分离的卷积的非下采样模块；

该卷积模块的非下采样模式的构建为第一层卷积为逐点卷积，该逐点卷积参数包括卷积核大小为1×1，卷积滤子个数为输入特征图通道数乘以缩放比例，跨步为1；

该卷积模块的非下采样模式的构建为第二层为逐通道卷积，该逐通道卷积参数包括卷积核大小为3×3，卷积滤子个数与输入特征图通道数一致，跨步为1；

该卷积模块的非下采样模式的构建为第三层卷积为逐点卷积，卷积滤子个数依据不同分辨率的特征图设置为（32，64，128，256），跨步为1；

该卷积模块的非下采样模式采用的激活函数为swish激活函数。

（2）基于深度可分离的卷积的下采样模块；

该卷积模块的下采样模式的构建为第一层卷积为逐点卷积，该逐点卷积参数包括卷积核大小为1×1，卷积滤子个数为输入特征图通道数乘以缩放比例，跨步为1；

该卷积模块的下采样模式的构建为第二层为逐通道卷积，该逐通道卷积参数包括卷积核大小为3×3，卷积滤子个数与输入特征图通道数一致，跨步为2；

该卷积模块的下采样模式的构建为第三层卷积为逐点卷积，卷积滤子个数依据不同分辨率的特征图设置为（32，64，128，256），跨步为1；

该卷积模块的下采样模式采用的激活函数为swish激活函数。

（3）基于ECA的通道注意力机制模块；

该通道注意力机制模块第一层为对输入的特征图全局平均池化；

该通道注意力机制模块第二层为对输入的特征图逐点卷积，该逐点卷积包含的参 数为卷积核大小，通过

计算；其中channel为输入特征图的通道数，b为设置的 偏置值，gamma为缩放系数，这里b取1，gamma取2；

该通道注意力机制模块第三层为将上述处理的特征图与输入特征图相乘。

本发明的有益技术效果是：

本发明提供的算法具有参数量更小、训练速度更快，可以实现湿地资源份智能识别提取；为进一步实现湿地资源遥感智能识别提供了一种设计思路，对于湿地资源遥感智能提取的精度提升、训练速度提高、训练参数的降低具有重要的意义。

附图说明

图1示出了本发明基于改进hrnet模型的湿地资源遥感识别算法的概括流程图；

图2示出了本发明基于改进hrnet模型的湿地资源遥感识别算法的获取湿地资源的样本影像数据集与标注数据集的详细流程图；

图3示出了本发明基于改进hrnet模型的湿地资源遥感识别算法的主干提取网络hrnet神经网络的详细架构流程图；

图4示出了本发明基于改进hrnet模型的湿地资源遥感识别算法的训练样本与验证样本导入神经网络的详细流程图；

图5示出了本发明基于改进hrnet模型的湿地资源遥感识别算法的提取结果的后处理的详细流程图；

图6示出了本发明基于改进hrnet模型的湿地资源遥感识别算法于2018年胶州湾高分二号影像实例上训练精度与验证精度折线图；

图7示出了本发明基于改进hrnet模型的湿地资源遥感识别算法于2018年胶州湾高分二号影像实例上训练误差与验证误差折线图；

图8示出了本发明基于改进hrnet模型的湿地资源遥感识别算法于2018年胶州湾高分二号影像部分区域提取的结果图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

本发明提供了一种基于改进hrnet模型的湿地资源遥感识别算法，如图1所示，主要处理步骤包括：

一种基于改进hrnet模型的湿地资源遥感识别算法，包括以下步骤：

步骤A：获取湿地资源的样本影像数据集与标注数据集，样本影像数据集中的数据为沿海湿地高分辨率遥感影像，标注数据集为人工目视解译湿地资源所得的栅格文件。

步骤B：基于tensorflow2设计构建基于改进hrnet模型的湿地资源遥感识别算法，基于改进hrnet模型的湿地资源遥感识别算法以hrnet作为基础网络结构，引入反瓶颈模块IB。将步骤A所获取的训练样本及验证样本输入改进hrnet模型中，得到初步分类结果。

步骤C：根据步骤B所获取的初步分类结果，进行后处理，消除碎斑块、填充面孔洞。

步骤A中，湿地资源的样本影像数据集与标注数据集是采用如下步骤得出的：

步骤A1：根据步骤A获取的湿地样本数据集，将其划分为9块区域，其中的7块区域作为样本采集区域，对其进行湿地资源的标注，完成湿地样本数据集的标注数据。

步骤A2：根据步骤A获取的湿地样本数据及A1获取的湿地样本数标注数据集，将二者均裁剪为256*256的小样本。

步骤A3：将步骤A2所获取的湿地样本影像与标注数据集按7：3划分为训练样本与验证样本。

步骤B中基于tensorflow2所设计构建的基于改进hrnet模型的湿地资源遥感识别算法是采用如下模块组合得出的：

二维卷积层，采用一个二维卷积，该二维卷积的参数包括卷积核大小为3，卷积滤子个数为64，跨步为2。

基于深度可分离的卷积的非下采样模块，该卷积模块的下采样模式的构建为第一层卷积为逐点卷积，该逐点卷积参数包括卷积核大小为1×1，卷积滤子个数为输入特征图通道数乘以缩放比例，跨步为1，该卷积模块的下采样模式的构建为第二层为逐通道卷积，该逐通道卷积参数包括卷积核大小为3×3，卷积滤子个数与输入特征图通道数一致，跨步为1，该卷积模块的下采样模式的构建为第三层卷积为逐点卷积，卷积滤子个数依据不同分辨率的特征图设置为（32，64，128，256），跨步为1，该卷积模块的下采样模式采用的激活函数为swish激活函数。

基于深度可分离的卷积的下采样模块：

基于深度可分离的卷积的非下采样模块，该卷积模块的下采样模式的构建为第一层卷积为逐点卷积，该逐点卷积参数包括卷积核大小为1×1，卷积滤子个数为输入特征图通道数乘以缩放比例，跨步为1，该卷积模块的下采样模式的构建为第二层为逐通道卷积，该逐通道卷积参数包括卷积核大小为3×3，卷积滤子个数与输入特征图通道数一致，跨步为2，该卷积模块的下采样模式的构建为第三层卷积为逐点卷积，卷积滤子个数依据不同分辨率的特征图设置为（32，64，128，256），跨步为1，该卷积模块的下采样模式采用的激活函数为swish激活函数。

基于ECA的通道注意力机制模块：

该通道注意力机制模块第一层为对输入的特征图全局平均池化，该通道注意力 机制模块第二层为对输入的特征图逐点卷积，该逐点卷积包含的参数为卷积核大小，通过

计算，其中channel为输入特征图的通道数，b为设置的偏置值，gamma为缩放 系数，这里b取1，gamma取2，该通道注意力机制模块第三层为将上述中处理的特征图与输入 特征图相乘。

下面对本发明基于改进hrnet模型的湿地资源遥感识别算法的详细步骤进行说明，如图2-5所示，步骤如下：

获取湿地资源的高分二号影像数据，将高分影像划分为9个大小一样的区域，将其中的7块区域作为样本采集区域，将上述所有的区域利用目视解译对湿地资源进行标注并转为栅格文件，通过滑动窗口裁剪高分影像与标注栅格数据为256×256的小样本，按7：3的比例划分为训练样本与验证样本。

根据现有的hrnet神经网络的框架，提出改进的反瓶颈层与ECA注意力机制两大模块来重新搭建hrnet神经网络，主要包括以下步骤：设置一个启动卷积层，作用是对输入的影像做一次预处理，实现输入影像尺寸减半，与信息初步融合效果；设置四条并行的不同分辨率的特征图提取架构，四条并行的特征图分辨率设置为128×128，64×64，32×32，16×16，其中64×64为通过128×128的特征图下采样获取，32×32为通过64×64的特征图下采样获取，其中16×16为通过64×64的特征图下采样获取；第一条并行的分辨率为128×128的特征图处理分支，共进行12 次改进的反瓶颈层与12次ECA注意力机制模块，第二条并行的分辨率为64×64的特征图处理分支，共进行8次改进的反瓶颈层与8次ECA注意力机制模块，第三条并行的分辨率为32×32的特征图处理分支，共进行4次改进的反瓶颈层与4次ECA注意力机制模块，第四条并行的分辨率为16×16的特征图处理分支，共进行1次改进的反瓶颈层与1次ECA注意力机制模块；设定每出现下采样，就会让所有分辨率的特征图以堆叠的方式相互交融一次；

最后一次下采样后，让所有分辨率的特征图做一次反瓶颈层与ECA注意力机制模块，除分辨率128×128的特征图以外，所有的特征图均需要上采样至分辨率128×128，用堆叠操作将四条并行的特征图分支堆叠在一起；通过一次上采样回复最初输入的分辨率；通过一个二维卷积，其参数为卷积核大小为1×1，卷积滤子个数为分类数，和softmax激活函数将特征图映射成概率图。将获取的训练样本与验证样本输入网络，训练得到权重文件，选取任一张高分影像输入网络中可得预测结果。

对预测结果后处理，对获取的预测结果栅格转矢量，删除背景值，删除小碎块，消除面部件，去除面中的小孔洞。

本发明方法的具体应用实例如下：

首先获取山东省青岛市胶州湾2018年高分二号影像，根据山东省第二次湿地资源调查的结果，选取水产养殖场、盐田、滩涂、河流、水库坑塘、浅海湿地六种湿地分类，基于2018年高分二号影像，将原影像平均分为9个区，选择其中的地物样本较多的7个区域作为样本提取的区域，逐区域利用人工目视解译，提取6种类别的胶州湾湿地资源。并将提取出来的矢量文件转为栅格，裁剪栅格格式的样本，采用滑动窗口裁剪将上述7个区域均裁剪为256*256的矩形区域，按7：3划分为训练样本与验证样本，导入网络进行训练。

将制作好的小样本影像文件与小样本标注文件匹配命名，同时送入搭建好的改进的hrnet神经网络中，设定学习率为0.0001，跑200个纪元，运用Adam优化器和多分类交叉熵损失函数；模型参数设置好以后，进行模型训练，将制作好的训练样本与验证样本载入网络，运行200个纪元，通过检测训练样本精度与验证样本精度和训练误差与验证误差的变化情况，确定是否过拟合，过拟合是指训练误差一直远高于验证误差，故设定训练策略，连续10个纪元训练误差不下降则停止训练，连续4个纪元验证误差不下降则学习率减半。训练结束后得到权值文件，将2018年胶州湾高分二号影像导入训练好的网络中，获得湿地资源分类结果。训练精度与验证精度如附图6所示，训练误差与验证误差如附图7所示。

对获取的湿地资源分类结果进行后处理，将栅格图转为矢量图。

为了去除小碎斑块，按图斑周长大小排序删除碎斑块，消除面部件，去除矢量面中的孔洞。最终效果如图8所示。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变化。本领域的普通技术人员，以本发明所明确公开的或根据文件的书面描述毫无异议的得到的，均应认为是本专利所要保护的范围。

Claims (8)

1.一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，包括以下步骤：

步骤A：获取湿地资源的样本影像数据集与标注数据集，其中，样本影像数据集中的数据为沿海湿地高分辨率遥感影像，标注数据集为人工目视解译湿地资源所得的栅格文件；

步骤B：基于tensorflow2设计构建改进hrnet湿地资源遥感识别算法，然后基于改进hrnet模型的湿地资源遥感识别算法以hrnet作为基础网络结构，引入反瓶颈模块IB；将步骤A所获取的训练样本及验证样本输入改进hrnet模型中，得到初步分类结果；

步骤C：对步骤B所获取的初步分类结果进行后处理，消除碎斑块、填充面孔洞。

2.根据权利要求1所述的基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，步骤A中获取湿地资源的样本影像数据集，具体采用以下方法得出：

基于滑动窗口的重叠裁剪算法，根据获取的高分辨率湿地遥感影像，利用步长为128，尺寸为256*256的正方形滑动窗口，设置重叠率为0.5，对获取的高分辨率湿地遥感影像滑动裁剪完成样本影像数据集的制作。

3.根据权利要求1所述的基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，步骤A中获取湿地资源的标注数据集，具体采用以下方法得出：

基于目视解译人工识别提取方法与滑动窗口的重叠裁剪算法：

（1）根据获取的高分辨率湿地遥感影像，基于目视解译，对其进行湿地资源的标注，完成湿地样本数据集的标注数据；

（2）根据获取的高分辨率湿地遥感影像，利用步长为128，尺寸为256*256的正方形滑动窗口，设置重叠率为0.5，对获取的高分辨率湿地遥感影像标注影像滑动裁剪完成样本影像标注数据集的制作。

4.根据权利要求2所述的一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，采用7：3的比例将湿地资源的样本影像数据集划分为训练样本集与验证样本集。

5.根据权利要求3所述的一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，采用7：3的比例将湿地资源的样本标注数据集划分为训练标注样本集与验证标注样本集。

6.根据权利要求1所述的一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，步骤B中引入的反瓶颈模块IB是对原瓶颈层的改进，改进的内容包括：卷积核大小、卷积滤子个数、非线性激活函数、ECA注意力机制模块、深度卷积模块。

7.根据权利要求6所述的一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，对原瓶颈层中原卷积的改进在于，将原卷积在通道和空间两个维度的信息分离，单独融合通道维度信息，而不改变空间维度信息。

8.根据权利要求6所述的一种基于改进hrnet模型的湿地资源遥感识别算法，其特征在于，引入的ECA注意力机制模块，添加在深度卷积后，用于对深度卷积提取的结果再加一个注意力权重。

Images