CN114926740A - 一种基于深度学习改进的高分遥感影像耕地提取方法 - Google Patents

一种基于深度学习改进的高分遥感影像耕地提取方法 Download PDF

Info

Publication number
CN114926740A
CN114926740A CN202210611922.0A CN202210611922A CN114926740A CN 114926740 A CN114926740 A CN 114926740A CN 202210611922 A CN202210611922 A CN 202210611922A CN 114926740 A CN114926740 A CN 114926740A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
convolution
deep learning
resolution remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210611922.0A
Other languages
English (en)
Inventor
宋月君
陈玲玲
廖凯涛
郑海金
谢颂华
莫明浩
张利超
施政
王农
罗宁
熊永
李晓放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Academy of Water Resources
Original Assignee
Jiangxi Academy of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Academy of Water Resources filed Critical Jiangxi Academy of Water Resources
Priority to CN202210611922.0A priority Critical patent/CN114926740A/zh
Publication of CN114926740A publication Critical patent/CN114926740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种基于深度学习改进的高分遥感影像耕地提取方法，所述方法包括以下步骤，结合高分光学遥感影像数据与人工解译获取的耕地矢量数据建立训练标签样本库；建立基于全卷积神经网络的轻量级深入学习模型；利用所述训练标签样本库的训练样本对所述基于全卷积神经网络的轻量级深入学习模型进行训练，获得基于深度学习改进的高分遥感影像耕地提取模型；获取待检测区域的光学高分遥感影像；将所述待检测区域的光学高分遥感影像输入所述基于深度学习改进的高分遥感影像耕地提取模型，进行耕地的提取。本发明探索研究了基于深度学习的高分遥感影像耕地图斑提取技术，以期为土地利用变化以及生态环境效益评价提供数据和技术支撑。

Description

一种基于深度学习改进的高分遥感影像耕地提取方法
技术领域
本发明涉及影像提取方法技术领域，具体涉及一种基于深度学习改进的高分遥感影像耕地提取方法。
背景技术
耕地是人类用于种植农作物并经常耕耘的土地，是农业生产和粮食安全的物质基础。因此，及时、精准地获取耕地面积和空间分布信息尤为重要，这在保护耕地实现耕地信息的动态监管，统筹布局生态、农业、城镇等功能空间，科学划定各类空间管控边界有着重要意义。近年来，遥感技术发展迅速，如何从高分辨率遥感影像上快速准确地提取耕地图斑及空间分布信息值得探讨。
高分辨率遥感影像降低了中低分辨率影像的混合像元问题，其能够较为清晰、准确地表达地物的边界、形状、纹理信息、内部几何结构和空间关系，当前高分遥感地物提取方面，传统模型方法主要有：最大似然法（ML）、支持向量法（SVM）、随机森林法（RF）、面向对象分类法等，虽然传统模型在提取地物方面取得了较好的研究成果。但在遥感大数据时代提取耕地信息依然存在诸多挑战，它们大多是先由专业技术人员人工设定规则或划分样本，再根据自身算法或结合其它算法，来实现分类提取，受经验限制和人主观影响强，且高分影像中丰富的细节信息和复杂的规律往往无法被很好地描述，对特征差异大、信息复杂的遥感影像提取效果有限，容易导致“椒盐噪声”。另外，高分遥感影像拥有更清晰地物成像的背后，也意味着数据量的剧增，比如一个县行政区的遥感数据通常为若干个GB。而如SVM在处理数据量大的影像时将消耗较多的时间和计算资源，对计算机的性能要求高。将一幅大影像裁剪为若干小块来处理是一种解决办法，但这些提取方法需人工选取样本和设定参数，每一小块都要重新操作，繁琐耗时，还有前后结果不一致的风险。因此在精细化的实际业务中依然以人工目视解译为主，遥感传统模型为辅的方式进行。总之，在海量的遥感大数据时代背景下，亟需挖掘更新、更智能，自动化更高的提取方法。
近年来，大数据、云计算和GPU服务器的发展，给深度学习(DL)技术带来了巨大的机遇，目前DL已广泛应用于自然语言处理、医学成像以及遥感应用等领域。其中的卷积神经网络(CNN）应用于遥感影像分类领域有极大的优势，因为CNN能够学习遥感影像中由于传感器拍摄角度不同、地物尺度不同等原因造成的地物不同形态的特征，适合于遥感分类任务，并且CNN完全基于数据驱动，能从数据中挖掘所需要的特征信息，而无需专家知识来人工选择参数和设计特征提取模式。CNN是人工智能的分支，智能化，自动化水平高，对海量的遥感数据具有良好的适应力。但CNN一般是用作图像级的分类，在归一化后输出的是整个输入图像的一个数值描述（概率分布式），它只能标识出整幅图像的类别，不能标识图像中每个像素点的类别。介于此，Long等人基于CNN提出了全卷积神经网络（FCN），首次实现了端到端，可以对图像进行像素级的分类，也即输入一张图能够输出一张已经做好标签好的图片,做到了像素对像素的映射。
但是，目前用于遥感领域的FCN模型大多更注重精度而忽略计算资源和时间消耗，即使它们在分类精度上有较优异的表现，但在硬件资源和计算能力有限的情形下，可能会导致模型训练困难，耗时长，甚至无法实行等问题，这将阻碍更多的研究以及在实际业务中的应用。
发明内容
本发明所要解决的问题是：提供一种基于深度学习改进的高分遥感影像耕地提取方法，以编码-解码骨架为基础框架联合建立了基于FCN的轻量级耕地图斑提取模型（Ours-Net模型），并将数学形态学算法引入作为后处理手段，探索研究了基于深度学习的高分遥感影像耕地图斑提取技术，以期为土地利用变化以及生态环境效益评价提供数据和技术支撑。
本发明为解决上述问题所提供的技术方案为：一种基于深度学习改进的高分遥感影像耕地提取方法，所述方法包括以下步骤，
结合高分光学遥感影像数据与人工解译获取的耕地矢量数据建立训练标签样本库；
建立基于全卷积神经网络的轻量级深入学习模型；
利用所述训练标签样本库的训练样本对所述基于全卷积神经网络的轻量级深入学习模型进行训练，获得基于深度学习改进的高分遥感影像耕地提取模型；
获取待检测区域的光学高分遥感影像；
将所述待检测区域的光学高分遥感影像输入所述基于深度学习改进的高分遥感影像耕地提取模型，进行耕地的提取。
优选的，所述基于深度学习改进的高分遥感影像耕地提取模型以Ours-module模块为核心，以编码-解码骨架为基础框架。
优选的，编码部分由11个Ours-module模块、两个标准卷积和一个最大池化组成，并分为5个模块，将向解码部分输出5个不同尺度信息的特征图谱，编码部分用于学习输入耕地图像的上下文语义信息并进行特征提取。
优选的，解码部分由4个Ours-module、4个标准卷积和5个上采样层组成，分为5个模块，将依次融合编码部分输出的5个特征图谱，形成更厚的特征信息；解码部分用于加强编码部分的特征提取结果，并恢复特征图的空间信息和分辨率。
优选的，所述解码部分的输出紧接带softmax分类器的卷积层，此卷积层能归纳出输入图片中具有相同语义的像素点,并输出一张和输入图像大小相同的已分类标记好的图像。
优选的，所述Ours-module模块包括反残差块、压缩-激励块、深度可分离卷积和标准卷积。
优选的，所述反残差块以ResNet的残差块为基础，并结合深度可分离卷积优化而成，先使用1*1 PW将输入的低维FP升维，然后在中间层，利用轻量级的DW来提取特征并引入非线性，再使用一个线性的1*1逐PW将其映射回低维空间中，如果步长stride=1，残差传播会被激活，此时的特征图将与输入图谱相加；同时引入H_swish激活函数，所述H_swish激活函数应用在Ours-module模块的较后层，其中，
Figure 854931DEST_PATH_IMAGE001
其中，ReLU是激活函数，x是输入数据。
优选的，所述压缩-激励块包含1个压缩Squeeze和2个激励Excitation操作，其中，第一个激励Excitation操作中增加了0.25的缩放参数。
优选的，所述深度可分离卷积将一个标准卷积拆分为深度卷积操作和逐点卷积操作两个独立的操作；
深度卷积操作中，一个卷积核负责一个通道，一个通道只被一个卷积核所卷积，且只改变特征图谱的大小，不改变通道数；
逐点卷积等价于核大小为1*1的标准卷积，操作时只改变通道数，不改变特征图谱大小，用于关联特征图各通道之间的信息，进行信息交流。
优选的，使用深度卷积操作和逐点卷积操作参数量和计算量将显著减少，深度可分离卷积与标准卷积的参数量、计算量的比值分别如式 (1)，(2) 所示。
Figure 444175DEST_PATH_IMAGE002
式中：DＫ为卷积核的尺寸；WO和HO分别为特征图的宽度和高度；M为输入通道数；N为输出通道数；
若卷积核大小采用3*3，深度可分离卷积的参数量和计算量将减小为标准卷积的1/8 - 1/9；并且，每步深度卷积操作和逐点卷积操作之后都将使用批标准化。
与现有技术相比，本发明的优点是：本发明以Ours-module模块（轻量级耕地图斑提取模块）为核心，以编码-解码骨架为基础框架联合建立了基于FCN的轻量级耕地图斑提取模型（Ours-Net模型），并将数学形态学算法引入作为后处理手段，探索研究了基于深度学习的高分遥感影像耕地图斑提取技术，以期为土地利用变化以及生态环境效益评价提供数据和技术支撑。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的基于深度学习改进的高分遥感影像耕地提取模型的结构图。
图2是本发明模型组件结构图，其中，(a)为Ours-module模块结构；(b)为反残差结构；(c)为压缩-激励结构。
图3是本发明 Ours-Net模型提取的宜丰县耕地图斑空间分布信息图。
图4是本发明各模型从测试影像提取耕地图斑的整体对比图，其中，(a)为测试影像；(b)为耕地真值标签；(c) 为ML处理；(d)为ML+后处理；(e)为RF处理；(f)为RF+后处理；(g)为SVM处理；(h)为SVM+后处理；(i)为Ours-Net处理；(j)为Ours-Net+后处理；(k)为(a)与(j)融合的影像。
图5是本发明各模型从测试影像提取耕地图斑的细节对比图。
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。
此外，如有术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明技术特征的数量。由此，限定有“第一”、“第二”特征可以明示或者隐含包括一个或者多个该特征，在本发明描述中，“数个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除另有明确规定和限定，如有术语“组装”、“相连”、“连接”术语应作广义去理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；也可以是机械连接；可以是直接相连，也可以是通过中间媒介相连，可以是两个元件内部相连通。对于本领域普通技术人员而言，可以根据具体情况理解上述的术语在本发明中的具体含义。
本发明的具体实施例如附图所示，一种基于深度学习改进的高分遥感影像耕地提取方法，所述方法包括以下步骤，
结合高分光学遥感影像数据与人工解译获取的耕地矢量数据建立训练标签样本库；
建立基于全卷积神经网络的轻量级深入学习模型；
利用所述训练标签样本库的训练样本对所述基于全卷积神经网络的轻量级深入学习模型进行训练，获得基于深度学习改进的高分遥感影像耕地提取模型；
获取待检测区域的光学高分遥感影像；
将所述待检测区域的光学高分遥感影像输入所述基于深度学习改进的高分遥感影像耕地提取模型，进行耕地的提取。
进一步的，所述基于深度学习改进的高分遥感影像耕地提取模型以Ours-module模块为核心，以编码-解码骨架为基础框架。
其中，编码部分由11个Ours-module模块（轻量级耕地图斑提取模块）、两个标准卷积和一个最大池化组成，并分为5个模块，将向解码部分输出5个不同尺度信息的特征图谱，编码部分用于学习输入耕地图像的上下文语义信息并进行特征提取；解码部分由4个Ours-module（轻量级耕地图斑提取模块）、4个标准卷积和5个上采样层组成，分为5个模块，将依次融合编码部分输出的5个特征图谱，形成更厚的特征信息；解码部分用于加强编码部分的特征提取结果，并恢复特征图的空间信息和分辨率。
解码部分的输出紧接带softmax分类器的卷积层，此卷积层能归纳出输入图片中具有相同语义的像素点,并输出一张和输入图像大小相同的已分类标记好的图像，这里将输出耕地图斑信息图。
进一步的，所述Ours-module模块包括反残差块、压缩-激励块、深度可分离卷积和标准卷积。Ours-module模块是本发明基于深度学习改进的高分遥感影像耕地提取模型的核心模块，它的优点在于，能高效利用深层特征，在确保网络拥有一定准确率的同时降低参数量和计算量，节约计算资源并提高效率，其结构图如图2中(a)所示，其中，NL代表激活函数。
其中，所述反残差块以ResNet的残差块为基础，并结合深度可分离卷积优化而成，先使用1*1 PW将输入的低维FP升维，然后在中间层，利用轻量级的DW来提取特征并引入非线性，再使用一个线性的1*1逐PW将其映射回低维空间中，如果步长stride=1，残差传播会被激活，此时的特征图将与输入图谱相加，这样不仅能加深网络层数，缓解训练时网络深度增加而出现的梯度消失问题，还能减少参数量和计算量，提高模型的效率和性能。它的具体结构见图2中(b)；同时引入H_swish激活函数，所述H_swish激活函数应用在Ours-module模块的较后层，其中，
Figure 410863DEST_PATH_IMAGE003
。
其中，ReLU是激活函数，x是输入数据。
其中，压缩-激励块（SE）是能够让网络模型对特征进行校准的机制，能使有效的权重大，无效或效果小的权重小，具体而言，就是通过学习来自动获取到每个特征通道的重要程度，然后依照这一结果去提升有用的特征并抑制对当前任务用处不大的特征。SE能提升模型的质量，但也会增加网络的总参数量和总计算量，所以我们使用改进的SE块，其结构见图2中 (c)，所述压缩-激励块包含1个压缩Squeeze和2个激励Excitation操作，其中，第一个激励Excitation操作中增加了0.25的缩放参数，这样可减少通道个数从而降低计算量，两个激励中的激活函数都替换为计算量少的H_swish。另外，图中的FC表示全连接层，这里可以看作1*1的卷积层，它有利于实现通道间的融合；W、H和C分别表示特征图的宽、高和通道数。改进的SE模块被运用在Ours-module模块的最后一层上，先进行SE操作再进行PW操作。这样能保护每层网络的输入输出信息，仅在中间做处理，使得压缩-激励块能在不破坏特征的情况下优化性能。
其中，深度可分离卷积能显著地降低计算量和计算成本，同时实现与标准卷积类似 (或稍好)的性能，所述深度可分离卷积将一个标准卷积拆分为深度卷积操作和逐点卷积操作两个独立的操作；
深度卷积操作中，一个卷积核负责一个通道，一个通道只被一个卷积核所卷积，且只改变特征图谱的大小，不改变通道数；
逐点卷积等价于核大小为1*1的标准卷积，操作时只改变通道数，不改变特征图谱大小，用于关联特征图各通道之间的信息，进行信息交流。
优选的，使用深度卷积操作和逐点卷积操作参数量和计算量将显著减少，深度可分离卷积与标准卷积的参数量、计算量的比值分别如式 (1)，(2) 所示。
Figure 743756DEST_PATH_IMAGE004
式中：DＫ为卷积核的尺寸；WO和HO分别为特征图的宽度和高度；M为输入通道数；N为输出通道数；
若卷积核大小采用3*3，深度可分离卷积的参数量和计算量将减小为标准卷积的1/8 - 1/9；本发明在Ours-module中混合使用5*5和3*3的DW，能使参数量不会增加过多的同时有更好的效果，并且为了降低过拟合的风险，每步DW和PW之后都将使用批标准化（BN）。
更具体的，基于深度学习改进的高分遥感影像耕地提取模型的编码、解码部分具体结构和参数如表1，表2所示，其中FP表示特征图名称，Input、Output分别表示输入和输出特征图的大小，Operator表示当前所作的操作运算，SE表示是否运用压缩-激励机制，Activation表示激活函数类型，Stride表示步长，Up表示变化的通道数。
表1 编码部分的具体结构和参数
Figure 980964DEST_PATH_IMAGE006
表2 解码部分的具体结构和参数
Figure 600164DEST_PATH_IMAGE008
以下通过具体实验对本发明进行进一步的说明。
实验数据
本发明收集了江西省奉新县、上高县、新余市渝水区、靖安县和崇仁县等六个县级行政区的高分遥感影像融合数据（均为2m分辨率）以及目视解译而来的耕地矢量数据作为数据基础，其中奉新县、上高县、新余市渝水区、靖安县和崇仁县的部分影像被截取作为训练影像，相应的耕地矢量数据作为标签数据，训练影像以及对应标签共同构成训练数据。为满足 GPU 显存需求和提升训练效率，我们利用滑窗裁剪和随机裁剪，将训练数据裁剪为若干256*256像素大小的子图，并按4：1的比例分为训练集和验证集。另外，为避免训练集影像过少引起的欠拟合或过拟合等问题，我们还对训练集和验证集进行了水平翻转、垂直翻转、对角翻转等数据增广操作，并将其打乱使得样本分布更合理。最后生成了77969张256*256像素大小图像的训练集，19492张256*256像素大小图像的验证集。宜丰县的遥感影像将作为测试影像，来测试Ours-Net模型提取耕地图斑的精确度。
实验方案与设置
为验证本发明的模型优于传统遥感分类方法，我们选取了随机森林（RF）、支持向量机（SVM）和最大似然法（ML）与Ours-Net模型的提取结果进行对比分析。其中，SVM的每个类最大示例数设置为500；RF的树设置为最大数量100，最大深度30；Ours-Net模型的训练参数设置为：损失函数均采用交叉熵函数，优化器取缔普通的Adam，采用更优的Nadam优化算法，分类器采用softmax激活函数，初始学习率均采用1e-4，批大小Batch size=36，验证集的损失率连续10轮没有下降则停止训练。
为验证本发明模型对计算资源和时间的消耗更低，我们选取了基于FCN的U-Net模型、DeepLabv3+模型（主干网络为Resnet50）与Ours-Net模型的复杂度、计算复杂度和运行速度进行对比。要保证对比实验的客观性，三个模型需在同一实验环境和参数设置下进行，但U-Net模型和DeepLabv3+模型参数量大，Batch size=36 将远大于本发明GPU所允许的值，会导致训练无法实行，所以这里修改Batch size=8，其他训练参数设置与Ours-Net模型的一致。本发明实验的软硬件环境为：CPU=lntel(R)Xeon(R）CPU E5-2687W；GPU=NVIDIAGeForce GTX 1070；操作系统=Windows10；开发工具=Tensorflow2.3+python3.8+CUDA11。
另外，不论是传统模型还是基于FCN的模型，分类结果都不可避免地受到噪声影响，而产生细小图斑，尤其是传统模型受椒盐效应影响重，无论从专题制图的角度，还是从实际应用的角度，我们都应尽量消除这些多余小图斑。所以我们对传统分类模型和Ours-Net模型的提取结果分别进行了后处理操作，传统模型先做聚类处理（clump）将临近的类似分类区域聚类并进行合并，再用聚类之后的图像做过滤处理（Sieve）滤除小图斑。测试时增强(TTA)算法能提升一定精度，所以Ours-Net模型的后处理：先使用TTA算法来增强提取结果，再利用数学形态学的闭运算来优化图斑内部空洞，最后利用阈值法滤除杂波。
实验结果
使用我们优化后的耕地提取模型，我们得到了江西省宜丰县的耕地图斑空间信息图，如图3所示。
精度评价与分析
为验证Ours-Net模型提取耕地图斑的精度，选取了宜丰县一块7107*5052像素大小的区域作为测试影像，并将测试结果与相应区域人工标注的耕地信息图做定性和定量比较。
实验结果定性对比
图4，图5给出了所有模型的提取耕地与后处理的结果。其中，图4为各模型从测试影像提取耕地图斑的整体对比，有助于全局性地对各模型的提取结果进行对比。图5为各模型从测试影像提取耕地图斑的细节对比，能更具体地辨别出正确分类和错误分类的地物。
从整体分析（图4），除了ML将较多耕地错误识别为非耕地而导致整体分类情况和标签图相差较大外，其他模型的提取结果都与标签图在整体趋势上有较高吻合度。但与Ours-Net相比，没有经过后处理的传统分类模型都受到了严重的“椒盐噪声”干扰，虽然从图4中d、图4中f、图4中h中可以看到后处理后的传统模型缓解了噪声对影像质量的影响，图中各图斑之间的界限也更明晰，但它们依然存在诸多错分漏分情况。而不同的是，Ours-Net仅受少量杂波影响，在未后处理前其在制图方面的整洁度和美观度也远优于经后处理的传统模型。在本例中，经过后处理的各模型中主要去除的是错识别为耕地的像素，这在Ours-Net后处理的结果表现最突出，可以明显看出错识别像素的减少，这初步证明了后处理的必要性。另外，根据图中错识别和漏识别像素数量和分布，可看出ML的表现最差，正确识别的像元数最少，RF和SVM不管是后处理前还是后处理后分类表现都相差不大，且这三个模型提取的图斑都存在破碎度大和像元混合的问题，将本是成片的耕地识别成了破碎不连续的多块，这破坏了耕地信息的空间完整性，不利于制图。而Ours-Net不仅错分像素最少，提取的成片耕地大部分都具有连续性，后处理后的提取结果也更加干净，图4中k中的融合影像也可以看出乳白色区域覆盖了大部分的耕地，与耕地的实际分布位置一致性很强，无疑Ours-Net是各模型中表现最优的模型。
从细节分析（图5），传统模型提取的图斑破碎大和像元混合问题看的更清晰，出现这些问题可能是因为耕地的光谱信息类内差异大，这同种植方式、土壤属性和作物类型等的不同有关。而Ours-Net能充分利用上下文语义信息，可减轻这种类内差异大带来的影响，故提取的图斑连续性好。传统模型还易将枯水期的河湖库塘、植被覆盖较低的其他林地裸土地等错误识别为耕地，这可能是受高分影像“同物异谱”和“异物同谱”现象影响。而Ours-Net完全趋于数据驱动，能反复多次地学习图像的底层和高层特征，这个优点可减轻上述现象的影响，故Ours-Net模型错识别为耕地的像素更少。从细节图能明显地看出后处理后的结果比处理前整洁和准确，这也说明了后处理的必要性。
实验结果定量对比
与传统模型的定量评价结果见表3，表中的指标依次为综合评价指标（F1 score)、整体精度（OA）、均交并比（MloU）和Kappa系数。从表可看出，所有模型后处理后的各项指标都高于处理前，ML、RF、SVM的Kappa值比处理前分别提升了7.7%，9.6%和10.3%，提升的效果都较显著，而Ours-Net后处理后的提升较少但也有1个百分点左右的提升。在三个传统模型中ML的评分最低，而SVM略高于RF。Ours-Net的各项评分显著优于传统模型，比表现最好的传统模型在F1 score上高11.6%（0.853 vs 0.764），在OA上高5.2% （0.938 vs 0.892），在MloU上高12.2%（0.834 vs 0.743），在Kappa上高12.0%（0.871 vs 0.778）。
表3 Ours-Net与传统模型的定量评价指标对比
Figure 804881DEST_PATH_IMAGE010
我们还在实验环境和超参数一致的条件下，对比了Ours-Net、Deeplabv3+(主干Resnet50）与U-Net的参数量、浮点运算数（FLOPs）和训练耗时，这三个指标分别用于衡量模型的复杂度、模型的计算复杂度以及模型运行速度，也即是衡量计算资源和时间消耗程度的评价指标。另外，此对比实验的训练集和验证集是从大数据集中随机抽取的共7500张图像，每个模型都训练了3个epoch。具体数值见表4，其中训练耗时是指3个epoch花的时间。从表4可看出，在参数量上，Ours-Net仅为1.07M，U-Net的参数量是它的29倍，Deeplabv3+ 约为Ours-Net的11倍。在计算量FLOPs上，本发明的Ours-Net为14.14G，U-Net的FLOPs是Ours-Net的7.7倍，Deeplabv3+ 约为ours的3.7倍。在训练耗时上，U-Net的耗时最多，是Deeplabv3+ 的2.1倍，是Ours-Net的3.6倍，Ours-Net的耗时最少，3个epoch耗时5.9min。
表4 Ours-Net与经典FCN模型的计算资源、时间消耗指标对比
Figure 925152DEST_PATH_IMAGE012
另外，我们计算了Ours-Net提取的宜丰县耕地总面积与人工解译的总面积并对比了差距，Ours-Net提取的宜丰县耕地图斑面积为278.30hm2，人工解译的宜丰县耕地矢量数据中耕地面积为300.59hm2。它们的绝对误差=22.29hm2，相对误差=0.07hm2，模型提取的耕地图斑大体上和人工识别的一致，但一些林间耕地，窄小耕地等样本量少或复杂的耕地类型，容易被漏提取，所以表现出模型比人工识别面积少的现象，但总体上表现较好，这也表明利用Ours-Net提取耕地图斑有较大的可行性。
本发明建立了基于全卷积神经网络的轻量级耕地图斑提取模型（Ours-Net模型）并引入了数学形态学的后处理方法，旨在解决传统模型提取耕地图斑的缺陷（“椒盐噪声”严重、受人主观影响强、自动化差以及处理效率低下等）和基于FCN模型的问题（现有的FCN模型大多更注重分类精度而忽略计算机资源和时间消耗，这可能无法训练出能使用的模型参数，导致无法完成提取任务。Ours-Net汲取了轻量级卷积神经网络和U-Net的优点，是以Ours-module模块（由深度可分离卷积、压缩-激励块和反残差块组成）为核心，联合高效的编码-解码结构为框架搭建而来的。我们将Ours-Net与传统模型的耕地提取效果和经典FCN模型的计算资源和时间消耗进行了实验对比发现：
（1）后处理能缓解传统模型的“椒盐噪声”的干扰，能去除Ours-Net所受的少量杂波影响，优化了提取结果在制图方面的整洁度和美观度；
（2）Ours-Net改善了传统模型提取结果破碎的问题，并减轻了“椒盐噪声”影响，其各项指标比表现最好的传统模型（经后处理的SVM）分别高11.6%、5.2% 、12.2%和12.0% ；并且Ours-Net一旦训练出模型参数即可复用，不必多次人工选定参数进而减弱了人主观影响，自动化水平较高；
在同样的实验环境和设置下，Ours-Net无论是参数量、计算量还是训练耗时都低于经典的FCN模型Deeplabv3+和U-Net，其中，Deeplabv3+的参数量是它的11倍，U-Net的计算量是它的7.7倍，U-Net的训练耗时是它的3.6倍，Ours-Net无论是参数量、计算量还是训练耗时都低于经典的FCN模型Deeplabv3+和U-Net，这证明Ours-Net的计算资源和时间消耗更少，更易实行。
以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。

Claims (10)

1.一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述方法包括以下步骤，
结合高分光学遥感影像数据与人工解译获取的耕地矢量数据建立训练标签样本库；
建立基于全卷积神经网络的轻量级深入学习模型；
利用所述训练标签样本库的训练样本对所述基于全卷积神经网络的轻量级深入学习模型进行训练，获得基于深度学习改进的高分遥感影像耕地提取模型；
获取待检测区域的光学高分遥感影像；
将所述待检测区域的光学高分遥感影像输入所述基于深度学习改进的高分遥感影像耕地提取模型，进行耕地的提取。
2.根据权利要求1所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述基于深度学习改进的高分遥感影像耕地提取模型以Ours-module模块为核心，以编码-解码骨架为基础框架。
3.根据权利要求2所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：编码部分由11个Ours-module模块、两个标准卷积和一个最大池化组成，并分为5个模块，将向解码部分输出5个不同尺度信息的特征图谱，编码部分用于学习输入耕地图像的上下文语义信息并进行特征提取。
4.根据权利要求2或3所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：解码部分由4个Ours-module、4个标准卷积和5个上采样层组成，分为5个模块，将依次融合编码部分输出的5个特征图谱，形成更厚的特征信息；解码部分用于加强编码部分的特征提取结果，并恢复特征图的空间信息和分辨率。
5.根据权利要求4所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述解码部分的输出紧接带softmax分类器的卷积层，此卷积层能归纳出输入图片中具有相同语义的像素点,并输出一张和输入图像大小相同的已分类标记好的图像。
6.根据权利要求2所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述Ours-module模块包括反残差块、压缩-激励块、深度可分离卷积和标准卷积。
7.根据权利要求6所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述反残差块以ResNet的残差块为基础，并结合深度可分离卷积优化而成，先使用1*1 PW将输入的低维FP升维，然后在中间层，利用轻量级的DW来提取特征并引入非线性，再使用一个线性的1*1逐PW将其映射回低维空间中，如果步长stride=1，残差传播会被激活，此时的特征图将与输入图谱相加；同时引入H_swish激活函数，所述H_swish激活函数应用在Ours-module模块的较后层，其中，
Figure 202366DEST_PATH_IMAGE001
其中，ReLU是激活函数，x是输入数据。
8.根据权利要求6所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述压缩-激励块包含1个压缩Squeeze和2个激励Excitation操作，其中，第一个激励Excitation操作中增加了0.25的缩放参数。
9.根据权利要求6所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：所述深度可分离卷积将一个标准卷积拆分为深度卷积操作和逐点卷积操作两个独立的操作；
深度卷积操作中，一个卷积核负责一个通道，一个通道只被一个卷积核所卷积，且只改变特征图谱的大小，不改变通道数；
逐点卷积等价于核大小为1*1的标准卷积，操作时只改变通道数，不改变特征图谱大小，用于关联特征图各通道之间的信息，进行信息交流。
10.根据权利要求9所述的一种基于深度学习改进的高分遥感影像耕地提取方法，其特征在于：使用深度卷积操作和逐点卷积操作参数量和计算量将显著减少，深度可分离卷积与标准卷积的参数量、计算量的比值分别如式 (1)、(2) 所示，
Figure 80323DEST_PATH_IMAGE002
式中：DＫ为卷积核的尺寸；WO和HO分别为特征图的宽度和高度；M为输入通道数；N为输出通道数；
若卷积核大小采用3*3，深度可分离卷积的参数量和计算量将减小为标准卷积的1/8 -1/9；并且，每步深度卷积操作和逐点卷积操作之后都将使用批标准化。
CN202210611922.0A 2022-06-01 2022-06-01 一种基于深度学习改进的高分遥感影像耕地提取方法 Pending CN114926740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611922.0A CN114926740A (zh) 2022-06-01 2022-06-01 一种基于深度学习改进的高分遥感影像耕地提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611922.0A CN114926740A (zh) 2022-06-01 2022-06-01 一种基于深度学习改进的高分遥感影像耕地提取方法

Publications (1)

Publication Number Publication Date
CN114926740A true CN114926740A (zh) 2022-08-19

Family

ID=82813230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611922.0A Pending CN114926740A (zh) 2022-06-01 2022-06-01 一种基于深度学习改进的高分遥感影像耕地提取方法

Country Status (1)

Country Link
CN (1) CN114926740A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
US20210272266A1 (en) * 2020-02-27 2021-09-02 North China Institute of Aerospace Engineering Automatic Interpretation Method for Winter Wheat Based on Deformable Fully Convolutional Neural Network
CN113435254A (zh) * 2021-05-27 2021-09-24 云南师范大学 一种基于哨兵二号影像的耕地深度学习提取方法
CN113705340A (zh) * 2021-07-16 2021-11-26 电子科技大学 一种基于雷达遥感数据的深度学习变化检测方法
CN114419430A (zh) * 2021-12-09 2022-04-29 华南农业大学 一种基于SE-U-Net++模型的耕地地块提取方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
US20210272266A1 (en) * 2020-02-27 2021-09-02 North China Institute of Aerospace Engineering Automatic Interpretation Method for Winter Wheat Based on Deformable Fully Convolutional Neural Network
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN113435254A (zh) * 2021-05-27 2021-09-24 云南师范大学 一种基于哨兵二号影像的耕地深度学习提取方法
CN113705340A (zh) * 2021-07-16 2021-11-26 电子科技大学 一种基于雷达遥感数据的深度学习变化检测方法
CN114419430A (zh) * 2021-12-09 2022-04-29 华南农业大学 一种基于SE-U-Net++模型的耕地地块提取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEVEN.YAN: "基于MobileNet的UNet语义分割模型", 《CSDN》 *
寻找永不遗憾: "【MobileNetV3】MobileNetV3网络结构详解", 《CSDN》 *

Similar Documents

Publication Publication Date Title
CN111161273B (zh) 一种基于深度学习的医学超声图像分割方法
CN114120037B (zh) 一种基于改进yolov5模型的发芽马铃薯图像识别方法
Li et al. FWDGAN-based data augmentation for tomato leaf disease identification
Patil et al. Enhanced radial basis function neural network for tomato plant disease leaf image segmentation
CN116563707A (zh) 一种基于图文多模态特征融合的枸杞虫害识别方法
CN109190571B (zh) 一种放牧绵羊采食典型植物种类的检测识别方法及其装置
Li et al. SLViT: Shuffle-convolution-based lightweight Vision transformer for effective diagnosis of sugarcane leaf diseases
CN111626969B (zh) 一种基于注意力机制的玉米病害图像处理方法
Liu et al. Self-supervised transformer-based pre-training method using latent semantic masking auto-encoder for pest and disease classification
Yu et al. A recognition method of soybean leaf diseases based on an improved deep learning model
Yang et al. A comparative evaluation of convolutional neural networks, training image sizes, and deep learning optimizers for weed detection in alfalfa
Suo et al. Casm-amfmnet: A network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases
CN112869704B (zh) 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法
Gao et al. Estimation of fusarium head blight severity based on transfer learning
CN116912253B (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
CN112434662B (zh) 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法
Wang et al. Research on identification of corn disease occurrence degree based on improved ResNeXt network
CN112634308A (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN108681731A (zh) 一种甲状腺癌症超声图片自动标注方法及系统
Zhang et al. A multitemporal mountain rice identification and extraction method based on the optimal feature combination and machine learning
Yuan et al. Explore double-opponency and skin color for saliency detection
CN114926740A (zh) 一种基于深度学习改进的高分遥感影像耕地提取方法
CN116310541A (zh) 基于卷积网络多维度学习的昆虫分类方法及系统
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品
CN106952251B (zh) 一种基于吸附模型的图像显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination