CN115527113A - 一种遥感图像裸土地分类方法及装置 - Google Patents

一种遥感图像裸土地分类方法及装置 Download PDF

Info

Publication number
CN115527113A
CN115527113A CN202211129255.9A CN202211129255A CN115527113A CN 115527113 A CN115527113 A CN 115527113A CN 202211129255 A CN202211129255 A CN 202211129255A CN 115527113 A CN115527113 A CN 115527113A
Authority
CN
China
Prior art keywords
image
remote sensing
classified
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211129255.9A
Other languages
English (en)
Inventor
刘亚岚
任玉环
何陈
王大成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211129255.9A priority Critical patent/CN115527113A/zh
Publication of CN115527113A publication Critical patent/CN115527113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种遥感图像裸土地分类方法及装置,方法包括:获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素;对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像;对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像;对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像;根据所述拼接特征图像,对所述待分类遥感图像中的像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或者背景类别。

Description

一种遥感图像裸土地分类方法及装置
技术领域
本申请涉及但不限于遥感图像处理技术领域,尤其涉及一种遥感图像裸土地分类方法及装置。
背景技术
随着人口和经济的高速增长,尤其是城镇化速度加速,不合理的土地利用方式导致土地资源浪费严重,同时造成生态环境的污染。裸露土地是土地覆盖类型的重要组成部分,对城市环境产生重要的影响。一方面,大量裸露土地的存在,导致土地利用率低、造成土地资源浪费;另一方面,裸露土地没有植被保护,易引发扬尘、水土流失等生态问题。
因此,快速并准确地定位裸土地区域,对于城市环境的精细化治理和土地资源的优化配置尤其重要。
发明内容
基于相关技术存在的问题,本申请实施例提供一种遥感图像裸土地分类方法及装置。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种遥感图像裸土地分类方法,所述方法包括:
获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素;
对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像;
对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像;
对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像;
根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
在一些实施例中,所述对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像,包括:
通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像;
通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像;
通过通道注意力与空间注意力机制,对所述特征图像进行注意力特征提取,得到具有不同层级的所述第一特征图像和所述第二特征图像。
在一些实施例中,所述通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像,包括:
通过通道注意力模块,对所述待分类遥感图像分别进行最大池化处理和平均池化处理,得到通道最大池化特征图像和通道平均池化特征图像;
通过共享全连接层,对所述通道最大池化特征图像和所述通道平均池化特征图像分别进行特征提取,得到第三特征图像和第四特征图像;
对所述第三特征图像和所述第四特征图像依次进行元素相加处理和激活处理,得到初始通道特征图像;
对所述初始通道特征图像和所述待分类遥感图像进行元素相乘处理,得到通道特征图像;
通过空间注意力模块,对所述通道特征图像分别进行最大池化处理和平均池化处理,得到空间最大池化特征图像和空间平均池化特征图像;
对所述空间最大池化特征图像和所述空间平均池化特征图像进行拼接处理,得到空间拼接特征图像;
依次对所述空间拼接特征图像进行降维处理和激活处理,得到空间特征图像;
对所述空间特征图像与所述通道特征图像进行元素相乘处理,得到注意力特征图像。
在一些实施例中,所述通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像,包括:
对所述注意力特征图像进行升维处理,得到升维特征图像;
通过深度卷积层,对所述升维特征图像进行下采样处理,得到下采样特征图像;
通过逐点卷积层,对所述下采样图像进行降维处理,得到所述特征图像。
在一些实施例中,所述对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像,包括:
根据空洞空间金字塔池化,对所述第一特征图像进行并行的空洞卷积处理,得到五个空洞卷积特征图像;
对所述五个空洞卷积特征图像进行逐点卷积处理,得到所述待分类遥感图像的所述深层特征图像。
在一些实施例中,根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,包括:
通过具有预设尺寸的卷积核,对所述拼接特征图像进行卷积处理,得到卷积特征图像;
对所述卷积特征图像进行上采样处理,得到所述待分类遥感图像中每一像素点的分类结果。
在一些实施例中,所述方法还包括:
获取遥感图像,所述遥感图像至少包括两个256×256像素大小的影像块;
根据预设图像尺寸,对所述遥感图像进行裁剪,得到至少两个待分类遥感图像和每一待分类遥感图像在所述遥感图像上的位置信息;
对应地,在得到待分类遥感图像中每一像素点的分类结果之后,所述方法还包括:
根据每一所述待分类遥感图像在所述遥感图像上的位置信息,对分类后的待分类遥感图像进行拼接,得到分类图像;
根据所述遥感图像的地理信息,对所述分类图像进行地理信息重建,得到遥感分类图像;
根据所述遥感分类图像中每一像素点的分类结果,确定所述遥感分类图像对应的裸土地分类图。
在一些实施例中,所述方法还包括:
获取至少一千个包括裸土地的样本遥感图像;
对所述样本遥感图像中的裸土地和非裸土地进行标注,得到标注样本遥感图像;
将标注后的标注样本遥感图像,确定为样本数据集。
在一些实施例中,所述方法通过裸土地语义分割模型实现,所述裸土地语义分割模型至少包括特征提取模块、空洞卷积模块、拼接模块和分类模块;所述裸土地语义分割模型通过以下步骤训练得到:
将样本数据集输入至所述裸土地语义分割模型中,所述样本数据集包括样本图像,所述样本图像的大小为256×256像素;
通过所述特征提取模块,对所述样本图像进行特征提取处理,得到具有不同层级的第一特征样本图像和第二特征样本图像;
通过所述空洞卷积模块,对所述第一特征样本图像进行空洞卷积处理,得到所述样本图像的深层特征样本图像;
通过所述拼接模块,对所述第二特征样本图像和所述语义特征样本图像进行拼接处理,得到拼接特征样本图像;
通过所述分类模块,根据所述拼接特征样本图像,对所述样本图像中的全部像素点进行分类,得到所述样本图像中每一像素点的样本分类结果,所述样本分类结果至少包括裸土地或背景类别;
将所述样本分类结果输入至预设损失模型中,得到损失结果;
根据所述损失结果,对所述特征提取模块、所述空洞卷积模块、所述拼接模块和所述分类模块中的参数进行修正,以得到训练后的裸土地语义分割模型。
本申请实施例提供一种裸土地分类装置,所述装置包括:
获取模块,用于获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素;
特征提取模块,用于对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像;
空洞卷积模块,用于对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像;
拼接模块,用于对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像;
分类模块,用于根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
本申请实施例提供一种遥感图像裸土地分类设备,包括处理器和存储器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述遥感图像裸土地分类方法。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述遥感图像裸土地分类方法。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括可执行指令,所述可执行指令存储在计算机可读存储介质中;当裸土地分类设备的处理器从所述计算机可读存储介质读取所述可执行指令,并执行所述可执行指令时,实现上述遥感图像裸土地分类方法。
本申请实施例提供的遥感图像裸土地分类方法及装置,获取大小为256×256像素的待分类遥感图像,对待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像,对第一特征图像进行空洞卷积处理,得到待分类遥感图像的深层特征图像;对第一特征图像和深层特征图像进行拼接处理,得到拼接特征图像,根据拼接特征图像,对待分类遥感图像中的像素点进行分类,得到待分类遥感图像中每一像素点的分类结果。如此,本申请实施例对待分类遥感图像进行特征提取得到的不同层级的特征图像,兼顾了待分类遥感图像的边界信息和深层语义信息,因此,在进行裸土地分类时,能够通过更丰富的特征进行分类,提升分类结果的准确性;同时本申请实施例实现了对待分类遥感图像进行像素级别的分类,使得分类结果完全可以满足城市环境精细化治理中对裸土地监测的需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例提供的一种遥感图像裸土地分类方法的实现流程示意图;
图2是本申请实施例提供的一种遥感图像裸土地分类方法的实现流程示意图;
图3是本申请实施例提供的一种遥感图像裸土地分类方法的实现流程示意图;
图4是本申请实施例提供的Deeplabv3+_M_CBAM模型结构示意图;
图5是本申请实施例提供的M_CBAM模型结构示意图;
图6是本申请实施例提供的CBAM模型结构示意图;
图7是本申请实施例提供的三种模型训练过程中平均交并比精度的变化曲线;
图8是本申请实施例提供的裸土地分类结果示意图;
图9是本申请实施例提供的一种遥感图像裸土地分类装置示意图;
图10是本申请实施例提供的一种遥感图像裸土地分类设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在国内外的研究中,将裸土地定义为“表层为土质,基本无植被覆盖的土地”,遥感技术由于具备大范围、宏观、动态等优势,使得遥感技术为大范围裸土地的监测提供了有效的技术支持。
相关技术中的遥感分类研究包括两类,第一类是基于中低分辨率影像,采样监督分类方法的土地覆盖制图,例如,根据中分辨率成像光谱仪(MODIS)1km(千米)数据,制作国家测绘组织的全球土地覆盖产品(The Global Land Cover by National MappingOrganizations,GLCNMO),其中裸土地包括砾石、岩石和沙;或基于深度学习方法,例如通过MODIS 500m(米)数据制作的年度土地覆盖产品,其中裸土地包括土壤、沙子、岩石或积雪暴露的土地。第二类是仅针对裸土地提取的裸土指数,如利用多光谱数据构建的裸土指数模型,例如,利用卫星成像系统(Landsat TM)30m多光谱数据构建的裸土指数模型,提取精度在92.16%至95.95%之间。可以看出,第一类研究中分类粒度较粗,将裸露岩石、盐碱地、沙地等分为裸图地。此外,现有土地利用/覆盖公开数据集,在数据精度与更新周期上都无法满足城市环境精细化治理的需求。第二类研究中的裸土指数多依赖于短波红外、中红外波段构建,不适合目前亚米级高分辨率遥感图像中裸土地的提取。
相关技术采用高分辨率遥感图像进行裸土地分类,虽然遥感图像中地物细节反映很清晰,但对裸土地的提取也造成了多种干扰,导致裸土地提取的难度大。一是由于裸土地本身大多无固定几何形状,大小各异,边界破碎;二是由于苫盖、种树、种草等治理方式下的已治理区域仍存在一些小图斑裸土地,种草区域随季节变化导致的裸土地复现、苫盖网破损或压盖不实等导致的裸土地再次暴露等,形成了复杂的背景;三是由于高分辨率影像上建筑物与裸土地具有相似的光谱特征。因此,对治理需求而言,己治理区域中的少量裸土地已不是关注的裸土地对象而是背景信息,因此,需要将其剔除。
相关技术中的遥感图像分析技术无法满足面向环境治理的裸土地监测应用需求,目前还未发现有针对这种大范围高分辨率遥感图像的裸土地提取研究和应用的相关报道。因此,在语义信息丰富的高分辨率遥感图像上,将裸土地与其他土地覆盖类型分离仍然是实际应用中的一个技术难题,尤其是随着影像分辨率的提高、数据量的剧增,对遥感信息提取的可靠性和效率也同时提出了严峻的挑战。
基于相关技术存在的问题,本申请实施例提供一种遥感图像裸土地分类方法,通过获取大小为256×256像素的待分类遥感图像,对待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像,对第一特征图像进行空洞卷积处理,得到待分类遥感图像的深层特征图像;对第一特征图像和深层特征图像进行拼接处理,得到拼接特征图像,根据拼接特征图像,对待分类遥感图像中的至少两个像素点进行分类,得到待分类遥感图像中每一像素点的分类结果。如此,本申请实施例对待分类遥感图像进行特征提取得到的不同层级的特征图像,兼顾了待分类遥感图像的边界信息和深层语义信息,因此,在进行裸土地分类时,能够通过更丰富的特征进行分类,提升分类结果的准确性;同时本申请实施例实现了对待分类遥感图像进行像素级别的分类,使得分类结果完全可以满足城市环境精细化治理中对裸土地监测的需求。
本申请实施例提供的遥感图像裸土地分类方法可以由裸土地分类设备等电子设备执行,其中电子设备可以是笔记本电脑,平板电脑,台式计算机等类型的终端,也可以实施为服务器。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
下面,将说明裸土地分类设备实施为服务器时的示例性应用,将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1是本申请实施例提供的一种遥感图像裸土地分类方法的实现流程示意图,如图1所示,该方法通过步骤S101至步骤S105实现:
步骤S101、获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素。
在一些实施例中,由于遥感图像的地理范围大、像素数量多且分辨率太高,在利用深度学习模型进行特征提取时,服务器需要进行大量的计算,会导致计算效率大大降低,因此,本申请实施例在进行特征提取之前,对遥感图像进行裁剪操作,得到多个具有标准大小的待分类遥感图像,再对多个待分类遥感图像进行特征提取,能够提高计算效率,加快特征提取速率。
在一些实施例中,遥感图像可以是经过系统辐射校正和系统几何校正后的多光谱高分辨率遥感图像或其他图像。
在本申请实施例中,可以先获取遥感图像,根据预设图像尺寸,对遥感图像进行裁剪,得到至少两个待分类遥感图像和每一待分类遥感图像在遥感图像上的位置信息。这里,预设图像尺寸可以是特征分类时的需要输入的图像的尺寸,例如,预设图像尺寸大小是256×256像素。可以根据预设图像尺寸,对遥感图像裁剪,得到至少两个待分类遥感图像和每一待分类遥感图像在遥感图像上的位置信息。其中,每一待分类遥感图像的大小可以是256×256像素;位置信息可以是待分类遥感图像在遥感图像上的行列信息,例如,根据预设图像尺寸将遥感图形剪裁为十行十列,待分类遥感图像的位置信息可以是第三行第四列。
在本申请实施例中,在对每一待分类遥感图像进行分类之后,可以根据每一待分类遥感图像的位置信息,将分类后的图像进行拼接,得到分类后的遥感图像。
步骤S102、对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像。
这里,可以通过MobileNet V2来对待分类遥感图像进行特征提取处理,MobileNetV2是轻量级特征提取模型,可以减少模型参数,避免模型过拟合。同时为排除枯草地、林下裸土和建筑物等非感兴趣区域的干扰,本申请实施例将空间注意力模块(ConvolutionalBlock Attention Module,CBAM)模块分别加入到MobileNet V2的起始层和最后一层,对Mobilenet V2网络进行优化,使裸土地的纹理等细节特征得到增强,在第一特征图像和第二特征图像的生成阶段增加对裸土地空间特征和通道特征的约束。
在本申请实施例中,通过CBAM+Mobilenet V2对待分类遥感图像进行特征提取处理之后,可以得到具有不同层级的第一特征图像和第二特征图像。其中,第一特征图像具有深层特征,用于提供待分类遥感图像的语义信息;第二特征图像具有浅层特征,用于提供待分类遥感图像的边界信息。
本申请实施例对待分类遥感图像进行特征提取得到的不同层级的特征图像,兼顾了待分类遥感图像的边界信息和语义信息,使得在进行裸土地分类时,具有更多的特征,提升了分类结果准确性
步骤S103、对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像。
在本申请实施例中,通过对第一特征图像进行空洞卷积处理,提供不同膨胀系数的卷积层,可以提取第一特征图像中不同尺度的空洞卷积特征,得到具有待分类遥感图像语义特征的深层特征图像。
在本申请实施例中,步骤S103可以通过步骤S1031和步骤S1032实现:
步骤S1031、根据空洞空间卷积金字塔池化,对所述第一特征图像进行并行的空洞卷积处理,得到五个空洞卷积特征图像。
在一些实施例中,通过空洞空间卷积金字塔池化(Atrous Spatial PyramidPooling,ASPP),采用不同的膨胀系数和相同的卷积核尺寸,对所述第一特征图像进行并行的空洞卷积处理,可以获取不同尺度的感受野,提取多尺度的信息。
本申请实施例对第一特征图像进行并行的空洞卷积处理至少可以包括通过1×1的卷积层,对第一特征图像进行降维;通过不同的膨胀因子(atrous rates),叠加相应的空洞卷积层,提取第一特征图像在不同尺度下的特征,例如,给定膨胀因子分别为6、12和18,叠加相应的3×3的空洞卷积层,提取不同尺度下的特征图像;通过空洞池化层对第一特征图像进行池化处理,得到池化图像。
这里,对第一特征图像分别经过1×1的卷积层、三个给定膨胀因子的空洞卷积层和池化处理,可以得到五个空洞卷积特征图像。
本申请实施例可以根据需求确定空洞空间卷积金字塔池化中具有不同的膨胀因子的卷积层数量,从而得到不同数量的空洞卷积特征图像。
步骤S1032、对所述五个空洞卷积特征图像进行逐点卷积处理,得到所述待分类遥感图像的所述深层特征图像。
在一些实施例中,通过空洞空间卷积金字塔池化,得到五个空洞卷积特征图像之后,可以对至少两个空洞卷积特征图像进行特征叠加,可以得到输入通道为第一特征图像输入通道的5倍的叠加特征图像。对该叠加特征图像进行逐点卷积处理(可以是1×1卷积),对叠加特征图像进行降维,得到待分类遥感图像的深层特征图像。
步骤S104、对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像。
在本申请实施例中,可以对深层特征图像进行双线性上采样4倍,得到第一拼接图像;可以通过1×1卷积层对第二特征图像进行降通道处理,得到与第一拼接图像具有相同通道数的第二拼接图像。将第一拼接图像和第二拼接图像进行拼接得到特征拼接图像。
步骤S105、根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
在一些实施例中,可以对拼接特征图像经过一个3x3卷积来细化拼接特征图像中的特征,最终再双线性上采样4倍得到待分类遥感图像中每一像素点的分类结果,分类结果包括裸土地和背景类别。
在本申请实施例中,根据拼接特征图像,对待分类遥感图像中的至少两个像素点进行分类可以通过步骤S1051和步骤S1052实现:
步骤S1051、通过具有预设尺寸的卷积核,对所述拼接特征图像进行卷积处理,得到卷积特征图像。
在本申请实施例中,可以通过预设尺寸的卷积核(例如3x3的卷积核)对拼接特征图像进行卷积处理,细化拼接特征图像的特征,得到卷积特征图像。
步骤S1052、对所述卷积特征图像进行上采样处理,得到所述待分类遥感图像中每一像素点的分类结果。
在一些实施例中,在得到待分类遥感图像中每一像素点的分类结果之后,本申请实施例还可以具有步骤S1至步骤S3:
步骤S1、根据每一所述待分类遥感图像在所述遥感图像上的位置信息,对分类后的待分类遥感图像进行拼接,得到分类图像。
在一些实施例中,可以根据每一待分类遥感图像在遥感图像上的行列信息,对全部分类后的待分类遥感图像进行拼接,得到分类图像。该分类图像与遥感图像的大小相同,分类图像展示了遥感图像上裸土地的位置和面积。
步骤S2、根据所述遥感图像的地理信息,对所述分类图像进行地理信息重建,得到遥感分类图像。
在一些实施例中,遥感图像的地理信息至少可以包括房屋建筑、道路、森林和湖泊等地理信息,根据遥感图像中每一像素点的地理信息,对分类图像中对应的像素点进行地理信息重建,得到既具有地理信息,又具有分类信息的遥感分类图像。
步骤S3、根据所述遥感分类图像中每一像素点的分类结果,确定所述遥感分类图像对应的裸土地分类图。
由于遥感分类图像中具有每一像素点的分类结果,分类结果至少包括裸土地或背景类别,因此,可以直观的确定遥感分类图像对应的裸土地分类图,进而生成裸土地栅格提取结果。本申请实施例对待分类遥感图像进行特征提取得到的不同层级的特征图像,兼顾了待分类遥感图像的边界信息和语义信息,因此,在进行裸土地分类时,能够通过更丰富的特征进行分类,提升分类结果的准确性;同时本申请实施例实现了对待分类遥感图像进行像素级别的分类,使得分类结果完全可以满足城市环境精细化治理中对裸土地监测的需求。
在一些实施例中,利用MobileNet V2替代DeeplabV3+的原始骨干网络,并加入了通道与空间注意力模块对Mobilenet V2进行优化,使裸土地的纹理等细节特征得到增强以有效区分裸土地与背景地物。基于上述实施例,图2是本申请实施例提供的一种遥感图像裸土地分类方法的实现流程示意图,如图2所示,步骤S102可以通过步骤S201至步骤S203实现:
步骤S201、通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像。
在本申请实施例中,将CBAM加入进MobileNet V2,在DeepLabv3的骨干网络中间特征图的生成阶段增加对裸土地空间特征和通道特征的约束。CBAM包含2个独立的子模块,分别是通道注意力模块(Channel Attention Module,CAM)和空间注意力模块(SpartialAttention Module,SAM),分别进行通道与空间维度上的关注。在本申请实施例中,可以将通道注意力模块和空间注意力模块能够以串行的方式进行组合,以提高特征提取准确度。
本申请实施例将CBAM模块集成到相关的网络架构中,这样不仅能够节约参数和计算力,还能对相关的网络架构进行优化。
在一些实施例中,通过通道注意力与空间注意力机制,对待分类遥感图像进行注意力特征提取可以通过步骤S2011至步骤S2018来实现:
步骤S2011、通过通道注意力模块,对所述待分类遥感图像分别进行最大池化处理和平均池化处理,得到通道最大池化特征图像和通道平均池化特征图像。
在本申请实施例中,首先通过通道注意力模块对待分类遥感图像进行注意力特征提取,对待分类遥感图像分别进行基于宽度(width)和高度(height)的最大池化处理(global max pooling)和平均池化处理(global average pooling),得到通道最大池化特征图像和通道平均池化特征图像。
在本申请实施例中,CBAM通过在通道上进行全局池化来引入位置信息,每个位置都包含了待分类遥感图像中一个局部区域的信息。
步骤S2012、通过共享全连接层,对所述通道最大池化特征图像和所述通道平均池化特征图像分别进行特征提取,得到第三特征图像和第四特征图像。
在一些实施例中,共享全连接层可以是一个两层的神经网络(Shared MLP),可以实现特征转换,信息重组。共享全连接层分别对通道最大池化特征图像和通道平均池化特征图像进行维度转换,例如,通道最大池化特征图像的维度为C1维,共享全连接层进行维度转换,将C1维转换为C2维,这C2维中每一维都整合了原来全部C1维的信息,但这C2维中不同维度利用这些信息的侧重点不同。
步骤S2013、对所述第三特征图像和所述第四特征图像依次进行元素相加处理和激活处理,得到初始通道特征图像。
步骤S2014、对所述初始通道特征图像和所述待分类遥感图像进行元素相乘处理,得到通道特征图像。
在本申请实施例中,可以对第三特征图像和第四特征图像依次进行基于element-wise的加和操作,再经过sigmoid激活操作处理,得到初始通道特征图像,再将初始通道特征图像和待分类遥感图像进行基于element-wise的乘法处理,得到通道特征图像。该通道特征图像是通道注意力模块的输出特征图像,即空间注意力模块的输入图像。
步骤S2015、通过空间注意力模块,对所述通道特征图像分别进行最大池化处理和平均池化处理,得到空间最大池化特征图像和空间平均池化特征图像。
在本申请实施例中,可以通过空间注意力模块对通道特征图像进行注意力特征提取,对通道特征图像进行基于通道(channel)的最大池化处理(global max pooling)和平均池化处理(global average pooling),得到空间最大池化特征图像和空间平均池化特征图像。
步骤S2016、对所述空间最大池化特征图像和所述空间平均池化特征图像进行拼接处理,得到空间拼接特征图像。
本申请实施例可以对空间最大池化特征图像和空间平均池化特征图像基于通道(channel)进行拼接,得到空间拼接特征图像。
步骤S2017、依次对所述空间拼接特征图像进行降维处理和激活处理,得到空间特征图像。
本申请实施例可以通过一个7×7的卷积层对空间拼接特征图像进行降维处理,降维为1个通道,再进行sigmoid激活生成空间特征图像。
步骤S2018、对所述空间特征图像与所述通道特征图像进行元素相乘处理,得到注意力特征图像。
最后将空间特征图像与通道特征图像进行元素相乘处理,得到注意力特征图像,该注意力特征图像为CBAM模块的输出特征图像。
步骤S202、通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像。
步骤S2021、对所述注意力特征图像进行升维处理,得到升维特征图像。
步骤S2022、通过深度卷积层,对所述升维特征图像进行下采样处理,得到下采样特征图像。
步骤S2023、通过逐点卷积层,对所述下采样图像进行降维处理,得到所述特征图像。
在一些实施例中,当步长为1时,待分类遥感图像先经过CBAM模块处理得到注意力特征图像,再依次对其经过1×1卷积层升维、深度卷积层和逐点卷积层降维处理,得到特征图像,将特征图像和注意力特征图像进行残差操作,实现对MobileNet V2与CBAM处理得到的特征图的融合,得到融合图像,最后再次经过CBAM模块的处理,得到DeepLabv3的骨干网络的输出特征图。当步长为2时,无残差结构,其余与步长为1时的步骤相同。
步骤S203、通过通道注意力与空间注意力机制,对所述特征图像进行注意力特征提取,得到具有不同层级的所述第一特征图像和所述第二特征图像。
在本申请实施例中,在得到融合图像之后,再次通过通道注意力与空间注意力机制,对融合图像进行注意力特征提取,得到具有不同层级的第一特征图像和第二特征图像。
本申请实施例采用MobileNet V2作为骨干网络,将计算参数量减少了90%,加速了模型的拟合速度,避免了过拟合现象。其次,将CBAM模块分别加入到MobileNet V2的起始层,对MobileNet V2网络进行优化,排除枯草地、林下裸土和建筑物等非感兴趣区域的干扰,提高了分类准确度。
在一些实施例中,前述实施例提供的遥感图像裸土地分类方法,通过裸土地语义分割模型实现,裸土地语义分割模型至少包括特征提取模块、空洞卷积模块、拼接模块和分类模块;所述裸土地语义分割模型通过步骤S301至步骤S307训练得到:
步骤S301、将样本数据集输入至所述裸土地语义分割模型中,所述样本数据集包括样本图像,所述样本图像的大小为256×256像素。
在本申请实施例中,可以先获取1000个左右包括裸土地的样本遥感图像,对样本遥感图像中的裸土地和背景类别进行标注,得到标注样本遥感图像,将标注后的标注样本遥感图像,确定为样本数据集。
在一些实施例中,可以利用深度学习平台语义分割标记工具对样本遥感影像中的裸土地进行标注,将生成的裸土地与背景二分类分割标签保存在相应的标注样本遥感图像中。
步骤S302、通过所述特征提取模块,对所述样本图像进行特征提取处理,得到具有不同层级的第一特征样本图像和第二特征样本图像。
步骤S303、通过所述空洞卷积模块,对所述第一特征样本图像进行空洞卷积处理,得到所述样本图像的深层特征样本图像。
步骤S304、通过所述拼接模块,对所述第一特征样本图像和所述深层特征样本图像进行拼接处理,得到拼接特征样本图像。
步骤S305、通过所述分类模块,根据所述拼接特征样本图像,对所述样本图像中的像素点进行分类,得到所述样本图像中每一像素点的样本分类结果,所述样本分类结果至少包括裸土地或背景类别。
步骤S306、将所述样本分类结果输入至预设损失模型中,得到损失结果。
本申请实施例中,预设损失模型中包括损失函数,通过损失函数计算样本分类结果与预先标注的样本数据集之间的相似度,将所得到的相似度确定为该损失结果。
在一些实施例中,样本分类结果与预先标注的样本数据集之间的相似度可以取值0到100%。这里,可以预先设置一相似度阈值,当样本分类结果与预先标注的样本数据集之间的相似度大于相似度阈值时,表明裸土地语义分割模型能够准确的预测出样本数据集中的裸土地,因此无需对裸土地语义分割模型进行进一步的训练,即可以停止对裸土地语义分割模型的继续训练;当样本分类结果与预先标注的样本数据集之间的相似度小于或等于相似度阈值时,表明裸土地语义分割模型不能准确的预测出样本数据集中的裸土地,因此需要继续对裸土地语义分割模型进行进一步的训练。
在一些实施例中,还可以设置裸土地语义分割模型训练过程的收敛条件,例如,收敛条件可以是当训练时长达到时长阈值时,则停止对裸土地语义分割模型的训练,或,收敛条件可以是当训练次数达到次数阈值时,则停止对裸土地语义分割模型的训练,或,收敛条件可以是当裸土地语义分割模型输出的样本分类结果与预先标注的样本数据集之间的相似度大于上述相似度阈值时,则停止对裸土地语义分割模型的训练。
步骤S307、根据所述损失结果,对所述特征提取模块、所述空洞卷积模块、所述拼接模块和所述分类模块中的参数进行修正,以得到训练后的裸土地语义分割模型。
这里,对特征提取模块、空洞卷积模块、拼接模块和分类模块中的参数进行修正是指,修正裸土地语义分割模型的参数,使得将样本数据集输入裸土地语义分割模型后预测的裸土地分类与样本数据集中标注的裸土地分类相同。
本申请实施例通过样本数据集对裸土地语义分割模型进行训练,得到训练后的裸土地语义分割模型,因此,在进行裸土地分类时,通过训练后的裸土地语义分割模型对遥感图像进行裸土地分类,提高了裸土地分类的准确性。
本申请实施例再提供一种遥感图像裸土地分类方法在实际场景中的应用。
本申请实施例提供一种遥感图像裸土地分类方法,首先,可以利用高分辨率遥感影像(即遥感图像)建立裸土地样本集(即样本数据集);其次,利用对裸土地样本集对构建的裸土地语义分割模型进行训练和测试,得到最终的裸土地语义分割模型;然后对大幅面高分辨率遥感影像进行裁剪,以满足裸土地语义分割模型对输入图像的要求;之后,对裁剪后的高分辨率遥感影像块(即待分类遥感图像)进行语义分割(即裸土地分类),并得到分割结果;最后,将分割结果的地理位置信息进行复原,最终得到裸土地栅格提取结果。
本申请实施例提供的遥感图像裸土地分类方法可以通过步骤S10至步骤S60实现:
S10、利用经过辐射校正和几何校正的大幅面高分辨率遥感影像,建立裸土地样本集。
在本申请实施例中,获取经过了系统辐射校正和系统几何校正后的多光谱高分辨率遥感影像,在遥感影像选取一定数量的含有裸土地的图像区域,利用深度学习语义分割标记工具,对其中所选区域内的裸土地与背景类别进行标注(其中,裸土地标注为裸土地,背景区域标注为非裸土地),将生成的二分类分割标签保存相应图片文件中,以此构建裸土地样本集。
S20、基于Deeplabv3+深度学习模型构建Deeplabv3+_M_CBAM裸土地分割模型。
本申请实施例将DeepLabv3+的骨干网络Xception替换为轻量级的MobileNet V2网络,以减少原始模型参数量,避免过拟合,提高模型的训练效率;且为排除枯草地、林下裸土和建筑物等非感兴趣区域的干扰,采用通道与空间注意力模块(Convolutional BlockAttention Module,CBAM)对MobileNet V2网络进行优化,建立了DeepLabv3+_M_CBAM模型,对模型进行训练与测试,最终得到DeepLabv3+_M_CBAM裸土地语义分割模型。
在本申请实施例中,图4是本申请实施例提供的Deeplabv3+_M_CBAM模型结构示意图,如图4所示,Deeplabv3+_M_CBAM模型由编码结构401(Encoder)和解码结构402(Decoder)组成。其中输入为大小固定为256×256像素的待分类遥感图像。编码结构401包括骨干网络4011(Backbone)、膨胀空间金字塔池化4012(Atrous Spatial PyramidPooling,ASPP)和1x1卷积层4013。解码结构402包括拼接层4021、卷积层4022和上采样层4023。待分类遥感图像通过编码结构401和解码结构402得到裸土地预测结果。
在一些实施例中,膨胀空间金字塔池化4012用于提取不同尺度的空洞卷积特征,1x1卷积层用于将ASPP中输出的多个尺度特征(即空洞卷积特征图像)压缩为一个特征层(即深层特征图像),并传入解码结构402。该解码结构402将浅层特征与深层特征(即第一特征图像和第二特征图像)进行拼接操作,再经过卷积层4022和上采样层4023,即可得到最后的裸土地语义分割输出图。
在一些实施例中,为了减少模型参数,本申请实施例将MobileNet V2作为Deeplabv3+_M_CBAM模型的骨干网络。MobileNet V2是语义分割领域的一个轻量级网络,模型体量小且特征提取能力强,在语义分割与目标检测任务上都有很好表现。
在一些实施例中,为排除枯草地、林下裸土和建筑物等非感兴趣区域的干扰,本申请实施例将CBAM模块分别加入到MobilenNet V2网络的起始层,得到M_CBAM模型,将M_CBAM模型作为Deeplabv3+_M_CBAM模型的骨干网络。CBAM模块串联了空间注意力模块(SpatialAttention Module)和通道注意力模块(Channel Attention Module),给定一个中间特征图,可沿着两个独立的维度依次推断注意力图,然后将注意力图与输入特征图相乘,进行自适应特征优化。
图5是本申请实施例提供的M_CBAM模型结构示意图,如图5所示,当步长(stride)为1block时,输入图片(Input,即待分类图片)先经过CBAM模块处理得到特征图501(即注意力特征图像);再依次对特征图501经过1×1卷积层502升维、深度卷积层503、逐点卷积层504降维处理,得到相应的特征图,将两个特征图通过残差结构505进行残差操作,实现对MobileNet V2与CBAM处理得到的特征图的融合;最后再次经过CBAM模块的处理,得到骨干网络的输出特征图。当步长为2block时,无残差结构505,其余步骤与步长为1block时的相同。
图6是本申请实施例提供的CBAM模型结构示意图,如图6所示,CBAM模型包括串行的通道注意力模块601和空间注意力模块602。其中,将输入的特征图(即待分类遥感图像)分别经过最大池化6011和平均池化6012,得到两个特征图,再将两个特征图(第三特征图像和第四特征图像)分别送入共享全连接层6013,将共享全连接层6013输出的特征进行基于element-wise的加和操作,再经过sigmoid激活操作,生成初始通道特征图像。最后,将初始通道特征图像和输入特征图做element-wise乘法操作,生成通道特征图像。将通道注意力模块601输出的通道特征图像作为空间注意力模块602的输入特征图。首先做一个基于通道的最大池化和平均池化6021,得到两个特征图(即空间最大池化特征图像和空间平均池化特征图像),然后将这两个特征图基于通道做拼接操作,得到空间拼接特征图像。然后通过卷积层6022进行卷积操作降维,降维为1个通道。再经过sigmoid激活操作生成空间特征图像。最后将空间特征图像和通道特征图像做乘法,得到最终生成的特征图像(即注意力特征图像)。
本申请实施例选择语义分割模型DeepLabv3+作为基本框架,将其骨干网络Xception替换为轻量级的MobileNet V2网络,并结合CBAM模块的通道与空间注意力机制对MobileNet V2网络进行优化,使得模型对于干扰地物具有更强的区分能力,构建了DeepLabv3+_M_CBAM裸土地语义分割模型,解决了遥感图像中裸土地提取受多种复杂背景干扰的问题,避免了模型过拟合。
S30、对待分割的整幅高分辨率遥感影像进行裁剪,并按行列号对裁剪后的影像块进行命名。
在一些实施例中,相关深度学习语义分割模型的输入影像大小一般是几百或几千像素,例如本申请实施例采用的基于DeepLabv3+_M_CBAM模型输入影像的大小是256×256像素,这与大幅面遥感影像(Large Remote Sensing Images)的大小差别很大,所以将遥感影像输入网络之前需要先进行裁剪操作,得到标准影像块(即待分类遥感图像),并将其按照裁剪行列号进行命名。
S40、基于DeepLabv3+_M_CBAM模型,提取裁剪后的每个影像块中的裸土地,得到相应影像块的像素级裸土地二分类结果。
在一些实施例中,将裁剪后的标准影像(即待分类遥感图像)块依次输入到训练好的裸土地提取模型DeepLabv3+_M_CBAM(即裸土地语义分割模型)中,为每个标准影像块进行裸土地语义分割,得到裸土地分类提取结果。
S50、按影像所属行列号对前述分类结果进行拼接,得到整幅影像的裸土地分类结果。
在一些实施例中,可以根据每个标准影像块的裁剪行列号对其进行拼接,得到拼接后的分类结果。
S60、对拼接后的整幅影像的分类结果进行地理位置信息的复原,得到整幅影像的裸土地栅格分类图。
在一些实施例中,可以根据原始遥感影像的空间坐标系,将拼接后的分类结果的地理位置信息进行复原,最终生成裸土地栅格提取结果。
本申请实施例针对大幅面遥感影像中无法直接输入相关深度学习模型的问题,通过对高分辨率遥感影像的裁剪和裸土地语义分割结果的地理位置信息复原两个步骤,解决了深度学习模型无法直接针对大幅面遥感影像进行检测以及分割结果不利于分类统计的问题。通过本发明提出的一种遥感图像裸土地分类方法及装置,可以实现大幅面高分辨率遥感影像中裸土地的快速、高精度、智能化提取。
本申请实施例提供的遥感图像裸土地分类方法对DeepLabv3+模型进行了改进,提出并构建了DeepLabv3+_M_CBAM裸土地语义分割模型,同时构建了其完整的技术流程,加快了DeepLabv3+_M_CBAM在预测过程中的收敛速度、避免了模型过拟合,并增强了模型对通道特征与空间特征的融合能力,有效避免了复杂背景地物对裸土地提取的干扰;能够自动从大幅面高分辨率遥感影像中提取面向环境治理的裸土地信息,精度高、速度快、智能化程度高;通过对大幅面的高分辨率遥感影像中裸土地的提取,快速得到裸土地栅格分类结果,可提高裸土地提取的自动化和智能化处理效率与精度,为裸土地的精准治理提供靶区,有助于城市环境的精细化治理与土地资源的合理利用。
图7是本申请实施例提供的三种模型训练过程中平均交并比精度的变化曲线。从图7中可以看出DeepLabv3+_Xception、DeepLabv3+_MobileNet V2和DeepLabv3+_M_CBAM这三种模型的平均交并比精度(Mean Intersection over Union,MIoU)曲线分别随训练次数的增加而逐渐保持平稳,但其变化特点存在明显差异。DeepLabv3+_MobileNet V2模型在第一轮学习完成后达到了80%以上的精度,体现了轻量级网络在小样本数据集上的学习优势,并且在第20轮学习后达到了DeepLabv3+_Xception的最优精度。在引入CBAM模块改进MobileNet V2网络后,DeepLabv3+_M_CBAM在训练前期的精度更高,并且最终的训练精度均高于前两个模型,说明CBAM模块的引入有助于模型更快更好地学习裸土地的特征。
基于本申请实施例提供的遥感图像裸土地分类方法,图8是本申请实施例提供的裸土地分类结果示意图,其中,图8中a图为某市某村镇的经过辐射校正和几何精校正的大幅面高分辨率遥感影像,进行裸土地分类后的分类结果如b图所示,其中黑色区域为提取的裸土地区域。由图8可知,本申请实施例提供的遥感图像裸土地分类方法,提取的平均类别精度(Mean Pixel Accuracy,MPA)达到92.98%,检测速度(Frames Per Second,FPS)为42.99f/s,实现了大幅面高分辨率遥感影像裸土地的快速、高精度和智能化提取,示例验证了本申请实施例提供的方法是有效性的,而且达到了实时处理的速度。
基于上述实施例,本申请实施例提供一种遥感图像裸土地分类装置;图9是本申请实施例提供的一种遥感图像裸土地分类装置示意图,如图9所示,所述装置90包括获取模块901、特征提取模块902、空洞卷积模块903、拼接模块904和分类模块905。
获取模块901,用于获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素。
特征提取模块902,用于对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像。
空洞卷积模块903,用于对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像。
拼接模块904,用于对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像。
分类模块905,用于根据所述拼接特征图像,对所述待分类遥感图像中的像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
在一些实施例中,特征提取模块902还用于通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像;通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像;通过通道注意力与空间注意力机制,对所述特征图像进行注意力特征提取,得到具有不同层级的所述第一特征图像和所述第二特征图像。
在一些实施例中,特征提取模块902还用于通过通道注意力模块,对所述待分类遥感图像分别进行最大池化处理和平均池化处理,得到通道最大池化特征图像和通道平均池化特征图像;通过共享全连接层,对所述通道最大池化特征图像和所述通道平均池化特征图像分别进行特征提取,得到第三特征图像和第四特征图像;对所述第三特征图像和所述第四特征图像依次进行元素相加处理和激活处理,得到初始通道特征图像;对所述初始通道特征图像和所述待分类遥感图像进行元素相乘处理,得到通道特征图像;通过空间注意力模块,对所述通道特征图像分别进行最大池化处理和平均池化处理,得到空间最大池化特征图像和空间平均池化特征图像;对所述空间最大池化特征图像和所述空间平均池化特征图像进行拼接处理,得到空间拼接特征图像;依次对所述空间拼接特征图像进行降维处理和激活处理,得到空间特征图像;对所述空间特征图像与所述通道特征图像进行元素相乘处理,得到注意力特征图像。
在一些实施例中,特征提取模块902还用于对所述注意力特征图像进行升维处理,得到升维特征图像;通过深度卷积层,对所述升维特征图像进行下采样处理,得到下采样特征图像;通过逐点卷积层,对所述下采样图像进行降维处理,得到所述特征图像。
在一些实施例中,空洞卷积模块还用于根据空洞空间卷积金字塔池化,对所述第一特征图像进行并行的空洞卷积处理,得到五个空洞卷积特征图像;对所述五个空洞卷积特征图像进行逐点卷积处理,得到所述待分类遥感图像的所述深层特征图像。
在一些实施例中,分类模块还用于通过具有预设尺寸的卷积核,对所述拼接特征图像进行卷积处理,得到卷积特征图像;对所述卷积特征图像进行上采样处理,得到所述待分类遥感图像中每一像素点的分类结果。
在一些实施例中,所述装置还包括:第一获取模块,用于获取遥感图像,所述遥感图像至少包括两个256×256像素大小的影像块;裁剪模块,用于根据预设图像尺寸,对所述遥感图像进行裁剪,得到至少两个待分类遥感图像和每一所述待分类遥感图像在所述遥感图像上的位置信息;
对应地,在得到待分类遥感图像中每一像素点的分类结果之后,所述装置还包括:
拼接模块,用于根据每一所述待分类遥感图像在所述遥感图像上的位置信息,对分类后的待分类遥感图像进行拼接,得到分类图像;重建模块,用于根据所述遥感图像的地理信息,对所述分类图像进行地理信息重建,得到遥感分类图像;确定模块,用于根据所述遥感分类图像中每一像素点的分类结果,确定所述遥感分类图像对应的裸土地分类图。
在一些实施例中,所述装置还包括:第一获取模块,用于获取至少一千个包括裸土地的样本遥感图像;标注模块,用于对所述样本遥感图像中的裸土地和非裸土地(即背景类别)进行标注,得到标注样本遥感图像;确定模块,用于将标注后的标注样本遥感图像,确定为样本数据集。
在一些实施例中,所述方法通过裸土地语义分割模型实现,所述裸土地语义分割模型至少包括特征提取模块、空洞卷积模块、拼接模块和分类模块;所述裸土地语义分割模型训练装置包括:第一输入模块,用于将样本数据集输入至所述裸土地语义分割模型中,所述样本数据集包括样本图像,所述样本图像的大小为256×256像素;特征提取模块,用于通过所述特征提取模块,对所述样本图像进行特征提取处理,得到具有不同层级的第一特征样本图像和第二特征样本图像;空洞卷积模块,用于通过所述空洞卷积模块,对所述第一特征样本图像进行空洞卷积处理,得到所述样本图像的深层特征样本图像;拼接模块,用于通过所述拼接模块,对所述第二特征样本图像和所述深层特征样本图像进行拼接处理,得到拼接特征图像;分类模块,用于通过所述分类模块,根据所述拼接特征图像,对所述样本图像中的全部像素点进行分类,得到所述样本图像中每一像素点的样本分类结果,所述样本分类结果至少包括裸土地或背景类别;第二输入模块,用于将所述样本分类结果输入至预设损失模型中,得到损失结果;修正模块,用于根据所述损失结果,对所述特征提取模块、所述空洞卷积模块、所述拼接模块和所述分类模块中的参数进行修正,以得到训练后的裸土地语义分割模型。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述遥感图像裸土地分类方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种遥感图像裸土地分类设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述遥感图像裸土地分类方法。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述遥感图像裸土地分类方法。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等。
需要说明的是,图10是本申请实施例提供的一种遥感图像裸土地分类设备的硬件实体示意图,如图10所示,该遥感图像裸土地分类设备100的硬件实体包括:处理器101、通信接口102和存储器103,其中:处理器101通常控制遥感图像裸土地分类设备100的操作。
通信接口102可以使裸土地分类设备通过网络与其他终端或服务器通信。
存储器103配置为存储由处理器101可执行的指令和应用,还可以缓存待处理器101以及裸土地分类设备10中各模块待处理或已经处理的数据(例如,图像数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。处理器101、通信接口102和存储器103之间可以通过总线104进行数据传输。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种遥感图像裸土地分类方法,其特征在于,所述方法包括:
获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素;
对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像;
对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像;
对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像;
根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
2.根据权利要求1所述的方法,其特征在于,所述对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像,包括:
通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像;
通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像;
通过通道注意力与空间注意力机制,对所述特征图像进行注意力特征提取,得到具有不同层级的所述第一特征图像和所述第二特征图像。
3.根据权利要求2所述的方法,其特征在于,所述通过通道注意力与空间注意力机制,对所述待分类遥感图像进行注意力特征提取,得到注意力特征图像,包括:
通过通道注意力模块,对所述待分类遥感图像分别进行最大池化处理和平均池化处理,得到通道最大池化特征图像和通道平均池化特征图像;
通过共享全连接层,对所述通道最大池化特征图像和所述通道平均池化特征图像分别进行特征提取,得到第三特征图像和第四特征图像;
对所述第三特征图像和所述第四特征图像依次进行元素相加处理和激活处理,得到初始通道特征图像;
对所述初始通道特征图像和所述待分类遥感图像进行元素相乘处理,得到通道特征图像;
通过空间注意力模块,对所述通道特征图像分别进行最大池化处理和平均池化处理,得到空间最大池化特征图像和空间平均池化特征图像;
对所述空间最大池化特征图像和所述空间平均池化特征图像进行拼接处理,得到空间拼接特征图像;
依次对所述空间拼接特征图像进行降维处理和激活处理,得到空间特征图像;
对所述空间特征图像与所述通道特征图像进行元素相乘处理,得到注意力特征图像。
4.根据权利要求2所述的方法,其特征在于,所述通过特征提取网络,对所述注意力特征图像进行特征提取,得到特征图像,包括:
对所述注意力特征图像进行升维处理,得到升维特征图像;
通过深度卷积层,对所述升维特征图像进行下采样处理,得到下采样特征图像;
通过逐点卷积层,对所述下采样图像进行降维处理,得到所述特征图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像,包括:
根据空洞空间金字塔池化,对所述第一特征图像进行并行的空洞卷积处理,得到五个空洞卷积特征图像;
对所述五个空洞卷积特征图像进行逐点卷积处理,得到所述待分类遥感图像的所述深层特征图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,包括:
通过具有预设尺寸的卷积核,对所述拼接特征图像进行卷积处理,得到卷积特征图像;
对所述卷积特征图像进行上采样处理,得到所述待分类遥感图像中每一像素点的分类结果。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
获取遥感图像,所述遥感图像至少包括两个256×256像素大小的影像块;
根据预设图像尺寸,对所述遥感图像进行裁剪,得到至少两个待分类遥感图像和每一待分类遥感图像在所述遥感图像上的位置信息;
对应地,在得到待分类遥感图像中每一像素点的分类结果之后,所述方法还包括:
根据每一所述待分类遥感图像在所述遥感图像上的位置信息,对分类后的待分类遥感图像进行拼接,得到分类图像;
根据所述遥感图像的地理信息,对所述分类图像进行地理信息重建,得到遥感分类图像;
根据所述遥感分类图像中每一像素点的分类结果,确定所述遥感分类图像对应的裸土地分类图。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取至少一千个包括裸土地的样本遥感图像;
对所述样本遥感图像中的裸土地和非裸土地进行标注,得到标注样本遥感图像;
将标注后的标注样本遥感图像,确定为样本数据集。
9.根据权利要求8所述的方法,其特征在于,所述方法通过裸土地语义分割模型实现,所述裸土地语义分割模型至少包括特征提取模块、空洞卷积模块、拼接模块和分类模块;所述裸土地语义分割模型通过以下步骤训练得到:
将样本数据集输入至所述裸土地语义分割模型中,所述样本数据集包括样本图像,所述样本图像的大小为256×256像素;
通过所述特征提取模块,对所述样本图像进行特征提取处理,得到具有不同层级的第一特征样本图像和第二特征样本图像;
通过所述空洞卷积模块,对所述第一特征样本图像进行空洞卷积处理,得到所述样本图像的深层特征样本图像;
通过所述拼接模块,对所述第二特征样本图像和所述深层特征样本图像进行拼接处理,得到拼接特征样本图像;
通过所述分类模块,根据所述拼接特征样本图像,对所述样本图像中的全部像素点进行分类,得到所述样本图像中每一像素点的样本分类结果,所述样本分类结果至少包括裸土地或背景类别;
将所述样本分类结果输入至预设损失模型中,得到损失结果;
根据所述损失结果,对所述特征提取模块、所述空洞卷积模块、所述拼接模块和所述分类模块中的参数进行修正,以得到训练后的裸土地语义分割模型。
10.一种遥感图像裸土地分类装置,其特征在于,所述装置包括:
获取模块,用于获取待分类遥感图像,所述待分类遥感图像的大小为256×256像素;
特征提取模块,用于对所述待分类遥感图像进行特征提取处理,得到具有不同层级的第一特征图像和第二特征图像;
空洞卷积模块,用于对所述第一特征图像进行空洞卷积处理,得到所述待分类遥感图像的深层特征图像;
拼接模块,用于对所述第二特征图像和所述深层特征图像进行拼接处理,得到拼接特征图像;
分类模块,用于根据所述拼接特征图像,对所述待分类遥感图像中的全部像素点进行分类,得到所述待分类遥感图像中每一像素点的分类结果,所述分类结果至少包括裸土地或背景类别。
CN202211129255.9A 2022-09-16 2022-09-16 一种遥感图像裸土地分类方法及装置 Pending CN115527113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211129255.9A CN115527113A (zh) 2022-09-16 2022-09-16 一种遥感图像裸土地分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211129255.9A CN115527113A (zh) 2022-09-16 2022-09-16 一种遥感图像裸土地分类方法及装置

Publications (1)

Publication Number Publication Date
CN115527113A true CN115527113A (zh) 2022-12-27

Family

ID=84696806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211129255.9A Pending CN115527113A (zh) 2022-09-16 2022-09-16 一种遥感图像裸土地分类方法及装置

Country Status (1)

Country Link
CN (1) CN115527113A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
CN118095887A (zh) * 2024-02-26 2024-05-28 中国地质科学院岩溶地质研究所 岩溶城市水土环境污染风险分区管控方法及系统
CN118134909A (zh) * 2024-04-30 2024-06-04 苏州元脑智能科技有限公司 一种电子产品外观图像检测方法及装置
CN118469356A (zh) * 2024-07-15 2024-08-09 江西省国土空间调查规划研究院 土地利用变更举证的核查系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
CN118095887A (zh) * 2024-02-26 2024-05-28 中国地质科学院岩溶地质研究所 岩溶城市水土环境污染风险分区管控方法及系统
CN118134909A (zh) * 2024-04-30 2024-06-04 苏州元脑智能科技有限公司 一种电子产品外观图像检测方法及装置
CN118134909B (zh) * 2024-04-30 2024-08-09 苏州元脑智能科技有限公司 一种电子产品外观图像检测方法及装置
CN118469356A (zh) * 2024-07-15 2024-08-09 江西省国土空间调查规划研究院 土地利用变更举证的核查系统

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113780149B (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN115527113A (zh) 一种遥感图像裸土地分类方法及装置
Gao et al. MLNet: Multichannel feature fusion lozenge network for land segmentation
CN110197182A (zh) 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN113361367B (zh) 基于深度学习的地下目标电磁反演方法及系统
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN116912708A (zh) 一种基于深度学习的遥感影像建筑物提取方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN116205893A (zh) 水稻叶片病害图像检测方法、装置、设备及存储介质
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
Thati et al. A systematic extraction of glacial lakes for satellite imagery using deep learning based technique
CN117115566B (zh) 利用全季节遥感影像的城市功能区识别方法及系统
CN117953299A (zh) 基于多尺度的遥感影像土地利用分类方法
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN117409020A (zh) 一种基于地基的全天空图像云量计算方法和系统
CN113408498B (zh) 一种人群计数系统及方法、设备及存储介质
Wang et al. Lightweight land cover classification via semantic segmentation of remote sensing imagery and analysis of influencing factors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination