CN116152656B - 基于蒸馏学习的sar影像城市固废自动识别方法及系统 - Google Patents

基于蒸馏学习的sar影像城市固废自动识别方法及系统 Download PDF

Info

Publication number
CN116152656B
CN116152656B CN202211691226.1A CN202211691226A CN116152656B CN 116152656 B CN116152656 B CN 116152656B CN 202211691226 A CN202211691226 A CN 202211691226A CN 116152656 B CN116152656 B CN 116152656B
Authority
CN
China
Prior art keywords
solid waste
urban solid
sar
optical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211691226.1A
Other languages
English (en)
Other versions
CN116152656A (zh
Inventor
滕佳华
余嘉琦
吴文福
游代安
李营
王庆涛
刘思含
谢宇浩
李亚龙
檀畅
王飞
王霓妮
徐宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Satellite Application Center for Ecology and Environment of MEE
Original Assignee
Satellite Application Center for Ecology and Environment of MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Satellite Application Center for Ecology and Environment of MEE filed Critical Satellite Application Center for Ecology and Environment of MEE
Priority to CN202211691226.1A priority Critical patent/CN116152656B/zh
Publication of CN116152656A publication Critical patent/CN116152656A/zh
Application granted granted Critical
Publication of CN116152656B publication Critical patent/CN116152656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • Y02A30/60Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

本发明公开了基于蒸馏学习的SAR影像城市固废自动识别方法及系统,该方法通过对包含有城市固废的光学和SAR遥感影像进行收集及预处理,构建城市固废样本库;通过构建基于光学影像的城市固废识别预训练模型,学习有利于城市固废识别的特征和知识;将基于光学影像的城市固废识别预训练模型学习到的特征和知识通过蒸馏迁移到SAR影像城市固废识别模型中;在构建的城市固废样本库的支撑下,以及蒸馏损失和城市固废识别损失的共同约束下,对构建的基于蒸馏学习的SAR影像城市固废识别模型进行训练,测试后用于识别待测区域的城市固废。本发明可提升基于SAR影像的城市固废识别精度,实现对多云多雨的热带/亚热带地区城市的固废监测。

Description

基于蒸馏学习的SAR影像城市固废自动识别方法及系统
技术领域
本发明涉及生态环境保护技术领域,特别涉及一种基于蒸馏学习的SAR影像城市固废自动识别方法及系统。
背景技术
城市固体废弃物,简称“城市固废”,指的是人类在生产建设、日常生活和其他活动中产生的固态或半固态的废弃物体,包括生活垃圾、建筑垃圾和工业垃圾等。在过去几十年里,全世界尤其是发展中国家步入了快速城市化的时代,加剧了城市固废的产生。
实地调查是当前城市固废监测的常用方法之一。然而,城市固废的分布呈随机性大、分布范围广、隐蔽性强的特点,实地调查的监测方式属于一种劳动密集型的监测方法,需要耗费大量的人力、财力、物力,且不能实现对城市固废的实时快速、全方位、无死角的监测。相较而言,遥感技术具有探测距离远、覆盖范围广、重访周期短的优势,而且随着对地观测技术的发展,各种各样的遥感传感器,如多光谱、高光谱、合成孔径雷达(SyntheticAperture Radar,SAR)等,不断发射成功,丰富的遥感影像数据使得实时、大范围的城市固废监测成为了可能。
目前,学界已经在利用遥感影像进行城市固废识别方面进行了一些积极的探索,证明了利用遥感影像监测城市固废的有效性并逐步推动其成为城市固废监测的主流方法。然而,目前基于遥感影像的城市固废识别尚存在以下三方面的不足:第一,目前基于遥感影像的城市固废识别多采用目视解译或者人机交互的方式进行,这种方式需要耗费大量的人力和物力,自动化程度低,时效性差;第二,城市固废的物质组成复杂、形状不规则且尺度多样,基于传统的机器学习等识别方法识别精度低,无法满足业务应用需求;第三,鉴于光学遥感影像的光谱信息丰富、可解译性好,当前基于遥感影像的城市固废识别通常以光学遥感影像为数据源,然而,光学遥感易受云、雾、雨、雪等天气条件的干扰,无法实现对多云多雨的热带/亚热带地区城市固废的有效、及时的监测。
虽然SAR遥感具有全天时、全天候的对地观测能力,但是受限于其成像机制,SAR影像受到了严重的相干斑噪声的干扰,信噪比较低,导致基于SAR影像的城市固废识别精度较低,无法满足业务化应用的需求,因此形成了一定的环境监管盲区。
发明内容
针对现有技术的不足,本发明提供一种基于蒸馏学习的SAR影像城市固废自动识别方法及系统,利用SAR影像受云、雾等恶劣天气影响较小的优势,同时考虑到SAR影像中的相干斑噪声会影响城市固废识别精度的问题,根据对于同一任务光学和SAR影像的低层特征具有相似性的特点,通过蒸馏学习将预训练的光学遥感影像城市固废识别模型学习到的城市固废有关的高层特征和知识蒸馏到基于SAR影像的城市固废识别模型中并共享低层特征,提升基于SAR影像的城市固废识别精度,实现多云多雨的热带/亚热带地区城市固废的自动化、精准化和实时化监测,弥补环境监管盲区,形成全覆盖、无死角的环境监管体系。
为实现上述目的,本发明采取的技术方案为:
第一方面,本发明实施例提供一种基于蒸馏学习的SAR影像城市固废自动识别方法,包括以下步骤:
步骤a、收集包含有城市固废的光学和SAR遥感影像,并分别对光学和SAR遥感影像进行相应的预处理;
步骤b、通过对光学遥感影像目视解译,同时结合地面调查数据,对预处理后的光学和SAR影像上的城市固废的类别及范围进行识别并逐像素标注,构建基于光学和SAR影像的城市固废遥感样本库;
步骤c、构建基于光学影像的城市固废识别模型,从光学影像中学习有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别网络中;
步骤d、在步骤b构建的城市固废光学遥感影像样本库的支撑下和目标损失函数的约束下,对步骤c构建的基于光学影像的城市固废识别模型进行训练,得到训练好的基于光学影像的城市固废识别模型;
步骤e、将步骤d训练好的基于光学影像的城市固废识别模型学习到的高层特征和知识蒸馏到基于SAR影像的城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别,完成基于蒸馏学习的SAR影像城市固废识别模型的构建;
步骤f、在步骤b构建的城市固废SAR遥感影像样本库的支撑下,对步骤e基于SAR影像的城市固废识别模型进行训练,在蒸馏损失和城市固废识别损失的共同约束下,得到训练好的基于SAR影像的城市固废识别模型;
步骤g、获取待识别区域的SAR遥感影像并进行相应的预处理,随后对预处理后的SAR影像进行裁剪分块输入到步骤f训练好的基于SAR影像的城市固废识别模型中,得到待识别区域的城市固废识别结果。
进一步地,所述步骤a包括:
收集包含有城市固废的光学遥感影像,进行大气校正、辐射定标和几何校正处理;
收集包含有城市固废的SAR遥感影像,进行辐射定标、多视处理、相干斑滤波和地理编码处理;
当所述光学和SAR遥感影像的空间分辨率不一致时,通过重采样将二者的空间分辨率统一;
以光学遥感影像为基准采用多项式的方式对光学和SAR影像进行配准,使得二者处于统一地理坐标系下。
进一步地,所述步骤b中,在像素标注完成后对整幅影像进行预设尺寸裁剪分块,将裁剪后的所有影像按照预设比例随机分成训练集、测试集和验证集,以此构建基于光学和SAR影像的城市固废遥感样本库。
进一步地,所述步骤c包括:
基于UNet模型强大的特征学习和表征能力,构建基于光学影像的城市固废识别模型;
在目标损失函数的约束下,学习光学影像中包含有利于城市固废识别的特征和知识。
进一步地,所述步骤e包括:
将SAR影像作为输入,通过共享低层特征;高层光学特征通过蒸馏学习从基于光学影像的城市固废识别预训练模型中蒸馏得到,并与SAR影像的高层特征进行特征融合用于获取最终的城市固废识别结果,完成基于蒸馏学习的SAR影像城市固废识别模型的构建。
进一步地,所述基于蒸馏学习的SAR影像城市固废识别模型,以UNet模型为主干网络,包括:
低层共享特征提取模块,用于通过UNet模型的共享编码器对于给定输入的SAR图像,获得光学和SAR影像的前三层的低层特征;
高层特有特征双分支提取模块,采用两个双分支特征提取模块,均由UNet模型编码器的第四、五层以及解码器组成,并以所述低层共享特征提取模块提取的共享特征作为输入,提取光学和SAR影像的高层特有特征;
城市固废识别模块,用于将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征作为输入,得到对应的城市固废识别结果,用于加强对模型的约束和领域知识的蒸馏;
特征级联模块,用于通过级联操作将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征进行级联,实现光学和SAR影像特征的融合,并输入到城市固废识别模块中得到最终的城市固废识别结果。
第二方面,本发明实施例还提供一种基于蒸馏学习的SAR影像城市固废自动识别系统,用于实现如上述实施例任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
进一步地,该系统包括:
第一模块,用于收集和预处理包含有城市固废的光学和SAR遥感影像;
第二模块,用于对预处理后的光学和SAR影像上的城市固废的类别以及范围进行识别并逐像素标注,标注完成后对整幅影像进行裁剪分块,构建出基于光学和SAR影像的城市固废遥感样本库;
第三模块,用于构建并训练基于光学影像的城市固废识别模型,从光学影像中学习有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别网络中;
第四模块,用于构建并训练基于蒸馏学习的SAR影像城市固废识别模型,将基于光学影像的城市固废识别预训练模型学习到特征和知识蒸馏到SAR影像城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别;
第五模块,用于待识别区域的城市固废识别,获取待识别区域的SAR遥感影像并进行相应的预处理,将预处理后的SAR影像进行裁剪分块输入到训练好的基于蒸馏学习的SAR影像城市固废遥感识别模型中,得到待识别区域的城市固废识别结果。
第三方面,本发明实施例又提供一种基于蒸馏学习的SAR影像城市固废自动识别系统,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上述实施例任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
第四方面,本发明实施例再提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上述实施例任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
与现有技术相比,本发明具有如下有益效果:
本发明实施例提供的一种基于蒸馏学习的SAR影像城市固废自动识别方法,利用SAR影像受云、雾等恶劣天气影响较小的优势,通过蒸馏学习将光学遥感影像中包含的城市固废有关的特征和知识蒸馏到基于SAR影像的城市固废识别模型中,提升基于SAR影像的城市固废识别精度,推动实现多云多雨的热带/亚热带地区城市固废的自动化、精准化和实时化监测,弥补城市固废环境监管盲区,形成全覆盖、无死角的环境监管体系,改善市民生活环境质量。
附图说明
图1为本发明实施例提供的基于蒸馏学习的SAR影像城市固废自动识别方法流程图;
图2为本发明实施例提供的UNet模型的网络结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“设置有”、“连接”等,应做广义理解,例如“连接”,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
本发明提供的一种基于蒸馏学习的SAR影像城市固废自动识别方法,包括构建基于光学和SAR影像的城市固废遥感样本库,通过蒸馏学习将基于光学遥感影像的城市固废识别预训练模型学习到的城市固废有关的特征和知识蒸馏到基于SAR影像的城市固废识别模型中,融合蒸馏得到的光学影像特征和SAR影像特征,提升基于SAR影像的城市固废识别精度。
通过上述方式,本发明能够将光学遥感影像中包含的丰富的城市固废有关的特征和知识蒸馏到基于SAR影像的城市固废识别模型中,提升基于SAR影像的城市固废识别精度,推动实现多云多雨的热带/亚热带地区城市固废的自动化、精准化和实时化监测,弥补城市固废环境监管盲区,形成全覆盖、无死角的环境监管体系,改善市民生活环境质量。
参照图1所示,本发明实施例提供的一种基于蒸馏学习的SAR影像城市固废自动识别方法,包括以下步骤:
a、收集并预处理光学和SAR遥感影像:收集包含有城市固废的光学和SAR遥感影像,并分别进行相应的预处理,用于后续城市固废样本库的构建。
具体实施时,首先对获取的光学遥感影像进行大气校正、辐射定标、几何校正等预处理,对获取的SAR遥感影像进行辐射定标、多视处理、相干斑滤波、地理编码等一系列预处理。如果光学和SAR影像的空间分辨率不一致时,需要通过重采样将二者的空间分辨率统一,然后以光学遥感影像为基准采用多项式的方式对光学和SAR影像进行配准,并且要求二者的几何配准误差小于一个像元,使得光学和SAR影像处于统一的地理坐标系下用于后续城市固废样本库的构建。本步骤可以预先进行,进行流程时直接输入已经处理好的光学和SAR遥感影像。
b、构建基于光学和SAR影像的城市固废遥感样本库:对预处理后的光学和SAR影像上的城市固废的类别以及范围进行识别并逐像素标注,标注完成后对整幅影像进行裁剪分块,以此构建基于光学和SAR影像的城市固废遥感样本库。本步骤可以预先进行,进入流程时直接输入已有的城市固废光学和SAR影像样本库。
具体实施时,通过对光学遥感影像目视解译,同时结合地面调查数据,对预处理后的光学和SAR影像上的城市固废进行识别并逐像素标注,标注内容包括城市固废的类别(工业垃圾、生活垃圾、建筑垃圾等)和范围,不同的城市固废类别可用不同的像素值标注,如工业垃圾标注为“1”、生活垃圾标注为“2”、建筑垃圾标注为“3”。标注工具可选用可视化的图像标注工具LableImg或图像处理软件PhotoShop,亦可选用专业的遥感处理软件ArcGIS等。在完成整幅影像的标注后,根据具体需求和计算资源,将整幅影像进行裁剪分块,分块大小建议为2n×2n(如512×512、256×256或128×128等),并按照8:1:1的比例将裁剪后的影像块随机地分成训练集、测试集和验证集,以此完成基于光学和SAR影像的城市固废遥感样本库的构建。
c、构建基于光学影像的城市固废识别模型:利用深度学习模型强大的特征学习和表征能力,构建基于光学影像的城市固废识别模型,在目标损失函数的约束下,学习光学影像中包含的有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别模型中,指导基于SAR影像的城市固废模型的训练和学习。
具体实施时,考虑到UNet模型良好的分割性能和优越的鲁棒性,如图2所示,本实施例以UNet为主干网络构建基于光学影像的城市固废识别模型。UNet模型是一个具有对称结构的“U”形编码器-解码器网络,编码器由一系列3×3卷积、批归一化(BatchNormalization,BN)和一个2×2最大池化层组成,获取影像的多尺度特征。解码器由对应的上采样和3×3卷积操作组成,逐步将低层特征信息恢复到原始输入影像大小。最后一层由3×3卷积、BN和ReLU函数组成,输出通道数等于城市固废的类别数,进而得到最终的城市固废识别结果。编码器和解码器之间通过跳连接进行连接,实现多尺度特征和空间细节信息的良好结合。
具体实施时,采用交叉熵损失函数作为目标损失函数来引导城市固废识别模型的训练。交叉熵损失是语义分割中最常用的像素级损失函数,其具体表达式如下:
(1)式中,yi表示标签值,y′i表示预测值,n表示像素数量,i表示索引值,n≥i≥1。
d、训练基于光学影像的城市固废识别模型:在步骤b构建的城市固废光学遥感影像样本库的支撑下和目标损失函数的约束下,对步骤c构建的基于光学影像的城市固废识别模型进行训练,得到训练好的基于光学影像的城市固废识别模型。
具体实施时,为防止模型过拟合,本实施例在训练过程中通过翻转、旋转、缩放、平移、添加随机噪声等对训练集进行了数据增强。同时,根据测试集识别结果对模型进行调参,直至达到较好的识别效果。
e、构建基于蒸馏学习的SAR影像城市固废识别模型:利用蒸馏学习的思想,将步骤d预训练好的基于光学影像的城市固废识别模型学习到的高层特征和知识蒸馏到基于SAR影像的城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别,改善信噪比较低的SAR影像的城市固废识别精度。
具体实施时,对于同一任务而言,基于光学和SAR影像的深度学习模型学习得到的低层特征具有较强的相似性,随着模型深度的加深,光学和SAR影像之间的特征相似性越来越弱,呈现出各自特有的特性。根据这一特性,本实施例将SAR影像作为输入,通过共享低层特征,高层光学特征通过蒸馏学习从基于光学影像的城市固废识别预训练模型中蒸馏得到,并与SAR影像的高层特征进行特征融合用于获取最终的城市固废识别结果。如图2所示,基于蒸馏学习的SAR影像城市固废识别模型仍以UNet模型主干网络,包含低层共享特征提取模块、高层特有特征双分支提取模块、城市固废识别模块和特征级联模块四个主要功能模块,具体做法如下:
1)低层共享特征提取模块:本实施例以UNet模型的编码器作为影像特征提取模块。考虑到对于城市固废识别任务,基于光学和SAR影像的UNet模型的前三层的低层特征具有很强的相似性。因此,光学和SAR影像可共享前三层的低层特征。对于前三层的低层特征,本实施例通过共享编码器块提取。假设给定输入的SAR图像XSAR,通过共享编码器模块可以获得光学和SAR影像共享特征具体过程可用下式表示:
其中,和/>分别表示UNet解码器前三层特征的特征提取块。虽然输入只有SAR影像,但是通过后续的知识蒸馏和模型反向传播,和/>也可以提取光学影像的低层特征。
2)高层特有特征双分支提取模块:即使是同一任务,不同模态的遥感影像的高层特征会存在明显的差异。因此,为了获取光学和SAR影像特有的高层特征,本实施例采用两个双分支特征提取模块。光学和SAR影像的高层特征提取分支模块均由UNet模型编码器的第四、五层以及解码器组成,并以共享特征作为输入,提取对应的高层特有特征/>和/>具体过程可用下式表示:
其中,和/>分别表示光学和SAR影像的高层特有特征,/>表示光学影像特征提取分支的解码器,/>和/>分别表示光学影像特征提取分支编码器的第四、五层特征提取块,/>表示SAR影像特征提取分支的解码器,/>分别表示SAR影像特征提取分支编码器的第四、五层特征提取块。
3)城市固废识别模块:在得到光学和SAR影像特征和/>之后,本实施例将它们输入到城市固废识别模块中得到对应的城市固废识别结果,用于加强对模型的约束和领域知识的蒸馏。在本实施例中,城市固废识别模块由1×1卷积层、BN层和ReLU层组成,输出通道数等于城市固废类别数。在本实施例中,城市固废类别数为3,即工业垃圾、生活垃圾和建筑垃圾。具体过程如下:
其中,YO和YSAR分别为光学和SAR影像分支得到的城市固废识别结果,Conv1×1(·)、BN(·)和ReLU(·)分别表示1×1卷积层、BN层和ReLU层。
4)特征级联模块:在得到光学和SAR影像高层特有特征和/>之后,通过级联操作将/>和/>进行级联,实现光学和SAR影像特征的融合,并输入到城市固废识别模块中得到最终的城市固废识别结果。具体过程如下:
其中,为光学和SAR影像特征级联后的特征,Cont(·)为Concatenate操作,YO-SAR表示最终的城市固废识别结果。
具体实施时,本实施例采用的损失函数由蒸馏损失LDistill和城市固废识别损失LSeg两大部分组成,如下所示:
LTotal=LDistill+λLSeg (9)
其中,LTotal表示模型总体损失,LDistill和LSeg分别表示蒸馏损失和城市固废识别损失,λ为权重参数。
为了将基于光学影像的城市固废识别预训练模型学习到的特征和知识蒸馏到基于SAR影像的城市固废识别模型中,则需对光学影像特有特征提取分支学习到的特征进行约束,使其与基于光学影像的预训练模型学习到的特征相近。特征之间的相似性用均方根误差表示。为此,本实施例构建的蒸馏损失函数如下:
其中,Fi O和Fi PO分别表示光学影像特有特征提取分支网络和光学影像预训练网络编码器第i层特征,和/>分别表示光学影像特有特征提取分支网络和光学影像预训练网络解码器得到的特征。||·||2表示2-范数。
在本实施例中,城市固废识别损失共包括三部分,即光学分支识别损失、SAR分支识别损失以及光学和SAR级联识别损失。具体表达式为:
LSeg=LCE(YO,G)+LCE(YSAR,G)+LCE(YO-SAR,G) (11)
其中,LCE(·)表示交叉熵损失函数,计算方式参照公式(1)。G表示城市固废真值。
f、训练基于蒸馏学习的SAR影像城市固废识别模型:在步骤b构建的城市固废SAR遥感影像样本库的支撑下并在蒸馏损失和城市固废识别损失的共同约束下,对步骤d构建的基于蒸馏学习的SAR影像城市固废识别模型进行训练,得到训练好的模型。
具体实施时,为防止模型过拟合,本实施例在训练过程中通过翻转、旋转、缩放、平移、添加随机噪声等对训练集进行了数据增强。同时,根据测试集识别结果对模型进行调参,直至达到较好的识别效果。
而且,在步骤d、f中,利用基于混淆矩阵的总体精度、Kappa系数、均交并比和F1得分四个指标评价模型测试结果。
g、识别待测区域的城市固废:获取待测区域的SAR遥感影像并进行相应的预处理,随后对预处理后的SAR影像进行裁剪分块输入到步骤f训练好的基于蒸馏学习的SAR影像城市固废遥感识别模型中,得到待识别区域的城市固废识别结果。
实施例2:
本发明实施例还提供一种基于蒸馏学习的SAR影像城市固废自动识别系统,用于实现如上述实施例1的基于蒸馏学习的SAR影像城市固废自动识别方法。该系统具体包括:
第一模块,用于收集和预处理包含有城市固废的光学和SAR遥感影像;
第二模块,用于对预处理后的光学和SAR影像上的城市固废的类别以及范围进行识别并逐像素标注,标注完成后对整幅影像进行裁剪分块,构建出基于光学和SAR影像的城市固废遥感样本库,并按照一定的比例随机的分为训练集、测试集和验证集;
第三模块,用于构建并训练基于光学影像的城市固废识别模型,从光学影像中学习有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别网络中;
第四模块,用于构建并训练基于蒸馏学习的SAR影像城市固废识别模型,利用蒸馏学习的思想,将基于光学影像的城市固废识别预训练模型学习到特征和知识蒸馏到SAR影像城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别,改善信噪比较低的SAR影像的城市固废识别精度;
第五模块,用于待识别区域的城市固废识别,获取待识别区域的SAR遥感影像并进行相应的预处理,将预处理后的SAR影像进行裁剪分块输入到训练好的基于蒸馏学习的SAR影像城市固废遥感识别模型中,得到待识别区域的城市固废识别结果。
本发明实施例中,通过对包含有城市固废的光学和SAR遥感影像进行收集和预处理,构建城市固废样本库;通过构建基于光学影像的城市固废识别预训练模型,从光学影像中学习有利于城市固废识别的特征和知识;构建基于蒸馏学习的SAR影像城市固废识别模型,利用蒸馏学习的思想,将基于光学影像的城市固废识别预训练模型学习到的特征和知识通过蒸馏迁移到SAR影像城市固废识别模型中;在构建的城市固废样本库的支撑下,以及蒸馏损失和城市固废识别损失的共同约束下,对构建的基于蒸馏学习的SAR影像城市固废识别模型进行训练,测试后用于识别待测区域的城市固废。本发明可提升基于SAR影像的城市固废识别精度,实现多云多雨的热带/亚热带地区城市固废监测的自动化、精准化和实时化,弥补环境监管盲区,形成全覆盖、无死角的环境监管体系。
实施例3:
本发明实施例还提供一种基于蒸馏学习的SAR影像城市固废自动识别系统,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如上实施例1的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
实施例4:
本发明实施例再提供一种可读存储介质,该可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如上实施例1的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于蒸馏学习的SAR影像城市固废自动识别方法,其特征在于,包括以下步骤:
步骤a、收集包含有城市固废的光学和SAR遥感影像,并分别对光学和SAR遥感影像进行相应的预处理;
步骤b、通过对光学遥感影像目视解译,同时结合地面调查数据,对预处理后的光学和SAR影像上的城市固废的类别及范围进行识别并逐像素标注,构建基于光学和SAR影像的城市固废遥感样本库;
步骤c、构建基于光学影像的城市固废识别模型,从光学影像中学习有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别网络中;
步骤d、在步骤b构建的城市固废遥感样本库的支撑下和目标损失函数的约束下,对步骤c构建的基于光学影像的城市固废识别模型进行训练,得到训练好的基于光学影像的城市固废识别模型;
步骤e、将步骤d训练好的基于光学影像的城市固废识别模型学习到的高层特征和知识蒸馏到基于SAR影像的城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像的城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别,完成基于蒸馏学习的SAR影像城市固废识别模型的构建;
步骤f、在步骤b构建的城市固废遥感样本库的支撑下,对步骤e基于SAR影像的城市固废识别模型进行训练,在蒸馏损失和城市固废识别损失的共同约束下,得到训练好的基于SAR影像的城市固废识别模型;
步骤g、获取待识别区域的SAR遥感影像并进行相应的预处理,随后对预处理后的SAR影像进行裁剪分块输入到步骤f训练好的基于SAR影像的城市固废识别模型中,得到待识别区域的城市固废识别结果;
其中,所述步骤e包括:
将SAR影像作为输入,通过共享低层特征;高层光学特征通过蒸馏学习从基于光学影像的城市固废识别预训练模型中蒸馏得到,并与SAR影像的高层特征进行特征融合用于获取最终的城市固废识别结果,完成基于蒸馏学习的SAR影像城市固废识别模型的构建;
所述基于蒸馏学习的SAR影像城市固废识别模型,以UNet模型为主干网络,包括:
低层共享特征提取模块,用于通过UNet模型的共享编码器对于给定输入的SAR图像,获得光学和SAR影像的前三层的低层特征;
具体过程用下式表示:
其中,和/>分别表示UNet解码器前三层特征的特征提取块;给定输入的SAR图像XSAR,通过共享编码器模块可以获得光学和SAR影像共享特征/>
高层特有特征双分支提取模块,采用两个双分支特征提取模块,均由UNet模型编码器的第四、五层以及解码器组成,并以所述低层共享特征提取模块提取的共享特征作为输入,提取光学和SAR影像的高层特有特征;
具体过程用下式表示:
其中,和/>分别表示光学和SAR影像的高层特有特征,/>表示光学影像特征提取分支的解码器,/>和/>分别表示光学影像特征提取分支编码器的第四、五层特征提取块,/>表示SAR影像特征提取分支的解码器,/>和/>分别表示SAR影像特征提取分支编码器的第四、五层特征提取块;
城市固废识别模块,用于将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征作为输入,得到对应的城市固废识别结果,用于加强对模型的约束和领域知识的蒸馏;
具体过程如下:
其中,YO和YSAR分别为光学和SAR影像分支得到的城市固废识别结果,Conv1×1(·)、BN(·)和ReLU(·)分别表示1×1卷积层、BN层和ReLU层;
特征级联模块,用于通过级联操作将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征进行级联,实现光学和SAR影像特征的融合,并输入到城市固废识别模块中得到最终的城市固废识别结果;
具体过程如下:
其中,为光学和SAR影像特征级联后的特征,Cont(·)为Concatenate操作,YO-SAR表示最终的城市固废识别结果;
采用的损失函数由蒸馏损失LDistill和城市固废识别损失LSeg两大部分组成,如下所示:
LTotal=LDistill+λLSeg (9)
其中,LTotal表示模型总体损失,LDistill和LSeg分别表示蒸馏损失和城市固废识别损失,λ为权重参数;
构建的蒸馏损失函数如下:
其中,Fi O和Fi PO分别表示光学影像特有特征提取分支网络和光学影像预训练网络编码器第i层特征,和/>分别表示光学影像特有特征提取分支网络和光学影像预训练网络解码器得到的特征;||·||2表示2-范数;
城市固废识别损失共包括三部分,即光学分支识别损失、SAR分支识别损失以及光学和SAR级联识别损失;具体表达式为:
LSeg=LCE(YO,G)+LCE(YSAR,G)+LCE(YO-SAR,G) (11)
其中,LCE(·)表示交叉熵损失函数,G表示城市固废真值。
2.根据权利要求1所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法,其特征在于,所述步骤a包括:
收集包含有城市固废的光学遥感影像,进行大气校正、辐射定标和几何校正处理;
收集包含有城市固废的SAR遥感影像,进行辐射定标、多视处理、相干斑滤波和地理编码处理;
当所述光学和SAR遥感影像的空间分辨率不一致时,通过重采样将二者的空间分辨率统一;
以光学遥感影像为基准采用多项式的方式对光学和SAR影像进行配准,使得二者处于统一地理坐标系下。
3.根据权利要求1所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法,其特征在于,所述步骤b中,在像素标注完成后对整幅影像进行预设尺寸裁剪分块,将裁剪后的所有影像按照预设比例随机分成训练集、测试集和验证集,以此构建基于光学和SAR影像的城市固废遥感样本库。
4.根据权利要求1所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法,其特征在于,所述步骤c包括:
基于UNet模型强大的特征学习和表征能力,构建基于光学影像的城市固废识别模型;
在目标损失函数的约束下,学习光学影像中包含有利于城市固废识别的特征和知识。
5.一种基于蒸馏学习的SAR影像城市固废自动识别系统,其特征在于,用于实现如权利要求1-4任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
6.根据权利要求5所述的一种基于蒸馏学习的SAR影像城市固废自动识别系统,其特征在于,包括:
第一模块,用于收集和预处理包含有城市固废的光学和SAR遥感影像;
第二模块,用于对预处理后的光学和SAR影像上的城市固废的类别以及范围进行识别并逐像素标注,标注完成后对整幅影像进行裁剪分块,构建出基于光学和SAR影像的城市固废遥感样本库;
第三模块,用于构建并训练基于光学影像的城市固废识别模型,从光学影像中学习有利于城市固废识别的特征和知识,并后续将其蒸馏到基于SAR影像的城市固废识别网络中;
第四模块,用于构建并训练基于蒸馏学习的SAR影像城市固废识别模型,将基于光学影像的城市固废识别预训练模型学习到特征和知识蒸馏到SAR影像的城市固废识别模型中,并将蒸馏得到的光学特征与SAR影像城市固废识别模型学习到的SAR特征进行融合用于城市固废的识别;
第五模块,用于待识别区域的城市固废识别,获取待识别区域的SAR遥感影像并进行相应的预处理,将预处理后的SAR影像进行裁剪分块输入到训练好的基于蒸馏学习的SAR影像城市固废遥感识别模型中,得到待识别区域的城市固废识别结果;
其中,所述第四模块具体包括:
将SAR影像作为输入,通过共享低层特征;高层光学特征通过蒸馏学习从基于光学影像的城市固废识别预训练模型中蒸馏得到,并与SAR影像的高层特征进行特征融合用于获取最终的城市固废识别结果,完成基于蒸馏学习的SAR影像城市固废识别模型的构建;
所述基于蒸馏学习的SAR影像城市固废识别模型,以UNet模型为主干网络,包括:
低层共享特征提取模块,用于通过UNet模型的共享编码器对于给定输入的SAR图像,获得光学和SAR影像的前三层的低层特征;
具体过程用下式表示:
其中,和/>分别表示UNet解码器前三层特征的特征提取块;给定输入的SAR图像XSAR,通过共享编码器模块可以获得光学和SAR影像共享特征/>
高层特有特征双分支提取模块,采用两个双分支特征提取模块,均由UNet模型编码器的第四、五层以及解码器组成,并以所述低层共享特征提取模块提取的共享特征作为输入,提取光学和SAR影像的高层特有特征;
具体过程用下式表示:
其中,和/>分别表示光学和SAR影像的高层特有特征,/>表示光学影像特征提取分支的解码器,/>和/>分别表示光学影像特征提取分支编码器的第四、五层特征提取块,/>表示SAR影像特征提取分支的解码器,/>和/>分别表示SAR影像特征提取分支编码器的第四、五层特征提取块;
城市固废识别模块,用于将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征作为输入,得到对应的城市固废识别结果,用于加强对模型的约束和领域知识的蒸馏;
具体过程如下:
其中,YO和YSAR分别为光学和SAR影像分支得到的城市固废识别结果,Conv1×1(·)、BN(·)和ReLU(·)分别表示1×1卷积层、BN层和ReLU层;
特征级联模块,用于通过级联操作将所述高层特有特征双分支提取模块提取的光学和SAR影像的高层特有特征进行级联,实现光学和SAR影像特征的融合,并输入到城市固废识别模块中得到最终的城市固废识别结果;
具体过程如下:
其中,为光学和SAR影像特征级联后的特征,Cont(·)为Concatenate操作,YO-SAR表示最终的城市固废识别结果;
采用的损失函数由蒸馏损失LDistill和城市固废识别损失LSeg两大部分组成,如下所示:
LTotal=LDistill+λLSeg (9)
其中,LTotal表示模型总体损失,LDistill和LSeg分别表示蒸馏损失和城市固废识别损失,λ为权重参数;
构建的蒸馏损失函数如下:
其中,Fi O和Fi PO分别表示光学影像特有特征提取分支网络和光学影像预训练网络编码器第i层特征,和/>分别表示光学影像特有特征提取分支网络和光学影像预训练网络解码器得到的特征;||·||2表示2-范数;
城市固废识别损失共包括三部分,即光学分支识别损失、SAR分支识别损失以及光学和SAR级联识别损失;具体表达式为:
LSeg=LCE(YO,G)+LCE(YSAR,G)+LCE(YO-SAR,G) (11)
其中,LCE(·)表示交叉熵损失函数,G表示城市固废真值。
7.一种基于蒸馏学习的SAR影像城市固废自动识别系统,其特征在于,包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如权利要求1-4任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-4任一项所述的一种基于蒸馏学习的SAR影像城市固废自动识别方法。
CN202211691226.1A 2022-12-28 2022-12-28 基于蒸馏学习的sar影像城市固废自动识别方法及系统 Active CN116152656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211691226.1A CN116152656B (zh) 2022-12-28 2022-12-28 基于蒸馏学习的sar影像城市固废自动识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211691226.1A CN116152656B (zh) 2022-12-28 2022-12-28 基于蒸馏学习的sar影像城市固废自动识别方法及系统

Publications (2)

Publication Number Publication Date
CN116152656A CN116152656A (zh) 2023-05-23
CN116152656B true CN116152656B (zh) 2023-09-19

Family

ID=86351823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211691226.1A Active CN116152656B (zh) 2022-12-28 2022-12-28 基于蒸馏学习的sar影像城市固废自动识别方法及系统

Country Status (1)

Country Link
CN (1) CN116152656B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744249A (zh) * 2021-09-07 2021-12-03 中国科学院大学 一种海洋生态环境损害调查方法
CN114792397A (zh) * 2022-04-25 2022-07-26 南京信息职业技术学院 一种sar影像城市道路提取方法、系统以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583220B (zh) * 2020-04-30 2023-04-18 腾讯科技(深圳)有限公司 影像数据检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744249A (zh) * 2021-09-07 2021-12-03 中国科学院大学 一种海洋生态环境损害调查方法
CN114792397A (zh) * 2022-04-25 2022-07-26 南京信息职业技术学院 一种sar影像城市道路提取方法、系统以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中国生态环境遥感四十年;高吉喜;赵少华;侯鹏;;地球信息科学学报(04);全文 *
基于深度迁移学习的城市高分遥感影像分类;黄如金;聂运菊;;江西科学(01);全文 *
我国陆地定量遥感卫星技术发展;曹海翊;高洪涛;赵晨光;;航天器工程(04);全文 *

Also Published As

Publication number Publication date
CN116152656A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
EP3997616B1 (en) Object-based change detection using a neural network
Zhang et al. Use of Sentinel-1 GRD SAR images to delineate flood extent in Pakistan
Boonpook et al. Deep learning-based multi-feature semantic segmentation in building extraction from images of UAV photogrammetry
CN112381013B (zh) 基于高分辨率遥感影像的城市植被反演方法及系统
CN112183209A (zh) 一种基于多维特征融合的区域农作物分类方法及系统
CN104050473B (zh) 一种基于矩形邻域分析的道路数据提取方法
CN111028255A (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN113378785A (zh) 森林类型识别方法及装置
Zhong et al. Identification of tree species based on the fusion of UAV hyperspectral image and LiDAR data in a coniferous and broad-leaved mixed forest in Northeast China
Avelar et al. Analysis of land use and land cover change in a coastal area of Rio de Janeiro using high-resolution remotely sensed data
He et al. Object-based distinction between building shadow and water in high-resolution imagery using fuzzy-rule classification and artificial bee colony optimization
Walsh et al. Using machine learning to produce a very high resolution land-cover map for Ireland
Ma et al. Individual structure mapping over six million trees for New York City USA
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Iabchoon et al. Mapping urban impervious surface using object-based image analysis with WorldView-3 satellite imagery
CN116152656B (zh) 基于蒸馏学习的sar影像城市固废自动识别方法及系统
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
CN110929739A (zh) 一种自动化的不透水面范围遥感迭代提取方法
CN116563724B (zh) 基于多源高分卫星遥感影像的城市固废提取方法及系统
Fakhri et al. Pavement crack detection through a deep-learned asymmetric encoder-decoder convolutional neural network
CN116091911A (zh) 一种地震勘探工区建筑物自动识别方法及系统
Kyzivat et al. Contemporary and historical detection of small lakes using super resolution Landsat imagery: promise and peril
Luymes et al. Detection of potential vernal pools on the Canadian shield (Ontario) using object-based image analysis in combination with machine learning
Yang et al. A new framework for GEOBIA: accurate individual plant extraction and detection using high-resolution RGB data from UAVs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant