CN116343053A - 基于光学遥感影像和sar遥感影像融合的固废自动提取方法 - Google Patents

基于光学遥感影像和sar遥感影像融合的固废自动提取方法 Download PDF

Info

Publication number
CN116343053A
CN116343053A CN202211686964.7A CN202211686964A CN116343053A CN 116343053 A CN116343053 A CN 116343053A CN 202211686964 A CN202211686964 A CN 202211686964A CN 116343053 A CN116343053 A CN 116343053A
Authority
CN
China
Prior art keywords
remote sensing
sar
sensing image
optical
solid waste
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211686964.7A
Other languages
English (en)
Other versions
CN116343053B (zh
Inventor
余嘉琦
李营
滕佳华
王庆涛
吴文福
王一飞
陆丽
王晨
肖如林
陈辉
孙浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Satellite Application Center for Ecology and Environment of MEE
Original Assignee
Satellite Application Center for Ecology and Environment of MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Satellite Application Center for Ecology and Environment of MEE filed Critical Satellite Application Center for Ecology and Environment of MEE
Priority to CN202211686964.7A priority Critical patent/CN116343053B/zh
Publication of CN116343053A publication Critical patent/CN116343053A/zh
Application granted granted Critical
Publication of CN116343053B publication Critical patent/CN116343053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，属于遥感技术领域。本发明同时使用了光学遥感影像和SAR遥感影像的高层特征和低层特征进行固废识别。并对光学遥感影像和SAR遥感影像的低层特征进行了融合，对光学遥感影像和SAR遥感影像的高层特征进行了融合，充分利用了光学遥感影像和SAR遥感影像的成像机制存在的差异，使得光学遥感影像和SAR遥感影像的特征能够很好地相互补充，从而提升固废的识别精度。并且对融合后的高层特征和低层特征进行了聚合，充分利用高层特征和低层特征各自包含的语义信息和空间细节信息，有利于固废的识别，进一步提高了固废的识别精度。

Description

基于光学遥感影像和SAR遥感影像融合的固废自动提取方法
技术领域
本发明涉及遥感技术领域，特别是指一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法。
背景技术
固体废弃物(简称固废)是指人类在生产、消费、生活和其他活动中产生的固态、半固态的废弃物质。非法倾倒固体废物不仅侵占大量土地资源，而且，长期堆存、雨水冲刷导致固废浸出液对周边土壤、地下水、地表水等环境造成持续污染。随着工业、经济的发展，我国固体废物产生量不断攀升，固体废物类型多样，部分区域非法转移、倾倒、堆存固废的问题突出。此外，由于早期固废处理技术限制、环保意识薄弱等原因，导致历史遗留固废底数不清，给固废监管工作带来巨大挑战。因此，快速、准确的排查区域内固体废物堆存情况，可为环境监管部门提供第一手数据和线索，有效提升固废环境监管执法效率。
目前，对于固体废物的排查方法主要有两种：一种是人工排查。通过开展专项行动，对区域内进行人工拉网式排查，或依靠群众举报提供线索，再进行实地核实。该方法需要耗费大量人力成本，排查范围有限，效率较低。第二种是基于卫星、无人机遥感技术开展固废排查，主要包括人工目视解译和人机交互解译两种方法。其中，人工目视解译是通过建立固体废物解译标识，解译人员依据固废在影像上的形状、纹理、阴影、颜色、周边环境等特征进行人工判读，并勾画固废图斑，该方法排查精度较高，但耗时较长。人机交互解译是利用监督分类、非监督分类、机器学习等方法快速提取固废。该方法能兼顾排查效率和精度，逐渐成为固废排查技术的研究热点。
当前的人机交互解译的固废提取方法采用的数据源一般为无人机遥感影像、wordview等商业高分辨率遥感影像，数据源获取成本高、难以业务化应用。并且当前的人机交互解译的固废提取方法仅使用光学遥感影像的红、绿、蓝三波段数据，导致可学习特征有限，直接影响提取精度。
发明内容
为解决上述技术问题，本发明提供一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，提高了固废识别的精度。
本发明提供技术方案如下：
一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，所述方法包括：
获取一系列已有的固废图斑矢量数据，以及与所述固废图斑矢量数据属于同一区域的光学遥感影像和SAR遥感影像；
对所述光学遥感影像和所述SAR遥感影像分别各自进行预处理，并对预处理后的光学遥感影像和SAR遥感影像进行联合配准；
基于所述固废图斑矢量数据，从联合配准后的光学遥感影像和SAR遥感影像上获取光学遥感影像训练样本和SAR遥感影像训练样本，并为所述光学遥感影像训练样本和SAR遥感影像训练样本设置代表是否为固废以及固废类型的固废标签，得到样本集；
建立固废提取模型；
其中，所述固废提取模型依次包括编码器和解码器，所述编码器包括平行的第一分支和第二分支，所述第一分支依次包括第一特征提取模块和第一空洞空间金字塔模块，所述第二分支依次包括第二特征提取模块和第二空洞空间金字塔模块，所述第一特征提取模块和第二特征提取模块之间以及所述第一空洞空间金字塔模块和第二空洞空间金字塔模块之间通过交叉注意力特征融合模块进行特征融合；所述解码器依次包括高低层特征聚合模块和固废提取模块；
通过所述样本集对所述固废提取模型进行训练；
其中，通过所述第一特征提取模块和第二特征提取模块分别对所述光学遥感影像训练样本和SAR遥感影像训练样本进行低层特征提取，得到光学低层特征和SAR低层特征；通过所述第一空洞空间金字塔模块和第二空洞空间金字塔模块分别对所述第一特征提取模块和第二特征提取模块的输出进行高层特征提取，得到光学高层特征和SAR高层特征；通过所述交叉注意力特征融合模块对所述光学低层特征和SAR低层特征进行融合，得到低层融合特征；通过所述交叉注意力特征融合模块对所述光学高层特征和SAR高层特征进行融合，得到高层融合特征；通过所述高低层特征聚合模块对所述低层融合特征和高层融合特征进行聚合，得到聚合特征；通过所述固废提取模块对所述聚合特征进行回归和分类，得到固废类别和位置；根据得到的固废类别和位置以及设置的固废标签计算训练误差，并根据所述训练误差更新所述固废提取模型的参数；
获取待检测区域的待检测光学遥感影像和待检测SAR遥感影像，对所述待检测光学遥感影像和所述待检测SAR遥感影像分别各自进行预处理，并对预处理后的待检测光学遥感影像和待检测SAR遥感影像进行联合配准，将联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到待检测区域的固废类别和位置。
进一步的，所述对所述光学遥感影像和所述SAR遥感影像分别各自进行预处理，包括：
对所述光学遥感影像进行正射校正、辐射校正、大气校正和影像增强，对所述SAR遥感影像进行复数数据转换、多视处理、滤波处理和地理编码。
进一步的，所述对预处理后的光学遥感影像和SAR遥感影像进行联合配准，包括：
计算预处理后的光学遥感影像和SAR遥感影像在不同位置的互信息MI；
MI＝H(X)+H(Y)-H(X,Y)
其中，H(X)和H(Y)分别为预处理后的光学遥感影像和SAR遥感影像的边缘熵，H(X,Y)为预处理后的光学遥感影像与SAR遥感影像的联合熵；
采用模拟退火算法作为优化方法，计算当MI取最大值时预处理后的光学遥感影像和SAR遥感影像中相同位置的两个像素的空间距离d，并提取预处理后的光学遥感影像和SAR遥感影像的边缘像素的方向梯度θoptic、θSAR；
将预处理后的光学遥感影像和SAR遥感影像按照相同的方式划分为若干个网格，计算每个网格内每个相同位置的两个像素的成本函数，将每个网格内最小的成本函数对应的位置作为该网格的匹配点；
F(x)＝α×d+β×|θoptic-θSAR|
其中，F(x)表示成本函数，α、β分别为设置的距离权重系数和方向权重系数；
构建覆盖所有匹配点的最优三角形，对所述最优三角形内部的区域采用分段线性函数进行配准，对所述最优三角形外部的区域采用仿射函数进行配准。
进一步的，所述基于所述固废图斑矢量数据，从联合配准后的光学遥感影像和SAR遥感影像上获取光学遥感影像训练样本和SAR遥感影像训练样本，并为所述光学遥感影像训练样本和SAR遥感影像训练样本设置代表是否为固废以及固废类型的固废标签，得到样本集，包括：
以所述固废图斑矢量数据为中心，在联合配准后的光学遥感影像和SAR遥感影像上建立设定大小的缓冲区；
采用Labelme图像标注工具对所述缓冲区内的每个像素设置固废标签，得到光学遥感影像训练样本和SAR遥感影像训练样本；
其中，所述固废标签包括非固废、建筑垃圾、工业固废、生活垃圾、混合垃圾、农业废弃物和危险废物；
对所述光学遥感影像训练样本和SAR遥感影像训练样本分别各自进行单样本数据增强和多样本数据增强；
其中，所述单样本数据增强包括图像翻转、图像旋转、图像裁剪、图像变形、图像缩放、图像添加噪声、图像颜色变换和图像擦除；
所述多样本数据增强包括：随机将两个光学遥感影像训练样本或两个SAR遥感影像训练样合成一个新的光学遥感影像训练样本或SAR遥感影像训练样本；
将一系列的光学遥感影像训练样本和SAR遥感影像训练样本组成样本集，将VOC类型数据的样本集转换为CoCo类型数据的样本集，并划分为训练集、测试集和验证集。
进一步的，所述第一特征提取模块和第二特征提取模块的结构相同，所述第一特征提取模块和第二特征提取模块的参数不共享；
所述第一特征提取模块和第二特征提取模块均包括多个卷积模块和池化层，在所述第一特征提取模块的设定的若干个卷积模块上提取得到所述光学低层特征，在所述第二特征提取模块的设定的若干个卷积模块上提取得到所述SAR低层特征。
进一步的，所述第一空洞空间金字塔模块和第二空洞空间金字塔模块均包括若干不同空洞率的空洞卷积；
通过所述第一空洞空间金字塔模块和第二空洞空间金字塔模块的若干不同空洞率的空洞卷积分别对所述第一特征提取模块和第二特征提取模块的输出进行多尺度特征提取，将提取的多尺度特征分别进行拼接并通过1*1的卷积操作分别进行降维，得到所述光学高层特征和SAR高层特征。
进一步的，所述交叉注意力特征融合模块进行融合的方法包括：
分别对光学特征和SAR特征进行三个不同的1*1的卷积，得到光学值矩阵Vopt、光学关键字矩阵Kopt、光学查询矩阵Qopt、SAR值矩阵VSAR、SAR关键字矩阵KSAR和SAR查询矩阵QSAR；
其中，所述光学特征为所述光学低层特征时，所述SAR特征为所述SAR低层特征；所述光学特征为所述光学高层特征时，所述SAR特征为所述SAR高层特征；
将所述光学查询矩阵Qopt的转置和所述SAR查询矩阵QSAR的转置分别与所述光学关键字矩阵Kopt和SAR关键字矩阵KSAR相乘，并分别经过Softmax激活，得到光学自注意力得分和SAR自注意力得分；
将所述光学自注意力得分和SAR自注意力得分进行矩阵点乘运算，得到联合注意力得分；
将所述联合注意力得分分别与所述光学值矩阵Vopt和SAR值矩阵VSAR进行矩阵点乘运算，得到加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted；
将加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted进行矩阵点乘运算，得到所述低层融合特征或所述高层融合特征。
进一步的，所述通过所述高低层特征聚合模块对所述低层融合特征和高层融合特征进行聚合，得到聚合特征，包括：
当所述低层融合特征和高层融合特征的分辨率不一致时，通过上采样将所述高层融合特征的分辨率采样成与所述低层融合特征的分辨率一致；
将分辨率一致的低层融合特征和高层融合特征通过级联操作进行聚合。
进一步的，所述固废提取模块包括候选框提取网络、第一回归器、第二回归器、第三回归器、第一分类器、第二分类器和第三分类器，相邻的两个分类器之间设置有链接，前一分类器通过所述链接向后一分类器提供信息流；
所述通过所述固废提取模块对所述聚合特征进行回归和分类，得到固废类别和位置，包括：
通过所述候选框提取网络对所述聚合特征进行候选框提取，得到候选框；
将所述聚合特征与所述候选框进行第一池化操作，并通过所述第一回归器对第一池化操作的结果进行位置回归，得到第一回归框；
将所述聚合特征与所述第一回归框进行第二池化操作，并通过所述第二回归器对第二池化操作的结果进行位置回归，得到第二回归框；通过所述第一分类器对所述第二回归框进行分类；
将所述聚合特征与所述第二回归框进行第三池化操作，并通过所述第三回归器对第三池化操作的结果进行位置回归，得到第三回归框；通过所述第二分类器对所述第三回归框进行分类；
将所述聚合特征与所述第三回归框进行第四池化操作，通过所述第三分类器对第四池化操作的结果进行分类；
将所述第一分类器、第二分类器和第三分类器的分类结果，结合语义信息，得到固废类别和位置。
进一步的，所述将联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到待检测区域的固废类别和位置，包括：
按照设定的大小设置滑动窗口，并将所述滑动窗口在联合配准后的待检测光学遥感影像和待检测SAR遥感影像上按照设定的步长进行滑动；
对每一个位置的滑动窗口，将该位置的滑动窗口内的联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到每一个位置的滑动窗口的固废类别和位置；
将所有位置的滑动窗口的固废类别和位置进行拼接，得到待检测区域的固废类别和位置。
本发明具有以下有益效果：
本发明分别提取了光学遥感影像的光学低层特征和光学高层特征以及SAR遥感影像的SAR低层特征和SAR高层特征。将光学低层特征和SAR低层特征以及光学高层特征和SAR高层特征通过交叉注意力特征融合模块分别进行特征融合。通过高低层特征聚合模块对融合后的低层融合特征和高层融合特征进行聚合，根据聚合后的聚合特征进行回归和分类，得到固废类别和位置。
本发明同时使用了光学遥感影像和SAR遥感影像的高层特征和低层特征进行固废识别。并对光学遥感影像和SAR遥感影像的低层特征进行了融合，对光学遥感影像和SAR遥感影像的高层特征进行了融合，充分利用了光学遥感影像和SAR遥感影像的成像机制存在的差异，使得光学遥感影像和SAR遥感影像的特征能够很好地相互补充，从而提升固废的识别精度。并且对融合后的高层特征和低层特征进行了聚合，充分利用高层特征和低层特征各自包含的语义信息和空间细节信息，有利于固废的识别，进一步提高了固废的识别精度。
本发明解决了固废人工排查方法和目视解译方法的人工、时间成本较大的弊端，可实现大范围、全类型固废的自动提取。使用常见的GF-1、GF-2、GF-3光学遥感影像和常见的SAR遥感影像。解决了现有固废自动提取主要使用无人机遥感影像、wordview等商业高分辨率遥感影像进行小范围提取固废，数据源获取成本高、难以业务化应用的问题。解决了现有固废自动提取方法仅使用光学影像蓝、绿、红3个波段数据特征的缺陷。填补了融合光学遥感影像和SAR遥感影像进行固废自动提取的业务应用空白，有效提高了固废识别精度和提取效率。本发明可以实现对大范围固废高效率、高精度提取，并展开业务化应用，为固废环境监管和执法提供技术支撑。
附图说明
图1为本发明的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法的流程图；
图2为固废提取模型的结构示意图；
图3为第一特征提取模块和第二特征提取模块的结构示意图；
图4为交叉注意力特征融合模块的结构示意图；
图5为固废提取模块的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，如图1所示，该方法包括：
S1：获取一系列已有的固废图斑矢量数据，以及与固废图斑矢量数据属于同一区域的光学遥感影像和SAR遥感影像。
光学遥感影像可以是GF-1、GF-2、GF-3等常用的高分辨率光学遥感影像，SAR遥感影像为SAR卫星(Synthetic Aperture Radar，合成孔径雷达卫星)的影像。光学遥感影像和SAR遥感影像与固废图斑矢量数据属于同一区域，且两者时相相近。
S2：对光学遥感影像和SAR遥感影像分别各自进行预处理，并对预处理后的光学遥感影像和SAR遥感影像进行多源数据联合配准。
示例性的，对光学遥感影像的预处理包括正射校正、辐射校正、大气校正和影像增强等，对SAR遥感影像的预处理包括复数数据转换、多视处理、滤波处理和地理编码等。
S3：基于固废图斑矢量数据，从联合配准后的光学遥感影像和SAR遥感影像上获取光学遥感影像训练样本和SAR遥感影像训练样本，并为光学遥感影像训练样本和SAR遥感影像训练样本设置代表是否为固废以及固废类型的固废标签，得到样本集。
S4：建立固废提取模型。
其中，如图2所示，固废提取模型依次包括编码器和解码器，编码器包括平行的第一分支和第二分支，第一分支依次包括第一特征提取模块和第一空洞空间金字塔模块ASPP1，第二分支依次包括第二特征提取模块和第二空洞空间金字塔模块ASPP2，第一特征提取模块和第二特征提取模块之间以及第一空洞空间金字塔模块和第二空洞空间金字塔模块之间通过交叉注意力特征融合模块CAFM进行特征融合。解码器依次包括高低层特征聚合模块Concate和固废提取模块WSE-Block。
S5：通过样本集对固废提取模型进行训练。
其中，训练的过程如图2所示，包括：
1、通过第一特征提取模块和第二特征提取模块分别对光学遥感影像训练样本和SAR遥感影像训练样本进行低层特征提取，得到光学低层特征和SAR低层特征。
由于光学遥感影像和SAR遥感影像的成像机制存在明显差异，因此本发明采用了两个平行的分支对光学遥感影像和SAR遥感影像分别进行特征提取，以获得各自最有利于固废识别的特征。
2、通过第一空洞空间金字塔模块和第二空洞空间金字塔模块分别对第一特征提取模块和第二特征提取模块的输出进行高层特征提取，得到光学高层特征和SAR高层特征。
由于固废没有相对统一的规则形状、尺度呈现多样化，使得使用单一尺度的特征难以取得可满足业务化应用需求的固废提取结果。为此，本发明利用空洞空间金字塔模块进一步提取其多尺度特征，适用不同形状、尺度的固废提取。
3、通过交叉注意力特征融合模块对光学低层特征和SAR低层特征进行融合，得到低层融合特征；通过交叉注意力特征融合模块对光学高层特征和SAR高层特征进行融合，得到高层融合特征。
由于光学遥感影像和SAR遥感影像的成像机制存在明显差异，因此光学遥感影像和SAR遥感影像的特征可以很好的相互补充，提升固废的识别精度。所以本发明通过交叉注意力特征融合模块对光学遥感影像和SAR遥感影像的特征进行了融合。
4、通过高低层特征聚合模块对低层融合特征和高层融合特征进行聚合，得到聚合特征。
本发明提取的高层特征包含丰富的多尺度的语义信息，低层特征包含位置、边缘等空间细节信息，对于固废识别任务来说，高层特征中包含的语义信息和低层特征中包含的空间细节信息十分有用，能够提高固废的识别精度。因此本发明通过高低层特征聚合模块将高层特征和低层特征进行融合。
5、通过固废提取模块对聚合特征进行回归和分类，得到固废类别和位置；根据得到的固废类别和位置以及设置的固废标签计算训练误差，并根据训练误差更新固废提取模型的参数。
例如，可以采用多分类交叉损失函数计算训练误差，多分类交叉损失函数L的公式如下：
Figure BDA0004019667970000111
其中，M为分类数量，N为样本数量，yic为指示变量(0或1)，如果分类的类别和样本i标注的类别相同则为1，否则为0，pic为观测样本属于c的预测概率。
S6：获取待检测区域的待检测光学遥感影像和待检测SAR遥感影像，对待检测光学遥感影像和待检测SAR遥感影像分别各自进行预处理，并对预处理后的待检测光学遥感影像和待检测SAR遥感影像进行联合配准，将联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到待检测区域的固废类别和位置。
本发明分别提取了光学遥感影像的光学低层特征和光学高层特征以及SAR遥感影像的SAR低层特征和SAR高层特征。将光学低层特征和SAR低层特征以及光学高层特征和SAR高层特征通过交叉注意力特征融合模块分别进行特征融合。通过高低层特征聚合模块对融合后的低层融合特征和高层融合特征进行聚合，根据聚合后的聚合特征进行回归和分类，得到固废类别和位置。
本发明同时使用了光学遥感影像和SAR遥感影像的高层特征和低层特征进行固废识别。并对光学遥感影像和SAR遥感影像的低层特征进行了融合，对光学遥感影像和SAR遥感影像的高层特征进行了融合，充分利用了光学遥感影像和SAR遥感影像的成像机制存在的差异，使得光学遥感影像和SAR遥感影像的特征能够很好地相互补充，从而提升固废的识别精度。并且对融合后的高层特征和低层特征进行了聚合，充分利用高层特征和低层特征各自包含的语义信息和空间细节信息，有利于固废的识别，进一步提高了固废的识别精度。
本发明解决了固废人工排查方法和目视解译方法的人工、时间成本较大的弊端，可实现大范围、全类型固废的自动提取。使用常见的GF-1、GF-2、GF-3光学遥感影像和常见的SAR遥感影像。解决了现有固废自动提取主要使用无人机遥感影像、wordview等商业高分辨率遥感影像进行小范围提取固废，数据源获取成本高、难以业务化应用的问题。解决了现有固废自动提取方法仅使用光学影像蓝、绿、红3个波段数据特征的缺陷。填补了融合光学遥感影像和SAR遥感影像进行固废自动提取的业务应用空白，有效提高了固废识别精度和提取效率。本发明可以实现对大范围固废高效率、高精度提取，并展开业务化应用，为固废环境监管和执法提供技术支撑。
作为本发明实施例的一种改进，前述的联合配准的方法包括：
S201：计算预处理后的光学遥感影像和SAR遥感影像在不同位置的互信息MI。
MI＝H(X)+H(Y)-H(X,Y)
其中，H(X)和H(Y)分别为预处理后的光学遥感影像和SAR遥感影像的边缘熵，H(X,Y)为预处理后的光学遥感影像与SAR遥感影像的联合熵。
S202：采用模拟退火算法作为优化方法，计算当MI取最大值时预处理后的光学遥感影像和SAR遥感影像中相同位置的两个像素的空间距离d，并采用canny算子提取预处理后的光学遥感影像和SAR遥感影像的边缘像素的方向梯度θoptic、θSAR。
S203：将预处理后的光学遥感影像和SAR遥感影像按照相同的方式划分为若干个网格，计算每个网格内每个相同位置的两个像素的成本函数，将每个网格内最小的成本函数对应的位置作为该网格的匹配点。
F(x)＝α×d+β×|θoptic-θSAR|
其中，F(x)表示成本函数，α、β分别为设置的距离权重系数和方向权重系数，α、β可以分别设置为0.2、1000。
例如，网格的大小可以为10*10，每个网格包括100个像素位置，每个像素位置对应两个像素(光学遥感影像和SAR遥感影像上各一个像素)。对每个像素位置，计算其对应的两个像素的成本函数值，100个像素位置的成本函数的最小值对应的像素位置即为该网格的匹配点。
S204：构建覆盖所有匹配点的最优三角形，对最优三角形内部的区域采用分段线性函数进行配准，对最优三角形外部的区域采用仿射函数进行配准。
对于n个匹配点，用互不相交的弦将其分为一个个的三角形，求解使所有的三角形的权值和达到最小的划分方案，即为最优三角形。对于最优三角形内部和外部的区域，分别采用分段线性函数和仿射函数进行配准，提高了配准的准确性。
在其中一个示例中，前述的S3包括：
S301：以固废图斑矢量数据为中心，在联合配准后的光学遥感影像和SAR遥感影像上建立设定大小的缓冲区。
例如，缓冲区的大小可以为800*600像素，以固废图斑矢量数据为中心建立缓冲区，对联合配准后的光学遥感影像和SAR遥感影像进行分块。
S302：采用Labelme图像标注工具对缓冲区内的每个像素设置固废标签，得到光学遥感影像训练样本和SAR遥感影像训练样本。
其中，固废标签包括非固废、建筑垃圾、工业固废、生活垃圾、混合垃圾、农业废弃物和危险废物。
标注时，结合固废图斑矢量数据，将固废图斑矢量数据内部的像素按照该固废图斑矢量数据的固废类型标注为建筑垃圾、工业固废、生活垃圾、混合垃圾、农业废弃物或危险废物，将固废图斑矢量数据外部的像素标注为非固废。
S303：对光学遥感影像训练样本和SAR遥感影像训练样本分别各自进行单样本数据增强和多样本数据增强。
其中，单样本数据增强包括图像翻转、图像旋转、图像裁剪、图像变形、图像缩放、图像添加噪声、图像颜色变换和图像擦除等。
多样本数据增强包括：采用SMOTE方法随机将近邻的两个光学遥感影像训练样本或近邻的两个SAR遥感影像训练样合成一个新的光学遥感影像训练样本或SAR遥感影像训练样本。
S304：将一系列的光学遥感影像训练样本和SAR遥感影像训练样本组成样本集，将VOC类型数据的样本集转换为CoCo类型数据的样本集，并划分为训练集、测试集和验证集。
已有的固废图斑矢量数据有一系列多个，通过上述方法对应得到一系列的光学遥感影像训练样本和SAR遥感影像训练样本，组成样本集。转换为CoCo类型数据的样本集后，按7:2:1的比例划分为训练集、测试集和验证集。
本发明中，第一特征提取模块和第二特征提取模块的结构相同，均为卷积神经网络，由于光学遥感影像和SAR遥感影像的成像机制存在明显差异，本发明采用了两个平行的具有相同结构的特征提取模块对光学遥感影像和SAR遥感影像分别进行低层特征提取，以获得各自最有利于固废识别的特征。第一特征提取模块和第二特征提取模块的参数不共享，减少光学遥感影像和SAR遥感影像之间产生的相互干扰。
第一特征提取模块和第二特征提取模块的结构如图3所示，均包括多个卷积模块和最大池化层，在第一特征提取模块的设定的若干个卷积模块上提取得到光学低层特征，在第二特征提取模块的设定的若干个卷积模块上提取得到SAR低层特征。
卷积模块由不同输出通道的卷积层组成，卷积模块的输出通道随着网络深度的加深而增加。此外，通过2×2的最大池化操作降低计算量和增大感受野，但是特征图空间分辨率逐步变低。在本实施例中，网络的5个卷积模块作为最终的特征提取模块，在5个卷积模块上提取特征图，作为低层特征，提取的特征图的空间分辨率大小降低到原输入影像的1/16。
进一步的，第一空洞空间金字塔模块和第二空洞空间金字塔模块均包括若干不同空洞率的空洞卷积。
在提取光学高层特征和SAR高层特征时，首先通过第一空洞空间金字塔模块和第二空洞空间金字塔模块的若干不同空洞率的空洞卷积分别对第一特征提取模块和第二特征提取模块的输出进行多尺度特征提取，在不牺牲特征空间分辨率的同时扩大感受野。
例如，可以使用空洞率分别为6、12和18的三种空洞卷积进行多尺度特征提取。
然后，将提取的光学遥感影像和SAR遥感影像的多尺度特征分别进行拼接并通过1*1的卷积操作分别进行降维，得到包含有语义信息的通道维数为256的光学高层特征和SAR高层特征。
由于光学遥感影像和SAR遥感影像的成像机制存在明显差异，因此光学遥感影像和SAR遥感影像的特征可以很好的相互补充，提升固废的识别精度。所以本发明通过交叉注意力特征融合模块CAFM对光学遥感影像和SAR遥感影像的特征进行了融合。
交叉注意力特征融合模块如图4所示，首先通过自注意力机制捕捉特征图不同位置像元之间的相关关系，这种相关关系有利于对影像的上下文关系进行建模。随后通过矩阵运算对光学遥感影像和SAR遥感影像的自注意力得分进行交互，从而达到对光学遥感影像和SAR遥感影像的特征进行融合的目的。
具体的融合过程如下：
1、分别对光学特征和SAR特征进行三个不同的1*1的卷积，得到光学值矩阵Vopt、光学关键字矩阵Kopt、光学查询矩阵Qopt、SAR值矩阵VSAR、SAR关键字矩阵KSAR和SAR查询矩阵QSAR。
其中，光学特征为光学低层特征时，SAR特征对应为SAR低层特征；光学特征为光学高层特征时，SAR特征对应为SAR高层特征。
得到的各个矩阵的大小和通道数与输入的特征保持一致。上述各个矩阵的计算公式如下：
Vopt＝Conv1×1(Fopt),Kopt＝Conv1×1(Fopt),Qopt＝Conv1×1(Fopt)
VSAR＝Conv1×1(FSAR),KSAR＝Conv1×1(FSAR),QSAR＝Conv1×1(FSAR)
其中，Fopt为光学低层特征或光学高层特征，FSAR为SAR低层特征或SAR高层特征，Conv1×1表示1*1的卷积。
2、将光学查询矩阵Qopt的转置和SAR查询矩阵QSAR的转置分别与光学关键字矩阵Kopt和SAR关键字矩阵KSAR相乘，并分别经过Softmax激活，得到光学自注意力得分αopt和SAR自注意力得分αSAR。
其中：
Figure BDA0004019667970000151
Figure BDA0004019667970000161
3、将光学自注意力得分和SAR自注意力得分进行矩阵点乘运算，得到联合注意力得分αcross，实现光学遥感影像和SAR遥感影像特征之间的交互。
其中：
αcross＝αopt·αSAR
4、将联合注意力得分分别与光学值矩阵Vopt和SAR值矩阵VSAR进行矩阵点乘运算，得到加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted。
其中：
Fopt-weighted＝αcross·Vopt
FSAR-weighted＝αcross·VSAR
5、将加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted进行矩阵点乘运算，得到低层融合特征或高层融合特征。
其中：
Ffused＝Fopt-weighted·FSAR-weighted
Ffused即为所述的低层融合特征或高层融合特征。
本发明中，高低层特征聚合模块的操作方法包括：
1、当低层融合特征和高层融合特征的分辨率不一致时，通过2倍的上采样将高层融合特征的分辨率采样成与低层融合特征的分辨率一致。
2、将分辨率一致的低层融合特征和高层融合特征通过级联操作Concate进行聚合，得到所述的聚合特征。
进一步的，如图5所示，固废提取模块包括候选框提取网络RPN、第一回归器B1、第二回归器B2、第三回归器B3、第一分类器M1、第二分类器M2和第三分类器M3，相邻的两个分类器之间设置有链接，前一分类器通过链接向后一分类器提供信息流，让Mi+1能获取Mi的特征，提高分类效果。
固废提取模块的具体操作方法包括：
1、通过候选框提取网络RPN对聚合特征F进行候选框提取，得到候选框。
2、将聚合特征F与RPN提取的候选框基于ROI区域进行第一池化操作pool1，并通过第一回归器B1对第一池化操作pool1的结果进行位置回归，得到第一回归框。
3、将聚合特征F与第一回归器B1得到的第一回归框进行第二池化操作pool2，并通过第二回归器B2对第二池化操作pool2的结果进行位置回归，得到第二回归框。然后通过第一分类器M1对第二回归框进行分类。
4、将聚合特征F与第二回归器B2得到的第二回归框进行第三池化操作pool3，并通过第三回归器B3对第三池化操作pool3的结果进行位置回归，得到第三回归框。然后通过第二分类器M2对第三回归框进行分类。
5、将聚合特征F与第三回归器B3得到的第三回归框进行第四池化操作pool4，通过第三分类器M3对第四池化操作pool4的结果进行分类。
将第一分类器M1、第二分类器M2和第三分类器M3的分类结果，结合语义信息S，得到固废类别和位置。
作为本发明实施例的另一种改进，前述的S6包括：
S601：获取待检测区域的待检测光学遥感影像和待检测SAR遥感影像，对待检测光学遥感影像和待检测SAR遥感影像分别各自进行预处理，并对预处理后的待检测光学遥感影像和待检测SAR遥感影像进行联合配准。
本步骤的预处理方法和联合配准方法与前述的S2相同，此处不再赘述。
S602：按照设定的大小设置滑动窗口，并将滑动窗口在联合配准后的待检测光学遥感影像和待检测SAR遥感影像上按照设定的步长进行滑动。
示例性的，滑动窗口的大小可以为800*600像素。
S603：对每一个位置的滑动窗口，将该位置的滑动窗口内的联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到每一个位置的滑动窗口的固废类别和位置。
本步骤与前述的训练过程中提取特征的方法类似，提取得到待检测的聚合特征，并进行回归和分类，得到每一个位置的滑动窗口的固废类别和位置。
S604：将所有位置的滑动窗口的固废类别和位置进行拼接并赋予参考坐标系，得到待检测区域的固废类别和位置。
应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明。本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述方法包括：
获取一系列已有的固废图斑矢量数据，以及与所述固废图斑矢量数据属于同一区域的光学遥感影像和SAR遥感影像；
对所述光学遥感影像和所述SAR遥感影像分别各自进行预处理，并对预处理后的光学遥感影像和SAR遥感影像进行联合配准；
基于所述固废图斑矢量数据，从联合配准后的光学遥感影像和SAR遥感影像上获取光学遥感影像训练样本和SAR遥感影像训练样本，并为所述光学遥感影像训练样本和SAR遥感影像训练样本设置代表是否为固废以及固废类型的固废标签，得到样本集；
建立固废提取模型；
其中，所述固废提取模型依次包括编码器和解码器，所述编码器包括平行的第一分支和第二分支，所述第一分支依次包括第一特征提取模块和第一空洞空间金字塔模块，所述第二分支依次包括第二特征提取模块和第二空洞空间金字塔模块，所述第一特征提取模块和第二特征提取模块之间以及所述第一空洞空间金字塔模块和第二空洞空间金字塔模块之间通过交叉注意力特征融合模块进行特征融合；所述解码器依次包括高低层特征聚合模块和固废提取模块；
通过所述样本集对所述固废提取模型进行训练；
其中，通过所述第一特征提取模块和第二特征提取模块分别对所述光学遥感影像训练样本和SAR遥感影像训练样本进行低层特征提取，得到光学低层特征和SAR低层特征；通过所述第一空洞空间金字塔模块和第二空洞空间金字塔模块分别对所述第一特征提取模块和第二特征提取模块的输出进行高层特征提取，得到光学高层特征和SAR高层特征；通过所述交叉注意力特征融合模块对所述光学低层特征和SAR低层特征进行融合，得到低层融合特征；通过所述交叉注意力特征融合模块对所述光学高层特征和SAR高层特征进行融合，得到高层融合特征；通过所述高低层特征聚合模块对所述低层融合特征和高层融合特征进行聚合，得到聚合特征；通过所述固废提取模块对所述聚合特征进行回归和分类，得到固废类别和位置；根据得到的固废类别和位置以及设置的固废标签计算训练误差，并根据所述训练误差更新所述固废提取模型的参数；
获取待检测区域的待检测光学遥感影像和待检测SAR遥感影像，对所述待检测光学遥感影像和所述待检测SAR遥感影像分别各自进行预处理，并对预处理后的待检测光学遥感影像和待检测SAR遥感影像进行联合配准，将联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到待检测区域的固废类别和位置。
2.根据权利要求1所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述对所述光学遥感影像和所述SAR遥感影像分别各自进行预处理，包括：
对所述光学遥感影像进行正射校正、辐射校正、大气校正和影像增强，对所述SAR遥感影像进行复数数据转换、多视处理、滤波处理和地理编码。
3.根据权利要求2所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述对预处理后的光学遥感影像和SAR遥感影像进行联合配准，包括：
计算预处理后的光学遥感影像和SAR遥感影像在不同位置的互信息MI；
MI＝H(X)+H(Y)-H(X,Y)
其中，H(X)和H(Y)分别为预处理后的光学遥感影像和SAR遥感影像的边缘熵，H(X,Y)为预处理后的光学遥感影像与SAR遥感影像的联合熵；
采用模拟退火算法作为优化方法，计算当MI取最大值时预处理后的光学遥感影像和SAR遥感影像中相同位置的两个像素的空间距离d，并提取预处理后的光学遥感影像和SAR遥感影像的边缘像素的方向梯度θoptic、θSAR；
将预处理后的光学遥感影像和SAR遥感影像按照相同的方式划分为若干个网格，计算每个网格内每个相同位置的两个像素的成本函数，将每个网格内最小的成本函数对应的位置作为该网格的匹配点；
F(x)＝α×d+β×|θoptic-θSAR|
其中，F(x)表示成本函数，α、β分别为设置的距离权重系数和方向权重系数；
构建覆盖所有匹配点的最优三角形，对所述最优三角形内部的区域采用分段线性函数进行配准，对所述最优三角形外部的区域采用仿射函数进行配准。
4.根据权利要求3所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述基于所述固废图斑矢量数据，从联合配准后的光学遥感影像和SAR遥感影像上获取光学遥感影像训练样本和SAR遥感影像训练样本，并为所述光学遥感影像训练样本和SAR遥感影像训练样本设置代表是否为固废以及固废类型的固废标签，得到样本集，包括：
以所述固废图斑矢量数据为中心，在联合配准后的光学遥感影像和SAR遥感影像上建立设定大小的缓冲区；
采用Labelme图像标注工具对所述缓冲区内的每个像素设置固废标签，得到光学遥感影像训练样本和SAR遥感影像训练样本；
其中，所述固废标签包括非固废、建筑垃圾、工业固废、生活垃圾、混合垃圾、农业废弃物和危险废物；
对所述光学遥感影像训练样本和SAR遥感影像训练样本分别各自进行单样本数据增强和多样本数据增强；
其中，所述单样本数据增强包括图像翻转、图像旋转、图像裁剪、图像变形、图像缩放、图像添加噪声、图像颜色变换和图像擦除；
所述多样本数据增强包括：随机将两个光学遥感影像训练样本或两个SAR遥感影像训练样合成一个新的光学遥感影像训练样本或SAR遥感影像训练样本；
将一系列的光学遥感影像训练样本和SAR遥感影像训练样本组成样本集，将VOC类型数据的样本集转换为CoCo类型数据的样本集，并划分为训练集、测试集和验证集。
5.根据权利要求4所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述第一特征提取模块和第二特征提取模块的结构相同，所述第一特征提取模块和第二特征提取模块的参数不共享；
所述第一特征提取模块和第二特征提取模块均包括多个卷积模块和池化层，在所述第一特征提取模块的设定的若干个卷积模块上提取得到所述光学低层特征，在所述第二特征提取模块的设定的若干个卷积模块上提取得到所述SAR低层特征。
6.根据权利要求5所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述第一空洞空间金字塔模块和第二空洞空间金字塔模块均包括若干不同空洞率的空洞卷积；
通过所述第一空洞空间金字塔模块和第二空洞空间金字塔模块的若干不同空洞率的空洞卷积分别对所述第一特征提取模块和第二特征提取模块的输出进行多尺度特征提取，将提取的多尺度特征分别进行拼接并通过1*1的卷积操作分别进行降维，得到所述光学高层特征和SAR高层特征。
7.根据权利要求1-6任一所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述交叉注意力特征融合模块进行融合的方法包括：
分别对光学特征和SAR特征进行三个不同的1*1的卷积，得到光学值矩阵Vopt、光学关键字矩阵Kopt、光学查询矩阵Qopt、SAR值矩阵VSAR、SAR关键字矩阵KSAR和SAR查询矩阵QSAR；
其中，所述光学特征为所述光学低层特征时，所述SAR特征为所述SAR低层特征；所述光学特征为所述光学高层特征时，所述SAR特征为所述SAR高层特征；
将所述光学查询矩阵Qopt的转置和所述SAR查询矩阵QSAR的转置分别与所述光学关键字矩阵Kopt和SAR关键字矩阵KSAR相乘，并分别经过Softmax激活，得到光学自注意力得分和SAR自注意力得分；
将所述光学自注意力得分和SAR自注意力得分进行矩阵点乘运算，得到联合注意力得分；
将所述联合注意力得分分别与所述光学值矩阵Vopt和SAR值矩阵VSAR进行矩阵点乘运算，得到加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted；
将加权后的光学特征Fopt-weighted和加权后的SAR特征FSAR-weighted进行矩阵点乘运算，得到所述低层融合特征或所述高层融合特征。
8.根据权利要求7所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述通过所述高低层特征聚合模块对所述低层融合特征和高层融合特征进行聚合，得到聚合特征，包括：
当所述低层融合特征和高层融合特征的分辨率不一致时，通过上采样将所述高层融合特征的分辨率采样成与所述低层融合特征的分辨率一致；
将分辨率一致的低层融合特征和高层融合特征通过级联操作进行聚合。
9.根据权利要求8所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述固废提取模块包括候选框提取网络、第一回归器、第二回归器、第三回归器、第一分类器、第二分类器和第三分类器，相邻的两个分类器之间设置有链接，前一分类器通过所述链接向后一分类器提供信息流；
所述通过所述固废提取模块对所述聚合特征进行回归和分类，得到固废类别和位置，包括：
通过所述候选框提取网络对所述聚合特征进行候选框提取，得到候选框；
将所述聚合特征与所述候选框进行第一池化操作，并通过所述第一回归器对第一池化操作的结果进行位置回归，得到第一回归框；
将所述聚合特征与所述第一回归框进行第二池化操作，并通过所述第二回归器对第二池化操作的结果进行位置回归，得到第二回归框；通过所述第一分类器对所述第二回归框进行分类；
将所述聚合特征与所述第二回归框进行第三池化操作，并通过所述第三回归器对第三池化操作的结果进行位置回归，得到第三回归框；通过所述第二分类器对所述第三回归框进行分类；
将所述聚合特征与所述第三回归框进行第四池化操作，通过所述第三分类器对第四池化操作的结果进行分类；
将所述第一分类器、第二分类器和第三分类器的分类结果，结合语义信息，得到固废类别和位置。
10.根据权利要求9所述的基于光学遥感影像和SAR遥感影像融合的固废自动提取方法，其特征在于，所述将联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到待检测区域的固废类别和位置，包括：
按照设定的大小设置滑动窗口，并将所述滑动窗口在联合配准后的待检测光学遥感影像和待检测SAR遥感影像上按照设定的步长进行滑动；
对每一个位置的滑动窗口，将该位置的滑动窗口内的联合配准后的待检测光学遥感影像和待检测SAR遥感影像输入训练后的固废提取模型，得到每一个位置的滑动窗口的固废类别和位置；
将所有位置的滑动窗口的固废类别和位置进行拼接，得到待检测区域的固废类别和位置。
CN202211686964.7A 2022-12-27 2022-12-27 基于光学遥感影像和sar遥感影像融合的固废自动提取方法 Active CN116343053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211686964.7A CN116343053B (zh) 2022-12-27 2022-12-27 基于光学遥感影像和sar遥感影像融合的固废自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211686964.7A CN116343053B (zh) 2022-12-27 2022-12-27 基于光学遥感影像和sar遥感影像融合的固废自动提取方法

Publications (2)

Publication Number Publication Date
CN116343053A true CN116343053A (zh) 2023-06-27
CN116343053B CN116343053B (zh) 2024-02-09

Family

ID=86876412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211686964.7A Active CN116343053B (zh) 2022-12-27 2022-12-27 基于光学遥感影像和sar遥感影像融合的固废自动提取方法

Country Status (1)

Country Link
CN (1) CN116343053B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612391A (zh) * 2023-07-21 2023-08-18 四川发展环境科学技术研究院有限公司 基于光谱遥感和多特征融合的土地非法侵占检测方法
CN117392539A (zh) * 2023-10-13 2024-01-12 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071528A1 (en) * 2013-09-11 2015-03-12 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN108960300A (zh) * 2018-06-20 2018-12-07 北京工业大学 一种基于深度神经网络的城市土地利用信息分析方法
CN109711446A (zh) * 2018-12-18 2019-05-03 中国科学院深圳先进技术研究院 一种基于多光谱影像和sar影像的地物分类方法及装置
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN112560716A (zh) * 2020-12-21 2021-03-26 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN113033381A (zh) * 2021-03-23 2021-06-25 生态环境部卫星环境应用中心 基于遥感数据的矿山和固废填埋场自动提取方法和装置
CN113298818A (zh) * 2021-07-09 2021-08-24 大连大学 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN115343226A (zh) * 2022-07-15 2022-11-15 生态环境部卫星环境应用中心 一种基于无人机的多尺度植被覆盖度遥感计算方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150071528A1 (en) * 2013-09-11 2015-03-12 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN108960300A (zh) * 2018-06-20 2018-12-07 北京工业大学 一种基于深度神经网络的城市土地利用信息分析方法
CN109711446A (zh) * 2018-12-18 2019-05-03 中国科学院深圳先进技术研究院 一种基于多光谱影像和sar影像的地物分类方法及装置
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN112560716A (zh) * 2020-12-21 2021-03-26 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN113033381A (zh) * 2021-03-23 2021-06-25 生态环境部卫星环境应用中心 基于遥感数据的矿山和固废填埋场自动提取方法和装置
CN113298818A (zh) * 2021-07-09 2021-08-24 大连大学 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN115343226A (zh) * 2022-07-15 2022-11-15 生态环境部卫星环境应用中心 一种基于无人机的多尺度植被覆盖度遥感计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘培;王光彦;邹友峰;韩瑞梅;: "遥感信息融合和分类器集成的地类高精度识别", 遥感信息, no. 04, pages 119 - 124 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612391A (zh) * 2023-07-21 2023-08-18 四川发展环境科学技术研究院有限公司 基于光谱遥感和多特征融合的土地非法侵占检测方法
CN116612391B (zh) * 2023-07-21 2023-09-19 四川发展环境科学技术研究院有限公司 基于光谱遥感和多特征融合的土地非法侵占检测方法
CN117392539A (zh) * 2023-10-13 2024-01-12 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN117392539B (zh) * 2023-10-13 2024-04-09 哈尔滨师范大学 一种基于深度学习的河流水体识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN116343053B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110619282B (zh) 一种无人机正射影像建筑物自动提取方法
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN111914795B (zh) 一种航拍图像中旋转目标检测方法
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
CN111598101B (zh) 基于遥感影像场景分割的城区智能提取方法、系统及设备
CN112016436A (zh) 一种基于深度学习的遥感影像变化检测方法
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN110598564B (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN110619605B (zh) 并行气象要素降尺度方法、装置、电子设备及存储介质
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN106530345A (zh) 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN111666909A (zh) 基于面向对象和深度学习的疑似污染场地空间识别方法
CN111414954A (zh) 一种岩石图像检索方法及其系统
CN111104850A (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN115100652A (zh) 基于高分遥感图像的电子地图自动化生成方法
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN111738052A (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法
Liao et al. Lr-cnn: Local-aware region cnn for vehicle detection in aerial imagery
CN115240066A (zh) 基于深度学习的遥感影像矿区复绿监测方法及系统
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN116704350B (zh) 基于高分辨遥感影像水域变化监测方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant