CN113962925B - 基于卫星及无人机的异源遥感图像变化检测方法及装置 - Google Patents

基于卫星及无人机的异源遥感图像变化检测方法及装置 Download PDF

Info

Publication number
CN113962925B
CN113962925B CN202110954207.2A CN202110954207A CN113962925B CN 113962925 B CN113962925 B CN 113962925B CN 202110954207 A CN202110954207 A CN 202110954207A CN 113962925 B CN113962925 B CN 113962925B
Authority
CN
China
Prior art keywords
remote sensing
image
unmanned aerial
aerial vehicle
satellite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110954207.2A
Other languages
English (en)
Other versions
CN113962925A (zh
Inventor
杜春
邵瑞喆
彭双
陈浩
熊伟
李军
伍江江
钟志农
吴烨
贾庆仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110954207.2A priority Critical patent/CN113962925B/zh
Publication of CN113962925A publication Critical patent/CN113962925A/zh
Application granted granted Critical
Publication of CN113962925B publication Critical patent/CN113962925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于卫星及无人机的异源遥感图像变化检测方法及装置。针对性解决了卫星和无人机遥感图像之间的差异给变化检测带来的困难，设计了双通道全卷积神经网络、建筑物边缘辅助信息的提取与辅助变化检测方法，能够有效克服卫星‑无人机图像之间的多种差异，完成高准确率，高精确度的变化检测。基于IoU‑WCE损失函数训练并测试网络，从不均衡样本中训练得到了检测精度高，漏检率和错检率低的网络模型。本方法准确度最高，性能最好，能够提高卫星和无人机遥感图像在变化检测分析中的信息产出质量，有很好的应用前景。

Description

基于卫星及无人机的异源遥感图像变化检测方法及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于卫星及无人机的异源遥感图像变化检测方法及装置。
背景技术
遥感影像的变化检测是近年来计算机视觉和遥感影像处理领域的研究热点，而异源遥感影像的变化检测更是变换检测问题中更具挑战性且有相当广泛应用前景的问题。随着计算机处理速度和遥感图像获取能力的提高，遥感图像变化检测愈发广泛地应用于灾害评估、城市扩张检测、土地覆盖等遥感领域。变换检测可以看作是一个分类问题，光学遥感影像中每个像素被划分为特定的类别(变化/非变化)，但它相对于一般的分类问题也有其特殊性——即分类样本的不均衡性，变化像素一般而言要远远少于非变化像素。
基础的遥感图像变换检测软件通过先图像校准，后人工标取法或算法辅助人工标取法获取变化信息。随着变化检测技术和计算能力的提高，自动提取方法降低了人工参与的程度。传统的自动变化检测方法有变化矢量分析法(change vector analysis，CVA)、主成分分析法(principle component analysis,PCA)，基于稀疏编码的方法，基于图像形态学的方法等。这些方法利用校准后图像对应像素之间的差异分析并检测变化，这些方法可以从校准准确的同源图像中自动提取得到变化信息，一定程度上降低了人工的消耗。
自从全卷积神经网络(Fully connected network,FCN)在图像分类和分割中表现出强大的优势，学术界提出了多种基于深度学习的遥感图像变化检测方法。这些方法极大地提高了变化检测算法的性能。U-Net使用编码器-解码器结构和skip连接，将编码器浅层卷积层中的细节局部特征与解码器中经过了多层卷积得到的抽象全局特征进行融合，以在考虑图像隐含上下文信息进行变化部分辨别的同时用细节信息得到像素级的精细化准确分类。由于使用了上述结构，U-Net在图像分割类任务中表现出了较好的性能，在变化检测问题中也得到了相当广泛的应用。但是，变化检测问题中的样本不均衡问题给U-Net的训练造成了一定的困难，而且异源变化检测中的地面分辨率，成像颜色，视差，图像形变等差异也给UNet变化检测带来了严峻的检测挑战。
对于异源变化检测中的问题，一些研究者尝试构建特定的网络结构，进行同源化变换的方法缓解异源图像之间的种种差异。其中，对于光学-SAR图像之间的异源图像变化检测已经有了一定的成果，例如同源化像素变化法(homogeneous pixel transformation)和对称卷积连接网(symmetric convolutional coupling network，SCCN)等。但是对于卫星-无人机之间的异源图像之间的差异的处理与变化检测，包括地面分辨率，成像颜色等，仍需针对性的分析与研究。
发明内容
基于此，有必要针对上述技术问题，提供一种基于卫星及无人机的异源遥感图像变化检测方法及装置。
一种基于卫星及无人机的异源遥感图像变化检测方法，所述方法包括：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
在其中一实施例中，在对所述两幅样本图像分别进行预处理之前还对两幅样本图像进行切割对应得到多个卫星遥感图像块以及无人机遥感图像块；
所述对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像包括：
分别对各所述卫星遥感图像块以及无人机遥感图像块进行预处理得到与各图像块对应的建筑物边缘图像。
在其中一实施例中，所述分别对各所述卫星遥感图像块以及无人机遥感图像块进行预处理得到与各图像块对应的建筑物边缘图像包括：
对所述卫星遥感图像块以及无人机遥感图像块分别采用canny算法提取图像亮度边缘，对应得到卫星亮度边缘图以及无人机亮度边缘图；
对所述卫星亮度边缘图以及无人机亮度边缘图分别采用Hough算法提取图像中建筑物的直线边缘，对应得到卫星建筑物边缘图以及无人机建筑物边缘图。
在其中一实施例中，所述将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练包括：
将所述卫星遥感图像块以及无人机遥感图像块中位置对应的两个图像块，以及与两个图像块对应的两个建筑物边缘图像作为一组训练样本；
依次将各组所述训练样本输入双通道全卷积网络模型对其进行训练。
在其中一实施例中，所述双通道全卷积网络模型包括：两个独立的特征提取通道以及全连接网络；
两个所述独立的特征提取通道分别由多层卷积构成卫星特征提取通道以及无人机特征提取通道；
所述全连接网络包括依次连接，且层数相同的编码器以及多层解码器。
在其中一实施例中，各层编码器包括卷积块以及最大池化单元；
各层解码器包括依次连接的反卷积单元、通道维连接单元以及卷积块；
其中，所述编码器与解码器之间还由一个卷积块连接。
在其中一实施例中，各层编码器中的卷积块还与相应层解码器中的通道维连接单元进行skip连接。
在其中一实施例中，所述依次将各组所述训练样本输入双通道全卷积网络模型对其进行训练包括：
将一组训练样本中卫星遥感图像块以及与该图像块对应的卫星建筑物边缘图输入卫星特征提取通道以提取卫星图像特征；
将同一组训练样本中无人机遥感图像块以及与该图像块对应的无人机建筑物边缘图输入无人机特征提取通道以提取无人机图像特征；
将所述卫星图像特征以及无人机图像特征输入全连接网络，输出预测的变化图。
本申请还提供了一种基于卫星及无人机的异源遥感图像变化检测装置，所述装置包括：
数据集获取模块，用于获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
图像预处理模块，用于对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
网络模型训练模块，用于将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数以优化模型参数，得到已训练的双通道全卷积网络模型；
待检测数据集获取模块，用于获取待检测的卫星遥感图像以及无人机遥感图像；
图像预处理模块，用于分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
图像检测模块，用于将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像的进行变化检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
上述基于卫星及无人机的异源遥感图像变化检测方法及装置，通过对同一目标位置不同时间得到的卫星遥感图像以及无人机遥感图像先进行分析与检测，也就是预处理得到目标地域的建筑物把边缘信息，再将遥感图像以及对应得到的建筑物边缘信息对双通道全卷积网络模型进行训练，得到可以对目标区域变化进行检测的已训练的双通道全卷积网络模型。其中利用自动提取建筑物边缘作为辅助信息进行变化检测的方法，该方法能够帮助模型更多地关注卫星和无人机遥感图像区别较小的地物形状和轮廓特征，更少地关注区别较大的颜色，亮度等像素特征，因而有效克服了卫星和无人机图像由于成像条件造成的颜色差异问题，显著提高了检测准确度与模型学习与训练效率。
附图说明
图1为一个实施例中异源遥感图像变化检测方法的流程示意图；
图2为一个实施例中建筑物边缘辅助信息提取示意图；
图3为一个实施例中异源遥感图像变化检测方法的数据处理流程图；
图4为一个实施例中双通道特征提取通道的结构示意图；
图5为一个实施例中全连接网络的结构示意图；
图6为四种采用卫星-无人机光学遥感影像的变化检测结果示意图；
图7为一个实施例中异源遥感图像变化检测装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种基于卫星及无人机的异源遥感图像变化检测方法，所述方法具体包括以下步骤：
步骤S100，获取异源遥感图像的样本数据集，样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
步骤S110，对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
步骤S120，将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
步骤S130，获取待检测的卫星遥感图像以及无人机遥感图像；
步骤S140，分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
步骤S150，将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
在本实施例中，通过利用针对同一目标位置的两种不同方式(由卫星和无人机)获取的遥感样本图像，并对遥感样本图像进行预处理后提取出样本图像中目标地区中建筑物边缘图像作为辅助信息进行变化检测，并将两幅样本图像以及对应得到建筑边缘图像输入双通道全卷积网络模型对其进行训练，这样可以在训练后得到的模型在进行变化检测时更多的关注卫星和无人机遥感图像区别较小的地物形状和轮廓特征，更少地关注区别较大的颜色，亮度等像素特征，因而有效克服了卫星和无人机遥感图像由于成像条件造成的颜色差异问题，显著提高了检测准确度与模型学习与训练效率。最后利用已训练的双通道全卷积网络模型对待检测的异源遥感图像进行检测变化。
在本实施例中，基于卫星及无人机的异源遥感图像变化检测方法包括步骤S100至S120对双通道全卷积网络模型进行训练以及步骤S130至S150利用已训练的双通道全卷积网络模型进行变化检测的两个部分。
在步骤S100中，样本数据集中包括两幅分别由无人机以及卫星针对同一目标位置，在不同时间拍摄的卫星遥感样本图像以及无人机遥感样本图像。在这里需要说明的是，两幅样本图像拍摄时间间隔较长，由于比较长的时间，同一目标位置中的地物将会发生变化，而本方法则是对这些变化进行检测，以对目标位置中进行灾害评估、城市扩张检测、土地覆盖检测等。
在本实施例中，卫星遥感样本图像以及无人机遥感样本图像均具有真实变化标签，以对双通道全卷积网络模型进行训练。而双通道全卷积网络模型输入就包括卫星遥感样本图像ISat∈R256×256×3，无人机遥感样本图像IUAV∈R2048×2048×3，真实变化标签G∈{0,1}256×256。
在其他实施中，样本数据集中可以包括有针对不同目标位置，在不同时间拍摄的卫星遥感样本图像以及无人机遥感样本图像，以增加对双通道全卷积网络模型进行训练的样本，以使双通道全卷积网络模型的检测能力可达到预期。
由于，遥感图像一般尺寸都比较大，不利于检测分析，则在步骤S110之前，也就是在对两幅样本图像分别进行预处理之前还对两幅样本图像进行切割对应得到多个卫星遥感图像块以及无人机遥感图像块。这样，步骤S110中实则为分别对各卫星遥感图像块以及无人机遥感图像块进行预处理得到与各图像块对应的建筑物边缘图像。
在本实施例中，分别对各卫星遥感图像块以及无人机遥感图像块进行预处理得到与各图像块对应的建筑物边缘图像包括：对卫星遥感图像块以及无人机遥感图像块分别采用canny算法提取图像亮度边缘，对应得到卫星亮度边缘图以及无人机亮度边缘图。对卫星亮度边缘图以及无人机亮度边缘图分别采用Hough算法提取图像中建筑物的直线边缘，对应得到卫星建筑物边缘图以及无人机建筑物边缘图。
具体的，先应用canny算法提取图像块的影像亮度边缘，得到亮度边缘图(ESat1,EUAV1)。然后利用Hough算法，从(ESat1,EUAV1)中提取其中的直线边缘，得到建筑物边缘图(ESat2,EUAV2)。在提取建筑物边缘图(ESat2,EUAV2)中，将边缘像素标记为1，非边缘像素标记为0。提取结果如图2所示，左侧图像为图像块，右侧为由图像块提取得到的建筑物边缘图E2。
在步骤S120中，将两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练具体包括：将卫星遥感图像块以及无人机遥感图像块中位置对应的两个图像块，以及与两个图像块对应的两个建筑物边缘图像作为一组训练样本，再依次将各组训练样本输入双通道全卷积网络模型对其进行训练。
在经过步骤S110之后，每个卫星遥感图像块以及无人机遥感图像块均对应有建筑物边缘图，并将对应同一位置的卫星遥感图像块和无人机遥感图像块以及这两个图像块分别对应的建筑物边缘图输入双通道全卷积网络模型进行训练，并依次输入各组训练样本对其进行训练。
如图3所示，本申请还提供了一种双通道全卷积网络模型结构，包括：两个独立的特征提取通道以及全连接网络。其中两个独立的特征提取通道分别由多层卷积构成卫星特征提取通道以及无人机特征提取通道。其中全连接网络包括依次连接，且层数相同的编码器以及多层解码器。
在本实施例中，结合双通道全卷机网络模型的结构，依次将各组训练样本输入双通道全卷积网络模型对其进行训练包括：将一组训练样本中卫星遥感图像块以及与该图像块对应的卫星建筑物边缘图输入卫星特征提取通道以提取卫星图像特征，将同一组训练样本中无人机遥感图像块以及与该图像块对应的无人机建筑物边缘图输入无人机特征提取通道以提取无人机图像特征。最后将卫星图像特征以及无人机图像特征输入全连接网络，输出预测的变化图。
具体的，以ISat(卫星遥感图像块)，IUAV(无人机遥感图像块)，ESat2,EUAV2(建筑物边缘图)为输入,以G为标签，训练双通道全卷机网络模型。利用两个独立的通道分别处理无人机与卫星遥感样本图像ISat，IUAV及其边缘提取结果ESat2,EUAV2,提取隐含特征FUAV∈R256×256×8(无人机图像特征)和FSat∈R256×256×4(卫星图像特征)，具体方法如下：
FUAV＝CUAV(cat(IUAV,EUAV))
FSat＝CSat(cat(ISat,ESat))
在上述两个分别求解FUAV和FSat的公式中，cat(·)代表将两个输入的通道维连接，CUAV(·)和CSat(·)分别代表有多层卷积构成的无人机和卫星特征提取通道。FUAV∈R256 ×256×8和FSat∈R256×256×4分别是提取得到的无人机图像特征和卫星图像特征。
进一步的，CUAV(·)和CSat(·)的结构如图4所示，其中左侧为CUAV(·)，右侧为CSat(·)。
在其中一实施例中，无人机特征提取通道CUAV(·)由通道维连接层以及三层卷积层组成，其中图4中卷积层中所表示的数据为该卷积层的输入和输出通道数。
在其中一实施例中，卫星特征提取通道CSat(·)同样由通道维连接层以及一层卷积层组成。
如图5所示，全连接网络各层编码器包括卷积块以及最大池化单元，各层解码器包括依次连接的反卷积单元、通道维连接单元以及卷积块。其中，编码器与解码器之间还由一个卷积块连接。
各层编码器中的卷积块还与相应层解码器中的通道维连接单元进行skip连接。由于利用了skip连接将编码器浅层卷积层中的细节局部特征与解码器中经过了多层卷积得到的抽象全局特征进行融合，以在考虑图像隐含上下文信息进行变化部分辨别的同时用细节信息得到像素级的精细化准确分类。
具体的，通过全连接网络(Fully connected network,FCN)融合比较双通道得到的特征FUAV和FSat，最终得到网络输出d3∈R256×256×2,具体方法如下：
在上述两个分别求解ei和dj的公式中，代表使用多层卷积块对输入进行特征提取，ei和dj分别是编码器和解码器得到的隐含特征层，第三层解码器得到的输出d3即为全连接网络的输出。AvePool(·)代表平均池化层，TConv(·)代表反卷积操作。预测的变化图D可以通过d3得到：
D＝argmax(d3)
在步骤S120对双通道全卷积网络模型进行训练的过程中，每次迭代过程计算网络模型的输出结果与对应变化真实值标签之间的损失函数，以损失函数最小为目标函数，利用Adam网络参数优化算法对深度卷积神经网络中的参数不断进行优化,当损失值不再下降时，将此时的网络参数保存为最终网络模型参数，得到光学遥感影像的变化检测模型M也就是双通道全卷积网络模型。
为了解决变化检测中的样本不均衡的问题，在本实施例中，用IoU-WCE损失函数来正确地引导模型的优化过程，而不至于过分偏向于数量更多的负例(未变化像素)。IoU-WCE损失函数是交并比(Intersection of Union，IoU)损失函数与加权交叉熵(WeightedCross Entropy,WCE)损失函数的加权组合，计算方法如下：
Lwce(i)＝-[Pug(i,u)logd3(i,u)+Pcg(i,c)logd3(i,c)]
在上述三个公式中，第一公式Lwce(i)表示第i个像素的WCE损失，在该公式中，Pu表示全部样本中未变化像素总数，Pc代表全部样本中变化像素的总数，d3(i,u)和d3(i,c)分别表示d3第i个像素的第一个和第二个值。
第二个公式Liou(i)表示第i个像素的IoU损失,在该公式中，pi＝sigmoid[d3(i,c)-d3(i,u)]表示像素i为变化像素的预测概率，gi表示真实变化图标签G中像素i的值。
而第三个公式，是将前两个公式的加权组合，其中α是平衡两种损失的常量系数，在本实施例中为0.67。
在经过步骤S100-S120后，得到已训练的双通道全卷积网络模型后，利用其对实际待检测的异源遥感图像进行变价检测。其实际检测过程包括步骤S130-S150。
具体的，将获取的待检测的卫星遥感图像以及无人机遥感图像进行切割后，再分别提取各图像块的建筑物边缘图像，并将卫星遥感图像以及无人机遥感图像中分别对应的两个图像块，以及由这两个图像块提取的建筑物边缘图像作为一组输入数据，并依次将多组输入数据输入已训练的双通道全卷积网络模型，以对各图像块中目标地区变化进行检测，最终实现对待检测的卫星遥感图像以及无人机遥感图像中所显示的整个目标区域的变化检测。
如图6所示，还示例性的展示了四个由卫星及无人机的异源遥感图像变化检测方法进行变化检测结果。其中，从左到右各列分别表示：卫星遥感影像、无人机遥感影像、变化图真实值标签和采用SCCN、STANet、FC-EF、BiDateNet、SNUNet-CD和本方法的变化检测结果。选取的这些比较方法都是学术界先进的同源/异源变化检测方法。图6中圈出的细节提示该处的是变化地物的细节，是其他方法进行检测的难点而本发明提出的方法优于现有其他方法。
上述的基于卫星及无人机的异源遥感图像变化检测方法，针对于卫星和无人机光学遥感图像的各种差异，例如颜色差异，地面分辨率差异，视差，图像变形等，提出了一个双通道全卷积神经网络来进行变化检测，该网络通过双通道分别提取两种图像的特征；通过全卷积网络融合并比较特征，并在网络输出直接得到变化图；通过加入skip连接来融合局部细节信息和全局抽象信息，以得到准确且精细的变化检测结果，网络模型按照上述流程经过端对端的训练后，进行测试预测，检测准确度高。并提出了利用自动提取建筑物边缘作为辅助信息进行变化检测的方法，该方法能够帮助模型更多地关注卫星和无人机遥感图像区别较小的地物形状和轮廓特征，更少地关注区别较大的颜色，亮度等像素特征，因而有效克服了卫星和无人机图像由于成像条件造成的颜色差异问题，显著提高了检测准确度与模型学习与训练效率。为了解决变化检测问题中，深度神经网络训练面临的不均衡样本问题(即样本中非变化像素数量远远高于变化样本)，本发明提出了IoU-WCE损失函数来训练模型，避免了模型在训练中产生偏向负例的趋势，得到了低漏检、低错检的理想检测模型。
本方法针对性的解决了卫星和无人机遥感图像之间的差异给变化检测带来的困难，设计了双通道全卷积神经网络、建筑物边缘辅助信息的提取与辅助变化检测方法，能够有效克服卫星-无人机图像之间的多种差异，完成高准确率，高精确度的变化检测。基于IoU-WCE损失函数训练并测试网络，从不均衡样本中训练得到了检测精度高，漏检率和错检率低的网络模型。与现有方法相比，本发明提出的方法在卫星-无人机遥感图像变化检测任务中准确度最高，性能最好，能够提高卫星和无人机遥感图像在变化检测分析中的信息产出质量，有很好的应用前景。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种基于卫星及无人机的异源遥感图像变化检测装置，包括：数据集获取模块200、图像预处理模块210、网络模型训练模块220、待检测数据集获取模块230、图像预处理模块240和图像检测模块250，其中：
数据集获取模块200，用于获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
图像预处理模块210，用于对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
网络模型训练模块220，用于将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数以优化模型参数，得到已训练的双通道全卷积网络模型；
待检测数据集获取模块230，用于获取待检测的卫星遥感图像以及无人机遥感图像；
图像预处理模块240，用于分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
图像检测模块250，用于将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像的进行变化检测。
关于基于卫星及无人机的异源遥感图像变化检测装置的具体限定可以参见上文中对于基于卫星及无人机的异源遥感图像变化检测方法的限定，在此不再赘述。上述基于卫星及无人机的异源遥感图像变化检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于卫星及无人机的异源遥感图像变化检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.基于卫星及无人机的异源遥感图像变化检测方法，其特征在于，所述方法包括：
获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像，包括：对卫星遥感图像块以及无人机遥感图像块分别采用canny算法提取图像亮度边缘，对应得到卫星亮度边缘图以及无人机亮度边缘图，对所述卫星亮度边缘图以及无人机亮度边缘图分别采用Hough算法提取图像中建筑物的直线边缘，对应得到卫星建筑物边缘图以及无人机建筑物边缘图；
将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数优化模型参数，得到已训练的双通道全卷积网络模型，其中，所述双通道全卷积网络模型包括：两个独立的特征提取通道以及全连接网络，两个所述独立的特征提取通道分别由多层卷积构成卫星特征提取通道以及无人机特征提取通道，所述全连接网络包括依次连接，且层数相同的编码器以及多层解码器，各层编码器中的卷积块还与相应层解码器中的通道维连接单元进行skip连接；
获取待检测的卫星遥感图像以及无人机遥感图像；
分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像进行变化检测。
2.根据权利要求1所述的异源遥感图像变化检测方法，其特征在于，在对所述两幅样本图像分别进行预处理之前还对两幅样本图像进行切割对应得到多个卫星遥感图像块以及无人机遥感图像块；
所述对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像包括：
分别对各所述卫星遥感图像块以及无人机遥感图像块进行预处理得到与各图像块对应的建筑物边缘图像。
3.根据权利要求2所述的异源遥感图像变化检测方法，其特征在于，所述将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练包括：
将所述卫星遥感图像块以及无人机遥感图像块中位置对应的两个图像块，以及与两个图像块对应的两个建筑物边缘图像作为一组训练样本；
依次将各组所述训练样本输入双通道全卷积网络模型对其进行训练。
4.根据权利要求3所述的异源遥感图像变化检测方法，其特征在于，
各层编码器包括卷积块以及最大池化单元；
各层解码器包括依次连接的反卷积单元、通道维连接单元以及卷积块；
其中，所述编码器与解码器之间还由一个卷积块连接。
5.根据权利要求4所述的异源遥感图像变化检测方法，其特征在于，所述依次将各组所述训练样本输入双通道全卷积网络模型对其进行训练包括：
将一组训练样本中卫星遥感图像块以及与该图像块对应的卫星建筑物边缘图输入卫星特征提取通道以提取卫星图像特征；
将同一组训练样本中无人机遥感图像块以及与该图像块对应的无人机建筑物边缘图输入无人机特征提取通道以提取无人机图像特征；
将所述卫星图像特征以及无人机图像特征输入全连接网络，输出预测的变化图。
6.一种基于卫星及无人机的异源遥感图像变化检测装置，其特征在于，所述装置包括：
数据集获取模块，用于获取异源遥感图像的样本数据集，所述样本数据集中包括针对同一目标位置、拍摄时间不同的卫星遥感样本图像以及无人机遥感样本图像；
图像预处理模块，用于对两幅样本图像分别进行预处理相应得到目标位置中的建筑物边缘图像，包括：对卫星遥感图像块以及无人机遥感图像块分别采用canny算法提取图像亮度边缘，对应得到卫星亮度边缘图以及无人机亮度边缘图，对所述卫星亮度边缘图以及无人机亮度边缘图分别采用Hough算法提取图像中建筑物的直线边缘，对应得到卫星建筑物边缘图以及无人机建筑物边缘图；
网络模型训练模块，用于将所述两幅样本图像以及对应的建筑物边缘图像输入双通道全卷积网络模型对其进行训练，并采用IoU-WCE损失函数以优化模型参数，得到已训练的双通道全卷积网络模型，其中，所述双通道全卷积网络模型包括：两个独立的特征提取通道以及全连接网络，两个所述独立的特征提取通道分别由多层卷积构成卫星特征提取通道以及无人机特征提取通道，所述全连接网络包括依次连接，且层数相同的编码器以及多层解码器，各层编码器中的卷积块还与相应层解码器中的通道维连接单元进行skip连接；
待检测数据集获取模块，用于获取待检测的卫星遥感图像以及无人机遥感图像；
图像预处理模块，用于分别从待检测的卫星遥感图像以及无人机遥感图像中提取相应的建筑物边缘图像；
图像检测模块，用于将待检测的两幅遥感图像以及相应建筑物边缘图像输入所述已训练的双通道全卷积网络模型，以对所述待检测的两幅遥感图像的进行变化检测。
CN202110954207.2A 2021-08-19 2021-08-19 基于卫星及无人机的异源遥感图像变化检测方法及装置 Active CN113962925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110954207.2A CN113962925B (zh) 2021-08-19 2021-08-19 基于卫星及无人机的异源遥感图像变化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110954207.2A CN113962925B (zh) 2021-08-19 2021-08-19 基于卫星及无人机的异源遥感图像变化检测方法及装置

Publications (2)

Publication Number Publication Date
CN113962925A CN113962925A (zh) 2022-01-21
CN113962925B true CN113962925B (zh) 2024-01-26

Family

ID=79460532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110954207.2A Active CN113962925B (zh) 2021-08-19 2021-08-19 基于卫星及无人机的异源遥感图像变化检测方法及装置

Country Status (1)

Country Link
CN (1) CN113962925B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN112131969A (zh) * 2020-09-01 2020-12-25 河海大学 基于全卷积神经网络的遥感图像变化检测方法
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232330B2 (en) * 2018-02-13 2022-01-25 Slingshot Aerospace, Inc. Adaptive neural network selection to extract particular results

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN112131969A (zh) * 2020-09-01 2020-12-25 河海大学 基于全卷积神经网络的遥感图像变化检测方法
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统

Also Published As

Publication number Publication date
CN113962925A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111222474B (zh) 一种任意尺度的高分辨率图像小目标检测方法
Puissant et al. The utility of texture analysis to improve per‐pixel classification for high to very high spatial resolution imagery
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN111401201A (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
Gao et al. Faster multi-defect detection system in shield tunnel using combination of FCN and faster RCNN
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN111753649B (zh) 车位检测方法、装置、计算机设备和存储介质
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN111681259B (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN111208818B (zh) 基于视觉时空特征的智能车预测控制方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
Lu et al. Superthermal: Matching thermal as visible through thermal feature exploration
Lentsch et al. Slicematch: Geometry-guided aggregation for cross-view pose estimation
CN116883466A (zh) 基于位置感知的光学与sar图像配准方法、装置及设备
CN111008956B (zh) 基于图像处理的梁底裂纹检测方法、系统、装置及介质
Zeng et al. Recurrent residual dual attention network for airborne laser scanning point cloud semantic segmentation
CN116168246A (zh) 一种用于铁路工程的弃渣场识别方法、装置、设备及介质
CN114821316A (zh) 一种三维探地雷达裂缝病害识别方法及系统
Dong et al. Intelligent pixel-level pavement marking detection using 2D laser pavement images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant