CN112613354A - 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 - Google Patents

一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 Download PDF

Info

Publication number
CN112613354A
CN112613354A CN202011415517.9A CN202011415517A CN112613354A CN 112613354 A CN112613354 A CN 112613354A CN 202011415517 A CN202011415517 A CN 202011415517A CN 112613354 A CN112613354 A CN 112613354A
Authority
CN
China
Prior art keywords
images
encoder
noise reduction
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011415517.9A
Other languages
English (en)
Inventor
石爱业
王越
陆定一
马浩洋
姚雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202011415517.9A priority Critical patent/CN112613354A/zh
Publication of CN112613354A publication Critical patent/CN112613354A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稀疏降噪自编码器的异质遥感图像变化检测方法，首先，选取两幅同一地区不同时相的SAR图像和RGB图像，记为图I1和图I2，对两幅图像先通过多特征提取，对图像进行预分类，形成差异图D；然后用稀疏降噪自编码器训练非变化像素，学习非变化区域的特征表示；最后将所有样本的重构误差作为差异图，实现变化与非变化像素在本质上的区分。本发明首先适用于异质图像的变化检测，避免了对原始图像的预处理环节，同时一定程度上减少信息的丢失问题，具有受噪声影响小，变化检测结果精度高等优点。

Description

一种基于稀疏降噪自编码器的异质遥感图像变化检测方法
技术领域
本发明属于遥感图像处理和模式识别技术领域，涉及一种基于稀疏降噪自编码器的异质遥感图像变化检测方法。
背景技术
遥感图像的变化检测是指通过分析在不同时间来自同一地区的两幅或多幅遥感图像，检测出该地区的地物随时间发生的变化图像。随着遥感技术的发展，不同类型的图像数据不断增多，单一传感器下难以获得全面地目标信息，异质遥感图像的处理成为一个待解决的问题。异质遥感图像是指来自不同传感器、不同分辨率或不同频谱波段的遥感图像。遥感图像的变化检测已经广泛地应用于如森林资源的动态监测、土地覆盖和利用的变化监测。农业资源调查、城市规划布局、环境监测分析、自然灾害评估、地理数据更新以及军事侦察中战略目标(如道路、桥梁、机场)等的动态监视等许多领域。
目前，很多遥感变化检测技术都是针对同质图像，而现实中，尤其当某个地区发生自然灾害时，由于该地区遥感卫星发生变化，拍摄条件限制等原因，往往灾害之前卫星拍摄的图像类型与灾害之后能够获取的图像类型不同，导致人们最终不能获取两幅同质的遥感图像，但有需要马上对受灾地区实施救灾。因此，异质遥感图像变化检测技术显得尤为重要。遥感图像变化检测技术通常分为三种类型：对象级、特征级和像素级。
发明内容
本发明的目的是通过稀疏降噪自编码器训练非变化像素，学习非变化区域的特征表示，将所有样本的重构误差作为差异图，实现变化与为未变化像素在本质上的区分。本发明采用以下技术方案：一种基于稀疏降噪自编码器的异质遥感图像变化检测方法，包括以下步骤：
步骤一、选取两幅同一地区不同时相的SAR图像和RGB图像，记为图I1和图I2，对两幅图像先通过多特征提取，对图像进行预分类，形成差异图D；
步骤二、用稀疏降噪自编码器训练非变化像素，学习非变化区域的特征表示；
步骤三、将所有样本的重构误差作为差异图，实现变化与非变化像素在本质上的区分。
所述的步骤一具体包括如下步骤：
步骤101：选取两幅不同时刻的SAR图像和RGB图像分别为图I1和图I2，SAR图像和RGB图像大小为m×n，对SAR图像和RGB图像分别计算灰度特征，空间特征，纹理特征，增强变化类和非变化类的对比度；
步骤102：将特征级联形成组合特征FS,FO；
步骤103：SAR图像和RGB图像大小为m×n，则差异图D大小为m×n，m和n均为正整数。
所述的步骤二具体包括如下步骤：
步骤201：对步骤一得到的差异图进行FCM，将像素分为严变、严不变和中间3类；
步骤202：提取SAR图像和RGB图像对应的严不变区域，随机选取N个像素，取邻域，拉成列，形成训练样本矩阵X；
步骤203：将训练样本X输入稀疏降噪自编码器，进行训练；
步骤204：迭代后去除误差最大的样本；
步骤205：再进行下一代迭代，当神经网络的输出层误差达到预设精度要求或者训练次数达到最大迭代次数的时候，结束训练，保存网络结构和参数，得到训练好的神经网络模型。
所述的步骤三具体包括如下步骤：
步骤301：对SAR图像和RGB图像所有像素取邻域，拉成列；
步骤302：为测试样本输入训练好的稀疏降噪自编码器；
步骤303：提取重构误差作为最终差异图D，用FLICM聚类得到最终的检测结果R。
步骤二中选出满足一下两个条件的像素，作为严不变像素：
1)：将两个聚类中心的像素距离平分成4份，将阈值sl为第一份和第二份的分割处，像素值再阈值sl之下；
2):其8邻域中至少有4个像素之和小于两倍的阈值sl。
本发明提供的这种基于卷积神经网络的异质图像变化检测方法有益效果：
1、本发明通过多层稀疏降噪自编码器学习非变化像素的深层特征，将稀疏降噪自编码器训练成非变化像素的重构网络；
2、由于变化像素在光学和SAR图像中差异较大，用训练好的自编码器重构误差会比较大，因此用重构误差可以区分变化与非变化像素；
3、获得差异图后，本发明使用FLICM算法进行变化检测。
附图说明
图1是基于稀疏降噪自编码器的异质遥感图像变化检测步骤示意图
图2是基于稀疏降噪自编码器的异质遥感图像变化检测算法示意图。
图3是时间1的SAR图像。
图4是时间2的光学图像。
图5是检测结果参考图。
图6是用分类后比较法(PCC)得到的结果图。
图7是本发明得到的变化检测结果图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
实施例1：
本实施例提供一种基于稀疏降噪自编码器的异质遥感图像变化检测方法，如图1和图2所示，包括以下步骤：
步骤一、选取两幅同一地区不同时相的SAR图像和RGB图像，如图3和图4所示，记为图像I1和图像I2，对两幅图像先通过多特征提取，对图像进行预分类，形成差异图D；
步骤二、用稀疏降噪自编码器训练非变化像素，学习非变化区域的特征表示；
步骤三、将所有样本的重构误差作为差异图，实现变化与非变化像素在本质上的区分；
实施例2：
本实施例在实施例1的基础上进一步对步骤一进行详细说明，步骤一具体包括如下步骤：
步骤101：选取两幅不同时刻的SAR图像和RGB图像分别为I1和I2，SAR图像和RGB图像大小为m×n，对SAR图像和RGB图像分别计算灰度特征，空间特征，纹理特征，增强变化类和非变化类的对比度；
步骤102：将特征级联形成组合特征FS,FO；
步骤103：SAR图像和RGB图像大小为m×n，则差异图D大小为m×n，m和n均为正整数；
实施例3：
本实施例在实施例1和实施例2的基础上进一步对步骤二进行详细说明，步骤二具体包括如下步骤：
步骤201：对步骤一得到的差异图进行FCM，将像素分为严变、严不变和中间3类；
步骤202：提取SAR图像和RGB图像对应的严不变区域，随机选取N个像素，取邻域，拉成列，形成训练样本矩阵X；
步骤203：将训练样本X输入稀疏降噪自编码器，进行训练；
步骤204：迭代后去除误差最大的样本；
步骤205：再进行下一代迭代，当神经网络的输出层误差达到预设精度要求或者训练次数达到最大迭代次数的时候，结束训练，保存网络结构和参数，得到训练好的神经网络模型；
实施例4：
本实施例在实施例1和实施例3的基础上进一步对步骤三进行详细说明，步骤三具体包括如下步骤：
步骤301：对SAR图像和RGB图像所有像素取邻域，拉成列；
步骤302：为测试样本输入训练好的稀疏降噪自编码器；
步骤303：提取重构误差作为最终差异图D，用FLICM聚类得到最终的检测结果R。
实施例5：
本发明的效果可以通过以下仿真进一步说明：
1、仿真参数
为了进行效果评估，变化检测结果往往呈现在二值图中，白色像素表示变化的像素，而黑色代表不变的。一般采用如假阴性(FalseNegative，FN)，假阳性(FalsePositive，FP)，总体误差(OverallError，OE)，总体准确度(OverallAccuracy，OA)和Kappa统计量等定量分析。FN表示错误地分类为未改变的像素数量，而FP表示错误地划分到改变的地区的像素的数量。然后，OE可以通过使用OE＝FN+FP获得，并且OA可以通过计算得出：
Figure BDA0002817802110000041
其中TN表示真负数，即正确分为不变区域的像素数量，TP表示正确分类到变化区域的像素数。Kappa可以由下式被计算出来：
Figure BDA0002817802110000051
Figure BDA0002817802110000052
2、仿真实验结果及分析
将本发明与现有可用的异质遥感图像变化检测方法进行比较，比如分类后比较法(PCC)，图6表示变化检测参考图，通过稀疏降噪自编码器对图5的最终变化检测结果如图6所示，图6是用分类后比较法(PCC)得到的结果图，如图6所示，对比方法PCC的结果图中噪声影响较大，有许多非变化像素被分为变化像素，该组图的最终变化检测结果的性能指标如表1所示：
方法 FP FN OE OA(％) Kappa
PCC 15750 122 15872 91.11 0.5526
本发明 3582 7073 10655 94.03 0.5401
表1
从表1中可以看出，对于PCC来说，分类图的精度将会对后续的映射有较大的影响，而错误将在最后的变化二值图中累积，可从OE和OA看出，如图7所示，说明本发明的方法提高了变化检测的正确率。
以上所述仅为本发明中的具体实施方式，并不局限于此，任何在本发明精神和原则之内的，所做的变换或替换，均包含在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于稀疏降噪自编码器的异质遥感图像变化检测方法，其特征在于，包括如下步骤：
步骤一、选取两幅同一地区不同时相的SAR图像和RGB图像，记为图I1和图I2，对两幅图像先通过多特征提取，对图像进行预分类，形成差异图D；
步骤二、用稀疏降噪自编码器训练非变化像素，学习非变化区域的特征表示；
步骤三、将所有样本的重构误差作为差异图，实现变化与非变化像素在本质上的区分。
2.如权利要求1所述的基于稀疏降噪自编码器的异质遥感图像变化检测方法，其特征在于，所述的步骤一具体包括如下步骤：
步骤101：选取两幅不同时刻的SAR图像和RGB图像分别为图I1和图I2，SAR 图像和 RGB图像大小为 m ´ n，对SAR图像和RGB图像分别计算灰度特征，空间特征，纹理特征，增强变化类和非变化类的对比度；
步骤102：将特征级联形成组合特征FS,FO；
步骤103：SAR 图像和 RGB 图像大小为 m ´ n ，则差异图 D 大小为 m ´ n ，m 和 n均为正整数。
3.如权利要求1所述的基于稀疏降噪自编码器的异质遥感图像变化检测方法，其特征在于，所述的步骤二具体包括如下步骤：
步骤201：对步骤一得到的差异图进行FCM，将像素分为严变、严不变和中间3类；
步骤202：提取SAR图像和RGB图像对应的严不变区域，随机选取N个像素，取邻域，拉成列，形成训练样本矩阵X；
步骤203：将训练样本X输入稀疏降噪自编码器，进行训练；
步骤204：迭代后去除误差最大的样本；
步骤205：再进行下一代迭代，当神经网络的输出层误差达到预设精度要求或者训练次数达到最大迭代次数的时候，结束训练，保存网络结构和参数，得到训练好的神经网络模型。
4.如权利要求1所述的基于稀疏降噪自编码器的异质遥感图像变化检测方法，其特征在于，所述的步骤三具体包括如下步骤：
步骤301：对SAR图像和RGB图像所有像素取邻域，拉成列；
步骤302：为测试样本输入训练好的稀疏降噪自编码器；
步骤303：提取重构误差作为最终差异图D，用FLICM聚类得到最终的检测结果R。
CN202011415517.9A 2020-12-04 2020-12-04 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 Withdrawn CN112613354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011415517.9A CN112613354A (zh) 2020-12-04 2020-12-04 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011415517.9A CN112613354A (zh) 2020-12-04 2020-12-04 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法

Publications (1)

Publication Number Publication Date
CN112613354A true CN112613354A (zh) 2021-04-06

Family

ID=75229375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011415517.9A Withdrawn CN112613354A (zh) 2020-12-04 2020-12-04 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN112613354A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170145A (zh) * 2021-11-12 2022-03-11 西安理工大学 基于多尺度自编码的异质遥感图像变化检测方法
CN115883213A (zh) * 2022-12-01 2023-03-31 南京南瑞信息通信科技有限公司 基于连续时间动态异质图神经网络的apt检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170145A (zh) * 2021-11-12 2022-03-11 西安理工大学 基于多尺度自编码的异质遥感图像变化检测方法
CN114170145B (zh) * 2021-11-12 2023-04-07 西安理工大学 基于多尺度自编码的异质遥感图像变化检测方法
CN115883213A (zh) * 2022-12-01 2023-03-31 南京南瑞信息通信科技有限公司 基于连续时间动态异质图神经网络的apt检测方法及系统
CN115883213B (zh) * 2022-12-01 2024-04-02 南京南瑞信息通信科技有限公司 基于连续时间动态异质图神经网络的apt检测方法及系统

Similar Documents

Publication Publication Date Title
CN110516561B (zh) 基于dcgan和cnn的sar图像目标识别方法
Kannojia et al. Effects of varying resolution on performance of CNN based image classification: An experimental study
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN112183432B (zh) 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN104182985B (zh) 遥感图像变化检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN105844279A (zh) 基于深度学习和sift特征的sar图像变化检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
Tang et al. A multiple-point spatially weighted k-NN method for object-based classification
CN112017192A (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN112613354A (zh) 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210406

WW01 Invention patent application withdrawn after publication