CN108573276B - 一种基于高分辨率遥感影像的变化检测方法 - Google Patents

一种基于高分辨率遥感影像的变化检测方法 Download PDF

Info

Publication number
CN108573276B
CN108573276B CN201810200443.3A CN201810200443A CN108573276B CN 108573276 B CN108573276 B CN 108573276B CN 201810200443 A CN201810200443 A CN 201810200443A CN 108573276 B CN108573276 B CN 108573276B
Authority
CN
China
Prior art keywords
image
remote sensing
layer
change
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810200443.3A
Other languages
English (en)
Other versions
CN108573276A (zh
Inventor
罗智凌
赵景晨
尹建伟
李莹
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810200443.3A priority Critical patent/CN108573276B/zh
Publication of CN108573276A publication Critical patent/CN108573276A/zh
Application granted granted Critical
Publication of CN108573276B publication Critical patent/CN108573276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本发明公开了一种基于高分辨率遥感影像的变化检测方法，该方法首先在经过必要的正射校正、影像配准、直方图匹配等预处理后，使用超像素分割与合成算法对多时相遥感图像进行分块，并以超像素为单位进行局部特征的计算和样本选择，实现对影像中具有明显倾向性的变化或未变化区域的自动标注；之后，以标注结果为样本训练孪生卷积神经网络，对图像变化情况进行分类，并进行降噪和形态学滤波等后处理，得到最终的变化检测结果。实验表明，在高分二号卫星遥感影像数据集上，本发明方法的各项指标都大大优于传统变化检测算法，Kappa系数平均提升0.3，平均总体错误率低于3.5％，检测结果具有更高的实用价值。

Description

一种基于高分辨率遥感影像的变化检测方法
技术领域
本发明属于遥感影像识别及深度学习技术领域，具体涉及一种基于高分辨率遥感影像的变化检测方法。
背景技术
近年来，卫星技术取得了飞速的发展，卫星遥感影像的应用领域也被不断拓展，在气象、地质、测绘、农林牧渔、军事侦察等领域都发挥了重要的作用。遥感影像变化检测是指利用同一地区、不同时间的遥感影像和大气、传感器等相关数据，经过图像校正等预处理，借助数理统计或人工智能相关技术，对遥感影像进行特征提取和比较，并对其变化情况作出分析与判断。遥感影像变化检测技术是目前遥感领域的一项关键技术，同时涉及地理科学、数学、计算机科学等多学科领域，已经越来越多的被应用在地物变化、城市规划、灾害监控、水体监测、农林监测、国土资源管理、军事侦察等领域中。
变化检测问题的核心在于如何对影像特征进行提取和比较，最终高效准确的对遥感影像中发生实质性变化的区域进行检测。对于多时相遥感图像，由于成像设备、气象条件差异和其他干扰因素的变化，以及预处理误差的影响，发生像素级的变化是难以避免的。同时，变化本身没有明确定义，严重受到主观判断的影响，因此变化检测的最终目的并不是力图发现所有的变化，而是应该关注于后续分析所需要的、有特定意义和参考价值的变化区域的检测。
高分辨率卫星影像因其经济稳定、清晰度高、实时性强的特点，愈发收到广泛关注，是变化检测技术最主要的数据来源之一。中国高分辨率对地观测系统(简称高分专项)是中国国家中长期科学和技术发展规划纲要(2006年至2020年)的16个重大科技专项之一，该系统将建设一套基于卫星、平流层飞艇和飞机的高分辨率对地观测系统，完善地面资源，并与其他观测手段结合，形成全天候、全天时、全球覆盖的对地观测能力。高分系列卫星覆盖了从全色、多光谱到高光谱，从光学到雷达，从太阳同步轨道到地球同步轨道等多种类型，构成了一个具有高空间分辨率、高时间分辨率和高光谱分辨率能力的对地观测系统。
高分辨率多光谱卫星遥感影像虽然包含了更多的信息量，但也引入了众多的干扰因素和技术挑战，如何充分且合理地利用影像中包含的信息，并且有效的减弱各类干扰因素对分析的影响，是变化检测亟需解决的问题；深度学习理论和方法的引入，为变化检测算法的优化提出了新思路。
在神经网络的学习过程中，数据的重要性是无可替代的；遥感卫星影像的数据量十分庞大，且变化本身缺乏客观定义，可能随应用场景的改变而发生变化，因此对数据进行准确的标记不仅工作量大而且十分困难。借助于传统遥感影像变化检测的研究成果，可以在一定的约束条件下对遥感图像的变化情况进行一定程度地判断，并以此作为神经网络的训练数据，在不需要人工标注的前提下对分析结果进行深度优化，得到相对准确的检测结果，从而实现无监督的变化检测流程。
发明内容
鉴于上述，本发明提供了一种基于高分辨率遥感影像的变化检测方法，能够准确、高效的利用高分辨率遥感影像，对变化区域进行检测。
一种基于高分辨率遥感影像的变化检测方法，包括如下步骤：
(1)对用于训练的两张高分辨率的遥感影像进行预处理，提取出对应的两个ROI(感兴趣区域)；
(2)对预处理后得到的ROI进行超像素分割及合成，得到一张合成结果图像；
(3)对于所述合成结果图像，以超像素为单位进行包括光谱、纹理、峰值信噪比、结构相似性、空间斜率、空间截距以及空间相关性在内的七项局部特征的计算，得到对应的一系列特征变化图；
(4)根据所述特征变化图对合成结果图像中的超像素进行预分类，并生成相应的训练样本；
(5)设计孪生卷积神经网络模型，利用训练样本对其进行训练；
(6)利用训练完成得到的孪生卷积神经网络模型对待检测的两张遥感影像进行变化检测，并对检测结果进行后处理。
进一步地，所述步骤(1)的具体实现过程如下：
1.1对遥感影像进行正射校正；
1.2对正射校正后的两张遥感影像进行影像配准；
1.3对完成配准后的两张遥感影像进行直方图匹配；
1.4对遥感影像中需要进行变化检测的ROI进行对比度受限的自适应直方图均衡化处理；
1.5对直方图均衡化处理后的两个ROI进行中值滤波处理。
进一步地，所述步骤(2)的具体实现过程如下：
2.1采用SLICO(Zero parameter version ofSimple Linear IterativeClustering)算法对两个ROI分别进行超像素分割，对应得到两张分割结果图像，进而从0～N-1分别对两张分割结果图像中的超像素进行编号，N为超像素数量；
2.2对两张分割结果图像进行超像素合成，得到一张统一的合成结果图像并进行标记合并以及重编号；其中关于标记合并，若两张分割结果图像中位置为(x,y)处的像素点标记分别为Ax,y和Bx,y，则合成结果图像中对应位置为(x,y)处的像素点标记为
Figure BDA0001594330400000031
关于重编号，则从0～M-1按从左到右从上到下的顺序对合成结果图像中的超像素进行编号，M为合并后的超像素数量；
2.3采用SLICO中增强连通性的方法去除合成结果图像中尺寸过小的超像素；
2.4对增强连通性后的合成结果图像中的超像素重新编号。
进一步地，所述步骤(4)的具体实现方法为：根据特征变化图采用OTSU(最大类间方差)算法对合成结果图像中的超像素进行预分类，即对于至少6项局部特征发生变化的超像素，以该超像素内任一像素点为中心大小为9×9的区域图块作为发生变化的训练样本；对于7项局部特征均未发生任何变化的超像素，以该超像素内任一像素点为中心大小为9×9的区域图块作为未发生变化的训练样本。
进一步地，所述步骤(5)中的孪生卷积神经网络模型包含两条结构完全一致的卷积神经网络支路，所述卷积神经网络支路的输入为以某一像素点为中心大小为9×9的区域图块，输出为128维度的向量，且从输入至输出依次由卷积层C1、卷积层C2、最大池化层S3、卷积层C4、卷积层C5、最大池化层S6、全连接层F7和全连接层F8连接组成；其中，卷积层C1采用边距为1的零填充，使用32个3×3大小的卷积核，激活函数采用ReLU；卷积层C2同样采用边距为1的零填充，使用32个3×3大小的卷积核，激活函数采用ReLU；最大池化层S3使用2×2大小的核，步长也为2×2；卷积层C4采用边距为1的零填充，使用64个3×3大小的卷积核，激活函数采用ReLU；卷积层C5同样采用边距为1的零填充，使用64个3×3大小的卷积核，激活函数采用ReLU；最大池化层S6使用2×2大小的核，步长也为2×2；全连接层F7使用256个节点的输出维度，激活函数采用ReLU；全连接层F8使用128个节点的输出维度，激活函数采用ReLU。
进一步地，所述步骤(6)的具体实现方法为：首先根据步骤(1)～(4)对待检测的两张遥感影像进行处理，得到ROI中所有相同位置像素点对应的两份9×9大小的区域图块，进而将这两份9×9大小的区域图块分别输入至模型的两条卷积神经网络支路中，通过计算两条卷积神经网络支路输出向量的欧式距离，即能够判断相应像素点的相似度以确定其是否发生变化，若变化则标记为1，未变化则标记为0，依此遍历ROI中所有像素点即可得到一张二分类的检测结果图像；最后对该检测结果图像进行中值滤波以及基于矩阵结构元开运算的形态学处理，得到最终的二值变化结果图。
基于上述技术方案，本发明具有以下有益技术效果：
(1)本发明分析了高分辨率遥感影像变化检测的基本问题，在已有研究成果的基础上，设计并实现了一套使用无监督学习的变化检测方案。
(2)本发明使用基于超像素分割和合成的方法对图像特征进行提取，并提出了一套基于局部特征的样本选择机制。
(3)本发明将孪生卷积神经网络引入到变化检测的分类任务中，实验表明该技术方案可以有效提升变化检测的准确率，Kappa系数平均提升0.3，平均总体错误率低于3.5％。
附图说明
图1为本发明方法的技术流程示意图。
图2为本发明中孪生卷积神经网络模型的结构示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明高分辨率遥感影像的变化检测方法，具体包括如下步骤：
(1)高分辨率遥感影像预处理。
遥感成像十分容易受到传感器姿态变化、卫星平台运动、地球曲率、地形起伏、光学系统畸变等外界因素等影响，导致拍摄的遥感影像相对于真实的地面位置发生扭曲、偏移、挤压、伸展等类型的几何畸变。在使用高分辨率遥感影像进行变化检测之前，必须首先对遥感影像进行必要和充分的预处理。针对不同类型的遥感影像，预处理流程可能有所差异，此处针对高分2号卫星影像，采用预处理流程如下：
1.1正射校正：正射校正是对图像的空间和几何畸变进行校正，生成多中心投影平面正射图像的处理过程。本实施方式采用有理多项式系数(Rational PolynomialCoefficient，RPC)模型，并结合数字高程模型(Digital Elevation Model，DEM)实现正射校正过程，RPC模型使用的模型参数可以从卫星遥感影像的.rpb文件中获取，DEM数据采用全球大陆范围高程数据集GMTED2010(Global Multi-resolutionTerrain Elevation Data2010)。
1.2影像配准：影像配准是指将不同时间、不同成像设备或不同采集条件下(天气、光照、摄像位置和角度等)获取的多时相图像匹配、叠加到统一坐标系中的过程。具体步骤如下：
1.2.1建立参考系统；以两张图像中的一张作为参考图像，建立参考坐标系；另一张作为待配准图像，建立待配准图像坐标系，可以选择任意一张作为参考图像。
1.2.2选择连接点(Tie Point)；使用Forstner角点算子提取特征点，利用采用一次多项式(First-Order Polynomial)的拟合全局变换(Fitting Global Transform)几何模型对特征点进行过滤，并通过互相关(Cross Correlation)算法进行连接点匹配。
1.2.3建立变换模型；使用步骤1.2.2中得到的两幅图像中连接点的关系，可以确定图像配准所使用的变换模型的参数。
1.2.4几何变换和重采样；在步骤1.2.3得到的模型的基础上，对待配准图像进行几何变换和重采样，得到最终的配准结果，本实施方式使用三次卷积进行重采样，使用多项式模型进行几何变换。
1.3直方图匹配(Histogram Matching)：通过直方图匹配，可以对多时相遥感影像的色彩差异进行校正，减少色彩对变化检测准确度的影响。
1.4对比度受限的自适应直方图均衡化(Contrast LimitedAdaptive HistogramEqualization，CLAHE)：为了进一步增强局部图像的对比度，突出局部特征的变化情况，本实施方式使用对比度受限的自适应直方图均衡化对局部图像进行增强，经过处理后，遥感图像的细节更加清晰，局部特征更加明显，多时相遥感图像的色调也更加一致。
1.5中值滤波：中值滤波是统计排序滤波器的一种，其使用一个像素临域中的灰度级的中值来代替该像素的值，经过该处理，一些比较突兀的细节得到了较好的处理，地物的局部特征更加平滑有序。
(2)超像素分割与合成。
本发明采用超像素作为特征提取的基本单元，在得到经过预处理的遥感影像后，需要对待比较的成对图片分别进行超像素分割和分割结果的合成操作，具体步骤如下：
2.1分别对成对的遥感影像应用SLICO算法[Achanta R,Shaji A,Smith K,etal.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEEtransactions on pattern analysis and machine intelligence,2012,34(11):2274-2282.]进行超像素分割，得到一组超像素分割结果。
2.2超像素编号；从0～N-1分别对两张图像的超像素进行编号，N为超像素数量，其中一张图A中位置为(x，y)处的像素Ax，y，标记用
Figure BDA0001594330400000061
表示。
2.3标记合并；对于A,B两张图位置为(x，y)处的像素Ax，y和Bx，y，合成后的新标记为字符串
Figure BDA0001594330400000071
2.4重编号；将合成后的标记重新用0～N′-1按照Z字形逐行进行编号，N’为合并后超像素数量。
2.5增强连通性；超像素合成后，超像素数量大幅增加，并容易产生很多过小的超像素，不利于反映图像的局部特征，因此需要使用SLICO算法中增强连通性的方法，去除尺寸过小的超像素。
2.6重编号；按照步骤2.3，对增强连通性后的结果再次进行重编号，得到最终的超像素合成结果。
经过上述步骤，对两张遥感影像可以得到一致的分割方案，按照此方案对两张遥感影像实施最终的分割操作。
(3)局部变化特征提取。
在完成超像素分割和合成后，分别对两张图片以超像素为单位进行特征的提取。在包含了光谱特征的同时，每个超像素中也会包含纹理、空间等特征，不同类型的特征在反应不同类型的地物上有不同的效果；对于成对遥感影像，分别以超像素为单位计算各项特征，获得以超像素为单位的特征变化图。
由于不同特征数值大小与变化情况有的呈正相关，有的呈负相关，本实施方式统一对负相关的特征进行取反处理，保证特征数值越高，此特征在该超像素区域内发生变化的可能性越高。在本实施方式中，采用了以下五类七项特征作为监督学习中为样本选择预分类的依据：
3.1光谱特征。
此处的光谱指代不同波段灰度图像的灰度值；在本实施方式中，超像素的光谱特征使用超像素中所有波段包含的像素的平均灰度值表示。针对于变化检测的情形，超像素光谱特征的差异可以使用对应波段、对应位置的像素对直接的平均差异表示，对于第j个超像素，光谱特征
Figure BDA0001594330400000072
表示为：
Figure BDA0001594330400000073
其中，N表示超像素中的像素个数，B代表遥感影像的波段数，Rj表示超像素中的像素集合，Xc和Yc分别表示在图像X和Y在第c个波段的灰度值。
3.2纹理特征。
纹理特征通过像素及其空间邻域中的灰度分布情况来表示，在某些特定场景下，纹理特征的差异比光谱特征的差异更能反映变化情况。
灰度共生矩阵(Gray-Level Co-occurrence Matrix，GLCM)是一种常用的统计型纹理特征，它被定义为图像中相距为d的两个灰度像素同时出现的联合概率分布，反映了相邻像素的灰度相关性；灰度共生矩阵一般不直接作为区分纹理的特征，而是基于它构建的一些统计量作为纹理分类特征，如能量、熵、对比度、逆方差、相关性、均值、标准差、同质性等等。
本发明采用GLCM均值作为变化特征提取中的纹理特征，对多时相遥感图像的纹理差异进行度量，对于第j个超像素，纹理特征
Figure BDA0001594330400000081
表示为：
Figure BDA0001594330400000082
其中，
Figure BDA0001594330400000083
和
Figure BDA0001594330400000084
分别表示图像X和Y在第c个波段上的GLCM均值。
3.3峰值信噪比。
峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)是一种被广泛使用的图像质量客观评价指标，也经常被用来进行图片相似度的比较；PSNR可以衡量图像失真或噪声水平，两个图像的峰值信噪比越小，则图像越相似。
在本发明中对于尺寸为m×n的图像X和Y，峰值信噪比作为特征时可以表示为：
Figure BDA0001594330400000085
其中，MSE为均方差(Mean-Square Error)可表示为：
Figure BDA0001594330400000086
其中，X(c，i，j)表示图像X在第c波段(i，j)位置的像素值。
3.4结构相似性。
结构相似性(Structural Similarity，SSIM)分别从亮度、对比度、结构三方面度量图像相似性，分别用均值、方差和协方差作为亮度、对比度和结构相似程度的度量，SSIM越大，图像相似度越高。
对于图像X和Y的第j个超像素，结构相似度表示为：
Figure BDA0001594330400000091
Figure BDA0001594330400000092
其中，
Figure BDA0001594330400000093
是图像X的超像素j中像素的平均值，
Figure BDA0001594330400000094
对应的方差，
Figure BDA0001594330400000095
是协方差。
C1＝(k1L)2＝(0.01×255)2＝6.5025
C2＝(k2L)2＝(0.03×255)2＝58.5225
3.5空间特征。
空间特征是通过对局部区域的相关性分析获得的，能够反映图像光谱在空间中的上下文信息；在基于邻域的相关图像分析中，斜率(Slope)、截距(Intercept)和相关性(Correlation)三个特征能够很好的对空间上下文信息进行建模，从而提供足够的信息反映图像的变化。
对于图像X和Y的第j个超像素，斜率、截距和相关性分别表示为：
Figure BDA0001594330400000096
Figure BDA0001594330400000097
Figure BDA0001594330400000098
其中，
Figure BDA0001594330400000099
sX，c和sY，c分别表示图片X和Y的第c个波段、第j个超像素中所有像素光谱值的和；sXY，c表示图片X和Y第c个波段、第j个超像素总，对应位置像素光谱值乘积之和。
(4)预分类与样本选择。
针对前一步骤中产生的每项特征的特征变化图，选择阈值对每项特征的计算结果进行预分类，并使用评分方法选择训练样本，具体地：
4.1预分类：对于每种特征，使用最大类间方差(Otsu)算法对特征数值进行阈值分割，将超像素分为变化和未变化两类。
4.2样本选择：基于步骤4.1中的7项特征的分类结果，每个超像素可以表示为七维向量Fj＝(f1，f2，...，f7)，对于特征分量fn，若超像素变化，则fn＝1；若未发生变化，则fn＝0，则对于超像素j最终的样本选择结果可以表示为：
Figure BDA0001594330400000101
若超像素向量的模(即该样本的得分)大于等于6，则说明有至少6项特征表明该超像素发生变化，最终标记为变化；若向量的模为0，则说明没有任何特征表明该超像素发生变化，最终标记为不变；选择其中被标记为变化和不变的超像素中的像素为样本，作为后续深度模型的输入。
为了更好的利用像素的空间信息和局部特征，并且符合神经网络的输入要求，设样本pxy位于图像坐标为(x，y)处，对应标记为Lxy；取以pxy为中心，大小为9×9的邻域像素集合Nxy作为最终的样本输入，超出图像的部分使用0进行填充。
(5)孪生卷积神经网络设计与训练。
经过步骤(4)，可以从原始的无标记高分辨率遥感影像中获取到带标记的训练集，包含已经可以确定发生变化和未发生变化的像素；接下来，可以尝试训练深度学习变化表示模型，并对整幅遥感图像中其余未确定是否发生变化像素的变化情况进行预测分类，得到变化检测的初步结果。
本发明使用孪生卷积神经网络(Siamese Convolutional Neural Network)作为网络模型，孪生网络(SiameseNetwork)是一种多分支、权重共享的网络结构，主要用来计算图像相似度。本发明使用的网络结构借鉴了VGG-16反复堆叠3×3的小型卷积核和2×2的最大池化层的思路，但是将网络中隐藏层层数减少为8层；为了保证卷积层输入数据的大小，在进行卷积之前使用零填充(Zero-Padding)，每个分支的卷积神经网络结构如图2所示：
①卷积层C1：进行边距为1的零填充，使用32个3×3大小的卷积核，激活函数使用ReLU。
②卷积层C2：进行边距为1的零填充，使用32个3×3大小的卷积核，激活函数使用ReLU。
③最大池化层S3：使用2×2大小的核，步长也为2×2。
④卷积层C4：进行边距为1的零填充，使用64个3×3大小的卷积核，激活函数使用ReLU。
⑤卷积层C5：进行边距为1的零填充，使用64个3×3大小的卷积核，激活函数使用ReLU。
⑥最大池化层S6：使用2×2大小的核，步长也为2×2。
⑦全连接层F7：使用256个节点的输出维度，激活函数使用ReLU。
⑧全连接层F8：使用128个节点的输出维度，激活函数使用ReLU。
本发明采用欧式距离(Euclidean Distance)作为孪生网络相似度的度量方法，对于向量X＝(x1，x2，...，xn)和Y＝(y1，y2，...，yn)，欧式距离D(X，Y)定义为：
Figure BDA0001594330400000111
本发明方法使用反向传播算法来进行网络训练，损失函数使用对比损失函数(Contrastive Loss Function)，具体形式为：
Figure BDA0001594330400000112
L(W，(Y，X1，X2)i)＝(1-Y)LG(Ew(X1，X2)i)+YLI(Ew(Xl，X2)i)
(6)使用神经网络模型进行变化检测。
使用步骤(5)得到的孪生卷积神经网络模型对成对的整幅遥感影像的变化情况进行预测，可以得到每个位置像素对的相似度；获取到所有样本对的相似度之后，使用Otsu算法进行阈值分割，得到最终二分的分类结果。
(7)检测结果后处理。
在使用神经网络进行分类处理之后，可以得到相对比较准确的分类结果；为了减弱噪声和意义不大的细节变化对检测结果的影响，使检测结果更加平滑，进一步提升变化的准确率和应用价值，本实施方式专门设计了后处理的环节。
在后处理中，基于形态学处理的方法计算速度最快，因而应用更为广泛，因此在后处理环节主要采用了中值滤波和形态学开运算的方法；中值滤波可以减弱噪声的干扰，开运算(Opening)可以断开狭窄连接，去除细小的图像元素，平滑图像中的轮廓。具体步骤如下：
7.1对预测结果图像进行7×7中值滤波。
7.2对滤波后的图像进行4×4的矩形结构元进行开运算的形态学处理，得到最终二值的变化图。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于高分辨率遥感影像的变化检测方法，包括如下步骤：
(1)对用于训练的两张高分辨率的遥感影像进行预处理，提取出对应的两个ROI；
(2)对预处理后得到的ROI进行超像素分割及合成，得到一张合成结果图像；
(3)对于所述合成结果图像，以超像素为单位进行包括光谱、纹理、峰值信噪比、结构相似性、空间斜率、空间截距以及空间相关性在内的七项局部特征的计算，得到对应的一系列特征变化图；
(4)根据所述特征变化图对合成结果图像中的超像素进行预分类，并生成相应的训练样本；
(5)设计孪生卷积神经网络模型，利用训练样本对其进行训练；
所述孪生卷积神经网络模型包含两条结构完全一致的卷积神经网络支路，所述卷积神经网络支路的输入为以某一像素点为中心大小为9×9的区域图块，输出为128维度的向量，且从输入至输出依次由卷积层C1、卷积层C2、最大池化层S3、卷积层C4、卷积层C5、最大池化层S6、全连接层F7和全连接层F8连接组成；其中，卷积层C1采用边距为1的零填充，使用32个3×3大小的卷积核，激活函数采用ReLU；卷积层C2同样采用边距为1的零填充，使用32个3×3大小的卷积核，激活函数采用ReLU；最大池化层S3使用2×2大小的核，步长也为2×2；卷积层C4采用边距为1的零填充，使用64个3×3大小的卷积核，激活函数采用ReLU；卷积层C5同样采用边距为1的零填充，使用64个3×3大小的卷积核，激活函数采用ReLU；最大池化层S6使用2×2大小的核，步长也为2×2；全连接层F7使用256个节点的输出维度，激活函数采用ReLU；全连接层F8使用128个节点的输出维度，激活函数采用ReLU；
(6)利用训练完成得到的孪生卷积神经网络模型对待检测的两张遥感影像进行变化检测，并对检测结果进行后处理，具体实现方法为：首先根据步骤(1)～(4)对待检测的两张遥感影像进行处理，得到ROI中所有相同位置像素点对应的两份9×9大小的区域图块，进而将这两份9×9大小的区域图块分别输入至模型的两条卷积神经网络支路中，通过计算两条卷积神经网络支路输出向量的欧式距离，即能够判断相应像素点的相似度以确定其是否发生变化，若变化则标记为1，未变化则标记为0，依此遍历ROI中所有像素点即可得到一张二分类的检测结果图像；最后对该检测结果图像进行中值滤波以及基于矩形结构元开运算的形态学处理，得到最终的二值变化结果图。
2.根据权利要求1所述的变化检测方法，其特征在于：所述步骤(1)的具体实现过程如下：
1.1对遥感影像进行正射校正；
1.2对正射校正后的两张遥感影像进行影像配准；
1.3对完成配准后的两张遥感影像进行直方图匹配；
1.4对遥感影像中需要进行变化检测的ROI进行对比度受限的自适应直方图均衡化处理；
1.5对直方图均衡化处理后的两个ROI进行中值滤波处理。
3.根据权利要求1所述的变化检测方法，其特征在于：所述步骤(2)的具体实现过程如下：
2.1采用SLICO算法对两个ROI分别进行超像素分割，对应得到两张分割结果图像，进而从0～N-1分别对两张分割结果图像中的超像素进行编号，N为超像素数量；
2.2对两张分割结果图像进行超像素合成，得到一张统一的合成结果图像并进行标记合并以及重编号；其中关于标记合并，若两张分割结果图像中位置为(x,y)处的像素点标记分别为Ax,y和Bx,y，则合成结果图像中对应位置为(x,y)处的像素点标记为
Figure FDA0002398261750000021
关于重编号，则从0～M-1按从左到右从上到下的顺序对合成结果图像中的超像素进行编号，M为合并后的超像素数量；
2.3采用SLICO中的增强连通性方法去除合成结果图像中尺寸过小的超像素；
2.4对增强连通性后的合成结果图像中的超像素重新编号。
4.根据权利要求1所述的变化检测方法，其特征在于：所述步骤(4)的具体实现方法为：根据特征变化图采用OTSU算法对合成结果图像中的超像素进行预分类，即对于至少6项局部特征发生变化的超像素，以该超像素内任一像素点为中心大小为9×9的区域图块作为发生变化的训练样本；对于7项局部特征均未发生任何变化的超像素，以该超像素内任一像素点为中心大小为9×9的区域图块作为未发生变化的训练样本。
CN201810200443.3A 2018-03-12 2018-03-12 一种基于高分辨率遥感影像的变化检测方法 Active CN108573276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810200443.3A CN108573276B (zh) 2018-03-12 2018-03-12 一种基于高分辨率遥感影像的变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810200443.3A CN108573276B (zh) 2018-03-12 2018-03-12 一种基于高分辨率遥感影像的变化检测方法

Publications (2)

Publication Number Publication Date
CN108573276A CN108573276A (zh) 2018-09-25
CN108573276B true CN108573276B (zh) 2020-06-30

Family

ID=63576792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810200443.3A Active CN108573276B (zh) 2018-03-12 2018-03-12 一种基于高分辨率遥感影像的变化检测方法

Country Status (1)

Country Link
CN (1) CN108573276B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409263B (zh) * 2018-10-12 2021-05-04 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN109448030B (zh) * 2018-10-19 2021-07-20 福建师范大学 一种变化区域提取方法
CN109558806B (zh) * 2018-11-07 2021-09-14 北京科技大学 高分遥感图像变化的检测方法
CN109636838A (zh) * 2018-12-11 2019-04-16 北京市燃气集团有限责任公司 一种基于遥感影像变化检测的燃气隐患分析方法及装置
CN109711311B (zh) * 2018-12-20 2020-11-20 北京以萨技术股份有限公司 一种基于动态人脸最优帧选取方法
CN109785302B (zh) * 2018-12-27 2021-03-19 中国科学院西安光学精密机械研究所 一种空谱联合特征学习网络及多光谱变化检测方法
CN109902555B (zh) * 2019-01-11 2020-09-22 西安电子科技大学 一种基于对象的多尺度层次表达学习的变化检测方法
CN110096943A (zh) * 2019-01-28 2019-08-06 浙江浩腾电子科技股份有限公司 一种基于深度学习的违章建筑检测系统
CN109903274B (zh) * 2019-01-31 2020-05-15 兰州交通大学 一种高分辨率遥感影像变化检测方法及系统
CN109858452A (zh) * 2019-02-15 2019-06-07 滨州建筑工程施工图审查中心 建筑图纸自动比对方法和装置
CN109827578B (zh) * 2019-02-25 2019-11-22 中国人民解放军军事科学院国防科技创新研究院 基于轮廓相似性的卫星相对姿态估计方法
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN109993104B (zh) * 2019-03-29 2022-09-16 河南工程学院 一种遥感图像对象层次的变化检测方法
CN110147745B (zh) * 2019-05-09 2024-03-29 深圳市腾讯计算机系统有限公司 一种视频关键帧检测方法及装置
CN110136170B (zh) * 2019-05-13 2021-04-02 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110211138B (zh) * 2019-06-08 2022-12-02 西安电子科技大学 基于置信点的遥感图像分割方法
CN110516745B (zh) * 2019-08-28 2022-05-24 北京达佳互联信息技术有限公司 图像识别模型的训练方法、装置及电子设备
CN110807400A (zh) * 2019-10-29 2020-02-18 北京师范大学 基于孪生网络的崩塌隐患特征信息提取方法
CN110969088B (zh) * 2019-11-01 2023-07-25 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111160127B (zh) * 2019-12-11 2023-07-21 中国四维测绘技术有限公司 一种基于深度卷积神经网络模型的遥感影像处理及检测方法
CN111160351B (zh) * 2019-12-26 2022-03-22 厦门大学 基于块推荐网络的快速高分辨率图像分割方法
CN111259853A (zh) * 2020-02-04 2020-06-09 中国科学院计算技术研究所 一种高分辨率遥感图像变化检测方法、系统及装置
CN111325134B (zh) * 2020-02-17 2023-04-07 武汉大学 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN111539316B (zh) * 2020-04-22 2023-05-05 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
US11488020B2 (en) * 2020-06-02 2022-11-01 Sap Se Adaptive high-resolution digital image processing with neural networks
CN111932457B (zh) * 2020-08-06 2023-06-06 北方工业大学 遥感影像高时空融合处理算法及装置
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112055420A (zh) * 2020-09-10 2020-12-08 深圳鸿祥源科技有限公司 一种基于5g网络通信连接的遥感试验观测处理终端
CN112215085A (zh) * 2020-09-17 2021-01-12 云南电网有限责任公司昆明供电局 一种基于孪生网络的输电走廊异物检测方法及系统
CN112330666B (zh) * 2020-11-26 2022-04-29 成都数之联科技股份有限公司 基于改进孪生网络的图像处理方法及系统及装置及介质
CN112396594B (zh) * 2020-11-27 2024-03-29 广东电网有限责任公司肇庆供电局 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN112465886A (zh) * 2020-12-09 2021-03-09 苍穹数码技术股份有限公司 模型生成方法、装置、设备和可读存储介质
CN112733711B (zh) * 2021-01-08 2021-08-31 西南交通大学 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法
CN114820695A (zh) * 2021-01-18 2022-07-29 阿里巴巴集团控股有限公司 对象追踪、地物追踪方法、设备、系统及存储介质
CN113033386B (zh) * 2021-03-23 2022-12-16 广东电网有限责任公司广州供电局 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN113838058B (zh) * 2021-10-11 2024-03-19 重庆邮电大学 一种基于小样本分割的医学图像自动标注方法及系统
CN113657559B (zh) * 2021-10-18 2022-02-08 广州天鹏计算机科技有限公司 基于机器学习的胸部扫描图像分类方法
CN116026933A (zh) * 2023-03-27 2023-04-28 天津市特种设备监督检验技术研究院(天津市特种设备事故应急调查处理中心) 非线性超声检测系统检测分辨力和检测灵敏度的确定方法
CN116403007B (zh) * 2023-04-12 2023-12-19 北京卫星信息工程研究所 基于目标向量的遥感影像变化检测方法
CN116563308A (zh) * 2023-05-09 2023-08-08 中国矿业大学 联合超像素分割与孪生网络的sar影像端到端变化检测方法
CN117456287B (zh) * 2023-12-22 2024-03-12 天科院环境科技发展（天津）有限公司 一种使用遥感影像观测野生动物种群数量的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258324A (zh) * 2013-04-02 2013-08-21 西安电子科技大学 基于可控核回归和超像素分割的遥感图像变化检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526723B2 (en) * 2009-06-23 2013-09-03 Los Alamos National Security, Llc System and method for the detection of anomalies in an image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258324A (zh) * 2013-04-02 2013-08-21 西安电子科技大学 基于可控核回归和超像素分割的遥感图像变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
超像素与主动学习相结合的遥感影像变化检测方法;王成军等;《地球信息科学》;20180228;第20卷(第2期);235-245 *

Also Published As

Publication number Publication date
CN108573276A (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
EP3614308B1 (en) Joint deep learning for land cover and land use classification
Lu et al. A survey of image classification methods and techniques for improving classification performance
CN104915636B (zh) 基于多级框架显著性特征的遥感影像道路识别方法
Xu et al. A 3D convolutional neural network method for land cover classification using LiDAR and multi-temporal Landsat imagery
Erikson Species classification of individually segmented tree crowns in high-resolution aerial images using radiometric and morphologic image measures
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
Aytekın et al. Unsupervised building detection in complex urban environments from multispectral satellite imagery
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN110060273B (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN112434745A (zh) 基于多源认知融合的遮挡目标检测识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN106407975B (zh) 基于空间-光谱结构约束的多尺度分层目标检测方法
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant