CN113640397B - 一种基于深度网络的遥感影像变化检测方法及系统 - Google Patents
一种基于深度网络的遥感影像变化检测方法及系统 Download PDFInfo
- Publication number
- CN113640397B CN113640397B CN202110646349.2A CN202110646349A CN113640397B CN 113640397 B CN113640397 B CN 113640397B CN 202110646349 A CN202110646349 A CN 202110646349A CN 113640397 B CN113640397 B CN 113640397B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- training
- image
- sensing image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 230000008859 change Effects 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005290 field theory Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
- G01N30/02—Column chromatography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
- G01N30/02—Column chromatography
- G01N30/04—Preparation or injection of sample to be analysed
- G01N30/06—Preparation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
- G01N30/02—Column chromatography
- G01N30/62—Detectors specially adapted therefor
- G01N30/74—Optical detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N30/00—Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
- G01N30/02—Column chromatography
- G01N30/04—Preparation or injection of sample to be analysed
- G01N30/06—Preparation
- G01N2030/062—Preparation extracting sample from raw material
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于深度网络的遥感影像变化检测方法及系统，包括，输入模块包括两个对称的深度网络用于投影双时相图像的输入数据；检测模块用于结合慢特征分析策略抑制投影后无变化像素并突出显示变化像素，基于变化向量检测策略选择高置信度的所述无变化像素作为训练样本，基于搜索策略的建立深度网络检测模型，输入所述训练样本进行训练；输出模块用于所述模型基于卡方距离计算所述训练样本的变化强度，并输出检测结果。本发明与其他检测方法的对比结果可看出，我们提出的检测方法在各项评测标准上总体表现是最好的，并且具有很好的可分辨性和较高的鲁棒性。
Description
技术领域
本发明涉及图像处理和神经网络技术领域，尤其涉及一种基于神经网络的遥感影像变换检测方法。
背景技术
近年来，变化检测算法主要分为以下几类：(1)图像代数方法，主要包括图像差分、图像比值、图像回归和变化向量分析。这些方法直接计算多时相遥感图像之间的差异；(2)图像变换方法，变换组合多时相遥感图像的特征带，提取其有效特征，主要包括PCA，MAD、GrammSchmidt变换(GS)和独立成分分析；(3)其他先进的方法如基于小波变换、局部渐进下降、马尔可夫随机场等算法。但这些方法面对数据规模不断增大、精度要求不断变高的现状时，已经不能满足实际需求。
在各种变化检测算法中，图像变换方法的研究和应用最为广泛，图像变换的基本思想是将原始的多波段图像投影到一个新的特征空间中，以更好地分离改变和未发生改变的像素，在这个过程中，最关键的是要找到一种高效的投影算法用来提取某些确定的特征。多时相遥感图像中变化像素的特征差异总是向不同方向变化的，而不变像素的特征一般是不变的。然而，由于自然环境和传感器校准等因素的影响，一些不变的像素会产生微小的差异，与发生变化的像素相比，未发生改变的像素通常具有一致的方向。通过最小化不变像素的特征变化来突出显示和分离变化的像素。受此启发，人们提出慢特征分析来检测遥感影像发生的变化，并且取得了不错的效果。
慢特征分析是一种特征学习算法，它从输入信号中提取不变和缓慢变化的特征，它已成功地应用于解决各种现实问题，如人类行为识别、动态纹理识别和时间序列分析等。在变化检测问题中，变化像素和不变像素分别对应于慢特征分析中的快变化特征和慢变化特征。基于这一理论，有的学者使用慢特征分析来抑制缓慢变化的不变像素之间的光谱差异，以便能够突出显示和很好地检测变化的像素，通过求解慢特征分析问题，可以得到映射原始数据的投影矩阵，从而抑制未改变的分量。所有这些算法在实际遥感图像中都表现出了良好的性能。然而，受特征表示能力的限制，线性慢特征分析算法有时无法分离变化和不变的像素，可通过包括将原始特征投影到高维复杂特征空间，以提高模型的复杂性和特征表示能力的方法解决。
深度网络具有很强的非线性函数表示能力，可以将原始特征投影到更复杂的特征空间，由于数据和计算资源的不断增加，深度神经网络近年来得到广泛应用。为了完成分类、检测、分割、特征映射等不同的任务，人们开发了多种网络。近年来，深度网络也被应用于学习高度相关数据集的非线性变换，并取得了很好的效果。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在面对数据规模不断增大、精度要求不断变高时，不能满足实际需求的问题，提出了本发明。
因此，本发明解决的技术问题是：根据现有技术不足，提供一种遥感影像变化检测方法，对大量的双时相遥感图像进行变换检测，取得了很好的检测效果。
为解决上述技术问题，本发明提供如下技术方案：利用两个对称的深度网络模型投影双时遥感图像的输入数据；结合慢特征分析策略抑制投影后无变化像素并突出显示变化像素；基于变化向量检测策略选择高置信度的无变化像素作为训练样本；基于搜索策略的建立深度网络检测模型，输入所述训练样本进行训练；所述检测模型基于卡方距离计算所述训练样本的变化强度，并输出检测结果。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：对所述双时遥感图像的输入数据投影包括,定义双时遥感图像为图像X和图像Y，X,Y∈Rm*n，对于图像X其第一个隐藏层的输出如下，
其中，m：特征带，n：像素的数目，权重矩阵，/>偏置向量，s(·)表示激活函数，pi表示网络的第i隐藏层的节点数，q表示输出层的节点数；
定义一个有h层隐藏层的网络，融入特征的前后反馈操作，根据所述特征之间的关联性和冗余性，过滤和优化特征网络层，其最终的输出如下：
由输出层映射，网络的最终转换特征如下：
则图像Y，其Yφ表示对称的表达式如下：
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：所述慢性特征分析策略包括，定义慢特征分析的目标函数如下，
其中，xi,yi∈Rm表示双时相遥感图像中的对应像素，m表示频带数，n表示像素总数，x和y表示根据专家知识进行筛选的像素区域，ω表示权值。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：所述深度网络检测模型包括，所述模型由n个流构成，分别为图像信息和文本信息；所述n个流的结构完全相同，每个流都由6个层组成，所述6个层包括输入层；每层节点数分别为128、128、10。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：所述基于搜索策略的建立深度网络检测模型包括，基于所述深度网络模型，假设y表示检测到的窗口；基于概率的角度，得到y的数据分布p(y),其表达式如下：
其中，q(x)表示数据上的经验分布；
所述模型被降解为底层的分布p(y|v)和高层的分布p(v)；
设置来实现p(y|v)：
其中，公式p(y|v)用平均场理论来进行计算；
定义相邻层的优化算法，需要逐层训练参数，概率分布如下：
其中，k,j∈n,且k≠j,表示层si+1和si之间的相关性，/>表示投票函数和其他部分之间的相关性的权值，/>和/>表示偏置项。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：选择所述训练样本包括，归一化和预处理所述遥感图像；采用CVA和K-Means策略二值化归一化和预处理后的遥感图像得到输入多时相图像的差分图和二值变化图；从所述未改变区域中随机选择所述训练样本。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：利用所述检测模型进行训练的过程包括，定义学习率为10-5并输入所述训练样本进行训练；迭代训练2000轮，直至获得所述双时相遥感图像投影时结束训练。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：利用所述卡方距离计算变化强度，如下，
其中，n：特征带数，σ2：统计分析得到的各特征带的方差。
作为本发明所述的一种基于深度网络的遥感影像变化检测方法的一种优选方案，其中：计算映射特征之间的差异包括，原始数据利用所述深度网络得到变换后的特征Xφ和Yφ；求解所述特征值得到投影矩阵wφ，则计算所述映射特征之间的差异如下，
作为本发明所述的一种基于深度网络的遥感影像变化检测系统的一种优选方案，其中：输入模块包括两个对称的深度网络，其用于投影双时相图像的输入数据；检测模块连接于所述输入模块，其用于结合所述慢特征分析策略抑制投影后无变化像素并突出显示变化像素，基于变化向量检测策略选择高置信度的所述无变化像素作为训练样本，基于搜索策略的建立深度网络检测模型，输入所述训练样本进行训练；输出模块连接于所述检测模块，其用于所述检测模型基于卡方距离计算所述训练样本的变化强度，并输出所述检测结果。
本发明的有益效果：现有技术面对数据规模不断增大、精度要求不断变高时，不能满足实际需求的问题，本发明根据现有技术不足，提供一种遥感影像变化检测方法，对大量的双时相遥感图像进行变换检测，并取得了很好的检测效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供一种基于深度网络的遥感影像变化检测方法的基本流程图；
图2为本发明提供一种基于深度网络的遥感影像变化检测方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～图2，为本发明的第一个实施例，本发明的第一个实施例提供了一种基于深度网络的遥感影像变化检测方法，包括，
S1：利用两个对称的深度网络投影双时遥感图像的输入数据。其中需要说明的是，
两个对称的深度网络对双时遥感图像的输入数据投影的过程为,
定义双时遥感图像为图像X和图像Y，X,Y∈Rm*n，对于图像X其第一个隐藏层的输出如下，
其中，m：特征带，n：像素的数目，权重矩阵，/>偏置向量，s(·)表示激活函数，pi表示网络的第i隐藏层的节点数，q表示输出层的节点数；
定义一个有h层隐藏层的网络，融入特征的前后反馈操作，根据特征之间的关联性和冗余性，过滤和优化特征网络层，其最终的输出如下：
由输出层映射，网络的最终转换特征如下，
则图像Y，其Yφ表示对称的表达式如下，
S2：结合慢特征分析策略抑制投影后无变化像素并突出显示变化像素。需要说明的是慢特征分析的目标被定义为：
其中，xi,yi∈Rm：双时相遥感图像中的对应像素，m:频带数，n:像素总数，x和y表示根据专家知识进行筛选的像素区域，权值ω考虑了时空和语义的相关性；
进一步的，用慢特征分析方法抑制无变化像素，突出变化像素，其过程是，
令 其中O是一个q*q的全1矩阵，计算变化后数据的协方差矩阵，
其中，I：恒等式矩阵，r:正则化常数；
当r>0时，∑XX和∑YY既是正定矩阵又是可逆矩阵，要求解的广义特征值问题为:
AφW＝BφWΛ
即：
其中Aφ＝∑XY，
求解特征值问题最终形式表示为：
其中，需要说明的是慢特征分析检测变化推理如下，
给定多维时间信号s(t)＝[s1(t),s2(t),···,sn(t)]，n代表维度，t∈[t0,t1]，慢特征分析的目标是找到一组转换函数[f1(x),f2(x),···,fN(x)]来产生输出信号o(t)＝[f1(s),f2(s),···,fN(s)]确保变换后的信号尽可能具有时间不变性.数学上慢特征分析的目标函数是：
在下面的条件下：
(fj(s))t＝0 (1)
(fj(s)2)t＝1 (2)
其中，(fj(s))t表示时间t上fj(s)的平均信号，是fj(s)的一阶导数。因此，慢特征分析的目标是使变换信号一阶导数的平均值最小。在这些条件中，条件(1)是为了简化优化问题的求解过程，条件(2)确保每个输出信号可以包含某些信息，条件(3)来消除输出信号之间的相关性，并强制每个信号携带不同类型的信息。
在线性情况下，转换函数可以表示为映射矩阵：
其中，是ωj的转置.目标函数和约束条件可以重新表述如下：
其中是输入信号的一阶导数的协方差矩阵的期望值，(4)表示条件(1)可以通过预处理输入数据来实现，(4)和(5)分别表示条件(2)和(3)，B＝(ssT)t是原始输入信号协方差矩阵的期望值。
其中(6)可以优化并用广义特征值表示：
AW＝BWΛ (7)
其中W和Λ分别是广义特征向量矩阵和特征值对角矩阵。根据公式(7)，输出信号的最不变分量具有最小的特征值。
在基于像素的变化检测问题中，输入信号是离散的遥感图像的原始像素，因此，需要重建慢特征分析来处理离散情况。慢特征分析在变化检测问题中的目标是抑制不变的像素以突出显示变化的像素，以便它们可以更容易地分离。让xi,yi∈Rm表示双时相遥感图像中的对应像素，其中m是频带数。在对输入数据进行规范化之后，慢特征分析的目标被重新定义为：
其中n是像素总数。在慢特征分析的广义特征值问题中，(7)中的A和B重新表述如下：
得到A和B后，求解特征向量矩阵W，通过规范化W，得到最终的映射矩阵，
然后，变化检测结果，即转换的双时相图像之间的差异，计算为:
进一步的，整个过程推理如下：
假设原始的双时相遥感图像分别是X,Y∈Rm*n，其中m和n分别表示特征带和像素的数目。设pi表示网络的第i隐藏层的节点数，q表示输出层的节点数，给定一个图像X，第一个隐藏层的输出可以表示为：
其中，表示权重矩阵，/>表示偏置向量，s(·)表示激活函数，后面每一层的输出也是用同样的方式计算。对于一个有h层隐藏层的网络，其最终的输出是：
之后，由输出层映射，这个网络的最终转换特征是：
其中，权重矩阵偏置向量/>θ1是网络中所有权重和偏置参数的集合。
对于另一个图像Y，Yφ表示对称的表达式：
当原始数据通过深度网络映射到一个新的高维特征空间时，令 其中O是一个q*q的全1矩，计算变换后数据的协方差矩阵。经过推导，最终形式是：
基于慢特征分析，最不变分量的特征值最小，因此，可以最小化所有特征值的总平方，这样可以抑制不变像素的方差，并且更容易检测出发生变化像素。损失函数定义如下：
其中Aφ＝∑XY，根据损失函数，目标是将成对像素的不同之处投影到一个不变的差异特征空间中，因此利用未发生改变的成对像素作为训练样本，通过深度网络的非线性学习过程在提取不变分量方面会有更好效果。
S3：基于变化向量检测策略选择高置信度的无变化像素作为训练样本。需要说明的是，
其中选择训练样本包括，
归一化和预处理遥感图像；
采用CVA和K-Means策略二值化归一化和预处理后的遥感图像得到输入多时相图像的差分图和二值变化图；
从未改变区域中随机选择训练样本；本发明融合了两个操作一起做二值化，增加了鲁棒性。
S4：基于搜索策略的建立深度网络检测模型，输入训练样本进行训练；需要说明的是：
深度网络检测模型包括，
模型由n个流(stream)构成，分别为图像信息和文本信息等；
n个流的结构完全相同，每个流都由6个层组成，其中，6个层包括输入层；
每层节点数分别为128、128、10。
基于搜索策略的建立深度网络检测模型包括，
基于深度网络模型，假设y表示检测到的窗口；
基于概率的角度，得到y的数据分布p(y),其表达式如下：
其中，q(x)表示数据上的经验分布；
模型被降解为底层的分布p(y|v)和高层的分布p(v)；
设置来实现p(y|v)：
其中，公式p(y|v)用平均场理论来进行计算；
定义相邻层的优化算法，需要逐层训练参数，概率分布如下：
其中，k,j∈n,且k≠j,表示层si+1和si之间的相关性，/>表示投票函数和其他部分之间的相关性的权值，/>和/>表示偏置项。
具体的，用深度网络学习影像数据的多模态性，这个模型发现跨模态间的相关性，在跨模态学习布置中设置多个模态用于监督训练和测试，受到降噪自编码模型的启发，提出训练多模态深度自编码模型；这个模型由n个流(stream)构成，分别是图像信息和文本信息等，这n个流的结构是完全相同的，每个流都由6个层组成(包括输入层)，设计强化策略的时候，本发明使用Q网络来与其环境进行交互，该发明系统会观察当前场景，并使用-greedy策略来采取行动，该环境又会反过来提供标量的奖励，重放记忆M会保N个最近的经历，然后这些经历会在训练阶段被用于更新该网络的参数；在训练阶段，该网络结构会利用存储在重放记忆M中的数据来对网络进行训练。
S5：模型基于卡方距离计算训练样本的变化强度，并输出检测结果。其中，卡方距离计算变化强度，其公式为：
其中，n：特征带数，σ2：统计分析得到的各特征带的方差；公式中的Z是融入专家知识后的筛选后的像素区域，在考虑时空和语义的相关性后，最终优化后得到。
进一步需要说明的是，在实际应用中，先验标记信息在变化检测中很难得到，为了在训练过程中选择未发生改变的成对像素点，本发明采用CVA方法进行预检测，同时采用CVA和K-Means方法分别得到输入多时相图像的差分图和二值变化图，然后从检测到的未改变区域中随机选择训练样本。得到训练集然后对网络进行训练，原始数据通过深度网络得到变换后的特征Xφ和Yφ，通过求解特征值问题得到投影矩阵ωφ，并计算映射特征之间的差异如下：
在定义隐藏层的时候，本发明融入了特征的前后反馈操作，考虑了特征之间的关联性和冗余性，然后过滤和优化后的特征网络层，因此特征变换矩阵和投影矩阵需要根据网络层的不断调整而变化。
最后基于卡方距离计算变化强度，并输出检测结果。
为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例中结合在河流数据集上的测试，并与其他方法进行比较，包括CVA、MAD、IRMAD、PCA、USFA、ISFA和PCANet，其检测结果如表1所示，以验证本发明具有的优越效果。
该数据集是河流数据集，由两幅463×241的高光谱图像组成，分别于2013年5月和2013年12月在江苏省获得，该数据集中的每幅图像在去除噪声后包含198个谱带，更改区域包含12566像素，而未更改区域包含99017像素，其测试结果如表2所示。
表1用K-Means方法的河流变化检测结果
其中NS-m-n表示本发明提出的模型，其具有n个隐藏层，每个隐藏层有m个节点，OA_NO表示没有变换像素的准确率，OA_YES表示发生变化像素的准确率，OA表示整个数据集的准确率。
从表1可以看出，基于NS的方法可以在OA-NO、OA、Kappa和F1评分上取得更好的效果。在这些方法中NS-128-2在OA、Kappa和F1评分上表现最好，在OA-NO上表现第三，NS-64-2在OA-NO上的准确度最高，虽然PCANet在OA-YES和F1评分上有较好的表现，但其在OA-NO、OA和Kappa上的表现远不如本发明提出的方法。另外，本发明提出的NS方法使用K-Means的结果仍然显示出很小的差异，这表明NS方法对不同的阈值方法是具有较高鲁棒性的。
表2河流数据集的最佳变化检测结果
/>
每种方法的最佳结果都是通过遍历所有可能的阈值得到的，如表2所示，基于NS方法仍然具有最好的性能。NS在OA、Kappa和F1评分上的表现要优于其他方法，其中NS-128-2在所有标准上是表现最好的，NS-64-2和NS-256-2在OA评分上分别为第二、第三名，本发明方法的最佳值略好于阈值方法的结果，这也表明经过NS模型的变换后的特征具有更好的可分辨性。
实施例2
参照图1～图2，为本发明的第二个实施例，该实施例不同于第一个实施例的是提供了一种基于深度网络的遥感影像变化检测系统，包括，
输入模块包括两个为三层全连接网络，每层节点数分别为128、128、10，学习率为10-5组成的对称的深度网络用于输入所述训练样本进行训练，训练2000轮，获得双时相遥感图像投影数据；
检测模块连接于输入模块用于结合慢特征分析策略抑制投影后无变化像素并突出显示变化像素，基于变化向量检测策略选择高置信度的所述无变化像素作为训练样本，利用三层全连接网络策略构建检测模型，输入所述训练样本进行训练。
输出模块连接于检测模块用于所述模型基于卡方距离计算所述训练样本的变化强度，并输出检测结果。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种基于深度网络的遥感影像变化检测方法，其特征在于：包括，
利用两个对称的深度网络模型投影双时遥感图像的输入数据；
结合慢特征分析策略抑制投影后无变化像素并突出显示变化像素；
基于变化向量检测策略选择高置信度的无变化像素作为训练样本；
基于搜索策略的建立深度网络检测模型，输入所述训练样本进行训练；
所述检测模型基于卡方距离计算所述训练样本的变化强度，并输出检测结果；
对所述双时遥感图像的输入数据投影包括,
定义双时遥感图像为图像X和图像Y，X,Y∈Rm*n，对于图像X其第一个隐藏层的输出如下，
其中，m：特征带，n：像素的数目，权重矩阵，/>偏置向量，s(·)表示激活函数，pi表示网络的第i隐藏层的节点数，q表示输出层的节点数；
定义一个有h层隐藏层的网络，融入特征的前后反馈操作，根据所述特征之间的关联性和冗余性，过滤和优化特征网络层，其最终的输出如下：
由输出层映射，网络的最终转换特征如下：
则图像Y，其Yφ表示对称的表达式如下：
所述慢特征分析策略包括，
定义慢特征分析的目标函数如下，
其中，xi,yi∈Rm表示双时相遥感图像中的对应像素，m表示频带数，n表示像素总数，x和y表示根据专家知识进行筛选的像素区域，ω表示权值；
所述深度网络检测模型包括，
所述模型由n个流构成，分别为图像信息和文本信息；
所述n个流的结构完全相同，每个流都由6个层组成，所述6个层包括输入层；
每层节点数分别为128、128、10；
所述基于搜索策略的建立深度网络检测模型包括，
基于所述深度网络模型，假设y表示检测到的窗口；
基于概率的角度，得到y的数据分布p(y),其表达式如下：
其中，q(x)表示数据上的经验分布；
所述模型被降解为底层的分布p(yv)和高层的分布p(v)；
设置来实现p(yv)：
其中，公式p(y|v)用平均场理论来进行计算；
定义相邻层的优化算法，需要逐层训练参数，概率分布如下：
其中，k,j∈n,且k≠j,表示层si+1和si之间的相关性，/>表示投票函数和其他部分之间的相关性的权值，/>和/>表示偏置项；
选择所述训练样本包括，
归一化和预处理所述遥感图像；
采用CVA和K-Means策略二值化归一化和预处理后的遥感图像得到输入多时相图像的差分图和二值变化图；
从未改变区域中随机选择所述训练样本；
利用所述检测模型进行训练的过程包括，
定义学习率为10-5并输入所述训练样本进行训练；
迭代训练2000轮，直至获得所述双时相遥感图像投影时结束训练；
利用所述卡方距离计算变化强度，如下，
其中，n：特征带数，σ2：统计分析得到的各特征带的方差；
计算映射特征之间的差异包括，
原始数据利用所述深度网络得到变换后的特征Xφ和Yφ；
求解所述特征值得到投影矩阵wφ，则计算所述映射特征之间的差异如下，
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020106690716 | 2020-07-13 | ||
| CN202010669071.6A CN112084837A (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度网络的遥感影像变化检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113640397A CN113640397A (zh) | 2021-11-12 |
| CN113640397B true CN113640397B (zh) | 2023-10-24 |
Family
ID=73735896
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010669071.6A Pending CN112084837A (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度网络的遥感影像变化检测方法及系统 |
| CN202110646349.2A Active CN113640397B (zh) | 2020-07-13 | 2021-06-10 | 一种基于深度网络的遥感影像变化检测方法及系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010669071.6A Pending CN112084837A (zh) | 2020-07-13 | 2020-07-13 | 一种基于深度网络的遥感影像变化检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112084837A (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733949A (zh) * | 2021-01-15 | 2021-04-30 | 中国人民解放军战略支援部队信息工程大学 | 一种高光谱影像分类方法 |
| CN112801978A (zh) * | 2021-01-28 | 2021-05-14 | 新疆大学 | 一种多光谱遥感图像变化检测方法、装置及存储介质 |
| CN116778294B (zh) * | 2023-04-14 | 2024-03-26 | 南京审计大学 | 一种联合图像内和图像间上下文的遥感变化检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654136A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院电子学研究所 | 一种基于深度学习的大规模遥感影像目标自动识别方法 |
| CN106844739A (zh) * | 2017-02-14 | 2017-06-13 | 中国科学院遥感与数字地球研究所 | 一种基于神经网络协同训练的遥感图像变化信息检索方法 |
| CN108388828A (zh) * | 2017-07-13 | 2018-08-10 | 中国科学院遥感与数字地球研究所 | 一种综合多源遥感数据的滨海湿地土地覆盖信息提取方法 |
| CN109934154A (zh) * | 2019-03-08 | 2019-06-25 | 北京科技大学 | 一种遥感影像变化检测方法及检测装置 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632155B (zh) * | 2013-12-16 | 2016-08-17 | 武汉大学 | 基于慢特征分析的遥感影像变化检测方法 |
| CN104751478B (zh) * | 2015-04-20 | 2017-05-24 | 武汉大学 | 一种基于多特征融合的面向对象的建筑物变化检测方法 |
| WO2021007812A1 (zh) * | 2019-07-17 | 2021-01-21 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
-
2020
- 2020-07-13 CN CN202010669071.6A patent/CN112084837A/zh active Pending
-
2021
- 2021-06-10 CN CN202110646349.2A patent/CN113640397B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654136A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院电子学研究所 | 一种基于深度学习的大规模遥感影像目标自动识别方法 |
| CN106844739A (zh) * | 2017-02-14 | 2017-06-13 | 中国科学院遥感与数字地球研究所 | 一种基于神经网络协同训练的遥感图像变化信息检索方法 |
| CN108388828A (zh) * | 2017-07-13 | 2018-08-10 | 中国科学院遥感与数字地球研究所 | 一种综合多源遥感数据的滨海湿地土地覆盖信息提取方法 |
| CN109934154A (zh) * | 2019-03-08 | 2019-06-25 | 北京科技大学 | 一种遥感影像变化检测方法及检测装置 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Classification of Remote Sensing Scenes Based on Neural Architecture Search Network;Lingling Li;《2019 IEEE 4th International Conference on Signal and Image Processing (ICSIP)》;20191231;第1-3页 * |
| RSNet: The Search for Remote Sensing Deep Neural Networks in Recognition Tasks;Junjue Wang等;《IEEE Transactions on Geoscience and Remote Sensing》;20200624;第59卷(第3期);第1-15页 * |
| Unsupervised Deep Slow Feature Analysis for Change Detection in Multi-Temporal Remote Sensing Images;Bo Du等;《IEEE Transactions on Geoscience and Remote Sensing》;20191231;第57卷(第12期);第9976-9992页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113640397A (zh) | 2021-11-12 |
| CN112084837A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113640397B (zh) | 一种基于深度网络的遥感影像变化检测方法及系统 | |
| Zhong et al. | Spectral–spatial residual network for hyperspectral image classification: A 3-D deep learning framework | |
| Zhao et al. | Hyperspectral anomaly detection based on stacked denoising autoencoders | |
| Montazer et al. | An improved radial basis function neural network for object image retrieval | |
| Distante et al. | Handbook of image processing and computer vision | |
| US20190087726A1 (en) | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications | |
| Chen et al. | Statistical pattern recognition in remote sensing | |
| US11663489B2 (en) | Machine learning systems and methods for improved localization of image forgery | |
| US20210232846A1 (en) | Image processing method and apparatus for object detection | |
| Jia et al. | Remote-sensing image change detection with fusion of multiple wavelet kernels | |
| US20110293173A1 (en) | Object Detection Using Combinations of Relational Features in Images | |
| Deshpande et al. | Super resolution and recognition of long range captured multi‐frame iris images | |
| Gong et al. | A multi-objective optimization framework for ill-posed inverse problems | |
| CN109241870B (zh) | 基于步态识别的煤矿井下人员身份识别方法 | |
| Khodadadzadeh et al. | A hybrid capsule network for hyperspectral image classification | |
| Bose et al. | In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network | |
| Mohan et al. | V3O2: hybrid deep learning model for hyperspectral image classification using vanilla-3D and octave-2D convolution | |
| JP7188856B2 (ja) | 動的な画像解像度評価 | |
| Cui et al. | Spectral-spatial hyperspectral image classification based on superpixel and multi-classifier fusion | |
| Ibrahim et al. | An effective approach for human activity classification using feature fusion and machine learning methods | |
| Bionda et al. | Deep autoencoders for anomaly detection in textured images using CW-SSIM | |
| Flamary et al. | Large margin filtering | |
| Lei et al. | A novel approach for cirrhosis recognition via improved LBP algorithm and dictionary learning | |
| Lin et al. | Edge detection in the feature space | |
| CN113191996A (zh) | 一种遥感影像变化检测方法、装置及其电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |