CN109191418B - 一种基于收缩自编码器特征学习的遥感图像变化检测方法 - Google Patents

一种基于收缩自编码器特征学习的遥感图像变化检测方法 Download PDF

Info

Publication number
CN109191418B
CN109191418B CN201810652850.8A CN201810652850A CN109191418B CN 109191418 B CN109191418 B CN 109191418B CN 201810652850 A CN201810652850 A CN 201810652850A CN 109191418 B CN109191418 B CN 109191418B
Authority
CN
China
Prior art keywords
encoder
difference
self
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810652850.8A
Other languages
English (en)
Other versions
CN109191418A (zh
Inventor
吕宁
张子豪
殷庭瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810652850.8A priority Critical patent/CN109191418B/zh
Publication of CN109191418A publication Critical patent/CN109191418A/zh
Application granted granted Critical
Publication of CN109191418B publication Critical patent/CN109191418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分析技术领域,公开了一种基于收缩自编码器特征学习的遥感图像变化检测方法,利用多时相图像生成不同尺度下的差异图像用以记录时相图中的差异信息;基于SLIC超像素分割算法对差异图像进行分割,获取具有同质地貌信息邻域特征块;选取部分分割后的小块,对尺度进行调整后作为训练样本输入到栈式收缩自编码器进行特征学习;基于自编码器提取的高阶特征重构生成新的差异图像;对新生成的差异图像利用k‑mean聚类算法实现二分类,得到检测结果。本发明可以由多尺度差异图像的生成,利用多尺度差异信息的SLIC分割,基于栈式收缩自编码器的特征学习以及特征重构再差异分析这个部分组成。

Description

一种基于收缩自编码器特征学习的遥感图像变化检测方法
技术领域
本发明属于图像分析技术领域,尤其涉及一种基于收缩自编码器特征学习的遥感图像变化检测方法。
背景技术
目前,业内常用的现有技术是这样的:当前变化检测方法基本上可以分为分类后比较和比较后分析两个类别。分类后比较的方法:要对多时相图中的各个地物对象进行分类,然后再逐类比较获取变化信息。缺点:检测结果严重依赖分类的准确性,遥感图像自身的复杂性和多尺度特性使得分类结果的准确度难以保证,最终检测结果具有极大不确定性。比较后分析法:先计算多时相图的对数差异生成差异图像,再对差异图像生成邻域信息样本,通过对样本基于k-means聚类或Otsu自适应阈值的方法进行二分类,得到检测结果。缺点:遥感图像基于成像原理往往伴随乘性噪声,噪声降低差异图像的质量,使得检测结果中出现严重的错检(本来没变判断为变了)。当前较为流行的降噪的方法是通过PCA(主成分分析)对邻域样本降维处理以消除冗余噪声的干扰。该方法能取得一定效果但是,PCA的本质是线性变换,对于一些线性可分的噪声可以取得较好的效果,但是面对线性不可分的乘性噪声效果有限。其中分类后比较的方法需要对多时相图中的各个地物对象进行分类,然后再逐类比较获取变化信息。然而遥感图像自身的复杂性和多尺度特性使得分类结果的准确度难以保证,进而影响到最终变化检测的精度。因此现阶段比较后分析的方式被主流的算法框架所采用。比较后分析的方法需要先从多时相图中提取出变化的信息生成差异图像,并针对差异图像进行分析得到检测结果。遥感图像由于自身成像机制往往会伴随相斑噪声,噪声会对变化信息产生造成干扰,降低差异图像的质量给变化检测的工作带来了极大的挑战。现阶段在变化检测的众多方法中,比较后分析的方式被主流的算法所采用。比较后分析方法的一般需要先从多时相图中提取出变化的信息生成差异图像,并针对差异图像进行分析得到检测结果。而遥感图像由于自身成像机制往往会伴随相斑噪声,噪声会对变化信息产生造成干扰,降低差异图像的质量,最终降低了变化检测结果的准确性。
综上所述,现有技术存在的问题是:由于遥感图像的成像机制会使多时相图像中存在严重的噪声,噪声会降低差异图像的质量,从而影响到变化检测结果。利用差异图像生成邻域样本过程是以差异图像每个像素点为中心截取邻域小块,最后以这些邻域样本作为样本进行分类,所以差异图中的噪点会直接污染样本,进而影响分类结果,使得原本没有变化的点,因为噪声的出现被判定为变化,产生严重的错检问题。
解决上述技术问题的难度和意义:遥感图像的乘性噪声是线性不可分的,一些传统的降噪方法在这里作用效果有限,或者降噪效果不够显著,又或者在消除噪声干扰的同时需要保留的变化信息有所损耗,同样降低了检测结果的准确性。所以如何在抑制噪声干扰的同时保证有效的变化信息的完整是上述技术的难点。噪声使图像的细节变得模糊,降低了图像的质量,也增加了对图像进一步分析处理的难度。当变化信息被提取时,散斑的存在会导致一些错检的增加。因此,抑制噪声是变化检测过程中至关重要的工作之一。
发明内容
针对现有技术存在的问题,本发明提供了一种基于收缩自编码器特征学习的遥感图像变化检测方法。
本发明是这样实现的,一种基于收缩自编码器特征学习的遥感图像变化检测方法,所述基于收缩自编码器特征学习的遥感图像变化检测方法包括:
步骤一,选用对数差异,均值差异,JS散度差异,利用多时相图像生成不同尺度下的差异图像用以记录时相图中的差异信息;
步骤二,将三种不同尺度下的差异信息分别作为l,a,b通道,图像的水平和垂直坐标作为x,y通道,基于SLIC超像素分割算法对差异图像进行分割,获取具有同质地貌信息邻域特征块;
步骤三,选取部分分割后的小块,对尺度进行调整后作为训练样本输入到栈式收缩自编码器进行特征学习,保存自编码器网络的权重;将差异图像切分成相应尺寸的样本输入到自编码器网络中,分层提取高阶特征;
步骤四,基于自编码器提取的高阶特征重构生成新的差异图像;对新生成的差异图像利用k-mean聚类算法实现二分类,得到检测结果。
进一步,多尺度差异图像的生成D1为对数差异,D2为均值差异,D3为Js散度差异;I1,I2为两个时相图的灰度,μ1,μ2为两个时相图的灰度均值,P1,P2为概率分布:
Figure BDA0001705235650000031
进一步,利用多尺度差异图像的SLIC超像素分割具体包括:
(1)获得的差异信息取代CIE-Lab颜色空间作为分割所需的(L,a,b)通道信息;
(2)在计算距离Ds时引入权重系数以控制不同空间下的距离对结果的影响,其中dlab为(L,a,b)空间距离,dxy为坐标空间距离,λ为权重系数,在变化检测的场景中使代表差异信息的dlab具有更大的权重;
Figure BDA0001705235650000032
进一步,基于收缩自编码器的特征学习具体包括:
(1)基于神经网络实现自编码器,输入层数据x∈Rn转换到中间层h∈Rp,再转换到输出层得到y∈Rm;输入层维度为n,隐层维度为p,输出层维度为m。每两层之间的变换都存在非线性激励,其中f(x)为激励函数:
h=f(W(1)x+b(1))
y=f(W(2)h+b(2));
(2)栈式自编码器网络,采用栈式逐层训练法则提取了输入样本的高阶特征;对于一个n层栈式自编码神经网络,用W(k,1),W(k,2),b(k,1),b(k,2)表示第k个自编码器的W(1),W(2),b(1),b(2)参数,整个栈式自编码网络的编码过程就是逐个的执行单个编码器的编码操作,并将隐层的输出做下一个编码器的输入继续完成编码工作:
a(l)=f(z(l))
z(l+1)=W(l,1)a(l)+b(l,1);
通过从后往前的顺序每个自编码器依次执行解码操作:
a(n+l)=f(z(n+l))
z(n+l+1)=W(n-l,2)a(n+l)+b(n-l,2)
其中,a(l)表示对l层的单元非线性激励的结果,z(1)表示对l层线性变化的结果;对于a(n)向量是对输入信号的高阶特征表达;
(3)收缩自编码器,输入样本
Figure BDA0001705235650000041
进行特征提取的编码激活函数为f,隐层的特征表达为
Figure BDA0001705235650000042
则惩罚因子表示为特征所有维度微分的平方和;收缩自编码器的代价函数,在样本空间x∈Dn中,第一项L(x,g(f(x))为普通自编码器网络代价函数,第二项
Figure BDA0001705235650000043
为正则约束:
Figure BDA0001705235650000044
Figure BDA0001705235650000051
(4)特征提取,将高阶特征可视化,观察得出编码器网络可以有效的从原始输入中获取主要的地物信息完整的保留了差异分析所需的变化信息;以指定的特征表达方式可以消除噪声在内的冗余信息;
(5)二维特征分布,提取的高阶特征输入到一个隐层为2的自编码器网络,获得输入信息压缩后的二维特征;
(6)差异图重构,利用网络对高阶特征进行重构获得降噪处理的图像。
本发明的另一目的在于提供一种应用所述基于收缩自编码器特征学习的遥感图像变化检测方法的遥感图像处理系统。
综上所述,本发明的优点及积极效果为:可以由多尺度差异图像的生成,利用多尺度差异信息的SLIC分割,基于栈式收缩自编码器的特征学习以及特征重构再差异分析这个部分组成。通过实验对比,本发明比起一些传统的方法,有效的抑制了噪声对检测结果的影响,取得预期的检测结果。为了展示本发明性能,选用了图3所示的bern数据集进行了验证,bern数据集由两组地貌信息出现变化的时相图组成,包含人工标定的变化参考图像作为检测算法性能的依据。本发明最终的变化检测结果如图12所示,为了横向的对比方法的优越性这里与一些传统的方法进行了对比,结果如图13所示。表1中记录各种方法的检测结果指标。通过分析表1中的数据可得,本发明在一定程度上降低了变化检测过程中的漏检(本来变了判定为没变),错检(本来没变判定为变了)现象,提高了结果的pcc(分类总正确率)。
附图说明
图1是本发明实施例提供的基于收缩自编码器特征学习的遥感图像变化检测方法流程图。
图2是本发明实施例提供的基于收缩自编码器特征学习的遥感图像变化检测方法实现流程图。
图3是本发明实施例提供的Bern数据集中两个存在变化的时相图;
图中:(a)1999.4拍摄的图像;(b)1999.5拍摄的图像;(c)变化参考图。
图4是本发明实施例提供的在Bern数据集的差异结果示意图;
图中:(a)对数差异;(b)均值差异;(c)Js差异。
图5是本发明实施例提供的超像素分割结果示意图。
图6是本发明实施例提供的自编码器网络结构示意图。
图7是本发明实施例提供的一阶特征提取示意图。
图8是本发明实施例提供的二阶特征提取示意图。
图9是本发明实施例提供的Bern数据特征提取效果示意图;
图中:(a)一阶特征;(b)二阶特征;(c)三阶特征;(d)四阶特征。
图10是本发明实施例提供的二维特征分布图。
图11是本发明实施例提供的Bern数据集重构结果示意图;
图中:(a)时相图t1;(b)t1重构图;(c)时相图t2;(d)t2重构图。
图12是本发明实施例提供的检测结果示意图。
图13是本发明实施例提供的多种实验结果对比图;
图中:(a)PCA+Kmeans;(b)SRM+Kmeans;(c)Fuzzy+MRF;(d)本发明方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
遥感图像的变化检测是根据在同一地点不同时间观测的图像确定地物变化的过程。随着变化检测技术在多个领域的广泛应用,多时相遥感图像变化检测已成为遥感研究领域的重中之重。在社会生产的各个方面都可以看到变化检测技术的积极作用。在森林退化与沙漠化检测、水体与环境检测、城市规划、农业调查、植被覆盖调查、灾害监测、军事侦察等领域都得到广泛应用。本发明将超像素分割技术与多层神经网络技术引入变化检测,有效的抑制了噪声对检测结果的干扰,提高了检测效果。
下面结合附图对本发明的应用原理做详细的描述。
如图1所示,本发明实施例提供的基于收缩自编码器特征学习的遥感图像变化检测方法包括以下步骤:
S101:利用多时相图像生成不同尺度下的差异图像用以记录时相图中的差异信息,选用对数差异,均值差异,JS散度差异;
S102:将三种不同尺度下的差异信息分别作为l,a,b通道,图像的水平和垂直坐标作为x,y通道,基于SLIC超像素分割算法对差异图像进行分割,获取具有同质地貌信息邻域特征块;
S103:选取部分分割后的小块,对其尺度进行调整后作为训练样本输入到栈式收缩自编码器进行特征学习,保存自编码器网络的权重;将差异图像切分成相应尺寸的样本输入到自编码器网络中,分层提取高阶特征;
S104:基于自编码器提取的高阶特征重构生成新的差异图像;对新生成的差异图像利用k-mean聚类算法实现二分类,得到检测结果。
下面结合附图对本发明的应用原理作进一步的描述。
1多尺度差异图像的生成
1.1多尺度差异图像
为了更加全面的获取变化信息,并获取后续分割算法所需的通道信息,这里分别基于三种差异尺度生成差异图像。如式(1)所示,其中D1为对数差异,D2为均值差异,D3为Js散度差异。I1,I2为两个时相图的灰度,μ1,μ2为两个时相图的灰度均值,P1,P2为概率分布。
Figure BDA0001705235650000081
1.2差异结果
在Bern数据集的差异结果如图4所示。
2利用多尺度差异图像的SLIC超像素分割
2.1Slic超像素分割算法
算法大致思想是这样的,将图像从RGB颜色空间转换到CIE-Lab颜色空间,对应每个像素的(L,a,b)颜色值和(x,y)坐标组成一个5维向量V[l,a,b,x,y],两个像素的相似性即可由它们的向量距离来度量,距离越大,相似性越小。
算法首先生成K个种子点,然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素,将他们归为与该种子点一类,直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值,重新得到K个聚类中心,然后再以这K个中心去搜索其周围与其最为相似的若干像素,所有像素都归类完后重新得到K个超像素,更新聚类中心,再次迭代,如此反复直到收敛。
这里对结合具体场景,对方法进行了改进:
(1)为了得到基于变化信息分割的小块,本发明采用上一步所获得的差异信息取代CIE-Lab颜色空间作为分割所需的(L,a,b)通道信息。分割后的结果最大程度上具有同质的变化信息。
(2)在计算距离Ds的时候,引入权重系数以控制不同空间下的距离对结果的影响。如式(2)所示,其中dlab为(L,a,b)空间距离,dxy为坐标空间距离,λ为权重系数,在变化检测的场景中使代表差异信息的dlab具有更大的权重,使得分割后的小块能够对变化情况更加敏感。
Figure BDA0001705235650000091
以Bern数据为例,超像素分割结果如图5。
由图5可知,对于变化的区域,算法能够很好的捕捉变化的边缘。生成特征学习所需的邻域样本。
3基于收缩自编码器的特征学习
3.1基于神经网络实现自编码器
自编码器可以通过第二章中提到的神经网络来实现,这里输入x即为网络的输入,利用神经元对输入数据进行非线性映射,如图6所示。
该网络把输入层数据x∈Rn转换到中间层h∈Rp,再转换到输出层得到y∈Rm。其中输入层维度为n,隐层维度为p,输出层维度为m。每两层之间的变换都存在非线性激励,其中f(x)为激励函数,用公式(3-1)表示即为:
h=f(W(1)x+b(1))
y=f(W(2)h+b(2)) (3)
一般用神经网络来实现有监督学习的分类器,等效于一个输入到输出层非线性变换的复杂函数。网络在训练阶段基于输出值与实际值之间的差异来优化目标函数,利用梯度下降法去获取令目标函数值最小的网络参数W(1),b(1),W(2),b(2)。使得求解后的网络尽可能拟合训练数据。在这过程中还常在代价函数上增加正则约束项来衰减权重以避免过拟合的现象。
对于自编码器在网络中的输出应与输入相同,即y=x。利用训练数据训练这个网络,等训练结束后,这个网络即学习出了x→h→x的能力。对于隐层h其中包含了输入信号的主要特征。结合神经网络工作原理,网络训练的代价函数可由式(4)得到(假设激活函数是Sigmoid,用s表示)。
y=f(x)=s(Wx+b)
Figure BDA0001705235650000101
Figure BDA0001705235650000102
这里L为代价函数,常见的形式有二次误差(5)和交叉熵误差(6)。
Figure BDA0001705235650000103
Figure BDA0001705235650000104
其中n为样本总数量,m为样本,x为实际值,
Figure BDA0001705235650000105
输出值。对于交叉熵函数梯度下降的速度会随着误差的增大而增大所以当误差较大的时候参数调整速度也越快。文中实现的编码器网络均基于交叉熵函数来最小化误差。
3.2栈式自编码器网络
自编码器可以对输入数据的主要特征进行提取,而对于复杂的遥感图像数据仅仅三层简单的网络是难以实现理想特征的表达,为了取得更有效的特征学习结果多层的深度网络是非常有用的方式。这种场景下栈式自编码网络得到了广泛的应用,本发明采用栈式逐层训练法则提取了输入样本的高阶特征。网络其实是由多个自编码器以前者的输出作为后者的输入堆叠形成的。对于一个n层栈式自编码神经网络,假定用W(k,1),W(k,2),b(k,1),b(k,2)表示第k个自编码器的W(1),W(2),b(1),b(2)参数,整个栈式自编码网络的编码过程就是逐个的执行单个编码器的编码操作,并将其隐层的输出做下一个编码器的输入继续完成编码工作如式(7):
a(l)=f(z(l))
z(l+1)=W(l,1)a(l)+b(l,1) (7)
同理可得,该网络的解码过程就是编码过程的反向操作通过从后往前的顺序每个自编码器依次执行解码操作:
a(n+l)=f(z(n+l))
z(n+l+1)=W(n-l,2)a(n+l)+b(n-l,2)
(8)
其中,如式(8)所示,a(l)表示对l层的单元非线性激励的结果,z(l)表示对l层线性变化的结果。对于a(n)这个向量便是对输入信号的高阶特征表达。基于该层信息进行重构即可得到抑制了噪声的样本数据。
为了克服多层网络训练过程中的梯度弥散问题,有效训练多层栈式网络最常见的策略就是逐层贪婪训练的思想。首先把样本输入第一个自编码器得到参数W(1,1),W(1,2),b(1 ,1),b(1,2);然后把第一个自编码器隐层的输出作为第二个自编码器的输入进行训练得到第二层的参数W(2,1),W(2,2),b(2,1),b(2,2)。最后,采用同样的策略,依次完成后续网络参数的获取。
如图7所示把原始数据x(k)输入到编码器网络,通过网络的无监督学习训练隐层的参数用以完成对输入的非线性变换。
接下来用训练好的参数对输入数据x(k)进行映射提取一阶h(1)(k)。然后以h(1)(k)为输入训练第二个自编码器用以提取二阶特征得到h(2)(k)
同样,如图8再把一阶特征输入到刚训练好的第二层稀疏自编码器中,得到每个h(1)(k)对应的二阶特征激活值h(2)(k)。把这些二阶特征作为输入以相同的方式学习更高阶的特征,以此类推通过多个网络的堆叠来实现多层自编码器网络。
3.3收缩自编码器
收缩自编码器是传统的自编码器的一个变种,其实质是在代价函数上加入了新的约束项使得特征学习的过程具有更高的鲁棒性。将传统的稀疏自编码目标函数中的正则项换成了F范数下的雅克比矩阵的形式(9)。具体来说就是对于输入样本
Figure BDA0001705235650000111
对其进行特征提取的编码激活函数为f,隐层的特征表达为
Figure BDA0001705235650000112
则惩罚因子可以表示为特征所有维度微分的平方和。所以收缩自编码器的代价函数如式(10),在样本空间x∈Dn中,第一项L(x,g(f(x))为普通自编码器网络代价函数,第二项
Figure BDA0001705235650000113
为正则约束。
Figure BDA0001705235650000121
Figure BDA0001705235650000122
收缩自编码器通过正则约束,保证了在对训练数据进行非线性映射,尤其是获得高维特征表达的时候,其邻域信息在特征空间被压缩,使得高维流行上的点,也就是学到的特征具有局部不变性。
从收缩自编码器的目标函数来看,其实可以理解为该网络具有两个功能,函数的第一部分代表了其误差重构部分,作用是尽可能多的提取特征获取输入图像中的信息,而第二项即雅克比矩阵的部分作用则是丢弃。因为最小化雅克比矩阵的F范数的后果就是梯度会接近0,这样的话,如果改变输入数据,隐层单元的值不会改变,亦即如果在训练样本上加一些噪音,隐层节点的值不变。所以收缩自编码器的着重于捕获输入输入数据中出现的信息。这个使得对于输入数据中间特征提取具有很强的鲁棒性。
在提到的变化检测的应用场景中,对于变化的区域尤其是变与不变临界区域边缘地带的检测更为敏感。在预训练网络的过程中,如果能够从样本中剔除噪声对特征映射过程的扰动,将显著提升网络的分类精度。利用上述收缩自编码器的特点,进行特征学习可以尽可能保证输出变化信息准确,非常适合本章通过训练数据拟合网络模型的工作。利用收缩自编码器特征空间的局部不变性对图像中的变化边缘特征提取时有效的避免了扰动带来的误差。在剔除冗余信息的同时更确保了变化信息真实有效。
3.4特征提取
通过训练好的网络可以逐层的提取输入信号的特征,这里以Bern数据集时相图t1为例为了将不同隐层的特征输出可视化,把各层的输出通过网络线性变化得到与原始输入相同的维度其结果如下图9所示:
以Bern数据集为例将高阶特征可视化,可以观察得出编码器网络可以有效的从原始输入中获取主要的地物信息完整的保留了差异分析所需的变化信息。同时以指定的特征表达方式可以消除噪声在内的冗余信息。特别是三阶特征的输出,时相图中地貌轮廓和变化区域的边缘都清晰可见,而原图中相应位置的斑噪声却被抑制。基于该特征进行重构能够极大的降低噪声的干扰有助于高质量差异图像的获取。最终提高了变化检测的精度。
3.5二维特征分布
为了展示栈式收缩自编码器提取高阶特征的能力,这里绘制了描述网络中每一层提取样本特征的散点图。出于特征分布可视化的考虑,选用高阶特征的二维分布图对样本间的关系进行描述,如图10所示。
为了描述特征样本之间的关系,这里把提取的高阶特征输入到一个隐层为2的自编码器网络,以便获得输入信息压缩后的二维特征。为了方便观测这里利用样本中的二维特征点绘制散点图。从上图可得基于自编码器提取的高阶特征能够有效的将差异图中样本按照变化情况区分开。随着更高阶的特征输出,一部分样本点更加聚集,一部分样本更加发散。样本的分步情况与时相图中的变化情况相吻合。在差异图中,大部分区域是未变的而输入样本的邻域信息中变化的情况又各不相同,就三阶特征的二维分布而言,大部分点聚集在一起,剩下的点相对发散。说明特征样本能够很好的反映差异图中的变化信息,特征学习的有效性得到证实。
3.6差异图重构
基于编码器网络的特征学习获取了高阶的特征表达,利用网络对高阶特征进行重构可以获得降噪处理的图像。
Bern数据集下重构效果如下图11所示:
上图中(a)(c)为原图,(b)(d)为降维重构后的新图,原图中的主要信息被完整的保留,变化区域的边缘与原图基本一致,但原图中的一些明显的噪点在重构后图像中得到了抑制。利用重构后时相图基于对数差异方法得到差异图能够和好的降低噪声对差异图像质量的干扰。
4差异分析
对于新生成的差异图像,采用k-means聚类算法,设置聚类中心为2,得到检测结果。结果如图12所示。
下面结合对比对本发明的应用效果作详细的描述。
为了展示本发明的性能,这里与一些经典的方法进行了对比。经过实验证实本方法有效克制了成像噪声对检测结果的干扰,将低了漏检和错检情况,提高了检测结果的准确性,如图13所示。
本发明通过一些检测指标来检验算法性能,这里有漏检(False Negative,FN)错检(False Positive,FP)kappa系数(Kappa coefficient,KC),分类总正确率Percentagecorrect classification,PCC)
表1检测结果指标对比
Algorithms Fn Fp Kappa Pcc
PCA+Kmeans 258 146 0.8437 0.9855
SRM+Kmeans 287 114 0.8363 0.9856
FCM+MRF 264 147 0.8413 0.9860
SLIC+SCAE 125 135 0.9056 0.9971
从检测指标可以看出本发明所提出方法在效果上,有相对较低的漏检和错检情况,kappa和pcc显著提升。在变化检测这一场景下表现出了更好的性能。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于收缩自编码器特征学习的遥感图像变化检测方法,其特征在于,所述基于收缩自编码器特征学习的遥感图像变化检测方法包括:
步骤一,选用对数差异,均值差异,JS散度差异,利用多时相图像生成不同尺度下的差异图像用以记录时相图中的差异信息;
步骤二,将三种不同尺度下的差异信息分别作为L,a,b通道,图像的水平和垂直坐标作为x,y通道,基于SLIC超像素分割算法对差异图像进行分割,获取具有同质地貌信息邻域特征块;
步骤三,选取部分分割后的小块,对尺度进行调整后作为训练样本输入到栈式收缩自编码器进行特征学习,保存自编码器网络的权重;将差异图像切分成相应尺寸的样本输入到自编码器网络中,分层提取高阶特征;
步骤四,基于自编码器提取的高阶特征重构生成新的差异图像;对新生成的差异图像利用k-means聚类算法实现二分类,得到检测结果。
2.如权利要求1所述的基于收缩自编码器特征学习的遥感图像变化检测方法,其特征在于,多尺度差异图像的生成D1为对数差异,D2为均值差异,D3为JS散度差异;I1,I2为两个时相图的灰度,μ1,μ2为两个时相图的灰度均值,P1,P2为概率分布:
Figure FDA0003227533420000011
3.如权利要求1所述的基于收缩自编码器特征学习的遥感图像变化检测方法,其特征在于,利用多尺度差异图像的SLIC超像素分割具体包括:
(1)获得的差异信息取代CIE-Lab颜色空间作为分割所需的(L,a,b)通道信息;
(2)在计算距离Ds时引入权重系数以控制不同空间下的距离对结果的影响,其中dlab为(L,a,b)空间距离,dxy为坐标空间距离,λ为权重系数,在变化检测的场景中使代表差异信息的dlab具有更大的权重;
Figure FDA0003227533420000021
4.如权利要求1所述的基于收缩自编码器特征学习的遥感图像变化检测方法,其特征在于,基于收缩自编码器的特征学习具体包括:
(1)基于神经网络实现自编码器,输入层数据x∈Rn转换到中间层h∈Rp,再转换到输出层得到y∈Rm;输入层维度为n,隐层维度为p,输出层维度为m;每两层之间的变换都存在非线性激励,其中f(x)为激励函数:
Figure FDA0003227533420000022
(2)栈式自编码器网络,采用栈式逐层训练法则提取了输入样本的高阶特征;对于一个n层栈式自编码神经网络,用W(k,1),W(k,2),b(k,1),b(k,2)表示第k个自编码器的W(1),W(2),b(1),b(2)参数,整个栈式自编码网络的编码过程就是逐个的执行单个编码器的编码操作,并将隐层的输出做下一个编码器的输入继续完成编码工作:
a(l)=f(z(l))
Z(l+1)=W(l,1)a(l)+b(l,1)
通过从后往前的顺序每个自编码器依次执行解码操作:
a(n+1)=f(z(n+l))
z(n+l+1)=W(n-l,2)a(n+l)+b(n-l,2)
其中,a(l)表示对l层的单元非线性激励的结果,z(l)表示对l层线性变化的结果;对于a(n)向量是对输入信号的高阶特征表达;
(3)收缩自编码器,输入样本
Figure FDA0003227533420000031
进行特征提取的编码激活函数为f,隐层的特征表达为
Figure FDA0003227533420000032
则惩罚因子表示为特征所有维度微分的平方和;收缩自编码器的代价函数,在样本空间x∈Dn中,第一项L(x,g(f(x))为普通自编码器网络代价函数,第二项
Figure FDA0003227533420000033
为正则约束:
Figure FDA0003227533420000034
Figure FDA0003227533420000035
(4)特征提取,将高阶特征可视化,观察得出编码器网络可以有效的从原始输入中获取主要的地物信息完整的保留了差异分析所需的变化信息;以指定的特征表达方式可以消除噪声在内的冗余信息;
(5)二维特征分布,提取的高阶特征输入到一个隐层为2的自编码器网络,获得输入信息压缩后的二维特征;
(6)差异图重构,利用网络对高阶特征进行重构获得降噪处理的图像。
5.一种应用权利要求1~4任意一项所述基于收缩自编码器特征学习的遥感图像变化检测方法的遥感图像处理系统。
CN201810652850.8A 2018-06-22 2018-06-22 一种基于收缩自编码器特征学习的遥感图像变化检测方法 Active CN109191418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810652850.8A CN109191418B (zh) 2018-06-22 2018-06-22 一种基于收缩自编码器特征学习的遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810652850.8A CN109191418B (zh) 2018-06-22 2018-06-22 一种基于收缩自编码器特征学习的遥感图像变化检测方法

Publications (2)

Publication Number Publication Date
CN109191418A CN109191418A (zh) 2019-01-11
CN109191418B true CN109191418B (zh) 2021-10-01

Family

ID=64948721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810652850.8A Active CN109191418B (zh) 2018-06-22 2018-06-22 一种基于收缩自编码器特征学习的遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN109191418B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992366B (zh) * 2019-11-29 2023-06-06 北京卫星信息工程研究所 一种图像语义分割方法、装置及存储介质
CN112215267B (zh) * 2020-09-25 2022-11-01 天津大学 一种面向高光谱图像的深度空谱子空间聚类方法
CN113256629B (zh) * 2021-07-05 2022-06-24 之江实验室 一种图像标定错误检测方法及装置
CN114417092B (zh) * 2021-11-09 2023-06-27 长安大学 沙漠化监测指数的构建方法及沙漠化状态变化趋势评价方法
CN116310447B (zh) * 2023-05-23 2023-08-04 维璟(北京)科技有限公司 基于计算机视觉的遥感图像变化智能检测方法及系统
CN116363520B (zh) * 2023-06-02 2023-08-04 青岛海滨风景区小鱼山管理服务中心 一种城市绿地规划用景观生态检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608698A (zh) * 2015-12-25 2016-05-25 西北工业大学 一种基于sae的遥感图像变化检测方法
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN106952269A (zh) * 2017-02-24 2017-07-14 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及系统
CN107392940A (zh) * 2017-06-12 2017-11-24 西安电子科技大学 一种基于堆栈半监督自适应去噪自编码器的sar图像变化检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116741A1 (en) * 2015-10-26 2017-04-27 Futurewei Technologies, Inc. Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608698A (zh) * 2015-12-25 2016-05-25 西北工业大学 一种基于sae的遥感图像变化检测方法
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN106952269A (zh) * 2017-02-24 2017-07-14 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及系统
CN107392940A (zh) * 2017-06-12 2017-11-24 西安电子科技大学 一种基于堆栈半监督自适应去噪自编码器的sar图像变化检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Change Detection of SAR Images Based on Supervised Contractive Autoencoders and Fuzzy Clustering;Jie Geng 等;《2017 International Workshop on Remote Sensing with Intelligent Processing(RSIP)》;20170626;1-3 *
Multimodal video classification with stacked contractive autoencoders;YananLiu 等;《Signal Processing》;20150109;第120卷;761–766 *
Unsupervised object-based change detection via aWeibullmixture model-based binarization for high-resolution remote sensing images;T. Wu 等;《IEEE Geosci. Remote Sens. Lett.》;20180131;第15卷(第1期);63–67 *
简单线性迭代聚类的高分辨率遥感影像分割;董志鹏 等;《遥感信息》;20161231;第31卷(第6期);83-88 *
遥感图像变化检测方法研究;施晓良;《中国优秀硕士学位论文全文数据库 信息科技辑》;20161015(第10期);I140-167 *

Also Published As

Publication number Publication date
CN109191418A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109191418B (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN110532859B (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110188774B (zh) 一种基于深度学习的电涡流扫描图像分类识别方法
CN107133496B (zh) 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法
CN111415323B (zh) 图像的检测方法及装置,神经网络的训练方法及装置
Dezert et al. Edge detection in color images based on DSmT
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN112633202B (zh) 一种基于双重去噪联合多尺度超像素降维的高光谱图像分类算法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN112634149A (zh) 一种基于图卷积网络的点云去噪方法
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN115565043A (zh) 结合多表征特征以及目标预测法进行目标检测的方法
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
CN106251375A (zh) 一种通用隐写分析的深度学习堆栈式自动编码方法
CN111640087A (zh) 一种基于sar深度全卷积神经网络的影像变化检测方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN111460966B (zh) 基于度量学习和近邻增强的高光谱遥感图像分类方法
CN112949416A (zh) 一种监督的高光谱多尺度图卷积分类方法
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN115512226A (zh) 融入注意力机制多尺度CNN的LiDAR点云滤波方法
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
CN109544477A (zh) 基于自适应字典学习稀疏表示的图像去噪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant