CN110837787A - 一种三方生成对抗网络的多光谱遥感图像检测方法及系统 - Google Patents

一种三方生成对抗网络的多光谱遥感图像检测方法及系统 Download PDF

Info

Publication number
CN110837787A
CN110837787A CN201911051370.7A CN201911051370A CN110837787A CN 110837787 A CN110837787 A CN 110837787A CN 201911051370 A CN201911051370 A CN 201911051370A CN 110837787 A CN110837787 A CN 110837787A
Authority
CN
China
Prior art keywords
network
remote sensing
representing
sensing image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911051370.7A
Other languages
English (en)
Other versions
CN110837787B (zh
Inventor
石爱业
石冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201911051370.7A priority Critical patent/CN110837787B/zh
Publication of CN110837787A publication Critical patent/CN110837787A/zh
Application granted granted Critical
Publication of CN110837787B publication Critical patent/CN110837787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理技术领域的一种三方生成对抗网络的多光谱遥感图像检测方法及系统,包含生成网络、判别网络和分类网络,生成网络生成假数据,相应的分类网络计算生成数据和有标签数据的交叉熵并预测非标记数据的类别。判别网络将有标记数据判别为真,将生成数据和非标记数据判别为假,通过三方网络博弈,不断更新各网络参数,从而使得双时相多光谱遥感影像的最终变化检测结果更加可靠、稳健;另外,网络的训练中还加入了无标记样本集参与训练,从而也使得变化检测精度更高。

Description

一种三方生成对抗网络的多光谱遥感图像检测方法及系统
技术领域
本发明属于图像处理技术领域,具体涉及一种三方生成对抗网络的多光谱遥感图像检测方法及系统。
背景技术
随着多时相遥感数据的不断积累以及空间数据库的相继建立,如何从这些遥感数据中提取和检测变化信息已成为遥感科学和地理信息科学的重要研究课题。根据同一区域不同时相的遥感影像,可以提取城市、环境等动态变化的信息,为资源管理与规划、环境保护等部门提供科学决策的依据。遥感影像的变化检测就是从覆盖同一地表区域的不同时期的遥感数据中,提取变化信息的技术。各国学者从不同的角度和应用研究提出了许多有效的检测算法,总体来说,根据检测过程中是否需要训练样本,可以将变化检测分为三个大类:非监督变化检测算法、半监督变化检测算法和监督变化检测算法。由于非监督变化检测算法无需训练样本,加之建模过程无需先验知识,因此该类算法获得了广泛的应用。非监督变化检测算法一般先构建两个时相的差异影像,进而对差异影像进行处理得到变化检测结果。常规的变化检测方法有变化矢量分析法、基于主成分变换的检测方法、基于多元变化检测算法、基于无向图的变化检测算法(包括MRF、CRF等)等。基于深度学习的非监督变化检测建模中,无需像常规的变化检测方法构建差异影像,直接利用两个时相影像的深度信息,更加有利于刻画不同影像间的变化信息,其在多时相变化检测领域应用具有优势。
西安电子科技大学在其申请的专利“基于无监督深度神经网络的SAR图像变化检测”(专利申请号:201410818305.3,公开号:CN104517124A)中以及发表的“Changedetection in synthetic aperture radar images based on deep neural networks.(IEEE Transactions on Geoscience and Remote Sensing,2016,27(1):125-137.)中提出了一种基于无监督DBN神经网络的SAR图像变化检测。该方法主要针对多时相的雷达影像,其对伪标签的样本选择依据FCM算法,样本的可靠性不高。
西安电子科技大学的公茂果在论文AGenerative Discriminatory ClassifiedNetwork for Change Detection in Multispectral Imagery.(IEEE Journal ofSelected Topics in Applied Earth Observations and Remote Sensing,2019,12(1):321-333.)中提出一种生成对抗网络检测方法(GAN)多光谱变化检测方法。该方法首先根据CVA技术及大津阈值法共同选择伪标记样本,在生成对抗网络的训练中,三类数据:伪标记样本、非伪标记样本和以及产生的“假”数据共同训练网络,最后依据训练好的判别网络获取最终的变化检测结果。该方法的不足之处是网络仅仅是由双方对抗的网络组成,网络的训练容易陷入模式坍塌。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种三方生成对抗网络的多光谱遥感图像检测方法及系统,通过三方网络博弈,不断更新各网络参数,从而使得双时相多光谱遥感影像的最终变化检测结果更加可靠、稳健。
为达到上述目的,本发明所采用的技术方案是:一种三方生成对抗网络的多光谱遥感图像检测方法与系统,包括,
a、对遥感影像进行影像配准并利用多元变化检测方法进行辐射校正,然后计算遥感影像的变化矢量幅值;
b、根据变化矢量幅值并利用最大期望算法获取伪训练样本集;
c、构建基于判别网络、生成网络和分类网络的三方生成对抗网络;
d、通过伪训练样本集训练三方生成对抗网络;
e、根据分类网络获取最终的变化检测结果。
所述伪训练样本集包括标记样本集和非标记样本集,所述标记样本集包括变化类样本集和非变化类样本集。
所述生成网络包括第一激活层和第二激活层,所述第一激活层和所述第二激活层使用Softplus激活函数:
Figure BDA0002255399860000031
式中,x1是生成网络的输出中间层的输出矩阵,参数β取值为1。
所述生成网络包括输出层,所述输出层使用Sigmoid函数:
Figure BDA0002255399860000032
式中,x2是生成网络的倒数第二层的输出矩阵。
所述判别网络包括第一至第六激活层,所述第一至第六激活层使用函数LeakyReLU:
LeakyReLU(x3)=max(0,x3)+negative_slope*min(0,x3) (9)
式中,x3是判别网络的输出中间层的输出矩阵,negative_slope表示控制负坡度的角度。
所述分类网络包括第一至第五激活层,所述第一至第五激活层使用Relu函数:
ReLU(xi)=max(0,xi) (10)
式中,xi表示分类网络中第i个中间层的输出矩阵。
所述分类网络包括第一正则化层和第二正则化层,所述第一和第二正则化层使用Dropout函数,且设置神经元在每次迭代训练时会随机有50%的可能性被丢弃。
所述步骤d包括以下步骤:
da、依据梯度上升优化算法,更新判别网络参数:
Figure BDA0002255399860000041
式中:
Figure BDA0002255399860000042
表示梯度;θd表示判别网络D的参数;md表示训练中一批有标记样本的数量;mc表示训练中从分类网络C产生的数据中抽取的一批样本的数量;mg表示训练中从生成网络G产生的数据中抽取的一批样本的数量;(xd,yd)表示一个有标记的样本;xd表示样本;yd表示样本xd对应的标记,1对应变化,0对应非变化;xc表示非标记样本;yc表示样本xc经过分类网络C的输出标记;xg表示噪声样本;yg表示和样本xc对应的伪标记;
db、依据梯度下降优化算法,更新分类网络参数:
Figure BDA0002255399860000043
式中,θc表示分类网络的参数,pc(yc|xc)表示给定样本xc下分类网络产生标记yc的条件概率,
Figure BDA0002255399860000044
表示RL的无偏估计,RL表示分类网络的监督损失函数;
dc、依据梯度下降优化算法,更新生成网络参数:
Figure BDA0002255399860000045
式中,θg表示生成网络G的参数;
dd、重复da~dc,直到生成网络G、判别网络D和分类网络C均收敛,并根据式(13)得到分类网络C的参数θc
一种三方生成对抗网络的多光谱遥感图像检测系统,包括处理器和存储设备,所述存储设备中存储有多条指令,用于所述处理器加载并执行上述任一项所述方法的步骤。
与现有技术相比,本发明所达到的有益效果:本发明所述三方生成对抗网络的多光谱遥感图像检测方法及系统,该方法包含三个网络:生成网络、判别网络和分类网络。生成网络生成假数据,相应的分类网络计算生成数据和有标签数据的交叉熵并预测非标记数据的类别。判别网络将有标记数据判别为真,将生成数据和非标记数据判别为假,通过三方网络博弈,不断更新各网络参数,从而使得双时相多光谱遥感影像的最终变化检测结果更加可靠、稳健;另外,网络的训练中还加入了无标记样本集参与训练,从而也使得变化检测精度更高。
附图说明
图1是本发明实施例提供的一种三方生成对抗网络的多光谱遥感图像检测方法的实现流程示意图;
图2是本发明实施例所采用的2006年2月的沙特阿拉伯Riyadh地区高分辨率IKONOS图像第1波段示意图;
图3是本发明实施例所采用的2006年10月的沙特阿拉伯的Riyadh地区高分辨率IKONOS图像第1波段示意图;
图4是变化检测参考图像;
图5是EM-MRF算法检测结果图像;
图6是DBN算法检测结果图像;
图7是GAN算法的检测结果图像;
图8是采用本发明实施例方法获得的检测结果图像。
具体实施方式
一种三方生成对抗网络的多光谱遥感图像检测方法与系统,包括,对遥感影像进行影像配准并利用多元变化检测方法进行辐射校正,然后计算遥感影像的变化矢量幅值;根据变化矢量幅值并利用最大期望算法获取伪训练样本集,包括标记样本集(包括变化类样本集、非变化类样本集)和非标记样本集;构建基于判别网络、生成网络和分类网络的三方生成对抗网络,判别网络D判断输入图像的真假,即判断输入图像是真实的图像还是生成网络G生成的图像或者分类网络输入的非标记图像;生成网络G的作用是将输入的随机噪声转化为与真实图像相似的图像,分类网络C将非标记样本图像分为变化和非变化两类;通过伪训练样本集训练三方生成对抗网络;根据分类网络获取最终的变化检测结果。
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,是本发明所述时序集成的多光谱遥感图像变化检测方法的实现流程示意图,包括如下步骤:
步骤1:输入同一区域、不同时相的两幅高分辨率光学遥感影像,分别记为X1和X2
步骤2:利用遥感软件ENVI对X1和X2进行影像配准,分为粗校正和精校正两个步骤:
对于几何粗校正,利用ENVI4.8软件中的相关功能实现,具体操作步骤为:(1)显示基准影像和待校正影像;(2)采集地面控制点GCPs;GCPs应均匀分布在整幅图像内,GCPs的数目至少大于等于9;(3)计算误差;(4)选择多项式模型;(5)采用双线性插值进行重采样输出;
双线性差值法,若求未知函数f在点P=(x,y)的值,假设我们已知函数f在Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1),及Q22=(x2,y2)四个点的值。如果选择一个坐标系统使得这四个点的坐标分别为(0,0)、(0,1)、(1,0)和(1,1),那么双线性插值公式就可以表示为:
f(x,y)≈f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy (1)
对于几何精校正,将经过几何粗校正的多光谱遥感影像数据,利用自动匹配与三角剖分法进行几何精校正;
三角剖分法为,采用逐点插入法构建Delaunay三角网,对每一个三角形,利用其三个顶点的行列号与其对应的基准影像同名点的地理坐标来确定该三角形内部的仿射变换模型参数,对待校正影像进行纠正,得到校正后的遥感影像。
步骤3:利用多元变化检测(Multivariate Alteration Detection,MAD)方法对X1和X2进行辐射归一化校正。该方法首先找到两期影像各波段亮度值的一个线性组合,得到变化信息增强的差异影像,通过阈值确定变化和未变化区域,然后通过未变化区域对应的两时相像元对的映射方程,完成相对辐射校正。
步骤4:对输入的多时相高分辨率影像,其变化矢量幅值XM的计算如下:
Figure BDA0002255399860000071
其中,XM(i,j)表示坐标(i,j)处的变化矢量幅值;B表示每一个时相遥感影像的波段数目;(i,j)表示遥感影像的坐标;b表示波段的序号;X1b(i,j)表示前一时相第b波段影像(i,j)处的像素值;X2b(i,j)表示后一时相第b波段影像(i,j)处的像素值。
步骤5:利用Bayes原理,并基于最大期望(Expectation-Maximization,EM)算法获取最优分割阈值T。将|XM-T|≤δ的区域作为伪训练样本集。其中δ的选择为XM动态范围的15%,最优分割阈值T的计算过程及伪训练样本集的构建如下:
1)假设XM影像上未变化类ωn和变化类ωc服从如下的高斯分布,即:
Figure BDA0002255399860000081
其中p(XM(i,j)|ωl)表示影像XM上坐标(i,j)处的像素值属于类别ωl的条件概率,ωl∈{ωnc};σl表示影像XM上属于类别ωl的方差,σl∈{σnc},ml表示影像XM上属于类别ωl的均值,ml∈{mn,mc},mn表示未变化类的均值,σn表示未变化类的标准差,mc表示变化类的均值,σc表示变化类的标准差;采用EM算法可估计mn、σn、mc和σc这四个参数,下面仅以未变化类的参数估计为例进行说明,变化类参数估计类似。
Figure BDA0002255399860000082
Figure BDA0002255399860000083
其中,I表示影像的行数,J表示影像的列数,t表示迭代次数;pt(XM(i,j))表示迭代次数为t时的像素值XM(i,j)的全概率;ptn)表示迭代次数为t时的未变化类的先验概率;pt(XM(i,j)|ωn)表示迭代次数为t时的像素值XM(i,j)属于未变化类的条件概率;
Figure BDA0002255399860000091
表示迭代次数为t时的未变化类均值;
Figure BDA0002255399860000092
表示迭代次数为t+1时的未变化类方差;
2)依据Bayes最小误差准则,求解变化矢量幅值图像XM的分割阈值T;
3)确定训练样本集:
3.1)根据EM算法所估计的阈值T,将XM大于T的样本初步确定为变化样本集(变化类标记为1),小于或者等于T的初步确定为未变化样本(未变化类标记为0),从而获取最初的变化检测结果C0
3.2)对C0进行窗口尺寸为w(w设置为大于1的奇数)的均值滤波,对滤波结果为1的对应窗口中心的样本设置为变化类(标记为1),而对滤波结果为0的对应窗口中心样本设置为非变化类(标记为0),对上述两种情况之外的对应样本设置为未标记样本。记此时的变化类样本集为
Figure BDA0002255399860000093
非变化类样本集为未标记样本集为
Figure BDA0002255399860000095
3.3)记XM大于T的坐标集合为i1,XM小于或者等于T的坐标集合为i2。分别计算XM在i1和i2上的均值,并分别记为
Figure BDA0002255399860000097
将XM大于
Figure BDA0002255399860000098
的样本标记为变化类,将XM小于
Figure BDA0002255399860000099
的样本标记为非变化类。记此时的变化类样本集为
Figure BDA00022553998600000910
非变化类样本集为
Figure BDA00022553998600000911
3.4)求
Figure BDA00022553998600000912
Figure BDA00022553998600000913
的交集,获取变化类样本集
Figure BDA00022553998600000914
Figure BDA00022553998600000915
Figure BDA00022553998600000916
的交集,获取非变化类样本集
Figure BDA00022553998600000917
步骤6:构建三方生成对抗网络,生成网络G、判别网络D和分类网络C:
6.1)生成网络G的构成:
生成网络G包括:第一全连接层、批归一化处理层、第一激活层、第二全连接层、批归一化处理层、第二激活层、第三全连接层、输出层。其中第一层神经元个数为102(其中样本的分类数目为2,噪声维数为100),第二层神经元个数为500,第三层神经元个数为500。第一和第二激活层使用Softplus激活函数:
式中,x1是网络的输出中间层的输出矩阵,参数β取值为1;
生成网络G的输出层使用Sigmoid函数:
Figure BDA0002255399860000102
式中,x2是网络G的倒数第二层的输出矩阵;
6.2)判别网络D的构成:
判别网络D主要构成如下:第一全连接层、第一激活层、第二全连接层、第二激活层、第三全连接层、第三激活层、第四全连接层、第四激活层、第五全连接层、第五激活层、第六全连接层、第六激活层、输出层。其中第一层全连接层神经元个数为152(其中样本的分类数目为2,每一个波段的每一个像素为中心的5×5方形窗口内样本数量共25,双时相多光谱图像有6个波段),第二全层神经元个数为1000,第三全层神经元个数为500,第四全连接层神经元个数为250,第五全连接层神经元个数为250,第六全连接层神经元个数为250。第一到第六激活层使用函数LeakyReLU:
LeakyReLU(x3)=max(0,x3)+negative_slope*min(0,x3) (9)
式中,x3是网络的输出中间层的输出矩阵,negative_slope控制负坡度的角度;
判别网络的最后输出层使用Sigmoid函数。
6.3)分类网络C的构成:
判别网络C的构成包括:第一卷积层、第一激活层、第一正则化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第二正则化层、第四卷积层、第四激活层、第五卷积层、第五激活层、输出层。其中第一卷积层神经元输入通道数目为6(双时相多光谱图像有6个波段),输出通道数目为32,卷积核尺寸为3×3,步长为1,补0的数目为1;第二卷积层神经元输入通道数目为32,输出通道数目为64,卷积核尺寸为3×3,步长为1,补0的数目为1;第三卷积层神经元输入通道数目为64,输出通道数目为64,卷积核尺寸为3×3,步长为1,补0的数目为1;第四卷积层神经元输入通道数目为64,输出通道数目为128,卷积核尺寸为3×3,步长为1,补0的数目为0;第五卷积层神经元输入通道数目为128,输出通道数目为128,卷积核尺寸为3×3,步长为1,补0的数目为0;输出层为全连接层,输入神经元个数为128,输出层神经元个数为2(对应变化和非变化类两个类别)。第一到五激活层使用Relu函数:
ReLU(xi)=max(0,xi) (10)
式中,xi表示分类网络中第i个中间层的输出矩阵。
第一和第二正则化层使用Dropout函数,且该层的神经元设置在每次迭代训练时会随机有50%的可能性被丢弃。
步骤7:随机初始化网络G、D和C的网络参数,包括网络权重和偏置。
步骤8:开始网络训练,包括如下步骤:
8.1)依据梯度上升优化算法,更新判别网络D参数:
Figure BDA0002255399860000111
式中:
Figure BDA0002255399860000121
表示梯度,θd表示判别网络D的参数,md表示训练中一批有标记样本的数量,mc表示训练中从分类网络C产生的数据中抽取的一批样本的数量,mg表示训练中从生成网络G产生的数据中抽取的一批样本的数量,(xd,yd)表示一个有标记的样本,xd表示样本,yd表示样本xd对应的标记(1对应变化,0对应非变化),xc表示非标记样本,yc表示样本xc经过分类网络C的输出标记,xg表示噪声样本,yg表示和样本xc对应的伪标记;
8.2)依据梯度下降优化算法,更新分类网络C参数:
Figure BDA0002255399860000122
式中:θc表示分类网络C的参数,pc(yc|xc)表示给定样本xc下分类网络C产生标记yc的条件概率,
Figure BDA0002255399860000123
表示RL的无偏估计,RL表示分类网络C的监督损失函数;
8.3)依据梯度下降优化算法,更新分类网络G参数:
式中,θg表示生成网络G的参数;
步骤9:重复8.1~8.3,直到生成网络G、判别网络D和分类网络C均收敛,并根据式(13)得到分类网络C的参数θc
步骤10:将两幅不同时相的多光谱图像归一化处理后输入C网络进行变化和非变化类别的划分。
下面结合具体实验数据对本发明做进一步详细说明。本发明的仿真条件为:
仿真实验是在主频2.50GHz的Intel(R)Core(TM)i5-7300 HQ CPU、内存8GB的硬件环境和Pytorch 1.0.0开发环境下进行的。
本次实验采用的实验数据为沙特阿拉伯的Riyadh地区的多时相IKNOS高分辨影像数据,图像大小为401×430,使用B1、B2和B3三个波段。为了验证本发明的有效性,将本发明变化检测方法与下述变化检测方法进行比对:
(1)基于CVA的EM-MRF方法(EM-MRF)[意大利的Bruzzone L.等在文章“Automaticanalysis of difference image for unsupervised change detection”(IEEETransactions on Geoscience and Remote Sensing,2000,38(3):1171-1182.)中所提的检测方法]。
(2)Gong等所提的深度信念网络检测方法(DBN)[Maoguo Gong等.在文章“Changedetection in synthetic aperture radar images based on deep neural networks.(IEEE Transactions on Geoscience and Remote Sensing,2016,27(1):125-137.)中所提的检测方法]
(3)Gong等所提的生成对抗网络检测方法(GAN)[Maoguo Gong等.在文章“AGenerative Discriminatory Classified Network for Change Detection inMultispectral Imagery.(IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,2019,12(1):321-333.)中所提的检测方法]
(4)本发明方法。
检测性能用错检数FP、漏检数FN、总错误数OE和Kappa系数k四个指标来衡量。FP、FN和OE越接近于0、Kappa系数k越接近于1,表明变化检测方法的性能越好。检测结果如表1所示。
表1 Riyadh地区的多时相IKONOS影像变化检测结果比较
Figure BDA0002255399860000141
由表1可见,本发明所提的检测方法Kappa系数k最大,比其他三种检测算法相比更接近于1。本发明的错检数FP为7372,比EM-MRF、DBN和GAN算法分别少了7595、879和1549个。本发明的漏检数FN低于DBN算法,但是略高于EM-MRF和GAN算法。另外,本发明的总错误数OE为8564个,在对比算法中是最小的,更接近于0。综上,本发明变化检测算法的总体性能优于其他三种检测方法,这表明本发明所提的变化检测方法是有效的。
图2是Riyadh地区的前一时相多光谱IKONOS影像,图3是Riyadh地区的后一时相多光谱IKONOS影像,图4是变化检测的参考图。图5是EM-MRF算法的变化检测结果,图6是DBN算法的变化检测结果,图7是GAN算法的变化检测结果,图8是采用本发明实施例方法的变化检测结果。从图4的参考图和图5~8的对比来看,目视效果上,本发明所提算法的检测效果是最好的。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种三方生成对抗网络的多光谱遥感图像检测方法与系统,其特征是,包括,
a、对遥感影像进行影像配准并利用多元变化检测方法进行辐射校正,然后计算遥感影像的变化矢量幅值;
b、根据变化矢量幅值并利用最大期望算法获取伪训练样本集;
c、构建基于判别网络、生成网络和分类网络的三方生成对抗网络;
d、通过伪训练样本集训练三方生成对抗网络;
e、根据分类网络获取最终的变化检测结果。
2.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述伪训练样本集包括标记样本集和非标记样本集,所述标记样本集包括变化类样本集和非变化类样本集。
3.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述生成网络包括第一激活层和第二激活层,所述第一激活层和所述第二激活层使用Softplus激活函数:
Figure FDA0002255399850000011
式中,x1是生成网络的输出中间层的输出矩阵,参数β取值为1。
4.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述生成网络包括输出层,所述输出层使用Sigmoid函数:
式中,x2是生成网络的倒数第二层的输出矩阵。
5.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述判别网络包括第一至第六激活层,所述第一至第六激活层使用函数LeakyReLU:
Leaky ReLU(x3)=max(0,x3)+negative_slope*min(0,x3) (9)
式中,x3是判别网络的输出中间层的输出矩阵,negative_slope表示控制负坡度的角度。
6.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述分类网络包括第一至第五激活层,所述第一至第五激活层使用Relu函数:
ReLU(xi)=max(0,xi) (10)
式中,xi表示分类网络中第i个中间层的输出矩阵。
7.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述分类网络包括第一正则化层和第二正则化层,所述第一和第二正则化层使用Dropout函数,且设置神经元在每次迭代训练时会随机有50%的可能性被丢弃。
8.根据权利要求1所述的三方生成对抗网络的多光谱遥感图像检测方法,其特征是,所述步骤d包括以下步骤:
da、依据梯度上升优化算法,更新判别网络参数:
Figure FDA0002255399850000021
式中:
Figure FDA0002255399850000022
表示梯度;θd表示判别网络D的参数;md表示训练中一批有标记样本的数量;mc表示训练中从分类网络C产生的数据中抽取的一批样本的数量;mg表示训练中从生成网络G产生的数据中抽取的一批样本的数量;(xd,yd)表示一个有标记的样本;xd表示样本;yd表示样本xd对应的标记,1对应变化,0对应非变化;xc表示非标记样本;yc表示样本xc经过分类网络C的输出标记;xg表示噪声样本;yg表示和样本xc对应的伪标记;
db、依据梯度下降优化算法,更新分类网络参数:
Figure DEST_PATH_BDA0002255399860000043
式中,θc表示分类网络的参数,pc(yc|xc)表示给定样本xc下分类网络产生标记yc的条件概率,
Figure DEST_PATH_BDA0002255399860000044
表示RL的无偏估计,RL表示分类网络的监督损失函数;
dc、依据梯度下降优化算法,更新生成网络参数:
Figure FDA0002255399850000033
式中,θg表示生成网络G的参数;
dd、重复da~dc,直到生成网络G、判别网络D和分类网络C均收敛,并根据式(13)得到分类网络C的参数θc
9.一种三方生成对抗网络的多光谱遥感图像检测系统,其特征是,包括处理器和存储设备,所述存储设备中存储有多条指令,用于所述处理器加载并执行权利要求1~8任一项所述方法的步骤。
CN201911051370.7A 2019-10-31 2019-10-31 一种三方生成对抗网络的多光谱遥感图像检测方法及系统 Active CN110837787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911051370.7A CN110837787B (zh) 2019-10-31 2019-10-31 一种三方生成对抗网络的多光谱遥感图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911051370.7A CN110837787B (zh) 2019-10-31 2019-10-31 一种三方生成对抗网络的多光谱遥感图像检测方法及系统

Publications (2)

Publication Number Publication Date
CN110837787A true CN110837787A (zh) 2020-02-25
CN110837787B CN110837787B (zh) 2022-08-12

Family

ID=69575973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911051370.7A Active CN110837787B (zh) 2019-10-31 2019-10-31 一种三方生成对抗网络的多光谱遥感图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN110837787B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112465884A (zh) * 2020-11-25 2021-03-09 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481235A (zh) * 2017-08-24 2017-12-15 河海大学 一种数学形态学滤波结合卡方变换的多时相遥感影像变化检测方法
CN108492298A (zh) * 2018-04-13 2018-09-04 西安电子科技大学 基于生成对抗网络的多光谱图像变化检测方法
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
US20190197368A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Adapting a Generative Adversarial Network to New Data Sources for Image Classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481235A (zh) * 2017-08-24 2017-12-15 河海大学 一种数学形态学滤波结合卡方变换的多时相遥感影像变化检测方法
US20190197368A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Adapting a Generative Adversarial Network to New Data Sources for Image Classification
CN108492298A (zh) * 2018-04-13 2018-09-04 西安电子科技大学 基于生成对抗网络的多光谱图像变化检测方法
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王玉龙等: "基于生成对抗网络的地面新增建筑检测", 《计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112102294B (zh) * 2020-09-16 2024-03-01 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112465884A (zh) * 2020-11-25 2021-03-09 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法
CN112465884B (zh) * 2020-11-25 2024-01-16 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法

Also Published As

Publication number Publication date
CN110837787B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Khelifi et al. Deep learning for change detection in remote sensing images: Comprehensive review and meta-analysis
CN110826458A (zh) 一种基于深度学习的多光谱遥感图像变化检测方法及系统
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Makantasis et al. Tensor-based classification models for hyperspectral data analysis
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
Ghosh et al. Integration of Gibbs Markov random field and Hopfield-type neural networks for unsupervised change detection in remotely sensed multitemporal images
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN109754078A (zh) 用于优化神经网络的方法
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
CN110827330B (zh) 一种时序集成的多光谱遥感图像变化检测方法及系统
CN110837787B (zh) 一种三方生成对抗网络的多光谱遥感图像检测方法及系统
Lai et al. Improving classification with semi-supervised and fine-grained learning
Jiang et al. Hyperspectral image classification with transfer learning and Markov random fields
CN110991563B (zh) 一种基于特征融合的胶囊网络随机路由方法
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
Marmanis et al. Deep neural networks for above-ground detection in very high spatial resolution digital elevation models
CN109191503B (zh) 基于条件随机场的遥感影像变化检测方法及系统
CN109242832B (zh) 一种多时相多光谱遥感影像变化检测方法及系统
CN110717374A (zh) 一种基于改进的多层感知机的高光谱遥感影像分类方法
CN113642602B (zh) 一种基于全局与局部标签关系的多标签图像分类方法
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
Karim et al. Deep Learning and Transfer Learning applied to Sentinel-1 DInSAR and Sentinel-2 optical satellite imagery for change detection
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN111652246B (zh) 一种基于深度学习的图像自适应稀疏化表征方法及装置
Yilmaz et al. Analysis of the effect of training sample size on the performance of 2D CNN models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant