CN111325134A - 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 - Google Patents
一种基于跨层连接卷积神经网络的遥感影像变化检测方法 Download PDFInfo
- Publication number
- CN111325134A CN111325134A CN202010096703.4A CN202010096703A CN111325134A CN 111325134 A CN111325134 A CN 111325134A CN 202010096703 A CN202010096703 A CN 202010096703A CN 111325134 A CN111325134 A CN 111325134A
- Authority
- CN
- China
- Prior art keywords
- cross
- layer
- layer connection
- remote sensing
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 40
- 238000010586 diagram Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- 239000000956 alloy Substances 0.000 claims description 2
- 229910045601 alloy Inorganic materials 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于跨层连接卷积神经网络的遥感影像变化检测方法,属于遥感影像处理方法。本发明包含一种新的卷积神经网络,该网络设计了一种基于跨层连接模块的卷积神经网络模块,该模块利用左右分支充分挖掘遥感影像中的多尺度信息,并通过跨层连接融合多层级特征,实现遥感影像中的影像信息的有效提取。本方法对输入的两张同样尺寸、分辨率、地理覆盖范围的遥感图像,经由该卷积神经网络进行运算,可得到同一尺寸的变化检测结果图。本发明中的卷积神经网络可以获得极佳的遥感影像变化检测精度。
Description
技术领域
本发明属于遥感影像处理方法,具体涉及一种基于跨层连接卷积神经网络的遥感影像变化检测方法。
技术背景
早期的遥感影像变化检测方法,为取得较好的变化检测精度,高度依赖于复杂的特征设计。这种复杂的特征设计需要极强的专业知识,且对地物的类别属性要求过高,因而难以推广到大范围的实际应用。近年来,深度学习技术的快速发展,极大的推动了基于卷积神经网络的遥感影像变化检测技术。当前基于卷积神经网络的遥感影像变化检测技术主要采取将计算机视觉领域的网络迁移到遥感领域的方式来实现。然而,区别于计算机视觉中所使用的自然影像,遥感影像具有地物尺度变化大,季节变化明显等特点。此外,相较于简单的自然场景,复杂的遥感地物特征更加难以提取。因而,直接微调计算机视觉领域的网络进行遥感影像像素级变化检测,难以取得足够好的精度。这表明更适合遥感影像的像素级变化检测网络亟待提出。
发明内容
本发明提出一种基于跨层连接卷积神经网络的遥感影像变化检测方法,用以解决精确的遥感影像像素级变化检测问题。
本发明所使用的技术方案是:一种基于跨层连接卷积神经网络的遥感影像变化检测方法,其特征在于,包括以下步骤:
步骤1:将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像,根据图像处理后遥感影像通过人工标注得到二值图像,通过图像处理后两个时期遥感影像、二值图像构建训练集;
步骤2:通过不同层级的特征图构建跨层连接模块;
步骤3:通过两个跨层连接模块构建跨层卷积神经网络模型,通过训练集训练跨层卷积神经网络模型,得到训练后跨层卷积神经网络模型;
步骤4:通过训练后卷积神经网络模型对图像处理后的两时相遥感影像进行变化检测,得到变化检测二值图;
作为优选,步骤1所述两个时期获取的遥感影像以及二值图像的影像尺寸、地面分辨率和地理覆盖范围均完全一致;
所述图像处理后第t组两时期遥感影像定义为:I1,t、I2,t;
步骤1中所述训练集为:
作为优选,步骤2中所述通过不同层级的特征图构建跨层连接模块为:
步骤2.1:定义跨层连接模块的输入为特征图L0;
其中,下标0表明该层为跨层连接模块的层编号,定义L0的大小为I,模块中所用各卷积核的大小为k,边缘填充的像素数为p,所涉及的跨层连接模块具有左右两个卷积分支,在进行卷积操作时所用的卷积步长分别为sl,sr,要求左右分支的卷积步长sl,sr的大小之间具有以下约束:
其中,N*表示正整数集。
步骤2.3:根据sl的不同取值,决定是否进行最大化池化操作;
当sl>1时,跳过此步骤;
按照上述流程,步骤2中所述跨层连接模块可定义为:
其中,下标m表示跨层连接模块Ψ可以在网络中进行多次使用,Lm,0表示第m个跨层连接模块Ψ的输入特征图,表示第m个跨层连接模块的输入Lm,0经由左分支,以sl为卷积步长进行卷积操作后得到的特征图;表示第m个跨层连接模块的输入Lm,0经由右分支,以sr为卷积步长进行卷积操作后得到的特征图;分别表示分别以sl,sr作为卷积步长,重复Lm,0操作所得到的特征图结果,表示第m个跨层连接模块的和经由级联操作后得到的结果,在多个跨层连接模块Ψ嵌入到卷积神经网络中时,Ψm的级联输出将作为Ψm+1的输入Lm+1,0;
作为优选,步骤3中所述跨层卷积神经网络模型为:
Φ={Θ,K,Γ}
其中,Θ表示卷积层的参数,K表示卷积层的输出特征图,Γ表示所用的分类器。
步骤3中所述通过两个跨层连接模块构建跨层卷积神经网络模型,具体为:
训练过程中,Φ的卷积层输出的特征图为Kc,c表示特征图通道数;
对Kc进行维度变换,得到单通道向量K1,然后利用分类器Γ{K1,2}对特征向量K1进行二分类,得到最终的变化检测结果结果,即图像C;
进一步地,利用两个跨层连接模块,经由所述训练集训练跨层卷积神经网络模型过程包含以下子步骤:
步骤3.1:将{(I1t,I2t,Ct*)|t=1,2,...T}作为跨层卷积神经网络模型的输入,通过以影像为输入构造第一个跨层连接模块,得到左分支特征提取结果为L1_left以及特征级联结果为L2_concat。
步骤3.2:根据L1_left的右分支输出特征图即L3_left以及L2_concat的左分支输出特征图即L3_right,通过级联方式构建跨层特征级联特征图L3_concat。
步骤3.3:将L2_concat作为输入,构建第二个跨层连接模块,得到特征级联结果为L4_concat;
步骤3.4:L4_concat通过特征变换操作,并与L3_concat进行特征级联,得到特征级联结果为L4_concat2;
步骤3.5:以{L4_concat2,L3_concat}作为输入,对L4_concat2进行反卷积操作,并与L3_concat进行级联,得到L3_deconv;
分别以{L3_deconv,L2_concat},{L2_deconv,L1_left}作为输入,重复步骤3.5,得到L2_deconv,L1_deconv;
对L1_deconv进行反卷积,得到卷积层的特征图Kc(u,v);
其中,c表示特征图的通道数,(u,v)表示图像的行列数;
步骤3.6:对Kc进行维度变换,得到K1,其中1表示得到的结果为单通道向量;
在卷积层之后添加分类器Γ={K1,2}。Γ对输入特征向量K1进行二分类;分类器Γ可定义为:
其中,fi为卷积层的输出向量,exp()为求对数函数,F(fi)为分类的结果输出,作为二分类任务,F(fi)的输出范围为[0,1],表示像素(u,v)变化的概率。对所有像素的变化概率结果进行二值化,即可得到变化检测的结果图C;
最后以输出结果C和真值C*之间的相似程度计算损失函数,利用后向传播更新全部网络学习参数Φ={Θ,K,Γ}。步骤3中所述训练过程中采用的损失函数可以定义为:
E=Ebce+λEdc
其中,λ为权重控制参数,用以调控Ebce与Edc之间的比例,Ebce为二分类交叉熵损失函数,Edc为Dice系数损失函数;
Ebce定义为:
其中,N为影像I1的像素总数,yn=1表示影像中变化的像素数,yn=0表示未变化的像素数,pn表示像素n变化的概率p,p的取值范围为[0,1];
Edc定义为:
上述训练过程需要迭代进行,通过不断更新网络参数来降低损失函数,提升网络性能,直到满足迭代停止条件。作为优选,此处设定的迭代终止条件为全部训练数据经由χ轮迭代循环。
步骤3中所述得到训练后跨层卷积神经网络模型为:
Φ*={Θ*,K*,Γ*}
其中,Θ*,K*,Γ*表示经由网络训练后得到的最优网络参数,Φ*表示最终所得到的最优网络结果,该结果将对待变化检测数据进行变化检测处理,得到变化检测的结果。
与现有技术相比,本发明的优点和有益效果:本发明提出的跨层连接模块,利用带有不同卷积步长的左右分支,有效的实现了多尺度信息的提取。同时,对两分支中同尺度大小的特征图进行级联,使本发明得以实现不同层次特征的融合基于跨层连接模块,本发明构建的卷积神经网络具备更好的特征提取能力,且能有效应对遥感影像中地物尺度的变化,故而更加适合于光学卫星影像的变化检测
附图说明
图1:本发明设计的跨层连接概要图;
图2:本发明实施变化检测案例所示的跨层连接模块图;
图3:本发明所设计的网络结构,该网络结构经过模型训练步骤得到变化检测模型;
图4:一些测试数据的变化检测实例图;
图5:本发明方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
图1、图2为跨层连接模块图,图3为网络结构图,下面结合图1至图5介绍本发明的具体实施方式,包括以下步骤:
步骤1:将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像,根据图像处理后遥感影像通过人工标注得到二值图像,通过图像处理后两个时期遥感影像、二值图像构建训练集;
所述两个时期获取的遥感影像以及二值图像的影像尺寸、地面分辨率和地理覆盖范围均完全一致;
所述图像处理后第t组两时期遥感影像定义为:I1,t、I2,t;
步骤1中所述训练集为:
步骤2:为进行两时期遥感图像的变化检测,本发明构造了卷积神经网络Φ,并在Φ中采用了两个跨层连接模块Ψ1和Ψ2,跨层连接模块的概念图如图1所示。跨层连接模块Ψ1和Ψ2的构建过程如下:
步骤2.1:首先由参与变化检测的两时期遥感影像I1,t与I2,t叠合得到一幅尺寸大小为{256像素x256像素},通道数为6的叠合遥感影像L0,并将其作为跨层连接模块Ψ1的输入特征图L1,0构建跨层连接模块Ψ1。根据训练集图像大小,所得特征图L1,0的尺寸大小为{256像素x256像素},通道数为6。
步骤2.2:作为优选,Ψ1中左右分支卷积操作均由两个大小为{3x3}的卷积核构成的卷积块实现,边缘填充的像素数为1个像素。作为优选,Ψ1中所用的卷积步长sl与sr分别设置为1和2。根据跨层连接模块定义,由于sl=1且sr=2sl,需要进行池化操作,且池化操作的大小为2。
步骤2.3:根据步骤2.2中设置,Ψ1第一轮卷积操作后得到的左分支特征图的尺寸大小为1/2L1,0,即{128像素x128像素};右分支特征图的大小为1/4L1,0,即{64像素x64像素}。以作为输入特征图进行第二轮卷积操作,得到特征图与其中,的大小为即{64像素x64像素};的大小为即{32像素x32像素}。
步骤2.5:以Ψ1中得到的特征图L1,2_cat作为输入构造跨层连接模块Ψ2。作为优选,Ψ2中左右分支卷积操作均由两个大小为{3x3}的卷积核构成的卷积块实现,边缘填充的像素数为1个像素。作为优选,Ψ2中所用的卷积步长sl与sr分别设置为1和2。根据跨层连接模块定义,由于sl=1且sr=2sl,需要进行池化操作,且池化操作的大小为2。
步骤2.6:根据步骤2.5中设置,Ψ2第一轮卷积操作后得到的左分支特征图的尺寸大小为1/2L1,2_cat,即{32像素x32像素};右分支特征图的大小为1/4L1,2_cat,即{16像素x16像素}。作为优选,以作为输入特征图时只进行左分支卷积操作,不进行右分支卷积操作。由此,只会得到第二轮卷积操作的左分支输出特征图其大小为即{16像素x16像素}。
步骤3:将步骤2中的跨层连接模块Ψ1与Ψ2嵌入到跨层卷积神经网络模型Φ中,并利用训练集{(I1,t,I2,t,C*)t|t=1,2,...T}训练跨层卷积神经网络模型Φ,得到训练后跨层卷积神经网络模型Φ*。
步骤3中所述待训练的跨层卷积神经网络模型为:
Φ={Θ,K,Γ}
其中,Θ表示卷积层的参数,K表示卷积层的输出特征图,Γ表示所用的分类器。
网络模型Φ如图3所示,其搭建过程包含以下子步骤:
步骤3.1:训练集{(I1,t,I2,t,C*)t|t=1,2,...T}中图像I1,t与I2,t的大小均为{256像素x256像素},通道数均为3。将I1,t与I2,t叠合得到尺寸大小为{256像素x256像素},通道数为6的叠合图像L0作为模型Φ的输入,。
步骤3.2:以L0为输入构建跨层连接模块Ψ1,并将其嵌入到网络Φ中。Ψ1经由第一轮卷积操作得到输出特征图经由第二轮卷积操作得到输出特征图为便于网络描述,在网络Φ中,分别被命名为L1_left,L2_right,L2_left,L3_left。与通过级联操作得到的特征图被命名为L2_concat。
根据给定的数据集图像大小,网络Φ中的特征图L1_left的尺寸为{128像素x128像素},通道数为24;L2_right的尺寸为{64像素x64像素},通道数为24;L2_left的尺寸为{64像素x64像素},通道数为48;L3_left的尺寸为{32像素x32像素},通道数为48。L2_left与L2_right级联操作得到的特征图L2_concat的尺寸为{64像素x64像素},通道数为72。
步骤3.3:以L2_concat作为输入构建跨层连接模块Ψ2。Ψ2经第一轮卷积操作得到的左分支输出图为为便于网络描述,在网络Φ中,被重命名为L3_right。L3_right的尺寸为{32像素x32像素},通道数为144。L3_left与L3_right通过级联操作得到的特征图L3_concat的尺寸为{32像素x32像素},通道数为192。
步骤3.4:Ψ2经第一轮卷积操作得到的右分支输出图为经第二轮卷积操作得到的右分支输出图为在网络Φ中分别被重命名为L4_right,L4_left。其中,L4_left的尺寸为{16像素x16像素},通道数为288。L4_right的尺寸为{16像素x16像素},通道数为144。L4_left与L4_right通过级联操作得到的特征图L4_concat的尺寸为{16像素x16像素},通道数为432。
步骤3.5:L4_concat通过特征变换操作,并与L3_concat进行特征级联,得到L4_concat2。L4_concat2的尺寸为{16像素x16像素},通道数为432。以{L4_concat2,L3_concat}作为输入,对L4_concat2进行反卷积操作,并与L3_concat进行级联,得到L3_deconv。L3_deconv的尺寸为{32像素x32像素},通道数为144。
步骤3.6:分别以{L3_deconv,L2_concat},{L2_deconv,L1_left}作为输入,重复步骤3.5,得到L1_deconv。L1_deconv的尺寸为{128像素x128像素},通道数为24。
步骤3.7:对L1_deconv进行反卷积,得到网络Φ的卷积层输出特征图Kc(u,v),其中c表示特征图的通道数,为24;(u,v)为(256,256),表示图像的行列数。
步骤3.8:对Kc(u,v)进行维度变换,得到单通道向量K1(u,v),然后利用分类器Γ{K1,2}对特征向量K1(u,v)进行二分类,得到最终的变化检测结果结果,即图像C。作为优选,分类器Γ可定义为:
其中,fi为卷积层的输出向量,exp()为求对数函数,F(fi)为分类的结果输出。作为二分类任务,F(fi)的输出范围为[0,1],表示像素(u,v)变化的概率。对所有像素的变化概率结果进行二值化,即可得到变化检测的结果图C。
最后以输出结果C和真值C*之间的相似程度计算损失函数,利用后向传播更新全部网络学习参数Φ={Θ,K,Γ}.作为优选,模型训练采用的损失函数由二分类交叉熵损失函数Ebce与Dice系数损失函数Edc组合而成,其中Ebce与Edc可以分别定义为:
其中,N为影像I1的像素总数。yn=1表示影像中变化的像素数。yn=0表示未变化的像素数。pn表示变化的概率。
模型训练过程中采用的损失函数可以定义为:
E=Ebce+λEdc
其中,λ为权重控制参数,用以调控Ebce与Edc之间的比例,设置为0.5。
上述训练过程需要迭代进行,通过不断更新网络参数来降低损失函数,提升网络性能,直到满足迭代停止条件。作为优选,迭代停止条件为所有训练数据经过30轮训练。由此得到最优的训练模型
Φ*={Θ*,K*,Γ*}
其中,Θ*,K*,Γ*表示经由网络训练后得到的最优网络参数,Φ*表示最终所得到的最优网络结果。
步骤4:固定训练后卷积神经网络模型Φ*,对图像处理后的两时相遥感影像进行变化检测,即可得到其对应尺寸的变化检测二值图C。图4为本发明方法得到的变化检测实例。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.一种基于跨层连接卷积神经网络的遥感影像变化检测方法,其特征在于,包括以下步骤:
步骤1:将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像,根据图像处理后遥感影像通过人工标注得到二值图像,通过图像处理后两个时期遥感影像、二值图像构建训练集;
步骤2:通过不同层级的特征图构建跨层连接模块;
步骤3:通过两个跨层连接模块构建跨层卷积神经网络模型,通过训练集训练跨层卷积神经网络模型,得到训练后跨层卷积神经网络模型;
步骤4:通过训练后卷积神经网络模型对图像处理后的两时相遥感影像进行变化检测,得到变化检测二值图。
3.根据权利要求1所述的基于跨层连接卷积神经网络的遥感影像变化检测方法,其特征在于:
步骤2中所述通过不同层级的特征图构建跨层连接模块为:
步骤2.1:定义跨层连接模块的输入为特征图L0;
其中,下标0表明该层为跨层连接模块的层编号,定义L0的大小为I,模块中所用各卷积核的大小为k,边缘填充的像素数为p,所涉及的跨层连接模块具有左右两个卷积分支,在进行卷积操作时所用的卷积步长分别为sl,sr,要求左右分支的卷积步长sl,sr的大小之间具有以下约束:
其中,N*表示正整数集;
步骤2.3:根据sl的不同取值,决定是否进行最大化池化操作;
当sl>1时,跳过此步骤;
按照上述流程,步骤2中所述跨层连接模块可定义为:
4.根据权利要求1所述的基于跨层连接卷积神经网络的遥感影像变化检测方法,其特征在于:
步骤3中所述跨层卷积神经网络模型为:
Φ={Θ,K,Γ}
其中,Θ表示卷积层的参数,K表示卷积层的输出特征图,Γ表示所用的分类器;
步骤3中所述通过两个跨层连接模块构建跨层卷积神经网络模型,具体为:
训练过程中,Φ的卷积层输出的特征图为Kc,c表示特征图通道数;
对Kc进行维度变换,得到单通道向量K1,然后利用分类器Γ{K1,2}对特征向量K1进行二分类,得到最终的变化检测结果结果,即图像C;
进一步地,利用两个跨层连接模块,经由所述训练集训练跨层卷积神经网络模型过程包含以下子步骤:
步骤3.1:将{(I1t,I2t,Ct*)|t=1,2,...T}作为跨层卷积神经网络模型的输入,通过以影像为输入构造第一个跨层连接模块,得到左分支特征提取结果为L1_left以及特征级联结果为L2_concat;
步骤3.2:根据L1_left的右分支输出特征图即L3_left以及L2_concat的左分支输出特征图即L3_right,通过级联方式构建跨层特征级联特征图L3_concat;
步骤3.3:将L2_concat作为输入,构建第二个跨层连接模块,得到特征级联结果为L4_concat;
步骤3.4:L4_concat通过特征变换操作,并与L3_concat进行特征级联,得到特征级联结果为L4_concat2;
步骤3.5:以{L4_concat2,L3_concat}作为输入,对L4_concat2进行反卷积操作,并与L3_concat进行级联,得到L3_deconv;
分别以{L3_deconv,L2_concat},{L2_deconv,L1_left}作为输入,重复步骤3.5,得到L2_deconv,L1_deconv;
对L1_deconv进行反卷积,得到卷积层的特征图Kc(u,v);
其中,c表示特征图的通道数,(u,v)表示图像的行列数;
步骤3.6:对Kc进行维度变换,得到K1,其中1表示得到的结果为单通道向量;
在卷积层之后添加分类器;对输入特征向量K1进行二分类;分类器Γ可定义为:
其中,fi为卷积层的输出向量,exp()为求对数函数,F(fi)为分类的结果输出,作为二分类任务,F(fi)的输出范围为[0,1],表示像素(u,v)变化的概率;对所有像素的变化概率结果进行二值化,即可得到变化检测的结果图C;最后以输出结果C和真值C*之间的相似程度计算损失函数,利用后向传播更新全部网络学习参数Φ={Θ,K,Γ};步骤3中所述训练过程中采用的损失函数可以定义为:
E=Ebce+λEdc
其中,λ为权重控制参数,用以调控Ebce与Edc之间的比例,Ebce为二分类交叉熵损失函数,Edc为Dice系数损失函数;
Ebce定义为:
其中,N为影像I1的像素总数,yn=1表示影像中变化的像素数,yn=0表示未变化的像素数,pn表示像素n变化的概率P,P的取值范围为[0,1];
Edc定义为:
上述训练过程需要迭代进行,通过不断更新网络参数来降低损失函数,提升网络性能,直到满足迭代停止条件;作为优选,此处设定的迭代终止条件为全部训练数据经由χ轮迭代循环;
步骤3中所述得到训练后跨层卷积神经网络模型为:
Φ*={Θ*,K*,Γ*}
其中,Θ*,K*,Γ*表示经由网络训练后得到的最优网络参数,Φ*表示最终所得到的最优网络结果,该结果将对待变化检测数据进行变化检测处理,得到变化检测的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010096703.4A CN111325134B (zh) | 2020-02-17 | 2020-02-17 | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010096703.4A CN111325134B (zh) | 2020-02-17 | 2020-02-17 | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325134A true CN111325134A (zh) | 2020-06-23 |
CN111325134B CN111325134B (zh) | 2023-04-07 |
Family
ID=71172709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010096703.4A Active CN111325134B (zh) | 2020-02-17 | 2020-02-17 | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325134B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815627A (zh) * | 2020-08-24 | 2020-10-23 | 成都睿沿科技有限公司 | 遥感图像变化检测方法、模型训练方法及对应装置 |
CN112288690A (zh) * | 2020-10-14 | 2021-01-29 | 武汉大学 | 一种融合多尺度多层级特征的卫星影像密集匹配方法 |
CN116894100A (zh) * | 2023-07-24 | 2023-10-17 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573276A (zh) * | 2018-03-12 | 2018-09-25 | 浙江大学 | 一种基于高分辨率遥感影像的变化检测方法 |
CN109409263A (zh) * | 2018-10-12 | 2019-03-01 | 武汉大学 | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 |
US20190213412A1 (en) * | 2015-08-31 | 2019-07-11 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
-
2020
- 2020-02-17 CN CN202010096703.4A patent/CN111325134B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190213412A1 (en) * | 2015-08-31 | 2019-07-11 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
CN108573276A (zh) * | 2018-03-12 | 2018-09-25 | 浙江大学 | 一种基于高分辨率遥感影像的变化检测方法 |
CN109409263A (zh) * | 2018-10-12 | 2019-03-01 | 武汉大学 | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 |
CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
Non-Patent Citations (2)
Title |
---|
PUZHAO ZHANG: "Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images", 《ELSEVIER.SCIENCEDIRECT》 * |
王朵: "基于全卷积神经网络的遥感图像语义分割及变化检测方法研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815627A (zh) * | 2020-08-24 | 2020-10-23 | 成都睿沿科技有限公司 | 遥感图像变化检测方法、模型训练方法及对应装置 |
CN112288690A (zh) * | 2020-10-14 | 2021-01-29 | 武汉大学 | 一种融合多尺度多层级特征的卫星影像密集匹配方法 |
CN112288690B (zh) * | 2020-10-14 | 2023-08-18 | 武汉大学 | 一种融合多尺度多层级特征的卫星影像密集匹配方法 |
CN116894100A (zh) * | 2023-07-24 | 2023-10-17 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
CN116894100B (zh) * | 2023-07-24 | 2024-04-09 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111325134B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111695467B (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
CN111325134B (zh) | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 | |
US20190294970A1 (en) | Systems and methods for polygon object annotation and a method of training an object annotation system | |
CN105138973B (zh) | 人脸认证的方法和装置 | |
CN112861722B (zh) | 一种半监督深度图卷积的遥感土地利用语义分割方法 | |
CN110660038A (zh) | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 | |
CN112862774B (zh) | 一种遥感影像建筑物精确分割方法 | |
CN112288750B (zh) | 一种基于深度学习网络的机械装配体图像分割方法和设备 | |
CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN110245683B (zh) | 一种少样本目标识别的残差关系网络构建方法及应用 | |
CN110826458A (zh) | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN116524369B (zh) | 遥感影像分割模型构建方法、装置及遥感影像解译方法 | |
CN111626267B (zh) | 一种利用空洞卷积的高光谱遥感图像分类方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN112036249B (zh) | 端对端行人检测及属性识别的方法、系统、介质及终端 | |
CN112699838B (zh) | 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法 | |
CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
CN110689065A (zh) | 一种基于扁平混合卷积神经网络的高光谱图像分类方法 | |
CN115457311A (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
CN113208641B (zh) | 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法 | |
CN113705538A (zh) | 基于深度学习的高分遥感影像道路变化检测装置及方法 | |
Wang et al. | Local tangent space alignment via nuclear norm regularization for incomplete data | |
CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |