CN111325134A - 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 - Google Patents

一种基于跨层连接卷积神经网络的遥感影像变化检测方法 Download PDF

Info

Publication number
CN111325134A
CN111325134A CN202010096703.4A CN202010096703A CN111325134A CN 111325134 A CN111325134 A CN 111325134A CN 202010096703 A CN202010096703 A CN 202010096703A CN 111325134 A CN111325134 A CN 111325134A
Authority
CN
China
Prior art keywords
cross
layer
layer connection
remote sensing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010096703.4A
Other languages
English (en)
Other versions
CN111325134B (zh
Inventor
张永军
郑志
万一
刘欣怡
项思喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010096703.4A priority Critical patent/CN111325134B/zh
Publication of CN111325134A publication Critical patent/CN111325134A/zh
Application granted granted Critical
Publication of CN111325134B publication Critical patent/CN111325134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于跨层连接卷积神经网络的遥感影像变化检测方法，属于遥感影像处理方法。本发明包含一种新的卷积神经网络，该网络设计了一种基于跨层连接模块的卷积神经网络模块，该模块利用左右分支充分挖掘遥感影像中的多尺度信息，并通过跨层连接融合多层级特征，实现遥感影像中的影像信息的有效提取。本方法对输入的两张同样尺寸、分辨率、地理覆盖范围的遥感图像，经由该卷积神经网络进行运算，可得到同一尺寸的变化检测结果图。本发明中的卷积神经网络可以获得极佳的遥感影像变化检测精度。

Description

一种基于跨层连接卷积神经网络的遥感影像变化检测方法
技术领域
本发明属于遥感影像处理方法，具体涉及一种基于跨层连接卷积神经网络的遥感影像变化检测方法。
技术背景
早期的遥感影像变化检测方法，为取得较好的变化检测精度，高度依赖于复杂的特征设计。这种复杂的特征设计需要极强的专业知识，且对地物的类别属性要求过高，因而难以推广到大范围的实际应用。近年来，深度学习技术的快速发展，极大的推动了基于卷积神经网络的遥感影像变化检测技术。当前基于卷积神经网络的遥感影像变化检测技术主要采取将计算机视觉领域的网络迁移到遥感领域的方式来实现。然而，区别于计算机视觉中所使用的自然影像，遥感影像具有地物尺度变化大，季节变化明显等特点。此外，相较于简单的自然场景，复杂的遥感地物特征更加难以提取。因而，直接微调计算机视觉领域的网络进行遥感影像像素级变化检测，难以取得足够好的精度。这表明更适合遥感影像的像素级变化检测网络亟待提出。
发明内容
本发明提出一种基于跨层连接卷积神经网络的遥感影像变化检测方法，用以解决精确的遥感影像像素级变化检测问题。
本发明所使用的技术方案是：一种基于跨层连接卷积神经网络的遥感影像变化检测方法，其特征在于，包括以下步骤：
步骤1：将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像，根据图像处理后遥感影像通过人工标注得到二值图像，通过图像处理后两个时期遥感影像、二值图像构建训练集；
步骤2：通过不同层级的特征图构建跨层连接模块；
步骤3：通过两个跨层连接模块构建跨层卷积神经网络模型，通过训练集训练跨层卷积神经网络模型，得到训练后跨层卷积神经网络模型；
步骤4：通过训练后卷积神经网络模型对图像处理后的两时相遥感影像进行变化检测，得到变化检测二值图；
作为优选，步骤1所述两个时期获取的遥感影像以及二值图像的影像尺寸、地面分辨率和地理覆盖范围均完全一致；
所述图像处理后第t组两时期遥感影像定义为：I1，t、I2，t；
二值图像
Figure BDA0002385572240000021
中第u列第v行的像素值C*(u，v)＝0说明第t组两时期遥感图像I1，t和I2，t在该位置没有发生变化，C*(u，v)＝1说明第t组两时期遥感图像I1，t和I2，t在该位置发生了变化；
步骤1中所述训练集为：
Figure BDA0002385572240000022
其中，
Figure BDA0002385572240000023
为人工标注的第t组两时期遥感图像的变化检测结果，即真值；
作为优选，步骤2中所述通过不同层级的特征图构建跨层连接模块为：
步骤2.1：定义跨层连接模块的输入为特征图L0；
其中，下标0表明该层为跨层连接模块的层编号，定义L0的大小为I，模块中所用各卷积核的大小为k，边缘填充的像素数为p，所涉及的跨层连接模块具有左右两个卷积分支，在进行卷积操作时所用的卷积步长分别为sl，sr，要求左右分支的卷积步长sl，sr的大小之间具有以下约束：
Figure BDA0002385572240000024
其中，N*表示正整数集。
步骤2.2：根据上述定义，可由下述计算L0经由第一轮左分支卷积操作后得到的左分支特征图
Figure BDA0002385572240000025
Figure BDA0002385572240000026
其中，
Figure BDA0002385572240000027
下标sl表明
Figure BDA0002385572240000028
为输入特征图L0以sl为卷积步长，经左分支卷积操作后得到的特征图，下标1表明该特征图在跨层连接模块中的层编号为1，上标0则表示该特征图来源于跨层连接模块中层编号为0的特征图；
可由下述公式计算L0经由第一轮右分支卷积操作得到的右分支特征图
Figure BDA0002385572240000029
Figure BDA00023855722400000210
其中，
Figure BDA00023855722400000211
的下标sr表明
Figure BDA00023855722400000212
为输入特征图L0以sr为卷积步长，经右分支卷积操作后得到的特征图，下标2表明该特征图在跨层连接模块中的层编号为2，上标0则表示该特征图来源于层编号为0的特征图；
Figure BDA0002385572240000031
与
Figure BDA0002385572240000032
满足以下关系：
当sl＝1时，所得特征图
Figure BDA0002385572240000033
具有与输入特征图L0同等尺寸大小，即为I。根据sl与sr之间的约束关系，此时获得的
Figure BDA0002385572240000034
的尺寸为
Figure BDA0002385572240000035
当sl＞1时，所得特征图
Figure BDA0002385572240000036
的尺寸大小为
Figure BDA0002385572240000037
根据sl与sr之间的约束关系，此时获得的
Figure BDA0002385572240000038
的尺寸为
Figure BDA0002385572240000039
步骤2.3：根据sl的不同取值，决定是否进行最大化池化操作；
当sl＝1时，对步骤2.2中获得的特征图
Figure BDA00023855722400000310
与
Figure BDA00023855722400000311
进行以α为池化尺寸的最大化池化操作。经由池化操作后的
Figure BDA00023855722400000315
的尺寸大小为
Figure BDA00023855722400000312
Figure BDA00023855722400000313
的尺寸大小为
Figure BDA00023855722400000314
当sl＞1时，跳过此步骤；
步骤2.4：对上述步骤获得的左分支特征图
Figure BDA00023855722400000316
重复步骤2.2-2.3操作，得到以
Figure BDA00023855722400000317
作为输入，sl为卷步长的左分支特征图
Figure BDA00023855722400000318
以及以
Figure BDA00023855722400000319
作为输入，sr为卷步长的右分支特征图
Figure BDA00023855722400000320
其中，
Figure BDA00023855722400000321
与
Figure BDA00023855722400000322
中的下标2和3分别表示该特征层位于该跨层连接模块中的层编号，上标中的1则表示该特征层来源于层编号为1的特征层；
根据步骤2.1-2.3的尺寸约束，此时获取的
Figure BDA00023855722400000323
与
Figure BDA00023855722400000324
具有以下尺寸大小：
当sl＝1时，
Figure BDA00023855722400000325
经由左分支得到的特征图
Figure BDA00023855722400000326
的大小为
Figure BDA00023855722400000327
经由右分支得到的特征图
Figure BDA00023855722400000328
的大小为
Figure BDA00023855722400000329
当sl＞1时，
Figure BDA00023855722400000330
经由左分支得到的特征图
Figure BDA00023855722400000331
的大小为
Figure BDA00023855722400000332
经由右分支得到的特征图
Figure BDA00023855722400000333
的大小为
Figure BDA00023855722400000334
步骤2.5：经由步骤2.2-2.4，
Figure BDA00023855722400000335
与
Figure BDA00023855722400000336
具有相同尺寸；
在此步骤，通过级联操作对
Figure BDA00023855722400000337
与
Figure BDA00023855722400000338
进行连接，可以得到级联后的特征图L2_conc；由于
Figure BDA00023855722400000340
与
Figure BDA00023855722400000341
分别来自于层编号为1的特征图
Figure BDA00023855722400000339
与层编号为0的特征图L0，从而可实现特征图的跨层连接；
按照上述流程，步骤2中所述跨层连接模块可定义为：
Figure BDA0002385572240000041
其中，下标m表示跨层连接模块Ψ可以在网络中进行多次使用，Lm，0表示第m个跨层连接模块Ψ的输入特征图，
Figure BDA0002385572240000042
表示第m个跨层连接模块的输入Lm，0经由左分支，以sl为卷积步长进行卷积操作后得到的特征图；
Figure BDA0002385572240000043
表示第m个跨层连接模块的输入Lm，0经由右分支，以sr为卷积步长进行卷积操作后得到的特征图；
Figure BDA0002385572240000044
分别表示
Figure BDA0002385572240000045
分别以sl，sr作为卷积步长，重复Lm，0操作所得到的特征图结果，
Figure BDA0002385572240000046
表示第m个跨层连接模块的
Figure BDA0002385572240000047
和
Figure BDA0002385572240000048
经由级联操作后得到的结果，在多个跨层连接模块Ψ嵌入到卷积神经网络中时，Ψm的级联输出
Figure BDA0002385572240000049
将作为Ψm+1的输入Lm+1，0；
作为优选，步骤3中所述跨层卷积神经网络模型为：
Φ＝{Θ，K，Γ}
其中，Θ表示卷积层的参数，K表示卷积层的输出特征图，Γ表示所用的分类器。
步骤3中所述通过两个跨层连接模块构建跨层卷积神经网络模型，具体为：
训练过程中，Φ的卷积层输出的特征图为Kc，c表示特征图通道数；
对Kc进行维度变换，得到单通道向量K1，然后利用分类器Γ{K1，2}对特征向量K1进行二分类，得到最终的变化检测结果结果，即图像C；
进一步地，利用两个跨层连接模块，经由所述训练集训练跨层卷积神经网络模型过程包含以下子步骤：
步骤3.1：将{(I1t，I2t，Ct*)|t＝1，2，...T}作为跨层卷积神经网络模型的输入，通过以影像为输入构造第一个跨层连接模块，得到左分支特征提取结果为L1_left以及特征级联结果为L2_concat。
步骤3.2：根据L1_left的右分支输出特征图即L3_left以及L2_concat的左分支输出特征图即L3_right，通过级联方式构建跨层特征级联特征图L3_concat。
步骤3.3：将L2_concat作为输入，构建第二个跨层连接模块，得到特征级联结果为L4_concat；
步骤3.4：L4_concat通过特征变换操作，并与L3_concat进行特征级联，得到特征级联结果为L4_concat2；
步骤3.5：以{L4_concat2，L3_concat}作为输入，对L4_concat2进行反卷积操作，并与L3_concat进行级联，得到L3_deconv；
分别以{L3_deconv，L2_concat}，{L2_deconv，L1_left}作为输入，重复步骤3.5，得到L2_deconv，L1_deconv；
对L1_deconv进行反卷积，得到卷积层的特征图Kc(u，v)；
其中，c表示特征图的通道数，(u，v)表示图像的行列数；
步骤3.6：对Kc进行维度变换，得到K1，其中1表示得到的结果为单通道向量；
在卷积层之后添加分类器Γ＝{K1，2}。Γ对输入特征向量K1进行二分类；分类器Γ可定义为：
Figure BDA0002385572240000051
其中，fi为卷积层的输出向量，exp()为求对数函数，F(fi)为分类的结果输出，作为二分类任务，F(fi)的输出范围为[0，1]，表示像素(u，v)变化的概率。对所有像素的变化概率结果进行二值化，即可得到变化检测的结果图C；
最后以输出结果C和真值C*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数Φ＝{Θ，K，Γ}。步骤3中所述训练过程中采用的损失函数可以定义为：
E＝Ebce+λEdc
其中，λ为权重控制参数，用以调控Ebce与Edc之间的比例，Ebce为二分类交叉熵损失函数，Edc为Dice系数损失函数；
Ebce定义为：
Figure BDA0002385572240000052
其中，N为影像I1的像素总数，yn＝1表示影像中变化的像素数，yn＝0表示未变化的像素数，pn表示像素n变化的概率p，p的取值范围为[0，1]；
Edc定义为：
Figure BDA0002385572240000061
其中，
Figure BDA0002385572240000062
表示给定的变化图真值，Cl表示预测的变化结果图；
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件。作为优选，此处设定的迭代终止条件为全部训练数据经由χ轮迭代循环。
步骤3中所述得到训练后跨层卷积神经网络模型为：
Φ*＝{Θ*，K*，Γ*}
其中，Θ*，K*，Γ*表示经由网络训练后得到的最优网络参数，Φ*表示最终所得到的最优网络结果，该结果将对待变化检测数据进行变化检测处理，得到变化检测的结果。
与现有技术相比，本发明的优点和有益效果：本发明提出的跨层连接模块，利用带有不同卷积步长的左右分支，有效的实现了多尺度信息的提取。同时，对两分支中同尺度大小的特征图进行级联，使本发明得以实现不同层次特征的融合基于跨层连接模块，本发明构建的卷积神经网络具备更好的特征提取能力，且能有效应对遥感影像中地物尺度的变化，故而更加适合于光学卫星影像的变化检测
附图说明
图1：本发明设计的跨层连接概要图；
图2：本发明实施变化检测案例所示的跨层连接模块图；
图3：本发明所设计的网络结构，该网络结构经过模型训练步骤得到变化检测模型；
图4：一些测试数据的变化检测实例图；
图5：本发明方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
图1、图2为跨层连接模块图，图3为网络结构图，下面结合图1至图5介绍本发明的具体实施方式，包括以下步骤：
步骤1：将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像，根据图像处理后遥感影像通过人工标注得到二值图像，通过图像处理后两个时期遥感影像、二值图像构建训练集；
所述两个时期获取的遥感影像以及二值图像的影像尺寸、地面分辨率和地理覆盖范围均完全一致；
所述图像处理后第t组两时期遥感影像定义为：I1，t、I2，t；
二值图像
Figure BDA0002385572240000072
中第u列第v行的像素值C*(u，v)＝0说明第t组两时期遥感图像I1，t和I2，t在该位置没有发生变化，C*(u，v)＝1说明第t组两时期遥感图像I1，t和I2，t在该位置发生了变化；
步骤1中所述训练集为：
Figure BDA0002385572240000071
其中，
Figure BDA0002385572240000073
为人工标注的第t组两时期遥感图像的变化检测结果，即真值；具体实施时，训练集图像I1，t与I2，t的尺寸大小设定为{256像素x256像素}，图像通道数均为3。
步骤2：为进行两时期遥感图像的变化检测，本发明构造了卷积神经网络Φ，并在Φ中采用了两个跨层连接模块Ψ1和Ψ2，跨层连接模块的概念图如图1所示。跨层连接模块Ψ1和Ψ2的构建过程如下：
步骤2.1：首先由参与变化检测的两时期遥感影像I1，t与I2，t叠合得到一幅尺寸大小为{256像素x256像素}，通道数为6的叠合遥感影像L0，并将其作为跨层连接模块Ψ1的输入特征图L1，0构建跨层连接模块Ψ1。根据训练集图像大小，所得特征图L1，0的尺寸大小为{256像素x256像素}，通道数为6。
步骤2.2：作为优选，Ψ1中左右分支卷积操作均由两个大小为{3x3}的卷积核构成的卷积块实现，边缘填充的像素数为1个像素。作为优选，Ψ1中所用的卷积步长sl与sr分别设置为1和2。根据跨层连接模块定义，由于sl＝1且sr＝2sl，需要进行池化操作，且池化操作的大小为2。
步骤2.3：根据步骤2.2中设置，Ψ1第一轮卷积操作后得到的左分支特征图
Figure BDA0002385572240000074
的尺寸大小为1/2L1，0，即{128像素x128像素}；右分支特征图
Figure BDA0002385572240000075
的大小为1/4L1，0，即{64像素x64像素}。以
Figure BDA0002385572240000081
作为输入特征图进行第二轮卷积操作，得到特征图
Figure BDA0002385572240000082
与
Figure BDA0002385572240000083
其中，
Figure BDA0002385572240000084
的大小为
Figure BDA0002385572240000085
即{64像素x64像素}；
Figure BDA0002385572240000086
的大小为
Figure BDA0002385572240000087
即{32像素x32像素}。
步骤2.4：
Figure BDA0002385572240000088
与
Figure BDA0002385572240000089
经由级联方式进行连接，得到L1，2_cat，实现跨层连接，其尺寸大小为{64像素x64像素}。由此，跨层连接模块Ψ1构造完成。其具体结构如图2所示。
步骤2.5：以Ψ1中得到的特征图L1，2_cat作为输入构造跨层连接模块Ψ2。作为优选，Ψ2中左右分支卷积操作均由两个大小为{3x3}的卷积核构成的卷积块实现，边缘填充的像素数为1个像素。作为优选，Ψ2中所用的卷积步长sl与sr分别设置为1和2。根据跨层连接模块定义，由于sl＝1且sr＝2sl，需要进行池化操作，且池化操作的大小为2。
步骤2.6：根据步骤2.5中设置，Ψ2第一轮卷积操作后得到的左分支特征图
Figure BDA00023855722400000811
的尺寸大小为1/2L1，2_cat，即{32像素x32像素}；右分支特征图
Figure BDA00023855722400000810
的大小为1/4L1，2_cat，即{16像素x16像素}。作为优选，以
Figure BDA00023855722400000812
作为输入特征图时只进行左分支卷积操作，不进行右分支卷积操作。由此，只会得到第二轮卷积操作的左分支输出特征图
Figure BDA00023855722400000813
其大小为
Figure BDA00023855722400000814
即{16像素x16像素}。
步骤2.7：
Figure BDA00023855722400000815
与
Figure BDA00023855722400000816
经由级联方式进行连接，得到L2，2_cat，实现跨层连接。由此，跨层连接模块Ψ2构造完成。
步骤3：将步骤2中的跨层连接模块Ψ1与Ψ2嵌入到跨层卷积神经网络模型Φ中，并利用训练集{(I1，t，I2，t，C*)t|t＝1，2，...T}训练跨层卷积神经网络模型Φ，得到训练后跨层卷积神经网络模型Φ*。
步骤3中所述待训练的跨层卷积神经网络模型为：
Φ＝{Θ，K，Γ}
其中，Θ表示卷积层的参数，K表示卷积层的输出特征图，Γ表示所用的分类器。
网络模型Φ如图3所示，其搭建过程包含以下子步骤：
步骤3.1：训练集{(I1，t，I2，t，C*)t|t＝1，2，...T}中图像I1，t与I2，t的大小均为{256像素x256像素}，通道数均为3。将I1，t与I2，t叠合得到尺寸大小为{256像素x256像素}，通道数为6的叠合图像L0作为模型Φ的输入，。
步骤3.2：以L0为输入构建跨层连接模块Ψ1，并将其嵌入到网络Φ中。Ψ1经由第一轮卷积操作得到输出特征图
Figure BDA0002385572240000091
经由第二轮卷积操作得到输出特征图
Figure BDA0002385572240000092
为便于网络描述，在网络Φ中，
Figure BDA0002385572240000093
分别被命名为L1_left，L2_right，L2_left，L3_left。
Figure BDA0002385572240000094
与
Figure BDA0002385572240000095
通过级联操作得到的特征图被命名为L2_concat。
根据给定的数据集图像大小，网络Φ中的特征图L1_left的尺寸为{128像素x128像素}，通道数为24；L2_right的尺寸为{64像素x64像素}，通道数为24；L2_left的尺寸为{64像素x64像素}，通道数为48；L3_left的尺寸为{32像素x32像素}，通道数为48。L2_left与L2_right级联操作得到的特征图L2_concat的尺寸为{64像素x64像素}，通道数为72。
步骤3.3：以L2_concat作为输入构建跨层连接模块Ψ2。Ψ2经第一轮卷积操作得到的左分支输出图为
Figure BDA0002385572240000096
为便于网络描述，在网络Φ中，
Figure BDA0002385572240000097
被重命名为L3_right。L3_right的尺寸为{32像素x32像素}，通道数为144。L3_left与L3_right通过级联操作得到的特征图L3_concat的尺寸为{32像素x32像素}，通道数为192。
步骤3.4：Ψ2经第一轮卷积操作得到的右分支输出图为
Figure BDA0002385572240000098
经第二轮卷积操作得到的右分支输出图为
Figure BDA0002385572240000099
在网络Φ中分别被重命名为L4_right，L4_left。其中，L4_left的尺寸为{16像素x16像素}，通道数为288。L4_right的尺寸为{16像素x16像素}，通道数为144。L4_left与L4_right通过级联操作得到的特征图L4_concat的尺寸为{16像素x16像素}，通道数为432。
步骤3.5：L4_concat通过特征变换操作，并与L3_concat进行特征级联，得到L4_concat2。L4_concat2的尺寸为{16像素x16像素}，通道数为432。以{L4_concat2，L3_concat}作为输入，对L4_concat2进行反卷积操作，并与L3_concat进行级联，得到L3_deconv。L3_deconv的尺寸为{32像素x32像素}，通道数为144。
步骤3.6：分别以{L3_deconv，L2_concat}，{L2_deconv，L1_left}作为输入，重复步骤3.5，得到L1_deconv。L1_deconv的尺寸为{128像素x128像素}，通道数为24。
步骤3.7：对L1_deconv进行反卷积，得到网络Φ的卷积层输出特征图Kc(u，v)，其中c表示特征图的通道数，为24；(u，v)为(256，256)，表示图像的行列数。
步骤3.8：对Kc(u，v)进行维度变换，得到单通道向量K1(u，v)，然后利用分类器Γ{K1，2}对特征向量K1(u，v)进行二分类，得到最终的变化检测结果结果，即图像C。作为优选，分类器Γ可定义为：
Figure BDA0002385572240000101
其中，fi为卷积层的输出向量，exp()为求对数函数，F(fi)为分类的结果输出。作为二分类任务，F(fi)的输出范围为[0，1]，表示像素(u，v)变化的概率。对所有像素的变化概率结果进行二值化，即可得到变化检测的结果图C。
最后以输出结果C和真值C*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数Φ＝{Θ，K，Γ}.作为优选，模型训练采用的损失函数由二分类交叉熵损失函数Ebce与Dice系数损失函数Edc组合而成，其中Ebce与Edc可以分别定义为：
Figure BDA0002385572240000102
其中，N为影像I1的像素总数。yn＝1表示影像中变化的像素数。yn＝0表示未变化的像素数。pn表示变化的概率。
Figure BDA0002385572240000103
其中，
Figure BDA0002385572240000104
表示给定的变化图真值，Ct表示预测的变化结果图；
模型训练过程中采用的损失函数可以定义为：
E＝Ebce+λEdc
其中，λ为权重控制参数，用以调控Ebce与Edc之间的比例，设置为0.5。
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件。作为优选，迭代停止条件为所有训练数据经过30轮训练。由此得到最优的训练模型
Φ*＝{Θ*，K*，Γ*}
其中，Θ*，K*，Γ*表示经由网络训练后得到的最优网络参数，Φ*表示最终所得到的最优网络结果。
步骤4：固定训练后卷积神经网络模型Φ*，对图像处理后的两时相遥感影像进行变化检测，即可得到其对应尺寸的变化检测二值图C。图4为本发明方法得到的变化检测实例。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于跨层连接卷积神经网络的遥感影像变化检测方法，其特征在于，包括以下步骤：
步骤1：将两个时期获取的遥感影像分别依次通过几何校正、重采样、裁切获得图像处理后两个时期遥感影像，根据图像处理后遥感影像通过人工标注得到二值图像，通过图像处理后两个时期遥感影像、二值图像构建训练集；
步骤2：通过不同层级的特征图构建跨层连接模块；
步骤3：通过两个跨层连接模块构建跨层卷积神经网络模型，通过训练集训练跨层卷积神经网络模型，得到训练后跨层卷积神经网络模型；
步骤4：通过训练后卷积神经网络模型对图像处理后的两时相遥感影像进行变化检测，得到变化检测二值图。
2.根据权利要求1所述的基于跨层连接卷积神经网络的遥感影像变化检测方法，其特征在于：
步骤1所述两个时期获取的遥感影像以及二值图像的影像尺寸、地面分辨率和地理覆盖范围均完全一致；
所述图像处理后第t组两时期遥感影像定义为：I1，t、I2，t；
二值图像
Figure FDA0002385572230000011
中第u列第v行的像素值C*(u，v)＝0说明第t组两时期遥感图像I1，t和I2，t在该位置没有发生变化，C*(u，v)＝1说明第t组两时期遥感图像I1，t和I2，t在该位置发生了变化；
步骤1中所述训练集为：
Figure FDA0002385572230000012
其中，
Figure FDA0002385572230000013
为人工标注的第t组两时期遥感图像的变化检测结果，即真值。
3.根据权利要求1所述的基于跨层连接卷积神经网络的遥感影像变化检测方法，其特征在于：
步骤2中所述通过不同层级的特征图构建跨层连接模块为：
步骤2.1：定义跨层连接模块的输入为特征图L0；
其中，下标0表明该层为跨层连接模块的层编号，定义L0的大小为I，模块中所用各卷积核的大小为k，边缘填充的像素数为p，所涉及的跨层连接模块具有左右两个卷积分支，在进行卷积操作时所用的卷积步长分别为sl，sr，要求左右分支的卷积步长sl，sr的大小之间具有以下约束：
Figure FDA0002385572230000021
其中，N*表示正整数集；
步骤2.2：根据上述定义，可由下述计算L0经由第一轮左分支卷积操作后得到的左分支特征图
Figure FDA0002385572230000022
Figure FDA0002385572230000023
其中，
Figure FDA0002385572230000024
下标sl表明
Figure FDA0002385572230000025
为输入特征图L0以sl为卷积步长，经左分支卷积操作后得到的特征图，下标1表明该特征图在跨层连接模块中的层编号为1，上标0则表示该特征图来源于跨层连接模块中层编号为0的特征图；
可由下述公式计算L0经由第一轮右分支卷积操作得到的右分支特征图
Figure FDA0002385572230000026
Figure FDA0002385572230000027
其中，
Figure FDA0002385572230000028
的下标sr表明
Figure FDA0002385572230000029
为输入特征图L0以sr为卷积步长，经右分支卷积操作后得到的特征图，下标2表明该特征图在跨层连接模块中的层编号为2，上标0则表示该特征图来源于层编号为0的特征图；
Figure FDA00023855722300000210
与
Figure FDA00023855722300000211
满足以下关系：
当sl＝1时，所得特征图
Figure FDA00023855722300000212
具有与输入特征图L0同等尺寸大小，即为I；根据sl与sr之间的约束关系，此时获得的
Figure FDA00023855722300000213
的尺寸为
Figure FDA00023855722300000214
当sl＞1时，所得特征图
Figure FDA00023855722300000215
的尺寸大小为
Figure FDA00023855722300000216
根据sl与sr之间的约束关系，此时获得的
Figure FDA00023855722300000217
的尺寸为
Figure FDA00023855722300000218
步骤2.3：根据sl的不同取值，决定是否进行最大化池化操作；
当sl＝1时，对步骤2.2中获得的特征图
Figure FDA00023855722300000219
与
Figure FDA00023855722300000220
进行以α为池化尺寸的最大化池化操作；经由池化操作后的
Figure FDA00023855722300000221
的尺寸大小为
Figure FDA00023855722300000222
Figure FDA00023855722300000223
的尺寸大小为
Figure FDA00023855722300000224
当sl＞1时，跳过此步骤；
步骤2.4：对上述步骤获得的左分支特征图
Figure FDA00023855722300000225
重复步骤2.2-2.3操作，得到以
Figure FDA00023855722300000226
作为输入，sl为卷步长的左分支特征图
Figure FDA00023855722300000227
以及以
Figure FDA00023855722300000228
作为输入，sr为卷步长的右分支特征图
Figure FDA0002385572230000031
其中，
Figure FDA0002385572230000032
与
Figure FDA0002385572230000033
中的下标2和3分别表示该特征层位于该跨层连接模块中的层编号，上标中的1则表示该特征层来源于层编号为1的特征层；
根据步骤2.1-2.3的尺寸约束，此时获取的
Figure FDA0002385572230000034
与
Figure FDA0002385572230000035
具有以下尺寸大小：
当sl＝1时，
Figure FDA0002385572230000036
经由左分支得到的特征图
Figure FDA0002385572230000037
的大小为
Figure FDA0002385572230000038
经由右分支得到的特征图
Figure FDA0002385572230000039
的大小为
Figure FDA00023855722300000310
当sl＞1时，
Figure FDA00023855722300000311
经由左分支得到的特征图
Figure FDA00023855722300000312
的大小为
Figure FDA00023855722300000313
经由右分支得到的特征图
Figure FDA00023855722300000314
的大小为
Figure FDA00023855722300000315
步骤2.5：经由步骤2.2-2.4，
Figure FDA00023855722300000316
与
Figure FDA00023855722300000317
具有相同尺寸；
在此步骤，通过级联操作对
Figure FDA00023855722300000318
与
Figure FDA00023855722300000319
进行连接，可以得到级联后的特征图L2_conc；由于
Figure FDA00023855722300000320
与
Figure FDA00023855722300000321
分别来自于层编号为1的特征图
Figure FDA00023855722300000322
与层编号为0的特征图L0，从而可实现特征图的跨层连接；
按照上述流程，步骤2中所述跨层连接模块可定义为：
Figure FDA00023855722300000323
其中，下标m表示跨层连接模块Ψ可以在网络中进行多次使用，Lm，0表示第m个跨层连接模块Ψ的输入特征图，
Figure FDA00023855722300000324
表示第m个跨层连接模块的输入Lm，0经由左分支，以sl为卷积步长进行卷积操作后得到的特征图；
Figure FDA00023855722300000325
表示第m个跨层连接模块的输入Lm，0经由右分支，以sr为卷积步长进行卷积操作后得到的特征图；
Figure FDA00023855722300000326
分别表示
Figure FDA00023855722300000327
分别以sl，sr作为卷积步长，重复Lm，0操作所得到的特征图结果，，
Figure FDA00023855722300000331
表示第m个跨层连接模块的
Figure FDA00023855722300000328
和
Figure FDA00023855722300000329
经由级联操作后得到的结果，在多个跨层连接模块Ψ嵌入到卷积神经网络中时，Ψm的级联输出
Figure FDA00023855722300000330
将作为Ψm+1的输入Lm+1，0。
4.根据权利要求1所述的基于跨层连接卷积神经网络的遥感影像变化检测方法，其特征在于：
步骤3中所述跨层卷积神经网络模型为：
Φ＝{Θ，K，Γ}
其中，Θ表示卷积层的参数，K表示卷积层的输出特征图，Γ表示所用的分类器；
步骤3中所述通过两个跨层连接模块构建跨层卷积神经网络模型，具体为：
训练过程中，Φ的卷积层输出的特征图为Kc，c表示特征图通道数；
对Kc进行维度变换，得到单通道向量K1，然后利用分类器Γ{K1，2}对特征向量K1进行二分类，得到最终的变化检测结果结果，即图像C；
进一步地，利用两个跨层连接模块，经由所述训练集训练跨层卷积神经网络模型过程包含以下子步骤：
步骤3.1：将{(I1t，I2t，Ct*)|t＝1，2，...T}作为跨层卷积神经网络模型的输入，通过以影像为输入构造第一个跨层连接模块，得到左分支特征提取结果为L1_left以及特征级联结果为L2_concat；
步骤3.2：根据L1_left的右分支输出特征图即L3_left以及L2_concat的左分支输出特征图即L3_right，通过级联方式构建跨层特征级联特征图L3_concat；
步骤3.3：将L2_concat作为输入，构建第二个跨层连接模块，得到特征级联结果为L4_concat；
步骤3.4：L4_concat通过特征变换操作，并与L3_concat进行特征级联，得到特征级联结果为L4_concat2；
步骤3.5：以{L4_concat2，L3_concat}作为输入，对L4_concat2进行反卷积操作，并与L3_concat进行级联，得到L3_deconv；
分别以{L3_deconv，L2_concat}，{L2_deconv，L1_left}作为输入，重复步骤3.5，得到L2_deconv，L1_deconv；
对L1_deconv进行反卷积，得到卷积层的特征图Kc(u，v)；
其中，c表示特征图的通道数，(u，v)表示图像的行列数；
步骤3.6：对Kc进行维度变换，得到K1，其中1表示得到的结果为单通道向量；
在卷积层之后添加分类器；对输入特征向量K1进行二分类；分类器Γ可定义为：
Figure FDA0002385572230000051
其中，fi为卷积层的输出向量，exp()为求对数函数，F(fi)为分类的结果输出，作为二分类任务，F(fi)的输出范围为[0，1]，表示像素(u，v)变化的概率；对所有像素的变化概率结果进行二值化，即可得到变化检测的结果图C；最后以输出结果C和真值C*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数Φ＝{Θ，K，Γ}；步骤3中所述训练过程中采用的损失函数可以定义为：
E＝Ebce+λEdc
其中，λ为权重控制参数，用以调控Ebce与Edc之间的比例，Ebce为二分类交叉熵损失函数，Edc为Dice系数损失函数；
Ebce定义为：
Figure FDA0002385572230000052
其中，N为影像I1的像素总数，yn＝1表示影像中变化的像素数，yn＝0表示未变化的像素数，pn表示像素n变化的概率P，P的取值范围为[0，1]；
Edc定义为：
Figure FDA0002385572230000053
其中，
Figure FDA0002385572230000054
表示给定的变化图真值，Ct表示预测的变化结果图；
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件；作为优选，此处设定的迭代终止条件为全部训练数据经由χ轮迭代循环；
步骤3中所述得到训练后跨层卷积神经网络模型为：
Φ*＝{Θ*，K*，Γ*}
其中，Θ*，K*，Γ*表示经由网络训练后得到的最优网络参数，Φ*表示最终所得到的最优网络结果，该结果将对待变化检测数据进行变化检测处理，得到变化检测的结果。
CN202010096703.4A 2020-02-17 2020-02-17 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 Active CN111325134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096703.4A CN111325134B (zh) 2020-02-17 2020-02-17 一种基于跨层连接卷积神经网络的遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096703.4A CN111325134B (zh) 2020-02-17 2020-02-17 一种基于跨层连接卷积神经网络的遥感影像变化检测方法

Publications (2)

Publication Number Publication Date
CN111325134A true CN111325134A (zh) 2020-06-23
CN111325134B CN111325134B (zh) 2023-04-07

Family

ID=71172709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096703.4A Active CN111325134B (zh) 2020-02-17 2020-02-17 一种基于跨层连接卷积神经网络的遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN111325134B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815627A (zh) * 2020-08-24 2020-10-23 成都睿沿科技有限公司 遥感图像变化检测方法、模型训练方法及对应装置
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN116894100A (zh) * 2023-07-24 2023-10-17 北京和德宇航技术有限公司 一种遥感影像的显示控制方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
US20190213412A1 (en) * 2015-08-31 2019-07-11 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213412A1 (en) * 2015-08-31 2019-07-11 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PUZHAO ZHANG: "Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images", 《ELSEVIER.SCIENCEDIRECT》 *
王朵: "基于全卷积神经网络的遥感图像语义分割及变化检测方法研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815627A (zh) * 2020-08-24 2020-10-23 成都睿沿科技有限公司 遥感图像变化检测方法、模型训练方法及对应装置
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112288690B (zh) * 2020-10-14 2023-08-18 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN116894100A (zh) * 2023-07-24 2023-10-17 北京和德宇航技术有限公司 一种遥感影像的显示控制方法、设备及存储介质
CN116894100B (zh) * 2023-07-24 2024-04-09 北京和德宇航技术有限公司 一种遥感影像的显示控制方法、设备及存储介质

Also Published As

Publication number Publication date
CN111325134B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN111325134B (zh) 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
US20190294970A1 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN105138973B (zh) 人脸认证的方法和装置
CN112861722B (zh) 一种半监督深度图卷积的遥感土地利用语义分割方法
CN110660038A (zh) 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN112288750B (zh) 一种基于深度学习网络的机械装配体图像分割方法和设备
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN110826458A (zh) 一种基于深度学习的多光谱遥感图像变化检测方法及系统
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN116524369B (zh) 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112036249B (zh) 端对端行人检测及属性识别的方法、系统、介质及终端
CN112699838B (zh) 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
CN115457311A (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN113208641B (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN113705538A (zh) 基于深度学习的高分遥感影像道路变化检测装置及方法
Wang et al. Local tangent space alignment via nuclear norm regularization for incomplete data
CN116883679B (zh) 基于深度学习的地物目标提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant