CN110659591B - 基于孪生网络的sar图像变化检测方法 - Google Patents

基于孪生网络的sar图像变化检测方法 Download PDF

Info

Publication number
CN110659591B
CN110659591B CN201910845085.6A CN201910845085A CN110659591B CN 110659591 B CN110659591 B CN 110659591B CN 201910845085 A CN201910845085 A CN 201910845085A CN 110659591 B CN110659591 B CN 110659591B
Authority
CN
China
Prior art keywords
layer
convolution
data set
twin network
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910845085.6A
Other languages
English (en)
Other versions
CN110659591A (zh
Inventor
高峰
高云浩
董军宇
王群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201910845085.6A priority Critical patent/CN110659591B/zh
Publication of CN110659591A publication Critical patent/CN110659591A/zh
Application granted granted Critical
Publication of CN110659591B publication Critical patent/CN110659591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于孪生网络的SAR图像变化检测方法，所述方法包括：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像，对多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；将训练数据集用于优化后的孪生网络训练；将测试数据集用于孪生网络测试，从而获得最终的变化结果图像。本发明通过基于独立性分析的预分类策略，能够获得更可靠的训练数据集，同时使用深度学习框架构建基于特征融合和自适应池化的孪生网络模型，提高了SAR图像变化检测的对噪声的鲁棒性，并且本发明的方法具有较强的任务适应性和泛化能力。

Description

基于孪生网络的SAR图像变化检测方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于孪生网络的SAR(SyntheticAperture Radar，合成孔径雷达)图像变化检测方法，本发明能够对多时相SAR图像的地物变化进行检测，在自然灾害检测与评估、城市规划和土地利用等领域具有重要意义。
背景技术
随着卫星遥感技术的发展，近年来遥感数据的获取量呈几何倍数增长，合成孔径雷达具有全天候、全天时的成像能力，而且可以不受气候条件的影响，因此成为当前研究热点。20世纪60年代，世界各国已经发射了越来越多的搭载高分辨率合成孔径雷达的卫星，例如：Radarsat-2、TerraSAR-X等。2016年8月，我国成功发射了高分三号卫星，能够获取分辨率达到1米的SAR图像，成像清晰、层次分明、信息丰富。随着我国遥感技术的飞速发展，对地观测遥感系统会更加成熟，更多合成孔径雷达数据可以用于变化检测分析。变化检测致力于寻找两幅同一区域的多时相图像中有效的变化信息，这能够为动态监测预报、防灾减灾事业提供强有力的信息保障。变化检测是在差异图像分析的基础上，结合像素的邻域信息进行逐像素的分类。但是，SAR图像具有大量的斑点噪声，当前方法经常难以准确的检测图像中的变化区域。
近年来，兴起了很多有关于SAR图像的变化检测研究，主要可以分为无监督方法和监督方法。(1)无监督方法的准确性极大依赖于图像的数据分布，如果数据分布合理，传统的阈值分割和聚类方法能够获得较好的结果，但是无监督方法的噪声鲁棒性和适应性较差。(2)监督方法在大多数情况下都能够获得比无监督方法更好的结果，例如受限玻尔兹曼机、极限学习机、卷积神经网络等学习模型，但是监督学习方法需要大量的标签样本用作模型训练，在标签质量差、数量不足的情况很难获得出色的表现，另外由于噪声影响模型的泛化能力也会受到极大影响。综合而言，对于多时相SAR图像进行变化检测时，当前方法容易受相干斑噪声的影响，难以获得准确的变化信息。
发明内容
有鉴于此，本发明实施例期望提供一种基于孪生网络的遥感图像变化检测方法，以解包括现有变化检测精度低在内的技术问题。本发明实施例的技术方案是这样实现的：
基于孪生网络的SAR图像变化检测方法，包括以下步骤：
对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；
对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；
将训练数据集用于孪生网络训练；
将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像。
本发明的具体步骤包括如下：
(1)对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像：
(1.1)对所述的输入图像进行差异性分析，获得差异图；
(1.2)对所述差异图进行独立性分析，从而获得最终的增强型的差异图像；
(2)对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集：
(2.1)使用模糊c均值聚类算法对增强型的差异图像进行无监督聚类，获得所有像素的伪标签矩阵；
(2.2)提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；
(2.3)提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；
(3)将训练数据集用于孪生网络训练：
(3.1)利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层；其输入层为上述的训练数据集；
后续操作为：将训练数据集输入到孪生网络中，提取输入数据的低层、中层和高层特征，使用特征融合策略融合低层、中层和高层特征，通过自适应池化层获得更鲁棒的特征表示，计算网络的损失函数，然后使用随机梯度下降(SGD)算法进行网络参数优化，从而得到训练好的孪生网络模型，具体包括以下步骤3.2-3.7；
(3.2)孪生网络的低层卷积块用于提取输入层数据的低层特征；
(3.3)孪生网络的中层卷积块用于提取输入层数据的中层特征FM；
(3.4)孪生网络的高层卷积块用于提取输入层数据的高层特征FH；
(3.5)将所述的低层、中层和高层特征进行特征融合，获得输入数据的融合特征图F；
所述低层、层和高层特征的计算过程为：
FL＝σ(σ(XW1+b1)W2+b2)
FM＝σ(σ(FLW3+b3)W4+b4)
FH＝σ(σ(FMW5+b5)W6+b6)
其中，FL、FM和FH分别表示输入数据的低层、中层和高层特征，σ表示ReLU激活函数，W和b分别表示不同卷积层的权重和偏置；
所述特征融合策略的计算过程为：
F＝D(FL)+D(FM)+D(FH)
其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的特征融合策略通过逐元素的相加实现；所述维度匹配函数的卷积核大小为1×1、卷积核个数为64；
(3.6)孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征F更鲁棒的特征表示Fv；
(3.7)将所述的更鲁棒的特征表示Fv通过全连接层，然后计算孪生网络的损失函数，然后使用随机梯度下降算法(SVD)优化网络参数。
(4)将测试数据集用于孪生网络测试，从而获得最终的变化结果图像：
(4a)将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；
(4b)结合训练数据集和测试数据集的标签信息获得最终的变化结果图像。
本发明实例所提供的基于孪生网络的遥感图像变化检测方法，通过所述的差异性分析和独立性分析对图像进行处理，利用了孪生网络分类器的噪声鲁棒和泛化能力强的特性，提高了待处理多时相图像的变化检测精度。本发明所提供的基于孪生网络的遥感图像变化检测方法具有如下优点：
1.利用差异性分析和独立性分析，获取输入图像的增强型差异图，使用多层模糊c均值聚类进行预分类，获取伪标签矩阵。增强型的差异图像能够一定程度抑制噪声干扰，有利于预分类算法获得更准确的分类表现。预分类算法使用无监督的聚类方法，能够应对无标签场景下的变化检测任务的需求，提高发明方法的适应能力。
2.孪生网络通过三组卷积操作提取输入数据的多层特征，特征融合策略能够融合低层、中层和高层特征(粗尺度到细尺度)，自适应池化操作能够自适应选择合适的感受野大小，从而获得更鲁棒的特征表示，提高变化检测方法的精度。
3.在高维特征空间使用距离度量函数，验证像素样本是否匹配，具有较强的任务适应性和泛化能力。
附图说明
图1为本发明的流程图；
图2为本发明图像处理方法的示意图；
图3为本发明孪生网络结构的示意图；
图4为本发明的自适应池化层的示意图；
图5为本发明的输入数据的示意图；
其中，如图5(a)上下分别是由Radarsat卫星分1997年5月在渥太华地区拍摄的Ottawa数据集、由Radarsat卫星于2008年6月在黄河地区拍摄的Farmland数据集，图5(b)上下分别是由Radarsat卫星于1997年8月在渥太华地区拍摄的Ottawa数据集、由Radarsat卫星于2009年6月在黄河地区拍摄的Farmland数据集，图5(c)上下分别是渥太华地区、黄河地区真实的SAR图像的仿真图的变化检测参考图。
图6为实施例的方法与现有方法的效果比较图。
为了能明确实现本发明的实施例的结构，在图中标注了特定的尺寸、结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。
具体实施方式
在以下的描述中，将描述本发明的多个不同的方面，然而对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。
参照图1本发明实现的具体步骤：
步骤1：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像：
步骤1.1：对所述输入的两幅多时相SAR图像使用log比率进行差异性分析，获取多时相SAR图像的差异图；
所述的差异性分析的计算过程为：
IDI＝|logI1-logI2|
其中，I1和I2分别表示两幅多时相SAR图像，IDI表示两幅多时相SAR图像的差异图，|·|为绝对值操作，log表示以10为底的对数操作；
步骤1.2：对所得到的差异图进行独立性分析，以获得显著性图像：
所述的独立性分析包括模式独立性分析和强度独立性分析，模式独立性的计算过程为：
Dpat(px)＝‖px-pa‖1
Figure GDA0003898661250000051
其中，x为1到N中的自然数，N表示上述差异图的像素总数，Dpat表示像素的模式独立性，px表示差异图中每一个像素及其周围的9×9区域，从而最终获取N个9×9区域，pa表示所有像素的平均邻域区域，pz表示上述差异图的N个像素中的一个，‖·‖1表示L1范数；
强度独立性分析的计算过程为：
Figure GDA0003898661250000052
其中，x为1到N中的自然数，N表示上述差异图的像素总数，rx是由SLIC超像素算法在步骤1.1的差异图上获取的一个微小区域，而SLIC超像素算法对于每一个像素都会算得一个微小区域，其数量即像素数N；Dint表示强度独立性，rz表示上述差异图的N个像素的其中一个，‖·‖2表示L2范数；对每一个rx均计算其强度独立性，从而最终获取N个强度独立性；
所述显著性图像Isal的计算过程为：
Isal＝Dpat·Dint
点号表示模式独立性Dpat和强度独立性Dint的逐元素对应相乘；
步骤1.3：结合上述的差异图和显著性图像获得增强型的差异图像；
增强型的差异图像Ien的计算过程为：
Ien＝exp(k·Isal)·IDI
其中，exp(·)表示以e为底的指数函数，k为0至1中的实数，此处k＝0.1，点号为逐元素对应相乘；
步骤2：对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集：
步骤2.1：对所述的增强型的差异图像使用多层模糊c均值聚类算法进行预分类，获得伪标签矩阵；
步骤2.2：提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；
步骤2.3：提取伪标签矩阵中标记为0.5的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；
步骤3：将训练数据集用于孪生网络训练：
步骤3.1：利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层，如图3；其输入层为步骤2.2的训练数据集；
步骤3.2：孪生网络的低层卷积块用于提取输入层数据的低层特征FL：
所述的低层卷积块由第一、第二两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为16，激活函数为ReLU；
低层特征FL的计算过程为：
FL＝σ(σ(XW1+b1)W2+b2)
其中，X表低层卷积块的输入(即输入层数据)，σ表示ReLU激活函数，W1和b1表示第一卷积层的权重和偏置，W2和b2表示第二卷积层的权重和偏置；
步骤3.3：孪生网络的中层卷积块用于提取输入层数据的中层特征FM：
所述的中层卷积块由第三、第四两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为32，激活函数为ReLU；
中层特征FM的计算过程为：
FM＝σ(σ(FLW3+b3)W4+b4)
其中，FL表示低层特征，σ表示ReLU激活函数，W3和b3表示第三卷积层的权重和偏置，W4和b4表示第四卷积层的权重和偏置。
步骤3.4：孪生网络的高层卷积块用于提取输入数据的高层特征FH：
所述的高层卷积块由第五、第六两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为64，激活函数为ReLU；
高层特征FH的计算过程为：
FH＝σ(σ(FMW5+b5)W6+b6)
其中，FM表示中层特征，σ表示ReLU激活函数，W5和b5表示第五卷积层的权重和偏置，W6和b6表示第六卷积层的权重和偏置；
步骤3.5：两支网络的输入层分别采用步骤2.2中的两组数据训练集，并通过上述步骤3.2至3.4的操作之后，分别采用将所述的低层、中层和高层特征进行特征融合的方式，获得输入数据的融合特征图；
所述的融合特征图F的计算过程为：
F＝D(FL)+D(FM)+D(FH)
其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的维度匹配函数的卷积核大小为1×1、卷积核个数为64；
步骤3.6：孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征F更鲁棒的特征表示Fv，如图4：
先对自适应池化层输入上述融合特征图F，获得Fp1，再对Fp1进行池化操作获得Fp2，然后对Fp2进行池化操作，获得Fp3，从而获得Fp1、Fp2和Fp3三个不同大小感受野获得的池化特征；
再计算融合后的池化特征Fp：
Figure GDA0003898661250000073
进而得到空间信息整合后的池化特征Fs，计算过程为：
Fs＝[Fs1,Fs2,K,Fs64]
Figure GDA0003898661250000071
c为1至64中的自然数，
其中，H×W表示Fp的平面空间尺寸，Fpc(i,j)表示融合特征Fp的第c个特征图中(i,j)位置的像素值，而根据步骤3.5的计算，会有64个特征图；
然后计算权重向量[a,b,c]，计算过程为：
[a,b,c]＝δ(σ(Wf1Fs)Wf2)
其中，Wf1和Wf2表示两个全连接操作，σ表示ReLU激活函数，δ表示Softmax函数，
最后得到更鲁棒的特征表示Fv，计算过程为：
Figure GDA0003898661250000072
其中，a、b、c分别为64×1的权重向量，⊙为逐通道相乘；
步骤3.7：将所述的更鲁棒的特征表示Fv通过全连接层，得到两支全连接层的输出feat0和feat1，然后计算孪生网络的损失函数；所述损失函数的计算过程为：
Loss＝∑(yd2+(1-y)max(margin-d,0)2)
其中，y为步骤2.2中训练数据集的标签，y＝1表示输入数据的标签是1，即该位置像素是不变的，y＝0表示输入数据的标签是0，即该位置像素是变化的；margin是设定的阈值，margin为大于零的任意实数；d＝||feat0-feat1||2表示两个全连接层输出的L2范数，‖·‖2表示L2范式，feat0和feat1分别表示两支网络中全连接层的输出；
然后使用随机梯度下降(SGD)算法优化孪生网络参数；
步骤4：将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像：
步骤4.1：将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；
步骤4.2：结合训练数据集和测试数据集的标签信息获得最终的变化图。
下面结合仿真实验对本发明的效果进一步说明：
本发明的仿真实验在Intel Xeon E5-2620、NVIDIA GTX 1080、内存32GB的硬件环境和Ubuntu 16.04.6Caffe、Matlab2012a的软件环境下进行，实验对象为两组多时相SAR图像Ottawa数据集和Farmland数据集。Ottawa数据集由Radarsat卫星分别于1997年5月和8月在渥太华地区拍摄，大小为350×290像素，如图5(a)第一行、图5(b)第一行。Farmland数据集由Radarsat卫星于2008年6月和2009年6月在黄河地区拍摄，大小为306×291像素，如图5(a)第二行、图5(b)第二行。本发明的仿真实验数据如图5所示。图5(c)是真实的SAR图像的仿真图的变化检测参考图。
本发明方法与现有比较先进的变化检测方法的对比结果参见图6。对比试验中的Principal Component Analysis and K-means Clustering(下述简写为PCAKM)方法是文章“Unsupervised change detection in satellite images using principalcomponent analysis and k-means clustering”中提出的；Extreme Learning Machine(下述简写为ELM)方法是文章“Change detection from synthetic aperture radarimages based on neighborhood-based ratio and extreme learning machine”中提出的；PCANet方法是文章“Automatic change detection in synthetic aperture radarimages based on PCANet”中提出的；Random Multi-graphs(下述简写为RMG)方法是文章“SAR image change detection based on frequency domain analysis and randommulti-graphs”中提出的。从6中可以看出，当输入图像存在严重的噪声干扰或者噪声特性差异的情况下，本发明方法仍能够较准确地提取多时相SAR图像中的细微的变化信息，并且具有良好的噪声鲁棒性。
如图6前四列所示，其它方法容易受到噪声干扰的影响，难以准确表达变化信息；本发明方法在独立性分析和孪生网络的指导下，可以较好地抑制噪声影响；特别是，Farmland数据集存在噪声特性差异的情况，本方法仍然能够获得出色的表现。
本发明使用分类准确率(PCC)和Kappa系数(KC)在客观指标上与上述方法进行对比，计算方法如下：
Figure GDA0003898661250000091
Figure GDA0003898661250000092
其中，N为像素总数，OE＝FP+FN为总体错误数，FP为误检数量，表示参考图中未发生变化但是最终变化图中检测为变化的像素数量；FN为漏检数量，表示参考图中发生变化但是最终变化图中检测为不变化的像素数量。PRE表示误检和漏检的数量和比例关系，PRE＝[(TP+FP-FN)×TP+(TN+FN-FP)×TN]/(N×N)，其中TP为真正变化的像素数量，TN为真正不变的像素数量。较大的PCC和KC值说明变化检测结果更为准确，噪声抑制能力更强。表1和表2显示了本发明与上述方法的对比如果。从表中可以看到，在本发明的方法PCC和KC值都是最高的，这说明本发明方法能够较准确地检测到输入图像中的变化信息，并且能够抑制噪声干扰。
表1 Ottawa数据集的变化检测方法实验结果
方法 PCC(％) KC(％)
PKAKM 97.57 90.73
ELM 98.17 93.15
PCANet 98.13 92.99
RMG 97.95 91.96
本发明方法 98.21 93.20
表2 Farmland数据集的变化检测方法实验结果
方法 PCC(％) KC(％)
PKAKM 94.03 62.92
ELM 97.70 76.05
PCANet 96.14 71.55
RMG 98.00 79.37
本发明方法 98.81 88.58
本发明所提供的基于孪生网络的方法主要为提高多时相遥感图像分析与理解专门提出的。但显然，本方法也适用于普通成像设备如数码相机所拍摄图像的分析，所取得的有益效果也是相似的。
以上对本发明所提供的基于孪生网络的遥感图像变化检测方法作了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (2)

1.一种基于孪生网络的SAR图像变化检测方法，其特征在于包括以下步骤：
步骤1：对同一地理位置的两幅多时相SAR图像进行差异性分析和独立性分析，获取增强型的差异图像；
步骤1.1：对所述的两幅多时相SAR图像使用log比率进行差异性分析，获取多时相SAR图像的差异图；
所述的差异性分析的计算过程为：
IDI＝|logI1-logI2|
其中，I1和I2分别表示两幅多时相SAR图像，IDI表示两幅多时相SAR图像的差异图，|·|为绝对值操作，log表示以10为底的对数操作；
步骤1.2：对所得到的差异图进行独立性分析，以获得显著性图像：
所述的独立性分析包括模式独立性分析和强度独立性分析，模式独立性的计算过程为：
Dpat(px)＝‖px-pa‖1
Figure FDA0003898661240000011
其中，x为1到N中的自然数，N表示上述差异图的像素总数，Dpat表示像素的模式独立性，px表示差异图中每一个像素及其周围的9×9区域，从而最终获取N个9×9区域，pa表示所有像素的平均邻域区域，pz表示上述差异图的N个像素中的一个，‖·‖1表示L1范数；
强度独立性分析的计算过程为：
Figure FDA0003898661240000012
其中，x为1到N中的自然数，N表示上述差异图的像素总数，rx是由SLIC超像素算法在步骤1.1的差异图上获取的一个微小区域，而SLIC超像素算法对于每一个像素都会算得一个微小区域，其数量即像素数N；Dint表示强度独立性，rz表示上述差异图的N个像素的其中一个，‖·‖2表示L2范数；对每一个rx均计算其强度独立性，从而最终获取N个强度独立性；
所述显著性图像Isal的计算过程为：
Isal＝Dpat·Dint
点号表示模式独立性Dpat和强度独立性Dint的逐元素对应相乘；
步骤1.3：结合上述的差异图和显著性图像获得增强型的差异图像；
增强型的差异图像Ien的计算过程为：
Ien＝exp(k·Isal)·IDI
其中，exp(·)表示以e为底的指数函数，k为0至1中的实数，点号为逐元素对应相乘；
步骤2：对所述的增强型的差异图像进行预分类，构建训练数据集和测试数据集；
步骤2.1：对所述的增强型的差异图像使用多层模糊c均值聚类算法进行预分类，获得伪标签矩阵；
步骤2.2：提取伪标签矩阵中标记为0和1的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为训练数据集，L取值为不小于3的奇数；
步骤2.3：提取伪标签矩阵中标记为0.5的空间位置，以步骤1.1输入的两幅图像中的与上述空间位置对应的像素点周围取L×L的邻域像素作为测试数据集，L取值为不小于3的奇数；
步骤3：将训练数据集用于孪生网络训练；
步骤3.1：利用深度学习框架构建孪生网络，所构建的孪生网络是由两个分支网络组成，两支网络权值共享，并且具有相同的网络结构；任何一支网络的结构为：输入层→低层卷积块→中层卷积块→高层卷积块→自适应池化层→全连接层→输出层；其输入层为步骤2.2的训练数据集；
步骤3.2：通过孪生网络的低层卷积块提取输入层数据的低层特征FL：
所述的低层卷积块由第一、第二两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为16，激活函数为ReLU；
低层特征FL的计算过程为：
FL＝σ(σ(XW1+b1)W2+b2)
其中，X表示低层卷积块的输入也即输入层数据，σ表示ReLU激活函数，W1和b1表示第一卷积层的权重和偏置，W2和b2表示第二卷积层的权重和偏置；
步骤3.3：通过孪生网络的中层卷积块提取输入层数据的中层特征FM：
所述的中层卷积块由第三、第四两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为32，激活函数为ReLU；
中层特征FM的计算过程为：
FM＝σ(σ(FLW3+b3)W4+b4)
其中，FL表示低层特征，σ表示ReLU激活函数，W3和b3表示第三卷积层的权重和偏置，W4和b4表示第四卷积层的权重和偏置；
步骤3.4：通过孪生网络的高层卷积块提取输入数据的高层特征FH：
所述的高层卷积块由第五、第六两个卷积层组成，每个卷积层的卷积核大小为3×3，卷积核个数为64，激活函数为ReLU；
高层特征FH的计算过程为：
FH＝σ(σ(FMW5+b5)W6+b6)
其中，FM表示中层特征，σ表示ReLU激活函数，W5和b5表示第五卷积层的权重和偏置，W6和b6表示第六卷积层的权重和偏置；
步骤3.5：两支网络的输入层分别采用步骤2.2中的两组数据训练集，并通过上述步骤3.2至3.4的操作之后，分别采用将所述的低层、中层和高层特征进行特征融合的方式，获得输入数据的融合特征图；
所述的融合特征图F的计算过程为：
F＝D(FL)+D(FM)+D(FH)
其中，F表示融合后的特征图，D(·)表示维度匹配函数，所述的维度匹配函数的卷积核大小为1×1、卷积核个数为64；
步骤3.6：孪生网络中的自适应池化层用于自适应获取不同大小感受野的池化特征，从而获取上述特征图F更鲁棒的特征表示Fv：
先对自适应池化层输入上述融合特征图F，获得Fp1，再对Fp1进行池化操作获得Fp2，然后对Fp2进行池化操作，获得Fp3，从而获得Fp1、Fp2和Fp3三个不同大小感受野获得的池化特征；
再计算融合后的池化特征Fp：
Fp＝Fp1+Fp2+Fp3
进而得到空间信息整合后的池化特征Fs，计算过程为：
Fs＝[Fs1,Fs2,K,Fs64]
Figure FDA0003898661240000031
c为1至64中的自然数，
其中，H×W表示Fp的平面空间尺寸，Fpc(i,j)表示融合特征Fp的第c个特征图中(i,j)位置的像素值，而根据步骤3.5的计算，会有64个特征图；
然后计算权重向量[a,b,c]，计算过程为：
[a,b,c]＝δ(σ(Wf1Fs)Wf2)
其中，Wf1和Wf2表示两个全连接操作，σ表示ReLU激活函数，δ表示Softmax函数，
最后得到更鲁棒的特征表示Fv，计算过程为：
Figure FDA0003898661240000041
其中，a、b、c分别为64×1的权重向量，⊙为逐通道相乘；
步骤3.7：将所述的更鲁棒的特征表示Fv通过全连接层，得到两支全连接层的输出feat0和feat1，然后计算孪生网络的损失函数；所述损失函数的计算过程为：
Loss＝∑(yd2+(1-y)max(margin-d,0)2)
其中，y为步骤2.2中训练数据集的标签，y＝1表示输入数据的标签是1，即该位置像素是不变的，y＝0表示输入数据的标签是0，即该位置像素是变化的；margin是设定的阈值，margin为大于零的任意实数；d＝||feat0-feat1||2表示两个全连接层输出的L2范数，‖·‖2表示L2范式，feat0和feat1分别表示两支网络中全连接层的输出；
然后使用随机梯度下降算法优化孪生网络参数；
步骤4：将测试数据集用于优化后的孪生网络测试，从而获得最终的变化结果图像；
步骤4.1：将测试数据集输入到优化后的孪生网络中，获得测试数据集的标签信息；
步骤4.2：结合训练数据集和测试数据集的标签信息获得最终的变化图。
2.如权利要求1所述的基于孪生网络的SAR图像变化检测方法，其特征在于步骤1.3中所述的k＝0.1。
CN201910845085.6A 2019-09-07 2019-09-07 基于孪生网络的sar图像变化检测方法 Active CN110659591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845085.6A CN110659591B (zh) 2019-09-07 2019-09-07 基于孪生网络的sar图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845085.6A CN110659591B (zh) 2019-09-07 2019-09-07 基于孪生网络的sar图像变化检测方法

Publications (2)

Publication Number Publication Date
CN110659591A CN110659591A (zh) 2020-01-07
CN110659591B true CN110659591B (zh) 2022-12-27

Family

ID=69036834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845085.6A Active CN110659591B (zh) 2019-09-07 2019-09-07 基于孪生网络的sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN110659591B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275680B (zh) * 2020-01-18 2023-05-26 中国海洋大学 基于Gabor卷积网络的SAR图像变化检测方法
CN111339827A (zh) * 2020-01-18 2020-06-26 中国海洋大学 基于多区域卷积神经网络的sar图像变化检测方法
CN112052818B (zh) * 2020-09-15 2024-03-22 浙江智慧视频安防创新中心有限公司 无监督域适应的行人检测方法、系统及存储介质
CN112305541A (zh) * 2020-10-23 2021-02-02 江苏警官学院 一种基于抽样序列长度约束条件下的sar成像方法
CN112991257B (zh) * 2020-12-17 2021-10-15 清华大学 基于半监督孪生网络的异质遥感图像变化快速检测方法
CN112734695B (zh) * 2020-12-23 2022-03-22 中国海洋大学 基于区域增强卷积神经网络的sar图像变化检测方法
CN113011561B (zh) * 2021-03-04 2023-06-20 中国人民大学 一种基于对数极空间卷积对数据进行处理的方法
CN113222016B (zh) * 2021-05-12 2022-07-12 中国民航大学 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN113408528B (zh) * 2021-06-24 2024-02-23 数贸科技（北京）有限公司 商品图像的质量识别方法、装置、计算设备及存储介质
CN113469074B (zh) * 2021-07-06 2023-12-19 西安电子科技大学 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN113469072B (zh) * 2021-07-06 2024-04-12 西安电子科技大学 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
CN114022729B (zh) * 2021-10-27 2024-09-10 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN114419464B (zh) * 2022-03-29 2022-07-26 南湖实验室 一种基于深度学习的孪生网络变化检测模型的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776667B2 (en) * 2017-08-30 2020-09-15 Verily Life Sciences Llc Speckle contrast analysis using machine learning for visualizing flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于堆叠稀疏自动编码器的SAR图像变化检测;冯春凤等;《激光杂志》;20181125(第11期);第33-37页 *

Also Published As

Publication number Publication date
CN110659591A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110659591B (zh) 基于孪生网络的sar图像变化检测方法
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
Wang et al. Unsupervised SAR image change detection based on SIFT keypoints and region information
CN111339827A (zh) 基于多区域卷积神经网络的sar图像变化检测方法
CN107563355A (zh) 基于生成对抗网络的高光谱异常检测方法
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN105844279A (zh) 基于深度学习和sift特征的sar图像变化检测方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN115546656B (zh) 一种基于深度学习的遥感影像养殖区域提取方法
CN112734695B (zh) 基于区域增强卷积神经网络的sar图像变化检测方法
CN107909002B (zh) 基于海岸线匹配的红外遥感图像海陆分割方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN115018773A (zh) 基于全局动态卷积神经网络的sar图像变化检测方法
CN106845343B (zh) 一种光学遥感图像海上平台自动检测方法
CN117475236B (zh) 用于矿产资源勘探的数据处理系统及其方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN112270285A (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN113920255B (zh) 基于点云数据的高效测绘系统
CN106897683B (zh) 一种遥感图像的地物检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant