CN112734695B - 基于区域增强卷积神经网络的sar图像变化检测方法 - Google Patents
基于区域增强卷积神经网络的sar图像变化检测方法 Download PDFInfo
- Publication number
- CN112734695B CN112734695B CN202011541881.XA CN202011541881A CN112734695B CN 112734695 B CN112734695 B CN 112734695B CN 202011541881 A CN202011541881 A CN 202011541881A CN 112734695 B CN112734695 B CN 112734695B
- Authority
- CN
- China
- Prior art keywords
- layer
- training
- frequency domain
- pixel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Abstract
基于区域增强卷积神经网络的SAR图像变化检测方法，所述方法包括：对同一地理区域内不同时相的两幅SAR图像进行差异分析，得到差分图像；对所述的差分图像进行预分类，得到构建的训练数据集和测试数据集；将样本训练数据集送入提出的区域增强卷积神经网络中进行训练；将训练后的网络用于测试集进行测试进而得到整幅同区域多时相SAR图像的变化检测结果。本发明在构建用于神经网络训练的数据集时从预训练结果的正负样本中分别随机选择10%的样本，解决了随机样本选择不均衡的问题。同时本方法加入频率域特征提升网络的性能，提高了SAR图像变化检测对噪声的鲁棒性，并且本方法有较强的泛化能力。
Description
技术领域
本发明涉及一种区域增强卷积神经网络的SAR(Synthetic Aperture Radar，合成孔径雷达) 图像变化检测方法，属于图像处理技术领域和遥感技术领域。
背景技术
变化检测旨在通过同一地区不同时期的SAR图像间的差异来得到感兴趣的地物变化信息。遥感图像变化检测技术主要是由于遥感系统受大气条件、投射角和视角、土壤湿度、季节等因素的随即影响或者被研究对象自身发生变化等引起的遥感图像数据产生差异。一般变化检测指的是检测发生过的变化，分析差异性所在并进行分析评估的过程。随着现代社会科学技术的不断发展,利用雷达遥感获取对地观测信息已经成为当下监测地面信息的重要途经。而在众多雷达遥感系统中,合成孔径雷达(SAR)逐渐成为获取对地观测图像信息必不可少的一种方式。合成孔径雷达(SAR)具有高分辨率、全天候,全天时的特点,是很好的变化检测信息源。研究SAR图像变化检测技术有着非常广阔的应用前景。目前SAR图像变化检测广泛应用在对森林或植被的动态变化监测、对土地利用及覆盖的变化分析、对洪水，火灾等自然灾害灾后分析及评估、对农田进行监控,分析农作物的生长状况、对城镇变化实时监测、对军事战略目标进行动态监视等方面。随着SAR传感器技术的快速发展，SAR成像技术也不断提高，因此SAR图像处理技术也一直在更新进步。尤其是近几年，我国高分三号卫星的发射，能够获取分辨率达到1米的SAR图像，成像清晰、层次分明、信息丰富，使国内SAR图像的研究有了很大的自主性。但是，SAR图像具有大量的斑点噪声，当前方法经常难以准确的检测图像中的变化区域。
对于SAR图像变化检测，已有很多研究方法，依据在检测过程中是否使用先验知识可以划分为无监督和有监督两类。(1)无监督方法的准确性极大依赖于图像的数据分布，如果数据分布合理，传统的阈值分割和聚类方法能够获得较好的结果，但是无监督方法的噪声鲁棒性和适应性较差。(2)监督方法的效果往往更优异，例如受限玻尔兹曼机、极限学习机、卷积神经网络等学习模型，但是该方法依赖大量的标签样本用作模型训练，在标签质量差、数量不足的情况很难获得出色的表现。另外由于噪声和邻域中无关信息的存在，模型的泛化能力也会受到极大影响。总之，对多时SAR图像进行变化检测时，当前方法容易受噪声和邻域中无关信息的影响，难以获得准确的变化信息。
发明内容
本发明实施例期望提供一种基于区域增强卷积神经网络的遥感图像变化检测方法，以提升SAR图像变化检测的性能和准确率。本发明实例的技术方案是这样实现的：
区域增强卷积神经网络的SAR图像变化检测方法，包括以下步骤：
对两幅同一地点的多时相SAR图像进行差异分析，获得差分图像；
对差分图像进行预分类，获取用于构建模型的训练数据集和测试数据集；
将得到的训练集随机用于多区域卷积神经网络的训练；
将测试数据集用于区域增强卷积神经网络的测试，从而得到整幅图像的变化检测结果。
本发明的具体步骤如下：
1、基于区域增强卷积神经网络的SAR图像变化检测方法，包括以下步骤：
步骤1：对同一区域的两幅多时相SAR图像进行差异分析，得到差分图像：
对所述的两幅多时相SAR图像使用对数比值法进行差异分析，获取两个时相SAR图像的差分图；
所述的差分图像的计算过程为：
IDI＝|log I1-log I2|
其中，I1和I2分别表示同一区域的两幅多时相SAR图像，IDI表示多时相SAR图像的差分图像，||表示绝对值操作，log表示以10为底的对数操作；
其特征是还包括以下步骤：
步骤2：对差分图像IDI进行预分类，构建训练数据集和测试数据集；
步骤2.1：对步骤1得到的差分图像使用多层模糊C均值聚类算法进行预分类，获得像素伪标签——0，0.5，1；
步骤2.2：从像素伪标签标记为0和1的像素中分别选取10％的像素，提取这些像素对应的像素点，并在步骤1得到的差分图像中，取这些像素点周围R×R的邻域作为训练集，R取值为不小于3的奇数(R最优值基于现有技术实现，其根据数据集的不同而不同)，得到的训练集中样本的数量记为T1，该训练集的每一个样本X为R×R大小的像素块；若10％的像素中有像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤2.3：对于步骤1得到的差分图像，取所有像素点周围R×R的邻域像素作为测试数据集，R取值为不小于3的奇数(R最优值基于现有技术实现，其根据数据集的不同而不同)，得到的测试集中样本的数量即像素点总数记为T2，该测试集为R×R大小的像素块；若像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤3：将步骤2得到的训练集用于区域增强卷积神经网络的训练：
步骤3.1：利用pytorch构建区域增强神经网络，所构建的网络是由两个分支组成，两个分支分别对同一个像素块在空间域和频率域进行处理：
步骤3.2：空间域分支的网络结构为：输入层——卷积层——区域增强卷积层——特征融合层；该分支网络的输入层为步骤2得到的训练样本；其余层分别由步骤3.2.1至3.2.3实现；
步骤3.2.1：对于该分支网络，卷积层用来提取输入层的低层特征F：
所述的卷积层由卷积核大小为3×3、卷积核个数为30的卷积层组成；低层特征F的计算公式为：
F＝σ(BN(XWl+bl))
其中，X表示该卷积层的输入即输入数据，BN表示批量归一化操作，σ表示激活函数(所使用的激活函数是RELU)，Wl表示该卷积层的权重，个数为30，bl表示该卷积层的偏置，Wl和bl均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.2：通过该分支的区域增强卷积层得到不同区域的特征Fg，Fh，Fv：
由于不同通道的特征图具有较强的相关性，因此首先将F按照通道数从前往后平均分为 3组，每组包含10个通道，分别为F1，F2，F3；对于F1，使用权重为Wg的3×3卷积核提取全局特征Fg；在F2上，取中心像素所在的行和与中心像素相邻的行记作特征F2'，对F2'使用权重为Wh的3×1行卷积核生成中心行特征Fh；相应的，在F3上取中心像素所在的列和与中心像素相邻的列记作特征F3'，对F3'使用权重为Wv的1×3列卷积核提取中心列特征Fv；
Fg，Fh，Fv的计算方法分别为：
Fg＝σ(BN(F1Wg+bg))
Fh＝σ(BN(F2'Wh+bh))
Fv＝σ(BN(F3'Wv+bv))
其中，Wg、Wh、Wv和bg、bh、bv分别表示该卷积层不同组的权重和偏置，均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.3：通过特征融合层获取空间域特征Fs：
所述的特征融合层的输入为步骤3.2.2中的Fg，Fh，Fv；Fs的计算过程为：
其中，p(·)为维度匹配函数，即在执行
操作之前将Fh和Fv扩展成与Fg大小相同的矩阵，且扩展位置填充为0，
表示按元素求和；
步骤3.3：频率域分支网络由输入层、频率变换层和门控线性单元GLU组成；该分支网络的输入层为步骤2得到的训练样本X；其余层分别由步骤3.3.1和3.3.2实现；
步骤3.3.1：使用频率变换层将输入层转换成频率域信息Fdct：
Fdct＝DCT(X)
其中，Fdct表示频率域信息，DCT(·)表示离散余弦变换函数；
步骤3.3.2：通过门控线性单元GLU选择频率域信息中的频率域特征FTf：
所述的门控线性单元GLU由两个分支组成，其中一个分支由全连接层和激活函数构成，另一个分支仅包含全连接层；两个分支的结果相乘即得到频率域特征FTf；所述的频率域特征 FTf的计算方式为：
首先将频率域信息进行维度转换，变为一维向量，其过程为：
FTdct＝T(Fdct)
其中，FTdct表示转变为一维向量后的频率域信息，T(·)表示维度转换函数；
然后将一维频率域信息输入到门控线性单元GLU，得到最终的频率域特征FTf：
FTf＝Linear1(FTdct)·δ(Linear2(FTdct))
其中，Linear1(·)，Linear2(·)分别表示参数不共享的全连接层，δ表示激活函数(所使用的激活函数是Sigmoid)；
步骤3.4：对空间域特征Fs、频率域特征FTf进行特征信息融合，获得融合特征FA：
所述的融合特征FA的计算过程为：
首先将空间域的特征进行维度转换，变为一维向量，其过程为：
FTS＝T(FS)
其中，FTS表示转变为一维向量后的空间域特征，T(·)表示维度转换函数；
然后将空间域和频率域的一维特征FTs、FTf按列进行拼接，拼接后的特征记为FA；
步骤3.5：对FA经过两层全连接操作后得到Y：
Y＝ε(Wfc2(Wfc1FA))
其中Wfc1表示第一层全连接操作，Wfc2表示第二层全连接操作，ε表示Softmax函数，全连接后Y的维度为2×1的向量
其中a表示训练样本属于不变类的概率，b表示训练样本属于变化类的概率；当a＞b时，训练样本X的预测标签
等于a所属的类别即输出
当a＜b时，
等于b所属的类别即输出
步骤3.6：计算卷积神经网络的损失函数，所述损失函数使用交叉熵损失函数，计算过程为：
其中，yi为步骤2.2的训练集中第i个样本的真实标签，yi＝1表示输入数据的标签是1，即该位置像素是变化的，yi＝0表示输入数据的标签是0，即该位置像素是不变的，
表示第 i个样本的预测标签，
表示对输入数据的预测标签是1，即预测该位置像素是变化的，
表示对输入数据的预测标签是0，即预测该位置像素是不变的，T1为训练数据集的样本数量，i表示第i个训练样本，i＝1,2,ΛT1，log表示以10为底的对数操作；
然后使用随机梯度下降(SGD)算法优化区域增强卷积神经网络参数；
步骤4：将步骤2.3中的测试集输入到优化后的区域增强卷积神经网络，按照步骤3.2至 3.4所述过程获得关于测试集的预测标签；
步骤5：根据步骤4得到的预测标签，获得步骤1所述地点的变化结果图。
本发明实例所提供的基于区域增强卷积神经网络的遥感图像变化检测方法，通过所述的差异性分析和独立性分析对图像进行处理，利用了区域增强卷积神经网络分类器的分类精度高和对中心信息敏感的特性。本发明所提供的基于区域增强卷积神经网络的遥感图像变化检测方法具有如下优点：
1.对多时相的SAR图像进行差异分析，获取这两幅图像的差分图像，使用FCM模糊聚类算法进行预分类，获取伪标签矩阵。差分图像能够有效的抑制噪声干扰，提升预分类算法的性能。
2.区域增强卷积神经网络通过强调中心信息，引入频率域特征，来降低样本中无关信息以及噪声的干扰，从而获得更鲁棒的特征表示，提高变化检测方法的精度。
3.所使用的训练样本选择手段可以解决正负样本不均衡的问题，提升网络在多个数据集上的泛化能力。
本发明主要利用图像处理和深度学习领域的一些相关技术，能够对多时相SAR图像的地物变化进行检测，在环境监测、土地利用、军事侦察、自然灾害检测与评估等领域具有重要意义。
附图说明
图1为本发明的步骤流程图。
图2为本发明整体流程的示意图。
图3为本发明区域增强卷积神经网络结构的示意图。
图4为本发明区域增强特征提取器的示意图。
图5为本发明的输入数据的示意图。
图6为实施例的方法与现有方法的效果比较图。
具体实施方式
如图1、2所示，本发明实现的具体步骤：
步骤1：对同一区域的两幅多时相SAR图像进行差异分析，得到差分图像：
对所述的两幅多时相SAR图像使用对数比值法进行差异分析，获取两个时相SAR图像的差分图；
所述的差分图像的计算过程为：
IDI＝|log I1-log I2|
其中，I1和I2分别表示同一区域的两幅多时相SAR图像，IDI表示多时相SAR图像的差分图像，||表示绝对值操作，log表示以10为底的对数操作；
步骤2：对差分图像IDI进行预分类，构建训练数据集和测试数据集；
步骤2.1：对步骤1得到的差分图像使用多层模糊C均值聚类算法进行预分类，获得像素伪标签——0，0.5，1；
步骤2.2：从像素伪标签标记为0和1的像素中分别选取10％的像素，提取这些像素对应的像素点，并在步骤1得到的差分图像中，取这些像素点周围R×R的邻域作为训练集，R取值为不小于3的奇数(最优R值根据集的不同而不同)，得到的训练集中样本的数量记为T1，该训练集的每一个样本X为R×R大小的像素块；若10％的像素中有像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤2.3：对于步骤1得到的差分图像，取所有像素点周围R×R的邻域像素作为测试数据集，R取值为不小于3的奇数(最优R值根据数据集的不同而不同)，得到的测试集中样本的数量即像素点总数记为T2，该测试集为R×R大小的像素块；若像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤3：将步骤2得到的训练集用于区域增强卷积神经网络的训练：
步骤3.1：利用pytorch构建区域增强神经网络，所构建的网络是由两个分支组成，两个分支分别对同一个像素块在空间域和频率域进行处理，如图3所示：
步骤3.2：空间域分支的网络结构为：输入层——卷积层——区域增强卷积层—特征融合层；该分支网络的输入层为步骤2得到的训练样本；其余层分别由步骤3.2.1至3.2.3实现；
步骤3.2.1：对于该分支网络，卷积层用来提取输入层的低层特征F：所述的卷积层由卷积核大小为3×3、卷积核个数为30的卷积层组成；低层特征F的计算公式为：
F＝σ(BN(XWl+bl))
其中，X表示该卷积层的输入即输入数据，BN表示批量归一化操作，σ表示激活函数(使用RELU)，Wl表示该卷积层的权重，大小为3×3、个数为30，bl表示该卷积层的偏置， Wl和bl均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.2：通过该分支的区域增强卷积层得到不同区域的特征Fg，Fh，Fv，如图4所示：
由于不同通道的特征图具有较强的相关性，因此首先将F按照通道数从前往后平均分为3组，每组包含10个通道，分别为F1，F2，F3；对于F1，使用权重为Wg的3×3卷积核提取全局特征Fg；在F2上，取中心像素所在的行和与中心像素相邻的行记作特征F2'，对F2'使用权重为Wh的3×1行卷积核生成中心行特征Fh；相应的，在F3上取中心像素所在的列和与中心像素相邻的列记作特征F3'，对F3'使用权重为Wv的1×3列卷积核提取中心列特征Fv；所述Wg、Wh、Wv的个数均为10；
Fg，Fh，Fv的计算方法分别为：
Fg＝σ(BN(F1Wg+bg))
Fh＝σ(BN(F2'Wh+bh))
Fv＝σ(BN(F3'Wv+bv))
其中，Wg、Wh、Wv和bg、bh、bv分别表示该卷积层不同组的权重和偏置，均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.3：通过特征融合层获取空间域特征Fs：
所述的特征融合层的输入为步骤3.2.2中的Fg，Fh，Fv；Fs的计算过程为：
其中，Fs表示空间域特征，p(·)为维度匹配函数，即在执行
操作之前将Fh和Fv扩展成与Fg大小相同的矩阵，而扩展位置填充为0，
表示按元素求和；
步骤3.3：频率域分支网络由输入层、频率变换层和门控线性单元GLU组成；该分支网络的输入层为步骤2得到的训练样本X；其余层分别由步骤3.3.1和3.3.2实现；
步骤3.3.1：使用频率变换层将输入层转换成频率域信息Fdct：
Fdct＝DCT(X)
其中，Fdct表示频率域信息，DCT(·)表示离散余弦变换函数；
步骤3.3.2：通过门控线性单元GLU选择频率域信息中的频率域特征FTf：
所述的门控线性单元GLU由两个分支组成，其中一个分支由全连接层和激活函数构成，另一个分支仅包含全连接层；两个分支的结果相乘即得到频率域特征FTf；所述的频率域特征 FTf的计算方式为：
首先将频率域信息进行维度转换，变为一维向量，其过程为：
FTdct＝T(Fdct)
其中，FTdct表示转变为一维向量后的频率域信息，T(·)表示维度转换函数；
然后将一维频率域信息输入到门控线性单元GLU，得到最终的频率域特征FTf：
FTf＝Linear1(FTdct)·δ(Linear2(FTdct))
其中，Linear1(·)，Linear2(·)分别表示参数不共享的全连接层，δ表示激活函数(使用Sigmoid)；
步骤3.4：对空间域特征Fs、频率域特征FTf进行特征信息融合，获得融合特征FA：
所述的融合特征FA的计算过程为：
首先将空间域的特征进行维度转换，变为一维向量，其过程为：
FTS＝T(FS)
其中，FTS表示转变为一维向量后的空间域特征，T(·)表示维度转换函数；
然后将空间域和频率域的一维特征FTs、FTf按列进行拼接，拼接后的特征记为FA；
步骤3.5：对FA经过两层全连接操作后得到Y：
Y＝ε(Wfc2(Wfc1FA))
其中Wfc1表示第一层全连接操作，Wfc2表示第二层全连接操作，ε表示Softmax函数，全连接后Y的维度为2×1的向量
其中a表示训练样本属于不变类的概率，b表示训练样本属于变化类的概率；当a＞b时，训练样本X的预测标签
等于a所属的类别即输出
当a＜b时，
等于b所属的类别即输出
步骤3.6：计算卷积神经网络的损失函数，所述损失函数使用交叉熵损失函数，计算过程为：
其中，yi为步骤2.2的训练集中第i个样本的真实标签，yi＝1表示输入数据的标签是1，即该位置像素是变化的，yi＝0表示输入数据的标签是0，即该位置像素是不变的，
表示第 i个样本的预测标签，
表示对输入数据的预测标签是1，即预测该位置像素是变化的，
表示对输入数据的预测标签是0，即预测该位置像素是不变的，T1为训练数据集的样本数量，i表示第i个训练样本，i＝1,2,ΛT1，log表示以10为底的对数操作；
然后使用随机梯度下降(SGD)算法优化区域增强卷积神经网络参数；
步骤4：将步骤2.3中的测试集输入到优化后的区域增强卷积神经网络，按照步骤3.2至 3.4所述过程获得关于测试集的预测标签；
步骤5：根据步骤4得到的预测标签，获得步骤1所述地点的变化结果图。
下面结合仿真实验对本发明的效果进一步说明：
本发明的仿真实验在Intel Xeon E5-2620、NVIDIA TITAN XP、内存16GB的硬件环境和 Ubuntu 16.04.6、Keras、Matlab2016a的软件环境下进行，实验对象为三组多时相SAR图像 Ottawa数据集、Sulzberger I数据集、Yellow River I数据集。Ottawa数据集由Radarsat卫星分别于1997年5月和8月在渥太华地区拍摄，大小为350×290像素，如图5第一行。Sulzberger I数据集分别于2011年3月11日和16日使用Envisat卫星采集的苏兹贝格冰架的图像，由欧洲航天局提供，大小为256*256，如图5第二行。Yellow River I数据集由Radarsat-2卫星于 2008年6月和2009年6月在黄河地区拍摄，大小为306×291像素，如图5第三行。本发明的仿真实验数据如图5所示。图5(c)是真实的SAR图像的仿真图的变化检测参考图。
本发明方法与现有比较先进的变化检测方法的对比结果参见图6。对比试验中的Principal Component Analysis and K-means Clustering(下述简写为PCAKM)方法是文章“Unsupervised change detection in satellite images using principalcomponent analysis and k-means clustering”中提出的；Extreme Learning Machine(下述简写为NR-ELM)方法是文章“Change detection from synthetic aperture radarimages based on neighborhood-based ratio and extreme learning machine”中提出的；Deep Neural Networks(下述简写为DBN)方法是文章“Change detection insynthetic aperture radar images based on deep neural networks”中提出的。DeepCascade Network(下述简写为DCN)方法是文章“Change Detection From SyntheticAperture Radar Images Based on Channel Weighting-Based Deep Cascade Network”如图6所示，虽然输入图像存在强烈噪声，本发明方法依旧能够获取多时相SAR图像中的变化信息，并且对噪声存在较好的鲁棒性。
如图6前四列所示，其它方法容易受到噪声干扰的影响，难以准确表达变化信息，而本方法在噪声干扰的情况下仍然能够精确识别并排除噪声。
本发明使用分类准确率(PCC)和Kappa系数(KC)在客观指标上与上述方法进行对比，计算方法如下：
其中，N为像素总数，OE＝FP+FN为错误总数，FP为误检数量，表示参考图中未发生变化的像素点被检测为变化的像素点的数量；FN为漏检数量，表示参考图中发生变化的像素点被检测为不变化的像素点的数量。PRE表示误检和漏检的数量和比例关系
PRE＝[(TP+FP-FN)×TP+(TN+FN-FP)×TN]/(N×N)
其中TP为真正变化的像素数量，TN为真正不变的像素数量。PCC和KC值越大说明变化检测结果越准确，噪声抑制能力越强。表1、表2和表3显示了本发明与上述方法的对比结果。从表中可以看到，本发明方法的PCC和KC值都是最高的，这说明本发明方法能够较准确地检测到输入图像中的变化信息，并且能够抑制噪声干扰。
表1 Ottawa数据集的变化检测方法实验结果
| 方法 | PCC(％) | KC(％) |
| PKAKM | 97.57 | 90.73 |
| NR-ELM | 98.26 | 93.38 |
| DBN | 98.33 | 93.76 |
| DCN | 98.30 | 93.54 |
| 本发明方法 | 98.43 | 94.01 |
表2 Sulzberger I数据集的变化检测方法实验结果
| 方法 | PCC(％) | KC(％) |
| PKAKM | 98.18 | 93.90 |
| NR-ELM | 97.63 | 91.95 |
| DBN | 98.61 | 95.18 |
| DCN | 98.80 | 95.87 |
| 本发明方法 | 98.82 | 96.17 |
表3 Yellow River I数据集的变化检测方法实验结果
| 方法 | PCC(％) | KC(％) |
| PKAKM | 93.76 | 78.32 |
| NR-ELM | 93.49 | 76.14 |
| DBN | 95.51 | 83.91 |
| DCN | 96.31 | 87.21 |
| 本发明方法 | 96.61 | 88.29 |
本发明所提供的基于区域增强卷积神经网络的方法主要为提高多时相遥感图像分析与理解专门提出的。但显然，本方法也适用于普通成像设备如数码相机所拍摄图像的分析，所取得的有益效果也是相似的。
以上对本发明所提供的基于区域增强卷积神经网络的遥感图像变化检测方法作了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。
Claims (1)
1.一种基于区域增强卷积神经网络的SAR图像变化检测方法，包括以下步骤：
步骤1：对同一区域的两幅多时相SAR图像进行差异分析，得到差分图像：
对所述的两幅多时相SAR图像使用对数比值法进行差异分析，获取两个时相SAR图像的差分图；
所述的差分图像的计算过程为：
IDI＝|logI1-logI2|
其中，I1和I2分别表示同一区域的两幅多时相SAR图像，IDI表示多时相SAR图像的差分图像，||表示绝对值操作，log表示以10为底的对数操作；
其特征是还包括以下步骤：
步骤2：对差分图像IDI进行预分类，构建训练数据集和测试数据集；
步骤2.1：对步骤1得到的差分图像使用多层模糊C均值聚类算法进行预分类，获得像素伪标签——0，0.5，1；
步骤2.2：从像素伪标签标记为0和1的像素中分别选取10％的像素，提取这些像素对应的像素点，并在步骤1得到的差分图像中，取这些像素点周围R×R的邻域作为训练集，R取值为不小于3的奇数，得到的训练集中样本的数量记为T1，该训练集的每一个样本X为R×R大小的像素块；若10％的像素中有像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤2.3：对于步骤1得到的差分图像，取所有像素点周围R×R的邻域像素作为测试数据集，R取值为不小于3的奇数，得到的测试集中样本的数量即像素点总数记为T2，该测试集为R×R大小的像素块；若像素点位于差分图像边缘，则通过填充0的方式产生该像素点的R×R的邻域；
步骤3：将步骤2得到的训练集用于区域增强卷积神经网络的训练：
步骤3.1：利用pytorch构建区域增强神经网络，所构建的网络是由两个分支组成，两个分支分别对同一个像素块在空间域和频率域进行处理：
步骤3.2：空间域分支的网络结构为：输入层——卷积层——区域增强卷积层——特征融合层；该分支网络的输入层为步骤2得到的训练样本；其余层分别由步骤3.2.1至3.2.3实现；
步骤3.2.1：对于该分支网络，卷积层用来提取输入层的低层特征F：
所述的卷积层由卷积核大小为3×3、卷积核个数为30的卷积层组成；低层特征F的计算公式为：
F＝σ(BN(XWl+bl))
其中，X表示该卷积层的输入即输入数据，BN表示批量归一化操作，σ表示激活函数，所使用的激活函数是RELU，Wl表示该卷积层的权重，个数为30，bl表示该卷积层的偏置，Wl和bl均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.2：通过该分支的区域增强卷积层得到不同区域的特征Fg，Fh，Fv：
由于不同通道的特征图具有较强的相关性，因此首先将F按照通道数从前往后平均分为3组，每组包含10个通道，分别为F1，F2，F3；对于F1，使用权重为Wg的3×3卷积核提取全局特征Fg；在F2上，取中心像素所在的行和与中心像素相邻的行记作特征F2'，对F2'使用权重为Wh的3×1行卷积核生成中心行特征Fh；相应的，在F3上取中心像素所在的列和与中心像素相邻的列记作特征F3'，对F3'使用权重为Wv的1×3列卷积核提取中心列特征Fv；
Fg，Fh，Fv的计算方法分别为：
Fg＝σ(BN(F1Wg+bg))
Fh＝σ(BN(F2'Wh+bh))
Fv＝σ(BN(F3'Wv+bv))
其中，Wg、Wh、Wv和bg、bh、bv分别表示该卷积层不同组的权重和偏置，均由随机初始化得到，并通过网络训练不断优化；
步骤3.2.3：通过特征融合层获取空间域特征Fs：
所述的特征融合层的输入为步骤3.2.2中的Fg，Fh，Fv；Fs的计算过程为：
其中，p(·)为维度匹配函数，即在执行
操作之前将Fh和Fv扩展成与Fg大小相同的矩阵，且扩展位置填充为0，
表示按元素求和；
步骤3.3：频率域分支网络由输入层、频率变换层和门控线性单元GLU组成；该分支网络的输入层为步骤2得到的训练样本X；其余层分别由步骤3.3.1和3.3.2实现；
步骤3.3.1：使用频率变换层将输入层转换成频率域信息Fdct：
Fdct＝DCT(X)
其中，Fdct表示频率域信息，DCT(·)表示离散余弦变换函数；
步骤3.3.2：通过门控线性单元GLU选择频率域信息中的频率域特征FTf：
所述的门控线性单元GLU由两个分支组成，其中一个分支由全连接层和激活函数构成，另一个分支仅包含全连接层；两个分支的结果相乘即得到频率域特征FTf；所述的频率域特征FTf的计算方式为：
首先将频率域信息进行维度转换，变为一维向量，其过程为：
FTdct＝T(Fdct)
其中，FTdct表示转变为一维向量后的频率域信息，T(·)表示维度转换函数；
然后将一维频率域信息输入到门控线性单元GLU，得到最终的频率域特征FTf：
FTf＝Linear1(FTdct)·δ(Linear2(FTdct))
其中，Linear1(·)，Linear2(·)分别表示参数不共享的全连接层，δ表示激活函数，所使用的激活函数是Sigmoid；
步骤3.4：对空间域特征Fs、频率域特征FTf进行特征信息融合，获得融合特征FA：
所述的融合特征FA的计算过程为：
首先将空间域的特征进行维度转换，变为一维向量，其过程为：
FTS＝T(FS)
其中，FTS表示转变为一维向量后的空间域特征，T(·)表示维度转换函数；
然后将空间域和频率域的一维特征FTS、FTf按列进行拼接，拼接后的特征记为FA；
步骤3.5：对FA经过两层全连接操作后得到Y：
Y＝ε(Wfc2(Wfc1FA))
其中Wfc1表示第一层全连接操作，Wfc2表示第二层全连接操作，ε表示Softmax函数，全连接后Y的维度为2×1的向量
其中a表示训练样本属于不变类的概率，b表示训练样本属于变化类的概率；当a＞b时，训练样本X的预测标签
等于a所属的类别即输出
当a＜b时，
等于b所属的类别即输出
步骤3.6：计算卷积神经网络的损失函数，所述损失函数使用交叉熵损失函数，计算过程为：
其中，yi为步骤2.2的训练集中第i个样本的真实标签，yi＝1表示输入数据的标签是1，即该位置像素是变化的，yi＝0表示输入数据的标签是0，即该位置像素是不变的，
表示第i个样本的预测标签，
表示对输入数据的预测标签是1，即预测该位置像素是变化的，
表示对输入数据的预测标签是0，即预测该位置像素是不变的，T1为训练数据集的样本数量，i表示第i个训练样本，i＝1,2,…,T1，log表示以10为底的对数操作；
然后使用随机梯度下降算法优化区域增强卷积神经网络参数；
步骤4：将步骤2.3中的测试集输入到优化后的区域增强卷积神经网络，按照步骤3.2至3.5所述过程获得关于测试集的预测标签；
步骤5：根据步骤4得到的预测标签，获得步骤1所述区域的变化结果图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011541881.XA CN112734695B (zh) | 2020-12-23 | 2020-12-23 | 基于区域增强卷积神经网络的sar图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011541881.XA CN112734695B (zh) | 2020-12-23 | 2020-12-23 | 基于区域增强卷积神经网络的sar图像变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734695A CN112734695A (zh) | 2021-04-30 |
| CN112734695B true CN112734695B (zh) | 2022-03-22 |
Family
ID=75604972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011541881.XA Active CN112734695B (zh) | 2020-12-23 | 2020-12-23 | 基于区域增强卷积神经网络的sar图像变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734695B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778207B (zh) * | 2023-06-30 | 2024-02-09 | 哈尔滨工程大学 | 一种基于空间频域的无监督深度多尺度sar图像变化检测方法 |
| CN117541791A (zh) * | 2023-11-23 | 2024-02-09 | 北京师范大学 | 基于多域可变形卷积的眼部结构分割方法、系统及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839257A (zh) * | 2013-12-24 | 2014-06-04 | 西安电子科技大学 | 一种广义高斯k&i的sar图像变化检测方法 |
| GB201614370D0 (en) * | 2016-08-23 | 2016-10-05 | Thales Holdings Uk Plc | Multilook coherent change detection |
| CN106875380A (zh) * | 2017-01-12 | 2017-06-20 | 西安电子科技大学 | 一种基于无监督深度神经网络的异质图像变化检测方法 |
| CN108447057A (zh) * | 2018-04-02 | 2018-08-24 | 西安电子科技大学 | 基于显著性和深度卷积网络的sar图像变化检测方法 |
| CN109919960A (zh) * | 2019-02-22 | 2019-06-21 | 西安工程大学 | 一种基于多尺度Gabor滤波器的图像连续边缘检测方法 |
| CN110659591A (zh) * | 2019-09-07 | 2020-01-07 | 中国海洋大学 | 基于孪生网络的sar图像变化检测方法 |
| CN110991547A (zh) * | 2019-12-12 | 2020-04-10 | 电子科技大学 | 一种基于多特征最优融合的图像显著性检测方法 |
| CN111275680A (zh) * | 2020-01-18 | 2020-06-12 | 中国海洋大学 | 基于Gabor卷积网络的SAR图像变化检测方法 |
| CN111339827A (zh) * | 2020-01-18 | 2020-06-26 | 中国海洋大学 | 基于多区域卷积神经网络的sar图像变化检测方法 |
-
2020
- 2020-12-23 CN CN202011541881.XA patent/CN112734695B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839257A (zh) * | 2013-12-24 | 2014-06-04 | 西安电子科技大学 | 一种广义高斯k&i的sar图像变化检测方法 |
| GB201614370D0 (en) * | 2016-08-23 | 2016-10-05 | Thales Holdings Uk Plc | Multilook coherent change detection |
| CN106875380A (zh) * | 2017-01-12 | 2017-06-20 | 西安电子科技大学 | 一种基于无监督深度神经网络的异质图像变化检测方法 |
| CN108447057A (zh) * | 2018-04-02 | 2018-08-24 | 西安电子科技大学 | 基于显著性和深度卷积网络的sar图像变化检测方法 |
| CN109919960A (zh) * | 2019-02-22 | 2019-06-21 | 西安工程大学 | 一种基于多尺度Gabor滤波器的图像连续边缘检测方法 |
| CN110659591A (zh) * | 2019-09-07 | 2020-01-07 | 中国海洋大学 | 基于孪生网络的sar图像变化检测方法 |
| CN110991547A (zh) * | 2019-12-12 | 2020-04-10 | 电子科技大学 | 一种基于多特征最优融合的图像显著性检测方法 |
| CN111275680A (zh) * | 2020-01-18 | 2020-06-12 | 中国海洋大学 | 基于Gabor卷积网络的SAR图像变化检测方法 |
| CN111339827A (zh) * | 2020-01-18 | 2020-06-26 | 中国海洋大学 | 基于多区域卷积神经网络的sar图像变化检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| Compressed Video Action Recognition;Manzil Zaheer，Hexiang Hu;《CVF Conf. Comput. Vis. Pattern Recognit.》;20171231;全文 * |
| Fractal Analysis and Texture Classification of High-Frequency Multiplicative Noise in SAR Sea-Ice Images Based on a Transform- Domain Image Decomposition Method;Iman Heidarpour Shahrezaei， Hyun-Cheol Kim;《IEEE Access》;20200227;全文 * |
| Learning in the Frequency Domain;Kai Xu，Minghai Qin，Fei Sun，Yuhao Wang等;《IEEE/CVF Conf. Comput. Vis. Pattern》;20200331;全文 * |
| 基于小波变换的多时相SAR图像变化检测技术;黄世奇，刘代志，胡明星，王仕成;《测绘学报》;20100430;全文 * |
| 基于小波的多级数集合分裂（SPIHT）雷达图像压缩与传输;安岳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080715;全文 * |
| 基于稀疏表示的SAR图像去噪和变化检测方法;接道伟;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20141115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734695A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659591B (zh) | 基于孪生网络的sar图像变化检测方法 | |
| Zhan et al. | Log-based transformation feature learning for change detection in heterogeneous images | |
| Julea et al. | Unsupervised spatiotemporal mining of satellite image time series using grouped frequent sequential patterns | |
| CN111339827A (zh) | 基于多区域卷积神经网络的sar图像变化检测方法 | |
| Ma et al. | Fast task-specific region merging for SAR image segmentation | |
| CN106875380B (zh) | 一种基于无监督深度神经网络的异质图像变化检测方法 | |
| CN112734695B (zh) | 基于区域增强卷积神经网络的sar图像变化检测方法 | |
| CN105844279A (zh) | 基于深度学习和sift特征的sar图像变化检测方法 | |
| Dong et al. | A multiscale self-attention deep clustering for change detection in SAR images | |
| CN110276746B (zh) | 一种鲁棒性遥感图像变化检测方法 | |
| Liang et al. | Maximum likelihood classification of soil remote sensing image based on deep learning | |
| CN112308873A (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
| Wang et al. | A novel hyperspectral image change detection framework based on 3D-wavelet domain active convolutional neural network | |
| CN116012364A (zh) | Sar图像变化检测方法和装置 | |
| CN114120137B (zh) | 一种基于时序植被遥感影像的湿地要素时空演变监测方法 | |
| Costantino et al. | Seismic source characterization from GNSS data using deep learning | |
| Seydi et al. | BDD-Net+: a building damage detection framework based on modified coat-net | |
| CN112270285B (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 | |
| CN111275680B (zh) | 基于Gabor卷积网络的SAR图像变化检测方法 | |
| Ji et al. | An automatic bad band pre-removal method for hyperspectral imagery | |
| CN116912582A (zh) | 一种基于表征模型的强鲁棒性高光谱目标检测方法 | |
| CN103903258B (zh) | 基于次序统计量谱聚类的遥感图像变化检测方法 | |
| Shuai et al. | A ship target automatic recognition method for sub-meter remote sensing images | |
| Albalooshi et al. | Deep belief active contours (DBAC) with its application to oil spill segmentation from remotely sensed sea surface imagery | |
| Du et al. | Target-driven change detection based on data transformation and similarity measures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |