CN115829996A

CN115829996A - 基于深度特征图的无监督合成孔径雷达图像变化检测方法

Info

Publication number: CN115829996A
Application number: CN202211645513.9A
Authority: CN
Inventors: 汪骏; 周兆忠; 曾非; 徐鑫鹏; 项新宇; 王芹
Original assignee: Quzhou University
Current assignee: Quzhou University
Priority date: 2022-12-20
Filing date: 2022-12-20
Publication date: 2023-03-21

Abstract

本发明公开了一种基于深度特征图的无监督合成孔径雷达图像变化检测方法，其实现步骤是：首先生成均值比差异图。然后利用模糊C均值聚类算法对差异图进行三分类处理，生成包含变化区域、不变化区域和不确定区域的初始结果图，并在初始结果图的变化区域和不变化区域内，分别选取像素做为伪标签；以伪标签为中心在两时刻SAR图像上划分图像块，组建训练样本集。接着将训练样本集对卷积神经网络模型进行训练，训练后进行变化检测分析，获取包含变化和非变化类别概率的预测结果图。再构建深度特征图能量函数，并利用最小割算法对其进行优化，以生成最终的变化结果图。本发明在抗噪能力和检测精度方面具有明确优势。

Description

基于深度特征图的无监督合成孔径雷达图像变化检测方法

技术领域

本发明涉及合成孔径雷达图像检测方法领域，具体是一种基于深度特征图的无监督合成孔径雷达图像变化检测方法。

背景技术

SAR传感器采用微波成像原理，可在任意大气条件下进行全天候、全天时的成像处理。介于此特性，SAR图像变化检测技术成为了当前遥感领域的研究热点，该技术旨在通过分析同一地区不同时间采集的SAR图像以获取该地区内地物的变化信息，此类信息可为军事及民生应用提供重要的数据指导。

一般来说，SAR图像变化检测技术主要分为两大类，即监督变化检测方法和无监督变化检测方法。其中，监督变化检测方法是先利用大量带标签的数据进行分类器训练，然后用训练好的分类器来预测变化检测结果。而无监督方法则是在没有任何先验信息的情况下，依据图像的某些特征进行变化信息的直接测量。两类方法各具优势，在SAR图像变化检测研究领域具有长足发展。

阈值法是最典型的无监督变化检测方法，其通过对差异图像进行统计建模分析，依据图像分布特性自行设置最优阈值，从而将图像划分为变化区域和非变化区域。然而，SAR图像中蕴含了大量的相干斑噪声，对统计建模造成了极大的干扰。聚类法无需对差异图进行统计建模，而是依据隶属度函数来聚集相似的像素，以使得类内差异最小，类间差异最大；其相对于阈值法存在更多的灵活性，因而受到了更多学者们的关注。除此之外，常见的无监督变化检测方法还包括：基于水平集的变化检测方法，基于场理论的变化检测方法，基于核理论的变化检测方法等。

目前，监督变化检测方法则主要以深度学习网络模型为核心，以标注数据为驱动，通过网络训练来挖掘SAR图像的深层次内在特征，进而实现对地物信息进行充分表征与描述，协助地物变化检测任务的执行。例如文献(Gong M.，Zhao J.，Liu J.，Miao Q.，JiaoL.，Change detection in synthetic aperture radar images based on deep neuralnetworks[J].IEEE Transactions on Neural Networks and Learning Systems，2017，27(1)：125-138.)中，Gong等人采用玻尔兹曼机模型对SAR图像进行变化检测研究，其借助玻尔兹曼机端对端的特殊结构，规避了差异图的构造需求，可在两时刻SAR图像中直接获得变化特征信息，执行变化检测任务。授权公告号为CN 108776968B，题为“基于深度森林的SAR图像变化检测方法”的中国专利，公开了一种将深度森林与图像梯度特征相结合的SAR图像变化检测方法，其将深度森林模型的检测结果与图像的梯度特征图相结合，强化变化区域边界的描述能力，提升变化检测的精度。

相较于无监督变化检测方法，基于深度学习的变化检测方法在训练完备情况下能展现出更好的检测结果。然而，高质量训练样本的难以获取约束了此类方法的实际应用。此外，深度学习模型常具有一定的倾向性，致使检测结果依旧存在优化的空间，同时大多数此类方法的后处理模式相对简单，亟需进一步的研究。

发明内容

本发明提供了一种基于深度特征图的无监督合成孔径雷达图像变化检测方法，以解决现有技术用于SAR图像的变化检测方法存在的检测结果精度不足的问题。

为了达到上述目的，本发明所采用的技术方案为：

基于深度特征图的无监督合成孔径雷达图像变化检测方法，包括以下步骤：

步骤1、获取合成孔径雷达的原始SAR数据，从原始SAR数据中得到两副不同时刻的待变化检测SAR图像X₁和X₂；

步骤2、对步骤1得到的待变化检测SAR图像X₁和X₂进行均值比运算，生成均值比差异图；

步骤3、利用经典模糊C均值聚类算法对步骤2得到的均值比差异图进行三分类处理，得到包含变化区域、不变化区域、不确定区域的初始结果图；从初始结果图中变化区域、不变化区域中的像素点选取伪标签，并基于伪标签的位置信息，从所述待变化检测SAR图像X₁和X₂中分别划分出图像块，以划分出的图像块与其对应的伪标签构建训练样本集；

步骤4、利用步骤3得到的训练样本集对卷积神经网络进行训练，然后将待变化检测SAR图像X₁和X₂输入至训练好的卷积神经网络，得到包含变化和非变化类别概率的预测结果图；

步骤5、将步骤4得到的预测结果图上的像素点设置为深度特征图模型的顶点，并利用K近邻规则对各顶点进行相互连接，得到深度特征图模型；

步骤6、在深度特征图模型的基础上，依据预测结果图中的变化和非变化类别概率信息，构建深度特征图能量函数，并利用最小割算法对深度特征图能量函数进行优化求解，获取能量最小化时的深度特征图顶点的类别分布，从而生成最终的变化检测结果。

进一步的，步骤1还包括：对原始SAR图像进行辐射校正和几何配准预处理，然后从预处理的图像中得到两个不同时刻的待变化检测SAR图像X₁和X₂。

进一步的步骤2中，求取步骤1中得到的待变化检测SAR图像X₁和X₂的局部块均值，并结合比值算子进行差异图生成，得到所述均值比差异图。

进一步的步骤3中，从初始结果图中变化区域、不变化区域分别选取28-32％数量的多个像素点作为伪标签。

进一步的，选取方式为随机选取。

进一步的，步骤4中所述卷积神经网络为最大池化的LeNet-5卷积神经网络。

进一步的，步骤4中训练时依据反向传播原则对卷积神经网络的网络参数进行训练。

进一步的，步骤6中深度特征图能量函数由概率约束项和空间上下文约束项组成。

与现有技术相比，本发明的有益效果为：

1)本发明利用模糊C均值聚类算法将均值比差异图进行了三分类处理，选取变化区域和非变化区域的可靠标签与原始图像块配对，共同组建高质量的训练样本数据集；在此基础上，完成LeNet-5卷积神经网络模型的训练与检测，生成优质的预测结果图。

2)本发明在预测结果图上进行深度特征图模型的构建，利用深度特征图模型的边进行预测概率的空间上下文关系描述，构建以概率信息驱动的深度特征图能量函数，并利用最小割算法进行能量优化，获取能量最小化时的深度特征图顶点的类别分布，完成变化区域和非变化区域的划分，从而使得变化检测结果更为平整和精确。

附图说明

图1是本发明实施例一中方法流程框图。

图2是本发明实施例二的实验中在淮河地区SAR图像上的变化检测结果，其中：图2(a)为淮河汛期SAR图像，图2(b)为淮河旱期SAR图像，图2(c)为人工解译参考图，图2(d)～(h)分别对应图割、主成分分析、卷积神经网络、模糊C均值聚类和本发明方法的变化检测结果。

图3是本发明实施例二的实验中在霍邱县SAR图像上的变化检测结果，其中：图3(a)为霍邱县淹没期SAR图像，图3(b)为霍邱县常时SAR图像，图3(c)为人工解译参考图，图3(d)～(h)分别对应图割、主成分分析、卷积神经网络、模糊C均值聚类和本发明方法的变化检测结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例一

如图1所示，本实施例公开了一种基于深度特征图的无监督合成孔径雷达图像变化检测方法，包括以下步骤：

步骤1、获取合成孔径雷达的原始SAR图像，对原始SAR图像依次进行括辐射校正和几何配准预处理，然后从预处理后的图像中国得到同一场景两个不同时刻的待变化检测SAR图像X₁和X₂。

步骤2、求取步骤1中得到的待变化检测SAR图像X₁和X₂的局部块均值，并结合比值算子进行差异图生成。设均值比差异图为DI(x，y)，则均值比差异图内的像素点为(x，y)，则均值比差异图DI(x，y)内像素点(x，y)所表示的变化程度由以下公式计算得到：

其中，f₁(x，y)为待变化检测SAR图像X₁上以像素点(x，y)为中心的3×3大小块均值；f₂(x，y)为待变化检测SAR图像X₂上以像素点(x，y)为中心的3×3大小块均值。

步骤3、利用经典模糊C均值聚类算法对步骤2得到的均值比差异图进行三分类处理，得到包含变化区域、不变化区域、不确定区域的初始结果图。

从初始结果图中变化区域、不变化区域中的像素点中，分别随机选取28-32％数量的多个像素点作为伪标签。本实施例中，选取比例最优为30％。

然后，以任意一个伪标签(x′，y′)为中心，分别在待变化检测SAR图像X₁和X₂上划分ω×ω大小的图像块P₁和P₂，将划分出的图像块P₁和P₂进行拼接，并与相应位置的伪标签配对，共同组建训练样本集。

步骤4、将带有伪标签的训练样本集输入到应用最大池化的LeNet-5卷积神经网络，依据反向传播原则对LeNet-5卷积神经网络的网络参数进行训练，得到训练好的卷积神经网络。

然后将待变化检测SAR图像X₁和X₂分别输入到训练完成后的卷积神经网络模型中进行变化检测分析，利用Softmax函数获取包含变化和非变化类别概率的预测结果图。该预测结果图大小为m×n×z，其中m×n为待变化检测SAR图像X₁和X₂的行列数，z为变化检测类别数，z分为变化概率z_c、非变化概率z_u两种。

步骤5、将预测结果图上的像素点设置为深度特征图模型的顶点，并利用K近邻规则对各顶点进行相互连接，得到深度特征图模型DFG＝{V，E，W}，其内部元素具体表示如下：

V＝{v₁，v₂，...，u_R}，|V|＝m·n，v_i＝{z_c，i，z_u，i}

E＝{(v_i，c_j)；v_j∈KNN(v_i)}

其中：V为深度特征图模型的顶点集；v_i＝{z_c，i，z_u，i}为深度特征图上任一顶点，该顶点蕴含预测的变化概率z_c，i与非变化概率z_u，i；E为依据K近邻规则连接的边，KNN(v_i)为顶点v_i的K近邻顶点集，v_j为近邻顶点集KNN(v_i)中任一顶点；W为边上权重，用以表征顶点间类别概率分布的相似性。

步骤6、依据预测结果图中的变化和非变化类别概率信息，构建深度特征图能量函数，并利用最小割算法对深度特征图能量函数进行优化求解，获取能量最小化时的深度特征图顶点的类别分布，从而生成最终的变化检测结果。

该深度特征图能量函数表示如下：

式中，D(l_i)为概率约束项，指代将标签l_i(变化l_c，i或非变化l_u，i)分配给顶点v_i所需的开销，D(l_i)可由如下公式求得：

D(l_i)＝-lnP r(v_i|l_i)

其中，Pr(v_i|l_i)为条件概率函数，z_c，i与z_u，i为步骤4中预测结果图内像素的变化类别概率和非变化类别概率。而U(l_i，l_j)为空间上下文约束项，用于惩罚顶点标签的不连续性(即l_i≠lj₎，U(l_i，l_j)计算公式如下：

U(l_i，l_j)＝δ(l_i，l_j)·W(v_i，c_j)

利用最小割算法对深度特征图能量函数φ(l)进行优化求解，获取能量最小化时的深度特征图顶点的类别分布，从而生成最终的变化检测结果。

实施例二

本实施例为实验例。本实施例选用了两组真实SAR图像数据进行对比实验，进一步说明实施例一所述变化检测方法的有效性。

1.实验设置：

实验环境：MATLAB 2022，Intel(R)Core(TM)i9-12700K，Windows 10。

实验数据：图2为Sentinel-1SAR卫星采集的淮河汛期和旱期SAR图像，空间分辨率5m，图像大小439×379像素；图3为Sentinel-1SAR卫星采集的霍邱县洪水灾害前后的SAR图像，空间分辨率10m，图像大小429×580像素。

实验参数：图像块大小ω＝21，近邻点数K＝8。

实验对比方法：分别采用了图割、主成分分析、卷积神经网络、模糊C均值聚类。

实验评价指标：分别选用漏检数、误检数、正确率及Kappa系数对变化检测结果进行量化评价。

2.实验结果与分析：

实验1分别应用图割、主成分分析、卷积神经网络、模糊C均值聚类和本发明方法对淮河汛期和旱期SAR图像进行变化检测。其结果如图2所示，图2(a)为淮河汛期SAR图像，图2(b)为淮河旱期SAR图像，图2(c)为人工解译参考图，图2(d)～(h)分别对应图割、主成分分析、卷积神经网络、模糊C均值聚类和本发明方法的变化检测结果。

实验2分别采用四种现有变化检测方法与本发明方法一同对霍邱县附近SAR图像进行变化检测。结果如图3所示，其中图3(a)为霍邱县淹没期SAR图像，图3(b)为霍邱县常时SAR图像，图3(c)为人工解译参考图，图3(d)～(h)分别对应图割、主成分分析、卷积神经网络、模糊C均值聚类和本发明方法的变化检测结果。

从图2、图3以及表1可以看出，实施例一所述变化检测方法的整体检测精度优于其他变化检测方法。原因在于实施例一所述变化检测方法应用了一种新型的可靠样本生成方式，提升了卷积神经网络模型的训练与预测效果；在此基础上，构建深度特征图模型，以图顶点概括预测的两类概率信息，以图边构建不同顶点概率的空间上下文信息，借助图割算法对卷积神经网络的预测结果进行后优化处理，以获得更为精确的变化检测结果。表1如下所示：

表1淮河及六安市地区SAR图像变化检测结果

上述实验结果表明，本发明与现有的SAR图像变化检测方法相比，在抗噪能力和检测精度方面具有明确优势。

本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域技术人员对本发明的技术方案做出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims

1.基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤1还包括：对原始SAR图像进行辐射校正和几何配准预处理，然后从预处理的图像中得到两副不同时刻的待变化检测SAR图像X₁和X₂。

3.根据权利要求1所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤2中，求取步骤1中得到的待变化检测SAR图像X₁和X2的局部块均值，并结合比值算子进行差异图生成，得到所述均值比差异图。

4.根据权利要求1所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤3中，从初始结果图中变化区域、不变化区域分别选取28-32％数量的多个像素点作为伪标签。

5.根据权利要求4所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，选取方式为随机选取。

6.根据权利要求1所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤4中所述卷积神经网络为最大池化的LeNet-5卷积神经网络。

7.根据权利要求6所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤4中，训练时依据反向传播原则对卷积神经网络的网络参数进行训练。

8.根据权利要求1所述的基于深度特征图的无监督合成孔径雷达图像变化检测方法，其特征在于，步骤6中，深度特征图能量函数由概率约束项和空间上下文约束项组成。