CN107154054A

CN107154054A - 基于深度置信网络的极化sar影像变化检测方法

Info

Publication number: CN107154054A
Application number: CN201710364899.9A
Authority: CN
Inventors: 焦李成; 屈嵘; 李玉景; 马晶晶; 杨淑媛; 侯彪; 马文萍; 刘芳; 尚荣华; 张向荣; 张丹; 唐旭
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-05-22
Filing date: 2017-05-22
Publication date: 2017-09-12
Anticipated expiration: 2037-05-22
Also published as: CN107154054B

Abstract

基于深度置信网络的极化SAR影像变化检测方法，包括首先输入待检测的两幅同一地区、不同时相的极化SAR影像；对两时相的极化SAR影像数据配准；对配准后的影像降斑；进行初步人工标记；由两幅极化SAR影像的极化散射矩阵分别求得极化相干矩阵TA和TB；分别提取矩阵的对角线元素，级联构成基于像素点的特征矩阵F；归一化后得到特征矩阵F1；对特征矩阵F1中的每个元素取块，构成基于图像块的特征矩阵F2；根据F2得到训练数据集D的特征矩阵D1和测试数据集T的特征矩阵T1；构造基于深度置信网络的检测模型；用构造的数据集对检测模型训练；利用训练好的检测模型对待检测图像检测。本发明检测精度高。

Description

基于深度置信网络的极化SAR影像变化检测方法

技术领域

本发明属于图像处理领域，涉及一种基于深度置信网络的极化SAR影像变化检测方法。

背景技术

极化SAR是一种高分辨率主动式有源微波遥感成像雷达，具有全天候、全天时、分辨率高、可侧视成像等优点，能获得目标更丰富的信息。极化SAR图像变化检测方法是一种通过对不同时期同一地点的极化SAR成像比较分析，根据信息间的差异来获得同一地理位置不同时段地物信息变化的方法。极化SAR变化检测在军事领域、民用领域等有着广泛的应用。

相比于SAR图像，极化SAR图像包含的信息量更加丰富，继而能够更加完整的揭示目标的散射机理。但是由于极化SAR数据存在复杂性等原因，使得针对极化SAR图像的变化检测研究相对缓慢。经典的极化SAR变化检测主要流程包括有预处理、差异图提取、阈值分割、后处理以及图像融合等，其中差异图提取与阈值分割最为核心。

其中比较经典的算法有：极化似然比变化检测算法，该算法的应用前提是地物目标的极化协方差矩阵满足Wishart分布，但实际地物散射特性较为复杂，有时很难满足该条件，因此，使该算法的通用性受到限制；基于极化距离变化检测算法，该算法是针对复杂场景下某一特定类地物的变化而提出的；基于极化对比增强的变化检测算法，该算法利用极化对比度理论来提高变化区域与不变区域的对比度，以此来获得更好的检测效果；基于联合加权极化差异度的变化检测算法，该算法无需知道图像的统计分布，通用性强。

这些极化SAR变化检测方法由于均没有考虑到极化SAR图像的深层特征表示，因而对背景复杂的极化SAR图像难以得到较高的分类精度。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种基于深度置信网络的极化SAR影像变化检测方法，通过引入深度学习的方法，提高变化的检测精度。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

1)输入待检测的两幅同一地区、不同时相的极化SAR影像；

2)对两幅极化SAR影像进行数据配准；

3)对配准后的极化SAR影像通过滤波进行降斑；

4)对降斑后的极化SAR影像进行初步人工标记；

5)由两幅极化SAR影像的极化散射矩阵S分别求得极化相干矩阵TA和TB；

6)分别提取极化相干矩阵的对角线元素，级联构成基于像素点的特征矩阵F；

7)将特征矩阵F中的元素值归一化到[0，1]之间，记作F1；

8)根据归一化后的特征矩阵F1，取每个元素周围方块范围内的元素来代表原来的元素值，构成基于图像块的特征矩阵F2；

9)构造训练数据集D的特征矩阵D1以及测试数据集T的特征矩阵T1；

10)构造基于深度置信网络的检测模型；

11)用构造的数据集对检测模型进行训练，得到训练好的模型；

12)利用训练好的模型对待检测图像进行检测，得到待检测图像中，两个时相对应每个像素点的类别，划分为变化类和未变化类。

所述的步骤2)通过ENVI软件对两幅不同时相的极化SAR影像进行数据配准。

所述的步骤3)对配准后的极化SAR影像通过精致Lee滤波进行降斑。

所述的步骤5)在后向散射的情况下，因为互异性有S_HV＝S_VH＝S_x；

其中：

式中，<·>表示在假设随机散射介质各向同性下的空间平均统计特性。

步骤6)待检测的两幅极化SAR影像通过东京的ALOS传感器获取L波段全极化数据，影像大小为500*500；构成特征矩阵F的具体步骤包括：

6a)已知待检测的两幅同一地区、不同时相的极化SAR影像的极化相干矩阵TA和TB，由A时相的极化相干矩阵TA得到其对角线上的三个元素TA11、TA22、TA33，分别代表极化相干矩阵TA第1行第1列的元素、极化相干矩阵TA第2行第2列的元素、极化相干矩阵TA第3行第3列的元素；B时相的极化SAR影像进行同样的处理，由B时相的极化相干矩阵TB得到其对角线上的三个元素TB11、TB22、TB33，表示极化相干矩阵TB第1行第1列的元素、极化相干矩阵TB第2行第2列的元素、极化相干矩阵TB第3行第3列的元素；

6b)定义一个大小为M1×M2×6的矩阵F，将TA11、TA22、TA33，TB11、TB22、TB33进行级联，并赋给矩阵F，得到基于像素点的特征矩阵F；

其中M1为待检测极化SAR影像的长，M2为待检测极化SAR影像的宽；

F＝[TA₁₁、TA₂₂、TA₃₃；TB₁₁、TB₂₂、TB₃₃]。

步骤7)先求出特征矩阵F绝对值的对数值log(abs(F))，得到对数特征矩阵log_F；再将对数特征矩阵log_F中的每个元素均减去最小值min(log_F)，得到特征矩阵m_F；最后将特征矩阵m_F中的每个元素均除以max(m_F)，得到归一化后的特征矩阵F1，式中

log_F＝log(abs(F))

m_F＝log_F-min(log_F)。

F1＝m_F/max(m_F)

所述的步骤8)中取每个元素周围5*5的块代表原来的元素值。

所述步骤9)的具体操作为：

9a)构造2分类问题，0表示未变化，1表示变化，记录每个类别对应的像素点在待检测图像中的位置，生成两种对应不同类像素点的位置A1、A2，其中，A1对应变化类像素点在待检测图像中的位置，A2对应未变化类像素点在待检测图像中的位置；

9b)若A1<A2，则从A1、A2中随机选取个元素，否则，从A1、A2中随机选取个元素，之后生成2种对应不同类别的样本，作为训练数据集像素点的位置B1、B2，其中，B1为对应变化类中被选作训练数据集的像素点在待检测图像中的位置，B2为对应未变化类中被选作训练数据集的像素点在待检测图像中的位置；将B1、B2中的元素合并，打乱并组成训练数据集的所有像素点在待检测图像中的位置L1，构成训练数据D；

9c)用A1、A2中的其余元素生成2种对应不同类别的样本，作为测试数据集的像素点的位置C1、C2，其中C1为对应变化类中被选作测试数据集的像素点在待检测图像中的位置，C2为对应未变化类中被选作测试数据集的像素点在待检测图像中的位置；将C1、C2中的元素合并，打乱并组成测试数据集的所有像素点在待检测图像中的位置L2，构成测试数据T；

9d)定义训练数据集D的特征矩阵D1，在基于图像块的特征矩阵F2中依据L1取对应位置上的值，并赋值给训练数据集D的特征矩阵D1；

9e)定义测试数据集T的特征矩阵T1，在基于图像块的特征矩阵F2中依据L2取对应位置上的值，并赋值给测试数据集T的特征矩阵T1。

所述训练数据集D中的训练样本占9％，测试数据T中的测试样本占91％。

所述步骤10)的具体操作为：

10a)将可视层作为输入层，隐层作为特征层，由输入层至特征层训练无监督RBM层；

10b)使用两个RBM堆栈在一起，得到一个由输入层至不同隐层再到softmax分类器框架的深度置信网络DBN，将训练好的RBM网络权重W初始化给深度置信网络DBN；

每层的参数如下：

对于第1层的输入层，设置输入层5*5*6＝150；

对于第2层的隐层1，设置网络节点数为256；

对于第3层的隐层2，设置网络节点数为64；

对于第4层的softmax分类器，设置输出层为2。

所述的步骤11)将训练数据集D的特征矩阵D1和测试数据集T的特征矩阵T1均拉成一列作为检测模型的输入，训练数据集D中每个像素点的类别作为检测模型的输出，通过求解上述类别与初步人工标记正确类别之间的误差并对误差进行反向传播，优化检测模型的网络参数，得到训练好的检测模型；所述的步骤12)将待检测图像送入已经训练好的模型，训练好的模型输出为对待检测图像中每个像素点进行检测得到的检测类别。

与现有技术相比，本发明根据归一化后的特征矩阵F1，取每个元素周围方块范围内的元素来代表原来的元素值，构成基于图像块的特征矩阵F2，由于将像素级特征扩展成图像块特征，能够同时获取谱段信息和空间信息。此外，通过构造训练数据集和测试数据集，并且使用训练数据集对检测模型进行训练，得到训练好的模型，再利用训练好的模型对测试数据集进行检测，得到测试数据集中，两个时相对应每个像素点的类别，由于引入深度学习的方法，使得本发明能自动学习到两时相极化SAR图像的深层特征，进而提高了变化检测精度。

附图说明

图1本发明检测方法的整体流程图；

图2(a)2006年4月拍摄的第一组仿真实验图，大小为500*500；

图2(b)2009年7月拍摄的第二组仿真实验图，大小为500*500；

图3(a)本发明对500*500待检测图像的检测效果图；

图3(b)基于块的变化检测方法(PPCD)对500*500待检测图像的检测效果图；

图4(a)由2006年4月拍摄的第一组仿真实验图构造而来的仿真实验图，大小为302*450；

图4(b)由2009年7月拍摄的第二组仿真实验图构造而来的仿真实验图，大小为302*450；

图5(a)本发明中对待检测构造图像的groundtruth标准图；

图5(b)本发明对302*450待检测构造图像的检测效果图；

图5(c)基于块的变化检测方法(PPCD)对302*450待检测构造图像的检测效果图；

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图1，本发明基于深度置信网络的极化SAR影像变化检测方法实现步骤如下：

步骤1，输入待检测的两幅同一地区不同时相的极化SAR影像；

步骤2，使用ENVI软件对两时相的极化SAR数据配准；

步骤3，使用精致Lee滤波分别对配准后的图像降斑；

步骤4，对两幅配准并降斑后的同一地区不同时相的极化SAR图像进行初步人工标记；

步骤5，由两幅极化SAR图像的极化散射矩阵S分别求得极化相干矩阵TA和TB，在后向散射的情况下，因为互异性有S_HV＝S_VH＝S_x；

其中：

其中，<·>表示在假设随机散射介质各向同性下的空间平均统计特性。

步骤6，分别提取两幅极化SAR影像的相干极化矩阵的对角线元素，并进行级联，构成基于像素点的特征矩阵F；

待检测的两幅极化SAR影像选用东京的ALOS传感器获取的L波段全极化数据，图像大小为500*500。

(6a)已知待检测的两幅同一地区不同时相的极化SAR影像的极化相干矩阵TA和TB，由A时相的极化相干矩阵TA得到其对角线上的三个元素TA₁₁、TA₂₂、TA₃₃，即极化相干矩阵TA第1行第1列的元素、极化相干矩阵TA第2行第2列的元素、极化相干矩阵TA第3行第3列的元素；B时相的极化SAR影像做同样的处理。即由B时相的极化相干矩阵TB得到其对角线上的三个元素TB₁₁、TB₂₂、TB₃₃，即极化相干矩阵TB第1行第1列的元素、极化相干矩阵TB第2行第2列的元素、极化相干矩阵TB第3行第3列的元素；

(6b)定义一个大小为M1×M2×6的矩阵F，将TA₁₁、TA₂₂、TA₃₃，TB₁₁、TB₂₂、TB₃₃进行级联，并赋给矩阵F，得到基于像素点的特征矩阵F。其中M1为待检测极化SAR图像的长，M2为待检测极化SAR图像的宽。

F＝[TA₁₁、TA₂₂、TA₃₃，TB₁₁、TB₂₂、TB₃₃] <2>

步骤7，将基于像素点的特征矩阵F中的元素值归一化到[0，1]之间，记作F1；

本实例采用归一化方法，即先求出基于像素点的特征矩阵F的绝对值的对数值log(abs(F))，得到对数特征矩阵log_F；再将基于像素点的特征矩阵log_F中的每个元素均减去最小值min(log_F)，得到特征矩阵m_F；最后将基于像素点的特征矩阵m_F中的每个元素均除以max(m_F)，得到归一化后的特征矩阵F1。

步骤8，用归一化后的特征矩阵F1中每个元素取周围5*5的块代表原来的元素值，构成基于图像块的特征矩阵F2。

步骤9，构造训练数据集D的特征矩阵D1和测试数据集T的特征矩阵T1。

(9a)将极化SAR影像变化检测当作2分类问题(0:未变化，1:变化)，记录每个类别对应的像素点在待检测图像中的位置，生成2种对应不同类像素点的位置A1、A2，其中A1对应变化类像素点在待检测图像中的位置，A2对应未变化类像素点在待检测图像中的位置；

(9b)为平衡变化类和未变化类样本，若A1<A2，则从所述A1、A2中随机选取个元素，否则，从所述A1、A2中随机选取个元素，之后生成2种对应不同类别的样本当作训练数据集的像素点的位置B1、B2，其中B1为对应变化类中被选作训练数据集的像素点在待检测图像中的位置，B2为对应未变化类中被选作训练数据集的像素点在待检测图像中的位置，并将B1、B2中的元素合并，打乱并组成训练数据集的所有像素点在待检测图像中的位置L1，构成训练数据D；

(9c)用A1、A2中其余元素生成2种对应不同类别的样本当作测试数据集的像素点的位置C1、C2，其中C1为对应变化类中被选作测试数据集的像素点在待检测图像中的位置，C2为对应未变化类中被选作测试数据集的像素点在待检测图像中的位置，并将C1、C2中的元素合并，打乱并组成测试数据集的所有像素点在待检测图像中的位置L2，构成测试数据T；

(9d)定义训练数据集D的特征矩阵D1，在基于图像块的特征矩阵F2中依据L1取对应位置上的值，并赋值给训练数据集D的特征矩阵D1；

(9e)定义测试数据集T的特征矩阵T1，在基于图像块的特征矩阵F2中依据L2取对应位置上的值，并赋值给测试数据集T的特征矩阵T1。

训练数据集D中的训练样本占9％，测试数据T中的测试样本占91％。

步骤10，构造基于深度置信网络的检测模型。

(10a)训练无监督RBM层，可视层(输入层)→隐层(特征层)。

(10b)使用两个RBM堆栈在一起，得到一个输入层→隐层1→隐层2→softmax分类器框架的深度置信网络(DBN),将训练好的RBM网络权重W初始化给DBN。

每层的参数如下：

对于第1层输入层，设置150(其中5*5*6＝150)；

对于第2层隐层1，设置网络节点数为256；

对于第3层隐层2，设置网络节点数为64；

对于第4层softmax分类器，设置输出层为2。

步骤11，用构造的数据集对检测模型进行训练，得到训练好的模型；

将训练数据集D的特征矩阵D1和测试数据集T的特征矩阵T1(拉成一列)作为检测模型的输入，训练数据集D中每个像素点的类别作为检测模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化检测模型的网络参数，得到训练好的检测模型。

步骤12，利用训练好的检测模型对待检测图像进行检测。

将待检测图像送入已经训练好的网络模型，训练好的检测模型的输出为对待检测图像中每个像素点进行检测得到的检测类别。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G。

软件平台为：Theano。

2.仿真内容与结果：

采用本发明方法在上述仿真条件下进行实验，实验中，训练样本占9％，参见图3(a)和图5(b)，检测结果的区域一致性较好，不同区域划分后的边缘也非常清晰，且保持了细节信息。将网络训练好的模型保存后，测试第二幅构造仿真图(有真实类标)。

得到的结果如表1所示：

表1

method	PCC(第二组测试图)	kappa(第二组测试图)
			PPCD	0.8857	0.3916
本发明	0.9692	0.8127

从表1可见，本发明的测试数据集检测精度高于PPCD。

综上所述，本发明通过引入深度学习方法，提取两时相极化SAR影像的深层特征，有效提高了图像特征的表达能力，提高了极化SAR影像变化检测的精度。

Claims

1.一种基于深度置信网络的极化SAR影像变化检测方法，其特征在于，包括以下步骤：

1)输入待检测的两幅同一地区、不同时相的极化SAR影像；

2)对两幅极化SAR影像进行数据配准；

3)对配准后的极化SAR影像通过滤波进行降斑；

4)对降斑后的极化SAR影像进行初步人工标记；

7)将特征矩阵F中的元素值归一化到[0，1]之间，记作F1；

10)构造基于深度置信网络的检测模型；

2.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于：所述的步骤2)通过ENVI软件对两幅不同时相的极化SAR影像进行数据配准。

3.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于：所述的步骤5)在后向散射的情况下，因为互异性有S_HV＝S_VH＝S_x；

<mrow> <msub> <mrow> <mo>&lsqb;</mo> <mi>T</mi> <mo>&rsqb;</mo> </mrow> <mrow> <mn>3</mn> <mo>&times;</mo> <mn>3</mn> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mo><</mo> <mo>|</mo> <mi>A</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <msup> <mi>AB</mi> <mo>*</mo> </msup> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <msup> <mi>AC</mi> <mo>*</mo> </msup> <mo>></mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo><</mo> <msup> <mi>A</mi> <mo>*</mo> </msup> <mi>B</mi> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <mo>|</mo> <mi>B</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <msup> <mi>BC</mi> <mo>*</mo> </msup> <mo>></mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo><</mo> <msup> <mi>A</mi> <mo>*</mo> </msup> <mi>C</mi> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <msup> <mi>B</mi> <mo>*</mo> </msup> <mi>C</mi> <mo>></mo> </mrow> </mtd> <mtd> <mrow> <mo><</mo> <mo>|</mo> <mi>C</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>></mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中：

4.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于：步骤6)待检测的两幅极化SAR影像通过传感器获取L波段全极化数据，影像大小为500*500；

F＝[TA₁₁、TA₂₂、TA₃₃；TB₁₁、TB₂₂、TB₃₃]。

5.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于：步骤7)先求出特征矩阵F绝对值的对数值log(abs(F))，得到对数特征矩阵log_F；再将对数特征矩阵log_F中的每个元素均减去最小值min(log_F)，得到特征矩阵m_F；最后将特征矩阵m_F中的每个元素均除以max(m_F)，得到归一化后的特征矩阵F1，式中

log_F＝log(abs(F))

m_F＝log_F-min(log_F)。

F1＝m_F/max(m_F)

6.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于，所述步骤9)的具体操作为：

9b)若A1<A2，则从A1、A2中随机选取个元素，否则，从A1、A2中随机选取个元素，之后生成2种对应不同类别的样本，作为训练数据集像素点的位置B1、B2，其中，B1为对应变化类中被选作训练数据集的像素点在待检测图像中的位置，B2为对应未变化类中被选作训练数据集的像素点在待检测图像中的位置；将B1、B2中的元素合并，打乱并组成训练数据集的所有像素点在待检测图像中的位置L1，构成训练数据集D；

7.根据权利要求6所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于：所述训练数据集D中的训练样本占9％，测试数据T中的测试样本占91％。

8.根据权利要求1所述基于深度置信网络的极化SAR影像变化检测方法，其特征在于，所述步骤10)的具体操作为：

每层的参数如下：

对于第1层的输入层，设置输入层5*5*6＝150；

对于第2层的隐层1，设置网络节点数为256；

对于第3层的隐层2，设置网络节点数为64；

对于第4层的softmax分类器，设置输出层为2。