CN109272534B - 基于多粒度级联森林模型的sar图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于多粒度级联森林模型的SAR图像变化检测方法，主要解决传统方法对差异图的强依赖性问题，其实现方案是：给定两幅配准的多时相SAR图像I₁和I₂；对I₁和I₂用对数比算子生成差异图I_d；对I_d提取类哈尔特征并输入到训练好的多粒度级联森林模型，生成两个概率图I₁和I₀并与差异图I_d构成新特征；利用新特征重新训练模型，得到新的预测结果

把

的Kappa系数与上一次

的Kappa系数相较，选取系数较高的预测结果作为最终的变化检测结果。本发明能有效抑制差异图对最终结果的影响，提高变化检测的准确率，可用于环境检测和灾害检测。

Description

基于多粒度级联森林模型的SAR图像变化检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种SAR图像变化检测方法，可用于环境检测、农业调查、自然灾害检测、森林资源监测等。

背景技术

合成孔径雷达SAR具有高分辨率，可全天时、全天候工作的优势，被广泛应用于民用和军事领域。目前，自然环境的恶劣变化，城市的迅速发展，使得图像变化检测技术迅速崛起。

变化检测是用于检测同一地点在一段时间内所发生的变化情况，传统的变化检测方法采用Bruzzone等人在2002年提出的经典三步流程范式：1)预处理；2)生成差异图；3)分析差异图。由于SAR图像深受相干斑的影响，这种传统的方法的检测结果很大程度上依赖于差异图的性能，往往当差异图的性能不好时，产生的精度会很低。为了克服这个缺点，可利用具有强大的抽象表达能力的深度学习来进行变化检测。

随着近年来深度学习的火热，深度学习的应用越来越频繁。理论分析证明，深度学习能够学习表达抽象的复杂函数，深度结构由多层非线性结构组成。很多学者都利用深度学习来解决变化检测问题，例如Gong等人提出基于深度神经网络的SAR图像变化检测，利用堆叠的限制性波尔兹曼机，通过逐层的预训练及对整个网络的精调，取得了较高的精度；如Gao等人提出的基于PCANet的SAR图像变化检测，利用一种简化的CNN模型 PCANet从多时相图像中提取鲁棒的更易于分类的特征来实现变化检测。

上述大多数利用深度学习进行变化检测的方法是基于深度神经网络的，由于深度神经网络需要大量的训练样本，但是实际中可用于训练的具有标签的样本非常有限，这会严重影响此方法的性能；其次深度神经网络的超参数很多，调参困难，导致效率较低。

发明内容

本发明的目的在于针对传统方法的不足，提出一种基于多粒度级联森林模型的SAR 图像变化检测方法，以避免检测结果对差异图的强依赖性，减少训练所需要的样本数及可调节超参数的个数，提高检测精度和效率。

为实现上述目的，本发明基于多粒度级联森林模型的SAR图像变化检测方法，包括如下：

1.一种基于多粒度级联森林模型的SAR图像变化检测方法，其特征在于，包括如下步骤：

(1)给定两幅配准的具有相同尺寸的多时相SAR图像I₁和I₂，并对I₁和I₂使用对数比算子，生成归一化的差异图I_d；

(2)以归一化的差异图I_d的每个像素点为中心按大小为21×21取块，每个图像块作为一个样本，也就是每个样本对应一个像素点，然后对每个样本提取类哈尔特征；

(3)随机选取少量样本作为训练样本，利用训练样本的类哈尔特征对多粒度级联森林模型进行训练，得到训练好的多粒度级联森林模型；

(4)利用训练好的多粒度级联森林模型，对所有样本进行测试，得到预测结果

(5)生成两个概率图I₁和I₀

将所有样本的类哈尔特征输入到已训练好的多粒度级联森林模型，得到每个样本属于变化类的概率p1和属于非变化类的概率p0，其中，对每个样本有p1+p0＝1，用所有样本中属于变化类的概率p1构成第一概率图I₁，用所有样本中属于非变化类的概率p0 构成第二概率图I₀；

(6)利用差异图I_d、第一概率图I₁和第二概率图I₀构成新特征，重新训练多粒度级联森林模型，得到新预测结果

并将新预测结果

的Kappa系数与上一次预测结果

的Kappa系数进行比较，选择Kappa系数较高的预测结果作为最终的变化检测结果。

本发明与现有技术相比具有以下优点：

第一，由于本发明提取了输入SAR图像的差异图的类哈尔特征，并利用该特征对多粒度级联森林模型进行训练，两者的结合克服了传统方法对差异图的强依赖性，提高了SAR图像变化检测的精度。

第二，由于本发明采用了多粒度级联森林进行变化检测，在训练样本数量较少的情况下也能保持很好的检测效果；且多粒度级联森林的超参数较少，便于调节。

第三，由于本发明采用的多粒度级联森林是一种基于决策树的集成方法，便于对模型进行并行处理，可同时保证较高的检测准确率和时间效率。

附图说明

图1为本发明的实现流程图；

图2为用本发明对黄河农田C地区SAR图像的变化检测的仿真实验结果图；

图3为用本发明对黄河农田D地区SAR图像的变化检测的仿真实验结果图；

图4为用本发明对Bern地区SAR图像的变化检测的仿真实验结果图。

具体实施方式

下面结合图1对本发明的实施例和效果进行详细的描述。

参照图1，本发明的实现步骤如下：

步骤1：生成归一化的差异图。

(1a)给定两幅配准的具有相同的尺寸的多时相SAR图像I₁和I₂，对I₁和I₂使用对数比算子，生成差异图：

其中，log代表取自然对数操作，|·|表示取绝对值操作；

(1b)对差异图I_d1进行归一化，得到归一化后的差异图I_d：

其中，min(·)表示取最小值操作，max(·)表示取最大值操作。

步骤2：提取类哈尔特征。

(2a)对差异图I_d以每个像素点为中心取大小为W×H图像块；

(2b)计算图像块的积分图，积分图S定义为此图像块从左上角(0,0)到右下角(x,y)范围内所有像素值的和：

其中，1≤x≤W,1≤y≤H，(x',y')表示为左上角(0,0)到右下角(x,y)范围内任意像素点的位置，I代表图像块；

(2c)将每个图像块内的任意垂直矩形表示为：r_i＝(a,b,c,d)，其中i∈{1,...,N}，N表示图像块内的矩形个数，(a,b)表示矩形左上角像素点的位置，1≤a≤W,1≤b≤H，c表示矩形r_i的宽度，d表示矩形r_i的长度，c,d>0；

(2d)将矩形r_i中所有像素值的和表示为RS(r_i)，通过步骤(2b)得到的积分图S，计算矩形r_i的像素值之和RS(r_i)：

RS(r_i)＝S(a-1,b-1)+S(a+c-1,b+d-1)-S(a-1,b+d-1)-S(a+c-1,b-1)；

(2e)根据矩形r_i的像素值之和RS(r_i)，计算得到每个图像块的类哈尔特征f_I:

其中，ω_i表示第i个矩形的权重，r_i表示第i个矩形，N表示矩形的个数。

步骤3：训练多粒度级联森林模型。

(3a)多粒度扫描：

利用三个尺度分别为15×1，30×1和60×1的滑动窗口来扫描每一个类哈尔特征：假设有一个M维的类哈尔特征，利用一个15×1的滑动窗口进行扫描，产生(M-14)个的15×1维的特征；再利用一个30×1的滑动窗口进行扫描，产生(M-29)个的30×1维的特征；再利用一个60×1的滑动窗口进行扫描，产生(M-59)个的60×1维的特征；通过多粒度扫描，一个M维的类哈尔特征总共能产生(3M–102)个新特征，此操作使得特征更加丰富；

(3b)训练级联森林

级联森林由多个层级构成，它的每一层均是一个集成的决策树森林，设置每一层包括 2个随机森林和2个完全随机森林，每个森林都包含有20棵决策树；

利用多粒度扫描产生的特征对级联森林进行训练，得到训练好的多粒度级联森林模型。

步骤4：将所有样本输入到训练好的多粒度级联森林模型，对所有样本进行测试，得到预测结果

步骤5：生成两个概率图I₁和I₀。

将所有样本的类哈尔特征输入到已训练好的多粒度级联森林模型，得到每个样本属于变化类的概率p1和属于非变化类的概率p0，且对每个样本其p1+p0＝1；

用所有样本中属于变化类的概率p1构成第一概率图I₁；

用所有样本中属于非变化类的概率p0构成第二概率图I₀。

步骤6：生成最终的变化检测结果。

(6a)利用差异图I_d、概率图I₁和概率图I₀构成三通道图像；

(6b)对三通道图像的每个通道提取类哈尔特征，将三个通道对应位置提取的类哈尔特征首尾相接构成一个新的特征；

(6c)利用新特征重新训练多粒度级联森林模型，得到新的多粒度级联森林模型和新的预测结果

(6d)设Kappa系数为衡量变化检测结果图与对应参考图一致性的参数，其中参考图为人工标记的真实变化图像；计算第i+1次变化检测结果

的Kappa系数Kappaⁱ⁺¹和第 i次变化检测结果

的Kappa系数Kappaⁱ；

(6d1)计算第i+1次变化检测结果

的Kappa系数Kappaⁱ⁺¹；

首先，计算第i+1次被正确检测为变化类的像素点数：TPⁱ⁺¹＝N_c-FNⁱ⁺¹，其中，N_c表示参考图中变化类的像素点数，FNⁱ⁺¹表示第i+1次将变化类错检为未变化类的像素点数；

接着，计算第i+1次被正确检测为非变化类的像素点数：TNⁱ⁺¹＝N_u-FPⁱ⁺¹，其中， N_u表示参考图中非变化类的像素点数，FPⁱ⁺¹表示第i+1次将非变化类错测为变化类的像素点数；

接着，利用TPⁱ⁺¹和TNⁱ⁺¹计算第i+1次的实际一致率：

其中， N表示图像像素点的总数；

接着，利用所得的TPⁱ⁺¹，TNⁱ⁺¹，FPⁱ⁺¹，FNⁱ⁺¹，N_u，N_c和N计算第i+1次的理论一致率：

最后，利用PRAⁱ⁺¹和PREⁱ⁺¹计算得到第i+1的Kappa系数：

(6d2)计算第i次变化检测结果

的Kappa系数Kappaⁱ：

首先，计算第i次被正确检测为变化类的像素点数：TPⁱ＝N_c-FNⁱ，其中，N_c表示参考图中变化类的像素点数，FNⁱ表示第i次将变化类错检为未变化类的像素点数；

接着，计算第i次被正确检测为非变化类的像素点数TNⁱ＝N_u-FPⁱ，其中，N_u表示参考图中非变化类的像素点数，FPⁱ表示第i次将非变化类错测为变化类的像素点数；

接着，利用TPⁱ和TNⁱ计算第i次的实际一致率：

其中，N表示图像中像素点总数；

接着，利用所得的TPⁱ，TNⁱ，FPⁱ，FNⁱ，N_u，N_c和N计算第i次的理论一致率

最后，利用PRAⁱ和PREⁱ计算得到第i的Kappa系数：

(6d3)将Kappaⁱ⁺¹和Kappaⁱ进行比较，选择Kappa系数较高的预测结果作为最终的变化检测结果。

下面结合仿真实验对本发明的效果做进一步的说明。

1.仿真实验数据

本发明的仿真实验使用了三组真实的SAR图像数据及相应的参考图，其中：

第一组真实的SAR图像数据及相应的参考图是黄河农田C地区的SAR图像，如图 2所示，图像大小为257×289，其中图2(a)是2008年6月黄河农田C地区的SAR图像，图2(b)是2009年6月黄河农田C地区的SAR图像，图2(c)是黄河农田C地区相应的参考图。

第二组真实的SAR图像数据及相应的参考图是黄河农田D地区的SAR图像，如图 3所示，图像大小为306×291，其中图3(a)是2008年6月黄河农田D地区的SAR图像，图3(b)是2009年6月黄河农田D地区的SAR图像，图3(c)是黄河农田D地区相应的参考图。

第三组真实的SAR图像数据及相应的参考图是Bern地区的SAR图像，如图4所示，图像大小为301×301，其中图4(a)是1999年4月Bern地区的SAR图像，图4(b)是1999 年5月Bern地区的SAR图像，图4(c)是Bern地区相应的参考图。

2.仿真实验的评价指标

漏检FN：将变化类错检为未变化类的像素点数；

错检FP：将未变化类错检为变化类的像素点数；

OE：错检和漏检的总像素点数；

Kappa系数：衡量变化检测图与参考图一致性的参数。

3.仿真内容与结果

使用本发明在上述三组真实SAR图像数据集上进行测试，得到的变化检测图如图2(d)，3(d)，4(d)所示，得到的变化检测评价指标如表1所示。

表1

数据集	FP	FN	OE	Kappa
					黄河农田C	703	553	1256	0.9432
黄河农田D	195	138	333	0.9666
					Bern	106	121	227	0.8965

从表1中可以看出，三组数据均得到较高的Kappa系数。

将本发明在黄河农田C地区产生的变化检测图2(d)与对应的参考图2(c)进行对比，将本发明在黄河农田D产生的变化检测图3(d)和对应的参考图3(c)进行对比，将本发明在Bern地区产生的变化检测图4(d)和对应的参考图4(c)进行对比，可见本发明采用的方法能有效抑制差异图中的噪声对最终结果的影响，有效地降低了错检FP和漏检FN，提高了变化检测的Kappa系数。

Claims (5)

1.一种基于多粒度级联森林模型的SAR图像变化检测方法，其特征在于，包括如下步骤：

(1)给定两幅配准的具有相同尺寸的多时相SAR图像I₁和I₂，并对I₁和I₂使用对数比算子，生成归一化的差异图I_d；

(2)以归一化的差异图I_d每个像素点为中心按大小为21×21取块，每个图像块作为一个样本，也就是每个样本对应一个像素点，然后对每个样本提取类哈尔特征；

(3)随机选取少量样本作为训练样本，利用训练样本的类哈尔特征对多粒度级联森林模型进行训练，得到训练好的多粒度级联森林模型；

(4)利用训练好的多粒度级联森林模型，对所有样本进行测试，得到预测结果

(5)生成两个概率图T₁和T₀：

将所有样本的类哈尔特征输入到已训练好的多粒度级联森林模型，得到每个样本属于变化类的概率p1和属于非变化类的概率p0，其中，对每个样本有p1+p0＝1，用所有样本中属于变化类的概率p1构成第一概率图T₁，用所有样本中属于非变化类的概率p0构成第二概率图T₀；

(6)利用差异图I_d、第一概率图T₁和第二概率图T₀构成新特征，重新训练多粒度级联森林模型，得到新预测结果

并将新预测结果

的Kappa系数与上一次预测结果

的Kappa系数进行比较，选择Kappa系数较高的预测结果作为最终的变化检测结果。

2.如权利要求1所述的方法，其特征在于，步骤(1)中利用对数比算子生成归一化后的差异图I_d，按如下步骤生成：

(1a)根据多时相SAR图像I₁和I₂生成差异图：

其中，log代表取对数操作，|·|表示取绝对值操作；

(1b)对差异图I_d1进行归一化，得到归一化后的差异图：

其中，min(·)表示取最小值操作，max(·)表示取最大值操作。

3.如权利要求1所述方法，其特征在于，步骤(3)中的多粒度级联森林模型，包括多粒度窗口和级联森林两部分，其中：

所述多粒度窗口，包含三个大小分别为15×1，30×1和60×1的滑动窗口，利用三种滑动窗口分别扫描每个训练样本的类哈尔特征，能使特征更加丰富；

所述级联森林，由多个层级构成，它的每一层均是一个集成的决策树森林，设置每一层包括2个随机森林和2个完全随机森林，每个森林都包含了20棵决策树；

把多粒度窗口扫描产生的特征输入到级联森林，就得到训练好的多粒度级联森林模型。

4.如权利要求1所述方法，其特征在于，步骤(6)中用差异图I_d、第一概率图T₁和第二概率图T₀构成新特征，是先利用差异图I_d、第一概率图T₁和第二概率图T₀构成三通道图像；对每个通道提取类哈尔特征，再将三个通道对应位置提取的类哈尔特征首尾相接，得到新的特征。

5.如权利要求1所述方法，其特征在于，步骤(6)中Kappa系数，按如下公式计算：

其中，PRA表示实际的一致率，PRE表示理论的一致率：

其中，N表示图像总像素点数，N_c表示参考图中属于变化类的像素点数，N_u表示参考图中属于非变化类的像素点数，改参考图为人工标记的真实变化图像，TN表示被正确检测为变化类的像素点数，TP表示被正确检测为变化类的像素点数：

TN＝N_c-FN，

TP＝N_u-FP，

其中，FN表示将变化类错检为未变化类的像素点数；FP表示将非变化类错测为变化类的像素点数。

Images