CN114005046A - 基于Gabor滤波器和协方差池化的遥感场景分类方法 - Google Patents

Abstract

本发明涉及遥感图像处理领域技术领域，公开了基于Gabor滤波器和协方差池化的遥感场景分类方法，包括以下步骤：将高分辨率遥感图像分为训练集和测试集，训练集用于训练卷积神经网络模型；将训练集中的高分辨率遥感图像进行归一化处理，归一化处理后的高分辨率遥感图像输入Gabor函数的卷积层提取特征；将提取的特征输入协方差池化模块，获得图像的深层特征；根据图像的深层特征，通过反向传播得到卷积神经网络模型的模型参数，通过全连接层对图像的深层特征进行分类；使用测试集验证卷积神经网络模型对遥感场景的分类精度，这种基于Gabor滤波器和协方差池化的遥感场景分类方法，能够提高在高分辨率场景下的分类精度。

Description

基于Gabor滤波器和协方差池化的遥感场景分类方法

技术领域

本发明涉及遥感图像处理领域技术领域，特别涉及基于Gabor滤波器和协方差池化的遥感场景分类方法。

背景技术

随着遥感技术的飞速发展，高分辨率遥感分类问题成为热门问题。

传统方法使用普通卷积方式，普通神经网络卷积方式在进行卷积的同时会遗漏特征信息。尤其针对高分辨率遥感场景分类问题来说，这种遗漏会更加明显，导致场景分类的效果不够理想。

传统方法使用全局池化的方式，限制了深层CNN网络的表示和泛化能力。深度CNN网络的最后一个卷积层的输出尺寸通常很大，但是特征数很少。在这种情况下，全局池化的方式并不优秀。

本发明能够进一步提高在高分辨率场景下的分类精度。

发明内容

本发明提供基于Gabor滤波器和协方差池化的遥感场景分类方法，达到可以捕获更丰富的特征信息，提高CNN网络的表示能力和泛化能力，从而达到更好的分类效果。

本发明提供基于Gabor滤波器和协方差池化的遥感场景分类方法，包括以下步骤：

S1、获取高分辨率遥感图像；

S2、将高分辨率遥感图像分为训练集和测试集，训练集用于训练卷积神经网络模型；

S3、将训练集中的高分辨率遥感图像进行归一化处理，归一化处理后的高分辨率遥感图像输入卷积神经网络模型中的Gabor函数的卷积层提取特征；

S4、将提取的特征输入卷积神经网络模型中协方差池化模块，进行采样操作，获得图像的深层特征；

S5、根据图像的深层特征，通过反向传播得到卷积神经网络模型的模型参数，模型参数包括：卷积神经网络模型中卷积层的权重和偏置，根据模型参数通过全连接层对图像的深层特征进行分类，从而实现对遥感场景的分类；

S6、使用测试集验证卷积神经网络模型对遥感场景的分类精度。

上述Gabor函数为：

x'＝x cosθ_m+y sinθ_m (2)

y'＝-x sinθ_m+y cosθ_m (3)

Gabor函数的实数部分为：

Gabor函数的虚数部分为：

Gabor函数并行条纹的方向用θ表示，且θ的取值范围为0到360度，相位偏移

满足均匀分布的U(0,π)；σ表示函数内的高斯因子的标准差，i为虚数单位，其中Gabor滤波器的频率ω_n和方向θ_M通过以下公式计算得到：

上述步骤S3中将训练集中的高分辨率遥感图像进行归一化处理后输入Gabor函数的卷积层提取特征的具体步骤包括：

S31、输入的高分辨率遥感图像经过归一化层的处理后，归一化至均值为0，方差为1；

S32、随机初始化Gabor卷积层的权重；

S33、再将归一化处理之后的高分辨率遥感图像送入初始化权重后的Gabor卷积层；

S34、通过Gabor卷积提取输入的高分辨率遥感图像的方向和比例信息。

上述Gabor卷积层的权重，其尺寸为：C_out×C_in×N×H×W，C_out和C_in分别表示输出和输入特征图的通道，其中，N为卷积核的通道数，H和W为输出特征图的高和宽；

为了在前向卷积过程中使特征图的通道数量保持一致，这里将N看作U，对于给定的频率v，定义不同尺度的Gabor卷积为：

式(8)中C_i,o是一个能够自学习的卷积核，G(u,v)代表一组具有不同方向和比例的Gabor卷积，u表示方向，v表示频率，为表示G(u,v)²和C_i,o之间的逐元素乘积运算，因此Gabor卷积被定义为：

从上述公式，Gabor卷积的方式显着增强深层特征中的比例和方向信息，因此通过Gabor卷积的输出特征图

为：

式(10)中C_i表示第i个Gabor卷积，F表示输入特征图，

的通道数通过以下的卷积运算获得：

式(11)中(n)表示F和C_i,u的第n个通道，

表示输出特征图

第k个方向的相应输出特征图；

Gabor卷积中的前向计算中涉及的权重尺寸是C_out×C_in×N×W×W，但是保存的权重是自学习后得到的，因此，在反向传播过程中，只有C_i,o需要更新，需要将Gabor卷积得到的参数进行梯度求和，卷积得到的参数梯度求和是为了在卷积神经网络中能够进行反向传播，进而使得整个网络在损失函数上找到一个最优解，参数梯度求和如下：

其中L是损失函数，从式(12)发现Gabor卷积这种更新C_i,o的方式更加紧凑和高效，能够有效提取并保存图像中更多的特征信息。

上述步骤S4中协方差池化模块采用全局协方差池化，属于二阶池化，捕捉图像的深层特征，具体方法如下：

输入特征矩阵X∈R^C×M，其中R表示维度空间，表示X的维度空间为X*M，C为通道数，M＝W×H，则其协方差计算结果为：

式(13)中I代表M×M的单位矩阵，1为M×M的全是1的矩阵，T代表矩阵的转置；

由于协方差矩阵的平方根是正定矩阵，并且能够进行特征值分解EIG(EigenDecomposition)；使用迭代式的矩阵平方根算法对EIG进行计算，计算EIG是为了求解矩阵的逆；

对于一个给定的正定矩阵A，EIG分解为：

A＝Udiag(λ_i)U^T (14)

式(14)中diag(λ_i)是一个对角矩阵，U是一个正交矩阵，则A的平方根Y为：

使用牛顿舒尔茨迭代式的矩阵平方根算法对EIG进行计算；

假设对于k＝1,…,N,Y₀＝A,Z₀＝I，则其迭代式为：

Y_k＝Y_k-1Plm(Z_k-1Y_k-1)_qlm(Z_k-1Y_k-1)^-1

Z_k＝_Plm(Z_k-1Y_k-1)_qlm(Z_k-1Y_k-1)^-1Z_k-1 (16)

在式(16)中，lmPlm和qlm代表不同的多项式，l和m是非负整数，当l＝0,m＝1时，即为牛顿舒尔茨迭代式，因此有：

经过几次迭代得到与EIG计算极为接近的结果。

上述步骤S5中根据图像的深层特征，通过反向传播得到卷积神经网络的模型参数的具体步骤包括：

对所述协方差∑进行如下处理:

为了将协方差池化加入卷积神经网络模型，还需要计算协方差池化输入矩阵的损耗函数L的导数，令

为全连接层传播的导数，则

和

的关系为：

特征F由下式推得：

dF＝dU log(∑)U^T+Ud(log(∑))U^T+U log(∑)dU^T (20)

联立得：

对于给定的

和

计算得：

所以：

dC＝dU∑U^T+Ud∑U^T+U∑dU^T (23)

过矩阵的特征值分解性质推得：

其中K的计算公式为：

综上所述，对于给定的

计算损失函数L对特征矩阵X的导数，通过计算对损失函数的导数来寻找损失函数的最小值，然后通过反向传播的方式对卷积神经网络的参数进行更新，L对x的导数为：

式(26)中I代表M×M的单位矩阵，通过反向传播得到最好的模型参数，更好地实现对遥感场景图片的分类。

与现有技术相比，本发明的有益效果在于：

本发明利用Gabor滤波器的可转向性增强特征，使得传统卷积方式提取不到的浅层特征被提取出来。

本发明用协方差池化代替传统的全局池化，从而达到可以捕获更丰富的特征信息，提高CNN网络的表示能力和泛化能力，从而达到更好的分类效果，能够提高在高分辨率场景下的分类精度。

附图说明

图1为本发明提供的基于Gabor滤波器和协方差池化的遥感场景分类方法的步骤图。

图2为本发明提供的Gabor卷积方式中输入和输出的关系图。

图3为本发明提供的基于Gabor滤波器和协方差池化的算法结构图。

具体实施方式

下面结合附图1，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，本发明实施例提供的基于Gabor滤波器和协方差池化的遥感场景分类方法，包括以下步骤：

S1、获取高分辨率遥感图像；

S2、将高分辨率遥感图像分为训练集和测试集；

S3、将训练集的高分辨率遥感图像进行归一化处理后输入Gabor卷积层提取特征；

Gabor函数为

其中Gabor滤波器的频率ω_n和方向θ_m通过以下公式计算得

由上述公式推导发现，Gabor函数从理论上对神经网络提取遥感图像的结构特征起到帮助，进而提升网络的分类性能，接下来需要将这种算法转换为Gabor卷积。Gabor卷积核的定义为：

其中u是方向，v指的是频率，且σ＝2π，其中z＝(x,y)，

由上述公式发现Gabor卷积捕获了输入图片的方向和比例信息，从而使相应的卷积功能得到了增强；使用Gabor卷积不仅使参数明显减少，而且能够增强深度模型；

与标准CNN中的卷积方式不同，Gabor卷积要对定向通道进行编码，因此该方式的卷积是三维的。这里令卷积的尺寸为N×W×W，其中W×W为卷积的大小，N表示通道数。如果传统CNN中每层的权重尺寸表示为C_out×C_in×W×W，则Gabor卷积的权重尺寸为C_out×C_in×N×W×W，C_out和C_in分别表示输出和输入特征图的通道。为了在前向卷积过程中使特征图的通道数量保持一致，这里将N看作U，对于给定的v，定义不同尺度的Gabor卷积为

其中C_i,o是一个可以自学习的卷积核，G(u,v)代表一组具有不同方向和比例的Gabor卷积，表示G(u,v)²和C_i,o之间的逐元素乘积运算，因此Gabor卷积被定义为

从上述公式可以看出Gabor卷积的方式显着增强深层特征中的比例尺和方向信息，因此通过Gabor卷积的输出特征图

为

其中C_i表示第i个Gabor卷积，F表示输入特征图。

的通道数通过以下的卷积运算获得

其中(n)表示F和C_i,u的第n个通道，

表示

第k个方向的相应，如果令输入特征图的尺寸为1×4×32×32，且有10个方向的Gabor卷积，则输出特征图的大小为10×4×30×30；

与传统的CNN不同，Gabor卷积中的前向计算中涉及的权重尺寸是C_out×C_in×N×W×W，但是保存的权重是自学习后得到的，因此，在BP(反向传播)过程中，只有C_i,0需要更新，需要将Gabor卷积得到的参数进行梯度求和，有

C_i,o＝C_i,o-ηδ,

其中L是损失函数，从上述公式发现Gabor卷积这种尽更新C_i,o的方式更加紧凑和高效，能够有效提取并保存图像中更多的特征信息。

通过反向传播得到最好的模型参数，模型参数包括：卷积网络中卷积层的权重和偏置，更好地实现对遥感场景图片的分类。

池化层的作用是对卷积计算得到的大量特征进行过滤，由于传统CNN中的全局平均池化是一种低阶池化形式，相当于一种低通滤波的方法，会丢失大量特征，降低网络的表示学习能力，而全局协方差池化属于二阶池化，更能捕捉到图像的深层特征，其设计策略设计如下：

输入特征矩阵

其中M＝W×H，则其协方差计算结果为

其中I代表M×M的单位矩阵，T代表矩阵的转置；

由于协方差矩阵的平方根是正定矩阵，并且能够进行特征值分解EIG(EigenDecomposition)和奇异值分解SVD(Singular Value Decomposition)；但是当前的GPU对EIG和SVD的计算速度太过缓慢，需要提高计算速度，因此使用迭代式的矩阵平方根算法对其进行计算；

对于一个给定的正定矩阵A，EIG分解为：

A＝Udiag(λ_i)U^T,

其中diag(λ_i)是一个对角矩阵，U是一个正交矩阵，则A的平方根Y为：

由于当前GPU对EIG和SVD的计算速度太过缓慢，因此使用牛顿舒尔茨迭代式的矩阵平方根算法对其进行计算；

假设对于k＝1,…,N,Y₀＝A,Z₀＝I，则其迭代式为：

Y_k＝Y_k-1Plm(Z_k-1Y_k-1)_qlm(Z_k-1Y_k-1)^-1

Z_k＝_Plm(Z_k-1Y_k-1)_qlm(Z_k-1Y_k-1)^-1Z_k-1,

在上述公式中，l和m是非负整数，Plm和qlm代表不同的多项式，当l＝0,m＝1时，即为牛顿舒尔茨迭代式，所以有：

使用这种方法在经过几次迭代即可得到与EIG计算极为接近的结果，并且这种方法在GPU上的运算速度远快于EIG。

但是上述操作会降低输入数据的数量级，会对神经网络产生不可预知的影响，因此需要对上述得到的数据进行下述处理:

即可满足后续网络需要；

为了将协方差池化加入网络模型，还需要计算协方差池输入矩阵的损耗函数L的导数，令

为FC层传播的导数，则

和

的关系为：

特征F同时由下式推得：

dF＝dU log(∑)U^T+Ud(log(∑))U^T+U log(∑)dU^T

联立可得

对于给定的

和

可以计算得

所以

dC＝dU∑U^T+Ud∑U^T+U∑dU^T.

过矩阵的特征值分解性质可以推得

其中K的计算公式为

综上所述，对于给定的

计算损失函数L对特征矩阵X的导数为：

将通过Gabor滤波器获取的信息输入如图所示的模块中。

本发明利用Gabor滤波器的可转向性增强特征，使得传统卷积方式提取不到的浅层特征被提取出来。

本发明用协方差池化代替传统的全局池化，从而达到可以捕获更丰富的特征信息，提高CNN网络的表示能力和泛化能力，从而达到更好的分类效果。

本发明提高CNN网络在面对高分辨率遥感图像场景分类时的尺度变化和泛化能力，进而提高分类精度。

本发明减少模型的复杂度，提高训练速度。

本发明提供了基于Gabor滤波器和协方差池化的遥感场景分类方法，包括：以ResNet为主干网络，利用Gabor滤波器强大的特征提取能力。在此基础上设计一种自学习的Gabor卷积，并用之替换ResNet的第一层卷积，提取出传统卷积方式无法提取到的复杂特征。与之同时，用协方差池化作为网络的最后一层，提高CNN网络的表示能力和泛化能力，从而达到更好的分类效果，能够提高在高分辨率场景下的分类精度。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，包括以下步骤：

S1、获取高分辨率遥感图像；

S2、将高分辨率遥感图像分为训练集和测试集，训练集用于训练卷积神经网络模型；

S3、将训练集中的高分辨率遥感图像进行归一化处理，归一化处理后的高分辨率遥感图像输入卷积神经网络模型中的Gabor函数的卷积层提取特征；

S4、将提取的特征输入卷积神经网络模型中协方差池化模块，进行采样操作，获得图像的深层特征；

S5、根据图像的深层特征，通过反向传播得到卷积神经网络模型的模型参数，模型参数包括：卷积神经网络模型中卷积层的权重和偏置，根据模型参数通过全连接层对图像的深层特征进行分类，从而实现对遥感场景的分类；

S6、使用测试集验证卷积神经网络模型对遥感场景的分类精度。

2.如权利要求1所述的基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，所述Gabor函数为：

x'＝xcosθ_m+ysinθ_m (2)

y'＝-xsinθ_m+ycosθ_m (3)

Gabor函数的实数部分为：

Gabor函数的虚数部分为：

Gabor函数并行条纹的方向用θ表示，且θ的取值范围为0到360度，相位偏移

满足均匀分布的U(0,π)；σ表示函数内的高斯因子的标准差，i为虚数单位，其中Gabor滤波器的频率ω_n和方向θ_m通过以下公式计算得到：

3.如权利要求1所述的基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，所述步骤S3中将训练集中的高分辨率遥感图像进行归一化处理后输入Gabor函数的卷积层提取特征的具体步骤包括：

S31、输入的高分辨率遥感图像经过归一化层的处理后，归一化至均值为0，方差为1；

S32、随机初始化Gabor卷积层的权重；

S33、再将归一化处理之后的高分辨率遥感图像送入初始化权重后的Gabor卷积层；

S34、通过Gabor卷积提取输入的高分辨率遥感图像的方向和比例信息。

4.如权利要求3所述的基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，所述Gabor卷积层的权重，其尺寸为：C_out×C_in×N×H×W，C_out和C_in分别表示输出和输入特征图的通道，其中，N为卷积核的通道数，H和W为输出特征图的高和宽；

为了在前向卷积过程中使特征图的通道数量保持一致，这里将N看作U，对于给定的频率v，定义不同尺度的Gabor卷积为：

式(8)中C_i,o是一个能够自学习的卷积核，G(u,v)代表一组具有不同方向和比例的Gabor卷积，u表示方向，v表示频率，为表示G(u,v)²和C_i,o之间的逐元素乘积运算，因此Gabor卷积被定义为：

从上述公式，Gabor卷积的方式显着增强深层特征中的比例和方向信息，因此通过Gabor卷积的输出特征图

为：

式(10)中C_i表示第i个Gabor卷积，F表示输入特征图，

的通道数通过以下的卷积运算获得：

式(11)中(n)表示F和C_i,u的第n个通道，

表示输出特征图

第k个方向的相应输出特征图；

Gabor卷积中的前向计算中涉及的权重尺寸是C_out×C_in×N×W×W，但是保存的权重是自学习后得到的，因此，在反向传播过程中，只有C_i,o需要更新，需要将Gabor卷积得到的参数进行梯度求和，卷积得到的参数梯度求和是为了在卷积神经网络中能够进行反向传播，进而使得整个网络在损失函数上找到一个最优解，参数梯度求和如下：

其中L是损失函数，从式(12)发现Gabor卷积这种更新C_i,o的方式更加紧凑和高效，能够有效提取并保存图像中更多的特征信息。

5.如权利要求1所述的基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，所述步骤S4中协方差池化模块采用全局协方差池化，属于二阶池化，捕捉图像的深层特征，具体方法如下：

输入特征矩阵X∈R^C×M，其中R表示维度空间，表示X的维度空间为X*M，C为通道数，M＝W×H，则其协方差计算结果为：

式(13)中I代表M×M的单位矩阵，1为M×M的全是1的矩阵，T代表矩阵的转置；

由于协方差矩阵的平方根是正定矩阵，并且能够进行特征值分解EIG(EigenDecomposition)；使用迭代式的矩阵平方根算法对EIG进行计算，计算EIG是为了求解矩阵的逆；

对于一个给定的正定矩阵A，EIG分解为：

A＝Udiag(λ_i)U^T (14)

式(14)中diag(λ_i)是一个对角矩阵，U是一个正交矩阵，则A的平方根Y为：

使用牛顿舒尔茨迭代式的矩阵平方根算法对EIG进行计算；

假设对于k＝1,…,N,Y₀＝A,Z₀＝I，则其迭代式为：

在式(16)中，lmPlm和qlm代表不同的多项式，l和m是非负整数，当l＝0,m＝1时，即为牛顿舒尔茨迭代式，因此有：

经过几次迭代得到与EIG计算极为接近的结果。

6.如权利要求5所述的基于Gabor滤波器和协方差池化的遥感场景分类方法，其特征在于，所述步骤S5中根据图像的深层特征，通过反向传播得到卷积神经网络的模型参数的具体步骤包括：

对所述协方差∑进行如下处理:

为了将协方差池化加入卷积神经网络模型，还需要计算协方差池化输入矩阵的损耗函数L的导数，令

为全连接层传播的导数，则

和

的关系为：

特征F由下式推得：

dF＝dUlog(∑)U^T+Ud(log(∑))U^T+Ulog(∑)dU^T (20)

联立得：

对于给定的

和

计算得：

所以：

dC＝dU∑U^T+Ud∑U^T+U∑dU^T (23)

过矩阵的特征值分解性质推得：

其中K的计算公式为：

综上所述，对于给定的

计算损失函数L对特征矩阵X的导数，通过计算对损失函数的导数来寻找损失函数的最小值，然后通过反向传播的方式对卷积神经网络的参数进行更新，L对x的导数为：

式(26)中I代表M×M的单位矩阵。

Images