CN110728224A - 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制深度Contourlet网络的遥感图像分类方法，建立遥感图像库，获取训练样本集和测试样本集；然后设置Contourlet分解模块，再搭建卷积神经网络模型，模型中卷积层两两一组，构成卷积模块，采用注意力机制，通过通道注意力模块对合并的特征图进行数据增强；进行迭代训练；对所要进行分类的遥感图片进行全局对比度归一化处理，得到其整张遥感图象的平均强度，然后再进行归一化得到归一化处理之后的待分类遥感图像；将归一化处理的未知遥感图像输入到训练好的卷积神经网络模型中，对未知的遥感图片进行分类，得到网络输出分类结果。本发明结合Contourlet分解和深度卷积网络方法，引入通道注意力机制，可以同时发挥深度学习和Contourlet变换的优势。

Description

一种基于注意力机制深度Contourlet网络的遥感图像分类 方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于注意力机制深度Contourlet网络的遥感图像分类方法。

背景技术

遥感图像场景分类是遥感图像理解的基本任务，可以应用于军事和民用领域。随着遥感技术的发展，其所捕获的遥感图像质量也随之提升，图像中所包含的地物特征更加细致，光谱特征更为复杂，这导致了早期的许多遥感图像识别方法在当前高质量图片的分类任务上准确率不如预期。

近年来，深度学习理论在图像处理领域发展迅速，并且其性能已经优于传统的图像分类算法，许多研究人员已经开始将深度学习理论应用于遥感图像分类任务中。卷积神经网络的主要目标是学习图像不同级别的特征，所谓级别是指特征从底层的像素级输入到高层的复杂函数映射。然而当前应用于遥感图像分类的深度学习模型有诸多局限性，忽略了图像的频谱信息，而是直接让模型从输入像素级图像中拟合参数，散乱的搜索空间同时带来了大量的未知参数和训练速度的局限。频谱信息的引入不仅可以对卷积神经网络参数的学习起到一定的制约作用，使得参数的学习更为规范，同时也能一定程度提高训练速度。而且利用谱方法可以提取图像的多尺度信息，使得神经网络可以在不同尺度空间中提取有用信息，增强其特征提取能力。因此，如何让深度卷积神经网络能够充分发挥其优越性，同时又能利用图像的频谱信息成为提高模型性能的关键。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于注意力机制深度Contourlet网络的遥感图像分类方法，通过结合Contourlet变换并引入通道注意力机制，可以一定程度上约束卷积神经网络的参数学习，加快收敛速度，同时利用图像的空间信息和频谱信息，引入多尺度分析，以增加分类的准确性。

本发明采用以下技术方案：

一种基于注意力机制深度Contourlet网络的遥感图像分类方法，包括以下步骤：

S1、建立遥感图像库，对数据进行预处理，获取训练样本集{Train₁,…Train_d…,Train_M}和测试样本集{Test₁,…Test_e…,Test_m}；

S2、设置Contourlet分解模块，包括设置分解层数p以及每一层的方向子带个数K_p；

S3、搭建一个有8个卷积层，1个全局平均池化层和3个全连接层的卷积神经网络模型，模型中卷积层两两一组，构成卷积模块，采用注意力机制，通过通道注意力模块对合并的特征图进行数据增强；

S4、对卷积神经网络进行迭代训练；

S5、对所要进行分类的遥感图片I_unkown进行全局对比度归一化处理，得到其整张遥感图象的平均强度然后再进行归一化得到归一化处理之后的待分类遥感图像I'_unkown；将归一化处理的未知遥感图像I'_unkown输入到训练好的卷积神经网络模型中，对未知的遥感图片进行分类，得到网络输出分类结果。

具体的，步骤S1具体为：

S101、获取UC Merced图像，构建遥感场景图像数据集Image＝{Image₁,…Image_i…,Image_N}，并制作相应的样本标签Label＝{Label₁,…Label_i…,Label_N}，每个标签Label_i表示数据集中所对应的样本Image_i的类别，Image_i表示数据集中的第i个样本，i∈[0,N]，N代表图像的总数目；

S102、对数据集中的每一个样本做全局对比度归一化处理；

S103、将归一化处理之后的数据集分为训练集部分Train和测试集部分Test，针对每一类遥感影像，选取80％作为训练集，剩余的20％作为测试集。

进一步的，步骤S102中，归一化处理后整张图像的平均强度

为：

其中，I表示数据集中的某一个样本，w，h，c分别表示其长，宽，以及通道数，对于RGB图像，c＝3；

样本I在(i,j,k)处像素值I_i,j,k如下：

其中，I'表示进行全局对比度归一化处理之后的样本，s,ε,λ为超参数，s设置为I，得到归一化处理之后的图像数据集{Image'₁,…Image'_i…,Image'_N}。

具体的，步骤S2具体为：

S201、分解每一级第一个阶段为非下采样金字塔式如下：

其中，I为输入信号，

为分解阶段的高通滤波器，

为一级分解后的高频成分；

为低通滤波器，

为一级分解后的低频成分；

S202、每一级第二阶段为将第一阶段分解出的高频成分

做不同方向的分解；

S203、通过对输入图像I进行p级非下采样contourlet变换，得到相应的变换系数{I⁽¹⁾,…I^(q)…,I^(p)}，其中，I^(q)表示第q层分解系数，通道数为c×(K_q+1)；c为原图像的通道数，如果为RGB图像，则c＝3，K_p表示第q层分解方向数。

进一步的，步骤S204中，方向滤波器组的计算如下：

其中，DF_k(k＝1,2,…,K)为方向滤波器组，通常K取2的指数级，且每一级的分解方向数可以不同，对输入

进行p级非下采样轮廓波分解后的变换系数为：

具体的，步骤S3中，将RGB图像进行p层Contourlet分解，每一层分为K个方向作为Contourlet分解层；

池化层输入为最后一个卷积模块的输出特征图，输出为一维向量；

卷积模块使用3×3的卷积核，每一个卷积模块包含两个卷积层，第一个卷积层步长为1，第二个卷积层步长位2，每个卷极快的输出图像尺寸减小1/2；

第一个卷积块conv1：输入为第一级Contourlet系数，layer1.1使用3×3的卷积核，步长为1，layer1.2使用3×3的卷积核，步长为2，输出特征图尺寸为112×112×64；

第二个卷积块conv2：输入为第二级Contourlet系数下采样之后与第一个卷积块输出的合并。合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer2.1的输入；

Layer2.1使用3×3的卷积核，步长为1，layer2.2使用3×3的卷积核，步长为2，输出特征图尺寸为56×56×128；

第三个卷积块conv3：输入为第三级Contourlet系数下采样之后与第二个卷积块输出的合并。合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer3.1的输入；

layer3.1使用3×3的卷积核，步长为1，layer3.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为28×28×256；

第四个卷积块conv4：输入为第四级Contourlet系数下采样之后与第三个卷积块输出的合并。合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer4.1的输入；

layer4.1使用3×3的卷积核，步长为1，layer4.2使用3×3的卷积核，步长为2，输出特征图尺寸为14×14×512。

具体的，步骤S3中，模块输入的卷积特征大小为W×H×C，使用全局平均池化操作，输出1×1×C的卷积特征，C对应不同的通道；

对于第一全连接层，其卷积核大小设置为其输出尺寸为1×1×C/r，其中，r为超参数；其激活函数采用Relu激活函数；

对于第二全连接层，其卷积核大小设置为

其输出尺寸为1×1×C，其激活函数采用Sigmoid激活函数；

Relu激活函数和Sigmoid激活函数分别为：

其中，x为Relu激活函数的输入函数，x'为Sigmoid激活函数的输入函数。

进一步的，全连接层：第一个全连接层操作之后，需要进行Dropout操作，以防止模型产生过拟合，其输出为一维向量，第二个全连接层输出为一维向量，长度为Z，Z为样本集合的类别数，并使用softmax回归函数做预测，便可以得到相应类别概率；

第一个全连接层：其卷积核大小为512×2048，并进行Dropout操作，以防止模型产生过拟合，其输出为一维向量，长度为2048；

第二个全连接层：其卷积核大小为2048×Z，其输出为一维向量，长度为Z，其中Z为样本集合的类别数，并使用softmax回归函数做预测如下：

其中，Out表示第二个全连接层的输出，作为softmax函数的输入，j表示当前类别，j∈[0,Z]，p_j表示输入图像被判别为第j类的概率。

具体的，步骤S4具体为：

S401、设置最大迭代次数Iter，学习率η，训练批次大小B，将训练数据集{Train₁,…Train_d…,Train_M}每次输入B张图片，输入次数Q如下：

其中，M为训练数据集中的样本总数；

设置损失函数选择交叉熵损失函数如下：

其中，y_d为训练图像库中Train_d的实际类别，o_d为训练图像库中Train_d使用当前神经网络模型所预测的类别概率；

S402、通过梯度下降法对网络进行迭代优化；

S403、当迭代次数未达到所设置的最小迭代次数Iter时，若损失函数loss不再下降，则停止训练；当迭代次数达到所设置的最小迭代次数Iter时，则停止训练，得到训练好的卷积神经网络模型；否则，继续进行迭代优化。

进一步的，步骤S402中，更新后的权重参数W_t+1为：

其中，W_t表示当前权重参数，loss_t表示当前权重参数所带来的损失；使用W_t+1作为网络参数进行预测，得到下一次迭代的梯度值

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于注意力机制深度Contourlet网络的遥感图像分类方法，结合非下采样Contourlet变换和深度学习，由于Contourlet变换能表征图像的高维奇异性，能更好的表征图像的方向性具有更好的逼近性，而且具有平移，旋转不变性，能够利用频谱特性提取图像的轮廓信息；深度学习可以实现从复杂图像中学习Contourlet变换无法描述的其他复杂信息，本发明可以同时发挥深度学习和Contourlet变换的优势。

进一步的，将图像以80％和20％的比例分为训练数据集和验证数据集，以保证算法的实际有效性。通过对数据做全局对比度归一化处理(GCN)，能够减小图像具有变化的对比度产生的影响，从而加快网络的收敛速度。

进一步的，Contourlet变换可以对图像进行多尺度分解，且具有各向异性，通过不同级别的低通滤波器以及方向滤波器，首先对图像进行多尺度分解，对于不同尺度基础上再进行多方向分解，从而提取出图像在不同尺度，不同方向上的特征，丰富的多尺度特征可以弥补卷积特征的不足，进而增强分类准确性。

进一步的，将Contourlet分解系数与卷积层特征融合的深度模型，通过分层融合方式，使得整个模型可以利用图像的多尺度信息，有助于提升遥感图像分类的准确性。

进一步的，使用了通道注意力机制，结合Contourlet变换将不同方向信息分解于不同通道，能够更快速，更准确的找到遥感图像特征最明显的通道，并对该通道特征进行增强，能够有效提升遥感图像分类的准确性。

进一步的，交叉熵损失函数和梯度下降优化方法能够有效的对神经网络模型参数进行优化，使其能够在庞大的搜索空间中尽快收敛，同时可以人工设置相应的超参数，调整网络的训练速度。

综上所述，本发明通过结合Contourlet分解和深度卷积网络方法，并引入通道注意力机制，构建了基于注意力机制深度Contourlet网络模型，该网络模型利用Contourlet变换的优势提取图像的多尺度特征，同时可以发挥深度学习的优势，通过将多尺度特征和卷积网络特征进行融合，并通过通道注意力机制进行特征增强，形成更丰富，更鲁邦的图像特征，从而提升网络模型的分类能力。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现流程图；

图2为本发明深度Contourlet模型网络结构图。

具体实施方式

本发明提供了一种基于注意力机制深度Contourlet网络的遥感图像分类方法，利用Contourlet变换获取图像的多尺度信息，然后将不同尺度的信息分别与不同层的卷积特征融合，根据注意力机制增强特征表达，最后通过全连接层实现图像分类。

请参阅图1，本发明一种基于注意力机制深度Contourlet网络的遥感图像分类方法，包括以下步骤：

S1、建立遥感图像库，对数据进行预处理，获取训练样本和测试样本；

S101、获取UC Merced图像，构建遥感场景图像数据集Image＝{Image₁,…Image_i…,Image_N}，并制作相应的样本标签Label＝{Label₁,…Label_i…,Label_N}，每个标签Label_i表示数据集中所对应的样本Image_i的类别，Image_i表示数据集中的第i个样本，i∈[0,N]，N代表图像的总数目；

S102、对数据集中的每一个样本以如下公式做全局对比度归一化处理：

其中，I表示数据集中的某一个样本，w，h，c分别表示其长，宽，以及通道数，对于RGB图像，c＝3，I_i,j,k表示样本I在(i,j,k)处像素值的大小，表示整张图像的平均强度，

其中，I'表示进行全局对比度归一化处理之后的样本，其中，s,ε,λ为超参数，用来平衡和约束归一化，s通常可以设置为I，得到归一化处理之后的图像数据集{Image'₁,…Image'_i…,Image'_N}；

S103、将归一化处理之后的数据集分为训练集部分Train和测试集部分Test，针对每一类遥感影像，从其中选取80％作为训练集，剩余的20％作为测试集，则可以得到训练样本集{Train₁,…Train_d…,Train_M}和测试样本集{Test₁,…Test_e…,Test_m}；

其中，Train_d表示训练样本中的第d个样本，d∈[0,M]，M为训练样本的总个数，M<N；Test_e表示测试样本中的第e个样本，e∈[0,m]，m<N。

S2、设置Contourlet分解模块；

请参阅图2，设置分解层数p以及每一层的方向子带个数K_p；

S201、每一级第一个阶段为非下采样金字塔式分解：

其中，I为输入信号。

为分解阶段的高通滤波器，为一级分解后的高频成分；

为低通滤波器，为一级分解后的低频成分；通常也将输入信号记为

S202、每一级第二阶段为将第一阶段分解出的高频成分做不同方向的分解，方向滤波器组的计算方式为：

其中，DF_k(k＝1,2,…,K)为方向滤波器组，通常K取2的指数级，且每一级的分解方向数可以不同，对输入进行p级非下采样轮廓波分解后的变换系数为：

S203、通过对输入图像I进行p级非下采样contourlet变换，可以得到相应的变换系数{I⁽¹⁾,…I^(q)…,I^(p)}，其中，I^(q)表示第q层分解系数，其通道数为c×(K_q+1)；c为原图像的通道数，如果为RGB图像，则c＝3，K_p表示第q层分解方向数。

S3、搭建完整的神经网络模型；

S301、搭建一个有8个卷积层，1个全局平均池化层和3个全连接层的卷积神经网络，其中卷积层两两一组，构成卷积块；

输入层：输入原始RGB图片，将其裁剪至224×224；

Contourlet分解层：将RGB图像进行p层Contourlet分解，每一层分为K个方向。

则每一级Contourlet变换系数为224×224×3(K+1)，本实验中K＝4；

S302、卷积模块，卷积模块均使用3×3的卷积核，每一个卷积模块包含两个卷积层，第一个卷积层步长为1，第二个卷积层步长位2，每个卷极快的输出图像尺寸减小1/2；

第一个卷积块conv1：输入为第一级Contourlet系数，layer1.1使用3×3的卷积核，步长为1，layer1.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为112×112×64；

第二个卷积块conv2：输入为第二级Contourlet系数下采样之后与第一个卷积块输出的合并。合并方法使用的是通道级合并。将合并后的特征图通过通道注意力模块进行数据增强，作为layer2.1的输入。Layer2.1使用3×3的卷积核，步长为1，layer2.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为56×56×128；

第三个卷积块conv3：输入为第三级Contourlet系数下采样之后与第二个卷积块输出的合并。合并方法使用的是通道级合并。将合并后的特征图通过通道注意力模块进行数据增强，作为layer3.1的输入。layer3.1使用3×3的卷积核，步长为1，layer3.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为28×28×256；

第四个卷积块conv4：输入为第四级Contourlet系数下采样之后与第三个卷积块输出的合并。合并方法使用的是通道级合并。将合并后的特征图通过通道注意力模块进行数据增强，作为layer4.1的输入。layer4.1使用3×3的卷积核，步长为1，layer4.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为14×14×512；

S303、通道注意力模块由一个全局平均池化层、第一个连接层、Relu函数层、第二个连接层和Sigmoid函数激活，结构如图2所示。具体描述如下：

模块输入的卷积特征大小为W×H×C，使用全局平均池化操作，输出1×1×C的卷积特征，C即对应不同的通道，由于Contourlet的多尺度分解方式，不同通道中含有不同方向频率分量；

对于第一全连接层，其卷积核大小设置为

其输出尺寸为1×1×C/r，其中，r为超参数；其激活函数采用Relu激活函数；

对于第二全连接层，其卷积核大小设置为

其输出尺寸为1×1×C.其激活函数采用Sigmoid激活函数；

Relu激活函数和Sigmoid激活函数分别为：

其中，x为Relu激活函数的输入函数，x'为Sigmoid激活函数的输入函数；

S303、池化层：池化层使用全局平均池化。使用全局平均池化对数据降维，以减少过拟合现象，输入为最后一个卷积模块的输出特征图，输出为一维向量；

使用全局平均池化对数据降维，以减少过拟合现象，输入为conv4的输出特征图，尺寸为14×14×512，输出为一维向量，长度为512。

S304、全连接层：第一个全连接层操作之后，需要进行Dropout操作，以防止模型产生过拟合，其输出为一维向量。第二个全连接层输出为一维向量，长度为Z，其中Z为样本集合的类别数。并使用softmax回归函数做预测，便可以得到相应类别概率。

第一个全连接层：其卷积核大小为512×2048，并进行Dropout操作，以防止模型产生过拟合，其输出为一维向量，长度为2048。

第二个全连接层：其卷积核大小为2048×Z，其输出为一维向量，长度为Z，其中Z为样本集合的类别数。并使用softmax回归函数做预测，公式如下：

其中，Out表示第二个全连接层的输出，作为softmax函数的输入，j表示当前类别，j∈[0,Z]，p_j表示输入图像被判别为第j类的概率。

S4、对卷积神经网络进行迭代训练；

S401、设置相关参数：最大迭代次数Iter，学习率η，训练批次大小B，则将训练数据集{Train₁,…Train_d…,Train_M}每次输入B张图片，输入次数Q为：

其中，M为训练数据集中的样本总数。

损失函数设置：损失函数选择交叉熵损失函数：

表示输出分类结果与实际结果的交叉熵，y_d为训练图像库中Train_d的实际类别，o_d为训练图像库中Train_d使用当前神经网络模型所预测的类别概率。

S402、通过梯度下降法对网络进行迭代优化，每次迭代过程中通过如下公式对网络权重W进行更新：

其中，W_t表示当前权重参数，loss_t表示当前权重参数所带来的损失；W_t+1表示更新后的权重参数，使用W_t+1作为网络参数进行预测，根据4a)中的损失函数公式便可得到下一次迭代的梯度值

如此反复进行迭代过程，以更新权重参数W的值，并观察损失函数loss的变化。

S403、当迭代次数未达到所设置的最小迭代次数Iter时，若损失函数loss不再下降，则停止训练；当迭代次数达到所设置的最小迭代次数Iter时，则停止训练，得到训练好的卷积神经网络模型；否则，继续进行迭代优化。

S5、对未知的遥感图片进行分类。

S501、对所要进行分类的遥感图片I_unkown进行全局对比度归一化处理，首先得到其整张遥感图象的平均强度

然后再进行归一化得到归一化处理之后的待分类遥感图像I'_unkown；

S502、将已归一化处理的未知遥感图像I'_unkown输入到训练好的卷积神经网络模型中，得到网络输出的分类结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的效果可以通过仿真进一步说明：

仿真条件：

本实例在HP-Z840-Workstation with Xeon(R)CPU E5-2630,GeForce 1080,64GRAM，Ubuntu系统下，Caffe运行平台上，完成本发明以及现有遥感图像场景分类仿真。

参数设置：

学习率固定为0.001，η＝0.001，每次输入图片数B为32次，衰减率β为0.9，Contourlet分解层数设置为4，每一层分解方向数为2。

实验结果：

本发明选用遥感图像场景分类算法与所提出的方法进行比较，选用的对比方法是：

“遥感图像飞机目标分类的卷积神经网络方法.中国图像图形学报，2017,22(05)：702-708.”中由周等人提出的深度学习卷积神经网络实现的遥感图像目标分类方法。

表1：测试分类准确率比较

	对比方法	本发明方法
			平均分类准确率	0.8635	0.9125

表1是所提出方法与对比方法在UCMerced_LandUse上的性能比较，结果表明，本方法效果更好。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于注意力机制深度Contourlet网络的遥感图像分类方法，其特征在于，包括以下步骤：

S1、建立遥感图像库，对数据进行预处理，获取训练样本集{Train₁,…Train_d…,Train_M}和测试样本集{Test₁,…Test_e…,Test_m}；

S2、设置Contourlet分解模块，包括设置分解层数p以及每一层的方向子带个数K_p；

S3、搭建一个有8个卷积层，1个全局平均池化层和3个全连接层的卷积神经网络模型，模型中卷积层两两一组，构成卷积模块，采用注意力机制，通过通道注意力模块对合并的特征图进行数据增强；

S4、对卷积神经网络进行迭代训练；

S5、对所要进行分类的遥感图片I_unkown进行全局对比度归一化处理，得到其整张遥感图象的平均强度

然后再进行归一化得到归一化处理之后的待分类遥感图像I'_unkown；将归一化处理的未知遥感图像I'_unkown输入到训练好的卷积神经网络模型中，对未知的遥感图片进行分类，得到网络输出分类结果。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：

S101、获取UC Merced图像，构建遥感场景图像数据集Image＝{Image₁,…Image_i…,Image_N}，并制作相应的样本标签Label＝{Label₁,…Label_i…,Label_N}，每个标签Label_i表示数据集中所对应的样本Image_i的类别，Image_i表示数据集中的第i个样本，i∈[0,N]，N代表图像的总数目；

S102、对数据集中的每一个样本做全局对比度归一化处理；

S103、将归一化处理之后的数据集分为训练集部分Train和测试集部分Test，针对每一类遥感影像，选取80％作为训练集，剩余的20％作为测试集。

3.根据权利要求2所述的方法，其特征在于，步骤S102中，归一化处理后整张图像的平均强度为：

其中，I表示数据集中的某一个样本，w，h，c分别表示其长，宽，以及通道数，对于RGB图像，c＝3；

样本I在(i,j,k)处像素值I_i,j,k如下：

其中，I'表示进行全局对比度归一化处理之后的样本，s,ε,λ为超参数，s设置为I，得到归一化处理之后的图像数据集{Image'₁,…Image'_i…,Image'_N}。

4.根据权利要求1所述的方法，其特征在于，步骤S2具体为：

S201、分解每一级第一个阶段为非下采样金字塔式如下：

其中，I为输入信号，

为分解阶段的高通滤波器，

为一级分解后的高频成分；为低通滤波器，

为一级分解后的低频成分；

S202、每一级第二阶段为将第一阶段分解出的高频成分

做不同方向的分解；

S203、通过对输入图像I进行p级非下采样contourlet变换，得到相应的变换系数{I⁽¹⁾,…I^(q)…,I^(p)}，其中，I^(q)表示第q层分解系数，通道数为c×(K_q+1)；c为原图像的通道数，如果为RGB图像，则c＝3，K_p表示第q层分解方向数。

5.根据权利要求4所述的方法，其特征在于，步骤S204中，方向滤波器组的计算如下：

其中，DF_k(k＝1,2,…,K)为方向滤波器组，通常K取2的指数级，且每一级的分解方向数可以不同，对输入

进行p级非下采样轮廓波分解后的变换系数为：

6.根据权利要求1所述的方法，其特征在于，步骤S3中，将RGB图像进行p层Contourlet分解，每一层分为K个方向作为Contourlet分解层；

池化层输入为最后一个卷积模块的输出特征图，输出为一维向量；

卷积模块使用3×3的卷积核，每一个卷积模块包含两个卷积层，第一个卷积层步长为1，第二个卷积层步长位2，每个卷极快的输出图像尺寸减小1/2；

第一个卷积块conv1：输入为第一级Contourlet系数，layer1.1使用3×3的卷积核，步长为1，layer1.2使用3×3的卷积核，步长为2，输出特征图尺寸为112×112×64；

第二个卷积块conv2：输入为第二级Contourlet系数下采样之后与第一个卷积块输出的合并；合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer2.1的输入；

Layer2.1使用3×3的卷积核，步长为1，layer2.2使用3×3的卷积核，步长为2，输出特征图尺寸为56×56×128；

第三个卷积块conv3：输入为第三级Contourlet系数下采样之后与第二个卷积块输出的合并；合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer3.1的输入；

layer3.1使用3×3的卷积核，步长为1，layer3.2使用3×3的卷积核，步长为2，使得输出特征图尺寸为28×28×256；

第四个卷积块conv4：输入为第四级Contourlet系数下采样之后与第三个卷积块输出的合并；合并方法使用的是通道级合并；

将合并后的特征图通过通道注意力模块进行数据增强，作为layer4.1的输入；

layer4.1使用3×3的卷积核，步长为1，layer4.2使用3×3的卷积核，步长为2，输出特征图尺寸为14×14×512。

7.根据权利要求1所述的方法，其特征在于，步骤S3中，模块输入的卷积特征大小为W×H×C，使用全局平均池化操作，输出1×1×C的卷积特征，C对应不同的通道；

对于第一全连接层，其卷积核大小设置为其输出尺寸为1×1×C/r，其中，r为超参数；其激活函数采用Relu激活函数；

对于第二全连接层，其卷积核大小设置为

其输出尺寸为1×1×C，其激活函数采用Sigmoid激活函数；

Relu激活函数和Sigmoid激活函数分别为：

其中，x为Relu激活函数的输入函数，x'为Sigmoid激活函数的输入函数。

8.根据权利要求7所述的方法，其特征在于，全连接层：第一个全连接层操作之后，需要进行Dropout操作，以防止模型产生过拟合，其输出为一维向量，第二个全连接层输出为一维向量，长度为Z，Z为样本集合的类别数，并使用softmax回归函数做预测，便可以得到相应类别概率；

第一个全连接层：其卷积核大小为512×2048，并进行Dropout操作，以防止模型产生过拟合，其输出为一维向量，长度为2048；

第二个全连接层：其卷积核大小为2048×Z，其输出为一维向量，长度为Z，其中Z为样本集合的类别数，并使用softmax回归函数做预测如下：

其中，Out表示第二个全连接层的输出，作为softmax函数的输入，j表示当前类别，j∈[0,Z]，p_j表示输入图像被判别为第j类的概率。

9.根据权利要求1所述的方法，其特征在于，步骤S4具体为：

S401、设置最大迭代次数Iter，学习率η，训练批次大小B，将训练数据集{Train₁,…Train_d…,Train_M}每次输入B张图片，输入次数Q如下：

其中，M为训练数据集中的样本总数；

设置损失函数选择交叉熵损失函数如下：

其中，y_d为训练图像库中Train_d的实际类别，o_d为训练图像库中Train_d使用当前神经网络模型所预测的类别概率；

S402、通过梯度下降法对网络进行迭代优化；

S403、当迭代次数未达到所设置的最小迭代次数Iter时，若损失函数loss不再下降，则停止训练；当迭代次数达到所设置的最小迭代次数Iter时，则停止训练，得到训练好的卷积神经网络模型；否则，继续进行迭代优化。

10.根据权利要求9所述的方法，其特征在于，步骤S402中，更新后的权重参数W_t+1为：

其中，W_t表示当前权重参数，loss_t表示当前权重参数所带来的损失；使用W_t+1作为网络参数进行预测，得到下一次迭代的梯度值

Images