CN113033804B - 一种面向遥感图像的卷积神经网络压缩方法 - Google Patents

Abstract

本发明提供一种面向遥感图像的卷积神经网络压缩方法，与传统的卷积神经网络压缩方法对网络参数进行裁剪压缩后会导致网络结构的不规则化等问题相比，本方法利用多层次参数裁剪和参数位置约束，在提高参数压缩比例的同时，提高了网络结构的规则性，有利于实际应用时的计算加速；同时利用多数据源的信息融合，提高了压缩后模型的精度。

Description

一种面向遥感图像的卷积神经网络压缩方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向遥感图像的卷积神经网络压缩方法。

背景技术

随着以深度卷积神经网络为代表的机器学习技术在自然图像、语音识别等领域处理能力的不断发展进步，越来越多的卷积神经网络模型被应用到遥感图像的处理中。高性能的卷积神经网络往往具有大量的参数和复杂的结构，需要较多的计算资源。对遥感图像数据进行处理的各种场景中，机载、星载、车载等移动平台的资源有限，难以提供大量的计算和存储资源。因此，在遥感图像处理领域，通常需要对现有的高性能卷积神经网络进行结构参数压缩等处理之后进行应用。而目前的神经网络压缩方法还存在如下问题：

第一、以网络剪枝为代表的卷积神经网络压缩算法往往需要通过一定的规则，对卷积神经网络中的参数重要度进行排序，从而删减重要度较低的参数，而不同的评价方法对网络中参数的重要程度往往具有不同的评价，因此在进行网络压缩时，难以确定参数是否是冗余的。

第二、很多压缩算法对卷积神经网络模型压缩的处理是将冗余参数置零，或者任意删减掉一些连接，因此压缩后的模型结构未变化或是不规则的，在应用时并不会显著降低所需计算量。

第三、卷积神经网络在删减大量冗余参数后，其模型的精度会下降，因此需要在提高卷积神经网络模型参数压缩比例的同时减少模型的精度损失。

发明内容

为解决上述技术问题，本发明提供一种面向遥感图像的卷积神经网络压缩方法，包括：

S1、搭建深度神经网络模型，使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；

S2、使用遥感图像数据对所述预训练模型M1进行参数训练，得到模型M2；

S3、对所述模型M2进行通道级重要度计算，按照剪枝比例X和重要度计算结果，对重要度较低的通道进行裁剪得到通道剪枝模型，对所述通道剪枝模型使用所述遥感图像数据进行参数训练，得到通道剪枝后模型M3；

S4、提高剪枝比例X，重复所述步骤S3，直至完成所有设定的剪枝比例和次数n，得到M3-1、M3-2、…M3-n共n个通道剪枝后模型；

S5、针对通道剪枝后模型M3-i，进行卷积核级重要度计算，按照剪枝比例Y和重要度计算结果，对重要度较低的卷积核进行裁剪得到卷积核剪枝模型，对所述卷积核剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；所述i∈[1,n]；

S6、提高剪枝比例Y，重复所述步骤S5，直至完成所有设定的剪枝比例和次数m，对于每个通道剪枝后模型M3-i均得到M4-i-1、M4-i-2、…M4-i-m共m个卷积核剪枝后模型；

S7、将所述自然场景图像数据输入到所述预训练模型M1和所述经过通道剪枝和卷积核剪枝后的模型M4-i-j，分别得到模型输出结果Z₁和Z₄，基于模型输出结果计算模型损失L1，并基于模型损失L1更新模型M4-i-j的参数，训练完成得到模型M5-i-j；所述j∈[1,m]；

S8、将所述遥感图像数据输入到模型M2和模型M5-i-j，分别得到模型输出结果Z₂和Z₅，基于模型输出结果计算模型损失L2，并基于模型损失L2更新模型M5-i-j的参数，训练完成得到模型M6-i-j；

S9、对上述M6-i-j共n×m个模型分别进行模型精度测试、参数量统计、计算量统计，根据待应用的平台资源和/或性能需求选择满足要求的剪枝模型。

可选的，所述步骤S3包括：

使用标准F1对所述模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A1；

使用标准F2对模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A2；

按照可变剪枝比例X分别求出矩阵A1和A2对应的阈值U1和U2，；

将A1中大于U1的值置为1、小于等于U1的值置为0，得到二值矩阵A3；

同理将A2中大于U2和小于等于U2的值分别置为1和0，得到二值矩阵A4；

对矩阵A3和A4进行按位或计算，得到二值矩阵A5；

按照二值矩阵A5中0和1与模型M2中各个通道之间的位置对应关系，对与A5中0所对应的通道进行裁剪，得到通道剪枝模型，对剪枝模型使用所述遥感图像数据进行参数训练，得到所述通道剪枝后模型M3。

可选的，所述标准F1为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j(第i层的第j个通道)，按照不同的层，对每个S-i-j加上不同的alpha-i以对所述S-i-j进行更新，其中alpha-i由每层的通道数和处于网络中的第几层确定，将更新后的S-i-j作为通道重要度；

所述标准F2为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j，直接将S-i-j作为通道重要度。

可选的，所述步骤S5包括：

使用标准FN1对所述模型M3-i的参数进行卷积核级的重要度计算，得到卷积核重要度矩阵B1；

使用标准FN2对所述模型M3-i的参数进行卷积核级的重要度计算，得到通道重要度矩阵B2；

按照可变剪枝比例Y分别求出矩阵B1和B2对应的阈值K1和K2；

将B1中大于K1的值置为1、小于等于K1的值置为0，得到二值矩阵B3；

同理将B2中大于K2和小于等于K2的值分别置为1和0，得到二值矩阵B4；

对矩阵B3和B4进行按位或计算，得到二值矩阵B5；

以标准FB1对B5进行规则度约束计算，得到新的二值矩阵B6和期望的规则剪枝比例W；按照二值矩阵B6中0和1与所述模型M3-i中各个卷积核之间的位置对应关系，对与B6中0所对应的卷积核进行裁剪，得到卷积核剪枝模型，对剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；

按照标准FB2和期望的规则剪枝比例W对M4-i进行规则度约束剪枝，并使用所述遥感图像数据继续进行参数训练，得到最终的卷积核剪枝后模型M4-i。

可选的，所述标准FN1为：对模型中的每个卷积核，计算它的权重绝对值之和s-i-j-k(第i层的第j个通道的第k个卷积核)，按照不同的层，对每个s-i-j-k加上不同的beta-i以对所述s-i-j-k进行更新，其中beta-i由每层的卷积核数和处于网络中的第几层确定，将更新后的s-i-j-k作为卷积核重要度；

标准FN2为：计算模型中每层每个通道每个卷积核权重绝对值之和s-i-j-k，直接将s-i-j-k作为卷积核重要度。

可选的，所述标准FB1的规则度约束计算方式为：统计二值矩阵中与模型中每层每通道所对应的0的数量G-i-j(第i层第j个通道中0的数量)，求得每层中0的数量的均值m-i(第i层)，对于每层中大于m-i的G-i-j，将大于均值数量的0置为1，并计算此时均值m-j所对应的每层中每个通道中0的比例W-i；

所述标准FB2和期望的规则剪枝比例W对M4-i进行规则度约束剪枝包括：按照标准FN2得到的s-i-j-k作为重要度矩阵，使用比例W对每层每通道单独进行阈值V计算，将s-i-j-k中每层每通道中大于对应V和小于等于V的值分别置为1和0，得到二值矩阵；按照二值矩阵中0和1与模型中各个卷积核之间的位置关系，对与矩阵中0所对应的卷积核进行裁剪，得到卷积核剪枝后模型M4-i。

可选的，所述步骤S7中基于模型输出结果计算模型损失L1包括：

按照如下式1计算模型损失L1：

L₁＝αT²*CrossEntropy(Q₁,Q₄)+(1-α)*CrossEntropy(Z₄,y)；

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据的真实标签；

Q₁和Q₄通过如下式2计算得到：

可选的，所述步骤S8中基于模型输出结果计算模型损失L2包括：

按照如下式3计算模型损失L1：

L₂＝αT²*CrossEntropy(Q₂,Q₅)+(1-α)*CrossEntropy(Z₅,y)；

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据的真实标签；

Q₂和Q₅通过如下式4计算得到：

本发明的有益效果是：

根据本发明提供的一种面向遥感图像的卷积神经网络压缩方法，与传统的卷积神经网络压缩方法对网络参数进行裁剪压缩后会导致网络结构的不规则化等问题相比，本方法利用多层次参数裁剪和参数位置约束，在提高参数压缩比例的同时，提高了网络结构的规则性，有利于实际应用时的计算加速；同时利用多数据源的信息融合，提高了压缩后模型的精度。

附图说明

图1为本发明实施例一的面向遥感图像的卷积神经网络压缩流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了解决传统的卷积神经网络压缩方法存在网络结构不规则化、压缩率低以及模型精度损失高等问题，本发明在总结之前卷积神经网络压缩算法的基础上，通过多维重要度评价方法、多层次剪枝、参数位置约束等方式对卷积神经网络进行参数压缩，同时采用多数据源的信息融合方式对剪枝后模型进行训练，在提高参数压缩比例的同时，提高了网络结构的规则性，有利于实际应用时的计算加速；同时利用多数据源的信息融合，提高了压缩后模型的精度。

本实施例提供一种面向遥感图像的卷积神经网络压缩方法，请参见图1，主要包括如下步骤：

S1、搭建深度神经网络模型，使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；

S2、使用遥感图像数据对预训练模型M1进行参数训练，得到模型M2；

由于获取足够数量的遥感图像数据相对困难，而面向遥感图像的卷积神经网络训练需要大量的遥感图像才能保证较好的模型精度，为此，本方案通过预先基于大量自然图像数据对网络进行参数训练，而自然场景图像数据获取成本较低，且自然场景图像与遥感图像具有相似性，通过将大量自然场景图像训练后的模型M1迁移到遥感场景中，仅需要使用少量的遥感图像数据训练即可达到较高的模型精度。同时相比于直接使用自然遥感图像数据进行训练得到的模型，以及相对于直接使用少量遥感图像数据进行训练的模型，其精度更高。

应当理解的是，上述步骤S1和S2中模型的具体训练过程可根据实际情况灵活操作。具体的，当训练次数、模型精度变化、或者损失变化达到预定阈值时可停止训练，可以是这几种标准的动态组合，例如，当训练次数超过100次，同时模型精度连续10次的差异均在0.05以内时停止训练；或者训练次数超过50次，同时模型损失的值连续10次的差异均在0.01以内时停止训练。

S3、对模型M2进行通道级重要度计算，按照剪枝比例X和重要度计算结果，对重要度较低的通道进行裁剪得到通道剪枝模型，对通道剪枝模型使用所述遥感图像数据(即步骤S2中的遥感图像数据)进行参数训练，得到通道剪枝后模型M3；

使用标准F1对上步所得模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A1，使用标准F2对模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A2，按照可变剪枝比例X分别求出矩阵A1和A2对应的阈值U1和U2，将A1中大于U1的值置为1、小于等于U1的值置为0，得到二值矩阵A3，同理将A2中大于U2和小于等于U2的值分别置为1和0，得到二值矩阵A4。对矩阵A3和A4进行按位或计算，得到二值矩阵A5。按照二值矩阵A5中0和1与模型M2中各个通道之间的位置关系，对与A5中0所对应的通道进行裁剪，得到通道剪枝模型，对剪枝模型使用步骤S2的遥感图像数据进行参数训练，得到通道剪枝后模型M3。

其中标准F1为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j(第i层的第j个通道)。按照不同的层，对每个S-i-j加上不同的alpha-i以对所述S-i-j进行更新，其中alpha-i由每层的通道数和处于网络中的第几层决定，将更新后的S-i-j作为通道重要度。

alpha-i随通道数和层数增加而减少，计算方式会根据实际的网络结构和参数分布而变化。例如可取alpha-i为

(其中C和d为常数，mean为每个通道所对应的卷积核权重绝对值之和的均值，var为每个通道所对应的卷积核权重绝对值之和的方差，N为网络的总层数，H_i为第i层的通道数量)。

标准F2为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j(第i层的第j个通道)。直接将S-i-j作为通道重要度，同时在后续依据重要度计算阈值U时，对每一层的U独立计算，并据此得到二值矩阵。

在本发明可选的其他实施例中，除标准F1和F2外，还可增加其他维度的通道级评价方法，对通道重要度进行计算，得到重要度矩阵，并与A5进行按位或计算得到新的A5并继续后面的步骤。

本发明的应用目标主要为遥感处理平台，所以使用遥感数据更接近应用需求。剪枝后模型的精度指标会有一定的损失，步骤二中遥感图像数据量相对较少，直接使用遥感图像数据对通道剪枝模型进行训练，可以较快恢复模型的精度。当然也可先后采用步骤S1和步骤S2的自然图像数据和遥感图像数据同时进行训练，但训练耗时较长，得到的结果是接近的。

S4、保存模型M3，提高剪枝比例X，重复步骤S3，直至完成所有设定的剪枝比例和次数n，得到M3-1、M3-2、…M3-n共n个通道剪枝后模型；

可选的，剪枝比例X可以从5％到99.5％按任意间隔递增，考虑到精度损失过大后模型无实际应用价值，因此在实际的剪枝过程中，为提高处理效率，当判断连续3个剪枝比例的模型精度损失均大于阈值(例如模型精度准确率由90％降到了80％)，则不再使用后续剪枝比例X进行剪枝处理，直接跳到后面卷积核剪枝，同理卷积核剪枝同样按照上述方式进行处理。

S5、针对通道剪枝后模型M3-i进行卷积核级重要度计算，按照剪枝比例Y和重要度计算结果，对重要度较低的卷积核进行裁剪得到卷积核剪枝模型，对卷积核剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；其中i∈[1,n]；

M3-i代表上步所得的n个模型中的第i个。使用至少两个维度的卷积核重要度评价方法对上步所得模型M3-i的参数进行卷积核级的重要度计算，按照剪枝比例Y和重要度计算结果得到进行卷积核剪枝的二值矩阵。对此矩阵进行规则度约束计算，得到新的二值矩阵和期望的规则剪枝比例W。按照新的二值矩阵与模型M3-i中各个卷积核之间的位置关系进行卷积核裁剪，得到卷积核剪枝模型，对剪枝模型使用步骤S2的遥感图像数据进行参数训练，得到卷积核剪枝后模型，重新依据比例W进行参数规则度约束，并继续训练得到M4-i。

具体的，使用标准FN1对上步所得模型M3-i的参数进行卷积核级的重要度计算，得到卷积核重要度矩阵B1，使用标准FN2对模型M3-i的参数进行卷积核级的重要度计算，得到通道重要度矩阵B2，按照可变剪枝比例Y分别求出矩阵B1和B2对应的阈值K1和K2，将B1中大于K1的值置为1、小于等于K1的值置为0，得到二值矩阵B3，同理将B2中大于K2和小于等于K2的值分别置为1和0，得到二值矩阵B4。对矩阵B3和B4进行按位或计算，得到二值矩阵B5。以标准FB1对B5进行规则度约束计算，得到新的二值矩阵B6和期望的规则剪枝比例W。按照二值矩阵B6中0和1与模型M3-i中各个卷积核之间的位置关系，对与B6中0所对应的卷积核进行裁剪，得到卷积核剪枝模型，对剪枝模型使用步骤S2的遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i。按照标准FB2和比例W对M4-i进行规则度约束剪枝，并使用步骤S2的遥感图像数据继续进行参数训练，得到最终的卷积核剪枝后模型M4-i。

其中标准FN1为：对模型中的每个卷积核，计算它的权重绝对值之和s-i-j-k(第i层的第j个通道的第k个卷积核)。按照不同的层，对每个s-i-j-k加上不同的beta-i以对所述s-i-j-k进行更新，其中beta-i由每层的卷积核数和处于网络中的第几层决定，将更新后的s-i-j-k作为卷积核重要度。

例如可取beta-i为

(其中R和p为常数，mean为每个卷积核权重绝对值之和的均值，var为每个卷积核权重绝对值之和的方差，N为网络的总层数，O_i为第i层的卷积核数量)。

标准FN2为：计算模型中每层每个通道每个卷积核权重绝对值之和为：s-i-j-k(第i层的第j个通道的第k个卷积核)。直接将s-i-j-k作为卷积核重要度，同时在后续依据重要度计算阈值K时，对每一层的K独立计算，并据此得到二值矩阵。

在本发明可选的其他实施例中，除标准FN1和FN2外，还可增加其他维度的卷积核级评价方法，对卷积核重要度进行计算，得到重要度矩阵，并与B5进行按位或计算，得到新的B5并继续后面的步骤。

标准FB1的规则度约束计算方式为：统计二值矩阵中与模型中每层每通道所对应的0的数量G-i-j(第i层第j个通道中0的数量)。求得每层中0的数量的均值m-i(第i层)，对于每层中大于m-i的G-i-j，将大于均值数量的0置为1。并计算此时均值m-j所对应的每层中每个通道中0的比例W-i(第i层中每个通道卷积核为0的比例)。

标准FB2的规则度约束剪枝为：按照标准FN2得到的s-i-j-k作为重要度矩阵，使用比例W对每层每通道单独进行阈值V计算，将s-i-j-k中每层每通道中大于对应V和小于等于V的值分别置为1和0，得到二值矩阵。按照二值矩阵中0和1与模型中各个卷积核之间的位置关系，对与矩阵中0所对应的卷积核进行裁剪，得到卷积核剪枝模型。

上一步的规则度计算是为了得到期望的剪枝比例W，实际剪枝比例要小于W，并且此时剪枝后的结构还不是规则的，在对参数进行拟合训练后，再次规则剪枝的比例为W。举例来说，标准FB1计算时第二层两个通道的二值矩阵分别为110000和111001，则该层0数量的均值m-i为(4+2)/2＝3，将0的数量大于均值的通道部分置1变为110001和111001，此时的W-i为3/6＝0.5。然后进行训练，训练完成后，再根据标准FB2和比例W-i的0.5将上一步的两个通道二值矩阵110001和111001变为110001和110001，此时每个通道的剪枝比例相同。

S6、保存模型M4-i，提高剪枝比例Y，重复所述步骤S5，直至完成所有设定的剪枝比例和次数m，对于每个通道剪枝后模型M3-i均得到M4-i-1、M4-i-2、…M4-i-m共m个卷积核剪枝后模型；

对步骤S4所得的n个模型分别执行步骤S5和步骤S6，可以得到先后进行通道级和卷积核级剪枝的M4-1-1、M4-1-2、…M4-2-1、M4-2-2、…M4-n-m共n×m个剪枝模型。

S7、将所述自然场景图像数据输入到所述预训练模型M1和所述经过通道剪枝和卷积核剪枝后的模型M4-i-j，分别得到模型输出结果Z₁和Z₄，基于模型输出结果计算模型损失L1，并基于模型损失L1更新模型M4-i-j的参数，训练完成得到模型M5-i-j；所述j∈[1,m]；

按照如下式1计算模型损失L1：

L₁＝αT²*CrossEntropy(Q₁,Q₄)+(1-α)*CrossEntropy(Z₄,y)； (1)

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据(这里指的是自然场景图像数据)的真实标签。

Q₁和Q₄通过如下式2计算得到：

Z是模型直接得到的硬目标，Q为再次计算得到的软目标，Z代表模型输出的向量，包含N个值，z代表其中的一个值，i、j的范围是1到N，通过式(1)的计算，Z中的每个值均发生了变化(即zi变成了qi)，得到Q(由q₁到q_N组成，可以理解为由n个值组成的向量或矩阵数组)。Z₁得到Q₁，Z₄得到Q₄。

S8、将所述遥感图像数据输入到模型M2和模型M5-i-j，分别得到模型输出结果Z₂和Z₅，基于模型输出结果计算模型损失L2，并基于模型损失L2更新模型M5-i-j的参数，训练完成得到模型M6-i-j；

按照如下式3计算模型损失L1：

L₂＝αT²*CrossEntropy(Q₂,Q₅)+(1-α)*CrossEntropy(Z₅,y)； (3)

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据(这里指的是遥感图像数据)的真实标签。

Q₁和Q₄通过如下式4计算得到：

S9、对上述M6-i-j共n×m个模型分别进行模型精度测试、参数量统计、计算量统计，根据待应用的平台资源和/或性能需求选择满足要求的剪枝模型。

可选的，模型精度采用目标遥感数据测试集对模型输出结果进行统计得到精度准确率指标，以百分数表示；参数量指的是模型中所有可以训练的参数的数量，以字节表示；计算量是对模型输入一幅测试图像，直到得到结果的过程中所有的加减乘除等数学运算次数。

根据平台的计算、存储、能耗资源、开发周期等情况综合考虑，例如对于星载FPGA处理器，算法开放迭代周期长，可以自主设计卷积的计算方式，适合选用卷积核剪枝比例相对高一些的模型，保证精度的同时提高计算效率，对于采用GPU通用计算库的一些车载平台，算法模型开发迭代周期短，可以选用通道剪枝比例相对高一些的模型，减少模型不规则所带来的效率损失。

本发明压缩后的模型可以在机载、星载、车载等资源有限的平台上应用。通过结合多维度的通道级和卷积核级重要度评价方法，提高了模型中冗余参数判断的准确性；通过结合通道级和卷积核级的多层次压缩，提高了模型的压缩比例；通过参数位置规则度约束，提高了模型在应用时的计算效率；通过自然图像数据和遥感图像数据等多数据源的信息融合，提高了剪枝后模型的信息表征能力，保证了模型的精度性能。在最终结果上，该网络压缩方法在遥感图像的应用上，可以在较高参数压缩比例的同时实现无损或较小的精度损失效果。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种面向遥感图像的卷积神经网络压缩方法，其特征在于，包括：

S1、搭建深度神经网络模型，使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；

S2、使用遥感图像数据对所述预训练模型M1进行参数训练，得到模型M2；

S3、对所述模型M2进行通道级重要度计算，按照剪枝比例X和重要度计算结果，对重要度较低的通道进行裁剪得到通道剪枝模型，对所述通道剪枝模型使用所述遥感图像数据进行参数训练，得到通道剪枝后模型M3；

S4、提高剪枝比例X，重复所述步骤S3，直至完成所有设定的剪枝比例和次数n，得到M3-1、M3-2、…M3-n共n个通道剪枝后模型；

S5、针对通道剪枝后模型M3-i，进行卷积核级重要度计算，按照剪枝比例Y和重要度计算结果，对重要度较低的卷积核进行裁剪得到卷积核剪枝模型，对所述卷积核剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；所述i∈[1,n]；

S6、提高剪枝比例Y，重复所述步骤S5，直至完成所有设定的剪枝比例和次数m，对于每个通道剪枝后模型M3-i均得到M4-i-1、M4-i-2、…M4-i-m共m个卷积核剪枝后模型；

S7、将所述自然场景图像数据输入到所述预训练模型M1和经过通道剪枝和卷积核剪枝后的模型M4-i-j，分别得到模型输出结果Z₁和Z₄，基于模型输出结果计算模型损失L1，并基于模型损失L1更新模型M4-i-j的参数，训练完成得到模型M5-i-j；所述j∈[1,m]；

S8、将所述遥感图像数据输入到模型M2和模型M5-i-j，分别得到模型输出结果Z₂和Z₅，基于模型输出结果计算模型损失L2，并基于模型损失L2更新模型M5-i-j的参数，训练完成得到模型M6-i-j；

S9、对上述M6-i-j共n×m个模型分别进行模型精度测试、参数量统计、计算量统计，根据待应用的平台资源和/或性能需求选择满足要求的剪枝模型。

2.如权利要求1所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述步骤S3包括：

使用标准F1对所述模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A1；

使用标准F2对模型M2的参数进行通道级的重要度计算，得到通道重要度矩阵A2；

按照可变剪枝比例X分别求出矩阵A1和A2对应的阈值U1和U2；

将A1中大于U1的值置为1、小于等于U1的值置为0，得到二值矩阵A3；

同理将A2中大于U2和小于等于U2的值分别置为1和0，得到二值矩阵A4；

对矩阵A3和A4进行按位或计算，得到二值矩阵A5；

按照二值矩阵A5中0和1与模型M2中各个通道之间的位置对应关系，对与A5中0所对应的通道进行裁剪，得到通道剪枝模型，对剪枝模型使用所述遥感图像数据进行参数训练，得到所述通道剪枝后模型M3。

3.如权利要求2所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述标准F1为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j(第i层的第j个通道)，按照不同的层，对每个S-i-j加上不同的alpha-i以对所述S-i-j进行更新，其中alpha-i由每层的通道数和处于网络中的第几层确定，将更新后的S-i-j作为通道重要度；

所述标准F2为：计算模型中每层每个通道所对应的卷积核权重绝对值之和为：S-i-j，直接将S-i-j作为通道重要度。

4.如权利要求1所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述步骤S5包括：

使用标准FN1对所述模型M3-i的参数进行卷积核级的重要度计算，得到卷积核重要度矩阵B1；

使用标准FN2对所述模型M3-i的参数进行卷积核级的重要度计算，得到通道重要度矩阵B2；

按照可变剪枝比例Y分别求出矩阵B1和B2对应的阈值K1和K2；

将B1中大于K1的值置为1、小于等于K1的值置为0，得到二值矩阵B3；

同理将B2中大于K2和小于等于K2的值分别置为1和0，得到二值矩阵B4；

对矩阵B3和B4进行按位或计算，得到二值矩阵B5；

以标准FB1对B5进行规则度约束计算，得到新的二值矩阵B6和期望的规则剪枝比例W；按照二值矩阵B6中0和1与所述模型M3-i中各个卷积核之间的位置对应关系，对与B6中0所对应的卷积核进行裁剪，得到卷积核剪枝模型，对剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；

按照标准FB2和期望的规则剪枝比例W对M4-i进行规则度约束剪枝，并使用所述遥感图像数据继续进行参数训练，得到最终的卷积核剪枝后模型M4-i。

5.如权利要求4所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述标准FN1为：对模型中的每个卷积核，计算它的权重绝对值之和s-i-j-k(第i层的第j个通道的第k个卷积核)，按照不同的层，对每个s-i-j-k加上不同的beta-i以对所述s-i-j-k进行更新，其中beta-i由每层的卷积核数和处于网络中的第几层确定，将更新后的s-i-j-k作为卷积核重要度；

标准FN2为：计算模型中每层每个通道每个卷积核权重绝对值之和s-i-j-k，直接将s-i-j-k作为卷积核重要度。

6.如权利要求4所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述标准FB1的规则度约束计算方式为：统计二值矩阵中与模型中每层每通道所对应的0的数量G-i-j(第i层第j个通道中0的数量)，求得每层中0的数量的均值m-i(第i层)，对于每层中大于m-i的G-i-j，将大于均值数量的0置为1，并计算此时均值m-j所对应的每层中每个通道中0的比例W-i；

所述标准FB2和期望的规则剪枝比例W对M4-i进行规则度约束剪枝包括：按照标准FN2得到的s-i-j-k作为重要度矩阵，使用比例W对每层每通道单独进行阈值V计算，将s-i-j-k中每层每通道中大于对应V和小于等于V的值分别置为1和0，得到二值矩阵；按照二值矩阵中0和1与模型中各个卷积核之间的位置关系，对与矩阵中0所对应的卷积核进行裁剪，得到卷积核剪枝后模型M4-i。

7.如权利要求1-6任一项所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述步骤S7中基于模型输出结果计算模型损失L1包括：

按照如下式(1)计算模型损失L1：

L₁＝αT²*CrossEntropy(Q₁,Q₄)+(1-α)*CrossEntropy(Z₄,y)； (1)

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据的真实标签；

Q₁和Q₄通过如下式(2)计算得到：

8.如权利要求1-6任一项所述的面向遥感图像的卷积神经网络压缩方法，其特征在于，所述步骤S8中基于模型输出结果计算模型损失L2包括：

按照如下式(3)计算模型损失L1：

L₂＝αT²*CrossEntropy(Q₂,Q₅)+(1-α)*CrossEntropy(Z₅,y)； (3)

其中α为调节模型损失组成的比例因子，T为大于等于1的常数，y为训练数据的真实标签；

Q₂和Q₅通过如下式(4)计算得到：

Images