CN111967598A - 神经网络压缩方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种神经网络压缩方法、装置、设备及计算机可读存储介质，所述方法包括：对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；将所述池化值进行整型量化操作得到整型值；将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。本发明减轻了设备运行神经网络时的负担，从而使得算力有限的边缘设备也能够运行神经网络。

Description

神经网络压缩方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络压缩方法、装置、设备及计算机可读存储介质。

背景技术

随着神经网络技术的发展，神经网络已被应用于各种领域解决许多现代计算机难以解决的实际问题，如在模式识别、智能机器人、自动控制、生物、医学和经济等领域，均已广泛出现神经网络的身影。随之而来的一个问题是，随着所解决的实际问题的复杂化，神经网络的模型结构也越来越复杂，一个深度神经网络可能包含数以百万计甚至千万计的参数和十几层甚至几十层的网络。而由于神经网络参数众多，通常需要非常大的计算代价和存储空间，从而难以在一些算力有限的边缘设备中运行神经网络，使得神经网络的应用存在一定的局限性。

发明内容

本发明的主要目的在于提供一种神经网络压缩方法、装置、设备及计算机可读存储介质，旨在解决现有神经网络参数众多，从而难以在算力有限的边缘设备中运行神经网络的问题。

为实现上述目的，本发明提供一种神经网络压缩方法，所述方法包括以下步骤：

对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

将所述池化值进行整型量化操作得到整型值；

将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

可选地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤包括：

对待压缩神经网络中的卷积核按照所述卷积核的尺寸进行平均池化操作或最大池化操作，得到所述卷积核对应的池化值。

可选地，所述目标值为预设第一数值，所述将所述池化值进行整型量化操作得到整型值的步骤包括：

检测所述池化值是否大于零；

若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；

若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

可选地，所述将所述卷积核中整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将预设数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

对所述输出数据的各元素分别进行整型量化操作得到整型值；

将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

可选地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮模型更新。

可选地，所述方法应用于参与联邦学习的参与方，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮联邦学习模型更新的基准神经网络，其中，所述基准神经网络包括私有网络和公共网络；

对所述基准神经网络进行复制得到网络副本，并将所述网络副本中的私有网络作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将包含压缩后的待压缩神经网络的网络副本作为压缩网络，并采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。

可选地，所述采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络的步骤包括：

采用预设数据集对所述压缩网络进行模型参数更新，得到所述压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度；

将所述第二梯度发送给参与联邦学习的协调方，以供所述协调方在对各参与方发送的第二梯度进行全局融合后得到全局梯度并返回；

采用从所述协调方接收到的全局梯度更新所述压缩网络中的公共网络，采用所述第一梯度更新所述压缩网络中的私有网络，以更新所述压缩网络。

可选地，所述预设数据集是图像数据集，所述采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新的步骤之后，还包括：

当检测到更新后的基准神经网络满足预设模型条件时，将更新后的基准神经网络作为目标神经网络；

将待分类图像数据输入所述目标神经网络进行分类处理，得到所述待分类图像数据的分类结果。

为实现上述目的，本发明提供一种神经网络压缩装置，所述装置包括：

池化模块，用于对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

量化模块，用于将所述池化值进行整型量化操作得到整型值；

裁剪模块，用于将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

为实现上述目的，本发明还提供一种神经网络压缩设备，所述神经网络压缩设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络压缩程序，所述神经网络压缩程序被所述处理器执行时实现如上所述的神经网络压缩方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有神经网络压缩程序，所述神经网络压缩程序被处理器执行时实现如上所述的神经网络压缩方法的步骤。

本发明中，通过对待压缩神经网络中的卷积核进行池化操作，得到卷积核对应的池化值；将池化值进行整型量化操作得到卷积核对应的整型值；对卷积核中对应整型值为目标值的卷积核进行裁剪，以对待压缩神经网络进行压缩。可以理解的是，本发明中，压缩后的神经网络相比于原始的待压缩神经网络，减少了部分卷积核，也即减少了部分模型参数，那么在神经网络的运行过程中，相比于原始神经网络，运行压缩后的神经网络所需加载和计算的参数大大减少，从而对设备的CPU算力、电池和内存等设备资源需求减小，减轻了设备运行神经网络时的负担，从而使得算力有限的边缘设备也能够运行神经网络，扩大了神经网络在具体领域中的应用范围。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明神经网络压缩方法第一实施例的流程示意图；

图3为本发明神经网络压缩装置较佳实施例的功能示意图模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例神经网络压缩设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。

如图1所示，该神经网络压缩设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对神经网络压缩设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及神经网络压缩程序。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持神经网络压缩程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于服务器建立通信连接；处理器1001可以用于调用存储器1005中存储的神经网络压缩程序，并执行以下操作：

对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

将所述池化值进行整型量化操作得到整型值；

将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

进一步地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤包括：

对待压缩神经网络中的卷积核按照所述卷积核的尺寸进行平均池化操作或最大池化操作，得到所述卷积核对应的池化值。

进一步地，所述目标值为预设第一数值，所述将所述池化值进行整型量化操作得到整型值的步骤包括：

检测所述池化值是否大于零；

若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；

若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

进一步地，所述将所述卷积核中整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，处理器1001还可以用于调用存储器1005中存储的神经网络压缩程序，执行以下操作：

获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将预设数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

对所述输出数据的各元素分别进行整型量化操作得到整型值；

将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

进一步地，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，处理器1001还可以用于调用存储器1005中存储的神经网络压缩程序，执行以下操作：

获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮模型更新。

进一步地，所述方法应用于参与联邦学习的参与方，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮联邦学习模型更新的基准神经网络，其中，所述基准神经网络包括私有网络和公共网络；

对所述基准神经网络进行复制得到网络副本，并将所述网络副本中的私有网络作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，处理器1001还可以用于调用存储器1005中存储的神经网络压缩程序，执行以下操作：

将包含压缩后的待压缩神经网络的网络副本作为压缩网络，并采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。

进一步地，所述采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络的步骤包括：

采用预设数据集对所述压缩网络进行模型参数更新，得到所述压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度；

将所述第二梯度发送给参与联邦学习的协调方，以供所述协调方在对各参与方发送的第二梯度进行全局融合后得到全局梯度并返回；

采用从所述协调方接收到的全局梯度更新所述压缩网络中的公共网络，采用所述第一梯度更新所述压缩网络中的私有网络，以更新所述压缩网络。

进一步地，所述预设数据集是图像数据集，所述采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新的步骤之后，处理器1001还可以用于调用存储器1005中存储的神经网络压缩程序，执行以下操作：

当检测到更新后的基准神经网络满足预设模型条件时，将更新后的基准神经网络作为目标神经网络；

将待分类图像数据输入所述目标神经网络进行分类处理，得到所述待分类图像数据的分类结果。

基于上述的结构，提出神经网络压缩方法的各实施例。

参照图2，图2为本发明神经网络压缩方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明神经网络压缩方法各个实施例的执行主体可以是智能手机、个人计算机和服务器等设备，为便于描述，以下各实施例中省略执行主体进行阐述。在本实施例中，神经网络压缩方法包括：

步骤S10，对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

在本实施例中，可将需要进行压缩的神经网络作为待压缩神经网络。例如，在神经网络的训练过程中，需要对神经网络进行多轮模型参数更新，以不断优化更新神经网络中的模型参数，每一轮模型参数更新之前，可将神经网络作为待压缩神经网络。

待压缩神经网络中包括多个网络层，部分网络层是卷积层，卷积层中包含至少一个卷积核。各个卷积核的尺寸不同，例如有3*3的卷积核和5*5的卷积核等等。也即，待压缩神经网络中包含多个卷积核，本实施例中，通过对部分卷积核进行裁剪的方式来对待压缩神经网络进行压缩。

具体地，可先对待压缩神经网络中的各个卷积核进行池化操作。其中，池化层(也称下采样层)是卷积神经网络中的常用网络层，通过池化层对上一层网络输出的特征图进行池化操作，以压缩特征图；与现有池化层对特征图进行池化操作不同，在本实施例中，利用现有池化操作的原理对神经网络的卷积核进行池化操作，池化操作的对象不是神经网络的中间网络层输出的特征图，而是神经网络的模型参数本身(也即卷积核中的参数)。具体的池化操作可采用现有的任意池化操作，在此不作限制。

在对各个卷积核进行池化操作后，得到各个卷积核分别对应的池化值。

进一步地，所述步骤S10包括：

步骤S101，对待压缩神经网络中的卷积核按照所述卷积核的尺寸进行平均池化操作或最大池化操作，得到所述卷积核对应的池化值。

在一实施方式中，对待压缩神经网络中的各个卷积核分别进行池化操作。具体地，以一个卷积核为例，可按照该卷积核的尺寸进行平均池化操作或最大池化操作，得到该卷积核对于的池化值。其中，按照该卷积核的尺寸进行池化操作是指该卷积核的尺寸即池化操作对应的池化区域的尺寸，例如，该卷积核是3*3的尺寸，则池化区域的尺寸也为3*3，也即，对该卷积核内的9个参数进行一次池化操作得到一个池化值。最大池化操作是取池化区域内的最大值作为池化值，平均池化操作是取池化区域内各值的平均值作为池化值。

步骤S20，将所述池化值进行整型量化操作得到整型值；

在得到各个卷积核对应的池化值后，将各个卷积核的池化值分别进行整型量化操作，得到各个卷积核对应的整型值。具体地，整型量化操作的方式可以是预先设置一个量化分界点，大于该量化分界点的池化值，量化为一个整型值，小于或等于该量化分界点的池化值，量化为另一个整型值。或者，也可采用其他的整型量化方式将池化值进行量化，具体可根据需要进行设置，在此不作限制。

进一步地，所述步骤S20包括：

步骤S201，检测所述池化值是否大于零；

步骤S202，若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；

步骤S203，若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

在一实施方式中，可将池化值进行整型量化为预设第一数值和预设第二数值中的一个，也即，进行二值量化，并将预设第一数值作为目标值。其中，预设第一数值和预设第二数值可以根据具体需要进行设置，例如，第一数值设置为0，第二数值设置为1。对池化值进行整型量化的方式具体可以是：检测池化值是否大于零，也即，设置零作为量化分界点；若池化值大于零，则将第二数值作为池化值对应的整型值，也即将第二数值作为对应卷积核的整型值；若池化值小于或等于零，则将第一数值作为池化值对应的整型值，也即将第一数值作为对应卷积核的整型值。

当第一数值为0，第二数值为1时，上述进行整型量化的过程可以采用如下过程实现：将池化值输入信号损失函数max(a，0)，通过信号损失函数检测所述池化值是否大于零，也即，池化值大于零，则保留池化值，池化值小于0，则将池化值变为0；将信号损失函数的输出值整型化为0或1，具体地，输出值为0则整型化为0，输出值为非零，则整型化为1，以实现对各个池化值进行整型量化为0或1。

步骤S30，将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

在对各个池化值进行整型量化，得到各个卷积核对应的整型值后，各个卷积核对应的整型值可能是目标值，可能不是目标值，将各个卷积核中对应整型值为目标值的卷积核进行裁剪，以对待压缩神经网络进行压缩，也即，裁剪了部分卷积核后剩下的网络部分即为压缩后的神经网络。其中，对卷积核进行裁剪即直接将该卷积核从待压缩神经网络中去除。

在本实施例中，通过对待压缩神经网络中的卷积核进行池化操作，得到卷积核对应的池化值；将池化值进行整型量化操作得到卷积核对应的整型值；对卷积核中对应整型值为目标值的卷积核进行裁剪，以对待压缩神经网络进行压缩。可以理解的是，本实施例中，压缩后的神经网络相比于原始的待压缩神经网络，减少了部分卷积核，也即减少了部分模型参数，那么在神经网络的运行过程中，相比于原始神经网络，运行压缩后的神经网络所需加载和计算的参数大大减少，从而对设备的CPU算力、电池和内存等设备资源需求减小，减轻了设备运行神经网络时的负担，从而使得算力有限的边缘设备也能够运行神经网络，扩大了神经网络在具体领域中的应用范围。

进一步地，基于上述第一实施例，提出本发明神经网络压缩方法第二实施例，在本实施例中，所述方法还包括：

步骤S40，获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

在本实施例中，若待压缩神经网络中包含全连接层，则可对待压缩神经网络中全连接层的部分神经元也进行裁剪，以进一步地压缩待压缩神经网络。对全连接层的裁剪操作可在对卷积核的裁剪操作之前或之后执行，或者可以卷积核的裁剪操作同时执行，也即，在本实施例中，并不限制步骤S10～S30与S40～S60之间的先后顺序。

具体地，可获取待压缩神经网络中全连接层的输出数据。其中，输出数据可以是将预设数据集输入待压缩神经网络后，通过全连接层得到的；预设数据集可以是预先采集的用于对待压缩神经网络进行训练的数据集，例如，待压缩神经网络是用于对图像进行分类的模型时，预设数据集可以是由多张图像数据组成的数据集。当将一轮参数更新之前的神经网络作为待压缩神经网络时，可获取上一轮参数更新过程中将预设数据集输入神经网络得到的全连接层的输出数据。

步骤S50，对所述输出数据的各元素分别进行整型量化操作得到整型值；

全连接层的输出数据一般为向量或矩阵形式，包括多个元素，可对输出数据的各个元素分别进行整型量化操作，得到各个元素对应的整型值。对各个元素进行整型量化操作的具体过程可参照第一实施例中对池化值进行整型量化操作的具体过程，在此不进行详细赘述。

步骤S60，将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

输出数据的各个元素对应的整型值可能是目标值，也可能不是目标值，可将输出数据的各个元素中对应整型值为目标值的元素作为目标元素，并将目标元素所关联的全连接层中的神经元进行裁剪，以对待压缩神经网络进行压缩。其中，从目标元素往神经网络的输入层方向回推，其所经过的全连接层中的神经元即为目标元素所关联的神经元。对神经元进行裁剪即直接将该神经元从待压缩神经网络中去除。

在本实施例中，通过获取待压缩神经网络中全连接层的输出数据，将输出数据的各元素进行整型量化，得到各个元素对应的整型值；将输出数据的各元素中整型值为目标值的元素作为目标元素，并将目标元素所关联的全连接层中的神经元进行裁剪，以对待压缩神经网络进行进一步的压缩，使得压缩后的神经网络相比于原始的待压缩神经网络，模型参数得到了进一步地简化，在神经网络的运行过程中所需加载和计算的参数进一步减少，进一步减小了对设备的CPU算力、电池和内存等设备资源的需求，减轻了设备运行神经网络时的负担。

进一步地，基于上述第一和/或二实施例，提出本发明神经网络压缩方法第三实施例。在本实施例中，所述步骤S10之前，还包括：

步骤A10，获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

可根据具体的模型训练任务设置神经网络模型结构，并采集与模型训练任务对应的训练数据，初始化神经网络中的模型参数，采用训练数据对神经网络进行多轮模型更新，以不断优化更新神经网络中的模型参数，得到满足预测准确率要求的神经网络模型。在各轮模型更新的过程中，可神经网络模型进行压缩，以减轻模型更新过程中设备的算力、电池和内存等资源的负担。例如，预先可设置一个图像分类任务，并采集不同类别的图像作为训练数据，采用训练数据对初始化的神经网络进行训练，得到图像分类准确率满足要求的图像分类模型。

具体地，以一轮模型更新为例，可先获取本轮模型更新的基准神经网络。第一轮模型更新时，基准神经网络为初始化的神经网络，后续的模型更新时，基准神经网络为上一轮模型更新后得到的神经网络。

将获取到的基准神经网络进行复制，得到基准神经网络的副本，并将副本作为待压缩神经网络，采用上述实施例中对神经网络的压缩方式对待压缩神经网络进行压缩。压缩后的待压缩神经网络相比于基准神经网络，其参数数量大大减小。

所述步骤S30之后，还包括：

步骤A20，将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；

将压缩后的待压缩神经网络作为压缩网络，也即称为压缩网络。采用预设数据集对压缩网络进行模型参数更新，得到更新后的压缩网络。具体地，预设数据集即预先采集的用于对神经网络进行训练的数据集，例如为训练图像分类模型而采集的图像数据集。采用预设数据集对压缩网络进行模型参数更新的方式可参照现有机器学习模型中有监督训练的方式，在此不进行详细赘述。进行模型参数更新后的压缩网络中各个模型参数得到了更新。

步骤A30，采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮模型更新。

采用更新后的压缩网络中的模型参数对基准神经网络中的模型参数进行更新，以完成本轮模型更新。具体地，压缩网络中的模型参数数量是小于基准神经网络中模型参数数量的，采用更新后的压缩网络中的模型参数更新基准神经网络中对应位置的模型参数，基准神经网络中其他位置的模型参数则可保持不变。下一轮模型更新时，可获取本轮更新后的基准神经网络作为下一轮的基准神经网络。

由于每一次对待压缩神经网络裁剪的参数都不一定相同，经过多轮模型更新，初始化的神经网络中各个模型参数在不同轮次的模型更新中都得到了更新，从而保证了神经网络的各个模型参数都得到优化更新，保证了最终训练得到的模型的预测准确率。并且，每一轮模型更新时是对压缩网络进行模型参数更新，而不是基准神经网络，使得每一轮模型更新时，设备需要加载和运算的模型参数都大幅减小，减轻了设备的算力、电池和内存等资源的负担，使得算力有限的边缘设备也能够运行神经网络。

进一步地，基于上述第一和/或二实施例，提出本发明神经网络压缩方法第四实施例。在本实施例中，所述方法应用于参与联邦学习的参与方，所述步骤S10之前，还包括：

步骤A40，获取本轮联邦学习模型更新的基准神经网络，其中，所述基准神经网络包括私有网络和公共网络；

在本实施例中，根据具体的模型训练任务，联邦学习的各个参与方可在各自本地设置神经网络模型结构，各参与方的神经网络可包括私有网络和公共网络两部分，各参与方的私有网络结构可相同也可以不相同，各个参与方的公共网络模型结构相同。私有网络和公共网络的模型参数均可随机初始化。各个参与方分别与参与联邦学习的协调方通信连接，在协调方的协调下完成联邦学习。联邦学习过程中，各参与方对各自的神经网络进行多轮联邦学习模型更新，最终得到各自满足预测准确度要求的模型。

在一轮模型更新中，参与方可获取本轮联邦学习模型更新的基准神经网络。第一轮模型更新时，基准神经网络为初始化的神经网络，后续的模型更新时，基准神经网络为上一轮模型更新后得到的神经网络。

步骤A50，对所述基准神经网络进行复制得到网络副本，并将所述网络副本中的私有网络作为所述待压缩神经网络；

参与方对基准神经网络进行复制得到网络副本，并将该网络副本中的私有网络作为待压缩神经网络。参与方可按照上述实施例中对神经网络的压缩方式对待压缩神经网络进行压缩。也即，参与方仅对网络副本中的私有网络部分进行压缩，公共网络部分则不进行压缩。网络副本中私有网络进行压缩后，网络副本的参数数量相比于基准网络参数大大减小。

所述步骤S30之后，还包括：

步骤A60，将包含压缩后的待压缩神经网络的网络副本作为压缩网络，并采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络；

参与方将包含压缩后的待压缩神经网络的网络副本作为压缩网络，也即，将压缩了私有网络部分的网络副本作为压缩网络。再采用压缩网络参与本轮联邦学习模型更新，得到更新后的压缩网络。具体地，联邦学习模型更新过程可采用现有的联邦学习模型更新过程。

进一步地，所述步骤A60中采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络的步骤包括：

步骤a，采用预设数据集对所述压缩网络进行模型参数更新，得到所述压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度；

采用预设数据集对压缩网络进行模型参数更新，得到压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度。具体地，预设数据集即预先采集的用于对神经网络进行训练的数据集，例如为训练图像分类模型而采集的图像数据集。采用预设数据集对压缩网络进行模型参数更新，以得到网络对应的梯度的方式可参照现有机器学习模型中有监督训练的方式，在此不进行详细赘述。

步骤b，将所述第二梯度发送给参与联邦学习的协调方，以供所述协调方在对各参与方发送的第二梯度进行全局融合后得到全局梯度并返回；

参与方将第二梯度发送给协调方。协调方接收各个参与方发送的第二梯度，并对第二梯度进行全局融合得到全局梯度。具体地，全局融合方式可以是对各个第二梯度进行加权平均。协调方将全局梯度返回给各个参与方。

步骤c，采用从所述协调方接收到的全局梯度更新所述压缩网络中的公共网络，采用所述第一梯度更新所述压缩网络中的私有网络，以更新所述压缩网络；

参与方采用从协调方接收到的全局梯度更新压缩网络中的公共网络，也即更新公共网络中的模型参数。参与方采用第一梯度更新压缩网络中的私有网络，以及更新私有网络中的模型参数。更新私有网络和公共网络后，压缩网络得到更新。

步骤A70，采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。

参与方采用更新后的压缩网络中的模型参数对基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。具体地，压缩网络中的模型参数数量是小于基准神经网络中模型参数数量的，采用更新后的压缩网络中的模型参数更新基准神经网络中对应位置的模型参数，基准神经网络中其他位置的模型参数则可保持不变。下一轮联邦学习模型更新时，可获取本轮更新后的基准神经网络作为下一轮的基准神经网络。

现有的横向联邦学习框架中，各个参与方的本地模型结构相同，各方联合对各自的本地模型进行更新，若各参与方对其本地模型进行压缩，由于各方压缩后的本地模型各不相同，将导致协调方无法进行全局融合操作，从而无法进行联邦学习，因此，现有的横向联邦学习中，各参与方无法根据各自的设备情况进行模型压缩，从而导致一些算力有限的设备无法参与到联邦学习中。相比于现有的横向联邦学习，在本实施例中，各参与方本地神经网络包括私有网络和公共网络，私有网络部分各参与方可不同，并可根据各自的设备情况对私有网络进行压缩，从而减少联邦学习过程中设备的算力、电池和内存等资源的负担；又通过公共网络的全局融合，利用了联邦学习的优势，从而相比于参与方单独训练本地神经网络，提升了最终训练得到的模型的预测准确率。

进一步地，在一实施方式中，所述预设数据集是图像数据集，所述步骤A70之后，还包括：

步骤A80，当检测到更新后的基准神经网络满足预设模型条件时，将更新后的基准神经网络作为目标神经网络；

模型训练任务可以是训练一个图像分类模型，则预设数据集可以是预先采集的各种类别的图像数据。在一轮模型更新后，可检测更新后的基准神经网络是否满足预设模型条件。其中，预设模型条件可根据具体需要进行设置，例如，可以是更新后的基准神经网络的分类准确率小于一定准确率，或更新后的基准神经网络的损失函数收敛，或训练轮次大于一定训练轮次，或训练时长大于一定训练时长等。当检测到更新后的基准神经网络满足预设模型条件时，可将更新后的基准神经网络作为目标神经网络，也即作为训练完成的神经网络模型。若检测到更新后的基准神经网络不满足预设模型条件，则可进行下一轮的模型更新。

步骤A90，将待分类图像数据输入所述目标神经网络进行分类处理，得到所述待分类图像的分类结果。

在得到目标神经网络后，可采用目标神经网络对图像进行分类预测。例如，将目标神经网络部署于购物软件中，并设置基于图片搜索类似商品的功能，当检测到上传的物品图像后，将该图像作为待分类图像输入目标神经网络中进行分类处理，得到待分类图像的分类结果，即属于哪种商品，根据该分类结果从商品数据库中搜索相同或类似的商品推荐给用户。在这种场景下，目标神经网络可以是可联合各个用户的移动终端设备进行联邦学习得到的，由于用户的移动终端一般在算力、电池和内存等资源上都有限，故可采用本实施例中的联邦学习方式进行联合训练，从而使得资源有限的移动终端也能够参与到联邦学习的训练中，从而扩充了联邦学习的参与方数量，也就扩充了训练数据的数据量和丰富度，使得目标神经网络更加的健壮，预测准确率更高。

此外本发明实施例还提出一种神经网络压缩装置，参照图3，所述装置包括：

池化模块10，用于对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

量化模块20，用于将所述池化值进行整型量化操作得到整型值；

裁剪模块30，用于将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

进一步地，所述池化模块10还用于：对待压缩神经网络中的卷积核按照所述卷积核的尺寸进行平均池化操作或最大池化操作，得到所述卷积核对应的池化值。

进一步地，所述目标值为预设第一数值，所述量化模块20包括：

检测单元，用于检测所述池化值是否大于零；

确定单元，用于若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

进一步地，所述装置还包括：

第一获取模块，用于获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将预设数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

所述量化模块20还用于对所述输出数据的各元素分别进行整型量化操作得到整型值；

所述裁剪模块30还用于将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

进一步地，所述装置还包括：

第二获取模块，用于获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

第一更新模块，用于将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮模型更新。

进一步地，所述装置部署于参与联邦学习的参与方，所述装置还包括：

第三获取模块，用于获取本轮联邦学习模型更新的基准神经网络，其中，所述基准神经网络包括私有网络和公共网络；

复制模块，用于对所述基准神经网络进行复制得到网络副本，并将所述网络副本中的私有网络作为所述待压缩神经网络；

所述装置还包括：

第二更新模块，用于将包含压缩后的待压缩神经网络的网络副本作为压缩网络，并采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络；采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。

进一步地，所述第二更新模块包括：

第一更新单元，用于采用预设数据集对所述压缩网络进行模型参数更新，得到所述压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度；

发送单元，用于将所述第二梯度发送给参与联邦学习的协调方，以供所述协调方在对各参与方发送的第二梯度进行全局融合后得到全局梯度并返回；

第二更新单元，用于采用从所述协调方接收到的全局梯度更新所述压缩网络中的公共网络，采用所述第一梯度更新所述压缩网络中的私有网络，以更新所述压缩网络；

进一步地，所述预设数据集是图像数据集，所述装置还包括：

确定模块，用于当检测到更新后的基准神经网络满足预设模型条件时，将更新后的基准神经网络作为目标神经网络；

分类模块，用于将待分类图像数据输入所述目标神经网络进行分类处理，得到所述待分类图像数据的分类结果。

本发明神经网络压缩装置的具体实施方式的拓展内容与上述神经网络压缩方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有神经网络压缩程序，所述神经网络压缩程序被处理器执行时实现如下所述的神经网络压缩方法的步骤。

本发明神经网络压缩设备和计算机可读存储介质的各实施例，均可参照本发明神经网络压缩方法各实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种神经网络压缩方法，其特征在于，所述方法包括以下步骤：

对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

将所述池化值进行整型量化操作得到整型值；

将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

2.如权利要求1所述的神经网络压缩方法，其特征在于，所述目标值为预设第一数值，所述将所述池化值进行整型量化操作得到整型值的步骤包括：

检测所述池化值是否大于零；

若所述池化值小于或等于零，则将所述预设第一数值作为所述池化值对应的整型值；

若所述池化值大于零，则将预设第二数值作为所述池化值对应的整型值。

3.如权利要求1所述的神经网络压缩方法，其特征在于，所述将所述卷积核中整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

获取所述待压缩神经网络中全连接层的输出数据，其中，所述输出数据为将预设数据集输入所述待压缩神经网络后，通过所述全连接层得到的；

对所述输出数据的各元素分别进行整型量化操作得到整型值；

将所述输出数据各元素中对应整型值为所述目标值的元素作为目标元素，将所述目标元素所关联的所述全连接层中的神经元进行裁剪，以对所述待压缩神经网络进行压缩。

4.如权利要求1至3任一项所述的神经网络压缩方法，其特征在于，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮模型更新的基准神经网络，将所述基准神经网络的副本作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将压缩后的待压缩神经网络作为压缩网络，并采用预设数据集对所述压缩网络进行模型参数更新，得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮模型更新。

5.如权利要求1至3任一项所述的神经网络压缩方法，其特征在于，所述方法应用于参与联邦学习的参与方，所述对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值的步骤之前，还包括：

获取本轮联邦学习模型更新的基准神经网络，其中，所述基准神经网络包括私有网络和公共网络；

对所述基准神经网络进行复制得到网络副本，并将所述网络副本中的私有网络作为所述待压缩神经网络；

所述将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩的步骤之后，还包括：

将包含压缩后的待压缩神经网络的网络副本作为压缩网络，并采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络；

采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新。

6.如权利要求5所述的神经网络压缩方法，其特征在于，所述采用所述压缩网络参与本轮联邦学习模型更新得到更新后的压缩网络的步骤包括：

采用预设数据集对所述压缩网络进行模型参数更新，得到所述压缩网络中私有网络对应的第一梯度和公共网络对应的第二梯度；

将所述第二梯度发送给参与联邦学习的协调方，以供所述协调方在对各参与方发送的第二梯度进行全局融合后得到全局梯度并返回；

采用从所述协调方接收到的全局梯度更新所述压缩网络中的公共网络，采用所述第一梯度更新所述压缩网络中的私有网络，以更新所述压缩网络。

7.如权利要求5所述的神经网络压缩方法，其特征在于，所述预设数据集是图像数据集，所述采用更新后的压缩网络中的模型参数对所述基准神经网络中的模型参数进行更新，以完成本轮联邦学习模型更新的步骤之后，还包括：

当检测到更新后的基准神经网络满足预设模型条件时，将更新后的基准神经网络作为目标神经网络；

将待分类图像数据输入所述目标神经网络进行分类处理，得到所述待分类图像数据的分类结果。

8.一种神经网络压缩装置，其特征在于，所述装置包括：

池化模块，用于对待压缩神经网络中的卷积核进行池化操作，得到所述卷积核对应的池化值；

量化模块，用于将所述池化值进行整型量化操作得到整型值；

裁剪模块，用于将所述卷积核中对应整型值为目标值的卷积核进行裁剪以对所述待压缩神经网络进行压缩。

9.一种神经网络压缩设备，其特征在于，所述神经网络压缩设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络压缩程序，所述神经网络压缩程序被所述处理器执行时实现如权利要求1至7中任一项所述的神经网络压缩方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有神经网络压缩程序，所述神经网络压缩程序被处理器执行时实现如权利要求1至7中任一项所述的神经网络压缩方法的步骤。

Images