CN110276438A

CN110276438A - 一种神经网络参数压缩方法及相关装置

Info

Publication number: CN110276438A
Application number: CN201910402406.5A
Authority: CN
Inventors: 何施茗; 李卓宙; 唐杨宁; 王进; 邓玉芳; 陈启民
Original assignee: Changsha University of Science and Technology
Current assignee: Changsha University of Science and Technology
Priority date: 2019-05-15
Filing date: 2019-05-15
Publication date: 2019-09-24

Abstract

本申请公开了一种神经网络参数压缩方法，包括：对低阶输入数据进行升阶处理，得到高阶输入数据；对所述高阶输入数据进行张量分解处理，得到高阶输出结果；根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到低阶输出结果。通过将低阶输入数据升阶为高阶输入数据，然后再对高阶输入数据进行张量分解处理，最后将张量分解的结果展开为低阶输入数据相同阶数的参数，实现对低阶输入数据进行压缩，降低神经网络处理时的数据量，提高性能利用率。本申请还公开了一种神经网络参数压缩装置、计算机设备以及计算机可读存储介质，具有以上有益效果。

Description

一种神经网络参数压缩方法及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种神经网络参数压缩方法、神经网络参数压缩装置、计算机设备以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，在深度学习领域出现了多种多样的参数处理方式，以提高深度学习过程的性能。

现有技术中通常采用张量分解处理对参数进行参数压缩处理。一般的，张量分解处理包括CP分解处理和Tucker分解处理。其中，Tucker分解处理是将张量分解为核心张量和三个因子矩阵，以便对神经网络的参数进行分解。当神经网络的参数阶数越高时进行Tucker分解处理的压缩性能越高。但是，当神经网络参数的阶数越低时，压缩性能越低。也就是，将Tucker分解处理应用在低阶输入数据时，例如采用Tucker对一阶参数进行参数压缩时，对于等量的数据量进行压缩后的压缩性能最低，无法通过Tucker计算得到很好的压缩结果。进而在对低阶输入数据进行神经网络学习时，由于压缩效果较低，需要处理的压缩量较高，降低性能利用率。

因此，如何提高神经网络对低阶输入数据的压缩效果是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种神经网络参数压缩方法、神经网络参数压缩装置、计算机设备以及计算机可读存储介质，通过将低阶输入数据升阶为高阶输入数据，然后再对高阶输入数据进行张量分解处理，最后将张量分解的结果展开为低阶输入数据相同阶数的参数，实现对低阶输入数据进行压缩，降低神经网络处理时的数据量，提高性能利用率。

为解决上述技术问题，本申请提供一种神经网络参数压缩方法，包括：

对低阶输入数据进行升阶处理，得到高阶输入数据；

对所述高阶输入数据进行张量分解处理，得到高阶输出结果；

根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到低阶输出结果。

可选的，对低阶输入数据进行升阶处理，得到高阶输入数据，包括：

根据预设约束规则确定所述低阶输入数据的升阶值；

根据所述升阶值对所述低阶输入数据进行升阶处理，得到所述高阶输入数据。

可选的，根据预设约束规则确定所述低阶输入数据的升阶值，包括：

根据所述预设约束规则确定升阶值不等式；

对所述升阶值不等式进行求取极值处理，得到所述升阶值。

可选的，对所述高阶输入数据进行张量分解处理，得到高阶输出结果，包括：

对所述高阶输入数据进行Tucker分解处理，得到所述高阶输出结果。

对所述高阶输入数据进行CP分解处理，得到所述高阶输出结果。

本申请还提供一种神经网络参数压缩装置，包括：

升阶处理模块，用于对低阶输入数据进行升阶处理，得到高阶输入数据；

张量分解压缩模块，用于对所述高阶输入数据进行张量分解处理，得到高阶输出结果；

降阶处理模块，用于根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到低阶输出结果。

可选的，所述升阶处理模块，包括：

升阶值确定单元，用于根据预设约束规则确定所述低阶输入数据的升阶值；

升阶处理单元，用于根据所述升阶值对所述低阶输入数据进行升阶处理，得到所述高阶输入数据。

可选的，所述升阶值确定单元，包括：

升阶值不等式获取子单元，用于根据所述预设约束规则确定升阶值不等式；

升阶值求取子单元，用于对所述升阶值不等式进行求取极值处理，得到所述升阶值。

本申请还提供一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的神经网络参数压缩方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的神经网络参数压缩方法的步骤。

本申请所提供的一种神经网络参数压缩方法，包括：对低阶输入数据进行升阶处理，得到高阶输入数据；对所述高阶输入数据进行张量分解处理，得到高阶输出结果；根据所述低阶输入数据的阶数对所述高阶输出结果进行展开处理，得到低阶输出结果。

通过将低阶输入数据进行升阶处理，得到高阶输入数据，然后对高阶输入数据采用张量分解处理的方法进行数据压缩，最后将得到的压缩结果进行展开处理，得到低阶输入数据的压缩结果。由于是对高阶输入数据执行张量分解的压缩处理，而不是直接对低阶输入数据进行参数压缩处理，保持张量分解处理的性能，提高对低阶输入数据的压缩性能，可以降低神经网络对低阶输入数据进行处理的数据量，提高性能利用率。

本申请还提供一种神经网络参数压缩装置、计算机设备以及计算机可读存储介质，具有以上有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种神经网络参数压缩方法的流程图；

图2为本申请实施例所提供的一种神经网络参数压缩方法的升阶处理的流程图；

图3为本申请实施例所提供的一种神经网络参数压缩装置的结构示意图。

具体实施方式

本申请的核心是提供一种神经网络参数压缩方法、神经网络参数压缩装置、计算机设备以及计算机可读存储介质，通过将低阶输入数据升阶为高阶输入数据，然后再对高阶输入数据进行张量分解处理，最后将张量分解的结果展开为低阶输入数据相同阶数的参数，实现对低阶输入数据进行压缩，降低神经网络处理时的数据量，提高性能利用率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

因此，本申请提供一种神经网络参数压缩方法，通过将低阶输入数据进行升阶处理，得到高阶输入数据，然后对高阶输入数据采用张量分解处理的方法进行数据压缩，最后将得到的压缩结果进行展开处理，得到低阶输入数据的压缩结果。由于是对高阶输入数据执行张量分解的压缩处理，而不是直接对低阶输入数据进行参数压缩处理，保持张量分解处理的性能，提高对低阶输入数据的压缩性能，可以降低神经网络对低阶输入数据进行处理的数据量，提高性能利用率。

请参考图1，图1为本申请实施例所提供的一种神经网络参数压缩方法的流程图。

本实施例中，该方法可以包括：

S101，对低阶输入数据进行升阶处理，得到高阶输入数据；

本步骤旨在对低阶输入数据进行升阶处理，得到高阶输入数据。

一般的，现有技术中对神经网络的参数进行压缩采用张量分解方法进行参数压缩。而张量分解方法对高阶输入数据具有很好的压缩效果，并且随着阶数的增加压缩效果越好。反之阶数越低进行压缩的性能也就越低。尤其对于等量的数据量，1阶向量形式的参数压缩性能最低。也就是如果对低阶输入数据进行张量分解的压缩处理，不仅没有办法得到很好的压缩后参数，还有可能由于执行了压缩算法，增加了多余的性能消耗。

因此，本实施例中首先对低阶输入数据进行升阶处理，得到高阶输入数据，使得对高阶输入数据进行压缩处理，而不是直接对低阶输入数据进行压缩处理，避免将张量分解处理应用在低阶输入数据上降低压缩性能。

其中，低阶输入数据可以是1阶参数。只要将低阶输入数据升阶为高阶输入数据，无论高阶输入数据的阶数是什么都可以避免将张量分解处理应用在低阶输入数据中，间接的提高参数压缩的效率。进一步的，本步骤中还可以通过对设定的约束条件求取极值得到最佳的升阶值，使得高阶输入数据的压缩性能最高。

S102，对高阶输入数据进行张量分解处理，得到高阶输出结果；

在S101的基础上本步骤旨在对高阶输入数据进行张量分解处理，得到高阶输出结果。

本步骤中可以采用现有技术中提供的任意一种张量分解处理方法，还可以采用现有技术提供的CP分解方法，或者采用现有技术提供的Tucker分解方法进行处理。可见，本步骤中对高阶输入数据进行张量分解处理的方法并不唯一，可以根据具体的应用场景选择合适的张量分解处理方法，在此不做具体限定。

可选的，本步骤可以包括：

对高阶输入数据进行Tucker分解处理，得到高阶输出结果。

可选的，本步骤可以包括：

对高阶输入数据进行CP分解处理，得到高阶输出结果。

S103，根据低阶输入数据的阶数对高阶输出结果进行展开处理，得到低阶输出结果。

在S102的基础上，本步骤旨在将高阶输出结果展开为低阶输入数据相同阶数的参数，即低阶输出结果。保证参数压缩后的阶数不变，保持参数压缩结果的正确性。

例如，低阶输入数据的阶数为1阶，那么就将高阶输出结果展开为1阶参数。

综上，本实施例通过将低阶输入数据进行升阶处理，得到高阶输入数据，然后对高阶输入数据采用张量分解处理的方法进行数据压缩，最后将得到的压缩结果进行展开处理，得到低阶输入数据的压缩结果。由于是对高阶输入数据执行张量分解的压缩处理，而不是直接对低阶输入数据进行参数压缩处理，保持张量分解处理的性能，提高对低阶输入数据的压缩性能，可以降低神经网络对低阶输入数据进行处理的数据量，提高性能利用率。

以下通过一个实施例，对本申请实施例中如何进行升阶处理做说明。

请参考图2，图2为本申请实施例所提供的一种神经网络参数压缩方法的升阶处理的流程图。

本实施例中，该升阶处理可以包括：

S201，根据预设约束规则确定低阶输入数据的升阶值；

本步骤旨在确定升阶值。主要是因为对低阶输入数据进行升阶操作可以升阶为任意阶数，而不同的阶数对于低阶输入数据的压缩效果也不相同。因此，需要确定升阶值以达到最佳的参数压缩效果。进一步的，本步骤中需要根据预设约束规则确定低阶输入数据的升阶值，以便获取到压缩效果最佳的升阶值。

其中，预设约束规则约束的是升阶值，其可以保持高阶输入数据的正确性，保持升阶处理不会出现错误。

可选的，本步骤可以包括：

步骤一，根据预设约束规则确定升阶值不等式；

步骤二，对升阶值不等式进行求取极值处理，得到升阶值。

可见，本可选方案中首先是根据预设约束规则确定升阶值不等式，然后对该升阶值不等式进行求取极值处理，得到升阶值。

S202，根据升阶值对低阶输入数据进行升阶处理，得到高阶输入数据。

在S201的基础上，本步骤旨在根据升阶值对低阶输入数据进行升阶处理，得到高阶输入数据。其中，该高阶输入数据的阶数就是S201中的升阶值。

以下通过一个具体的实施例，对本申请实施例中如何确定升阶值进行说明。

本实施例中，用向量表示低阶输入数据，用张量表示高阶输入数据，该方法中，对于三维张量tucker tensor分解是将张量分为核心张量和三个因子矩阵，具体如下：

对于n维张量上述公式相应的转换为：

再经过tucker分解逆运算，可以得出目标张量的计算公式：

其中，为核心张量，U为因子矩阵，

2阶矩阵和3阶张量的参数个数分别为I₁J₁+I₂J₂，I₁J₁+I₂J₂+I₃J₃，对于N阶张量，参数的数量是与全展开的I₁'J₁'相比，可见其数量被压缩。其中， I₁'为输入向量的维度，J₁'为输出向量的维度。

进一步的，将维度分别为I₁'和J₁'的输入和输出向量升阶为I₁I₂...I_N和 J₁J₂...J_N维度的N阶张量，则系统的参数数量由I₁'J₁'变为整个过程的参数数量会得到一定程度的压缩。可以得到压缩比为

输入向量可以重新形成为2阶，3阶甚至是N阶张量。重塑成不同阶数的张量将产生各种参数压缩比和表示能力。压缩后的表示能力取决于输入数据的结构。可见，对张量分解处理输入不同的阶数的数据可以得到不同的表示能力的压缩结果。

因此，为了对低阶输入数据获取到最佳的参数压缩性能。基于TFNN(基于Tucker分解的神经网络)的压缩性能，可以得到当张量阶数大时，压缩性能大小与输入数据大小呈正相关。如果将向量重新整形为矩阵或张量作为TFNN 的输入并且TFNN的输出展开为向量，则它可以进一步控制参数的大小并提高效率。

为了将输入向量的所有元素存储在张量中，向量和张量之间的维度需要满足以下约束：

为了求得最大的压缩比由于分子由输入决定，需要得到最小的分母即相应的问题转化为：

根据拉格朗日条件数算法：

其中，α和β为拉格朗日乘数，可以通过KKT(Karush Kuhn Tucker)条件来计算结果：N的精确解为N＝ln(I₁'J₁')。由于N为整数，需要对其分别进行上下取整，得到两个N的值，再通过之后的步骤取一个效果更好的N为最终的结果。

分别针对每一个给定的整数N，如果张量的每阶的维数没有整数要求，容易得出每一阶的张量长度为I_n＝(I₁')^1/N,J_n＝(J₁')^1/N。相对的问题转化为求

考虑整数约束时，则可以通过迭代的方法求出每阶的具体维数。取分别进行迭代。

迭代的详细过程，可以例如：

假设，输入与输出向量的维度：I₁'，J₁'；输出的结果为最佳参数数量。

进行迭代的代码可以参考如下：

下面对本申请实施例提供的一种神经网络参数压缩装置进行介绍，下文描述的一种神经网络参数压缩装置与上文描述的一种神经网络参数压缩方法可相互对应参照。

请参考图3，图3为本申请实施例所提供的一种神经网络参数压缩装置的结构示意图。

本实施例中，该装置可以包括：

升阶处理模块100，用于对低阶输入数据进行升阶处理，得到高阶输入数据；

张量分解压缩模块200，用于对高阶输入数据进行张量分解处理，得到高阶输出结果；

降阶处理模块300，用于根据低阶输入数据的阶数对高阶输出结果进行展开处理，得到低阶输出结果。

可选的，本实施例中的升阶处理模块100，可以包括：

升阶值确定单元，用于根据预设约束规则确定低阶输入数据的升阶值；

升阶处理单元，用于根据升阶值对低阶输入数据进行升阶处理，得到高阶输入数据。

可选的，本实施例中的升阶值确定单元，可以包括：

升阶值不等式获取子单元，用于根据预设约束规则确定升阶值不等式；

升阶值求取子单元，用于对升阶值不等式进行求取极值处理，得到升阶值。

本申请实施例还提供一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上的神经网络参数压缩方法的步骤。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上的神经网络参数压缩方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种神经网络参数压缩方法、神经网络参数压缩装置、计算机设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种神经网络参数压缩方法，其特征在于，包括：

对低阶输入数据进行升阶处理，得到高阶输入数据；

2.根据权利要求1所述的神经网络参数压缩方法，其特征在于，对低阶输入数据进行升阶处理，得到高阶输入数据，包括：

根据预设约束规则确定所述低阶输入数据的升阶值；

3.根据权利要求2所述的神经网络参数压缩方法，其特征在于，根据预设约束规则确定所述低阶输入数据的升阶值，包括：

根据所述预设约束规则确定升阶值不等式；

对所述升阶值不等式进行求取极值处理，得到所述升阶值。

4.根据权利要求1至3任一项所述的神经网络参数压缩方法，其特征在于，对所述高阶输入数据进行张量分解处理，得到高阶输出结果，包括：

5.根据权利要求1至3任一项所述的神经网络参数压缩方法，其特征在于，对所述高阶输入数据进行张量分解处理，得到高阶输出结果，包括：

6.一种神经网络参数压缩装置，其特征在于，包括：

7.根据权利要求6所述的神经网络参数压缩装置，其特征在于，所述升阶处理模块，包括：

8.根据权利要求7所述的神经网络参数压缩装置，其特征在于，所述升阶值确定单元，包括：

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的神经网络参数压缩方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的神经网络参数压缩方法的步骤。