CN110751278A - 一种神经网络比特量化方法和系统 - Google Patents

Abstract

本发明提供了一种神经网络比特量化方法和系统，该方法和系统通过对神经网络模型中每一层的输入信息进行分类和量化处理，以实现对该神经网络模型的递进式累积压缩，从而更进一步地减少该神经网络模型在运算过程中的中间数据和最终结果数据的存储空间；此外，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。

Description

一种神经网络比特量化方法和系统

技术领域

本发明涉及神经网络的技术领域，特别涉及一种神经网络比特量化方法和系统。

背景技术

对神经网络模型的权值进行量化，其目的是在保证神经网络模型针对目标任务的性能不发生显著降低的前提下，将神经网络模型的权值进行分类，并在每类共享权值，从而达到减少神经网络模型存储空间的效果。具体而言，对神经网络模型的每个不同阶段的权值进行分类，并且不同类之间采用不同的量化权值，这样能够有效地降低量化造成的精度损失，并且对神经网络模型的权重执行上述分类处理，能够尽可能使用较少的位数来量化权值，以节约对应硬件的内存和计算资源需求，从而大大地提升硬件的运算速度和降低硬件的功耗。

但是，现有技术都只是针对神经网络模型的权值进行分类和不同比特位数的量化处理，其并未对神经网络模型中每一层的输入信息进行优化的量化处理，这严重的阻碍神经网络模型计算效率的进一步提升。可见，现有技术急需一种能够对神经网络模型中每一层的输入信息进行量化处理以提高其运行效率和降低功耗的神经网络比特量化方法和系统。

发明内容

针对现有技术存在的缺陷，本发明提供一种神经网络比特量化方法和系统，其中，该神经网络比特量化方法包括如下步骤：步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的该目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；步骤(2)，对该目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使该目标神经网络模型的每一层的输出满足预设精度条件；步骤(3)，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练以及对该目标神经网络模型的每一层的输出进行排序处理，并且该神经网络比特量化系统也是基于上述方法来运行的。可见，该神经网络比特量化方法和系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行分类和量化处理，由于神经网络模型通常包括若干个不同的功能层，并且在相邻的两个功能层中，其中一个功能层的输出信息是用作另一个功能层的输入信息，如果对每一个功能层的输入信息都进行分类和量化处理，就能够保证每一个功能层的输入信息和输出信息都获得相应的比特位压缩，以实现对该神经网络模型的递进式累积压缩，从而更进一步地减少该神经网络模型在运算过程中的中间数据和最终结果数据的存储空间；此外，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。

本发明提供一种神经网络比特量化方法，其特征在于，所述神经网络比特量化方法包括如下步骤：

步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；

步骤(2)，对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件；

步骤(3)，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练以及对所述目标神经网络模型的每一层的输出进行排序处理；

进一步，在所述步骤(1)中，对目标神经网络模型进行第一训练具体包括，

步骤(101A)，获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；

步骤(102A)，将所述收敛状态评价值与预设收敛状态合格值范围进行匹配处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；

步骤(103A)，若所述收敛状态评价值匹配于所述预设收敛状态合格值范围，则中止对所述目标神经网络进行所述第一训练，否则，继续对所述目标神经网络进行所述第一训练，直到所述目标神经网络模型满足预设收敛状态条件为止；

进一步，在所述步骤(1)中，对第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理具体包括，

步骤(101B)，获取满足预设收敛状态条件的所述目标神经网络的所有层的输出状态信息，以此确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

步骤(102B)，根据所述所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定所述所有层中的每一个对应的输出的初始量化比特位和比特步阶；

步骤(103B)，根据所述所有层对应的初始量化比特位和比特步阶，拟合得到适用于所述所有层的输出的比特位量化模式，以此实现所述相同模式的比特位量化处理；

进一步，在所述步骤(2)中，对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件具体包括，

步骤(201)，获取所述目标神经网络模型的每一层的输出的channel方向信息，并根据所述channel方向信息进行所述分类处理；

步骤(202)，确定所述分类处理指示的关于所述每一层的输出的类聚，并对具有相同channel方向的类聚的所述每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的所述每一层的输出进行不同比特位的比特位量化处理；

步骤(203)，获取经过所述步骤(202)后的每一层的输出对应的输出精度损失，

若所述输出精度损失超过预设精度损失阈值，则重复所述步骤(202)，直到所述输出精度损失不超过所述预设精度损失阈值为止，

若所述输出精度损失不超过所述预设精度损失阈值，则逐渐降低每一层的输入对应的输入数据的比特位占比重，并依据所述输入数据对所述每一层进行高级别的比特位量化处理；

进一步，在所述步骤(3)中，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练以及对所述目标神经网络模型的每一层的输出进行排序处理具体包括，

步骤(301)，对经过所述步骤(2)处理后的所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；

步骤(302)，获取经过所述步骤(2)处理后的所述目标神经网络模型的每一层的输入特征，并将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

步骤(303)，根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。

本发明还提供一种神经网络比特量化系统，其特征在于：

所述神经网络比特量化系统包括第一训练模块、第二训练模块、量化处理模块、分类模块和排序模块；其中，

所述第一训练模块用于对目标神经网络模型进行第一训练；

所述量化处理模块用于对经过所述第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；

所述分类模块和所述量化处理模块还用于对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件；

所述第二训练模块用于对满足所述预设精度条件的所述目标神经网络模型进行第二训练；

所述排序模块用于对经过所述第二训练后的所述目标神经网络模型的每一层的输出进行排序处理；

进一步，所述第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；其中，

所述收敛评价子模块用于获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；

所述收敛对比子模块用于将所述收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；

所述收敛训练子模块用于对所述目标神经网络模型进行关于模型收敛的所述第一训练；

进一步，所述量化处理模块包括输出状态确定子模块、量化曲线确定子模块、量化参数确定子模块和比特位量化子模块；其中，

所述输出状态确定子模块用于获取满足预设收敛状态条件的所述目标神经网络的所有层的输出状态信息；

所述量化曲线确定子模块用于根据所述输出状态信息，确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

所述量化参数确定子模块用于根据所述所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定所述所有层中的每一个对应的输出的初始量化比特位和比特步阶；

所述比特位量化子模块用于根据所述所有层对应的初始量化比特位和比特步阶，以此实现所述相同模式的比特位量化处理；

进一步，所述分类模块包括方向信息确定子模块和输出类聚区分子模块；其中，

所述方向信息确定子模块用于获取所述目标神经网络模型的每一层的输出的channel方向信息；

所述输出类聚区分子模块用于根据所述channel方向信息进行所述分类处理，以此确定关于所述每一层的输出的类聚；

所述量化处理模块还包括分类量化子模块和高级量化子模块；

所述分类量化子模块用于对具有相同channel方向的类聚的所述每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的所述每一层的输出进行不同比特位的比特位量化处理；

所述高级量化子模块用于根据所述每一层的输出对应的输出精度损失与预设精度损失阈值之间的关系，确定是否依据所述每一层的输入数据对所述每一层进行高级别的比特位量化处理；

进一步，所述排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；其中，

所述微调子模块用于对所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；

所述输出通道确定子模块用于将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

所述顺序确定子模块用于根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。

相比于现有技术，该神经网络比特量化方法和系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行分类和量化处理，由于神经网络模型通常包括若干个不同的功能层，并且在相邻的两个功能层中，其中一个功能层的输出信息是用作另一个功能层的输入信息，如果对每一个功能层的输入信息都进行分类和量化处理，就能够保证每一个功能层的输入信息和输出信息都获得相应的比特位压缩，以实现对该神经网络模型的递进式累积压缩，从而更进一步地减少该神经网络模型在运算过程中的中间数据和最终结果数据的存储空间；此外，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种神经网络比特量化方法的流程示意图。

图2为本发明提供的一种神经网络比特量化方法的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的一种神经网络比特量化方法的流程示意图。该神经网络比特量化方法包括如下步骤：

步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的该目标神经网路模型的每一层的输入进行相同模式的比特位量化处理。

优选地，在该步骤(1)中，对目标神经网络模型进行第一训练具体包括，

步骤(101A)，获取该目标神经网络模型首次经过该第一训练后，对应的输出结果的收敛状态评价值；其中，该收敛状态评价值可通过在分类函数中常用的交叉熵损失函数计算得到，或者通过计算在物体检测网络中常用检测类别的交叉熵损失函数的检测物体坐标与真实坐标差值的平方两者的和得到。

步骤(102A)，将该收敛状态评价值与预设收敛状态合格值范围进行匹配处理，以此判断该目标神经网络模型是否满足预设收敛状态条件；

步骤(103A)，若该收敛状态评价值匹配于该预设收敛状态合格值范围，则中止对该目标神经网络进行该第一训练，否则，继续对该目标神经网络进行该第一训练，直到该目标神经网络模型满足预设收敛状态条件为止。

优选地，在该步骤(1)中，对第一训练后的该目标神经网路模型的每一层的输入进行相同模式的比特位量化处理具体包括，

步骤(101B)，获取满足预设收敛状态条件的该目标神经网络的所有层的输出状态信息，以此确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

步骤(102B)，根据该所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定该所有层中的每一个对应的输出的初始量化比特位和比特步阶；

步骤(103B)，根据该所有层对应的初始量化比特位和比特步阶，拟合得到适用于该所有层的输出的比特位量化模式，以此实现该相同模式的比特位量化处理。

步骤(2)，对该目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使该目标神经网络模型的每一层的输出满足预设精度条件。

优选地，在该步骤(2)中，对该目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使该目标神经网络模型的每一层的输出满足预设精度条件具体包括，

步骤(201)，获取该目标神经网络模型的每一层的输出的channel方向信息，并根据该channel方向信息进行该分类处理；

步骤(202)，确定该分类处理指示的关于该每一层的输出的类聚，并对具有相同channel方向的类聚的该每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的该每一层的输出进行不同比特位的比特位量化处理；

步骤(203)，获取经过该步骤(202)后的每一层的输出对应的输出精度损失，

若该输出精度损失超过预设精度损失阈值，则重复该步骤(202)，直到该输出精度损失不超过该预设精度损失阈值为止，

若该输出精度损失不超过该预设精度损失阈值，则逐渐降低每一层的输入对应的输入数据的比特位占比重，并依据该输入数据对该每一层进行高级别的比特位量化处理。

步骤(3)，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练以及对该目标神经网络模型的每一层的输出进行排序处理。

优选地，在该步骤(3)中，对经过该步骤(2)处理后的该目标神经网络模型进行第二训练以及对该目标神经网络模型的每一层的输出进行排序处理具体包括，

步骤(301)，对经过该步骤(2)处理后的该目标神经网络进行关于不同阶段权重的微调处理，以使该目标神经网络的每一层的输出满足预设输出精度分布规律；

步骤(302)，获取经过该步骤(2)处理后的该目标神经网络模型的每一层的输入特征，并将该目标神经网络模型中每一个神经元与其对应的该输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

步骤(303)，根据每一个神经元对应的输出通道，对该目标神经网络模型的每一层的输出进行该排序处理。

参阅图2，为本发明实施例提供的一种神经网络比特量化系统的结构示意图。该神经网络比特量化系统包括第一训练模块、第二训练模块、量化处理模块、分类模块和排序模块。其中，

该第一训练模块用于对目标神经网络模型进行第一训练；

该量化处理模块用于对经过该第一训练后的该目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；

该分类模块和该量化处理模块还用于对该目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使该目标神经网络模型的每一层的输出满足预设精度条件；

该第二训练模块用于对满足该预设精度条件的该目标神经网络模型进行第二训练；

该排序模块用于对经过该第二训练后的该目标神经网络模型的每一层的输出进行排序处理。

优选地，该第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；

优选地，该收敛评价子模块用于获取该目标神经网络模型首次经过该第一训练后，对应的输出结果的收敛状态评价值；

优选地，该收敛对比子模块用于将该收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断该目标神经网络模型是否满足预设收敛状态条件；

优选地，该收敛训练子模块用于对该目标神经网络模型进行关于模型收敛的该第一训练；

优选地，该量化处理模块包括输出状态确定子模块、量化曲线确定子模块、量化参数确定子模块和比特位量化子模块；

优选地，该输出状态确定子模块用于获取满足预设收敛状态条件的该目标神经网络的所有层的输出状态信息；

优选地，该量化曲线确定子模块用于根据该输出状态信息，确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

优选地，该量化参数确定子模块用于根据该所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定该所有层中的每一个对应的输出的初始量化比特位和比特步阶；

优选地，该比特位量化子模块用于根据该所有层对应的初始量化比特位和比特步阶，以此实现该相同模式的比特位量化处理；

优选地，该分类模块包括方向信息确定子模块和输出类聚区分子模块；

优选地，该方向信息确定子模块用于获取该目标神经网络模型的每一层的输出的channel方向信息；

优选地，该输出类聚区分子模块用于根据该channel方向信息进行该分类处理，以此确定关于该每一层的输出的类聚；

优选地，该量化处理模块还包括分类量化子模块和高级量化子模块；

优选地，该分类量化子模块用于对具有相同channel方向的类聚的该每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的该每一层的输出进行不同比特位的比特位量化处理；

优选地，该高级量化子模块用于根据该每一层的输出对应的输出精度损失与预设精度损失阈值之间的关系，确定是否依据该每一层的输入数据对该每一层进行高级别的比特位量化处理；

优选地，该排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；

优选地，该微调子模块用于对该目标神经网络进行关于不同阶段权重的微调处理，以使该目标神经网络的每一层的输出满足预设输出精度分布规律；

优选地，该输出通道确定子模块用于将该目标神经网络模型中每一个神经元与其对应的该输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

优选地，该顺序确定子模块用于根据每一个神经元对应的输出通道，对该目标神经网络模型的每一层的输出进行该排序处理。

从上述实施例的内容可以看出，该神经网络比特量化方法和系统有别于现有技术的只是对神经网络模型的权值进行分类和量化处理，该方法和系统通过对神经网络模型中每一层的输入信息进行分类和量化处理，由于神经网络模型通常包括若干个不同的功能层，并且在相邻的两个功能层中，其中一个功能层的输出信息是用作另一个功能层的输入信息，如果对每一个功能层的输入信息都进行分类和量化处理，就能够保证每一个功能层的输入信息和输出信息都获得相应的比特位压缩，以实现对该神经网络模型的递进式累积压缩，从而更进一步地减少该神经网络模型在运算过程中的中间数据和最终结果数据的存储空间；此外，该方法和系统还通过对神经网络模型的每一层的输出信息进行排序处理，这样能够针对每一层的输出信息各自的输出通道特性选择合适的计算方式，从而使得该神经网络模型在硬件上运行时能够获得最优的计算效率和降低硬件运行所需的功耗。总体而言，该神经网络比特量化方法和系统是根据神经网络模型中每一层相互之间的输入-输出信息关系来执行适应性的比特量化处理，从而确保该神经网络模型能够获得最优的数据压缩率，以降低神经网络模型的数据存储空间和提高数据计算效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种神经网络比特量化方法，其特征在于，所述神经网络比特量化方法包括如下步骤：

步骤(1)，对目标神经网络模型进行第一训练，并对第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；

步骤(2)，对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件；

步骤(3)，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练以及对所述目标神经网络模型的每一层的输出进行排序处理。

2.如权利要求1所述的神经网络比特量化方法，其特征在于：

在所述步骤(1)中，对目标神经网络模型进行第一训练具体包括，

步骤(101A)，获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；

步骤(102A)，将所述收敛状态评价值与预设收敛状态合格值范围进行匹配处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；

步骤(103A)，若所述收敛状态评价值匹配于所述预设收敛状态合格值范围，则中止对所述目标神经网络进行所述第一训练，否则，继续对所述目标神经网络进行所述第一训练，直到所述目标神经网络模型满足预设收敛状态条件为止。

3.如权利要求1所述的神经网络比特量化方法，其特征在于：

在所述步骤(1)中，对第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理具体包括，

步骤(101B)，获取满足预设收敛状态条件的所述目标神经网络的所有层的输出状态信息，以此确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

步骤(102B)，根据所述所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定所述所有层中的每一个对应的输出的初始量化比特位和比特步阶；

步骤(103B)，根据所述所有层对应的初始量化比特位和比特步阶，拟合得到适用于所述所有层的输出的比特位量化模式，以此实现所述相同模式的比特位量化处理。

4.如权利要求1所述的神经网络比特量化方法，其特征在于：

在所述步骤(2)中，对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件具体包括，

步骤(201)，获取所述目标神经网络模型的每一层的输出的channel方向信息，并根据所述channel方向信息进行所述分类处理；

步骤(202)，确定所述分类处理指示的关于所述每一层的输出的类聚，并对具有相同channel方向的类聚的所述每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的所述每一层的输出进行不同比特位的比特位量化处理；

步骤(203)，获取经过所述步骤(202)后的每一层的输出对应的输出精度损失，

若所述输出精度损失超过预设精度损失阈值，则重复所述步骤(202)，直到所述输出精度损失不超过所述预设精度损失阈值为止，

若所述输出精度损失不超过所述预设精度损失阈值，则逐渐降低每一层的输入对应的输入数据的比特位占比重，并依据所述输入数据对所述每一层进行高级别的比特位量化处理。

5.如权利要求1所述的神经网络比特量化方法，其特征在于：

在所述步骤(3)中，对经过所述步骤(2)处理后的所述目标神经网络模型进行第二训练以及对所述目标神经网络模型的每一层的输出进行排序处理具体包括，

步骤(301)，对经过所述步骤(2)处理后的所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；

步骤(302)，获取经过所述步骤(2)处理后的所述目标神经网络模型的每一层的输入特征，并将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

步骤(303)，根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。

6.一种神经网络比特量化系统，其特征在于：

所述神经网络比特量化系统包括第一训练模块、第二训练模块、量化处理模块、分类模块和排序模块；其中，

所述第一训练模块用于对目标神经网络模型进行第一训练；

所述量化处理模块用于对经过所述第一训练后的所述目标神经网路模型的每一层的输入进行相同模式的比特位量化处理；

所述分类模块和所述量化处理模块还用于对所述目标神经网络模型的每一层的输入依次进行分类处理以及适应性的比特位量化处理，以此使所述目标神经网络模型的每一层的输出满足预设精度条件；

所述第二训练模块用于对满足所述预设精度条件的所述目标神经网络模型进行第二训练；

所述排序模块用于对经过所述第二训练后的所述目标神经网络模型的每一层的输出进行排序处理。

7.如权利要求6所述的神经网络比特量化系统，其特征在于：

所述第一训练模块包括收敛评价子模块、收敛对比子模块和收敛训练子模块；其中，

所述收敛评价子模块用于获取所述目标神经网络模型首次经过所述第一训练后，对应的输出结果的收敛状态评价值；

所述收敛对比子模块用于将所述收敛状态评价值与预设收敛状态合格值进行对比处理，以此判断所述目标神经网络模型是否满足预设收敛状态条件；

所述收敛训练子模块用于对所述目标神经网络模型进行关于模型收敛的所述第一训练。

8.如权利要求6所述的神经网络比特量化系统，其特征在于：

所述量化处理模块包括输出状态确定子模块、量化曲线确定子模块、量化参数确定子模块和比特位量化子模块；其中，

所述输出状态确定子模块用于获取满足预设收敛状态条件的所述目标神经网络的所有层的输出状态信息；

所述量化曲线确定子模块用于根据所述输出状态信息，确定所有层中的每一个对应的输出在不同阶段的量化成本曲线；

所述量化参数确定子模块用于根据所述所有层中的每一个对应的输出在不同阶段的量化成本曲线，确定所述所有层中的每一个对应的输出的初始量化比特位和比特步阶；

所述比特位量化子模块用于根据所述所有层对应的初始量化比特位和比特步阶，以此实现所述相同模式的比特位量化处理。

9.如权利要求6所述的神经网络比特量化系统，其特征在于：

所述分类模块包括方向信息确定子模块和输出类聚区分子模块；其中，所述方向信息确定子模块用于获取所述目标神经网络模型的每一层的输出的channel方向信息；

所述输出类聚区分子模块用于根据所述channel方向信息进行所述分类处理，以此确定关于所述每一层的输出的类聚；

所述量化处理模块还包括分类量化子模块和高级量化子模块；

所述分类量化子模块用于对具有相同channel方向的类聚的所述每一层的输出进行相同比特位的比特位量化处理，以及对具有不同channel方向的类聚的所述每一层的输出进行不同比特位的比特位量化处理；

所述高级量化子模块用于根据所述每一层的输出对应的输出精度损失与预设精度损失阈值之间的关系，确定是否依据所述每一层的输入数据对所述每一层进行高级别的比特位量化处理。

10.如权利要求6所述的神经网络比特量化系统，其特征在于：

所述排序模块包括微调子模块、输出通道确定子模块和顺序确定子模块；

其中，

所述微调子模块用于对所述目标神经网络进行关于不同阶段权重的微调处理，以使所述目标神经网络的每一层的输出满足预设输出精度分布规律；

所述输出通道确定子模块用于将所述目标神经网络模型中每一个神经元与其对应的所述输入特征进行卷积运算处理，以此确定每一个神经元对应的输出通道；

所述顺序确定子模块用于根据每一个神经元对应的输出通道，对所述目标神经网络模型的每一层的输出进行所述排序处理。

Images