CN109840589A - 一种在fpga上运行卷积神经网络的方法、装置及系统 - Google Patents

Abstract

本发明提供一种在FPGA上运行卷积神经网络的方法、装置及系统，用于解决现有技术中在FPGA上运行卷积神经网络时，存在实施步骤繁琐、时间成本高的问题。方法包括：上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；根据每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，该FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；将每个卷积层对应的W_f、scale_f以及Bias_f写入该FPGA，以使该FPGA在运行该卷积神经网络模型时，基于每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

Description

一种在FPGA上运行卷积神经网络的方法、装置及系统

技术领域

本发明涉及深度学习技术领域，特别涉及一种在FPGA上运行卷积神经网络的方法、装置及系统。

背景技术

近年来，深度学习(deep learning)技术发展迅速，在众多行业产生广阔的影响，特别是计算机视觉、语音识别和自然语言处理等领域。其中，卷积神经网络(ConvolutionalNeural Networks，CNN)是深度学习的代表算法之一，是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks)。

基于深度学习的卷积神经网络需要大量的计算资源，而可编程器件(Field－Programmable Gate Array，FPGA)器件具有的丰富逻辑资源、存储器资源、数字信号处理单元(Digital Signal Processing，DSP)和布线资源，如果充分利用好这些资源和FPGA并行执行的特性，可以很好的完成应用场景的硬件加速。由于FPGA没有很好的浮点计算资源，因此需要将算法模型量化成整型参与计算，节约硬件资源同时提高运算速度。

现有技术中对卷积神经网络的量化方法，仅关注如何将卷积神经网络的权重参数、输入参数等特征进行量化操作，却没有关注量化后的卷积神经网络在FPGA等硬件上进行实现时对原有卷积神经网络计算过程的影响，导致量化后的卷积神经网络的精度损失较大，有些现有技术为了保证量化后的神经网络在FPGA上的运算性能，在将量化后卷积神经网络部署到FPGA上后，会对神经网络进行再训练的过程，但是这样又会增加实施的时间成本，不便于快速实施。

由此可见，现有技术在FPGA上运行卷积神经网络时，存在实施步骤繁琐、时间成本高的技术问题。

发明内容

本发明实施例提供一种在FPGA上运行卷积神经网络的方法、装置及系统，用于解决现有技术中在FPGA上运行卷积神经网络时，存在实施步骤繁琐、时间成本高的问题。

第一方面，本发明实施例提供一种在FPGA上运行卷积神经网络的方法，所述方法包括：

上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；其中，所述压缩尺度包括对所述每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对所述每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对所述每个卷积层的偏置进行量化的第三压缩尺度scale_bias；

所述上位机根据所述每个卷积层对应的压缩尺度，确定出可编程器件FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

所述上位机将所述每个卷积层对应的W_f、scale_f以及Bias_f写入所述FPGA，以使所述FPGA在运行所述卷积神经网络模型时，基于所述每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

在本实施方式中，本发明实施例技术方案中的上位机在对浮点格式的卷积神经网络进行量化时，考虑了量化后的卷积神经网络在FPGA等硬件上进行实现时对原有卷积神经网络计算过程的影响，有效提高了量化后的神经网络在FPGA上的运算性能，量化后的卷积神经网络部署到FPGA上后，不需要对神经网络进行再训练的过程，节省了实施的时间成本，便于快速实施。

可选的，所述上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度，包括：

所述上位机根据预设的量化位宽确定出量化后的最大值max_q、最小值min_q以及缩放尺度搜索空间scale_list；其中所述缩放尺度搜索空间scale_list中包括多个不同的缩放尺度；

所述上位机针对卷积神经网络模型的每个卷积层的任一计算参数input，基于所述搜索空间scale_list中每个缩放尺度对所述任一计算参数进行缩放取整处理，获得该缩放尺度对应的缩放取整结果；如果所述缩放取整结果未超出范围[min_q,max_q]，则将所述缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果，否则对所述缩放取整结果进行裁剪处理，并将裁剪后的缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果；使用该缩放尺度将该缩放尺度下所述任一计算参数的量化结果映射回浮点空间，获得该缩放尺度下所述任一计算参数的去量化结果dequantized_input；

所述上位机计算所述搜索空间scale_list中每个缩放尺度下所述任一计算参数的量化结果input和去量化结果dequantized_input的L2范数；从所述缩放尺度搜索空间scale_list中确定出使得L2范数最小的缩放尺度；将所述使得L2范数最小的缩放尺度作为该卷积层的所述任一计算参数的缩放尺度。

本实施方式采用分层量化的方式，将浮点输入量化完后反量化为浮点数，再同原浮点输入比较，通过计算最小化欧式距离的方式求缩放尺度，平衡了缩放尺度过大导致落入量化后区间外的数值带来的剪裁偏差，以及缩放尺度过小时，数值四舍五入到整数时取整的偏差。

可选的，所述上位机在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，所述方法还包括：

所述上位机将若干个样本输入所述卷积神经网络模型；

所述上位机统计所述卷积神经网络模型的每个卷积层的输出结果的分布情况；

所述上位机根据所述每个卷积层的输出结果的分布情况确定一个特征值，用以表征该卷积层的输出结果。

本实施方式，针对卷积层输出结果的量化，采用批量记录各卷积层的输出结果，然后统一量化的方式进行量化，对于FPGA硬件加速情况下的不同输入情况有更高的鲁棒性。

可选的，在所述上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，所述方法还包括：

当所述卷积神经网络模型的任一卷积层包含有批标准化运算时，基于以下公式对所述任一卷积层的批标准化权重值γ和卷积计算权重值W进行合并，获得该卷积层的卷积核权重W_inf和偏置Bias_inf：

其中，β为批标准化偏置值，μ为批标准化均值，σ为批标准化标准差。

本实施方式，在卷积神经网络的卷积层包括批标准化时，将批标准化的计算参数转换为等价的卷积核权重和偏置后再进行量化，以此提高FPGA运行神经网络的通用性。

可选的，所述上位机根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f，包括：

所述上位机基于所述每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化，获得量化后的卷积核权重；确定所述量化后的卷积核权重为所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f；

所述上位机根据所述每个卷积层对应的第一压缩尺度scale_out、第二压缩尺度scale_w以及该卷积层的上一卷积层对应的第一压缩尺度scale_out，确定所述FPGA对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1；

所述上位机根据所述每个卷积层对应的第三压缩尺度scale_w对该卷积层的偏置进行量化，获得量化后的偏置Bias‘；根据所述每个卷积层对应的第一压缩尺度scale_out、第三压缩尺度scale_bias以及量化后的偏置Bias‘，确定所述FPGA对该卷积层的移位计算结果进行偏置操作的偏置Bias_f。

本实施方式给出了FPGA对卷积层进行卷积计算所使用的卷积核权重W_f、scale_f1以及偏置Bias_f的确定方法，使得在将量化后卷积神经网络部署到FPGA上后，不需要对神经网络进行再训练的过程，直接根据scale_f1、scale_f1以及Bias_f进行卷积层的运算，节省了实施的时间成本，便于快速实施。

第二方面，本发明实施例提供一种在FPGA上运行卷积神经网络的方法，所述方法包括：

FPGA在运行卷积神经网络模型时，读取上位机写入的所述卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f；

所述FPGA基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算。

本实施方式，FPGA在运行卷积神经网络模型时，直接基于上位机写入的卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f执行卷积层的运算，不需要对神经网络进行再训练的过程，节省了实施的时间成本，便于快速实施。

可选的，所述FPGA基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算，包括：

所述FPGA基于所述每个卷积层对应的W_f对该卷积层的输入进行卷积计算，获得卷积计算结果；

所述FPGA基于该卷积层对应的scale_f对所述卷积计算结果执行移位操作，获得移位计算结果；

所述FPGA基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作，获得偏置计算结果；

所述FPGA对所述偏置计算结果进行激活函数Leaky-ReLU运算，获得该卷积层的输出结果。

本实施方式，给出了FPGA在运行每个卷积层的具体计算流程，给出了完整的卷积神经网络从量化到硬件实现的解决方案，在可接受的精度损失范围的基础上实现卷积神经网络的量化。

可选的，在所述FPGA基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作之前，所述方法还包括：

所述FPGA在确定所述移位计算结果超出范围[min_q,max_q]时，对所述移位计算结果进行裁剪处理，并使用裁剪后的移位计算结果替换原来的移位计算结果；其中，所述max_q为根据预设的量化位宽确定出的量化后的最大值，所述min_q为根据所述预设的量化位宽确定出的量化后的最小值；

在所述FPGA对所述偏置计算结果进行激活函数Leaky-ReLU运算之前，所述方法还包括：

所述FPGA在确定所述偏置计算结果超出所述范围[min_q,max_q]时，对所述偏置计算结果进行裁剪处理，并使用裁剪后的偏置计算结果替换原来的偏置计算结果。

本实施方式对超出范围[min_q,max_q]的移位计算结果和偏置计算结果进行裁剪操作，保证卷积层中各参数在预设的量化位宽内，提高了在FPGA运行卷积神经网络的可靠性。

第三方面，本发明实施例提供一种在FPGA上运行卷积神经网络的系统，包括通信连接的上位机和FPGA；

其中，所述上位机用于执行本发明实施例第一方面所述的方法；

所述FPGA用于执行本发明实施例第二方面所述的方法。

第四方面，本发明实施例提供一种在FPGA上运行卷积神经网络的装置，所述装置包括：

计算模块，用于根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；其中，所述压缩尺度包括对所述每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对所述每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对所述每个卷积层的偏置进行量化的第三压缩尺度scale_bias；

确定模块，用于根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

通信模块，用于将所述每个卷积层对应的W_f、scale_f以及Bias_f写入所述FPGA，以使所述FPGA在运行所述卷积神经网络模型时，基于所述每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

可选的，所述计算模块用于：

根据预设的量化位宽确定出量化后的最大值max_q、最小值min_q以及缩放尺度搜索空间scale_list；其中所述缩放尺度搜索空间scale_list中包括多个不同的缩放尺度；

对卷积神经网络模型的每个卷积层的任一计算参数input，基于所述搜索空间scale_list中每个缩放尺度对所述任一计算参数进行缩放取整处理，获得该缩放尺度对应的缩放取整结果；如果所述缩放取整结果未超出范围[min_q,max_q]，则将所述缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果，否则对所述缩放取整结果进行裁剪处理，并将裁剪后的缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果；使用该缩放尺度将该缩放尺度下所述任一计算参数的量化结果映射回浮点空间，获得该缩放尺度下所述任一计算参数的去量化结果dequantized_input；

计算所述搜索空间scale_list中每个缩放尺度下所述任一计算参数的量化结果input和去量化结果dequantized_input的L2范数；从所述缩放尺度搜索空间scale_list中确定出使得L2范数最小的缩放尺度；将所述使得L2范数最小的缩放尺度作为该卷积层的所述任一计算参数的缩放尺度。

可选的，所述计算模块还用于：

在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，将若干个样本输入所述卷积神经网络模型；

统计所述卷积神经网络模型的每个卷积层的输出结果的分布情况；

根据所述每个卷积层的输出结果的分布情况确定一个特征值，用以表征该卷积层的输出结果。

可选的，所述计算模块还用于：

在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，当所述卷积神经网络模型的任一卷积层包含有批标准化运算时，基于以下公式对所述任一卷积层的批标准化权重值γ和卷积计算权重值W进行合并，获得该卷积层的卷积核权重W_inf和偏置Bias_inf：

其中，β为批标准化偏置值，μ为批标准化均值，σ为批标准化标准差。

可选的，所述确定模块用于：

基于所述每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化，获得量化后的卷积核权重；确定所述量化后的卷积核权重为所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f；

根据所述每个卷积层对应的第一压缩尺度scale_out、第二压缩尺度scale_w以及该卷积层的上一卷积层对应的第一压缩尺度scale_out，确定所述FPGA对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1；

根据所述每个卷积层对应的第三压缩尺度scale_w对该卷积层的偏置进行量化，获得量化后的偏置Bias‘；根据所述每个卷积层对应的第一压缩尺度scale_out、第三压缩尺度scale_bias以及量化后的偏置Bias‘，确定所述FPGA对该卷积层的移位计算结果进行偏置操作的偏置Bias_f。

第五方面，本发明实施例提供一种在FPGA上运行卷积神经网络的装置，所述装置包括：

读取模块，用于在所述装置运行卷积神经网络模型时，读取上位机写入的所述卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f；

运算模块，用于基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算。

可选的，所述运算模块用于：

基于所述每个卷积层对应的W_f对该卷积层的输入进行卷积计算，获得卷积计算结果；

基于该卷积层对应的scale_f对所述卷积计算结果执行移位操作，获得移位计算结果；

基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作，获得偏置计算结果；

对所述偏置计算结果进行激活函数Leaky-ReLU运算，获得该卷积层的输出结果。

可选的，所述运算模块还用于：

在基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作之前，在确定所述移位计算结果超出范围[min_q,max_q]时，对所述移位计算结果进行裁剪处理，并使用裁剪后的移位计算结果替换原来的移位计算结果；其中，所述max_q为根据预设的量化位宽确定出的量化后的最大值，所述min_q为根据所述预设的量化位宽确定出的量化后的最小值；

在对所述偏置计算结果进行激活函数Leaky-ReLU运算之前，在确定所述偏置计算结果超出所述范围[min_q,max_q]时，对所述偏置计算结果进行裁剪处理，并使用裁剪后的偏置计算结果替换原来的偏置计算结果。

第六方面，本发明实施例提供一种在FPGA上运行卷积神经网络的装置，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器、通信接口；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，利用所述通信接口执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。

第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明实施例技术方案中的上位机在对浮点格式的卷积神经网络进行量化时，考虑了量化后的卷积神经网络在FPGA等硬件上进行实现时对原有卷积神经网络计算过程的影响，首先根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度，然后根据每个卷积层对应的压缩尺度确定出可FPGA对该卷积层进行卷积计算时所使用的卷积核权重W_f、移位尺度参数scale_f1以及偏置Bias_f，最后将每个卷积层对应的W_f、scale_f以及Bias_f写入FPGA，以使FPGA在运行卷积神经网络模型时，基于每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。本发明实施例技术方案有效提高了量化后的神经网络在FPGA上的运算性能，量化后的卷积神经网络部署到FPGA上后，不需要对神经网络进行再训练的过程，节省了实施的时间成本，便于快速实施。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种在FPGA上运行卷积神经网络的方法流程示意图；

图2为本发明实施例中一种在FPGA上运行卷积神经网络的装置的结构示意图；

图3为本发明实施例中另一种在FPGA上运行卷积神经网络的装置的结构示意图；

图4为本发明实施例中另一种在FPGA上运行卷积神经网络的装置的结构示意图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例的描述中“多个”，是指两个或两个以上。

本发明实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明实施例提供一种在FPGA上运行卷积神经网络的方法、装置及系统，用于解决现有技术中在FPGA上运行卷积神经网络时，存在实施步骤繁琐、时间成本高的问题。

其中，该系统包括上位机和FPGA；该上位机具体可以为台式电脑、平板电脑、笔记本电脑、服务器、等任何具有计算能力的电子设备，或者多个这样的电子设备组成的电子设备系统，本发明实施例不做具体限制。

请参见图1，基于该系统在FPGA上运行卷积神经网络的方法具体包括：

S101：上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；

其中，卷积神经网络模型为已训练好的浮点格式的神经网络模型；该压缩尺度包括对每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对每个卷积层的偏置进行量化的第三压缩尺度scale_bias。

作为一种可选的实施方式，在本发明实施例中，由于量化后的神经网络模型需要部署到FPGA做边缘端应用，因此在量化时需要尽可能多地统计不同样本下各卷积层的输出结果，并通过量化前的卷积神经网络做前向运算，将各个卷积层的输出结果记录到上位机的存储介质，完成后再统一读取分析每个卷积层的输出结果的分布情况，最后根据每个卷积层的输出结果的分布情况确定一个或者多个特征值，用来表征该卷积层的输出结果，以此实现针对每个卷积层的输出结果采用统一量化的方式量化，进而保证FPGA在运行神经网络时在不同的输入情况下都有较高的鲁棒性。

作为一种可选的实施方式，在本发明实施例中，当卷积神经网络模型的任一卷积层包含有批标准化运算时，则上位机在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，需要对批标准化权重值γ和卷积计算权重值W进行合并，得到等价的卷积核权重和偏置。

对批标准化权重值γ和卷积计算权重值W进行合并的公式如下：

其中，β为该任一卷积层的批标准化偏置值，μ为该任一卷积层的批标准化均值，σ为该任一卷积层的批标准化标准差，W_inf、Bias_inf分别为合获得的该任一卷积层的卷积核权重和偏置。

本实施方式实现了在卷积神经网络的卷积层包括批标准化时，将批标准化的计算参数转换为等价的卷积核权重和偏置后再进行量化，以此提高FPGA运行神经网络的通用性。

作为一种可选的实施方式，在本发明实施例中，上位机对卷积神经网络模型的每个卷积层的各个计算参数进行量化时，采用分层量化的方式进行量化，即分别求每个计算参数对应的量化尺度。量化尺度的具体计算过程包括：

(1)上位机根据预设的量化位宽确定出量化后的最大值max_q、最小值min_q以及缩放尺度搜索空间scale_list；其中缩放尺度搜索空间scale_list中包括多个不同的缩放尺度；

(2)上位机针对任一计算参数input(如输出结果、卷积核权重或偏置)，基于搜索空间scale_list中每个缩放尺度对该计算参数input进行缩放取整处理，获得该缩放尺度对应的缩放结果input*scale，然后对缩放结果进行取整，获得缩放取证结果int(input*scale)；如果缩放取整结果int(input*scale)未超出范围[min_q,max_q]，则将该缩放取整结果int(input*scale)作为该缩放尺度下该计算参数input的量化结果quantized_input；如果缩放取整结果int(input*scale)超出范围[min_q,max_q]，则对超出该范围缩放取整结果int(input*scale)进行裁剪处理，并将裁剪后的缩放取整结果作为该缩放尺度下该计算参数input的量化结果quantized_input；

其中，缩放、裁剪、取整的过程可通过以下函数表示：

quantized_input＝clamp(input*scale,min_q,max_q)；

即：首先对intput进行缩放，获得intput*scale；然后对intput*scale取整得到缩放取整结果int(input*scale)；将缩放取整结果int(input*scale)和max_q、min_q比较，当缩放取整结果大于max_q时，使用max_q替换缩放取整结果作为量化结果；当缩放取整结果小于min_q时，则使用min_q替换缩放取整结果作为量化结果。

(3)将各个量化后的该计算参数input按照各个缩放尺度重新映射回浮点空间，获得该计算参数input在各个缩放尺度下的去量化结果dequantized_input；

(4)构建求L2范数的函数L2(input,dequantized_input)，通过如下公式得到该计算参数的量化尺度：

即：计算搜索空间scale_list中每个缩放尺度下任一计算参数的量化结果input和去量化结果dequantized_input的L2范数，从缩放尺度搜索空间scale_list中确定出使得L2范数最小的缩放尺度，并将使得L2范数最小的缩放尺度作为该卷积层的任一计算参数的缩放尺度。

在具体实施时，除了通过求input和dequantized_input的L2范数最小值的方式确定量化尺度外，还可以将上述求input和dequantized_input的L2范数的步骤替换为求KL散度、最大最小值等方式来确定量化尺度，本发明实施对此不做具体限制。

本实施方式采用将浮点格式的计算参数量化，以及对量化后的计算参数进行去量化，通过将去量化的计算参数dequantized_input和原始计算参数input进行比较，通过计算欧式距离的方式确定最终用于量化计算的缩放尺度，平衡了缩放尺度过大导致落入量化后区间外的数值带来的剪裁偏差，以及缩放尺度过小时，数值四舍五入到整数时取整的偏差。特别是在预设的量化位宽定为16位时，量化偏差对于目标检测卷积神经网络带来的精度损失最多在亚像素级，即不会影响目标检测框的位置与结果。

S102：上位机根据每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

在本发明实施例中，卷积核权重W_f的计算方式包括：

基于每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化，获得量化后的卷积核权重；确定量化后的卷积核权重即为FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f。

其中，基于每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化通过如下公式实现：W_f＝clamp(W_inf*scale_w,min_q,max_q)。

在本发明实施例中，移位尺度参数scale_f1的计算方式包括：

根据每个卷积层对应的第一压缩尺度scale_out、第二压缩尺度scale_w以及该卷积层的上一卷积层对应的第一压缩尺度scale_out，确定FPGA对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1；

在具体实施时，具体可通过公式求移位尺度参数scale_f1；其中，为本卷积层的第一压缩尺度scale_out，为本卷层的第二压缩尺度scale_w，为上一卷积层对应的第一压缩尺度scale_out；

在本发明实施例中，偏置Bias_f的计算方式包括：

根据每个卷积层对应的第三压缩尺度scale_w对该卷积层的偏置进行量化，获得量化后的偏置Bias‘；根据每个卷积层对应的第一压缩尺度scale_out、第三压缩尺度scale_bias以及量化后的偏置Bias‘，确定FPGA对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

其中，Bias‘和Bias_f的计算公式具体可以为：

Bias‘＝clamp(Bias_inf*scale_biasinf,min_q,max_q)；

S103：上位机将每个卷积层对应的W_f、scale_f1以及Bias_f写入FPGA；

具体的，上位机可通过配置表将每个卷积层对应的W_f、scale_f1以及Bias_f写到FPGA硬件中去，用于FPGA的卷积神经网络的计算过程中参与运算。

S104：FPGA在运行卷积神经网络模型时，读取上位机写入的卷积神经网络模型的每个卷积层对应的W_f、scale_f1以及Bias_f；

S105：FPGA基于每个卷积层对应的Bias_f、scale_f1及W_f执行该卷积层的运算。

具体的，所述FPGA执行每个卷积层的卷积运算过程包括：

(1)基于所述每个卷积层对应的W_f对该卷积层的输入进行卷积计算，获得卷积计算结果；

(2)基于该卷积层对应的scale_f1对所述卷积计算结果执行移位操作，获得移位计算结果；

具体的，将卷积计算结果与scale_f1相乘获得移位计算结果。在具体实施时，如果该移位计算结果超出范围[min_q,max_q]，则还要对该移位计算结果进行裁剪处理，并使用裁剪后的移位计算结果替换原来的移位计算结果。即在原移位计算结果大于max_q时，使用max_q替换原移位计算结果，在原移位计算结果小于min_q时，使用min_q替换原移位计算结果。

(3)基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作，获得偏置计算结果；

具体的，将移位计算结果加上Bias_f获得偏置计算结果。在具体实施时，如果该偏置计算结果超出范围[min_q,max_q]，则还要对该偏置计算结果进行裁剪处理，并使用裁剪后的偏置计算结果替换原来的偏置计算结果。即在原偏置计算结果大于max_q时，使用max_q替换原偏置计算结果，在原偏置计算结果小于min_q时，使用min_q替换原偏置计算结果。

(4)对所述偏置计算结果进行激活函数Leaky-ReLU运算，获得该卷积层的输出结果。

需要说明的是，本发明实施例是以在FPGA上部署卷积神经网络的场景为例对本发明实施例中的卷积神经网络量化方法进行说明，在具体实施过程中，在将卷积神经网络部署到其它类型的硬件进行量化时，也可以采用本发明实施例上述量化方法进行量化，还可以对本发明实施例上述量化方法进行各种改动和变型而不脱离本发明的精神和范围，倘若这些修改和变型属于本发明实施例上述量化方法等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

本发明实施例中提供的上述一个或多个技术方案，至少具有如下技术效果或优点：

(1)上位机在对浮点格式的卷积神经网络进行量化时，考虑了量化后的卷积神经网络在FPGA等硬件上进行实现时对原有卷积神经网络计算过程的影响，首先根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度，然后根据每个卷积层对应的压缩尺度确定出可FPGA对该卷积层进行卷积计算时所使用的卷积核权重W_f、移位尺度参数scale_f1以及偏置Bias_f，最后将每个卷积层对应的W_f、scale_f以及Bias_f写入FPGA，以使FPGA在运行卷积神经网络模型时，基于每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。本发明实施例有效提高了量化后的神经网络在FPGA上的运算性能，量化后的卷积神经网络部署到FPGA上后，不需要对神经网络进行再训练的过程，节省了实施的时间成本，便于快速实施；

(2)给出了FPGA在运行每个卷积层的具体计算流程，给出了完整的卷积神经网络从量化到硬件实现的解决方案，在可接受的精度损失范围的基础上实现卷积神经网络的量化；

(3)在对神经网络模型量化的过程中，在卷积神经网络的卷积层包括批标准化时，将批标准化的计算参数转换为等价的卷积核权重和偏置后再进行量化，以此提高FPGA运行神经网络的通用性；

(4)在对神经网络模型量化的过程中，针对卷积层输出结果的量化，采用批量记录各卷积层的输出结果，然后统一量化的方式进行量化，对于FPGA硬件加速情况下的不同输入情况有更高的鲁棒性；

(5)在对神经网络模型量化的过程中，采用分层量化的方式，将浮点输入量化完后反量化为浮点数，再同原浮点输入比较，通过计算最小化欧式距离的方式求缩放尺度，平衡了缩放尺度过大导致落入量化后区间外的数值带来的剪裁偏差，以及缩放尺度过小时，数值四舍五入到整数时取整的偏差。

请参见图2，基于同一发明构思，本发明实施例还提供一种在FPGA上运行卷积神经网络的装置，所述装置包括：

计算模块201，用于根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；其中，所述压缩尺度包括对所述每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对所述每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对所述每个卷积层的偏置进行量化的第三压缩尺度scale_bias；

确定模块202，用于根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

通信模块203，用于将所述每个卷积层对应的W_f、scale_f以及Bias_f写入所述FPGA，以使所述FPGA在运行所述卷积神经网络模型时，基于所述每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

可选的，所述计算模块201用于：

根据预设的量化位宽确定出量化后的最大值max_q、最小值min_q以及缩放尺度搜索空间scale_list；其中所述缩放尺度搜索空间scale_list中包括多个不同的缩放尺度；

对卷积神经网络模型的每个卷积层的任一计算参数input，基于所述搜索空间scale_list中每个缩放尺度对所述任一计算参数进行缩放取整处理，获得该缩放尺度对应的缩放取整结果；如果所述缩放取整结果未超出范围[min_q,max_q]，则将所述缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果，否则对所述缩放取整结果进行裁剪处理，并将裁剪后的缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果；使用该缩放尺度将该缩放尺度下所述任一计算参数的量化结果映射回浮点空间，获得该缩放尺度下所述任一计算参数的去量化结果dequantized_input；

计算所述搜索空间scale_list中每个缩放尺度下所述任一计算参数的量化结果input和去量化结果dequantized_input的L2范数；从所述缩放尺度搜索空间scale_list中确定出使得L2范数最小的缩放尺度；将所述使得L2范数最小的缩放尺度作为该卷积层的所述任一计算参数的缩放尺度。

可选的，所述计算模块201还用于：

在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，将若干个样本输入所述卷积神经网络模型；

统计所述卷积神经网络模型的每个卷积层的输出结果的分布情况；

根据所述每个卷积层的输出结果的分布情况确定一个特征值，用以表征该卷积层的输出结果。

可选的，所述计算模块201还用于：

在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，当所述卷积神经网络模型的任一卷积层包含有批标准化运算时，基于以下公式对所述任一卷积层的批标准化权重值γ和卷积计算权重值W进行合并，获得该卷积层的卷积核权重W_inf和偏置Bias_inf：

其中，β为批标准化偏置值，μ为批标准化均值，σ为批标准化标准差。

可选的，所述确定模块202用于：

基于所述每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化，获得量化后的卷积核权重；确定所述量化后的卷积核权重为所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f；

根据所述每个卷积层对应的第一压缩尺度scale_out、第二压缩尺度scale_w以及该卷积层的上一卷积层对应的第一压缩尺度scale_out，确定所述FPGA对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1；

根据所述每个卷积层对应的第三压缩尺度scale_w对该卷积层的偏置进行量化，获得量化后的偏置Bias‘；根据所述每个卷积层对应的第一压缩尺度scale_out、第三压缩尺度scale_bias以及量化后的偏置Bias‘，确定所述FPGA对该卷积层的移位计算结果进行偏置操作的偏置Bias_f。

以上各模块所执行操作的具体实现方式可以参照本发明实施例上述在FPGA上运行卷积神经网络的方法中对应的步骤，本发明实施例不再赘述。

请参见图3，本发明实施例还提供一种在FPGA上运行卷积神经网络的装置，所述装置包括：

读取模块301，用于在所述装置运行卷积神经网络模型时，读取上位机写入的所述卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f；

运算模块302，用于基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算。

可选的，所述运算模块302用于：

基于所述每个卷积层对应的W_f对该卷积层的输入进行卷积计算，获得卷积计算结果；

基于该卷积层对应的scale_f对所述卷积计算结果执行移位操作，获得移位计算结果；

基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作，获得偏置计算结果；

对所述偏置计算结果进行激活函数Leaky-ReLU运算，获得该卷积层的输出结果。

可选的，所述运算模块302还用于：

在基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作之前，在确定所述移位计算结果超出范围[min_q,max_q]时，对所述移位计算结果进行裁剪处理，并使用裁剪后的移位计算结果替换原来的移位计算结果；其中，所述max_q为根据预设的量化位宽确定出的量化后的最大值，所述min_q为根据所述预设的量化位宽确定出的量化后的最小值；

在对所述偏置计算结果进行激活函数Leaky-ReLU运算之前，在确定所述偏置计算结果超出所述范围[min_q,max_q]时，对所述偏置计算结果进行裁剪处理，并使用裁剪后的偏置计算结果替换原来的偏置计算结果。

以上各模块所执行操作的具体实现方式可以参照本发明实施例上述在FPGA上运行卷积神经网络的方法中对应的步骤，本发明实施例不再赘述。

请参图4，基于同一发明构思，本发明实施例还提供一种在FPGA上运行卷积神经网络的装置，包括：

至少一个处理器401，以及

与所述至少一个处理器401通信连接的存储器402、通信接口403；

其中，所述存储器402存储有可被所述至少一个处理器401执行的指令，所述至少一个处理器401通过执行所述存储器402存储的指令，利用所述通信接口403执行本发明实施例上述在FPGA上运行卷积神经网络的方法。

可选的，处理器401具体可以包括中央处理器(central processing unit，CPU)、特定应用集成电路(application specific integrated circuit，ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(field programmablegate array，FPGA)开发的硬件电路，可以是基带处理器。

可选的，处理器401可以包括至少一个处理核心。

可选的，该装置还包括存储器402，存储器402可以包括只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)和磁盘存储器。存储器402用于存储处理器401运行时所需的数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种在可编程器件FPGA上实现卷积神经网络运算的方法，其特征在于，所述方法包括：

上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；其中，所述压缩尺度包括对所述每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对所述每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对所述每个卷积层的偏置进行量化的第三压缩尺度scale_bias；

所述上位机根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

所述上位机将所述每个卷积层对应的W_f、scale_f以及Bias_f写入所述FPGA，以使所述FPGA在运行所述卷积神经网络模型时，基于所述每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

2.如权利要求1所述的方法，其特征在于，所述上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度，包括：

所述上位机根据预设的量化位宽确定出量化后的最大值max_q、最小值min_q以及缩放尺度搜索空间scale_list；其中所述缩放尺度搜索空间scale_list中包括多个不同的缩放尺度；

所述上位机针对卷积神经网络模型的每个卷积层的任一计算参数input，基于所述搜索空间scale_list中每个缩放尺度对所述任一计算参数进行缩放取整处理，获得该缩放尺度对应的缩放取整结果；如果所述缩放取整结果未超出范围[min_q,max_q]，则将所述缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果，否则对所述缩放取整结果进行裁剪处理，并将裁剪后的缩放取整结果作为该缩放尺度下所述任一计算参数的量化结果；使用该缩放尺度将该缩放尺度下所述任一计算参数的量化结果映射回浮点空间，获得该缩放尺度下所述任一计算参数的去量化结果dequantized_input；

所述上位机计算所述搜索空间scale_list中每个缩放尺度下所述任一计算参数的量化结果input和去量化结果dequantized_input的L2范数；从所述缩放尺度搜索空间scale_list中确定出使得L2范数最小的缩放尺度；将所述使得L2范数最小的缩放尺度作为该卷积层的所述任一计算参数的缩放尺度。

3.如权利要求1所述的方法，其特征在于，所述上位机在根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，所述方法还包括：

所述上位机将若干个样本输入所述卷积神经网络模型；

所述上位机统计所述卷积神经网络模型的每个卷积层的输出结果的分布情况；

所述上位机根据所述每个卷积层的输出结果的分布情况确定一个特征值，用以表征该卷积层的输出结果。

4.如权利要求1所述的方法，其特征在于，在所述上位机根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度之前，所述方法还包括：

当所述卷积神经网络模型的任一卷积层包含有批标准化运算时，基于以下公式对所述任一卷积层的批标准化权重值γ和卷积计算权重值W进行合并，获得该卷积层的卷积核权重W_inf和偏置Bias_inf：

其中，β为批标准化偏置值，μ为批标准化均值，σ为批标准化标准差。

5.如权利要求1-4任一项所述的方法，其特征在于，所述上位机根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f，包括：

所述上位机基于所述每个卷积层对应的第二压缩尺度scale_w对该卷积层的卷积核权重进行量化，获得量化后的卷积核权重；确定所述量化后的卷积核权重为所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f；

所述上位机根据所述每个卷积层对应的第一压缩尺度scale_out、第二压缩尺度scale_w以及该卷积层的上一卷积层对应的第一压缩尺度scale_out，确定所述FPGA对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1；

所述上位机根据所述每个卷积层对应的第三压缩尺度scale_w对该卷积层的偏置进行量化，获得量化后的偏置Bias‘；根据所述每个卷积层对应的第一压缩尺度scale_out、第三压缩尺度scale_bias以及量化后的偏置Bias‘，确定所述FPGA对该卷积层的移位计算结果进行偏置操作的偏置Bias_f。

6.一种在FPGA上运行卷积神经网络的方法，其特征在于，所述方法包括：

FPGA在运行卷积神经网络模型时，读取上位机写入的所述卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f；

所述FPGA基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算。

7.如权利要求6所述的方法，其特征在于，所述FPGA基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算，包括：

所述FPGA基于所述每个卷积层对应的W_f对该卷积层的输入进行卷积计算，获得卷积计算结果；

所述FPGA基于该卷积层对应的scale_f对所述卷积计算结果执行移位操作，获得移位计算结果；

所述FPGA基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作，获得偏置计算结果；

所述FPGA对所述偏置计算结果进行激活函数Leaky-ReLU运算，获得该卷积层的输出结果。

8.如权利要求7所述的方法，其特征在于，在所述FPGA基于该卷积层对应的Bias_f对所述移位计算结果执行偏置操作之前，所述方法还包括：

所述FPGA在确定所述移位计算结果超出范围[min_q,max_q]时，对所述移位计算结果进行裁剪处理，并使用裁剪后的移位计算结果替换原来的移位计算结果；其中，所述max_q为根据预设的量化位宽确定出的量化后的最大值，所述min_q为根据所述预设的量化位宽确定出的量化后的最小值；

在所述FPGA对所述偏置计算结果进行激活函数Leaky-ReLU运算之前，所述方法还包括：

所述FPGA在确定所述偏置计算结果超出所述范围[min_q,max_q]时，对所述偏置计算结果进行裁剪处理，并使用裁剪后的偏置计算结果替换原来的偏置计算结果。

9.一种在FPGA上运行卷积神经网络的系统，其特征在于，包括通信连接的上位机和FPGA；

其中，所述上位机用于执行权利要求1-5所述的方法；

所述FPGA用于执行权利要求6-9所述的方法。

10.一种在FPGA上运行卷积神经网络的装置，其特征在于，所述装置包括：

计算模块，用于根据预设的量化位宽计算对卷积神经网络模型的每个卷积层的各个计算参数进行量化的压缩尺度；其中，所述压缩尺度包括对所述每个卷积层的输出结果进行量化的第一压缩尺度scale_out、对所述每个卷积层的卷积核权重进行量化的第二压缩尺度scale_w以及对所述每个卷积层的偏置进行量化的第三压缩尺度scale_bias；

确定模块，用于根据所述每个卷积层对应的压缩尺度，确定出FPGA在执行该卷积层的运算时，所述FPGA对该卷积层进行卷积计算所使用的卷积核权重W_f、对该卷积层的卷积计算结果进行移位操作的移位尺度参数scale_f1以及对该卷积层的移位计算结果进行偏置操作的偏置Bias_f；

通信模块，用于将所述每个卷积层对应的W_f、scale_f以及Bias_f写入所述FPGA，以使所述FPGA在运行所述卷积神经网络模型时，基于所述每个卷积层对应的W_f、scale_f以及Bias_f执行该卷积层的运算。

11.一种在FPGA上运行卷积神经网络的装置，其特征在于，所述装置包括：

读取模块，用于在所述装置运行卷积神经网络模型时，读取上位机写入的所述卷积神经网络模型的每个卷积层对应的W_f、scale_f以及Bias_f；

运算模块，用于基于所述每个卷积层对应的Bias_f、scale_f及W_f执行该卷积层的运算。

12.一种在FPGA上运行卷积神经网络的装置，其特征在于，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器、通信接口；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，利用所述通信接口执行权利要求1-9中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-9中任一项所述的方法。