CN112748899A

CN112748899A - 一种数据处理方法和相关设备

Info

Publication number: CN112748899A
Application number: CN202010512058.XA
Authority: CN
Inventors: 艾通; 李峰; 刘程浩; 李昊沅; 李本超
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2021-05-04

Abstract

本申请实施例公开了一种基于人工智能的数据处理方法和相关设备，该方法包括：针对需要进行数据处理的输入参数，在将其输入至模型中后，可以获取第一目标层的第一原始激活值，对第一原始激活值进行量化，确定对应的第一量化激活值，该第一量化激活值处于整型值范围内。也就是说，将第一原始激活值量化为整型值。如此，根据经量化的第一量化激活值和该第一目标层的权重进行前向计算。在该第一量化激活值通过第一目标层完成前向计算后，可以根据对第一原始激活值的量化方式，对经过前向计算的结果进行反量化，得到第一目标层的输出结果。在通过模型完成针对输入参数的计算后，确定输入参数对应的数据。该方法提升了数据处理设备的计算能力。

Description

一种数据处理方法和相关设备

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法和相关设备。

背景技术

在一些数据处理场景中，通常将数据输入至场景对应的模型中，通过模型中各层的计算，得到该数据对应的结果。其中，在模型中各层参与计算的激活值通常为32位浮点型数据。

例如，在通过语音降噪模型进行语音降噪时，将语音数据输入至该模型后，在该模型中的各层参与计算的激活值通常为对应的32位浮点型数据，通过该模型进行运算后，得到经过降噪的语音。其中，激活值可以是指模型中各层的输入数据或输出数据。

基于该种数据处理方式需要针对32位的数据进行计算，对数据处理的带宽压力较大，降低了计算能力。

发明内容

为了解决上述技术问题，本申请提供了数据处理方法和相关设备，减小了数据处理的带宽压力，提升了数据处理设备的计算能力。

本申请实施例公开了如下技术方案：

一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

在将输入参数输入至模型中之后，获取第一目标层的第一原始激活值，所述第一目标层为所述模型中的任意一层；

对所述第一原始激活值进行量化，确定对应的第一量化激活值；所述第一量化激活值处于整型值范围内；

根据所述第一量化激活值和所述第一目标层的权重进行前向计算；

根据对所述第一原始激活值的量化方式对经过所述前向计算的结果进行反量化，得到所述第一目标层的输出结果；

在通过所述模型完成针对所述输入参数的计算后，确定所述输入参数对应的数据。

可选的，作为第二目标参数的所述第一原始激活值或所述第二原始权重，对所述第二目标参数进行量化，确定对应的第二量化参数的方式如下：

确定所述第二目标参数所对应绝对值的第二目标最大值；

确定所述第二目标参数对应的第三数值与第二整型特征数的第三乘积，所述第三数值为所述第二目标参数与所述第二目标最大值的商；

确定所述第三乘积对应的整数值，作为所述第二目标参数对应的第二量化参数，当所述第二目标参数为所述第一原始激活值时，所述第二量化参数为所述第一量化激活值，当所述第二目标参数为所述第二原始权重时，所述第二量化参数为所述第二量化权重。

另一方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，用于在将输入参数输入至模型中之后，获取第一目标层的第一原始激活值，所述第一目标层为所述模型中的任意一层；

量化单元，用于对所述第一原始激活值进行量化，确定对应的第一量化激活值；所述第一量化激活值处于整型值范围内；

计算单元，用于根据所述第一量化激活值和所述第一目标层的权重进行前向计算；

反量化单元，用于根据对所述第一原始激活值的量化方式对经过所述前向计算的结果进行反量化，得到所述第一目标层的输出结果；

确定单元，用于在通过所述模型完成针对所述输入参数的计算后，确定所述输入参数对应的数据。另一方面，本申请实施例提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令上述方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述的方法。

由上述技术方案可以看出，针对需要进行数据处理的输入参数，在将其输入至模型中后，可以获取第一目标层的第一原始激活值，该第一目标层为模型中的任意一层。对第一原始激活值进行量化，确定对应的第一量化激活值，该第一量化激活值处于整型值范围内。也就是说，将第一原始激活值量化为整型值。如此，根据经量化的第一量化激活值和该第一目标层的权重进行前向计算。在该第一量化激活值通过第一目标层完成前向计算后，可以根据对第一原始激活值的量化方式，对经过前向计算的结果进行反量化，得到第一目标层的输出结果。如此，使得该输出结果与通过该第一原始激活值进行前向计算得到的结果间的差异在允许范围内。在通过模型完成针对输入参数的计算后，确定输入参数对应的数据。该方法中，在对数据处理结果的影响较小的前提下，通过将第一目标层的第一原始激活值量化为位数更少的整型值，减小了数据处理的带宽压力，提升了数据处理设备的计算能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的应用场景示意图；

图2为本申请实施例提供的一种数据处理方法流程图；

图3为本申请实施例提供的一种通过语音降噪模型进行语音降噪的效果图；

图4为本申请实施例提供的一种混合量化训练方法流程图；

图5为本申请实施例提供的一种动态量化推理方法流程图；

图6为本申请实施例提供的一种效果对比图；

图7为本申请实施例提供的一种数据处理装置结构图；

图8为本申请实施例提供的一种数据处理设备结构图；

图9为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

目前，进行数据处理的方式通常需要针对32位的数据进行计算，对数据处理的带宽压力较大，降低了计算性能。

为此，本申请实施例提供了一种数据处理方法，该方法可以在对数据处理结果的影响较小的前提下，通过将第一目标层的第一原始激活值量化为位数更少的整型值，减小了数据处理的带宽压力，提升了数据处理设备的计算能力。

本申请实施例所提供的数据处理方法可以是基于人工智能实现的，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，主要涉及的人工智能软件技术包括上述语音处理技术、自然语言处理技术和深度学习等方向。

例如可以涉及语音技术(Speech Technology)中的语音识别技术，其中包括语音信号预处理(Speech signal preprocessing)、语音信号频域分析(Speech signalfrequency analyzing)、语音信号特征提取(Speech signal feature extraction)、语音信号特征匹配/识别(Speech signal feature matching/recognition)、语音的训练(Speech training)等。

例如可以涉及机器学习(Machine learning，ML)中的深度学习(Deep Learning)，包括各类人工神经网络(artificial neural network)。

首先，对本申请实施例的执行主体进行介绍。本申请提供的模型训练方法可以通过数据处理设备执行。该数据处理设备中可以部署有该数据处理方法中涉及的模型，该数据处理设备可以是服务器，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。该数据处理设备可以是服务器，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

该数据处理设备可以具有实施语音技术中自动语音识别技术(ASR)和声纹识别技术等的能力。语音技术让数据处理设备能听、能看、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

在本申请实施例中，数据处理设备通过实施上述语音技术，可以对获取的音频进行语音信号预处理、语音信号频域分析等，以进行音频去噪等。

该数据处理设备可以具备机器学习(Machine Learning,ML)能力。ML是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络等技术。

在本申请实施例中，用于通过该模型训练方法进行训练的模型主要涉及对各类人工神经网络的应用，例如通过神经网络模型进行序列生成等。

需要说明，本申请实施例不限定通过该方法进行模型训练的模型类型，该模型可以是任意类型的模型，在一种可能的实现方式中，该模型可以是循环神经网络(RecurrentNeural Network，RNN)模型。

另外，本申请实施例提供的技术方案主要应用在神经网络前向计算库中。基于神经网络前向计算库提供了所有神经网络算法的计算能力。因此，本申请的应用场景与使用神经网络前向库中模型的应用场景相同。应用场景主要包括AI算法相关应用，包括语音降噪、序列生成、语音分析等应用场景中。

当应用于语音降噪场景中时，模型对应的训练样本可以为包括降噪标签的语音样本，当应用于序列生成场景中时，模型对应的训练样本可以为包括所生成序列标签的序列样本，当应用于语音分析场景中时，模型对应的训练样本可以为包括语音分析内容标签的语音样本。针对这几种应用场景，通过本申请提供的模型训练方法进行模型训练，均可以提高模型训练效率。

接下来以服务器作为执行主体，并结合实际应用场景对本申请实施例提供的数据处理方法进行介绍。

参见图1，该图示出了本申请实施例提供的一种数据处理方法的应用场景示意图。如图1所示，该应用场景中包括服务器101，由服务器101执行本申请实施例提供的数据处理方法。

在本申请实施例中，当需要针对输入参数进行数据处理时，服务器101可以将输入参数输入至用于进行数据处理的模型中，以通过该模型确定该输入参数对应的数据。

其中，该模型可以是神经网络前向计算库中的模型，基于神经网络前向计算库提供了所有神经网络算法的计算能力。因此，本申请的应用场景与使用神经网络前向库中模型的应用场景相同，包括语音分析、语音降噪、语音翻译、文字翻译、文字识别、序列等场景。

当为语音分析场景时，模型可以是语音分析模型，输入参数可以是待进行语音分析的语音数据，所确定的该输入参数对应的数据可以是完成语音分析的数据。当为语音降噪场景时，模型可以是语音降噪模型，输入参数可以是待降噪的语音数据，所确定的输入参数对应的数据可以是对待降噪的语音数据进行降噪后的语音数据。

当为语音翻译场景时，该模型可以是语音翻译模型，则该输入参数可以对应为待翻译的语音数据，所确定的输入参数对应的数据可以是对翻译得到的文字数据。当应用于序列生成场景时，模型可以是序列生成模型，输入参数可以是包括待生成序列的数据，所确定的输入参数对应的数据为根据待生成序列进行数据处理后得到的序列，等等，不再赘述。

在将输入参数输入至模型后，可以获取模型中第一目标层的第一原始激活值，第一目标层可以是模型中的任意一层，第一原始激活值可以是该第一目标层的激活值。本申请实施例中提及的激活值可以是模型中任意一层的输入数据或输出数据，该第一原始激活值的数据类型为浮点型。

例如，参见图1，服务器101可以将模型中的线性叠加层作为第一目标层，获取该第一目标层的第一原始激活值，为一维序列[-0.127，0.126，0.08，-0.07]。

在获取到第一原始激活值后，服务器101可以对第一原始激活值进行量化，确定每个第一原始激活值对应的量化激活值，记为第一量化激活值。其中，进行量化后的第一量化激活值处于整型值范围内，也就是说，将第一原始激活值量化为整型值。

在该实施例中，可以将第一原始激活值通过扩大1000倍，以量化至数据范围[-127,127]内。由此，所确定的第一量化激活值为：“-127、126、8、-7”，得到一维序列[-127，126，8，-7]。

由此，根据对第一原始激活值进行量化的第一量化激活值和该第一目标层的权重进行前向计算。

在完成计算后，可以根据对第一原始激活值的量化方式，对经过前向计算的结果进行反量化，得到该第一目标层的输出结果，以实现减小对第一原始激活值进行量化不会对前向计算所得的输出结果的影响，也就是说，针对通过第一原始激活值与第一目标层的权重进行计算得到的结果，其与通过第一量化激活值与第一目标层的权重进行计算得到的结果的差别在允许的范围内。

在该实施例中，可以根据量化方式对经过前向计算的结果缩放1000倍，实现反量化。如图1所示，在根据第一量化激活值和第一目标层的权重进行前向计算后，得到一列序列为[102，103，-76，8]，可以将序列中的数据分类缩放1000倍，得到序列[0.102，0.103，-0.76，0.08]，该序列记为第一目标层的输出结果。

在通过模型完成针对输入参数的计算后，确定输入参数对应的数据。

其中，由于是根据得到所述第一目标层的输出结果；该方法中，在尽量不影响数据处理结果的前提下，通过将第一目标层的第一原始激活值量化为位数更少的整型值，减小了数据处理的带宽压力，提升了数据处理设备的计算能力。

接下来，将以服务器为上述数据处理设备，以语音降噪的场景为例，对本申请实施例提供的数据处理方法进行介绍。其中，该服务器中部署了上述的模型，该模型可以是完成训练得到的模型，该数据处理方法即为针对该模型的推断过程。参见图2，该图示出了本申请实施例提供的一种数据处理方法流程图，所述方法可以包括：

S201：在将输入参数输入至模型中之后，获取第一目标层的第一原始激活值。

其中，第一目标层为所述模型中的任意一层，如为语音降噪模型中的任意一层。

第一目标层的第一原始激活值是将输入参数输入至模型后进行计算时产生的数据，即指模型中该第一目标层的输入数据或输出数据。当第一目标层为模型的第一层时，该第一原始激活值可以是该输入参数。在具体实现中，该第一原始激活值可以表示为Input’[0,1,…,n]，也表示输入长度为n的一维序列浮点型数据。

在本申请实施例中，可以在原始激活值通过第一目标层进行计算之前，获取该第一目标层的原始激活值，记为第一原始激活值。

在实际场景中，可以对模型的一层或多层作为该第一目标层，也可以对模型中的所有层作为第一目标层，以进行数据处理。

S202：对所述第一原始激活值进行量化，确定对应的第一量化激活值。

其中，在将第一原始激活值进行量化后确定的第一量化激活值处于整型值范围内。

也就是说，在S202中，可以通过量化方式将第一原始激活值量化为整型值。

本申请实施例不限定对第一原始激活值的量化方式，可以根据实际需求来进行量化。

在具体实现中，经量化得到的该第一量化激活值可以处于8位整型值范围内，该整型值范围为[-127,127]。也就是说，可以将第一原始激活值量化为8位整型数据，作为其对应的第一量化激活值。

S203：根据所述第一量化激活值和所述第一目标层的权重进行前向计算。

S204：根据对第一原始激活值的量化方式，对经过前向计算的结果进行反量化，得到所述第一目标层的输出结果。

由于是对第一原始激活值量化为整型值，经量化的整型值可能与第一原始激活值的差别较大，由此，可以根据量化方式确定对应的反量化方式，以对经前向计算的结果进行反量化，使得第一目标层的输出结果与直接根据第一原始激活值进行计算得到的结果的差别在允许范围内。

在具体实现中，当量化方式为扩增A倍时，反量化的方式可以是缩放A倍。对经过前向计算的结果进行缩放的程度包括：将经量化的第一原始激活值进行计算后的结果进行缩放，以使进行缩放的结果与未对第一原始激活值进行量化时计算得到的结果的差别在预设范围也就是允许范围内。

S205：在通过所述模型完成针对所述输入参数的计算后，确定所述输入参数对应的数据。

在模型训练的相关技术中，在对原始激活值进行量化时，通常将原始激活值扩大为整型数据如8比特数据，再将经扩大的整型数据通过相应的缩放比例进行缩放，以还原为原始激活数据。针对该种模型训练方式，需要保存训练样本对应的缩放比例即量化参数，以用于后续模型推断过程中对激活值的量化。

如此，由于量化参数是根据训练样本得到的，量化参数被训练样本的数值范围所限制，当推断过程中的输入数据未处于训练过程中训练样本的数值范围时，通过所保存的量化参数进行量化的激活值仍会被量化为训练样本对应的较小数值范围内。也就是说，静态量化训练获取的量化参数强依赖于训练样本的特征，且限制了激活值的数据范围，对除训练样本数据范围内的其他数据难以保证有好的效果，导致降低模型推断过程中的精度。且实验发现通过静态量化训练方式对非分类模型进行训练的训练效果难以接受。

为此，本申请实施例中上述模型的训练方式如下：

S301：在通过训练样本对初始模型进行第i次训练的过程中，获取第二目标层的第二原始激活值。

其中，第二目标层为初始模型中的任意一层。可以将初始模型中的每一层均作为第二目标层，以通过该方式进行模型训练。第二原始激活值可以是该第二目标层的输入数据或输出数据。

接下来以模型为声音降噪模型为例进行说明。

其中，用于激活值量化的第二目标层可以是语音降噪模型中的任意一层，本申请对此不作限定。该第二原始激活值可以是第二目标层的输入数据，在具体实现中，该第二原始激活值可以表示为Input[0,1,…,n]，表示输入长度为n的一维序列浮点型数据。

在本申请实施例中，可以在通过第二原始激活值在第二目标层进行计算之前，获取该第二目标层的第二原始激活值。

S302：按照所述第二原始激活值的第一数值范围，对所述第二原始激活值进行量化，确定对应的第二量化激活值。

其中，对第二原始激活值进行量化得到的第二量化激活值仍处于该第一数值范围内。也就是说，本申请针对第二原始激活值的量化方式为伪量化方式。

在本申请实施例中，在模型训练过程中，通过根据第二目标层的第二原始激活值范围来进行激活值量化，且未存储训练过程中针对激活值量化的缩放比例等量化系数。在推断过程中，仍可以根据输入数据即激活值的自身数据范围，来动态的对激活值进行量化。该种训练方式可以是激活值的动态量化训练方式。基于该种通过动态量化训练方式训练的模型，在推断过程中对激活值只进行量化而并不限制数据范围，由此提高了模型精度。

S303：根据所述第二量化激活值和所述第二目标层的权重进行前向计算。

S304：在完成针对所述初始模型的训练后，确定所述初始模型的权重为所述模型的目标权重。

在本申请实施例中，在完成语音降噪模型训练后，可以保存得到的语音降噪模型权重和对应的模型架构，以在后续通过语音降噪模型实现数据推断，即通过该语音降噪模型进行语音降噪。

参见图3，该图示出了本申请实施例提供的一种通过语音降噪模型进行语音降噪的效果图，如图3所示，其中包括了未进行语音降噪的语音片段a，以及通过本申请实施例的模型训练方法训练得到的语音降噪模型进行语音降噪的语音片段b，经该语音降噪模型进行语音降噪的语音片段的语音噪声相对减少。

通过该方式，通过训练样本对初始模型进行第i次训练的过程中，可以获取第二目标层的第二原始激活值。其中，该第二目标层可以为初始模型中的任意一层。按照第二原始激活值的第一数值范围，对该第二原始激活值进行量化，确定第二原始激活值对应的第二量化激活值。其中，第二量化激活值处于该第一数值范围内。也就是说，将第二原始激活值量化至该第二原始激活值的数值范围。从而，根据第二量化激活值和第二目标层的权重进行前向计算。在完成针对初始模型的训练后，确定所述初始模型的权重为所述模型的目标权重。该方法通过将不规律的第二原始激活值量化至少量且规律的量化数值上，即量化为对应的第二量化激活值，使得在进行前向计算过程中仅需针对第二原始激活值对应的少量且规律的第二量化激活值进行计算，提高了计算速度，进而提高了模型训练效率。

在本申请实施例中，为进一步提高模型训练效率，在一种可能的实现方式中，所述方法还包括：

S401：按照所述第二目标层的第一原始权重的第二数值范围，对所述第一原始权重进行量化，确定对应的第一量化权重。

其中，第二目标层的第一原始权重可以用于体现该层中对于各个激活值的重要程度。一般情形下，该第一原始权重为浮点型数据。其中，对第一原始权重进行量化得到的第一量化权重仍处于第二数值范围内。也就是说，本申请针对第一原始权重的量化方式为伪量化方式。在具体实现中，该第一原始权重weights[(0,0),(0,1),…,(m,n)]，表示输入长度为m*n的序列数据。

如此，S303中根据所述第二量化激活值和所述第二目标层的权重进行前向计算，包括：

S402：根据所述第二量化激活值和所述第一量化权重进行前向计算。

可以理解，该方案通过保存模型的权重以用于推断过程，即为对第一原始权重进行静态量化的过程。

该种通过对激活值和权重进行双重量化的训练方式，进一步提高了训练效率。且该种针对第一原始权重进行静态量化针对第二原始激活值进行动态量化的混合量化训练方式，动态的第二原始激活值量化可以针对所有的样本都能自适应的获取到合适的量化参数。虽然该动态量化过程需要将中间结果进行缓存，但对于长短期记忆网络(Long Short-Term Memory，LSTM)和全连接层的瓶颈均为在权重加载的耗时要远超过输入/输出的大小，由此这部分额外缓冲的耗时开销基本可以忽略。对于精度方面，第二原始激活值动态量化的泛化性精度比静态量化的效果要好，可以满足落地的需求。

本申请实施例不限定针对第二原始激活值和第一原始权重的量化方式。可以根据实际场景或不同需求，选择适合的方式进行第二原始激活值和第一原始权重的量化。

本申请实施例提供了针对该第二原始激活值和第一原始权重的两种量化方式。

第一种量化方式：

将第二原始激活值或第一原始权重作为第一目标参数，则，对所述第一目标参数进行量化，确定对应的第一量化参数的方式如下：

S501：根据所述第一目标参数所对应绝对值的第一目标最大值，确定所述第一目标参数的第一目标数值范围。

可以理解，第一目标参数可以为正值或负值。由此，在本申请实施例中，可以确定第一目标参数对应的绝对值的最大值，记为第一目标最大值。其中，当第一目标参数为第二原始激活值时，该第一目标最大值即可以是该第二原始激活值所对应绝对值的最大值。令第二原始激活值所对应绝对值的第一目标最大值为MaxInput，该MaxInput的计算公式为：

MaxInput＝Max(fabs(Input[0,1,…,n]))。

其中，fabs为求取绝对值的函数，Max为求取最大值的函数。

当第一目标参数为第一原始权重时，若每次迭代训练中第一原始权重的变化较大时，将导致模型数据无法收敛。为此，在一种可能的实现方式中，当第一目标参数为第一原始权重时，该S401中确定第一目标参数所对应绝对值的第一目标最大值的方式包括：

根据所述第一原始权重所对应绝对值的最大值和在第i-1次训练过程中所述第二目标层的第一原始权重所对应绝对值的最大值，确定所述第一原始权重所对应绝对值的第一目标最大值。

也就是说，根据本轮训练即第i次训练中第一原始权重所对应绝对值的最大值，以及上一轮即第i-1次训练中第一原始权重所对应绝对值的最大值，确定得到本轮原始权重所对应绝对值的目标最大值。

其中，在确定第1次训练中第一原始权重所对应绝对值的第一目标最大值时，可以令第0次第一原始权重所对应绝对值的最大值为0。

在具体实现中，可以令上一次训练即第i-1次训练中第一原始权重所对应绝对值的最大值为MaxWeightHistory，该MaxWeightHistory的计算公式为：

InitialMaxWeights＝Max(fabs(weights[(0,0),(0,1),…,(m,n)]))；

MaxWeightHistory＝InitialMaxWeights。

令本次即第i次训练中第一原始权重所对应绝对值的最大值为CurrentMaxWeight，该CurrentMaxWeight的计算公式为：

CurrentMaxWeight＝Max(fabs(weights[(0,0),(0,1),…,(m,n)]))。

令本次即第i次训练中第一原始权重所对应绝对值的第一目标最大值为MaxWeights，该MaxWeights的计算公式为：

MaxWeights＝MaxWeightHistory+α(CurrentMaxWeight-MaxWeightHistory)。

该α为权重的学习更新率参数，用于控制权重更新的速度。

该方式通过对第一原始权重的最大值进行滑动加权平均，以对第一原始权重进行平滑，从而降低第一原始权重的抖动几率，以提高收敛的可能性。

在确定第一目标参数所对应绝对值的第一目标最大值之后，可以以此确定对该第一目标参数进行量化的第一目标数值范围。在具体实现中，令第一目标最大值为A，该第一目标数值范围可以是[-A,A]。

S502：确定符合所述第一目标数值范围的第一目标数量个第一量化数值。

本申请实施例不对该第一目标数量进行限定，该第一目标数量可以是根据实际需求确定的适合该第一目标数值范围的数量。

在本申请实施例中，可以根据8位整型数据，设定第一目标数量为256。从而，根据确定符合该第一目标数值范围的256个第一量化数值。可以根据该第一目标数据范围进行划分出处于该第一目标数据范围内的256个第一量化数值。

S503：根据所述第一目标参数和所述第一目标数量个量化数值，确定对应的第一量化数据作为所述第一目标参数对应的第一量化参数。

当第一目标参数为第二原始激活值时，第一量化参数为第二量化激活值，当第一目标参数为第一原始权重时，量化参数为第一量化权重。

在具体实现中，可以从这些第一量化数值中，确定第一目标参数最接近的第一量化数值为该第一目标参数的第一量化参数。

通过该方式，可以实现对第二原始激活值或第一原始权重进行符合第一目标数值范围的量化。

第二种量化方式：

作为第一目标参数的所述第二原始激活值或所述第一原始权重，对所述第一目标参数进行量化，确定对应的第一量化参数的方式如下：

S601：确定所述第一目标参数所对应绝对值的第一目标最大值。

其中，确定第一目标参数所对应绝对值的第一目标最大值的方式如前述S501中所述，此处不再赘述。

S602：确定所述第一目标参数对应的第一数值与第一整型特征数的第一乘积，所述第一数值为所述第一目标参数与所述第一目标最大值的商。

该第一整型特征数为根据整型数据的位数8得到的数据数量，该第一整型特征数为127。

当第一目标参数为第二原始激活值时，对应的第一乘积₁为：

第一乘积₁＝(Input[0,1,…,n]/MaxInput)*127。

当第一目标参数为第一原始权重时，对应的第一乘积₂为：

第一乘积₂＝(weights[(0,0),(0,1),…,(m,n)]/MaxWeights)*127。

S603：确定所述第一乘积对应的整数值，并确定所述整数值与第二数值的第二乘积，所述第二数值为所述第一目标最大值与所述第一整型特征数的商。

S604：确定所述第二乘积为所述第一目标参数对应的第一量化参数。

当第一目标参数为第二原始激活值时，第一量化参数为第二量化激活值，当第一目标参数为第一原始权重时，第一量化参数为第一量化权重。

当第一目标参数为第二原始激活值时，对应的第二乘积₁可以记为fqActivation：

fqActivation＝round[(Input[0,1,…,n]/MaxInput)*127]*(MaxInput/127)。

当第一目标参数为第一原始权重时，对应的第二乘积₁可以记为fqweights：

fqweights＝round[(weights[(0,0),(0,1),…,(m,n)]/MaxWeights)*127]*(MaxWeights/127)。

其中，round可以用于四舍五入运算。

在本申请实施例中，也可以针对推断过程中的权重进行量化后计算。在一种可能的实现方式中，所述方法还包括：

S801：对所述第一目标层的第二原始权重进行量化，确定对应的第二量化权重。

该第二原始权重可以是通过模型训练后得到的权重，即该第二原始权重可以是在执行该方法前已预先获知的。一般情形下，该第二原始权重为浮点型数据。在具体实现中，该第二原始权重weights’[(0,0),(0,1),…,(m,n)]，表示输入长度为m*n的序列数据。

在具体实现中，该S801可以是在在线时量化的，也可以是在离线时量化的，通过离线量化方式，可以避免耗费计算能力，缩短推断时间。

其中，所述第二量化权重处于8位整型值范围内，该整型值范围为[-127,127]。也就是说，可以将第二原始权重量化为8位整型数据，作为其对应的第二量化权重。

则，上述S203、根据所述第一量化激活值和所述第一目标层的权重进行前向计算，包括：

S802：根据所述第一量化激活值和所述第二量化权重进行前向计算。

上述S204根据对第一原始激活值的量化方式，对经过前向计算的结果进行反量化的方式可以包括：

S803：根据对第一原始激活值和第二原始权重的量化方式，对经过前向计算的结果进行反量化。

其中，对经过前向计算的结果进行反量化的程度包括：将经量化的第二原始权重进行计算后的结果进行反量化，以使进行反量化的结果与未对第二原始权重进行量化时计算得到的结果的差别在预设范围即允许范围内。中央处理器(Central Processing Unit，CPU)上单指令多数据结构(Single Instruction Multiple Data，SIMD)的向量宽度是固定的长度，例如在移动端NEON上的宽度为128位(bit)。由此导致部署有该模型的设备提供的算力是有限的，通过该种将第二原始权重和第一原始激活值量化为低比特数据的方式，可以有效提高设备的算力。例如，目前设备的宽度主要为128bit、256bit、512bit。假设以256bit为例，当计算数据类型为浮点数据类型时，每次可以并行计算8个，当计算数据类型为8位整型时，每次可以并行计算32个。

另外，该种将第二原始激活值和第一原始权重从32位的浮点型数据压缩到8位整型数据，使得部署该模型的设备的数据带宽压力缩减到了原来的1/4。尤其是对于数据带宽压力非常大的RNN这类计算模型，通过转换为8位整型数据可以实现减少带宽的瓶颈制约，从而提升了计算性能。

接下来对该模型推断过程中的第一原始激活值或第二原始权重的量化方式进行介绍。在一种可能的实现方式中，可以令第一原始激活值或第二原始权重为目标参数，对所述第二目标参数进行量化，确定对应的第二量化参数的方式如下：

S901：确定所述第二目标参数所对应绝对值的第二目标最大值。

当第二目标参数为第一原始激活值时，该第二目标参数所对应绝对值的第二目标最大值MaxInput’＝Max(fabs(Input’[0,1,…,n]))。

当第二目标参数为第二原始权重时，该第二目标参数所对应绝对值的第二目标最大值MaxWeights’为：MaxWeights’＝Max(fabs(weights’[(0,0),(0,1),…,(m,n)]))。

S902：确定所述第二目标参数对应的第三数值与第二整型特征数的第三乘积。

其中，第三数值为第二目标参数与第二目标最大值的商，通过计算第二目标参数的第三数值，可以实现将第二目标参数的范围限制在[-1.0,1.0]内，即将第一原始激活值或第二原始权重的范围限制在[-1.0,1.0]内。

当第二目标参数为第一原始激活值时，对应的第三乘积₁’为：

第三乘积₁’＝(Input’[0,1,…,n]/MaxInput’)*127。

当第二目标参数为第二原始权重时，对应的第三乘积₂’为：

第三乘积₂’＝(weights’[(0,0),(0,1),…,(m,n)]/MaxWeights’)*127。

S903：确定所述第三乘积对应的整数值，作为所述第二目标参数对应的第二量化参数。

当第二目标参数为第一原始激活值时，第二量化参数为第一量化激活值，当第二目标参数为第二原始权重时，第二量化参数为第二量化权重。

在具体实现中，可以对第三乘积进行四舍五入，得到对应的整数值，并作为第二目标参数对应的第二量化参数。

当第二目标参数为第一原始激活值时，对应的第二量化参数Qi：

Qi＝round[(Input’[0,1,…,n]/MaxInput’)*127]。

当第二目标参数为第二原始权重时，对应的第二量化参数Qw：

Qw＝round[(weights’[(0,0),(0,1),…,(m,n)]/MaxWeights’)*127]。

基于该种对第一原始激活值或第二原始权重进行量化的方式，上述S204中，根据对第一原始激活值的量化方式对经过前向计算的结果进行反量化，得到所述目标层的输出结果的方式包括：

通过第一量化激活值对应的缩放系数S_i，S_i＝MaxInput’/127,通过该S_i与经过前向计算的结果的乘积，作为该第一目标层的输出结果。

若还对第二原始权重进行了量化，上述S803中根据对第一原始激活值和第二原始权重的量化方式，对经过前向计算的结果进行反量化，得到所述目标层的输出结果的方式，包括：

还通过量化权重对应的缩放系数S_w，S_w＝MaxWeights’/127,通过该S_w与经过前向计算的结果的乘积，作为该第一目标层的输出结果。

下面用一个例子解释量化和反量化的计算过程(第一原始激活值和第二原始权重方法相同):

假设权重浮点数参数即第二原始权重为[-0.127,0.126,0.08,-0.07]，则绝对值的极大值为0.127，要将该浮点数转换到8位对称范围[-127,127]中，所对应第二量化权重的缩放系数为0.001，量化后的8位定点数输入即第二量化权重分别为[-127,126,8,7]。

下面假设第一量化激活值为Qi[0,1,…,n]，第二量化权重为Qw[(0,0),(0,1),…,(m,n)]，通过该第一量化激活值和第二量化权重进行前向计算的过程包括：

Q_out＝Qi[0,1,…,n]*Qw[(0,0),(0,1),…,(m,n)]；

Q_out,0＝Qi₀*Qw_0,0+Qi₁*Qw_0,1+Qi₂*Qw_0,2+…+Qi_n*Qw_0,n；

Q_out,1＝Qi₀*Qw_1,0+Qi₁*Qw_1,1+Qi₂*Qw_1,2+…+Qi_n*Qw_1,n；

……；

Q_out,m＝Qi₀*Qw_m,0+Qi₁*Qw_m,1+Qi₂*Qw_m,2+…+Qi_n*Qw_m,n；

Q_out＝[Q_out,0,Q_out,1,Q_out,2,…,Q_out,m]；

R_out＝Q_out*S_i*S_w。

其中，Q_out为量化计算后的一串输出结果即未进行缩放的结果，R_out表示将量化值映射回真实的浮点数输出，即经过缩放的第一目标层的输出结果。

接下来，以模型为用于语音降噪的RNN模型为例，对本申请实施例提供的数据处理方法进行介绍。

参见图4，该图示出了本申请实施例提供的一种混合量化训练方法流程图，如图4所示，该图中显示的数据均为浮点数类型。其中，第二原始激活值可以是音频的输入数据(Input)，第一原始权重为针对该线性叠加层(Linear全连接层)对应的权重。

其中，可以将通过上述方法对第二原始激活值进行伪量化，得到对应的第二量化激活值，并将该第二量化激活值传递至运算操作中(即该Linear全连接层中)进行运算。另外，可以通过上述方法对第一原始权重进行伪量化，得到对应的第一量化权重，并将第一量化权重传递至运算操作中(即该Linear全连接层中)进行运算。通过将第一量化权重和第二量化激活值在运算操作中完成运算后，可以对运算结果进行偏置(Bias)，得到该Linear全连接层的输出结果(Output)，并对该输出数据即第二原始激活值进行伪量化，并作为输入下一层的第二量化激活值。

参见图5，该图示出了本申请实施例提供的一种动态量化推理方法流程图，如图5所示，可以通过上述方法，通过确定第二原始权重绝对值的第二目标最大值，将模型训练得到的权重即第二初始权重量化为8位的整型数据即第二量化权重，并确定第二量化权重对应的缩放系数，并通过上述方法，确定第一原始激活值绝对值的最大值，将第一原始激活值量化为8位的整型数据即第一量化激活值，并确定第一量化激活值对应的缩放系数。然后，将第一量化激活值和第二量化权重输入至第一目标层进行量化计算，并将量化结果通过第二量化权重对应的缩放系数和第一量化激活值对应的缩放系数进行反量化，得到最终的输出数据即浮点数。

本申请的技术效果主要体现在神经网络前向库的计算效率上。下表1为运行一个RNN网络时用相关技术方法做卷积和用本申请方法做卷积在不同的CPU上的计算时间，表2为精度差异,可以看到采用本申请的方法时间显著缩短，且精度上基本和浮点数计算的性能一致。

表1 相关技术和本申请运行RNN模型耗时(单线程)

表2 相关技术和本申请运行RNN精度对比

	SNR	LSD	PESQ
				相关技术	12.157	1.267	2.809
本申请	12.28	1.258	2.764

参见图6，该图示出了本申请实施例提供的一种效果对比图，如图6所示，其中表示为音频频谱，可以看出本申请的处理后的音频噪声要远好于现有技术的效果。

基于前述提供的数据处理方法，本申请实施例还提供了一种数据处理装置，参见图7，该图示出了本申请实施例提供的一种数据处理装置结构图，如图7所示，所述装置包括：

获取单元701，用于在将输入参数输入至模型中之后，获取第一目标层的第一原始激活值，所述第一目标层为所述模型中的任意一层；

量化单元702，用于对所述第一原始激活值进行量化，确定对应的第一量化激活值；所述第一量化激活值处于整型值范围内；

计算单元703，用于根据所述第一量化激活值和所述第一目标层的权重进行前向计算；

反量化单元704，用于根据对所述第一原始激活值的量化方式对经过所述前向计算的结果进行反量化，得到所述第一目标层的输出结果；

确定单元705，用于在通过所述模型完成针对所述输入参数的计算后，确定所述输入参数对应的数据。

在一种可能的实现方式中，所述确定单元705，具体用于：

在通过训练样本对初始模型进行第i次训练的过程中，获取第二目标层的第二原始激活值，所述第二目标层为所述初始模型中的任意一层；

按照所述第二原始激活值的第一数值范围，对所述第二原始激活值进行量化，确定对应的第二量化激活值；其中，所述第二量化激活值处于所述第一数值范围内；

根据所述第二量化激活值和所述第二目标层的权重进行前向计算；

在完成针对所述初始模型的训练后，确定所述初始模型的权重为所述模型的目标权重。

在一种可能的实现方式中，所述确定单元705，还具体用于：

按照所述第二目标层的第一原始权重的第二数值范围，对所述第一原始权重进行量化，确定对应的第一量化权重；其中，所述第一量化权重处于所述第二数值范围内；

所述根据所述第二量化激活值和所述第二目标层的权重进行前向计算，包括：根据所述第二量化激活值和所述第一量化权重进行前向计算。

在一种可能的实现方式中，所述确定单元705，还具体用于：

作为第一目标参数的所述第二原始激活值或所述第一原始权重，根据所述第一目标参数所对应绝对值的第一目标最大值，确定所述第一目标参数的第一目标数值范围；

确定符合所述第一目标数值范围的第一目标数量个第一量化数值；

根据所述第一目标参数和所述第一目标数量个第一量化数值，确定对应的第一量化数值作为所述第一目标参数对应的第一量化参数，当所述第一目标参数为所述第二原始激活值时，所述第一量化参数为所述第二量化激活值，当所述第一目标参数为所述第一原始权重时，所述量化参数为所述第一量化权重。

在一种可能的实现方式中，所述确定单元705，还具体用于：

作为第一目标参数的所述第二原始激活值或所述第一原始权重，确定所述第一目标参数所对应绝对值的第一目标最大值；

确定所述第一目标参数对应的第一数值与第一整型特征数的第一乘积，所述第一数值为所述第一目标参数与所述第一目标最大值的商；

确定所述第一乘积对应的整数值，并确定所述整数值与第二数值的第二乘积，所述第二数值为所述第一目标最大值与所述第一整型特征数的商；

确定所述第二乘积为所述第一目标参数对应的第一量化参数，当所述第一目标参数为所述第二原始激活值时，所述第一量化参数为所述第二量化激活值，当所述第一目标参数为所述第一原始权重时，所述第一量化参数为所述第一量化权重。

在一种可能的实现方式中，所述确定单元705，还具体用于：

当所述第一目标参数为所述第一原始权重时，所述确定所述第一目标参数所对应绝对值的第一目标最大值，包括：

在一种可能的实现方式中，所述量化单元702，还具体用于：

对所述第一目标层的第二原始权重进行量化，确定对应的第二量化权重；所述第二量化权重处于整型值范围内；

所述计算单元703，具体用于：

根据所述第一量化激活值和所述第二量化权重进行前向计算；

所述反量化单元704，具体用于：

根据对所述第一原始激活值和所述第二原始权重的量化方式对经过所述前向计算的结果进行反量化。

在一种可能的实现方式中，所述量化单元702，还具体用于：

作为第二目标参数的所述第一原始激活值或所述第二原始权重，确定所述第二目标参数所对应绝对值的第二目标最大值；

本申请实施例还提供了一种数据处理设备，下面结合附图对数据处理设备进行介绍。请参见图8所示，本申请实施例提供了一种数据处理设备900结构图，该设备900还可以是终端设备，以终端设备为手机为例：

图8示出的是与本申请实施例提供的手机的部分结构框图。参考图8，手机包括：射频(Radio Frequency，简称RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(wireless fidelity，简称WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图8对手机的各个构成部件进行具体的介绍：

RF电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。

存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器(Liquid CrystalDisplay，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图8中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器980还具有以下功能：

本申请实施例提供的数据处理设备可以是服务器，请参见图9所示，图9为本申请实施例提供的服务器1000的结构图，服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中的步骤也可以由服务器执行，该服务器可以基于该图9所示的服务器结构。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行前述各个实施例所述的方法。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述模型的训练方式如下：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，作为第一目标参数的所述第二原始激活值或所述第一原始权重，对所述第一目标参数进行量化，确定对应的第一量化参数的方式如下：

根据所述第一目标参数所对应绝对值的第一目标最大值，确定所述第一目标参数的第一目标数值范围；

5.根据权利要求3所述的方法，其特征在于，作为第一目标参数的所述第二原始激活值或所述第一原始权重，对所述第一目标参数进行量化，确定对应的第一量化参数的方式如下：

确定所述第一目标参数所对应绝对值的第一目标最大值；

6.根据权利要求4或5所述的方法，其特征在于，当所述第一目标参数为所述第一原始权重时，所述确定所述第一目标参数所对应绝对值的第一目标最大值，包括：

7.根据权利要求1-5任意一项所述的方法，其特征在于，所述方法还包括：

所述根据所述第一量化激活值和所述第一目标层的权重进行前向计算，包括：

所述根据对所述第一原始激活值的量化方式对经过所述前向计算的结果进行反量化，包括：

8.一种数据处理装置，其特征在于，所述装置包括：

确定单元，用于在通过所述模型完成针对所述输入参数的计算后，确定所述输入参数对应的数据。

9.一种设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7任意一项所述的方法。