CN117669498A - 信息处理方法和装置 - Google Patents

Abstract

本申请提供了一种信息处理方法和装置，该方法包括：获得用户输入的任务信息；基于多任务处理模型，确定任务信息对应的任务响应结果；输出任务响应结果；其中，多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同。

Description

信息处理方法和装置

技术领域

本申请涉及信息处理技术领域，尤其涉及一种信息处理方法和装置。

背景技术

在日常生活与工作过程中，经常需要基于用户给出的任务信息，借助大语言处理模型等多任务处理模型确定任务响应结果。如，借助多任务处理模型对任务信息中的待翻译的目标信息进行翻译、确认任务信息中待处理的目标信息的回复语句、确认任务信息的意图或者生成与任务信息对应的控制指令等。

为了保证多任务处理模型预测响应结果的准确性，多任务处理模型的复杂度越来越高，使得存储和运行多任务处理模型都需要占用较多的资源。而对于手机等小型电子设备而言，由于这些电子设备的硬件资源较为有限，并不适合部署较为大型的多任务处理模型，因此，如何使得这些电子设备能够利用多任务处理模型实现较为准确地预测任务信息的响应结果是本领域技术人员需要解决的技术问题。

发明内容

一方面，本申请提供了一种信息处理方法，包括：

获得用户输入的任务信息；

基于多任务处理模型，确定所述任务信息对应的任务响应结果；

输出所述任务响应结果；

其中，所述多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同。

在一种可能的实现方式中，所述多任务处理模型部署在电子设备上；

所述输出所述任务响应结果包括如下至少一项：

向所述电子设备中的输出装置输出所述任务响应结果，以使得所述用户获得所述任务响应结果；

向所述电子设备中的目标应用输出所述任务响应结果，以控制所述目标应用按照所述任务响应结果执行任务操作。

在又一种可能的实现方式中，所述多任务处理模型的权重层中的权重系数经过量化处理，所述权重层中的非权重系数未经过量化处理；

其中，所述权重层中的权重系数由浮点型数据量化为第一位数的整数型数据。

在又一种可能的实现方式中，所述多任务处理模型包括：向量编码模块、结果输出模块以及至少一个特征处理模块，其中，所述至少一个特征处理模块位于所述向量编码模块和结果输出模块之间；

所述向量编码模块中的权重层经过非对称量化处理；

所述特征处理模块和所述结果输出模块中的权重层经过对称量化处理。

在又一种可能的实现方式中，所述基于多任务处理模型，确定所述任务信息对应的任务响应结果，包括：

基于所述多任务处理模型的各权重层和非权重层对所述任务信息的处理结果，确定所述任务信息的任务响应结果；

其中，在所述多任务处理模型的权重层输出处理结果后，通过与所述多任务处理模型关联的模型控制模块获得所述权重层输出的处理结果，将所述权重层的处理结果从浮点型数据转换为第二位数的整数型数据，其中，采用第二位数的整数型数据表示所述权重层的处理结果比采用所述浮点型数据表示所述权重层的处理结果的数据量更小。

在又一种可能的实现方式中，所述通过与所述多任务处理模型关联的模型控制模块获得所述权重层输出的处理结果，将所述权重层的处理结果从浮点型数据转换为第二位数的整数型数据，包括：

通过所述模型控制模块确定所述多任务处理模型中当前输出处理结果的目标权重层，如果所述模型控制模块确认所述目标权重层的下一模型层为权重层，将所述目标权重层输出的处理结果从浮点型数据转换为第二位数的整数型数据；

基于所述模型控制模块，将采用第二位数的整数型数据表示的处理结果作为目标输入信息，将所述目标输入信息输入到所述目标权重层的下一模型层。

在又一种可能的实现方式中，还包括：

在所述多任务处理模型的权重层获得所述目标输入信息后，分别计算所述权重层中的权重系数以及非权重系数与所述目标输入信息的乘法运算结果；

确定该权重层中所有权重系数对应的乘法运算结果相加后的第一求和结果，以及所有非权重系数对应的乘法运算结果相加后的第二求和结果；

基于第一反量化系数，对所述第一求和结果进行反量化，得到所述权重层中权重系数对应的第一反量化运算结果；

基于第二反量化系数，对所述第二求和结果进行反量化，得到所述权重层中非权重系数对应的第二反量化运算结果；

基于所述权重层的第一反量化运算结果和第二反量化运算结果，确定所述权重层的处理结果。

在又一种可能的实现方式中，所述多任务处理模型通过如下方式得到：

获得初始多任务处理模型和校验数据，所述初始多任务处理模型包括：初始向量编码模块、初始结果输出模块以及至少一个初始特征处理模块；

依次对所述初始向量编码模块中各权重层进行非对称量化处理，得到经过量化处理的向量编码模块；

基于所述校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，得到经过量化处理的各特征处理模块；

基于所述校验数据，依次对所述初始结果输出模块中的各权重层进行对称量化处理，得到经过量化处理的结果输出模块；

组合经过量化处理的向量编码模块、各特征处理模块和结果输出模块，得到经过量化处理的多任务处理模型。

在又一种可能的实现方式中，所述依次对所述初始向量编码模块中各权重层进行非对称量化处理，包括：

依次对所述初始向量编码模块的各权重层中的权重系数进行非对称量化处理；

所述基于所述校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，包括：

基于所述校验数据，依次对各初始特征处理模块的各权重层中的各权重系数进行对称量化处理；

所述基于所述校验数据，依次对所述初始结果输出模块中的各权重层进行对称量化处理，包括：

基于所述校验数据，依次对所述初始结果输出模块的各权重层中的各权重系数进行对称量化处理。

又一方面，本申请还提供了一种信息处理装置，包括：

任务获得单元，用于获得用户输入的任务信息；

任务处理单元，用于基于多任务处理模型，确定所述任务信息对应的任务响应结果，其中，所述多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同；

结果输出单元，用于输出所述任务响应结果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请实施例提供的信息处理方法的一种流程示意图；

图2示出了本申请实施例中量化得到多任务处理模型的一种流程示意图；

图3示出了本申请实施例中量化得到多任务处理模型的又一种流程示意图；

图4示出了本申请实施例中获得经过量化处理的多任务处理模型的一种实现原理框架示意图；

图5示出了本申请实施例提供的信息处理方法的又一种流程示意图；

图6示出了本申请实施例中在模型控制模块的辅助控制下，权重层进行反量化处理的原理框架示意图；

图7示出了本申请实施例提供的一种信息处理装置的一种组成结构示意图；

图8示出了本申请实施例提供的一种电子设备的一种组成架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1，示出了本申请实施例提供的信息处理方法的一种流程示意图，本实施例的方法可以应用于手机、笔记本电脑以及台式电脑等电子设备，本实施例的方法可以包括：

S101，获得用户输入的任务信息。

其中，任务信息为用于指示待处理任务的信息。

如，该任务信息可以包括：用于指示任务类型的指示信息，以及待处理任务的任务内容。其中，任务信息中可能指示的任务类型包括但不限于：翻译、意图识别、对话回复、邮件发送、调用应用以及执行指定操作等。而任务信息中的任务内容为相应任务类型下所需处理的信息。

举例说明：

任务信息可以为：翻译下“what a happy day”，那么“翻译下”指示出了需要执行的任务类型为翻译，而“what a happy day”为需要翻译的具体信息。

又如，任务信息还可以为“为什么人类需要睡眠”，那么该任务信息指示出的任务类型为针对提问给出回复，且该任务信息本身也属于待回复的问题内容。

又比如，任务信息为：给张三发封邮件告诉他下午五点会议室开会，那么这个任务信息中除了指示有需要执行的任务类型为发邮件，而且包含了邮件的接收方以及邮件内容等完成发邮件这一具体任务所需的信息。

当然，此处仅仅是以举例说明，在实际应用中任务信息还可以有其他可能，在此不再赘述。

在本申请中，该任务信息的形式也可以有多种可能，如任务信息可以包括语音形式或者文本形式的数据信息。

当然，该任务信息还可以包括图像或者视频等其他数据形式的信息。例如，任务信息可以包括：图像，以及“根据这幅图像写一首诗”的文本，以便后续通过多任务处理模型生成与该图像匹配的一首诗词。

S102，基于多任务处理模型，确定该任务信息对应的任务响应结果。

S103，输出该任务响应结果。

在本申请中，该多任务处理模型部署在该电子设备端。

该多任务处理模型可以为根据任务信息的不同，实现多种不同类型任务的处理。如，多任务处理模型可以为大语言处理模型，也可以为其他类型的任务处理模型等，对此不加限制。

其中，任务响应结果为多任务处理模型针对该任务信息进行分析处理所得到的响应结果。

根据任务信息所指示的任务类型以及任务内容的不同，该任务响应结果也会有所不同，相应的，输出该任务响应结果的具体输出方式也会有所不同，对此不加限制。

如，任务响应结果可以为多任务处理结果基于任务信息确定出的需要执行的操作动作以及执行操作动作的目标对象(如电子设备或者应用层)的信息；该任务响应结果还可以为最终需要反馈给用户的处理结果等。

基于此，在一种可能的实现方式中，输出该任务响应结果可以包括如下至少一项：

向电子设备中的输出装置输出该任务响应结果，以使得该用户获得该任务响应结果；

向电子设备中的目标应用输出该任务响应结果，以控制该目标应用按照该任务响应结果执行任务操作。

其中，输出装置可以为显示屏和音频输出装置中的一种或者两种，根据任务响应结果的不同，输出装置也会有所不同。

如，任务响应结果为需要反馈给用户的文本或者图像等可显示内容，则输出装置可以为显示屏；如果任务响应结果为需要反馈给用户的音频信息，那么输出装置可以为音频输出装置；如果任务响应结果包括需要反馈给用户的短视频，则可能需要通过显示屏显示该短视频的视频图像，并通过音频输出装置输出短视频中的音频内容。

其中，该目标应用为需要基于任务响应结果执行任务操作的应用，如，需要在多任务处理模型的调用下执行与任务响应结果相关的操作，或者输出任务响应结果相关的内容等。

为了便于理解，以几种情况为例，举例说明：

如，如果任务信息为需要翻译的内容，那么任务响应结果可以为多任务处理模型翻译出的翻译结果，在该种情况下，多任务处理结果可以将翻译结果输出到电子设备的显示屏，或者是通过扬声器播放翻译结果。

又如，如果任务信息为用于指示发邮件的信息，那么任务响应结果可以包括：所需发送的邮件内容等。在此基础上，输出任务响应结果可以为调用该邮箱应用接口，向邮箱应用输出所需发送的邮件内容，以通过邮箱应用发送邮件。

当然，任务响应结果以及输出任务响应结果还可以有其他可能，在此不再赘述。

在本申请中，该多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同。

其中，权重层是指具有权重系数的模型层(也称为网络层)。

可以理解的是，对模型进行量化的主要目的是提高模型在硬件上的执行效率，减小模型的存储和计算成本。基于此，对权重层进行量化可以是将权重层的数据由浮点型数据量化为第一位数的整数型数据，因此，多任务处理模型中各权重层中的数据为经过量化后的第一位数的整数型数据表示的数据。

其中，对于任意一个权重层而言，采用第一位数的整数型数据表示该权重层的数据比采用浮点型数据表示该权重层数据的数据量更小，所需的存储空间更小，有利于提升量化后的权重层的计算速度。

其中，根据多任务处理模型的不同，量化前的多任务处理模型中的权重层可以采用32位浮点型数据表示，也可以是采用16位的浮点型数据表示，对此不加限制。

而本申请中，该多任务处理模型为经过量化的模型，因此，该多任务处理模型中的权重层中的数据为第一位数的整数型数据。该第一位数可以根据需要设定，如，第一位数的整数型数据可以为int4或者int8，为了尽可能降低多任务处理模型的数据量，第一位数的整数型数据可以为int4，即4位的整数表示权重层中的数据。

与目前模型量化仅仅对模型中部分权重层进行量化不同，本申请中，该多任务处理模型中所有的权重层均进行了量化处理，从而可以使得该多任务处理模型的数据量更小，更为轻量化且任务处理速度更高，为多任务处理模型部署到用户终端等小型电子设备提供了可能。

与目前量化模型采用固定的一种量化方式不同，本申请中多任务处理模型中不同权重层能够采用不同的量化方式，从而能够结合权重层的特征更为合理地实现量化。

如，在一种可选方式中，考虑到多任务处理模型从结构上可以分为多层模型模块，而同一模型模块内权重层的特征相似，因此，本申请可以对于多任务处理模型中同一模型模块内的权重层采用相同的量化方式，而对于不同的模型模块内的权重层采用的量化方式不完全相同。

由以上可知，在本申请实施例中，多任务处理模型的各权重层已经过量化处理，能够有效降低多任务处理模型的大小，有利于提升多任务处理模型处理任务信息的速率，从而使得多任务处理模型能够适用于小型电子设备进行任务信息的处理。而且，该多任务处理模型中不同种类的权重层采集的量化方式不完全相同，从而能够使得各权重层的量化方式更为合理，有利于保证权重层的数据处理精度，进而实现了同时兼顾多任务处理模型的大小和处理精度，自然也就实现了在小型电子设备中提升任务信息处理速度的同时，兼顾了任务信息的处理精度。

可以理解的是，在不同应用场景中，多任务处理模型的具体模型结构可能会有所差别，本申请对于该多任务处理模型的模型结构不加限制。

虽然多任务处理模型的模型结构具有多样性，但是大部分多任务处理模型都主要包括三种模型模块，如，该多任务处理模型分别包括：向量编码模块、结果输出模块以及至少一个特征处理模块。其中，至少一个特征处理模块位于向量编码模块和结果输出模块之间。

该向量编码模块用于将输入多任务处理模型的数据进行编码。

该结果输出模块为多任务处理模型的输出层，用于输出该多任务处理模型的处理结果。

该特征处理模块为多任务处理模型中最关键的模型层，其负责对输入信息的编码进行特征处理，以确定用于表征任务响应结果的特征。

在实际应用中，根据实际需求不同，多任务处理模型中的向量编码模块、结果输出模块以及至少一个特征处理模块可以有多种不同可能。

如，该多任务处理模型中的向量编码模块可以为嵌入式向量编码(Embedding)层；该特征处理模块可以为变换器(Transformer)模型层；该结果输出模块也称为head层，其根据具体任务不同有所不同，可以有所不同，对此不加限制。

在本申请中，对于多任务处理模型中的向量编码模块、该特征处理模块以及该结果输出模块这三种模型模块中的权重层可以采用不同种量化方式。

如，在一种可能的实现方式中，多任务处理模型的向量编码模块中的权重层经过非对称量化处理得到的。而该多任务处理模型中的特征处理模块和该结果输出模块中的权重层经过对称量化处理得到的。

其中，非对称量化是指采用非对称量化算法进行量化处理，而对称量化采用的是对称量化算法进行量化处理。

可以理解的是，基于对称量化方式和非对称量化方式的特征可知，相对对称量化方式而言，非对称量化更能够保持模型的精度，但是量化后模型的数据量也会相对较大。基于这一特征，本申请考虑到多任务处理模型中向量编码模块自身的数据量相对较少，而且，由于向量编码模块处于多任务处理模型的最前端，使得向量编码模型输出结果的精准度会对后续特征处理模块和结果输出模块的输出结果的精准度存在较大影响。

基于此，为了能够在最大程度降低多任务处理模型的数据量的前提下，更为可靠地保证多任务处理模型的推理精度，本申请仅对只有多任务处理模型中向量编码模块的权重层是经过非对称量化处理得到的，而特征处理模块和结果输出模块中的权重层则是经过对称量化处理得到的。

在本申请中，量化得到该多任务处理模型的具体实现可以有多种可能，本申请对此不加限制。下面以一种实现方式为例，对量化得到该多任务处理模型的过程进行介绍。

如图2，其示出了本申请实施例中量化得到该多任务处理模型的一种流程示意图，本实施例的流程可以得到：

S201，获得初始多任务处理模型和校验数据。

其中，初始多任务处理模型包括：初始向量编码模块、初始结果输出模块以及至少一个初始特征处理模块。

为了便于区分，本申请中将量化处理前的多任务处理模型称为初始多任务处理模型。相应的，将初始多任务处理模型中的向量编码模块、特征处理模块和结果输出模块依次称为初始向量编码模块、初始特征处理模块和初始结果输出模块。

其中，校验数据是用于多任务处理模型量化校准的数据集。

如，校验数据可以包括多对数据样本，每对数据样本包括：一个任务信息样本和一个任务响应结果样本。

S202，依次对初始向量编码模块中各权重层进行非对称量化处理，得到经过量化处理的向量编码模块。

其中，对于初始向量编码模块中的非权重层不进行量化处理。非权重层是指不包含权重系数的模型层。该初始向量编码模块的非权重层就是该初始向量编码模块中权重层之外的模型层。

在本申请中，对初始多任务处理模块的量化处理可以在部署该多任务处理模型的电子设备之外的服务器等其他电子设备侧执行。在执行量化处理的电子设备侧可以部署有模型量化模块，该模型量化模块可以为用于控制模型量化的程序模块。通过该模型量化模型可以拆分出该多任务处理模型中各个模型模块中的权重层和非权重层，如，拆分出初始向量编码模块中的权重层和非权重层。相应的，该模型量化模块会对每个模型模块中的权重层进行相应的量化处理。

其中，经过量化处理得到的向量编码模块包括：初始向量编码模块中经过非对称量化处理的各权重层以及该初始向量编码模块中未经过量化处理的各非权重层。

S203，基于校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，得到经过量化处理的各特征处理模块。

可以理解的是，多任务处理模型中可以包括至少一个初始特征处理模块，当然，一般情况下，多任务处理模型可以包括多个初始特征处理模块。该至少一个初始特征处理模块也是按照顺序逐层排布。在此基础上，在对多任务处理模型进行量化处理过程中，需要按照顺序逐层处理各初始特征处理模块。

而且，对于每个初始特征处理模块而言，初始特征处理模块也会存在至少一个权重层和至少一个非权重层。在此基础上，可以通过模型量化模块分离出该初始特征处理模块中的权重层和非权重层，并依次对各权重层进行对称量化处理。

其中，对于初始特征处理模块中每个权重层，基于该校验数据对权重层进行对称量化处理的方式可以采用任意对称量化方式，对此不加限制。

在一种可能的实现方式中，为了降低量化处理的复杂度，本申请还可以吸纳基于校验数据，计算出海森矩阵H，然后，采用平方根法(也称为cholesky分解法)海森矩阵H进行矩阵分解，以分解出海森矩阵对应的一个下三角矩阵。在此基础上，求解出下三角矩阵的逆矩阵后，可以基于该逆矩阵和校准数据，对权重层进行对称量化处理。相对海森矩阵而言，该下三角矩阵的逆矩阵结构相对简单，从而可以进一步降低量化处理过程中的数据计算复杂度，降低了量化处理的复杂度。

其中，经过量化处理的特征处理模块包括该初始特征处理模块中经过对称量化处理后的权重层以及该初始特征处理模块中未经过量化处理的非权重层。

S204，基于校验数据，依次对初始结果输出模块中的各权重层进行对称量化处理，得到经过量化处理的结果输出模块。

对于初始结果输出模块中权重层的对称量化处理与对初始特征处理模块中的权重层进行对称量化处理的过程相似，具体可以参见前面的相关介绍，在此不再赘述。

相应的，经过量化处理的结果输出模块中包括该初始结果输出模块中经过对称量化处理的各权重层以及该初始结果输出模块中未经过量化处理的各非权重层。

S205，组合经过量化处理的向量编码模块、各特征处理模块和结果输出模块，得到经过量化处理的多任务处理模型。

其中，将量化处理后得到向量编码模块、各特征处理模块和结果输出模型进行组合封装，就可以得到由初始多任务处理模型量化处理得到的多任务处理模型，从而可以将该多任务处理模型部署到用户端的电子设备中。

可以理解的是，对于多任务处理模型中任意一个权重层而言，权重层中除了包括权重系数之外，还可以包括权重系数之外的非权重系数。而本申请的发明人经过研究发现，多任务处理模型中非权重系数对于多任务处理模型的任务处理精度的影响较大，而且相对权重系数而言，权重层中的非权重系数的相对较少。

基于此，在本申请以上任意一个实施例中，为了能够进一步提高经过量化处理后的该多任务处理模型的处理精度，该多任务处理模型的各权重层中的权重系数经过量化处理，而权重层中的非权重系数未经过量化处理。

相应的，在对初始多任务处理模型进行量化处理过程中，可以仅对初始多任务处理模型的权重层中的权重系数进行量化处理，而不对各权重层中的非权重系数进行量化处理。

下面结合一种实现方式进行说明。如图3所示，其示出了本申请实施例中量化得到该多任务处理模型的又一种流程示意图，本实施例的方法还包括：

S301，获得初始多任务处理模型和校验数据。

其中，初始多任务处理模型包括：初始向量编码模块、初始结果输出模块以及至少一个初始特征处理模块。

S302，依次对初始向量编码模块的各权重层中的权重系数进行非对称量化处理。

其中，对于初始向量编码模块中的非权重层不进行量化处理，而且，初始向量编码模块中权重层中的非权重系数也不会进行量化处理。

如，通过模型量化模块确定出初始向量编码模块中的各个权重层之后，在需要量化每个权重层时，可以确定权重层中包含的权重系数，以及权重系数之外的非权重系数(也称为奇异数据)，从而隔离权重层中的非权重系数，而仅对权重层中的权重系数进行处理。

可以理解的是，对于初始多任务处理模型中任意一个模型模块的权重层而言，模型量化模块确定权重层中的权重系数的具体方式可以不加限制。如，考虑到权重层中主要大部分数据为权重系数，因此，可以构建权重层中各数据的数据分布，将偏离数据分布中心较远的数据确定为非权重系数。

其中，初始向量编码模块的权重层的权重系数所需量化为的整数类型的数据的位数可以根据需要设定，如，可以将初始向量编码模块的权重层的权重系数量化为int4的整数型数据。

S303，基于校验数据，依次对各初始特征处理模块中各权重层的权重系数进行对称量化处理，得到经过量化处理的各特征处理模块。

其中，对初始特征处理模块的权重层的权重系数进行对称量化处理的具体过程与前面类似，在此不再赘述。

在本实施例中，初始特征处理模块的非权重层不进行量化处理，且初始特征处理模块的权重层中的非权重系数也不会进行量化处理。

相应的，由初始特征处理模块量化处理得到的特征处理模块可以包括：初始特征处理模块中经过对称量化处理的权重层以及未经过量化处理的非权重层，且经过对称量化处理的权重层中包括经过对称量化处理的权重系数和未经对称量化处理的非权重系数。

S304，基于校验数据，依次对初始结果输出模块中各权重层的权重系数进行对称量化处理，得到经过量化处理的结果输出模块。

其中，初始结果输出模块的非权重层未经过量化处理，且该初始结果输出模块的权重层中各非权重系数未经过量化处理。

相应的，该经过量化处理的结果输出模块包括：该初始结果输出模块中经过对称量化处理的各权重层以及未经过量化处理的非权重层，且经过量化处理的权重层包括：经过对称量化处理的权重系数和未经过量化处理的非权重系数。

S305，组合经过量化处理的向量编码模块、各特征处理模块和结果输出模块，得到经过量化处理的多任务处理模型。

为了便于理解，以多任务处理模型是由16位的浮点型(即FP16)表示的初始多任务处理模型量化得到的，且该多任务处理模型中经过量化的权重系数采用int4的整数型数据表示为例说明。

如图4，其示出了本申请实施例中获得经过量化处理的多任务处理模型的一种实现原理框架示意图。

在获得FP16表示的初始多任务处理模型以及模型量化所需的校验数据后，本申请可以通过模型量化模块会识别出该初始多任务处理模型的初始向量编码模块、初始结果输出模块以及各初始特征处理模块。

对于初始向量编码模块中各权重层的权重系数，本申请会采用非对称量化方式，将权重层中的采用FP16表示的权重系数量化为采用int4表示的数据。

而对于初始结果输出模块以及各初始特征处理模块中权重层的权重系数，本申请会采用对称量化方式，将各权重层中采用FP16表示的权重系数量化为采用int4表示的数据。

而对于初始向量编码模块、初始结果输出模块以及各初始特征处理模块中的非权重层以及权重层中的非权重系数，则会单独隔离而不进行量化处理。

经过如上处理，将初始多任务处理模型中已经经过量化处理和未经过量化处理的数据进行组合封装，就可以得到经过量化处理的多任务处理模型。

可以理解的是，在本申请以上实施例中，在获得经过量化处理的多任务处理模型，将该多任务处理模型部署到手机等电子设备侧，便可以使得电子设备借助该多任务处理模型进行任务处理。

如，可以通过多任务处理模型的各权重层和非权重层对输入的任务信息进行处理，基于多任务处理模型的权重层和非权重层对任务信息的处理结果，确定该任务信息的任务响应结果。

可以理解的是，在电子设备利用部署的多任务处理模型进行任务处理过程中，由于输入多任务处理模型的输入数据也是浮点型数据，因此，将浮点型数据与多任务处理模型中采用int4或者int8等整数型表示的权重系数相乘后，乘积也是浮点型数据。在此基础上，多任务处理模型中各权重层仍然需要对浮点型数据与其整数型表示的权重系数进行乘法运算，而相对整数型数据之间的相乘，浮点型数据与整数型数据之间的乘法运算的复杂度较多较高，计算量相对较大。

而且，由于多任务处理模型中各权重层输出的处理结果也是浮点型数据，必然也需要耗费较多的缓存空间。

基于此，为了进一步减少电子设备侧通过该多任务处理模型进行任务信息处理所需的计算量以及缓存数据量，在本申请中电子设备在部署多任务处理模型的同时，还可以部署与该多任务处理模型关联的模型控制模块，该模型控制模块可以辅助多任务处理模型进行任务信息的控制程序。

在此基础上，在多任务处理模型的权重层输出处理结果后，通过该模型控制模块可以获得权重层输出的处理结果，将权重层的处理结果从浮点型数据转换为第二位数的整数型数据。

其中，采用第二位数的整数型数据表示权重层的处理结果比采用浮点型数据表示权重层的处理结果的数据量更小，从而可以减少电子设备在本地缓存各权重层的处理结果(即多任务处理模型的中间处理结果)所需占用的存储空间。

而且，采用第二位数的整数型数据表示权重层的处理结果后，后续该处理结果作为其他权重层的输入信息参与其他权重层等运算时，由于输入权重层的输入信息为整数型数据，而整数型数据与权重层中采用整数型数据表示的权重系数之间的乘法运算也是整数据数据之间的乘法运算，相对浮点型数据与整数型数据之间的乘法运算，或者浮点型数据之间的乘法运算，整数型数据之间的运算的计算复杂度更低，计算量更小。

基于此，在一种可选实现方式中，通过模型控制模块获得权重层的处理结果后，该模型控制模块确定多任务处理模型中当前输出处理结果的目标权重层，如果该模型控制模块确认该目标权重层的下一模型层为权重层，将该目标权重层输出的处理结果从浮点型数据转换为第二位数的整数型数据。相应的，该基于模型控制模块，将采用第二位数的整数型数据表示的处理结果作为目标输入信息，将目标输入信息输入到该目标权重层的下一模型层。

在本申请中，该第二位数的整数型数据可以与前面第一位数的整数型数据相同，也可以不同。在实际应用中，经过验证发现，在第一位数的整数型数据为int4数据的情况下，第二位数的整数型数据为int8，能够更为有效地保证多任务处理模型的处理精度。

可以理解的是，为了使得多任务处理模型的各权重层输出的数据结果仍能够与多任务处理模型的输入信息的数据范围保持一致，本申请中，还需要对各权重层进行反量化。

下面以权重层中权重系数经过量化处理，而权重层中的非权重系数为经过量化处理为例，结合一实施例进行说明。

如图5，示出了本申请实施例提供的一种信息处理方法的又一种流程示意图，本实施例的方法可以应用于电子设备，该电子设备中部署有多任务处理模型以及与该多任务处理模型关联的模型控制模块。如，可以多任务处理模型与模型控制模型可以封装组合并一并部署到电子设备中，对此不加限制。

本实施例可以包括：

S501，获得用户输入的任务信息。

S502，基于多任务处理模型中各模型模块的权重层和非权重层对任务信息进行处理，在多任务处理模型中任意一个权重层输出处理结果后，通过模型控制模块确定多任务处理模型中当前输出处理结果的目标权重层。

如，以多任务处理模型包括向量编码模块、特征处理模块和结果输出模块这三种模型模块为例说明：

任务信息输入到多任务处理模型中，首先会经过多任务处理模型中的向量编码层对任务信息进行向量编码，再将编码出的向量输入到特征处理模块，经过各特征处理模块处理后，可以将最后一层特征处理模块输出的特征信息输入到结果输出层，由结果输出模块输出最终的响应结果。

在该过程中，向量编码模块、特征处理模块以及结果输出模块中都会涉及到权重层和非权重层的信息处理，对于这几个模型模块中任意一个权重层输出的处理结果，都需要进行步骤S503到S504的处理。

为了便于区分，将多任务处理模型中当前存在处理结果输出的权重层称为目标权重层。

S503，如果模型控制模块确认目标权重层的下一模型层为权重层，将目标权重层输出的处理结果从浮点型数据转换为第二位数的整数型数据。

其中，目标权重层输出的处理结果为浮点型数据，如，多任务处理模型的权重层中的权重系数为经过量化处理后的权重数据。

可以理解的是，如果目标权重层的下一层属于非权重层，由于非权重层为经过量化处理，自然也就不涉及到对非权重层进行反量化处理，因此，为了保证非权重层能够正常输出浮点型数据，自然也就不需要单独改变输入到非权重层的输入信息的数据类型。

如，以各权重层的权重系数被量化为int4表示的数据，目标权重层输出的处理结果为16位的浮点型表示的数据，那么可以将目标权重层输出的处理结果转换为int8表示的数据。

S504，基于该模型控制模块，将采用第二位数的整数型数据表示的处理结果作为目标输入信息，将该目标输入信息输入到目标权重层的下一模型层。

其中，目标权重层的下一模型层为多任务处理模型中位于该目标权重之后的下一个模型层。相应的，目标权重层输出的处理结果需要输入到该下一模型。

S505，在多任务处理模型的权重层获得目标输入信息后，分别计算该权重层中的权重系数以及非权重系数与所述目标输入信息的乘法运算结果。

需要说明的是，如果多任务处理模型的权重层的输入为用户输入的任务信息或者其他非权重层输出的处理结果，则可以按照目前常规方式进行反量化处理即可，而无需执行步骤S505到S508的相关操作。

而对于多任务处理模型中能够获得已转换为第二位数的整数型数据表示的目标输入信息的任意一个权重层，均可以采用步骤S505到S508的操作进行反量化处理。

可以理解的是，目标输入信息输入到权重层之后，目标输入信息需要与权重层中各权重系数相乘，而由于目标输入信息为整数型数据，而权重层的权重系数也为整数型数据，那么目标输入信息与权重系数的乘法运算为整数型数据相乘，相对于浮点型数据与整数型数据相乘而言，计算复杂度更低，计算量更小。

可以理解的是，在权重层的非权重系数未被量化处理的情况下，权重层中的非权重系数仍采用浮点型数据表示，而目标输入信息为整数型数据，因此，目标输入信息与非权重系数的乘法运算为整数型数据与浮点型数据的乘法，自然也比浮点型数据直接相乘的计算量更小。

S506，确定该权重层中所有权重系数对应的乘法运算结果相加后的第一求和结果，基于第一反量化系数，对该第一求和结果进行反量化，得到该权重层中权重系数对应的第一反量化运算结果。

其中，该第一反量化系数可以根据需要设定。

可以理解的是，目标输入信息与权重系数的乘法运算为整数型数据相乘，所得到的乘法运算结果的数据范围，与目标输入信息的数据类型转换前与该权重系数相乘所得到的数据类型及数据范围不一致，为了能够恢复出原始的数据范围，需要将该权重层各个权重系数对应的乘法运算结果进行反量化。

可以理解的是，单独将每个权重系数的乘法运算结果与第一反量化系数相乘后再求和，需要多次乘法运算，计算量相对较大。在本实施例中，先将该权重层中各权重系数的乘法运行结果相加，然后，再将相加得到的第一求和结果与该第一反量化系数相乘，只需要一次乘法运算便可以完成所有权重系数对应乘积运算结果的反量化，计算量相对较小。

S507，确定所有非权重系数对应的乘法运算结果相加后的第二求和结果，基于第二反量化系数，对所述第二求和结果进行反量化，得到所述权重层中非权重系数对应的第二反量化运算结果。

其中，该第二反量化系数不同于该第一反量化系统。

在此基础上，对于该权重层，可以将各非权重系数对应的乘法运算结果相加后，将相加得到的相加运算结果仅需要与该第二反量化系数进行一次相乘，便可以完成所有非权重系数对应乘法运算结果的反量化。

S508，基于该权重层的第一反量化运算结果和第二反量化运算结果，确定该权重层的处理结果。

如，可以将权重层的第一反量化运算结果和第二反量化运算结果相加，得到处理结果。

为了便于理解以上步骤S502到S508的过程，以权重层中权重系数已被量化为int4数据，而权重层中非权重系数仍为16位的浮点型数据为例。且假设权重层输出的数据结果为16位的浮点型数据，而模型控制模块需要将16位的浮点型数据转换为int8的数据后再输入到下一个权重层，然后下一个权重层内部进行运算以及反量化处理的过程为例说明：

如图6所示，其示出了本申请中在模型控制模块的辅助控制下，权重层进行反量化处理的原理框架示意图。

在图6中以前后相连的两个权重层分别为权重层1和权重层2为例说明。

由图6可以看出，权重层1输出采用16位的浮点型(即PF16)表示的处理结果后，模型控制模块会将该处理结果从FP16数据转换为int8表示的处理结果，然后将采用int8表示的处理结果作为输入信息输入到该权重层1的下一个权重层，即权重层2。

在权重层2中，int8的输入信息会分别与该权重层2中采用int4表示的各权重系数相乘，得到各个权重系数对应的乘法运算结果。在此基础上，各个权重系数对应的乘法运算结果相加后与第一反量化系数相乘，得到第一反量化运算结果。

而且，在权重层2中，int8的输入信息还会分别与权重层2中采用FP16表示的各非权重系数相乘，得到各个非权重系数对应的乘法运算结果。在此基础上，各个非权重系数的乘法运算结果相加后与第二反量化系数相乘，得到第二反量化运算结果。

在此基础上，第一反量化运算结果和第二反量化运算结果均被恢复为正常范围内的FP16数据。

将第一反量化运算结果和第二反量化运算结果相加，就得到权重层2的处理结果。

S509，基于该多任务处理模型的各权重层和非权重层对该任务信息的处理结果，确定该任务信息的任务响应结果。

可以理解的是，任务信息的任务响应结果，与多任务处理模型中各权重层和非权重层对任务信息的处理有关。前面步骤S502到S508的相关操作都属于多任务处理模型处理任务信息过程，基于此，在前面步骤的基础上，该多任务处理模型最终可以通过结果输出模块输出该任务响应结果。

S510，输出任务响应结果。

对应本申请的一种信息处理方法，本申请还提供了一种信息处理装置。

如图7，示出了本申请实施例提供的信息处理装置的一种组成结构示意图，本实施例的装置可以包括：

任务获得单元701，用于获得用户输入的任务信息；

任务处理单元702，用于基于多任务处理模型，确定所述任务信息对应的任务响应结果，其中，所述多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同；

结果输出单元703，用于输出所述任务响应结果。

在一种可能的实现方式中，所述多任务处理模型部署在电子设备上；

该结果输出单元包括如下至少一种：

第一结果输出单元，用于向所述电子设备中的输出装置输出所述任务响应结果，以使得所述用户获得所述任务响应结果；

第二结果输出单元，用于向所述电子设备中的目标应用输出所述任务响应结果，以控制所述目标应用按照所述任务响应结果执行任务操作。

在又一种可能的实现方式中，该任务处理单元中采用的多任务处理模型的权重层中的权重系数经过量化处理，所述权重层中的非权重系数未经过量化处理；其中，所述权重层中的权重系数由浮点型数据量化为第一位数的整数型数据。

在又一种可能的实现方式中，该多任务处理模型包括：向量编码模块、结果输出模块以及至少一个特征处理模块，其中，所述至少一个特征处理模块位于所述向量编码模块和结果输出模块之间；

所述向量编码模块中的权重层经过非对称量化处理；

所述特征处理模块和所述结果输出模块中的权重层经过对称量化处理。

在一种可能的实现方式中，该装置中的多任务处理模型通过如下方式得到：

获得初始多任务处理模型和校验数据，所述初始多任务处理模型包括：初始向量编码模块、初始结果输出模块以及至少一个初始特征处理模块；

依次对所述初始向量编码模块中各权重层进行非对称量化处理，得到经过量化处理的向量编码模块；

基于所述校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，得到经过量化处理的各特征处理模块；

基于所述校验数据，依次对所述初始结果输出模块中的各权重层进行对称量化处理，得到经过量化处理的结果输出模块；

组合经过量化处理的向量编码模块、各特征处理模块和结果输出模块，得到经过量化处理的多任务处理模型。

在又一种可能的实现方式中，该任务处理单元，包括：

任务处理子单元，用于基于所述多任务处理模型的各权重层和非权重层对所述任务信息的处理结果，确定所述任务信息的任务响应结果；

该装置还包括：

转换处理单元，用于在任务处理子单元基于所述多任务处理模型的各权重层和非权重层对所述任务信息进行处理的过程中，在所述多任务处理模型的权重层输出处理结果后，通过与所述多任务处理模型关联的模型控制模块获得所述权重层输出的处理结果，将所述权重层的处理结果从浮点型数据转换为第二位数的整数型数据，其中，采用第二位数的整数型数据表示所述权重层的处理结果比采用所述浮点型数据表示所述权重层的处理结果的数据量更小。

在又一种可能的实现方式中，该转换处理单元包括：

转换子单元，用于通过所述模型控制模块确定所述多任务处理模型中当前输出处理结果的目标权重层，如果所述模型控制模块确认所述目标权重层的下一模型层为权重层，将所述目标权重层输出的处理结果从浮点型数据转换为第二位数的整数型数据；

输入子单元，用于基于所述模型控制模块，将采用第二位数的整数型数据表示的处理结果作为目标输入信息，将所述目标输入信息输入到所述目标权重层的下一模型层。

在又一种可能的实现方式中，该任务处理子单元包括：

乘法运算子单元，用于在所述多任务处理模型的权重层获得所述目标输入信息后，分别计算所述权重层中的权重系数以及非权重系数与所述目标输入信息的乘法运算结果；

求和计算子单元，用于确定该权重层中所有权重系数对应的乘法运算结果相加后的第一求和结果，以及所有非权重系数对应的乘法运算结果相加后的第二求和结果；

第一反量化子单元，用于基于第一反量化系数，对所述第一求和结果进行反量化，得到所述权重层中权重系数对应的第一反量化运算结果；

第二反量化子单元，用于基于第二反量化系数，对所述第二求和结果进行反量化，得到所述权重层中非权重系数对应的第二反量化运算结果；

结果确定子单元，用于基于所述权重层的第一反量化运算结果和第二反量化运算结果，确定所述权重层的处理结果。

又一方面，本申请还提供了一种电子设备，如图8所示，其示出了该电子设备的一种组成结构示意图，该电子设备可以为任意类型的电子设备，该电子设备至少包括处理器801和存储器802；

其中，处理器801用于执行如上任意一个实施例中的信息处理方法。

该存储器802用于存储处理器执行操作所需的程序。

可以理解的是，该电子设备还可以包括显示单元803以及输入单元804。

当然，该电子设备还可以具有比图8更多或者更少的部件，对此不加限制。

另一方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任意一个实施例所述的信息处理方法。

本申请还提出了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机程序在电子设备上运行时，用于执行如上任意一个实施例中的信息处理方法。

可以理解的是，在本申请中，说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种信息处理方法，包括：

获得用户输入的任务信息；

基于多任务处理模型，确定所述任务信息对应的任务响应结果；

输出所述任务响应结果；

其中，所述多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同。

2.根据权利要求1所述的信息处理方法，所述多任务处理模型部署在电子设备上；

所述输出所述任务响应结果包括如下至少一项：

向所述电子设备中的输出装置输出所述任务响应结果，以使得所述用户获得所述任务响应结果；

向所述电子设备中的目标应用输出所述任务响应结果，以控制所述目标应用按照所述任务响应结果执行任务操作。

3.根据权利要求1所述的信息处理方法，所述多任务处理模型的权重层中的权重系数经过量化处理，所述权重层中的非权重系数未经过量化处理；

其中，所述权重层中的权重系数由浮点型数据量化为第一位数的整数型数据。

4.根据权利要求1或3所述的信息处理方法，所述多任务处理模型包括：向量编码模块、结果输出模块以及至少一个特征处理模块，其中，所述至少一个特征处理模块位于所述向量编码模块和结果输出模块之间；

所述向量编码模块中的权重层经过非对称量化处理；

所述特征处理模块和所述结果输出模块中的权重层经过对称量化处理。

5.根据权利要求1或3所述的信息处理方法，所述基于多任务处理模型，确定所述任务信息对应的任务响应结果，包括：

基于所述多任务处理模型的各权重层和非权重层对所述任务信息的处理结果，确定所述任务信息的任务响应结果；

其中，在所述多任务处理模型的权重层输出处理结果后，通过与所述多任务处理模型关联的模型控制模块获得所述权重层输出的处理结果，将所述权重层的处理结果从浮点型数据转换为第二位数的整数型数据，其中，采用第二位数的整数型数据表示所述权重层的处理结果比采用所述浮点型数据表示所述权重层的处理结果的数据量更小。

6.根据权利要求5所述的信息处理方法，所述通过与所述多任务处理模型关联的模型控制模块获得所述权重层输出的处理结果，将所述权重层的处理结果从浮点型数据转换为第二位数的整数型数据，包括：

通过所述模型控制模块确定所述多任务处理模型中当前输出处理结果的目标权重层，如果所述模型控制模块确认所述目标权重层的下一模型层为权重层，将所述目标权重层输出的处理结果从浮点型数据转换为第二位数的整数型数据；

基于所述模型控制模块，将采用第二位数的整数型数据表示的处理结果作为目标输入信息，将所述目标输入信息输入到所述目标权重层的下一模型层。

7.根据权利要求6所述的信息处理方法，还包括：

在所述多任务处理模型的权重层获得所述目标输入信息后，分别计算所述权重层中的权重系数以及非权重系数与所述目标输入信息的乘法运算结果；

确定该权重层中所有权重系数对应的乘法运算结果相加后的第一求和结果，以及所有非权重系数对应的乘法运算结果相加后的第二求和结果；

基于第一反量化系数，对所述第一求和结果进行反量化，得到所述权重层中权重系数对应的第一反量化运算结果；

基于第二反量化系数，对所述第二求和结果进行反量化，得到所述权重层中非权重系数对应的第二反量化运算结果；

基于所述权重层的第一反量化运算结果和第二反量化运算结果，确定所述权重层的处理结果。

8.根据权利要求4所述的信息处理方法，所述多任务处理模型通过如下方式得到：

获得初始多任务处理模型和校验数据，所述初始多任务处理模型包括：初始向量编码模块、初始结果输出模块以及至少一个初始特征处理模块；

依次对所述初始向量编码模块中各权重层进行非对称量化处理，得到经过量化处理的向量编码模块；

基于所述校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，得到经过量化处理的各特征处理模块；

基于所述校验数据，依次对所述初始结果输出模块中的各权重层进行对称量化处理，得到经过量化处理的结果输出模块；

组合经过量化处理的向量编码模块、各特征处理模块和结果输出模块，得到经过量化处理的多任务处理模型。

9.根据权利要求8所述的信息处理方法，所述依次对所述初始向量编码模块中各权重层进行非对称量化处理，包括：

依次对所述初始向量编码模块的各权重层中的权重系数进行非对称量化处理；

所述基于所述校验数据，依次对各初始特征处理模块中的各权重层进行对称量化处理，包括：

基于所述校验数据，依次对各初始特征处理模块的各权重层中的各权重系数进行对称量化处理；

所述基于所述校验数据，依次对所述初始结果输出模块中的各权重层进行对称量化处理，包括：

基于所述校验数据，依次对所述初始结果输出模块的各权重层中的各权重系数进行对称量化处理。

10.一种信息处理装置，包括：

任务获得单元，用于获得用户输入的任务信息；

任务处理单元，用于基于多任务处理模型，确定所述任务信息对应的任务响应结果，其中，所述多任务处理模型为各权重层经过量化处理后的模型，且不同权重层对应的量化方式不完全相同；

结果输出单元，用于输出所述任务响应结果。