CN117808043A - 信息处理方法、模型的训练方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了信息处理方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及大模型、大语言模型、Transformer、对话式模型、生成式模型等技术领域。具体实现方案为：利用结果生成模型处理输入信息，得到中间特征和用于响应输入信息的初始输出结果，结果生成模型中集成有目标功能插件，目标功能插件用于评估初始输出结果；利用目标功能插件处理中间特征，得到用于评估初始输出结果的评估结果；以及根据评估结果对初始输出结果进行调整，得到目标输出结果。

Description

信息处理方法、模型的训练方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及大模型、大语言模型、Transformer(编码解码器)、对话式模型、生成式模型等技术领域。具体涉及信息处理方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。

背景技术

人机交互是一种人类与机器进行交互的方式。随着人工智能技术的不断发展，已经实现让机器能够听懂人类输入的信息，理解输入信息中的内在含义，并做出相应的反馈。在这些操作中，语义的准确理解、反馈的迅速程度、以及给予相应的意见或者建议，均成为影响人机交互顺畅的因素。

发明内容

本公开提供了一种信息处理方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种信息处理方法，包括：利用结果生成模型处理输入信息，得到中间特征和用于响应上述输入信息的初始输出结果，其中，上述结果生成模型中集成有目标功能插件，上述目标功能插件用于评估上述初始输出结果；利用上述目标功能插件处理上述中间特征，得到用于评估上述初始输出结果的评估结果；以及根据上述评估结果对上述初始输出结果进行调整，得到目标输出结果。

根据本公开的另一方面，提供了一种深度学习模型的训练方法，包括：利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应上述样本输入信息的样本初始输出结果，其中，上述结果生成模型中集成有目标功能插件，上述目标功能插件用于评估上述样本初始输出结果；利用上述目标功能插件处理上述样本中间特征，得到用于评估上述样本初始输出结果的样本评估结果；根据上述样本评估结果对上述样本初始输出结果进行调整，得到样本目标输出结果；以及基于上述样本目标输出结果和与上述样本输入信息相匹配的输出标签，训练上述深度学习模型，得到经训练的深度学习模型，其中，上述输出标签用于表征与上述样本输入信息相匹配的标注结果。

根据本公开的另一方面，提供了一种信息处理装置，包括：结果处理模块，用于利用结果生成模型处理输入信息，得到中间特征和用于响应上述输入信息的初始输出结果，其中，上述结果生成模型中集成有目标功能插件，上述目标功能插件用于评估上述初始输出结果；评估模块，用于利用上述目标功能插件处理上述中间特征，得到用于评估上述初始输出结果的评估结果；以及调整模块，用于根据上述评估结果对上述初始输出结果进行调整，得到目标输出结果。

根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：样本处理模块，用于利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应上述样本输入信息的样本初始输出结果，其中，上述结果生成模型中集成有目标功能插件，上述目标功能插件用于评估上述样本初始输出结果；样本评估模块，用于利用上述目标功能插件处理上述样本中间特征，得到用于评估上述样本初始输出结果的样本评估结果；样本调整模块，用于根据上述样本评估结果对上述样本初始输出结果进行调整，得到样本目标输出结果；以及训练模块，用于基于上述样本目标输出结果和与上述样本输入信息相匹配的输出标签，训练上述深度学习模型，得到经训练的深度学习模型，其中，上述输出标签用于表征与上述样本输入信息相匹配的标注结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用信息处理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的信息处理方法的流程图；

图3A示意性示出了根据本公开实施例的信息处理方法的示意图；

图3B示意性示出了根据相关示例的信息处理方法的示意图；

图3C示意性示出了根据另一相关示例的信息处理方法的示意图；

图4示意性示出了根据本公开实施例的确定初始输出结果的示意图；

图5示意性示出了根据本公开另一实施例的信息处理方法的示意图；

图6示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；

图7示意性示出了根据本公开实施例的掩码模板的示意图；

图8示意性示出了根据本公开实施例的信息处理装置的框图；

图9示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；以及

图10示意性示出了根据本公开实施例的适于实现信息处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种信息处理方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种信息处理方法，包括：利用结果生成模型处理输入信息，得到中间特征和用于响应输入信息的初始输出结果，其中，结果生成模型中集成有目标功能插件，目标功能插件用于评估初始输出结果；利用目标功能插件处理中间特征，得到用于评估初始输出结果的评估结果；以及根据评估结果对初始输出结果进行调整，得到目标输出结果。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的可以应用信息处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用信息处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的信息处理方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的信息处理方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的信息处理装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的信息处理方法一般也可以由服务器105执行。相应地，本公开实施例所提供的信息处理装置一般可以设置于服务器105中。本公开实施例所提供的信息处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的信息处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，终端设备101、102、103可以获取用户输入至文本框内的输入信息，然后将获取的输入信息发送给服务器105，由服务器105利用结果生成模型处理输入信息，得到中间特征和用于响应输入信息的初始输出结果。利用目标功能插件处理中间特征，得到用于评估初始输出结果的评估结果。根据评估结果对初始输出结果进行调整，得到目标输出结果。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对输入信息进行分析，并得到目标输出结果。服务器105可以将目标输出结果发送给终端设备101、102、103，由终端设备101、102、103反馈给用户。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的信息处理方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，利用结果生成模型处理输入信息，得到中间特征和用于响应输入信息的初始输出结果。

在操作S220，利用目标功能插件处理中间特征，得到用于评估初始输出结果的评估结果。

在操作S230，根据评估结果对初始输出结果进行调整，得到目标输出结果。

在一示例中，结果生成模型可以包括深度学习模型，例如卷积神经网络、循环神经网络或者长短期记忆网络等中的一种或多种，但是并不局限于此，还可以包括大语言模型(Large Languege Model，LLM)，例如GPT(Generative Pre-Trained Transformer，生成式预训练编码解码模型)、ChatGPT(Chat Generative Pre-Trained Transformer，聊天生成式预训练编码解码模型)、GLM(General Language Model，通用语言模型)等中的一种或者多种。

在一示例中，结果生成模型中可以集成有目标功能插件。目标功能插件可以包括多层感知机(MLP，Multi-Layer Perceptron)。但是并不局限于此。目标功能插件还可以包括深度学习模型中除多层感知外的其他深度学习模型与多层感知机的组合。只要是能够用于评估初始输出结果与输入信息之间的匹配度即可。

在一示例中，目标功能插件可以作为结果生成模型的功能组件。目标功能插件可以支持多种模型接口。

在一示例中，根据评估结果对初始输出结果进行调整，得到目标输出结果，可以理解为，基于评估结果，对初始输出结果进行优化，得到目标输出结果。该调整可以包括但不限于筛选、修改、更新、排序等。

在一示例中，中间特征是利用结果生成模型处理输入信息的过程中得到的。因中间特征是基于输入信息生成的，且在生成初始输出结果的过程中得到的，所以中间特征包含与输出信息以及初始输出结果等相关的信息，由此利用中间特征对初始输出结果进行评估，能够准确把控输入信息与目标输出结果之间的适配性。

根据本公开的实施例，因将目标功能插件集成于结果生成模型中，所以能够利用目标功能插件评估结果生成模型输出的初始输出结果，进而能够利用目标功能插件输出的用于评估初始输出结果的评估结果，对初始输出结果进行调整，以提高目标输出结果与输入信息之间的适配性，由此提高在人机交互场景中用户的使用体验。

图3A示意性示出了根据本公开实施例的信息处理方法的示意图。

如图3A所示，可以将输入信息310，例如S1、S2、S3、…、SN，输入至结果生成模型M310，例如LLM中，得到初始输出结320，例如T1、T2、T3、…、TM。并将利用结果生成模型处理输入信息的过程中得到的中间特征330，例如F，输入至目标功能插件M320中，输出评估结果340。根据评估结果340对初始输出结果320进行调整，得到目标输出结果350。

图3B示意性示出了根据相关示例的信息处理方法的示意图。

如图3B所示，可以将输入信息310，输入至结果生成模型M310中，得到初始输出结果320。对初始输出结果320依次进行切词、特征提取处理，得到输出结果处理特征。将输出结果处理特征输入至调整模型M330中，输出目标输出结果360。

图3C示意性示出了根据另一相关示例的信息处理方法的示意图。

如图3C所示，可以将输入信息310输入至结果生成模型M310中，得到初始输出结果320。对初始输出结果320依次进行切词、特征提取处理，得到输出结果处理特征。将输出结果处理特征输入至评估模型M340中，输出评估结果370。根据评估结果370，对初始输出结果320进行调整，得到目标输出结果380。

与利用调整模型的信息处理方法相比，采用利用目标功能插件的信息处理方法，因输入至目标功能插件中的输入数据为利用结果生成模型处理输入信息的过程中得到的中间特征，可以简化中间处理过程，避免对初始输出结果进行切词、特征提取等处理，将算力和存储资源腾挪到结果生成模型内部，由此提高处理效率。

与利用评估模型的信息处理方法相比，采用利用目标功能插件的信息处理方法，因目标功能插件的输入数据是用于评估初始输出结果的评估结果而非目标输出结果，可以简化目标功能插件的网络结构，避免目标功能插件学习大量的输入信息与初始输出结果的相关知识，由此提高处理效率的同时，降低对硬件设备的性能需求。

根据本公开的实施例，结果生成模型包括解码器和输出层，初始输出结果可以包括输出子结果。

根据本公开的实施例，在执行如图2所示的操作S210，利用结果生成模型处理输入信息，得到中间特征可以包括操作：利用解码器处理编码特征和输出子结果，得到当前输出子结果特征。利用输出层处理当前输出子结果特征，得到当前输出子结果。在确定当前输出子结果满足预定终止条件的情况下，基于当前输出子结果特征，得到中间特征。

在一示例中，编码特征可以是利用结果生成模型处理输入信息得到的。可以将输入信息进行预处理，例如切词处理，得到由多个分词组成的词序列。将词序列中的分词按照词表读取为嵌入向量序列。但是并不局限于此。还可以将词序列输入至嵌入层(Embedding层)，得到嵌入向量序列。将嵌入向量序列输入至编码器，得到编码特征。

在一示例中，该解码器Decoder可以指编码解码器(Transformer)中的解码层，但是并不局限于此，还可以指基于Transformer构建的大模型中解码层。

在一示例中，输出子结果可以为当前输出子结果的上一输出子结果。例如，当前输出子结果为Token M，则输出子结果为Token M-1。但是并不局限于此。输出子结果还可以是当前输出子结果的前序输出子结果。例如，当期输出子结果为Token M，则输出子结果为Token 1至Token M-1。只要是将已经输出的结果作为输出子结果即可。

可以将编码特征和输出子结果输入至解码器中，输出解码特征，将解码特征作为当前输出子结果特征。但是并不局限于此。还可以将利用大模型中在解码器与输出层之间的网络层结构处理解码特征后得到的处理特征作为当前输出子结果特征。只要是能够将当前输出子结果特征输入至输出层，得到当前输出子结果的特征即可。

在一示例中，基于当前输出子结果特征，得到中间特征，可以指：将当前输出子结果特征作为中间特征，但是并不局限于此，还可以指：对当前输出子结果特征、编码特征和已输出子结果特征进行融合，得到中间特征。只要是能够涵盖编码特征和与初始输出结果相匹配的特征的中间特征即可。

在一示例中，可以输出层可以指Liner层(线性层)，但是并不局限于此，只要是能够处理当前输出子结果特征，得到当前输出子结果的功能层即可。

根据本公开的实施例，可以在确定当前输出子结果的结果类型满足预定结果类型的情况下，确定当前输出子结果满足预定终止条件。

在一示例中，预定结果类型可以指用于指示终止的结果类型。当前输出子结果可以指当前令牌(Token)或者当前字符。可以将与用于指示终止的结果类型的当前输出子结果相对应的特征作为中间特征，但是并不局限于此，还可以将与任一当前输出子结果相对应的特征作为中间特征。

利用解码器的处理数据的原理，该中间特征融合了与输入信息相对应的编码特征以及与输出子结果相对应的特征。将融合了与输入信息相对应的编码特征以及与输出子结果相对应的特征的中间特征输入至目标功能插件中，能够使得目标功能插件同时学习到输入信息的相关知识的同时，学习到初始输出结果的相关知识，丰富目标功能插件的输入数据的数据量和数据种类，由此提高目标功能插件输出的评估结果的精度。

根据本公开的实施例，结果生成模型包括编码器、解码器和输出层。

根据本公开的实施例，针对如图2所示的操作S210，利用结果生成模型处理输入信息，得到用于响应输入信息的初始输出结果，可以包括：利用编码器处理输入信息，得到编码特征。利用解码器处理编码特征和输出子结果，得到当前输出子结果特征。利用输出层处理当前输出子结果特征，得到当前输出子结果。在确定当前输出子结果满足预定终止条件的情况下，基于当前输出子结果和输出子结果，得到初始输出结果。

在一示例中，该编码器Encoder可以指Transformer中的编码层，但是并不局限于此，还可以指基于Transformer构建的大模型中编码层。

在一示例中，基于当前输出子结果和输出子结果，得到初始输出结果，可以包括：将当前输出子结果和输出子结果进行拼接，得到初始输出结果。但是并不局限于此。还可以包括：将当前输出子结果、输出子结果和预定字符进行拼接，得到初始输出结果。

根据本公开的实施例，采用波束搜索(beam search)的策略进行解码，能够使得初始输出结果的当前输出子结果是基于编码特征和与输出子结果相对应的特征进行解码生成的，提高初始输出结果中多个令牌之间的上下文关联关系的紧密度，提高语义通顺性和连贯性。

图4示意性示出了根据本公开实施例的确定初始输出结果的示意图。

如图4所示，将输入信息410输入至编码器M411中，输出编码特征420。将编码特征420和已经得到的上一输出子结果431，例如TM-1输入至解码器M412中，输出当前输出子结果特征440。将当前输出子结果特征440输入至输出层M413，得到当前输出子结果432。在确定当前输出子结果432满足预定终止条件的情况下，将当前输出子结果TM和已得到的多个输出子结果例如T1、T2、T3、TM-1，作为初始输出结果。

利用本公开实施例提供的信息处理方法，能够利用解码器的波束搜索(beamsearch)的策略进行解码，提高搜索范围。此外，还能够利用目标功能插件对初始输出结果进行调整，进一步优化初始输出结果，降低解码器中生成概率受训练数据分布的影响，提高目标输出结果的可控性。由此利用“任务即插件”的概念，将判别任务作为功能插件集成到结果生成模型内部，在模型输出初始输出结果后，利用目标功能插件同时输出对输入信息和初始输出结果之间匹配度的评估结果，在精简流程、通信及计算开销的同时，提高用户体验。

根据本公开的实施例，输入信息的信息类型可以包括问题类型。问题类型可以指在问答场景中与咨询求助相关的类型。

根据本公开的实施例，针对如图2所示的操作S230，根据评估结果对初始输出结果进行调整，得到目标输出结果，可以包括操作：在确定评估结果用于表征初始输出结果与输入信息满足预定匹配条件的情况下，利用与问题类型相匹配的预定输出结果更新初始输出结果，得到目标输出结果。

在一示例中，评估结果可以指初始输出结果与输入信息之间是否匹配的标签，例如评估结果可以指匹配度。

在一示例中，预定匹配条件可以指初始输出结果与输入信息之间的匹配度不满足匹配度阈值。可以在初始输出结果与输入信息之间的匹配度小于或者等于匹配度阈值的情况下，确定初始输出结果与输入信息满足预定匹配条件。反之，则确定初始输出结果与输入信息不满足预定匹配条件。

在一示例中，在确定初始输出结果与输入信息不满足预定匹配条件的情况下，可以基于初始输出结果，得到目标输出结果。例如，将初始输出结果作为目标输出结果。

在一示例中，利用与问题类型相匹配的预定输出结果更新初始输出结果，得到目标输出结果，可以包括：将与问题类型相匹配的预定输出结果作为目标输出结果。

例如，确定初始输出结果与输入信息满足预定匹配条件，则确定初始输出结果与输入信息之间不适配，直接将初始输出结果作为目标输出结果进行输出，会造成用户体验感下降。可以利用预先配置的、与问题类型相匹配的预定输出结果，例如“我没有理解您的问题，请您再次描述，谢谢”作为目标输出结果，能够提高人机交互场景中，交互的顺畅性和合理性。

根据本公开的实施例，输入信息的信息类型可以包括检索类型。初始输出结果可以包括多个输出子结果。

根据本公开的实施例，针对如图2所示的操作S230，根据评估结果对初始输出结果进行调整，得到目标输出结果，可以包括：基于评估结果，确定多个输出子结果的排序结果。基于排序结果，对多个输出子结果进行排序，得到目标输出结果。

根据本公开的实施例，评估结果可以包括与多个输出子结果一一对应的多个评估子结果，每个评估子结果表征与其对应的输出子结果与输入信息之间的匹配度。可以基于多个评估子结果，确定多个输出子结果的排序结果。例如可以按照多个评估子结果的匹配度高低，确定多个输出子结果的排序结果。还可以基于排序结果，对多个输出子结果进行排序或者筛选，得到目标输出结果。

例如，基于排序结果，将输出子结果1、输出子结果2和输出子结果3进行排序，得到输出子结果2、输出子结果3和输出子结果1的排序结果。基于该排序结果，将输出子结果2、输出子结果3和输出子结果1作为目标输出结果，并反馈给用户。

还例如，基于排序结果和评估结果，对多个输出子结果进行筛选，将低于匹配度阈值的输出子结果删除，将筛选后的多个输出子结果进行排序，得到输出子结果2和输出子结果3。将输出子结果2和输出子结果3作为目标输出结果，并反馈给用户。

根据本公开的实施例，利用评估结果对多个输出子结果进行排序，可以使得在检索场景或者是推荐场景中，与用户的输入信息相匹配的输出子结果排序优先，进而能够使得与用户的输入信息相匹配的输出子结果优先被用户查阅，提高用户体验，提高用户的查阅效率，节省用户时间。

根据本公开的另一实施例，针对如图2所示的操作S230，根据评估结果对初始输出结果进行调整，得到目标输出结果，可以包括：基于评价结果，确定多个输出子结果的排序结果。从预定反馈数据库中确定与多个输出子结果相匹配的多个目标反馈数据。基于排序结果，对多个目标反馈数据进行排序，得到目标输出结果。

在一示例中，输出子结果可以用于表征与输入信息相匹配的关键词或者标签。预定反馈数据库中的反馈数据可以是预先收集的数据。反馈数据可以包括包含URL(UniformResource Locator，统一资源定位符)的链接的网页，但是并不局限于此，还可以包括动态图像文件、语音文件或者其他反馈数据。可以预先建立输出子结果与预定反馈数据库中的反馈数据之间的关联关系。在确定多个输出子结果的情况下，基于关联关系，从预定反馈数据库中确定与多个输出子结果相匹配的多个目标反馈数据。

在一示例中，多个输出子结果的排序结果可以与多个目标反馈数据的排序结果相同或类似。

例如，输出子结果1与反馈数据A、B相匹配，输出子结果2与反馈数据C相匹配，输出子结果3与反馈数据D、E相匹配。可以基于输出子结果1、2、3，从预定反馈数据库中确定目标反馈数据A、B、C、D、E。

输出子结果1、2、3的排序结果包括：输出子结果2、输出子结果3和输出子结果1。则多个目标反馈数据的排序结果可以包括：目标反馈数据C、目标反馈数据D、目标反馈数据E、目标反馈数据A、目标反馈数据B。

根据本公开的实施例，将初始输出结果作为中间结果，利用该中间结果从预定反馈数据库中确定目标反馈数据，能够利用目标反馈数据向用户反馈与输入信息相匹配的结果，能够提高目标输出结果的丰富性和有用性，进而提高用户粘性。

根据本公开的实施例，可以配置多个功能插件。多个功能插件与多个信息类型进行匹配。信息类型可以包括以下至少一项：问题类型、检索类型、推荐类型、翻译类型。可以根据输入信息的信息类型，从多个功能插件中确定目标功能插件。

例如，利用问题类型的样本输入信息和与样本输入信息相匹配的标签，作为训练样本，训练与问题类型相匹配的功能插件，使得该功能插件具有评估用于响应问题类型的输入信息的初始输出结果的能力。

图5示意性示出了根据本公开另一实施例的信息处理方法的示意图。

如图5所示，可以将输入信息510输入至结果生成模型M510中，得到中间特征520和初始输出结果530。确定输入信息的信息类型。基于输入信息的信息类型，从多个功能插件中确定目标功能插件M520。将中间特征520输入至目标功能插件M520中，得到评估结果540。根据评估结果540调整初始输出结果530，得到目标输出结果550。

根据本公开的实施例，可以通过输入信息的信息类型，从多个功能插件中确定目标功能插件。但是并不局限于此。还可以通过意图识别结果，从多个功能插件中确定目标功能插件。例如，在执行如图2所示的操作S220之前，结果生成方法还可以包括：对中间特征进行意图识别，得到意图识别结果。从多个功能插件中确定与意图识别结果相匹配的目标功能插件。

在一示例中，意图识别结果可以表征用户的意图或者需求。例如，用户想要知道某个食物的热量，则输入信息包括“**食物热量是多少？”可以对中间特征进行意图识别，得到意图识别结果，该意图识别结果用于表征用户的输入信息的信息类型为问答类型，可以从多个功能插件中确定与意图识别结果相匹配的目标功能插件。但是并不局限于此。还可以预先建立功能插件与意图识别结果之间的关联关系，基于关联关系，从多个功能插件中确定与意图识别结果相匹配的目标功能插件。

根据本公开的实施例，利用多个功能插件来适配不同的应用场景，与用户意图识别结果相适配，能够提高人机交互的智能性与针对性，避免采用通用的功能插件而导致的针对性效果差的问题。

根据本公开的实施例，还可以基于操作指令，在执行如图2所示的操作S220之前，结果生成方法还可以包括：基于操作指令，从多个功能插件中确定与操作指令相匹配的目标功能插件。

在一示例中，操作指令可以指在人机交互界面，基于用户对目标界面控件的操作而生成的指令。

例如，该操作指令可以指用户在人机交互界面的输入框例如文本框输入输入信息后，对目标界面控件例如“查询”控件进行点击操作后生成的操作指令。但是并不局限于此。只要是能够与输入信息相关联的且能表征用户意图的操作指令即可。

根据本公开的实施例，利用操作指令，可以快速获悉用户意图，提高处理效率的同时，提高确定目标功能插件的精度。

根据本公开的实施例，在执行如图2所示的操作S210之前，结果生成方法还可以包括：响应于针对目标界面控件的操作指令，从输入框内获取输入信息。

可以响应于针对目标界面空间的操作指令，从输入框内获取输入信息。实现完全自动化的效果。该输入框内的输入信息，可以是用户输入的文本信息，但是并不局限于此，还可以是用户通过语音形式输入的语音输入信息。

根据本公开的实施例，操作指令和输入信息还可以通过如下方式获取。

例如，响应于接收到语音输入信息，对语音输入信息进行文本转换，得到文本信息。在输入框内显示文本信息。并将该文本信息作为输入信息。

还例如，响应于接收到语音确认信息，生成针对目标界面控件的操作指令。

在一示例中，在与用户通过语音进行人机交互的情况下，可以通过对用户的语音输入信息进行转换和语义识别，能够对语音输入信息进行文本转换，得到文本信息。解放用户的双手的同时，在输入框内显示文本信息，以便用户确认识别到的信息是否正确，提高人机交互的流畅性。

在一示例中，可以响应于接收到语音确认信息例如“确认”或者“是的”的信息后，将语音确认信息转换为针对目标界面控件的操作指令，使得语音人机交互与现有的手动确定操作指令相适配，提高通用性。

根据本公开的实施例，可以将结果生成模型和目标功能插件作为如下图6所示的深度学习模型，利用如图6所示的深度学习模型的训练方法进行训练，以便将经训练的深度学习模型应用于如图2所示的信息处理方法中，提高信息处理方法的目标输出结果的精度。

图6示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。

如图6所示，该方法包括操作S610～S640。

在操作S610，利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应样本输入信息的样本初始输出结果。

在操作S620，利用目标功能插件处理样本中间特征，得到用于评估样本初始输出结果的样本评估结果。

在操作S630，根据样本评估结果对样本初始输出结果进行调整，得到样本目标输出结果。

在操作S640，基于样本目标输出结果和与样本输入信息相匹配的输出标签，训练深度学习模型，得到经训练的深度学习模型。

在一示例中，结果生成模型中集成有目标功能插件，目标功能插件用于评估样本初始输出结果。

在一示例中，输出标签用于表征与样本输入信息相匹配的标注结果。

在一示例中，如图6所示的样本输入信息、样本中间特征、样本初始输出结果、样本评估结果、样本目标输出结果与如图2所示的输入信息、中间特征、初始输出结果、评估结果、目标输出结果的释义以及处理方式相同或类似，仅是为了体现所处实施例不同。同理，在深度学习模型的训练方法中涉及的名词与信息处理方法中涉及的名词，若区别仅在于“样本”，则释义以及处理方式相同或类似。在此不再赘述。

根据本公开的实施例，样本中间特征是利用结果生成模型处理样本输入信息的过程中得到的。因样本中间特征是基于样本输入信息生成的，且在生成样本初始输出结果的过程中得到的，所以样本中间特征包含与样本输出信息以及样本初始输出结果等相关的信息，由此利用样本中间特征对样本初始输出结果进行评估，能够准确把控样本输入信息与样本目标输出结果之间的适配性。利用样本目标输出结果和与样本输入信息相匹配的输出标签，训练深度学习模型，能够提高训练效率的同时，提高经训练的深度学习模型的精度。

根据本公开的实施例，结果生成模型包括解码器和输出层。

根据本公开的实施例，针对如图6所示的操作S610，利用结果生成模型处理样本输入信息，得到样本中间特征，可以包括：利用解码器处理样本编码特征和样本输出子结果，得到样本当前输出子结果特征。样本编码特征是利用结果生成模型处理样本输入信息得到的。利用输出层处理样本当前输出子结果特征，得到样本当前输出子结果。在确定样本当前输出子结果满足预定终止条件的情况下，基于样本当前输出子结果特征，得到样本中间特征。

利用解码器的处理数据的原理，该样本中间特征融合了与样本输入信息相对应的样本编码特征以及与样本输出子结果相对应的特征。将融合了与样本输入信息相对应的样本编码特征以及与样本输出子结果相对应的特征的样本中间特征输入至目标功能插件中，能够使得目标功能插件同时学习到样本输入信息的相关知识的同时，学习到样本初始输出结果的相关知识，丰富目标功能插件的样本输入数据的数据量和数据种类，由此提高目标功能插件输出的样本评估结果的精度。

根据本公开的实施例，结果生成模型包括编码器、解码器和输出层。

根据本公开的实施例，针对如图6所示的操作S610，利用结果生成模型处理样本输入信息，得到用于响应样本输入信息的样本初始输出结果，包括：利用编码器处理样本输入信息，得到样本编码特征。利用解码器处理样本编码特征和样本输出子结果，得到样本当前输出子结果特征。利用输出层处理样本当前输出子结果特征，得到样本当前输出子结果。在确定样本当前输出子结果满足预定终止条件的情况下，基于样本当前输出子结果和样本输出子结果，得到样本初始输出结果。

根据本公开的实施例，采用波束搜索(beam search)的策略进行解码，能够使得样本初始输出结果的样本当前输出子结果是基于样本编码特征和与样本输出子结果相对应的特征进行解码生成的，提高样本初始输出结果中多个令牌之间的上下文关联关系的紧密度，提高样本初始输出结果的语义通顺性和连贯性，进而提高利用对样本初始输出结果进行调整后得到的样本目标初始输出结果的精度。

根据本公开的实施例，深度学习模型的训练方法还可以包括：在确定样本当前输出子结果的结果类型满足预定结果类型的情况下，确定样本当前输出子结果满足预定终止条件。

根据本公开的实施例，根据样本评估结果对样本初始输出结果进行调整，得到样本目标输出结果，可以包括：在确定样本评估结果表征样本初始输出结果与样本输入信息满足预定匹配条件的情况下，利用样本预定输出结果更新样本初始输出结果，得到样本目标输出结果。在确定样本评估结果表征样本初始输出结果与样本输入信息不满足预定匹配条件的情况下，基于样本初始输出结果，得到样本目标输出结果。

根据本公开的实施例，针对如图6所示的操作S640，基于样本输出结果和与样本输入信息相匹配的输出标签，训练深度学习模型，得到经训练的深度学习模型，可以包括：基于样本目标输出结果和与样本输入信息相匹配的输出标签，得到第一损失值。基于样本评估结果和与样本输入信息相匹配的评估标签，得到第二损失值。评估标签用于表征与样本输入信息相匹配的标注评估结果。基于第一损失值和第二损失值，训练深度学习模型，得到经训练的深度学习模型。

在一示例中，可以构建第一损失函数和第二损失函数。利用第一损失函数处理样本目标输出结果和与样本输入信息相匹配的输出标签，得到第一损失值。利用第二损失函数处理样本评估结果和与样本输入信息相匹配的评估标签，得到第二损失值。加权求和第一损失值和第二损失值，得到目标损失值。基于目标损失值，调整深度学习模型的模型参数，得到经训练的深度学习模型。

在一示例中，第一损失函数和第二损失函数的函数类型可以相同，也可以不同。例如，可以是交叉熵损失函数，但是并不局限于此，只要是用于模型训练的损失函数即可。

利用第一损失值和第二损失值，训练深度学习模型，得到经训练的深度学习模型，能够训练集成有目标功能插件的结果生成模型，提高训练精度的同时，提高训练效率。

根据本公开的实施例，利用解码器处理样本编码特征和样本输出子结果，得到样本当前输出子结果特征，可以包括：将样本编码特征、样本输出子结果和掩码矩阵输入至解码器中，得到样本当前输出子结果特征。

在一示例中，掩码矩阵可以为用于掩码信息的矩阵，也可以称为注意力掩码矩阵(Attention Mask)。

在一示例中，解码器中的注意力机制层可以通过如下公式(1)，处理样本编码特征、样本输出子结果和掩码矩阵，得到样本当前输出子结果特征。

Q表示查询向量，K表示键向量，V表示值向量，d_k表示系数。

在一示例中，可以基于样本编码特征和样本输出子结果得到公式(1)中的Q、K和V。

在一示例中，可以基于如图7所示的掩码模板来生成掩码矩阵。

图7示意性示出了根据本公开实施例的掩码模板的示意图。

如图7所示，掩码模板的横列K表示键向量，掩码模板的纵列Q表示查询向量。令牌S1、S2、S3表示样本输入信息。令牌T1、T2、T3、T4表示与样本输入信息相匹配的输出标签。令牌gMask、START和gEND分别表示标识符。

如图7所示，空白方框表示内容已知，可视化。带叉方框表示内容被掩码，不可视。

可以基于该掩码模板，生成掩码矩阵。利用样本输入信息、掩码矩阵和与样本输入信息相匹配的输出标签，执行如公式(1)的处理，对深度学习模型进行训练，得到训练后的深度学习模型。

在并行训练的过程中，能够利用掩码矩阵保证解码器得到样本当前输出子结果之前的样本输出子结果以及样本编码特征，且不能得到样本当前输出子结果以及样本当前输出子结果之后的输出子结果，由此提高训练精度的同时，提高训练效率。

图8示意性示出了根据本公开实施例的信息处理装置的框图。

如图8所示，信息处理装置800，包括：结果处理模块810、评估模块820和调整模块830。

结果处理模块810，用于利用结果生成模型处理输入信息，得到中间特征和用于响应输入信息的初始输出结果。结果生成模型中集成有目标功能插件，目标功能插件用于评估初始输出结果。

评估模块820，用于利用目标功能插件处理中间特征，得到用于评估初始输出结果的评估结果。

调整模块830，用于根据评估结果对初始输出结果进行调整，得到目标输出结果。

根据本公开的实施例，结果生成模型包括解码器和输出层，初始输出结果包括输出子结果。

根据本公开的实施例，结果处理模块包括：第一解码子模块、第一输出子模块、第一确定子模块。

第一解码子模块，用于利用解码器处理编码特征和输出子结果，得到当前输出子结果特征。编码特征是利用结果生成模型处理输入信息得到的。

第一输出子模块，用于利用输出层处理当前输出子结果特征，得到当前输出子结果。

第一确定子模块，用于在确定当前输出子结果满足预定终止条件的情况下，基于当前输出子结果特征，得到中间特征。

根据本公开的实施例，结果生成模型包括编码器、解码器和输出层，初始输出结果包括输出子结果。

根据本公开的实施例，结果处理模块包括：编码子模块、第二解码子模块、第二输出子模块、第二确定子模块。

编码子模块，用于利用编码器处理输入信息，得到编码特征。

第二解码子模块，用于利用解码器处理编码特征和输出子结果，得到当前输出子结果特征。

第二输出子模块，用于利用输出层处理当前输出子结果特征，得到当前输出子结果。

第二确定子模块，用于在确定当前输出子结果满足预定终止条件的情况下，基于当前输出子结果和输出子结果，得到初始输出结果。

根据本公开的实施例，信息处理装置还包括：确定模块。

确定模块，用于在确定当前输出子结果的结果类型满足预定结果类型的情况下，确定当前输出子结果满足预定终止条件。

根据本公开的实施例，输入信息的信息类型包括问题类型。

根据本公开的实施例，调整模块包括：更新子模块。

更新子模块，用于在确定评估结果表征初始输出结果与输入信息满足预定匹配条件的情况下，利用与问题类型相匹配的预定输出结果更新初始输出结果，得到目标输出结果。

根据本公开的实施例，输入信息的信息类型包括检索类型，初始输出结果包括多个输出子结果。

根据本公开的实施例，调整模块包括：第一排序子模块、第二排序子模块。

第一排序子模块，用于基于评估结果，确定多个输出子结果的排序结果。

第二排序子模块，用于基于排序结果，对多个输出子结果进行排序，得到目标输出结果。

根据本公开的实施例，输入信息的信息类型包括检索类型，初始输出结果包括多个输出子结果；

根据本公开的实施例，调整模块包括：第三排序子模块、反馈确定子模块、第四排序子模块。

第三排序子模块，用于基于评价结果，确定多个输出子结果的排序结果。

反馈确定子模块，用于从预定反馈数据库中确定与多个输出子结果相匹配的多个目标反馈数据。

第四排序子模块，用于基于排序结果，对多个目标反馈数据进行排序，得到目标输出结果。

根据本公开的实施例，信息处理装置还包括：意图识别模块、第一插件确定模块。

意图识别模块，用于对中间特征进行意图识别，得到意图识别结果。

第一插件确定模块，用于从多个功能插件中确定与意图识别结果相匹配的目标功能插件。

根据本公开的实施例，信息处理装置还包括：指令响应模块。

指令响应模块，用于响应于针对目标界面控件的操作指令，从输入框内获取输入信息。

根据本公开的实施例，信息处理装置还包括：第二插件确定模块

第二插件确定模块，用于基于操作指令，从多个功能插件中确定与操作指令相匹配的目标功能插件。

根据本公开的实施例，信息处理装置还包括：语音响应模块、显示模块、确定响应模块。

语音响应模块，用于响应于接收到语音输入信息，对语音输入信息进行文本转换，得到文本信息。

显示模块，用于在输入框内显示文本信息。

确定响应模块，用于响应于接收到语音确认信息，生成针对目标界面控件的操作指令。

图9示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。

如图9所示，深度学习模型的训练装置900，包括：样本处理模块910、样本评估模块920、样本调整模块930以及训练模块940。

样本处理模块910，用于利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应样本输入信息的样本初始输出结果。结果生成模型中集成有目标功能插件，目标功能插件用于评估样本初始输出结果。

样本评估模块920，用于利用目标功能插件处理样本中间特征，得到用于评估样本初始输出结果的样本评估结果。

样本调整模块930，用于根据样本评估结果对样本初始输出结果进行调整，得到样本目标输出结果。

训练模块940，用于基于样本目标输出结果和与样本输入信息相匹配的输出标签，训练深度学习模型，得到经训练的深度学习模型。输出标签用于表征与样本输入信息相匹配的标注结果。

根据本公开的实施例，结果生成模型包括解码器和输出层，样本初始输出结果包括样本输出子结果。

根据本公开的实施例，样本处理模块包括：第一样本解码子模块、第一样本输出子模块、第一样本确定子模块。

第一样本解码子模块，用于利用解码器处理样本编码特征和样本输出子结果，得到样本当前输出子结果特征。样本编码特征是利用结果生成模型处理样本输入信息得到的。

第一样本输出子模块，用于利用输出层处理样本当前输出子结果特征，得到样本当前输出子结果。

第一样本确定子模块，用于在确定样本当前输出子结果满足预定终止条件的情况下，基于样本当前输出子结果特征，得到样本中间特征。

根据本公开的实施例，结果生成模型包括编码器、解码器和输出层，样本初始输出结果包括样本输出子结果。

根据本公开的实施例，样本处理模块包括：样本编码子模块、第二样本解码子模块、第二样本输出子模块、第二样本确定子模块。

样本编码子模块，用于利用编码器处理样本输入信息，得到样本编码特征。

第二样本解码子模块，用于利用解码器处理样本编码特征和样本输出子结果，得到样本当前输出子结果特征。

第二样本输出子模块，用于利用输出层处理样本当前输出子结果特征，得到样本当前输出子结果。

第二样本确定子模块，用于在确定样本当前输出子结果满足预定终止条件的情况下，基于样本当前输出子结果和样本输出子结果，得到样本初始输出结果。

根据本公开的实施例，训练模块包括：第一损失确定子模块、第二损失确定子模块以及训练子模块。

第一损失确定子模块，用于基于样本目标输出结果和与样本输入信息相匹配的输出标签，得到第一损失值。

第二损失确定子模块，用于基于样本评估结果和与样本输入信息相匹配的评估标签，得到第二损失值。评估标签用于表征与样本输入信息相匹配的标注评估结果。

训练子模块，用于基于第一损失值和第二损失值，训练深度学习模型，得到经训练的深度学习模型。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至输入/输出(I/O)接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如信息处理方法。例如，在一些实施例中，信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (33)

1.一种信息处理方法，包括：

利用结果生成模型处理输入信息，得到中间特征和用于响应所述输入信息的初始输出结果，其中，所述结果生成模型中集成有目标功能插件，所述目标功能插件用于评估所述初始输出结果；

利用所述目标功能插件处理所述中间特征，得到用于评估所述初始输出结果的评估结果；以及

根据所述评估结果对所述初始输出结果进行调整，得到目标输出结果。

2.根据权利要求1所述的方法，其中，所述结果生成模型包括解码器和输出层，所述初始输出结果包括输出子结果，

所述利用结果生成模型处理输入信息，得到中间特征，包括：

利用所述解码器处理编码特征和所述输出子结果，得到当前输出子结果特征，其中，所述编码特征是利用所述结果生成模型处理所述输入信息得到的；

利用所述输出层处理所述当前输出子结果特征，得到当前输出子结果；以及

在确定所述当前输出子结果满足预定终止条件的情况下，基于所述当前输出子结果特征，得到所述中间特征。

3.根据权利要求1或2所述的方法，其中，所述结果生成模型包括编码器、解码器和输出层，所述初始输出结果包括输出子结果，

所述利用结果生成模型处理输入信息，得到用于响应所述输入信息的初始输出结果，包括：

利用所述编码器处理所述输入信息，得到编码特征；

利用所述解码器处理所述编码特征和所述输出子结果，得到当前输出子结果特征；

利用所述输出层处理所述当前输出子结果特征，得到当前输出子结果；以及

在确定所述当前输出子结果满足预定终止条件的情况下，基于所述当前输出子结果和所述输出子结果，得到所述初始输出结果。

4.根据权利要求2或3所述的方法，还包括：

在确定所述当前输出子结果的结果类型满足预定结果类型的情况下，确定所述当前输出子结果满足所述预定终止条件。

5.根据权利要求1至4中任一项所述的方法，其中，所述输入信息的信息类型包括问题类型；

所述根据所述评估结果对所述初始输出结果进行调整，得到目标输出结果，包括：

在确定所述评估结果表征所述初始输出结果与所述输入信息满足预定匹配条件的情况下，利用与所述问题类型相匹配的预定输出结果更新所述初始输出结果，得到所述目标输出结果。

6.根据权利要求1至4中任一项所述的方法，其中，所述输入信息的信息类型包括检索类型，所述初始输出结果包括多个输出子结果；

所述根据所述评估结果对所述初始输出结果进行调整，得到目标输出结果，包括：

基于所述评估结果，确定所述多个输出子结果的排序结果；以及

基于所述排序结果，对所述多个输出子结果进行排序，得到所述目标输出结果。

7.根据权利要求1至4中任一项所述的方法，其中，所述输入信息的信息类型包括检索类型，所述初始输出结果包括多个输出子结果；

所述根据所述评估结果对所述初始输出结果进行调整，得到目标输出结果，包括：

基于所述评价结果，确定所述多个输出子结果的排序结果；

从预定反馈数据库中确定与所述多个输出子结果相匹配的多个目标反馈数据；以及

基于所述排序结果，对所述多个目标反馈数据进行排序，得到目标输出结果。

8.根据权利要求1至7中任一项所述的方法，还包括：

对所述中间特征进行意图识别，得到意图识别结果；以及

从多个功能插件中确定与所述意图识别结果相匹配的所述目标功能插件。

9.根据权利要求1至7中任一项所述的方法，还包括：

响应于针对目标界面控件的操作指令，从输入框内获取所述输入信息。

10.根据权利要求9所述的方法，还包括：

基于所述操作指令，从多个功能插件中确定与所述操作指令相匹配的所述目标功能插件。

11.根据权利要求9所述的方法，还包括：

响应于接收到语音输入信息，对所述语音输入信息进行文本转换，得到文本信息；

在所述输入框内显示所述文本信息；以及

响应于接收到语音确认信息，生成针对所述目标界面控件的所述操作指令。

12.一种深度学习模型的训练方法，包括：

利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应所述样本输入信息的样本初始输出结果，其中，所述结果生成模型中集成有目标功能插件，所述目标功能插件用于评估所述样本初始输出结果；

利用所述目标功能插件处理所述样本中间特征，得到用于评估所述样本初始输出结果的样本评估结果；

根据所述样本评估结果对所述样本初始输出结果进行调整，得到样本目标输出结果；以及

基于所述样本目标输出结果和与所述样本输入信息相匹配的输出标签，训练所述深度学习模型，得到经训练的深度学习模型，其中，所述输出标签用于表征与所述样本输入信息相匹配的标注结果。

13.根据权利要求12所述的方法，其中，所述结果生成模型包括解码器和输出层，所述样本初始输出结果包括样本输出子结果，

所述利用结果生成模型处理样本输入信息，得到样本中间特征，包括：

利用所述解码器处理样本编码特征和所述样本输出子结果，得到样本当前输出子结果特征，其中，所述样本编码特征是利用所述结果生成模型处理所述样本输入信息得到的；

利用所述输出层处理所述样本当前输出子结果特征，得到样本当前输出子结果；以及

在确定所述样本当前输出子结果满足预定终止条件的情况下，基于所述样本当前输出子结果特征，得到所述样本中间特征。

14.根据权利要求12或13所述的方法，其中，所述结果生成模型包括编码器、解码器和输出层，所述样本初始输出结果包括样本输出子结果，

所述利用结果生成模型处理样本输入信息，得到用于响应所述样本输入信息的样本初始输出结果，包括：

利用所述编码器处理所述样本输入信息，得到样本编码特征；

利用所述解码器处理所述样本编码特征和所述样本输出子结果，得到样本当前输出子结果特征；

利用所述输出层处理所述样本当前输出子结果特征，得到样本当前输出子结果；以及

在确定所述样本当前输出子结果满足预定终止条件的情况下，基于所述样本当前输出子结果和所述样本输出子结果，得到所述样本初始输出结果。

15.根据权利要求12所述的方法，其中，所述基于所述样本目标输出结果和与所述样本输入信息相匹配的输出标签，训练所述深度学习模型，得到经训练的深度学习模型，包括：

基于所述样本目标输出结果和与所述样本输入信息相匹配的输出标签，得到第一损失值；

基于所述样本评估结果和与所述样本输入信息相匹配的评估标签，得到第二损失值，其中，所述评估标签用于表征与所述样本输入信息相匹配的标注评估结果；以及

基于所述第一损失值和所述第二损失值，训练所述深度学习模型，得到经训练的深度学习模型。

16.一种信息处理装置，包括：

结果处理模块，用于利用结果生成模型处理输入信息，得到中间特征和用于响应所述输入信息的初始输出结果，其中，所述结果生成模型中集成有目标功能插件，所述目标功能插件用于评估所述初始输出结果；

评估模块，用于利用所述目标功能插件处理所述中间特征，得到用于评估所述初始输出结果的评估结果；以及

调整模块，用于根据所述评估结果对所述初始输出结果进行调整，得到目标输出结果。

17.根据权利要求16所述的装置，其中，所述结果生成模型包括解码器和输出层，所述初始输出结果包括输出子结果，

所述结果处理模块包括：

第一解码子模块，用于利用所述解码器处理编码特征和所述输出子结果，得到当前输出子结果特征，其中，所述编码特征是利用所述结果生成模型处理所述输入信息得到的；

第一输出子模块，用于利用所述输出层处理所述当前输出子结果特征，得到当前输出子结果；以及

第一确定子模块，用于在确定所述当前输出子结果满足预定终止条件的情况下，基于所述当前输出子结果特征，得到所述中间特征。

18.根据权利要求16或17所述的装置，其中，所述结果生成模型包括编码器、解码器和输出层，所述初始输出结果包括输出子结果，

所述结果处理模块包括：

编码子模块，用于利用所述编码器处理所述输入信息，得到编码特征；

第二解码子模块，用于利用所述解码器处理所述编码特征和所述输出子结果，得到当前输出子结果特征；

第二输出子模块，用于利用所述输出层处理所述当前输出子结果特征，得到当前输出子结果；以及

第二确定子模块，用于在确定所述当前输出子结果满足预定终止条件的情况下，基于所述当前输出子结果和所述输出子结果，得到所述初始输出结果。

19.根据权利要求17或18所述的装置，还包括：

确定模块，用于在确定所述当前输出子结果的结果类型满足预定结果类型的情况下，确定所述当前输出子结果满足所述预定终止条件。

20.根据权利要求16至19中任一项所述的装置，其中，所述输入信息的信息类型包括问题类型；

所述调整模块包括：

更新子模块，用于在确定所述评估结果表征所述初始输出结果与所述输入信息满足预定匹配条件的情况下，利用与所述问题类型相匹配的预定输出结果更新所述初始输出结果，得到所述目标输出结果。

21.根据权利要求16至19中任一项所述的装置，其中，所述输入信息的信息类型包括检索类型，所述初始输出结果包括多个输出子结果；

所述调整模块包括：

第一排序子模块，用于基于所述评估结果，确定所述多个输出子结果的排序结果；以及

第二排序子模块，用于基于所述排序结果，对所述多个输出子结果进行排序，得到所述目标输出结果。

22.根据权利要求16至19中任一项所述的装置，其中，所述输入信息的信息类型包括检索类型，所述初始输出结果包括多个输出子结果；

所述调整模块包括：

第三排序子模块，用于基于所述评价结果，确定所述多个输出子结果的排序结果；

反馈确定子模块，用于从预定反馈数据库中确定与所述多个输出子结果相匹配的多个目标反馈数据；以及

第四排序子模块，用于基于所述排序结果，对所述多个目标反馈数据进行排序，得到目标输出结果。

23.根据权利要求16至22中任一项所述的装置，还包括：

意图识别模块，用于对所述中间特征进行意图识别，得到意图识别结果；以及

第一插件确定模块，用于从多个功能插件中确定与所述意图识别结果相匹配的所述目标功能插件。

24.根据权利要求16至22中任一项所述的装置，还包括：

指令响应模块，用于响应于针对目标界面控件的操作指令，从输入框内获取所述输入信息。

25.根据权利要求14所述的装置，还包括：

第二插件确定模块，用于基于所述操作指令，从多个功能插件中确定与所述操作指令相匹配的所述目标功能插件。

26.根据权利要求14所述的装置，还包括：

语音响应模块，用于响应于接收到语音输入信息，对所述语音输入信息进行文本转换，得到文本信息；

显示模块，用于在所述输入框内显示所述文本信息；以及

确定响应模块，用于响应于接收到语音确认信息，生成针对所述目标界面控件的所述操作指令。

27.一种深度学习模型的训练装置，包括：

样本处理模块，用于利用结果生成模型处理样本输入信息，得到样本中间特征和用于响应所述样本输入信息的样本初始输出结果，其中，所述结果生成模型中集成有目标功能插件，所述目标功能插件用于评估所述样本初始输出结果；

样本评估模块，用于利用所述目标功能插件处理所述样本中间特征，得到用于评估所述样本初始输出结果的样本评估结果；

样本调整模块，用于根据所述样本评估结果对所述样本初始输出结果进行调整，得到样本目标输出结果；以及

训练模块，用于基于所述样本目标输出结果和与所述样本输入信息相匹配的输出标签，训练所述深度学习模型，得到经训练的深度学习模型，其中，所述输出标签用于表征与所述样本输入信息相匹配的标注结果。

28.根据权利要求27所述的装置，其中，所述结果生成模型包括解码器和输出层，所述样本初始输出结果包括样本输出子结果，

所述样本处理模块包括：

第一样本解码子模块，用于利用所述解码器处理样本编码特征和所述样本输出子结果，得到样本当前输出子结果特征，其中，所述样本编码特征是利用所述结果生成模型处理所述样本输入信息得到的；

第一样本输出子模块，用于利用所述输出层处理所述样本当前输出子结果特征，得到样本当前输出子结果；以及

第一样本确定子模块，用于在确定所述样本当前输出子结果满足预定终止条件的情况下，基于所述样本当前输出子结果特征，得到所述样本中间特征。

29.根据权利要求27或28所述的装置，其中，所述结果生成模型包括编码器、解码器和输出层，所述样本初始输出结果包括样本输出子结果，

所述样本处理模块包括：

样本编码子模块，用于利用所述编码器处理所述样本输入信息，得到样本编码特征；

第二样本解码子模块，用于利用所述解码器处理所述样本编码特征和所述样本输出子结果，得到样本当前输出子结果特征；

第二样本输出子模块，用于利用所述输出层处理所述样本当前输出子结果特征，得到样本当前输出子结果；以及

第二样本确定子模块，用于在确定所述样本当前输出子结果满足预定终止条件的情况下，基于所述样本当前输出子结果和所述样本输出子结果，得到所述样本初始输出结果。

30.根据权利要求27所述的装置，其中，所述训练模块包括：

第一损失确定子模块，用于基于所述样本目标输出结果和与所述样本输入信息相匹配的输出标签，得到第一损失值；

第二损失确定子模块，用于基于所述样本评估结果和与所述样本输入信息相匹配的评估标签，得到第二损失值，其中，所述评估标签用于表征与所述样本输入信息相匹配的标注评估结果；以及

训练子模块，用于基于所述第一损失值和所述第二损失值，训练所述深度学习模型，得到经训练的深度学习模型。

31.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至15中任一项所述的方法。

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至15中任一项所述的方法。

33.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至15中任一项所述的方法。