CN114547244A - 用于确定信息的方法和装置 - Google Patents

Abstract

本申请公开了用于确定信息的方法和装置，涉及计算机技术领域。该方法包括：获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。采用该方法可以提高确定答复信息的准确性。

Description

用于确定信息的方法和装置

技术领域

本公开涉及计算机技术领域，具体涉及用于确定信息的方法和装置。

背景技术

随着人工智能技术的发展，越来越多的领域采用人工智能模型实现人机对话系统，例如，智能客服系统、智能聊天系统以及自助问答系统等。现有的人机对话系统通常基于历史对话中的整体上文信息的语义确定答复/回复信息。

然而，基于整体上文信息的语义确定答复/回复信息的方法，存在确定信息不准确的问题。

发明内容

本公开提供了一种用于确定信息的方法、装置、电子设备以及计算机可读存储介质。

根据本公开的第一方面，提供了一种用于确定信息的方法，包括：获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息，包括：获取每一个候选答复信息的词向量；针对每一个候选答复信息，基于该候选答复信息的词向量、与其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与每一个其他候选答复信息之间的差异信息；将该候选答复信息与全部其他答复信息之间的差异信息，确定为该候选答复信息与其他候选答复信息之间的总差异信息。

在一些实施例中，将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息，包括：获取整体上文信息的词向量；将总差异信息与整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

在一些实施例中，该方法包括：将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，其中，目标上文信息为整体上文信息中的、与候选答复信息属于同一对话方的信息；根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息，包括：根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，总差异信息基于该候选答复信息的词向量、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定，将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，包括：获取目标上文信息的词向量；将总差异信息与目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息。

在一些实施例中，根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息，包括：针对每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；根据每一个候选答复信息的得分，从多个候选答复信息中确定目标答复信息。

根据本公开的第二方面，提供了一种用于确定信息的装置，包括：获取单元，被配置为获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；第一确定单元，被配置为针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；第二确定单元，被配置为将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；第三确定单元，被配置为根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，第一确定单元，包括：第一获取模块，被配置为获取每一个候选答复信息的词向量；第一确定模块，被配置为针对每一个候选答复信息，基于该候选答复信息的词向量、与其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与每一个其他候选答复信息之间的差异信息；第二确定模块，被配置为将该候选答复信息与全部其他答复信息之间的差异信息，确定为该候选答复信息与其他候选答复信息之间的总差异信息。

在一些实施例中，第二确定单元，包括：第二获取模块，被配置为获取整体上文信息的词向量；第三确定模块，被配置为将总差异信息与整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

在一些实施例中，装置包括：第四确定单元，被配置为将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，其中，目标上文信息为整体上文信息中的、与候选答复信息属于同一对话方的信息；第三确定单元，包括：第四确定模块，被配置为根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，总差异信息基于该候选答复信息的词向量、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定，第四确定单元，包括：第三获取模块，被配置为获取目标上文信息的词向量；第五确定模块，被配置为将总差异信息与目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息。

在一些实施例中，第四确定模块，包括：评分模块，被配置为针对每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；选择模块，被配置为根据每一个候选答复信息的得分，从多个候选答复信息中确定目标答复信息。

根据本公开的第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器：存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的用于确定信息的方法。

根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面提供的用于确定信息的方法。

本公开提供的用于确定信息的方法、装置，包括：获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息，可以提高确定目标答复信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于确定信息的方法的一个实施例的流程图；

图3是根据本申请的用于确定信息的方法的另一个实施例的流程图；

图4是根据本申请的用于确定信息的方法的应用场景的流程图；

图5是根据本申请的用于确定信息的方法中的应用场景中所采用的模型的训练装置示意图；

图6是根据本申请的用于确定信息的装置的一个实施例的结构示意图；

图7是用来实现本申请实施例的用于确定信息的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本申请的用于确定信息的方法或用于确定信息的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是用户终端设备，其上可以安装有各种客户端应用，例如图像类应用、视频类应用、购物类应用、聊天类应用、搜索类应用、金融类应用等。

终端设备101、102、103可以是具有显示屏并且支持接收服务器消息的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、电子播放器、膝上型便携计算机和台式计算机等等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以获取整体上文信息以及用于答复整体上文信息的多个候选答复信息后，针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息与多个候选答复信息之间的总差异信息，将该总差异信息与整体上文信息之间的一致性信息确定为该候选答复信息与整体上文信息之间的第一一致性信息，并根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。

需要说明的是，本公开的实施例所提供的用于确定信息的方法可以由服务器105执行，相应地，用于确定信息的装置可以设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本公开的用于确定信息的方法的一个实施例的流程200，包括以下步骤：

步骤201，获取整体上文信息以及用于答复整体上文信息的多个候选答复信息。

在本实施例中，用于确定信息的方法的执行主体(例如图1所示的服务器105)可以获取整体上文信息以及用于答复该整体上文信息的多个候选答复信息。其中，整体上文信息指是对话中的历史信息，如智能客服系统中的历史问答消息，智能聊天系统中的历史对话记录等。答复信息是指用于答复该整体上文信息中最后一条信息、或者全部信息的答复信息。

步骤202，针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息。

在本实施例中，针对多个候选答复信息中的每一个候选答复信息，可以确定出该条候选答复信息、与多个候选答复信息中除该候选答复信息外的其他候选答复信息之间的总差异信息。例如，若候选答复信息A为“今天天气晴朗”，候选答复信息B为“今天天气晴朗、湿度适中”，候选答复信息C为“今天天气晴朗、适合出行”，候选答复信息D为“今天天气晴朗，适合出行，适合去爬山”，则候选答复信息D、与多个候选答复信息中除候选答复信息外的其他候选答复信息之间的总差异信息为“适合出行、适合去爬山”。

步骤203，将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

在本实施例中，可以基于该候选答复信息、与除该候选答复信息之外的其他候选答复信息之间的总差异信息，确定该候选答复信息与整体上文信息之间的一致性信息，为便于区分，该一致性信息可以称之为第一一致性信息，该一致性信息用于表征总差异信息所表达的内容、与整体上文信息所表达的内容之间的逻辑一致性程度/相似性程度，或者总差异信息的语法/语义、与整体上文信息的语法/语义之间的逻辑一致性程度/相似性程度等。

步骤204，根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。

在本实施例中，可以根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定出目标答复信息，其中，与任意答复信息对应的第一一致性信息是指：该任意候选答复信息与其他候选答复信息之间的总差异信息、与整体上文信息之间的一致性信息。

本实施例提供的用于确定信息的方法，获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息，可以增强所确定的目标答复信息与历史对话记录中的整体上文信息在逻辑以及内容上的一致性，从而提高推送信息的准确性。

可选地，针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息，包括：获取每一个候选答复信息的词向量；针对每一个候选答复信息，基于该候选答复信息的词向量、与其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与每一个其他候选答复信息之间的差异信息；将该候选答复信息与全部其他答复信息之间的差异信息，确定为该候选答复信息与其他候选答复信息之间的总差异信息。

在本实施例中，可以基于预先训练好的语义解析模型、或预先训练好的语言表征模型等获取每一个候选答复信息的词向量，以针对每一个候选答复信息，基于该候选答复信息的词向量、与多个候选答复中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与每一个候选答复信息之间的差异信息，该差异信息可以是二者信息所表达的语义之间的差异内容、或者二者信息所表现的逻辑之间的差异信息，之后，将该候选答复信息与每一个其他候选答复信息之间的差异信息进行汇总/集合，得到该候选答复信息与全部的其他答复信息之间的总差异信息，也即，该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息。

本实施例基于候选答复信息的词向量之间的相似度，确定候选答复信息之间的差异信息，可以提高确定差异信息的准确性以及效率。

可选地，将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息，包括：获取整体上文信息的词向量；将总差异信息与整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

在本实施例中，可以基于预先训练好的语义解析模型、或预先训练好的语言表征模型等获取整体上文信息的词向量，之后基于整体上文信息的词向量、以及该候选答复信息与其他候选答复信息之间的总差异信息，确定该候选答复信息与整体上文信息之间的第一一致性信息。可以理解，由于总差异信息是基于候选答复信息的词向量之间的差异所确定，所以总差异信息的数据格式为词向量形式，基于整体上文信息的词向量与总差异信息可以直接进行一致性对比，也即，相似性/相同性对比，以获得该候选信息与整体上文信息之间的一致性信息。

本实施例基于整体上文信息的词向量与总差异信息确定该候选答复信息与整体上文信息之间的第一一致性信息，可以提高确定第一一致性信息的准确性以及效率。

继续参考图3，示出了根据本公开的用于确定信息的方法的另一个实施例的流程300，包括以下步骤：

步骤301，获取整体上文信息以及用于答复整体上文信息的多个候选答复信息。

步骤302，针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息。

步骤303，将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

本实施例中对步骤301、步骤302、步骤303的描述与步骤201、步骤202、步骤203的描述一致，此处不再赘述。

步骤304，将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，其中，目标上文信息为整体上文信息中的、与候选答复信息属于同一对话方的信息。

在本实施例中，可以将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的一致性信息，为便于区分，该一致性信息可以称之为第二一致性信息，该一致性信息用于表征总差异信息所表达的内容、与目标上文信息所表达的内容之间的逻辑一致性，或者总差异信息的语法/语义、与目标上文信息的语法/语义之间的逻辑一致性等，目标上文信息是指：整体上文信息中、候选答复信息的对话方所生成的对话记录，例如，整体上文信息为A、B二者之间的对话(其中，A可以是真人用户，用于提出问题，B可以是机器人客服，用于回复用户的问题)，若当前对话进程处于B需要答复的阶段，即，当前需要由B生成消息，则候选答复信息的对话方为B，因此，目标上文信息为整体上文信息中所有来自B的消息。

步骤305，根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息。

在本实施例中，可以根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定出目标答复信息，其中，与任意答复信息对应的第一一致性信息是指：该任意候选答复信息与其他候选答复信息之间的总差异信息、与整体上文信息之间的一致性信息；与任意答复信息对应的第二一致性信息是指：该任意候选答复信息与其他候选答复信息之间的总差异信息、与目标上文信息之间的一致性信息。

本实施例提供的用于确定信息的方法，相比于图2实施例描述的方法，增加了获取该候选答复信息与目标上文信息之间的第二一致性信息的步骤，以及在确定目标答复信息时还基于第二一致性信息，可以增强所确定的候选答复信息与历史对话记录中的目标上文信息在逻辑以及内容上的一致性，即增强候选答复信息对话方自身提供的信息的前后一致性，从而提高确定回复信息的准确性。

可选地，总差异信息基于该候选答复信息的词向量、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定，将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，包括：获取目标上文信息的词向量；将总差异信息与目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息。

在本实施例中，可以基于预先训练好的语义解析模型、或预先训练好的语言表征模型等获取目标上文信息的词向量，之后基于目标上文信息的词向量、以及该候选答复信息与其他候选答复信息之间的总差异信息，确定该候选答复信息与目标上文信息之间的第二一致性信息。可以理解，由于总差异信息是基于该候选答复信息的词向量、与其他候选答复信息的词向量之间的差异所确定，所以总差异信息的数据格式为词向量形式，基于目标上文信息的词向量与总差异信息可以直接进行一致性对比，也即，相似性/相同性对比，以获得该候选信息与目标上文信息之间的一致性信息。

本实施例基于目标上文信息的词向量与总差异信息确定该候选答复信息与整体上文信息之间的第二一致性信息，可以提高确定第二一致性信息的准确性以及效率。

可选地，根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息，包括：针对每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；根据每一个候选答复信息的得分，从多个候选答复信息中确定目标答复信息。

在本实施例中，针对每一个候选答复信息，可以采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与整体上文信息的语义之间的第三一致性、，确定该候选答复信息的得分，具体地，使该候选答复信息的得分与上文语义相关性(上文语义相关性是指：该候选答复信息的语义与整体上文信息之间的语义之间的相关性程度/一致性程度)呈正比、与第一一致性信息呈正比(第一一致性程度越高的候选答复信息的得分越高)、与第二一致性信息呈正比(第二一致性程度越高的候选答复信息的得分越高)，在确定出每一个候选答复信息的得分后，将得分最高的候选答复信息确定为目标答复信息。

本实施例中，将上文语义相关性越大、第一一致性程度越高以及第二一致性程度越高的候选答复信息确定为目标答复信息，可以提高确定目标答复信息的准确性。

在一些应用场景中，如图4所示，用于确定信息的方法包括：

第一步，将历史对话/整体上文信息、以及用于答复该整体上文信息的多个候选答复信息输入BERT(Bidirectional Encoder Representations from Transformer，基于转换器的双向编码表征)模型中，以获得BERT模型输出的整体上文信息的词向量，以及多个候选答复信息中的每一个候选答复信息的词向量。

具体包括：获取(U；r_i)，其中U＝{u₁，...，u_N}表示整体上文信息，

代表第i句上文语句，

代表第i句整体上文信息中的第N个词语，

代表第i个候选答复信息，

代表第i句候选答复信息中的第N个词语，将整体上文信息U以及每个候选答复信息r_i连接后，输入预先训练的BERT模型中，并获得BERT模型输出的整体上文信息的词向量以及候选答复信息的词向量：

其中，BERT(·)返回BERT模型的最后一层输出。<；>代表分号前后两个序列的串联/拼接，H^U代表整体上文信息U的词向量，

代表候选答复信息r_i的词向量。另外，基于BERT模型还可以获得整体上文信息的语义信息的总向量

第二步，在获得整体上文信息的词向量以及候选答复信息的词向量后，基于二者进行细粒度回复对比。

具体包括：首先，针对每一个候选答复信息，计算整体上文信息的词向量H^U与该候选答复信息的词向量

之间的词级注意力，并得到二者之间的相似矩阵：

其中，

其中，⊙代表对两个矩阵之间进行元素乘法。

是r_i中第m个词语的向量表示，

是模型参数。

表示r_i的第m个单词和r_j的第n个单词之间的相似性。

其次，基于上述相似矩阵

得到r_i与r_j之间的差异信息，r_i与r_j的对比信息定义为：

其中，

表示代表r_i与r_j之间相似的部分，

表示r_i与r_j之间不同的部分，即，r_i与r_j之间的差异信息。

最后，在获取到当前r_i与多个候选答复信息中的每一个r_j之间的差异信息后，综合上述差异信息，得到r_i与其他所有候选答复信息的差异化表示

即总差异信息：

其中，

是计算式的中间变量；[·]代表拼接操作，即将[]中的序列进行拼接；σ(·)代表狄拉克δ函数；W₂、W₃、b₂代表模型参数。

第三步，进行整体上文逻辑的一致性推理：基于r_i与其他所有候选答复信息的差异化表示

确定该候选答复信息r_i与整体上文信息(具体为词向量H^U)之间的一致性信息

(即，上文中所称的第一一致性信息)。

具体包括：

H^i_h＝Relu(A^i_hH^UW₇)

E^h_i＝MaxPolling(H^h_i)

E^i_h＝MaxPolling(H^i_h)

g^hi＝σ(E^h_iW₈+E^i_hW₉+b₄)

其中W₄、W₅、W₆、W₇、W₈、W₉、b₄是模型参数；A^h_i和A^i_h是全部整体上文信息U与候选答复信息r_i之间的单词级别的注意力矩阵，它们关注不同的视角，即，求取两种数据所采用的注意力模型关注的信息不同，求取A^h_i的所采用的的注意力模型关注的是与回复信息相关的整体上文信息，求取A^i_h所采用的注意力模型关注的是与整体上文信息相关的回复信息。MaxPooling代表最大池操作，SoftMax(·)代表一种归一化指数函数，Relu(·)代表一种线性整流函数；H^h_i是回复感知的上文表示，H^i_h是上文感知的回复表示；g^hi表示将H^h_i和H^i_h基于门机制融合后得到的门机制值。

第四步，对话方整体信息一致性增强：基于r_i与其他所有候选答复信息的差异化表示

确定该候选答复信息r_i与目标上文信息(具体为词向量H^S)之间的一致性信息

(即，上文中所称的第二一致性信息)，其中，目标上文信息是指该候选答复信息所属对话方所给出的整体上文信息(例如，候选答复信息为用户A需要进行的对话信息，则目标上文信息是指整体上文信息中，所有用户A发出的信息)

H^i_s＝Relu(A^i_hH^UW₁₃)

其中，A^s_i和A^i_s是目标上文信息(即，对话方自身整体上文信息)与候选答复信息r_i之间的单词级别的注意力矩阵，它们关注不同的视角，即，求取两种数据所采用的注意力模型关注的信息不同，求取A^s_i所采用的注意力模型关注的是目标上文信息，求取A^i_s所采用的注意力模型关注的是与目标上文信息相关的回复信息(答复信息)；标记T代表矩阵的转置；H^s_i代表回复感知的说话人表示，是整体上文信息的向量表示，这个向量表示与回复信息有关；H^i_s代表说话人感知的回复表示，是回复的向量表示，这个向量与目标上文信息相关；W₁₀、W₁₁、W₁₂、W₁₃是模型参数。

之后，可以确定候选答复信息r_i与目标上文信息之间的一致性信息

E^s_i＝MaxPolling(H^s_1)

E^i_s＝MaxPolling(H^i_s)

g^si＝σ(E^s_iW₁₄+E^i_sW₁₅+b₅)

其中，W₁₄、W₁₅、b₅、b₆是模型参数；g^si表示将H^s_i和H^i_s基于门机制融合后得到的门机制值。

第五步，首先，将整体上文信息的语义的总向量

该候选答复信息r_i与整体上文信息之间的一致性信息

该候选答复信息r_i与目标上文信息之间的一致性信息

该三者数据进行拼接，以获得该候选答复信息r_i的推理信息Hⁱ：

其次，基于推理信息，预测候选答复信息r_i的得分P(r_i|U，R)为

其中，W₁₆和b₆是模型参数，集合M是多个候选答复信息中除该候选答复信息r_i之外的候选答复信息的标识；R代表候选答复信息的集合。

在该应用场景中，上述模型参数可以基于模型训练得到，用于训练模型的系统可以如图5所示，训练模型的步骤包括：获取样本对话数据，其中包括对话历史以及候选回复，对样本对话数据进行过滤，以过滤掉不完整数据以及冗余数据，从而获得训练数据；将训练数据输入知识转移预测器以获得每条训练数据的词向量，将经过知识转移预测器处理后的训练数据输入知识感知生成器以获得知识感知信息(如上述第一一致性信息、第二一致性信息)，基于知识感知信息确定出目标答复信息。该模型的损失函数可以定义为：

其中λ是超参数，θ是所有可训练参数，N是数据集中训练数据的大小，

是实际答复信息。基于损失函数对模型进行优化，当损失函数的损失值满足预设阈值后，可以确认模型训练完成，基于训练完成的模型可以获得模型参数。

在该应用场景中，用于确定目标答复信息的系统的结构可以包括：

上下文编码模块：给定整体上文信息和当前候选答复信息，使用BERT模型对输入的信息做编码处理，获得给定整体上文信息与当前候选答复信息的单词级别的词向量表示，以及获得整体上文信息的语义表示以及候选答复信息的语义表示。

细粒度对比模块：给定整体上文信息和候选答复信息的词向量，通过计算当前候选答复信息与其他候选的相似性矩阵，可以获得当前候选答复信息与其他候选答复信息之间的总差异信息。然后利用双相匹配机制(即，获得H^h_i与H^i_h的过程)，将整体上文词向量与上述总差异信息从正反两个方向(即，计算回复相关的上文表示、和与上文相关的回复表示这两个方向)分别进行比较，获得回复感知的上文表示和上文感知的回复表示，并通过门机制将二者结合，获得整体上文与当前候选答复信息之间的第一一致性信息。

利用另一个双相匹配机制(即，获得H^s_i与H^i_s的过程)，将说话人的上文词向量与上述总差异信息进行对比，获得回复感知的说话人上文表示和说话人感知的回复表示，并通过门机制将二者结合，获得说话人上文与当前候选答复信息之间的第二一致性信息。

预测模块：给定整体上文信息与当前候选答复信息的语义表示、整体上文信息与候选答复信息之间的第一一致性信息、说话人整体上文信息(即，目标上文信息)与当前候选答复信息之间的第二一致性信息，通过将三者进行拼接输入到一个softmax网络中，以此获得候选回复的最终得分。模型的训练目标是最大化正确回复的概率值。

该应用场景中，用于确定信息的方法的一个具体示例为：

对话历史信息是“A：已经六点半了，我们现在开始准备晚饭吧？B：但是我不想做饭了，我每天都做饭太累了。A：我们出去吃吧？在第三大道上新开了一家中式餐厅。小明昨天去了，说非常好吃。B：真的吗？他们都有什么类型的食物？你知道的，我不能吃辣。A：别担心，这个厨师是广东人。我知道广东菜是你最喜欢的菜品之一。B：太棒了，你知道怎么去吗？A:我不知道在哪，我只知道在第三大道上。别担心，我觉得我们可以找到的。B:但是我不想走路，外面太热了。A:那要不让小明接我们过去，我们可以请他吃饭。B：好主意”。

候选答复信息包括以下选项：“1)既然四川菜是你最喜欢的菜品，为什么我们不下了班就过去呢？2)好的，我知道饭店在哪。3)好的，走吧！4)好的，放学后我们可以去吃你最喜欢的四川菜。”

以选项1)为例，将整体上文信息与选项1)进行拼接，使用BERT模型，获得每个单词的向量表示，并获得整个语义信息的同维度向量表示。

对比选项1)与选项2)的差别是[四川菜是你最喜欢的菜品，我们下班去吃]；选项1)与选项3)的差别是[四川菜是你最喜欢的菜品]；选项1)与选项4)的差别是[下班过去，放学后]。然后将差异性的内容进行整合，获得选项1)与全部其他选项之间的总差异信息[四川菜是你最喜欢的菜品，我们下班去吃]。将该总差异信息与整体上文信息进行匹配度计算，发现四川菜和广东菜并不匹配，文中也没有下班的词语，因此选项1)在整体上文一致性方面得分会相对较低(第一一致性信息所包含的一致性程度差)。最后将差异性的内容与说话人A的历史上文进行匹配度计算，发现说话人A曾说过对方最喜欢的广东菜等信息，因此会加强这类信息与差异性内容的比较，发现四川菜和广东菜并不匹配，因此选项1)的说话人上文一致性得分也相对较低(第二一致性信息所包含的一致性程度差)。

同上，对比选项2)与选项1)3)4)的差异化内容，并计算匹配得分，由于“我知道饭店在哪”与原文A曾说过“不知道在哪但是相信可以找到”相矛盾，因此匹配度得分较低(选项的语义与整体上文的语义之间的一致性差)。对比选项3)与选项1)2)4)，由于没有矛盾信息，因此相对分数较高。对比选项4)与选项1)2)3)，并计算匹配得分，由于“最喜欢四川菜”与原文A曾说过“你最喜欢的广东菜”相矛盾，因此匹配得分较低。最终将四个选项得分进行排序，确定选项3)是目标答复信息。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种用于确定信息的装置的一个实施例，该装置实施例与图2和图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的用于确定信息的装置，包括：获取单元601、第一确定单元602、第二确定单元603、第三确定单元604。其中，获取单元，被配置为获取整体上文信息以及用于答复整体上文信息的多个候选答复信息；第一确定单元，被配置为针对多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；第二确定单元，被配置为将总差异信息与整体上文信息之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息；第三确定单元，被配置为根据每一个候选答复信息对应的第一一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，第一确定单元，包括：第一获取模块，被配置为获取每一个候选答复信息的词向量；第一确定模块，被配置为针对每一个候选答复信息，基于该候选答复信息的词向量、与其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与每一个其他候选答复信息之间的差异信息；第二确定模块，被配置为将该候选答复信息与全部其他答复信息之间的差异信息，确定为该候选答复信息与其他候选答复信息之间的总差异信息。

在一些实施例中，第二确定单元，包括：第二获取模块，被配置为获取整体上文信息的词向量；第三确定模块，被配置为将总差异信息与整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与整体上文信息之间的第一一致性信息。

在一些实施例中，装置包括：第四确定单元，被配置为将总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息，其中，目标上文信息为整体上文信息中的、与候选答复信息属于同一对话方的信息；第三确定单元，包括：第四确定模块，被配置为根据每一个候选答复信息对应的第一一致性信息与第二一致性信息，从多个候选答复信息中确定目标答复信息。

在一些实施例中，总差异信息基于该候选答复信息的词向量、与多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定，第四确定单元，包括：第三获取模块，被配置为获取目标上文信息的词向量；第五确定模块，被配置为将总差异信息与目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与目标上文信息之间的第二一致性信息。

在一些实施例中，第四确定模块，包括：评分模块，被配置为针对每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；选择模块，被配置为根据每一个候选答复信息的得分，从多个候选答复信息中确定目标答复信息。

上述装置600中的各单元与参考图2和图3描述的方法中的步骤相对应。由此上文针对用于确定信息的方法描述的操作、特征及所能达到的技术效果同样适用于装置600及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的用于确定信息的方法的电子设备700的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，该存储器存储有可由至少一个处理器执行的指令，以使该至少一个处理器执行本申请所提供的用于确定信息的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于确定信息的方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于确定信息的方法对应的程序指令/模块(例如，附图6所示的第获取单元601、第一确定单元602、第二确定单元603、第三确定单元604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于确定信息的方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于提取视频片段的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至用于提取视频片段的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于确定信息的方法的电子设备还可以包括：输入装置703、输出装置704以及总线705。处理器701、存储器702、输入装置703和输出装置704可以通过总线705或者其他方式连接，图7中以通过总线705连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与用于提取视频片段的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种用于确定信息的方法，包括：

获取整体上文信息以及用于答复所述整体上文信息的多个候选答复信息；

针对所述多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与所述多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；

将所述总差异信息与所述整体上文信息之间的一致性信息，确定为该候选答复信息与所述整体上文信息之间的第一一致性信息；

根据所述每一个候选答复信息对应的第一一致性信息，从所述多个候选答复信息中确定目标答复信息。

2.根据权利要求1所述的方法，其中，所述针对所述多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与所述多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息，包括：

获取所述每一个候选答复信息的词向量；

针对所述每一个候选答复信息，基于该候选答复信息的词向量、与所述其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与所述每一个其他候选答复信息之间的差异信息；

将该候选答复信息与全部所述其他答复信息之间的差异信息，确定为该候选答复信息与所述其他候选答复信息之间的总差异信息。

3.根据权利要求2所述的方法，其中，所述将所述总差异信息与所述整体上文信息之间的一致性信息，确定为该候选答复信息与所述整体上文信息之间的第一一致性信息，包括：

获取所述整体上文信息的词向量；

将所述总差异信息与所述整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与所述整体上文信息之间的第一一致性信息。

4.根据权利要求1所述的方法，其中，所述方法还包括：

将所述总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与所述目标上文信息之间的第二一致性信息，其中，所述目标上文信息为所述整体上文信息中的、与所述候选答复信息属于同一对话方的信息；

所述根据所述每一个候选答复信息对应的第一一致性信息，从所述多个候选答复信息中确定目标答复信息，包括：

根据所述每一个候选答复信息对应的第一一致性信息与第二一致性信息，从所述多个候选答复信息中确定所述目标答复信息。

5.根据权利要求4所述的方法，其中，所述总差异信息基于该候选答复信息的词向量、与所述多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定；

所述将所述总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与所述目标上文信息之间的第二一致性信息，包括：

获取所述目标上文信息的词向量；

将所述总差异信息与所述目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与所述目标上文信息之间的第二一致性信息。

6.根据权利要求4所述的方法，其中，所述根据所述每一个候选答复信息对应的第一一致性信息与第二一致性信息，从所述多个候选答复信息中确定所述目标答复信息，包括：

针对所述每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与所述整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；

根据每一个候选答复信息的得分，从所述多个候选答复信息中确定所述目标答复信息。

7.一种用于确定信息的装置，包括：

获取单元，被配置为获取整体上文信息以及用于答复所述整体上文信息的多个候选答复信息；

第一确定单元，被配置为针对所述多个候选答复信息中的每一个候选答复信息，确定该候选答复信息、与所述多个候选答复信息中除该候选答复信息之外的其他候选答复信息之间的总差异信息；

第二确定单元，被配置为将所述总差异信息与所述整体上文信息之间的一致性信息，确定为该候选答复信息与所述整体上文信息之间的第一一致性信息；

第三确定单元，被配置为根据所述每一个候选答复信息对应的第一一致性信息，从所述多个候选答复信息中确定目标答复信息。

8.根据权利要求7所述的装置，其中，所述第一确定单元，包括：

第一获取模块，被配置为获取所述每一个候选答复信息的词向量；

第一确定模块，被配置为针对所述每一个候选答复信息，基于该候选答复信息的词向量、与所述其他候选答复信息中的每一个其他候选答复信息的词向量之间的相似度，确定该候选答复信息与所述每一个其他候选答复信息之间的差异信息；

第二确定模块，被配置为将该候选答复信息与全部所述其他答复信息之间的差异信息，确定为该候选答复信息与所述其他候选答复信息之间的总差异信息。

9.根据权利要求7所述的装置，其中，所述第二确定单元，包括：

第二获取模块，被配置为获取所述整体上文信息的词向量；

第三确定模块，被配置为将所述总差异信息与所述整体上文信息的词向量之间的一致性信息，确定为该候选答复信息与所述整体上文信息之间的第一一致性信息。

10.根据权利要求7所述的装置，其中，所述装置包括：

第四确定单元，被配置为将所述总差异信息与目标上文信息之间的一致性信息，确定为该候选答复信息与所述目标上文信息之间的第二一致性信息，其中，所述目标上文信息为所述整体上文信息中的、与所述候选答复信息属于同一对话方的信息；

所述第三确定单元，包括：

第四确定模块，被配置为根据所述每一个候选答复信息对应的第一一致性信息与第二一致性信息，从所述多个候选答复信息中确定所述目标答复信息。

11.根据权利要求10所述的装置，其中，所述总差异信息基于该候选答复信息的词向量、与所述多个候选答复信息中除该候选答复信息之外的其他候选答复信息的词向量之间的相似度确定，所述第四确定单元，包括：

第三获取模块，被配置为获取所述目标上文信息的词向量；

第五确定模块，被配置为将所述总差异信息与所述目标上文信息的词向量之间的一致性信息，确定为该候选答复信息与所述目标上文信息之间的第二一致性信息。

12.根据权利要求10所述的装置，其中，所述第四确定模块，包括：

评分模块，被配置为针对所述每一个候选答复信息，采用该候选答复信息对应的第一一致性信息、该候选答复信息对应的第二一致性信息、以及该候选答复信息的语义与所述整体上文信息的语义之间的第三一致性信息，确定该候选答复信息的得分；

选择模块，被配置为根据每一个候选答复信息的得分，从所述多个候选答复信息中确定所述目标答复信息。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images