CN115759113A - 识别对话信息中的句子语义的方法及装置 - Google Patents

Abstract

本申请实施例提供一种识别对话信息中的句子语义的方法及装置，包括：提供一段对话信息，所述对话信息中包括多个句子；获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中，输出对应所述句子的所述对话信息的段落划分信息；将所述句子的特征信息输入第二神经网络模型中，输出所述句子的表达方式信息；将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。本申请在识别对话信息中的句子语义时，提高了识别准确率。

Description

识别对话信息中的句子语义的方法及装置

技术领域

本申请涉及人工智能技术领域，特别涉及一种识别对话信息中的句子语义的方法及装置。

背景技术

在对文本中的句子进行语义理解时，可以应用人工智能技术。随着计算机网络技术的发展，越来越多的商务平台采用即时通讯(IM)方式与客户端进行对话沟通，了解客户端需求，为客户端提供更好的商务服务。在与客户进行对话沟通中，有时是人工回复的，有时是商务平台的智能设备自动回复的。在这种情况下，就需要对对话过程中的句子的语义进行识别，据此语义执行对应的操作或者回复相关信息。目前，识别对话过程中的句子语义时，采用的方法为：预先训练得到神经网络模型，从句子中提取出句子的特征信息，输入训练好的神经网络模型中处理，输出句子的语义信息。在这里，神经网络模型是采用基于自然语言处理(NLP)技术的神经网络进行训练得到的。

可以看出，虽然在对对话中的句子进行语义识别时，应用到了神经网络模型处理，但是在具体处理时，是基于单个句子维度对单个句子进行语义理解，句子之间在语义理解过程中没有相关性。另外，神经网络模型在处理句子的特征信息时的关注点是对句子的本身内容的语义理解，而对句子的语义理解的其他因素影响则没有考虑。因此，这种对句子的单维度的语义理解的方案，会造成句子的语义理解不准确的问题。

发明内容

有鉴于此，本申请实施例提供一种识别对话信息中的句子语义的方法及装置，能够在识别对话信息中的句子语义时，提高句子语义的识别准确率。

本申请的一个实施例中，提供一种识别对话信息中的句子语义的方法，所述方法包括：

提供一段对话信息，所述对话信息中包括多个句子；

获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；

将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；

将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

在上述方法中，所述第一神经网络模型是训练得到的，所述第一神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息，及在所述对话信息样本中的所述句子样本的上下文句子样本的特征信息输入所述第一神经网络模型中进行对应句子的对话信息的段落划分训练，基于输出的对应所述句子样本的所述对话信息样本的段落划分信息，调整所述第一神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第一神经网络模型输出的对应所述句子样本的所述对话信息样本的段落划分信息的正确率符合设置的第一正确率阈值。

在上述方法中，所述第二神经网络模型是训练得到的，所述第二神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息输入所述第二神经网络模型中进行句子的表达方式的训练，基于输出的所述句子样本的表达方式信息，调整所述第二神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第二神经网络模型输出的所述句子的表达方式信息的正确率符合设置的第二正确率阈值。

在上述方法中，所述第三神经网络模型是训练得到的，所述第三神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本、对应所述句子样本的所述对话信息样本的段落划分信息、以及所述句子样本的表达方式信息；

将所述句子样本的特征信息、对应所述句子样本的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息，输入所述第三神经网络模型中进行句子的语义识别训练，基于输出的所述句子样本的语义识别结果，调整所述第三神经网络模型中的参数，选取另一句子样本，采用所述句子样本的特征信息、对应所述句子的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息继续训练，直到所述第三神经网络模型输出的所述句子样本的语义识别结果的正确率符合设置的第三正确率阈值。

在上述方法中，所述输出所述句子的表达方式信息包括：

输出所述句子的表达方式为问询式表达方式、回答式表达方式、确认式表达方式或建议式表达方式。

在上述方法中，所述进行所述句子的语义识别，输出所述句子的语义识别结果包括：

获取在所述对话信息中的，所述句子的至少一个上文句子；

基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果。

在上述方法中，所述基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果为：

针对每一个所述上文句子，获取得到所述上文句子的权重；

根据所述上文句子的权重，将对应所述上文句子的所述对话信息的段落划分信息合并到对应所述句子的所述对话信息的段落划分信息中，将所述上文句子的表达方式信息合并到所述句子的表达方式信息中，将所述上文句子的特征信息合并到所述句子的特征信息中，输入所述第三神经网络模型中，由所述第三神经网络模型采用注意力机制进行处理后，输出所述句子的语义识别结果。

本申请实施例的另一实施例中，提供一种电子设备，包括：

处理器；

存储器，存储有程序，所述程序配置为在被所述处理器执行时实现上述任一项所述的识别对话信息中的句子语义的方法。

本申请实施例的再一实施例中，提供一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述任一项所述的识别对话信息中的句子语义的方法。

本申请的再一实施例例中，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现上述任一项所述的识别对话信息中的句子语义的方法的步骤。

如上所见，本申请实施例采用的方法为：提供一段对话信息，所述对话信息中包括多个句子；获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。可以看出，本申请实施例在对对话信息中的句子语义进行识别时，不仅仅考虑句子的本身内容影响，而且考虑到其所在对话信息中的段落及表达方式的影响，从而对所述句子进行综合的语义识别，在识别对话信息中的句子语义时，提高句子语义的识别准确率。

附图说明

图1为本申请实施例提供的识别对话信息中的句子语义的方法流程图；

图2为本申请实施例为客户端与房屋代理商务平台中的经纪人终端之间进行对话的示意图；

图3为本申请实施例提供的第三神经网络模型对句子的语义识别的具体例子结构示意图；

图4为本申请实施例提供的识别对话信息中的句子语义的装置结构示意图；

图5为本申请的另一个实施例所提供的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

下面以具体实施例对本申请的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

目前，采用神经网络模型进行对话信息中的句子的语义识别时，是基于单维度的且仅仅是对单个句子的内容维度的理解，并且各个句子之间的语义识别是相互独立的，其并不受所在对话信息的影响，因此会导致对话信息中的句子的语义识别准确率不高的问题。

一段对话信息通常是由多个句子构成，在用户与服务者之间进行会话过程中，生成了两者的对话内容，该对话内容组成了对话信息。在对话信息中包括的句子，就是用户与服务者进行会话时的对话句子，可以被识别到并以文本的形式记录在所在的对话信息中。

目前采用神经网络模型对单个的句子进行语义识别时，都是在句子的内容维度的单一维度上进行的，即识别的所有关注点都在句子的本身维度上，包括了对句子的意图和槽位等的识别，其中，槽位为从所述句子中所获取到的关键特征信息。但是没有对句子的分层次的多维度的识别，其中，多维度的识别包括了对句子的表达方式的维度识别，及句子具体在所述对话信息中的划分段落的维度识别。而在进行实际对话时，对对话信息中的句子的表达方式识别是至关重要的，比如在识别标准作业程序(SOP)中的答非所问的句子时，除了对句子的本身内容的语义识别外，还需要表达方式进行识别。另外，一段对话信息中的句子之间是有相关性的，具体与句子的上文句子的语义是相关的，因此对句子的语义识别不应该单单限定在其单一的内容维度上，进行单维度的识别，而没有对句子进行分层次的多维度识别，这样的语义识别无法对句子进行不同层次的深度刻画识别。

因此，本申请实施例为了解决上述问题，采用的方法为：提供一段对话信息，所述对话信息中包括多个句子；获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

这样，本申请实施例提供的方法及装置，不是单维度的、只是基于句子的本身内容维度的对句子的语义识别，而是在对句子的语义识别时，不仅仅考虑句子的本身内容影响，而且考虑到其所在对话信息中的段落及表达方式的影响，从而对所述句子进行综合的语义识别，在识别对话信息中的句子语义时，提高句子语义的识别准确率。

更进一步地，在对句子进行语义识别时，还考虑到句子的上下文句子的语义信息，特别是对句子的上文句子的语义信息对本句子的语义识别的影响，在对本句子进行语义识别时，还基于本句子的上文句子的语义信息进行辅助识别。

图1为本申请实施例提供的识别对话信息中的句子语义的的方法流程图，其具体步骤包括：

步骤101、提供一段对话信息，所述对话信息中包括多个句子；

步骤102、获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；

步骤103、将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；

步骤104、将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

从上述方法可以看出，本实施例是在句子所属的对话信息中，对句子进行更多维度和更多层次的刻画，使得对句子的语义识别能够分层次进行，从而使得对句子的语义识别更全面及更准确。这样，对会话信息中的各个句子，进行全面的刻画，更好更准确地理解句子的语义，商务平台据此语义在执行对应的操作或者回复相关信息时，也更加准确。

在本实施例中，对话信息是在IM中获取的，也可以在其他通讯方式中获取，这里不限制。

在本申请实施例中，采用了三个神经网络模型，其中，第一神经网络模型是对句子在所属对话信息中具体的划分段落识别，第二神经网络模型是对句子的表达方式的识别，第三神经网络模型是对句子的语义识别。在第三神经网络模型对句子进行语义识别时，不仅仅基于句子的本身内容，而且还基于由第一神经网络模型得到的对应所述句子的所述对话信息的段落划分信息，以及由第二神经网络模型得到的所述句子的表达方式信息，综合进行语义识别，使得得到的语义更加准确。

在本申请实施例中，三个神经网络模型需要预先训练得到。

具体地说，所述第一神经网络模型是训练得到的，所述第一神经网络模型的训练过程包括：提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息，及在所述对话信息样本中的所述句子样本的上下文句子样本的特征信息输入所述第一神经网络模型中进行对应句子的对话信息的段落划分训练，基于输出的对应所述句子样本的所述对话信息样本的段落划分信息，调整所述第一神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第一神经网络模型输出的对应所述句子样本的所述对话信息样本的段落划分信息的正确率符合设置的第一正确率阈值。

在这里，训练所述第一神经网络模型训练所采用的句子样本的数量是多个，具体数量根据需要设置，所述第一神经网络模型可以采用基于NLP技术的神经网络训练得到。

具体地说，所述第二神经网络模型是训练得到的，所述第二神经网络模型的训练过程包括：提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息输入所述第二神经网络模型中进行句子的表达方式的训练，基于输出的所述句子样本的表达方式信息，调整所述第二神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第二神经网络模型输出的所述句子的表达方式信息的正确率符合设置的第二正确率阈值。

在这里，训练所述第二神经网络模型所采用的句子样本的数量为多个，具体数量根据需要设置，所述第二神经网络模型可以采用基于NLP技术的神经网络训练得到。

具体地说，所述第三神经网络模型是训练得到的，所述第三神经网络模型的训练过程包括：提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本、对应所述句子样本的所述对话信息样本的段落划分信息、以及所述句子样本的表达方式信息；将所述句子样本的特征信息、对应所述句子样本的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息，输入所述第三神经网络模型中进行句子的语义识别训练，基于输出的所述句子样本的语义识别结果，调整所述第三神经网络模型中的参数，选取另一句子样本，采用所述句子样本的特征信息、对应所述句子的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息继续训练，直到所述第三神经网络模型输出的所述句子样本的语义识别结果的正确率符合设置的第三正确率阈值。

在这里，训练所述第三神经网络模型所采用的句子样本的数量为多个，具体数量根据需要设置，所述第三神经网络模型可以采用基于NLP技术的神经网络训练得到，具体可以采用多维度的注意力机制的神经网络训练得到。所述多维度的注意力机制的神经网络中的多维度指的是基于对应所述句子样本的所述对话信息的段落划分信息、所述句子样本的表达方式信息及所述句子样本的特征信息，这三个维度对所述句子样本的语义进行识别，得到所述句子样本的语义。

在本申请实施例中，所述第二神经网络模型是对句子的表达方式的识别，表达方式对句子的语义识别至关重要，输出所述句子的表达方式信息具体包括：

输出所述句子的表达方式为问询式表达方式、回答式表达方式、确认式表达方式或建议式表达方式。

在本申请实施例中，第三神经网络模型对句子进行语义识别时，其语义识别不仅仅与句子的本身内容相关，而且与句子在所述对话信息中的上下文句子的内容相关，特别是句子在所述对话信息中的上文句子相关。因此，进行所述句子的语义识别，输出所述句子的语义识别结果还包括：获取在所述对话信息中的，所述句子的至少一个上文句子；基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果。

具体地说，所述基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果为：

针对每一个所述上文句子，获取得到所述上文句子的权重；

根据所述上文句子的权重，将对应所述上文句子的所述对话信息的段落划分信息合并到对应所述句子的所述对话信息的段落划分信息中，将所述上文句子的表达方式信息合并到所述句子的表达方式信息中，将所述上文句子的特征信息合并到所述句子的特征信息中，输入所述第三神经网络模型中，由所述第三神经网络模型采用注意力机制进行处理后，输出所述句子的语义识别结果。

在这里，所述第三神经网络模型采用的是多维度的注意力机制来进行处理，并且在每一维度上，不仅包括了所述句子的对应该维度的信息，且还包括了所述句子的上文句子的对应该维度的信息。且在该维度进行信息的获取上，是根据所述句子的上文句子的权重，将所述句子的上文句子在该维度的信息合并到所述句子在该维度的信息后，再将各个维度的信息采用注意力机制进行处理，得到所述句子的语义识别结果。

在这里，所述上文句子的权重是根据所述上文句子的特征信息、对应所述上文句子的所述对话信息的段落划分信息及表达方式信息确定的，确定方式可以有多种。比如训练一确定权重的神经网络模型，将所述上文句子的特征信息、对应所述句子的所述对话信息的段落划分信息及表达方式信息输入该模型中处理，输出权重。也可以设置权重与对应句子的所述对话信息的段落划分信息及表达方式信息之间的对应关系，根据对应关系确定。这里不限定。

具体地说，对于第三神经网络模型在处理对应所述句子的所述对话信息的段落划分信息的维度上，根据所述上文句子的权重，将对应所述上文句子的所述对话信息的段落划分信息合并到对应所述句子的所述对话信息的段落划分信息中；对于第三神经网络模型处理所述句子的表达方式信息的维度上，根据所述上文句子的权重，将所述上文句子的表达方式信息合并到所述句子的表达方式信息中；对于第三神经网络模型处理所述句子的特征信息的维度上，根据所述上文句子的权重，将所述上文句子的特征信息合并到所述句子的特征信息中。

在第三神经网络模型中，采用多维度的注意力机制指的是：在不同维度上捕获所述句子的不同技术特征向量，包括对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息，将所述句子的不同技术特征向量采用注意力机制进行计算，并将得到的总和值作为最终得到的目标值，即作为所述句子的语义识别结果。在这里，多维度的注意力机制是一个成熟的技术。

以下举一个具体例子进行说明。

在本例子中，假设房屋代理商务平台与客户之间进行对话，识别对话信息中的句子，根据语义识别结果，获取对应的回复句子并回复客户的例子。图2为本申请实施例为客户端与房屋代理商务平台中的经纪人终端之间进行对话过程的示意图。如图所示，为了识别得到对话信息中的句子，需要按照本申请实施例提供的方法进行。

该例子的具体过程包括：

第一步骤，对图2所示对话中的客户端的句子进行段落的划分，即将所述句子的特征信息输入第一神经网络模型进行对应句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息。

在本步骤中，对所述句子所属的对话信息中进行段落划分，刻画了所述句子所属的对话信息中的段落划分信息，为后续所述句子的语义识别提供了基础。

第二步骤，对图2所示对话中的客户端的句子的表达方式进行确定，即将所述句子的特征信息输入第二神经网络模型中，进行所述句子的表达方式确定，输出所述句子的表达方式信息。

在本步骤中，对句子的表达方式进行确定，刻画了句子的表达方式信息，为后续所述句子的语义识别进一步提供了基础。

第三步骤，对图2所示的对话中的客户端的句子进行语义识别，即将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

在本步骤中，第三神经网络模型中进行处理包括：句子的语义空间到向量空间的映射信息(embedding)，作为句子的特征信息输入第三神经网络模型中处理，所述句子的embedding尽可能在向量空间保持所述句子在语义空间的关系，比如语义接近的两个词汇在向量空间中的位置也接近。

在第三步骤中，所述第三神经网络模型采用的是多维度的注意力机制的模型，具体将三个维度：对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息，进行注意力机制处理后，得到最终的所述句子的语义识别结果。

在第三步骤中，在图2所示的对话中的客户端的句子进行语义识别的过程中，进一步包括：获取在所述对话信息中的，所述句子的至少一个上文句子；基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果。

举一个具体例子说明，比如所述句子为“还能便宜吗”，而所述句子的至少一个上文句子包括“500万”及“你这个房子什么价格”。在这种情况下，上文句子“500万”及上文句子“你这个房子什么价格”的语义是对“还能便宜吗”的语义识别有帮助的，所以在识别所述句子“还能便宜吗”，不仅基于所述句子，而且还基于所述句子的上文句子进行语义识别。更进一步地，所述句子的多个上文句子对所述句子的语义理解的作用是不同的，在这种情况下，就需要为所述句子的多个上文句子分别设置对应的权重，以体现其对所述句子的语义识别重要程度，在将所述句子在第三神经网络模型中处理时，则将先所述句子的上文句子在不同维度上的信息(包括对应所述上文句子的所述对话信息的段落划分信息、所述上文句子的表达方式信息及所述上文句子的特征信息的三个维度的信息)与对应的所述上文句子的权重之间的乘积得到的向量，分别合并到所述句子的不同维度上的信息中，再将三个维度上的信息采用注意力机制处理，得到所述句子的语义特征。这样，可以更加准确地得到所述句子的语义特征。

具体地说，将一个句子的特征信息在第三神经网络模型中进行处理时，表达为一个embedding进行语义识别，这是对所述句子的本身内容语义的识别。为了对所述句子进行准确的语义识别，就需要输入所述句子的上文句子进行辅助语义识别。但是在对话中，句子的表达都是乱序的，存在客户端的问句和回答混为一起，顺序混乱的情况。同时对话中的句子的内容也会比较快的切换，比如，在对话中，前一句的内容为房子本身的问询，后一句的内容可能为约带看房屋的咨询。在这种情况下，对所述句子的语义识别时，就无法知晓采用上文中的哪几个句子进行辅助识别，也不知道上文中的哪几个句子在进行辅助识别时最重要。针对这种情况，该例子可以根据所述上文句子的特征信息、表达方式信息及对应所述上文句子的所述对话信息的段落划分信息，来决定所述上文句子的权重，基于所述上文句子的权重，确定所述上文句子对所述句子的语义识别的重要程度，从而在所述句子的语义识别过程中，根据所述上文句子的权重分别将所述上文句子的特征信息、表达方式信息及对应所述上文句子的所述对话信息的段落划分信息合并到所述句子的特征信息、表达方式信息及对应所述句子的所述对话信息的段落划分信息后，再进行所述句子的注意力机制处理，得到最终的所述句子的语义特征，从而实现了由所述上文句子辅助所述句子的语义识别过程。

如图3所示，图3为本申请实施例提供的第三神经网络模型对句子的语义识别的具体例子结构示意图。第三神经网络模型采用多维度的注意力机制的神经网络实现，对于一段对话信息中的当前句子在进行语义识别时，输入对话信息中的上文的前一句1、前一句2及前一句n的会话语句的语义识别信息进行处理。在处理时，对于其中的每一上文句子，根据输入的所述上文句子的特征信息、对应所述上文句子的所述对话信息的段落划分信息及表达方式信息，确定所述上文句子的权重；在所述句子进行语义识别时，将所述上文句子的特征信息、表达方式信息及对应所述上文句子的所述对话信息的段落划分信息合并到所述句子的特征信息、表达方式信息及对应所述句子的所述对话信息的段落划分信息后，由该第三神经网络模型采用多维度的注意力机制进行处理后，输出所述句子的语义识别结果。

在本申请实施例中，所述句子的上文句子的权重是根据所述上文句子的特征信息、对应所述上文句子的所述对话信息的段落划分信息及表达方式信息确定的，确定方式可以有多种。具体地说，比如训练一确定权重的神经网络模型，将所述上文句子的特征信息、对应所述句子的所述对话信息的段落划分信息及表达方式信息输入该模型中处理，输出得到权重。也可以设置权重，与对应句子的所述对话信息的段落划分信息及表达方式信息之间的对应关系，具体如，当对应所述上文句子的所述对话信息的段落划分信息与对应所述句子的所述对话信息的段落划分信息表明：两者在同一段落中，且所述上文句子的表达方式为问询式表达方式或建议表达方式时，则将所述上文句子的权重设置为预设的最高权重值。根据所设置的对应关系，就可以根据所述句子的所述上文句子的特征信息、对应所述上文句子的所述对话信息的段落划分信息及表达方式信息确定得到对应的权重。

图4为本申请实施例提供的识别对话信息中的句子语义的装置结构示意图，该装置包括：获取单元及语义识别单元，其中，

获取单元，用于提供一段对话信息，所述对话信息中包括多个句子；获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；

语义识别单元，用于将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

在上述装置中，还包括训练单元，用于训练第一神经网络模型、第二神经网络模型及第三神经网络模型。

在上述装置中，语义识别单元，还用于输出所述句子的表达方式信息具体包括：

输出所述句子的表达方式为问询式表达方式、回答式表达方式、确认式表达方式或建议式表达方式。

在上述装置中，获取单元，还用于获取在所述对话信息中的，所述句子的至少一个上文句子；基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果。

在上述装置中，语义识别单元，还用于基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果为：针对每一个所述上文句子，获取得到所述上文句子的权重；根据所述上文句子的权重，将对应所述上文句子的所述对话信息的段落划分信息合并到对应所述句子的所述对话信息的段落划分信息中，将所述上文句子的表达方式信息合并到所述句子的表达方式信息中，将所述上文句子的特征信息合并到所述句子的特征信息中，输入所述第三神经网络模型中，由所述第三神经网络模型采用注意力机制进行处理后，输出所述句子的语义识别结果。

在本申请的另一个实施例中，还提供一种电子设备，包括：处理器；存储器，存储有程序，所述程序配置为在被所述处理器执行时实现如上述的识别对话信息中的句子语义的方法。

在本申请的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时引发所述处理器执行前述实施例中的一种识别对话信息中的句子语义的方法。

图5为本申请的另一个实施例所提供的一种电子设备的示意图。如图5所示，本申请另一实施例还提供一种电子设备，其可以包括处理器501，其中，处理器501用于执行上述一种识别对话信息中的句子语义的方法的步骤。从图5中还可以看出，上述实施例提供的电子设备还包括非瞬时计算机可读存储介质502，该非瞬时计算机可读存储介质502上存储有计算机程序，该计算机程序被处理器501运行时执行上述一种识别对话信息中的句子语义的方法的步骤。

具体地，该非瞬时计算机可读存储介质502能够为通用的存储介质，如移动磁盘、硬盘、FLASH、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、或便携式紧凑磁盘只读存储器(CD-ROM)等，该非瞬时计算机可读存储介质502上的计算机程序被处理器501运行时，能够引发处理器501执行上述的一种识别对话信息中的句子语义的方法的各个步骤。

实际应用中，所述的非瞬时计算机可读存储介质502可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种识别对话信息中的句子语义的方法中的各个步骤。

本申请的再一实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的一种识别对话信息中的句子语义的方法中的各个步骤。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本文中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种识别对话信息中的句子语义的方法，其特征在于，所述方法包括：

提供一段对话信息，所述对话信息中包括多个句子；

获取所述对话信息中的至少一个句子，将所述句子的特征信息，及在所述对话信息中的所述句子的上下文句子的特征信息，输入第一神经网络模型中进行对应所述句子的所述对话信息的段落划分，输出对应所述句子的所述对话信息的段落划分信息；

将所述句子的特征信息输入第二神经网络模型中，确定所述句子的表达方式，输出所述句子的表达方式信息；

将对应所述句子的所述对话信息的段落划分信息、所述句子的表达方式信息及所述句子的特征信息输入第三神经网络模型中，进行所述句子的语义识别，输出所述句子的语义识别结果。

2.如权利要求1所述的方法，其特征在于，所述第一神经网络模型是训练得到的，所述第一神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息，及在所述对话信息样本中的所述句子样本的上下文句子样本的特征信息输入所述第一神经网络模型中进行对应句子的对话信息的段落划分训练，基于输出的对应所述句子样本的所述对话信息样本的段落划分信息，调整所述第一神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第一神经网络模型输出的对应所述句子样本的所述对话信息样本的段落划分信息的正确率符合设置的第一正确率阈值。

3.如权利要求1所述的方法，其特征在于，所述第二神经网络模型是训练得到的，所述第二神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本，将所述句子样本的特征信息输入所述第二神经网络模型中进行句子的表达方式的训练，基于输出的所述句子样本的表达方式信息，调整所述第二神经网络模型中的参数，选取另一句子样本，采用所述句子样本继续训练，直到所述第二神经网络模型输出的所述句子的表达方式信息的正确率符合设置的第二正确率阈值。

4.如权利要求1、2或3所述的方法，其特征在于，所述第三神经网络模型是训练得到的，所述第三神经网络模型的训练过程包括：

提供一对话信息样本，所述对话信息样本中包括多个句子样本，获取其中一句子样本、对应所述句子样本的所述对话信息样本的段落划分信息、以及所述句子样本的表达方式信息；

将所述句子样本的特征信息、对应所述句子样本的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息，输入所述第三神经网络模型中进行句子的语义识别训练，基于输出的所述句子样本的语义识别结果，调整所述第三神经网络模型中的参数，选取另一句子样本，采用所述句子样本的特征信息、对应所述句子的所述对话信息样本的段落划分信息以及所述句子样本的表达方式信息继续训练，直到所述第三神经网络模型输出的所述句子样本的语义识别结果的正确率符合设置的第三正确率阈值。

5.如权利要求1所述的方法，其特征在于，所述输出所述句子的表达方式信息包括：

输出所述句子的表达方式为问询式表达方式、回答式表达方式、确认式表达方式或建议式表达方式。

6.如权利要求1所述的方法，其特征在于，所述进行所述句子的语义识别，输出所述句子的语义识别结果包括：

获取在所述对话信息中的，所述句子的至少一个上文句子；

基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果。

7.如权利要求6所述的方法，其特征在于，所述基于所述句子及所述上文句子，对所述句子进行语义识别，输出所述句子的语义识别结果为：

针对每一个所述上文句子，获取得到所述上文句子的权重；

根据所述上文句子的权重，将对应所述上文句子的所述对话信息的段落划分信息合并到对应所述句子的所述对话信息的段落划分信息中，将所述上文句子的表达方式信息合并到所述句子的表达方式信息中，将所述上文句子的特征信息合并到所述句子的特征信息中，输入所述第三神经网络模型中，由所述第三神经网络模型采用注意力机制进行处理后，输出所述句子的语义识别结果。

8.一种电子设备，其特征在于，包括：

处理器；

存储器，存储有程序，所述程序配置为在被所述处理器执行时实现如权利要求1至7中任一项所述的识别对话信息中的句子语义的方法。

9.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的识别对话信息中的句子语义的方法。

10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的识别对话信息中的句子语义的方法的步骤。

Images