CN108897852B

CN108897852B - 对话内容连贯性的判断方法、装置以及设备

Info

Publication number: CN108897852B
Application number: CN201810694536.6A
Authority: CN
Inventors: 彭金华; 马宗阳; 连荣忠; 姜迪; 何径舟
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2020-10-23
Anticipated expiration: 2038-06-29
Also published as: CN108897852A

Abstract

本发明提出一种对话内容连贯性的判断方法，包括：将上文语句输入至语句生成模型中，生成下文语句；计算每个上文语句与当前语句之间的相似度，以构建第一相似度矩阵；计算每个下文语句与当前语句之间的相似度，以构建第二相似度矩阵；将第一相似度矩阵和第二相似度矩阵分别输入至连贯性判别模型中，生成当前语句的连贯性特征参数，连贯性判别模型是基于卷积神经网络构建的。利用连贯性判别模型和语句生成模型相结合的方式，来解决对话内容连贯性问题，可以从语义的维度比对两个句子的连贯性，推送给用户回复连贯性且优质的回复。本发明还提供了一种对话内容连贯性的判断装置以及设备。

Description

对话内容连贯性的判断方法、装置以及设备

技术领域

本发明涉及计算机领域，具体涉及一种对话内容连贯性的判断方法，还涉及一种对话内容连贯性的判断装置、一种对话内容连贯性的判断设备以及计算机可读存储介质。

背景技术

在通用的对话系统中，如何使对话过程中的上下文内容具有连贯性是一个亟需解决的问题。内容连贯性是指对话的上下文相关性，即当前的一句话和前一句话，或者当前的一句话和后一句话在语义主题逻辑等方面的连贯性。例如，上文提到的是“世界杯真精彩”，其内容和主题足球相关，如果下文反馈的是“球球大作战真好玩”，其内容和游戏主题相关，说明上文是缺乏语义连贯性的。如果对话系统持续产出语义不连贯的回复，会极大的影响用户体验，阻碍人机聊天的顺利进行。

传统的方法主要是从关键词或者实体匹配的层面判定上下文的语义连贯性，即计算两个句子间共享的关键词或者实体的比率。例如，上文提到“我叫王某某”，其中的实体是指“王某某”本人。在下一句识别出这个实体，表明上下句子的语义中均是与实体“王某某”有关的话题，表明上下句子之间具有连贯性，实体的比率越高，说明连贯性越好。然而，传统的方法仅比较两个句子在关键词或者实体之间的相似度，推送给用户回复并不连贯。

发明内容

本发明实施例提供一种对话内容连贯性的判断方法、装置和设备，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种对话内容连贯性的判断方法，对话内容包括上文和当前语句，所述上文包括多个上文语句，所述方法包括：

将所述上文语句输入至语句生成模型中，生成下文语句；

计算每个所述上文语句与所述当前语句之间的相似度，以构建第一相似度矩阵；

计算每个所述下文语句与所述当前语句之间的相似度，以构建第二相似度矩阵；

将所述第一相似度矩阵和所述第二相似度矩阵分别输入至连贯性判别模型中，生成所述当前语句的连贯性特征参数，所述连贯性判别模型是基于卷积神经网络构建的。

结合第一方面，本发明在第一方面的第一种实施方式中，计算每个所述上文语句与所述当前语句之间的相似度，包括：

将每个所述上文语句中的词以及所述当前语句中的词均转化为词向量；

计算每个所述上文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述上文语句与所述当前语句之间的相似度。

结合第一方面，本发明在第一方面的第二实施方式中，计算每个所述下文语句与所述当前语句之间的相似度，包括：

将每个所述下文语句中的词以及所述当前语句中的词均转化为词向量；

计算每个所述下文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述下文语句与所述当前语句之间的相似度。

结合第一方面，本发明在第一方面的第三实施方式中，所述第一相似度矩阵和所述第二相似度矩阵分别输入至连贯性判别模型中，生成所述当前语句的连贯性特征参数，包括：

所述第一相似度矩阵和所述第二相似度矩阵经过卷积和池化，分别生成第一特征矩阵和第二特征矩阵；

将所述第一特征矩阵转换为第一特征向量，将所述第二特征矩阵转换为第二特征向量，所述第一特征向量和所述第二特征向量进行连接，构成相似特征向量；

将所述相似特征向量进行全连接，输出连贯性类别和非连贯性类别；

将所述连贯性类别和所述非连贯性类别分别输入至多类别逻辑回归函数中计算对应的概率值，得到所述当前语句的连贯性特征参数。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式或第一方面的第三种实现方式，本发明在第一方面的第四种实现方式中，所述语句生成模型包括端对端(seq2seq)生成模型。

第二方面，本发明实施例提供了一种对话内容连贯性的判断装置，包括：

下文语句生成模块，用于将所述上文语句输入至语句生成模型中，生成下文语句；

第一相似度矩阵构建模块，用于计算每个所述上文语句与所述当前语句之间的相似度，以构建第一相似度矩阵；

第二相似度矩阵构建模块，用于计算每个所述下文语句与所述当前语句之间的相似度，以构建第二相似度矩阵；

连贯性特征参数计算模块，用于将所述第一相似度矩阵和所述第二相似度矩阵分别输入至连贯性判别模型中，生成所述当前语句的连贯性特征参数，所述连贯性判别模型是基于卷积神经网络构建的。

结合第二方面，本发明在第二方面的第一实施方式中，所述第一相似度矩阵构建模块还用于将每个所述上文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述上文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述上文语句与所述当前语句之间的相似度。

结合第二方面，本发明在第二方面的第二实施方式中，所述第二相似度矩阵构建模块还用于将每个所述下文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述下文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述下文语句与所述当前语句之间的相似度。

结合第二方面，本发明在第二方面的第三实施方式中，连贯性特征参数计算模块包括：

卷积池化计算单元，用于所述第一相似度矩阵和所述第二相似度矩阵经过卷积和池化，分别生成第一特征矩阵和第二特征矩阵；

特征矩阵转换单元，用于将所述第一特征矩阵转换为第一特征向量，将所述第二特征矩阵转换为第二特征向量，所述第一特征向量和所述第二特征向量进行连接，构成相似特征向量；

全连接计算单元，用于将所述相似特征向量进行全连接，输出连贯类别和非连贯类别；

归一化计算单元，用于将所述连贯类别和所述非连贯类别分别输入至多类别逻辑回归函数中计算对应的概率，得到所述当前语句的连贯性特征参数。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式或第二方面的第三种实现方式，本发明在第二方面的第四种实现方式中，所述语句生成模型包括端对端(seq2seq)生成模型。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

第三方面，本发明实施例提供了一种对话内容连贯性的判断设备，包括处理器和存储器，所述存储器用于存储支持对话内容连贯性的判断设备执行上述第一方面中对话内容连贯性的判断方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述对话内容连贯性的判断设备还可以包括通信接口，用于对话内容连贯性的判断设备与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储对话内容连贯性的判断设备所用的计算机软件指令，其包括用于执行上述第一方面中对话内容连贯性的判断方法为对话内容连贯性的判断设备所涉及的程序。

上述技术方案中的一个技术方案具有如下优点或有益效果：利用连贯性判别模型和语句生成模型相结合的方式，来解决对话内容连贯性问题，可以从语义的维度比对两个句子的连贯性，推送给用户回复连贯性且优质的回复。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明实施例提供的一种对话内容连贯性的判断方法流程示意图；

图2为本发明实施例提供的上文语句输入至语句生成模型中生成下文语句的示意图；

图3为本发明实施例提供的连贯性判别模型生成当前语句的连贯性特征参数的示意图；

图4为本发明实施例提供一种对话内容连贯性的判断装置示意图；

图5为本发明实施例提供一种连贯性特征参数计算模块的结构示意图；

图6为本发明实施例提供一种对话内容连贯性的判断设备结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

实施例一

在一种具体实施方式中，对话内容包括上文和当前语句，为了判定当前语句q与上文c语义是否连贯，提供了一种对话内容连贯性的判断方法，如图1所示，包括：

步骤S100：将上文语句输入至语句生成模型中，生成下文语句。

为了更好的表述语句生成模型，首先定义一些变量，参见图2和图3，上文语句用s表示，当前语句用q表示，上文用c表示，上文c包括多个上文语句s，用集合表示，c＝{s₁,s₂,…,s_n}。参见图2，语句生成模型可以采用在对话系统以及机器翻译领域的模型。语句生成模型的一种实现方式可以为：给定上文语句s，以P(s’|s)的概率生成下文语句s’。在Encoder-Decoder(编码-解码)框架下，向语句生成模型输入一个序列，可以输出另外一个序列。encode意思是将输入序列转化成一个固定长度带有语义的向量。decode意思是将输入的固定长度向量解码成输出序列。本实施例中的语句生成模型可以在Encoder-Decoder框架下的语句生成模型，如GRU(Gated Recurrent Unit，门控循环单元)或者LSTM(LongShort Memory Network，长短时记忆网络)等。需要指出的是，语句生成模型的种类不做具体限定，均在本实施例的保护范围内。

例如，在Encoder-Decoder框架下，如图2所示：当输入上文语句s＝{A，B，C}时，A、B、C三个词向量依次通过GRU或者LSTM的细胞进行编码，并得到隐含向量，该隐含向量被输入到另外的GRU或者LSTM的细胞中进行解码，可以得到{W，X，Y，Z}。

通过引入语句生成模型，可以比对下文语句与当前语句之间的相似度。通过语句生成模型得到的下文语句与真实的下文语句在语义上是相似的，可以对真实的下文语句的语义进行扩展和补充，提高上下文内容连贯性的判断准确度。

步骤S200：计算每个上文语句与当前语句之间的相似度，以构建第一相似度矩阵。

例如，参见图3，上文c含有n个上文语句s，利用每个上文语句与当前语句之间的相似度构建匹配矩阵M_i即第一相似度矩阵，可以得到n个第一相似度矩阵M₁，M₂…，M_n。

步骤S300：计算每个下文语句与当前语句之间的相似度，以构建第二相似度矩阵。

例如，参见图3，下文集合含有n个下文语句s’，利用每个下文语句与当前语句之间的相似度构建匹配矩阵M_i’即第二相似度矩阵，可以得到n个第二相似度矩阵M₂’,M₃’…M_n+1’。

步骤S400：将第一相似度矩阵和第二相似度矩阵分别输入至连贯性判别模型中，生成当前语句的连贯性特征参数，所述连贯性判别模型是基于CNN(Convolutional NeuralNetwork，卷积神经网络)构建的。

CNN是操作多维矩阵的一种非常重要的神经网络，基于CNN建立的连贯性判别模型属于融合模型。对于每一个相似度矩阵，通过CNN模型获取两个句子的相似信息(上文语句和下文语句的相似信息)，有效的抓取句子与句子之间语义层面的相似度。此外，可以记录当前语句q和上文语句s或下文语句s’中局部的高相似度信息。这些高相似度信息会对最终的连贯性判断产生影响。当对话系统生成了备选的多个当前语句时，通过上述方法可以得到每个备选的当前语句的连贯性特征参数，通过比较选择最合适的当前语句。或者，将每个备选的当前语句的连贯性特征参数作为特征值，与当前语句的其它类型的特征值进行相加，最终选取合适特征值的当前语句。

本实施例提供的对话内容连贯性的判断方法，利用连贯性判别模型和语句生成模型相结合的方式，来解决对话内容连贯性问题，可以从语义的维度比对两个句子的连贯性，推送给用户回复连贯性且优质的回复。

在一种可能的实现方式中，在步骤S200中，计算每个上文语句与当前语句之间的相似度，包括：

将每个上文语句中的词以及当前语句中的词均转化为词向量；

计算每个上文语句中的词向量与当前语句中的词向量的余弦值，得到每个上文语句与当前语句之间的相似度。

例如，上文语句的每一句s_i由一系列的词w组成，定义为{w₁,w₂,...,w_m}，每一个词都可以转化为一定维度的词向量v，上文语句s_i可以定义为{v₁,v₂,…,v_m}，同样的，当前句子q由一系列的词组成，形成词向量。对于s_i和q的任意两个词向量，计算它们之间的余弦值，得到每个上文语句与当前语句之间的相似度。

在一种可能的实现方式中，在步骤S300中，计算每个下文语句与当前语句之间的相似度，包括：

将每个下文语句中的词以及当前语句中的词均转化为词向量；

计算每个下文语句中的词向量与当前语句中的词向量的余弦值，得到每个下文语句与当前语句之间的相似度。

例如，对上文语句s₁可以通过语句生成模型生成下文语句s₂’,s₂可以生成s₃’,依次类推，最后s_n可以生成s_n+1’，得到下文语句的集合{s₂’,s₃’,…,s_n+1’}。对于s_i’和q的任意两个词向量，计算它们之间的余弦值，得到每个下文语句与当前语句之间的相似度。

在一种可能的实现方式中，在步骤S400中，第一相似度矩阵和第二相似度矩阵分别输入至连贯性判别模型中，生成当前语句的连贯性特征参数，包括：

第一相似度矩阵和第二相似度矩阵经过卷积和池化，分别生成第一特征矩阵和第二特征矩阵；

将第一特征矩阵转换为第一特征向量，将第二特征矩阵转换为第二特征向量，第一特征向量和第二特征向量进行连接，构成相似特征向量；

将相似特征向量进行全连接，输出连贯性类别和非连贯性类别；

将连贯性类别和非连贯性类别分别输入至多类别逻辑回归函数中计算对应的概率值，得到当前语句的连贯性特征参数。

参见图2和图3，可以通过下式表示第一相似度矩阵和第二相似度矩阵经过卷积层进行计算的值：

其中，u_j,k为第一相似度矩阵M对应位置的值，z_j,k为通过卷积网络得到的对应位置的值，采用补零的方式，通过卷积网络后得到的矩阵和M矩阵大小一致。采用3*3的卷积核，r_w和r_h分别为卷积核的宽和高。W_x,y和b为神经网络学习到的参数，π代表激活函数。采用ReLU激活函数(Rectified linear unit，修正线性单元)得到的特征矩阵具有较高的维度。较高维度的特征矩阵经过池化层进行最大池化操作，可以降低维度。即在一定的窗口范围内选取z_i,j的最大值，得到第一特征矩阵P和第二特征矩阵P’。其中，P包括P₁,P₂…P_n以及P’包括P₂’,P₃…P_n+1’。

第一特征矩阵P可转换为第一特征向量h，第二特征矩阵P’矩阵可转换为第二特征向量h’，将所有的h以及h’经过全连接层，连接在一起组成h_o。例如，h＝{1，2，3}，h’＝{4，5，6}，那么h_o＝{1，2，3，4，5，6}。h_o记录了当前语句q和上文语句s或下文语句s’中局部的高相似度信息，将h_o输入进softmax函数，即：F(h_o)＝softmax(W₂h_o+b₂)，W₂和b₂为神经网络学习的参数，得到当前语句的连贯性特征参数。

在上述方法的基础上，语句生成模型包括端对端(seq2seq)生成模型。

seq2seq模型是根据输入序列X来生成输出序列Y，以encode和decode为代表的seq2seq模型。

实施例二

在另一种具体的实施方式中，如图4所示，提供了一种对话内容连贯性的判断装置，包括：

下文语句生成模块10，用于将所述上文语句输入至语句生成模型中，生成下文语句；

第一相似度矩阵构建模块20，用于计算每个所述上文语句与所述当前语句之间的相似度，以构建第一相似度矩阵；

第二相似度矩阵构建模块30，用于计算每个所述下文语句与所述当前语句之间的相似度，以构建第二相似度矩阵；

连贯性特征参数计算模块40，用于将所述第一相似度矩阵和所述第二相似度矩阵分别输入至连贯性判别模型中，生成所述当前语句的连贯性特征参数，所述连贯性判别模型是基于卷积神经网络构建的。

在一种可能的实现方式中，所述第一相似度矩阵构建模块还用于将每个所述上文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述上文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述上文语句与所述当前语句之间的相似度。

在一种可能的实现方式中，所述第二相似度矩阵构建模块还用于将每个所述下文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述下文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述下文语句与所述当前语句之间的相似度。

在一种可能的实现方式中，如图5所示，连贯性特征参数计算模块40包括：

卷积池化计算单元41，用于所述第一相似度矩阵和所述第二相似度矩阵经过卷积和池化，分别生成第一特征矩阵和第二特征矩阵；

特征矩阵转换单元42，用于将所述第一特征矩阵转换为第一特征向量，将所述第二特征矩阵转换为第二特征向量，所述第一特征向量和所述第二特征向量进行连接，构成相似特征向量；

全连接计算单元43，用于将所述相似特征向量进行全连接，输出连贯类别和非连贯类别；

归一化计算单元44，用于将所述连贯类别和所述非连贯类别分别输入至多类别逻辑回归函数中计算对应的概率，得到所述当前语句的连贯性特征参数。

实施例三

本发明实施例提供了一种对话内容连贯性的判断设备，如图6所示，包括：

存储器400和处理器500，存储器400内存储有可在处理器500上运行的计算机程序。处理器500执行所述计算机程序时实现上述实施例中的对话内容连贯性的判断方法。存储器400和处理器500的数量可以为一个或多个。

通信接口600，用于存储器400和处理器500与外部进行通信。

存储器400可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器400、处理器500以及通信接口600独立实现，则存储器400、处理器500以及通信接口600可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器400、处理器500以及通信接口600集成在一块芯片上，则存储器400、处理器500及通信接口600可以通过内部接口完成相互间的通信。

实施例四

一种计算机可读存储介质，其存储有计算机程序，所述程序被处理器执行时实现如实施例一包括的任一所述的对话内容连贯性的判断方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种对话内容连贯性的判断方法，其特征在于，对话内容包括上文和当前语句，所述上文包括多个上文语句，所述方法包括：

将所述上文语句输入至语句生成模型中，生成下文语句；

2.根据权利要求1所述的方法，其特征在于，计算每个所述上文语句与所述当前语句之间的相似度，包括：

3.根据权利要求1所述的方法，其特征在于，计算每个所述下文语句与所述当前语句之间的相似度，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一相似度矩阵和所述第二相似度矩阵分别输入至连贯性判别模型中，生成所述当前语句的连贯性特征参数，包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述语句生成模型包括端对端生成模型。

6.一种对话内容连贯性的判断装置，其特征在于，对话内容包括上文和当前语句，所述上文包括多个上文语句，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述第一相似度矩阵构建模块还用于将每个所述上文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述上文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述上文语句与所述当前语句之间的相似度。

8.根据权利要求6所述的装置，其特征在于，所述第二相似度矩阵构建模块还用于将每个所述下文语句中的词以及所述当前语句中的词均转化为词向量；计算每个所述下文语句中的所述词向量与所述当前语句中的所述词向量的余弦值，得到每个所述下文语句与所述当前语句之间的相似度。

9.如权利要求6所述的对话内容连贯性的判断装置，其特征在于，连贯性特征参数计算模块包括：

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述语句生成模型包括端对端生成模型。

11.一种对话内容连贯性的判断设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。