CN111602128A

CN111602128A - 计算机实现的确定方法和系统

Info

Publication number: CN111602128A
Application number: CN201880069181.XA
Authority: CN
Inventors: 维塔利·热列兹内亚克; 丹尼尔·威廉姆斯·布斯布里奇; 阿普丽尔·特尤斯代·沈; 塞缪尔·劳伦斯·史密斯; 尼尔斯·哈默拉
Original assignee: Babylon Partners Ltd
Current assignee: Babylon Partners Ltd
Priority date: 2017-10-27
Filing date: 2018-10-26
Publication date: 2020-08-28
Also published as: EP3701397A1; US20190155945A1; US20190317955A1; GB201717751D0; GB2568233A

Abstract

一种用于响应于接收到自然语言查询而检索内容的计算机实现的方法，该方法包括：接收用户使用用户接口提交的自然语言查询；从所述查询生成嵌入式句子；确定从接收的自然语言查询中得到的嵌入式句子与来自保存在数据库中的查询的嵌入式句子之间的相似度，该数据库包括对被表示为嵌入式句子的保存的查询的响应的固定映射；检索对被确定为与保存的查询之一相似的嵌入式句子的响应；以及经由所述用户接口向用户提供该响应。

Description

计算机实现的确定方法和系统

技术领域

本发明的实施例涉及自然语言处理和用于响应来自数据库的查询的自然语言处理。

背景技术

聊天机器人的自然语言处理现在在许多领域变得司空见惯。然而，这类系统并不完美。聊天机器人对与方向有关的问题给出错误答案或在自动计算机系统中转接电话的后果很扰人，但不太可能引起严重的困扰。

在医疗环境中实现聊天机器人面临着更大的挑战，因为错误的建议可能会带来灾难性的后果。因此，用于提供医疗信息的聊天机器人受到严格控制以提供经过医疗专业人员验证的建议。然而，医疗聊天机器人的用户可能以许多不同的方式表达其症状，并且医疗专业人员的验证必须能够涵盖所有输入。另外，医学专家的验证是一个漫长的过程，应尽量减少验证过程的重复。

附图说明

图1是根据实施例的系统的示意图；

图2(a)是将句子转换为矢量空间中的表示的示意图，而图2(b)是示出根据实施例的句子嵌入和相似度度量的示意图；

图3是根据实施例的编码器/解码器架构的示意图；

图4是根据另一实施例的编码器/解码器架构的示意图；

图5是示出自然语言如何被转换成嵌入式句子的示意图；

图6是用于内容查找的方法的示意图；

图7是用于内容发现的方法的示意图；以及

图8(a)和图8(b)是示出具有不同解码器的RNN编码器和BOW编码器的性能的图。

具体实施方式

在实施例中，提供了一种用于从数据库检索对自然语言查询的响应的计算机实现的方法，该数据库包括对保存的查询的响应的固定映射，其中保存的查询被表示为嵌入式句子，该方法包括：接收自然语言查询，从所述查询生成嵌入式句子，确定从接收的自然语言查询得出的嵌入式句子与来自所述保存的查询的嵌入式句子之间的相似度，并检索对被确定为与保存的查询相似的嵌入式句子的响应。

使聊天机器人的内容保持不断更新需要大量的计算机资源，这是因为需要针对整个数据库更新输入句子的表示与数据库中更新内容之间的映射。在上述系统中，当处理用户查询以确定其与现有查询的相似度时，可以将数据添加到数据库而无需重新映射原始数据。对于诸如医学信息的关键信息的数据库，每次执行对数据库的更新(这会更改任何现有映射)时，都必须进行实质性的验证过程。然而，在上述实施例中，由于针对所有现有数据保留了映射，因此如果添加了新数据，则仅需要验证更新即可。另外，除了避免了人工验证新映射的额外负担外，通过仅添加新数据而不是重新映射所有现有数据来更新数据库的过程在计算上要不繁重得多。

在另一实施例中，使用解码功能和编码功能来从自然语言查询生成嵌入式句子，其中在所述编码功能中，将所述自然语言查询中包含的字词映射到句子矢量，并且其中在解码功能中，使用句子矢量来预测自然语言查询的上下文。

可以在解码器的输出空间或编码器的输出空间中评估新查询与现有查询之间的相似度。取决于所使用的相似度函数，解码器的输出空间或编码器的输出空间可能会给出更准确的结果。

可以为上述方法提供正则化。这可以通过多种方式来完成，例如，使用三个解码器，其中一个用于当前句子，而另外两个用于相邻句子。然而，这种自编码只是一种方法，其它方法可以是惩罚字词矢量的长度或使用丢弃(dropout)方法。

在其它实施例中，解码器可以在当前句子的每一侧上使用两个相邻的句子(即，4或5个解码器)。

另外，上述配置允许系统被配置成使得它可以自动检测用户是否持续请求没有针对其的合适内容的数据。因此，在另一实施例中，提供了一种用于确定数据库中缺失内容的计算机实现的方法，所述数据库包含多个已知的嵌入式句子及其与内容的关系，该方法还包括：接收新的查询，并从所述新查询生成新的嵌入式句子，该方法进一步确定新的嵌入式句子是否与已知的嵌入式句子相似，并生成指示新的嵌入式句子没有链接到内容的消息。

为了实现上述效果，可以对嵌入式句子进行聚类，并且如果新的嵌入式句子的聚类超过预定大小，则生成消息以指示需要更多内容。

此外，由于对缺失内容的监视是系统的固有部分，因此上述内容允许监视用户正请求的新内容而无需额外的计算资源。

在另一实施例中，提供了一种用于预测句子的上下文的自然语言计算机实现的处理方法，该方法包括使用解码功能和编码功能来接收字词序列，其中在所述编码功能中，将所述字词序列中包含的字词映射到句子矢量，并且其中在所述解码功能中，使用句子矢量来预测字词序列的上下文，其中解码或编码功能中的一个是顺序感知的，而解码或编码功能中的另一个是非顺序感知的。

上面的实施例提供了一种句子表示，其可以提供更准确的结果而无需增加计算资源。

在实施例中，顺序感知的功能可以包括循环神经网络，而非顺序感知的功能是字词袋模型。编码器和/或解码器可以使用通用语料库进行预训练。

在一些实施例中，接收的字词序列的句子串的结尾，所述句子串的结尾向编码器和解码器指示字词序列的结尾。

在另一实施例中，提供了一种用于响应于接收到自然语言查询而检索内容的系统，该系统包括：

用户接口，其适于从用户接收自然语言查询；

数据库，其包括对保存的查询的响应的固定映射，其中保存的查询表示为嵌入式句子；以及

处理器，所述处理器适于：

从所述查询生成嵌入式句子；

确定从接收的自然语言查询中得到的嵌入式句子与来自保存在数据库中的查询的嵌入式句子之间的相似度；以及

检索对被确定为与保存的查询之一相似的嵌入式句子的响应，用户接口适于向用户输出该响应。

在另一实施例中，提供了一种用于确定数据库中的缺失内容的系统，该系统包括：

数据库，其包含多个已知的嵌入式句子及其与内容的关系，

用户接口，其适于接收用户输入的查询；以及

处理器，该处理器适于：

从所述新查询生成新的嵌入式句子，

确定新的嵌入式句子是否与已知的嵌入式句子相似；以及

生成指示新的嵌入式句子没有链接到内容的消息。

在另一实施例中，提供了一种用于预测句子的上下文的自然语言处理系统，

该系统包括用于接收用户输入的句子的用户接口、解码器和编码器，

该编码器适于将包含在所述字词序列中的字词映射到句子矢量，

该解码器适于使用句子矢量来预测字词序列的上下文，

其中解码器或编码器之一是顺序感知的，而解码器或编码器中的另一个是非顺序感知的。

虽然本文提供的示例与医学数据有关。然而，虽然与验证相关的优点在医学领域更为突出，但是该系统可以应用于任何自然语言环境。

图1示出了根据第一实施例的系统，该系统包括供用户3使用的用户接口1。用户接口1可以设置在移动电话、用户的计算机或能够通过语音输入作为网络应用的主机并通过互联网传输查询的其它设备上。

用户3将查询输入到界面中，并且该查询通过互联网5传输到对话处理设备7。对话处理设备7将查询发送到嵌入服务9。对话处理设备可以设置有简单的逻辑，该逻辑允许该设备例如在需要时将用户3引向人工操作者等。嵌入服务9生成用于输入查询的矢量表示。将参考图3和图4更详细地描述嵌入服务。

嵌入服务9将所生成的矢量表示提交给内容检索服务11。内容检索服务11读取内容数据库13，并将输入查询的矢量表示(在下文中称为输入矢量表示)与数据库中的其它矢量表示进行比较。

在实施例中，如果输入矢量表示被确定为与其它矢量表示相似，则与相似矢量表示相关联的内容经由界面1被传递回用户3，在所述界面中显示该内容。内容可以经由嵌入服务传到用户3，或者可以直接发送到界面1。

在另一种情况下，如果内容数据库中没有足够相似的内容，则将查询传递到内容创作服务15。内容创作服务将相似的查询分组为聚类。如果聚类的大小超过阈值，则确定需要生成这些类似查询的内容。在实施例中，该内容将由医学专业人员17生成。一旦被验证，则将新内容添加到内容数据库中。

在被呈现适当的(现有的或新的)内容之后，用户3可以选择提交给对话处理服务7的“行为召唤”。对话处理服务可以与其它内部服务(例如，诊断引擎19)进行通信以满足用户要求。

用户3输入文本并返回响应的上述系统是聊天机器人的形式。接着，将描述该聊天机器人的细节。

当用户在聊天机器人中输入文本时，有必要判定聊天机器人应如何响应。例如，在上述医疗系统中，聊天机器人可以提供对哪个分类类别(triage category)最适合用户加以指示的响应，或者发送他们已请求的用户信息。可以使用大量标记数据来设计这样的系统，并在受监督的设置下对其进行训练。例如，表1中详细列出了数据集，并建立了预测的模型f(s)：

表1：示例标记数据集

句子s	类别c
		我怀孕了吗？	怀孕
我的脚很大	脚-
		-	-
-	-

句子s大约属于特定类别c之一的概率(表2中所示)。给出类概率的函数f(s)将称为分类器函数。

表2：不同类别下的概率预测的示例。

句子s	怀孕概率f(s)	脚概率f(s)\|
			我的脚很疼	0.1	0.8

当构建函数f(s)来给出与每个内容/分类类别c相关的概率时：

·需要有非常大的数据集，如表1中所示。

·医疗聊天机器人做出的决定需要医学验证。假设针对一组有限的类别{c}创建了分类器函数f(s)，则如果要添加新类别，就有必要创建新的分类器函数f'(s)。

·然后，该新的分类器函数将需要进行非常耗时的医学验证。

为了减轻上述问题，使用了无监督学习方法。代替每个句子具有标签，使用句子的有序语料库(例如，在线wiki或书籍集)。

此处，代替构建预测给定句子标签的分类器函数，生成嵌入函数g(s)，从中可以预测句子的上下文。句子的上下文被视为其含义。例如，位于以下句子之间的所有句子s：

“那只狗在追赶球。—s—绒毛无处不在。”

都可以被自然语言模型视为是相似的。因此，具有相似度g(s)的两个句子可以被视为相似。

一旦确定了g(s)，就可以识别例如对应于怀孕或脚的g(s)区域。因此，可以在不改变g(s)的情况下以g(s)的特定值添加该内容。这意味着可以在不更新统计模型的情况下将新内容(以及类别)添加到聊天机器人系统。如果该系统以前已经过医学验证，则现在唯一需要医学验证的组件是那些最初由一种内容类型提供服务且现在由新内容类型提供服务的查询。

这大大减少了医学验证时间。

图2中示出了概念。在图2(a)中，用户在101处输入句子s。然后在103处将其转换为f(s)，其中f(s)是该句子在矢量空间中的表示，并且被转换为遍历数据库105中的可用内容的概率分布。如果将内容添加到数据库中，则将需要针对所有内容重新生成f(s)，并进行医学上的重新验证。

图2(b)示出了根据本发明实施例的方法。此处，如图2(a)中所示，用户输入短语作为句子s。然而，句子s然后被转换为嵌入函数g(s)。嵌入函数定义了多维嵌入空间125。具有相似上下文的句子将具有聚类在一起的嵌入函数g(s)。然后可以将每个聚类与内容相关联。

在图2(b)所示的示例中，第一聚类127链接到内容A，第二聚类129链接到内容B。因此，如在该示例中，句子映射到第一聚类127，将内容A作为响应返回。

图2(b)还示出了没有链接到内容的另一聚类131。该聚类是从先前的查询中发展而来的，其中多个查询已映射到嵌入空间125中的此特定合集，并且已开始形成聚类。该新聚类没有任何内容。然而，系统构造的方式允许易于发现聚类的内容不足，并且可以填补空白。通过可学习的嵌入函数g(s)将用户输入短语s嵌入到高维空间中。相似的句子s'将在高维空间中获得相似的表示。高维空间的连续区域可以链接到合适的内容。该方法可以进一步识别是否许多输入短语落入了没有内容相关联的区域中，并自动提出该缺失内容。

在上述方法中，在无监督学习期间，句子的上下文(即连续文本语料库中的周围句子)被用作信号。

图3是根据实施例的用于产生嵌入函数g(s)的架构的示意图。嵌入函数g(s)将需要执行相似度任务，例如以查找与给定目标嵌入最相似的嵌入，以及传输任务，其中在大量文本语料库上学习的分布式表示形成对更复杂的文本分析方法的初始化，例如，对单独的受监督的任务进行训练的第二模型的输入。这样的任务可能是使用句子及其相关的正面或负面情绪的数据集。然后，传输任务将建立二进制分类器，以预测给定句子嵌入的情绪。

在更详细地考虑嵌入函数之前，有用的是考虑如何将句子转换为矢量和相似度度量。

令C＝(s₁；s₂；：：：；s_N)是有序的未标记的句子的语料库，其中每个句子

都包含来自预定义词汇表V的字词。另外，x_w表示w的独热编码，而v_w是对应的(输入)字词嵌入。然后将语料库转换成对

D的集合，其中s_i∈D和c_i是s_i的上下文。在大多数情况下，可以假设对于任何句子si，其上下文ci由c_i＝(s_i-1；s_i+1)给出。

在自然语言处理中，语义相似度已映射到余弦相似度，目的是评估矢量表示与人类直觉的对应关系，其中余弦相似度(CosineSimilarity)定义为：

其中θ_ab是两个矢量a与b之间的角度，a b是欧氏点积，而||a||₂是L2范数。然而，余弦相似度的主要使用是因为该领域的早期研究人员选择此作为相关度量，以便在Word2Vec中进行优化。没有先验的理由认为这应该是人类语义相似度概念的唯一数学翻译。实际上，可以使用能够示出与我们对相似度的直觉表现相似的任何数学概念。特别地，在实施例中，将示出相似度度量的成功与编码器/解码器架构的选择有关。

成功的句子嵌入的构造必须与其对应字词的构造不同，这是因为当前没有计算机或语料库允许学习针对与任何给定任务合理相关的所有句子的独热(OH)表示的嵌入。这种实际的限制通常导致句子被构造为其组成字词的某种功能。为了避免疑问，采用OH表示来意指矢量表示，其中词汇表中的每个字词表示一维度。要了解图3中所示模型的表示，有用的是了解FASTSENT模型和Skip Thought模型。

本发明的模型和一些实施例都使用编码器/解码器模型。此处，编码器用于将句子映射到矢量，然后解码器将矢量映射到句子的上下文。

现在，将从其编码器、解码器和目的方面简要描述FastSent(FS)模型，然后简单说明为什么该模型和其它对数线性模型在相似度任务上表现如此出色。

编码器。简单的字词袋(BOW)编码器将句子s_i表示为输入字词嵌入的总和，其中h是句子表示：

解码器。解码器输出以句子s_i为条件的词汇的概率分布

其中

是字词w的输出字词嵌入。(为简洁起见，省略了偏差。)

目的。目的是使整个训练集D上给定句子s_i的上下文c_i的模型概率最大化，这等于找到可训练参数θ的最大似然估计量。

在上面的对数线性BOW解码器中，上下文c_i包含来自s_i-1和s_i+1二者的字词，并且字词的概率是独立的，从而得出

切换到负对数似然性，实现以下优化问题：

注意

目的(5)强制句子表示h_i在点积下与其上下文表示c_i相似(这不过是上下文字词的输出嵌入之和)。同时，在句子上下文中未出现的字词的输出嵌入被迫与其表示不同。

最后，用

表示余弦相似度下的接近，如果两个句子s_i和s_j具有相似的上下文，则

此外，(5)中的目的函数可确保

和

因此，遵循

换句话说，在相关上下文中出现的句子被分配了在余弦相似度cos(；)下相似的表示，因此在对数线性解码器的情况下，cos(；)是正确的相似度度量。

然而，如果将上述求和编码器替换为诸如深度或循环神经网络之类的其它任何功能，则将获得相同的结果。由此看来，在解码器相对于编码器呈对数线性的任何模型中，由编码器感应的并配备有cos(；)作为相似度度量的空间是最佳分布式表示空间：其中语义上接近的概念(或输入)距离很近且该距离相对于模型的目标而言为最佳的空间。

作为实际的推论，FastSent和相关模型在无监督相似度任务中是最好的，因为这些任务使用cos(；)来获得相似度，并因此在其最佳表示空间中评估模型。诚然，在最佳空间中评估模型本身并不能保证下游的任何良好性能，这是因为任务可能会偏离模型的假设。例如，如果句子“我的猫喜欢我的狗”和“我的狗喜欢我的猫”被标记为不同，则FastSent将没有成功的机会。然而，正如我们稍后显示的那样，在次优空间中评估模型可能会严重损害其性能。

在上述FASTSENT模型中，编码器和解码器二者都处理句子中的字词，而不考虑字词的顺序。因此，解码器和编码器都是非顺序感知的。

因此，不能对I am pregnant(我怀孕了)和am I pregnant(我怀孕了吗)这两个短语进行不同的嵌入，然而，由于这两个短语都明确与怀孕有关，因此在一些情况下这无关紧要。同样，非顺序感知的解码器无法区分可能因顺序而不同的上下文(非常类似于先前的怀孕示例)。另一方面，由于在模型中没有保留任何顺序信息并且没有保留(或计算)序列信息，因此该模型的内存占用极低，并且训练速度也非常快。

相反，skip thought模型使用顺序感知的嵌入函数和顺序感知的解码函数。该模型由循环编码器以及两个循环解码器组成，其可以逐字有效地预测句子的上下文。虽然计算复杂，但它目前是用于受监督传输任务的最先进模型。具体来说，它使用门控循环单元(GRU)。

r^t＝σ(W_rv^t+U_rh^t-1)， (7)

z^t＝σ(W_zv^t+U_zh^t-1)， (8)

其中⊙表示按元素(Hadamard)乘积。

解码器。在前的和在后的句子解码器也是GRU。两者的初始状态由编码器的最终状态给出

并且更新等式与等式(7)至(10)相同。

将在前的句子解码器的时间展开状态转换为以句子si和所有先前出现的字词为条件的词汇上的概率分布：

类似地计算在后的句子解码器的输出

目标。给定句子s_i的上下文c_i的概率定义为：

p_model(c_i|s_i；θ)＝p_model(s_i-1|s_i；θ)×p_model(s_i+1|s_i；θ）. (13)

其中

并且对于p_model(s_i+1|s_i；θ)是类似的。

可以得到θ的MLE

使用

表示矢量级联，并注意

句子表示

现在是两个解码器的隐藏状态的有序级联。如前所述，

在点积下必须与上下文表示c_i相似(在这种情况下是上下文字词的输出嵌入的有序级联)。类似地，

与在上下文中不出现的u_w’的序列不同。

上述“传递性”参数保持不变，除了解码器隐藏状态序列的长度可能因句子而异之外。为避免此问题，可以将它们正式视为l²中的无限维矢量，该序列仅占用有限数量的初始分量，其余分量设置为零。可替代地，我们可以就最大序列长度(可以从语料库得出)达成一致。

无论如何，上述配备有余弦相似度的空间(展开的级联解码器状态)是具有循环解码器的模型的最佳表示空间。因此，此空间可能是无监督相似度任务的更优候选者。

实际上，在由编码器感应的空间(编码器输出空间)中评估了诸如SkipThought之类的模型，其中余弦相似度不是相对于目标的最佳度量。通过使用

表示模型的解码器部分，配备了新相似度

的编码器空间再次成为最佳空间。虽然上述是对记号法的更改，但表明模型可能具有许多最佳空间，并且可以使用网络本身的层来构建它们。

然而，解码器的级联隐藏状态导致非常高的维度矢量，这对于一些应用可能是不希望的。

因此，在实施例中，隐藏状态可以被平均并且这实际上稍微改善了结果。直观上，这对应于破坏模型已学习的字词顺序信息。性能增益可能是由于下游任务的性质所致。另外，由于在推理期间展开解码器的方式，可以观察到“softmax漂移效应”，对于较长序列，这会导致性能下降。

如上所述，图3示出了根据实施例的架构。此处，GRU编码器用于生成当前句子表示。由此，使用FS的BOW解码器执行解码，从而给出期望的对数线性行为，而无需提取解码器的状态所需得任何额外工作。在该实施例中，解码器包括三个解码器，一个对应于当前句子，一个对应于相邻句子中的每个句子。尽管如此，可能只有2个解码器，每个对应于相邻句子中的每个句子。

在另一实施例中，如图4中所示，再次，编码器或解码器中的一个是顺序感知的，而另一个是非顺序感知的。然而，在图4中，编码器是非顺序感知的，且解码器是顺序感知的。

再次参考图1，将描述系统操作的细节。首先，当接收到输入查询时，将其标记化，如图5中所示。接着，在学习的矢量表示字典中查找每个字词的矢量表示，并添加“串结尾”元素。最后，参考图3对模型进行描述，以给出表示R。

添加了串结尾元素E，以便系统知道该短语的结尾。虽然上面已经使用了术语句子，但是并不需要句子是精确的语法句子，该句子可以是任何短语，例如，可以是连接在一起的3或4个句子的等同物，甚至可以是部分句子。

图6是示出如何执行内容查找的流程图。如关于图5所说明，得出输入查询R150。

在内容查找过程中，数据被存储在数据库160中。数据库160既包括内容数据C，又包括内容数据C如何映射到参考图2(b)描述的嵌入空间的区域。

图2(b)中作为附图标记125示出的嵌入空间可以是解码器输出空间的编码器输出空间。编码器输出空间是图3中GRU的输出，其中解码器输出空间是当前句子的BOW解码器的输出，如图3中所示。

如果使用编码器输出空间，则存储在数据库116中的数据需要将编码器输出空间的区域映射到内容。类似地，如果使用解码器输出空间，则数据库160需要保存与内容和解码器输出空间之间的映射有关的数据。

在实施例中，使用解码器输出空间。当使用解码器输出空间时，发现上述相似度度量更加精确，这是因为到解码器输出空间的变换将坐标系更改为更容易支持余弦相似度计算的坐标系。

在步骤S171中，使用相似度度量来确定输入查询或与映射到数据库160中的内容的嵌入空间的区域的相似度或接近度。如上所述，可以使用余弦相似度，但是也可以使用其它相似度。

然后在步骤S173中将内容C₁布置在列表中，由此按照相似度顺序将内容布置在列表中。接着，在步骤S175中，提供过滤器，其中如果相似度超过阈值，则保留数据。

在步骤S177中，然后执行检查以查看列表是否为空。如果不是，则在步骤S179中将内容列表返回给用户。然而，如果列表为空，则该方法进行到步骤S181。此处，将查询与输入查询一起提交给内容创作服务，将参考图7对其进行描述。接着，在步骤S183中，将空列表返回给用户。

系统能够容易地确定用户所请求的内容是否不存在的能力使系统能够发现系统中的缺失内容。该系统可以自动识别是否有许多用户输入落入与任何合适内容不相关的高维嵌入空间的区域。这可能是当前事件的结果，当前事件驱使用户要求关于系统中尚不支持的内容的信息(例如，类似于Zika病毒的疾病爆发将触发许多关于此话题的用户输入)。目前，发现缺失内容是用户输入进行手动探索来指导的完全手动过程，这是因为它们由我们的生产系统(由领域专家，例如临床医生)进行记录。提出的系统大大减轻了所需的人工干预，并指导医生努力创建用户当前所需的内容。

在图7中，接收到新的询问R150。此处，数据库200是聚类的数据库。为避免疑问，聚类是已确定为在嵌入式空间中相似的点的集合。对于每个聚类，将在步骤S201中确定新查询R是否应位于聚类内。如前所述，这是通过计算相似度来完成的。

接着，在步骤203中，如果相似度大于阈值(即，新查询接近于形成聚类的先前查询)，则在步骤S205中将新查询添加到现有聚类。

如果新查询与先前的任何聚类都不相似，则在步骤S207中创建新聚类，并将新查询添加到该新聚类。

在步骤S209中，如果在步骤S205中已将新查询添加到现有聚类中，则在步骤S209中确定该聚类中的点数是否超过阈值。由于点数对应于聚集在嵌入式空间中的特定区域中的查询的数量，因此这表明许多用户正在寻找当前系统无法提供的内容。如果满足该标准，则在步骤S211中，向医生标记该聚类以将内容添加到数据库。一旦为新聚类添加了内容，就将内容添加到数据库160(如参考图6所述)。然后在步骤S213中从聚类数据库200中移除该聚类。

上述示例已经讨论了聚类的形成。有许多可能的用于聚类矢量的方法。一种基于矢量相似度的矢量迭代聚类的方法从一个空的聚类列表开始，其中聚类具有描述其位置的单个矢量(聚类矢量)以及相关的句子矢量列表。给定新的句子矢量，针对聚类列表中的所有聚类矢量测量它的余弦相似度。如果句子矢量与聚类矢量的余弦相似度超过预定阈值，则将句子矢量添加到与聚类相关联的列表。如果没有聚类矢量符合该标准，则将新聚类添加到聚类列表，其中聚类矢量对应于句子矢量，并且关联列表包含该句子矢量作为其唯一条目。

该聚类机制的其它实例化可能会添加每个聚类的相似度阈值。一旦将句子矢量添加到与该聚类相关联的句子矢量的列表中，则聚类矢量和每个聚类的相似度阈值两者都可以进行调适，使得该聚类矢量表示与该聚类相关联的所有句子矢量的均值，并且使得相似度阈值与其方差成正比。

如果聚类内句子矢量的数量超过预定阈值，则将触发针对临床医生的消息，指示他们创建适用于聚类中句子矢量列表中的所有句子的内容。一旦创建此类内容，就将从聚类列表中移除该聚类。

在基于AI的医学诊断系统中，医学专家花费了大量精力来验证模型。通过采用基于相似度的信息检索方法，可以在保证足够的临床安全性的同时将验证降至最低。

在上面已经表明，合成函数的选择确定典型的潜在表示对相似度还是对转移任务有益。此外，上述方法也示出了如何提取对相似度任务有益的表示，即使潜在表示不是对其有益。

为了提供实验验证，使用相同的总体架构但不同的解码器对几种模型进行了训练和评估。特别地，使用SentEval(标准基准)来评估受监督和无监督传输任务的句子嵌入。

模型和训练。每个模型都有用于当前句子的编码器，以及用于在前的句子和在后的句子的解码器。使用表示法ENC-DEC，对以下内容进行了训练：RNN-RNN、RNN-BOW、BOW-BOW和BOW-RNN。注意，RNN-RNN对应于SkipThought，而BOW-BOW对应于FastSent。此外，对于具有RNN解码器的模型，将展开1至10个解码器的隐藏状态，并且以下报告基于性能最佳的一个(所有结果在附录中给出)。针对连接状态这些将被称为*-RNN-concat和针对平均状态这些将被称为*-RNN-mean。所有模型都针对多伦多图书语料库进行训练，该语料库包含来自7,000多种图书的7,000万个有序句子。句子经过预处理，使得标记是小写的并且可以在空间上拆分。

评估任务。SentEval中的受监督任务包括释义识别(MSRP)、电影评论情感(MR)、产品评论情感(CR)、主观性(SUBJ)、意见极性(MPQA)和问题类型(TREC)。此外，在SICK数据集上有两个受监督任务，包含蕴含(entailment)和关联性(表示为SICK-E和SICK-R)。对于受监督任务，SentEval使用模型的嵌入作为特征，在10倍交叉验证下训练逻辑回归模型。

分类任务情况下的准确性以及与人为SICK-R提供的相似度评分的人员相关性报告如下。无监督相似度任务是STS12-16，其评分方式与SICK-R相同，但无需训练新的监督模型；换句话说，使用嵌入直接计算余弦相似度。

实现方式和超参数。目的是研究不同的解码器类型如何影响句子嵌入在各种任务上的性能。为此，我们对每个模型(编码器和解码器类型除外)使用相同的超参数和架构，以实现公平的头对头比较。具体地，对于RNN编码器和解码器，使用具有层归一化的单层GRU。所有的权重(包括字词嵌入)均在[.0:1；[0:1]上均匀初始化，并进行Adam训练，而权重没有衰减或丢弃。句子长度被剪裁或零填充为30个标记，而句子结尾标记在整个训练和评估中都会使用。在RNN编码器/解码器中使用了20k的词汇量大小，620维的字词嵌入和2400个隐藏单元。

表1：无监督相似度任务的性能。顶部部分：RNN编码器。底部部分：BOW编码器。每个部分的最佳结果以粗体显示。RNN-RNN(SkipThought)在所有任务中评分最低。切换到BOW解码器(RNN-BOW)带来了显著的改进。然而，展开解码器(RNN-RNN-mean、RNN-RNN-concat)与RNN-BOW的性能匹配。在底部部分，BOW-RNN-mean与BOW-BOW(FastSent)的性能匹配。

RNN-RNN(SkipThought)在所有任务中的性能最低，这是因为未在最佳空间中对其进行评估。切换到对数线性BOW解码器(同时保持RNN编码器)会带来显著的增益，这是因为现在已对RNN-BOW进行了最佳评估。然而，展开SkipThought(RNN-RNN-*)的解码器与RNN-BOW相当。在底部部分，可以看到展开的RNN解码器与FastSent(BOW-BOW)的性能匹配。

表2：受监督的传输任务上的性能。每个部分的最佳结果以粗体显示(由于内存限制，省略了RNN-concat的SICK-R评分)。

这种情况下的图片并不十分清晰。可以看出，更深的模型通常表现更好，但在所有任务上并不一致。奇怪的是，BOW编码器和RNNconcat解码器的不寻常组合会在大多数基准测试中带来最佳性能。

总结结果：

·对数线性解码器会在当前的无监督相似度任务上获得良好的结果。

·使用RNN解码器的隐藏状态(而不是编码器输出)可以显著提高性能。

最后，展开模型的性能在大约2-3个隐藏状态达到峰值，然后下降。原则上，人们可能希望峰值大约在语料库的平均句子长度附近。对此行为的一种可能说明是“softmax漂移效应”。由于在推理时间内没有目标句子，因此下一时间步骤的字词嵌入将使用上一步的softmax输出来生成，即

其中V是输入字词嵌入矩阵。给定周围句子可能是什么的内在含糊性，潜在的多模式softmax输出可能会使

的序列远离解码器期望的字词嵌入而“漂移”。

图8(a)和图8(b)示出了STS14任务的性能，具体取决于解码器展开的隐藏状态的数量。图8(a)的结果适用于RNN编码器，而图8(b)的适用于BOW解码器。对于RNN编码器，RNN-RNN-mean的峰值与RNN-BOW的性能相匹配，并且两种展开策略均严格胜过RNN-RNN。在BOW编码器的情况下，只有BOW-RNN-mean胜过竞争模型(可能是因为BOW编码器无法保留字词顺序信息)。

上述结果表明了在无监督传输任务上使用编码器输出作为句子嵌入器时，BOW-BOW和RNN-RNN编码器-解码器架构的性能。具体而言，已经注意到，编码器-解码器训练目标在最佳表示空间上的嵌入之间引入相似度度量，并且当该相似度度量与在无监督传输任务中使用的度量相匹配以决定哪些嵌入相似时，无监督传输性能将最大化。

结果还表明了当BOW-BOW的表示空间是其编码器输出时有更好的结果，而在RNN-RNN情况下则不是，而是通过级联解码器输出状态来构造的。然后，可以通过注意到BOW-BOW架构的先前用法正确利用其最佳表示空间而RNN-RNN架构则不能，来解释观察到的性能差距。

最后，通过与RNN-BOW进行头对头比较来阐述首选的RNN-RNN表示空间，RNN-BOW的最佳表示空间是编码器输出。在所有语义文本相似度(STS)任务中，针对不同的句子长度展开给出了介于较低性能的RNN-RNN编码器输出与较高性能的RNN-BOW编码器输出之间的性能。

最后，良好的表示是可以简化后续的学习任务的表示。具体地，对于无监督相似度任务，这实质上与模型在表示空间中分离对象的程度以及相似度度量对该空间的适用程度有关。因此，如果使用简单的架构，并且至少一个对数线性分量连接到输入和输出，则应使用相邻的矢量表示。然而，如果选择了复杂的架构，则可以使用目标函数以针对选择的给定矢量表示揭示合适的相似度度量。

虽然已经描述了某些实施例，但是这些实施例仅以示例的方式给出，并且不意图限制本发明的范围。实际上，本文描述的新颖的方法和系统可以以多种其它形式来具体实施；此外，在不脱离本发明的精神的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等效物旨在覆盖落入本发明的范围和精神内的这类修改形式。

附录

下面说明如何优化等式5中的量：

其中

q_sw＝log(x)-log(x+y)，

为简洁起见，此处省略了x和y上的句子和字词下标(但在以下等式中，应理解为它们是指给定特定句子s的给定特定字词w)，并且

得到以下导数

因此得出结论，由于x和y均为实数值的指数，因此为正，对于给定的字词w和句子s，量q_sw通过以下而增大了

(i)增加x，导致上下文中存在的字词与上下文矢量的点积增加，并且

(ii)减少y，导致所有其它字词的点积减小。

对上下文中的所有字词执行该分析会产生以下最大化：

Claims

1.一种用于响应于接收到自然语言查询而检索内容的计算机实现的方法，所述方法包括：

接收用户使用用户接口提交的自然语言查询；

从所述查询生成嵌入式句子；

确定从所接收的自然语言查询得到的嵌入式句子与从保存在数据库中的查询得到的嵌入式句子之间的相似度，所述数据库包括对保存的查询的响应的固定映射，其中所述保存的查询被表示为嵌入式句子；

检索对被确定为与所保存的查询之一相似的嵌入式句子的响应；以及

经由所述用户接口向所述用户提供所述响应。

2.根据权利要求1所述的方法，其中使用解码功能和编码功能从自然语言查询生成所述嵌入式句子，其中在所述编码功能中，将包含在所述自然语言查询中的字词映射到句子矢量，并且其中在所述解码功能中，使用所述句子矢量来预测所述自然语言查询的上下文。

3.根据权利要求2所述的方法，其中在由解码器的输出空间定义的嵌入式句子空间中，确定从所接收的自然语言查询得到的嵌入式句子与从所保存的查询得到的嵌入式句子之间的相似度。

4.根据权利要求2所述的方法，其中在由编码器的输出空间定义的嵌入式句子空间中，确定从所接收的自然语言查询得到的嵌入式句子与从所保存的查询得到的嵌入式句子之间的相似度。

5.根据权利要求2至4中任一项所述的方法，其中在所述解码功能中，包括至少三个解码器，其中一个解码器用于所述自然语言查询，且另外两个解码器用于相邻的句子。

6.根据权利要求1至5中任一项所述的方法，其中所述数据库包含医学信息。

7.一种用于确定数据库中的缺失内容的计算机实现的方法，所述数据库包含多个已知的嵌入式句子及其与内容的关系，所述方法还包括接收新查询并从所述新查询生成新的嵌入式句子，所述方法进一步确定所述新的嵌入式句子是否与已知的嵌入式句子相似，并生成指示新的嵌入式句子没有链接到内容的消息。

8.根据权利要求7所述的方法，其中将所述嵌入式句子进行聚类，并且如果新的嵌入式句子的聚类超过预定大小，则生成消息以指示需要更多内容。

9.一种用于预测句子的上下文的计算机实现的自然语言处理方法，所述方法包括使用解码功能和编码功能来接收字词序列，其中在所述编码功能中，将包含在所述字词序列中的字词映射到句子矢量，并且其中在所述解码功能中，使用所述句子矢量来预测所述字词序列的上下文，其中所述解码功能或编码功能中的一个是顺序感知的，且所述解码功能或编码功能中的另一个是非顺序感知的。

10.根据权利要求9所述的自然语言处理方法，其中所述解码功能是非顺序感知的解码功能，且所述编码功能是顺序感知的功能。

11.根据权利要求9所述的自然语言处理方法，其中所述解码功能是顺序感知的解码功能，且所述编码功能是非顺序感知的功能。

12.根据权利要求9至11中任一项所述的自然语言处理方法，其中所述顺序感知的功能包括循环神经网络，且所述非顺序感知的功能包括字词袋模型。

13.根据权利要求9至12中任一项所述的方法，其中使用通用语料库对编码器和/或解码器进行预训练。

14.根据权利要求9至13中任一项所述的方法，适于将句子串的结尾添加到所接收的字词序列，所述句子串的结尾向编码器和解码器指示所述字词序列的结尾。

15.一种包括计算机可读代码的载体介质，被配置成使计算机执行根据前述权利要求中任一项所述的方法。

16.一种用于响应于接收到自然语言查询而检索内容的系统，所述系统包括：

用户接口，适于从用户接收自然语言查询；

数据库，包括对保存的查询的响应的固定映射，其中所述保存的查询被表示为嵌入式句子；以及

处理器，所述处理器适于：

从所述查询生成嵌入式句子；

确定从所接收的自然语言查询得到的嵌入式句子与从保存在所述数据库中的查询得到的嵌入式句子之间的相似度；以及

检索对被确定为与所述保存的查询之一相似的嵌入式句子的响应.

所述用户接口适于向所述用户输出所述响应。

17.一种用于确定数据库中的缺失内容的系统，

所述系统包括：

数据库，包含多个已知的嵌入式句子及其与内容的关系，

用户接口，适于接收用户输入的查询；以及

处理器，所述处理器适于：

从新查询生成新的嵌入式句子，

确定所述新的嵌入式句子是否与已知的嵌入式句子相似；以及

生成指示新的嵌入式句子没有链接到内容的消息。

18.一种用于预测句子的上下文的自然语言处理系统，

所述系统包括用于接收用户输入的句子的用户接口、解码器和编码器，

所述编码器适于将包含在所述字词序列中的字词映射到句子矢量，

所述解码器适于使用所述句子矢量来预测所述字词序列的上下文，

其中所述解码器或编码器中的一个是顺序感知的，且所述解码器或编码器中的另一个是非顺序感知的。