CN110019676A - 一种在查询信息中识别核心词的方法、装置和设备 - Google Patents

Abstract

本发明公开了一种在查询信息中识别核心词的方法。该方法包括：接收用户提供的目标查询信息；对目标查询信息进行分词，得到初始关键词；将初始关键词输入到机器学习模型中，并基于机器学习模型的输出结果，从初始关键词中确定出目标核心词；其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；在所述机器学习模型中包括LSTM网络；所述LSTM网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。此外，本发明还公开了一种在查询信息中识别核心词的装置和设备。

Description

一种在查询信息中识别核心词的方法、装置和设备

技术领域

本发明涉及搜索技术领域，特别是涉及一种在查询信息中识别核心词的方法、装置和设备。

背景技术

目前，信息搜索已经成为一种非常常用的网络服务。在信息搜索的过程中，搜索引擎可以基于用户提供的查询信息，查找与该查询信息相匹配的搜索结果反馈给用户。在许多情况下，用户提供的查询信息非常长。若基于完整的查询信息进行搜索，搜索引擎可能难以查找到相匹配的搜索结果。为此，考虑到较长的查询信息中通常既存在与用户查询意图相关性较强的核心词又存在与用户查询意图相关性较弱的非核心词，搜索引擎可以先从查询信息中识别出核心词，再基于核心词查找搜索结果。这样，不仅反馈给用户的搜索结果能够符合用户查询意图，而且无法查找到搜索结果的情况也在很大程度上得以避免。

但是，在传统的核心词识别技术中，并没有考虑到查询信息中词之间的上下文关系，这样就导致核心词识别可能不准确。

发明内容

本发明所要解决的技术问题是，提供一种在查询信息中识别核心词的方法、装置和设备，以使得查询信息中词之间的上下文关系能够作为影响因素用于核心词的识别，从而使得核心词的识别能够更加准确。

第一方面，为解决上述技术问题，本发明实施例提供了一种在查询信息中识别核心词的方法，包括：

接收用户提供的目标查询信息；

对所述目标查询信息进行分词，得到初始关键词；

将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词对应的词向量具体为词嵌入向量。

可选的，所述长时间记忆网络的输入序列还包括第二序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，在所述机器学习模型中还包括条件随机场模型，所述条件随机场模型的输入序列包括所述长时间记忆网络的输出序列，在所述条件随机场模型中包括用于表示不同分类结果之间转移概率的概率转移矩阵。

可选的，所述条件随机场模型的输入序列还包括第三序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词的特性特征对应的向量具体为采用密集嵌入表示的向量。

可选的，所述长时间记忆神经网络具体为双向长时间记忆神经网络。

可选的，所述对所述目标查询信息进行分词，得到初始关键词，具体为：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词；

所述初始关键词对应的词向量具体为按照字符的分布式表示方案方式得到的向量。

第二方面，为解决上述技术问题，本发明实施例提供了一种在查询信息中识别核心词的装置，包括：

接收单元，用于接收用户提供的目标查询信息；

分词单元，用于对所述目标查询信息进行分词，得到初始关键词；

识别单元，用于将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词对应的词向量具体为词嵌入向量。

可选的，所述长时间记忆网络的输入序列还包括第二序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，在所述机器学习模型中还包括条件随机场模型，所述条件随机场模型的输入序列包括所述长时间记忆网络的输出序列，在所述条件随机场模型中包括用于表示不同分类结果之间转移概率的概率转移矩阵。

可选的，所述条件随机场模型的输入序列还包括第三序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词的特性特征对应的向量具体为采用密集嵌入表示的向量。

可选的，所述长时间记忆神经网络具体为双向长时间记忆神经网络。

可选的，所述分词单元，具体用于：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词；

所述初始关键词对应的词向量具体为按照字符的分布式表示方案得到的向量。

第三方面，为解决上述技术问题，本发明实施例提供了一种在查询信息中识别核心词的设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于如前述第一方面所提及的任意一种实施方式的方法。

第四方面，为解决上述技术问题，本发明实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前述第一方面所提及的任意一种实施方式的方法。

与现有技术相比，本发明实施例具有以下优点：

在本发明实施例中，对于由用户提供的查询信息分词得到的关键词，使用机器学习模型来从关键词中识别出核心词。在该机器学习模型中使用了以序列作为输入和输出的长时间记忆(英文：Long Short-Term Memory，简称：LSTM)网络，从而，LSTM网络的输入序列可以采用由关键词对应的词向量按照关键词在查询信息中的上下文位置排列而成的序列。由此可见，查询信息中的各个关键词在输入到机器学习模型中时能够保留各个关键词在查询信息中的上下文关系，各个关键词在查询信息中的上下文关系就能够作为影响因素参与到在机器学习模型运算过程中，从而影响机器学习模型的输出结果以及由输出结果确定出来的核心词。因此，查询信息中词之间的上下文关系能够作为影响因素用于核心词的识别，从而使得核心词的识别更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一个示例性应用场景的框架示意图；

图2为本发明实施例中一种在查询信息中识别核心词的方法的流程示意图；

图3为本发明实施例中一种机器学习模型示例的架构示意图；

图4为本发明实施例中一种在查询信息中识别核心词的装置的结构示意图；

图5为本发明实施例中一种在查询信息中识别核心词的设备的结构示意图；

图6为本发明实施例中一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

申请人经过研究发现，查询信息中词之间的上下文关系会影响到核心词的识别结果。例如，假设查询信息A和查询信息B都包括词a、词b和词c，这三个词在查询信息A中的上下文关系是abc而在查询信息B中的上下文关系是cba，则有可能在查询信息A中b是核心词而查询信息B中b不是核心词。但是，在传统的核心词识别技术中，并没有考虑到查询信息中词之间的上下文关系。尤其是，在使用传统分类器识别核心词时，在传统分类器的输入中没有保留查询信息中词之间的上下文关系，这导致查询信息中词之间的上下文关系不能作为影响因素用于识别核心词，从而造成核心词的识别可能不够准确。

为了解决上述问题，在本发明实施例中，对于由用户提供的查询信息分词得到的关键词，使用机器学习模型来从关键词中识别出核心词。为了使得机器学习模型的输入能够保留在查询信息中关键词之间的上下文关系，在该机器学习模型中可以使用输入和输出均为序列的LSTM网络，因此，LSTM网络的输入序列可以采用由关键词对应的词向量按照关键词在查询信息中的上下文位置排列而成的序列，这样就使得查询信息中的各个关键词在输入到机器学习模型中时能够保留各个关键词在查询信息中的上下文关系。各个关键词在查询信息中的上下文关系就能够作为影响因素参与到在机器学习模型运算过程中，从而影响机器学习模型的输出结果以及由输出结果确定出来的核心词。因此，查询信息中词之间的上下文关系能够作为影响因素用于核心词的识别，从而使得核心词的识别更加准确。

举例说明，本发明实施例可以应用到如图1所示的场景。在该场景中，终端101与服务器103之间可以通过网络102进行交互。在用户触发查询操作的情况下，终端101可以获取用户提供的查询信息并向服务器103发送所述查询信息。服务器103在接收到所述查询信息之后，可以对所述目标查询信息进行分词得到初始关键词，将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词，其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练。然后，服务器103可以基于目标核心词查找搜索结果并向终端101返回，以便终端101向用户呈现搜索结果。

需要说明的是，在上述场景所提及的机器学习模型中，包括有长时间记忆网络。所述长时间记忆网络的输入序列包括第一序列。在所述第一序列中，所述初始关键词对应的词向量，按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为由服务器103执行，但是这些动作也可以部分由终端101执行、部分由服务器103执行，或者完全由终端103执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。

需要注意的是，上述场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

下面结合附图，详细说明本发明的各种非限制性实施方式。

示例性方法

参见图2，示出了本发明实施例中一种在查询信息中识别核心词的方法的流程示意图。在本实施例中，所述方法例如具体可以包括以下步骤：

201、接收用户提供的目标查询信息。

具体实现时，在用户需要进行搜索查询时，用户可以在终端上触发查询操作，以在终端上输入目标查询信息。终端基于用户输入的目标查询请求可以生成携带有目标查询信息的查询请求，并将该查询请求发送给服务器。服务器在接收到查询请求之后，可以从查询请求中提取到用户输入的目标查询请求。

202、对所述目标查询信息进行分词，得到初始关键词。

通常来说，用户提供的目标查询信息包含有多个词。为了识别目标查询信息中的目标核心词，服务器可以先对目标查询信息中进行分词，再以每个分词结果分别作为一个初始关键词，从各个初始关键词中确定出目标核心词。

例如，假设用户提供的目标查询信息为“我想查询从北京到上海的航班有哪些”，服务器可以先对该目标查询信息进行分词，所得到的初始关键词包括“我”、“想”、“查询”、“从”、“北京”、“到”、“上海”、“的”、“航班”、“有”和“哪些”。然后，服务器再从上述初始关键词中确定出目标核心词。

在本实施例中，目标查询信息可以采用任意一种分词方式进行分词处理。例如，由于在本实施例中目标查询信息中各初始关键词之间的上下文关系已被用于确定目标核心词，因此，为了使得核心词的识别更精准，目标查询信息可以按照字符进行分词，这样可以避免因分词结果不准确而导致的核心词识别不准确。具体地，202具体可以包括：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词。

203、将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词。

具体实现时，在服务器上具有已训练完成的机器学习模型。在对用户提供的目标查询信息分词得到了各个初始关键词之后，服务器可以将各个关键词输入到该机器学习模型中。经过机器学习模型的运算，服务器可以得到机器学习模型的输出结果，从而基于该输出结果确定出目标核心词。

例如，假设用户提供的目标查询信息为“我想查询从北京到上海的航班有哪些”，该目标查询信息分词得到的初始关键词可以包括“我”、“想”、“查询”、“从”、“北京”、“到”、“上海”、“的”、“航班”、“有”和“哪些”，则将上述初始关键词输入机器学习模型中，基于机器学习模型的输出结果而确定的目标核心词可以包括“北京”、“上海”和“航班”。

在本实施例中，机器学习模型表示，查询信息中的各个关键词与查询信息中的核心词之间的对应关系。因此，在将目标查询信息中的各个初始关键词输入机器学习模型之后，经过机器学习模型的运算，机器学习模型的输出结果可以用于确定目标查询信息中的目标核心词。

为了使得机器学习模型能够表示上述对应关系，机器学习模型可以预先基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行训练。其中，历史查询信息为已知其中历史核心词的查询信息，也即，对于历史查询信息来说，其中的历史关键词与其中的历史核心词都是已知的，也即，历史关键词与历史核心词具有已知的对应关系。故，该已知的对应关系可以用于训练机器学习模型，使得机器学习模型经过训练能够表示查询信息中的各个关键词与查询信息中的核心词之间的对应关系。

作为一种示例，机器学习模型的输出结果可以具体为用于表示各个关键词是否为核心词的分类结果。此时，机器学习模型可以表示，查询信息中的各个关键词与用于表示各个关键词是否为核心词的分类结果之间的对应关系。故，在将目标查询信息中的各个初始关键词输入机器学习模型之后，经过机器学习模型的运算，机器学习模型可以输出分别用于表示各个初始关键词是否为核心词的分类结果。因此，基于机器学习模型输出的分类结果就可以从各个初始关键词中确定出目标核心词。

例如，假设目标查询信息中包含三个初始关键词a、b和c，将a、b和c输入机器学习模型，机器学习模型的输出结果为y(a)、y(b)和y(c)。其中，y(a)、y(b)和y(c)分别用于表示a、b和c是否为核心词的分类结果。假设y(a)和y(b)分别具体表示a和b为核心词，而y(c)具体表示c不为核心词，则基于y(a)、y(b)和y(c)所确定出的目标核心词为a和b。

在本实施例中，为了使得各个初始关键词输入机器学习模型时能够保留各个初始关键词在目标查询信息中的上下文关系，在所述机器学习模型中可以包括输入和输出均为序列的LSTM网络，例如可以是双向LSTM网络，即BiLSTM网络。其中，所述LSTM网络的输入序列包括由各个关键词对应的词向量组成的第一序列。在所述第一序列中，各个初始关键词对应的词向量按照各个初始关键词在所述目标查询信息中的上下文位置进行排列。

例如，假设目标查询信息为“北京到上海的航班有哪些”，该目标查询信息分词得到的初始关键词可以包括“北京”、“到”、“上海”、“的”、“航班”、“有”和“哪些”。若初始关键词“北京”、“到”、“上海”、“的”、“航班”、“有”和“哪些”对应的词向量分别为a、b、c、d、e、f、g，则LSTM的输入序列可以包括第一序列[a，b，c，d，e，f，g]。

可以理解的是，在LSTM网络的输入序列中，各个初始关键词对应的词向量的排序位置之间的关系即体现了各个初始关键词在目标查询信息中的上下文关系。因此，各个初始关键词在目标查询信息中的上下文关系就参与到了机器学习模型的运算过程中，从而能够作为机器学习模型的输出结果的影响因素用于确定目标核心词。

此外，LSTM网络本身能够遗忘不太重要的信息而只记忆重要的信息，而且具备非线性拟合能力，LSTM网络还利用门机制减少了机器学习模型训练过程中可能引起的梯度爆炸和梯度弥散而更加适合长依赖序列，LSTM网络还能够使得训练过程中引入dropout防止模型过拟合而具有更好的泛化性。可见，使用LSTM的机器学习模型用于识别核心词，除了使得查询信息中词之间的上下文关系可以用于识别核心词，还具有其他多方面的优势和更好的效果。

需要说明的是，初始关键词对应的词向量可以用于对所述初始关键词自身进行标识。作为一种示例，初始关键词对应的词向量可以基于初始关键词对应的分词方式来采用相应的方式获得。例如，若初始关键词是按照字符进行分词而得到的，则所述初始关键词对应的词向量具体为按照字符的分布式表示方案得到的向量。

在一些实施方式中，为了使得初始关键词对应的词向量具有较低的维度以及使得各个初始关键词对应的词向量能够反映各个初始关键词之间在语义上的相似程度，初始关键词对应的词向量可以采用词嵌入(word embedding)向量。其中，词嵌入向量例如可以通过word2vec工具或glove工具等算法获得。具体地，通过word2vec工具或glove工具对初始关键词进行处理，所得结果即为该初始关键词对应的词嵌入向量。

在本实施例中，机器学习模型可以采用多种不同的方式对LSTM网络的输出序列进行处理，以得到机器学习模型的输出结果。

作为一种示例，在机器学习模型中除了包括LSTM网络，还可以包括Softmax模型。其中，LSTM网络的输出序列可以作为Softmax模型的输入序列，即，Softmax模型的输入序列可以包括LSTM网络的输出序列。此时，Softmax的输出序列可以作为机器学习模型的输出结果，该输出结果能够表示各个初始关键词分别作为核心词的概率，从而基于该输出结果可以从各个初始关键词中挑选出目标核心词。

作为另一种示例，在机器学习模型中除了包括LSTM网络，还可以包括条件随机场模型(英文：Conditional Random Field，简称：CRF)模型。其中，LSTM网络的输出序列可以作为CRF模型的输入序列，即，CRF模型的输入序列包括LSTM网络的输出序列。此时，CRF模型的输出序列可以作为机器学习模型的输出结果，该输出结果能够表示各个初始关键词是否为核心词的分类结果，从而基于该输出结果就可以从各个初始关键词中确定出目标核心词。

可以理解的是，从目标查询信息的整体全局考虑，每个初始关键词作为核心词的可能性与其他初始关键词作为核心词的可能性存在关联，也即，对于一个初始关键词来说，该初始关键词是否为核心词的分类结果会受到其他初始关键词是否为核心词的分类结果的影响。为了使得机器学习模型能够涵盖这种整体全局上的关联，以使得这种关联能够应用到核心词识别的过程中，在CRF模型中可以包括概率转移矩阵，该概率转移矩阵用于表示不同分类结果之间的转移概率。

作为一种示例，CRF模型可以表示为以下的表达式：

s(X,y)＝sum{A(y(i),y(i+1))}+sum{P(i,y(i))}；

其中，X表示CRF模型的输入序列；y表示CRF模型的输出序列；i表示第i个初始关键词；y(i)表示第i个初始关键词是否为核心词的分类结果；P(i,y(i))表示第i个初始关键词映射到分类结果y(i)的非归一化概率；A(i,j)为CRF模型中的转移概率矩阵，也即，A(y(i),y(i+1))表示分类结果y(i)转移到分类结果y(i+1)的概率。

在一些实施方式中，为了使得目标核心词的识别更加准确，除了基于初始关键词本身之外，还可以结合初始关键词的特性特征来识别目标核心词。其中，初始关键词的特性特征例如可以包括该初始关键词的词性、该初始关键词的词类、该初始关键词的词权、该初始关键词所在目标查询信息的长度、该初始关键词在目标查询信息中的位置、该初始关键词在目标查询信息中的tf-idf值、该初始关键词作为独立查询字符串的概率、该初始关键词与其在目标查询信息中相邻的其他初始关键词之间的信息熵、该初始关键词与其在目标查询信息中相邻的其他初始关键词之间的互信息等特征中的一个或多个。

为了实现结合初始关键词本身和初始关键词的特性特征来识别目标核心词，所述机器学习模型的输入除了包括初始关键词本身对应的词向量，还可以包括初始关键词的特性特征对应的向量。具体地，初始关键词的特性特征对应的向量可以形成序列，该序列可以用于输入所述机器学习模型。

在本实施例中，对于由初始关键词的特性特征对应的向量形成的序列，基于该序列在机器学习模型中的不同输入位置，提供以下两种可能的实现方式。

作为一种示例，由初始关键词的特性特征对应的向量形成的序列，可以作为所述机器学习模型中的LSTM网络的输入序列。具体地，所述LSTM网络的输入序列，除了包括前述的第一序列，还可以包括第二序列。在所述第二序列中，所述初始关键词的特性特征对应的向量可以按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

作为另一种示例，在机器学习模型中包括CRF模型的情况下，由初始关键词的特性特征对应的向量形成的序列，可以作为所述CRF模型的输入序列。具体地，所述CRF模型的输入序列，除了包括前述的LSTM网络的输出序列，还可以包括第三序列。在所述第二序列中，所述初始关键词的特性特征对应的向量可以按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

在一些实施方式中，为了使得初始关键词对应的词向量具有较低的维度并使得稀疏的向量数据变得更紧密，所述初始关键词的特性特征对应的向量可以采用密集嵌入(dense embedding)表示的向量。其中，密级嵌入表示的向量例如可以通过梯度提升决策树(英文：Gradient Boosting Decision Tree，简称：GBDT)、分解机(英文：FactorizationMachine，简称：FM)、场意识分解机(英文：Field-aware Factorization Machine，简称：FFM)或卷积神经网络(英文：Convolutional Neural Network，简称：CNN)等算法获得。具体地，通过已训练的GBDT、FM、FFM或CNN对初始关键词的特性特征进行处理，所得结果即为该初始特征的特性特征的密集嵌入向量。

在一种示例性的场景中，机器学习模型例如可以采用如图3所示的架构。在该机器学习模型中，可以包括“Forward LSTM”和“Backward LSTM”组成的BiLSTM以及“CRF Layer”所表示的CRF模型，其中，CRF模型的输入序列为BiLSTM的输出序列。“QUERY”表示目标查询信息分词得到的初始关键词，“word embedding”表示初始关键词对应的词嵌入向量，词嵌入向量组成的序列可以作为BiLSTM的输入序列。“sparse features”表示初始关键词的特性特征，“dense embedding”表示初始关键词的特性特征对应的密集嵌入向量，密集嵌入向量组成的序列也作为BiLSTM的输入序列。需要说明的是，图3所示的机器学习模型仅仅是示例性的，本实施例中机器学习模型的架构不限于该示例所示出的架构。

在本实施例中，对于由用户提供的查询信息分词得到的关键词，使用机器学习模型来从关键词中识别出核心词。在该机器学习模型中使用了以序列作为输入和输出的LSTM网络，从而，LSTM网络的输入序列可以采用由关键词对应的词向量按照关键词在查询信息中的上下文位置排列而成的序列。由此可见，查询信息中的各个关键词在输入到机器学习模型中时能够保留各个关键词在查询信息中的上下文关系，各个关键词在查询信息中的上下文关系就能够作为影响因素参与到在机器学习模型运算过程中，从而影响机器学习模型的输出结果以及由输出结果确定出来的核心词。因此，查询信息中词之间的上下文关系能够作为影响因素用于核心词的识别，从而使得核心词的识别更加准确。

示例性设备

参见图4，示出了本发明实施例中一种在查询信息中识别核心词的装置的结构图。所述装置例如可以包括：

接收单元401，用于接收用户提供的目标查询信息；

分词单元402，用于对所述目标查询信息进行分词，得到初始关键词；

识别单元403，用于将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词对应的词向量具体为词嵌入向量。

可选的，所述长时间记忆网络的输入序列还包括第二序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，在所述机器学习模型中还包括条件随机场模型，所述条件随机场模型的输入序列包括所述长时间记忆网络的输出序列，在所述条件随机场模型中包括用于表示不同分类结果之间转移概率的概率转移矩阵。

可选的，所述条件随机场模型的输入序列还包括第三序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词的特性特征对应的向量具体为采用密集嵌入表示的向量。

可选的，所述长时间记忆神经网络具体为双向长时间记忆神经网络。

可选的，所述分词单元402，具体用于：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词；

所述初始关键词对应的词向量具体为按照字符的分布式表示方案得到的向量。

在本实施例中，对于由用户提供的查询信息分词得到的关键词，使用机器学习模型来从关键词中识别出核心词。在该机器学习模型中使用了以序列作为输入和输出的LSTM网络，从而，LSTM网络的输入序列可以采用由关键词对应的词向量按照关键词在查询信息中的上下文位置排列而成的序列。由此可见，查询信息中的各个关键词在输入到机器学习模型中时能够保留各个关键词在查询信息中的上下文关系，各个关键词在查询信息中的上下文关系就能够作为影响因素参与到在机器学习模型运算过程中，从而影响机器学习模型的输出结果以及由输出结果确定出来的核心词。因此，查询信息中词之间的上下文关系能够作为影响因素用于核心词的识别，从而使得核心词的识别更加准确。

参照图5，装置1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1806，音频组件1810，输入/输出(I/O)的接口1812，传感器组件1814，以及通信组件1816。

处理组件1802通常控制装置1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理部件1802可以包括多媒体模块，以方便多媒体组件1806和处理组件1802之间的交互。

存储器1804被配置为存储各种类型的数据以支持在设备1800的操作。这些数据的示例包括用于在装置1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1806为装置1800的各种组件提供电力。电源组件1806可以包括电源管理系统，一个或多个电源，及其他与为装置1800生成、管理和分配电力相关联的组件。

多媒体组件1806包括在所述装置1800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1806包括一个前置摄像头和/或后置摄像头。当设备1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当装置1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1816发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。

I/O接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1814包括一个或多个传感器，用于为装置1800提供各个方面的状态评估。例如传感器组件1814可以检测到设备1800的打开/关闭状态，组件的相对定位，例如所述组件为装置1800的显示器和小键盘，传感器组件1814还可以检测装置1800或装置1800一个组件的位置改变，用户与装置1800接触的存在或不存在，装置1800方位或加速/减速和装置1800的温度变化。传感器组件1814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1816被配置为便于装置1800和其他设备之间有线或无线方式的通信。装置1800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件1816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

具体地，本发明实施例提供了一种信息回复设备，该设备可以具体为装置1800，包括有存储器1804，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器1804中，且经配置以由一个或者一个以上处理器1820执行所述一个或者一个以上程序包含用于进行以下操作的指令：

一种在查询信息中识别核心词的设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

接收用户提供的目标查询信息；

对所述目标查询信息进行分词，得到初始关键词；

将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词对应的词向量具体为词嵌入向量。

可选的，所述长时间记忆网络的输入序列还包括第二序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，在所述机器学习模型中还包括条件随机场模型，所述条件随机场模型的输入序列包括所述长时间记忆网络的输出序列，在所述条件随机场模型中包括用于表示不同分类结果之间转移概率的概率转移矩阵。

可选的，所述条件随机场模型的输入序列还包括第三序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

可选的，所述初始关键词的特性特征对应的向量具体为采用密集嵌入表示的向量。

可选的，所述长时间记忆神经网络具体为双向长时间记忆神经网络。

可选的，所述处理器1820还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词；

所述初始关键词对应的词向量具体为按照字符的分布式表示方案得到的向量。

本发明实施例还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1804，上述指令可由装置1800的处理器1820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前述图2所示的实施例中提及的任意一种实施方式的方法。

图6是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在查询信息中识别核心词的方法，其特征在于，包括：

接收用户提供的目标查询信息；

对所述目标查询信息进行分词，得到初始关键词；

将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

2.根据权利要求1所述的方法，其特征在于，所述初始关键词对应的词向量具体为词嵌入向量。

3.根据权利要求1所述的方法，其特征在于，所述长时间记忆网络的输入序列还包括第二序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

4.根据权利要求1所述的方法，其特征在于，在所述机器学习模型中还包括条件随机场模型，所述条件随机场模型的输入序列包括所述长时间记忆网络的输出序列，在所述条件随机场模型中包括用于表示不同分类结果之间转移概率的概率转移矩阵。

5.根据权利要求4所述的方法，其特征在于，所述条件随机场模型的输入序列还包括第三序列；在所述第二序列中，所述初始关键词的特性特征对应的向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

6.根据权利要求1所述的方法，其特征在于，所述长时间记忆神经网络具体为双向长时间记忆神经网络。

7.根据权利要求1所述的方法，其特征在于，所述对所述目标查询信息进行分词，得到初始关键词，具体为：按照字符对所述目标查询信息进行分词，以分词得到的各个字符分别作为所述初始关键词；

所述初始关键词对应的词向量具体为按照字符的分布式表示方式得到的向量。

8.一种在查询信息中识别核心词的装置，其特征在于，包括：

接收单元，用于接收用户提供的目标查询信息；

分词单元，用于对所述目标查询信息进行分词，得到初始关键词；

识别单元，用于将所述初始关键词输入到机器学习模型中，并基于所述机器学习模型的输出结果，从所述初始关键词中确定出目标核心词；

其中，所述机器学习模型已基于历史查询信息分词得到的历史关键词与所述历史查询信息中已知的历史目标词之间的对应关系进行了训练；

在所述机器学习模型中包括长时间记忆网络；所述长时间记忆网络的输入序列包括第一序列；在所述第一序列中，所述初始关键词对应的词向量按照所述初始关键词在所述目标查询信息中的上下文位置进行排列。

9.一种在查询信息中识别核心词的设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。