CN114519350A - 关联词库生成方法、文本检索方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种关联词库生成方法、文本检索方法、装置、设备及介质。关联词库生成方法包括：获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；基于词向量提取模型提取所述样本分词的词向量；对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。通过本发明公开的技术方案，提升了检索的查准率和查全率。

Description

关联词库生成方法、文本检索方法、装置、设备及介质

技术领域

本发明实施例涉及软件技术领域，尤其涉及一种关联词库生成方法、文本检索方法、装置、设备及介质。

背景技术

随着大数据时代来临，信息资源的爆发性增长为用户提供着丰富的信息资源,如何高效，准确，快速的获得目标资源，成了信息检索领域中的一大难点。

互联网上的搜索引擎，包括一些开源全文检索工具如Elastic Search,主要是基于关键词或者基于文本内容的检索。这类检索技术，虽然在整体市场上应用广泛，但在查准率和查全率上能达到的效果有限，其对原始文本的处理方式，并不能充分表达和理解其中的语义信息，难以实现智能化的语义理解和语义检索功能，从而降低了检索结果的准确率。

发明内容

本发明提供一种关联词库生成方法、文本检索方法、装置、设备及介质，以实现提升检索的查准率和查全率。

第一方面，本发明实施例提供了一种关联词库生成方法，该方法包括：

获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

基于词向量提取模型提取所述样本分词的词向量；

对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

可选的，所述确定所述样本文本的至少一个样本分词，包括：

对所述样本文本进行文本初始处理，生成所述样本文本的至少一个初始样本分词；其中，所述文本初始处理包括分词处理和词语过滤处理；

确定各所述初始样本分词之间的分词互信息，并基于预设互信息阈值确定所述样本文本的至少一个新词；

将所述初始样本分词和所述新词确定为所述样本文本的样本分词。

可选的，所述词向量提取模型包括词组对提取模块和词向量提取模块；

相应的，所述基于词向量提取模型提取所述样本分词的词向量，包括：

基于所述词组对提取模块对所述样本分词进行词组对提取，得到所述样本分词的至少一个词组对；

基于所述词向量提取模块对各所述词组对进行向量提取，得到所述样本分词的词向量。

可选的，所述词向量提取模型的训练方法包括：

获取通用训练文本和场景训练文本；

基于所述通用训练文本对初始词向量提取模型进行模型训练，得到候选词向量提取模型；

基于所述场景训练文本对所述候选词向量提取模型进行训练，得到当前场景下的词向量提取模型。

可选的，所述对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离，包括：

对于任一样本分词的词向量，分别确定当前词向量与所述样本文本中其他词向量之间的各初始语义距离，并确定所述各初始语义距离中的最小语义距离；

若所述最小语义距离大于第一语义距离阈值，则获取所述各初始语义距离中大于第二语义距离阈值的至少一个目标语义距离。

可选的，所述基于所述语义关联度和所述样本分词生成关联词库，包括：

分别确定各所述目标语义距离在所述样本文本中对应的词向量；

将各所述词向量分别对应的至少一个样本分词作为所述当前样本分词的关联分词；

基于各所述样本分词和各所述样本分词对应的关联分词生成关联词库。

第二方面，本发明实施例提供了一种文本检索方法，该方法包括：

获取待检索文本，确定所述待检索文本的至少一个目标分词；

基于关联词库确定各所述目标分词的至少一个关联分词；其中，所述词库基于本发明任一实施例提供的关联词库确定方法所构建；

对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

第三方面，本发明实施例还提供了一种关联词库生成装置，该装置包括：

样本分词确定模块，用于获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

词向量确定模块，用于基于词向量提取模型提取所述样本分词的词向量；

语义距离确定模块，用于对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

关联词库生成模块，用于基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

第四方面，本发明实施例还提供了一种文本检索装置，该装置包括：

目标分词确定模块，用于获取待检索文本，确定所述待检索文本的至少一个目标分词；

关联词库生成模块，用于基于关联词库确定各所述目标分词的至少一个关联分词；其中，所述词库基于本发明任一实施例提供的关联词库确定方法所构建；

检索结果生成模块，用于对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

第五方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的关联词库生成方法，和/或，本发明任意实施例提供的文本检索方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的关联词库生成方法，和/或，本发明任意实施例提供的文本检索方法。

本发明实施例的技术方案通过获取至少一个样本文本，并确定样本文本的至少一个样本分词；基于词向量提取模型提取样本分词的词向量；对词向量进行聚类处理，并确定样本分词之间的语义距离；基于语义距离和样本分词生成关联词库。上述技术方案实现了从海量文本中自动提取各文本中分词之间的语义距离，并生成各分词的关联词库；该关联词库用于在信息检索中提取待检索文本的目标分词的关联分词，基于关联分词和目标分词进行检索，极大的提升了检索的准确性和全面性。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1是本发明实施例一提供的关联词库生成方法的流程示意图；

图2是本发明实施例一涉及的词组对提取的流程示意图；

图3是本发明实施例二提供的文本检索方法的流程示意图；

图4是本发明实施例三提供的关联词库生成装置的结构示意图；

图5是本发明实施例四提供的文本检索装置的结构示意图；

图6为本发明实施例五提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种关联词库生成方法的流程图，本实施例可适用于在当前场景下对待检索文本进行检索的情况。该方法可以由关联词库生成装置来执行，该装置可以由软件和/或硬件的方式来实现。

在对本发明实施例的技术方案进行介绍之前，先对实施本实施例的技术方案的应用场景进行示例性的介绍。当然，下述应用场景只是作为可选应用场景，本实施例的还可以在其他应用场景进行实施，本实施例对实施的技术方法的应用场景不加以限制。具体的，应用场景包括：在Elastic Search中使用全文检索技术对于包含关键字的文档资料查询效果较好，但在实际用户使用场景中，Elastic Search无法实现语义解析，理解用户问题背后意图，其实现的效果并不智能。

以某实际场景为例，某个政府门户网站需要提供给群众政策法规资料的查询功能，这类查询功能中若用户输入关键词“生二胎”，采用Elastic Search的全文检索技术仅仅凭借查询关键词匹配，无法将“生二胎”匹配到描述严谨的再生育政策文件。群众的口头描述语句和政策文件在关键字上并不相同，但背后存在一种深层的关联语义关系，如何显示建立这种关联语义关系，从而提高检索结果的准确性，是我们此次专利中重点需要解决的问题。

如图1所示，该方法具体包括以下步骤：

S110、获取至少一个样本文本，并确定样本文本的至少一个样本分词。

S120、基于词向量提取模型提取样本分词的词向量。

S130、对词向量进行聚类处理，并确定样本分词之间的语义距离。

S140、基于语义距离和样本分词生成关联词库。

在本发明实施例中，关联词库用于在对待检索文本进行检索时确定待检索文本中目标分词的关联分词，并将关联分词和目标分词同时作为检索词进行检索操作，生成待检索文本的检索结果，从而提高检索结果的准确性和全面性。

具体的，为了获取待检索文本的关联分词，需预先生成关联词库。具体的生成关联词库需要获取样本本文，确定样本文本的样本分词，并生成样本文本的关联分词，从而基于各样本分词和各样本分词对应的关联分词生成关联词库。

在对待检索文本检索的过程中，为了保证可以基于关联词库确定目标分词的关联分词，可以采用大量的样本文本生成关联词库。可选的，样本文本的数量可以是十万个或者其他数量，本实施例对样本文本的数量不加以限制。

进一步的，获取样本文本之后，确定样本文本的样本分词，从而可以进一步确定样本分词的关联分词。由于样本文本可以包括但不限于单词、短语和句子等各种形式的文本，所以对样本文本进行处理后得到的样本分词的数量可以是一个也可以是多个，本实施例对没一个样本文本得到的样本分词不加以限制。

具体的，确定样本文本的样本分词的方法可以是采用分词工具进行分词，也可以采用人工分词，本实施例对分词方法不加以限定。

可选的，本实施例中提供一种可选确定样本分词的方法包括：对样本文本进行文本初始处理，生成样本文本的至少一个初始样本分词；其中，文本初始处理包括分词处理和词语过滤处理；确定各初始样本分词之间的分词互信息，并基于预设互信息阈值确定样本文本的至少一个新词；将初始样本分词和新词确定为样本文本的样本分词。

具体的，以任一样本文本为例对如何确定样本分析进行介绍：采用预设的分词词表对当前样本文本进行分词处理，得到初始分词结果。进一步地，确定初始分词结果中各初始分词的词性。可选的，词性包括名词、动词等词性。进而根据各初始分词的词性对各初始分词进行词语过滤处理。具体的，采用预设的停词表对各初始分词进行词语过滤处理，保留名词，动词，短语，缩略语等特殊词性。本实施例中，停词表中包含有需要保留的词语的词性，从而得到需要保留的词性对应的分词。当然，上述分词处理方法和词语过滤方法只是可选实施例，本实施例的技术方案还可以采用神经网络模型对样本文本进行处理，从而得到当前样本文本的至少一个初始样本分词。

由于互联网更新日新月异，经常会出现一些新型词语，而分词表中并未及时记录该新型词汇，会导致样本文本进行分词处理得到的初始样本分词结果不准确，从而进一步导致检索结果的准确性降低。为了使得到的样本文本的分词结果更加全面。本实施例的技术方案采用了基于互信息的新词发现处理方法，确定样本文本中可能出现的新词，从而得到更加全面的样本分词结果。

需要说明的是，在概率论和信息论中，两个随机变量的互信息是指变量间相互依赖的量度，可以用于衡量两个事件之间的相关性。在本实施例的技术方案中采用计算各初始分词之间的分词互信息，将分词互信息高于预设互信息阈值的词组作为新词。其中，互信息阈值可以是基于各初始分词的分词互信息所确定的。

具体的，互信息的计算表达式可以是：

其中，I表示分词互信息；X，Y表示文本样本分词集合；p()表示样本分词在样本文本中出现的概率，p(x,y)表示样本分词x,y在样本文本中同时出现的概率，同时出现是指x,y在样本文本中前后同时出现。

示例性的，对当前样本进行分词处理，得到样本分词结果为A/B/C/A/C/B。基于上述互信息的表达式，P(A)＝2/6＝1/3；即可以理解为在当前样本文本中共有6个分词，其中A出现2次；P(B)＝2/6＝1/3；同样可以理解为B在当前样本文本中出现两次；进一步的，同时出现的词组有AB、BC、CA、AC和CB，共五个词组；其中，AB前后同时出现一次，则P(A，B)＝1/5。若1/5大于预设的互信息阈值，则AB可以作为当前样本文本的新词，并可以基于该新词生成当前样本文本的目标分词，以对当前样本文本进行充分检索，从而提高检索结果的准确性和全面性。

在上述实施例的基础上，本发明实施例的技术方案还可以在确定当前样本文本的新词结果之后，将得到的信息添加至分词表中，以便于后续对样本文本进行分词处理时直接生成样本文本的样本分词。

进一步的，在得到当前样本文本的初始样本分词和新词之后，将初始样本分词和信息共同作为当前样本文本的样本分词。通过得到更加全面的样本分词，从而在检索过程中的提高获取检索词的全面性，进而提高检索结果的准确性。

为了生成样本分词的关联分词，本实施例的技术方案提取样本分词的词向量，并确定各样本分词对应的词向量之间的语义距离，从而确定样本分词的关联分词。

具体的，本实施例中采用预先训练好的词向量提取模型对样本分词进行提取，从而得到样本分词的词向量。本实施例中词向量提取模型包括词组对提取模块和词向量提取模块；可选的，基于词向量提取模型提取样本分词的词向量的方法包括：基于词组对提取模块对样本分词进行词组对提取，得到样本分词的至少一个词组对；基于词向量提取模块对各词组对进行向量提取，得到样本分词的词向量。

可以解释的是，本实施例中的词向量提取模型可以包括但不限于skip-gram的开源神经网络算法。具体的，预先设置词窗算法作为词组对提取模块，并基于词窗算法提取样本分词的词组对。其中，词窗可以理解为一个固定长度的窗口，在文本中不断移动，从而生成词窗内样本分词的词语对。示例性的如图2所示，当样本分词为the时，基于预设长度的词窗提取该样本分词相邻的分词，从而生成样本分词的词组对，即(the，quick)和(the，brown)为样本分词the的词组对。

进一步的，将一个由输入层，隐藏层和输出层的神经网络算法模型作为词向量提取模型，对上述词组对进行向量提取，从而生成样本分词的词向量。

需要说明的是，为了顺利的采用词向量提取模型对样本分词进行向量提取，需要预先对词向量模型进行模型训练，基于训练好的词向量模型提高词向量提取的准确性，从而提高后续生成关联分词的准确性。

在本实施例中，采用基于skip-gram的开源神经网络算法训练词组对提取模块，即采用词窗训练算法训练词组对提取模块。当然，还可以采用其他方式对词组对提取模块进行训练。

进一步的，分别将经过词窗提取算法处理的词组对作为神经网络算法的输入层和输出层进行模型训练。其中，该神经网络算法可以是一个由输入层，隐藏层和输出层的神经网络算法模型，即词向量提取模块。具体的，输出层采用softmax方法收敛，通过神经网络的隐藏层中进行分词文件的权重学习，经过一定次数的迭代，计算得出词向量。

在上述实施例的基础上，词向量提取模型的训练方法包括：获取通用训练文本和场景训练文本；基于通用训练文本对初始词向量提取模型进行模型训练，得到候选词向量提取模型；基于场景训练文本对候选词向量提取模型进行训练，得到当前场景下的词向量提取模型。

具体的，模型训练需要通过大量的训练文本进行算法学习，从而得到训练稳定的模型。本实施例中收集互联网上海量的通用训练文本，以及检索工具所应用的行业相关的场景训练相关文本。通常行业领域的通用训练文本相对有限，无法达到较好学习效果。因此本实施例的技术方案在对词向量提取模型进行训练的过程中采用基于海量通用的通用训练样本进行初步学习，进而再采用少量行业相关的场景训练样本进行微调的神经网络算法来兼顾模型的通用性与行业场景化属性。

进一步的，在确定样本分词的词向量之后，确定各词向量之间的语义距离，并基于语义距离确定样本分词的关联分词，从而生成关联词库。

可选的，对词向量进行聚类处理，并确定样本分词之间的语义距离的方法可以包括：对于任一样本分词的词向量，分别确定当前词向量与样本文本中其他词向量之间的各初始语义距离，并确定各初始语义距离中的最小语义距离；若最小语义距离大于第一语义距离阈值，则获取各初始语义距离中大于第二语义距离阈值的至少一个目标语义距离。

具体的，本实施例的技术方案中可以采用DBSCAN算法简化聚类复杂度并自动进行词的聚类，词的距离采用空间向量的欧式距离去确定。通过设置最小词群参数和欧式距离参数，对词向量进行自动聚类。

可以解释的是，预设最小语义距离以及聚类距离半径，基于上述参数对各样本分词进行处理，从而得到各样本分词的目标语义距离。

具体的，对于当前样本文本中的任一样本分词来说，确定该样本分词的词向量，并基于该词向量和其他样本分词的词向量之间的欧式距离，并确定各欧式距离中的最小欧式距离。进一步的，若最小欧式距离大于第一语义距离阈值，即预设的最小语义距离，则获取上述欧式距离中大于第二语义距离阈值，即预设的聚类距离半径的欧式距离，并将上述欧式距离确定为当前样本分词的目标语义距离。需要说明的是，上述采用欧式距离的确定方法确定语义距离的方式只是可选实施例，本实施例还可以采用其他距离公式计算语义距离，本实施例对此不加以限制。

在上述实施例的基础上，本实施例的技术方案还包括基于上述目标语义距离生成各样本分词之间的语义关系，并基于上述语义关系结果生成图关系，并以两种方案存储。具体的，一种是将结果存储在图数据库中，以节点和边关系将结果以图的方式进行存储。另一种存储方式是以关系型数据库的点边关系入库存储。当然，还可以是以其他行驶进行存储，本实施例对此不加以限制。

进一步的，在确定样本分词之间的语义距离之后，基于语义距离确定关联分词，从而基于关联分词和样本分词生成关联词库。

可选的，生成关联词库的方法可以包括：分别确定各目标语义距离在样本文本中对应的词向量；将各词向量分别对应的至少一个样本分词作为当前样本分词的关联分词；基于各样本分词和各样本分词对应的关联分词生成关联词库。

具体的，对于当前样本分词来说，在当前样本分词所属样本文本中，确定与当前样本分词的词向量之间符合目标语义距离要求的词向量，并进一步确定该词向量对应的其他样本分词，并将其他样本分词作为当前样本分词的关联分词。进一步的，将当前样本分词和当前样本分词的关联分词成对在数据库中关联存储。进一步的，基于上述实施例中的技术方案，将样本分词以及样本分词对应的关联分词进行关联存储，生成关联词库。

本发明实施例的技术方案通过获取至少一个样本文本，并确定样本文本的至少一个样本分词；基于词向量提取模型提取样本分词的词向量；对词向量进行聚类处理，并确定样本分词之间的语义距离；基于语义距离和样本分词生成关联词库。上述技术方案实现了从海量文本中自动提取各文本中分词之间的语义距离，并生成各分词的关联词库；该关联词库用于在信息检索中提取待检索文本的目标分词的关联分词，基于关联分词和目标分词进行检索，极大的提升了检索的准确性和全面性。

实施例二

图3为本发明实施例二提供的一种文本检索方法的流程图，本实施例可适用于在当前场景下对待检索文本进行检索的情况。该方法可以由文本检索装置来执行，该装置可以由软件和/或硬件的方式来实现。

如图3所示，该方法具体包括以下步骤：

S210、获取待检索文本，确定待检索文本的至少一个目标分词。

S220、基于关联词库确定各目标分词的至少一个关联分词。

S230、对目标分词和关联分词进行检索，生成待检索文本的检索结果。

本实施例的技术方案，通过获取待检索文本，确定待检索文本的至少一个目标分词；基于关联词库确定各目标分词的至少一个关联分词；对目标分词和关联分词进行检索，生成待检索文本的检索结果。通过上述技术方案实现了在信息检索中提取待检索文本的目标分词的关联分词，基于关联分词和目标分词进行检索，极大的提升了检索的准确性和全面性。

以下是本发明实施例提供的关联词库生成装置和文本检索装置的实施例，该装置与上述各实施例的关联词库生成方法和文本检索方法属于同一个发明构思，在关联词库生成装置和文本检索装置的实施例中未详尽描述的细节内容，可以参考上述关联词库生成方法和文本检索方法的实施例。

实施例三

图4为本发明实施例三提供的关联词库生成装置的结构示意图，本实施例可适用于在当前场景下对待检索文本进行检索的情况。参见图4，该关联词库生成装置的具体结构包括：样本分词确定模块310、词向量确定模块320、语义距离确定模块330和关联词库生成模块340；其中，

样本分词确定模块310，用于获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

词向量确定模块320，用于基于词向量提取模型提取所述样本分词的词向量；

语义距离确定模块330，用于对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

关联词库生成模块340，用于基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

本发明实施例的技术方案通过获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；基于词向量提取模型提取所述样本分词的词向量；对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；基于所述语义距离和所述样本分词生成关联词库。上述技术方案实现了从海量文本中自动提取各文本中分词之间的语义距离，并生成各分词的关联词库；该关联词库用于在信息检索中提取待检索文本的目标分词的关联分词，基于关联分词和目标分词进行检索，极大的提升了检索的准确性和全面性。

在上述实施例的基础上，样本分词确定模块310，包括：

初始样本分词生成单元，用于对所述样本文本进行文本初始处理，生成所述样本文本的至少一个初始样本分词；其中，所述文本初始处理包括分词处理和词语过滤处理；

新词确定单元，用于确定各所述初始样本分词之间的分词互信息，并基于预设互信息阈值确定所述样本文本的至少一个新词；

样本分词确定单元，用于将所述初始样本分词和所述新词确定为所述样本文本的样本分词。

在上述实施例的基础上，所述词向量提取模型包括词组对提取模块和词向量提取模块；

相应的，词向量确定模块320，包括：

词组对提取单元，用于基于所述词组对提取模块对所述样本分词进行词组对提取，得到所述样本分词的至少一个词组对；

词向量提取单元，用于基于所述词向量提取模块对各所述词组对进行向量提取，得到所述样本分词的词向量。

在上述实施例的基础上，该装置还包括：

所述词向量提取模型的训练方法包括：

获取通用训练文本和场景训练文本；

基于所述通用训练文本对初始词向量提取模型进行模型训练，得到候选词向量提取模型；

基于所述场景训练文本对所述候选词向量提取模型进行训练，得到当前场景下的词向量提取模型。

在上述实施例的基础上，语义距离确定模块330，包括：

最小语义距离确定单元，用于对于任一样本分词的词向量，分别确定当前词向量与所述样本文本中其他词向量之间的各初始语义距离，并确定所述各初始语义距离中的最小语义距离；

目标语义距离确定单元，用于若所述最小语义距离大于第一语义距离阈值，则获取所述各初始语义距离中大于第二语义距离阈值的至少一个目标语义距离。

在上述实施例的基础上，关联词库生成模块340，包括：

词向量确定单元，用于分别确定各所述目标语义距离在所述样本文本中对应的词向量；

关联分词确定单元，用于将各所述词向量分别对应的至少一个样本分词作为所述当前样本分词的关联分词；

关联词库生成单元，用于基于各所述样本分词和各所述样本分词对应的关联分词生成关联词库。

本发明实施例所提供的关联词库生成装置可执行本发明任意实施例所提供的关联词库生成方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的文本检索装置的结构示意图，本实施例可适用于在当前场景下对待检索文本进行检索的情况。参见图5，该文本检索装置的具体结构包括：目标分词确定模块410、关联词库生成模块420和检索结果生成模块430；其中，

目标分词确定模块410，用于获取待检索文本，确定所述待检索文本的至少一个目标分词；

关联词库生成模块420，用于基于关联词库确定各所述目标分词的至少一个关联分词；

检索结果生成模块430，用于对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

本实施例的技术方案，通过获取待检索文本，确定所述待检索文本的至少一个目标分词；基于关联词库确定各所述目标分词的至少一个关联分词；对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。通过上述技术方案实现了在信息检索中提取待检索文本的目标分词的关联分词，基于关联分词和目标分词进行检索，极大的提升了检索的准确性和全面性。

本发明实施例所提供的关联词库生成装置可执行本发明任意实施例所提供的关联词库生成方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述关联词库生成装置和文本检索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图6为本发明实施例五提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算电子设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及样本数据获取，例如实现本发实施例所提供的一种关联词库生成方法步骤和一种文本检索方法步骤；可选的，关联词库生成方法包括：

获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

基于词向量提取模型提取所述样本分词的词向量；

对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

可选的，文本检索方法包括：

获取待检索文本，确定所述待检索文本的至少一个目标分词；

基于关联词库确定各所述目标分词的至少一个关联分词；

对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的样本数据获取方法的技术方案。

实施例六

本实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如实现本发实施例所提供的一种关联词库生成方法步骤和一种文本检索方法步骤；可选的，关联词库生成方法包括：

获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

基于词向量提取模型提取所述样本分词的词向量；

对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

可选的，文本检索方法包括：

获取待检索文本，确定所述待检索文本的至少一个目标分词；

基于关联词库确定各所述目标分词的至少一个关联分词；

对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种关联词库生成方法，其特征在于，包括：

获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

基于词向量提取模型提取所述样本分词的词向量；

对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

2.根据权利要求1所述的方法，其特征在于，所述确定所述样本文本的至少一个样本分词，包括：

对所述样本文本进行文本初始处理，生成所述样本文本的至少一个初始样本分词；其中，所述文本初始处理包括分词处理和词语过滤处理；

确定各所述初始样本分词之间的分词互信息，并基于预设互信息阈值确定所述样本文本的至少一个新词；

将所述初始样本分词和所述新词确定为所述样本文本的样本分词。

3.根据权利要求1所述的方法，其特征在于，所述词向量提取模型包括词组对提取模块和词向量提取模块；

相应的，所述基于词向量提取模型提取所述样本分词的词向量，包括：

基于所述词组对提取模块对所述样本分词进行词组对提取，得到所述样本分词的至少一个词组对；

基于所述词向量提取模块对各所述词组对进行向量提取，得到所述样本分词的词向量。

4.根据权利要求3所述的方法，其特征在于，所述词向量提取模型的训练方法包括：

获取通用训练文本和场景训练文本；

基于所述通用训练文本对初始词向量提取模型进行模型训练，得到候选词向量提取模型；

基于所述场景训练文本对所述候选词向量提取模型进行训练，得到当前场景下的词向量提取模型。

5.根据权利要求1所述的方法，其特征在于，所述对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离，包括：

对于任一样本分词的词向量，分别确定当前词向量与所述样本文本中其他词向量之间的各初始语义距离，并确定所述各初始语义距离中的最小语义距离；

若所述最小语义距离大于第一语义距离阈值，则获取所述各初始语义距离中大于第二语义距离阈值的至少一个目标语义距离。

6.根据权利要求5所述的方法，其特征在于，所述基于所述语义关联度和所述样本分词生成关联词库，包括：

分别确定各所述目标语义距离在所述样本文本中对应的词向量；

将各所述词向量分别对应的至少一个样本分词作为所述当前样本分词的关联分词；

基于各所述样本分词和各所述样本分词对应的关联分词生成关联词库。

7.一种文本检索方法，其特征在于，包括：

获取待检索文本，确定所述待检索文本的至少一个目标分词；

基于关联词库确定各所述目标分词的至少一个关联分词；其中，所述词库基于上述权利要求1-5中任一关联词库确定方法所构建；

对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

8.一种关联词库生成装置，其特征在于，包括：

样本分词确定模块，用于获取至少一个样本文本，并确定所述样本文本的至少一个样本分词；

词向量确定模块，用于基于词向量提取模型提取所述样本分词的词向量；

语义距离确定模块，用于对所述词向量进行聚类处理，并确定所述样本分词之间的语义距离；

关联词库生成模块，用于基于所述语义距离和所述样本分词生成关联词库；其中，所述关联词库用于在对待检索文本进行检索时确定所述待检索文本中目标分词的关联分词。

9.一种文本检索装置，其特征在于，包括：

目标分词确定模块，用于获取待检索文本，确定所述待检索文本的至少一个目标分词；

关联词库生成模块，用于基于关联词库确定各所述目标分词的至少一个关联分词；其中，所述词库基于上述权利要求1-5中任一关联词库确定方法所构建；

检索结果生成模块，用于对所述目标分词和所述关联分词进行检索，生成所述待检索文本的检索结果。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的关联词库生成方法，和/或，权利要求7所述的文本检索方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的关联词库生成方法，和/或，权利要求7所述的文本检索方法。

Images