CN110502613B - 一种模型训练方法、智能检索方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种模型训练方法、智能检索方法、装置和存储介质，其中，获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应的第一实体和第二实体；根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据新的样本检索文本构建第二矩阵；向量化表征第一矩阵和第二矩阵，得到对应的第一向量和第二向量；根据第一向量和第二向量构建样本向量对进行排序学习，得到排序模型。相比于相关技术，本发明降低了对用户点击数据的依赖，提高了训练得到的排序模型的适用范围，利用该排序模型能够实现更准确的检索。

Description

一种模型训练方法、智能检索方法、装置和存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种模型训练方法、智能检索方法、装置和存储介质。

背景技术

目前，用户可以通过互联网检索到需求的数据，比如，用户可以访问检索服务器提供的检索界面，并在该检索界面输入需要检索的检索文本，之后，检索服务器即根据输入的检索文本进行检索，检索得到与检索文本相关的目标文本，呈现给用户。

比如，用户检索“牛肉/西红柿/做法”，按传统文本匹配计算候选文本“最/正宗/的/番茄/牛腩，连/一/滴/汤/都/不/放过”，如果说“西红柿”和“番茄”还可以通过同义词词典完全匹配得分为1，那“牛肉”和“牛腩”从字面看不匹配，得分为0，即总文本的相关性得分为(1+0)/2＝0.5分，进而候选文本与检索文本的相关程度不高，排位较后。基于此，相关技术中提出了基于深度学习的语义计算模型(如微软2015年提出的Deep Structure SematicModel，简称DSSM模型)可以通过大量数据算出“牛肉“和“牛腩”的在语义上属于近义词，有一定的语义相关性得分，比如为0.8分，排位靠前。

在对现有技术的研究和实践过程中，本发明的发明人发现，相关技术中的语义计算模型依赖于历史上的用户点击数据，其适于对点击数据覆盖较多的头部检索文本进行相关性打分，而对于中长尾的的检索文本则无法准确的进行相关性打分。

发明内容

本发明实施例提供一种模型训练方法、智能检索方法、装置和存储介质，可以训练得到适用范围更广的排序模型，从而利用该排序模型进行更准确的检索。

本发明实施例提供一种模型训练方法，包括：

获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应所述样本检索文本的第一实体、对应所述样本候选文本的第二实体；

根据所述样本检索文本和所述第一实体构建新的样本检索文本，以及根据所述样本候选文本和所述第二实体构建新的样本候选文本；

根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵，以及根据所述新的样本检索文本构建第二矩阵；

向量化表征所述第一矩阵得到对应的第一向量，以及向量化表征所述第二矩阵得到对应的第二向量；

根据所述第一向量和所述第二向量构建样本向量对，并根据所述样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

本发明实施例还提供一种模型训练装置，包括：

实体确定模块，用于获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应所述样本检索文本的第一实体、对应所述样本候选文本的第二实体；

样本构建模块，用于根据所述样本检索文本和所述第一实体构建新的样本检索文本，以及根据所述样本候选文本和所述第二实体构建新的样本候选文本；

矩阵构建模块，用于根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵，以及根据所述新的样本检索文本构建第二矩阵；

向量表征模块，用于向量化表征所述第一矩阵得到对应的第一向量，以及向量化表征所述第二矩阵得到对应的第二向量；

模型训练模块，用于根据所述第一向量和所述第二向量构建样本向量对，并根据所述样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

在一实施例中，在根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵时，矩阵构建模块用于：

获取所述新的样本检索文本和所述新的样本候选文本两两词之间的相似度；

根据获取到的所述相似度构建所述第一矩阵。

在一实施例中，在向量化表征所述第一矩阵得到第一向量时，所述向量表征模块用于：

对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量。

在一实施例中，在对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量时，所述向量表征模块用于：

分别对所述第一矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量；

对所有行对应的行向量进行向量聚合，得到所述第一向量。

在一实施例中，在根据所述新的样本检索文本构建第二矩阵时，所述矩阵构建模块用于：

获取所述新的样本检索文本中每一词与所述样本检索文本的相似度，以及所述每一词在所述知识图谱中对应的实体的链接信息；

根据所述每一词对应的相似度和链接信息构建所述第二矩阵。

本发明实施例还提供一种智能检索方法，包括：

接收用户终端发送的待检索文本；

调用预先训练的排序模型，根据所述排序模型预测多个候选文本与所述待检索文本的相关程度；

根据每一所述候选文本对应的相关程度从所述多个候选文本中筛选出与所述待检索文本相关的多个目标文本；

根据每一所述目标文本对应的相关程度进行排序，得到排序信息；

将所述多个目标文本以及所述排序信息返回至所述用户终端，指示所述用户终端根据所述排序信息展示所述多个目标文本；

其中，所述排序模型采用本发明实施例提供的模型训练方法训练得到。

本发明实施例还提供一种智能检索装置，包括：

接收模块，用于接收用户终端发送的待检索文本；

调用模块，用于调用预先训练的排序模型，根据所述排序模型预测多个候选文本与所述待检索文本的相关程度；

筛选模块，用于根据每一所述候选文本对应的相关程度从所述多个候选文本中筛选出与所述待检索文本相关的多个目标文本；

排序模块，用于根据每一所述目标文本对应的相关程度进行排序，得到排序信息；

下发模块，用于将所述多个目标文本以及所述排序信息返回至所述用户终端，指示所述用户终端根据所述排序信息展示所述多个目标文本；

其中，所述排序模型采用本发明实施例提供的模型训练方法训练得到。

在一实施例中，在根据所述排序模型预测多个候选文本与所述待检索文本的相关程度时，所述调用模块用于：

从预设的知识图谱中确定出对应所述待检索文本的第三实体、对应所述候选文本的第四实体；

根据所述待检索文本和所述第三实体构建新的待检索文本，以及根据所述候选文本和所述第四实体构建新的候选文本；

根据所述新的待检索文本和所述新的候选文本构建第三矩阵，以及根据所述待检索文本和所述第三实体构建第四矩阵；

向量化表征所述第三矩阵得到对应的第三向量，以及向量化表征所述第四矩阵得到对应的第四向量；

根据所述第三向量和所述第四向量构建预测向量对，并将所述预测向量对输入所述排序模型，得到所述排序模型输出的所述候选文本与所述待检索文本的相关程度。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种模型训练方法中的步骤，或者执行本发明实施例所提供的任一种智能检索方法中的步骤。

本发明实施例通过获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应的第一实体和第二实体；根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据新的样本检索文本构建第二矩阵；向量化表征第一矩阵和第二矩阵，得到对应的第一向量和第二向量；根据第一向量和第二向量构建样本向量对进行排序学习，得到排序模型。相比于相关技术，本发明降低了对用户点击数据的依赖，提高了训练得到的排序模型的适用范围，利用该排序模型能够实现更准确的检索。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的模型训练方法的场景示意图；

图2是本发明实施例提供的模型训练方法的一流程示意图；

图3是本发明实施例中构建第一矩阵的示意图；

图4是本发明实施例中构建第二矩阵的示意图；

图5是本发明实施例中向量化表征第一矩阵得到第一向量的示意图；

图6是本发明实施例中向量化表征第二矩阵得到第二向量的示意图；

图7是本发明实施例提供的模型训练方法另一流程示意图；

图8是本发明实施例提供的模型训练装置的一结构示意图；

图9是本发明实施例提供的智能检索方法的一结构示意图；

图10是本发明实施例提供的终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

本发明实施例提供的方案涉及人工智能的自然语言处理技术，具体通过如下实施例进行说明:

本发明实施例提供一种模型训练方法、智能检索方法、装置和存储介质。

请参阅图1，图1为本发明实施例所提供的模型训练方法的场景示意图，该模型训练方法可以应用于模型训练装置，该模型训练装置具体可以集成在具备储存器并安装有处理器而具有运算能力的服务器中，例如，该服务器用于提供检索服务，可以获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体，比如，样本检索文本为“美国总统公园”，样本候选文本为“拉什莫尔山国家公园”，从预设的知识图谱中确定出对应“美国总统公园”的实体为“拉什莫尔山”，确定出对应“拉什莫尔山国家公园”的实体为“拉什莫尔山”；然后，根据样本检索文本及其对应的第一实体构建新的样本检索文本，以及根据样本候选文本及其对应的第二实体构建新的样本候选文本，比如，直接将第一实体附加在样本检索文本的尾部，得到新的样本检索文本，直接将第二实体附加在样本候选文本的尾部，得到新的样本候选文本；然后，根据新的样本检索文本和新的样本候选文本构建第一矩阵，使得第一矩阵融合了原始的样本检索文本、样本候选文本以及第一实体和第二实体的相关信息，以及根据样本检索文本和第一实体构建第二矩阵，使得第二矩阵融合了原始的样本检索文本和第一实体的相关信息；然后，向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；最后，根据第一向量和第二向量构建样本向量对，并根据构建的样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型，之后，当需要对待检索文本进行检索时，即可利用该训练得到的排序模型检索出与待检索文本相关的目标文本。

需要说明的是，图1所示的模型训练方法的场景示意图仅仅是一个示例，本发明实施例描述的模型训练方法的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着模型训练方法的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。

在本实施例中，将从模型训练装置的角度进行描述，该模型训练装置具体可以集成在具备储存器并安装有处理器的服务器中。

一种模型训练方法，包括：获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体；根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据样本检索文本和第一实体构建第二矩阵；向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

请参阅图2，图2是本发明实施例提供的模型训练方法的流程示意图。该模型训练方法可以包括：

在201中，获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体。

本发明实施例中，首先获取到样本检索文本和样本候选文本，其中，样本检索文本可以是服务器历史上接收到的检索文本，也可以是通过某种方式编写得到的检索文本，检索文本为用户检索需求的文本表达，比如，用户检索“牛肉西红柿做法”，“牛肉西红柿做法”即为检索文本。此外，样本候选文本可以来自于服务器的数据库中的候选文本，这些候选文本可由服务器从互联网爬取得到。应当说明的是，本发明中提及的检索文本即领域内习称的Query，候选文本即领域内习称的Doc。

应当说明的是，知识图谱是一种又称作语义网络的知识库，即为具有有向图结构的知识库，其由节点和连接节点的边构成，节点代表实体，边代表实体之间的各种语义关系。其中，实体可以用于表征某种事物或概率，比如人物、地点、时间、信息等，其展现形式可以为数字、文字或符合等文本形式。

本发明实施例中，在获取到样本检索文本以及样本候选文本之后，进一步从预设的知识图谱中确定出对应样本检索文本的实体，记为第一实体，以及从预设的知识图谱中确定出对应样本候选文本的实体，记为第二实体。其中，根据服务器提供检索服务所对应的领域，采用该领域对应的知识图谱来确定对应样本检索文本的第一实体，以及确定对应样本候选文本的第二实体。比如，服务器提供旅游领域的检索服务，则可以采用旅游领域的领域知识图谱来确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体；又比如，若服务器提供音乐领域的检索服务，则可采用音乐领域的领域知识图谱来确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体。

示例性的，假设服务器通过旅游旅游的检索服务，假设样本检索文本为“美国总统公园”，可以从旅游领域的领域知识图谱中确定出对应“美国总统公园”的第一实体“拉什莫尔山”。

应当说明的是，以上提及的知识图谱可以存储在服务器本地，也可以存储在云端，本发明实施例中对此不作具体限制。此外，若服务器提供的检索服务并不针对某细分领域，则可采用通用知识图谱。

在202中，根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本。

本发明实施例中，在获取到样本检索文本和样本候选文本，并确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体之后，根据样本检索文本和第一实体构建新的样本文本，使得新的样本检索文本中不仅包括原始的样本检索文本，还包括对应的知识图谱信息，以及根据样本候选文本和第二实体构建新的样本候选文本，使得新的样本候选文本中不仅包括原始的样本候选文本，还包括对应的知识图谱信息。

示例性的，在根据样本检索文本和第一实体构建新的样本检索文本时，可以直接将第一实体附加到样本检索文本的尾部，从而得到新的样本检索文本；在根据样本候选文本和第二实体构建新的样本候选文本时，同样直接将第二实体附加到样本候选文本的尾部，从而得到新的样本候选文本。

在203中，根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据新的样本检索文本构建第二矩阵。

本发明实施例中，在构建得到新的样本检索文本和新的样本候选文本之后，进一步根据新的样本检索文本和新的样本候选文本构建第一矩阵，使得该第一矩阵融合了原始的样本检索文本、样本候选文本以及第一实体和第二实体，此外，还根据新的样本检索文本构建第二矩阵，使得构建的第二矩阵融合了原始的样本检索文本和第一实体。

比如，可以将新的样本检索文本和新的样本候选文本中的词两两组合，根据这些词的组合构建第一矩阵。

在一实施例中，“根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵”，包括：

(1)获取新的样本检索文本和新的样本候选文本两两词之间的相似度；

(2)根据获取到的相似度构建第一矩阵。

本发明实施例中，可以根据新的样本检索文本和新的样本候选文本两两词之间的相似度来构建第一矩阵。

示例性的，请参照图3，假设样本检索文本为“q1；q2；q3”，第一实体为“q4；q5”，其中，q1-q5表示词，新的样本检索文本由第一实体直接附加到样本检索文本尾部得到，为“q1；q2；q3；q4；q5”，假设样本候选文本为“d1；d2”，第二实体为“d3；d4”，其中，d1-d4表示词，新的样本候选文本由第二实体直接附加到样本候选文本尾部得到，为“d1；d2；d3；d4”。

在构建第一矩阵时，获取新的样本检索文本和新的样本候选文本两两词之间的相似度，即获取q1与“d1；d2；d3；d4”之间的相似度，q2与“d1；d2；d3；d4”之间的相似度，以此类推。其中，词与词之间的相似度为对应的词嵌入向量之间的余弦相似度。比如，q1和d1之间的相似度即为：q1的词嵌入向量与d1的词嵌入向量之间的余弦相似度。然后，根据获取得到的两两词之间的相似度构建第一矩阵，如图3所示，第一矩阵的第一行即为新的样本检索文本中的第一个词q1与新的样本候选文本“d1；d2；d3；d4”中每一个词的相似度，第一矩阵的第二行即为新的样本检索文本中第二个词q2与新的样本候选文本“d1；d2；d3；d4”中每一个词的相似度，以此类推。此外，如图3所示，第一矩阵可以看做由样本检索文本和样本候选文本中两两词之间相似度构成的子矩阵、样本检索文本和第二实体中两两词之间相似度构成的子矩阵、第一实体和样本候选文本中两两词之间相似度构成的子矩阵以及第一实体和第二实体中两两词之间相似度构成的子矩阵组合而成。

应当说明的是，图3所示构建第一矩阵的方式并不构成对本发明实施例的限制，本领域普通技术人员还可以根据实际需要采用其它方式来构建第一矩阵，比如，可以新的样本候选文本为基准构建第一矩阵，即第一矩阵的第一行为新的样本候选文本中第一个词d1与新的样本检索文本“q1；q2；q3；q4；q5”中每一个词的相似度，第二行为新的样本候选文本中第二个词d2与新的样本检索文本“q1；q2；q3；q4；q5”中每一个词的相似度，以此类推。

在一实施例中，“根据新的样本检索文本构建第二矩阵”，包括：

(1)获取新的样本检索文本中每一词与样本检索文本的相似度，以及每一词在知识图谱中对应的实体的链接信息；

(2)根据每一词对应的相似度和链接信息构建第二矩阵。

本发明实施例中，可以根据新的样本检索文本中每一词与原始的样本检索文本的相似度以及其在知识图谱中对应的实体的链接信息来构建第二矩阵。其在，链接信息包括但不限于热度信息和被链接的频次信息等。

示例性的，请参照图4，假设样本检索文本为“q1；q2；q3”，第一实体为“q4；q5”，其中，q1-q5表示词，新的样本检索文本由第一实体直接附加到样本检索文本尾部得到，为“q1；q2；q3；q4；q5”。

在构建第二矩阵时，获取新的样本检索文本中每一词在知识图谱中对应的实体的链接信息，包括热度信息和频次信息，其中热度信息用于表征实体的被关注程度，频次信息用于表征实体被链接的频繁程度。此外，还获取新的样本检索文本中每一词与原始的样本检索文本“q1；q2；q3”的相似度，然后，根据获取得到的每一词对应的热度信息、频次信息以及相似度来构建第二矩阵。

如图4所示，第二矩阵的第一行即为新的样本检索文本中第一个词q1对应的热度信息、频次信息以及相似度，第二矩阵的第二行即为新的样本检索文本中第二个词q2对应的热度信息、频次信息以及相似度，以此类推。

应当说明的是，图4所示构建第二矩阵的方式并不构成对本发明实施例的限制，本领域普通技术人员还可以根据实际需要采用其它方式来构建第二矩阵，比如，构建得到的第二矩阵的第一行为新的样本检索文本中第一个词q1对应的相似度、热度信息以及频次信息，第二行为新的样本检索文本中第二个词q2对应的相似度、热度信息以及频次信息，以此类推。

在204中，向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量。

本发明实施例中，在构建得到融合了原始的样本检索文本、样本候选文本、以及第一实体和第二实体的第一矩阵，以及构建得到融合了原始的样本检索文本和第一实体的第二矩阵之后，进一步向量化表征第一矩阵，得到对应第一矩阵的第一向量，以及向量化表征第二矩阵，得到对应第二矩阵的第二向量。

在一实施例中，“向量化表征第一矩阵得到对应的第一向量”，包括：

对第一矩阵中的相似度进行卷积编码，得到对应的第一矩阵的第一向量。

本发明实施例中，可以采用对构成第一矩阵的相似度进行卷积编码的方式，来将第一矩阵编码为对应的第一向量。

在一实施例中，“对第一矩阵中的相似度进行卷积编码，得到对应的第一矩阵的第一向量”，包括：

(1)分别对第一矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量；

(2)对所有行对应的行向量进行向量聚合，得到第一向量。

示例性的，请参照图5，第一矩阵包括五行四列，在对第一矩阵中的相似度进行卷积编码时，分别对第一矩阵中每一行的相似度进行卷积编码，得到每一行对应的行向量，共五个行向量，然后再对这五个行向量进行向量聚合，得到对应第一矩阵的第一向量。

应当说明的是，本发明实施例中对于采用何种向量聚合方式来进行向量聚合，不做具体限制，可由本领域普通技术人员根据实际需要选取，比如，可以采用concat的方式进行向量聚合。

在一实施例中，“向量化表征第二矩阵得到对应的第二向量”，包括：

对第二矩阵中的数据进行卷积编码，得到对应的第二矩阵的第二向量。

本发明实施例中，可以采用对构成第二矩阵的数据进行卷积编码的方式，来将第二矩阵编码为对应的第二向量。

在一实施例中，“对第二矩阵中的数据进行卷积编码，得到对应的第二矩阵的第二向量”，包括：

(1)分别对第二矩阵每一行中的数据进行卷积编码，得到每一行对应的行向量；

(2)对所有行对应的行向量进行向量聚合，得到第二向量。

示例性的，请参照图6，第二矩阵包括五行三列，在对第二矩阵中的数据进行卷积编码时，分别对第二矩阵中每一行的数据进行卷积编码，得到每一行对应的行向量，共五个行向量，然后再对这五个行向量进行向量聚合，得到对应第二矩阵的第二向量。

应当说明的是，本发明实施例中对于采用何种向量聚合方式来进行向量聚合，不做具体限制，可由本领域普通技术人员根据实际需要选取，比如，可以采用concat的方式进行向量聚合。

在205中，根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

本发明实施例中，在将构建的第一矩阵向量化表征为第一向量，以及将构建的第二矩阵向量化表征为第二向量之后，将第一向量和第二向量组合为向量对，记为样本向量对，并根据该样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。其中，检索文本和候选文本之间的相关程度也即是检索文本和候选文本在语义上的相似度。

其中，在根据样本向量对进行排序学习时，首先可由本领域普通技术人员根据实际需要选取排序学习方法，然后确定对应的损失函数，并以最小化损失函数为目标进行优化，直至收敛，得到用于预设检索文本和候选文本之间相关程度的排序模型。其中，排序学习方法包括单文档方法、文档对方法和文档列表方法。

由上可知，本发明实施例中，首先获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体；然后根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；然后根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据新的样本检索文本构建第二矩阵；然后向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；最后，根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。相比于相关技术，本发明降低了对用户点击数据的依赖，提高了训练得到的排序模型的适用范围，利用该排序模型能够实现更准确的检索。

实施例二、

本发明实施例中还提供一种智能检索方法，请参阅图7，图7是本发明实施例提供的智能检索方法的流程示意图，该智能检索方法可以包括：

在301中，接收用户终端发送的待检索文本。

其中，用户终端提供有检索文本的输入接口，比如搜索框形式的输入接口。用户基于该输入接口接收用户输入的检索文本，该检索文本表征了用户的检索需求。用户终端在接收到用户输入的检索文本时，将接收到的检索文本作为待检索文本发送至服务器。相应的，服务器接收用户终端发送的待检索文本。

在302中，调用预先训练的排序模型，根据排序模型预测多个候选文本与待检索文本的相关程度。

应当说明的是，本发明实施例中预先训练有排序模型，该排序模型采用以上实施例中提供的模型训练方法得到，具体可参照以上实施例中的相关描述，此处不再赘述。

本发明实施例中，服务器在接收到用户终端发送待检索文本之后，进一步调用预先训练的排序模型，根据排序模型预测数据库中存储的多个候选文本与待检索文本的相关程度。数据库中的候选文本有服务器预先从互联网中爬取得到，对于采用何种爬取技术，本发明实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取。

在一实施例中，“根据排序模型预测多个候选文本与待检索文本的相关程度”，包括：

(1)从预设的知识图谱中确定出对应待检索文本的第三实体、对应候选文本的第四实体；

(2)根据待检索文本和第三实体构建新的待检索文本，以及根据候选文本和第四实体构建新的候选文本；

(3)根据新的待检索文本和新的候选文本构建第三矩阵，以及根据待检索文本和第三实体构建第四矩阵；

(4)向量化表征第三矩阵得到对应的第三向量，以及向量化表征第四矩阵得到对应的第四向量；

(5)根据第三向量和第四向量构建预测向量对，并将预测向量对输入排序模型，得到排序模型输出的候选文本与待检索文本的相关程度。

以下以对一个候选文本的预测为例进行说明。

本发明实施例中，服务器在预测候选文本与待检索文本的相关程度时，首先从预设的知识图谱中确定出对应待检索文本的实体，记为第三实体，以及从预设的知识图谱中确定出对应候选文本的实体，记为第四实体。其中，根据服务器提供检索服务所对应的领域，采用该领域对应的领域知识图谱来确定对应待检索文本的第三实体，以及确定对应候选文本的第四实体。比如，服务器提供旅游领域的检索服务，则可以采用旅游领域的领域知识图谱来确定出对应待检索文本的第三实体、对应候选文本的第四实体。

然后，服务器根据待检索文本和第三实体构建新的待检索文本，以及根据候选文本和第四实体构建新的候选文本，比如，服务器直接将第三实体附加到待检索文本的尾部，得到新的待检索文本；服务器直接将第四实体附加到候选文本的尾部，得到新的候选文本。

在构建得到新的待检索文本和新的候选文本之后，服务器进一步根据新的待检索文本和新的候选文本构建第三矩阵，使得该第三矩阵融合了原始的待检索文本、候选文本以及第三实体和第四实体，此外，还根据待检索文本和第三实体构建第四矩阵，使得构建的第四矩阵融合了原始的待检索文本和第四实体。

其中，服务器在构建第三矩阵时，可以首先获取新的待检索文本和新的候选文本两两词之间的相似度；然后根据获取到的相似度构建第三矩阵，具体可参照以上实施例中构建第一矩阵的方式相应实施，此处不再赘述。

同理，服务器在构建第四矩阵时，可以首先获取新的待检索文本中每一词与原始的待检索文本的相似度，以及每一词在知识图谱中对应的实体链接信息，然后根据每一词对应的相似度和链接信息构建第四矩阵，具体可参照以上实施例中构建第二矩阵的方式相应实施，此处不再赘述。

在构建得到第三矩阵以及第四矩阵之后，服务器进一步向量化表征第三矩阵得到对应的第三向量，以及向量化表征第四矩阵得到对应的第四向量。

其中，服务器在向量化表征第三矩阵得到对应的第三向量时，可以分别对第三矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量，然后对所有行对应的行向量进行向量聚合，得到第三向量。

同理，服务器在向量化表征第四矩阵得到对应的第四向量时，可以分别对第四矩阵每一行中的数据进行卷积编码，得到每一行对应的行向量，然后对所有行对应的行向量进行向量聚合，得到第四向量。

在向量化表征第三矩阵得到对应的第三向量，以及向量化表征第四矩阵得到对应的第四向量之后，服务器进一步将第三向量和第四向量组合为向量对，记为预测向量对，并将该预测向量对输入排序模型进行预测，得到排序模型输出的候选文本与待检索文本的相关程度。

在303中，根据每一候选文本对应的相关程度从多个候选文本中筛选出与待检索文本相关的多个目标文本。

比如，服务器可以根据每一候选文本对应的相关程度，从多个候选文本中筛选出与待检索文本相关程度最高的前预设数量的候选文本，记为目标文本。应当说明的是，本发明实施例中对于预设数量的取值不做具体限制，可由本领域普通技术人员根据实际需要设置。

在304中，根据每一目标文本对应的相关程度进行排序，得到排序信息。

比如，服务器可以根据每一目标文本对应的相关程度，按照相关程度由大至小的顺序对多个目标文本进行排序，得到对应的排序信息。

在305中，将多个目标文本以及排序信息返回至用户终端，指示用户终端根据排序信息展示多个目标文本。

服务器在排序得到排序信息之后，将筛选出的目标文本以及对应的排序信息返回至用户终端，指示用户终端根据排序信息展示服务器返回的这多个目标文本。

比如，假设服务器筛选出五个目标文本，分别为目标文本A、目标文本B、目标文本C、目标文本D以及目标文本E，假设排序信息描述的这五个目标文本的先后顺序为目标文本D、目标文本B、目标文本C、目标文本A以及目标文本E，用户终端按照由上至下的顺序，依次显示目标文本D、目标文本B、目标文本C、目标文本A以及目标文本E。

实施例三、

为了更好地实施以上模型训练方法，本发明实施例还提供一种模型训练装置，该模型训练装置具体可以集成在服务器中。

例如，如图8所示，该模型训练装置可以包括实体确定模块401、样本构建模块402、矩阵构建模块403、向量表征模块404以及模型训练模块405，如下：

实体确定模块401，用于获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体。

样本构建模块402，用于根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；

矩阵构建模块403，用于根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据新的样本检索文本构建第二矩阵；

向量表征模块404，用于向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；

模型训练模块405，用于根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

在一实施例中，在根据新的样本检索文本和新的样本候选文本构建第一矩阵时，矩阵构建模块403用于：

获取新的样本检索文本和新的样本候选文本两两词之间的相似度；

根据获取到的相似度构建第一矩阵。

在一实施例中，在向量化表征第一矩阵得到第一向量时，向量表征模块404用于：

对第一矩阵中的相似度进行卷积编码，得到对应第一矩阵的第一向量。

在一实施例中，在对第一矩阵中的相似度进行卷积编码，得到对应第一矩阵的第一向量时，向量表征模块404用于：

分别对第一矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量；

对所有行对应的行向量进行向量聚合，得到第一向量。

在一实施例中，在根据新的样本检索文本构建第二矩阵时，矩阵构建模块403用于：

获取新的样本检索文本中每一词与样本检索文本的相似度，以及每一词在知识图谱中对应的实体的链接信息；

根据每一词对应的相似度和链接信息构建第二矩阵。

实施例四、

为了更好地实施以上智能检索方法，本发明实施例还提供一种智能检索装置，该智能检索装置具体可以集成在服务器中。

例如，如图9所示，该智能检索装置可以包括接收模块501、调用模块502、筛选模块503、排序模块504以及下发模块505，如下：

接收模块501，用于接收用户终端发送的待检索文本；

调用模块502，用于调用预先训练的排序模型，根据排序模型预测多个候选文本与待检索文本的相关程度；

筛选模块503，用于根据每一候选文本对应的相关程度从多个候选文本中筛选出与待检索文本相关的多个目标文本；

排序模块504，用于根据每一目标文本对应的相关程度进行排序，得到排序信息；

下发模块505，用于将多个目标文本以及排序信息返回至用户终端，指示用户终端根据排序信息展示多个目标文本；

其中，排序模型采用本发明实施例提供的模型训练方法训练得到。

在一实施例中，在根据排序模型预测多个候选文本与待检索文本的相关程度时，调用模块502用于：

从预设的知识图谱中确定出对应待检索文本的第三实体、对应候选文本的第四实体；

根据待检索文本和第三实体构建新的待检索文本，以及根据候选文本和第四实体构建新的候选文本；

根据新的待检索文本和新的候选文本构建第三矩阵，以及根据待检索文本和第三实体构建第四矩阵；

量化表征第三矩阵得到对应的第三向量，以及向量化表征第四矩阵得到对应的第四向量；

根据第三向量和第四向量构建预测向量对，并将预测向量对输入排序模型，得到排序模型输出的候选文本与待检索文本的相关程度。

实施例五、

本发明实施例还提供一种服务器，如图10所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图10中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

服务器还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

该服务器还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体；

根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；

根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据样本检索文本和第一实体构建第二矩阵；

向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；

根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

或者，实现如下功能：

接收用户终端发送的待检索文本；

调用预先训练的排序模型，根据排序模型预测多个候选文本与待检索文本的相关程度；

根据每一候选文本对应的相关程度从多个候选文本中筛选出与待检索文本相关的多个目标文本；

根据每一目标文本对应的相关程度进行排序，得到排序信息；

将多个目标文本以及排序信息返回至用户终端，指示用户终端根据排序信息展示多个目标文本；

其中，排序模型采用本发明实施例提供的模型训练方法训练得到。

应当说明的是，本发明实施例提供的服务器与上文实施例中的适用于服务器的模型训练方法/智能检索方法属于同一构思，其具体实现过程详见以上方法实施例，此处不再赘述。

实施例六、

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有计算机程序，该计算机程序包括的多条指令能够被服务器的处理器进行加载，以执行本发明实施例所提供的适用于服务器的模型训练方法，例如：

获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应样本检索文本的第一实体、对应样本候选文本的第二实体；

根据样本检索文本和第一实体构建新的样本检索文本，以及根据样本候选文本和第二实体构建新的样本候选文本；

根据新的样本检索文本和新的样本候选文本构建第一矩阵，以及根据样本检索文本和第一实体构建第二矩阵；

向量化表征第一矩阵得到对应的第一向量，以及向量化表征第二矩阵得到对应的第二向量；

根据第一向量和第二向量构建样本向量对，并根据样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型。

或者，该计算机程序包括的多条指令能够被服务器的处理器进行加载，以执行本发明实施例所提供的适用于服务器的智能检索方法，例如：

接收用户终端发送的待检索文本；

调用预先训练的排序模型，根据排序模型预测多个候选文本与待检索文本的相关程度；

根据每一候选文本对应的相关程度从多个候选文本中筛选出与待检索文本相关的多个目标文本；

根据每一目标文本对应的相关程度进行排序，得到排序信息；

将多个目标文本以及排序信息返回至用户终端，指示用户终端根据排序信息展示多个目标文本；

其中，排序模型采用本发明实施例提供的模型训练方法训练得到。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

本发明实施例所提供的存储介质能够实现本发明实施例所提供的对应模型训练方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种模型训练方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种模型训练方法，其特征在于，包括：

获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应所述样本检索文本的第一实体、对应所述样本候选文本的第二实体；

根据所述样本检索文本和所述第一实体构建新的样本检索文本，以及根据所述样本候选文本和所述第二实体构建新的样本候选文本；

根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵，以及根据所述新的样本检索文本构建第二矩阵；

向量化表征所述第一矩阵得到对应的第一向量，以及向量化表征所述第二矩阵得到对应的第二向量；

根据所述第一向量和所述第二向量构建样本向量对，并根据所述样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型；

所述根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵的步骤，包括：获取所述新的样本检索文本和所述新的样本候选文本两两词之间的相似度，根据获取到的所述相似度构建所述第一矩阵；

所述根据所述新的样本检索文本构建第二矩阵，包括：获取所述新的样本检索文本中每一词与所述样本检索文本的相似度，以及所述每一词在所述知识图谱中对应的实体的链接信息，并根据所述每一词对应的相似度和链接信息构建所述第二矩阵；

所述向量化表征所述第一矩阵得到对应的第一向量，包括：对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量；所述对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量的步骤，包括：分别对所述第一矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量；对所有行对应的行向量进行向量聚合，得到所述第一向量；

所述向量化表征所述第二矩阵得到对应的第二向量，包括：对所述第二矩阵中的数据进行卷积编码，得到对应的所述第二矩阵的第二向量；所述对所述第二矩阵中的数据进行卷积编码，得到对应的所述第二矩阵的第二向量，包括：分别对所述第二矩阵每一行中的数据进行卷积编码，得到每一行对应的行向量，对所有行对应的行向量进行向量聚合，得到所述第二向量。

2.一种智能检索方法，其特征在于，包括：

接收用户终端发送的待检索文本；

调用预先训练的排序模型，根据所述排序模型预测多个候选文本与所述待检索文本的相关程度；

根据每一所述候选文本对应的相关程度从所述多个候选文本中筛选出与所述待检索文本相关的多个目标文本；

根据每一所述目标文本对应的相关程度进行排序，得到排序信息；

将所述多个目标文本以及所述排序信息返回至所述用户终端，指示所述用户终端根据所述排序信息展示所述多个目标文本；

其中，所述排序模型采用权利要求1所述的模型训练方法训练得到。

3.根据权利要求2所述的智能检索方法，其特征在于，所述根据所述排序模型预测多个候选文本与所述待检索文本的相关程度，包括：

从预设的知识图谱中确定出对应所述待检索文本的第三实体、对应所述候选文本的第四实体；

根据所述待检索文本和所述第三实体构建新的待检索文本，以及根据所述候选文本和所述第四实体构建新的候选文本；

根据所述新的待检索文本和所述新的候选文本构建第三矩阵，以及根据所述待检索文本和所述第三实体构建第四矩阵；

向量化表征所述第三矩阵得到对应的第三向量，以及向量化表征所述第四矩阵得到对应的第四向量；

根据所述第三向量和所述第四向量构建预测向量对，并将所述预测向量对输入所述排序模型，得到所述排序模型输出的所述候选文本与所述待检索文本的相关程度。

4.一种模型训练装置，其特征在于，包括：

实体确定模块，用于获取样本检索文本和样本候选文本，并从预设的知识图谱中确定出对应所述样本检索文本的第一实体、对应所述样本候选文本的第二实体；

样本构建模块，用于根据所述样本检索文本和所述第一实体构建新的样本检索文本，以及根据所述样本候选文本和所述第二实体构建新的样本候选文本；

矩阵构建模块，用于根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵，以及根据所述新的样本检索文本构建第二矩阵；

向量表征模块，用于向量化表征所述第一矩阵得到对应的第一向量，以及向量化表征所述第二矩阵得到对应的第二向量；

模型训练模块，用于根据所述第一向量和所述第二向量构建样本向量对，并根据所述样本向量对进行排序学习，得到用于预测检索文本与候选文本之间相关程度的排序模型；

其中，在根据所述新的样本检索文本和所述新的样本候选文本构建第一矩阵时，矩阵构建模块用于：获取所述新的样本检索文本和所述新的样本候选文本两两词之间的相似度，根据获取到的所述相似度构建所述第一矩阵；

在根据所述新的样本检索文本构建第二矩阵时，所述矩阵构建模块用于：获取所述新的样本检索文本中每一词与所述样本检索文本的相似度，以及所述每一词在所述知识图谱中对应的实体的链接信息，根据所述每一词对应的相似度和链接信息构建所述第二矩阵；

在向量化表征所述第一矩阵得到第一向量时，所述向量表征模块用于：对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量；在对所述第一矩阵中的相似度进行卷积编码，得到所述第一向量时，所述向量表征模块用于：分别对所述第一矩阵每一行中的相似度进行卷积编码，得到每一行对应的行向量，对所有行对应的行向量进行向量聚合，得到所述第一向量；

在向量化表征所述第二矩阵得到对应的第二向量时，所述向量表征模块用于：对所述第二矩阵中的数据进行卷积编码，得到对应的所述第二矩阵的第二向量；所述对所述第二矩阵中的数据进行卷积编码，得到对应的所述第二矩阵的第二向量时，所述向量表征模块用于：分别对所述第二矩阵每一行中的数据进行卷积编码，得到每一行对应的行向量，对所有行对应的行向量进行向量聚合，得到所述第二向量。

5.一种智能检索装置，其特征在于，包括：

接收模块，用于接收用户终端发送的待检索文本；

调用模块，用于调用预先训练的排序模型，根据所述排序模型预测多个候选文本与所述待检索文本的相关程度；

筛选模块，用于根据每一所述候选文本对应的相关程度从所述多个候选文本中筛选出与所述待检索文本相关的多个目标文本；

排序模块，用于根据每一所述目标文本对应的相关程度进行排序，得到排序信息；

下发模块，用于将所述多个目标文本以及所述排序信息返回至所述用户终端，指示所述用户终端根据所述排序信息展示所述多个目标文本；

其中，所述排序模型采用权利要求1所述的模型训练方法训练得到。

6.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1所述的模型训练方法，或者执行如权利要求2或3所述的智能检索方法。

7.一种服务器，其特征在于，包括：存储器，存储有应用程序；处理器，读取存储器存储的应用程序，以执行如权利要求1所述的模型训练方法，或者执行如权利要求2或3所述的智能检索方法。

Images