CN115495553A - 查询文本排序方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种查询文本排序方法，该方法包括获取目标对话文本，对目标对话文本进行召回处理，得到候选对话文本；通过预设文本模型对目标对话文本进行向量处理，得到目标文本向量，并自预设向量库中获取候选文本向量；将候选文本向量和目标文本向量输入至预设文本模型中，获取候选语义向量以及目标语义向量；对候选语义向量和目标语义向量进行预测处理，得到预测值，并根据预测值对候选对话文本进行排序处理，得到文本排序结果。本申请通过召回方式进行候选对话文本获取，使得获取候选对话文本内容更全面，从自预设向量库中获取候选文本向量，从而实现了对候选对话文本的快速排序，提高了智能客服回复的速度，进而提升了用户的体验感。

Description

查询文本排序方法、装置、计算机设备及存储介质

技术领域

本发明涉及文本处理技术领域，尤其涉及一种查询文本排序方法、装置、计算机设备及存储介质。

背景技术

随着互联网的快速发展，人工智能得到快速的发展，并被广泛的应用到各个领域。尤其是在智能客服方面，通常是对用户的问题进行意图识别，从而自动弹出相关的业务话术，以辅助人工客服或直接回答用户问题。

现有技术中往往采用先召回候选话术，并将候选话术转换为语义向量，再通过语义模型对语义向量进行排序，该排序过程的计算复杂度高，无法快速对候选话术进行快速排序，从而导致智能客服无法及时弹出相关的业务话术，严重影响了用户的体验感。

发明内容

本发明实施例提供一种查询文本排序方法、装置、计算机设备及存储介质，以解决现有技术中查询文本排序速度慢无法及时回复的问题。

一种查询文本排序方法，包括：

获取当前对话文本，对所述当前对话文本进行补全处理，得到目标对话文本；

对所述目标对话文本进行召回处理，得到候选对话文本；

通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并预设向量库中获取所述候选对话文本对应的候选文本向量；

将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取所述候选文本向量对应的候选语义向量，以及所述目标文本向量对应的目标语义向量；

对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

一种查询文本排序装置，包括：

补全处理模块，用于获取当前对话文本，对所述当前对话文本进行补全处理，得到目标对话文本；

文本召回模块，用于对所述目标对话文本进行召回处理，得到候选对话文本；

向量转换模块，用于通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并预设向量库中获取所述候选对话文本对应的候选文本向量；

语义向量模块，用于将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取所述候选文本向量对应的候选语义向量，以及所述目标文本向量对应的目标语义向量；

文本排序模块，用于对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述查询文本排序方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述查询文本排序方法。

本发明提供一种查询文本排序方法、装置、计算机设备及存储介质，该方法通过对目标对话文本进行召回，从而确保了候选对话文本召回的准确性，进而提高了对用户意图识别的精准识别。通过从数据库中直接获取候选文本向量，从而提高了后续对候选对话文本的排序速度。通过预设文本模型对候选文本向量和目标文本向量进行语义提取，从而实现了对目标语义向量和候选语义向量的获取。根据目标语义向量对候选语义向量进行概率预测，得到预测值，并根据预测值对候选对话文本进行排序，从而实现了对文本排序结果的获取，提高了智能客服回复的速度，进而提升了用户的体验感。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中查询文本排序方法的应用环境示意图；

图2是本发明一实施例中查询文本排序方法的流程图；

图3是本发明一实施例中查询文本排序方法中步骤S10的流程图；

图4是本发明一实施例中查询文本排序方法中步骤S30的流程图；

图5是本发明一实施例中查询文本排序装置的原理框图；

图6是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的查询文本排序方法，该查询文本排序方法可应用如图1所示的应用环境中。具体地，该查询文本排序方法应用在查询文本排序装置中，该查询文本排序装置包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决现有技术中查询文本排序速度慢无法及时回复的问题。其中，该服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端又称为用户端，是指与服务器相对应,为客户提供分类服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。

在一实施例中，如图2所示，提供一种查询文本排序方法，以该方法应用在图1中的客户端为例进行说明，包括如下步骤：

S10：获取目标对话文本，对所述目标对话文本进行召回处理，得到候选对话文本。

可理解地，目标对话文本为用户和智能客服或人工客服之间的对话转换得到的。候选对话文本为与目标对话文本相似的问题文本。

具体地，从服务器中调取目标对话文本，对该目标对话文本进行召回处理，也即先对目标对话文本进行纠错处理，检测目标对话文本中的文字是否错误，当文字错误时，对目标对话文本进行文字纠正，得到纠正对话文本。接着对纠正对话文本进行分词处理，得到分词结果，对分词结果的权重进行计算，并根据词权重确定用户查询意图。最后对用户查询意图进行语义相似度匹配，或者通过定义的同义词库，得到相似文本数据，从而使得后续召回内容更全面。对用户查询意图和相似语料数据进行召回处理，也即通过文本匹配将与用户查询意图和相似语料数据相对应的所有文本进行获取，并将获取到的所有文本确定为候选对话文本。

S20：通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并自预设向量库中获取与所述候选对话文本对应的候选文本向量。

可理解地，目标文本向量为目标对话文本对应的向量。预设文本模型为提前设置用于将文本转换成向量的模型，如Bert模型。候选文本向量为候选对话文本对应的向量。

具体地，在得到所有候选对话文本之后，从服务器中调取预设文本模型，将目标对话文本输入到预设文本模型中，通过预设文本模型对目标对话文本可以对目标对话文本进行分词处理，以将目标对话文本拆分为多个单词。先在拆分得到的所有单词之前添加CLS标志位，作为代表该目标对话文本的整体语义的标识。并分别在从该目标对话文本拆分得到的所有单词之后添加SEP标志位，作为分隔标识，形成一个输入向量。再对该输入向量中的从目标对话文本中拆分得到的各个单词、CLS标志位和SEP标志位进行向量化处理，也即对各个单词、CLS标志位和SEP标志位进行编码处理，以数字表示各个单词、CLS标志位和SEP标志位，再将数字用向量表示以得到分别与各个单词、CLS标志位和SEP标志位对应的表示向量，从而得到与目标对话文本对应的目标文本向量。进一步地，通过查表的方式或匹配的方式从自预设向量库，调取与候选对话文本对应的候选文本向量。

S30：将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取与所述候选文本向量对应的候选语义向量，以及与所述目标文本向量对应的目标语义向量。

可理解地，候选语义向量为表征候选对话文本中语义的向量，如小明吃了苹果，将该句的语义用向量表示。目标语义向量为表征目标对话文本中语义的向量。预设文本模型中包括预设数量个(如12或24)transformer层。

具体地，在得到候选文本向量之后，将候选文本向量和目标文本向量输入至预设文本模型中，通过预设文本模型中的transformer层对候选文本向量和目标文本向量中进行语义提取，也即先通过多组注意力处理，通过多个不同的线性变换对Q向量，K向量，V向量进行投影，最后将不同的attention结果拼接起来，得到组合向量。对组合向量进行归一化处理，避免经过多层注意力处理向量发生退化，再通过全连接层中的前反馈神经网络对归一组合向量进行非线性变换，也即对归一组合向量进行激活处理，再对激活组合向量进行线性变换，将激活组合向量映射到高维空间，再经过残差处理，并重复预设数量个上述过程，即可将候选文本向量和目标文本向量转换成候选语义向量和目标语义向量。

S40，对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

可理解地，文本排序结果为所有候选对话文本根据预测值从大到小排序的结果。预测值为通过预设文本模型中softmax层对所有候选语义向量和目标语义向量预测得到的。

具体地，在得到目标语义向量和候选语义向量之后，将所有候选语义向量和目标语义向量输入到预设文本模型中softmax层，通过预设文本模型中softmax层将所有候选语义向量和目标语义向量映射为[0，1]之间的数值。也即softmax层根据目标语义向量对所有候选语义向量进行概率预测，得到各个候选语义向量对应的预测值。再根据所有预测值从大到小依次排序，并将所有候选语义向量根据预测值排序顺序进行排序，从而得到文本排序结果。示例性地，有10个候选语义向量，通过softmax层对候选语义向量进行预测处理，得到一组数据[0.8，0.6，0.5，0.3，0.7，0.9，0.8，0.4，0.7，0.5]，根据这组数据对候选对话文本进行排序处理，即可得到文本排序结果。

在本发明实施例中的一种查询文本排序方法，该方法通过对目标对话文本进行召回，从而确保了候选对话文本召回的准确性，进而提高了对用户意图识别的精准识别。通过从数据库中直接获取候选文本向量，从而提高了后续对候选对话文本的排序速度。通过预设文本模型对候选文本向量和目标文本向量进行语义提取，从而实现了对目标语义向量和候选语义向量的获取。根据目标语义向量对候选语义向量进行概率预测，得到预测值，并根据预测值对候选对话文本进行排序，从而实现了对文本排序结果的获取，提高了智能客服回复的速度，进而提升了用户的体验感。

在一实施例中，如图3所示，步骤S10中，也即获取目标对话文本，包括：

S101，获取初始对话文本，对所述初始对话文本进行切词处理，得到所述初始对话文本中的至少一个待处理字词。

可理解地，待处理字词为对初始对话切分后的结果。有向无环图为无回路、有方向的图。初始对话文本为将用户和客服之间对话的文本。

具体地，从服务器中调取初始对话文本，通过中文分词算法对初始对话文本进行切词处理，根据上下文特征的联系将初始对话文本进行全切分路径选择切词，也即将所有可能的切词结果全部列出来，从中选择最佳的切分路径，并将所有的切词结果组成有向无环图，可以通过将切词结果作为节点，词和词之间的边赋予权重，找到权重和最小的路径即为最终结果，比如可以通过词频作为权重，找到一条总词频最大的路径即可认为是最佳路径，从而得到与初始对话文本对应的至少一个待处理字词。

S102，对所述待处理字词进行实体识别，得到与所述待处理字词相对应的实体识别结果。

可理解地，实体识别模型可以通过采用有标签的文本对如基于神经网络构建的模型进行有监督训练得到。词性标注为根据词性编码表给字词设置词类标签。实体识别为从对话文本中提取出实体信息的过程。实体识别结果为从对话文本中提取出的实体信息。

具体地，在得到待处理字词之后，通过词性编码表对所有待处理字词进行词性标注，给每个词或者词语打词类标签，如形容词、动词、名词等，可以让待处理字词在后面的处理中融入更多有用的信息，将对每个待处理字词进行词性标注后的待处理对话文本输入到实体识别模型中，通过实体识别模型对待处理对话文本进行实体识别，如根据各个待处理字词的词性辅助确定每一待处理字词的实体类型，进而将实体类型确定为实体识别结果，即根据上下文特征、句子及字词的词性之间的联系，从给定的对话文本中抽取重要的实体信息，比如时间、地点、人物等等，时间即可以为时间实体、地点即可以为地点实体，人物例如可以为姓名实体等。

S103，根据与各待处理字词相对应的实体识别结果，对所述初始对话文本进行过滤，得到当前对话文本。

具体地，在得到与各待处理字词对应的实体识别结果之后，通过预先设定好的词典库对所有实体识别结果中的停用词和语气词等噪音词、出现频率低的字词和语句不通顺的句子进行过滤，并将过滤后得到的所有实体识别结果整理成对话文本，即可得到当前对话文本。

S104，对所述当前对话文本进行补全处理，得到目标对话文本。

具体地，在得到当前对话文本之后，将所有当前对话文本按照文本顺序进行拼接，得到待补全对话文本。对待补全对话文本中的关键词进行提取，并将提取的关键词记录为指代实体。对待补全对话文本中的指代词位置进行确定，并对当前对话文本中的指代词进行替换，即根据上下文信息将指代词替换为对应的指代实体。如此，将待补全对话文本依次将所有指代词替换完成，即可得到目标对话文本。

本发明实施例通过对初始通话文本进行切词处理，实现了对初始对话文本中待处理字词的获取。通过词性编码表对待处理字词进行词性标注以及通过实体识别模型对待处理字词进行实体识别，从而实现了对实体识别结果的获取。通过与各待处理字词相对应的实体识别结果，对所述初始对话文本进行过滤，实现了对当前对话文本的获取。通过对当前对话文本进行补全，实现了对目标对话文本的获取。

在一实施例中，步骤S104中，也即对所述当前对话文本进行补全处理，得到目标对话文本，包括：

S1041，获取历史对话文本和所述历史对话文本对应的历史回复文本；所述历史对话文本是指所述当前对话文本上一轮对话的文本；所述历史对话文本和所述历史回复文本均对应于同一个历史文本标签。

S1042，对所述历史对话文本、所述历史回复文本和所述当前对话文本进行文本拼接，得到初始文本。

可理解地，历史对话文本是指当前对话文本上一轮对话的文本，即上一轮的当前对话文本。历史回复文本为客服回复历史对话文本所对应的文本。历史文本标签为用于区分历史对话文本和当前对话文本的历史对话文本的标签，如token type为0。历史对话文本和历史回复文本均对应于同一个历史文本标签。

具体地，在得到当前对话文本之后，从服务器中调取历史对话文本和历史对话文本对应的历史回复文本，并对历史对话文本和历史回复文本设置历史文本标签，如将tokentype设置为0，即历史对话文本和历史回复文本的文本标签均为0，也即历史对话文本和历史回复文本均对应于同一个历史文本标签。并所有历史对话文本、历史回复文本和当前对话文本按照得到的时间顺序进行连接，并在历史对话文本、历史回复文本和当前对话文本之间分别用分隔符(如空格或/等)隔开，即可得到初始文本。

S1043，获取所述当前对话文本对应的当前文本标签，并对所述历史文本标签和所述当前文本标签进行拼接，得到初始标签。

可理解地，当前文本标签为用于区分历史对话文本和当前对话文本的当前对话文本的标签，如token type为1。初始标签为将历史文本标签和当前文本标签连接后得到的标签，如初始标签为0、0、1。

具体地，在得到初始文本之后，通过查表或匹配方式从服务器中调取当前对话文本对应的当前文本标签，如对当前对话文本的标签进行设置，将token type设置为1。对当前对话文本的标签设置完成，按照初始文本中历史对话文本、历史回复文本和当前对话文本的顺序，依次将历史文本标签和当前文本标签进行拼接，即可得到初始标签。

S1044，将所述初始文本和所述初始标签输入至预设文本查询模型，获取所述预设文本查询模型输出的与初始文本对应的指代实体位置，以及与当前对话文本对应的待补全位置。

可理解地，预设文本查询模型为提前设置的用于查找初始文本中指代实体位置和待补全位置的模型。指代实体位置为指代词所代指的实体在初始文本中的位置。待补全位置为需要初始文本中需要补全的位置或指代词在初始文本中的位置。

具体地，在得到初始标签之后，将初始文本和初始标签作为输入一起输入到预设文本查询模型中，预设文本查询模型先将初始文本进行编码处理，再经过三层变换模块映射到高维的空间中，然后通过全连接层和归一层对指代实体位置和当前对话文本中的待补全位置进行查询，得到初始文本中的指代实体位置，以及当前对话文本中的待补全位置。并计算其中待补全位置和待补全位置所对应的指代实体位置的概率，将概率最大的待补全位置和指代实体位置进行关联，依次将当前对话文本中所有待补全位置和各待补全位置所对应的指代实体位置进行关联。其中，一个指代实体位置可以关联至少一个待补全位置，一个待补全位置只能关联一个指代实体位置。

S1045，从所述初始文本中提取所述指代实体位置对应的指代实体文本，并根据所述指代实体文本和所述待补全位置对所述当前对话文本进行文本补全，得到目标对话文本。

可理解地，指代实体文本为指代实体位置的文本。目标对话文本为以对待补全位置进行补全后的当前对话文本。

具体地，在得到指代实体位置和待补全位置之后，从初始文本中提取所述指代实体位置对应的指代实体文本，即从指代实体位置将指代实体文本提取出来。先确定指代实体文本开始位置和结束位置，得到指代实体文本的长度。再确定待补全位置开始位置和结束位置，得到待补全位置的长度。然后根据得到的关联信息获取与该指代实体位置关联的所有待补全位置，对当前对话文本进行文本补全，即将指代实体文本填充或替换到待补全位置。依次将所有待补全位置填充或替换完成，即可得到目标对话文本。

本发明实施例通过将初始文本和初始标签同时输入到预设文本查询模型，通过预设文本查询模型得到指代实体位置和待补全位置，从而实现了对初始文本中指代实体位置和当前对话文本中待补全位置的获取。通过从指代实体位置中提取指代实体文本，并根据指代补全位置将指代实体文本补充到待补全位置，实现了对目标对话文本的获取。进一步避免了因缺失主语而导致智能客服无法回复用户的问题。

在一实施例中，步骤S10中，也即对所述目标对话文本进行召回处理，得到候选对话文本，包括：

S105，对所述目标对话文本进行文本检测，得到文本检测结果；所述文本检测结果中包括检测失败结果；所述检测失败结果表征所述目标对话文本存在错误。

可理解地，文本检测结果用于表征目标对话文本是否存在错误。

具体地，在得到目标对话文本之后，对目标对话文本进行文本检测，即对目标对话文本中是否存在识别错误的字词或句子进行检测，也即先对目标对话文本进行分词处理，从词袋库里匹配相似度最高的字词，将匹配字词和拆分字词进行替换，并对替换前后的对话文本进行评分处理，从而得到文本检测结果。文本检测结果中包括检测成功结果和检测失败结果，检测成功结果用于表征目标音频文本的内容全部正确，检测失败结果用于表征目标对话文本的内容存在错误。

S106，对所述检测失败结果对应的所述目标对话文本进行纠正处理，得到纠正对话文本。

S107，获取预设意图识别模型，通过所述预设意图识别模型对所述纠正对话文本进行意图识别，得到文本意图识别结果。

可理解地，纠正对话文本为对错误字词进行纠正得到的。文本意图识别结果用于表征用户的意图，如用户想改购买某件商品。预设意图识别模型为提前设置的采用大量样本数据对该模型进行训练，不断的迭代模型参数，使得模型识别准确率不断提高。

具体地，在得到文本检测结果之后，从文本检测结果中筛选出检测失败结果，并确定检测失败结果对应的目标对话文本。对检测失败结果对应的目标对话文本进行纠正处理，也即对检测失败结果对应的目标对话文本中的错误字词或错误句子进行替换。根据上下文信息对检测失败结果对应的目标对话文本进行预测处理，得到至少一个预测替换字词或预测替换句子。将所有预测替换字词或所有预测替换句子替换到检测失败结果对应的目标对话文本中的错误字词或错误句子对应的位置，也即将错误字词或错误句子替换为预测替换字词或预测替换句子，从而得到纠正对话文本。进一步地，从服务器中调取意图识别模型，将纠正对话文本输入到意图识别模型中，通过意图识别模型对纠正文本进行意图识别，从而得到文本意图识别结果。示例性地，用户问这个蓝色的头盔多少钱，通过预设意图识别模型对用户的意图进行识别，从而判断用户询问的是蓝色头盔的价格的文本意图识别结果。

S108，获取待选对话文本集，所述待选对话文本集包括至少一个待选对话文本。

S109，将所述待选对话文本和所述文本意图识别结果进行语义相似度匹配，得到语义相似度匹配结果。

S1010，将所述语义相似度匹配结果大于或等于预设相似度阈值的待选对话文本确定为候选对话文本。

可理解地，待选对话文本集为所有回复话术的文本集合。待选对话文本为回复话术的文本。语义相似度匹配结果为用于表征待选对话文本和文本意图识别结果之间语义相似度。

具体地，在得到文本文本意图识别结果之后，从服务器中或者第三方平台获取预设的待选对话文本集，待选对话文本集包括至少一个待选对话文本。将意图识别结果和所有待选对话文本进行语义相似度匹配，也即计算文本意图识别结果和所有待选对话文本之间的语义相似度，如计算文本意图识别结果和所有待选对话文本之间的欧氏距离或余弦相似度，从而语义相似度匹配结果。并将语义相似度匹配结果大于或等于预设相似度阈值的待选对话文本确定为候选对话文本。

本发明实施例通过对目标对话文本进行文本检测，从而实现是否用于纠正，确保了对用户意图识别的准确性。通过预设意图识别模型对纠正对话文本进行意图识别，从而快速的得到文本意图识别结果。通过将文本意图识别结果和待选对话文本进行语义相似度匹配，从而确定候选对话文本，从而确保了候选对话文本的准确性。

在一实施例中，步骤S20之前，也即通过预设文本模型对所述目标对话文本进行向量处理之前，包括：

S201，获取样本训练数据集，所述样本训练数据集包括至少一个文本训练数据；一个所述文本训练数据对应一个样本标签。

可理解地，文本训练数据可以通过爬虫技术从不同的网站上采集得到，亦或者从不同的数据库中采集得到，也可以是由用户从客户端发送到服务器中的，进而根据获取的所有文本训练数据构建样本训练数据集。对每一个文本训练数据设置一个样本标签，该样本标签为用于表征文本训练数据的数值。在智能客服问答场景下，文本训练数据用户和客服之间的每一轮对话，样本标签为表征每一轮对话文本的样本值，该样本值为直接根据每一轮对话文本设置的。

S202，获取预设训练模型，通过所述预设训练模型对所述文本训练数据进行向量转换，得到样本文本向量。

S203，将所述样本文本向量输入到所述预设训练模型中，获取所述样本文本向量对应的样本语义向量，并对所述样本语义向量进行预测，得到预测标签。

可理解地，样本文本向量为通过预设训练模型对文本训练数据进行向量转换得到的。样本语义向量为通过预设训练模型对样本文本向量进行语义提取得到的。预测标签为用于表征该样本语义向量的数值。预设训练模型为提前设置的Bert模型。该Bert模型包括编码层用于向量转换，transformer层用于语义提取，预测层(softmax层)用于概率值预测。

具体地，将预设训练模型从服务器中提取出来，将所有文本训练数据均输入到预设训练模型中，先通过编码层对所有文本训练数据进行分词处理，再。在所有单词之前添加CLS标志位，作为代表该目标对话文本的整体语义的标识，并在所有单词之后添加SEP标志位，作为分隔标识，形成一个输入向量。对该输入向量中的各个单词、CLS标志位和SEP标志位进行向量化处理，以得到分别与各个单词、CLS标志位和SEP标志位对应的表示向量，从而得到与文本训练数据对应的样本文本向量。进一步的，通过预设训练模型的transformer层对样本文本向量进行语义提取，也即依次对样本文本向量进行注意力处理、残差处理以及线性映射处理，从而得到所有样本文本向量对应的样本语义向量。并根据预测层对所有样本语义向量进行概率预测，从而得到各个样本语义向量对应的预测标签。

S204，根据同一所述文本训练数据对应的所述样本标签以及所述预测标签，确定所述文本训练数据的预测损失值。

可理解地，预测损失值为对文本训练数据的预测特征进行预测的过程中生成的，该预测损失值用于表征样本特征和预测特征之间的差值。

具体地，在得到预测标签之后，将文本训练数据对应的所有样本标签按照样本训练数据集中文本训练数据的顺序进行排列，进而将文本训练数据关联的预测标签，与序列相同的文本训练数据的样本标签进行比较；也即按照文本训练数据排序，将位于第一的文本训练数据对应的样本标签，与位于第一的文本训练数据对应的预测标签进行比较，通过损失函数确定样本标签与预测标签之间的损失值；进而将位于第二的文本训练数据对应的样本标签，与位于第二的文本训练数据对应的预测标签进行比较，直至所有样本标签与预测标签均比较完成，即可确定文本训练数据的预测损失值。

S205，在所述预测损失值未达到预设的收敛条件时，迭代更新所述预设训练模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设训练模型记录为预设文本模型。

可理解地，该收敛条件可以为预测损失值小于设定阈值的条件，也即在预测损失值小于设定阈值时，停止训练；收敛条件还可以为预测损失值经过了500次计算后值为很小且不会再下降的条件，也即预测损失值经过500次计算后值很小且不会下降时，停止训练，将收敛之后的所述预设训练模型记录为预设文本模型。

具体地，确定文本训练数据的预测损失值之后，在预测损失值未达到预设的收敛条件时，根据该预测损失值调整预设训练模型的初始参数，并将一部分文本训练数据重新输入至调整初始参数后的预设训练模型中，以通过梯度下降法使得文本训练数据的预测损失值达到预设的收敛条件时，选取样本训练数据集中部分的文本训练数据，并执行上述步骤S201至S204，并得到与调整初始参数的预设训练模型相对应的预测损失值，并在该预测损失值未达到预设的收敛条件时，根据该预测损失值再次调整预设训练模型的初始参数，使得再次调整初始参数的预设训练模型的预测损失值达到预设的收敛条件。

如此，在通过所有文本训练数据对预设训练模型进行训练之后，使得预设训练模型输出的结果可以不断向准确地结果靠拢，让预测准确率越来越高，直至所有文本训练数据的预测损失值均达到预设的收敛条件时，将收敛之后的所述预设训练模型记录为预设文本模型。

本发明实施例通过获取文本训练数据和样本标签，并通过每次选取样本训练数据集中的部分文本训练数据对预设训练模型进行训练，从而实现了采用梯度下降法对预设训练模型的训练。并通过梯度下降法对预设训练模型进行迭代训练，使得预测损失值达到收敛条件，实现了对预设文本模型的训练，提高了预设文本模型预测的准确性。

在一实施例中，如图4所示，步骤S30中，也即获取所述候选文本向量对应的候选语义向量，包括：

S301，通过所述预设文本模型中的注意力层对所述候选文本向量进行注意力处理，得到注意力向量。

可理解地，注意力向量为通过transformer层中的注意力层对候选文本向量进行注意力处理得到的。

具体地，在得到候选文本向量之后，通过注意力层中的多组三个权值矩阵W^Q，W^K，W^V对候选文本向量进行计算，得到候选文本向量对应的Query向量，Keys向量和Values向量。使用点积法计算候选文本向量之间的相关性得分，即用Q中每一个候选文本向量与K中每一个候选文本向量计算点积。对候选文本向量之间的相关性得分进行归一化处理，即通过softmax函数，将候选文本向量之间的得分转换成[0，1]之间的概率分布。根据候选文本向量之间的概率分布，然后乘上对应的Values值，得到注意力向量。如此，通过上述方式得到所有候选文本向量对应的注意力向量。

S302，将所有所述注意力向量输入至所述预设文本模型中的残差层，获取所述残差层输出的残差向量。

S303，通过所述预设文本模型中的全连接层对所述残差向量进行线性映射处理，得到所述候选语义向量。

可理解地，残差向量为对所有注意力向量进行拼接及归一化处理得到的。

具体地，在得到注意力向量之后，将得到的多个注意力向量进行拼接，并通过第一残差连接层对拼接后的注意力向量进行归一化处理，得到残差向量，并避免在残差处理过程中发生注意力向量退化问题。然后通过全连接层中前反馈网络和预测层进行处理，也即ReLU函数将归一化后的注意力向量进行激活，并通过线性映射，将激活后的注意力向量映射到高维空间，在经过残差处理，并重复预设数量个transformer层，即可得到候选语义向量。

本发明实施例通过多组注意力处理，实现了对注意力向量的获取。通过归一层对所有注意力向量进行残差处理，从而实现了对残差向量的确定。通过线性映射处理，从而实现了将残差向量映射到高空间，进而实现了对候选语义向量的提取。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种查询文本排序装置，该查询文本排序装置与上述实施例中查询文本排序方法一一对应。如图5所示，该查询文本排序装置包括文本召回模块11、向量转换模块13、语义向量模块14和文本排序模块15。各功能模块详细说明如下：

文本召回模块11，用于获取目标对话文本，对所述目标对话文本进行召回处理，得到候选对话文本；

向量转换模块12，用于通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并自预设向量库中获取与所述候选对话文本对应的候选文本向量；

语义向量模块13，用于将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取与所述候选文本向量对应的候选语义向量，以及与所述目标文本向量对应的目标语义向量；

文本排序模块14，用于对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

在一实施例中，所述文本召回模块11包括：

切词单元，用于获取初始对话文本，对所述初始对话文本进行切词处理，得到所述初始对话文本中的至少一个待处理字词；

实体识别单元，用于对所述待处理字词进行实体识别，得到与所述待处理字词相对应的实体识别结果；

过滤单元，用于根据与各待处理字词相对应的实体识别结果，对所述初始对话文本进行过滤，得到当前对话文本；

文本补全单元，用于对所述当前对话文本进行补全处理，得到目标对话文本。

在一实施例中，所述文本补全单元包括：

获取单元，用于获取历史对话文本和所述历史对话文本对应的历史回复文本；所述历史对话文本是指所述当前对话文本上一轮对话的文本；所述历史对话文本和所述历史回复文本均对应于同一个历史文本标签；

拼接单元，用于对所述历史对话文本、所述历史回复文本和所述当前对话文本进行文本拼接，得到初始文本；

标签单元，用于获取所述当前对话文本对应的当前文本标签，并对所述历史文本标签和所述当前文本标签进行拼接，得到初始标签；

查询单元，用于将所述初始文本和所述初始标签输入至预设文本查询模型，获取所述预设文本查询模型输出的与初始文本对应的指代实体位置，以及与当前对话文本对应的待补全位置；

补全单元，用于从所述初始文本中提取所述指代实体位置对应的指代实体文本，并根据所述指代实体文本和所述待补全位置对所述当前对话文本进行文本补全，得到目标对话文本。

在一实施例中，所述文本召回模块11包括：

文本检测单元，用于对所述目标对话文本进行文本检测，得到文本检测结果；所述文本检测结果中包括检测失败结果；所述检测失败结果表征所述目标对话文本存在错误；

文本纠正单元，用于对所述检测失败结果对应的所述目标对话文本进行纠正处理，得到纠正对话文本；

意图识别单元，用于获取预设意图识别模型，通过所述预设意图识别模型对所述纠正对话文本进行意图识别，得到文本意图识别结果；

待选对话文本单元，用于获取待选对话文本集，所述待选对话文本集包括至少一个待选对话文本；

语义匹配单元，用于将所述待选对话文本和所述文本意图识别结果进行语义相似度匹配，得到语义相似度匹配结果；

候选对话文本单元，用于将所述语义相似度匹配结果大于或等于预设相似度阈值的待选对话文本确定为候选对话文本。

在一实施例中，所述向量转换模块12包括：

样本获取单元，用于获取样本训练数据集，所述样本训练数据集包括至少一个文本训练数据；一个所述文本训练数据对应一个样本标签；

文本向量单元，用于获取预设训练模型，通过所述预设训练模型对所述文本训练数据进行向量转换，得到样本文本向量；

语义向量预测单元，用于将所述样本文本向量输入到所述预设训练模型中，获取所述样本文本向量对应的样本语义向量，并对所述样本语义向量进行预测，得到预测标签；

预测损失值单元，用于根据同一所述文本训练数据对应的所述样本标签以及所述预测标签，确定所述文本训练数据的预测损失值；

模型收敛单元，用于在所述预测损失值未达到预设的收敛条件时，迭代更新所述预设训练模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设训练模型记录为预设文本模型。

在一实施例中，所述语义向量模块13包括：

注意力单元，用于通过所述预设文本模型中的注意力层对所述候选文本向量进行注意力处理，得到注意力向量；

归一化单元，用于将所有所述注意力向量输入至所述预设文本模型中的残差层，获取所述残差层输出的残差向量；

线性映射单元，用于通过所述预设文本模型中的全连接层对所述残差向量进行线性映射处理，得到所述候选语义向量。

关于查询文本排序装置的具体限定可以参见上文中对于查询文本排序方法的限定，在此不再赘述。上述查询文本排序装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中查询文本排序方法所用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种查询文本排序方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中查询文本排序方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中查询文本排序方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围内。

Claims (10)

1.一种查询文本排序方法，其特征在于，包括：

获取目标对话文本，对所述目标对话文本进行召回处理，得到候选对话文本；

通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并自预设向量库中获取与所述候选对话文本对应的候选文本向量；

将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取与所述候选文本向量对应的候选语义向量，以及与所述目标文本向量对应的目标语义向量；

对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

2.如权利要求1所述的查询文本排序方法，其特征在于，所述获取目标对话文本，包括：

获取初始对话文本，对所述初始对话文本进行切词处理，得到所述初始对话文本中的至少一个待处理字词；

对所述待处理字词进行实体识别，得到与所述待处理字词相对应的实体识别结果；

根据与各待处理字词相对应的实体识别结果，对所述初始对话文本进行过滤，得到当前对话文本；

对所述当前对话文本进行补全处理，得到目标对话文本。

3.如权利要求2所述的查询文本排序方法，其特征在于，所述对所述当前对话文本进行补全处理，得到目标对话文本，包括：

获取历史对话文本和所述历史对话文本对应的历史回复文本；所述历史对话文本是指所述当前对话文本上一轮对话的文本；所述历史对话文本和所述历史回复文本均对应于同一个历史文本标签；

对所述历史对话文本、所述历史回复文本和所述当前对话文本进行文本拼接，得到初始文本；

获取所述当前对话文本对应的当前文本标签，并对所述历史文本标签和所述当前文本标签进行拼接，得到初始标签；

将所述初始文本和所述初始标签输入至预设文本查询模型，获取所述预设文本查询模型输出的与初始文本对应的指代实体位置，以及与当前对话文本对应的待补全位置；

从所述初始文本中提取所述指代实体位置对应的指代实体文本，并根据所述指代实体文本和所述待补全位置对所述当前对话文本进行文本补全，得到目标对话文本。

4.如权利要求1所述的查询文本排序方法，其特征在于，所述对所述目标对话文本进行召回处理，得到候选对话文本，包括：

对所述目标对话文本进行文本检测，得到文本检测结果；所述文本检测结果中包括检测失败结果；所述检测失败结果表征所述目标对话文本存在错误；

对所述检测失败结果对应的所述目标对话文本进行纠正处理，得到纠正对话文本；

获取预设意图识别模型，通过所述预设意图识别模型对所述纠正对话文本进行意图识别，得到文本意图识别结果；

获取待选对话文本集，所述待选对话文本集包括至少一个待选对话文本；

将所述待选对话文本和所述文本意图识别结果进行语义相似度匹配，得到语义相似度匹配结果；

将所述语义相似度匹配结果大于或等于预设相似度阈值的待选对话文本确定为候选对话文本。

5.如权利要求1所述的查询文本排序方法，其特征在于，所述获取所述候选文本向量对应的候选语义向量，包括：

通过所述预设文本模型中的注意力层对所述候选文本向量进行注意力处理，得到注意力向量；

将所有所述注意力向量输入至所述预设文本模型中的残差层，获取所述残差层输出的残差向量；

通过所述预设文本模型中的全连接层对所述残差向量进行线性映射处理，得到所述候选语义向量。

6.如权利要求1所述的查询文本排序方法，其特征在于，所述通过预设文本模型对所述目标对话文本进行向量处理之前，包括：

获取样本训练数据集，所述样本训练数据集包括至少一个文本训练数据；一个所述文本训练数据对应一个样本标签；

获取预设训练模型，通过所述预设训练模型对所述文本训练数据进行向量转换，得到样本文本向量；

将所述样本文本向量输入到所述预设训练模型中，获取所述样本文本向量对应的样本语义向量，并对所述样本语义向量进行预测，得到预测标签；

根据同一所述文本训练数据对应的所述样本标签以及所述预测标签，确定所述文本训练数据的预测损失值；

在所述预测损失值未达到预设的收敛条件时，迭代更新所述预设训练模型中的初始参数，直至所述预测损失值达到所述收敛条件时，将收敛之后的所述预设训练模型记录为预设文本模型。

7.一种查询文本排序装置，其特征在于，包括：

文本召回模块，用于获取目标对话文本，对所述目标对话文本进行召回处理，得到候选对话文本；

向量转换模块，用于通过预设文本模型对所述目标对话文本进行向量处理，得到目标文本向量，并自预设向量库中获取与所述候选对话文本对应的候选文本向量；

语义向量模块，用于将所述候选文本向量和所述目标文本向量输入至所述预设文本模型中，获取与所述候选文本向量对应的候选语义向量，以及与所述目标文本向量对应的目标语义向量；

文本排序模块，用于对所述候选语义向量和所述目标语义向量进行预测处理，得到预测值，并根据所述预测值对所述候选对话文本进行排序处理，得到文本排序结果。

8.如权利要求7所述的查询文本排序装置，其特征在于，所述补全处理模块，包括：

切词单元，用于获取初始对话文本，对所述初始对话文本进行切词处理，得到所述初始对话文本中的至少一个待处理字词；

实体识别单元，用于对所述待处理字词进行实体识别，得到与所述待处理字词相对应的实体识别结果；

过滤单元，用于根据与各待处理字词相对应的实体识别结果，对所述初始对话文本进行过滤，得到当前对话文本；

文本补全单元，用于对所述当前对话文本进行补全处理，得到目标对话文本。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述查询文本排序方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述查询文本排序方法。

Images