CN110969006B

CN110969006B - 一种文本排序模型的训练方法和系统

Info

Publication number: CN110969006B
Application number: CN201911217044.9A
Authority: CN
Inventors: 孔心宇; 张晓彤
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2023-03-21
Anticipated expiration: 2039-12-02
Also published as: CN110969006A

Abstract

本说明书一个或多个实施例公开了一种文本排序模型的训练方法。所述方法包括：获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本；将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值；调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

Description

一种文本排序模型的训练方法和系统

技术领域

本说明书涉及自然语言处理领域，特别涉及一种文本排序模型的训练方法和系统。

背景技术

学习排序(Learning to rank，LTR)是一种基于监督学习(Supervised Learning)的排序方法，即使用机器学习来解决排序问题。对于标注训练集，选定LTR方法，确定损失函数，以最小化损失函数为目标进行优化即可得到排序模型的相关参数，这就是学习过程。将待排序文本输入学习得到的排序模型中，即可得到文本的相关得分，利用该得分进行排序即可得到待排序文本的最终顺序。

目前，文本对方法(Pairwise)是LTR中常用的训练方法之一。Pairwise方法通过将排序问题转换为分类问题来对排序模型进行训练。在训练排序模型时，使用三种样本，分别为：查询文本、正例文本、负例文本。分别使用排序模型计算查询文本与正例文本、查询文本与负例文本的相似度。通过调节两个相似度的差值来将正例文本与负例文本分类。由于在训练过程中，排序模型学习的仅仅是正例文本与负例文本的相对性，因而会导致排序模型输出的分数分布不合理。

因此，期望提供一种文本排序的训练方法和系统，以提升排序模型排序的准确率。

发明内容

本说明书实施例的一个方面提供一种文本排序模型的训练方法。所述文本排序模型的训练方法包括：获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本；将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值；调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

本说明书实施例的另一方面提供一种文本排序模型的训练系统。所述系统包括：获取模块，用于获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本；计算模块，用于将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值；训练模块，用于调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

本说明书实施例的另一方面提供一种文本排序模型的训练装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现文本排序模型的训练方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的文本排序模型的训练系统的模块图；

图2是根据本说明书一些实施例所示的文本排序模型的训练方法的示例性流程图；

图3A是根据本说明书一些实施例所示的在pairwise训练方式下排序模型输出的分数分布的示意图；

图3B是根据本说明书的一些实施例所示的第一差值、第二差值与第一阈值和第二阈值相对位置的示意图；

图4A是根据本说明书的一些实施例所示的查询文本、正例文本、相似负例文本和随机负例文本的示例的示意图；以及

图4B是根据本说明书的一些实施例所示的使用初始排序模型计算第一相似度、第二相似度和第三相似度的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的文本排序模型的训练系统的模块图。

如图1所示，文本排序模型的训练系统可以包括：

获取模块110，可以用于获取查询文本和与查询文本相关的正例文本、相似负例文本和随机负例文本。关于获取查询文本和与查询文本相关的正例文本、相似负例文本和随机负例文本的详细描述可以参见图2，在此不再赘述。

计算模块120，可以用于将查询文本和与查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值。关于差值计算的详细描述可以参见图2，在此不再赘述。

训练模块130，可以用于调整初始排序模型的参数，使得第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。关于调整初始排序模型的参数，使得第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型的详细描述可以参见图2，在此不再赘述。

应当理解，图1所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于文本排序模型的训练系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，例如，图1中披露的获取模块110、计算模块120和训练模块130可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，获取模块110、计算模块120可以是两个模块，也可以是一个模块同时具有获取和计算功能。诸如此类的变形，均在本说明书的保护范围之内。

图2是根据本说明书一些实施例所示的文本排序模型的训练方法的示例性流程图。

如图2所示，文本排序的训练方法可以包括：

步骤210，获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本。

具体的，该步骤可以由获取模块110执行。

在一些实施例中，文本指由字符按顺序组成的串。在一些实施例中，字符可以包括汉字、字母、符号、数字以及其他文字。在一些实施例中，符号还可以包括标点符号、换行符号或其他标识符号。查询文本可以为用户输入的表示查询内容的文本。

在一些实施例中，查询文本可以为特定商品的名称。例如：蓝牙耳机、连衣裙和扫地机器人等。在一些实施例中，查询文本可以为各类问题。例如：“支付宝被盗怎么办？”、“草莓怎么种植？”和“今天天气怎么样？”等。查询文本的获取方式可以包括但不限于以下：语音输入、手动输入、客户端推送、服务器传输、数据库信息导入、计算机数据集导入、计算机自动获取等。例如，在智能问答系统中，用户通过语音输入或手动输入的方式输入问题，然后获取模块110接收该问题并将该问题内容对应的文本作为查询文本。

正例文本可以为与查询文本语句相似并且表达的语义相同的文本。例如：查询文本为“我要去长城”，正例文本可以为“我想去长城”。相似负例文本可以为与查询文本语句相似但是表达的语义不同的文本。例如：以上述例子中的查询文本为例，相似负例文本可以为“我要去美国”。随机负例文本可以为与查询文本语句不相似并且表达的语义也不相同的文本。例如，上述例子中的查询文本为例，相似负例文本可以为“今天星期几”。在一些实施例中，正例文本和相似负例文本可以由获取模块110从服务器、问法数据库、在线数据库等各种存储装置或者数据库中召回。

步骤220，将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值。

具体的，该步骤可以由差值计算模块120执行。

初始排序模型可以用于计算两个文本之间的相似度。初始排序模型可以包括但不限于BERT(Bidirectional Encoder Representation from Transformers)、RNN(循环神经网络)以及CNN(卷积神经网络)模型等。

在一些实施例中，如图4B所示，将查询文本和正例文本组成文本对，输入到初始排序模型中，获取初始排序模型输出的分数值，做为第一相似度。例如：将图4A所示的查询文本“支付宝被盗”与正例文本“我的支付宝密码被盗了”作为初始排序模型的输入，初始排序模型输出分数值0.9，则第一相似度为0.9。

在一些实施例中，如图4B所示，将查询文本和相似负例文本组成文本对，输入到初始排序模型中，获取初始排序模型输出的分数值，做为第二相似度。例如：将图4A所示的查询文本“支付宝被盗”与相似负例文本“我的银行卡密码被盗了”作为初始排序模型的输入，初始排序模型输出分数值0.81，则第二相似度为0.81。

在一些实施例中，如图4B所示，将查询文本和随机负例文本组成文本对，输入到初始排序模型中，获取初始排序模型输出的分数值，做为第三相似度。例如：将图4A所示的查询文本“支付宝被盗”与随机负例文本“我的银行卡被盗了”作为初始排序模型的输入，初始排序模型输出分数值0.6，则第二相似度为0.6。

在一些实施例中，差值计算模块120计算上述三个相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值。由上述示例可知，查询文本和正例文本之间的相似度最高，因此三个相似度值中的最大值为查询文本和正例文本之间的第一相似度。在一些实施例中，第一差值为第一相似度与第二相似度之间的差值，其中，第二相似度为查询文本和相似负例文本之间的相似度。在一些实施例中，第二差值为第一相似度与第三相似度之间的差值，其中，第三相似度为查询文本和随机负例文本之间的相似度。例如：以上述示例中计算的三个相似度为例，第一相似度为0.9，第二相似度为0.81，第三相似度为0.6，那么第一差值为0.9-0.81＝0.09，第二差值为0.9-0.6＝0.3。

步骤230，调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

具体的，该步骤可以由训练模块130执行。

在一些实施例中，构造合页损失函数做为所述初始排序模型的损失函数，所述合页损失函数公式为：

L＝∑max(M-(s1-s2)，0)+∑max(M_random-(s1-s3)，0) (1)。

其中，M为第一阈值，M_random为第二阈值，s1为步骤220中由初始排序模型根据查询文本与正例文本确定的第一相似度，s2为步骤220中由初始排序模型根据查询文本与相似负例文本确定的第二相似度，s3为步骤220中由初始排序模型根据查询文本与随机负例文本确定第三相似度，s1-s2为步骤220中计算得到的第一差值，s1-s3为步骤220中计算得到的第二差值。

损失函数是用来估量训练模型的预测值与真实值不一致程度的函数。常用的损失函数包括：对数(l0g)损失函数、平方损失函数、指数损失函数以及绝对值损失函数等。合页损失函数(Hinge Loss)可以用于“最大间隔(max-margin)”分类，是使用pairwise方式训练排序模型的一种常用损失函数。

在使用pairwise方式训练排序模型的过程中，合页损失函数可以表示为：

L₁＝max(M argin-(F(q，p)-F(q，n))，0) (2)。

其中，M argin是一个预先设定的边界值，对应于公式(1)中的第一阈值，F为步骤220中描述的初始排序模型，q为步骤210中描述的查询文本，p为步骤210中描述的正例文本，n为步骤210中描述的相似负例文本，F(q，p)表示公式(1)中的第一相似度，F(q，n)表示公式(1)中的第二相似度。因为F(q，p)是计算查询文本与正例文本之间的相似度，F(q，n)是计算查询文本与相似负例文本之间的相似度，因此希望通过训练排序模型，使得F(q，p)的得分高于F(q，n)的得分，并且高出一个边界值M argin，这样可以通过排序模型将正例文本和相似负例文本分为两类。在模型训练的过程中，如果F(q，p)和F(q，n)之间的差值等于Margin，合页损失函数的值L为0，模型训练结束。因此，F(q，p)越高越好，F(q，n)越低越好，但二者得分之差最多为M argin就足够了，因为过分注重单个样本的分类效果反而有可能使整体的分类效果变差。例如：如果希望把文本按照相似度得分分为10类，那么合理的分数分布是：任意两个数值相邻的相似度之间的差值均为0.1。如果有一对数值相邻的相似度之间的差值为0.2，那么其他数值相邻的相似度之间的平均差值就会小于0.1，从而导致整体的分类效果变差。理想的训练结果是：如果总共有10个文本需要排序，使用TOP1至TOP10表示训练好的排序模型计算的需要排序的文本与查询文本之间的相似度，TOP1至TOP10可以均匀分布在区间0至1之间。例如，TOP1为0.9，TOP2为0.8，...TOP9为0.1，TOP10为0。但是因为通过常规pairwise方式训练的排序模型，学习的是正例文本和相似负例文本分别与查询文本之间的相似度的差值，因此容易导致其输出分数的分布位置不合理，如图3A所示，TOP1和TOP2组成的分数对可能位于位置1、位置2、位置3中的其中一个位置。在排序模型的实际使用过程中，如果排序模型输出分数不合理，例如，排序第一的文本和排序第二的文本其分数非常接近，就会难以区分排序第一的文本和排序第二的文本。

在本说明书中，为了解决上述问题，在公式(2)表示的合页损失函数中引入了下述公式：

L₂＝max(M_random-(F(q，p)-F(q，n_random))，0) (3)。

其中，M_random对应公式(1)中的第二阈值，也是预先设定的一个边界值。n_random为步骤210中描述的随机负例文本，F(q，n_random)为步骤220中初始排序模型根据查询文本和随机负例文本确定的第三相似度，F(q，p)-F(q，n_random)为步骤220中计算得到的第二差值。

在一些实施例中，可以有多个第一差值和多个第二差值，因此公式(2)和公式(3)可以组合一起表示为：

综上所述，公式(4)是公式(1)的另外一种表示形式。其中，第二阈值M_random要大于第一阈值M，第一阈值、第二阈值可以在模型训练过程中按照实际训练效果来调整。例如，第一阈值可以为0.1，第二阈值可以为0.5。

在一些实施例中，也可以基于正例文本和相似负例文本确定第二相似度，基于正例文本和随机负例文本确定第三相似度，因此公式(4)也可以表示为：

在一些实施例中，公式(4)也可以是其他的表示形式，不受本说明书表述所限。

如公式(1)或公式(4)所示，一条训练数据包含4个文本：查询文本、正例文本、相似负例文本、随机负例文本。由多条训练数据组成训练数据集，基于本说明书中构造的合页损失函数(1)，在训练集上迭代训练初始排序模型，通过调整初始排序模型的参数优化初始排序模型，使得第一差值不断接近第一阈值并且第二差值不断接近第二阈值。例如：初始排序模型基于长短期记忆(Long Short-Term Memory，LSTM)模型构建，在训练过程中，可以分别调整LSTM模型的输入门、遗忘门和输出门的权重矩阵参数Wf、Wi、Wo，以及偏置向量参数bf、bi、bo，不断优化模型。直到合页损失函数的值L在训练数据集上不再减小或者等于0值，则停止训练初始排序模型，得到目标排序模型。

如图3B所示，由于本说明书中所述的实施例引入了随机负例文本和第二阈值，查询文本和正例文本之间的第一相似度既和第一阈值有关，同时也要受到第二阈值的限制，因此第一相似度和第二相似度在0～1之间可能滑动的范围相对图3A要小，从而更容易将第一相似度控制在0.8或者0.9等靠近1的分数范围内，分数的分布会更加合理。使用本说明书中所述的排序模型训练方法得到的目标排序模型，在实际使用过程中，正确识别排序第一的文本和排序第二的文本的概率提高了1.7％。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤220可以拆分为步骤220-1和步骤220-2，在步骤220-1中计算第一相似度、第二相似度、第三相似度，在步骤220-2中计算第一差值和第二差值。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims

1.一种文本排序模型的训练方法，所述方法包括：

获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本；

将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值；

调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

2.根据权利要求1所述的方法，其中，所述将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值包括：

将所述查询文本和所述正例文本输入到所述初始排序模型中，获取所述初始排序模型输出的分数值，做为第一相似度；

将所述查询文本和所述相似负例文本输入到所述初始排序模型中，获取所述初始排序模型输出的分数值，做为第二相似度；

将所述查询文本和所述随机负例文本输入到所述初始排序模型中，获取所述初始排序模型输出的分数值，做为第三相似度。

3.根据权利要求2所述的方法，其中，所述计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值包括：

计算所述第一相似度与所述第二相似度的差值，获取所述第一差值；

计算所述第一相似度与所述第三相似度的差值，获取所述第二差值。

4.根据权利要求3所述的方法，其中，所述调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型包括：

构造合页损失函数做为所述初始排序模型的损失函数，所述合页损失函数公式为：

L＝∑max(M-(s1-s2)，0)+∑max(M_random-(s1-s3)，0)；

其中，M为所述第一阈值，M_random为所述第二阈值，s1为所述第一相似度，s2为所述第二相似度，s3为所述第三相似度，s1-s2为所述第一差值，s1-s3为所述第二差值；

迭代训练所述初始排序模型，通过调整所述初始排序模型的参数优化所述初始排序模型，使得所述第一差值不断接近所述第一阈值并且所述第二差值不断接近所述第二阈值。

5.根据权利要求4所述的方法，其中，所述调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型还包括：

如果所述合页损失函数的值L不再减小或者等于0值，则停止训练所述初始排序模型，得到目标排序模型。

6.一种文本排序模型的训练系统，所述系统包括：

获取模块，用于获取查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本；

计算模块，用于将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值，计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值；

训练模块，用于调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型。

7.根据权利要求6所述的系统，其中，所述将所述查询文本和与所述查询文本相关的正例文本、相似负例文本和随机负例文本分别组成文本对，采用初始排序模型得到每一个文本对的相似度值包括：

8.根据权利要求7所述的系统，其中，所述计算所述相似度值中的最大值与其他两个相似度值之间的差值，得到第一差值和第二差值包括：

9.根据权利要求8所述的系统，其中，所述调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型包括：

L＝∑max(M-(s1-s2)，0)+∑max(M_random-(s1-s3)，0)；

10.根据权利要求9所述的系统，其中，所述调整所述初始排序模型的参数，使得所述第一差值和第二差值分别逼近第一阈值和第二阈值，得到目标排序模型还包括：

11.一种文本排序模型的训练装置，其中，所述装置包括至少一个处理器以及至少一个存储器；

所述至少一个存储器用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1～5中任一项所述的方法。