CN110489616A - 一种基于Ranknet和Lambdamart算法的搜索排序方法 - Google Patents

Abstract

一种基于Ranknet算法和LambdaMART算法的搜索排序方法，可以提高搜索排序的迭代效率和准确率，尤其是在主题性较强的领域。该方法在传统的LambdaMART算法的基础上对其进行改进，首先将Ranknet算法作为基础模型,学习一个排序函数,再将函数的输出作为LambdaMART的初始函数,最终生成排序模型。此方法可以有效改善损失函数为凸函数时，为达到全局的最小值，学习率必须很小，迭代次数必须很大的问题，而且在减少迭代次数的情况下，模型效果却可以优于原始模型。

Description

一种基于Ranknet和Lambdamart算法的搜索排序方法

技术领域

本发明属于人工智能学习技术领域，具体涉及一种基于Ranknet和Lambdamart算法的搜索排序方法。

背景技术

随着计算机与网络科技水平的不断提高，互联网产生的数据量呈现出爆发式的增长，我们需要花费越来越多的精力去获取想要的信息，人们如何在信息大爆炸的时代里准确而高效的获取信息是值得研究的。传统的按照相关度排序和按照重要性排序只针对少数的简单特征，无法挖掘复杂情况下特征间的关联性，导致获取信息的准确率和效率低下。排序学习能够充分发现表征复杂信息的众多特征之间的关联性。近年中的研究发现，基于树的机器学习模型，如GBDT，结合集成学习，对于建立“排序学习”框架的搜索排序算法十分有效，Lambdamart更是其中的佼佼者，被认为是最有效的方法之一，在不同的领域已经被证明是解决问题的一种有效手段。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于Ranknet和Lambdamart算法的搜索排序方法，将Ranknet算法作为基础模型,学习一个排序函数,再将函数的输出作为LambdaMART的初始函数,最终生成排序模型，可以有效提高搜索排序的迭代效率和准确率。

本发明提供一种基于Ranknet和Lambdamart算法的搜索排序方法，包括如下步骤：

步骤S1、由Rankbet算法训练出基本模型，首先训练一个打分函数，根据打分函数计算文档的得分，通过文档的得分情况计算文档的偏序概率和真实概率，采用交叉熵作为损失函数来衡量偏序概率和真实概率的拟合程度，从而获取所有文档的总代价函数；

步骤S2、计算每个文档的梯度lambda和偏导，针对步骤S1中的损失函数对排序函数的偏导求导，再利用梯度下降法获取最佳参数；

步骤S3、利用Lambdamart算法训练回归树；

步骤S4、将步骤S2中获取的梯度作用于Lambdamart算法的GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值；

步骤S5、更新模型，根据学习率计算每个文档的得分。

作为本发明的进一步技术方案，步骤S1中，训练的打分函数为s＝f(x；w)，根据打分函数计算文档x_i和x_j为s_i＝f(x_i；w)，s_j＝f(x_j；w)；根据得分计算二者的偏序概率，偏序概率为

P_ij为第i个样本排在第j个样本前面的概率，s_i和s_j为文档x_i和x_j的得分，其真实概率为

采用交叉熵作为损失函数来衡量偏序概率p_ij对真实概率的拟合程度，损失函数为经简化为则可知所有文档对的总代价函数为其中，I表示所有文档对的集合，且每个文档对仅包含一次。

进一步的，步骤S2中，针对步骤S1中的损失函数C_ij，对排序函数中的ω_k求导，然后利用梯度下降法来求得最佳参数其中，η为步长，代价C延负梯度方向变化对继续分解，则由于令把和带入得，

集合I中包含label不同的文档的集合，且每个文档只包含一次，即(U_i,U_j)和(U_j,U_i)等价，若只包含(U_i,U_j)，则表示U_i相关性大于U_j的文档对，即S_ij＝1，那么λ_i决定着第i个文档在迭代中的移动方向和幅度，此外，由于NDCG或ERR这样的评价指标是非连续的，故而在推导出的梯度上，加入这些评价指标，即：

其中，|ΔZ_ij|为将U_i和U_j交换位置后，待优化指标的变化。

进一步的，步骤S3中，Lambdamart算法中的MART即为GBDT，在GBDT的迭代中，若前一轮迭代获取的强学习器是f_t-1(x)，损失函数为L(y,f_t-1(x))，则迭代的目标为获取一个回归树模型的弱学习器h_t(x)，让本轮的损失函数L(y,f_t(x)＝L(y,f_t-1(x)+h_t(x)))最小；每个模型的权重为其中ε_t为该模型在样本中的错误率，最终的模型为

进一步的，步骤S4中，将梯度应用于GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值，首先把训练模型作为变量，则直接使用梯度对模型求导：再使用牛顿法可得：其中，

进一步的，步骤S5中，更新模型，根据学习率计算每个文档的得分，文档的得分为：F_k(x_i)＝F_k-1(x_i)+η∑_lγ_lkI(x_i|∈R_lk)。

与现有方案对比，本发明采用Ranknet算法作为基础模型,学习一个排序函数,再将函数的输出作为LambdaMART的初始函数,最终生成排序模型。可以有效提高搜索排序的迭代效率和准确率，此外可以解决当损失函数为凸函数时，为达到全局的最小值，学习率必须很小，迭代次数必须很大的问题，而且在减少迭代次数的情况下，模型效果却可以优于原始模型。

附图说明

图1为本发明的方法流程图。

具体实施方式

请参阅图1，本实施例提供一种基于Ranknet和Lambdamart算法的搜索排序方法，包括如下步骤：

步骤S1、由Rankbet算法训练出基本模型，首先训练一个打分函数，根据打分函数计算文档的得分，通过文档的得分情况计算文档的偏序概率和真实概率，采用交叉熵作为损失函数来衡量偏序概率对真实概率的拟合程度，从而获取所有文档的总代价函数；

步骤S2、计算每个文档的梯度lambda和偏导，针对步骤S1中的损失函数对排序函数的偏导求导，再利用梯度下降法获取最佳参数；

步骤S3、利用Lambdamart算法训练回归树；

步骤S4、将步骤S2中获取的梯度作用于Lambdamart算法的GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值；

步骤S5、更新模型，根据学习率计算每个文档的得分。

训练的打分函数为s＝f(x；w)，根据打分函数计算文档x_i和x_j为s_i＝f(x_i；w)，s_j＝f(x_j；w)；根据得分计算二者的偏序概率，偏序概率为

P_ij为第i个样本排在第j个样本前面的概率，s_i和s_j为文档x_i和x_j的得分，其真实概率为

采用交叉熵作为损失函数衡量偏序概率p_ij对实概率的拟合程度，损失函数为经简化为则可知所有文档对的总代价函数为其中，I表示所有文档对的集合，且每个文档对仅包含一次。

步骤S2中，针对步骤S1中的损失函数C_ij，对排序函数中的ω_k求导，然后利用梯度下降法来求得最佳参数其中，η为步长，代价C延负梯度方向变化对继续分解，则由于令把和带入得，

集合I中包含label不同的文档的集合，且每个文档只包含一次，即(U_i,U_j)和(U_j,U_i)等价，若只包含(U_i,U_j)，则表示U_i相关性大于U_j的文档对，即S_ij＝1，那么λ_i决定着第i个文档在迭代中的移动方向和幅度，此外，由于NDCG或ERR这样的评价指标是非连续的，故而在推导出的梯度上，加入这些评价指标，即：

其中，|ΔZ_ij|为将U_i和U_j交换位置后，待优化指标的变化。

步骤S3中，Lambdamart算法中的MART即为GBDT，在GBDT的迭代中，若前一轮迭代获取的强学习器是f_t-1(x)，损失函数为L(y,f_t-1(x))，则迭代的目标为获取一个回归树模型的弱学习器h_t(x)，让本轮的损失函数L(y,f_t(x)＝L(y,f_t-1(x)+h_t(x)))最小；每个模型的权重为其中ε_t为该模型在样本中的错误率，最终的模型为

步骤S4中，将梯度应用于GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值，首先把训练模型作为变量，则直接使用梯度对模型求导：再使用牛顿法可得：其中，

步骤S5中，更新模型，根据学习率计算每个文档的得分，文档的得分为：F_k(x_i)＝F_k-1(x_i)+η∑_lγ_lkI(x_i|∈R_lk)。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (6)

1.一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，包括如下步骤，

步骤S1、由Rankbet算法训练出基本模型，首先训练一个打分函数，根据打分函数计算文档的得分，通过文档的得分情况计算文档的偏序概率和真实概率，采用交叉熵作为损失函数来衡量偏序概率对真实概率的拟合程度，从而获取所有文档的总代价函数；

步骤S2、计算每个文档的梯度lambda和偏导，针对步骤S1中的损失函数对排序函数的偏导求导，再利用梯度下降法获取最佳参数；

步骤S3、利用Lambdamart算法训练回归树；

步骤S4、将步骤S2中获取的梯度作用于Lambdamart算法的GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值；

步骤S5、更新模型，根据学习率计算每个文档的得分。

2.根据权利要求1所述的一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，所述步骤S1中，训练的打分函数为s＝f(x；w)，根据打分函数计算文档x_i和x_j为s_i＝f(x_i；w)，s_j＝f(x_j；w)；根据得分计算二者的偏序概率，偏序概率为

P_ij为第i个样本排在第j个样本前面的概率，s_i和s_j为文档x_i和x_j的得分，其真实概率为

采用交叉熵作为损失函数衡量偏序概率p_ij对实概率的拟合程度，损失函数为经简化为则可知所有文档对的总代价函数为其中，I表示所有文档对的集合，且每个文档对仅包含一次。

3.根据权利要求1所述的一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，所述步骤S2中，针对步骤S1中的损失函数C_ij，对排序函数中的ω_k求导，然后利用梯度下降法来求得最佳参数其中，η为步长，代价C延负梯度方向变化对继续分解，则由于令把和带入得，

集合I中包含label不同的文档的集合，且每个文档只包含一次，即(U_i,U_j)和(U_j,U_i)等价，若只包含(U_i,U_j)，则表示U_i相关性大于U_j的文档对，即S_ij＝1，那么决定着第i个文档在迭代中的移动方向和幅度，此外，由于NDCG或ERR这样的评价指标是非连续的，故而在推导出的梯度上，加入这些评价指标，即：其中，|ΔZ_ij|为将U_i和U_j交换位置后，待优化指标的变化。

4.根据权利要求1所述的一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，所述步骤S3中，Lambdamart算法中的MART即为GBDT，在GBDT的迭代中，若前一轮迭代获取的强学习器是f_t-1(x)，损失函数为L(y,f_t-1(x))，则迭代的目标为获取一个回归树模型的弱学习器h_t(x)，让本轮的损失函数L(y,f_t(x)＝L(y,f_t-1(x)+h_t(x)))最小；每个模型的权重为其中ε_t为该模型在样本中的错误率，最终的模型为

5.根据权利要求1所述的一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，所述步骤S4中，将梯度应用于GBDT上，作为训练模型的拟合对象，再根据牛顿法计算训练树的叶子节点值，首先把训练模型作为变量，则直接使用梯度对模型求导：再使用牛顿法可得：其中，

6.根据权利要求1所述的一种基于Ranknet和Lambdamart算法的搜索排序方法，其特征在于，所述步骤S5中，更新模型，根据学习率计算每个文档的得分，文档的得分为：F_k(x_i)＝F_k-1(x_i)+η∑_lγ_lkI(x_i|∈R_lk)。