CN103605493A - 基于图形处理单元的并行排序学习方法及系统 - Google Patents

Abstract

本发明提供了一种基于图形处理单元的并行排序学习方法及系统，该并行排序学习方法包括构建查询及文档偏序对：针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本；模型参数训练：估计评分函数中关于每个特征的权重参数取值；文档评分：根据模型参数训练步骤中估计出的模型参数和文档评分函数计算每个文档的得分；文档排序：根据每个文档的得分，选择排序算法对文档进行排序，然后把排序后的结果提供给查询用户。本发明的有益效果是本发明的基于图形处理单元的并行排序学习方法及系统，提高排序学习中数据计算速度。

Description

基于图形处理单元的并行排序学习方法及系统

技术领域

本发明涉及基于互联网的数据处理方法及系统，尤其涉及基于图形处理单元的并行排序学习方法及系统。

背景技术

随着网络技术的发展，信息获取变得越来越容易.但从海量且日新月异的互联网上检索信息，在检索过程中还要满足用户所需的响应时间和结果准确度，变得越来越困难。搜索引擎是从海量数据获取有用的信息的一个重要手段.而如何为用户返回与其查询最相关的信息，是搜索引擎发展和吸引用户的一个重要决定因素。

商业搜索引擎和推荐系统普遍存在排序问题，互联网搜索引擎提供商的竞争日趋白热化，搜索引擎对于任意查询能有TB甚至PB量级的规模，每天可能达到亿次级的查询规模。每次查询的返回结果靠人工专家去分类判定然后给出排序结果是不现实的，排序最终归为人工智能问题。

排序学习是一种机器学习任务：查询集和每个查询的一系列文档作为输入，通过训练一个系统在未知等级的测试集上获取最优化的预计排名作为输出。排序学习的提出在互联网搜索、商务网站推荐等领域都引起研究工作者的兴趣与深入研究。研究人员在研究信息检索中发掘各种新问题新技术并在历届的SIGIR会议上发表探讨，近些年来，排序学习在该会议上是一个热门的研究问题，同时互联网大规模的信息对于排序学习算法的性能是一个重大的挑战，也是排序学习算法后续研究工作的一个方向。

但是，目前技术在排序学习中出现了由于海量数据导致计算速度慢的问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于图形处理单元的并行排序学习方法。

本发明提供了一种基于图形处理单元的并行排序学习方法，包括如下步骤：

构建查询及文档偏序对：针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本，根据每一个查询的相关度列表构建成文档偏序对集；

模型参数训练：根据文档偏序对集估计模型参数，通过估计评分函数中关于每个特征的权重参数取值；

文档评分：根据模型参数训练步骤中估计出的模型参数和文档评分函数计算每个文档的得分；

文档排序：根据每个文档的得分，选择排序算法对文档进行排序，然后把排序后的结果提供给查询用户。

作为本发明的进一步改进，在所述构建查询及文档偏序对步骤中，在训练样本中，每一个查询对应一个文档列表，列表中给出文档与查询语句的相关度；在所述文档评分步骤中，采用线性评分模型，其评分模型函数为

公式中，Θ_i为模型参数向量中的第i维，f_ji文档d_j中的第i个特征值；在所述文档排序步骤中，采用双调排序对文档进行排序。

作为本发明的进一步改进，在所述模型参数训练步骤中，采用最大似然方法估计模型参数，似然函数为：

公式中，q是查询集Q中的一个查询，Θ为要估计的模型参数，i、j分别为第i、j个文档，(q,i,j)表示第q个查询项，由第i、j个文档组成的查询及文档偏序对，D_S为所有查询及文档偏序对样本集，δ为指示函数，为在模型参Θ下产生查询及文档偏序对

的概率。

作为本发明的进一步改进，在所述构建查询及文档偏序对步骤中，针对每个查询开启一个核函数的线程，采用基于图形处理的多线程并行构建查询及文档偏序对；在所述模型参数训练步骤中，针对于每个查询及文档偏序对开启一个核函数的线程，采用基于图形处理的多线程并行更新模型参数；在文档评分步骤中，针对于每个文档开启一个核函数的线程，采用基于图形处理的多线程并行文档评分。

本发明还公开了一种基于图形处理单元的并行排序学习系统，包括：

并行构建查询及文档偏序对模块：用于针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本，根据每一个查询的相关度列表构建成文档偏序对集；

并行模型参数训练模块：根据文档偏序对集估计模型参数，通过用于估计评分函数中关于每个特征的权重参数取值；

并行文档评分模块：用于根据模型参数训练步骤中估计出的模型参数和文档评分函数计算每个文档的得分；

并行文档排序模块：用于根据每个文档的得分，选择排序算法对文档进行排序，然后把排序后的结果提供给查询用户。

作为本发明的进一步改进，在所述并行构建查询及文档偏序对模块中，在训练样本中，每一个查询对应一个文档列表，列表中给出文档与查询语句的相关度；在所述文档评分步骤中，采用线性评分模型，其评分模型函数为

公式中，Θ_i为模型参数向量中的第i维，f_ji文档d_j中的第i个特征值；在所述文档排序步骤中，采用双调排序对文档进行排序。

作为本发明的进一步改进，在所述并行模型参数训练模块中，采用最大似然方法估计模型参数，似然函数为：

公式中，q是查询集Q中的一个查询，Θ为要估计的模型参数，i、j分别为第i、j个文档，(q,i,j)表示第q个查询项，由第i、j个文档组成的查询及文档偏序对，D_S为所有查询及文档偏序对样本集，δ为指示函数，

为在模型参Θ下产生查询及文档偏序对

的概率。

作为本发明的进一步改进，在所述并行构建查询及文档偏序对模块中，针对每个查询开启一个核函数的线程，采用基于图形处理的多线程并行构建查询及文档偏序对；在所述并行模型参数训练模块中，针对于每个查询及文档偏序对开启一个核函数的线程，采用基于图形处理的多线程并行更新模型参数；在并行文档评分模块中，针对于每个文档开启一个核函数的线程，采用基于图形处理的多线程并行文档评分。

作为本发明的进一步改进，该并行排序学习系统采用CPU和GPU协作框架设计，串行执行代码运行在CPU上，并行执行代码运行在GPU上，通过GPU提供的数据传输方式来交换显存与内存之间的数据，所述并行构建查询及文档偏序对模块、所述并行模型参数训练模块、所述并行文档评分模块、所述并行文档排序模块均运行在所述GPU上。

作为本发明的进一步改进，CPU控制系统的调度给GPU分配任务，为GPU准备运行空间，GPU在CPU准备好的环境下并行执行计算任务。

本发明的有益效果是：本发明的基于图形处理单元的并行排序学习方法及系统，提高排序学习中数据计算速度。

附图说明

图1是本发明的并行排序学习模型的系统框图。

图2是本发明的训练集原始数据示意图。

图3是本发明的原始查询训练集转化为文档偏序对集示意图。

图4为本发明的CPU及GPU硬件架构图。

图5为本发明的模块图。

图6为本发明的并行排序学习方法的CPU和GPU协作框架示意图。

图7为本发明的多线程构建查询及文档偏序对流程图。

图8为本发明的多线程模型参数更新流程图。

图9为本发明的多线程文档评分流程图。

图10为本发明使用的双调排序流程图。

具体实施方式

如图1所示，本发明公开了一种基于图形处理单元的并行排序学习方法，包括如下步骤：

100构建查询及文档偏序对：针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本。

具体实施过程如下：基于偏序对的排序学习算法的主要思想是，对于任一个查询，对任意两个不同相关度的文档中，都可以得到一个训练实例对。在训练模型时，要使得二类分类的误差最小，即尽可能的分对所有文档偏序对。

在训练样本中，每一个查询对应一个文档列表，列表中给出文档与查询语句的相关度，如图2，其中

表示在第j个查询中的第i个文档，表示第i个文档与第j个查询的相关度，n为文档数目，m为查询数目。图3为根据查询q下两个文档间的相关度大小，得到一个文档间的相关度大小比较结果示意图。图中任一个小格表示一个文档偏序对，即模型的一个训练样本。由于用户更关心的是相关度高的文档排在前面，目标优化是使得相关度高的文档尽可能的预测正确。本文发明实施过程中采用大于偏序关系，如图3所示

大于偏序关系用1表示，小于关系用-1表示。

101模型参数训练：模型训练是本发明中最重要的一步.模型训练的目的是估计评分函数中每个特征的权重参数取值，本发明采用的是最大似然参数估计对贝叶斯个性化排序学习模型的参数进行估计。

具体实施过程如下：贝叶斯个性化排序学习模型训练的目的是要估计评分函数中关于每个特征的权重参数取值，最大似然估计和贝叶斯参数估计是常用的办法。最大似然估计相对于贝叶斯参数估计有收敛性好，简单易用等优点。因此，本发明实施中采用最大似然方法估计模型参数。最大似然估计是把要预测的参数看作是已知的量，但取值未知，最后使得模型符合训练样本的概率最大的一系列值为所要的参数值。

模型训练是在给定查询集合下，通过最大化后验概率模型为每个文档中找出其正确的排名。然后，根据模型对未标注样本进行等级预测。本发明假设结果文档集合中的文档相关度等级符合某种概率分布，表示为p(Θ)。由贝叶斯公式得到后验概率可表示为：

公式中，Θ为模型参数，

为一个查询及文档偏序对样本。由于在给定训练集下，

可以看成一个常量，因此可以得到概率模型

本发明假定两两查询是相对独立的，并对于每个查询，每一对文档之间也是相互独立的。因此对于所有查询q∈Q的所有输入样本对，上式的似然估计函数

可以表示为所有输入样本对的乘积，数学形式表示为公式

公式中，q是查询集Q中的一个查询，Θ为要估计的模型参数，i、j分别为第i、j个文档，(q,i,j)表示第q个查询下，由第i、j个文档组成的查询及文档偏序对，D_S为所有查询及文档偏序对样本集，

为在模型参Θ下产生查询及文档偏序对

的概率。δ是一个指示函数，表示为公式

由于在具体实施中，本发明之采用大于偏序关系，即采用的所有指示函数δ(b)为真的偏序关系。因此似然函数可以简写为

在本发明中，定义产生文档偏序对的概率为

其中x_qij(Θ)=F(Θ,d_i)-F(Θ,d_j)，表示在参数为Θ下，文档d_i与文档d_j的评分之差。评分函数F(Θ,d_i)将在文档评分步骤中介绍。

参数估计中，具体的概率p(Θ)未知，但假设其参数形式是已知的，唯一未知的是参数向量Θ的值，这也是最大似然估计的基本思想。本发明种假设p(Θ)符合0均值，协方差矩阵为Σ_Θ的正态分布，数学形式表示为公式：

p(Θ)～N(0,Σ_Θ)

结合高斯密度函数上述公式可转换为公式：

$p\left(\mathrm{\Θ}\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp [-\frac{1}{2}\frac{{\mathrm{\Θ}}^2}{\mathrm{\σ}}]$

公式中σ为正态分布标准差。本发明中设为∑_Θ=λ_ΘI，Θ为模型的参数向量。通过最大化似然估计来获得最优化的检索排序结果过程可形式化为公式

采用梯度下降方法对上面似然函数进行参数估计，对上面公式求导得

梯度下降法每次迭代的前进方向是由其梯度相反方向决定，使得每次迭代都能使目标函数逐步收敛。梯度下降算法首先对Θ随机赋值，根据训练样本改变Θ的值，使的目标函数按梯度下降的方向进行收敛，直到满足算法结束条件，算法终止。

102文档评分：即根据101步骤中估计出的模型参数和文档评分函数计算每个文档的得分。

具体实施过程如下：在文档评分步骤中，本发明采用线性评分排序学习模型（Linear Scoring Learning to Rank Model，LSLRM），其评分模型函数设计为

$F(\mathrm{\Θ},d_j)=\underset{i}{\mathrm{\Σ}}{\mathrm{\Θ}}_i{f}_{\mathrm{ji}}$

公式中，Θ_i为模型参数向量中的第i维，f_ji文档d_j中的第i个特征值。

103文档排序：根据每个文档的得分，选择合适的排序算法对文档进行排序，然后把排序后的结果提供给查询用户。

具体实施过程如下：在本实施过程中，采用了双调排序。对于双调排序，首先要建立一个双调序列。如果把一个有序序列由小到大、另一个有序序列从大到小接在一起，就构成了一个双调序列。因此所谓双调序列是指序列要么先单调递增然后再单调递减，要么先单调递减然后又单调递增。然后进行双调归并，也就是将双调序列不断的划分，分成若干个小的子双调序列，这就是双调归并的过程。在本实施中采用双调排序是为了方法后面的并行化过程。

在本发明中还构建一种基于图形处理单元的并行排序学习系统，包括硬件部分和软件部分，硬件部分：采用CPU及GPU协作框架设计，串行执行代码运行在CPU上，并行执行代码运行在GPU上，通过GPU提供的数据传输方式来交换显存与内存之间的数据；软件部分分为四个模块，包括并行构建查询及文档偏序对模块，并行模型参数训练模块，并行文档评分模块和并行文档排序模块四个部分。所述并行构建查询及文档偏序对模块是根据每一个查询的相关度列表构建成文档偏序对集。所述并行模型参数训练模块是根据查询及文档偏序对集，估计出模型参数.每一个文档偏序对作为一个样本参与参数估计。所述并行文档评分模块是根据模型参数和待排序文档特征值，通过评分函数进行计算每个文档的得分。所述并行文档排序模块是采用并行化排序方法，根据文档得分，对文档进行排序。

具体实施过程如下：该并行排序学习系统采用CPU及GPU框架的设计，如图4为系统的硬件框架，CPU控制系统的调度，给图形处理单元分配任务，为图形处理单元准备运行空间等，图形处理单元在CPU准备好的环境下，并行执行计算任务。图5为系统模块框图，系统分为四个并行化模块，包括并行构建查询及文档偏序对模块，并行模型参数训练模块，并行文档评分模块和并行文档排序模块。图6为本发明基于图形处理单元的并行排序学习系统的软件协作框架，系统利用统一计算设备架构(ComputeUnified Device Architecture，简称“CUDA”）编程平台对排序学习算法过程进行加速。

在基于CPU及GPU协作框架的设计中，通过对CPU和GPU的协作任务进行合理的分配和框架设计，充分利用CPU和GPU的各自优势，为算法进行加速。本系统将其任务分为两部分来进行分配，一部分是在CPU上具有明显运行优势的任务，一部分是在图形处理单元上明显具有运行优势的任务。适合在CPU上运行的任务主要包括：模型初始化，数据的I及O操作，算法逻辑流程的控制，核函数的调用。适合在图形处理单元上运行的任务主要是数据运算类任务包括：并行构建查询及文档偏序对，针对每个文档训练模型参数，文档评分和对文档排序。

在系统软件方面，主要通过为各模块设计核函数来实现算法的加速运行。在并行构建查询及文档偏序对模块中，系统设计一个核函数，该核函数为每个查询在图形处理单元上分配一个线程，共开启m个线程，m为训练集上的查询数，构建出所有的查询及文档偏序对集，其核函数的计算流程为图7，在图7中，对查询q来说，文档i的相关性高于文档j。所以，输出文档篇序对<q,i,j>，

代表对于查询q，文档i的相关性。

在并行模型参数训练模块中，系统为该模块设计了一个核函数更新模型参数。如图8，系统为该模块申请与偏序对同样数量的线程。每个线程针对一个文档偏序对进行更新模型参数。每一轮都要针对所有的样本更新一次，然后再CPU对所有模型参数进行合并。在图8中，如下公式的

的含义为：

是似然函数关于Θ的梯度(推导过程见101模型参数训练)，α是梯度下降的步长参数。该公式为采用梯度下降法求Θ的值。

在并行文档评分模块中，系统为该模块设计了一个核函数计算每个文档的得分，如图9。系统为每个文档开设一个线程，多线程并行计算文档得分。在图9中，该

是一个评分函数，即，根据模型参数训练模块中估计出参数Θ的值，对文档d_j进行评分，f_ji代表文档j的第i个特征的值。该评分结果用于文档排序模块对文档进行排序。

在并行文档排序模块中，系统采用适合于GPU计算的双调排序，其过程如图10。

本发明的提出了一种基于图形处理单元的并行排序学习方法及系统。同时，利用图形处理单元(GPU)和中央处理器(CPU)之间的计算能力的互补性，本发明设计了一套基于CPU及GPU协作框架的并行化排序学习系统。系统硬件部分设计为CPU及GPU协作框架，软件部分设计分四个模块:并行构建查询及文档偏序对，并行模型参数训练，并行文档评分和并行文档排序.本发明的基于图形处理单元的贝叶斯个性化并行化排序学习方法及系统，可以充分利用图形处理设备的高并行性，有效的提高算法的排序性能，非常适合于处理大规模的排序学习问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于图形处理单元的并行排序学习方法，其特征在于，包括如下步骤：

构建查询及文档偏序对：针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本，根据每一个查询的相关度列表构建成文档偏序对集；

模型参数训练：根据文档偏序对集估计模型参数，通过估计评分函数中关于每个特征的权重参数取值；

文档评分：根据模型参数训练步骤中估计出的模型参数和文档评分函数计算每个文档的得分；

文档排序：根据每个文档的得分，选择排序算法对文档进行排序，然后把排序后的结果提供给查询用户。

2.根据权利要求1所述的并行排序学习方法，其特征在于：在所述构建查询及文档偏序对步骤中，在训练样本中，每一个查询对应一个文档列表，列表中给出文档与查询语句的相关度；在所述文档评分步骤中，采用线性评分模型，其评分模型函数为

公式中，Θ_i为模型参数向量中的第i维，f_ji文档d_j中的第i个特征值；在所述文档排序步骤中，采用双调排序对文档进行排序。

3.根据权利要求1所述的并行排序学习方法，其特征在于：在所述模型参数训练步骤中，采用最大似然方法估计模型参数，似然函数为：

公式中，q是查询集Q中的一个查询，Θ为要估计的模型参数，i、j分别为第i、j个文档，(q,i,j)表示第q个查询项，由第i、j个文档组成的查询及文档偏序对，D_S为所有查询及文档偏序对样本集，δ为指示函数，

为在模型参Θ下产生查询及文档偏序对

的概率。

4.根据权利要求1所述的并行排序学习方法，其特征在于：在所述构建查询及文档偏序对步骤中，针对每个查询开启一个核函数的线程，采用基于图形处理的多线程并行构建查询及文档偏序对；在所述模型参数训练步骤中，针对于每个查询及文档偏序对开启一个核函数的线程，采用基于图形处理的多线程并行更新模型参数；在文档评分步骤中，针对于每个文档开启一个核函数的线程，采用基于图形处理的多线程并行文档评分。

5.一种基于图形处理单元的并行排序学习系统，其特征在于，包括：并行构建查询及文档偏序对模块：用于针对每个查询，根据训练集中文档与查询的相关度构建出文档偏序对，每一个文档偏序对为一个模型的训练样本，根据每一个查询的相关度列表构建成文档偏序对集；

并行模型参数训练模块：用于根据文档偏序对集估计模型参数，通过估计评分函数中关于每个特征的权重参数取值；

并行文档评分模块：用于根据模型参数训练步骤中估计出的模型参数和文档评分函数计算每个文档的得分；

并行文档排序模块：用于根据每个文档的得分，选择排序算法对文档进行排序，然后把排序后的结果提供给查询用户。

6.根据权利要求5所述的并行排序学习系统，其特征在于：在所述并行构建查询及文档偏序对模块中，在训练样本中，每一个查询对应一个文档列表，列表中给出文档与查询语句的相关度；在所述文档评分步骤中，采用线性评分模型，其评分模型函数为

公式中，Θ_i为模型参数向量中的第i维，f_ji文档d_j中的第i个特征值；在所述文档排序步骤中，采用双调排序对文档进行排序。

7.根据权利要求5所述的并行排序学习系统，其特征在于：在所述并行模型参数训练模块中，采用最大似然方法估计模型参数，似然函数为：

公式中，q是查询集Q中的一个查询，Θ为要估计的模型参数，i、j分别为第i、j个文档，(q,i,j)表示第q个查询项，由第i、j个文档组成的查询及文档偏序对，D_S为所有查询及文档偏序对样本集，δ为指示函数，

为在模型参Θ下产生查询及文档偏序对

的概率。

8.根据权利要求5所述的并行排序学习系统，其特征在于：在所述并行构建查询及文档偏序对模块中，针对每个查询开启一个核函数的线程，采用基于图形处理的多线程并行构建查询及文档偏序对；在所述并行模型参数训练模块中，针对于每个查询及文档偏序对开启一个核函数的线程，采用基于图形处理的多线程并行更新模型参数；在并行文档评分模块中，针对于每个文档开启一个核函数的线程，采用基于图形处理的多线程并行文档评分。

9.根据权利要求5至8任一项所述的并行排序学习系统，其特征在于：该并行排序学习系统采用CPU和GPU协作框架设计，串行执行代码运行在CPU上，并行执行代码运行在GPU上，通过GPU提供的数据传输方式来交换显存与内存之间的数据，所述并行构建查询及文档偏序对模块、所述并行模型参数训练模块、所述并行文档评分模块、所述并行文档排序模块均运行在所述GPU上。

10.根据权利要求9所述的并行排序学习系统，其特征在于：CPU控制系统的调度给GPU分配任务，为GPU准备运行空间，GPU在CPU准备好的环境下并行执行计算任务。

Images