CN112182387A - 一种时间信息增强的个性化搜索算法 - Google Patents

Abstract

本发明通过人工智能领域的方法，实现了一种时间信息增强的个性化搜索算法，在输入用户集合基础上，通过循环神经网络得到的原始相关性得分，设计两个时间感知的LSTM结构得到用户的查询意图与文档兴趣的表示为用户的短期兴趣，并利用一个基于查询的以时间为自变量的高斯混合分布，得到为用户的长期查询意图与长期文档兴趣，进而通过个性化排序模块，最终利用神经网络模型同时考虑所述原始相关性得分和所述个性化得分对文档的个性化得分进行最终的计算。通过上述手段，本发明在连续时间空间内对用户兴趣进行建模，从而构建更加准确的用户兴趣表示进而提升个性化排序效果。

Description

一种时间信息增强的个性化搜索算法

技术领域

本发明涉及人工智能领域，尤其涉及一种时间信息增强的个性化搜索算法。

背景技术

个性化搜索是各大搜索引擎的主要目标之一，现在主流的个性化算法是基于文本分析的方法，即建立用户兴趣模型，而后比较用户兴趣与候选文档的相似度来对结果进行重排。建立用户模型的主要依据是用户的历史点击行为，从而刻画出用户的兴趣特征，以此来完成个性化文档排序。个性化搜索的主要目标是根据用户兴趣不同，为不同用户返回满足其需要的个性化的排序列表。现有技术的基本思想是，首先利用用户历史对用户兴趣进行建模，进而在文档排序时，同时考虑文档和查询的相关性以及文档和用户兴趣的相似度。用户提出一个查询，搜索引擎会对候选文档进行打分，通过一定的方法对查询词和用户兴趣这两方面的因素进行融合获得最终得分。个性化搜索算法中，用户兴趣的表示和建模方法多种多样，但其主要思路都是基于用户历史搜索行为(包括用户提出的查询、查询上点击的行为、驻留时间等)来进行用户兴趣模型和个性化排序。例如，现有技术包括基于用户对文档的历史点击次数和点击文档的主题分布来进行个性化排序的方法。如果用户在查询某个查询时经常点击某个文档，则下一次用户再次查询该文档时，这个文档的排序位置将被提前。现有技术还利用了用户查询历史、页面浏览历史、点击驻留时间等多个因素对用户兴趣进行了更为细致的建模，在对结果的个性化重排上取得了很好的效果。还有一些技术通过提取用户查询和点击页面的主题来刻画用户兴趣特征，进而来评估文档与用户兴趣的相似性。深度学习的出现，使得模型对用户查询的语义理解能力得到提升，现有技术使用循环神经网络、对抗生成网络等来建立用户兴趣模型。

在现有的个性化搜索技术中，基于深度学习的序列模型在各数据集上取得了最佳的效果。这类模型往往基于一些成熟的序列神经网络，如循环神经网络(RNN)及其变种GRU，LSTM等。但是，这类模型往往在建模用户兴趣画像时忽略了用户行为之间连续时间信息，例如用户每次查询之间的时间间隔，而只利用了用户行为之间的顺序信息进行序列建模。事实上，用户的历史行为之间细粒度的连续时间间隔对刻画一个更加精准的用户画像是很有意义的。举例来说，如果一个用户在搜索引擎上搜索一个查询q_a之后30天再搜索另一个查询q_b，那么有理由认为q_a和q_b之间的关联应该不大，因为30天对于一般使用搜索引擎的用户来说属于较大的一个时间间隔了。相反。如果用户的两个查询之间只相隔了5分钟，那么有理由认为这两个查询之间可能会有较高的关联性。因此，用户在短期时间内的的搜索行为是对搜索之间的时间信息高度敏感的，然而遗憾的是，传统的RNN及其变种GRU，LSTM并不能很好的对用户行为之间的时间间隔进行建模。如果能够设计一种算法，将用户行为之间的时间信息融合到序列建模中，势必能够提升模型效果。

同时，除了在短时间内的时间敏感性，用户的往往在长时间内表现出一些重复查询的倾向，即用户经常试图去寻找一些他们之前曾经查询或浏览过的信息。有很多前人的工作试图利用用户的重复查询行为来提升个性化搜索模型效果，但是他们也没有考虑用户搜索行为之间的时间信息。举例来说，一些用户可能每年都会查询一些学术会议的官方网站，这个搜索行为体现了一种周期性的特点，而周期性是和时间信息高度敏感的。因此，用户长期时间内体现出的重查询行为同样会体现出时间敏感的特点，而先前的个性化搜索工作并没有考虑这一点。

发明内容

为此，本发明提出了一种时间信息增强的个性化搜索算法，输入一个用户集合，对于每一个用户访问到他的查询日志L＝{(q₁，D₁，t₁)，...(q_n，D_n，t_n)}，其中(q_i，D_i，t_i)代表所述用户在t时刻在搜索引擎上查找了查询q_i，获取的搜索结果D_i，定义D_i为D_i＝{d_i1，...d_im}，其中d_ij指的是查询q_i对应的候选文档集中的第j个文档，每一个候选文档都附带一个点击标签来记录该文档是否被用户点击，同时计算每个查询q_i下所有被点击文档的平均值，记做

其中n代表了用户历史中查询的个数；

在循环神经网络得到的原始相关性得分的基础上，设计两个时间感知的LSTM结构来在连续时间上对用户的历史查询与历史点击文档进行序列建模，使用Glove模型在整个查询日志训练词向量，使用TF-IDF权重对查询以及文档中的词语进行加权求和，得到整个查询或文档的分布式表示，在此基础上得到用户的查询意图与文档兴趣的表示为用户的短期兴趣；

同时，利用一个基于查询的以时间为自变量的高斯混合分布，计算用户重复查询以及重复浏览文档的概率分布，来对历史查询以及历史点击文档进行加权求和，得到为用户的长期查询意图与长期文档兴趣，进而通过个性化排序模块，对文档的个性化得分进行最终的计算；

最终利用神经网络模型同时考虑所述原始相关性得分和所述个性化得分，得到输出为：

p(d|q，t，L)＝φ(p_T(d|q，t，L)，p(d|q))

其中模型输出定义为p(d|q，t，L)，其中q代表了在当前时间t用户提出的查询，而d代表了一个被查询q查询出的候选文档，p_T(d|q，t，L)代表了文档d在时间t的时间信息增强的个性化评分，而p(d|q)代表文档和查询之间采用循环神经网络得到的原始相关性得分，通过对每个文档提取传统的话题特征与点击特征，将每个文档的特征向量送入一层多层感知机，并通过tanh(·)进行激活，最终计算出每个文档的原始匹配度评分：p(d|q)＝φ(W^Ff_q，d+b^F)，φ(·)代表了使用tanh(·)作为激活函数的多层感知机，所述多层感知机学习模型两部分评分的权重，然后使用该权重对两部分评分进行加权来计算文档最终个性化评分，输出p(d|q，t，L)代表了对于文档d的最终个性化评分，为候选文档集中的所有文档都计算个性化评分，并根据该评分对候选文档按评分降序进行重排序，从而得到个性化排序结果返回给用户。

所述两个时间感知的LSTM结构包括文档驱动的时间感知LSTM和查询驱动的时间感知LSTM。

所述文档驱动的时间感知LSTM对用户的历史查询序列进行序列建模，连续时间中的隐藏状态h(t)通过如下公式计算：

h(t)＝o_k⊙[2σ(2c(t))-1]

o_k代表输出门，t∈[t_k，t_k+1]，在用户的搜索历史中每个时间步t_i，所述文档驱动的时间感知的LSTM都会将第i个查询q_i作为输入，进而将c(t)更新到一个新的初始值c_i+1。⊙指向量按元素相乘运算，具体更新过程如下公式所示：

c_i+1←f_i+1⊙c(t_i)+i_i+1⊙z_i+1

f_i+1←σ(W_fq_i+U_fh(t_i)+d_f)

i_i+1←σ(W_iq_i+U_ih(t_i)+d_i)

z_i+1←σ(W_zq_i+U_zh(t_i)+d_z)

其中f_i+1，i_i+1，z_i+1分别代表了时间感知的LSTM网络中的遗忘门，输入门以及候选记忆，并且他们都根据当前的输入q_i与隐藏状态h(t_i)计算而来，在每个时间点候选记忆c(t)的突变则对用户搜索行为中存在的自激活特点进行了建模，随着时间t在t_i与t_i+1之间增加，用户关于在t_i处提出的查询q_i相关的信息需求会逐渐衰退，候选记忆c(t)会从初始值c_i+1向目标值

呈指数型衰退：

其中目标候选记忆

不仅由先前的记忆

控制，也由本次查询中用户的点击文档表示

来驱动，即在计算

时通过一个文档控制门

与用户在本次查询下点击的所有文档的平均值

来控制：

其中

U_d，d_d是算法需要通过训练得出的矩阵与向量参数，用用户在每个时间点的所述文档驱动的时间感知LSTM的隐藏状态序列H_q＝{h^q(t₁)，h^q(t₂)...h^q(t_n)}作为用户的历史查询意图表示，h^q(t)为在当前时间t的隐藏状态h^q(t)作为用户的短期查询意图表示。

所述查询驱动的时间感知LSTM来对用户历史里所点击过的文档序列

在连续时间中进行序列建模，用户的文档兴趣所跳跃到的初始值以及衰变的目标值按照如下公式计算：

其中时间感知LSTM的隐藏状态h(t)以及候选记忆c(t)为：

代表了控制查询影响的门，按照如下公式计算：

其中

U_q，q_q是模型需要通过训练得出的矩阵与向量参数。使用查询驱动的时间感知LSTM，可以计算出点击文档序列的隐藏状态序列H_d＝{h^d(t₁)，h^d(t₂)，...，h^d(t_n)}作为用户文档兴趣的序列表示。同时计算出在当前时间的用户文档兴趣h^d(t)作为用户的短期用户兴趣，具体的：

h(t)＝o_k⊙[2σ(2c(t))-1]。

所述高斯混合分布以查询为单位，以查询的生命周期组织计算基于查询的重查找与基于文档的重查找两种重查找的概率，具体来说，每个查询q_i都有一个特定的参数集{μ_i，σ_i}来描述其生命周期分布，通过高斯混合分布来计算用户随时间变化的重查找概率：

α_i＝N(δt_i|μ_i，σ_i)

其中μ_i代表了第i个查询q_i所对应的查询意图与文档兴趣的生命周期，σ_i反映该重查询的影响程度，α_i反映了用户在当前时刻对第i个查询对应的查询意图与文档兴趣进行重查找的概率，该概率是以当前时间与t_i的时间间隔δt_i＝t-t_i为自变量而变化的，将用户的所述历史查询意图表示根据归一化后的重查找概率加权求和，得到用户的长期查询意图表示L^q(t)：

其中n代表用户查询历史中查询的个数，h^q(t_i)是用户的所述历史查询意图表示，将用户历史文档兴趣表示根据归一化后的重查找概率加权求和，得到用户的长期文档兴趣表示L^d(t)：

所述个性化得分的计算采用基于表示的方法或基于交互的匹配计算的方法；

所述基于表示的方法的实现方式为：首先把用户的短期查询意图h^q(t)与用户的短期文档兴趣h^d(t)连接起来，作为用户最终的短期兴趣表示，同时，将用户的长期查询意图L^d(t)与长期文档兴趣L^d(t)连接起来，作为用户的最终长期兴趣表示，通过计算两个用户的最终兴趣表示与文档d进行相似图计算，得出文档的短期兴趣评分

与长期兴趣评分

其中[；]代表向量的连接操作，对连接后的最终兴趣表示使用一个多层感知机层，从而保持其与文档向量的维度一致性，相似度计算函数sim使用cosine函数：

使用MLP来学习短期与长期兴趣对于个性化评分的影响，从而计算出最终的个性化分数p_T(d|q，t，L)：

所述基于交互的匹配计算的方法的实现方式为：交互式匹配通过在相似度矩阵上的池化操作计算查询和文档之间的匹配度评分，具体地，基于MV-LSTM构造模型，将用户的短期查询意图表示h^q(t)与长期查询意图表示L^q(t)作连接操作，得到最终的用户查询意图表示，并用最终用户查询意图表示作为MV-LSTM模型中的查询双向LSTM的起始状态对匹配模型进行初始化，并且使用短期文档兴趣h^d(t)与长期用户文档兴趣L^d(t)的连接初始化文档双向LSTM，具体的，对查询双向LSTM的每个隐藏状态，与文档双向LSTM的每个隐藏状态计算余弦相似度，构造出二维的余弦相似度矩阵SIM，

之后，对矩阵SIM进行k-MAX池化操作，即取矩阵的top-k个值构造k维向量r_q，作为查询与文档之间匹配特征的表示向量，进一步使用σ激活函数的多层感知机，将r_q向量转换为匹配度评分p_T(d|q，t，L)：

p_T(d|q，t，L)＝σ(W_sr_q+b_s)。

所述个性化搜索算法的训练阶段的损失函数和评分距离的设置方法为：在训练阶段，使用learning-to-rank框架，并使用pair-wise的策略进行模型训练，将用户点击的文档作为正例，并将用户跳过没有点击的文档作为负例，并使用加权交叉熵来度量真实评分距离

与预测评分距离

实现最大化正例评分与负例评分的差值：

其中，使用交换两个文档的位置的变化λ_i，j作为交叉熵权重，根据以下公式计算正负例文档之间的评分距离：

本发明所要实现的技术效果在于：

(1)为了对用户的时间信息高度敏感的短期兴趣进行建模，本发明设计了两个融入时间信息的LSTM架构分别对用户的查询意图与文档兴趣进行建模，从而得到用户的短期兴趣表示。

(2)为了对用户的时间信息高度敏感的长期兴趣进行建模，本发明通过一个基于查询的高斯混合分布来计算用户随着时间推进进行重复查询行为的概率。

(3)本发明设计了两种方式来将时间信息高度敏感的用户兴趣表示用户文档排序。第一种是基于表示的方法，通过计算余弦相似度的方式将用户兴趣表示与文档表示进行交互计算文档评分。第二种是基于交互的方法，使用用户的查询意图表示与文档兴趣表示来分别初始化交互匹配模型中的两个LSTM结构，计算交互式评分来对用户排序。

附图说明

图1时间信息增强的个性化搜索算法整体结构；

具体实施方式

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。

本发明提出一种时间信息增强的个性化搜索算法，首先对时间信息增强的个性化搜索算法进行定义：

个性化搜索旨在利用用户的搜索历史记录，建立用户的兴趣表示，并通过用户兴趣表示来对候选文档进行重排序。假设有一个用户集合U＝{u₁，u₂...u_M}。对于每一个用户u，都能够访问到他的查询日志

其中(q_i，D_i，t_i)代表用户u在t时刻在搜索引擎上查找了查询q_i，从而获取到了搜索结果D_i。可以进一步定义D_i为D_i＝{d_i1，...d_im}，其中d_ij指的是查询q_i对应的候选文档集中的第j个文档。每一个候选文档都附带了一个点击标签来记录该文档是否被用户u点击。同时计算每个查询q_i下所有被点击文档的平均值，记做

到此已经对用户u的搜索历史进行了完整的定义。为了简便起见，移除角标u，而使用L＝{(q₁，D₁，t₁)，...(q_n，D_n，t_n)}来代表用户的搜索历史，其中n代表了用户历史中查询的个数。将模型输出定义为p(d|q，t，L)，其中q代表了在当前时间t用户提出的查询，而d代表了一个被查询q查询出的候选文档。整个输出p(d|q，t，L)代表了对于文档d的最终个性化评分。为候选文档集中的所有文档都计算个性化评分，并根据该评分对候选文档按评分降序进行重排序，从而得到个性化排序结果返回给用户。具体来说，模型输出为：

p(d|q，t，L)＝φ(p_T(d|q，t，L)，p(d|q))

其中p_T(d|q，t，L)代表了文档d在时间t的时间信息增强的的个性化评分，而p(d|q)代表文档和查询之间的原始相关性得分。φ(·)代表了使用tanh(·)作为激活函数的多层感知机。使用多层感知机来学习模型两部分评分的权重，然后使用该权重对两部分评分进行加权来计算文档最终个性化评分。

时间信息增强的个性化搜索算法整体框架

时间信息增强的个性化搜索算法整体框架如下图所示。因为RNN无法显式地对用户的历史搜索行为之间的时间信息进行建模，本发明设计了两个时间感知的LSTM结构来在连续时间上对用户的历史查询与历史点击文档进行序列建模。通过两个时间感知的LSTM结构，得到用户的查询意图与文档兴趣的表示。因为这些表示只擅长于反映用户短时间内的局部兴趣，称这两种表示为用户的短期兴趣。另外，用户在他们所感兴趣的信息的生命周期结束的一段时间内往往会去重复查询这部分信息。因此，利用一个基于查询的以时间为自变量的高斯混合分布，来计算用户重复查询以及重复浏览文档的概率。利用计算出的概率分布，来对历史查询以及历史点击文档进行加权求和，作为用户的长期查询意图与长期文档兴趣。最后是个性化排序模块，设计两种将用户兴趣与当前查询，当前候选文档进行结合的方式，来对文档的个性化得分进行最终的计算。将通过将个性化评分与文档的原始评分进行加权求和，作为文档的最终得分。

算法首先需要得到查询与文档的分布式表示。基于词嵌入的方式来表示历史查询与历史文档。使用Glove模型在整个查询日志来训练词向量。之后使用TF-IDF权重对查询以及文档中的词语进行加权求和，作为整个查询或文档的分布式表示。

对时间敏感的用户短期兴趣建模

本发明设计了两种时间感知的长短时记忆网络架构(LSTM)来对用户搜索历史进行序列建模。具体来说，设计了文档驱动的时间感知LSTM来对用户的历史查询序列进行序列建模。同时，也设计了查询驱动的时间感知LSTM来对用户历史点击文档进行序列建模。使用两种时间感知的LSTM来计算在当前时间点的用户短期兴趣。认为在连续时间内所计算出的用户查询意图表示可以更好地反映出用户此时的查询倾向。同时，计算出的用户在当前时间的文档兴趣能够反映出用户对文档的喜好。

文档驱动的时间感知LSTM

如当用户在搜索引擎中提出一个查询时，可以认为用户正在通过这个查询表达他的信息需求，并且这个用户很有可能在接下来的几个查询中仍然有相似的查询意图。可以从上述现象中发现，用户的查询意图具有自激活(self-exciting)的特点。与此同时，用户的查询意图会随着时间而消退，因为用户之后一般会有不同的信息需求。这种查询意图随时间变化的特征启发了设计一个可以更加准确地对用户查询意图随时间变化进行建模的架构。因此，设计了文档驱动的时间感知LSTM，来充分利用用户历史查询序列{q₁，q₂，...q_n}之间的时间间隔从而建模用户查询意图变化。在文档驱动的时间感知LSTM中，连续时间中的隐藏状态h(t)通过如下公式计算：

h(t)＝o_k⊙[2σ(2c(t))-1]

公式中o_k代表了时间感知的LSTM中的输出门，t∈[t_k，t_k+1]。在用户的搜索历史中每个时间步t_i，时间感知的LSTM都会将第i个查询q_i作为输入，进而将c(t)更新到一个新的初始值c_i+1。具体更新过程如下公式所示：

c_i+1←f_i+1⊙c(t_i)+i_i+1⊙z_i+1

其中f_i+1，i_i+1，z_i+1分别代表了时间感知的LSTM网络中的遗忘门，输入门以及候选记忆，并且他们都根据当前的输入q_i与隐藏状态h(t_i)计算而来。在每个时间点候选记忆c(t)的突变则对用户搜索行为中存在的自激活特点进行了建模。随着时间t在t_i与t_i+1之间增加，用户关于在t_i处提出的查询q_i相关的信息需求会逐渐衰退。具体来说，候选记忆c(t)会从初始值c_i+1向目标值

呈指数型衰退：

其中目标候选记忆

不仅由先前的记忆

控制，它同样也由本次查询中用户的点击文档表示

来驱动。这是基于这样的一个事实：用户所点击的文档是能够满足用户信息需求的。具体来说，在计算

时通过一个文档控制门

与用户在本次查询下点击的所有文档的平均值

来控制。文档控制门

的计算过程如下公式所示：

其中

U_d，d_d是模型需要通过训练得出的矩阵与向量参数。计算用户在每个时间点的时间感知LSTM的隐藏状态序列H_q＝{h^q(t₁)，h^q(t₂)...h^q(t_n)}作为用户的历史查询意图表示。同时计算在当前时间t的隐藏状态h^q(t)作为用户的短期查询意图表示。h^q(t)包含了用户在当前时间点的局部信息需求。

查询驱动的时间感知LSTM

为了对用户随时间变化的文档兴趣进行建模，设计一个查询驱动的时间感知LSTM来对用户历史里所点击过的文档序列

在连续时间中进行序列建模。用户的文档兴趣也有和查询意图相似地自激发性。具体来说，当用户阅读了一些特定的文档之后，用户对文档的喜好在多维空间中应该有一个非连续的突变，并且在阅读到下一个文档之前用户的文档兴趣会逐渐衰退。同时，用户所提出的每一个查询对其对应的文档兴趣也有着重要的影响，因为用户所提出的查询可以直接反映用户的信息需求。因此，用户的文档兴趣在每个时间点上所突变至的目标值应当和用户提出的查询相关。具体来说，在查询驱动的时间感知LSTM中，用户的文档兴趣所跳跃到的初始值以及衰变的目标值按照如下公式计算：

其中时间感知LSTM的隐藏状态h(t)以及候选记忆c(t)的计算方式与1.3.1中相同。

代表了控制查询影响的门，按照如下公式计算：

其中

U_q，q_q是模型需要通过训练得出的矩阵与向量参数。使用查询驱动的时间感知LSTM，可以计算出点击文档序列的隐藏状态序列H_d＝{h^d(t₁)，h^d(t₂)，...，h^d(t_n)}作为用户文档兴趣的序列表示。同时计算出在当前时间的用户文档兴趣h^d(t)作为用户的短期用户兴趣。

对时间敏感的用户长期重查找兴趣建模

用户的短期兴趣可以直接反映用户在当前时刻的兴趣。但是，对于用户在较长时间以前提出的查询或点击过的文档，时间感知的LSTM基本上很难在当前时刻反映出这部分信息的影响，这也是基于RNN的序列模型的通有缺点。正如在前文中叙述的一样，用户通常有着遵循生命周期分布的重查找行为。具体来说，用户从上一个提出的查询或点击的文档之后重查找的概率会随着时间进行不断增高，并在查询或文档对应信息的生命周期结束的时刻达到概率的极大值。在生命周期之后，用户重查询这部分信息的概率会随着时间衰退。选择一个高斯混合分布来对用户的长期重查找兴趣进行建模。

基于上述特点，使用高斯混合分布来对长期重查找兴趣进行建模是很自然的。同时，高斯混合分布模型具有很好的可解释性，可以很好的解释信息的生命周期与影响。在模型中考虑两种重查找行为：基于查询的重查找与基于文档的重查找。基于查询的重查找指的是用户会去通过语义相似的查询去跟进一个话题。基于文档的重查找则聚焦于用户对一个特定文档的重复浏览。在本部分，以查询为单位，以查询的生命周期来组织计算两种重查找的概率。具体来说，每个查询q_i都有一个特定的参数集{μ_i，σ_i}来描述其生命周期分布。通过以下的高斯混合分布来计算用户随时间变化的重查找概率：

α_i＝N(δt_i|μ_i，σ_i)

其中μ_i代表了第i个查询q_i所对应的查询意图与文档兴趣的生命周期，σ_i则可以反映该重查询的影响程度。计算出的α_i反映了用户在当前时刻对第i个查询对应的查询意图与文档兴趣进行重查找的概率，该概率是以当前时间与t_i的时间间隔δt_i＝t-t_i为自变量而变化的。将用户历史查询意图表示根据归一化后的重查找概率加权求和，得到用户的长期查询意图表示L^q(t)：

其中n代表用户查询历史中查询的个数，h^q(t_i)是在上文中计算出的用户的历史查询意图表示。相似地，同样将用户历史文档兴趣表示根据归一化后的重查找概率加权求和，得到用户的长期文档兴趣表示L^d(t)：

现在，已经计算得出了用户的长期查询意图表示与用户的长期文档兴趣表示。长期查询意图反映了用户在当前时刻所拥有的信息需求，而长期文档兴趣则更关注与用户想要重复浏览的文档。

时间敏感的个性化排序

现在已经计算出了用户的长短期查询意图与文档兴趣表示，利用这些表示向量对每个文档来计算时间敏感的个性化评分p_T(d|q，t，L)，从而最终计算出文档的最终得分p(d|q，t，L)。本发明可以采用两种不同的将用户兴趣表示利用在个性化排序中的方式，分别对应了模型图中的PSTIE-REP与PSTIE-ITE。

基于表示的相似度计算

第一种方法是基于表示的方法。首先把用户的短期查询意图h^q(t)与用户的短期文档兴趣h^d(t)连接起来，作为用户最终的短期兴趣表示。同时，将用户的长期查询意图L^d(t)与长期文档兴趣L^d(t)连接起来，作为用户的最终长期兴趣表示。通过计算两个用户的最终兴趣表示与文档d进行相似图计算，得出文档的短期兴趣评分

与长期兴趣评分

其中[；]代表向量的连接操作。对连接后的最终兴趣表示使用一个多层感知机层，从而保持其与文档向量的维度一致性。对于相似度计算函数sim，使用易于理解的的cosine作为相似度计算函数。

使用MLP来学习短期与长期兴趣对于个性化评分的影响，从而计算出最终的个性化分数p_T(d|q，t，L)：

基于表示的重排序方法在前人的个性化工作中经常被使用，但是，这类方法并不能够自然地将当前查询q融入到文档评分模块。实际上，用户查询与文档中词汇级别的信息能够为模型提供更加细粒度的匹配特征，进而计算出更准确的文档评分。但是，基于表示的方法是无法建模这类信息的。

基于交互的匹配计算

交互式匹配通过在相似度矩阵上的池化操作计算查询和文档之间的匹配度评分。因为交互式匹配模型可以计算出词语级别的相似度评分，因此它能够探测出查询与文档中词汇级别的细粒度匹配信号。基于前人在文本匹配上的工作，基于MV-LSTM来构造的模型。如模型图中PSTIE-ITE所示，将用户的短期查询意图表示h^q(t)与长期查询意图表示L^q(t)作连接操作，得到最终的用户查询意图表示，并用最终用户查询意图表示作为MV-LSTM模型中的查询双向LSTM的起始状态对匹配模型进行初始化。查询意图可以帮助双向LSTM计算出查询中每个词语更加准确的上下文表示。相似地，用短期文档兴趣h^d(t)与长期用户文档兴趣L^d(t)的连接初始化文档双向LSTM。

模型训练与优化

对于文档和查询之间的原始匹配度评分p(d|q)，对每个文档提取传统的话题特征与点击特征。将每个文档的特征向量送入一层多层感知机，并通过tanh(·)进行激活，最终计算出每个文档的原始匹配度评分。

p(d|q)＝φ(W^Ff_q，d+b^F)

根据最终评分对候选文档列表进行重排序，作为模型的输出。在训练阶段，使用learning-to-rank框架，并使用pair-wise的策略进行模型训练。将用户点击的文档作为正例，并将用户跳过没有点击的文档作为负例。希望最大化正例评分与负例评分的差值。因此，使用加权交叉熵来度量真实评分距离

与预测评分距离

其中，受LambdaRank算法的启发，使用交换两个文档的位置的变化λ_i，j作为交叉熵权重。根据以下公式计算正负例文档之间的评分距离：

Claims (7)

1.一种时间信息增强的个性化搜索算法，其特征在于：输入用户集合，对于每一个用户访问到他的查询日志L＝{(q₁，D₁，t₁)，...(q_n，D_n，t_n)}，其中(q_i，D_i，t_i)代表所述用户在t时刻在搜索引擎上查找了查询q_i，获取的搜索结果D_i，定义D_i为D_i＝{d_i1，...d_im}，其中d_ij指的是查询q_i对应的候选文档集中的第j个文档，每一个候选文档都附带一个点击标签来记录该文档是否被用户点击，同时计算每个查询q_i下所有被点击文档的平均值，记做

其中n代表了用户历史中查询的个数；

在循环神经网络得到的原始相关性得分的基础上，设计两个时间感知的LSTM结构来在连续时间上对用户的历史查询与历史点击文档进行序列建模，使用Glove模型在整个查询日志训练词向量，使用TF-IDF权重对查询以及文档中的词语进行加权求和，得到整个查询或文档的分布式表示，在此基础上得到用户的查询意图与文档兴趣的表示为用户的短期兴趣；

同时，利用一个基于查询的以时间为自变量的高斯混合分布，计算用户重复查询以及重复浏览文档的概率分布，来对历史查询以及历史点击文档进行加权求和，得到为用户的长期查询意图与长期文档兴趣，进而通过个性化排序模块，对文档的个性化得分进行最终的计算；

最终利用神经网络模型同时考虑所述原始相关性得分和所述个性化得分，得到输出为：

p(d|q，t，L)＝φ(p_T(d|q，t，L)，p(d|q))

其中模型输出定义为p(d|q，t，L)，其中q代表了在当前时间t用户提出的查询，而d代表了一个被查询q查询出的候选文档，p_T(d|q，t，L)代表了文档d在时间t的时间信息增强的个性化评分，而p(d|q)代表文档和查询之间采用循环神经网络得到的原始相关性得分，通过对每个文档提取传统的话题特征与点击特征，将每个文档的特征向量送入一层多层感知机，并通过tanh(·)进行激活，最终计算出每个文档的原始匹配度评分：p(d|q)＝φ(W^Ff_q，d+b^F)，φ(·)代表了使用tanh(·)作为激活函数的多层感知机，所述多层感知机学习模型两部分评分的权重，然后使用该权重对两部分评分进行加权来计算文档最终个性化评分，输出p(d|q，t，L)代表了对于文档d的最终个性化评分，为候选文档集中的所有文档都计算个性化评分，并根据该评分对候选文档按评分降序进行重排序，从而得到个性化排序结果返回给用户。

2.如权利要求1所述的一种时间信息增强的个性化搜索算法，其特征在于：所述两个时间感知的LSTM结构包括文档驱动的时间感知LSTM和查询驱动的时间感知LSTM。

3.如权利要求2所述的一种时间信息增强的个性化搜索算法，其特征在于：所述文档驱动的时间感知LSTM对用户的历史查询序列进行序列建模，连续时间中的隐藏状态h(t)通过如下公式计算：

h(t)＝o_k⊙[2σ(2c(t))-1]

o_k代表输出门，t∈[t_k，t_k+1]，在用户的搜索历史中每个时间步t_i，所述文档驱动的时间感知的LSTM都会将第i个查询q_i作为输入，进而将c(t)更新到一个新的初始值c_i+1。⊙指向量按元素相乘运算，具体更新过程如下公式所示：

c_i+1←f_i+1⊙c(t_i)+i_i+1⊙z_i+1

f_i+1←σ(W_fq_i+U_fh(t_i)+d_f)

i_i+1←σ(W_iq_i+U_ih(t_i)+d_i)

z_i+1←σ(W_zq_i+U_zh(t_i)+d_z)

其中f_i+1，i_i+1，z_i+1分别代表了时间感知的LSTM网络中的遗忘门，输入门以及候选记忆，并且他们都根据当前的输入q_i与隐藏状态h(t_i)计算而来，在每个时间点候选记忆c(t)的突变则对用户搜索行为中存在的自激活特点进行了建模，随着时间t在t_i与t_i+1之间增加，用户关于在t_i处提出的查询q_i相关的信息需求会逐渐衰退，候选记忆c(t)会从初始值c_i+1向目标值

呈指数型衰退：

其中目标候选记忆

不仅由先前的记忆

控制，也由本次查询中用户的点击文档表示

来驱动，即在计算

时通过一个文档控制门

与用户在本次查询下点击的所有文档的平均值

来控制：

其中

U_d，d_d是算法需要通过训练得出的矩阵与向量参数，用用户在每个时间点的所述文档驱动的时间感知LSTM的隐藏状态序列H_q＝{h^q(t₁)，h^q(t₂)...h^q(t_n)}作为用户的历史查询意图表示，h^q(t)为在当前时间t的隐藏状态h^q(t)作为用户的短期查询意图表示。

4.如权利要求3所述的一种时间信息增强的个性化搜索算法，其特征在于：所述查询驱动的时间感知LSTM来对用户历史里所点击过的文档序列

在连续时间中进行序列建模，用户的文档兴趣所跳跃到的初始值以及衰变的目标值按照如下公式计算：

其中时间感知LSTM的隐藏状态h(t)以及候选记忆c(t)为：

代表了控制查询影响的门，按照如下公式计算：

其中

U_q，q_q是模型需要通过训练得出的矩阵与向量参数。使用查询驱动的时间感知LSTM，可以计算出点击文档序列的隐藏状态序列H_d＝{h^d(t₁)，h^d(t₂)，...，h^d(t_n)}作为用户文档兴趣的序列表示。同时计算出在当前时间的用户文档兴趣h^d(t)作为用户的短期用户兴趣，具体的：

h(t)＝o_k⊙[2σ(2c(t))-1]。

5.如权利要求4所述的一种时间信息增强的个性化搜索算法，其特征在于：所述高斯混合分布以查询为单位，以查询的生命周期组织计算基于查询的重查找与基于文档的重查找两种重查找的概率，具体来说，每个查询q_i都有一个特定的参数集{μ_i，σ_i}来描述其生命周期分布，通过高斯混合分布来计算用户随时间变化的重查找概率：

α_i＝N(δt_i|μ_i，σ_i)

其中μ_i代表了第i个查询q_i所对应的查询意图与文档兴趣的生命周期，σ_i反映该重查询的影响程度，α_i反映了用户在当前时刻对第i个查询对应的查询意图与文档兴趣进行重查找的概率，该概率是以当前时间与t_i的时间间隔δt_i＝t-t_i为自变量而变化的，将用户的所述历史查询意图表示根据归一化后的重查找概率加权求和，得到用户的长期查询意图表示L^q(t)：

其中n代表用户查询历史中查询的个数，h^q(t_i)是用户的所述历史查询意图表示，将用户历史文档兴趣表示根据归一化后的重查找概率加权求和，得到用户的长期文档兴趣表示L^d(t)：

6.如权利要求5所述的一种时间信息增强的个性化搜索算法，其特征在于：所述个性化得分的计算采用基于表示的方法或基于交互的匹配计算的方法；

所述基于表示的方法的实现方式为：首先把用户的短期查询意图h^q(t)与用户的短期文档兴趣h^d(t)连接起来，作为用户最终的短期兴趣表示，同时，将用户的长期查询意图L^d(t)与长期文档兴趣L^d(t)连接起来，作为用户的最终长期兴趣表示，通过计算两个用户的最终兴趣表示与文档d进行相似图计算，得出文档的短期兴趣评分

与长期兴趣评分

其中[；]代表向量的连接操作，对连接后的最终兴趣表示使用一个多层感知机层，从而保持其与文档向量的维度一致性，相似度计算函数sim使用cosine函数：

使用MLP来学习短期与长期兴趣对于个性化评分的影响，从而计算出最终的个性化分数p_T(d|q，t，L)：

所述基于交互的匹配计算的方法的实现方式为：交互式匹配通过在相似度矩阵上的池化操作计算查询和文档之间的匹配度评分，具体地，基于MV-LSTM构造模型，将用户的短期查询意图表示h^q(t)与长期查询意图表示L^q(t)作连接操作，得到最终的用户查询意图表示，并用最终用户查询意图表示作为MV-LSTM模型中的查询双向LSTM的起始状态对匹配模型进行初始化，并且使用短期文档兴趣h^d(t)与长期用户文档兴趣L^d(t)的连接初始化文档双向LSTM，具体的，对查询双向LSTM的每个隐藏状态，与文档双向LSTM的每个隐藏状态计算余弦相似度，构造出二维的余弦相似度矩阵SIM，

之后，对矩阵SIM进行k-MAX池化操作，即取矩阵的top-k个值构造k维向量r_q，作为查询与文档之间匹配特征的表示向量，进一步使用σ激活函数的多层感知机，将r_q向量转换为匹配度评分p_T(d|q，t，L)：

p_T(d|q，t，L)＝σ(W_sr_q+b_s)。

7.如权利要求6所述的一种时间信息增强的个性化搜索算法，其特征在于：所述个性化搜索算法的训练阶段的损失函数和评分距离的设置方法为：在训练阶段，使用learning-to-rank框架，并使用pair-wise的策略进行模型训练，将用户点击的文档作为正例，并将用户跳过没有点击的文档作为负例，并使用加权交叉熵来度量真实评分距离

与预测评分距离

实现最大化正例评分与负例评分的差值：

其中，使用交换两个文档的位置的变化λ_i，j作为交叉熵权重，根据以下公式计算正负例文档之间的评分距离：

Images