CN113127737B - 融合注意力机制的个性化搜索方法和搜索系统 - Google Patents

Abstract

本发明公开了一种融合注意力机制的个性化搜索方法和搜索系统，其中搜索方法包括：1、收集并获取用户在互联网信息媒体中生成的大量用户生成内容，进行向量化表示；2、构建优势项目群体；3、构建并训练融合注意力机制的用户偏好感知模型，该模型基于DBN，由三层RBM组成；4、构建基于用户偏好的分布估计概率模型；5、设定种群大小N，采用基于用户偏好的分布估计概率模型，生成N个新个体；6、在搜索空间中选择与N个新个体相似度最高的N个项目，构成待推荐项目集合S^u；7、计算S^u中各项目的适应值；8、选择S^u中适应值最高的前TopN个项目作为搜索结果，进行个性化推荐。该方法考虑了不同决策分量对于用户偏好的影响力不同，能够帮助用户更有效地进行个性化搜索。

Description

融合注意力机制的个性化搜索方法和搜索系统

技术领域

本发明属于数据挖掘技术领域，具体涉及一种个性化搜索方法和搜索系统。

背景技术

随着大数据、云计算、物联网等技术的迅猛发展，互联网规模和用户数量急剧增加，用户已经成为数据的主动创造者，聚集了大量多源异构用户生成内容，各类信息错综复杂并呈现爆炸式增长。用户生成内容包含海量多源异构且动态演化的复杂数据，具有来源与结构多样化、稀疏性、多模态、不完整性、传播社会性等特点，蕴含着丰富的有价值信息和巨大的挖掘潜力，也是各类互联网平台和移动应用商家获取信息、提升业绩与服务的重要来源，成为一类典型的大数据环境。然而，这些复杂多源异构用户生成内容给用户带来新资讯的同时，也增加了用户筛选、甄别和处理信息并最终做出决策的难度，即带来了“信息过载”问题。个性化搜索和推荐算法作为连接用户与信息的桥梁，能够充分利用海量多源异构用户生成数据，根据用户潜在需求与认知偏好预测用户行为和发展动态，尽可能帮助用户从海量信息中筛选出与用户需求和兴趣偏好相符的内容，有效缓解“信息过载”，提升用户的使用体验和网站平台的商业利益。

面向用户生成内容的个性化搜索任务，其本质是在多源异构用户生成数据构成的动态演化空间中搜寻满足用户需求及个性化偏好的优化目标，即一类动态定性指标优化问题。由于这类复杂定性指标优化问题，不仅其目标函数和性能指标不能用数学函数准确描述，甚至其优化问题的决策变量也不再是简单的结构化数据，往往具有较大的主观性、模糊性、不确定性及不一致性，需要用户依据经验知识和兴趣偏好对于待搜索项目进行定性分析、评价和决策，从而难以建立具体精确的数学模型进行描述。近年来提出的融入人类智能评价的交互式协同进化计算，将用户主观认知经验、智能评价决策与传统进化计算相结合，是处理上述复杂个性化搜索定性指标优化问题的有效途径。

申请号为CN2020102165574的中国专利公开了一种基于受限玻尔兹曼机驱动的交互式个性化搜索方法，其中用户兴趣偏好模型的构建未考虑描述不同项目属性决策变量对于用户偏好影响力不同，而对于所用项目的决策变量采用了相同权重，不能够充分体现各决策变量对于用户偏好的影响，从而难以构建更加精确的用户偏好模型，进一步影响用户进行个性化搜索的效果。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种融合注意力机制的个性化搜索方法和搜索系统，其中搜索方法考虑了不同决策分量对用户偏好的影响力不同，能够帮助用户更有效地进行个性化搜索。

技术方案：本发明一方面公开了一种融合注意力机制的个性化搜索方法，包括：

步骤1、收集并获取用户生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

步骤2、将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；D中的项目构成集合S，S＝{(u,x_i,C_i,T_i,G_i)}，其中x_i∈D，C_i为项目x_i的类别标签向量，T_i为用户对项目x_i文本评论的向量化表示，G_i为项目x_i的图像特征向量化表示，i＝1,2,…,|D|，|D|表示D中的项目数量；

步骤3、构建融合注意力机制的用户偏好感知模型，所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层RBM；h₂作为可见层，与隐藏层h₃构成第三层RBM；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

利用优势项目群体D，采用对比散度学习算法对融合注意力机制的用户偏好感知模型中的第一层RBM进行训练，获得其模型参数θ₁＝{w₁,a₁,b₁}；

第一层RBM模型训练完成后，当给定隐单元状态时，各可见单元的激活状态条件独立，某项目x_i的向量表示[C_i,T_i,G_i]输入可见层，其第一组、第二组和第三组可见单元的激活概率分别为：

其中，a_1,j、a_1,k和a_1,l分别表示第一组、第二组和第三组可见单元偏置。

计算各类多源异构数据的信息熵，项目类别标签的信息熵为：

文本评论向量的信息熵为：

项目图像特征向量的信息熵为：

其中c_ij表示项目x_i的类别标签向量C_i的第j个元素，p(c_ij)表示RBM1中对应于项目类别标签向量表示的第j个元素的可见单元激活概率；

t_ik表示用户u对项目x_i文本评论向量化表示T_i的第k个元素，p(t_ik)表示RBM1中对应于用户文本评论向量表示的第k个元素的可见单元激活概率；

g_il表示，p(g_il)表示项目x_i的图像特征向量化表示G_i的第l个元素，p(g_il)表示RBM1中对应于项目图像特征向量表示的第l个元素的可见单元激活概率；

其次，计算各类信息熵占总信息熵的比例作为权重因子：

其中H(x_i)＝H(C_i)+H(T_i)+H(G_i)；

将向量C_i、T_i、G_i组合构成项目x_i的决策向量Ψ_i输入v₁、v₂、v₃中各可见单元时，隐藏层h₁中各隐单元的激活状态条件独立，第m₁个隐单元的激活概率为：

其中，m₁＝1,2,…,M₁，

为h₁中第m₁个隐单元的偏置；v_1j为RMB1第一组可见单元v₁中第j个可见单元的状态；v_2k为RMB1第二组可见单元v₂中第k个可见单元的状态；v_3lRMB1第三组可见单元v₃中第l个可见单元的状态；

为w₁中的元素值，表示RBM1中第n个可见单元与第m₁个隐单元之间的连接权重，n＝1,2,…,Φ；

表示隐层h₁中第m₁个隐单元的状态；σ(x)＝1/(1+exp(-x))是sigmoid激活函数；

RBM1训练完成后，根据式(9)获取项目x_i对应的各隐单元的状态，进而获得用户对于优势项目群体D中各项目的各决策分量的偏好程度，即可见层单元激活概率，作为注意力权重系数at_n(x_i)：

其中

表示Ψ_i作为RBM1可见层各可见单元状态时，隐藏层h₁中第m₁个隐单元的状态；at_n(x_i)表示项目x_i各决策分量ψ_in的注意力权重；

将注意力权重系数at_n(x_i)作为项目x_i各决策分量的权重系数，对优势项目群体D中项目x_i进行基于注意力机制的编码，编码后表示为x_ati：

x_ati＝Ψ_i+at_n(x_i)×Ψ_i (12)

将x_ati输入预训练后的RBM1，得到可见单元激活概率V_RBM1(x_ati)：

其中x_atn′为x_ati的第n′个元素；

由RBM1可见单元激活概率V_RBM1(x_ati)进行自注意力机制运算，动态学习项目个体的用户偏好注意力权重向量A(x_ati)：

A(x_ati)＝softmax(a(V_RBM1(x_ati),w₁)) (14)

其中，softmax()函数保证所有权重系数之和为1；函数a(V_RBM1(x_ati),w₁)衡量了项目x_i相对于用户偏好特征的注意力权重系数，计算如下：

a(V_RBM1(x_ati),w₁)＝V_RBM1(x_ati)·(w₁)^T (15)

结合用户偏好注意力权重向量A(x_ati)和项目x_i的原始决策向量C_i,T_i,G_i，生成融合注意力机制的项目决策向量：

x_i′＝A(x_ati)×Ψ_i (16)

利用融合注意力机制的项目决策向量x_i′构成训练集，对DBN中的RBM1、RBM2、RBM3模型进行逐层训练，训练完成后获得融合注意力机制的基于DBN的用户偏好感知模型及其优化模型参数θ；

步骤4、根据已训练好的融合注意力机制的基于DBN的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户偏好的项目第n个决策分量的概率；

步骤5、设定种群大小N，利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目；第v个新个体的类别标签向量

的设置步骤如下：

(5.1)令v＝1；

(5.2)生成[0,1]之间的随机数z；如果z≤P(ψ_j＝1)，则第v个新个体的类别标签向量

的第j个元素为1，否则为0；

(5.3)令v加一，重复步骤(5.2)，直至v>N；

步骤6、在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；

步骤7、计算待推荐项目集合S^u中各项目的适应值

其中，

和

分别表示待推荐项目集合S^u中项目能量函数的最大值和最小值；F_θ1(x^*,h₁)为项目x^*的能量函数，x^*∈S^u，其计算如下：

其中

为项目x^*的第n个决策分量；

步骤8、选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N；

随着用户交互式搜索过程的推进和用户行为动态演变，根据当前用户最近的评价数据，更新优势项目群体D，再次训练融合注意力机制的用户偏好感知模型，动态更新提取的用户偏好特征，同时，更新基于用户偏好的分布估计概率模型P(x)。

另一方面，本发明还公开了实现上述个性化搜索方法的搜索系统，包括：

用户生成内容获取模块，用于收集并获取用户u生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

优势项目群体构建模块，用于将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；

用户偏好感知模型构建与训练模块，用于构建并训练融合注意力机制的用户偏好感知模型；所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

基于用户偏好的分布估计概率模型构建模块，用于根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率；

种群生成模块，用于利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目，并设置每个新个体的类别标签向量，N为预设的种群大小；

待推荐项目集合构建模块，用于在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；

适应值计算模块，用于计算待推荐项目集合S^u中各项目的适应值；

搜索结果选择模块，用于选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N。

有益效果：本发明公开的个性化搜索方法充分利用多源异构用户生成内容，包括用户评分、项目类别标签、用户文本评论、评价信任度和项目图像信息，构建融合注意力机制的用户偏好感知模型，基于此用户偏好感知模型，构建基于用户偏好的分布估计概率模型，生成含用户偏好的新的可行解项目，选择适应值最高的多个项目作为最终搜索结果。该方法能够很好地处理大数据环境下面向多源异构用户生成内容的个性化搜索任务，有效引导用户进行个性化搜索，尽快帮助用户搜索到满意解，提高个性化搜索算法的综合性能。

附图说明

图1为本发明公开融合注意力机制的个性化搜索方法的流程图；

图2为融合注意力机制的用户偏好感知模型的结构示意图；

图3为融合注意力机制的个性化搜索系统的组成示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，本发明公开了一种融合注意力机制的个性化搜索方法，包括：

步骤1、收集并获取用户生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

本实施例中对于文本评论向量化表示的步骤为：去除文本评论中的停用词和标点符号等，进行数据预处理；采用文献：Devlin J,Chang M W,Lee K,et al.BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding[J].arXiv:1810.04805v2[cs.CL]24May 2019.中的BERT模型，将用户文本评论进行向量化表示。

对项目图像提取特征是利用文献：Krizhevsky A,SutskeverI,Hinton G E.ImageNet classification with deep convolutional neural networks.In:Proceedings ofthe 25th International Conference on Neural Information ProcessingSystems.Lake Tahoe,Nevada,USA:Curran Associates Inc.,2012.1097-1105.中的AlexNet模型，将项目图像进行特征提取及向量化表示。

其他用户对用户u所做评价的有用性评断，是指其他用户对于当前用户u就某一项目的评价信息做出对其有用的评断，如果认为有用就标注1，否则标注0，统计所有其他用户对当前用户u就某一项目的评价信息的评断，标注为1的总数即为其他用户对用户u所做评价的有用性评价得分。例如，当前用户u就项目x做出了评价，用户A和用户B对该评价做了有用性评断，该评断反映了当前用户对项目x评价的可信度，通过统计所有其他用户对当前用户u就项目x评价的有用性评断，可以过滤无效评价或者虚假评论。

其他用户对用户u所做评价的有用性评价得分与用户u评价项目的总数的比值，为用户u对项目评价的信任度。

步骤2、构建用户偏好的优势项目群体D；

用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目是用户偏好的项目。由于用户的具有模糊性、不确定性和动态变化的特性，本实施例在已有的用户偏好项目群体中引入一定的随机性，以增加用户的选择范围，使得用户的选择不要过于局限于当前偏好信息的范围内，适应实际情况下的环境和用户偏好的动态变化性。由此，将评分大于预设评分阈值且信任度大于预设信任度阈值的项目，以及在搜索空间随机采样的多个新项目，组成优势项目群体D。优势项目群体D中加入的新项目可能包含用户偏好，也可能不包含用户偏好，是随机的，其增加了项目群体的多样性。新项目在优势项目群体D中的占比不超过30％，本实施例中，新项目占优势项目群体D中项目总数的10％。

由于新项目是在搜索空间随机采样的，当前用户u可能对其作出了评价，也可能没有评价。如果当前用户u对新项目没有评价，则采用当前用户u的相似用户u′对该新项目的文本评论作为用户u对该新项目的评价；如果用户u的多个相似用户均对该新项目作出评价，则选择其中与用户u相似度最大的用户的评价。如果当前用户u的相似用户均没有对该新项目作出评价，用户u对该新项目的评价采用随机赋值的方式。

用户u的相似用户为与用户u存在共同评分项目，且相似度大于预设的相似度阈值的用户。对于与用户u存在共同评分项目的用户u′，u′≠u,u和u′的相似度Sim(u,u′)为：

其中I_u,u′表示用户u和u′均评分的项目集合；R_ux'为用户u对I_u,u′中的项目x′的评分，R_u′x'为用户u′对x′的评分；

为用户u对已评价的所有项目的平均评分；

为用户u′对已评价的所有项目的平均评分。

优势项目群体D构成集合S，S＝{(u,x_i,C_i,T_i,G_i)}，其中x_i∈D，C_i为项目x_i的类别标签向量，长度为类别总数n₁；C_i中每个元素c_ij为二值变量；c_ij＝1表示项目x_i具有第j类标签，j＝1,2,…,n₁；且不同类别标签之间非互斥，一个项目可以同时存在多个类别标签。T_i为用户对项目x_i文本评论的向量化表示，长度为n₂；G_i为项目x_i的图像特征向量化表示，长度为n₃；i＝1,2,…,|D|，|D|表示D中的项目数量。

向量C_i、T_i、G_i组合为一个长度为Φ的向量Ψ_i，构成项目x_i的原始决策向量，其每一个元素ψ_in为项目x_i的决策分量，Φ＝n₁+n₂+n₃，n＝1,2,…,Φ。

步骤3、构建融合注意力机制的用户偏好感知模型，如图2所示，该模型基于深度置信网络(Deep Belief Network，DBN)，该模型由三层受限玻尔兹曼机(RestrictedBoltzmann Machine,RBM)组成，其中第一层受限玻尔兹曼机RBM1的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；其中第一组可见单元v₁有n₁个单元，各单元为二值变量；第二组和第三组可见单元v₂和v₃分别有n₂和n₃个单元，各单元均为实数变量；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机RBM2；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机RBM3。h₁、h₂、h₃分别有M₁、M₂和M₃个隐单元，各隐单元均为实数变量；对于各RBM，隐单元数目选取为可见单元总数的0.8-1.2倍，本实施例中，设置为0.8倍。由此，h₁中隐单元的数目M₁为：

Φ＝n₁+n₂+n₃，

为向上取整运算；h₂中隐单元的数目M₂为：

h₃中隐单元的数目M₃为：

融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}，其中，{w₁,a₁,b₁}、{w₂,a₂,b₂}和{w₃,a₃,b₃}分别表示RBM1、RBM2、RBM3的模型参数，w_τ表示第τ层RBM可见单元与隐单元之间的连接权重；a_τ和b_τ分别表示第τ层RBM可见单元和隐单元的偏置；τ∈{1,2,3}。

利用优势项目群体D，采用对比散度学习算法对融合注意力机制的用户偏好感知模型中的第一层受限玻尔兹曼机RBM1进行训练，获得其模型参数θ₁＝{w₁,a₁,b₁}。此步骤中只对RBM1进行训练，可以认为是对RBM1的预训练，后续步骤中会对RBM1、RBM2、RBM3再次逐层进行训练。项目x_i的决策向量Ψ_i是由C_i、T_i、G_i组合而成，而C_i、T_i、G_i包含的用户偏好信息不同，如类别标签向量C_i的长度n₁通常小于项目的图像特征向量化表示G_i的长度n₃；如果对项目的决策向量中每个分量平等对待，将导致包含信息量较多的数据淹没含偏好信息较少的数据，而这类含偏好信息较少的数据对于构建用户偏好感知模型是有益补充，不容忽视。因而，本发明考虑结合各数据类型表示的信息熵，利用权重调整各类多源异构数据输入到用户偏好感知模型可见层神经单元的分量，保证各类型数据都能够对于用户偏好感知模型的构建产生有效贡献。

第一层RBM模型训练完成后，当给定隐单元状态时，各可见单元的激活状态条件独立，某项目x_i的向量表示[C_i,T_i,G_i]输入可见层，其第一组、第二组和第三组可见单元的激活概率分别为：

其中，a_1,j、a_1,k和a_1,l分别表示第一组、第二组和第三组可见单元偏置，a_1,j，a_1,k，a_1,l组合为a₁，j＝1,2,…,n₁，k＝1,2,…,n₂，l＝1,2,…,n₃。

根据信息熵公式:

计算各类多源异构数据的信息熵，

项目类别标签的信息熵为：

文本评论向量的信息熵为：

项目图像特征向量的信息熵为：

其中c_ij表示项目x_i的类别标签向量C_i的第j个元素，p(c_ij)表示RBM1中对应于项目类别标签向量表示的第j个元素的可见单元激活概率；

t_ik表示用户u对项目x_i文本评论向量化表示T_i的第k个元素，p(t_ik)表示RBM1中对应于用户文本评论向量表示的第k个元素的可见单元激活概率；

g_il表示，p(g_il)表示项目x_i的图像特征向量化表示G_i的第l个元素，p(g_il)表示RBM1中对应于项目图像特征向量表示的第l个元素的可见单元激活概率；

其次，进一步计算各类信息熵占总信息熵的比例作为权重因子：

其中H(x_i)＝H(C_i)+H(T_i)+H(G_i)；

当给定可见单元状态时，即将向量C_i、T_i、G_i组合而构成项目x_i的决策向量Ψ_i输入v₁、v₂、v₃中各可见单元时，隐藏层h₁中各隐单元的激活状态条件独立，第m₁个隐单元的激活概率为：

其中，m₁＝1,2,…,M₁，

为h₁中第m₁个隐单元的偏置；v_1j为RMB1第一组可见单元v₁中第j个可见单元的状态，即C_i第j个元素的值；v_2k为RMB1第二组可见单元v₂中第k个可见单元的状态，即Τ_i第k个元素的值；v_3lRMB1第三组可见单元v₃中第l个可见单元的状态，即G_i第l个元素的值；

为w₁中的元素值，表示RBM1中第n个可见单元与第m₁个隐单元之间的连接权重，n＝1,2,…,Φ；

表示隐层h₁中第m₁个隐单元的状态；σ(x)＝1/(1+exp(-x))是sigmoid激活函数。

当给定隐单元状态时，各可见单元的激活状态亦条件独立，第n个可见单元的激活概率为：

其中a_1,n表示可见层中第n个可见单元的偏置。

RBM1训练完成后，根据式(5)可获取项目x_i对应的各隐单元的状态，进而可获得用户对于优势项目群体D中各项目的各决策分量的偏好程度，即可见层单元激活概率，作为注意力权重系数at_n(x_i)：

其中

表示Ψ_i作为RBM1可见层各可见单元状态时，隐藏层h₁中第m₁个隐单元的状态；at_n(x_i)表示项目x_i各决策分量ψ_in的注意力权重，体现了自适应的特性。

将注意力权重系数at_n(x_i)作为项目x_i各决策分量的权重系数，对优势项目群体D中项目x_i进行基于注意力机制的编码，编码后表示为x_ati：

x_ati＝Ψ_i+at_n(x_i)×Ψ_i (12)

其中i＝1,2,…,|D|；

将x_ati输入预训练后的RBM1，得到可见单元激活概率V_RBM1(x_ati)：

其中x_atn′为x_ati的第n′个元素。

式(9)实际是将隐单元激活概率和可见单元激活概率进行了嵌套，即：

利用获得的RBM1模型中可见单元激活概率V_RBM1(x_ati)和文献：Li J,Wang Y,Mcauley J.Time Interval Aware Self-Attention for SequentialRecommendation.In:WSDM'20:The Thirteenth ACM International Conference on WebSearch and Data Mining.ACM,2020.中所提自注意力机制，由RBM1可见单元激活概率V_RBM1(x_ati)进行自注意力机制运算，动态学习项目个体的用户偏好注意力权重向量A(x_ati)：

A(x_ati)＝softmax(a(V_RBM1(x_ati),w₁)) (14)

其中，softmax()函数保证所有权重系数之和为1。函数a(V_RBM1(x_ati),w₁)衡量了项目x_i相对于用户偏好特征的注意力权重系数，计算如下：

a(V_RBM1(x_ati),w₁)＝V_RBM1(x_ati)·(w₁)^T (15)

结合用户偏好注意力权重向量A(x_ati)和项目x_i的原始决策向量C_i,T_i,G_i，生成融合注意力机制的项目决策向量：

x_i′＝A(x_ati)×Ψ_i (16)

利用融合注意力机制的项目决策向量x_i′构成训练集，对DBN中的RBM1、RBM2、RBM3模型进行逐层训练，首先训练RBM1，得到参数{w₁,a₁,b₁}；将b₁传递进RBM2中的a₂，在此基础上训练RBM2，获得优化参数{w₂,a₂,b₂}；将b₂传递进RBM3中的a₃，在此基础上训练RBM3，获得优化参数{w₃,a₃,b₃}；从而使得DBN网络中的三层RBM模型相互影响、相互关联，形成一个网络整体。训练完成后获得融合注意力机制的基于DBN的用户偏好感知模型及其优化模型参数θ。

此处的DBN的模型训练方法是一种改进的基于注意力机制的DBN模型训练方法，目的是为了更好的利用自适应权重信息抽取用户偏好特征，将注意力集中于重要的特征，更贴切的表达实际应用场景中各项目不同类型的属性决策分量对于用户偏好特征的影响，更加精细的表达用户偏好特征。

步骤4、根据已训练好的融合注意力机制的基于DBN的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率，其计算如下：

首先根据优势项目群体D计算基于用户偏好的概率分布模型p(x)：

p(x)为Φ维向量，其第n个元素p(ψ_n)为用户偏好项目第n个决策分量的激活概率；对p(ψ_n)进行下界约束，约束后的值为用户偏好的项目第n个决策分量的概率P(ψ_n)，即：

ε为预设的下界阈值，本实施例中ε＝0.1，即对于根据式(18)计算出的激活概率小于0.1的决策分量，将其激活概率值设为0.1；该约束考虑了决策分量激活概率较小时，以一定概率值随机采样该决策分量，以增强生成种群的多样性，防止进化优化算法过早收敛而错失最优解。

步骤5、设定种群大小N，利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法(Estimation of Distribution Algorithms，EDA)生成N个新个体，每个个体为一个项目；第v个新个体的类别标签向量

的设置步骤如下：

(5.1)令v＝1；

(5.2)生成[0,1]之间的随机数z；如果z≤P(ψ_j＝1)，则第v个新个体的类别标签向量

的第j个元素为1，否则为0；

(5.3)令v加一，重复步骤(5.2)，直至v>N；

步骤6、在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；本实施例中，采用欧氏距离作为相似度计算，即两向量之间的欧氏距离越小，二者相似度越高；

步骤7、计算待推荐项目集合S^u中各项目的适应值：

本发明中，采用基于能量函数来计算项目的适应值，对待推荐项目集合S^u中的项目x^*，其适应值

的计算如下：

其中，

和

分别表示待推荐项目集合S^u中项目能量函数的最大值和最小值；

为项目x^*的能量函数(x^*∈S^u)，其计算如下：

其中a_1,n表示RBM1可见层中第n个可见单元的偏置，

为项目x^*的第n个决策分量，

为h₁中第m₁个隐单元的偏置，

为w₁中的元素值，表示RBM1中第n个可见单元与第m₁个隐单元之间的连接权重。

步骤8、选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N。

由于多源异构用户生成内容的动态演化特性和用户兴趣偏好的不确定性，在个性化进化搜索过程的早期阶段，优势项目群体D中包含的用户偏好信息不够充足，因而基于此训练的用户偏好感知模型抽取的用户偏好特征较粗略。随着用户交互式搜索过程的推进和用户行为动态演变，根据当前用户最近的评价数据，更新优势项目群体D，再次训练融合注意力机制的用户偏好感知模型，动态更新提取的用户偏好特征,及时跟踪用户偏好变化；同时，更新基于用户偏好的分布估计概率模型P(x)，有效引导个性化进化搜索的前进方向，帮助用户尽快搜寻到用户满意解，顺利完成复杂环境下个性化搜索任务。

本实施例还公开了实现上述个性化搜索方法的融合注意力机制的个性化搜索系统，如图3所示，包括：

用户生成内容获取模块1，用于收集并获取用户u生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

优势项目群体构建模块2，用于将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；

用户偏好感知模型构建与训练模块3，用于根据步骤3构建并训练融合注意力机制的用户偏好感知模型；所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

基于用户偏好的分布估计概率模型构建模块4，用于根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率；

种群生成模块5，用于利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目，并设置每个新个体的类别标签向量，N为预设的种群大小；

待推荐项目集合构建模块6，用于在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；

适应值计算模块7，用于根据步骤7计算待推荐项目集合S^u中各项目的适应值；

搜索结果选择模块8，用于选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N。

Claims (10)

1.融合注意力机制的个性化搜索方法，其特征在于，包括：

步骤1、收集并获取用户u生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

步骤2、将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；D中的项目构成集合S，S＝{(u,x_i,C_i,T_i,G_i)}，其中x_i∈D，C_i为项目x_i的类别标签向量，T_i为用户对项目x_i文本评论的向量化表示，G_i为项目x_i的图像特征向量化表示，i＝1,2,…,|D|，|D|表示D中的项目数量；

步骤3、构建融合注意力机制的用户偏好感知模型，所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

利用优势项目群体D，采用对比散度学习算法对融合注意力机制的用户偏好感知模型中的第一层受限玻尔兹曼机进行训练，获得其模型参数θ₁＝{w₁,a₁,b₁}；

第一层RBM模型训练完成后，当给定隐单元状态时，各可见单元的激活状态条件独立，某项目x_i的向量表示[C_i,T_i,G_i]输入可见层，其第一组、第二组和第三组可见单元的激活概率分别为：

其中，a_1,j、a_1,k和a_1,l分别表示第一组、第二组和第三组可见单元偏置；

计算各类多源异构数据的信息熵，项目类别标签的信息熵为：

文本评论向量的信息熵为：

项目图像特征向量的信息熵为：

其中c_ij表示项目x_i的类别标签向量C_i的第j个元素，p(c_ij)表示RBM1中对应于项目类别标签向量表示的第j个元素的可见单元激活概率；

t_ik表示用户u对项目x_i文本评论向量化表示T_i的第k个元素，p(t_ik)表示RBM1中对应于用户文本评论向量表示的第k个元素的可见单元激活概率；

g_il表示，p(g_il)表示项目x_i的图像特征向量化表示G_i的第l个元素，p(g_il)表示RBM1中对应于项目图像特征向量表示的第l个元素的可见单元激活概率；

其次，计算各类信息熵占总信息熵的比例作为权重因子：

其中H(x_i)＝H(C_i)+H(T_i)+H(G_i)；

将向量C_i、T_i、G_i组合构成项目x_i的决策向量Ψ_i输入v₁、v₂、v₃中各可见单元时，隐藏层h₁中各隐单元的激活状态条件独立，第m₁个隐单元的激活概率为：

其中，m₁＝1,2,…,M₁，

为h₁中第m₁个隐单元的偏置；v_1j为RMB1第一组可见单元v₁中第j个可见单元的状态；v_2k为RMB1第二组可见单元v₂中第k个可见单元的状态；v_3lRMB1第三组可见单元v₃中第l个可见单元的状态；

为w₁中的元素值，表示RBM1中第n个可见单元与第m₁个隐单元之间的连接权重，n＝1,2,…,Φ；

表示隐层h₁中第m₁个隐单元的状态；σ(x)＝1/(1+exp(-x))是sigmoid激活函数；

RBM1训练完成后，根据式(9)获取项目x_i对应的各隐单元的状态，进而获得用户对于优势项目群体D中各项目的各决策分量的偏好程度，即可见层单元激活概率，作为注意力权重系数at_n(x_i)：

其中

表示Ψ_i作为RBM1可见层各可见单元状态时，隐藏层h₁中第m₁个隐单元的状态；at_n(x_i)表示项目x_i各决策分量ψ_in的注意力权重；

将注意力权重系数at_n(x_i)作为项目x_i各决策分量的权重系数，对优势项目群体D中项目x_i进行基于注意力机制的编码，编码后表示为x_ati：

x_ati＝Ψ_i+at_n(x_i)×Ψ_i (12)

将x_ati输入预训练后的RBM1，得到可见单元激活概率V_RBM1(x_ati)：

其中x_atn′为x_ati的第n′个元素；

由RBM1可见单元激活概率V_RBM1(x_ati)进行自注意力机制运算，动态学习项目个体的用户偏好注意力权重向量A(x_ati)：

A(x_ati)＝softmax(a(V_RBM1(x_ati),w₁)) (14)

其中，softmax()函数保证所有权重系数之和为1；函数a(V_RBM1(x_ati),w₁)衡量了项目x_i相对于用户偏好特征的注意力权重系数，计算如下：

a(V_RBM1(x_ati),w₁)＝V_RBM1(x_ati)·(w₁)^T (15)

结合用户偏好注意力权重向量A(x_ati)和项目x_i的原始决策向量C_i,T_i,G_i，生成融合注意力机制的项目决策向量：

x_i′＝A(x_ati)×Ψ_i (16)

利用融合注意力机制的项目决策向量x_i′构成训练集，对DBN中的RBM1、RBM2、RBM3模型进行逐层训练，训练完成后获得融合注意力机制的基于深度置信网络的用户偏好感知模型及其优化模型参数θ；

步骤4、根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率；

步骤5、设定种群大小N，利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目；第v个新个体的类别标签向量

的设置步骤如下：

(5.1)令v＝1；

(5.2)生成[0,1]之间的随机数z；如果z≤P(ψ_j＝1)，则第v个新个体的类别标签向量

的第j个元素为1，否则为0；

(5.3)令v加一，重复步骤(5.2)，直至v>N；

步骤6、在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；

步骤7、计算待推荐项目集合S^u中各项目的适应值

其中，

和

分别表示待推荐项目集合S^u中项目能量函数的最大值和最小值；

为项目x^*的能量函数，x^*∈S^u，其计算如下：

其中

为项目x^*的第n个决策分量；

步骤8、选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N；

随着用户交互式搜索过程的推进和用户行为动态演变，根据当前用户最近的评价数据，更新优势项目群体D，再次训练融合注意力机制的用户偏好感知模型，动态更新提取的用户偏好特征，同时，更新基于用户偏好的分布估计概率模型P(x)。

2.根据权利要求1所述的融合注意力机制的个性化搜索方法，其特征在于，所述优势项目群体D中还包括占比为η的新项目，所述新项目通过在搜索空间随机采样得到。

3.根据权利要求2所述的融合注意力机制的个性化搜索方法，其特征在于，如果当前用户u对新项目没有评价，则采用当前用户u的相似用户u′对该新项目的文本评论作为用户u对该新项目的评价；如果用户u的多个相似用户均对该新项目作出评价，则选择其中与用户u相似度最大的用户的评价；如果当前用户u的相似用户均没有对该新项目作出评价，用户u对该新项目的评价采用随机赋值的方式。

4.根据权利要求3所述的融合注意力机制的个性化搜索方法，其特征在于，用户u的相似用户为与用户u存在共同评分项目，且相似度大于预设的相似度阈值的用户；对于与用户u存在共同评分项目的用户u′，u′≠u,u和u′的相似度Sim(u,u′)为：

其中I_u,u′表示用户u和u′均评分的项目集合；R_ux'为用户u对I_u,u′中的项目x′的评分，R_u′x'为用户u′对x′的评分；

为用户u对已评价的所有项目的平均评分；

为用户u′对已评价的所有项目的平均评分。

5.根据权利要求1所述的融合注意力机制的个性化搜索方法，其特征在于，所述对DBN中的RBM1、RBM2、RBM3模型进行逐层训练，具体为：

首先训练RBM1，得到参数{w₁,a₁,b₁}；将b₁传递进RBM2中的a₂，在此基础上训练RBM2，获得优化参数{w₂,a₂,b₂}；将b₂传递进RBM3中的a₃，在此基础上训练RBM3，获得优化参数{w₃,a₃,b₃}。

6.根据权利要求1所述的融合注意力机制的个性化搜索方法，其特征在于，所述用户偏好的项目第n个决策分量的概率P(ψ_n)的计算为：

首先根据优势项目群体D计算基于用户偏好的概率分布模型p(x)：

p(x)为Φ维向量，其第n个元素p(ψ_n)为用户偏好项目第n个决策分量的激活概率；对p(ψ_n)进行下界约束，约束后的值为用户偏好的项目第n个决策分量的概率P(ψ_n)，即：

ε为预设的下界阈值。

7.根据权利要求1所述的融合注意力机制的个性化搜索方法，其特征在于，所述三层受限玻尔兹曼机中，每一层受限玻尔兹曼机中隐藏层隐单元数目为可见层中可见单元数目的0.8-1.2倍。

8.根据权利要求2所述的融合注意力机制的个性化搜索方法，其特征在于，新项目在优势项目群体D中的占比η<30％。

9.根据权利要求1所述的融合注意力机制的个性化搜索方法，其特征在于，所述步骤6采用欧氏距离作为相似度计算，即两向量之间的欧氏距离越小，二者相似度越高。

10.融合注意力机制的个性化搜索系统，其特征在于，包括：

用户生成内容获取模块，用于收集并获取用户u生成内容，所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分；将文本评论进行向量化，项目图像进行特征提取，获取特征向量；

优势项目群体构建模块，用于将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D；

用户偏好感知模型构建与训练模块，用于构建并训练融合注意力机制的用户偏好感知模型；所述模型基于深度置信网络，由三层受限玻尔兹曼机组成，其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v₁、第二组可见单元v₂和第三组可见单元v₃，隐藏层为h₁；h₁作为可见层，与隐藏层h₂构成第二层受限玻尔兹曼机；h₂作为可见层，与隐藏层h₃构成第三层受限玻尔兹曼机；所述融合注意力机制的用户偏好感知模型的参数为θ＝{θ₁,θ₂,θ₃}＝{w₁,a₁,b₁,w₂,a₂,b₂,w₃,a₃,b₃}；

基于用户偏好的分布估计概率模型构建模块，用于根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数，建立构建基于用户偏好的分布估计概率模型P(x)：

P(x)＝[P(ψ₁),P(ψ₂),…,P(ψ_n),…,P(ψ_Φ)] (17)

其中(ψ₁,ψ₂,…,ψ_n,…,ψ_Φ)为项目x的原始决策向量，P(ψ_n)表示用户对于项目的第n个决策分量的偏好概率；

种群生成模块，用于利用基于用户偏好的分布估计概率模型P(x)，采用分布估计算法生成N个新个体，每个个体为一个项目，并设置每个新个体的类别标签向量，N为预设的种群大小；

待推荐项目集合构建模块，用于在搜索空间中选择与N个新个体类别标签向量

相似度最高的N个项目，构成待推荐项目集合S^u；

适应值计算模块，用于计算待推荐项目集合S^u中各项目的适应值；

搜索结果选择模块，用于选择S^u中适应值最高的前TopN个项目作为搜索结果，TopN<N。

Images