CN110263256B - 基于多模态异质信息的个性化推荐方法 - Google Patents

Abstract

本发明公开了一种基于多模态异质信息的个性化推荐方法。主要解决现有技术推荐准确率低的问题。其方案为：采集用户旅游历史记录及景点的多模态异质信息；构建景点多模态特征集，并滤除噪声景点及用户信息；将用户访问记录按时间作为划分为训练集和测试集；利用景点多模态特征集中的不同特征分别结合用户的交互记录利用隐语义模型及神经网络构建个性化推荐模型来预测用户对景点的偏好；对个性化推荐模型进行优化得到优化好的推荐模型；利用优化好的推荐模型得到用户对测试目的地中所有景点的偏好分数，将评分最大的几个景点推荐给用户。本发明通过考虑景点的多模态特征可从不同视角挖掘用户偏好，能更有效的推断用户的旅行偏好，提高了推荐准确率。

Description

基于多模态异质信息的个性化推荐方法

技术领域

本发明属于计算机数据处理技术领域，更进一步涉及一种个性化推荐方法，可用于旅游景点的推荐。

背景技术

近年来旅游业发展迅速，越来越多的人在旅游网站上分享自己的旅程导致信息量呈指数爆炸。个性化的旅游推荐能帮助人们从庞大的旅游信息中发现自己感兴趣的地点有效的解决信息过载的问题。向用户提供更智能的旅行建议，已经成为学术界和工业界的一个热门课题。

现有旅游推荐方法，主要分为协同过滤方法和基于内容的推荐方法。但是有限的用户旅游记录导致用户-景点矩阵十分稀疏，而协同过滤的方法当交互数据稀疏时预测准确率会严重下降。基于内容的推荐算法利用各种的辅助信息可以缓解数据稀疏问题。但现有的一些方法仅挖掘文本信息及旅游记录景点推荐，然而这些方法仅利用单模态的文本信息，忽略了其他模态的信息，例如景点外貌特征等。研究表明多模态的异质信息对提供个性化推荐极为重要。不同的异质反馈信息从不同方面放映了用户偏好，例如：数值评分表示用户对产品的整体态度；文本评论能够表达用户对各种产品特性的意见；而产品图像则揭示了用户对产品不同视觉的偏好。然而，这些多模态信息的异质性使得它们很难以统一的方式在推荐算法中发挥作用，难以充分利用多模态信息成为限制个性化旅游推荐准确性的一个直接问题。实际上，人们的旅游决策过程可能受地域风格和景点的地域流行度的影响，用户在不同的目的地会表达出不同的兴趣。此外，景点图像的视觉吸引力也是旅游中一个重要的影响因素，不同的用户会有不同的美学偏好，而这些因素在旅游推荐算法中常被忽视。因而现有方法存在两方面的缺点：一是不能同时考虑用户在不同地域下的动态偏好及景点的多模态特征进行个性化的推荐，二是没有考虑景点多视角的特征对不同用户旅游决策的不同程度的影响抑制了推荐的准确率。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出了一个基于多模态异质信息的个性化推荐方法，利用多视图深度表示学习和注意力机制，同时考虑用户的在不同地域下的兴趣差异和景点的不同多模态特征对用户旅游决策的影响，为用户推荐符合他们兴趣的旅游景点，提高推荐准确率。

实现本发明上述目的的技术方案是：采集旅游数据并建立构建景点多模态特征集，利用多视图深度表示学习和贝叶斯个性化排序优化策略从多个视角自动学习用户的偏好融合得到最终预测结果。其具体步骤包括如下：

(1)采集用户访问记录信息及景点的多模态异质信息，并存储至数据库，该多模态信息包括景点的评分，图像和评论；

(2)根据采集的多模态异质景点信息生成景点的多模态特征集，并根据用户的访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据；该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C；

(3)利用隐语义模型及神经网络构建个性化推荐模型Y，输入训练数据，采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法来优化模型Y得到优化后的模型Y*；

其中k∈B,B＝{s,t,p,l}，其中s代表评分特征视图，t代表评论特征视图，p代表图像特征视图，l代表地域流行度特征视图；v∈V分别表示景点id，V表示数据集中所有景点的集合，u∈U表示用户id，U表示数据集中所有用户的集合；u^k*，v^k*,表示不同视图下用户和景点的表征，

表示用户u对景点v不同特征的偏好程度；g是sigmoid函数，Φ为内积函数；

(4)将用户id及景点的多模态特征，即评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，输入到优化好的模型Y*，得到用户对景点的最终得分；

(5)根据用户对测试目的地的所有景点的评分，按照评分排序得出评分最大的几个景点推荐给用户。

本发明与现有技术相比具有以下优点：

1.本发明由于使用从多模态的异质数据中从多视角挖掘用户的偏好，并考虑用户的旅游决策过程受到景点多视角多模态特征的不同影响，相比现有技术仅利用文本信息从单一角度挖掘用户偏好，能更全面的推断用户偏好。

2.本发明由于考虑了景点的区域流行度，并将根据景点的区域流行度生成的具有地域特征的群体偏好与用户偏好融合，有效解决用户在不同区域的旅游偏好的动态差异问题，提高了推荐准确率。

附图说明

图1是本发明的实现流程图；

图2是本发明中的构建的文本卷积网络结构图。

具体实施方式

下面结合附图对本发明的实施做进一步的详细描述。

参照图1，本实例的实现步骤如下：

步骤1.采集用户旅游访问记录及景点的多模态异质信息。

从旅游网站上采集用户的用户旅游访问记录及景点的多模态异质信息，该多模态信息包括景点的评分、图像、评论和访问人数。

步骤2.构建景点多模态特征集及数据预处理。

(2.1)根据(1)采集的多模态异质景点信息生成景点的多模态特征集：

该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，其中：

景点的文本评论特征TC，是将所有访问过景点的用户评论先进行分词、过滤无用词，再利用训练好的word2vec词向量模型将每个词映射为一个低维向量，然后利用景点评论的中所有单词的词向量构成景点的文本内容特征矩阵TC；

景点图像特征MP，是利用一个训练好的图像美学评估网络NIMA提取得到；

景点的评分特征X，为所有用户对景点的评分信息组成的向量；

景点区域流行度特征C，为景点被所有用户的访问过的次数；

(2.2)对(1)中采集的用户访问记录信息滤除一些访问景点数不足十个的噪声用户记录，并滤除对采集的景点中访问人数不足10人的景点，得到最终用于训练和测试的用户访问记录及景点。

步骤3.划分训练数据和测试数据。

对步骤(2)中预处理后的数据，根据用户访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据。

步骤4.利用隐语义模型及神经网络构建个性化推荐模型Y。

4.1)构建一个文本卷积网络Textcnn：

如图2所示，该网络结构依此为：一个卷积层，一个最大池化层，一个全连接层，其中卷积层使用三个1*60，2*60，3*60的卷积核；

将景点的文本特征TC输入到该Textcnn网络，输出得到相应的景点表征向量v^t；

构建相应用户集合U的文本偏好表征矩阵U^t，该表征矩阵中每一行代表一个用户相应的表征向量u^t，将用户表征向量u^t和景点表征向量v^t做内积，得到用户对景点文本特征的偏好得分预测为:y^t＝Φ(u^t,v^t)；

4.2)构建一个多层感知机MLP网络Net^p：

该网络结构依次为两个维度为1024*512，512*60的全连接层，其中1024为景点图像特征MP的维度；

将景点图像特征MP输入到Net^p网络，得到输出的相应景点表征v^p；

构建相应用户集合U的图像偏好表征矩阵U^p，该表征矩阵中每一行代表一个用户相应的表征u^p；

将用户表征向量u^p和景点表征向量v^p做内积，得到用户对景点图像特征的偏好得分预测为:y^p＝Φ(u^p,v^p)；

4.3)构建一个多层感知机MLP网络Net^s，该网络包含依次为三个维度分别为N*1024，1024*512，512*60的全连接层，其中N为所有景点数；

将景点评分特征X输入到该Net^s网络，得到输出的相应景点表征v^s；

构建相应用户集合U的评分偏好表征矩阵U^s，该特征矩阵中每一行代表一个用户相应的表征u^s；

将用户表征向量u^s和景点表征向量v^s做内积，得到用户对景点评分特征的偏好得分预测为:y^s＝Φ(u^s,v^s)；

4.4)构建目的地集合L的表征矩阵U^l和景点集合表征矩阵V^l,该表征矩阵U^l中每一行代表一个目的地城市相应的表征u^l，V^l中每一行代表一个景点相应的表征v^l；

将目的地城市相应的表征u^l和景点表征向量v^l做内积，得到景点所在目的地群体对景点的偏好得分预测为:y^l＝Φ(u^l,v^l)；

4.5)用贝叶斯个性化成对排序优化方法对该预测的偏好评分y^l进行优化：

4.5.1)定义群体流行度偏好目标函数O_l如下：

其中σ是sigmoid函数，λ_l是正则化参数，R_l＝{(l,v_{l_i},v_{l_j})|l∈L∧v_{l_i}∈l∧v_{l_j}∈l\v_{l_i}∧Cⁱ＞C^j)},u^l为目的地l的特征向量，

分别为景点v_{l_i}，v_{l_j}的表征向量，Cⁱ,C^j分别表示景点v_{l_i}，v_{l_j}的流行度；

4.5.2)每次迭代时随机选取一个目的l，以及随机选取一个属于目的地l的景点v_{l_i}和流行度小于景点v_{l_i}的景点v_{l_j}，作为训练数据，利用梯度下降算法更新目的地集合L的表征矩阵U^l和景点流行度表征矩阵V^l；

4.5.3)重复4.5.2)使目标函数最小化，得到优化后的目的地集合L的表征矩阵U^l*和景点流行度表征矩阵V^l*；

4.6)构建由两个隐藏层组成的注意力网络Net^att，其中第一隐藏层包括两个全连接层,第二隐藏层为一个全连接层；

将用户表征u^k和景点表征v^k输入到该Net^att网络，得到用户对景点每个特征偏好值y^k的注意力分数Net^att(u^k,v^k)：

Net^att(u^k,v^k)＝w₂relu(w_uu^k+w_vv^k+b₁)，

其中，k∈B,B＝{s,t,p,l}，w_u为用户表征u^k的权重，w_v为景点表征v^k的权重，b₁为偏置，这三个参数属于第一隐藏层网络参数，w₂是第二隐藏层的全连接层的参数，relu为激活函数；

4.7)对4.6)中得到的注意力分数Net^att(u^k,v^k)进行归一化，获得的用户对景点每个特征的偏好值y^k的注意力权重

4.8)根据用户对景点文本特征的偏好分数y^t，用户对景点评分特征的偏好分数y^s，用户对景点图像特征的偏好分数y^p，目的地群体对景点的偏好分数y^l*及它们相应权重

进行加权融合，得到用户对景点的最终偏好模型Y

步骤5.用贝叶斯个性化成对排序优化方法对个性化推荐模型Y进行优化。

5.1)定义全局目标函数O：

其中g是sigmoid函数，λ_k表示正则化参数，

其中

表示用户u看过的物品集合；

为用户u对景点v_i的预测得分，

为用户u对景点v_j预测得分；

5.2)每次迭代随机选取一个用户u及其访问过的景点v_i作为正样本，并随机选取一个用户没有访问过的景点v_j作为负样本，利用梯度下降算法更新4.1)的网络文本卷积网络Textcnn，4.2)的多层感知机网络Net^p，4.3)多层感知机网络Net^s，4.5)的注意力网络Net^att的参数及用户表征矩阵U^t，U^p，U^s，使目标函数O最小化；

5.3)重复5.2)直到满足迭代停止条件，得到训练好的文本卷积网络Textcnn^*，多层感知机网络Net^p*，多层感知机网络Net^s*，注意力网络Net^att*及用户文本偏好表征矩阵U^t*，用户图像偏好表征矩阵U^p*，用户评分表征矩阵U^s*；

5.4)根据5.3)优化后的网络Textcnn^*，Net^p*，Net^s*得到分别得到优化后的景点表征v^t*，v^p*，v^s*以及优化后的用户偏好表征矩阵U^t*，U^p*，U^s*得到相应的优化后的用户表征u^t*，u^p*，u^s*，并根据上述用户表征和景点表征利用注意力网络Net^att*，计算得到用户对景点不同特征偏好的权值

5.5)根据4.5)中优化后的目的地表征u^l*和景点表征向量v^l*，并根据上述目的地相应的表征u^l*和景点表征向量v^l*，利用注意力网络Net^att*计算得到用户对景点流行度特征的偏好程度

5.6)根据5.4)和5.5)中的用户表征，目的地表征及景点表征，计算得到用户对景点的最终偏好模型Y*

步骤六.为用户推荐景点。

将测试数据中的用户id及用户对应的访问目的景点的多模态特征，即评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，输入到优化好的模型Y*，得到用户对景点的最终得分，

根据用户对测试目的地的所有景点的预测评分，按照评分排序得出评分最大的几个景点推荐给用户。

本发明的效果通过以下实验进一步说明。

一.实验条件：

实验所用计算机配置为：Intel(R)Core(TM)i8CPU@3.5GHz,128GB内存，和单块NVIDIAGTX TITAN GPU。

实验所运行的软件环境为64为Ubuntu14.04操作系统下安装的TensorFlow1.2.0,Python3.6.3。

评价指标：准确率Precision@m，回归率Recall@m和归一化累计折损增益NDCG@m。

二.实验内容：

实验1：

利用上述评价指标，用本发明与现有六种旅游推荐算法为用户进行景点推荐，结果如表1所示。其中：

POP是现有热门推荐方法，

UCF是现有用户协同过滤推荐方法，

BPRMF是现有贝叶斯个性化排序推荐方法，

ATCF是现有基于作者主题模型的协同过滤推荐方法，

STM是现有基于静态主题模型的推荐方法，

DeepCONN为现有基于神经网络的推荐方法，

Precision@5，Recall@5和NDCG@5分别表示推荐景点数为5时的准确率，回归率，和归一化累计折损增益，

Precision@10，Recall@10和NDCG@10分别表示推荐景点数为10时的准确率，回归率，和归一化累计折损增益。

表1不同推荐算法推荐结果对比图

Methods	precision@5	recall@5	precision@10	recall@10	ndcg@5	ndcg@10
							POP	0.128	0.135	0.097	0.183	0.175	0.184
UCF	0.282	0.247	0.225	0.349	0.369	0.382
							ATCF	0.257	0.306	0.202	0.390	0.351	0.365
BPRMF	0.229	0.273	0.229	0.354	0.331	0.357
							DeepCONN	0.295	0.261	0.240	0.392	0.369	0.396
STM	0.265	0.270	0.208	0.375	0.343	0.361
							Ours	0.353	0.311	0.290	0.467	0.440	0.471

从表1我们可以得出以下结论：

POP方法，由于仅考虑景点的流行度而没有考虑用户偏好，在所有指标中表现最差；

UCF方法，由于仅使用访问历史来计算每个用户的相似性，而不使用任何内容信息，且因为用户的旅游访问记录较为稀疏，所以表现效果在所有个性化推荐算法中表现最差；

ATCF方法，由于加入了额外的文本信息结合协同过滤方法，比UCF推荐效果好，这表明额外的内容信息有助于推断用户的旅行偏好；

BPRMF方法，由于基于隐语义模型进行推荐，其结果比基于文本信息结合协同过滤方法ATCF方法表现要好；

STM方法，利用静态主题模型根据用户的评论建立相似性，推荐性能优于BPRMF方法

DeepC0NN方法，利用神经网络建模文本评论信息，推荐性能比BPRMF方法要好；

本发明，利用神经网络融合了景点的多模态异质信息，其所有推荐评价指标均优于现有的旅游推荐算法。

实验2：利用上述评价指标，对本发明使用各单特征视图的预测结果及融合所有特征视图进行的推荐，结果如表2所示：

其中，Image表示只利用图像特征视图,

Rating表示只利用评分特征视图，

Reviews表示只利用评论文本特征视图，

Rating+location表示利用评分特性视图和区域流行度特征视图，

Image+location表示利用图像特征视图和区域流行度特征视图，

Review+location表示利用评论特征视图和区域流行度特征视图，

all表示融合所有特征视图。

表2使用各单特征视图的预测结果及融合所有特征视图的推荐结果对比

Feature	precision@5	recall@5	precision@10	recall@10	ndcg@5	ndcg@10
							Rating	0.203	0.173	0.210	0.339	0.213	0.278
Rating+location	0.346	0.304	0.289	0.465	0.424	0.460
							Image	0.329	0.280	0.282	0.455	0.416	0.456
Image+location	0.348	0.310	0.385	0.464	0.433	0.464
							Review	0.152	0.122	0.156	0.234	0.177	0.211
Review+location	0.334	0.296	0.284	0.456	0.405	0.446
							all	0.353	0.311	0.290	0.467	0.440	0.471

从表2可看出，Image+location，Review+location，Rating+location的推荐结果分别优于Image，Review，Rating，这表明融合地域特征能有效解决用户在不同区域的旅游偏好的动态差异问题，提高推荐准确率；

本发明all表示的融合所有特征视图的推荐效果要优于只利用单特征视图的推荐结果。

Claims (5)

1.一种基于多模态异质信息的个性化推荐方法，包括如下步骤：

(1)采集用户访问记录信息及景点的多模态异质信息，并存储至数据库，该多模态信息包括景点的评分，图像和评论；

(2)根据采集的多模态异质景点信息生成景点的多模态特征集，并根据用户的访问记录时间将每个用户的最新旅游目的地的旅游记录作为测试数据，剩下的历史旅游记录和景点的多模态特征集作为训练数据；该多模态特征集包括景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C；

(3)利用隐语义模型及神经网络构建个性化推荐模型Y，输入训练数据，采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法来优化模型Y得到优化后的模型Y*；

其中k∈B,B＝{s,t,p,l}，其中s代表评分特征视图，t代表评论特征视图，p代表图像特征视图，l代表地域流行度特征视图；v∈V分别表示景点id，V表示数据集中所有景点的集合，u∈U表示用户id，U表示数据集中所有用户的集合；u^k*，v^k*,表示不同视图下用户和景点的表征，

表示用户u对景点v不同特征的偏好程度；g是sigmoid函数，Φ为内积函数；

(4)将用户id及景点的特征输入到优化好的模型Y*，得到用户对景点的最终得分；

(5)根据用户对测试目的地的所有景点的评分，按照评分排序得出评分最大的几个景点推荐给用户。

2.根据权利要求1所述的方法，其中(2)中根据采集的多模态异质景点信息生成景点的评分特征X，景点图像特征MP、文本评论特征TC及景点区域流行度特征C，分别表示如下：

该景点的文本评论特征TC，是将所有访问过景点的用户评论先进行分词、过滤无用词，再利用训练好的word2vec词向量模型将每个词映射为一个低维向量，然后利用景点评论的中所有单词的词向量构成景点的文本内容特征矩阵TC；

该景点图像特征MP，是利用一个训练好的图像美学评估网络NIMA提取得到；

该景点区域流行度特征C，为景点被所有用户的访问过的次数；

该景点的评分特征X，为所有用户对景点的评分信息。

3.根据权利要求1所述的方法，其中(3)中利用隐语义模型及神经网络构建个性化推荐模型Y，实现如下：

3a)构建一个文本卷积网络Textcnn，将景点的文本特征TC输入到该Textcnn网络，得到相应的景点表征v^t,并构建相应用户集合U的文本偏好表征矩阵U^t，该表征矩阵中每一行代表一个用户相应的表征u^t，得到用户对景点文本特征的偏好得分预测为:y^t＝Φ(u^t,v^t)；

3b)构建多层感知机MLP网络Net^p，将景点图像特征MP输入到Net^p网络，得到相应的景点表征v^p，构建相应用户集合U的图像偏好特征矩阵U^p，该表征矩阵中每一行代表一个用户相应的表征u^p，得到用户对景点图像特征的偏好得分预测为:y^p＝Φ(u^p,v^p)；

3c)构建多层感知机MLP网络Net^s，将景点评分特征X输入到该Net^s网络，得到相应的景点表征v^s，构建相应用户集合U的评分偏好表征矩阵U^s，该表征矩阵中每一行代表一个用户相应的表征u^s，得到用户对景点评分特征的偏好得分预测为:y^s＝Φ(u^s,v^s)；

3d)构建目的地集合L的表征矩阵U^l和景点集合表征矩阵V^l,该特征矩阵U^l中每一行代表一个目的地城市相应的表征u^l，V^l中每一行代表一个景点相应的表征v^l，得到景点所在目的地群体对景点的偏好得分预测为:y^l＝Φ(u^l,v^l)，用贝叶斯个性化成对排序优化方法对该预测的偏好评分y^l进行优化，得到优化后的目的地集合L的表征矩阵U^l*和景点集合表征矩阵V^l*及y^l*＝Φ(u^l*,v^l*)；

3e)构建由两个隐藏层组成的注意力网络Net^att，将不同u^k，v^k输入到该Net^att网络得到用户对景点每个特征偏好值y^k的注意力分数Net^att(u^k,v^k)：

Net^att(u^k,v^k)＝w₂relu(w_uu^k+w_vv^k+b₁)

其中，k∈B,B＝{s,t,p,l}，w_u，w_v，b₁是第一隐藏层网络参数，w₂是第二隐藏层网络参数，relu为激活函数；

3f)对3e)中得到的注意力分数Net^att(u^k,v^k)归一化，获得的用户对景点每个特征的偏好值y^k的注意力权重

3g)根据用户对景点特征的偏好分数y^t，y^s，y^p，目的地群体对景点的偏好分数y^l*及它们相应权重

进行加权融合，得到用户对景点的最终偏好模型Y

4.根据权利要求1所述的方法，其中(3)中采用贝叶斯个性化成对排序优化方法及端到端随机梯度下降算法对对景点的最终偏好模型Y进行优化，实现如下：

3h)定义全局目标函数O：

其中g是sigmoid函数，λ_k表示正则化参数，

其中

表示用户u看过的物品集合；

为用户u对景点v_i的预测得分，

为用户u对景点v_j预测得分；

3i)训练时，每次迭代随机选取一个用户u及其访问过的景点v_i作为正样本，并随机选取一个用户没有访问过的景点v_j作为负样本，利用梯度下降算法更新网络文本卷积网络Textcnn，多层感知机网络Net^p，多层感知机网络Net^s，由两个隐藏层组成的注意力网络Net^att的参数及用户表征矩阵U^t，U^p，U^s，使目标函数O最小化；

3j)重复3i)直到满足迭代停止条件，得到训练好的文本卷积网络Textcnn^*，多层感知机网络

多层感知机网络

由两个隐藏层组成的注意力网络

的参数及用户文本偏好表征矩阵

用户图像偏好表征矩阵

用户评分表征矩阵

得到优化后的偏好模型Y*。

5.根据权利要求3所述的方法,其中3d)中利用贝叶斯个性化成对排序优化方法对预测评分y^l进行优化,按如下步骤进行：

3d1)定义群体流行度偏好目标函数O_l如下：

其中σ是sigmoid函数，λ_l是正则化参数，R_l＝{(l,v_{l_i},v_{l_j})|l∈L∧v_{l_i}∈l∧v_{l_j}∈l\v_{l_i}∧Cⁱ＞C^j)},u^l为目的地l的表征向量，

分别为景点v_{l_i}，v_{l_j}的表征向量，Cⁱ,C^j分别表示景点v_{l_i}，v_{l_j}的流行度；

3d2)每次迭代时随机选取一个目的地l,以及随机选取一个属于目的地l的景点v_{l_i}和流行度小于景点v_{l_i}的景点v_{l_j}，作为训练数据，利用梯度下降算法更新目的地集合L的表征矩阵U^l和景点流行度表征矩阵V^l；

3d3)重复过程3d2)使目标函数最小化，得到优化后的目的地集合L的表征矩阵U^l*和景点流行度表征矩阵V^l*，完成对目标函数O_l的优化。

Images