CN110362738B

CN110362738B - 一种基于深度学习的结合信任和影响力的个性化推荐方法

Info

Publication number: CN110362738B
Application number: CN201811313107.6A
Authority: CN
Inventors: 张雪峰; 僧德文; 陈秀莉; 刘佳欣
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2018-11-06
Filing date: 2018-11-06
Publication date: 2021-12-21
Anticipated expiration: 2038-11-06
Also published as: CN110362738A

Abstract

本发明公开了一种基于深度学习的结合信任和影响力的个性化推荐方法，具体包括：构建用户‑项目评分矩阵；对数据进行特征提取；对用户‑项目已评分矩阵进行计算后得到用户初始直接信任度，使用皮尔逊相关系数度量计算用户相似度，并结合用户交互频率得到用户对项目的偏好度；在成功或失败的用户交互中根据用户对项目的偏好度为不同的项目分配不同的权重，得到最终的直接信任度，并形成用户‑用户信任矩阵；利用信任网络中的拓扑结构信息来挖掘社交网络中影响力较大的用户节点；构建及训练模型；通过训练好的模型预测用户对未知项目的评分，选择较高评分的项目产生推荐集。本发明使用深度学习得到更精确的特征向量，从而提高了推荐的精确度。

Description

一种基于深度学习的结合信任和影响力的个性化推荐方法

技术领域

本发明涉及推荐系统和社会网络领域，具体地，涉及基于深度学习的结合信任和影响力的个性化推荐方法。

背景技术

随着信息时代的发展，互联网上日益庞大的数据流，使得人们想获取所需要的信息变得越来越困难，信息过载成为亟待解决的问题。帮助我们从海量数据中筛选出有用数据的信息过滤技术显得越来越重要，推荐系统正是一种根据用户偏好从大规模数据中找到用户感兴趣数据的理想方法。但在日益复杂的社交网络环境中，用户项目评分矩阵稀疏和信任的弱传递问题仍影响着推荐的精度。提高系统的准确度和性能已成为个性化推荐进一步发展的迫切需求。

在以前的工作中，对推荐算法的研究主要集中在基于领域的协同过滤算法中，如Amazon在2003年提出的基于item的协同过滤算法，目前仍被业界广泛使用。协同过滤算法通过对用户的历史行为数据进行分析，利用行为相似用户对某一item的喜好为目标用户进行推荐。然而协同过滤算法虽然能在一定程度上提高推荐准确率，但是在实际应用中却面临着“数据稀疏”和“冷启动”问题。“数据稀疏”问题是指用户-项目矩阵中空元素过多，有值元素过少从而导致可利用数据过少的问题；“冷启动”问题是指新用户的行为数据过少导致系统无法分析其偏好的问题。

近年来，深度学习在图像处理、自然语言理解和语音识别等领域取得了突破性进展，已经成为人工智能的一个热潮，为推荐系统的研究带来了新的机遇。深度学习可通过学习一种深层次非线性网络结构，表征用户和项目相关的海量数据，具有强大的从样本中学习数据集本质特征的能力，能够获取用户和项目的深层次特征表示。2007年Salakhutdinov等人首次将深度学习应用于解决推荐问题，提出一种基于受限玻尔兹曼机(RBM)的协同过滤推荐模型。

与此同时，随着微博、微信和Twitter等社会化媒体的兴起，如何在社会网络中对推荐问题进一步展开研究，利用社会网络中的社会关系信息来帮助用户对信息进项个性化的过滤和筛选逐步成为研究的热点话题。例如，Massa和 Avesani研究了利用信任关系改进协同过滤的方法，他们使用用户间的信任关系矩阵代替寻找相似用户的过程，并且假设这种信任关系不但可以在信任网络中进行传播，还可以对未知的信任值进行预测；Yao等人基于社会同质性理论，利用用户的社会关系从而能构建有意义的以及更好的子矩阵。

关于用户影响力在社交网络中的应用也成为比较热门的课题。用户都比较倾向于参考具有更高影响力的用户的意见，也就是说在一个社交网络中，不同用户对于其他用户的意见和评价的影响是不同的。综合以上背景，本发明提供了一种基于深度学习的结合信任和影响力的个性化推荐方法。

发明内容

本发明的目的是提供一种结合了其他社会因素，具有较高准确率的基于深度学习的结合信任和影响力的个性化推荐方法。

本发明解决现有技术问题所采用的技术方案：一种基于深度学习的结合信任和影响力的个性化推荐方法，包括以下步骤：

步骤1：构建用户-项目评分矩阵；

步骤2：对数据进行特征提取；

步骤3：对用户-项目已评分矩阵进行计算后得到用户初始直接信任度，使用皮尔逊相关系数度量计算用户相似度，并结合用户交互频率得到用户对项目的偏好度；在成功或失败的用户交互中根据用户对项目的偏好度为不同的项目分配不同的权重，得到最终的直接信任度，并形成用户-用户信任矩阵；

步骤4：利用信任网络中的拓扑结构信息来挖掘社交网络中k个用户节点，使得通过这k个节点产生的影响传播范围最大；

步骤5：构建及训练模型；

步骤6：通过训练好的模型预测用户对未知项目的评分，选择评分高于阈值的的项目产生推荐集。

作为优选，步骤2具体为，使用自动编码器无监督地学习用户评分行为，将高维、稀疏的用户行为压缩成低维、稠密的用户特征矩阵P、Q及项目特征矩阵X、Y。

作为优选，步骤3中，对用户-项目已评分矩阵进行计算后得到用户初始直接信任度的计算公式包括：

其中，用户u和用户v的初始直接信任度为Init(u,v)，取值为(0,1]；I_u∩I_v表示用户u和用户v已进行过的交互次数，阈值D用来衡量两个用户完全信任对方时的最少交互次数；考虑到每个用户评分数目不一致，对完全信任的标准也可能不同，我们设定每个用户的阈值

其中I_u为用户u 的已评分项目集合。

作为优选，步骤3中，使用改进后的皮尔逊相关系数度量用户相似度，计算公式如下：

其中，用户u对用户m的相似度为sim(u,m)；r_u,i和r_m,i分别代表用户u 及用户m对项目i的评分；I_u,m集合包含的是用户u、m同时评分过的项目；

是用户u评分过的项目对应的评分集合H中元素和的均值，计算如下：

同理，

意义同上。

作为优选，步骤3中，计算用户-项目偏好度的公式如下：

其中，用户u对项目c的偏好度为Pre(u,c)；U_c代表对项目c进行过评分的用户集合，m是U_c中的用户。

作为优选，步骤3中，我们对用户之间的交互是否成功进行了重新的定义，我们假设若用户u和用户v对项目i的评分都高于用户自身平均评分，就认为这次交互是成功的，反之失败，如下所示：

作为优选，步骤3中，在成功或失败的用户交互中根据用户对项目的偏好度为不同的项目分配不同的权重，得到最终的直接信任度，再利用设置阈值t的方式过滤掉小于阈值的信任值得出最终的用户-用户信任矩阵的方法，计算最终的直接信任度的公式如下：

其中，用户u对用户v最终的直接信任度为T(u.v)；Pre(u,c)为用户u对项目c的偏好度。

作为优选，步骤4中，利用信任网络中的拓扑结构信息来挖掘社交网络中影响力较大的用户节点的方法包括：

其中，C(i)为用来衡量网络节点形成结构洞时所受到的约束，约束越大，节点的影响力越小；

表示信任出度用户，也就是用户i信任的所有用户；p(j,i)描述的是节点j与其他节点直接或间接联系的紧密程度，系数越高代表连接越紧密，形成结构洞所受到的约束越大，计算公式如下：

t_j为权重因子，计算公式如下：

其中

表示信任入度用户，即信任用户j的所有用户。

作为优选，步骤5中，构建并训练融合社会化信息的推荐模型，包括：

步骤5.1：将数据集采用5-折交叉验证方法，将数据集随即且平均划分为5份，依次选取其中1份作为测试集，剩余4份数据作为训练集；

步骤5.2：对训练集中的用户进行评分预测，方法如下：

其中，用户u对项目i的预测评分为

b_i表示i的偏置向量，U_i-u表示除用户u之外对项目i评过分的用户，I_i-i表示除项目i外用户u评过分的所有项目；α，β，z，μ分别控制涉及的项目数量、用户数量、信任用户及影响力用户数量；IU为拥有较大影响力用户集合，即C(i)值较小的节点； p_v、q_u分别表示用户v与u的特征向量，通过计算内积

来得出两用户的相似性；同理x_j、y_i分别表示项目j与i的特征向量，

为项目之间的相似性；与前两个不同，

表示的是用户w对目标项目i所造成的影响；s 为调和参数，代表用户相似性的相对重要性；同理，δ∈[0,1]控制信任入度用户和信任出度用户的权重；

步骤5.3：构建损失函数J：

其中，C代表所有用户；

与

分别代表用户u已评分项目及未评分项目；

表示向量或矩阵的L2范数的平方，即各维度数值的平方和；r_u,i和 r_u,j分别代表用户-项目评分矩阵中用户u对项目i及项目j的评分，

和

则是本次算法计算出的预测评分；P、Q为用户特征矩阵；X、Y代表项目特征矩阵；b为偏置矩阵；

步骤5.4：创建推荐模型：

从损失函数J中获取用户潜在特征矩阵P和项目潜在特征矩阵X的梯度，并利用梯度下降法对损失函数进行训练。

通过上述技术方案，本发明所述的社交网络中基于深度学习的结合信任和影响力的个性化推荐方法中，既结合了用户之间的相似因素，又结合了用户之间的信任因素，同时还考虑到用户影响力因素对于推荐结果的影响，并使用深度学习得到更精确的特征向量，从而提供更准确的预测。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是说明本发明的一种基于深度学习的结合信任和影响力的个性化推荐方法的流程图；

图2为使用自动编码器无监督地学习用户评分行为流程图。

具体实施方式

一下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明一种基于深度学习的结合信任和影响力的个性化推荐方法的总体流程图。一种基于深度学习的结合信任和影响力的个性化推荐方法，包括以下步骤：

步骤1：建立用户-评分矩阵

将评分信息表中的数据具体化为一个矩阵R_m×n，行表示用户，列表示项目，元素R_U,i代表U号用户对i号项目的评分，一般评分分数均采用五分制，即最小值为1，最大值为5。数值越大，说明用户对项目越认可。如表1所示：

表1用户User-项目Item评分矩阵

	项目1	项目2	项目3	项目4
					用户1	2	0	4	5
用户2	0	3	0	4
					用户3	4	0	3	0
用户4	0	0	5	3

步骤2：使用自动编码器无监督地学习用户评分行为，将高维、稀疏的用户行为压缩成低维、稠密的用户特征向量P、Q及项目特征向量X、Y，基本思路如图2所示。自动编码器是一种人工神经网络，用于学习有效编码，目的是学习一组高维数据的压缩表示。它和普通神经网络一样，由输入层，隐藏层和输出层组成。特殊的是，自动编码器输出层的目标值等于输入层的输入值，也就是说，自动编码器尝试学习一个恒等函数，使得输出与输入尽可能接近。

以提取用户特征向量为例，我们用X＝{I₁,I₂,…,I_m}来表示样本向量，自动编码器的主要步骤如下：

步骤2.1：对于i从1到L-1，样本xⁱ通过位于输入层与隐藏层之间的权值矩阵

(d为隐含层神经元个数)和偏置向量

进行编码，得到样本的d维隐含层特征h_i，计算如下：

h₁＝σ(W₁X+b₁)

h_i＝σ(W_ih_i-1+b_i)

其中Sigmoid函数为σ(x)＝1/(1+e^-x)。

步骤2.2：通过位于隐含层与输出层之间的权值矩阵

和偏执向量

自动编码器通过以下公式从d维的隐含层特征h_L-1中重构原始数据

步骤2.3：自动编码器的训练过程就是调整权值矩阵W与偏置向量b，从而最小化目标函数，如下所示：

其中，

和x_i分别代表

与X的第i维向量；||·||²表示向量或矩阵的L2范数的平方，即各维度数值的平方和；目标函数中的第一项是误差项，用来最小化重构数据

与原始数据x_i的误差；后几项是正则项，用来防止模型向训练数据过拟合。

步骤2.4：自动编码器采用经典随机梯度下降算法进行训练，在每个迭代过程中，更新权重矩阵的公式如下：

其中，l为学习率，b采用相同的方式更新。

步骤3：对用户-项目已评分矩阵进行计算后得到用户初始直接信任度，使用皮尔逊相关系数度量计算用户相似度，并结合用户交互频率得到用户对项目的偏好度，包括以下步骤：

步骤3.1：计算用户初始直接信任度。直接信任来源于主观个体的经验积累。如果两个用户对同一个项目进行了评价就算作是他们之间的一次交互，一个用户u越信任用户v才会与v进行越多次的交互。用户初始直接信任度的计算公式包括：

其中，用户u和用户v的初始直接信任度为Init(u,v)，取值为(0,1]；Iu∩Iv表示用户u和用户v已进行过的交互次数；阈值D是一个可调节的参数，用来衡量两个用户完全信任对方时的最少交互次数。若用户共同评分的商品数目未超过阈值，则这个有效权重就要发挥作用，相反若两个用户共同评分的商品数目超过设定阈值，则初始信任度为1。考虑到每个用户评分数目不一致，对完全信任的标准也可能不同，我们设定每个用户的阈值

其中I_u为用户u的已评分项目集合。

步骤3.2：使用改进的皮尔逊相关系数度量用户相似度，计算公式包括：

其中，用户u对用户m的相似度为sim(u,m)；I_u,m集合包含的是用户u、m同时评分过的项目；

同理，

意义同上。

步骤3.3：计算用户-项目偏好度：偏好是隐藏在人们内心中的情感倾向，不是直观的，具有一定的情绪色彩和向往心情，偏好因人而异，比如一本专业书籍，只有特定的人才会给予关注并评分，表明用户确实对这个主题感兴趣；有时偏好也呈现出群体特征，比如，对于日常生活用品，大家都需要购买，这类项目的热度比较大，但这只是一种生活需求，刻画用户内在兴趣的作用比较小；计算用户-项目偏好度的公式如下：

其中，用户u对项目c的偏好度为Pre(u,c)；U_c代表对项目c进行过评分的用户集合，m是U_c中的用户。由公式可知，用户u与集合U_c中聚集的用户相似程度越大，他对项目c的偏好度就越高。

步骤3.4：在成功或失败的用户交互中根据用户对项目的偏好度为不同的项目分配不同的权重，得到最终的直接信任度，再利用设置阈值t的方式过滤掉小于阈值的信任值得出最终的用户-用户信任矩阵的方法，计算最终的直接信任度的公式如下

其中我们对用户之间的交互是否成功进行了重新的定义，我们假设若用户u 和用户v对项目i的评分都高于(低于)用户自身平均评分，就认为这次交互是成功的(success)，反之失败(failure)，如下所示：

步骤4：利用信任网络中的拓扑结构信息来挖掘社交网络中影响力较大的用户节点的方法包括：

表示信任出度用户，也就是用户i信任的所有用户；p(j,i) 描述的是节点j与其他节点直接或间接联系的紧密程度，系数越高代表连接越紧密，形成结构洞所受到的约束越大，计算公式如下：

t_j为权重因子，计算公式如下：

其中

表示信任入度用户，即信任用户j的所有用户。

步骤5，构建并训练融合社会化信息的推荐模型，包括以下步骤：

步骤5.1：将数据集采用5-折交叉验证方法，将数据集随即且平均划分为5 份，依次选取其中1份作为测试机，剩余4份数据作为训练集；

步骤5.2：对训练集中的用户进行评分预测，方法如下：

其中，用户u对项目i的预测评分为

b_i表示i的偏置向量，U_i-u表示除用户u之外对项目i评过分的用户，I_u-i表示除项目i外用户u评过分的所有项目；IU为拥有较大影响力用户集合，即C(i)值较小的节点；α，β，z，μ分别控制涉及的项目数量、用户数量、信任用户及影响力用户数量；p_v、q_u分别表示用户 v与u的特征向量，通过计算内积

为项目之间的相似性；与前两个不同，

表示的是用户w对目标项目i所造成的影响；s为调和参数，代表用户相似性的相对重要性；同理，δ∈[0,1]控制信任入度用户的权重。

步骤5.3：构建损失函数J：

其中，C代表所有用户；

与

分别代表用户u已评分项目及未评分项目；

表示向量或矩阵的L2范数的平方，即各维度数值的平方和；r_u,i和r_u,j分别代表用户-项目评分矩阵中用户u对项目i及项目j的评分，

和

则是本次算法计算出的预测评分；P、Q为用户特征矩阵；X、Y代表项目特征矩阵；b为偏置矩阵。

步骤5.4：迭代次数加1，当损失函数J小于预设值或迭代次数达到最大迭代次数则满足收敛条件到步骤5.5；否则从损失函数J中获取用户潜在特征矩阵 P和项目潜在特征矩阵X的梯度，并利用梯度下降法对损失函数进行训练；

步骤5.5:输出收敛了的用户潜在特征矩阵P和项目潜在特征矩阵X，训练过程结束。

步骤6:通过训练好的模型预测用户对未知项目的评分，选择较高评分的项目产生推荐集。

实验：

1、数据集

本发明分别使用了Filmtrust、Epinions、Ciao这三个真实世界的数据集来验证推荐性能。Filmtrust是一个电影分享网站，评分范围为1-4。Ciao和 Epinions都是知名产品评论网站，用户可以对产品做出1到5的评分并提交他们的个人评论。这些评分和评价将在其他顾客做出是否购买产品的决定时影响其他顾客。3个数据集的统计信息如表2所示，可以看出这些数据集本质上都十分稀疏。

表2数据集的统计信息

2、评价标准

为使实验结果更具有说服力，采用5-折交叉验证方法，将数据集随即且平均划分为5份，依次选取其中1份作为测试机，剩余4份数据作为训练集，训练5次模型得到5次实验结果，选取5次结果的平均值作为最终实验结果。和评分预测问题不同的是，本发明使用准确度(precision)和F1分数(F1-measure) 等作为评判标准。与大多数推荐系统类似，将备选项目按评分排序，并推荐前N 个项目。对于每个用户，定义P@N以及F1@N为：

3、比较方法与实验结果

实验选取了4个现有的推荐方法与本方法FSTID进行比较，包括GBPR、 MostPop、FISM及FST。对于Filmtrust、Ciao、Epinions数据集，本方法设置α，β，z，μ为达到最好状态的参数，其他方法使用原始文献中的默认参数，5个方法的实验结果对比如表3所示。

表3不同方法在三个数据集上的实验结果

实验结果表明，本发明的方法在不同的N取值情况下，准确度和召回率都优于其他几种方法。可以证明，本发明提出的一种基于深度学习的结合信任和影响力的个性化推荐方法，能够更好的优化用户和项目的隐含变量，提高了预测的可靠性以及推荐系统的精确性。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

Claims

1.一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，包括以下步骤：

步骤1：构建用户-项目评分矩阵；

步骤2：对用户评分行为数据进行特征提取，得到用户特征矩阵和项目特征矩阵；

步骤5：构建并训练融合社会化信息的推荐模型，包括：

步骤5.2：对训练集中的用户进行评分预测，方法如下：

其中，用户u对项目i的预测评分为

b_i表示i的偏置向量，U_i-u表示除用户u之外对项目i评过分的用户，I_u-i表示除项目i外用户u评过分的所有项目；α，β，z，μ分别控制涉及的项目数量、用户数量、信任用户及影响力用户数量；IU为拥有较大影响力用户集合，即C(i)值较小的节点；p_v、q_u分别表示用户v与u的特征向量，通过计算内积

为项目之间的相似性；与前两个不同，

表示的是用户w对目标项目i所造成的影响；s为调和参数，代表用户相似性的相对重要性；同理，δ∈[0，1]控制信任入度用户和信任出度用户的权重；

步骤5.3：构建损失函数J：

其中，C代表所有用户；

与

分别代表用户u已评分项目及未评分项目；

表示向量或矩阵的L2范数的平方，即各维度数值的平方和；r_u，i和r_u，j分别代表用户-项目评分矩阵中用户u对项目i及项目j的评分，

和

步骤5.4：创建推荐模型：

从损失函数J中获取用户特征矩阵P和项目特征矩阵X的梯度，并利用梯度下降法对损失函数进行训练；

2.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于：步骤2具体为，使用自动编码器无监督地学习用户评分行为，将高维、稀疏的用户行为压缩成低维、稠密的用户特征矩阵P、Q及项目特征矩阵X、Y。

3.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤3中，对用户-项目已评分矩阵进行计算后得到用户初始直接信任度的计算公式包括：

其中，用户u和用户v的初始直接信任度为Init(u，v)，取值为(0,1]；I_u∩I_v表示用户u和用户v已进行过的交互次数，阈值D用来衡量两个用户完全信任对方时的最少交互次数；考虑到每个用户评分数目不一致，对完全信任的标准也可能不同，我们设定每个用户的阈值

其中I_u为用户u的已评分项目集合。

4.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤3中，使用改进后的皮尔逊相关系数度量用户相似度，计算公式如下：

其中，用户u对用户m的相似度为sim(u，m)；r_u，i和r_m，i分别代表用户u 及用户m对项目i的评分；I_u，m集合包含的是用户u、m同时评分过的项目；

同理，

意义同上。

5.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤3中，计算用户-项目偏好度的公式如下：

其中，用户u对项目c的偏好度为Pre(u，c)；U_c代表对项目c进行过评分的用户集合，m是U_c中的用户。

6.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤3中，我们对用户之间的交互是否成功进行了重新的定义，我们假设若用户u和用户v对项目i的评分都高于用户自身平均评分，就认为这次交互是成功的，反之失败，如下所示：

7.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤3中，在成功或失败的用户交互中根据用户对项目的偏好度为不同的项目分配不同的权重，得到最终的直接信任度，再利用设置阈值t的方式过滤掉小于阈值的信任值得出最终的用户-用户信任矩阵的方法，计算最终的直接信任度的公式如下：

其中，用户u对用户v最终的直接信任度为T(u，v)；Pre(u，c)为用户u对项目c的偏好度。

8.根据权利要求1所述的一种基于深度学习的结合信任和影响力的个性化推荐方法，其特征在于，步骤4中，利用信任网络中的拓扑结构信息来挖掘社交网络中影响力较大的用户节点的方法包括：

表示信任出度用户，也就是用户i信任的所有用户；p(j，i)描述的是节点j与其他节点直接或间接联系的紧密程度，系数越高代表连接越紧密，形成结构洞所受到的约束越大，计算公式如下：

t_j为权重因子，计算公式如下：

其中

表示信任入度用户，即信任用户j的所有用户。