CN109345274A - 基于bp神经网络评分预测误差的近邻用户选择方法 - Google Patents

Abstract

本发明公开了一种基于BP神经网络评分预测误差的近邻用户选择方法，具体步骤如下：确定需要引入的k种物品属性特征，初始化每个物品的属性特征向量；利用BP神经网络为每个用户构建关于物品属性特征向量的评分预测模型；为每个用户筛选近邻用户：利用每个候选近邻用户的评分预测模型对当前用户的历史评价物品进行评分预测，统计每个候选近邻用户对目标用户的历史评价物品的整体预测误差E_u,v，那么候选近邻用户v与当前用户u的相似度为sim(u,v)＝1/(1+E_u,v)，最后为当前用户u选择相似度最高的前k个用户。本发明缓解了在稀疏评分矩阵下用户共同评价项目较少无法较好地描述用户间兴趣偏好相似性的问题，从而提高评分预测准确性。

Description

基于BP神经网络评分预测误差的近邻用户选择方法

技术领域

本发明涉及软件技术以及推荐算法领域，具体涉及一种基于BP神经网络评分预测误差的近邻用户选择方法。

背景技术

随着移动互联网的发展，信息过载的现象不断加剧，如何从海量的数据中为合适的用户推荐合适的信息是一种重要的课题，而推荐算法通过对历史数据进行数学分析，预测用户对新物品的满意度，从而推荐用户满意度较高的物品，而满意度可以用评分值来表示，因此推荐算法可以看作是一种评分预测算法。假设有用户集合U＝{u₁,u₂,...,u_m}，物品集合I＝{i₁,i₂,...,i_n}，用户对物品的满意程度可以用一个评分值来表示，那么我们可以用一个大小为m×n的评分矩阵R 来表示每个用户对物品的评分信息，其中矩阵第i行为ID为i的用户对所有物品的评分向量，那么第i行第j列的值则表示ID为i的用户对ID为j的物品的评分值，i,j≥1，由于实际中每个用户只会对物品集合I中的一部分物品进行评价，因此该评分矩阵通常是一个高度稀疏的矩阵，其中评分矩阵的缺失值根据具体场景可以用0或者其它缺失值处理方式处理。推荐算法的目标是希望利用当前评分矩阵已有信息去预测评分矩阵中的缺失值，从而预测用户对未知物品的评分值，从而为用户做出适合的推荐策略。

在推荐算法的发展过程中，协同过滤算法是目前应用最广泛而推荐效果最为有效的推荐算法，其中基于邻域的协调过滤算法是协同过滤中最典型的算法，该算法的核心思想是为当前用户寻找兴趣偏好相似的近邻用户，利用近邻用户的历史评分行为来为当前用户预测评分提供参考，因此需要一种相似度计算模型来衡量用户之间的相似度，从而可以较准确地为当前用户选择合适的近邻用户集合。传统的常用的相似度计算模型有余弦相似度，修正的余弦相似度，它们把每个用户的评分向量作为用户的特征向量，通过计算两个用户特征向量的相似度来衡量两个用户之间的相似度，此外只考虑用户共同的评分项目数而不考虑评分值差异的杰拉德相似度，这些相似度在两个用户的共同评分项目数较少的情况下直接计算用户间的相似度无法较好地描述用户之间的兴趣偏好相似性，因此国内外的学者针对传统的相似度计算模型也提出一些改进方法，比如引入用户的背景信息，把评分相似度和用户背景相似度采用线性加权的方式结合起来，这些方法从用户背景特征出发，基于背景特征相似的用户较大概率具有相似的兴趣偏好，最直观的认识为年龄偏小的用户对动画少儿题材的物品更感兴趣，一定程度上改进了传统的相似度方法，但是实际上用户背景特征相似的群体中每个用户个体还是存在差异；因此需要一种从用户个体的兴趣偏好出发，在评分矩阵稀疏用户共同评分项目较少的情况下能够较好地描述用户兴趣偏好相似度的方法，从而为用户选择兴趣偏好相似的近邻用户集。

发明内容

为了克服现有技术中存在的上述缺陷，本发明提供一种基于BP神经网络评分预测误差的近邻用户选择方法，通过本发明可以在评分矩阵稀疏用户共同评分项目数较少的情况下较好地衡量用户之间的兴趣偏好相似度。

本发明通过引入物品的属性特征，其中物品的属性特征可以是物品的某种题材，品牌，风格等等，比如对于音乐来说抒情，校园，摇滚等风格可以作为不同音乐作品的属性特征，相同的属性特征可以出现在不同的物品中，这个可以理解为具有抒情风格特征的音乐作品并不只有一首，而且同样具有民谣风格音乐兴趣偏好的两个用户的共同评价项目也可能存在重合度较少的情况，这种情况不能认为两个用户的兴趣偏好相差较大，而是可以考虑将两个用户各自历史评分物品相互推荐；物品的属性特征往往能够反映用户的兴趣偏好，而且能够表征物品特性，因此即使用户的共同评分项目数较少，但是各自的历史评分物品往往具有较相似的物品属性特征，比如喜欢民谣风格的两个用户，虽然各自收藏的作品列表不同，但是各自的收藏列表中往往可以都可以发现同样是民谣风格的不同作品。

本发明首先利用BP神经网络对用户的评分与物品所具有的属性特征之间的关系进行分析，得出每个用户关于物品属性特征的评分预测模型后，利用该预测模型计算用户间的相似度，在为当前用户选择近邻用户的时候，使用候选近邻用户的评分预测模型对当前用户的历史评分物品集合进行预测，统计候选近邻用户给出的预测评分与当前用户实际评分的偏差值，如果候选近邻用户预测误差越小则认为该候选近邻用户与当前用户的兴趣偏好越相似。

本发明的目的采用如下技术方案之一实现。

一种基于BP神经网络评分预测误差的近邻用户选择方法，包括如下步骤:

S1将数据集按比例分为训练数据集和测试数据集，其中训练数据集用于作为已知信息用于评分预测模型的训练，一般来说训练集的训练比例越大，预测模型的准确性越高，可根据实验而定；

S2确定BP神经网络结构：BP神经网络结构分为输入层，隐含层以及输出层，数据从输入层的神经元输入，经过隐含层，最后由输出层输出，其中输入层的输入为某物品的属性特征向量，假设物品i的属性特征向量为 attr_i＝[a₁,...,a_s,...,a_k]，其中k为需要引入的物品属性特征个数，根据实际场景而定，当a_s为0的时候表示该物品不具有第s个属性特征，而当a_s等于1的时候表示该物品具有第s个属性特征；输入层神经元的个数与需要引入属性特征的个数一致，隐含层的个数为可调参数通过实验决定，而输出层的神经元输出为预测评分，个数为1即可；假设引入的物品属性特征个数为k，那么输入层的神经元个数也为k个，与物品属性特征个数保持一致；隐含层的神经元个数为p 个，p为可调参数由实验测试决定选择预测误差较少的p值；输出层的神经元个数为1；

S3确定BP神经网络各层神经元的激活函数：假设第i个输入层神经元的输入为x_ii，输出为x_oi；第h个隐含层神经元的输入为h_ih，输出为h_oh，而第o个输出层的输入为y_io，输出为y_oo，由于输出层神经元只有一个，因此输出层神经元的输入简写为y_i，而输出层神经元输出简写为y_o；假设第i个输入层神经元与第 h个隐含层神经元之间的连接权重为W_ih，第h个隐含层神经元与输出层神经元之间的连接权重为W_ho；BP神经网络中每个神经元都有一个激活函数，而且每个神经元的输出是将该神经元的输入经过激活函数处理之后得到的，假设输入层的神经元的激活函数为f_i，那么有x_oi＝f_i(x_ii)；假设隐含层的神经元的激活函数为f_h，那么有h_oh＝f_h(h_ih)；假设输出层的激活函数为f_o，那么有y_o＝f_o(y_i)；BP神经网络中每一层的神经元的输入等于前一层神经元输出的加权和，那么隐含层第h个神经元的输入为输出层神经元的输入为输入层的神经元与输出层的神经元的激活函数选择线性函数f(x)＝ax+b，其中a 和b的值根据具体应用场景决定，而隐含层神经元的激活函数采用sigmoid函数f(x)＝1/(1+e^-x)来处理用户评分与物品属性特征之间的非线性复杂关系；

S4开始为每个用户训练BP神经网络：假设当前用户为u，从训练数据集中找出属于用户u的历史评分记录集合Rat_u，每条评分记录至少包含用户ID，物品ID以及评分值等信息，因此可以从集合Rat_u得到用户u的历史评分物品集合I_u，其每个元素为用户的历史评分物品的ID；初始化最大迭代次数为m以及达到迭代终止条件的最小误差阈值min E，每次迭代的时候，从集合I_u中按随机顺序取出物品ID，输入该物品ID对应的属性特征向量，假设当前输入的物品为i，其对应的属性特征向量为attr_i＝[a₁,a₂,...,a_k]，那么经过BP神经网络前向传播之后，输出层的神经元将输出当前用户u对该物品的预测评分y_o，使用用户对该物品的实际评分d与预测评分y_o对比进行误差计算得到这个也是BP神经网络在使用随机梯度下降法迭代更新网络参数所使用的目标函数，预测误差越小越好，每次迭代完成后，统计本次迭代过程的全局预测误差当E_u小于min E或者达到最大迭代次数的时候，用户u的BP神经网络参数迭代更新完成；

BP神经网络的迭代更新是在反向传播的过程，当计算完预测评分和实际评分的误差后，首先更新隐含层与输出层之间的连接权重参数，然后再更新输入层与隐含层之间的连接权重，利用随机梯度下降法可得：隐含层第h个神经元与输出层神经元之间的连接权重更新为其中α为梯度下降的步长，输入层第i个神经元与隐含层第h个神经元之间的连接权重更新为其中α为梯度下降的步长，

S5为每个用户筛选近邻用户集合：假设当前用户u，为该用户筛选k个相似用户作为近邻用户集合，那么需要计算用户u与每个候选近邻用户的相似度，选择相似度最高的前k个候选近邻用户作为用户u的近邻用户集；假设候选近邻用户为v，那么使用候选近邻用户v训练好的BP神经网络模型对当前用户u 的历史评分物品集合I_u进行评分预测，候选用户v对集合I_u中物品i的预测评分为bp_v,i，而当前用户u对该物品的实际评分为r_u,i，那么候选近邻用户v对当前用户u的历史评分记录的整体预测误差为当候选用户v对用户u的历史评分物品的预测评分与用户u实际评分偏差越小，表示候选用户v 与用户u对物品属性特征具有相似偏好，因此预测评分误差才会较小，那么认为候选用户v与用户u越相似，他们之间的相似度为因此按照该近邻用户选择方法可以为用户u筛选出相似度最高的前k个近邻用户作为近邻用户集。

与现有技术相比，本发明具有如下有益效果和优点:

(1)本发明通过引入物品属性特征，充分考虑了用户评分与物品属性特征的关系，更好地描述用户的兴趣偏好。

(2)本发明通过利用候选近邻用户训练好的关于物品属性特征的BP神经网络评分预测模型对当前用户的历史访问物品列表进行评分预测，计算候选用户的预测评分与当前用户的历史实际评分的整体误差大小来衡量用户间的兴趣偏好相似度，预测误差越小表示候选近邻用户与当前用户的兴趣偏好程度越相似，解决了传统相似度计算模型在用户间共同评分项目数较少时无法较好地描述用户间相似度的问题。

附图说明

图1是本发明的工作流程图；

图2是BP神经网络结构示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此，需指出的是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可参照现有实现或理解的。

实施例

如图1所示，一种基于BP神经网络评分预测误差的近邻用户选择方法，包括如下步骤：

步骤一将已知的用户评分数据集按比例随机分为训练集和测试集，一般来说训练集的训练比例越大，预测模型的准确性越高，可根据实验而定；

步骤二确定需要引入的物品属性特征种类以及个数k，根据具体的应用场景决定，为每个物品初始化属性特征向量，假设当前物品为i，那么其属性特征向量可以表示为attr_i＝[a₁,...,a_s,...,a_k]，其中1≤s≤k，当a_s＝1时，表示该物品具有第s个属性特征，而当a_s＝0时表示该物品不具有第s个属性特征；假设系统中存在m个用户和n个物品，那么有大小为m×n的稀疏评分矩阵以及大小为 n×k的物品属性特征矩阵；

步骤三从训练集中为每个用户选出该用户的历史评分记录，假设当前用户为u，那么其历史评分记录集合为rat_u，该集合的每一条记录至少包含当前用户u的用户ID，用户u评价的物品的物品ID，以及对应的评分值，那么从集合rat_u可以得到用户u的历史评分物品集合I_u，该集合的每个元素为用户u评分过的物品ID；

步骤四为每个用户训练BP神经网络评分预测模型，首先需要确定BP神经网络的结构，BP神经网络的结构如图2所示：BP神经网络结构分为输入层，隐含层以及输出层，数据从输入层的神经元输入，经过隐含层，最后由输出层输出，其中输入层的输入为某物品的属性特征向量，假设物品i的属性特征向量为 attr_i＝[a₁,...,a_s,...,a_k]，其中k为需要引入的物品属性特征个数，根据实际场景而定，当a_s为0的时候表示该物品不具有第s个属性特征，而当a_s等于1的时候表示该物品具有第s个属性特征；输入层神经元的个数与需要引入属性特征的个数一致，隐含层的个数为可调参数通过实验决定，而输出层的神经元输出为预测评分，个数为1即可；假设输入层的神经元个数为k个，与考虑的物品属性特征个数一致；隐含层的神经元个数为p个，p为可调参数由实验测试决定选择预测误差较少的p值；输出层的神经元个数为1；假设第i个输入层神经元的输入为x_ii，输出为x_oi；第h个隐含层神经元的输入为h_ih，输出为h_oh，而第o个输出层的输入为y_io，输出为y_oo，由于输出层神经元只有一个，因此输出层神经元的输入简写为y_i，而输出层神经元输出简写为y_o；假设第i个输入层神经元与第h个隐含层神经元之间的连接权重为W_ih，第h个隐含层神经元与输出层神经元之间的连接权重为W_ho；BP神经网络中每个神经元都有一个激活函数，而且每个神经元的输出是将该神经元的输入经过激活函数处理之后得到的，假设输入层的神经元的激活函数为f_i，那么有x_oi＝f_i(x_ii)；假设隐含层的神经元的激活函数为f_h，那么有h_oh＝f_h(h_ih)；假设输出层的激活函数为f_o，那么有y_o＝f_o(y_i)；输入层的神经元与输出层的神经元的激活函数选择线性函数f(x)＝ax+b，其中a 和b的值根据具体场景决定即可，而隐含层神经元的激活函数采用sigmoid函数f(x)＝1/(1+e^-x)来完成用户评分与物品属性特征的非线性复杂关系；

BP神经网络中每一层的神经元的输入等于前一层神经元输出的加权和，那么隐含层第h个神经元的输入为输出层神经元的输入为

确定BP神经网络结构后，开始训练每个用户的BP神经网络评分预测模型参数，具体步骤为：假设当前用户为u，其历史访问物品集合为I_u，首先为用户u初始化BP神经网络评分预测模型参数，确定最大迭代次数以及达到迭代终止条件的误差阈值min E，每次迭代过程按随机顺序输入集合I_u中物品对应的物品属性特征向量，BP神经网络评分预测模型将输出用户u对该物品对应的预测评分；假设当前迭代过程中第p个待预测评分物品为i，则输入物品i对应的物品属性特征向量attr_i＝[a₁,...,a_s,...,a_k]，经过BP神经网络前向传播之后，输出层的神经元将输出当前用户u对该物品的预测评分y_o，使用用户对该物品的实际评分d与预测评分y_o对比进行误差计算得到E_u,i＝[y_o-d]²/2，这个也是BP神经网络在使用随机梯度下降法迭代更新网络参数所使用的目标函数，首先更新隐含层与输出层之间的连接权重参数，然后再更新输入层与隐含层之间的连接权重，利用随机梯度下降法可得：隐含层第h个神经元与输出层神经元之间的连接权重更新为其中α为梯度下降的步长，输入层第i个神经元与隐含层第h个神经元之间的连接权重更新为其中α为梯度下降的步长，当完成本次迭代过程的时候，统计本次迭代过程的整体预测误差当本次迭代过程的整体预测误差E小于 min E或者已经达到最大迭代次数的时候，用户u的BP神经网络评分预测模型训练完成；

步骤五为每个用户选择兴趣偏好相似的近邻用户集合，假设当前用户为u，需要为用户u选择相似度最高的前k个用户作为近邻用户集合，假设当前用户u 与候选近邻用户v的相似度为sim_u,v，那么sim_u,v的计算步骤具体为：用户u的历史评分物品集合为I_u，利用候选近邻用户v的BP神经网络评分预测模型去预测集合I_u中的每个物品的评分，假设物品i属于集合I_u，候选近邻用户v对物品i 的预测评分为bp_v,i，而用户u对物品i的实际评分为rat_u,i，那么可以得到候选用户v对用户u的历史评分物品的整体预测误差为那么 sim_u,v＝1/(1+E_v)，通过这种方法选择与用户u相似度最高的前k个候选近邻用户作为用户u的近邻用户集合。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于BP神经网络评分预测误差的近邻用户选择方法，其特征在于，包括如下步骤：

S1将数据集按比例分为训练数据集和测试数据集，其中训练数据集用于作为已知信息用于评分预测模型的训练；

S2确定BP神经网络结构，确定各层神经元的个数；

S3确定BP神经网络各层神经元的激活函数；

S4为每个用户训练BP神经网络；

S5为每个用户筛选近邻用户集合。

2.根据权利要求1所述的基于BP神经网络评分预测误差的近邻用户选择方法，其特征在于所述S2中的BP神经网络结构具体为：BP神经网络结构分为输入层，隐含层以及输出层，数据从输入层的神经元输入，经过隐含层，最后由输出层输出，其中输入层的输入为物品的属性特征向量，假设物品i的属性特征向量为attr_i＝[a₁,...,a_s,...,a_k]，s取值为1～k，其中k为需要引入的物品属性特征个数，根据实际场景而定，当a_s为0的时候表示该物品不具有第s个属性特征，而当a_s等于1的时候表示该物品具有第s个属性特征；输入层神经元的个数与需要引入属性特征的个数一致，隐含层的个数为可调参数通过实验决定，而输出层的神经元输出为预测评分，个数为1即可；假设输入层的神经元个数为k个，与考虑的物品属性特征个数一致；隐含层的神经元个数为p个，p为可调参数由实验测试决定选择预测误差较少的p值；输出层的神经元个数为1。

3.根据权利要求1所述的基于BP神经网络评分预测误差的近邻用户选择方法，其特征在于所述S3中的神经网络各层神经元的激活函数，具体为：输入层的神经元与输出层的神经元的激活函数选择线性函数f(x)＝ax+b，其中a和b的值根据具体场景决定即可，而隐含层神经元的激活函数采用sigmoid函数f(x)＝1/(1+e^-x)来完成用户评分与物品属性特征的非线性复杂关系。

4.根据权利要求1所述的基于BP神经网络评分预测误差的近邻用户选择方法，其特征在于所述S4中为每个用户训练BP神经网络过程，具体为：假设第i个输入层神经元的输入为x_ii，输出为x_oi；第h个隐含层神经元的输入为h_ih，输出为h_oh，而第o个输出层的输入为y_io，输出为y_oo，由于输出层神经元只有一个，因此输出层神经元的输入简写为y_i，而输出层神经元输出简写为y_o；假设第i个输入层神经元与第h个隐含层神经元之间的连接权重为W_ih，第h个隐含层神经元与输出层神经元之间的连接权重为W_ho；BP神经网络中每个神经元都有一个激活函数，而且每个神经元的输出是将该神经元的输入经过激活函数处理之后得到的，假设输入层的神经元的激活函数为f_i，那么有x_oi＝f_i(x_ii)；假设隐含层的神经元的激活函数为f_h，那么有h_oh＝f_h(h_ih)；假设输出层的激活函数为f_o，那么有y_o＝f_o(y_i)；BP神经网络中每一层的神经元的输入等于前一层神经元输出的加权和，那么隐含层第h个神经元的输入为输出层神经元的输入为假设当前用户为u，从训练数据集中找出属于用户u的历史评分记录集合Rat_u，每条评分记录至少包含用户ID，物品ID以及评分值，从集合Rat_u得到用户u的历史评分物品的集合I_u，其每个元素为物品的对应ID；初始化最大迭代次数为m，每次迭代的时候，从集合I_u中按随机顺序取出物品ID，输入该物品ID对应的属性特征向量，假设当前输入的物品为i，其对应的属性特征向量为attr_i＝[a₁,a₂,...,a_k]，那么经过BP神经网络前向传播之后，输出层的神经元将输出当前用户u对该物品的预测评分y_o，使用用户对该物品的实际评分d与预测评分y_o对比进行误差计算得到即BP神经网络在使用随机梯度下降法迭代更新网络参数所使用的目标函数，预测误差越小越好，每次迭代完成后，统计本次迭代过程的全局预测误差当E_u小于某个阈值或者达到最大迭代次数的时候，用户u的BP神经网络参数迭代更新完成；BP神经网络的迭代更新是在反向传播的过程，当计算完预测评分和实际评分的误差后，首先更新隐含层与输出层之间的连接权重参数，然后再更新输入层与隐含层之间的连接权重，利用随机梯度下降法可得：隐含层第h个神经元与输出层神经元之间的连接权重更新为其中α为梯度下降的步长，输入层第i个神经元与隐含层第h个神经元之间的连接权重更新为其中α为梯度下降的步长，

5.根据权利要求1所述的基于BP神经网络评分预测误差的近邻用户选择方法，其特征在于所述S5中的为每个用户筛选近邻用户集合的过程，具体为：假设当前用户u，为该用户筛选k个相似用户作为近邻用户集合，那么需要计算用户u与每个候选近邻用户的相似度，选择相似度最高的前k个候选近邻用户作为用户u的近邻用户集；假设候选近邻用户为v，那么使用候选近邻用户v训练好的BP神经网络模型对当前用户u的历史评分物品集合I_u进行评分预测，假设集合I_u的物品个数为n，候选用户v对集合I_u中物品i的预测评分为bp_v,i，而当前用户u对该物品的实际评分为r_u,i，那么候选近邻用户v对当前用户u的历史评分记录的整体预测误差为当候选用户v对用户u的历史评分记录预测误差越小，表示候选用户v与用户u对物品属性特征都具有相似偏好，因此预测评分误差才会较小，则认为候选用户v与用户u越相似，相似度为因此按照该相似度计算模型能为用户u筛选出相似度最高的前k个近邻用户作为近邻用户集。