CN108038629A

CN108038629A - 一种基于协同过滤的优化方法

Info

Publication number: CN108038629A
Application number: CN201711492287.4A
Authority: CN
Inventors: 杨胜齐; 黄樟钦; 郑龙帅; 吴寒; 包宇津
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-12-30
Filing date: 2017-12-30
Publication date: 2018-05-15

Abstract

本发明公开了一种基于协同过滤的优化方法，该方法为一种基于奇异值分解和BP神经网络预测未评分项的改进方法；该方法通过奇异值分解用户‑项目评分矩阵，有效的降低了矩阵的稀疏性；同时在奇异值分解的基础上，进一步采用BP神经网络来对未评分的目标项目进行分值预测。在此基础上，进行相似性计算获取相似邻居列表，将商品进行推荐给目标用户。该方法的改进核心思想是将用户‑项目评分矩阵降维，有效的缓解数据稀疏性，使得推荐准确率更高。

Description

一种基于协同过滤的优化方法

技术领域

本发明属于数据处理和数据挖掘领域，具体涉及一种基于奇异值分解和BP神经网络预测未评分项的改进方法。

背景技术

进入移动互联网时代，各种平台上信息资源的体量越来越大，出现了比传统互联网时代更为严重的“信息过载”现象。面对如此巨大的信息量，用户经常感到无从下手，原因就是很难再通过简单的查找较快的获得自己喜欢的信息，同时也大大增加了人们查询信息的时间，这是“信息过载”现象在电子商务领域的表现。用户也可以通过阿里巴巴提供的搜索指数来选择商品，但是并不一定符合自己个性化需求。因此用户需要一种能根据自己的偏好特点来自动选择其感兴趣信息的技术，推荐算法在这种背景下得到了迅速发展。

推荐系统的研究重点在于如何快速的从海量信息中获取我们感兴趣的内容，省时省力，准确快捷是首要目标。现在是大数据时代，各种信息数据增长速度极快，推荐系统的效率已经成为学者十分重视的问题，各种框架的出现表明了对推荐系统的进一步研究已经迫在眉睫，同时也给各类电商平台带来了很大改变。

根据原理的不同，个性化推荐算法有几种不同的分类，通过不同的推荐策略来进行信息等资源的推荐，大致分为三种推荐方式：基于关联规则、基于内容和协同过滤推荐算法。基于关联规则算法的本质是获取数据与数据之间的关系，在获取到用户的行为之后，使用关联规则技术分析各个产品在用户之间购买的关系，找出各个产品之间的联系，由这些产品的联系推导出来跟其他产品之间的联系，不同规则的相似度不同，这个在每个关联规则中都可以通过两商品同时发生的概率来表示。基于内容的推荐算法是以平台上商品的分类属性来进行推荐的，首先要明确商品类别属性，根据商品本身所具有的属性特点来判断某一未评分产品是否符合用户的期望。协同过滤推荐算法是根据用户的兴趣进行分析的，在用户购买商品的过程中，用户之间和项目之间都会有相似性，通过这些相似性来进行产品的定向推荐，算法的核心是寻找用户和商品的最近邻居。

协同过滤是根据用户的兴趣进行分析的，在用户购买商品的过程中，用户之间和项目之间都会有相似性，通过这些相似性来进行产品的定向推荐，算法的核心是寻找用户和商品的最近邻居。该算法有两种重要的分类，基于用户的协同过滤算法和基于项目的协同过滤算法。最早使用到这两种方法是在信息的过滤时进行筛选的，后来延伸出来各种类型的算法。其实这两者的原理是相似的，都要使用到用户对商品的评分数据来进行分析，前者是整个算法的核心，通过矩阵行数据计算用户相似性，后者是通过列数据计算项目的相似性。

发明内容

本发明的目的是针对现有技术的不足，提出了一种基于奇异值分解和BP神经网络预测未评分项的改进方法。该方法通过奇异值分解用户-项目评分矩阵，有效的降低了矩阵的稀疏性；同时在奇异值分解的基础上，进一步采用BP神经网络来对未评分的目标项目进行分值预测，这样做的好处是避免了用平均分值代替而产生的效果单一性，从而使推荐的准确性有了较大提升。

将用户对商品的评分用m×n矩阵R表示，其中，m是用户数量，n是商品数量，矩阵中元素R_ij是用户i对商品j的偏好，R_ij为数值。用矩阵R进行表示。

若r是m×n矩阵R的秩，那么对矩阵R进行分解

(1)U是m×m阶酋矩阵，表示用户特征矩阵；S是半正定m×n阶对角矩阵，S还能够用∑_r的对角阵来表示；V^T是V的共轭转置矩阵，是n×n阶酋矩阵，表示商品的特征矩阵；

(2)RR^T的特征值λ₁,λ₂,…λ_r也是R^TR的特征值；

(3)存在1≤i≤r,m×n的矩阵S符合∑_ii＝σi，其中1≤i≤r，σi就是矩阵R的奇异值，这里存在的数量关系即可用来表示特征值的关系。

为达到上述目的，本发明采用的技术方案为：

奇异值分解能够用于解决矩阵降维的问题，在电商个性化推荐系统中将其应用到用户-项目评分矩阵上，进行矩阵变换，这一过程是获取矩阵数据的重要特征值来取代整个的稀疏矩阵。为此，通常需要以下步骤。

(1)首先对于用户项目评分矩阵R，采用奇异值分解公式进行分解。

(2)然后把矩阵S中对角线上r-k个最小奇异值置为0，得S_k。

(3)最后计算R_k＝US_kV^T作为R的重构矩阵。

奇异值分解过程是在进行奇异值分解之前首先对数据进行处理，将用户和商品区别开来，矩阵中的R_ij即表示所有用户i对商品j的喜好分值，若没有用户评分，则该项设置为0。在结合协同过滤推荐算法中，奇异值分解可以方便快速的处理原始数据，在保证数据集基本不缺失重要数据的情况下，应对当前评分矩阵数据极度稀疏性这一问题。

在协同过滤推荐方法中，目标用户和商品之间的关系影响整个算法推荐流程，利用用户的相似邻居对某一商品的评分来对其他商品进行评估。在获得准确完整的用户评价数据之后即可利用奇异值来进行处理。

下面是利用奇异值分解的步骤：

步骤1)读取用户对项目的行为数据，将用户对项目的评分转变成矩阵格式，将数据直接读入矩阵；

步骤2)计算矩阵大小，选取大小适合的实验训练集；

步骤3)选取合适的测试集数据用来跟训练集数据做对比，并将测试数据集转换为矩阵格式；

步骤4)将训练数据集中对应的矩阵中用户对物品的评分值读入训练集矩阵中；

步骤5)获取用户评分矩阵，将用户所在的第j列和电影所在的第j+1列转换即可；

步骤6)对训练集矩阵进行分解获得结果。

BP神经三层网络结构中元素中，{p₁,p₂,p₃,…,p_n-2,p_n-1,p_n}是输入元素，代表选取商品的特征数据值，获取的特征向量维数即为神经元个数；{w₁,w₂,w₃,w₄,w₅}为隐层，包含权值的很多分量；{q₁,q₂,q₃,q₄,q₅}是输出元素，输出产品评分值。

BP神经网络的训练是不断进化迭代的。原始的BP神经网络是net(i)，那么假定更新之后的网络是net(i+1)。由于最新的数据实时性最好，那么在进行进化时把最新的n个数据作为样本集进行训练的效果是最好的。

训练步骤如下。

步骤1)算法开始；

步骤2)设定初始的样本集，在原有样本训练集上进行更新得到新的样本集，用新的样本集进行训练；

步骤3)设定并初始化三层网络结构的数据，包括输入参数、学习精度和偏差等。

步骤4)将原始网络的权值和阈值设定更新之后网络的初始值，这样是在原始网络基础进行不断更新；

步骤5)在网络中进行迭代训练，训练次数初始值根据需要进行设定；

步骤6)对网络中的学习精度进行判断是否收敛到最小值，如果符合，进行步骤8)，如果不符合，则进行步骤7)；

步骤7)判定迭代步数是否超过规定的步数：如果符合，进行步骤8)；如果不符合，则进行步骤5)；

步骤8)结束算法。

BP神经网络从两个过程来理解，第一个就是工作信号正向传递，第二个是误差信号反向传递。

计算误差函数对输出层的各神经元的偏导数δ_o(k)。

其中输入层有n个单元，隐含层有p个神经元，输出层有q个神经元，x是输入向量，hi是隐含层输入向量，ho是隐含层输出向量，yi是输出层输入向量，yo是输出层输出向量，d_o是期望输出向量，w_ih是输出层与中间层的连接权值，w_ho是隐含层与输出层的连接权值，b_h是隐含层各神经元的阈值，b_o是输出层各神经元的阈值，f(·)是激活函数，E是误差函数。

计算误差函数对隐含层的各神经单元的偏导数δ_h(k)。

建立预测的网络结构，对于这个网络参数进行设定，已经给出算法的训练步骤，从中算法流程中发现知道需要进行权值的和阈值初始化，这里三层结构权值初始值依次设定为W₁,W₂,W₃。对网络中的学习精度也要进行设定，用来判断是否收敛于某一值，设定为φ。还有一个最小值学习率设定为μ，设定较小值以保证系统的稳定性。另外，学习偏差设为B。因为BP神经网络处理任意非线性关系，激活函数来加入非线性因素，它的一大特点是处处可求导函数，非常适用于BP神经网络。

涉及到中间层结点数的计算方法，并不需要严格的数学推导来进行计算，选用经验公式n_m＝sqrt(n_o+n_i)+1来计算最小中间层结点数，在一定范围之内是获得近似结果的。其中，n_i表示输入层的结点数，n_m表示中间层的结点数，n₀表示输出层的结点数，采用不断改变参量寻求目标值方法获得中间层的结点数，这其实是一种试错法，适合用在这个场景中。通过经验公式求得中间结点数目n_m分布在区间[n_i,2n_i]上。

附图说明

图1是推荐系统示意图。

图2是基于协同过滤推荐流程示意图。

图3是推荐引擎框架示意图。

图4是用户建模过程示意图。

图5是推荐模型数据示意图。

图6是用于预测的BP神经网络示意图。

图7是改进算法流程示意图。

具体实施方式

基于奇异值分解和BP神经网络预测未评分项的协同过滤算法改进流程如下：

输入：用户-评分矩阵R、用户i的评分矩阵R_i、候选相邻邻居用户集T′(u)及元素个数δ、候选最近邻居用户集最小稀疏度η；

输出：目标用户u的Top-N推荐集；

算法流程：

步骤1)对用户-项目评分矩阵运用矩阵分解SVD算法，矩阵的稀疏度较小时降低矩阵维度，直到矩阵的稀疏度小于η，得到重构矩阵R_k，则R_k＝U_k∑V_k，k是用户-项目评分矩阵的秩；

步骤2)在初次分组的基础上，利用向量相似性计算，得到精确的分组结果；

步骤3)对重构矩阵R_k用BP神经网络填充未评分项。提取项目的特征值来建立神经网络结构进行训练，预测未评分项目的分值，直到矩阵的稀疏度达到某一数值；

步骤4)按照相关相似性求R_i的最近k邻居，得到最近邻居集合T＝{T₁,T₂,…,T_k}；

步骤5)采用预测公式对候选项目集合T′的所有候选项目评分预测，按照分值高低进行排序；

步骤6)选出前N项，形成Top-N推荐列表。

算法改进思想是通过选用SVD分解用户-项目评分矩阵，这样做可以缓解矩阵的稀疏度；同时在奇异值分解的基础上，进一步选用BP神经网络来对未评分的目标项目进行分值预测，这样做的好处是避免了用平均分值代替而产生的效果单一性，从而使准确性有了较大提高。采用相关相似性公式来计算用户之间的相似性，获取用户最近k邻居。算法的改进核心思想是将评分矩阵降维，有效的缓解数据稀疏性，使得推荐准确率更高。

选用SVD分解评分矩阵基于两个方面：一方面是奇异值分解在矩阵降维上有着较大的优势，在不失矩阵重要特征值的情况下降低矩阵的维度，能够简单快速的获取用户偏好的特征向量；另一方面用户-项目矩阵的维度降低使得电子商务推荐系统的计算减少，降低系统开销。

选用BP神经网络对未评分商品预测基于两个方面：一方面是BP神经网络可以通过训练得到稳定的网络结构，不断学习，不断进化；另一方面商品的数量不计其数，很多时候形成的用户评分矩阵中没有被评价的商品占据了绝大多数，这样在计算邻居的时候会存在很大误差，而BP神经网络能够对没有评分的商品进行预测用户偏好，很方便的解决了未知商品没有评分的问题。

Claims

1.一种基于协同过滤的优化方法，该方法为一种基于奇异值分解和BP神经网络预测未评分项的改进方法；其特征在于：该方法通过奇异值分解用户-项目评分矩阵，有效的降低了矩阵的稀疏性；同时在奇异值分解的基础上，进一步采用BP神经网络来对未评分的目标项目进行分值预测，这样做的好处是避免了用平均分值代替而产生的效果单一性，从而使推荐的准确性有了较大提升；

将用户对商品的评分用m×n矩阵R表示，其中，m是用户数量，n是商品数量，矩阵中元素R_ij是用户i对商品j的偏好，R_ij为数值；用矩阵R进行表示；

若r是m×n矩阵R的秩，那么对矩阵R进行分解

<mrow> <mi>R</mi> <mo>=</mo> <mi>U</mi> <mo>*</mo> <mi>S</mi> <mo>*</mo> <msup> <mi>V</mi> <mi>T</mi> </msup> <mo>=</mo> <mi>U</mi> <mo>*</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&Sigma;</mi> <mi>r</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>*</mo> <msup> <mi>V</mi> <mi>T</mi> </msup> </mrow>

(2)RR^T的特征值λ₁,λ₂,…λ_r也是R^TR的特征值；

(3)存在m×n的矩阵S符合∑_ii＝σi，其中1≤i≤r，σi就是矩阵R的奇异值，这里存在的数量关系即可用来表示特征值的关系；

奇异值分解能够用于解决矩阵降维的问题，在电商个性化推荐系统中将其应用到用户-项目评分矩阵上，进行矩阵变换，这一过程是获取矩阵数据的重要特征值来取代整个的稀疏矩阵；

(1)首先对于用户项目评分矩阵R，采用奇异值分解公式进行分解；

(2)然后把矩阵S中对角线上r-k个最小奇异值置为0，得S_k；

(3)最后计算R_k＝US_kV^T作为R的重构矩阵；

奇异值分解过程是在进行奇异值分解之前首先对数据进行处理，将用户和商品区别开来，矩阵中的R_ij即表示所有用户i对商品j的喜好分值，若没有用户评分，则该项设置为0；在结合协同过滤推荐算法中，奇异值分解可以方便快速的处理原始数据，在保证数据集基本不缺失重要数据的情况下，对当前评分矩阵数据极度稀疏性这一问题；

在协同过滤推荐方法中，目标用户和商品之间的关系影响整个算法推荐流程，利用用户的相似邻居对某一商品的评分来对其他商品进行评估；在获得准确完整的用户评价数据之后即可利用奇异值来进行处理。

2.根据权利要求1所述的一种基于协同过滤的优化方法，其特征在于：利用奇异值分解的步骤：

步骤2)计算矩阵大小，选取大小适合的实验训练集；

步骤6)对训练集矩阵进行分解获得结果；

BP神经三层网络结构中元素中，{p₁,p₂,p₃,…,p_n-2,p_n-1,p_n}是输入元素，代表选取商品的特征数据值，获取的特征向量维数即为神经元个数；{w₁,w₂,w₃,w₄,w₅}为隐层，包含权值的很多分量；{q₁,q₂,q₃,q₄,q₅}是输出元素，输出产品评分值；

BP神经网络的训练是不断进化迭代的；原始的BP神经网络是net(i)，那么假定更新之后的网络是net(i+1)；由于最新的数据实时性最好，那么在进行进化时把最新的n个数据作为样本集进行训练的效果是最好的。

3.根据权利要求2所述的一种基于协同过滤的优化方法，其特征在于：样本集进行训练步骤如下，

步骤1)算法开始；

步骤3)设定并初始化三层网络结构的数据，包括输入参数、学习精度和偏差等；

步骤8)结束算法；

BP神经网络从两个过程来理解，第一个就是工作信号正向传递，第二个是误差信号反向传递；

计算误差函数对输出层的各神经元的偏导数δ_o(k)；

<mrow> <mfrac> <mrow> <mo>&part;</mo> <msub> <mi>yi</mi> <mi>o</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>w</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mi>h</mi> <mi>p</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> <msub> <mi>ho</mi> <mi>h</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <msub> <mi>b</mi> <mi>o</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>w</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> </mrow> </mfrac> <mo>=</mo> <msub> <mi>ho</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <mfrac> <mrow> <mo>&part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>yi</mi> <mi>o</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mi>o</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <msub> <mi>yo</mi> <mi>o</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> <msup> <mi>f</mi> <mo>&prime;</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>yi</mi> <mi>o</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>&delta;</mi> <mi>o</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow>

其中输入层有n个单元，隐含层有p个神经元，输出层有q个神经元，x是输入向量，hi是隐含层输入向量，ho是隐含层输出向量，yi是输出层输入向量，yo是输出层输出向量，d_o是期望输出向量，w_ih是输出层与中间层的连接权值，w_ho是隐含层与输出层的连接权值，b_h是隐含层各神经元的阈值，b_o是输出层各神经元的阈值，f(·)是激活函数，E是误差函数；

计算误差函数对隐含层的各神经单元的偏导数δ_h(k)；

<mrow> <mfrac> <mrow> <mo>&part;</mo> <msub> <mi>hi</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>h</mi> </mrow> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>h</mi> </mrow> </msub> <msub> <mi>x</mi> <mi>h</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>-</mo> <msub> <mi>b</mi> <mi>h</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>h</mi> </mrow> </msub> </mrow> </mfrac> <mo>=</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <mfrac> <mrow> <mo>&part;</mo> <mi>E</mi> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>hi</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>o</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>q</mi> </munderover> <msub> <mi>&delta;</mi> <mi>o</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <msub> <mi>w</mi> <mrow> <mi>h</mi> <mi>o</mi> </mrow> </msub> <mo>)</mo> </mrow> <msup> <mi>f</mi> <mo>&prime;</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>hi</mi> <mi>h</mi> </msub> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>&delta;</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow>

建立预测的网络结构，对于这个网络参数进行设定，已经给出算法的训练步骤，从中算法流程中发现知道需要进行权值的和阈值初始化，这里三层结构权值初始值依次设定为W₁,W₂,W₃；对网络中的学习精度也要进行设定，用来判断是否收敛于某一值，设定为φ；还有一个最小值学习率设定为μ，设定较小值以保证系统的稳定性；另外，学习偏差设为B；因为BP神经网络处理任意非线性关系，激活函数来加入非线性因素，它的一大特点是处处可求导函数，非常适用于BP神经网络。