CN110008404A - 基于nag动量优化的隐语义模型优化方法 - Google Patents

Abstract

本发明公开了一种基于NAG动量优化的隐语义模型优化方法，改进了隐语义模型推荐算法中最小化损失函数寻找最速下降方向较难的问题，引入了Nesterov动量对传统的隐语义模型算法进行优化。首先，发明在原有的方法中在算法中加入中间动量∆P、∆Q，代替梯度下降方向的求取，其次，在∆P、∆Q的迭代过程通过加入冲量γ和中间动量的校正因子ξ进行求解，实现加速收敛，从而改变加快变量的变化速度，从而以较小的学习速率得到最优的结果。改进后本发明准确率明显提升，根据用户对物品的偏好关系或兴趣度进行推荐更加准确。

Description

基于NAG动量优化的隐语义模型优化方法

技术领域

本发明涉及一种隐语义模型优化方法，尤其涉及一种基于NAG动量优化 的隐语义模型优化方法。

背景技术

随着互联网的广泛应用，为人们带来了大量的信息资源，如何从大量的信 息中向用户准确地推荐他们想要的信息成为亟待解决的问题。推荐系统是主动 地从大量信息中找到用户可能感兴趣的信息的工具，它可以根据用户的需要， 通过信息分析和数据挖掘来改变，提高用户获取信息的效率和准确性。隐含因 子模型(Latent Factor Model,LFM)推荐算法是由Simon Funk提出的一个算 法。LFM算法是对奇异值分解(Singular ValueDecomposition,SVD)的改进， 其思想是把用户与项目映射到相同的隐含因子空间,该算法通过隐类关联用户 和项目，采用矩阵分解技术建立用户-隐类、隐类-项目间的关系矩阵，利用矩 阵乘积得到用户对物品的偏好关系并进行推荐。

随机梯度下降算法是LFM中最基础的核心算法，通过求参数偏导数找到最 速下降方向，然后不断迭代进行参数优化。对于学习速率α的选取来说，选择 一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果 学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。因此如何改进以 提高学习速率，降低学习时间，从而保证收敛速度非常有必要。

Nesterov accelerated gradient是涅斯捷罗夫梯度加速的意思，简称NAG, 是对随机梯度下降算法Momentum的改进，该算法在深度学习领域研究应用比 较广泛，推荐算法中无应用。

发明内容

本发明的目的就在于提供一种解决上述问题，改善隐语义模型推荐算法中 最小化损失函数，寻找最速下降方向较难的问题，引入了动量对传统的隐语义 模型算法进行优化基于NAG动量优化的隐语义模型优化方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于NAG动量 优化的隐语义模型优化方法，包括以下步骤：

(1)给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异 值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为r_ui， 表示第u个用户对第i个物品的评分，P中元素为p_uf，其中f为隐因子个数， p_uf表示第u个用户对第f个隐因子的评分值，Q中元素表示为q_fi，表示第i个 物品在第f个隐因子中的权重；

(2)将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限 值在区间(0，1)中；

(3)定义损失函数Loss；

式中，规定每个用户对他曾经有过行为的物品为正样本，r_ui＝1，反之则为0，λ是正则项系数，λ||p_uf||²+λ||q_fi||²为用来防止过拟合的正则化项；

(4)通过对损失函数求p_uf和q_fi的偏导数，得到最佳下降方向，即中间动 量ΔP、ΔQ；

ΔP_t＝γΔP_t-1-α((r_ui-r^_ui)q_fi ^(t)-λ(p_uf ^(t)-ξp))

ΔQ_t＝γΔQ_t-1-α((r_ui-r^_ui)p_uf ^(t)-λ(q_fi ^(t)-ξq))

式中，t为迭代次数，ξp＝βΔP_t-1，ξq＝βΔQ_t-1，二者均为校正因子，冲 量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程 度，为了保持下降速度的一致性，预设0≤β＝γ≤1；

(5)将ΔP、ΔQ带入下式，通过迭代获得最佳的p_uf、q_fi值；

p_uf ^(t+1)＝p_uf ^(t)-ΔP_t

q_fi ^(t+1)＝q_fi ^tt)-ΔQ_t

(6)定义用户u对物品i的兴趣度Preference(u，i)，将步骤(5)得到 的最佳的p_uf、q_fi值带入下式，并以此为基础进行推荐：

本发明中，一般情况下，β取γ一样的值，以保持梯度下降的一致性。

与现有技术相比，本发明的优点在于：不采用随机梯度下降算法得到最小 化的损失函数，而是给出一种基于Nesterov动量优化的方法，该技术对传统 的LFM推荐算法进行改进，用于更加快速准确的个性化推荐。具体方法是：

首先，本发明在原有的方法中在算法中加入中间动量ΔP、ΔQ，代替梯度下 降方向的求取，这种方法能求得更佳的下降方向。

其次，在△P、△Q的迭代过程中，把冲量γ与上一步迭代中求取的动量值 的乘积构建一个校正因子ε，在动量迭代求解中减去校正因子ε，控制误差波动， 从而获得更精确的p_uf和q_fi。这种在计算梯度值中减去校正因子的目的，是为 了在求解最佳下降方向时，不是根据当前参数位置，而是根据先走了本来计划 要走的一步后，达到的参数位置计算出来的最佳下降方向，从而实现加速收敛， 以较小的学习速率得到最优的结果。

本发明改进后本发明准确率明显提升，从而进行精准服务推荐。实现对推 荐算法的优化。

附图说明

图1为现有技术流程图；

图2为本发明对现有技术的改进原理图；

图3为本发明流程图。

具体实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1，一种传统的利用隐语义模型进行推荐的方法是：

(1)给定包含所有用户物品的数据集，生成用户-物品矩阵R，矩阵值r_ui表示的是用户对物品的评分，利用奇异值分解将矩阵R分解为用户-隐类矩阵 P，隐类-物品矩阵Q的乘积。给分解后的矩阵P、Q元素p_uf、q_fi首先初始化为 随机元素值，每一项元素限值在区间(0，1)中；

(2)定义用户u对物品i的兴趣度；

(3)定义损失函数Loss；

式中r_ui为用户对物品的实际评分，规定每个用户对他曾经有过行为的物 品为正样本，兴趣度为r_ui＝1，反之则为0。λ||p_uf||²+λ||q_fi|｜²是用来防止过拟合 的正则化项，λ是正则项系数。

(4)使用随机梯度下降算法得到最小化的损失函数，迭代计算直到参数 收敛；

具体操作如下：使用随机梯度下降算法，通过迭代求取其偏导数实现最小 化损失函数，从而获得p_uf和q_fi。完成用户u对物品i的兴趣度计算，以此为基 础进行推荐。

首先对参数求偏导，得到各自梯度下降方向：

则p_uf和q_fi的迭代求解为：

其中，α是学习速率，d越大，迭代下降的越快；和指分别指代p 和q方向的梯度；t指代第t次迭代。在迭代过程中统计其均方根值，当迭代 均方根误差值不再降低时，迭代中止获得最佳的p_uf、q_fi值。

(5)根据步骤(2)中兴趣度的公式，计算兴趣度值并推荐top-N。其中， top-N指最感兴趣的商品。

本方法中，随机梯度下降算法是LFM中最基础的核心算法，通过求参数偏 导数找到最速下降方向，然后不断迭代进行参数优化。对于学习速率α的选取 来说，选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度 很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。。所 以实际上α的值很难确定。

实施例2：参见图2和图3，一种基于NAG动量优化的隐语义模型优化方 法，包括以下步骤：

(1)给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异 值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为r_ui， 表示第u个用户对第i个物品的评分值，P中元素为p_uf，其中f为隐因子个数， p_uf表示第u个用户对第f个隐因子的评分值，Q中元素表示为q_fi，表示第i个 物品在第f个隐因子中的权重；

(2)将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限 值在区间(0，1)中；

(3)定义损失函数Loss；

式中，规定每个用户对他曾经有过行为的物品为正样本，r_ui＝1，反之则为 0，λ是正则项系数，λ||p_uf||²+λ||q_fi||²为用来防止过拟合的正则化项；

(4)通过对损失函数求p_uf和q_fi的偏导数，得到最佳下降方向，即中间动 量ΔP、ΔQ；

ΔP_t＝γΔP_t-1-α((r_ui-r^_ui)q_fi ^(t)-λ(p_uf ^(t)-ξp))

ΔQ_t＝γΔQ_t-1-a((r_ui-r^_ui)p_uf ^(t)-λ(q_fi ^(t)-ξq))

式中，t为迭代次数，ξp＝βΔP_t-1，ξq＝βΔQ_t-1，二者均为校正因子，冲 量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程 度，为了保持下降速度的一致性，预设0≤β＝γ≤1；

(5)将ΔP、ΔQ带入下式，通过迭代获得最佳的p_uf、q_fi值；

p_uf ^(t+1)＝p_uf ^(t)-ΔP_t

q_fi ^(t+1)＝q_fi ^(t)-ΔQ_t

(6)定义用户u对物品i的兴趣度Preference(u，i)，将步骤(5)得到 的最佳的p_uf、q_fi值带入下式，并以此为基础进行推荐：

本发明与实施例1采用随机梯度下降算法得到最小化的损失函数不同。用 于更加快速准确的个性化推荐。

首先，引入了中间动量ΔP及ΔQ来代替原有的梯度下降方向的求取。中间 动量表示继承前一次迭代的梯度下降值的量，以解决选择一个合理的学习速率 α很难的问题。

在计算梯度值中减去校正因子，目的是求解最佳下降方向时，不是根据当 前参数位置，而是根据先走了本来计划要走的一步后，达到的参数位置计算出 来的最佳下降方向，从而实现加速收敛，实现对推荐算法的优化。

实施例3：

本文对三种算法进行了模拟实验，采用控制变量法，在保证数据不变、参 数不变的情况下进行实验对比。实验一为基于LFM的基本的隐语义模型推荐算 法，利用普通矩阵分解算法进行求解，实验二为本文提出的引入Nesterov动 量的隐语义模型推荐算法的改进算法,动量项计算中加入校正因子。

数据模拟实验分析：本文对两种算法进行了模拟实验，采用控制变量法， 在保证数据不变、参数不变的情况下进行实验对比。实验一为基于LFM的基本 的隐语义模型推荐算法，利用普通矩阵分解算法进行求解，实验二为本文提出 的引入Nesterov动量的隐语义模型推荐算法的改进算法,动量项计算中加入校 正因子。实验数据使用的是movielens数据集，本数据集有6040个用户关于 3629部电影(即物品)的评分，共包含1000209条评分数据，本文筛选评分大 于3的内容进行测试计算，将数据以9:1的比例随机划分为训练子集与测试子 集。

本文实验固定F＝100、α＝0.02、λ＝0.01、ratio＝1、γ＝0.9，然后研究三 种算法对推荐结果性能的影响，测试数据量达到1M。使用top-N为每个用户推 荐100部电影进行评测，推荐性能评测本文主要观察准确率、召回率、覆盖率、 流行度的变化。实验结果如表1所示。

表1实验结果对比表

	召回率(％)	准确率(％)	覆盖率(％)	流行
					实验1	6.268	0.889	76.783	2.502
实验2	8.647	1.223	69.546	2.620

通过比较分析，在1M的数据集中，本文所提出算法的准确率和召回率在 相同条件下分别提升了2.379％和0.334％，流行度增加了0.118，虽然覆盖率相 对实验一有些下降，但是波动不大。由此说明本文的改进隐语义模型推荐算法 实现了算法准确率明确的提升，反映出改进算法是有效的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。

Claims (1)

1.一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：

(1)给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为r_ui，表示第u个用户对第i个物品的评分，P中元素为p_uf，其中f为隐因子个数，p_uf表示第u个用户对第f个隐因子的评分值，Q中元素表示为q_fi，表示第i个物品在第f个隐因子中的权重；

(2)将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间(0，1)中；

(3)定义损失函数Loss；

式中，规定每个用户对他曾经有过行为的物品为正样本，r_ui＝1，反之则为0，λ是正则项系数，λ||p_uf||²+λ||q_fi||²为用来防止过拟合的正则化项；

其特征在于：还包括以下步骤：

(4)通过对损失函数求p_uf和q_fi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；

ΔP_t＝γΔP_t-1-α((r_ui-r^_ui)q_fi ^(t)-λ(p_uf ^(t)-ξp))

ΔQ_t＝γΔQ_t-1-α((r_ui-r^_ui)p_uf ^(t)-λ(q_fi ^(t)-ξq))

式中，t为迭代次数，ξp＝βΔP_t-1，ξq＝βΔQ_t-1，二者均为校正因子，冲量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程度，为了保持下降速度的一致性，预设0≤β＝γ≤1；

(5)将ΔP、ΔQ带入下式，通过迭代获得最佳的p_uf、q_fi值；

p_uf ^(t+1)＝p_uf ^(t)-ΔP_t

q_fi ^(t+1)＝q_fi ^(t)-ΔQ_t

(6)定义用户u对物品i的兴趣度Preference(u,i)，将步骤(5)得到的最佳的p_uf、q_fi值带入下式，并以此为基础进行推荐：