CN108287902B - 一种基于数据非随机缺失机制的推荐系统方法 - Google Patents

Abstract

一种基于数据非随机缺失机制的推荐系统方法，涉及互联网技术。获取用户历史行为记录；对得到的用户历史行为数据进行预处理；对预处理后的数据划分为训练集和测试集，进行模型训练；在模型训练结果中获取用户和商品相关参数；根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐。一方面克服了传统推荐方法中存在的随机缺失机制不能正确体现评分的缺失行为的缺点，另一方面通过沉默的螺旋理论，更加准确的给出用户在对商品进行评分行为的机制，增强模型的可解释性，提高预测精度。

Description

一种基于数据非随机缺失机制的推荐系统方法

技术领域

本发明涉及互联网技术，特别涉及一种基于数据非随机缺失机制的推荐系统方法。

背景技术

随着互联网的发展，每天产生的信息数以亿计，用户需要花费大量的时间和精力才能从如此大量的数据中发现所需的信息，导致信息利用率极其低下，为了解决因信息过载而导致的问题，推荐系统得到广泛的应用，推荐系统就是，通过用户产生的历史数据，发现用户的信息需求、兴趣等，然后将用户感兴趣的信息、产品等推荐给用户的系统。和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，能够发现用户的兴趣点，引导用户发现自己的信息需求，高效获取信息。

近来，推荐系统受到越来越多的关注，如中国专利CN106021379A公开了一种基于用户偏好的个性化推荐方法及其系统，利用用户产生的历史行为数据，通过机器学习模型训练发现用户的偏好，并基于用户偏好对用户给出推荐，大大提高了用户的信息利用率，在大量的研究中，矩阵分解技术在评分的预测上有着很好的表现，矩阵分解即是，将已有的用户对商品的评分构成用户-商品评分矩阵，然后通过梯度下降算法将评分矩阵分解为两个子矩阵，即用户特征矩阵和商品特征矩阵，再将两个子矩阵相乘得到缺失的评分值。如中国专利CN103903163A公开了一种基于耦合主题模型的协同滤波方法，其方法就是在矩阵分解的基础上进行改进的，通过将矩阵分解与主题模型相结合的方法，提高了推荐模型的准确性。研究表明，当矩阵的缺失值是随机缺失的时候，矩阵分解算法有着非常高的评分预测准确率，但是，当矩阵的缺失值是非随机缺失时，矩阵分解表现的并不是很好。而在现实推荐场景下，评分矩阵的缺失值往往是非随机缺失的，例如，一个用户在购买商品以后，对该商品的体验很差，那用户很有可能就不倾向于给出对该商品的评分，而造成评分的缺失，这种评分的缺失是跟用户体验相关的，并不是单纯的随机缺失，这种现象相当常见，因此矩阵分解算法在现实的应用中存在一定的缺陷性。

就矩阵分解存在的随机缺失假设这一不足，Marlin等人在2007年人工智能不确定性会议集(Conference on Uncertainty in Artificial Intelligence)第267-275页的工作首次提出了基于非随机缺失机制的推荐模型，引入数据非随机缺失机制，在缺失因素上加入用户偏好，并比较了传统的随机缺失模型，实验结果均有较大提升；紧接着Marlin等人又在2009年推荐系统会议集(ACM Conference on Recommender Systems)第5-12页的工作进一步提出改进；后续，包括Hernández-Lobato等人在2014年机器学习国际会议集(International Conference on Machine Learning)第1512-1520页的工作以及H.Yang等人2015年在IEEE知识与数据工程汇刊(IEEE Transactions on Knowledge and DataEngineering)第2064-2077页的工作，都是在数据非随机缺失的基础上进行推荐模型的构建，然而，仔细研究上述文献可以发现，这些文献在在评分数据缺失因素上，只是考虑用户自身的偏好对于数据缺失的影响，更多是在用户偏好如何影响数据缺失的方式上进行改进，我们通过传播学的沉默螺旋理论发现，导致用户评分数据缺失的因素并非只有用户的偏好在起作用，大众意见也是用户参考的因素之一，由此可见，上述文献所提供的推荐模型仍然存在较大的不足，因此本发明通过提出一种基于数据非随机缺失机制的推荐系统方法，解决了现有模型存在的缺陷和不足，提高了推荐的精确性。

发明内容

本发明的目的在于针对现有的模型以及对现实用户评分的行为特点所存在的上述缺陷和不足，提供一种基于数据非随机缺失机制的推荐系统方法。

本发明包括以下步骤：

1)获取用户历史行为记录；

2)对得到的用户历史行为数据进行预处理；

3)对预处理后的数据划分为训练集和测试集，进行模型训练；

4)在模型训练结果中获取用户和商品相关参数；

5)根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐。

在步骤1)中，所述获取用户历史行为记录，包括用户对商品的历史评分数据以及评分的时间戳等数据。

在步骤2)中，所述对得到的用户历史行为数据进行预处理的具体步骤可为：

(1)过滤掉数据不全的评分数据；

(2)去掉用户评分次数和商品被评分次数低于阈值的用户ID和商品ID；

(3)对评分进行数值转换。

在步骤3)中，所述对预处理后的数据划分为训练集和测试集，进行模型训练的具体方法可为：当所得的评分数据中不含有时间戳时，随机将部分评分数据作为训练集，剩下的部分作为测试集；当得到的评分数据包含有时间戳时，优先将时间较早的评分数据作为训练集，剩下的部分作为测试集，将得到的训练集作为模型的数据输入。

在步骤4)中，所述在模型训练结果中获取用户和商品相关参数可包括用户社区特征向量U_ic、用户的偏置值BU_i、用户的社区参数γ_i、商品特征向量V_j、商品的偏置值BV_j等；

在步骤5)中，所述根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐的具体步骤可为：

(1)根据γ_i确定用户所属的社区c；

(2)根据公式

预测用户i对商品j的评分；

(3)将得到的评分与测试集评分进行对比，衡量模型的可靠性；

(4)对评分进行降序排序，选择位于前列的多个商品，得到用户的推荐列表，对用户给出推荐。

本发明针对现实用户评分的行为特点，应用传播学的沉默螺旋理论，沉默螺旋理论认为，用户在社交媒体上发表观点时，会参照大众的主流意见，当用户发现自己的意见与社会主流意见相一致时，用户会更倾向于表达自己的观点，而当用户发现自己的观点与社会主流意见不一致时，用户往往会选择沉默，所以就造成社会主流意见越来越强，而反对意见则进一步沉默的螺旋形态。社会主流意见的表现形式很多，在本发明中，以社区意见表示社会主流意见。由此本发明提出一种能够更加真实的反映用户行为的评分机制，不仅成功解决了随机缺失模型在假设上存在的不足，适用于更加真实并且复杂的推荐场景，提高推荐的精准度，很大程度上改善用户体验，而且对于评分信息稀疏的情况有很大的改善。

本发明根据推荐系统中，用户对于商品的评分存在的非随机缺失机制，分析用户进行评分行为的特点，依据传播学中沉默的螺旋理论进行模型构建，使得模型能够真实反映出用户的消费机制，给出更高的准确率。

本发明的有益效果在于：提出的推荐方法，一方面克服了传统推荐方法中存在的随机缺失机制不能正确体现评分的缺失行为的缺点，另一方面通过沉默的螺旋理论，更加准确的给出用户在对商品进行评分行为的机制，增强模型的可解释性，提高预测精度。

附图说明

图1是本发明实施例的流程示意图。

图2是本发明提供的于数据非随机缺失机制推荐模型的生成示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明提供的模型方法采用生成式模型，生成过程可抽象为用户进行购买行为，将用户和商品映射到隐含空间，并且引入社区隐变量，假设每个用户属于特定的社区，对每个用户所处的社区学习用户特征向量U_ic和商品特征向量V_j，用户在购买完商品并使用后，形成用户对于商品的评分，之后用户会参照社会主流意见与自己的评分的差距，决定是否对该商品进行评分行为，通过引入社区变量，能够灵活的表示用户特征向量，并且易于构建社区意见，使得模型的特征向量表达性更好，而且也使得数据的非随机缺失更加接近真实情况，应当理解，社会主流意见的形式很多，社区意见仅代表其中一种，任何变种均包含在本发明中。

图1是本发明数据非随机缺失机制推荐方法的流程图，如图1所示，所述方法包括以下步骤：

1、获取用户历史行为记录，每个用户对商品的购买行为形成一次行为记录，包括用户对于商品的评分以及时间戳等数据；这些评分通过评分等级来表示，从1到5依次分别表示最差到最好，即评分等级为1表示最差，评分等级为2表示较差，评分等级为3表示中等，评分等级为4表示较好，评分等级为5表示最好。

2、对得到的用户的历史行为数据进行预处理，主要对评分数据进行处理，包括如下实施过程：

1)剔除不全和异常的评分数据；

2)剔除评分次数和被评分次数少于5次的用户和商品ID；

3)计算所有评分的均值

将所有评分转变为

3、对处理好的数据划分为训练集和测试集，进行模型训练，其中数据的划分包括：当所得的评分数据中不含有时间戳时，随机将80％评分数据作为训练集，剩下的部分作为测试集；当得到的评分数据包含有时间戳时，优先将时间较早的80％评分数据作为训练集，剩下的部分作为测试集。

图2是用于数据非随机缺失推荐模型的示意图，该模型观测变量(R_ij,X_ij)的生成过程如下：

1)对每个用户i：

a)首先依概率α_c，选择用户i属于的社区c；

b)从K元正态N(0,∑_c)中采样一个K维向量作为社区c的中心特征向量U_c；

c)从K元正态N(U_c,∑_u)中采样一个K维向量作为用户i的特征向量U_ic；

d)从一元正态

中采样一个值作为用户i的偏置BU_i；

2)对每个商品j：

a)从K元正态N(0,∑_v)中采样一个K维向量作为商品j的特征向量V_j；

b)从一元正态

中采样一个值作为商品j的偏置BV_j；

3)从正态分布

中采样得到用户i对商品j的评分R_ij，其中，该正态分布的均值为

方差为

4)由于用户i属于第c个社区的数据是未知的，c＝1,2,...C，以隐变量γ_ic表示，其定义如下：

则此时商品j的社区意见可表示为：

其中OR_j＝R_jX_j，那么从伯努利分布

中采样得到用户i对商品j的评分行为X_ij，X_ij即表示用户i是否愿意对商品j做出评分。

为表示方便，用θ表示所有参数，用Δ＝[U_ic,V_j,BU_i,BV_j]，那么完全数据的似然函数为：

其中Δ与γ_i为用户和商品相关参数。

所述基于数据非随机缺失机制的推荐模型的参数学习通过求解目标函数

得到，由于模型含有隐变量，所以采用期望最大化(EM)算法进行求解，在期望最大化算法中包括E步骤和M步骤，在E步骤中计算隐变量γ_ic的估计，在M步骤中对参数θ进行估计。

具体的，在E步骤中：为表示方便，记中间变量ω_ijc为：

首先对γ_ic进行更新操作，更新公式如下：

在M步骤中，通过利用E步骤更新得到的

代入到对数似然函数，最大化该似然函数，并采用梯度上升法对各个参数进行一步优化，参数更新公式如下：

E步骤和M步骤不断迭代，直至模型收敛。

4、通过步骤3中的期望最大化算法的迭代，达到收敛后，得到最优的参数值，包括用户社区特征向量U_ic，用户的偏置值BU_i，用户的社区参数γ_i，商品特征向量V_j，以及商品的偏置值BV_j；

5、根据γ_i确定用户所属的社区c，根据公式

预测用户i对商品j的评分，将得到的评分与测试集评分进行对比，采用NDCG排序指标衡量模型的可靠性，最后对评分进行降序排序，选择位于前列的多个商品，得到用户的推荐列表，对用户给出推荐。

当然，以上说明仅仅为本发明的实施例，本发明并不限于列举上述实施例。

Claims (4)

1.一种基于数据非随机缺失机制的推荐系统方法，其特征在于包括以下步骤：

1)获取用户历史行为记录；

2)对得到的用户历史行为数据进行预处理；

3)对预处理后的数据划分为训练集和测试集，进行模型训练，其中数据的划分包括：当所得的评分数据中不含有时间戳时，随机将80％评分数据作为训练集，剩下的部分作为测试集；当得到的评分数据包含有时间戳时，将时间较早的80％评分数据作为训练集，剩下的部分作为测试集；采用数据非随机缺失推荐模型，模型观测变量(R_ij,X_ij)的生成过程如下：

3.1对每个用户i：

a)首先依概率α_c，选择用户i属于的社区c；

b)从K元正态N(0,∑_c)中采样一个K维向量作为社区c的中心特征向量U_c；

c)从K元正态N(U_c,∑_u)中采样一个K维向量作为用户i的特征向量U_ic；

d)从一元正态

中采样一个值作为用户i的偏置BU_i；

3.2对每个商品j：

c)从K元正态N(0,∑_v)中采样一个K维向量作为商品j的特征向量V_j；

d)从一元正态

中采样一个值作为商品j的偏置BV_j；

3.3从正态分布

中采样得到用户i对商品j的评分R_ij，其中，该正态分布的均值为

方差为

3.4由于用户i属于第c个社区的数据是未知的，c＝1,2,...,C，以隐变量γ_ic表示，其定义如下：

则此时商品j的社区意见表示为：

其中OR_j＝R_jX_j，那么从伯努利分布

中采样得到用户i对商品j的评分行为X_ij，X_ij即表示用户i是否愿意对商品j做出评分；

为表示方便，用θ表示所有参数，用Δ＝[U_ic,V_j,BU_i,BV_j]，那么完全数据的似然函数为：

其中Δ与γ_i为用户和商品相关参数；

所述用于数据非随机缺失机制的推荐模型的参数学习通过求解目标函数

得到，由于模型含有隐变量，所以采用期望最大化EM算法进行求解，在期望最大化算法中包括E步骤和M步骤，在E步骤中计算隐变量γ_ic的估计，在M步骤中对参数θ进行估计；

具体的，在E步骤中：为表示方便，记中间变量ω_ijc为：

首先对γ_ic进行更新操作，更新公式如下：

在M步骤中，通过利用E步骤更新得到的

代入到对数似然函数，最大化该似然函数，并采用梯度上升法对各个参数进行一步优化，参数更新公式如下：

E步骤和M步骤不断迭代，直至模型收敛；

4)在模型训练结果中获取用户和商品相关参数，通过步骤3)中的期望最大化算法的迭代，达到收敛后，得到最优的参数值，包括用户社区特征向量U_ic，用户的偏置值BU_i，用户的社区参数γ_i，商品特征向量V_j，以及商品的偏置值BV_j；

5)根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐。

2.如权利要求1所述一种基于数据非随机缺失机制的推荐系统方法，其特征在于在步骤1)中，所述获取用户历史行为记录，包括用户对商品的历史评分数据以及评分的时间戳数据。

3.如权利要求1所述一种基于数据非随机缺失机制的推荐系统方法，其特征在于在步骤2)中，所述对得到的用户历史行为数据进行预处理的具体步骤为：

(1)过滤掉数据不全的评分数据；

(2)去掉用户评分次数和商品被评分次数低于阈值的用户ID和商品ID；

(3)对评分进行数值转换。

4.如权利要求1所述一种基于数据非随机缺失机制的推荐系统方法，其特征在于在步骤5)中，所述根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐的具体步骤为：

(1)根据γ_i确定用户所属的社区c；

(2)根据公式

预测用户i对商品j的评分；

(3)将得到的评分与测试集评分进行对比，衡量模型的可靠性；

(4)对评分进行降序排序，选择位于前列的多个商品，得到用户的推荐列表，对用户给出推荐。

Images