CN107038184B - 一种基于分层隐变量模型的新闻推荐方法 - Google Patents

Abstract

本发明公开了一种基于分层隐变量模型的新闻推荐方法，先从各大门户网站抽取不同类型的新闻，然后根据新闻的标签，提取新闻特征，对于系统注册用户，提取用户显式特征及隐式特征构成用户特征，根据用户特征和新闻特征，对用户和新闻进行聚类，对聚类之后的新闻和用户采用不同的隐变量模型，预测用户对新闻的评分，再选出评分最高的若干条条新闻，给用户推荐个性化新闻。

Description

一种基于分层隐变量模型的新闻推荐方法

技术领域

本发明涉及一种基于分层隐变量模型的新闻推荐方法。

背景技术

推荐系统大体上可以分为三个大类：基于内容的推荐，协同过滤推荐和混合的推荐系统。基于内容的推荐方法起源于信息检索和信息过滤，它基于内容的相似度进行检索，导致推荐的内容过于相似，缺乏新颖性；基于协同过滤的推荐方法是最早用户邮件过滤和文档过滤，基于用户评分矩阵中用户或者物品的相似度进行推荐，但是实际中用户物品评分矩阵非常稀疏，导致推荐不准确；而混合的推荐系统将用户特征信息和物品特征信息加入线性模型中，从而将基于内容的推荐和协同过滤的信息融合在一起，既保留了基于内容过滤中用户和物品的特征，又添加了协同过滤中关于评分矩阵的信息。

在这个混合模型中，用户特征和物品特征部分构建的是线性模型，然而对于用户群或者物品群单纯构建线性模型却不合理，这是由于强行用线性模型去拟合非线性的数据会导致很大的误差。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于分层隐变量模型的新闻推荐方法。

为实现上述目的，本发明采用以下技术方案：

一种基于分层隐变量模型的新闻推荐方法，包括以下步骤：

S1、新闻抓取，从各大门户网站爬取不同类型的新闻，并将其储存在推荐系统的本地数据库；

S2、在推荐系统中进行用户特征的提取，获得用户特征向量x_j；

S3、对抓取的新闻进行新闻特征的提取，获得新闻特征向量y_i；

S4、使用聚类算法对相似的新闻特征及用户特征进行聚类，将用户特征x_j分为m类，将新闻特征y_i分为n类；

S5、对S4划分的每一类相似的新闻特征及用户特征建立分层隐变量模型以预测用户对新闻的评分；

S6、根据S5预测出的用户对新闻的评分选取预测评分最高的若干条新闻推荐给用户。

进一步地，S2包括：

S21、对系统注册用户提取用户的注册信息，包括性别、年龄以及职业，以获得用户显式特征I_j；

S22、对用户最新阅读、操作的若干条新闻提取关键词，抽取频率最高的若干个关键词作为用户隐式特征RH_j；

S23、构成用户特征向量x_j＝{I_j,RH_j}。

更进一步地，步骤S22中频率最高的若干个关键词的抽取方法为，

其中F(x,a)表示用户x的历史行为中出现关键词a的次数,f₁(k1,a)表示用户x近期阅读的L篇新闻中第k1篇中关键词a出现的次数,f₂(k2,a)表示用户近期有过点赞或者评论的N篇新闻的第k2篇新闻中关键词a出现的次数；f₃(k3,a)表示近期用户分享的M篇新闻中第k3篇新闻中关键词a出现的次数；ω₁、ω₂、ω₃为权重，ω₁<ω₂<ω₃。

进一步地，S3包括：

S31、对抓取的新闻的标题及正文内容使用分词软件进行分词；

S32、使用TF-IDF模型提取新闻的关键词，选取新闻原有的一个标签T_i和若干个权值最高的关键词K_i构成新闻特征向量y_i＝{T_i,K_i}。

进一步地，步骤S4中所述聚类算法为SOM自组织聚类算法。

进一步地，步骤S5具体包括：

S51、建立基于聚类结果的分层隐变量模型

用户特征x_j分为m类，则m类中第q类的用户有m_q个，用表示m_q类用户中第j个用户的特征；新闻特征y_i分为n类，则n类中第p类的新闻有n_p个，用表示n_p类新闻中第i篇新闻的特征，则基于第q类中第j个用户特征及第p类中第i个新闻特征混合的分层隐变量模型为式中，α_q为用户特征权重，β_p为新闻特征权重，及分别为用户特征与新闻特征的隐变量，α_q、β_p、及为待求解变量，分别为β_p、的矩阵转置；

S52、获得所述分层隐变量模型的优化问题

分别用χ_q,γ_p表示第q类用户的下标集和第p类新闻的下标集，则每一类(p，q)的优化问题为：

式中，为第q类中的第j个用户对第p类中的第i篇新闻的评分。

更进一步地，为防止步骤S52求解分层隐变量模型的优化问题时过拟合，使用由L1正则化和L2正则化的凸组合对分层隐变量模型进行弹性网络惩罚，则优化问题变为，

式中，m_q为第q类的用户数量，n_p为第p类的新闻数量,A是用户偏好的新闻隐变量集合，B是新闻具备的隐变量集合,λa和λb为输入参数，γ为线性组合参数，α_q为用户特征权重，β_p为新闻特征权重。

再进一步地，根据步骤S5分层隐变量模型求出的参数，用户对新闻的预测评分为：

进一步地，还包括步骤S7：重复步骤S1-S6，根据新闻特征和用户特征的变化不断更新所要推荐的新闻。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、推荐的准确度高，基于门限自回归的思想，在整个混合模型中，把用户特征和物品特征分成若干个小类，在每一类上分别建立隐变量模型，之后再把这若干类联合在一起构成了分层隐变量模型，从而避免了用线性模型区拟合非线性数据时误差大的缺陷；

2、使用L1正则化与L2正则化的凸组合对模型进行弹性网络惩罚，防止模型求解时过拟合；

3、高扩展性，可以方便地在用户特征向量和新闻特征向量中添加其它因素；

4、实时性好，评分预测可实现在线计算，并不断根据新闻特征与用户特征的变化更新所要推荐的新闻。

附图说明

图1为本发明算法框图；

图2为采用SOM聚类算法构建分层隐变量模型的算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

门限自回归的想法在于：把整个空间分成若干个小空间，在每个小空间考虑线性模型，然后将这些小的模型合在一起，就成了整个空间上的模型。本申请在整个混合模型中，把用户特征和物品特征也分成若干个小类，在每一类上分别建立隐变量模型，之后再把这若干类联合在一起构成整个隐变量模型，称为分层隐变量模型。

如图1所示是本发明的流程框图，本发明主要包括七大步骤。

S1、新闻抓取，根据不同门户网站的结构，配置不同的正则表达式，从各大门户网站爬取不同类型的新闻，并将其储存在推荐系统的本地数据库中，爬取的内容包括新闻的标题、正文内容、标签、作者、来源网站url等。

S2、在推荐系统中进行用户特征的提取，获得用户特征向量x_j，具体包括三个步骤。

S21、对系统注册用户提取用户的注册信息，包括性别、年龄以及职业等，以获得用户显式特征I_j，I_j＝{gender,age,occupation}。

S22、对用户最新阅读、操作的若干条新闻提取关键词，抽取频率最高的若干个关键词作为用户隐式特征RH_j，RH_j＝{N_j1,N_j2,…,N_j5}。本实施例中抽取的关键词为频率最高的5个关键词，具体抽取方法为：

其中F(x,a)表示用户x的历史行为中出现关键词a的次数,f₁(k1,a)表示用户x近期阅读的L篇新闻中第k1篇中关键词a出现的次数,f₂(k2,a)表示用户近期有过点赞或者评论的N篇新闻的第k2篇新闻中关键词a出现的次数；f₃(k3,a)表示近期用户分享的M篇新闻中第k3篇新闻中关键词a出现的次数；ω₁、ω₂、ω₃为权重，ω₁<ω₂<ω₃。

S23、用户显式特征I_j与用户隐式特征RH_j构成用户特征向量x_j＝{I_j,RH_j}。

S3、对抓取的新闻进行新闻特征的提取，获得新闻特征向量y_i，具体如下：

S31、对抓取的新闻的标题及正文内容使用分词软件进行分词；

S32、使用TF-IDF模型提取新闻的关键词，对新闻标题中的关键词赋予较高权重，新闻内容中的关键词赋予较低权重，选取新闻原有的一个标签T_i和若干个权值最高的关键词K_i，则一篇ID为i的新闻可被表示为y_i＝{T_i,K_i}，这个集合构成新闻的特征向量。本实施例中K_i的数量为7个。

S4、使用聚类算法对相似的新闻特征及用户特征进行聚类，将用户特征x_j分为m类，将新闻特征y_i分为n类；

本发明采用自组织神经网络聚类算法对用户和新闻进行聚类，假设用户特征向量和新闻特征向量具有一定的拓扑结构，自组织神经网络聚类算法把高维的用户和新闻特征向量离散化到一维或者二维的离散空间上，然后将相似程度较高的神经元聚集在一起，通过自组织方式，将相似的用户和相似的新闻聚成一类。由于用户和新闻聚类方法相同，这里只讨论用户聚类的情况，如图2所示的是采用SOM聚类算法构建分层隐变量模型的算法流程图，其中SOM算法具体为：

(1)设定输出层有m个神经元，每个神经元都赋予一个初值权向量ω_l；

(2)输入用户特征向量x，计算与ω_l的距离d，最小的就为获胜神经元；

(3)输入学习参数率α的初始值α_old，在获胜神经元的领域N内更新权值：α_new＝α_old×0.5,ω_l＝ω_l+α_new(x-ω_l)；

(4)终止条件为α_new足够小，否则返回(2)；

(5)得到m个簇的中心ω_l，然后就可以得到用户特征的聚类结果。

S5、对S4划分的每一类相似的新闻特征及用户特征建立分层隐变量模型以预测用户对新闻的评分。

S51、建立基于聚类结果的分层隐变量模型：

步骤S4中将用户特征x_j分为m类，则m类中第q类的用户有m_q个，用表示m_q类用户中第j个用户的特征；新闻特征y_i分为n类，则n类中第p类的新闻有n_p个，用表示n_p类新闻中第i篇新闻的特征，则基于第q类中第j个用户特征及第p类中第i个新闻特征混合的分层隐变量模型为式中α_q、β_p、及为待求解变量，分别为β_p、的矩阵转置。

S52、获得所述分层隐变量模型的优化问题：

分别用χ_q,γ_p表示第q类用户的下标集和第p类新闻的下标集，则每一类(p，q)的优化问题为：

式中，为第q类中的第j个用户对第p类中的第i篇新闻的评分。

为防止步骤S52求解分层隐变量模型的优化问题时过拟合，需要对分层隐变量模型进行惩罚。

当使用L1正则化作为惩罚项时，优化函数为：

其中，式中，m_q为第q类的用户数量， n_p为第p类的新闻数量,A是用户偏好的新闻隐式特征集合，B是新闻具备的隐式特征集合,λa和λb为输入参数，α_q为用户特征权重，β_p为新闻特征权重。第一，利用神经网络算法分别将用户和物品聚类，然后在对每一类的模型采用块坐标下降的方法进行优化求解。第二，解决每一类的优化问题，将求解变量分为三块{α_q,β_p},{A},{B}。对于每一块选择固定其他块的值，然后更新当前块的参数，依次循环，直到得到稳定点。

算法过程：

(1)输入隐变量维度K，参数λa及λb，终止条件ε＝10^-5，t＝1，初始值

(2)假设每一块都已经迭代了m-1步：

a、对于第q类的每一个给定解决优化问题：

其中表示用户q_j对新闻p_i有可观测评分的集合。这个时候问题变为一个lasso问题，就能分别解出第m步的迭代

b、对于第p类的每一个给定解决优化问题：

这个时候问题变为一个lasso问题，就能分别解出第m步的迭代

c、对于第p类的每一个(α_q,β_p)，给定解决优化问题：

此时问题就成为一个回归问题，由于是固定的，所以上述问题就成为一个凸问题，得到第m+1的更新

终止条件：如果那么就停止这层循环，返回值

选择L1正则化做为惩罚项可以使得矩阵稀疏达到特征选择的效果，并简化算法。

当使用L2正则化作为惩罚项时，优化函数为：

其算法过程类似于L1正则化，采用块坐标下降，将问题转化为三个子问题，区别在于:a和b两个步骤中lasso问题变成了岭回归问题。采用L2正则化比L1的正则化更直观一些，而且在很多的情况下，L2范数的预测精度要优于L1。

本实施例采用由L1正则化和L2正则化的凸组合对分层隐变量模型进行弹性网络惩罚，则优化问题变为，

式中γ为线性组合参数。弹性网络惩罚的算法与L1的算法一致，先对新闻特征和用户特征进行聚类后采用块坐标下降的方法来求解最优解，区别在于:a和b两个步骤中lasso问题变成了elastic net问题。使用弹性网络惩罚后，既可以像L1范数一样筛选变量，作出特征选择，又可以像L2范数一样对相似的变量给出相似的收缩，从而将无关紧要的特征筛选出去，把具有相似性质的特征给保留下来。

根据分层隐变量模型求解出参数α_q、β_p、及则用户对新闻的预测评分为

S6、根据S5预测出的用户对新闻的评分选取预测评分最高的若干条新闻推荐给用户，本发明中推荐的新闻数为10条。

S7、重复步骤S1-S6，根据新闻特征和用户特征的变化不断更新所要推荐的新闻。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于分层隐变量模型的新闻推荐方法，其特征在于，包括以下步骤：

S1、新闻抓取，从各大门户网站爬取不同类型的新闻，并将其储存在推荐系统的本地数据库；

S2、在推荐系统中进行用户特征的提取，获得用户特征向量x_j；

S3、对抓取的新闻进行新闻特征的提取，获得新闻特征向量y_i；

S4、使用聚类算法对相似的新闻特征及用户特征进行聚类，将用户特征x_j分为m类，将新闻特征y_i分为n类；

S5、对S4划分的每一类相似的新闻特征及用户特征建立分层隐变量模型以预测用户对新闻的评分，其中，步骤S5具体包括：

S51、建立基于聚类结果的分层隐变量模型

用户特征x_j分为m类，则m类中第q类的用户有m_q个，用表示m_q类用户中第j个用户的特征；新闻特征y_i分为n类，则n类中第p类的新闻有n_p个，用表示n_p类新闻中第i个新闻的特征，则基于第q类中第j个用户特征及第p类中第i个新闻特征混合的分层隐变量模型为式中，α_q为用户特征权重，β_p为新闻特征权重，及分别为用户特征与新闻特征的隐变量，α_q、β_p、及为待求解变量，分别为β_p、的矩阵转置；

S52、获得所述分层隐变量模型的优化问题

分别用χ_q，γ_p表示第q类用户的下标集和第p类新闻的下标集，则每一类(p,q)的优化问题为：

式中，为第q类中的第j个用户对第p类中的第i篇新闻的评分；

S6、根据S5预测出的用户对新闻的评分选取预测评分最高的若干条新闻推荐给用户。

2.根据权利要求1所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于，S2包括：

S21、对系统注册用户提取用户的注册信息，以获得用户显式特征I_j；

S22、对用户最新阅读、操作的若干条新闻提取关键词，抽取频率最高的若干个关键词作为用户隐式特征RH_j；

S23、构成用户特征向量x_j＝{I_j,RH_j}。

3.根据权利要求2所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于：步骤S22中频率最高的若干个关键词的抽取方法为，

其中F(x,a)表示用户x的历史行为中出现关键词a的次数,f₁(k1,a)表示用户x近期阅读的L篇新闻中第k1篇中关键词a出现的次数,f₂(k2,a)表示用户近期有过点赞或者评论的N篇新闻的第k2篇新闻中关键词a出现的次数；f₃(k3,a)表示近期用户分享的M篇新闻中第k3篇新闻中关键词a出现的次数w₁、w₂、w₃为权重，w₁＜w₂＜w₃。

4.根据权利要求1所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于，S3包括：

S31、对抓取的新闻的标题及正文内容使用分词软件进行分词；

S32、使用TF-IDF模型提取新闻的关键词，选取新闻原有的一个标签T_i和若干个权值最高的关键词K_i构成新闻特征向量y_i＝{T_i,K_i}。

5.根据权利要求1所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于：步骤S4中所述聚类算法为SOM自组织聚类算法。

6.根据权利要求1所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于：为防止步骤S52求解分层隐变量模型的优化问题时过拟合，使用由L1正则化和L2正则化的凸组合对分层隐变量模型进行弹性网络惩罚，则优化问题变为，

式中，m_q为第q类的用户数量，n_p为第p类的新闻数量,A是用户偏好的新闻隐变量集合，B是新闻具备的隐变量集合,λ_a和λ_b为输入参数，γ为线性组合参数，α_q为用户特征权重，β_p为新闻特征权重。

7.根据权利要求6所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于：根据步骤S5分层隐变量模型求出的参数，用户对新闻的预测评分为：

8.根据权利要求1所述的一种基于分层隐变量模型的新闻推荐方法，其特征在于，还包括步骤S7：重复步骤S1-S6，根据新闻特征和用户特征的变化不断更新所要推荐的新闻。