CN114764479A - 一种基于新闻场景下用户行为的个性化新闻推荐方法 - Google Patents

Abstract

本发明公开了一种基于新闻场景下用户行为的个性化新闻推荐方法，该方法包括：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理，通过所构建的多路召回模型，得到新闻推荐候选集，再将新闻推荐候选集输入混合排序模型中，得到最终的新闻推荐结果序列。本发明在多路召回阶段提供了基于关联规则与多因子模型改进的协同过滤算法，减小推荐排序的数据规模，提高后续排序效率。此外，在排序阶段提供了混合排序模型对新闻推荐候选集进行排序，结合机器学习算法的特征可解释性与深度学习算法的高语义表征能力，在保证推荐结果合理的同时提升了推荐效果。

Description

一种基于新闻场景下用户行为的个性化新闻推荐方法

技术领域

本发明涉及互联网个性化推荐领域，具体涉及一种基于新闻场景下用户行为的个性化新闻推荐方法。

背景技术

信息技术的高速发展与智能终端设备的普及，让社会从2G发展到如今的5G时代，正迎来移动互联网的巨大变革，各领域的数字信息爆炸式增长.根据国际数据公司(International Data Corporation,IDC)2016-2021年全球创建数据及预测报告显示，2021年全球创造的数据信息量将会达到64.5ZB。如何更有效的利用这井喷式增长的大数据已成为当下亟待解决的难题，中国作为一个庞大的数据生产源，更是需要充分把握资源，国内各领域的多家企业也逐渐开始重视对于数据的挖掘与利用，极力构建“互联网+大数据”的新市场生态。大数据蕴含着丰富的发掘价值与巨大的预测潜力，推动了理论和技术的发展，在实际应用方面便利了民众的生活。但与此同时，面对大量的信息，系统筛选出匹配资源所花费的成本变高了。相较于之前，人们对于这些数据信息的使用效率也降低了，也就是常说的“信息过载”问题。

推荐系统作为能快速的从复杂纷繁的各类数据中获取有效的信息而被提出，已经成为了学术界和工业界关注的热点问题，在这一方向上的研究成果层出不穷，从基于协同过滤的传统方法发展到基于深度学习的推荐算法，许多模型在工程问题上也得到了广泛的应用。推荐系统是根据用户的显式与隐式反馈数据(例如点赞、评分、点击、阅读等行为数据)、用户的画像(例如职业、年龄、学历等)以及项目内容信息(例如音视频、图像、文本等多源异构数据)，通过推荐算法预测用户可能喜欢的内容，并且以个性化的形式推荐给不同用户。这种通过系统引导用户发现信息的过程不同于具有明确目的的搜索任务，前者能提供个性化的服务，使得用户发现一些新颖且令人惊喜的信息，精准的推荐系统能够增加用户对产品的使用黏性。当前，推荐系统在许多业务场景下都得到了广泛的应用，譬如新闻推荐(谷歌新闻、今日头条等)、电子商务(如淘宝、亚马逊等)、搜索引擎(如谷歌、百度等)、计算广告(抖音、微博、微信等)等各个领域。以现象级产品抖音APP为例，该产品推荐系统的准确度高达95％，一方面在信息流(可滚动浏览的内容流)中为用户推荐与其兴趣强相关的短视频内容，另一方面对广告召回的人群进行内容与广告的混合排序，投放计算广告从而实现商业变现的闭环链路。

由于互联网内容的多样性不断增加，新闻场景下的推荐不再只局限于文字形式，而是扩展到图片、视频、音频等多源异构数据类型。用户要从海量的新闻中获取到自己想要的资讯，仅基于新闻搜索和新闻分类等基本功能已不能完全满足该需求,目前今日头条就是在每个新闻子类目下，以信息流的形式为用户个性化的推荐文章。新闻推荐与其他领域内容的推荐不同，用户在访问新闻网站时，更倾向于发现一些新的或者未知的信息。据此可见，了解用户阅读兴趣的动态变化并根据用户的历史活动预测其未来行为是有效的。

现有技术中公开了一种基于RSS订阅的新闻推荐方法的专利，该方法首先通过用户的RSS订阅信息，建立用户订阅信息数据库；其次，通过个人用户的RSS Feed订阅下采集的新闻信息构建反映用户兴趣偏好的特征向量；然后，结合个人用户的订阅行为和浏览自主订阅的兴趣度分析，建立个人用户的综合兴趣模型；最后，进行基于内容和协同过滤相结合的主动推荐过程。该专利实现了基于个人兴趣的个性化新闻推荐。然而，该专利是主要围绕用户画像来构建的，忽略隐式反馈数据中的有效信息，同时在实际场景中用户显式反馈数据常存在冷启动和数据稀疏的问题；另外该专利所使用的是传统的协同过滤算法，也没有涉及深度学习与机器学习领域，其推荐结果的准确度可以进一步提高。

发明内容

本发明提供一种基于新闻场景下用户行为的个性化新闻推荐方法，解决在新闻推荐领域中，由于传统推荐算法衡量相似度的标准单一、以及深度推荐算法可解释性差的问题，可使推荐结果具备多样性、更好的效果以及较好的可行度。

为了达到上述技术效果，本发明的技术方案如下：

一种基于新闻场景下用户行为的个性化新闻推荐方法，包括以下步骤：

S1：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理；

S2：构建多路召回模型，将步骤S1所述的特征集和已预处理的数据集，输入到多路召回模型中，得到新闻推荐候选集；

S3：构建混合排序模型，将步骤S2所述的新闻推荐候选集输入混合排序模型中，得到新闻推荐结果序列。

本发明方法通过构建用户的历史行为特征，在召回阶段采用基于关联规则与多因子模型改进的协同过滤算法，加入用户兴趣随时间和点击距离衰减的特性，以此来拟合用户兴趣的动态变化；接着在排序阶段利用Stacking元级别融合策略，提出集成决策树模型LightGBM与深度兴趣网络模型DIN进行融合处理的混合排序模型，提升推荐系统的透明度和推荐结果的准确性。

进一步地，所述步骤S1中，构建的特征集的过程是，包括以下步骤：

S11：根据步骤S1所述的用户的历史行为数据集，分析用户信息、新闻文章信息和用户行为，提取并选择重要特征：用户点击新闻文章的数量、新闻文章被用户点击的次数、用户所阅读的新闻文章主题、用户所阅读的新闻文章字数、用户点击环境和用户历史点击文章信息；

S12：根据步骤S11所述的重要特征构建所需的特征集。

步骤S1中分析用户信息、新闻文章信息和用户行为是从多角度了解数据分布情况，进行用户重复点击与新闻共现频次分析、用户点击新闻数量分析、新闻点击次数分析、用户新闻主题与字数偏好分析、用户点击环境变化分析，以达到能够获取最符合用户个性兴趣取向的特征。

进一步地，所述步骤S12中，根据步骤S11所述的重要特征构建所需的特征集包括：

利用用户历史点击文章信息，根据最后点击文章分别计算其与历史点击文章的相似度和统计特征、时间差特征、字数差特征以及文章和用户的相似性特征，构建用户历史点击文章信息特征集；

根据用户所阅读的新闻文章主题、用户所阅读的新闻文章字数和用户点击环境，构建用户画像信息特征集；

根据用户点击新闻文章的数量和新闻文章被用户点击的次数，构建用户活跃度与文章热度信息特征集。

根据对用户的历史行为数据集分析，确定所需提取的重要特征后，分为三个方面进行特征集的构建，为后续的基于项目的协同过滤算法，基于用户的协同过滤算法，相似度计算公式的改进，以及混合排序模型的训练提供良好的底层数据支持。

进一步地，对步骤S1所述的用户的历史行为数据集作预处理的过程是，通过对步骤S1所述的用户的历史行为数据集进行负采样使正负样本均衡，并对该数据集进行预测目标、测试集和训练集的划分。

按照推荐系统数据稀疏度公式

计算，其中R为评分的数量，U和I分别为用户和项目数量，用户的历史行为数据集的稀疏度高达99.98％，采用传统的协同过滤方法无法学习到用户深层次偏好。那么收集用户历史行为、新闻内容信息等数据，并且将其融合至推荐系统中，能有效帮助用户更好的感知兴趣新闻，甚至能挖掘到一些冷门信息，达到个性化推荐的目的。新闻推荐数据集属于隐性反馈数据，不含有类似于评分这样的显式数据，只有表示用户兴趣行为的正样本，而没有负样本数据，因此需要对用户的点击行为生成对应的负样本。在负样本生成时，选取热门但用户并未点击过的新闻，并确保生成的负样本数量与用户浏览文章数量相当。

进一步地，所述步骤S2中，多路召回模型是将每一分支召回文章的分数做归一化处理，并根据召回的结果设置多路合并的权重，得到新闻推荐候选集；本发明多路召回模型由四路召回组成，包括改进的基于用户和基于项目的协同过滤算法，DNN算法以及冷启动策略，每一路具体步骤如下所示：

S21：利用改进的基于用户的协同过滤算法召回，包括以下步骤：

S211：结合步骤S1所述的特征集和已预处理的数据集，建立用户评分矩阵；

S212：计算目标用户与其它用户的相似度，其中对于计算相似性度量公式加入了惩罚因子、用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子，

和

分别表示用户i和用户j点击文章的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示用户i和用户j在文章u的阅读序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S213生成近邻集合，并结合关联规则，产生推荐的相似用户，利用相似用户历史点击文章作为新闻推荐候选集；

S22：利用改进的基于项目的协同过滤算法召回；

S23：利用DNN算法召回；

S24：利用冷启动策略召回。

构建多路召回模型，是由于召回过程属于推荐系统的第一阶段，需要从大量的项目当中筛选出一些用户可能感兴趣的物品合集，最后作为排序部分的输入。所谓“多路召回”策略，即采用不同的策略、特征或者简单模型，分别召回一部分候选集，然后把候选集混合在一起以供后续的排序阶段使用。由于文章与用户数量级大，在召回阶段率先筛选出用户对于点击文章的候选集合，能有效降低问题的规模；改进的基于用户的协同过滤算法的主要功能是，对某用户推荐与其相似用户历史点击过的文章。

进一步地，所述步骤S22中，改进的基于项目的协同过滤算法，包括以下步骤：

S221结合步骤S1所述的特征集和已预处理的数据集，建立文章评分矩阵；

S222将目标用户历史点击文章作为目标文章，计算目标文章与其它文章的相似度，其中对于计算相似性度量公式加入了惩罚因子、文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子，

和

分别表示文章i和文章j的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示文章i和文章j在用户u的点击序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S223生成近邻集合，并结合关联规则，产生推荐的相似文章集合，该集合可作为新闻推荐候选集。

改进的基于项目的协同过滤算法的主要功能是，找到与用户历史点击文章具有高相似度的其他文章进入候选集。

进一步地，所述步骤S23中，DNN算法的过程是，结合步骤S1所述的特征集和已预处理的数据集，参考Word2Vec的思想，将用户和文章均映射到一个向量，并通过神经网络训练，得到最终的目标用户向量和文章向量，计算目标用户向量与文章向量的相似度，根据相似度，产生推荐的相似文章集合，该集合可作为新闻推荐候选集；所述步骤S24中，冷启动策略的过程是，对新闻数据集中未与用户产生任何交互的文章，通过文章主题相似性、点击时间差和文章创建时间过滤掉部分文章，剩余文章作为新闻推荐候选集。

DNN算法召回的主要功能是，计算用户和文章的相似度，根据这个相似度给出推荐结果，其中训练过程参考Word2Vec的思想训练嵌入式表达。由于点击文章数远小于文章库中的文章数，那么有一部分文章，没有任何的用户历史交互行为信息，存在文章的冷启动问题。冷启动策略就是基于解决这一问题所提出的思路，对于这部分新闻，通过文章主题相似性、点击时间差、文章创建时间等规则过滤掉部分文章，使得留下的文章更有可能被用户点击。

进一步地，所述步骤S3中，构建混合排序模型，是利用5折交叉验证的Stacking元级别融合策略，构建混合排序模型，是利用5折交叉验证的Stacking元级别融合策略，结合步骤S1所述的特征集和已预处理的数据集，对深度兴趣网络模型DIN和集成决策树模型LightGBM进行训练，得到新的训练集和测试集，将新的训练集和测试集输入到LR分类模型中，对LR分类模型进行训练，得到训练后的LR分类模型作为混合排序模型。

集成决策树模型LightGBM算法的参数维度设置为8维度，并以两两组合的形式进行参数的优化与调整，分别为学习率learning_rate和学习器个数n_estimators、树的最大深度max_depth和叶子节点最小权重min_child_weight、随机化参数subsample和colsample_bytree、L1正则reg_alpha和L2正则reg_lambda。集成决策树模型LightGBM具有良好的特征解释性，而深度兴趣网络模型DIN的预测结果准确度会更高，那么经过Stacking元级别融合后的混合排序模型不仅具备了一定的特征可解释性，同时也吸收了深度学习方法高语义表征能力，使得最终新闻推荐的效果更优。

进一步地，所述步骤S3中，深度兴趣网络模型DIN按照不同的数据类型进行模型数据处理，对于离散型特征，通过deepctr包中的SparseFeat函数传入，并且定义Embedding稠密向量的维度大小；对于用户历史行为特征列，除了训练稠密表示之外，还需要传入Attention层，与当前候选集计算相似度，模拟用户的动态兴趣变化；对于用户不同长度的历史行为序列通过VarLenSparseFeat函数做序列填充，将变量长度进行统一，最后对于数值型变量则直接用DenseFeat函数传入。

基于深度学习的推荐算法通过引入神经网络、Attention机制，除了能有效记忆用户与项目之间，各特征浅层交互的线性关系之外，还能抽象出更深层次的非线性关系以增强模型的泛化能力，模型的预测效果相比于集成决策树模型LightGBM算法有显著提升。

进一步地，可对步骤S3所述的新闻推荐结果序列作准确度分析和可解释性分析，是通过将混合前的单个排序模型预测结果，与混合排序模型预测结果做准确度对比，主要采用指标有离线训练准确度AUC指标、模型损失值Loss以及线上预测准确度MRR(定义为对每个样本输出K个排序推荐样本的评分数据取平均)，计算公式分别如下所示：

所述新闻推荐结果序列的可解释性分析，是根据集成决策树模型LightGBM特征重要度排序功能，输出重要特征排序图，通过此解释推荐结果的主要依据特征。

融合了集成决策树模型LightGBM与深度兴趣网络模型DIN的混合排序模型不管是离线训练准确度指标AUC还是线上预测准确度MRR指标均高于混合前的单个模型，说明该混合策略在此新闻数据集上是有效的；另外根据输出重要特征排序图，结合新闻热度常识，可知推荐结果是具有合理解释性的。

与现有技术相比，本发明技术方案的有益效果是：

本发明首先提供了一种基于新闻场景下用户行为的个性化新闻推荐方法，该方法对原始新闻数据集进行特征分析，构建能提升新闻推荐效果的有效特征；其次，提出了改进的协同过滤算法，在关联规则的基础上，加入对热门项目和活跃用户的惩罚项，考虑到用户的兴趣会随着时间和点击距离不断衰减，将时间衰减因子和点击距离衰减因子融入到相似性度量公式中，使得推荐结果更符合兴趣模型；再次，参考元级别混合的思想，提出将集成决策树模型LightGBM和深度兴趣网络DIN进行模型融合处理，在保证推荐效果的同时能提升推荐的可解释性，保证了推荐结果的准确性和多样性。

附图说明

图1为本发明公开的一种基于新闻场景下用户行为的个性化新闻推荐方法的流程图；

图2为本发明公开的一种基于新闻场景下用户行为的个性化新闻推荐方法的多路召回模型流程图；

图3为本发明实施例中公开的以是否加入衰减因子为条件的协同过滤算法的预测击中率对比图；

图4为本发明实施例中公开的用Stacking策略进行模型融合的步骤图；

图5为本发明实施例中公开的集成决策树模型LightGBM输出的特征性重要度排序结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

对于本领域技术人员来说，附图中某些公知说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1：

一种基于新闻场景下用户行为的个性化新闻推荐方法的流程图如图1所示。

步骤S1：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理；

S11：根据获取用户在新闻平台的历史行为数据集，分析用户信息、新闻文章信息和用户行为，提取并选择重要特征：用户点击新闻文章的数量、新闻文章被用户点击的次数、用户所阅读的新闻文章主题、用户所阅读的新闻文章字数、用户点击环境和用户历史点击文章信息；

S12：根据步骤S11所述的重要特征构建所需的特征集包括：

利用用户历史点击文章信息，根据最后点击文章分别计算其与历史点击文章的相似度和统计特征、时间差特征、字数差特征以及文章和用户的相似性特征，构建用户历史点击文章信息特征集；

根据用户所阅读的新闻文章主题、用户所阅读的新闻文章字数和用户点击环境，构建用户画像信息特征集；

根据用户点击新闻文章的数量和新闻文章被用户点击的次数，构建用户活跃度与文章热度信息特征集。

S13：对用户的历史行为数据集进行负采样使正负样本均衡，并对该数据集进行预测目标、测试集和训练集的划分。

步骤S2：构建多路召回模型，将步骤S1所述的特征集和已预处理的数据集，输入到多路召回模型中，得到新闻推荐候选集，具体流程如图2所示：

S21：利用改进的基于用户的协同过滤算法召回，包括以下步骤：

S211：结合步骤S1所述的特征集和已预处理的数据集，建立用户评分矩阵；

S212：计算目标用户与其它用户的相似度，其中对于计算相似性度量公式加入了惩罚因子、用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子，

和

分别表示用户i和用户j点击文章的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示用户i和用户j在文章u的阅读序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S213：生成近邻集合，并结合关联规则，产生推荐的相似用户，利用相似用户历史点击文章作为新闻推荐候选集；

S22：利用改进的基于项目的协同过滤算法召回；

S221：结合步骤S1所述的特征集和已预处理的数据集，建立文章评分矩阵；

S222：将目标用户历史点击文章作为目标文章，计算目标文章与其它文章的相似度，其中对于计算相似性度量公式加入了惩罚因子、文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子，

和

分别表示文章i和文章j的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示文章i和文章j在用户u的点击序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S223生成近邻集合，并结合关联规则，产生推荐的相似文章集合，该集合可作为新闻推荐候选集。

S23：结合步骤1所述的特征集和已预处理的数据集，参考Word2Vec的思想，将用户和文章均映射到一个向量，并通过神经网络训练，得到最终的目标用户向量和文章向量，计算目标用户向量与文章向量的相似度，根据相似度，产生推荐的相似文章集合，该集合可作为新闻推荐候选集；

S24：对新闻数据集中未与用户产生任何交互的文章，通过文章主题相似性、点击时间差和文章创建时间过滤掉部分文章，剩余文章作为新闻推荐候选集。

S25：每一分支召回文章的分数做归一化处理，并根据召回的结果设置多路合并的权重，最终得到新闻推荐候选集。

步骤S3：利用5折交叉验证的Stacking元级别融合策略，结合步骤S1所述的特征集和已预处理的数据集，对深度兴趣网络模型DIN和集成决策树模型LightGBM进行训练，得到新的训练集和测试集，将新的训练集和测试集输入到LR分类模型中，对LR分类模型进行训练，得到训练后的LR分类模型作为混合排序模型；其中集成决策树模型LightGBM算法的参数维度设置为8维度，并以两两组合的形式进行参数的优化与调整，分别为学习率learning_rate和学习器个数n_estimators、树的最大深度max_depth和叶子节点最小权重min_child_weight、随机化参数subsample和colsample_bytree、L1正则reg_alpha和L2正则reg_lambda；而深度兴趣网络模型DIN按照不同的数据类型进行模型数据处理，对于离散型特征，通过deepctr包中的SparseFeat函数传入，并且定义Embedding稠密向量的维度大小；对于用户历史行为特征列，除了训练稠密表示之外，还需要传入Attention层，与当前候选集计算相似度，模拟用户的动态兴趣变化；对于用户不同长度的历史行为序列通过VarLenSparseFeat函数做序列填充，将变量长度进行统一，最后对于数值型变量则直接用DenseFeat函数传入，最后通过混合排序模型得到新闻推荐结果序列。

通过将混合前的单个排序模型预测结果，与混合排序模型预测结果做准确度对比，主要采用指标有离线训练准确度AUC指标、模型损失值Loss以及线上预测准确度MRR(定义为对每个样本输出K个排序推荐样本的评分数据取平均)，计算公式分别如下所示：

根据集成决策树模型LightGBM特征重要度排序功能，输出重要特征排序图，通过此解释推荐结果的主要依据特征。

实施例2：

一种基于新闻场景下用户行为的个性化新闻推荐方法的流程图如图1所示。

步骤S1：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理；

S11：获取新闻APP的用户行为数据，该数据集共有25万用户和36万篇文章，近300万次点击。通过用户重复点击与新闻共现频次分析、用户点击新闻数量分析、新闻点击次数分析、用户新闻主题与字数偏好分析、用户点击环境变化分析，提取并选择重要特征：用户点击新闻文章的数量、新闻文章被用户点击的次数、用户所阅读的新闻文章主题、用户所阅读的新闻文章字数、用户点击环境和用户历史点击文章信息。

S12：根据步骤S11所述重要特征构建所需的特征集包括：

对每个用户获取最后点击文章的article_id，分别计算其与历史点击文章的Embedding相似度和统计特征、时间差特征、字数差特征以及文章和用户的相似性特征；

根据用户日志表中含有用户使用设备、点击环境等画像信息，从中提取出用户的设备习惯即最常用设备、用户阅读的时间习惯、用户对文章的主题偏好以及用户对文章字数习惯；

用户在短时间内同时点击多篇文章即有理由判断为活跃用户，以用户点击文章的平均时间间隔，加上点击次数的倒数并归一化来构造用户活跃度指标，该指标越小说明用户活跃度越高，对热门文章以同样的思路处理，根据阅读用户数量取倒数加上平均时间间隔指标衡量文章热度。

S13：对用户的历史行为数据集作预处理。首先对用户的点击行为生成对应的负样本，在负样本生成时，选取热门但用户并未点击过的新闻，并确保生成的负样本数量与用户浏览文章数量相当。将全量数据集拆分成训练集与测试集，便于离线验证模型参数的好坏。把最后一次阅读行为作为预测目标，剔除了最后一次点击记录的数据作为训练样本，在划分过程中，删除数据集中只有1次阅读记录的用户数据，使得测试集与训练集的用户情况能保持一致。

步骤S2：构建多路召回模型，将特征集和已预处理的数据集，输入到多路召回模型中，得到新闻推荐候选集，具体流程如图2所示：

S21：利用改进的基于用户的协同过滤算法召回，包括以下步骤：

S211：结合特征集和已预处理的数据集，建立用户评分矩阵；

S212：计算目标用户与其它用户的相似度，其中对于计算相似性度量公式加入了惩罚因子、用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子，

和

分别表示用户i和用户j点击文章的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示用户i和用户j在文章u的阅读序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S213生成近邻集合，并结合关联规则，产生推荐的相似用户，利用相似用户历史点击文章作为新闻推荐候选集。

S22：利用改进的基于项目的协同过滤算法召回，包括以下步骤：

S221结合特征集和已预处理的数据集，建立文章评分矩阵；

S222将目标用户历史点击文章作为目标文章，计算目标文章与其它文章的相似度，其中对于计算相似性度量公式加入了惩罚因子、文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子，

和

分别表示文章i和文章j的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示文章i和文章j在用户u的点击序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S223生成近邻集合，并结合关联规则，产生推荐的相似文章集合，该集合可作为新闻推荐候选集。

S23：利用DNN算法召回，其过程是，结合特征集和已预处理的数据集，参考Word2Vec的思想，将用户和文章均映射到一个向量，并通过神经网络训练，得到最终的目标用户向量和文章向量，计算目标用户向量与文章向量的相似度，根据相似度，产生推荐的相似文章集合，该集合可作为新闻推荐候选集；

S24：利用冷启动策略召回，其过程是，对新闻数据集中未与用户产生任何交互的文章，通过文章主题相似性、点击时间差和文章创建时间过滤掉部分文章，剩余文章作为新闻推荐候选集。

S25：最后将每一分支召回文章的分数做归一化处理，使得相同用户间能根据召回的结果设置多路合并的权重，其中基于项目的协同过滤算法itemcf权重设置为1.0，基于用户的协同过滤算法usercf权重设置为0.8，DNN算法权重设置为0.4，冷启动策略召回权重设置为0.6。

最后各路召回阶段的效果如下表1，其中hitrate_N是指每个用户的新闻推荐候选集样本量为N时，候选样本当中击中了真实新闻点击的用户数，占总用户数的概率大小，这里选定新闻推荐候选集样本量为10。

表1不同召回策略的hirate对比表

召回策略	hirate_10
		itemcf	0.3608
usercf	0.3221
		Youtube DNN	0.0304

冷启动召回是推荐没有出现在用户点击日志中的商品，击中率无法有效评估推荐的效果，主要是为没有用户行为记录的文章增加分发的可能性。

步骤S3：利用5折交叉验证的Stacking元级别融合策略，如图4所示，结合步骤S1所述的特征集和已预处理的数据集，对深度兴趣网络模型DIN和集成决策树模型LightGBM进行训练，得到新的训练集和测试集，将新的训练集和测试集输入到LR分类模型中，对LR分类模型进行训练，得到训练后的LR分类模型作为混合排序模型；其中集成决策树模型LightGBM算法的参数维度设置为8维度，并以两两组合的形式进行参数的优化与调整，分别为学习率learning_rate和学习器个数n_estimators、树的最大深度max_depth和叶子节点最小权重min_child_weight、随机化参数subsample和colsample_bytree、L1正则reg_alpha和L2正则reg_lambda；而深度兴趣网络模型DIN按照不同的数据类型进行模型数据处理，对于离散型特征，通过deepctr包中的SparseFeat函数传入，并且定义Embedding稠密向量的维度大小；对于用户历史行为特征列，除了训练稠密表示之外，还需要传入Attention层，与当前候选集计算相似度，模拟用户的动态兴趣变化；对于用户不同长度的历史行为序列通过VarLenSparseFeat函数做序列填充，将变量长度进行统一，最后对于数值型变量则直接用DenseFeat函数传入，最后通过混合排序模型得到新闻推荐结果序列。

根据集成决策树模型LightGBM特征重要度排序功能，输出重要特征排序图5，时效性和热度性是重要的推荐特征，该分析结果符合业务常识，为推荐结果给出合理的解释。

计算离线训练准确度指标AUC、模型损失值Loss和线上预测准确度MRR，将混合前的单个排序模型预测结果，与混合排序模型预测结果做对比。

表2不同排序算法的性能指标表

排序算法	AUC	Binary_Loss	MRR_5
				LGB	0.8191	0.4464	0.1873
DIN	0.9098	0.2803	0.2445
				LGB+DIN	0.9546	0.2754	0.2594

实施例3：

一种基于新闻场景下用户行为的个性化新闻推荐方法的流程图如图1所示。

步骤S1：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理；

S11：获取某新闻APP的用户行为数据，该数据集共有25万用户和36万篇文章，近300万次点击，其中20万点击数据为训练集，5万用户数据为测试集。通过用户重复点击与新闻共现频次分析、用户点击新闻数量分析、新闻点击次数分析、用户新闻主题与字数偏好分析、用户点击环境变化分析，提取并选择重要特征：用户点击新闻文章的数量、新闻文章被用户点击的次数、用户所阅读的新闻文章主题、用户所阅读的新闻文章字数、用户点击环境和用户历史点击文章信息。

S12：根据重要特征构建所需的特征集包括：

对每个用户获取最后点击文章的article_id，分别计算其与历史点击文章的Embedding相似度和统计特征、时间差特征、字数差特征以及文章和用户的相似性特征；

根据用户日志表中含有用户使用设备、点击环境等画像信息，从中提取出用户的设备习惯即最常用设备、用户阅读的时间习惯、用户对文章的主题偏好以及用户对文章字数习惯；

用户在短时间内同时点击多篇文章即有理由判断为活跃用户，以用户点击文章的平均时间间隔，加上点击次数的倒数并归一化来构造用户活跃度指标，该指标越小说明用户活跃度越高，对热门文章以同样的思路处理，根据阅读用户数量取倒数加上平均时间间隔指标衡量文章热度。

S13：对用户的历史行为数据集作预处理，对用户的点击行为生成对应的负样本。在负样本生成时，选取热门但用户并未点击过的新闻，并确保生成的负样本数量与用户浏览文章数量相当。将全量数据集拆分成训练集与测试集，便于离线验证模型参数的好坏。把最后一次阅读行为作为预测目标，剔除了最后一次点击记录的数据作为训练样本，在划分过程中，删除数据集中只有1次阅读记录的用户数据，使得测试集与训练集的用户情况能保持一致。筛选后的训练数据集包含用户200000个，新闻31116篇，稀疏度为99.97％。

步骤S2：构建多路召回模型，将特征集和已预处理的数据集，输入到多路召回模型中，得到新闻推荐候选集，具体流程如图2所示：

S21：利用改进的基于用户的协同过滤算法召回，包括以下步骤：

S211：结合特征集和已预处理的数据集，建立用户评分矩阵；

S212：计算目标用户与其它用户的相似度，其中对于计算相似性度量公式加入了惩罚因子、用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子，

和

分别表示用户i和用户j点击文章的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示用户i和用户j在文章u的阅读序列中所排位置的差距，β是序列正负向点击权重，当d_ui＞d_uj则β取值为1.0，反之负向点击权重取0.8；

S213生成近邻集合，并结合关联规则，产生推荐的相似用户，利用相似用户历史点击文章作为新闻推荐候选集。

S22：利用改进的基于项目的协同过滤算法召回，包括以下步骤：

S221结合特征集和已预处理的数据集，建立文章评分矩阵；

S222将目标用户历史点击文章作为目标文章，计算目标文章与其它文章的相似度，其中对于计算相似性度量公式加入了惩罚因子、文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子，

科

分别表示文章i和文章j的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示文章i和文章j在用户u的点击序列中所排位置的差距，β是序列正负向点击权重，当d_ui＞d_uj则β取值为1.0，反之负向点击权重取0.8；

S223生成近邻集合，并结合关联规则，产生推荐的相似文章集合，该集合可作为新闻推荐候选集。

S23：利用DNN算法召回，其过程是，结合特征集和已预处理的数据集，参考Word2Vec的思想，将用户和文章均映射到一个向量，并通过神经网络训练，得到最终的目标用户向量和文章向量，计算目标用户向量与文章向量的相似度，根据相似度，产生推荐的相似文章集合，该集合可作为新闻推荐候选集；

S24：利用冷启动策略召回，其过程是，对新闻数据集中未与用户产生任何交互的文章，通过文章主题相似性、点击时间差和文章创建时间过滤掉部分文章，剩余文章作为新闻推荐候选集。

根据图3可知，加入了时间与点击距离衰减因子的基于项目的协同过滤算法improved-itemcf效果明显优于不加入了时间与点击距离衰减因子的基于项目的协同过滤算法itemcf，并且随着推荐样本数量增多，两者准确率的差距越大，平均来看改进过后的基于项目的协同过滤算法击中率提高了7％，说明在新闻推荐场景中考虑用户兴趣随时间和点击距离的动态变化是可行的。

S25：最后将每一分支召回文章的分数做归一化处理，使得相同用户间能根据召回的结果设置多路合并的权重，其中基于项目的协同过滤算法itemcf权重设置为1.0，基于用户的协同过滤算法usercf权重设置为0.8，DNN算法权重设置为0.4，冷启动策略召回权重设置为0.6。

最后各路召回阶段的效果如下表1，其中hitrate_N是指每个用户的新闻推荐候选集样本量为N时，候选样本当中击中了真实新闻点击的用户数，占总用户数的概率大小；为了避免结果的偶然性，这里新闻推荐候选集样本量，较实施例2增加了样本量为20，30，40，50的情况。

表1不同召回策略的hirate对比表

召回策略	hirate_10	hirate_20	hirate_30	hirate_40	hirate_50
						itemcf	0.3608	0.4722	0.5508	0.6096	0.6482
usercf	0.3221	0.4132	0.4678	0.5074	0.5360
						Youtube DNN	0.0304	0.0475	0.0596	0.0733	0.0886

改进的基于项目的协同过滤算法itemcf效果最好，每一次的推荐击中率均为最高，其次是改进的基于用户的协同过滤算法usercf，说明基于关联规则的项目协同过滤算法作为召回的基本策略是较为合适的。此外，基于用户的召回策略在新闻推荐场景下可以根据用户相似度推荐相同喜好的新闻，能同时把握新闻的热门度和个性化，但由于资源限制问题，维护用户相似度矩阵过于困难，这也可能是其效果差于基于项目的召回策略的原因。

DNN算法是通过度量用户与项目之间的相似度来进行推荐的，训练过程中将目标用户向量和文章向量输入框架中，但召回的效果明显不如协同过滤算法，说明基于历史行为数据的推荐可依据性更强。

冷启动召回是推荐没有出现在用户点击日志中的商品，击中率无法有效评估推荐的效果，主要是为没有用户行为记录的文章增加分发的可能性。

步骤S3：利用5折交叉验证的Stacking元级别融合策略，如图4所示，结合步骤S1所述的特征集和已预处理的数据集，对深度兴趣网络模型DIN和集成决策树模型LightGBM进行训练，得到新的训练集和测试集，将新的训练集和测试集输入到LR分类模型中，对LR分类模型进行训练，得到训练后的LR分类模型作为混合排序模型；其中集成决策树模型LightGBM算法的参数维度设置为8维度，并以两两组合的形式进行参数的优化与调整，分别为学习率learning_rate和学习器个数n_estimators、树的最大深度max_depth和叶子节点最小权重min_child_weight、随机化参数subsample和colsample_bytree、L1正则reg_alpha和L2正则reg_lambda；而深度兴趣网络模型DIN按照不同的数据类型进行模型数据处理，对于离散型特征，通过deepctr包中的SparseFeat函数传入，并且定义Embedding稠密向量的维度大小；对于用户历史行为特征列，除了训练稠密表示之外，还需要传入Attention层，与当前候选集计算相似度，模拟用户的动态兴趣变化；对于用户不同长度的历史行为序列通过VarLenSparseFeat函数做序列填充，将变量长度进行统一，最后对于数值型变量则直接用DenseFeat函数传入，最后通过混合排序模型得到新闻推荐结果序列。

根据集成决策树模型LightGBM特征重要度排序功能，输出重要特征排序图5，图5展示了与推荐结果关联程度排前十的特征列表及其重要性分数。排序前十的特征中有大半与时间相关，time_diff表示用户历史阅读文章和最后点击文章的时间差，created_at_ts表示文章的创建时间，user_time_hob则表示用户阅读文章的时间偏好等，另外表示文章热度的指标hot_level的增益值也较大。说明在新闻推荐系统中，时效性和热度性是重要的推荐特征，该分析结果符合业务常识，为推荐结果给出合理的解释。

计算离线训练准确度指标AUC、模型损失值Loss和线上预测准确度MRR，将混合前的单个排序模型预测结果，与混合排序模型预测结果做对比

线上预测准确度MRR值越高表示推荐算法的效果越好，即最后推荐的文章在推荐结果中位置越靠前。根据表2结果可知，融合了集成决策树模型LightGBM与深度兴趣网络模型DIN的混合排序模型不管是离线训练准确度指标AUC还是线上预测准确度MRR指标均高于混合前的单个模型，说明该混合策略在此新闻数据集上是有效的。

表2不同排序算法的性能指标表

虽然单个的集成决策树模型LightGBM具有特征可解释性，但是推荐结果的准确率并不如深度学习模型DIN，模型的损失值也较大。而基于深度学习的推荐算法通过引入神经网络、Attention机制，除了能有效记忆用户与项目之间，各特征浅层交互的线性关系之外，还能抽象出更深层次的非线性关系以增强模型的泛化能力，模型的预测效果相比于集成决策树模型LightGBM算法有显著提升，离线训练准确度指标AUC升高约0.09。经过Stacking融合后的模型不仅具备了一定的特征可解释性，同时也吸收了深度学习方法高语义表征能力，使得最终新闻推荐的效果更优。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，包括以下步骤：

S1：获取用户在新闻平台的历史行为数据集，利用该数据集来构造特征集，并对该数据集作预处理；

S2：构建多路召回模型，将步骤S1所述的特征集和已预处理的数据集，输入到多路召回模型中，得到新闻推荐候选集；

S3：构建混合排序模型，将步骤S2所述的新闻推荐候选集输入到混合排序模型中，得到新闻推荐结果序列。

2.根据权利要求1所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S1中，构建特征集的过程是，包括以下步骤：

S11：根据步骤S1所述的用户的历史行为数据集，分析用户信息、新闻文章信息和用户行为，提取并选择重要特征：用户点击新闻文章的数量、新闻文章被用户点击的次数、用户所阅读的新闻文章主题、用户所阅读的新闻文章字数、用户点击环境和用户历史点击文章信息；

S12：根据步骤S11所述的重要特征构建所需的特征集。

3.根据权利要求2所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S12中，根据步骤S11所述的重要特征构建所需的特征集包括：

利用用户历史点击文章信息，根据最后点击文章分别计算其与历史点击文章的相似度和统计特征、时间差特征、字数差特征以及文章和用户的相似性特征，构建用户历史点击文章信息特征集；

根据用户所阅读的新闻文章主题、用户所阅读的新闻文章字数和用户点击环境，构建用户画像信息特征集；

根据用户点击新闻文章的数量和新闻文章被用户点击的次数，构建用户活跃度与文章热度信息特征集。

4.根据权利要求3所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，对步骤S1所述的用户的历史行为数据集作预处理的过程是，通过对步骤S1所述的用户的历史行为数据集进行负采样使正负样本均衡，并对该数据集进行预测目标、测试集和训练集的划分。

5.根据权利要求4所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S2中，多路召回模型是将每一分支召回文章的分数做归一化处理，并根据召回的结果设置多路合并的权重，得到新闻推荐候选集。本发明多路召回模型由四路召回组成，包括改进的基于用户和基于项目的协同过滤算法，DNN算法以及冷启动策略，每一路具体步骤如下所示：

S21：利用改进的基于用户的协同过滤算法召回，包括以下步骤：

S211：结合步骤S1所述的特征集和已预处理的数据集，建立用户评分矩阵；

S212：计算目标用户与其它用户的相似度，其中对于计算相似性度量公式加入了惩罚因子、用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入用户点击文章创建时间衰减因子、用户点击文章的点击时间衰减因子和阅读距离衰减因子，

和

分别表示用户i和用户j点击文章的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示用户i和用户j在文章u的阅读序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S213生成近邻集合，并结合关联规则，产生推荐的相似用户，利用相似用户历史点击文章作为新闻推荐候选集；

S22：利用改进的基于项目的协同过滤算法召回；

S23：利用DNN算法召回；

S24：利用冷启动策略召回。

6.根据权利要求5所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S22中，改进的基于项目的协同过滤算法，包括以下步骤：

S221结合步骤S1所述的特征集和已预处理的数据集，建立文章评分矩阵；

S222将目标用户历史点击文章作为目标文章，计算目标文章与其它文章的相似度，其中对于计算相似性度量公式加入了惩罚因子、文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子：

分母中的log(1+|N(u)|)表示对活跃用户的惩罚项，

是指对热门文章的惩罚；在上述的基础上再引入文章创建时间衰减因子、文章点击时间衰减因子和点击距离衰减因子，

和

分别表示文章i和文章j的创建时间差与点击时间差，时间差越大时间权重因子越小，|d_ui-d_uj|表示文章i和文章j在用户u的点击序列中所排位置的差距，β是序列正负向点击权重，当d_ui>d_uj则β取值为1.0，反之负向点击权重取0.8；

S223生成近邻集合，并结合关联规则，产生推荐的相似文章集合，该集合可作为新闻推荐候选集。

7.根据权利要求6所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S23中，DNN算法的过程是，结合步骤S1所述的特征集和已预处理的数据集，参考Word2Vec的思想，将用户和文章均映射到一个向量，并通过神经网络训练，得到最终的目标用户向量和文章向量，计算目标用户向量与文章向量的相似度，根据相似度，产生推荐的相似文章集合，该集合可作为新闻推荐候选集；所述步骤S24中，冷启动策略的过程是，对新闻数据集中未与用户产生任何交互的文章，通过文章主题相似性、点击时间差和文章创建时间过滤掉部分文章，剩余文章作为新闻推荐候选集。

8.根据权利要求7所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S3中，构建混合排序模型，是利用5折交叉验证的Stacking元级别融合策略，结合步骤S1所述的特征集和已预处理的数据集，对深度兴趣网络模型DIN和集成决策树模型LightGBM进行训练，得到新的训练集和测试集，将新的训练集和测试集输入到LR分类模型中，对LR分类模型进行训练，得到训练后的LR分类模型作为混合排序模型。

9.根据权利要求8所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，所述步骤S3中，深度兴趣网络模型DIN按照不同的数据类型进行模型数据处理，对于离散型特征，通过deepctr包中的SparseFeat函数传入，并且定义Embedding稠密向量的维度大小；对于用户历史行为特征列，除了训练稠密表示之外，还需要传入Attention层，与当前候选集计算相似度，模拟用户的动态兴趣变化；对于用户不同长度的历史行为序列通过VarLenSparseFeat函数做序列填充，将变量长度进行统一，最后对于数值型变量则直接用DenseFeat函数传入。

10.根据权利要求9所述的一种基于新闻场景下用户行为的个性化新闻推荐方法，其特征在于，还包括对步骤S3所述的新闻推荐结果序列作准确度分析和可解释性分析，通过将混合前的单个排序模型预测结果，与混合排序模型预测结果做准确度对比，主要采用指标有离线训练准确度AUC指标、模型损失值Loss以及线上预测准确度MRR(定义为对每个样本输出K个排序推荐样本的评分数据取平均)，计算公式分别如下所示：

所述新闻推荐结果序列的可解释性分析，是根据集成决策树模型LightGBM特征重要度排序功能，输出重要特征排序图，通过此解释推荐结果的主要依据特征。

Images