CN109800350A - 一种个性化新闻推荐方法及系统、存储介质 - Google Patents

Abstract

本发明公开一种个性化新闻推荐方法及系统、存储介质，包括获取实时新闻资源，并进行去重；对去重后的新闻按照内容所属领域的不同进行归类；选取将要推送给当前用户的新闻，提取关键句子，生成摘要；所述将要推送给当前用户的新闻，是指根据对收集到的实时或历史用户数据进行分析，判断出当前用户感兴趣的新闻领域，而归类于该领域的新闻；将所述摘要和其他结构化信息编辑成新闻简报，推送给当前用户，所述其他结构化信息包括新闻类别、标题和新闻原始链接。本发明通过自动生成和更新新闻简报并推送给用户，能够极大的减少用户在海量资讯中查找感兴趣的新闻的时间。

Description

一种个性化新闻推荐方法及系统、存储介质

技术领域

本发明涉及数据处理技术领域，尤其是一种个性化新闻推荐方法及系统、存储介质，可应用于个性化推荐、情报收集等领域。

背景技术

随着信息技术的发展，当前已经从信息匮乏的时代步入信息超载的时代，互联网上存在海量资讯信息，如何以最少的时间获取感兴趣领域的精准化资讯内容变得越来越困难。新闻个性化推荐，能够按照不同用户的需求推荐相关的新闻给用户，能极大的减轻用户寻找兴趣领域资讯的负担。新闻简报以摘要的形式概括了新闻事件，能够进一步节省用户的时间，是信息超载时代资讯获取的高效方式。新闻简报不仅能够作为独立应用，还能嵌入门户网站的资讯模块，以及作为情报系统、素材搜集的辅助模块，具有良好的应用前景。

然而，当前的新闻推荐系统虽然能够按照客户需求个性化的提供新闻推荐，但很少会提供针对用户感兴趣的领域的新闻简报定时梳理更新的功能。即能够及时获取最新的新闻数据，实现自动分类后生成摘要简报并推送给客户。

现有技术中的新闻推荐方法通过预置的新闻相关条件，对用户是否存在该当前输入内容相关的新闻需求进行准确的识别，只有该当前输入内容符合预置的新闻相关条件时才会进行新闻推荐，并且，待推荐的目标新闻所基于的新闻关键词是与该当前输入内容相匹配的；最后向当前用户推荐目标新闻。该方法虽然能够实现新闻内容的推荐，但是推荐的仍然是完整的新闻，在数据庞大时，推荐的结果依然非常庞大，因此需要进一步对生成的文本进行压缩。

还有的现有技术获取最新的新闻内容，对于实时新闻进行增量计算及分类、客户端采集用户的行为日志，并上报至后台服务端进行分析，后台服务端同时根据用户画像及用户的行为计算用户的实时内容偏好,后台服务端分析后，根据用户的实时内容偏好找出匹配且分类好的实时新闻内容并推送生成的内容给客户端最后客户端对生成的内容进行展示。虽然增加了分类的功能，但推荐的仍然是完整的新闻。用户只有在阅读了完整新闻之后才会了解新闻内容，很多时候会浪费时间在不感兴趣的新闻咨询上。

发明内容

为了解决现有技术中的上述不足，本发明提供一种个性化新闻推荐方法，可按照自定义的领域范围推送相关的新闻简报，能够进一步节省用户的时间，是信息超载时代资讯获取的高效方式。

本发明采用的技术方案包括以下步骤：

获取实时新闻资源，并进行去重；对去重后的新闻按照内容所属领域的不同进行归类；选取将要推送给当前用户的新闻，提取关键句子，生成摘要；所述将要推送给当前用户的新闻，是指根据对收集到的实时或历史用户数据进行分析，判断出当前用户感兴趣的新闻领域，而归类于该领域的新闻；将所述摘要和其他结构化信息编辑成新闻简报，推送给当前用户，所述其他结构化信息包括新闻类别、标题和新闻原始链接。本发明的个性化新闻推荐方法通过自动将实时新闻资源分类、提取摘要、根据当前用户感兴趣的领域生成相应的新闻简报最终推送给当前用户，避免了用户在海量新闻中寻找自己感兴趣新闻，自动过滤垃圾新闻，且将新闻进一步以结构化的简报形式呈现在用户面前，大大节省了用户浏览新闻的时间，如果想了解某条新闻的详细内容，则可以通过简报中的新闻链接进一步获取。

进一步，所述去重的过程具体为，计算出每篇新闻的关键词，从中各选取相同个数的关键词，合并为一个集合，计算每篇新闻对于该集合中的所述关键词的词频，各自生成词频向量，通过欧氏距离或余弦距离求得两条新闻的两个所述词频向量的余弦相似度，如果超过设定的阈值则该两条新闻为相似新闻，否则认为不相似。

进一步，所述对去重后的新闻按照内容所属领域的不同进行归类具体为，首先自定义无交叉的新闻类别L1、L2...Ln，n为自然数，然后对每种类别通过人工标注的方式标注一定量的样本数据，最后使用所述样本数据训练分类模型，并用训练好的分类模型对未知新闻进行分类。

进一步，生成摘要的具体过程为：对新闻内容进行分句，对每个句子进行分词、停用词过滤；计算每个单词的重要性，提取关键短语；计算每两个句子的相似度，计算每个句子结点的得分直到收敛；选取得分最高的P个句子作为摘要，1＜P≤4。

另一方面，本发明还提供一种个性化新闻推荐系统，包括

实时新闻获取模块，用于收集实时新闻资源；新闻去重模块，将所述实时新闻资源进行去重处理；新闻归类模块，用于将去重后的新闻按照内容所属领域的不同进行归类；用户数据获取模块，用于获取实时或历史用户数据；用户数据分析模块，用于分析用户数据，判断出当前用户感兴趣的新闻领域；摘要生成模块，用于根据当前用户的兴趣选取将要推送给用户的新闻，提取关键句子，生成摘要；简报生成模块，用于将所述摘要和其他结构化信息编辑成新闻简报，所述其他结构化信息包括新闻类别、标题和新闻原始链接；以及简报推送模块，用于将所述简报推送给当前用户。

再一方面，本发明提供一种存储介质，包括存储在该存储介质中的程序，在所述程序运行时控制所述存储介质所在的设备执行以下个性化新闻推荐方法：

获取实时新闻资源，并进行去重；对去重后的新闻按照内容所属领域的不同进行归类；选取将要推送给当前用户的新闻，提取关键句子，生成摘要；所述将要推送给当前用户的新闻，是指根据对收集到的实时或历史用户数据进行分析，判断出当前用户感兴趣的新闻领域，而归类于该领域的新闻；将所述摘要和其他结构化信息编辑成新闻简报，推送给当前用户，所述其他结构化信息包括新闻类别、标题和新闻原始链接。

本发明通过将当前用户感兴趣的新闻内容自动生成新闻简报并定时更新，将简报推送给用户，能够极大的减少用户在寻找感兴趣的新闻和浏览新闻的时间。

附图说明

图1为本发明实施例个性化新闻推荐方法流程图；

图2为本发明另一实施例个性化新闻推荐系统框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

方法实施例

个性化新闻推荐方法的过程如图1所示，包括以下步骤：

S1、获取实时新闻资源，并进行去重；

S2、对去重后的新闻按照内容所属领域的不同进行归类；

S3、选取将要推送给当前用户的新闻，提取关键句子，生成摘要；所述将要推送给当前

用户的新闻，是指根据对收集到的实时或历史用户数据进行分析，判断出当前用户感兴

趣的新闻领域，而归类于该领域的新闻；

S4、将所述摘要和其他结构化信息编辑成新闻简报，推送给当前用户，其他结构化信息

包括新闻类别、标题和新闻原始链接。

可见，本实施例的方法一方面获取实时新闻资源，另一方面需要收集并分析当前用户数据，以判断用户感兴趣的新闻领域，两种信息的获取可同时进行，也可以有先后的进行，两者的顺序不影响本发明的发明构思的实现。

用户数据可以根据当前用户的输入实时获取，也可以是用户的历史数据，但历史数据有一定时效，比如只选取最近两天的用户数据，以保证所选领域的新闻是用户当前感兴趣的。数据来源不限于用户使用的各种输入法、向用户推送的调查问卷、用户浏览新闻网页的记录等。当前用户通常是多个，如今在云计算能力不断提升的背景下，对海量用户提供定制化服务并非难事，本发明的贡献也是在此基础上为用户提供准确高效的新闻推送服务。

下面重点讲述新闻的处理过程。

(1)新闻资源的收集；

筛选出国内新闻的权威网站，针对不同的网站构建爬虫，考虑到新闻的时效性，将构建的爬虫设置为每日的定时任务，定时爬取过去24或48小时内发布的新闻。24小时、48小时是仅为说明本实施例而举例的数字，实际可短于24小时，也可大于48小时，或者是两者之间的任何时长，可人为更改。爬取的新闻数据存放到数据库中。

(2)新闻的去重

由于不同新闻源可能有重复新闻，需要对新闻进行去重。

本实施例中新闻的去重使用基于tf-idf的余弦文本相似度计算方法，当两条新闻的相似度超过预定阈值就认为这两条新闻是重复新闻，只需要保留其中一条。例如，记新闻1与新闻2为N1,N2。N1和N2的tf-idf特征向量是f1和f2，当文本相似度similarity(f1,f2)>α,其中α为在0到1之间预定义的一个阈值，就认为N1、N2是重复新闻。当然，本实施例中的去重算法仅为举例，其他可实现计算文本相似度的算法同样适用。

(3)新闻的自动分类；

为实现新闻的精细化推荐，对新闻进行自动归类。首先自定义无交叉的新闻类别L1、L2...Ln，然后对每种类别通过人工标记的方式标记一定量的样本数据，最后使用样本数据训练分类模型，并用训练好的模型对未分类的新闻自动分类。

本实施例中分类模型采用基于长短期记忆网络的深度学习模型，还可以使用其他任何文本分类算法。由于新闻完整内容较长难以有效建模，采用新闻标题和新闻前2～4句内容作为长短期记忆网络的输入，最优选是前3句。将新闻N表示为(w₁,w₂,…,w_n),其中w_i表示新闻N的第i个词(词向量):

h_n,c_n＝LSTM(h_n-1,w_n)

其中h_n和c_n分别是长短期记忆网络的的隐含层和状态层，隐含层向量h_n被送入softmax分类器分类

y＝argmax softmax(h_n)

softmax输出概率最大的类别就被当作是新闻N所属的新闻类别。

(4)获取当前用户数据，据此判断用户感兴趣的领域；

根据对当前用户的实时或历史数据进行分析，对其在对话框或网页搜索栏输入的关键词的词频进行计算，确定其感兴趣的领域，这些领域可能是科技、教育、娱乐、经济、医疗等等，每个粗略划分的领域下面又可细分为若干子领域，比如经济类可能又分为股票、基金、宏观经济、本地经济等。

在一些实施方式中，用户数据还包括用户的定位信息，主动推送本地热点新闻给用户。当然也可以将定位信息与感兴趣的新闻相结合，进一步缩小新闻的领域，提供更为精细化的服务。

本步骤可在新闻分类后进行，也可于新闻资源的收集前进行，还可于从新闻资源的收集到新闻分类结束这一系列步骤之间的任何时间进行。

(5)将要推荐的新闻生成摘要；

对于将要推送给当前用户的新闻，本实施例中使用摘要生成算法TextRank生成摘要，当然也可以使用其他关键词选取的算法。TextRank会选取文本中重要度较高的句子，其主要步骤如下：

步骤1、对原始新闻内容进行分句，构建图G＝(V,E),其中V为句子集，对句子进行分词、停用词过滤。

步骤2、构建图G的边集E，边的权重为句子相似度，给定两个句子s₁和s₂，用s₁＝[w₁₁,w₁₂,…,w_1n]和s₂＝[w₂₁,w₂₂,…,w_2m]表示，其中w_ij(i＝1,2，……n；j＝1,2，……m)是句子的词；计算s₁和s₂的相似度：

步骤3、使用如下公式迭代计算结点的得分，直到收敛：

其中score(v_i)代表第i个句子结点得分，d是阻尼系数，In(v_i)和out(v_j)分别表示指向v_i的点的集合和v_j指向的点的集合。w_ji和w_jk是步骤2中的相似度。

步骤4、选取得分最高的P个句子作为摘要，1＜P≤4，通常P＝3。

(6)将多个摘要生成新闻简报，推送给用户。

将所述摘要和其他结构化信息编辑成新闻简报，推送给相关用户，其他结构化信息包含新闻的类别、标题和原始链接信息，按照所属新闻类别组织，以文档的方式逐条展示新闻的标题、摘要和原始链接信息。最后推送给对该领域的新闻感兴趣的当前用户。接收新闻简报的既可以是用户终端安装的微信、百度等应用程序中，也可以通过专门的应用程序显示，还可以以弹窗的形式出现在用户终端。这些都是成熟的现有技术，本实施例不再赘述。

装置实施例

如图2所示，本发明提供这样一种个性化新闻推荐系统。

该系统包括实时新闻获取模块，用于收集实时新闻资源；新闻去重模块，将所述实时新闻资源进行去重处理；新闻归类模块，用于将去重后的新闻按照内容所属领域的不同进行归类；用户数据获取模块，用于获取实时或历史用户数据；用户数据分析模块，用于分析用户数据，判断出当前用户感兴趣的新闻领域；摘要生成模块，用于根据当前用户的兴趣选取将要推送给用户的新闻，提取关键句子，生成摘要；简报生成模块，用于将所述摘要和其他结构化信息编辑成新闻简报，所述其他结构化信息包括新闻类别、标题和新闻原始链接；以及简报推送模块，用于将所述简报推送给当前用户。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

关于上述实施例中的个性化新闻推荐系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处不做详细阐述说明。

一种存储介质，包括存储在该存储介质中的程序，在所述程序运行时控制所述存储介质所在的设备执行方法实施例中的个性化新闻推荐方法。存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种个性化新闻推荐方法、一种个性化新闻推荐系统和一种用于个性化新闻推荐的存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种个性化新闻推荐方法，其特征在于，包括以下步骤：

获取实时新闻资源，并进行去重；

对去重后的新闻按照内容所属领域的不同进行归类；

选取将要推送给当前用户的新闻，提取关键句子，生成摘要；所述将要推送给当前用户的新闻，是指根据对收集到的实时或历史用户数据进行分析，判断出当前用户感兴趣的新闻领域，而归类于该领域的新闻；

将所述摘要和其他结构化信息编辑成新闻简报，推送给当前用户，所述其他结构化信息包括新闻类别、标题和新闻原始链接。

2.根据权利要求1所述的个性化新闻推荐方法，其特征在于：所述去重的过程具体为，计算出每篇新闻的关键词，从中各选取相同个数的关键词，合并为一个集合，计算每篇新闻对于该集合中的所述关键词的词频，各自生成词频向量，通过欧氏距离或余弦距离求得两条新闻的两个所述词频向量的余弦相似度，如果超过设定的阈值则该两条新闻为相似新闻，否则认为不相似。

3.根据权利要求1所述的个性化新闻推荐方法，其特征在于：所述对去重后的新闻按照内容所属领域的不同进行归类具体为，首先自定义无交叉的新闻类别L1、L2...Ln，n为自然数，然后对每种类别通过人工标注的方式标注一定量的样本数据，最后使用所述样本数据训练分类模型，并用训练好的分类模型对未知新闻进行分类。

4.根据权利要求1所述的个性化新闻推荐方法，其特征在于，生成摘要的具体过程为：

对新闻内容进行分句，对每个句子进行分词、停用词过滤；

计算每个单词的重要性，提取关键短语；

计算每两个句子的相似度，计算每个句子结点的得分直到收敛；

选取得分最高的P个句子作为摘要，1＜P≤4。

5.一种个性化新闻推荐系统，其特征在于：包括

实时新闻获取模块，用于收集实时新闻资源；

新闻去重模块，将所述实时新闻资源进行去重处理；

新闻归类模块，用于将去重后的新闻按照内容所属领域的不同进行归类；

用户数据获取模块，用于获取实时或历史用户数据；

用户数据分析模块，用于分析用户数据，判断出当前用户感兴趣的新闻领域；

摘要生成模块，用于根据当前用户的兴趣选取将要推送给用户的新闻，提取关键句子，生成摘要；

简报生成模块，用于将所述摘要和其他结构化信息编辑成新闻简报，所述其他结构化信息包括新闻类别、标题和新闻原始链接；以及

简报推送模块，用于将所述简报推送给当前用户。

6.一种存储介质，其特征在于：包括存储在该存储介质中的程序，在所述程序运行时控制所述存储介质所在的设备执行权利要求1～4任一项所述的个性化新闻推荐方法。