CN101398839A - 一种有声网页新闻的个性化推送方法 - Google Patents

Abstract

本发明公开了一种有声网页新闻的个性化推送方法。该方法的步骤如下：以多个新闻网站为数据源，抓取新闻网页，并从新闻网页中提取新闻的正文；通过语音合成技术将新闻播放给用户，用户通过命令选择要听的新闻类别，跳过正在播放的新闻；记录并分析用户收听新闻的历史信息，获取用户对各种新闻的偏好程度，基于此，对新闻类别及新闻内容的播放顺序重排后推送给用户。本发明向用户推送符合用户喜好特点的新闻，并将新闻以语音的方式播放给用户。该方法有效地考虑了用户对新闻兴趣爱好的特点，将新闻的播放顺序按用户的需求进行了重排。该方法支持各种具备网络功能的终端(如智能手机、PC、PDA等)随时随地地获取与用户兴趣爱好匹配的新闻。

Description

一种有声网页新闻的个性化推送方法

技术领域

本发明涉及新闻推荐系统领域，特别是涉及一种有声网页新闻的个性化推送方法。

背景技术

新闻已经走进人们的日常生活，读新闻、听新闻、看新闻，成了很多人的嗜好，已经成为人们获取外部信息的重要手段。随着信息传播技术的迅猛发展，特别是(移动)互联网的普及，除了传统的广播、电视，人们可以快速方便地通过(移动)互联网获取内容丰富、种类多样、时效性更强的新闻。

个性化推荐系统是近年来互联网上发展起来的一种新兴软件系统，它能够收集用户特征资料并根据用户特征，如兴趣偏好，为用户主动做出个性化的推荐。而且，系统给出的推荐是实时更新的，即当系统中的商品库或用户特征库发生改变时，给出的推荐序列会自动改变。个性化推荐系统具有良好的发展和应用前景，并已经成功运用到多种网站中，如网上书店、博客系统等，推荐的对象包括书籍、音像、网页、文章等等。

目前，(移动)互联网出现了一些类似新闻推荐系统的应用。如“新闻手机报”，移动通信运营商周期性地给用户发送新闻，但类似应用往往缺少个性化因素，无法支持定制功能，无法给用户发送其偏好的新闻。此外，随着移动互联网技术的进步，出现了一些“听网”的应用，部分已申请专利，如“一种听网的方法”。它支持以智能手机等为终端，帮助用户随时随地地收听互联网上的所有信息。这种通过“视”、“听”结合获取信息的方式，打破了原有的只能浏览网页的单一形式，为智能手机用户带来了更多的感官享受。不过，“听网”技术只是单向地将网络信息发送给用户，没有很好考虑用户兴趣爱好的多样性，由于互联网信息的海量性，通常无法很好满足用户的需求。

因此，提供有声网页新闻的个性化推送就显得很有必要。该方法给用户播放来自互联网的新闻，并提供一些简单的交互命令帮助用户跳过不相关的内容。此外，通过分析用户的收听历史记录，获得用户对各类新闻的喜好信息，基于此，通过调节新闻类别及新闻内容的播放顺序，将符合用户兴趣爱好的新闻播放给用户。这种有声网页新闻的个性化推送方法可以应用到各类系统中，如可以集成到互联网浏览器中，帮助上网不便的视障、盲人、老年人群来收听个性化定制的新闻；也可集成到支持移动互联网(如具备GPRS、EDGE或3G功能)的各类移动终端上，帮助各类人群在任何时间、任何地点收听喜好的新闻；也可集成到汽车电子中，提升传统收音机的功能，使司机能够更方便地听新闻。

目前，提供新闻的网站多种多样，新闻的内容也种类繁多，因此有必要整合多个新闻网站的内容来保证新闻的丰富度。由于大多数新闻网页除包含新闻的正文外，通常包含了大量的与新闻主题无关的广告、导航栏等。因此，要有效地播放新闻必须首先从新闻网页中提取正文。此外，用户对新闻的兴趣爱好有很多特点。如用户通常对多个主题的新闻感兴趣。由于各种新的新闻主题的不断出现，用户的兴趣爱好也经常会发生变化。如在欧洲杯期间，用户可能对欧洲杯相关主题的新闻特别感兴趣，随着欧洲杯的结束，用户对该主题的兴趣也逐渐消失。此外，用户通常有一些比较稳定的兴趣，如许多用户喜欢足球类新闻，读取相关的新闻是他们每日不可缺少的内容。因此，需要综合考虑上述需求及用户对新闻喜好的特点，设计一种个性化的有声新闻推送方法。

发明内容

本发明的目的在于提供一种有声网页新闻的个性化推送方法，根据用户对新闻的喜好特点，将符合用户喜好的互联网新闻播放给用户。

本发明解决其技术问题采用的技术方案如下：

一种有声网页新闻的个性化推送方法，该方法的步骤如下：

1)以多个新闻网站为数据源，抓取新闻网页，并从新闻网页中提取新闻的正文；

2)通过语音合成技术将新闻播放给用户，用户通过命令选择要听的新闻类别，跳过正在播放的新闻；

3)记录并分析用户收听新闻的历史信息，获取用户对各种新闻的偏好程度，基于此，对新闻类别及新闻内容的播放顺序重排后推送给用户。

上述步骤1)以多个新闻网站的网址作为种子，采用成熟的网络爬虫技术抓取新闻，将抓取的新闻按类别分类组织。

所述步骤1)抓取新闻网页后，提取网页的标题和正文，其步骤如下：

3.1)从数据源新闻网站下载网页作为训练集，对训练样本建立DOM树模型，利用树编辑距离计算相似度，采用层次聚类算法对训练集进行聚类，将具有相似网页布局的网页聚成一类；

3.2)对每个聚类结果中所有网页的DOM树叶子节点进行组合操作，归并不同的叶子节点，确定必须存在的子树、可选子树，生成一棵代表该类网页的抽象DOM树；

3.3)将待抽取正文的新闻网页DOM树和各个网页聚类抽象DOM树模型做匹配，找到其所属的聚类；

3.4)利用新闻网页的特点从抽象DOM树模型中标注出新闻正文和新闻标题，其中新闻正文是所有节点中长度最长的，且词数不少于100字节部分，新闻标题为长度在1到20字节之间，且和正文之间距离最短的部分。

所述步骤2)通过语言合成技术按类别将新闻推送给用户，每类新闻在推送给用户前先播放类别信息，用户通过上/下一类别命令跳到相应类别收听相关类别的新闻，每个类别的新闻以标题、正文的顺序逐条播放给用户，用户通过上/下一新闻命令跳过正在播放的新闻。

所述步骤3)记录每个类别的新闻总数、用户听过的新闻个数以及用户收听新闻的时间长度的期望值，计算用户对每个类别新闻的喜好程度，如下：

$A_j=\frac{E_j\×L_j}{T_j},$

其中：

A_j：表示用户对新闻类别j的喜好程度，

T_j：表示新闻类别j的新闻总数，

L_j：表示新闻类别j用户听过的新闻个数，

E_j：表示新闻类别j用户听过的新闻时间长度的期望值，

以各新闻类别A_j的大小确定新闻类别的播放顺序。

所述步骤3)记录用户听过的新闻，将这些新闻转化为TF-IDF向量，作为用户喜好新闻的训练库；此外，记录用户收听新闻的时间长度占该篇新闻播放时间长度的百分比P，赋予每篇新闻一个分数Score，代表用户对该新闻的喜好程度，Score的计算如下：

Score＝P^α，

其中：

α：一个大于0小于1的系数，表示用户听该新闻的时间越长，越喜欢该新闻，但喜欢的强度增加的幅度逐渐变慢；

对于将发送给用户的每篇新闻，利用最近邻方法获得该新闻的邻居，即采用相似度计算方法计算其与用户训练库中新闻的相似度值，若存在相似度值大于t_max，则该新闻被赋予一个小分数；否则，取相似度在阈值t_min和t_max之间的新闻作为该新闻的邻居，以该新闻与它的邻居的相似度作为权值，利用这些邻居的分数Score的加权求和作为该新闻的分数；若不存在邻居，该新闻被赋予一个随机的小于均值的分数；对这些将发送给用户的新闻以其获得分数高低排序后，推送并播放给用户。

本发明与背景技术相比，具有的有益的效果是：

本发明是一种有声网页新闻的个性化推送方法，该方法向用户推送符合用户喜好特点的新闻，并将新闻以语音的方式播放给用户。目前，还未见本文提出的推送有声新闻的个性化系统。有别于现有的一些类似的推送互联网信息的系统，该方法有效地考虑了用户对新闻兴趣爱好的特点，将新闻的播放顺序按用户的需求进行了重排。该方法支持各种具备网络功能的终端(如智能手机、PC、PDA等)随时随地地获取与用户兴趣爱好匹配的新闻。

附图说明

图1是本发明优选实施例的有声网页新闻的个性化推送方法的系统架构图。

图2是本发明优选实施例的有声网页新闻的个性化推送方法的用户交互的示意图。

具体实施方式

参见图1，示出了根据本发明优选实施例的有声网页新闻的个性化推送方法的系统架构图。它的客户端是各种具备网络功能的终端，如智能手机、PDA、PC等。终端通过(移动)互联网访问服务器端的新闻推荐引擎。优选地，服务器端的新闻推荐引擎以当前较为流行且成熟的Web Service方式发布有声新闻推送服务，客户端可以以HTTP协议访问服务器端。新闻的语音合成可以在服务器端完成，也可以在客户端完成。

服务器端使用网络爬虫从各大新闻网站下载新闻，如新浪、搜狐、中新网等。下载后的网页新闻由新闻过滤器过滤无关的广告、导航条、链接等，提取新闻的正文和标题。新闻按各自的类别存储到新闻资源库中。有声新闻个性化推荐引擎根据客户端的新闻请求给客户端发送新闻。记录用户的收听历史信息，分析后，获得用户对各类新闻的喜好信息。基于这些喜好信息，有声新闻个性化推荐引擎调整新闻的播放顺序。具体地，本发明有声网页新闻的个性化推送方法包括以下步骤：

1)以多个新闻网站为数据源，抓取新闻网页，并从新闻网页中提取新闻的正文；

2)通过语音合成技术将新闻播放给用户，用户可以通过命令选择要听的新闻类别，跳过正在播放的新闻；

3)记录并分析用户收听新闻的历史信息，获取用户对各种新闻的偏好程度，基于此，对新闻类别及新闻内容的播放顺序重排后推送给用户。

上述步骤(1)从各大新闻网站收集新闻，作为为用户提供服务的新闻数据源。以多个新闻网站的网址作为种子，采用成熟的网络爬虫技术抓取新闻。通常各大新闻网站均以类别组织新闻，如“体育”、“国内”、“国际”、“娱乐”、“财经”、“科技”等，同样地将抓取的新闻按类别分类组织。

上述步骤(1)抓取新网网页后，需提取网页的标题和正文。由于新闻网页通常包含大量的导航条、广告、链接等与新闻内容关联无关的内容，优选地，可以采用基于树编辑距离的方法来提取新闻的正文和标题。

首先从数据源新闻网站下载各种类别的网页作为训练集，将有相同布局的网页聚成一类。对训练样本建立DOM树模型，采用传统的层次聚类方法，利用树编辑距离计算DOM树的相似度，将具有相似网页布局的网页聚成一类。

接着对属于同一聚类结果的网页的DOM树抽取出代表该类网页模板的抽象DOM树。对同一聚类中的所有网页的DOM树的叶子节点进行组合操作，归并不同的叶子节点，确定必须存在的子树、可选子树，并将这些子树、可选子树用通配符来表示。采用通配符“·”、“+”、“？”及“*”来表示不同内容叶子节点组合后的节点，“·”表示该叶子节点表示一棵子树；“+”表示该叶子节点表示一对兄弟子树；“？”表示该叶子节点表示一棵可选的子树；“*”表示该叶子节点一对可选的兄弟子树。最终，每个聚类的模板由一棵包含通配符的抽象DOM树表示。

将待抽取新闻正文的网页DOM树与每个聚类的抽象DOM树做匹配操作，找到能够最佳匹配的抽象DOM树，即该网页所属的聚类。利用新闻网页的特点从抽象DOM树中标注出新闻正文和新闻标题，其中新闻正文是所有树形节点中长度最长的，且词数不少于100字节的部分，新闻标题长度在1到20字节之间，且和正文之间距离最短。

上述步骤(2)通过语音合成技术将新闻合成为语音数据，播放给用户。语音合成可以在服务器端合成，也可以在用户终端合成。参见图2，示出了有声网页新闻的个性化推送方法的用户交互过程。新闻播放类别信息，如“体育”、“军事”、“娱乐”等，用户可以通过“上/下一类别”命令跳到用户喜好类别的新闻，跳到相应类别后，新闻以标题、正文的顺序逐条播放给用户，用户可以通过“上/下一新闻”命令跳过正在播放的新闻。

上述步骤(3)记录每个类别的新闻总数、用户听过的新闻个数以及用户收听新闻的时间长度的期望值，计算用户对每个类别新闻的喜好程度，计算如下：

$A_j=\frac{E_j\×L_j}{T_j},$

其中：

A_j：表示用户对新闻类别j的喜好程度，用户对于某个新闻类别的新闻听的时间越长，时间越多，表明用户对该新闻类别的新闻更感兴趣，同时需考虑每个新闻类别新闻的总个数，

T_j：表示新闻类别j的新闻总数，

L_j：表示新闻类别j用户听过的新闻个数，

E_j：表示新闻类别j用户听过的新闻时间长度的期望值，

以各新闻类别A_j的大小确定新闻类别的播放顺序。

上述步骤(3)记录用户听过的新闻，将这些新闻转化为TF-IDF向量，作为用户喜好新闻的训练库；此外，记录用户收听新闻的时间长度占该篇新闻播放时间长度的百分比P，赋予每篇新闻一个分数Score，代表用户对该新闻的喜好程度，Score的计算如下：

Score＝P^α，

其中：

α：一个大于0小于1的系数，表示用户听该新闻的时间越长，越喜欢该新闻，但喜欢的强度增加的幅度逐渐变慢。

对于将发送给用户的每篇新闻，利用最近邻方法获得该新闻的邻居，即采用相似度计算方法计算其与用户训练库中新闻的相似度值。优选地，可以采用余弦相似度计算待播放新闻同训练库中新闻的相似程度，计算公式如下：

$S_{q,d_j}=\frac{{\mathrm{\Σ}}_t{w}_{d_j,t}\×w_{q,t}}{\sqrt{{\mathrm{\Σ}}_t{w}_{d_j,t}^2}\×\sqrt{{\mathrm{\Σ}}_t{w}_{q,t}^2}}---\left(1\right)$

其中

表示相似度，下标q代表待播放新闻，下标d_j代表训练库中的新闻。

w_q，t分别代表的是训练库及待播放新闻关键词t的TF-IDF值。

若待播放新闻同训练库中的新闻的相似度值大于t_max，表示用户已经收听过与该新闻极相似的新闻，通常用户不希望听同一新闻多次，因此该新闻被赋予一个小分数，使其在播放新闻列表的后端。

否则，取相似度在阈值t_min和t_max之间的新闻作为该新闻的邻居，以该新闻与它邻居的相似度作为权值，利用这些邻居的分数Score的加权求和作为该新闻的分数。若不存在邻居，该新闻被赋予一个随机的小于均值的分数，以保证发送给用户的新闻的多样性。对待播放的新闻按其得分高低排序后，播放给用户。

出于示出本发明的功能和结构原理的目的示出和描述了这些实施例，并且在不脱离这样的原理的情况下，可以对其进行修改。因此，本发明包括涵盖在所附权利要求的精神和范围内的所有修改。

Claims (6)

1.一种有声网页新闻的个性化推送方法，其特征在于该方法的步骤如下：

1)以多个新闻网站为数据源，抓取新闻网页，并从新闻网页中提取新闻的正文；

2)通过语音合成技术将新闻播放给用户，用户通过命令选择要听的新闻类别，跳过正在播放的新闻；

3)记录并分析用户收听新闻的历史信息，获取用户对各种新闻的偏好程度，基于此，对新闻类别及新闻内容的播放顺序重排后推送给用户。

2.根据权利要求1所述的一种有声网页新闻的个性化推送方法，其特征在于：上述步骤1)以多个新闻网站的网址作为种子，采用成熟的网络爬虫技术抓取新闻，将抓取的新闻按类别分类组织。

3.根据权利要求1所述的一种有声网页新闻的个性化推送方法，其特征在于：所述步骤1)抓取新闻网页后，提取网页的标题和正文，其步骤如下：

3.1)从数据源新闻网站下载网页作为训练集，对训练样本建立DOM树模型，利用树编辑距离计算相似度，采用层次聚类算法对训练集进行聚类，将具有相似网页布局的网页聚成一类；

3.2)对每个聚类结果中所有网页的DOM树叶子节点进行组合操作，归并不同的叶子节点，确定必须存在的子树、可选子树，生成一棵代表该类网页的抽象DOM树；

3.3)将待抽取正文的新闻网页DOM树和各个网页聚类抽象DOM树模型做匹配，找到其所属的聚类；

3.4)利用新闻网页的特点从抽象DOM树模型中标注出新闻正文和新闻标题，其中新闻正文是所有节点中长度最长的，且词数不少于100字节部分，新闻标题为长度在1到20字节之间，且和正文之间距离最短的部分。

4.根据权利要求1所述的一种有声网页新闻的个性化推送方法，其特征在于：所述步骤2)通过语言合成技术按类别将新闻推送给用户，每类新闻在推送给用户前先播放类别信息，用户通过上/下一类别命令跳到相应类别收听相关类别的新闻，每个类别的新闻以标题、正文的顺序逐条播放给用户，用户通过上/下一新闻命令跳过正在播放的新闻。

5.根据权利要求1所述的一种有声网页新闻的个性化推送方法，其特征在于：所述步骤3)记录每个类别的新闻总数、用户听过的新闻个数以及用户收听新闻的时间长度的期望值，计算用户对每个类别新闻的喜好程度，如下：

$A_j=\frac{E_j\×L_j}{T_j},$

其中：

A_j：表示用户对新闻类别j的喜好程度，

T_j：表示新闻类别j的新闻总数，

L_j：表示新闻类别j用户听过的新闻个数，

E_j：表示新闻类别j用户听过的新闻时间长度的期望值，

以各新闻类别A_j的大小确定新闻类别的播放顺序。

6.根据权利要求1所述的一种有声网页新闻的个性化推送方法，其特征在于：所述步骤3)记录用户听过的新闻，将这些新闻转化为TF-IDF向量，作为用户喜好新闻的训练库；此外，记录用户收听新闻的时间长度占该篇新闻播放时间长度的百分比P，赋予每篇新闻一个分数Score，代表用户对该新闻的喜好程度，Score的计算如下：

Score＝P^α，

其中：

α：一个大于0小于1的系数，表示用户听该新闻的时间越长，越喜欢该新闻，但喜欢的强度增加的幅度逐渐变慢；

对于将发送给用户的每篇新闻，利用最近邻方法获得该新闻的邻居，即采用相似度计算方法计算其与用户训练库中新闻的相似度值，若存在相似度值大于t_max，则该新闻被赋予一个小分数；否则，取相似度在阈值t_min和t_max之间的新闻作为该新闻的邻居，以该新闻与它的邻居的相似度作为权值，利用这些邻居的分数Score的加权求和作为该新闻的分数；若不存在邻居，该新闻被赋予一个随机的小于均值的分数；对这些将发送给用户的新闻以其获得分数高低排序后，推送并播放给用户。

Images