CN101770520A - 基于用户浏览行为的用户兴趣建模方法 - Google Patents

Abstract

本发明公布了一种基于用户浏览行为的用户兴趣建模方法，该方法包括两个部分：显式构建用户兴趣模型和隐式更新用户兴趣模型。显式构建用户兴趣模型是通过用户注册对用户兴趣模型的初步确立以及初始化的过程，隐式更新用户兴趣模型是在不需要用户参与的情况下，根据访问者对Web页面的访问情况来分析研究用户访问的偏好。该方法能自动发现用户的新兴趣，并能对用户兴趣模型中兴趣度低的特征项进行剔除。这样一方面能更好的监测到用户兴趣的变化，另一方面也能及时控制用户兴趣模型无限制增长，提高了兴趣模型的稳定性。

Description

基于用户浏览行为的用户兴趣建模方法

技术领域

本发明是针对用户兴趣建模方法的研究，主要研究如何基于用户的浏览行为来有效获取用户的兴趣信息，并设计了用户兴趣建模的相关算法，涉及到流量识别、Web挖掘、用户行为分析、机器学习、数据挖掘和自然语言等多领域。

背景技术

个性化推荐服务是新一代的信息服务，是信息服务发展的趋势，通过研究不同用户的兴趣，主动为用户推荐最需要的资源，就能更好地解决互联网信息日益庞大却无法满足用户需求的矛盾。用户兴趣模型已经成为个性化推荐服务的核心和关键技术。

用户兴趣模型不是对用户个体的一般性描述，而是一种具有面向算法、特定数据结构、形式化的用户描述。良好的用户兴趣模型可以为个性化推荐服务提供更有力的支持。现在的用户兴趣建模方法还存在很多不足，主要表现在：

(1)大多数用户兴趣建模方法放大或缩小网页对用户兴趣表达的重要性。

(2)目前用户兴趣模型更新所采用的方法要么过于强调用户兴趣的即时性，忽略了持久性；要么过于注重时间因素，而忽略主动发现用户新的兴趣。

由上可见，采用传统用户兴趣建模方法很难准确的识别用户的兴趣。因此，必须另辟蹊径。

发明内容

技术问题：本发明的目的是设计针对用户浏览行为建立用户兴趣模型的方法。通过挖掘和分析用户的网络浏览行为，分析其访问模式、行为习惯和喜好趋向，根据用户行为的分析结果，向用户提供更加富有个性和亲和力的业务。

技术方案：本发明提出了一种基于用户浏览行为的用户兴趣建模方法，其特征在于该方法的步骤为：

A.显式构建用户兴趣模型：未注册的用户先通过用户注册填写个人信息及兴趣爱好来构建初始用户兴趣模型，已注册的用户直接登录即可；

B.隐式更新用户兴趣模型：根据用户浏览过的网页隐式完善和更新用户兴趣模型，其过程如下：

1)训练过程：训练过程是指完成训练集文档的向量表示过程，在训练过程中，训练集实例经过网页预处理、中文分词和特征选取处理后被表示成第一向量的形式，行成特征向量集，该特征向量集用来描述类别模式，在分类过程中使用；

2)历史网页处理过程：历史访问库中存储用户访问web的历史记录，这些历史网页经过网页预处理、中文分词并表示成第二向量；

3)页面分类：所述第一向量和第二向量按照KNN分类算法对待分类的用户历史文档进行分类，取最相近者的类别作为用户感兴趣的类别；

4)兴趣更新：比较用户原有兴趣类别与页面分类得到的新的兴趣类别，按照兴趣模型更新算法对用户兴趣进行更新。

所述显式构建用户兴趣模型的方法如下：

a)将用户兴趣树的根结点初始化为用户名，权重置为1；

b)计算一级兴趣结点的权重：统计用户注册时选择的兴趣类别个数n，则每个一级兴趣类别C_i的权重为1/n，其中C_i∈C；

c)计算二级兴趣结点的权重：统计一级兴趣类别C_i包含二级兴趣类别c_j的个数m，则二级兴趣类别c_j的权重为1/nm，其中c_j∈C_i∈C，i∈[1，n]，j∈[1，m]；

d)计算特征项T2的权重：统计二级兴趣类别c_j中包含的特征项T2个数p，则二级兴趣类别c_j中每个特征项T2的权重为1/nmp；

其中，C为兴趣总类别。

所述隐式更新用户兴趣模型的兴趣模型更新还包括如下方法：

i.对用户感兴趣的Web文档做网页预处理，提取特征项T1，计算特征项T1的权重，将该文档表示成第二向量，记作D^new；

ii.依据兰式距离分类算法，计算D^new与用户兴趣树中的每个二级兴趣类别c_j之间的兰式距离，得到与D^new相关度最大的二级兴趣类别，记作c_k，而c_k中的特征项T2将c_k表示成第三向量D^ck；

iii.比较D^new中的特征项T1和c_k中的特征项T2是否相同，如果特征项t同时出现在第二向量D^new和第三向量D^ck中，则将第二向量和第三向量中特征项t对应的权值相加，所得的和作为c_k中特征项t的权值；如果特征项t仅出现在c_k中，则保留该特征项t；如果特征项t仅出现在D^new中，将D^new中的特征项t及其权值添加到第三向量D^ck中；

iv.判断D^ck包含的特征项T2个数是否大于最大个数阈值ξ，若不大于最大个数阈值，则转步骤v，否则，将D^ck中的特征项T2按照权重递减的顺序排列，取前ξ个作为c_k的特征项T2；

v.结束；

其中，D^new为将web文档表示成的向量，第三向量D^ck是由c_k中的特征项T2所表示的，c_j(j∈[1，m])为二级兴趣类别，c_k(k∈[1，m])为与D^new相关度最大的二级兴趣类别，m为一级兴趣类别C_i包含二级兴趣类别c_j的个数，ξ指最大个数阈值。

有益效果：

通过对用户兴趣建模方法的研究，能够解决以下问题：

a)提供各种统计报表，完成网站日常维护工作。

b)改进Web站点内容和结构上的设计，来改善网站性能。

c)导航用户浏览行为，支持商业智能和市场决策。

d)分析用户访问行为的趋势，了解Web正在发生的变化。

对于用户兴趣模型的研究具有很广泛的意义和应用价值。主要可以应用在：

1)个性化推荐服务；

2)网络站点结构解析；

3)Internet用户兴趣热点分析；

4)数字图书馆建设；

附图说明

图1是基于用户浏览行为的用户兴趣模型总体结构图。 

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

本文的关键方法是基于用户浏览行为的用户兴趣建模方法，该方法包括两个部分：显式构建用户兴趣模型和隐式更新用户兴趣模型。显式构建用户兴趣模型是对用户兴趣模型的初步确立以及初始化的过程，隐式更新用户兴趣模型是在不需要用户参与的情况下，通过挖掘用户浏览的日志文件来更新和完善用户兴趣模型。

以下详细介绍通过显式构建和隐式更新的方式建立用户兴趣模型的过程。

为了区分用户的不同兴趣类别，参考了兴趣分类参考模型ODP(Open DirectoryProject)的分类层次结构，把兴趣分类参考模型定义为两级主题分类，一级分类是对所有二级分类的共同属性的概括，而二级分类则是从不同角度对一级分类的细化，所有同层子节点之间是平等的兄弟关系。将单个用户的兴趣表示成与ODP相一致的树形结构，为了方便计算我们将树中的兴趣类别和特征项分别赋予一定的权重。

1.显式构建用户兴趣模型

当用户初次使用用户兴趣模型时，系统会要求用户进行简单的注册。用户可以填写个人信息，并手动选择自己感兴趣的兴趣类别。用户兴趣选择的过程实际上是初步从兴趣分类参考模型的结构中得到用户兴趣树的过程。显式构建用户兴趣树的算法如下：

a)将用户兴趣树的根结点初始化为用户名，权重置为1；

b)计算一级兴趣结点的权重：统计用户注册时选择的兴趣类别个数n，则每个

一级兴趣类别C_i的权重为1/n，其中C_i∈C；

c)计算二级兴趣结点的权重：统计一级兴趣类别C_i包含二级兴趣类别c_j的个数m，则二级兴趣类别c_j的权重为1/nm，其中c_j∈C_i∈C，i∈[1，n]，j∈[1，m]；

d)计算特征项T2的权重：统计二级兴趣类别c_j中包含的特征项T2个数p，则二级兴趣类别c_j中每个特征项T2的权重为1/nmp；

其中，C为兴趣总类别。

2.隐式更新用户兴趣模型

隐式更新用户兴趣模型是通过挖掘用户浏览的日志文件来更新和完善用户兴趣模型。此过程不需要用户的显式参与，只是在后台对用户的浏览行为进行记录。通过对用户浏览记录的挖掘来隐式更新用户兴趣模型。该过程引入中文网页自动分类技术，通过该技术挖掘用户的兴趣类别，从而更新用户兴趣模型。隐式更新用户兴趣模型主要分为数据采集、网页预处理、特征提取、特征项权重计算、文档的向量表示、兴趣自动分类等几个过程。下面将详细阐述隐式更新用户兴趣模型的过程。

(1)数据采集：用户兴趣模型的数据来源是校园网中心分析计费系统的用户访问网络的详细记录。根据用户请求的外网URL(Uniform Resource Locator)，计费系统后台会自动记录用户访问网络的请求，数据存放在文本文件中。

(2)网页预处理：需要对两类网页进行处理，一类是每个类别的训练文档，另一类是用户历史访问的Web文档。对于用户访问日志，首先要获取网页源文件，然后再进行网页预处理，而对于训练文档则直接进行网页预处理操作。网页预处理包括网页净化、中文自动分词、维数约减等，这些技术目前已相当成熟。

(3)特征提取：采用χ²统计量的特征选取方法从训练集文档中选取一定数量的特征项T1。

(4)特征项T1权重计算：采用W_ik＝TF_ik*IDF_ik公式计算特征项T1的权重。

(5)文档的向量D^new表示：采用向量空间模型(Vector space model，VSM)分别将训练集文档和用户访问日志文档表示成第一向量和第二向量。

(6)兴趣自动分类：采用KNN(k-Nearest Neighbor algorithm)分类算法通过计算用户浏览过的Web文档与训练集中的文档之间的相关度，从而将Web文档归入到相应的兴趣类别中。

(7)兴趣模型的更新：基于兴趣交集淘汰法和兴趣合集归并法等已有兴趣模型更新算法，提出了兴趣模型更新改进算法，利用改进算法对用户兴趣模型进行更新。

其中，χ²是指χ²统计量，W_ik表示特征项T1的权重，TF_ik表示特征项i在文档k中出现的频率，IDF_ik表示该特征项T1的反比文本的频数。

兴趣模型更新改进方法如下：

i.对用户感兴趣的Web文档做网页预处理，提取特征项T1，计算特征项T1的权重，将该文档表示成第二向量，记作D^new；

ii.依据兰式距离分类算法，计算D^new与用户兴趣树中的每个二级兴趣类别c_j之间的兰式距离，得到与D^new相关度最大的二级兴趣类别，记作c_k，而c_k中的特征项T2将c_k表示成第三向量D^ck；

iii.比较D^new中的特征项T1和c_k中的特征项T2是否相同，如果特征项t同时出现在第二向量D^new和第三向量D^ck中，则将第二向量和第三向量中特征项t对应的权值相加，所得的和作为c_k中特征项t的权值；如果特征项t仅出现在c_k中，则保留该特征项t；如果特征项t仅出现在D^new中，将D^new中的特征项t及其权值添加到第三向量D^ck中；

iv.判断D^ck包含的特征项T2个数是否大于最大个数阈值ξ，若不大于最大个数阈值，则转步骤v，否则，将D^ck中的特征项T2按照权重递减的顺序排列，取前ξ个作为c_k的特征项T2；

v.结束；

其中，D^new为将web文档表示成的向量，第三向量D^ck是由c_k中的特征项T2所表示的，c_j(j∈[1，m])为二级兴趣类别，c_k(k∈[1，m])为与D^new相关度最大的二级兴趣类别，m为一级兴趣类别C_i包含二级兴趣类别c_j的个数，ξ指最大个数阈值。

本发明用户兴趣模型总体框架如附图1，完整方法如下：

A.显式构建用户兴趣模型：未注册的用户先通过用户注册填写个人信息及兴趣爱好来构建初始用户兴趣模型，已注册的用户直接登录即可；

B.隐式更新用户兴趣模型：根据用户浏览过的网页隐式完善和更新用户兴趣模型，其过程如下：

1)训练过程：训练过程是指完成训练集文档的向量表示过程，在训练过程中，训练集实例经过网页预处理、中文分词和特征选取处理后被表示成第一向量的形式，行成特征向量集，该特征向量集用来描述类别模式，在分类过程中使用；

2)历史网页处理过程：历史访问库中存储用户访问web的历史记录，这些历史网页经过网页预处理、中文分词并表示成第二向量；

3)页面分类：所述第一向量和第二向量按照KNN分类算法对待分类的用户历史文档进行分类，取最相近者的类别作为用户感兴趣的类别；

4)兴趣更新：比较用户原有兴趣类别与页面分类得到的新的兴趣类别，按照兴趣模型更新算法对用户兴趣进行更新。

如图1所述，根据本方法开发出的基于用户兴趣的个性化元搜索引擎系统采用B/S架构，开发平台为VS2005+oracle 9i，用户可根据需要方便地接入到现有的需要个性化服务系统中。部署时可以在一台PC上运行，也可以在多台PC上同时运行。

该系统模型主要分为如下四个部分：

(1)用户接口模块：提供用户浏览器与元搜索引擎系统交互的界面。在这里用户把自己的查询请求发送给元搜索引擎，而元搜索引擎则把检索后整合的最终结果返回给用户。

(2)成员引擎接口代理模块：将用户的查询信息转换成各个成员搜索引擎能识别的标准形式，即根据要调用的成员搜索引擎的特性对用户的查询信息进行相应格式化处理，并分发到各成员搜索引擎的服务器上，供成员搜索引擎检索相应的结果。

(3)用户兴趣模型模块：构建并完善用户兴趣模型，包括用户注册的显式构建兴趣模型以及对用户的浏览行为进行跟踪的隐式更新用户兴趣模型。

(4)结果整合模块：对成员搜索引擎返回的搜索结果进行结构分析，提取结果集，并根据用户模型及结果排序算法对结果集进行二次处理，然后以友好的方式显示给用户。

该模型已在校园网中心得到了具体的验证。利用该模型将用户感兴趣的信息推荐给用户准确率达到80％，随着用户使用兴趣模型时间的增长，推荐服务的准确率也在逐渐提高，个性化服务系统很好的体现了基于用户浏览行为的用户兴趣建模方法的实施效果，验证了此方法的准确性。

Claims (3)

1.一种基于用户浏览行为的用户兴趣建模方法，其特征在于该方法的步骤为：

A.显式构建用户兴趣模型：未注册的用户先通过用户注册填写个人信息及兴趣爱好来构建初始用户兴趣模型，已注册的用户直接登录即可；

B.隐式更新用户兴趣模型：根据用户浏览过的网页隐式完善和更新用户兴趣模型，其过程如下：

1)训练过程：训练过程是指完成训练集文档的向量表示过程，在训练过程中，训练集实例经过网页预处理、中文分词和特征选取处理后被表示成第一向量的形式，行成特征向量集，该特征向量集用来描述类别模式，在分类过程中使用；

2)历史网页处理过程：历史访问库中存储用户访问web的历史记录，这些历史网页经过网页预处理、中文分词并表示成第二向量；

3)页面分类：所述第一向量和第二向量按照KNN分类算法对待分类的用户历史文档进行分类，取最相近者的类别作为用户感兴趣的类别；

4)兴趣更新：比较用户原有兴趣类别与页面分类得到的新的兴趣类别，按照兴趣模型更新算法对用户兴趣进行更新。

2.根据权利要求1所述的基于用户浏览行为的用户兴趣建模方法，其特征在于所述显式构建用户兴趣模型的方法如下：

a)将用户兴趣树的根结点初始化为用户名，权重置为1；

b)计算一级兴趣结点的权重：统计用户注册时选择的兴趣类别个数n，则每个一级兴趣类别C_i的权重为1/n，其中C_i∈C；

c)计算二级兴趣结点的权重：统计一级兴趣类别C_i包含二级兴趣类别c_j的个数m，则二级兴趣类别c_j的权重为1/nm，其中c_j∈C_i∈C，i∈[1，n]，j∈[1，m]；

d)计算特征项T2的权重：统计二级兴趣类别c_j中包含的特征项T2个数p，则二级兴趣类别c_j中每个特征项T2的权重为1/nmp；

其中，C为兴趣总类别。

3.根据权利要求1所述的基于用户浏览行为的用户兴趣建模方法，其特征在于所述隐式更新用户兴趣模型的兴趣模型更新还包括如下方法：

i.对用户感兴趣的Web文档做网页预处理，提取特征项T1，计算特征项T1的权重，将该文档表示成第二向量，记作D^new；

ii.依据兰式距离分类算法，计算D^new与用户兴趣树中的每个二级兴趣类别c_j之间的兰式距离，得到与D^new相关度最大的二级兴趣类别，记作c_k，而c_k中的特征项T2将c_k表示成第三向量D^ck；

iii.比较D^new中的特征项T1和c_k中的特征项T2是否相同，如果特征项t同时出现在第二向量D^new和第三向量D^ck中，则将第二向量和第三向量中特征项t对应的权值相加，所得的和作为c_k中特征项t的权值；如果特征项t仅出现在c_k中，则保留该特征项t；如果特征项t仅出现在D^new中，将D^new中的特征项t及其权值添加到第三向量D^ck中；

iv.判断D^ck包含的特征项T2个数是否大于最大个数阈值ξ，若不大于最大个数阈值，则转步骤v，否则，将D^ck中的特征项T2按照权重递减的顺序排列，取前ξ个作为c_k的特征项T2；

v.结束；

其中，D^new为将web文档表示成的向量，第三向量D^ck是由c_k中的特征项T2所表示的，c_j(j∈[1，m])为二级兴趣类别，c_k(k∈[1，m])为与D^new相关度最大的二级兴趣类别，ξ指最大个数阈值。

Images