CN103049528A - 基于用户兴趣向量的个性化网页搜索排序方法 - Google Patents

Abstract

本发明公开了一种基于用户兴趣向量的个性化网页搜索排序方法。包括以下步骤：1)对指定用户进行问卷调查，提取用户兴趣主题；2)捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表；3)根据用户的页面-主题关系表，进一步推测出用户兴趣向量；4)依据用户兴趣向量和用户查询，生成个性化网页搜索排序结果。本发明有效的结合了对用户的问卷调查和用户点击历史信息，将用户的兴趣向量结合在网页搜索与排序的过程中，使得网页搜索结果排序更加贴近用户的个性化需求，为用户提供其真正需要的网络搜索服务。

Description

基于用户兴趣向量的个性化网页搜索排序方法

技术领域

本发明涉及信息检索、数据挖掘以及人工智能领域，是一种基于用户兴趣向量的个性化网页搜索排序方法。

背景技术

随着网络技术的发展，互联网上的信息成指数级增长。海量的信息使用户发现和获取信息变得非常困难。目前，很多网页搜索引擎主要是通过用户点击数据、历史网站、网络地址等比较容易获得但不易于发掘用户个性化特征的信息来对不同用户实现个性化的搜索结果。为了解决不同用户间的查询差异，本文提出一种新的网页推荐方法，即对特定领域用户进行问卷调查，再将提取的问卷调查信息和用户历史点击信息相结合，建立用户个性化的兴趣向量，基于用户个性化的兴趣向量生成更贴近用户兴趣的网页搜索排序结果。

发明内容

[0001]本发明的目的是克服现有技术的不足，提供基于用户兴趣向量的个性化网页搜索排序方法。

[0002]1.一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于包括以下步骤：

1)对指定用户进行问卷调查，提取用户兴趣主题；

2)捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表；

3)根据用户的页面一主题关系表，进一步推测出用户兴趣向量；

4)依据用户兴趣向量和用户查询，生成个性化网页搜索排序结果。

2.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的对指定用户进行问卷调查，提取用户兴趣主题步骤为：

a)面向特定用户，对其进行问卷调查，以分析其兴趣；

b)分析问卷调查结果，提取用户兴趣主题x。

3.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表步骤为：

c)根据用户历史点击信息，提取用户兴趣主题y，并结合问卷调查结果生成比较全面的用户兴趣主题t，t＝x+y；

d)通过查询预处理，计算链接到页面p_j(j＝1，…，n)的页面集合L_p，L_p中页面p₀的外出链接集合l_p0用户跟随l_p0的概率d，计算与t相关的页面集合n_t；

e)计算页面-主题关联矩阵R_pt(R_pt为一m×n矩阵)，其行元素即为与t_i(i＝1，…，m)相关的页面偏置随机跳转概率向量E_ti(p)＝[E_t(1)，…，E_t(n)]的各元素值，如下所示：

其中各元素的计算式为：

这里p＝p₁，…，p_n，代表n个不同页面，t＝t₁，…，t_m，代表m个不同的主题。

4.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的根据用户的页面-主题关系表，进一步推测出用户兴趣向量步骤为：

f)假设用户已访问k个页面，p_i指第i个访问页面，则

$V\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right){\left[{\mathrm{TSPR}}_i\left(p\right)\right]}^{9/4}$

为在TDSM下具有兴趣向量T的用户访问页面p的概率。所述TDSM即主题驱动搜索模型；

g)用户点击某页面的访问概率V(p)通过实验观察用户在搜索结果上的点击信息测出；

h)计算与主题t相关的页面p的权重分值TSPR_t(p)，即：

${\mathrm{TSPR}}_t\left(p\right)=\left({d\×\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right)\right)/(l_{p_0}+(1-d)\×E_t\left(p\right))$

i)通过前两个步骤求出V(p)，再通过极大相似评价法，即T＝argmax∏^k _i＝1V_T(p_i)，计算出用户兴趣向量T＝[T(1)，…，T(m)]，T中各元素代表用户对m个不同主题的不同兴趣度。

5.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的依据用户兴趣向量和用户查询，生成个性化网页搜索结果步骤为：

j)计算ODP中主题T_i(i＝1，…，m)所包含的页面总数N_i及其索引词条数M_i，查询q在页面d_k(k＝1，…，N_i)中出现的次数f_dk，q，进而计算q在所有有关T_i的页面中出现的次数

所述ODP即开放式分类目录搜索系统；

k)根据用户兴趣向量T＝[T(1)，…，T(m)]及用户发出的查询信息q，计算用户在不同兴趣下发出查询q的概率P_r(q|T(i))(i＝1，…，m)

$P_r(\left(q\right|T\left(i\right))={\mathrm{\Σ}}_{k=1}^{N_i}{f}_{\mathrm{dk},q};$

1)计算与T_i(i＝1，…，m)相关的页面p的权重分值TSPR_i(p)(i＝1，...，m)

${\mathrm{TSPR}}_i\left(p\right)(i=1,...,m)=(d\×{\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right))/(l_{p_0}+(1-d)\×E_t\left(p\right))$

m)计算具有兴趣向量T的用户发出查询q的个性化搜索页面p的PageRank值PPR_T(p)，即：

${\mathrm{PPR}}_T\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right)\×P_r\left(q\right|T\left(i\right))\×{\mathrm{TSPR}}_i\left(p\right)$

这里p＝p₁，…，p_n，代表n个搜索页面；

n)对PPR_T(p)中n个评分值从大到小进行排序，取前k个值对应的页面，构建一个基于用户兴趣向量T的个性化搜索排序页面集S_p；

o)将网页按照搜索排序页面集S_p，生成个性化的网页搜索结果。

本发明有效的结合了对用户的问卷调查和用户点击历史信息，将用户的兴趣向量结合在网页搜索与排序的过程中，使得网页搜索结果排序更加贴近用户的个性化需求，为用户提供其真正需要的网络搜索服务。

附图说明

图1是本发明所述个性化网页搜索排序方法具体实施方式的系统流程结构示意图；

图2是15个盐湖领域用户对10个不同关键词做网页搜索的实验数据箱图(box-plotdiagram)；该图的详细数据列在表1中。

具体实施方式

1.一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于包括以下步骤：

1)对指定用户进行问卷调查，提取用户兴趣主题；

2)捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表；

3)根据用户的页面-主题关系表，进一步推测出用户兴趣向量；

4)依据用户兴趣向量和用户查询，生成个性化网页搜索排序结果。

2.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的对指定用户进行问卷调查，提取用户兴趣主题步骤为：

a)面向特定用户，对其进行问卷调查，以分析其兴趣；

b)分析问卷调查结果，提取用户兴趣主题x。

3.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表步骤为：

c)根据用户历史点击信息，提取用户兴趣主题y，并结合问卷调查结果生成比较全面的用户兴趣主题t，t＝x+y；

d)通过查询预处理，计算链接到页面p_j(j＝1，…，n)的页面集合L_p，L_p中页面p₀的外出链接集合l_p0用户跟随l_p0的概率d，计算与t相关的页面集合n_t；

e)计算页面-主题关联矩阵R_pt(R_pt为一m×n矩阵)，其行元素即为与t_i(i＝1，…，m)相关的页面偏置随机跳转概率向量E_ti(p)＝[E_t(1)，…，E_t(n)]的各元素值，如下所示：

其中各元素的计算式为：

这里p＝p₁，…，p_n，代表n个不同页面，t＝t₁，…，t_m，代表m个不同的主题。

4.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的根据用户的页面-主题关系表，进一步推测出用户兴趣向量步骤为：

f)假设用户已访问k个页面，p_i指第i个访问页面，则

为在TDSM下具有兴趣向量T的用户访问页面p的概率，所述TDSM即主题驱动搜索模型；

g)用户点击某页面的访问概率V(p)通过实验观察用户在搜索结果上的点击信息测出；

h)计算与主题t相关的页面p的权重分值TSPR_t(p)，即：

${\mathrm{TSPR}}_t\left(p\right)=\left({d\×\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right)\right)/(l_{p_0}+(1-d)\×E_t\left(p\right))$

i)通过前两个步骤求出V(p)，再通过极大相似评价法，即T＝argmax∏^k _i＝1V_T(p_i)，计算出用户兴趣向量T＝[T(1)，…，T(m)]，T中各元素代表用户对m个不同主题的不同兴趣度。

5.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的依据用户兴趣向量和用户查询，生成个性化网页搜索结果步骤为：

j)计算ODP中主题T_i(i＝1，…，m)所包含的页面总数N_i及其索引词条数M_i，查询q在页面d_k(k＝1，…，N_i)中出现的次数f_dk，q，进而计算q在所有有关T_i的页面中出现的次数

所述ODP即开放式分类目录搜索系统；

k)根据用户兴趣向量T＝[T(1)，…，T(m)]及用户发出的查询信息q，计算用户在不同兴趣下发出查询q的概率P_r(q|T(i))(i＝1，…，m)

$P_r(\left(q\right|T\left(i\right))={\mathrm{\Σ}}_{k=1}^{N_i}{f}_{\mathrm{dk},q}$

l)计算与T_i(i＝1，…，m)相关的页面p的权重分值TSPR_i(p)(i＝1，...，m)

${\mathrm{TSPR}}_i\left(p\right)(i=1,...,m)=(d\×{\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right))/(l_{p_0}+(1-d)\×E_t\left(p\right))$

m)计算具有兴趣向量T的用户发出查询q的个性化搜索页面p的PageRank值PPR_T(p)，即：

${\mathrm{PPR}}_T\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right)\×P_r\left(q\right|T\left(i\right))\×{\mathrm{TSPR}}_i\left(p\right)$

这里p＝p₁，…，p_n，代表n个搜索页面；

n)对PPR_T(p)中n个评分值从大到小进行排序，取前k个值对应的页面，构建一个基于用户兴趣向量T的个性化搜索排序页面集S_p；

[0061]o)将网页按照搜索排序页面集S_p，生成个性化的网页搜索结果。

将此发明用于盐湖领域的专业搜索。

一种基于用户兴趣向量的个性化网页搜索排序方法具体系统流程结构图1所示。该系统包括：Web信息I、主题索引库II、搜索引擎III、用户调查问卷IV、用户兴趣主题V、查询界面VI、查询预处理VII、用户兴趣向量VIII、个性化网页搜索排序结果IX。

Web信息I，本文提出的个性化搜索系统架构主要由两部分构成：离线处理部分与在线处理部分，其中离线处理部分主要是面向主题的Web信息搜索，由主题搜索引擎完成，最后将搜索到的信息进行索引并存入本地索引数据库中，供用户利用搜索引擎III查询时检索；本实施案例中，使用主题搜索引擎采集与盐湖领域相关的主题存入本地索引数据库II中，为特定用户提供盐湖领域专业知识的搜索。

用户问卷调查IV，选择盐湖化工领域用户15名，对其进行问卷调查，根据问卷调查结果，提取用户的关键兴趣主题x。

表1即为问卷调查分析后，15个盐湖领域用户的兴趣主题关键词表；

表1

用户兴趣主题库V，建立用户兴趣主题库，将表1所列用户兴趣主题关键词存储于该库中。

查询界面VI，提供一个用户使用本发明所述网页推荐系统的web入口，提供网页搜索服务；在本实施例中，此查询界面用asp实现。

查询预处理VII，根据用户历史点击信息，提取用户兴趣主题y，并结合问卷调查结果生成比较全面的用户兴趣主题t，t＝x+y；

计算链接到页面p_j(j＝1，…，n)的页面集合L_p，L_p中页面p₀的外出链接集合l_p0用户跟随l_p0的概率d，计算与t相关的页面集合n_t；

计算页面-主题关联矩阵R_pt(R_pt为一m×n矩阵)，其行元素即为与t_i(i＝1，…，m)相关的页面偏置随机跳转概率向量E_ti(p)＝[E_t(1)，…，E_t(n)]的各元素值，如下所示：

其中各元素的计算式为：

这里p＝p₁，…，p_n，代表n个不同页面，t＝t₁，…，t_m，代表m个不同的主题。

用户兴趣向量VIII，根据查询预处理VII得出的页面-主题关系表，进一步推测出用户的兴趣向量，其具体步骤为：

a)假设用户已访问k个页面，p_i指第i个访问页面，则

为在TDSM下具有兴趣向量T的用户访问页面p的概率；

b)用户点击某页面的访问概率V(p)通过实验观察用户在搜索结果上的点击信息测出；

c)计算与主题t相关的页面p的权重分值TSPR_t(p)，即：

${\mathrm{TSPR}}_t\left(p\right)=\left({d\×\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right)\right)/(l_{p_0}+(1-d)\×E_t\left(p\right));$

d)通过前两个步骤求出V(p)，再通过极大相似评价法，即

T＝argmax∏^k _i＝1V_T(p_i)，

计算出用户兴趣向量T＝[T(1)，…，T(m)]，T中各元素代表用户对m个不同主题的不同兴趣度。

个性化网页搜索排序结果IX，依据用户兴趣向量VIII和用户查询，生成个性化网页搜索结果，其具体步骤为：

e)计算ODP中主题T_i(i＝1，…，m)所包含的页面总数N_i及其索引词条数M_i，查询q在页面d_k(k＝1，…，N_i)中出现的次数f_dk，q，进而计算q在所有有关T_i的页面中出现的次数 ${\mathrm{\Σ}}_{k=1}^{N_i}{f}_{\mathrm{dk},q};$

f)根据用户兴趣向量T＝[T(1)，…，T(m)]及用户发出的查询信息q，计算用户在不同兴趣下发出查询q的概率P_r(q |T(i))(i＝1，…，m)

$P_r(\left(q\right|T\left(i\right))={\mathrm{\Σ}}_{k=1}^{N_i}{f}_{\mathrm{dk},q}$

g)计算与T_i(i＝1，…，m)相关的页面p的权重分值TSPR_i(p)(i＝1，...，m)

${\mathrm{TSPR}}_i\left(p\right)(i=1,...,m)=(d\×{\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right))/(l_{p_0}+(1-d)\×E_t\left(p\right));$

计算具有兴趣向量T的用户发出查询q的个性化搜索页面p的PageRank值PPR_T(p)，即：

${\mathrm{PPR}}_T\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right)\×P_r\left(q\right|T\left(i\right))\×{\mathrm{TSPR}}_i\left(p\right)$

这里p＝p₁，…，p_n，代表n个搜索页面；

对PPR_T(p)中n个评分值从大到小进行排序，取前k个值对应的页面，构建一个基于用户兴趣向量T的个性化搜索排序页面集S_p；

将网页按照搜索排序页面集S_p，将个性化的网页哦搜索结果返回给用户。

表2的实验结果显示出本方法的优越性；

表2是15个盐湖化工领域用户对10个不同关键词做网页搜索的实验数据；每一行表示每组试验中用4种不同方法所得搜索结果与用户理想搜索结果之间的搜索错误度(SearchError Score，简写为SES)；

错误度(SES)用以衡量两个排名之间的差异，与用户理想排名的错误度越小则该排名越接近用户的理想排名；设n个网页分别被排成A和B的两个排名；设在A排名中的第i个网页在B中的名次为bi，则A与B之间的错误度(SES)为：

$\mathrm{SES}(A,B)=\frac{{\mathrm{\Σ}}_{i=1}^n\left(b_i\right|i-b_i\left|\right)}{{\mathrm{\Σ}}_{i=1}^n{w}_i};$

其中，系数w_i的取值为：

$w_i=\left\{\begin{array}{c}2.5(1\≤i\≤5)\\ 2.0(6\≤i\≤10)\\ 1.5(11\≤i\≤15)\\ 1.0(16\≤i\≤n)\end{array}\right.;$

4种方法包括以下3个流行的搜索引擎：百度(Baidu)、谷歌(Google)、雅虎(Yahoo)以及本发明所述方法；所选关键词为：盐湖化工(Salt Lake chemical)、产品(product)、工艺(process)、技术(technology)、标准(standards)、相图(phase diagram)、碳酸锂(lithiumcarbonate)、氯化钾(potassium chloride)、硼酸(boric acid)、氢氧化镁(magnesium hydroxide)；

表2

上述表格说明，本发明有效的将用户的兴趣结合在搜索的过程中，使得搜错误度(SES)与几个流行的搜索引擎包括百度、谷歌、雅虎相比最小，搜索的结果更符合盐湖化工领域用户的需要。本发明使得网页搜索引擎为用户提供更好的个性化搜索服务

以上所述仅为本发明基于用户兴趣向量的个性化网页搜索排序方法的实施例子，不限定本发明的实质技术内容的范围。本发明基于用户兴趣向量的个性化网页搜索排序方法，其实质技术内容是广泛的定义于权利要求书中，任何他人所完成的技术实体或方法，若是与权利要求书中所定义完全相同，或是同一等效的变化，均被视为涵盖与此专利保护范围之内。

Claims (5)

1.一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于包括以下步骤：

1)对指定用户进行问卷调查，提取用户兴趣主题；

2)捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表；

3)根据用户的页面-主题关系表，进一步推测出用户兴趣向量；

4)依据用户兴趣向量和用户查询，生成个性化网页搜索排序结果。

2.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的对指定用户进行问卷调查，提取用户兴趣主题步骤为：

a)面向特定用户，对其进行问卷调查，以分析其兴趣；

b)分析问卷调查结果，提取用户兴趣主题x。

3.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的捕捉用户的点击历史信息如何同其兴趣相关，并结合问卷调查结果，构造一个页面-主题关系表步骤为：

c)根据用户历史点击信息，提取用户兴趣主题y，并结合问卷调查结果生成比较全面的用户兴趣主题t，t＝x+y；

d)通过查询预处理，计算链接到页面p_j(j＝1，…，n)的页面集合L_p，L_p中页面p₀的外出链接集合l_p0用户跟随l_p0的概率d，计算与t相关的页面集合n_t；

e)计算页面-主题关联矩阵R_pt(R_pt为一m×n矩阵)，其行元素即为与t_i(i＝1，…，m)相关的页面偏置随机跳转概率向量E_ti(p)＝[E_t(1)，…，E_t(n)]的各元素值，如下所示：

其中各元素的计算式为：

这里p＝p₁，…，p_n，代表n个不同页面，t＝t₁，…，t_m，代表m个不同的主题。

4.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的根据用户的页面-主题关系表，进一步推测出用户兴趣向量步骤为：

f)假设用户已访问k个页面，p_i指第i个访问页面，则

$V\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right){\left[{\mathrm{TSPR}}_i\left(p\right)\right]}^{9/4}$

为在TDSM下具有兴趣向量T的用户访问页面p的概率，所述TDSM即主题驱动搜索模型；

g)用户点击某页面的访问概率V(p)通过实验观察用户在搜索结果上的点击信息测出；

h)计算与主题t相关的页面p的权重分值TSPR_t(p)，即：

${\mathrm{TSPR}}_t\left(p\right)=\left({d\×\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right)\right)/(l_{p_0}+(1-d)\×E_t\left(p\right));$

i)通过前两个步骤求出V(p)，再通过极大相似评价法，即T＝argmax∏^k _i＝1V_T(p_i)，计算出用户兴趣向量T＝[T(1)，…，T(m)]，T中各元素代表用户对m个不同主题的不同兴趣度。

5.根据权利要求1所述的一种基于用户兴趣向量的个性化网页搜索排序方法，其特征在于所述的依据用户兴趣向量和用户查询，生成个性化网页搜索结果步骤为：

j)计算ODP中主题T_i(i＝1，…，m)所包含的页面总数N_i及其索引词条数M_i，查询q在页面d_k(k＝1，…，N_i)中出现的次数f_dk，q，进而计算q在所有有关T_i的页面中出现的次数

所述ODP即开放式分类目录搜索系统；

k)根据用户兴趣向量T＝[T(1)，…，T(m)]及用户发出的查询信息q，计算用户在不同兴趣下发出查询q的概率P_r(q|T(i))(i＝1，…，m)

$P_r(\left(q\right|T\left(i\right))={\mathrm{\Σ}}_{k=1}^{N_i}{f}_{\mathrm{dk},q};$

1)计算与T_i(i＝1，…，m)相关的页面p的权重分值TSPR_i(p)(i＝1，...，m)

${\mathrm{TSPR}}_i\left(p\right)(i=1,...,m)=(d\×{\mathrm{\Σ}}_{p_0\∈L_p}{\mathrm{TSPR}}_t\left(p_0\right))/(l_{p_0}+(1-d)\×E_t\left(p\right))$

m)计算具有兴趣向量T的用户发出查询q的个性化搜索页面p的PageRank值PPR_T(p)，即：

${\mathrm{PPR}}_T\left(p\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}T\left(i\right)\×P_r\left(q\right|T\left(i\right))\×{\mathrm{TSPR}}_i\left(p\right)$

这里p＝p₁，…，p_n，代表n个搜索页面；

n)对PPR_T(p)中n个评分值从大到小进行排序，取前k个值对应的页面，构建一个基于用户兴趣向量T的个性化搜索排序页面集S_p；

o)将网页按照搜索排序页面集S_p，生成个性化的网页搜索结果。

Images