CN101807213A - 一种网页的垂直搜索方法 - Google Patents

Abstract

本发明公开了一种网页的垂直搜索方法，涉及垂直搜索领域，所述方法包括：获取root集和base集；初始化所述base集的入链权重和出链权重；获取所述base集中所有页面链接的入链网页权重和出链网页权重；获取所述base集中页面的主题相似性和页面的站点权重；根据所述入链网页权重、所述出链网页权重、所述主题相似性和所述站点权重获取所述base集中所有页面的入链权重和出链权重。本发明实施例通过在垂直搜索的HITS方法的基础上添加了站点权重这一参数，使得可以获取到更符合实际需要的网页，提高了搜索网页的准确性和精度，满足了实际应用中的需要。

Description

一种网页的垂直搜索方法

技术领域

本发明涉及垂直搜索领域，特别涉及一种网页的垂直搜索方法。

背景技术

随着经济技术的发展，网络已成为人们日常生活中必不可缺的，人们通常在网络中搜索自己所需的网页，为了提高搜索结果的质量，现有技术中提出了基于HITS(Hyperlink-Induced Topic Search，超链接诱导主题搜索)的检索方法，该方法通过对网络中链接的分析，利用页面的被引用次数及其链接数目来决定不同网页的价值。这种信息检索的方法可以获得比较好的查全率，但没有考虑页面的内容，仅仅是考虑了页面的链接信息，因此往往会出现主题偏移。

为了解决上述问题，现有技术中又提出了基于垂直搜索的HITS的检索方法。其中，垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务，其特点是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。微软研究院一名技术专家曾经说过：“75％的内容使用搜索引擎搜索不出来”。而垂直搜索引擎的诞生则是为了更大程度地提高搜索的“查全率”和“查准率”。垂直搜索引擎通过对行业领域内的信息模型和用户模型结构化的搜集或再组织，提供更多、更专业、个性化的行业相关服务。基于垂直搜索的HITS的检索方法添加了一个新的权重信息，这个信息就是页面相似性，也就是通过VSM(Vector Space Model，向量空间模型)计算页面与特定主题的相似程度来作为权重，由于垂直搜索的是某一个特定领域的信息，因此添加一个这样的权重后，必然使与此领域相关的页面的排名提前，从而搜索出更符合需求的页面，经过试验验证，通过该方法，可以大幅度的提高搜索页面的准确性。

发明人在实现本发明的过程中，发现上述现有技术至少存在以下缺点和不足：

基于垂直搜索的HITS的检索方法是通过关键字匹配的方式来获取初始页面，该搜索结果是一个优化的结果，而不是随机的结果，这使搜索到的页面的准确性不是很高，不能满足实际应用中的需要。

发明内容

为了提高搜索页面的准确性、提高搜索精度，本发明实施例提供了一种网页的垂直搜索方法，所述技术方案如下：

一种网页的垂直搜索方法，所述方法包括以下步骤：

1：获取root集和base集；

2：初始化所述base集的入链权重和出链权重；

3：获取所述base集中所有页面链接的入链网页权重和出链网页权重；

4：获取所述base集中页面的主题相似性和页面的站点权重；

5：根据所述入链网页权重、所述出链网页权重、所述主题相似性和所述站点权重获取所述base集中所有页面的入链权重和出链权重。

步骤1-5中所述base集具体为：

从所述root集中的网页出发，由所述网页的出度网页及入度网页组成的文档集合。

步骤4-5中所述站点权重，包括：第一站点权重和第二站点权重；

所述第一站点权重具体为：

ws_vi1＝1+w₁*(N_1vi-1)，其中，w₁为常量，N_1vi为vi页面在前k个页面中属于本站点的页面数目，且vi∈root；

所述第二站点权重具体为：

ws_vi2＝ws_vi+w₂*N_2vi，其中，w₂为常量，N_2vi为vi页面在后k个页面中属于本站点的页面数目，且v_i∈root；

所述w₁的取值大于所述w₂的取值。

步骤2和步骤5中所述入链权重具体为：

其中，B(i)为vi链源页面集合，P_j ⁱⁿ为入链网页

权重，w_vj为主题相似性，ws_vj为站点权重；

步骤2和步骤5中所述出链权重具体为：

其中，F(i)为vi链宿页面集合，P_j ^out为出链网页权重，w_vj为主题相似性，ws_vj为站点权重。

本发明实施例提供的技术方案的有益效果是：

本发明实施例提供的方法通过在垂直搜索的HITS方法的基础上添加了站点权重这一参数，使得网页的权重提高，可以获取到更符合实际需要的网页，并通过将root集扩展为base集，增加了权重计算中的网页数量，提高了搜索网页的准确性和精度，满足了实际应用中的需要。

附图说明

图1是本发明实施例提供的网页的垂直搜索方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高搜索页面的准确性、提高搜索精度，本发明实施例提供了一种网页的垂直搜索方法，参见图1，该方法内容如下：

101：获取root集和base集；

其中，root集是指对于某一个主题通过搜索引擎所查找到的初始文档集合，通过搜索引擎获取关于某一个主题的页面，取前k个页面作为root集，通过root集中的页面，获取每个页面的正向链接页面或反向链接页面，将正向链接页面或反向链接页面的数量控制在m个之内，正向链接页面可以通过分析网页得到，反向链接页面可以通过搜索引擎的反向查询功能查到。例如：当k为30、m为50，这时获取到3000个页面(即30*(50+50))。以百度为例，百度通过domain：网页进行查询，如domain：www.baidu.com，就可以获得所有指向baidu的站点数目为6530,000。

base集是指从root集中的网页出发，由这些网页的出度网页及入度网页所组成的文档集合，为了对网站权重进行更精确的计算，减少误差，本发明实施例使得有更多的页面参与到网站权重的计算中。获取和每一个页面链接的页面，该获取到的页面作为第二页面，将第二页面也参与到网站权重计算中。例如：root集中有30个页面，则获取到了30个第二页面，即，base集中有60个页面(即，30个页面+30个第二页面)。还是以百度为例，可以通过domain：www.baidu.com获取指向www.baidu.com的前n个页面，通过分析www.baidu.com这个页面中的链接信息也提取前n个链接，这样就可以得到www.baidu.com这个页面的所有链入和链出的页面集合了，即2n个页面。其中，其他的root集中的页面也是采用同样的扩展方式，在此不再赘述。

102：初始化base集的入链权重和出链权重；

其中，入链权重表示一个权威网页被其他网页所引用的数量，即该权威网页的入度值；出链权重表示一个Web页面指向其他网页的数量，即该Web页面的出度值。具体地，本发明实施例将入链权重和出链权重初始化为1。

103：获取base集中所有页面链接的入链网页权重和出链网页权重；

具体地，获取页面链接的入链网页权重和出链网页权重的公式参见公式1和公式2，其中，P_i ⁱⁿ为网页vi的入链信息确定的网页权重、P_i ^out为网页vi的出链信息确定的网页权重、P_i ⁱⁿ和P_i ^out的初始值为1、N_j ⁱⁿ和N_j ^out分别为网页vj的入链数目和出链数目、B(i)和F(i)分别为vi链源页面集合和链宿页面集合。

$\∀i,P_i^{\mathrm{in}}={\mathrm{\Σ}}_{j\∈B\left(i\right)}{P}_j^{\mathrm{out}}/N_j^{\mathrm{out}}---\left(1\right)$

$\∀i,P_i^{\mathrm{out}}={\mathrm{\Σ}}_{j\∈F\left(i\right)}{P}_j^{\mathrm{in}}/N_j^{\mathrm{in}}---\left(2\right)$

通过上述公式可以获取到所有链接页面的入链网页权重和出链网页权重，为了减少计算的复杂度，缩短计算的时间，本发明实施例优选地当前k个页面中的每一个页面的入链权重和出链权重都收敛时，停止计算。具体实现时，根据实际应用情况还可以计算到root集中的所有页面都收敛为止，本发明实施例对此不做限制。

104：获取base集中页面的主题相似性和页面的站点权重；

1、获取某一行业的特征向量R(w₁，w₂，...，w_n)；

通过VSM来获取某一行业的特征向量R(w₁，w₂，...，w_n)，n的取值和实际应用中的行业类型有关，具体实现时，本发明实施例对此不做限制。

2、获取某一网页vi的特征向量C(wi1，wi2，...，win)；

具体地，通过采用TF-IDF(Term Frequency-Inverse DocumentFrequency，词频-反问档频率)方法来获取某一网页vi的特征向量C，具体实现时，也可以采用其他的方法来获取特征向量C，本发明实施例对此不做限制。

3、获取页面的主题相似性和页面的站点权重；

具体地，通过公式3来获取页面的主题相似性，用公式4代表页面的主题相似性。

$\mathrm{Sim}(R,C_i)=\cos \mathrm{\θ}=\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k\×w_{\mathrm{ik}}}{\sqrt{\left(\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k^2\right)\left(\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}^2\right)}}---\left(3\right)$

w_vi＝Sim(R，C_i)    (4)

这样就可以计算出每一个网页的主题相似性，用w_vi＝Sim(R，C_i)代表vi页面的主题相似性。

统计root集中的前k个页面的各个网站的数目，通过公式5来获取root集中的前k个页面的第一站点权重ws_vi1，初始化所有页面的站点权重为1，即ws_vi1为1，w₁的取值和实际应用中的root集中的页面数量有关，具体实现时，本发明实施例对此不做限制，本发明实施例中以w₁取0.1为例对其进行说明，N_1vi代表vi页面在前k个页面中属于本站点的页面数目，且vi∈root。

ws_vi1＝1+w₁*(N_1vi-1)    (5)

统计root集中的后k个页面的各个网站的数目，通过公式6来获取root集中的后k个页面的第二站点权重ws_vi2，初始化所有页面的站点权重为1，即ws_vi2为1，w₂的取值和实际应用中的root集中的页面数量有关，具体实现时，本发明实施例对此不做限制，本发明实施例中以w₂取0.05为例对其进行说明，N_2vi代表vi页面在后k个页面中属于本站点的页面数目，且vi∈root。

ws_vi2＝ws_vi2+w₂*N_2vi    (6)

这样通过公式5和公式6就获取到了root集中的2k个页面的站点权重信息，其中，w₁和w₂的取值应满足w₁的取值大于w₂的取值(w₁＞w₂)。

105：根据入链网页权重、出链网页权重、主题相似性和站点权重获取base集中所有页面的入链权重和出链权重。

具体为，B(i)和F(i)分别为vi链源页面集合和链宿页面集合，通过公式7和公式8获取到a_i和h_i，直到前k个收敛；并对a_i和h_i进行归一化处理，获取到所有页面的入链权重和出链权重。其中，P_j ⁱⁿ为入链网页权重，P_j ^out为出链网页权重，w_vj为主题相似性，ws_vj为站点权重。

$a_i=\underset{j\∈B\left(i\right)}{\mathrm{\Σ}}{h}_j\×w_{\mathrm{vj}}\×P_j^{\mathrm{in}}\×{\mathrm{ws}}_{\mathrm{vj}}---\left(7\right)$

$h_i=\underset{j\∈F\left(i\right)}{\mathrm{\Σ}}{a}_j\×w_{\mathrm{vj}}\×P_j^{\mathrm{out}}\×{\mathrm{ws}}_{\mathrm{vj}}---\left(8\right)$

为了表示方便，可以将a_i表示为pa＝(a1，a2，......an)，h_i表示为ph＝(h1，h2，......hn)，具体实现时，也可采用其他的表现形式，本发明实施例对此不做限制。

综上所述，本发明实施例提供了一种网页的垂直搜索方法，该方法通过在垂直搜索的HITS方法的基础上添加了站点权重这一参数，使得网页的权重提高，可以获取到更符合实际需要的网页，并通过将root集扩展为base集，增加了权重计算中的网页数量，提高了搜索网页的准确性和精度，满足了实际应用中的需要。

本发明实施例以3个简单的试验来验证本发明实施例提供的方法的有效性。

1、百度搜索“天津二手房”，通过查看结果可以获知，在前20个页面中soufun.com整个站点共有3个结果，其中，前10个页面1个，后10个页面2个，尽管前几个结果不是soufun.com对应的页面，但通过本发明实施例提供的方法，就可以将二手房信息网站所对应页面的权重提高，进而会让这些页面比采用以往的方法得到的排名更靠前，提高搜索结果的准确性，使其完全符合搜索意图。

2、通过百度搜索“汽车报价”，其中前17个页面中有3个来自pcauto.com.cn(太平洋汽车网)网站，通过查看结果可以获知，前几个页面中并没有pcauto.com.cn所对应的页面，但该网站确实是一个较好的搜索结果，因此通过本发明实施例提供的方法，就可以对权重进行调整，使得太平洋汽车网对应的网页权重的排名上升，使其满足了实际应用中的需要，因此提高了搜索精度。

3、通过百度搜索“笔记本电脑报价”，其中前20个页面中共有2个来自zol.com.cn(中关村网站)，在实际应用中得知该网站是一个绝对具有影响力的电脑网站，而其只排在第7位，通过采用本发明实施例提供的方法，可以对权重进行调整，经过调整后，其最后的页面排名会比传统的基于垂直搜索的HITS方法的排名靠前，提高了搜索的准确性，满足了实际应用中的需要。

通过上述3个实验验证，可以看出本发明实施例提供的方法的可行性，可以获取到更符合实际需要的网页，提高了搜索的准确性和精度，满足了实际应用中的需要。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种网页的垂直搜索方法，其特征在于，所述方法包括以下步骤：

1：获取root集和base集；

2：初始化所述base集的入链权重和出链权重；

3：获取所述base集中所有页面链接的入链网页权重和出链网页权重；

4：获取所述base集中页面的主题相似性和页面的站点权重；

5：根据所述入链网页权重、所述出链网页权重、所述主题相似性和所述站点权重获取所述base集中所有页面的入链权重和出链权重。

2.根据权利要求1所述的方法，其特征在于，步骤1-5中所述base集具体为：

从所述root集中的网页出发，由所述网页的出度网页及入度网页组成的文档集合。

3.根据权利要求1所述的方法，其特征在于，步骤4-5中所述站点权重，包括：第一站点权重和第二站点权重；

所述第一站点权重具体为：

ws_vi1＝1+w₁*(N_1vi-1)，其中，w₁为常量，N_1vi为vi页面在前k个页面中属于本站点的页面数目，且vi∈root；

所述第二站点权重具体为：

ws_vi2＝ws_vi+w₂*N_2vi，其中，w₂为常量，N_2vi为vi页面在后k个页面中属于本站点的页面数目，且v_i∈root；

所述w₁的取值大于所述w₂的取值。

4.根据权利要求1所述的方法，其特征在于，步骤2和步骤5中所述入链权重具体为：

其中，B(i)为vi链源页面集合，P_j ⁱⁿ为入链网页权重，w_vj为主题相似性，ws_vj为站点权重；

步骤2和步骤5中所述出链权重具体为：

其中，F(i)为vi链宿页面集合，P_j ^out为出链网页权重，w_vj为主题相似性，ws_vj为站点权重。

Images