CN102254039A - 一种基于搜索引擎的网络搜索方法 - Google Patents

Abstract

本发明涉及基于搜索引擎的网络搜索方法，用于为搜索客户端提供精确搜索，该精确搜索可以根据搜索客户端用户对搜索结果的点击日志筛选出可以反映用户搜索意图的关键词，并将这些搜索词在各种专业的问答社区进行问题匹配，以此来明确用户的真正搜索意图，恢复用户的精确搜索语句，并以此语句重新提交搜索，将用户真正感兴趣的、对用户有用的结果以高优先级返回给用户，从而大大减少用户的搜索时间，提高用户的搜索效率。

Description

一种基于搜索引擎的网络搜索方法

技术领域

本发明涉及计算机科学/互联网技术领域，尤其涉及到互联网的网络搜索方法。

背景技术

随着互联网技术的发展，人们对网络的依赖程度越来越大了，据统计，每个月有超过100亿的搜索关键词提交给网络搜索引擎。这些搜索大多数是由一些关键词组成的，简短、模糊并且不太准确。实际上，当用户提交一个很短并且不准确的查询时，搜索引擎面临的一个很大的困难是要分析出用户的实际需求。

现有的众多的搜索方法论文以及各种搜索方法专利，这些方法主要是将用户的搜索关键字提交到兴趣模型，利用兴趣模型的处理结果进行再次搜索，返回最终的搜索结果。或者是根据搜索结果的相似性评价及搜索结果内容，对搜索结果进行优化排序。

这些方法只是考虑了用户的最初的搜索关键字，建立了各种分析模型，而忽略了用户本身的行为，因而搜索结果可能没有太大的说服力。

发明内容

本发明所要解决的技术问题是提供一种基于搜索引擎的网络搜索方法，快速的帮助用户精确定位到感兴趣的内容。

为解决上述技术问题，本发明的技术构思如下：

一、针对用户提交的初始查询词，集中关注搜索引擎返回的结果。当用户初步浏览了各个结果的标题和摘要后，点击了某一个或几个链接后，那这几个被用户点击的页面中必定会有一些词是可以描述用户的信息需求的。如果可以找出用户感兴趣的这些词来扩展用户的搜索词，必然会大大提高搜索的效率。

当用户点击搜索结果中的某个链接时，预示着该结果中的某一个或几个词语与该用户的信息需求是相关的。找出这些词，就可以更加清晰的了解用户的信息需求。

假如搜索结果是s_a，s_a是由词语w₁w₂...w_n组成的。这时就可以用空间向量模型来表示出s_a。这里的关键问题是如何衡量各个词语的权重。一种简单的方法是使用词语在该结果和整个搜索的结果集中出现的频率来计算词语的权重。同时也应该考虑各个词语和原始查询词的相关性。

此方法的基本思想是考察原始查询词和搜索结果前列的候选词的共现频率，以此来衡量该候选词的权重。

假设(1)原始查询词是Q，(2)Q中的关键词为q₁q₂q₃...q_m，(3)查询结果排在前列的文档集是C，C＝{s₁，s₂，...，s_n}。用co_deg ree(t，q_i)来表示词t和q_i在文档C中的共同出现的次数。本文使用下面的公式来计算t和q_i的共现次数：

$\mathrm{co}\_\mathrm{deg\; ree}(t,q_i)=\frac{\underset{s\∈C}{\mathrm{\Σ}}\log (\mathrm{tf}(t,s)+1)\×\log (\mathrm{tf}(\mathrm{qi},s)+1)}{n}$ 公式一

tf(t，s)和tf(q，s)分别代表词t和词q_i在搜索结果s中出现的频率。将这种量度作为词w和关键词q_i在集合C中的共现概率。这个算法将词语在文档中出现的次数和两词的共现次数联系起来了。得到词t和关键词q_i的共现概率co_deg ree(t，q_i)后，还要计算词t和所有的q_i在靠前的结果集中的共现率。设想t和不同的查询词的共现率是独立的，很自然的一种假设是把这些单个的共现率相乘。

$g(t,Q)=\underset{q\∈Q}{\mathrm{\Π}}{(\mathrm{co}\_\mathrm{deg\; ree}(t,q)+1)}^{\mathrm{idf}\left(t\right)}$ 公式二

$\mathrm{idf}\left(t\right)=\frac{1}{\mathrm{df}\left(t\right)+1}$ 公式三

当用户点击某个搜索结果的链接时，可以根据此模型算出该结果中的各个词语与用户的查询词的共现率，进而算出该结果中的每个词语对查询结果影响的权重，取权重值大的几个词语来扩展用户的查询，可以达到更好的查询效果。

如果用户搜索的结果和问答社区中的答案很相似时，那么这个答案对应的问题和用户的信息需求也应该在意义上相似。

二、在网络搜索结果和问答社区(例如百度知道)之间作一个信息对比。当用户提交某个查询时，这个查询就相当于用户向搜索引擎提出的一个问题，用户得到自己想要的信息就相当于找出此问题的答案。如果一个问题能够反映用户的信息需求，那么这个问题的最佳答案也是在语义上与用户需要的搜索结果相似。如果可以将用户的搜索词对应到主流问答服务社区，找到最佳答案的可能性更大。

本文使用Kullback-Leibler距离(相对熵)来衡量搜索结果和问答社区中的答案的相似性。KL距离应用在信息检索领域和基于统计语言建模的自然语言处理领域。KL距离用于测量两种概率分布的差异性(在同一事件空间)。概率分布P和Q在有限集X上的KL距离定义为：

$D\left(P\right|\left|Q\right)=\underset{x\∈V}{\mathrm{\Σ}}P\left(x\right)\log \frac{P\left(x\right)}{Q\left(x\right)}$ 公式四

Q(x)和P(x)表示两种概率分布。

与上面公式相关的对称的公式如下：

$\mathrm{Sim}(Q,D)\≈\mathrm{KL}\left(Q\right|\left|D\right)=\underset{w\∈V}{\mathrm{\Σ}}\left((P\left(w\right|Q)-P\left(w\right|D))\log \frac{P\left(w\right|Q)}{P\left(w\right|D)}\right)$ 公式五

为了避免出现分母上概率为零，这里引入了线性插值来解决这个问题：

P(w|Q)＝λP_ML(w|Q)+(1-λ)P(w|C)  公式六

当用户提交某个查询时，可以将搜索结果与问答社区中的答案进行语义相似性对比，取出相似性最高的答案，那此答案所对应的问题就有理由被认为是与用户实际的查询需求相关的。

三、用MAP(Method Average Precision)来评估搜索系统的有效性。MAP计算了一个查询结果集里面结果的平均精确度。它的定义如下：

$\mathrm{Average\; Precision}\left(q\right)=\underset{i=1}{\overset{r_q}{\mathrm{\Σ}}}\frac{R\left(i\right)\×\mathrm{pos}\left(i\right)}{R\left(r_q\right)\×i}$ 公式七

r_q为搜索结果的总数，R(i)为前i个结果中与词关键词q相关的结果的个数，pos(i)是一个二元函数，它指示第i个结果与查询词是否相关。这样，针对原始的搜索关键词q₀，采用本发明所述的方法进行查询词扩展后或者利用问答社区进行问题提取后得到新的关键词q₁，利用上述公式计算得到查询结果的平均精确度ap₀和ap₁，通过比较ap₀和ap₁值的大小即可验证方法的有效性。

基于上述技术构思，本发明提出的基于搜索引擎的网络搜索方法，包括以下步骤：

步骤1、所述搜索引擎根据用户键入的初始查询词进行搜索，展示所述搜索结果；

步骤2、记录所述初始查询词以及用户对所述搜索结果的点击日志；

步骤3、利用公式二计算出所述点击日志的网页中每个词语与所述查询词之间的相关度，并按相关度进行排序，挑选相关度高的前n个词语扩展所述初始查询词为扩展查询词；所述n为自然数；

$g(t,Q)=\underset{q\∈Q}{\mathrm{\Π}}{(\mathrm{co}\_\mathrm{deg\; ree}(t,q)+1)}^{\mathrm{idf}\left(t\right)}$ 公式二

其中，Q表示查询词，q表示查询词Q中的关键词，t表示任意词，co_deg ree(t，q_i)表示词t和q_i在查询结果排在前列的文档集C中的共同出现的次数； $\mathrm{idf}\left(t\right)=\frac{1}{\mathrm{df}\left(t\right)+1};$

步骤4、将所述扩展查询词提交到所述搜索引擎进行二次搜索，并展示新的搜索结果。

进一步的，在所述步骤4之后，包括以下步骤：

步骤5、将所述初始查询词和扩展查询词分别提交到问答社区进行搜索，

步骤6、利用公式五计算所述问答社区中的答案和搜索引擎的搜索结果的KL距离，

$\mathrm{Sim}(Q,D)\≈\mathrm{KL}\left(Q\right|\left|D\right)=\underset{w\∈V}{\mathrm{\Σ}}\left((P\left(w\right|Q)-P\left(w\right|D))\log \frac{P\left(w\right|Q)}{P\left(w\right|D)}\right)$ 公式五

KL距离小的问答对被认为是反映用户搜索意图的问答对；

步骤7、取搜索结果中KL距离值小的前m个搜索结果展示给用户，供用户选择。

在所述公式五中，P(w|Q)＝λP_ML(w|Q)+(1-λ)P(w|C)。

更加优化的，在所述步骤7之后，还包括以下步骤：

步骤8、采用如下公式七，

$\mathrm{Average\; Precision}\left(q\right)=\underset{i=1}{\overset{r_q}{\mathrm{\Σ}}}\frac{R\left(i\right)\×\mathrm{pos}\left(i\right)}{R\left(r_q\right)\×i}$ 公式七

其中，r_q为搜索结果的总数，R(i)为前i个结果中与查询词q相关的结果的个数，pos(i)是一个二元函数，它指示第i个结果与查询词是否相关；分别计算针对原始关键词q₀的问答社区查询结果的平均精确度ap₀以及针对扩展关键词q₁的问答社区查询结果的平均精确度ap₀，比较ap₀和ap₁值大小，如果ap₀和ap₁的相似比例在设定范围内，则认为查询结果准确。

本发明以浏览器插件的形式或者单独运行的形式存在于用户浏览器中，当用户开启这个插件的功能时，用户的搜索需求会被本系统捕获，经过相应的运算后，本系统会将反映用户搜索意图的更为精确的搜索关键词以搜索建议的形式提示给用户，帮助用户快速找到感兴趣的信息。

本发明采用了用户对搜索结果的点击日志来得到用户感兴趣的查询词，从而扩展用户的查询。将用户的初始查询和扩展后的查询对应到问答服务社区进行问题匹配，更快更精确的帮助用户快速找到感兴趣的搜索结果。

本发明采用了数据挖掘技术，在用户点击某个结果链接时，可以挖掘出用户感兴趣的潜在信息，从而给予用户更好的搜索体验。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为搜索引擎对原始查询词搜索的结果网页截图。

图2为用户点击察看过的图1的搜索结果网页截图。

图3为用户查看的图1搜索结果的详细网页截图。

图4为搜索引擎对扩展查询词的二次搜索的搜索结果网页截图。

图5为专业问答社区搜索中KL距离小的前n条搜索结果网页截图。

图6为最终提供给用户的搜索结果网页截图。

具体实施方式

本发明充分考虑了用户行为，通过用户对搜索结果的点击查看日志来分析用户对结果的感兴趣程度，从用户点击过的结果中提取出关键字，扩展用户的查询，并在专业问答社区中匹配已有问题，产生新的搜索关键字或搜索问题，并将新的搜索结果以搜索建议的形式返回给用户，有供用户选择。

例如，当用户的查询词为“java”时，搜索引擎搜索出来的结果很多，可以分成很多类，有“java小游戏”，“java语言介绍”，“java软件下载”，“java入门教程”等。搜索结果包括了标题、摘要等信息。用户根据搜索出来的海量结果，很难快速定位到感兴趣的结果。如果用户点击某个“java入门教程”类别的结果，这时就可以粗略的判断用户对该结果中至少一个关键词感兴趣或该结果中包括了部分用户需求的信息。本发明可以采用一定的算法对此结果进行分析，提取出用户感兴趣的关键词，扩充用户的原始搜索关键词，并以页面搜索建议的形式展现给用户。当用户点击了某个搜索建议，搜索引擎会会对搜索关键词再进行一次查询，将符合用户搜索意图的结果返回给用户。在上面的例子中，就是将“java入门教程”类别的结果以高优先级返回给用户。

实施例

用户安装运行本发明的浏览器插件。

用户打开搜索引擎(如谷歌、百度)，并键入查询词。如附图1所示。

针对搜索引擎搜索出来的众多结果，用户通知浏览前几页的结果的标题和摘要，粗略判断哪些结果里含有自己需要的信息。

用户点击了某几个网页，查看了里面的内容。该插件会记录用户的每一次的查询词和用户在此查询词下的点击日志，利用公式二计算出已经点击过的网页中每个词语与用户的查询词之间的相关度，并按相关度进行排序，自动挑选前n个词语来扩展用户的查询词。用户点击察看过的搜索结果如附图2所示。用户查看的搜索结果的详细网页如附图3所示。

通过用户的点击日志，可以计算出用户察看过的网页中的各个词语与用户的查询词的关联度。例如上例中可以计算出“早期”这个词权重很高。这样就可以得到扩展查询词“怀孕早期旅行”。将扩展查询词提交到搜索引擎进行二次搜索，二次搜索的搜索结果如附图4所示。

将用户的初始查询和扩展后的查询提交到专业问答社区进行搜索，搜索出了很多问答对，利用公式五计算问答社区中的答案和搜索引擎的搜索结果的KL距离，KL距离最小的问答对被认为是反映用户搜索意图的问答对。在问答社区中匹配相关的问题，取搜索结果的前n位展示给用户，供用户选择。如附图5所示。

最后的结果以弹出框的形式展示给用户，供用户选择。如附图6所示。这样用户可以找到很多自己需要的结果的集合。

结果验证。志愿者验证：

志愿者先说出他们的搜索意愿，然后志愿者输入搜索词在搜索引擎中进行搜索。在经过本发明提出的搜索系统后，给出用户n个搜索问题建议。用户根据这个建议问题，给出三种判断，Adequate表示与志愿者的搜索意愿完全相符，Material表示与志愿者的搜索意愿一般相关，Unsatisfactory表示与志愿者的搜索意图完全无关。

针对12个志愿者的不同搜索，系统分别对不同的搜索进行了扩展，并从问答社区中匹配答案，给出了很多二次搜索结果。在5645个评估选项中，有131个是adequate，173个是material。这个比例已经是相当高了。本发明基于用户对搜索结果的点击日志和专业问答社区的问答对。用户查询日志来源于搜狗商业引擎中10M的查询数据集以及实验中12个人的搜索日志。选取30个英文搜索的点击日志，50个中文搜索的点击日志。采用百度知道和Yahoo！Answer作为社区问答对库。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于搜索引擎的网络搜索方法，其特征在于，包括以下步骤：

步骤1、所述搜索引擎根据用户键入的初始查询词进行搜索，展示所述搜索结果；

步骤2、记录所述初始查询词以及用户对所述搜索结果的点击日志；

步骤3、利用公式二计算出所述点击日志的网页中每个词语与所述查询词之间的相关度，并按相关度进行排序，挑选相关度高的前n个词语扩展所述初始查询词为扩展查询词；所述n为人为设定的自然数；

$g(t,Q)=\underset{q\∈Q}{\mathrm{\Π}}{(\mathrm{co}\_\mathrm{degree}(t,q)+1)}^{\mathrm{idf}\left(t\right)}$ 公式二

其中，Q表示查询词，q表示查询词Q中的关键词，t表示任意词，co_deg ree(t，q_i)表示词t和q_i在查询结果排在前列的文档集C中的共同出现的次数； $\mathrm{idf}\left(t\right)=\frac{1}{\mathrm{df}\left(t\right)+1};$

步骤4、将所述扩展查询词提交到所述搜索引擎进行二次搜索，并展示新的搜索结果。

2.根据权利要求1所述的基于搜索引擎的网络搜索方法，其特征在于，在所述步骤4之后，包括以下步骤：

步骤5、将所述初始查询词和扩展查询词分别提交到问答社区进行搜索，

步骤6、利用公式五计算所述问答社区中的答案和搜索引擎的搜索结果的KL距离，

$\mathrm{Sim}(Q,D)\≈\mathrm{KL}\left(Q\right|\left|D\right)=\underset{w\∈V}{\mathrm{\Σ}}\left((P\left(w\right|Q)-P\left(w\right|D))\log \frac{P\left(w\right|Q)}{P\left(w\right|D)}\right)$ 公式五

KL距离小的问答对被认为是反映用户搜索意图的问答对；

步骤7、取搜索结果中KL距离值小的前m个搜索结果展示给用户，供用户选择，所述m为人为设定的自然数。

3.根据权利要求2所述的基于搜索引擎的网络搜索方法，其特征在于，在所述公式五中，P(w|Q)＝λP_ML(w|Q)+(1-λ)P(w|C)。

4.根据权利要求2或3之一所述的基于搜索引擎的网络搜索方法，其特征在于，在所述步骤7之后，还包括以下步骤：

步骤8、采用如下公式七，

$\mathrm{Average\; Precision}\left(q\right)=\underset{i=1}{\overset{r_q}{\mathrm{\Σ}}}\frac{R\left(i\right)\×\mathrm{pos}\left(i\right)}{R\left(r_q\right)\×i}$ 公式七

其中，r_q为搜索结果的总数，R(i)为前i个结果中与查询词q相关的结果的个数，pos(i)是一个二元函数，它指示第i个结果与查询词是否相关；

分别计算针对原始关键词q₀的问答社区查询结果的平均精确度ap₀以及针对扩展关键词q₁的问答社区查询结果的平均精确度ap₀，比较ap₀和ap₁值大小，如果ap₀和ap₁的相似比例在设定范围内，则认为查询结果准确。

Images