CN101359331B - 对搜索结果重新排序的方法和系统 - Google Patents

Abstract

一种对搜索结果重新排序的方法，根据接收到的搜索表达式对数据源进行搜索并获得搜索结果，并根据与搜索表达式相对应的排序方式对搜索结果进行排序；获得用户兴趣，该用户兴趣是由用户输入的重排序表达式，根据重排序表达式，对所述搜索结果中的所有或部分文档进行处理，对所有或部分文档进行重排序；以所述排序来显示所述搜索结果中的所有或部分文档。

Description

对搜索结果重新排序的方法和系统

技术领域

本发明涉及计算机搜索系统，尤其涉及对搜索结果进行重排序。

背景技术

随着信息爆炸，因特网上的信息量大大增多，普通数据库或文件系统的文件规模也越来越大。用户在搜索时普遍存在这样的问题，即如果将搜索表达式限制的细致后，会使得遗漏搜索结果，而如果放大搜索表达式则使得搜索结果太大，使得有用信息淹没在信息海洋中。例如，用户需要对关于“智能网”的信息进行分析，其中尤其关心将“智能网”技术应用于“CDMA”系统，但应用于其他系统的“智能网”技术也需要了解。如果将搜索式设置为“智能网AND CDMA”则会使得结果变小，很多期望了解的结果被遗漏，而如果将搜索式限定为“智能网”，则结果较多，有关“CDMA”的技术与其他技术一起淹没在所有结果中。

在现有的网络搜索技术中，例如google等，采用的方式是通过分析页面之间的链接关系来确定页面重要程度，从而排序。但是这样的排序规则是系统事先设定的，用户无法根据自己的需求来设定，并且往往不能根据用户对内容的期望来对搜索结果进行排序。

所以，需要一种技术，使得搜索结果不减少的情况下，与用户的关注点相关的结果会显示在结果的最前面。使得用户能够首先关注他特别最期望看到的结果，同时又可以完整地看到其它结果。而且，用户可以对同一个搜索结果根据需要进行多个不同的排序，只要修改排序表达式即可。使用用户个性化定制的重排序表达式可以很好的满足用户个性化的需求，提高了对搜索结果的浏览效率，能够更快更准确地获得需要的结果。

发明内容

本发明的一个目的是提供：一种对搜索结果重新排序的方法，根据接收到的搜索表达式对数据源进行搜索并获得搜索结果，并根据与搜索表达式相对应的排序方式对搜索结果进行排序；获得用户兴趣，该用户兴趣是由用户输入的重排序表达式，根据重排序表达式，对所述搜索结果中的所有或部分文档进行处理，对所有或部分文档进行重排序；并以此排序来显示所述搜索结果中的所有文档。

本发明更进一步的目的是：一种计算机程序产品，存储在计算机可读的介质上，该计算机程序产品具体地包括可读的程序方法，从而触发计算机执行上述的方法。

本发明更进一步的目的是：一种计算机程序，由计算机执行而实现上述方法。

本发明还有一个目的是提供：一种对搜索结果重新排序的系统，包括：数据存储装置，用于存储待搜索的数据源；搜索装置，用于根据接收到的搜索表达式对数据源进行搜索并获得搜索结果，并根据与搜索表达式相对应的排序方式对搜索结果进行排序；重排序装置，用于获得用户兴趣，该用户兴趣是由用户输入的重排序表达式，用于根据重排序表达式，对所述搜索结果中的所有或部分文档进行处理，对所有或部分文档进行重排序；显示装置，用于以所述排序来显示搜索结果。

附图描述

上述内容和其它方面的内容，以及本发明特定优选实施例的特征和优势将通过结合相应附图的详细说明更加清楚。其中：

图1是关于词条的表现方法和组合方式；

图2是词条-文档(term-document)矩阵；

图3是高维(r维)词条空间投影到低维(k维)词条空间的公式；

图4是词条向量表；

图5是描述了词条和文档在二维空间上的投影关系；

图6如何获得查询请求的向量；

图7是可以实现本发明的网络系统10；

图8是可以实现本发明的通用计算机20；

图9是执行根据本发明实施例的搜索过程的流程图；

图10是图9中步骤32的一个详细的实施例；

图11是图9中步骤32的另一个详细的实施例；

图12是图9中步骤32的又一个详细的实施例；

图13是现有技术中显示搜索结果的实例；

图14是根据本发明的用语义相关来重排序的一个具体应用实例；

图15是根据本发明的用语义相关来重排序的另一个具体应用实例。

所有附图中，同一附图标记理解为同一单元、特征和结构。

优选实施例描述

说明书中定义的内容如具体的结构和单元，是用于辅助全面理解本发明的优选实施例的。因此，根据本领域的普通技术对本申请描述的实施例进行的各种改变和修改都被认为没有脱离本发明的精神范围。同时，为了清楚和简要，省略了对公知的功能和结构的说明。

在现有技术中有大量关于基于语义搜索的技术，本领域技术人员可以利用这些技术很容易的构建词条向量，以及文档向量。其中有代表性的是潜在语义索引模型等技术。下面介绍潜在语义索引的原理，但不代表本发明一定要构建在潜在语义索引之上，本发明可以应用在所有的基于语义的搜索技术上。

潜在语义索引的原理

为了能够更加容易的解释LSI原理，下面通过一个具体例子来描述。设文档由17本书的标题组成。

图1中，有下划线的词表示词条。当然，对于本领域技术人员，存在很多其他选择词条的规则，可以增加或减少词条的数量，也可以改变词条的组合方式等。

图2是16x17词条-文档(term-document)矩阵，被称作A。行代表词条(term)，列代表文档(document)。矩阵的值代表该词条在该文档中出现的次数。

奇异值分解把词条-文档矩阵A分解为三个矩阵的乘积形式，即

A＝U∑V^T    公式1

其中，∑是奇异值的对角矩阵。

图3是潜在语义索引方法通过降维，将高维(r维)词条空间投影到低维(k维)词条空间。

为方便图示表示，在本例中选择k为2，即表示将原词条空间降维到二维词条空间上。矩阵U的前两列表示了词条在二维空间中的向量。获得的向量组即词条向量表为如附图中图4所示.

利用这些基本的词条向量，可以根据

v＝q^TU_k∑^-1 _k    公式2

来合成新的向量。例如文档向量B_i、用户输入的查询请求，都可通过分析所引用的词条按公式2相合成。本领域技术人员很容易明了，在合成向量时可以考虑词条向量的权重。

图5描述了词条和文档在二维空间上的投影关系。词条向量之间的夹角越小或夹角的余弦值越大，代表词条和和该文档的相关性越大。例如，以词条“oscillation”为例，在所有词条中“delay”与其夹角最小，即“delay”与其最相关。

当用户输入一个查询请求时，如“application theory”，系统通过分析该请求中包含的关键词“application″、“theory”，将该两关键词相关的词条向量按公式2合成如图6，从而获得查询请求的向量。

通过计算文档向量与该查询请求向量的夹角的余弦值，其值越大，表示该文档与查询请求越相关。

词条与文档的相关度是计算词条向量与文档向量之间的夹角的余弦值，其值越大，表示该文档与查询请求越相关。例如，“nonlinear”这个词条与B9的文档向量间的夹角的余弦值最大，所以与“nonlinear”最相关的文档是B9。

本领域技术人员已知的实际应用中，通过上述原理，对现有的足够数量的文献进行上述处理，即可获得全面的词条向量表。计算文档向量的方法是抽取文档中的词条，比对词条向量表获得相关词条的向量，将这些向量合成为文档向量如公式2。为了简化的目的，本申请不再详细描述如何获得词条向量表，因为本领域技术人员可以根据现有技术能够很容易地获得词条向量表。本发明是在现有的词条向量表的基础上描述的。

相关的参考文献如下：

1.M.W.Berry.S.T.Dumaiis&G.W.O’Brien.Using Linear AlgebraIntelligent Information Retrieval.Computer Science Department CS-94-2701994-12。

2.居斌.潜在语义标引在中文信息检索中的研究与实现.计算机工程2007-03。

3.陈越郭力.隐含语义检索及其应用.信息检索技术2001年第6期。

4.Michael W.Berry，Paul G.Young.Using latent semantic indexing formultilanguage information retrieval.Volume 29，Number 6/1995年12月

图7是可以实现本发明的网络系统10。至少一个客户机12通过网络13，例如因特网与搜索引擎系统14相连。搜索引擎系统14包括至少一个搜索引擎15。搜索引擎负责处理客户机12的搜索表达式，按照搜索表达式生成搜索结果，并将结果返回给客户机。搜索引擎系统14还包括至少一个内容服务器16、至少一个重排序服务器17。内容服务器16存储从不同网站上搜索的大量带索引的文档。可替代地，或另外，内容服务器16存储在各种网站上存储的文档的索引。搜索引擎15与至少一个内容服务器16通信，响应特定搜索表达式选择多个文档。

重排序服务器17根据重排序表达式对上述选定的所有或部分文档进行重新排序，并按照新的排序将结果发送给相关客户机。该重排序表达式可以由用户在输入查询表达式的同时输入，也可以事先设置，也可以不输入而由系统自动设定为等同于搜索表达式。

图8是可以实现本发明的通用计算机20。该通用计算机20运行了一个操作系统21，在该操作系统21上运行有一个数据库或文件系统22和一个重排序处理单元23。操作系统21用于从通用计算机20的输入单元(未示出)接收用户的搜索表达式，并将该搜索表达式发送给数据库或文件系统22。数据库或文件系统22可以是现有的任何合适的数据库，例如DB2、ACCESS、MSSQL、MYSQL、ORCLE、VF等。数据库或文件系统22也可以是任何合适的文件系统，例如FAT32或NTFS。数据库或文件系统22从操作系统21接收到用户的搜索表达式后，进行相应的查询操作，并将查询结果发送给重排序处理单元23。

重排序处理单元23根据接收到重排序表达式对上述的搜索结果进行处理。该重排序表达式可以由用户在输入查询表达式的同时输入，也可以事先设置，也可以不输入而由系统自动设定为等同于搜索表达式。比较搜索结果和重排序表达式的相关度。根据相关度的高低在显示单元(未示出)显示搜索结果。

图9是执行根据本发明实施例的重排序搜索结果的流程图。流程开始于步骤30。在步骤31，搜索装置(例如是图7中的搜索引擎15，或者图8中的数据库或文件系统22)接收某用户提交的搜索表达式，搜索设备可以根据搜索查询可选的生成查询策略(例如，将搜索查询标准化成用户进一步处理的适当形式，和/或可以按照预定准则修正搜索查询，以便自动扩大或缩小搜索查询的范围)。在步骤31，搜索设备根据搜索查询(或查询策略，如果生成的话)进行搜索，搜索设备获得与搜索查询匹配的一系列文档，并将搜索结果发送给重排序设备(例如图7中的重排序服务器，图8中的重排序单元)。如果用户输入的搜索表达式属于布尔搜索，则搜索结果是符合搜索条件的所有或部分文档。如果用户输入的搜索表达式属于基于语义搜索，则搜索结果是与搜索表达式最相关的N个文档。众所周知，相关度是根据搜索表达式的文档向量与被搜索文档的文档向量之间的夹角的余弦值来确定的。

在步骤32，重排序装置(例如图7中的重排序服务器17，或者图8中的重排序单元23)接收重排序表达式。该重排序表达式可以是用户实时输入的，也可以是用户预先设置的。其中的重排序表达式，表达了用户兴趣，即用户最期望首先看到的文档。根据重排序表达式，对所述搜索结果中的所有或部分文档进行处理，对所有或部分文档进行重排序。在步骤33，以所述排序来显示搜索结果，即将在步骤31中获得的搜索结果全部显示。同时，如果有需要，也可以根据初次排序结果对搜索结果进行排序。重排序表达式有两部分组成，第一部分是重排序类型指示符，用来指示根据语义相关，词频统计或者布尔匹配来排序；第二部分是重排序内容，用于重排序所依据的条件。

图10是图9中的步骤32的一个具体实施例，描述了用语义相关来重排序的例子。开始于步骤41，根据词条向量库来处理重排序表达式中的重排序内容，获得所述重排序内容的向量。重排序内容可以是单词、词组、句子、段落、文章或多篇文章。即将重排序内容中的所有词条在词条向量库中找到对应的向量，将这些词条的向量合成，从而获得重排序内容的向量。而词条向量库可以根据本领域技术人员公知的基于语义搜索技术获得，例如上述的潜在语义索引模型方法。在步骤42中，逐一计算搜索结果中每一个文档的向量与重排序内容向量的夹角的余弦值。在步骤43，根据所述余弦值的大小，对所述搜索结果中的所有或部分文档进行排序。余弦(相关)值越大的文档表示与重排序内容越相关，也是用户最期望首先看到的文档。

图11是图9中的步骤32的另一个具体实施例，描述了用词频统计来重排序的例子。开始于步骤51，将在图9中的步骤31中获得搜索结果作为搜索对象，重排序表达式中的重排序内容作为查询条件对搜索结果进行查询处理。在步骤52中，对与重排序内容匹配的文档进行词频统计，并按照词频排序，而无法匹配的文档则按照在图9中的步骤31中的次序，依次排在匹配文档的后面。

图12是图9中的步骤32的又一个具体实施例，描述了用布尔表达式来重排序的例子。开始于步骤61，将在图9中的步骤31中获得搜索结果作为搜索对象，重排序表达式中的重排序内容作为查询条件对搜索结果进行查询处理。在步骤52中，匹配的文档按照在图9中的步骤31中的次序排在前面，而无法匹配的文档则按照在图9中的步骤31中的次序，依次排在匹配文档的后面。

图13是现有技术中显示搜索结果的实例。用户需要搜索文档中包含“沙发”的文档。于是采用了布尔搜索方式。获得了5792个搜索结果。在没有进行重新排序的情况下，直接将结果显示给用户。很显然，仅仅因为文本中出现“沙发”，即将该文本列出做为结果显示给用户，会导致很多在第一显示屏显示的结果是用户不需要的。

图14是根据本发明的一个具体应用实例。用户需要搜索文档中包含“沙发”文档，在搜索结果中用户又希望能够先浏览与“靠背”相关的文档。于是，在输入框81中用户输入了：B/沙发and R/靠背。“B/”代表布尔搜索，但不限于这种表达方式。“R/”代表将搜索结果按“靠背”重排序，但不限于这种表达方式。图14的搜索结果中的所有文档都包含“沙发”这个词。总共获得5792个搜索结果(与图13所列相同)，并且进一步按照“靠背”来重排序，即将5792个搜索结果或部分如第一显示屏的10条，但不限于此数的文档向量与“靠背”向量通过计算分别向量间的余弦(相关)值来排序，并依次按余弦值从大到小排序来显示。与图13中的显示顺序比较，可以看出图14中的显示顺序明显不同，并且所列都是与用户想获得的关于“沙发”并与“靠背”主题最相关。Rank 94％代表了文档与重排序表达式的相似度，即余弦值0.94。

图15是根据本发明的另一个具体应用实例。用户需要搜索与“沙发”相关的文档，在搜索结果中用户又希望能够先浏览与“靠垫”相关的文档。于是，在输入框91中用户输入了：C/沙发and R/靠垫。“C/”代表基于语义搜索，但不限于这种表达方式。“R/”代表将搜索结果重排序，但不限于这种表达方式。图15的搜索结果是与“沙发”这个词条的向量最相关的文档，即这些文档的向量与“沙发”这个词条的向量的余弦(相关)值最大。系统预置为选择400个相关结果。然后将这400个搜索结果或部分如第一显示屏的10条，但不限于此数的文档向量与“靠垫”向量计算余弦(相关)值，根据该值排序，依次显示。Rank 94％代表了文档与重排序表达式的相似度，即余弦值0.94。

尽管本发明通过一些特定的优选实施例加以表述，但是本领域的技术人员都应知道，可能的形式上的各种变化和具体化都没有脱离本发明的精神以及权利要求及其等价内容所定义的范围。

Claims (35)

1.一种对搜索结果重新排序的方法，包括：

步骤一：根据接收到的搜索表达式对数据源进行搜索并获得搜索结果；

步骤二：获得用户兴趣，该用户兴趣是由用户输入的重排序表达式，其中重排序表达式包括重排序内容，其中重排序表达式与搜索表达式同时输入，根据重排序表达式，对步骤一的搜索结果中的所有文档进行重排序；

步骤三：以所述排序来显示所述搜索结果中的所有文档。

2.权利要求1的方法，其中所述的重排序表达式是语义相关表达式，

包括用于指示重排序类型的类型指示符和重排序内容。

3.权利要求2的方法，步骤二包括：

根据词条向量库来处理重排序表达式中的重排序内容，获得所述重排序内容的向量；

逐一计算搜索结果中所有或部分文档的向量与重排序内容向量的相关度；

根据所述相关度的大小，对所述搜索结果中的所有文档进行排序。

4.权利要求2-3的任意一个权利要求的方法，其中所述相关度是文档向量与重排序内容向量间的余弦值。

5.权利要求4的方法，其中所述的重排序内容是单词、词组、句子、段落、文章或多篇文章。

6.权利要求1的方法，其中所述的重排序表达式是词频统计表达式，包括用于指示重排序类型的类型指示符和重排序内容。

7.权利要求6的方法，步骤二包括：

将重排序内容作为待统计的词条，对所述搜索结果中的所有文档进行词频统计，根据统计结果对所有文档排序。

8.权利要求1的方法，其中所述的重排序表达式是布尔表达式，包括用于指示重排序类型的类型指示符和重排序内容。

9.权利要求8的方法，步骤二包括：

将重排序内容依次与搜索结果中的文档进行匹配处理，将所有匹配的文档排序到前列。

10.权利要求9的方法，其中所述的重排序表达式由用户实时输入，该实时输入的重排序表达式仅适用于当前的搜索表达式。

11.权利要求9的方法，其中所述的重排序表达式由用户预先输入，该预先输入的重排序表达式适用于所有的搜索表达式。

12.权利要求11的方法，其中搜索表达式是布尔搜索。

13.权利要求12的方法，其中所述搜索结果的数量是所有符合搜索表达式的结果的总数。

14.权利要求11的方法，其中搜索表达式是基于语义搜索。

15.权利要求14的方法，其中所述的根据接收到的搜索表达式对数据源进行搜索并获得搜索结果进一步包括：

计算搜索表达式的文档向量；

逐一计算数据源中每一个文档的向量与搜索表达式向量的余弦值；提取N个余弦值最大的文档作为搜索结果。

16.权利要求15的方法，其中所述的N由系统预置或由用户预置。

17.权利要求16的方法，其中步骤一还包括：

根据搜索表达式对搜索结果进行排序并显示。

18.一种对搜索结果重新排序的系统，包括：

数据存储装置，用于存储待搜索的数据源；

搜索装置，用于根据接收到的搜索表达式对数据源进行搜索并获得搜索结果；

重排序装置，用于获得用户兴趣，该用户兴趣是由用户输入的重排序表达式，其中重排序表达式包括重排序内容，其中重排序表达式与搜索表达式同时输入，根据重排序表达式，对搜索装置获得的搜索结果中的所有文档进行重排序；

显示装置，用于以所述排序来显示搜索结果。

19.权利要求18的系统，其中所述的重排序表达式是语义相关表达式，包括用于指示重排序类型的类型指示符和重排序内容。

20.权利要求19的系统，重排序装置包括：

根据词条向量库来处理重排序表达式中的重排序内容，获得所述重排序内容的向量的装置；

逐一计算搜索结果中所有或部分文档的向量与重排序内容向量的相关度的装置；根据所述余弦值的大小，对所述搜索结果中的所有文档进行排序的装置。

21.权利要求18-20中任意一个权利要求的系统，其中所述相关度是文档向量与重排序内容向量间的余弦值。

22.权利要求21的系统，其中所述的重排序内容是单词、词组、句子、段落、文章或多篇文章。

23.权利要求18的系统，其中所述的重排序表达式是词频统计表达式，包括用于指示重排序类型的类型指示符和重排序内容。

24.权利要求23的系统，重排序装置包括：

将重排序内容作为待统计的词条，对所述搜索结果中的所有或部分文档进行词频统计，根据统计结果对所有或部分文档排序。

25.权利要求18的系统，其中所述的重排序表达式是布尔表达式，包括用于指示重排序类型的类型指示符和重排序内容。

26.权利要求25的系统，重排序装置包括：

将重排序内容依次与搜索结果中的文档进行匹配处理，将所有匹配的文档排序到前列。

27.权利要求26的系统，其中所述的重排序表达式由用户实时输入，该实时输入的重排序表达式仅适用于当前的搜索表达式。

28.权利要求27的系统，其中所述的重排序表达式由用户预先输入，该预先输入的重排序表达式适用于所有的搜索表达式。

29.权利要求28的系统，其中搜索表达式是布尔搜索。

30.权利要求29的系统，其中所述搜索结果的数量是所有符合搜索表达式的结果的总数。

31.权利要求28的系统，其中搜索表达式是基于语义搜索。

32.权利要求31的系统，其中所述搜索装置包括：

计算搜索表达式的文档向量的装置；

逐一计算数据源中每一个文档的向量与搜索表达式向量的余弦值的装置；

提取N个余弦值最大的文档作为搜索结果的装置。

33.权利要求32的系统，其中所述的N由系统预置或由用户预置.

34.权利要求33的系统，其中显示装置根据初次排序结果对搜索结果进行显示。

35.权利要求34的系统，用于网络系统，数据库系统或文件系统。

Images