CN105975508B - 个性化元搜索引擎检索结果合成排序方法 - Google Patents

Abstract

本发明公开了一种个性化元搜索引擎检索结果合成排序方法，实现步骤如下，(1)建立用户系统兴趣；(2)搜索引擎检索文档；(3)合并成员搜索引擎结果文档；(4)划分结果文档兴趣类别；(5)获得个性化排序权值；(6)展示检索结果；(7)更新用户系统兴趣。本发明所述方法同时考虑成员搜索引擎的数量、成员搜索引擎结果总数、相同结果文档数、结果文档在各成员搜索引擎中的位置信息，并结合不同个性化程度用户兴趣对结果排序的影响，实现元搜索引擎更准确、更高效的用户个性化检索体验。

Description

个性化元搜索引擎检索结果合成排序方法

技术领域

本发明属于信息处理技术领域，更进一步涉及互联网信息检索技术领域和个性化服务技术领域中的一种个性化元搜索引擎检索结果合成排序方法。本发明可应用于元搜索引擎优化领域中有关满足用户个性化检索需求的一种方法。

背景技术

元搜索引擎(Meta Search Engine)，是一种调用其它独立搜索引擎的引擎，亦被称为“搜索引擎之母”(The mother of search engines)。元搜索引擎以含盖较多的搜索资源，能够在尽可能短的时间内提供相对全面、准确的检索结果等诸多优异功能，受到用户的青睐，已渐成为一种不可或缺的极具潜力的网络检索工具。结果合成技术作为元搜索引擎的核心技术之一，其排序结果的优劣直接影响用户的搜索体验，为获得让用户满意的搜索结果，元搜索引擎结果排序的相关技术被提出：基于可拒绝策略的元搜索结果排序算法；通过用户查询词与文档摘要、标题的匹配度，计算不同文档分值，按降序排列。

河海大学申请的专利“基于可拒绝策略的元搜索结果排序算法”(专利申请号：CN201410382660.0，公布号CN104268142A)中公开了一种基于可拒绝策略的元搜索结果排序算法。该算法针对用户输入检索请求，按照用户所选择的成员搜索引擎进行分发。通过返回文档的标题与摘要信息对检索结果计算相关度，并依照改进的Borda方法进行排序后呈现给用户；根据用户对所返回结果的点击情况调整成员搜索引擎权重大小，直至拒绝调用某个成员搜索引擎，对用户偏好模型进行优化。该方法存在的不足之处是：用户需要经过多次手动选择成员搜索引擎和点击返回结果才能体现该系统的个性化机制，而用户不可控的反馈结果也很难保证学习结果的可靠；通过监测返回文档标题与摘要信息的方法确定结果相关性，也造成服务器负载增加，影响检索效率；同时，Borda排序仅仅考虑到了同一个结果文档被多个搜索引擎检索的重要性，因此，Borda排序只会对重复结果处理得较优，而对独立结果排序处理效果并不好。

何艳玲在其发表的学位论文“元搜索引擎的排序合成技术研究及实现”(湖南大学，软件工程专业，2014年，硕士论文)中结合文档有效性和搜索引擎有效性设计了一种新的元搜索引擎排序合成算法。该算法考虑了搜索结果的原排序位置、用户搜索关键字与标题或摘要的匹配度、搜索结果在成员搜索引擎中的重复度、每个成员搜索引擎包含的有效文档数量等因素，综合计算得到搜索结果的最终权重信息，并以此为依据来进行重新排序。但是该方法仍然存在的不足之处是，由于大量的标题与摘要信息需要在数据库中存取，且摘要与标题的匹配度计算复杂，增加服务器负载，影响服务器的检索效率。另外，该方法并没有考虑成员搜索引擎的数量对最终排序结果的影响。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种个性化元搜索引擎检索结果合成排序方法。本发明通过对成员搜索引擎检索结果重新整理排序，并结合用户兴趣，为用户展示个性化搜索结果。

本发明的具体思路是：同时考虑成员搜索引擎的数量、成员搜索引擎检索的结果文档总数、相同结果文档的出现次数、结果文档在各成员搜索引擎中的位置信息等多种因素，并结合不同个性化程度用户兴趣对结果排序的影响，实现元搜索引擎更准确、更高效的用户个性化检索体验。

为实现上述目的，本发明的具体步骤包括如下：

(1)建立用户系统兴趣：

(1a)用户首次使用个性化元搜索引擎注册时，在个性化元搜索引擎中选择自己的兴趣类别；

(1b)个性化元搜索引擎将用户所选的兴趣类别平等对待，将用户所选兴趣归一化并以用户兴趣值的形式存储在后台数据库中；

(1c)用户登陆后，个性化Agent从数据中读取用户兴趣值，并将依据读取的用户兴趣值作为用户系统兴趣；

(2)搜索引擎检索文档：

用户输入查询词并选择需要的成员搜索引擎，个性化元搜索引擎调用指定成员搜索引擎进行搜索；

(3)合并成员搜索引擎结果文档：

(3a)创建一个系统结果列表，系统结果列表中的每一个结果项包括结果文档的标题文本、摘要文本、链接、位置信息以及出现次数相关信息；

(3b)为每个成员搜索引擎创建一个当前结果列表，成员搜索引擎将检索得到的结果文档添加到当前结果列表中，个性化元搜索引擎将各成员搜索引擎返回的当前结果列表加入系统结果列表中；

(3c)判断当前结果列表中的结果文档的标题文本、摘要文本、链接信息是否均已存在于系统结果列表中，若是，则执行步骤(3d)，否则，执行步骤(3f)

(3d)将已存在系统结果列表中的结果文档的出现次数加1，得到系统结果列表结果文档的当前出现次数；

(3e)将当前结果列表中的位置信息与系统结果列表中的位置信息相加，用所得结果更新系统结果列表中该结果文档的位置信息；

(3f)将当前结果文档直接添加到系统结果列表中；

(3g)利用搜索结果合成方法，计算系统结果列表每个结果文档的排序分值；

(4)划分结果文档兴趣类别：

(4a)利用分词工具，对系统结果列表中所有结果文档的标题与摘要文本内容进行分词，得到文本中出现的词条及频度；

(4b)利用朴素贝叶斯公式，计算结果文档所属兴趣类别；

(5)获得个性化排序权值：

(5a)从后台数据库中提取用户系统兴趣，将用户系统兴趣进行非线性处理，得到兴趣影响因子；

(5b)利用个性化排序权值计算公式，获得每条结果文档个性化排序权值；

(6)展示检索结果：

个性化元搜索引擎将当前结果列表中结果项按排序权值从小到大依次排序，将排序后的结果文档在浏览器上展示；

(7)更新用户兴趣：

(7a)用户在点击个性化元搜索引擎的结果文档后，个性化Agent对用户点击的检索结果文档链接进行挖掘，利用分词工具对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式，计算兴趣类别，将得到的兴趣类别视为用户当前兴趣；

(7b)判断每条用户当前兴趣中的兴趣类别是否与已有的用户系统兴趣中兴趣类别一致，若是，执行步骤(7c)，否则，执行步骤(7d)；

(7c)将所有一致的兴趣类别的当前兴趣的兴趣值与系统兴趣的兴趣值分别相加，用所得结果更新用户兴趣值；

(7d)删除对应用户兴趣中用户兴趣值最低的用户兴趣，将当前兴趣添加到用户兴趣中。

本发明与现有的技术相比具有以下优点：

第一，本发明合理利用搜索结果合成方法，计算系统结果列表每个结果文档的排序分值，克服了现有技术中大量的标题与摘要信息需要在数据库中存取，摘要与标题的匹配度计算复杂，增加服务器负载，影响服务器的检索效率的缺点，使得本发明在元搜索结果合成排序过程中获得更高的效率。

第二，本发明利用用户首次使用个性化元搜索引擎注册时，在个性化元搜索引擎中选择自己的兴趣类别，形成初始用户系统兴趣，并在用户使用过程中根据用户点击行为更新用户系统兴趣，克服了现有技术中用户需要经过多次手动选择成员搜索引擎和点击返回结果才能体现该系统的个性化机制的缺点，使得本发明短时间内为用户提供准确的个性化搜索体验。

第三，本发明利用个性化排序权值计算公式，获得每条结果文档个性化排序权值，并根据个性化排序权值从小到大对结果文档进行排序，克服了现有技术中Borda排序仅仅考虑到了同一个结果文档被多个搜索引擎检索的重要性，只会对重复结果处理得较优的缺点，使得本发明在对结果文档排序的考虑因素更全面，更具有个性化优势。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图1对本发明的步骤作进一步的详细描述。

步骤1，建立用户系统兴趣。

用户首次使用个性化元搜索引擎注册时，在个性化元搜索引擎中选择自己的兴趣词，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将每个三元组作为一条兴趣类别添加到用户兴趣中。个性化元搜索引擎将用户所选的兴趣类别平等对待，将用户所选兴趣归一化并存储在后台数据库中，归一化按照下述公式完成的：

其中，Class表示用户所选择的兴趣类别i的用户兴趣权值，n表示用户选择兴趣类别的总数。

用户登陆后，个性化Agent从数据中读取用户兴趣值，并将依据读取的用户兴趣值作为用户系统兴趣。

步骤2，搜索引擎检索文档。

用户输入查询词并选择需要的成员搜索引擎，个性化元搜索引擎调用指定成员搜索引擎进行搜索。

步骤3，合并成员搜索引擎结果文档。

创建一个系统结果列表，系统结果列表中的每一个结果项包括结果文档的标题文本、摘要文本、链接、位置信息以及出现次数相关信息；每个成员搜索引擎创建一个当前结果列表，成员搜索引擎将检索得到的结果文档添加到当前结果列表中，个性化元搜索引擎将各成员搜索引擎返回的当前结果列表加入系统结果列表中；判断当前结果列表中的结果文档的标题文本、摘要文本、链接信息是否均已存在于系统结果列表中，若是，将已存在系统结果列表中的结果文档的出现次数加1，得到系统结果列表结果文档的当前出现次数，将当前结果列表中的位置信息与系统结果列表中的位置信息相加，用所得结果更新系统结果列表中该结果文档的位置信息，否则，将当前结果文档直接添加到系统结果列表中；利用搜索结果合成方法，计算系统结果列表每个结果文档的排序分值。

排序权值计算公式如下：

其中_，rank_d表示结果文档d的排序权值_，∑表示连加操作_，r_a表示结果文档在第a个成员搜索引擎中的位置，m表示成员搜索引擎的数量，*表示相乘操作，n表示结果文档在所有成员搜索引擎中出现的次数，k表示每个成员搜索引擎返回的结果数。

步骤4，划分结果文档兴趣类别。

利用ICTCLAS分词工具，对系统结果列表中所有结果文档的标题与摘要文本内容进行分词，得到文本中出现的词条及频度，利用朴素贝叶斯公式，计算结果文档所属兴趣类别。

ICTCLAS是中科院开发的一款用于对中文文本分词的工具，本发明利用ICTCLAS分词工具对用户浏览的文本分词，并根据ICTCLAS分词工具对词性的分析，去除了文本中的标点符号、副词、介词、连词、叹语、语气词、代词等无用词，统计文本中剩余的词得到有用词条及频度，将出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；朴素贝叶斯公式通过计算文本中词条在不同类别中的概率，取概率最大值对应的类别作为文本的类别。

朴素贝叶斯公式如下：

其中，c表示兴趣类别，argMax表示取最大值参数的操作，P(c_j)表示第j个兴趣类别_c的先验概率_，*表示相乘操作_，∏表示连乘操作_，k表示不同的兴趣类别数，P(x_i|c_j)表示词条x_i在类别c_j中的类条件概率。

由此确定结果文档所属的兴趣类别。

步骤5，获得个性化排序权值。

从后台数据库中提取用户系统兴趣，将用户系统兴趣进行非线性处理，得到兴趣影响因子；利用个性化排序权值计算公式，获得每条结果文档个性化排序权值。

个性化排序权值计算公式如下：

其中，rank_inf_d表示结果文档的个性化排序权值，rank_d表示结果文档的排序权值，tan表示取正切操作，inf表示用户系统兴趣值。

步骤6，展示检索结果。

个性化元搜索引擎将当前结果列表中结果项按排序权值从小到大依次排序，将排序后的结果文档在浏览器上展示；

步骤7，更新用户兴趣：

用户在点击个性化元搜索引擎的结果文档后，个性化Agent对用户点击的检索结果文档链接进行挖掘，利用分词工具ICTCLAS对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式，得到的兴趣类别。

将上述得到兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将获得的三元组作为用户当前兴趣。

判断每条用户当前兴趣中兴趣类别是否与已有的用户系统兴趣中兴趣类别一致，若是，将所有一致的兴趣类别的当前兴趣的兴趣值与系统兴趣的兴趣值分别相加，用所得结果更新用户兴趣值；否则，删除对应用户兴趣中用户兴趣值最低的用户兴趣，将当前兴趣添加到用户兴趣中。

本方法同时考虑成员搜索引擎的数量、成员搜索引擎返回的结果总数、相同结果文档的出现次数、结果文档在各成员搜索引擎中的位置信息等多种因素，并结合不同个性化程度用户兴趣对结果排序的影响，实现元搜索引擎更准确、更高效的用户个性化检索体验。

Claims (4)

1.一种个性化元搜索引擎检索结果合成排序方法，包括以下步骤：

(1)建立用户系统兴趣：

(1a)用户首次使用个性化元搜索引擎注册时，在个性化元搜索引擎中选择自己的兴趣类别；

(1b)个性化元搜索引擎将用户所选的兴趣类别平等对待，将用户所选兴趣归一化并以用户兴趣值的形式存储在后台数据库中；

(1c)用户登陆后，个性化Agent从数据中读取用户兴趣值，并将依据读取的用户兴趣值作为用户系统兴趣；

(2)搜索引擎检索文档：

用户输入查询词并选择需要的成员搜索引擎，个性化元搜索引擎调用指定成员搜索引擎进行搜索；

(3)合并成员搜索引擎结果文档：

(3a)创建一个系统结果列表，系统结果列表中的每一个结果项包括结果文档的标题文本、摘要文本、链接、位置信息以及出现次数相关信息；

(3b)为每个成员搜索引擎创建一个当前结果列表，成员搜索引擎将检索得到的结果文档添加到当前结果列表中，个性化元搜索引擎将各成员搜索引擎返回的当前结果列表加入系统结果列表中；

(3c)判断当前结果列表中的结果文档的标题文本、摘要文本、链接信息是否均已存在于系统结果列表中，若是，则执行步骤(3d)，否则，执行步骤(3f)；

(3d)将已存在系统结果列表中的结果文档的出现次数加1，得到系统结果列表结果文档的当前出现次数；

(3e)将当前结果列表中的位置信息与系统结果列表中的位置信息相加，用所得结果更新系统结果列表中该结果文档的位置信息；

(3f)将当前结果文档直接添加到系统结果列表中；

(3g)利用搜索结果合成方法，计算系统结果列表每个结果文档的排序分值；

所述的搜索结果合成方法是利用排序权值计算公式得出的，排序权值计算公式如下：

其中，rank_d表示结果文档d的排序权值，∑表示连加操作，r_a表示结果文档在第a个成员搜索引擎中的位置，m表示成员搜索引擎的数量，*表示相乘操作，n表示结果文档在所有成员搜索引擎中出现的次数，k表示每个成员搜索引擎返回的结果数；

(4)划分结果文档兴趣类别：

(4a)利用分词工具，对系统结果列表中所有结果文档的标题与摘要文本内容进行分词，得到文本中出现的词条及频度；

(4b)利用朴素贝叶斯公式，计算结果文档所属兴趣类别；

(5)获得个性化排序权值：

(5a)从后台数据库中提取用户系统兴趣，将用户系统兴趣进行非线性处理，得到兴趣影响因子；

(5b)利用个性化排序权值计算公式，获得每条结果文档个性化排序权值；

所述的个性化排序权值计算公式如下：

其中，rank_inf_d表示结果文档的个性化排序权值，rank_d表示结果文档的排序权值，tan表示取正切操作，inf表示用户系统兴趣值；

(6)展示检索结果：

个性化元搜索引擎将当前结果列表中结果项按排序权值从小到大依次排序，将排序后的结果文档在浏览器上展示；

(7)更新用户兴趣：

(7a)用户在点击个性化元搜索引擎的结果文档后，个性化Agent对用户点击的检索结果文档链接进行挖掘，利用分词工具对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式，计算兴趣类别，将得到的兴趣类别视为用户当前兴趣；

(7b)判断每条用户当前兴趣中的兴趣类别是否与已有的用户系统兴趣中兴趣类别一致，若是，执行步骤(7c)，否则，执行步骤(7d)；

(7c)将所有一致的兴趣类别的当前兴趣的兴趣值与系统兴趣的兴趣值分别相加，用所得结果更新用户兴趣值；

(7d)删除对应用户兴趣中用户兴趣值最低的用户兴趣，将当前兴趣添加到用户兴趣中。

2.根据权利要求1所述的个性化元搜索引擎检索结果合成排序方法，其特征在于：步骤(1b)中所述的将用户所选兴趣归一化是按照下述公式完成的：

其中，Class表示用户所选择的兴趣类别i的用户兴趣值，n表示用户选择兴趣类别的总数。

3.根据权利要求1所述的个性化元搜索引擎检索结果合成排序方法，其特征在于：步骤(4b)、步骤(7a)中所述的朴素贝叶斯公式如下：

其中，c表示兴趣类别，argMax表示取最大值参数的操作，P(c_j)表示第j个兴趣类别c的先验概率，*表示相乘操作，Π表示连乘操作，k表示不同的兴趣类别数，P(x_i|c_j)表示词条x_i在类别c_j中的类条件概率。

4.根据权利要求1所述的个性化元搜索引擎检索结果合成排序方法，其特征在于：步骤(5a)中所述的非线性处理是指，使用正切函数对用户兴趣进行映射。