CN104572791B - 搜索提示系统的评估方法及装置 - Google Patents

Abstract

本发明公开搜索提示系统的评估方法，包括：根据评测目标，随机提取相应的评测词；依次获取每个评测词覆盖的最少输入字数；根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；对每个评测词的覆盖率进行加权平均计算，获得评测目标的覆盖率。本发明还公开了搜索提示系统的评估装置。本发明在计算评测词的提示覆盖率时，还增加了覆盖效率因子和提示效率因子，从而使得可以全面量化和细化搜索提示系统的效果评估。根据所述效果评估结果，可以更准确地反映提示搜索系统存在的问题，以供开发人员进行针对性地调整，进一步提高了搜索提示系统的搜索提示效率。

Description

搜索提示系统的评估方法及装置

技术领域

本发明涉及互联网领域，尤其涉及一种搜索提示系统的评估方法及装置。

背景技术

随着互联网的飞速发展，搜索产品和技术的使用也越来越普遍。而且现有的搜索产品均具有搜索提示功能，即用户在搜索输入框中输入关键词时，搜索输入框下拉表将出现和搜索关键词相匹配的的词供用户选择，从而可以方便用户的操作。

因此，如何设计一种能最大程序满足和方便用户的搜索提示系统也是开发者头疼的难题。现有技术中通过评估方法对搜索提示系统进行评估，例如通过搜索提示关键词的点击率来评估，该点击率未关键词在搜索提示系统中点击次数/关键词在搜索提示系统中的曝光次数。或者通过搜索提示关键词的提示覆盖率，即用户输入的关键词有多大比例能够在提示系统中覆盖。

但是，上述两种评估方法均存在一定的缺陷：第一种评估方法由于不断地记录提示系统的曝光数和点击数，实现成本较高。第二种评估方法虽然容易实现，但是每个关键词的提示覆盖效率差别很大，无法准确地获得评估值。鉴于此，亟需一种能全面量化和细化搜索提示系统的效果评估的评估方法。

发明内容

本发明实施例的主要目的是提供一种搜索提示系统的评估方法及装置，旨在全面量化和细化搜索提示系统的效果评估。

为达到以上目的，本发明实施例提供了一种搜索提示系统的评估方法，包括以下步骤：

根据评测目标，随机提取相应的评测词；

依次获取每个评测词覆盖的最少输入字数；

根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；

对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

本发明实施例还提供了一种搜索提示系统的评估装置，包括：

评测词获取模块，用于根据评测目标，随机提取相应的评测词；

搜索模块，用于依次获取每个评测词覆盖的最少输入字数；

计算模块，用于根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；

汇总模块，用于对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

本发明在计算评测词的提示覆盖率时，还增加了覆盖效率因子和提示效率因子，从而使得可以全面量化和细化搜索提示系统的效果评估。因此，根据所述效果评估结果，可以更准确地反映提示搜索系统存在的问题，以供开发人员进行针对性地调整，进一步提高了搜索提示系统的搜索提示效率。

附图说明

图1是本发明搜索提示系统的评估方法较佳实施例的流程示意图；

图2是本发明搜索提示系统的评估方法中获取评测词最少的输入字数的操作示意图；

图3是本发明搜索提示系统较佳的评估装置实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的主要思想是在提供一种搜索提示系统的评估方法，主要用于对搜索提示系统进行效果评估，在搜索提示关键词的提示覆盖率的基础上，还增加了覆盖效率因子和提示效率因子，从而使得可以全面量化和细化搜索提示系统的效果评估。因此，根据所述效果评估结果，可以更准确地反映提示搜索系统存在的问题，以供开发人员进行针对性地调整，进一步提高了搜索提示系统的搜索提示效率。

以下将结合说明书实施例及附图对上述方案进行详细的描述。

参照图1，提出本发明搜索提示系统的评估方法。该评估方法包括以下步骤：

步骤S110、根据评测目标，随机提取相应的评测词；

具体为，根据评测目标，从日志采集系统进行抽样、从热门榜单随机提取以及根据搜索类别进行随机提取，获得评测目标相应的评测词。若评测目标是评测搜索提示系统对热门电影的覆盖效果，则该评测目标对应的评测词可以从搜索热门电影关键词，例如百度电影榜单：http://top.baidu.com/category？c＝1。或者该评测目标对应的评测词可以从电影类别中搜索关键词。该评测词还可以从日志采集系统中关于热门电影的日志中抽样获得。所提取的评测词为多个，根据评测目标的不同而提取不同数量的评测词。

步骤S120、依次获取每个评测词覆盖的最少输入字数；

以下将以一个评测词为例描述评测词覆盖的最少输入字数的获取过程：先将评测词输入完整，判断是否找到相应的结果。若评测词输入完整之后，搜索提示系统仍然没有找到相应的结果，则判定为搜索提示失败。若评测词输入完整之后，搜索提示系统可以找到相应的结果，则判定为提示成功。然后在搜索提示成功的情况下，进一步确定评测词覆盖的最少输入字数：将评测词从右到左，依次减少输入字符，直到搜索提示系统不能找到相应的结果时停止，此时评测词剩余的字数+1即为评测词覆盖的最少输入字数。本实施例中，该评测词覆盖的最少输入字数大于0。

如图2所示，评测词为“不二神探”，其长度为4。当用户完整输入评测词“不二神探”时，提示系统能找到相应结果。而且通过上述方式，将评测词从右到左，依次减少输入字符，当用户仅输入“不”字时，即可在搜索提示系统的第6条结果里找到相应的结果。当用户不输入任何字符时，则在搜索提示系统的搜索结果中找不到相应的结果。因此，该评测词“不二神探”覆盖的最少输入字数是1。

步骤S130、根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；

根据评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子。具体地，计算覆盖效率因子的方式为：覆盖效率因子＝1-(评测词覆盖的最少输入字数/评测词字数)。以评测词“不二神探”为例，该覆盖效率因子＝1-1/4＝0.75。

计算提示效率因子的方式为：本实施例中将以第一条结果的点击量作为基准值进行标准化处理。即搜索提示结果中每个结果覆盖评测词对应的提示效率因子分别为每个搜索提示结果对应的点击量/第一条搜索提示结果的点击量。假设评测词的每个搜索提示结果对应的点击量分布分别是＝10：9：8：7：6：5：4：3：2：1；则该搜索提示结果位置对应的提示效率因子＝(10：9：8：7：6：5：4：3：2：1)/10。基于上述原理，首先在评测词覆盖的最少输入字数的情况下，记下该评测词在搜索提示结果中对应的位置，例如上述“不二神探”的搜索提示结果有十条，其中的评测词出现在第六条搜索提示结果中。然后获取该第六条的点击量，同时获取第一条搜索提示结果对应的点击量，然后再计算评测词“不二神探”的提示效率因子＝第六条搜索提示结果对应的点击量/第一条搜索提示结果对应的点击量。假设评测词的每个搜索提示结果对应的点击量分布分别是＝10：9：8：7：6：5：4：3：2：1，则该评测词“不二神探”的提示效率因子＝5/10＝0.5。

然后再根据所述计算获得的覆盖效率因子和提示效率因子，计算每个评测词的覆盖率：覆盖率＝评测并且提示系统能够覆盖的关键词数*覆盖效率因子模型*提示效率因子模型/评测词数。由于覆盖率是0-1之间的比率值。因此，覆盖率越大，说明搜索提示系统的提示功能强大。以评测词“不二神探”为例，其计算的覆盖率为1*0.75*0.5/1＝0.375。

步骤S140、对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

依据上述步骤S130的方式，依次计算获得每个评测词对应的覆盖率后，再对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

本发明在计算评测词的提示覆盖率时，还增加了覆盖效率因子和提示效率因子，从而使得可以全面量化和细化搜索提示系统的效果评估。因此，根据所述效果评估结果，可以更准确地反映提示搜索系统存在的问题，以供开发人员进行针对性地调整，进一步提高了搜索提示系统的搜索提示效率。

参照图3，提出本发明搜索提示系统的评估装置。该评估装置包括|：

评测词获取模块110，用于根据评测目标，随机提取相应的评测词；

搜索模块120，用于依次获取每个评测词覆盖的最少输入字数；

计算模块130，用于根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；

汇总模块140，用于对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

具体为，评测词获取模块110根据评测目标，从日志采集系统进行抽样、从热门榜单随机提取以及根据搜索类别进行随机提取，获得评测目标相应的评测词。若评测目标是评测搜索提示系统对热门电影的覆盖效果，则该评测目标对应的评测词可以从搜索热门电影关键词，例如百度电影榜单：http://top.baidu.com/category？c＝1。或者该评测目标对应的评测词可以从电影类别中搜索关键词。该评测词还可以从日志采集系统中关于热门电影的日志中抽样获得。所提取的评测词为多个，根据评测目标的不同而提取不同数量的评测词。

然后搜索模块120对评测词进行搜索提示，以获取每个评测词覆盖的最少输入字数。具体为：先将评测词输入完整，判断是否找到相应的结果。若评测词输入完整之后，搜索提示系统仍然没有找到相应的结果，则判定为搜索提示失败。若评测词输入完整之后，搜索提示系统可以找到相应的结果，则判定为提示成功。然后在搜索提示成功的情况下，进一步确定评测词覆盖的最少输入字数：将评测词从右到左，依次减少输入字符，直到搜索提示系统不能找到相应的结果时停止，此时评测词剩余的字数+1即为评测词覆盖的最少输入字数。本实施例中，该评测词覆盖的最少输入字数大于0。

计算模块130先根据所获得的评测词覆盖的最少输入字数，计算获得每个评测词的覆盖效率因子和提示效率因子，然后根据该覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率。具体的计算方式可参照前面方法实施例所述，在此就不再赘述。

最后，对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

本发明在计算评测词的提示覆盖率时，还增加了覆盖效率因子和提示效率因子，从而使得可以全面量化和细化搜索提示系统的效果评估。因此，根据所述效果评估结果，可以更准确地反映提示搜索系统存在的问题，以供开发人员进行针对性地调整，进一步提高了搜索提示系统的搜索提示效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该搜索提示系统的评估装置将通过若干指令实现，该若干指令存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，供终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种搜索提示系统的评估方法，其特征在于，包括以下步骤：

根据评测目标，随机提取相应的评测词；

依次获取每个评测词覆盖的最少输入字数；

根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；

对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率；

所述提示效率因子的计算方式为：

在评测词覆盖的最少输入字数时，记录评测词搜索提示结果对应的位置；

找到评测词搜索提示结果中包含所述评测词的位置对应的点击量，并计算所述点击量占评测词搜索提示结果中第一个位置对应的点击量的比例，获得提示效率因子。

2.根据权利要求1所述的搜索提示系统的评估方法，其特征在于，所述覆盖效率因子的计算方式为：

1-(评测词覆盖的最少输入字数/评测词的字数)。

3.根据权利要求1所述的搜索提示系统的评估方法，其特征在于，所述依次获取每个评测词覆盖的最少输入字数包括：

在完整输入每个评测词后能在所述搜索提示系统找到相应结果时，将评测词从右到左依次减少输入字符，直到在所述搜索提示系统不能找到相应的结果时停止，将当前的评测词输入字数加1作为评测词覆盖的最少输入字数。

4.根据权利要求1所述的搜索提示系统的评估方法，其特征在于，所述每个评测词的覆盖率的计算方式为：

评测并且提示系统能够覆盖的关键词数*覆盖效率因子*提示效率因子/评测词数。

5.根据权利要求1所述的搜索提示系统的评估方法，其特征在于，所述根据评测目标，随机提取相应的评测词包括：

根据评测目标，从日志采集系统进行抽样、从热门榜单随机提取，获得评测目标相应的评测词。

6.一种搜索提示系统的评估装置，其特征在于，包括：

评测词获取模块，用于根据评测目标，随机提取相应的评测词；

搜索模块，用于依次获取每个评测词覆盖的最少输入字数；

计算模块，用于根据所述每个评测词覆盖的最少输入字数，计算获得覆盖效率因子和提示效率因子，并根据所述覆盖效率因子和提示效率因子，计算获得每个评测词的覆盖率；所述提示效率因子的计算方式为：在评测词覆盖的最少输入字数时，记录评测词搜索提示结果对应的位置；找到评测词搜索提示结果中包含所述评测词的位置对应的点击量，并计算所述点击量占评测词搜索提示结果中第一个位置对应的点击量的比例，获得提示效率因子；

汇总模块，用于对每个评测词的覆盖率进行加权平均计算，获得所述评测目标的覆盖率。

7.根据权利要求6所述的搜索提示系统的评估装置，其特征在于，覆盖效率因子的计算方式为：

1-(评测词覆盖的最少输入字数/评测词的字数)。

8.根据权利要求6所述的搜索提示系统的评估装置，其特征在于，所述搜索模块，具体用于在完整输入每个评测词后能在所述搜索提示系统找到相应结果时，将评测词从右到左依次减少输入字符，直到在所述搜索提示系统不能找到相应的结果时停止，将当前的评测词输入字数加1作为评测词覆盖的最少输入字数。

9.根据权利要求6所述的搜索提示系统的评估装置，其特征在于，所述每个评测词的覆盖率的计算方式为：

评测并且提示系统能够覆盖的关键词数*覆盖效率因子*提示效率因子/评测词数。

10.根据权利要求6所述的搜索提示系统的评估装置，其特征在于，所述根据评测目标，随机提取相应的评测词包括：

根据评测目标，从日志采集系统进行抽样、从热门榜单随机提取，获得评测目标相应的评测词。