CN109582751B - 一种检索效果的度量方法及服务器 - Google Patents

Abstract

本发明提供一种检索效果的度量方法及服务器，该方法包括：根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；对所述非提示随机检索请求进行底层召回，获得第一POI集合；根据所述第一POI集合统计所述第一目标POI的第一召回率。本发明降低了检索效果测试的人工成本，提高了测试效率。

Description

一种检索效果的度量方法及服务器

技术领域

本发明涉及地图检索技术领域，尤其涉及一种检索效果的度量方法及服务器。

背景技术

众所周知，在LBS(Location Based Service，基于位置的服务)地图应用中，由于地图数据通常会周期性的更新，为了提高检索效果，需要不断更新应用版本，以更新检索策略。然而在新的版本上线前需要对检索效果进行测试。现有技术中，通常采用人工的方式逐一对样本进行检索测试，根据每一次检索测试返回的兴趣点POI评估检索效果。这种测试方式费时费力，测试人工成本较大。

发明内容

本发明实施例提供一种检索效果的度量方法及服务器，以解决检索效果评估人工成本较大的问题。

第一方面，本发明实施例提供了一种检索效果的度量方法，包括：

根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

对所述非提示随机检索请求进行底层召回，获得第一POI集合；

根据所述第一POI集合统计所述第一目标POI的第一召回率。

第二方面，本发明实施例还提供了一种服务器，包括：

请求构建模块，用于根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

基础检索模块，用于对所述非提示随机检索请求进行底层召回，获得第一POI集合；

处理模块，用于根据所述第一POI集合统计所述第一目标POI的第一召回率。

第三方面，本发明实施例还提供了一种服务器，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述检索效果的度量方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述检索效果的度量方法的步骤。

本发明实施例中，通过根据每一条随机检索样本构建一非提示随机检索请求，对所述非提示随机检索请求进行底层召回，获得第一POI集合；根据所述第一POI集合统计所述第一目标POI的第一召回率。这样，用户只需要对第一目标POI进行标注，即可自动统计底层召回的情况，从而评估底层检索的效果，因此降低了检索效果测试的人工成本，提高了测试效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的检索效果的度量方法的流程图；

图2是本发明实施例进行线下测试的流程示意图；

图3是本发明实施例进行线上监控的流程示意图；

图4是本发明一实施例提供的服务器的结构图；

图5是本发明另实施例提供的服务器的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本发明实施例提供的一种检索效果的度量方法的流程图，如图1所示，包括以下步骤：

步骤101，根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI。

本发明实施例中，上述随机检索样本为随机抓取终端发送的非提示检索请求关联的检索信息样本，该随机检索样本的数量可以根据实际需要进行设置，例如可以为3000条。具体的，在LBS地图应用中，终端可以发送检索请求，以在地图上检索相应的POI。该检索请求包括提示检索请求和非提示检索请求，例如当用户输入检索关键词“北京大学”时，LBS地图应用将会根据用户输入的检索关键词输出提示条目，例如该提示条目可以包括“北京大学公交站”、“北京大学A校区”、“北京大学B校区”和“北京大学图书馆”等。若用户直接通过关键词进行检索时，则向服务器发送的检索请求为非提示检索请求，此时服务器将会检索返回多个POI供用户选择；若用户通过点击提示条目进行检索时，则向服务器发送的检索请求为提示检索请求，此时服务器将会返回提示条目的具体位置信息，即Sug可以一键直达。其中，非提示检索请求关联的检索信息样本可以包括地域和检索关键词等相关信息。在Session日志，将会记录终端每一次发送的检索请求对应形成的精确需求(非suggestion)样本，即检索信息样本。本实施例中，可以在Session日志中随机抓取NA端(即终端)精确需求(非suggestion)样本，从而得到3000条随机检索样本。

具体的，对于随机检索样本，可以人工标注每一检索随机样本对应的主需求(该主需求为上述第一目标兴趣点)。该由于在不同的时间段用户检索的主需求可能发生变化，为了提高检索效果测试的准确性，可以周期性维护主需求的变化，即周期性更新上述第一目标兴趣点。例如针对上述检索关键词“北京大学”的例子，如果在某一段时间内若在检索关键词“北京大学”返回的POI中选择“北京大学A校区”的选择率为30％，选择“北京大学B校区”的搜的选择率为35％，则用户可以选择“北京大学A校区”和“北京大学B校区”为上述第一目标POI，即选择“北京大学A校区”和“北京大学B校区”为主需求。如果在某一段时间内若在检索关键词“北京大学”返回的POI中选择“北京大学A校区”的选择率为50％，选择“北京大学B校区”的搜的选择率为20％，则用户可以选择“北京大学A校区”为上述第一目标POI，即选择“北京大学A校区”为主需求。

上述3000条随机检索样本对应为3000条非提示随机检索请求。服务器将会根据该3000条随机检索请求返回对应的检索结果。

步骤102，对所述非提示随机检索请求进行底层召回，获得第一POI集合；

在服务器中进行检索服务的模块可以包括检索服务入口模块、高级检索模块和基础检索模块，其中，检索服务入口模块可以接收上述非提示随机检索请求，然后将非提示随机检索请求透传到高级检索模块，高级检索模块再将非提示随机检索请求透传到基础检索模块。基础检索模块将会根据召回策略进行底层召回，获得非提示随机检索请求对应的第一POI集合。本实施例中，透传是指将参数和/或变量保持不变的传递。上述底层召回是指在底层架构层面进行POI召回，经过底层召回后可以获得未经过排序和筛选的结果，即第一POI集合。

进一步的，为了提高检索的效率，基础检索模块可以采用多队列召回策略进行底层召回，即上述步骤102包括：按照多队列召回策略对所述非提示随机检索请求进行底层召回，获得每一队列对应召回的POI子集，所述第一POI集合包括所有队列对应的POI子集。其中上述召回策略的具体方案可以根据实际需要进行设置，在此不做进一步的限定。上述基础检索模块在获得第一POI集合后，将会把第一POI集合返回到高级检索模块。

步骤103，根据所述第一POI集合统计所述第一目标POI的第一召回率。

本实施例中，可以根据所述第一POI集合判断上述第一目标POI是否在底层召回，即上述第一目标POI是否包含与所述第一POI集合中。具体的，上述第一目标POI，可以为上述随机检索样本构建的检索请求中召回的POI，也可以为上述随机检索样本构建的检索请求中未召回的POI。当第一目标POI为多个时，当全部的第一目标POI都被召回，则确定该随机检索样本对应的第一目标POI在底层召回成功。当所有的随机检索样本对应的非提示随机检索请求在底层召回完成后，可以统计所有的随机检索样本对应的第一目标POI的召回率，即上述第一召回率，该第一召回率是指在上述第一目标POI在底层，即基础检索模块，被召回成功的概率。例如，每一随机检索样本对应一个第一目标POI时，上述3000条随机检索样本，其中2940条随机检索样本对应的第一目标POI在底层召回，则可以得到上述第一召回率为98％。

本发明实施例中，通过根据每一条随机检索样本构建一非提示随机检索请求，对所述非提示随机检索请求进行底层召回，获得第一POI集合；根据所述第一POI集合统计所述第一目标POI的第一召回率。这样，用户只需要对第一目标POI进行标注，即可自动统计底层召回的情况，从而评估底层检索的效果，因此降低了检索效果测试的人工成本，提高了测试效率。

进一步，本发明实施例除了对底层的检索效果进行测试评估，还可以对高级检索模块的排序和过滤后整体检索效果进行测试评估。具体的，本实施例中，在上述步骤102之后，该方法还包括：

步骤104，对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合；

步骤105，根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标。

应当说明的是，上述步骤104和步骤103之间没有先后顺序。

本实施例中，上述整体召回是指对底层召回的结果进行排序和筛选，并返回给用户层面的检索过程，上述整体召回指标是指对整体召回结果的效果进行评估的指标。该整体召回指标具体可以包括所述第一目标POI在首位召回的第二召回率、所述第一目标POI在前三位召回的第三召回率、所述第一目标POI在前十位召回的第四召回率和所述第一目标POI的平均排序位置中的至少一项。本发明实施例通过第二召回率、第三召回率、第四召回率和平均排序位置确定最终召回的效果，从而可以对最终检索的效果进行评估，进一步完善检索效果的度量。

进行排序和过滤的策略可以根据实际需要进行设置，在此不做进一步的限定。上述第二POI集合为一个整体的集合，上述高级检索模块可以对上述第一POI集合中的所有子集进行排序和过滤后得到第二POI集合，该第二POI集合中的所有POI用于返回给终端，以展示给用户查看。本实施例中，当高级检索模块确定第二POI集合后，将会把第二POI集合返回到检索服务端入口模块，然后由检索服务端入口模块进行最终召回信息返回，该最终召回信息包括没有随机检索样本对应的第二POI集合。在服务器中还可以设置处理模块获取该最终召回信息，然后根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标。其中，当随机检索样本对应的第一目标POI为一个时，若第一目标POI位于第二POI集合中的第一个位置，则确定为首位召回成功，前三位召回成功以及前十位召回成功。若第一目标POI位于第二POI集合的第四个位置，则确定首位召回失败，前三位召回失败以及前十位召回成功。上述第二召回率是指在首位被召回成功的概率，上述第三召回率是指第一目标POI在前三位被召回成功的概率，上述第四召回率是指第一目标POI在前十位被召回成功的概率。

应当说明的是，当随机检索样本对应的第一目标POI为多个时，首位召回成功是指第二POI集合中的首位召回随机检索样本对应的任意一个目标POI；前三位召回成功是指在第二POI集合中的前三位召回随机检索样本对应的所有第一目标POI，前10为召回成功是指在第二POI集合的前十位召回随机检索样本对应的所有第一目标POI。例如随机检索样本对应两个第一目标POI，其中，第一个第一目标POI位于第二POI集合的第一个位置，第二个第一目标POI位于第二POI集合的第四个位置，则可以确定该随机检索样本对应的第一目标POI首位召回成功，前三位召回失败，前十位召回成功。

上述平均排序位置是指随机检索样本对应的所有已经召回的第一目标POI位于第二POI集合中的平均排序位置。

进一步的，在上述步骤102之后，还包括：

根据所述第一目标POI是否包含在所述第一POI集合中，确定召回标识信息，所述召回标识信息用于表示所述第一目标POI在底层召回成功或失败；

根据所述召回标识信息统计所述第一目标POI的第一召回率。

在本实施例中，上述高级检索模块可以判断每一第一目标POI是否在第一POI集合中，从而确定第一目标POI是否被召回，并在最终召回信息中返回召回标识信息，例如用1和0标识底层召回成功或者失败，其中1表示召回成功，0表示召回失败。此外，在其他实施例中，还可以通过不同的字符表示成功或者失败，另外还可以通过隐式方式指示成功或失败，在此不做进一步的限定。上述处理模块可以根据所有随机检索样本对应返回的最终召回信息中召回标识信息统计所述第一目标POI的第一召回率。这样，高级检索过滤模块返回的最终召回信息中无需包含第一POI集合，只需要返回召回标识信息即可，因此可以减少数据传输量。例如，存在两个随机检索样本，第一个随机检索样本对应一个第一目标POI，返回的召回标识信息为1。第二个检索随机样本对应两个第一目标POI，返回的召回信息为(1，0)。则第一个随机检索样本的底层召回率为100％，第二个随机检索样本的底层召回率为50％，上述第一召回率为(100％+50％)/2＝75％。

进一步的，基于上述实施例，本实施例中，上述方法还包括：

根据所述第二POI集合，确定所述第一目标POI中整体召回失败的第二目标POI；

根据所述第二目标POI和所述第二目标POI对应的召回标识信息，确定所述第二目标POI为底层召回失败或整体召回失败。

在本实施例中，上述处理模块可以首先查询每一随机检索样本对应的第一目标POI是否包含于第二POI集合中，确定不包含于第二POI集合中的第二目标POI。然后根据第二目标POI对应的召回信息确定第二目标POI是否在底层召回成功，若在底层召回成功，则可以确定为整体召回失败，即高级检索模块的排序和过滤导致第一目标POI召回失败；若在底层召回失败，从而确定为底层召回失败。这样，可以自动定位第一目标POI召回失败的原因属于底层召回失败还是整体召回失败，从而可以更加方便对底层召回策略和排序过滤策略进行改进，优化地图应用。

应当说明的是，为了兼容测试的非提示随机检索请求和正常使用的检索请求，在本实施例中，还可以在检索请求设置调试标识。具体的，在本实施例中，所述非提示随机检索请求还包括用于指示调试是否开启的调试标识，上述步骤103包括：当所述调试标识指示调试开启时，根据所述第一POI集合统计所述第一目标POI的第一召回率。

上述调试标识为调试debug开关。本实施例中，当调试标识开启时，则对第一召回率进行统计，若未开启，则不对第一召回率进行统计，这样可以避免每次都对第一召回率进行统计，造成系统开销较大，因此本实施例可以进一步提升系统性能。

本发明实施例提供的检索效果的度量方法可以用于进行线下测试和线上监控。为了更好的理解本发明，以下针对线下测试和线上监控的流程进行详细说明。

在进行线下测试时，可以首先测试地图应用升级前的版本获得第一度量数据，第一度量数据包括上述底层召回率和整体召回指标；然后测试地图应用升级后的版本获得第二度量数据，第二度量数据包括底层召回率和整体召回指标。通过第一度量数据和第二度量数据比对自动统计检索效果发生变化的数据，并确定检索效果发生变化的随机检索样本。

具体的，如图2所示，线下测试流程如下：

1、首先进行随机检索样本提取，并对提取的随机检索样本进行随机性验证。

2、对随机检索样本进行预处理，包括：主需求标注、周期性维护和BID判重。其中，周期性维护是指对主需求进行周期性更新，具体更新的周期可以根据实际需要进行设置，在此不做进一步的限定，例如可以以一天、一周或者一月作为维护的周期对主需求进行周期性更新；也就是说，上述周期性维护可以表示为天粒度维护、周粒度维护和月粒度维护等。BID是指主需求的唯一标识，BID判重是指将失效的主需求对应的BID映射到新主需求上。

3、构建用于线下测试的非提示随机检索请求。

4、发起测试任务。

5、启动任务。执行该任务包括底层召回过程和整体召回过程。其中，底层召回过程包括对所述非提示随机检索请求进行底层召回，获得第一POI集合，对所述非提示随机检索请求进行底层召回，获得第一POI集合。整体召回过程包括：按对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合。在执行测试任务的过程中对底层关键信息进行拦截，获得底层召回指标(即上述第一召回率)；同时，通过底层解析和特征提取获得整体召回指标；最后进行结果入库(即将整体召回指标和底层召回指标保存)。

6、根据底层召回指标和整体召回指标，输出在基准任务和测试任务中具有不同检索结果非提示随机检索请求，并自动定位底层和上层问题(即定位底层召回失败还是顶层召回失败)。其中基准任务是指对地图应用升级前的版本进行线下测试的任务，测试任务是指对地图应用升级后的版本进行线下测试的任务。

7、前端展示不同的数据。例如，不同的数据可以包括差异的非提示随机检索请求对应的随机检索样本、该随机检索样本的主需求和主需求召回失败的原因等。

在进行线上监控时，可以每次间隔一定周期执行一次监测任务，每一次监测任务是执行本实施例的方法，得到底层召回率和整体召回指标，从而向前端展示底层召回率的变化曲线，以及整体召回指标的各指标变化曲线。

具体的，如图3所示，线上监控流程如下：

1、首先进行随机检索样本提取，并对提取的随机检索样本进行随机性验证。

2、对随机检索样本进行预处理，包括：主需求标注、周期性维护和BID判重。其中，周期性维护是指对主需求进行周期性更新，具体的更新的周期可以根据实际需要进行设置，在此不做进一步的限定，例如可以以一天、一周或者一月作为维护的周期对主需求进行周期性更新；也就是说，上述周期性维护可以表示为天粒度维护、周粒度维护和月粒度维护等。上述BID是指主需求的唯一标识，BID判重是指将失效的主需求对应的BID映射到新主需求上。

3、构建用于线上监控的非提示随机检索请求。

4、发起线上监控任务。

5、启动任务。执行该任务包括底层召回过程和整体召回过程。其中，底层召回过程包括对所述非提示随机检索请求进行底层召回，获得第一POI集合，对所述非提示随机检索请求进行底层召回，获得第一POI集合。整体召回过程包括：按照对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合。在执行测试任务的过程中对底层关键信息进行拦截，获得底层召回指标(即上述第一召回率)；同时，通过底层解析和特征提取获得整体召回指标；最后进行结果入库(即将整体召回指标和底层召回指标保存)。

6、前端展示不同指标的曲线。例如该指标包括底层召回指标和整体召回指标。

需要说明的是，本发明实施例中介绍的多种可选的实施方式，彼此可以相互结合实现，也可以单独实现，对此本发明实施例不作限定。

参见图4，图4是本发明实施例提供的服务器的结构图，如图4所示，服务器400包括：

请求构建模块401，用于根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

基础检索模块404，用于对所述非提示随机检索请求进行底层召回，获得第一POI集合；

处理模块403，用于根据所述第一POI集合统计所述第一目标POI的第一召回率。

可选的，所述服务器400还包括：

高级检索模块，用于对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合；

所述处理模块403，还用于根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标；所述整体召回指标包括所述第一目标POI在首位召回的第二召回率、所述第一目标POI在前三位召回的第三召回率、所述第一目标POI在前十位召回的第四召回率和所述第一目标POI的平均排序位置中的至少一项。

可选的，所述高级检索服务模块还用于，根据所述第一目标POI是否包含在所述第一POI集合中，确定召回标识信息，所述召回标识信息用于表示所述第一目标POI在底层召回成功或失败；

所述处理模块403还用于，根据所述召回标识信息统计所述第一目标POI的第一召回率。

可选的，所述处理模块403还用于：根据所述第二POI集合，确定所述第一目标POI中整体召回失败的第二目标POI；根据所述第二目标POI和所述第二目标POI对应的召回标识信息，确定所述第二目标POI为底层召回失败或整体召回失败。

可选的，所述基础检索模块404具体用于：按照多队列召回策略对所述非提示随机检索请求进行底层召回，获得每一队列对应召回的POI子集，所述第一POI集合包括所有队列对应的POI子集。

可选的，所述非提示随机检索请求还包括用于指示调试是否开启的调试标识，所述处理模块403具体用于：当所述调试标识指示调试开启时，根据所述第一POI集合统计所述第一目标POI的第一召回率。

本发明实施例提供的移动终端能够实现图1至图3的方法实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。由于用户只需要对第一目标POI进行标注，即可自动统计底层召回的情况，从而评估底层检索的效果，因此降低了检索效果测试的人工成本，提高了测试效率。

请参阅图5，图5是本发明实施例提供的网络侧设备的结构图，能够实现上述实施例中检索效果的度量方法的细节，并达到相同的效果。如图5所示，网络侧设备500包括：处理器501、收发机502、存储器503、用户接口504和总线接口，其中：

处理器501，用于读取存储器503中的程序，执行下列过程：根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

对所述非提示随机检索请求进行底层召回，获得第一POI集合；

根据所述第一POI集合统计所述第一目标POI的第一召回率。

在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器501代表的一个或多个处理器和存储器503代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机502可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口504还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器501负责管理总线架构和通常的处理，存储器503可以存储处理器501在执行操作时所使用的数据。

可选的，程序被处理器501执行时还可实现如下步骤：按对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合；根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标；所述整体召回指标包括所述第一目标POI在首位召回的第二召回率、所述第一目标POI在前三位召回的第三召回率、所述第一目标POI在前十位召回的第四召回率和所述第一目标POI的平均排序位置中的至少一项。

可选的，程序被处理器501执行时还可实现如下步骤：根据所述第一目标POI是否包含在所述第一POI集合中，确定召回标识信息，所述召回标识信息用于表示所述第一目标POI在底层召回成功或失败；根据所述召回标识信息统计所述第一目标POI的第一召回率。

可选的，程序被处理器501执行时还可实现如下步骤：根据所述第二POI集合，确定所述第一目标POI中整体召回失败的第二目标POI；根据所述第二目标POI和所述第二目标POI对应的召回标识信息，确定所述第二目标POI为底层召回失败或整体召回失败。

可选的，程序被处理器501执行时还可实现如下步骤：按照多队列召回策略对所述非提示随机检索请求进行底层召回，获得每一队列对应召回的POI子集，所述第一POI集合包括所有队列对应的POI子集。

可选的，所述非提示随机检索请求还包括用于指示调试是否开启的调试标识，程序被处理器501执行时还可实现如下步骤：当所述调试标识指示调试开启时，根据所述第一POI集合统计所述第一目标POI的第一召回率。

本发明实施例中，通过根据每一条随机检索样本构建一非提示随机检索请求，对所述非提示随机检索请求进行底层召回，获得第一POI集合；根据所述第一POI集合统计所述第一目标POI的第一召回率。这样，用户只需要对第一目标POI进行标注，即可自动统计底层召回的情况，从而评估底层检索的效果，因此降低了检索效果测试的人工成本，提高了测试效率。

优选的，本发明实施例还提供一种服务器，包括处理器501，存储器503，存储在存储器503上并可在所述处理器501上运行的计算机程序，该计算机程序被处理器501执行时实现上述检索效果的度量方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述检索效果的度量方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种检索效果的度量方法，其特征在于，包括：

根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

对所述非提示随机检索请求进行底层召回，获得第一POI集合；

根据所述第一POI集合统计第一目标POI的第一召回率；

所述对所述非提示随机检索请求进行底层召回，获得第一POI集合之后，还包括：

对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合；

根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标；所述整体召回指标是指用于对整体召回结果的效果进行评估的指标。

2.根据权利要求1所述的方法，其特征在于，所述整体召回指标包括所述第一目标POI在首位召回的第二召回率、所述第一目标POI在前三位召回的第三召回率、所述第一目标POI在前十位召回的第四召回率和所述第一目标POI的平均排序位置中的至少一项。

3.根据权利要求2所述的检索效果的度量方法，其特征在于，所述根据所述第一POI集合统计所述第一目标POI的第一召回率，包括：

根据所述第一目标POI是否包含在所述第一POI集合中，确定召回标识信息，所述召回标识信息用于表示所述第一目标POI在底层召回成功或失败；

根据所述召回标识信息统计所述第一目标POI的第一召回率。

4.根据权利要求3所述的检索效果的度量方法，其特征在于，所述方法还包括：

根据所述第二POI集合，确定所述第一目标POI中整体召回失败的第二目标POI；

根据所述第二目标POI和所述第二目标POI对应的召回标识信息，确定所述第二目标POI为底层召回失败或整体召回失败。

5.根据权利要求1所述的检索效果的度量方法，其特征在于，所述对所述非提示随机检索请求进行底层召回，获得第一POI集合包括：

按照多队列召回策略对所述非提示随机检索请求进行底层召回，获得每一队列对应召回的POI子集，所述第一POI集合包括所有队列对应的POI子集。

6.根据权利要求1所述的检索效果的度量方法，其特征在于，所述非提示随机检索请求还包括用于指示调试是否开启的调试标识，所述根据所述第一POI集合统计所述第一目标POI的第一召回率，包括：

当所述调试标识指示调试开启时，根据所述第一POI集合统计所述第一目标POI的第一召回率。

7.一种服务器，其特征在于，包括：

请求构建模块，用于根据每一条随机检索样本构建一非提示随机检索请求，所述非提示随机检索请求包括所述随机检索样本对应的至少一个第一目标兴趣点POI；

基础检索模块，用于对所述非提示随机检索请求进行底层召回，获得第一POI集合；

处理模块，用于根据所述第一POI集合统计第一目标POI的第一召回率；

所述服务器还包括：

高级检索模块，用于对所述第一POI集合进行排序和过滤，获得整体召回的第二POI集合；

所述处理模块，还用于根据所述第一目标POI在所述第二POI集合中的排序位置，确定整体召回指标，所述整体召回指标是指用于对整体召回结果的效果进行评估的指标。

8.根据权利要求7所述的服务器，其特征在于，所述整体召回指标包括所述第一目标POI在首位召回的第二召回率、所述第一目标POI在前三位召回的第三召回率、所述第一目标POI在前十位召回的第四召回率和所述第一目标POI的平均排序位置中的至少一项。

9.根据权利要求8所述的服务器，其特征在于，所述高级检索服务模块还用于，根据所述第一目标POI是否包含在所述第一POI集合中，确定召回标识信息，所述召回标识信息用于表示所述第一目标POI在底层召回成功或失败；

所述处理模块还用于，根据所述召回标识信息统计所述第一目标POI的第一召回率。

10.根据权利要求9所述的服务器，其特征在于，所述处理模块还用于：根据所述第二POI集合，确定所述第一目标POI中整体召回失败的第二目标POI；根据所述第二目标POI和所述第二目标POI对应的召回标识信息，确定所述第二目标POI为底层召回失败或整体召回失败。

11.根据权利要求7所述的服务器，其特征在于，所述基础检索模块具体用于：按照多队列召回策略对所述非提示随机检索请求进行底层召回，获得每一队列对应召回的POI子集，所述第一POI集合包括所有队列对应的POI子集。

12.根据权利要求7所述的服务器，其特征在于，所述非提示随机检索请求还包括用于指示调试是否开启的调试标识，所述处理模块具体用于：当所述调试标识指示调试开启时，根据所述第一POI集合统计所述第一目标POI的第一召回率。

13.一种服务器，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的检索效果的度量方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的检索效果的度量方法的步骤。

Images