CN110941786A - 搜索效果的监控方法和装置 - Google Patents
搜索效果的监控方法和装置 Download PDFInfo
- Publication number
- CN110941786A CN110941786A CN201811105773.0A CN201811105773A CN110941786A CN 110941786 A CN110941786 A CN 110941786A CN 201811105773 A CN201811105773 A CN 201811105773A CN 110941786 A CN110941786 A CN 110941786A
- Authority
- CN
- China
- Prior art keywords
- search
- search result
- ndcg
- evaluation
- search results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000694 effects Effects 0.000 title claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 142
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种搜索效果的监控方法和装置。该方法包括：从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。实现了搜索效果的自动化监控。
Description
技术领域
本发明人涉及互联网搜索技术，尤其涉及一种搜索效果的监控方法和装置。
背景技术
网络搜索是指利用搜索引擎对互联网上的信息进行搜索。具体过程为，用户在搜索栏输入关键词并点击检索后，搜索引擎便会从索引数据库中找到匹配该关键词的网页，进而将网页展示给用户。对用户来说，输入关键词后，如果展示给用户的网页是按照与关键词的相关性从大到小依次排列的，那么用户从排在前面的几个网页的内容便可获得最有效的信息，用户搜索体验会提高；对于搜索引擎来说，将与关键词相关性较高的排在前面，被用户看到的概率是比较大，可以提高用户点击打开网页数量，从而增加收益。可见，对线上搜索效果进行实时监控，并根据监控结果及时地对搜索算法进行改进有重要的意义。
目前，现有技术还无法实现对搜索效果的监控。
发明内容
本发明提供一种搜索效果的监控方法和装置，用以解决搜索效果无法监控的难题。
第一方面，本发明提供一种搜索效果的监控方法，包括：
从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
可选的，所述根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
可选的，所述获取所述N个搜索结果对应的N个基准数据，包括：
通过点击模型获取所述N个搜索结果对应的N个基准数据。
可选的，所述根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
可选的，所述根据每个搜索结果，获取每个搜索结果对应的评价得分，包括：
根据如下公式确定每个搜索结果对应的评价得分；
其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。
可选的，所述根据每个基准数据，获取每个搜索结果对应的理想评价得分，包括：
根据如下公式确定每个搜索结果对应的理想评价得分：
其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，rel用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。
可选的，所述根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG，包括：
根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。
可选的，所述根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分，包括：
对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。
第二方面，本发明提供一种搜索效果的监控平台，包括：
获取模块，用于从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
第一确定模块，用于根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
第二确定模块，用于根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
可选的，所述第一确定模块，包括：获取单元和确定单元；
所述获取单元，用于获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
所述确定单元，用于根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
可选的，所述获取单元，具体用于通过点击模型获取所述N个搜索结果对应的N个基准数据。
可选的，所述确定单元，具体用于根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价得分；
其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。
可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的理想评价得分：
其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。
可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。
可选的，所述第二确定模块，具体用于对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述搜索效果的监控方法。
第四方面，本发明提供一种服务器，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现上述搜索效果的监控方法。
本发明提供的搜索效果的监控方法和装置，首先从搜索记录中获取监控周期内的N个搜索结果，然后根据N个搜索结果，确定N个搜索结果对应的N个评价指标NDCG；最后根据N个评价指标NDCG，确定监控周期内的搜索得分。实现了搜索效果的自动化监控。
附图说明
图1为本发明提供的搜索效果的监控方法的应用场景图；
图2为本发明提供的搜索效果的监控方法的实施例一的流程图；
图3为本发明提供的搜索效果的监控方法的实施例二的流程图；
图4为本发明提供的评价指标NDCG趋势示意图；
图5为本发明提供的搜索效果的监控平台的实施例一的结果示意图；
图6为本发明提供的服务器的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对搜索效果无法监控的难题，本发明提供一种搜索效果的监控方法和装置。可根据实际需求灵活设置监控周期，在每一个监控周期内，获取对应的N个搜索结果，然后确定该N个搜索结果对应的N个评价指标NDCG，最后对该N个评价指标NDCG取平均得到该监控周期内的搜索得分，该搜索得分指示了搜索效果的好坏，搜索得分越高，搜索效果越好。实现了搜索效果的自动化监控。
图1为本发明提供的搜索效果的监控方法的应用场景图。图1所示应用场景图包括：终端设备、服务器和搜索效果监控平台。
其中，终端设备和服务器之间为无线连接，服务器和搜索效率监控平台之间为无线连接或者有线连接。搜索效果监控平台可以作为软件模块或者硬件实体集成在服务器内，也可以作为硬件实体独立设置在服务器外。
其中，终端设备可用于接收用户输入的搜索请求，并将该搜索请求发送给服务器，服务器可用于采用搜索算法对上述搜索请求中携带的关键词进行搜索，得到相应的搜索结果后，返回给终端设备。服务器还可用于存储所有用户的搜索记录，该搜索记录包括用户搜索时使用的关键词，以及针对关键词得到的搜索结果。搜索效果监控平台可从服务器中调取搜索记录，并基于该搜索记录，执行本发明提供的搜索效果的监控方法，以得到不同监控周期的搜索得分。
可以理解的是，终端设备为多个，图1仅示出一个作为示意。终端设备可以是台式电脑、笔记本、个人数字助理(Personal Digital Assistant，简称：PDA)、智能手机和平板电脑等设备。
下面结合具体的实施例对搜索效果监控平台如何执行本发明提供的搜索效果的监控方法的具体过程进行详细描述。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本发明提供的搜索效果的监控方法的实施例一的流程图。如图2所示，本实施例提供的搜索效果的监控方法，包括：
S201、从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1。
其中，监控周期的时长可根据实际需要灵活设定，例如设定为1h。本实施例所描述的监控周期可以为监控开始后的任意一个监控周期。
其中，每条搜索记录均包括本次搜索使用的搜索关键词、本次搜索得到的搜索结果以及发生本次搜索时的时间信息。可根据搜索记录中时间信息抽取发生在某一监控周期内的搜索结果。
S202、根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG。
S203、根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
举例来说，假设监控周期的时长为1h，某一监控周期对应的监控时间段为11-0408:00:00至11-04 09:00:00，根据搜索记录中时间信息抽取发生在11-04 08:00:00至11-04 09:00:00的搜索结果,如表1所示，假设发生在该时间段内的搜索结果有10个，分别为搜索结果1、搜索结果2、……、搜索结果10。
| 关键词 | 搜索结果 |
| 关键词1 | 搜索结果1 |
| 关键词2 | 搜索结果2 |
| …… | …… |
| 关键词10 | 搜索结果10 |
在得到上述监控周期内的10个搜索结果后，根据每个搜索结果计算对应的评价指标NDCG，如表2所示，根据搜索结果1、搜索结果2、……、搜索结果10计算得到的评价指标NDCG分别为：NDCG1、NDCG2、……、NDCG10。
| 关键词 | 搜索结果 | 评价指标NDCG |
| 关键词1 | 搜索结果1 | NDCG1 |
| 关键词2 | 搜索结果2 | NDCG2 |
| …… | …… | …… |
| 关键词10 | 搜索结果10 | NDCG10 |
进而，根据得到的10个评价指标NDCG，计算上述监控周期内的搜素得分。具体可以为，对10个评价指标NDCG求取平均值，将该平均值作为上述监控周期内的搜索得分。
本实施例提供的搜索效果的监控方法，搜索效果监控平台首先从搜索记录中获取监控周期内的N个搜索结果，然后根据N个搜索结果，确定N个搜索结果对应的N个评价指标NDCG；最后根据N个评价指标NDCG，确定监控周期内的搜索得分。搜索得分越高，说明搜索效果越好。实现了搜索效果的自动化监控。
下面对上述实施例S102中如何根据N个搜索结果，确定N个搜索结果对应的N个评价指标NDCG的具体实施过程进行详细描述。
图3为本发明提供的搜索效果的监控方法的实施例二的流程图，如图3所示，本实施例提供的搜索效果的监控方法，包括：
S301、从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1。
其中，S201的具体实现过程可参见上述实施例中的S101，在此不再赘述。
S302、获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应。
其中，获取N个搜索结果对应的N个基准数据的一种可实现的方式为：针对每个搜索结果，采用人工标注的方法确定每个搜索结果对应的基准数据。
获取N个搜索结果对应的N个基准数据的另一种可实现的方式为：针对每个搜索结果，通过点击模型获取每个搜索结果对应的基准数据。
S303、根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
S304、根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
具体的，根据每个搜索结果和对应的基准数据，确定对应的评价指标NDCG的可实现方式为：
第一步、根据每个搜索结果，获取每个搜索结果对应的评价得分。
可选的，可根据如下公式确定每个搜索结果对应的评价得分；
第二步、根据每个基准数据，获取每个搜索结果对应的理想评价得分。
可选的，可根据如下公式确定每个搜索结果对应的理想评价得分：
第三步、根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
可选的，根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，以上三个步骤中，DCGp表示第一搜索结果对应的评价得分，IDCGp表示第一搜索结果对应的理想评价得分，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据。
下面以表2中的搜索结果1为例对上述评价指标NDCG的确定过程进行说明：假设搜索算法基于关键词1得到的搜索结果包含100个文档，取该100个文档中排在前面的10个文档进行上述评价指标NDCG的计算，即p等于10。该10个文档相对于关键词1的相关等级是预先标记过的，也就是说，rel1、rel2、……、rel10为已知，因此，可以根据第一步的公式计算出评价得分DCG10，并根据第二步的公式计算出理想评价得分IDCG10，在第二步的计算过程中需注意，需按照搜索结果1对应的基准数据的文档排列顺序求和得到IDCG10。在得到评价得分DCG10和理想评价得分IDCG10的基础上，再根据第三步计算得到搜索结果1对应的评价指标NDCG10的值。
相应的，可采用相同的方式获取到表2中搜索结果2、搜索结果3、……、搜索结果10中每个搜索结果对应的评价指标NDCG10，然后对该10个评价指标NDCG10求取平均值，便可得到p＝10的情况下相应监控周期内的搜索得分。
需要说明的是：上述p的值可以根据实际情况选择，也可取多个p值，监控不同p值的情况下各监控周期的搜索得分。
可选的，可通过如图4所示趋势图的形式实时地将每个监控周期的搜索得分输出，供技术人员根据搜索得分评估搜索算法的优劣。图4中，横坐标代表时间，纵坐标代表搜索得分。比如：图4中三角点所在位置对应的含义为：11-04 03:00:00这一时间点所对应的监控周期内的搜索得分为91.39。图4包含3条趋势线，每条趋势线对应不同的p值，图4仅以p＝10、p＝5和p＝3示意，本发明不以此为限。
本实施例提供的搜索效果的监控方法，描述了根据搜索结果确定评价指标NDCG的具体实施过程，实现了搜索效果的自动化监控。
图5为本发明提供的搜索效果的监控平台的实施例一的结果示意图，如图5所示，本实施例提供的搜索效果的监控平台，包括：
获取模块501，用于从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
第一确定模块502，用于根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
第二确定模块503，用于根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
可选的，所述第一确定模块502，包括：获取单元504和确定单元505；
所述获取单元504，用于获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
所述确定单元505，用于根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
可选的，所述获取单元504，具体用于通过点击模型获取所述N个搜索结果对应的N个基准数据。
可选的，所述确定单元505，具体用于根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
可选的，所述确定单元505，具体用于根据如下公式确定每个搜索结果对应的评价得分；
其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。
可选的，所述确定单元505，具体用于根据如下公式确定每个搜索结果对应的理想评价得分：
其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。
可选的，所述确定单元505，具体用于根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。
可选的，所述第二确定模块503，具体用于对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。
本实施例提供的搜索效果的监控平台，可用于执行图2或图3所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。
图6为本发明提供的服务器的硬件结构示意图。如图6所示，本实施例的服务器可以包括：
存储器601，用于存储程序指令。
处理器602，用于在所述程序指令被执行时实现上述任一实施例描述的搜索效果的监控方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的搜索效果的监控方法。
本发明还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得服务器实施上述任一实施例所述的搜索效果的监控方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述终端设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种搜索效果的监控方法，其特征在于，包括：
从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
3.根据权利要求2所述的方法，其特征在于，所述获取所述N个搜索结果对应的N个基准数据，包括：
通过点击模型获取所述N个搜索结果对应的N个基准数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
5.根据权利要求4所述的方法，其特征在于，所述根据每个搜索结果，获取每个搜索结果对应的评价得分，包括：
根据如下公式确定每个搜索结果对应的评价得分；
其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。
6.根据权利要求4所述的方法，其特征在于，所述根据每个基准数据，获取每个搜索结果对应的理想评价得分，包括：
根据如下公式确定每个搜索结果对应的理想评价得分：
其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。
7.根据权利要求4所述的方法，其特征在于，所述根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG，包括：
根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分，IDCGp表示第一搜索结果对应的理想评价得分。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分，包括：
对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。
9.一种搜索效果的监控平台，其特征在于，包括：
获取模块，用于从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
第一确定模块，用于根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
第二确定模块，用于根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。
10.根据权利要求9所述的监控平台，其特征在于，所述第一确定模块，包括：获取单元和确定单元；
所述获取单元，用于获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
所述确定单元，用于根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。
11.根据权利要求10所述的监控平台，其特征在于，
所述获取单元，具体用于通过点击模型获取所述N个搜索结果对应的N个基准数据。
12.根据权利要求10所述的监控平台，其特征在于，
所述确定单元，具体用于根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。
13.根据权利要求12所述的监控平台，其特征在于，
所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价得分；
其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。
14.根据权利要求12所述的监控平台，其特征在于，
所述确定单元，具体用于根据如下公式确定每个搜索结果对应的理想评价得分：
其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。
15.根据权利要求12所述的监控平台，其特征在于，
所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价指标NDCG：
其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。
16.根据权利要求9-15任一项所述的监控平台，其特征在于，
所述第二确定模块，具体用于对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法。
18.一种服务器，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811105773.0A CN110941786A (zh) | 2018-09-21 | 2018-09-21 | 搜索效果的监控方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811105773.0A CN110941786A (zh) | 2018-09-21 | 2018-09-21 | 搜索效果的监控方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110941786A true CN110941786A (zh) | 2020-03-31 |
Family
ID=69904428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811105773.0A Pending CN110941786A (zh) | 2018-09-21 | 2018-09-21 | 搜索效果的监控方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110941786A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100250523A1 (en) * | 2009-03-31 | 2010-09-30 | Yahoo! Inc. | System and method for learning a ranking model that optimizes a ranking evaluation metric for ranking search results of a search query |
| US20170249390A1 (en) * | 2012-12-20 | 2017-08-31 | Facebook, Inc. | Ranking Test Framework for Search Results on an Online Social Network |
| CN107122467A (zh) * | 2017-04-26 | 2017-09-01 | 努比亚技术有限公司 | 一种搜索引擎的检索结果评价方法及装置、计算机可读介质 |
-
2018
- 2018-09-21 CN CN201811105773.0A patent/CN110941786A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100250523A1 (en) * | 2009-03-31 | 2010-09-30 | Yahoo! Inc. | System and method for learning a ranking model that optimizes a ranking evaluation metric for ranking search results of a search query |
| US20170249390A1 (en) * | 2012-12-20 | 2017-08-31 | Facebook, Inc. | Ranking Test Framework for Search Results on an Online Social Network |
| CN107122467A (zh) * | 2017-04-26 | 2017-09-01 | 努比亚技术有限公司 | 一种搜索引擎的检索结果评价方法及装置、计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9870408B2 (en) | Search method and system | |
| EP2407897A1 (en) | Device for determining internet activity | |
| US8924409B1 (en) | Presentation of match quality in auto-complete suggestions | |
| US20100030648A1 (en) | Social media driven advertisement targeting | |
| US8949227B2 (en) | System and method for matching entities and synonym group organizer used therein | |
| CN107239497B (zh) | 热门内容搜索方法和系统 | |
| US20150186938A1 (en) | Search service advertisement selection | |
| JP2018516421A (ja) | ネットワークアクセス動作識別方法、サーバ及び記憶媒体 | |
| CN109858528B (zh) | 推荐系统训练方法、装置、计算机设备及存储介质 | |
| WO2008106668A1 (en) | User query mining for advertising matching | |
| CN103365839A (zh) | 一种搜索引擎的推荐搜索方法和装置 | |
| CN110309251B (zh) | 文本数据的处理方法、装置和计算机可读存储介质 | |
| CN109766492B (zh) | 学习推荐方法、装置、设备和可读介质 | |
| US10296540B1 (en) | Determine image relevance using historical action data | |
| CN110825977A (zh) | 一种数据推荐方法及相关设备 | |
| CN111612581A (zh) | 一种物品推荐的方法、装置、设备及存储介质 | |
| CN110245357B (zh) | 主实体识别方法和装置 | |
| CN110008396B (zh) | 对象信息推送方法、装置、设备及计算机可读存储介质 | |
| CN113128305A (zh) | 人像档案聚档评估方法、装置、电子设备及存储介质 | |
| CN113204699B (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
| CN110580265B (zh) | Etl任务的处理方法、装置、设备及存储介质 | |
| CN111523048A (zh) | 社交网络中好友的推荐方法、装置、存储介质及终端 | |
| CN110941786A (zh) | 搜索效果的监控方法和装置 | |
| CN111078972B (zh) | 提问行为数据的获取方法、装置和服务器 | |
| CN113065025A (zh) | 视频查重方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200423 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 510000 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping square B radio tower 12 layer self unit 01 Applicant before: GUANGZHOU SHENMA MOBILE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |
|
| RJ01 | Rejection of invention patent application after publication |