CN110727865A - 检索策略的问题定位方法、装置、电子设备及存储介质 - Google Patents
检索策略的问题定位方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110727865A CN110727865A CN201910955343.6A CN201910955343A CN110727865A CN 110727865 A CN110727865 A CN 110727865A CN 201910955343 A CN201910955343 A CN 201910955343A CN 110727865 A CN110727865 A CN 110727865A
- Authority
- CN
- China
- Prior art keywords
- retrieval
- strategy
- preset
- result information
- evaluation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 35
- 230000000694 effects Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 abstract description 9
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009897 systematic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011045 prefiltration Methods 0.000 description 4
- 238000000275 quality assurance Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了检索策略的问题定位方法、装置、电子设备及存储介质，涉及信息检索技术领域。具体实现方案为：接收检索请求；根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数；利用公共函数获取与各个预定检索策略对应的检索结果信息；根据检索结果信息定位出现问题的检索策略。本申请实施例能够将检索未生效原因定位到检索服务的各个步骤中的引发问题的具体策略。根据上述检索结果信息，可帮助确定预上线项目的迭代方向。可客观衡量线上项目中各策略质量及变化，支持业务决策。对于用户上报问题，可快速地做出策略原因定位，提升用户体验。
Description
技术领域
本申请涉及一种信息技术领域，尤其涉及一种信息检索技术领域。
背景技术
现有技术的检索效果的度量技术定位能力薄弱，不能定位引发问题的具体策略。以LBS(Location Based Service，基于位置服务)地图POI(Point of Interest，兴趣点)检索为例，已有的效果度量技术定义了检索核心指标度量检索整体效果，但不能定位引发问题的具体策略，且人工分析成本高。
具体而言，现有检索策略的问题定位方法具有如下缺陷：
1)对于系统性问题定位，普通存在样本量小、人工评估及定位效率低下，以及线下环境不复现的问题。现有系统性问题的定位方法无法对策略优化提供强有力的指导方向。
2)对于单个CASE(案例)定位，存在人工定位与问题解决的时间周期长的问题。实际解决问题时，存在BadCASE(坏例)在线下环境无法复现的情况。
3)无法长期监控各策略问题及变化。现有的系统性策略问题定位方法，无法对线上策略的召回质量和变化做长期监控，无法输出最新的策略问题分布。
发明内容
本申请实施例提出一种检索策略的问题定位方法、装置、电子设备及存储介质，以至少解决现有技术中的以上技术问题。
第一方面，本申请实施例提供了一种检索策略的问题定位方法，包括：
接收检索请求；
根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数；
利用公共函数获取与各个预定检索策略对应的检索结果信息；
根据检索结果信息定位出现问题的检索策略。
本申请实施例中，能够将检索未生效原因定位到检索服务的各个步骤中的引发问题的具体策略。根据上述检索结果信息，可帮助确定预上线项目的迭代方向。可客观衡量线上项目中各策略质量及变化，支持业务决策。对于用户上报问题，可快速地做出策略原因定位，提升用户体验。
在一种实施方式中，根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数，包括：
识别检索请求中是否包括信息获取参数；
若识别到检索请求中包括信息获取参数，则在执行各个预定检索策略的过程中调用公共函数。
本申请实施例中，通过信息获取参数指示检索服务在执行各个预定检索策略的过程中是否调用公共函数。一方面在需要定位出现问题的检索策略的场景下，在检索请求添加信息获取参数以获取检索结果信息。另一方面在不需要定位出现问题的检索策略的场景下，则在检索请求不添加信息，不执行调用公共函数的步骤，避免系统资源的浪费。
在一种实施方式中，检索请求包括兴趣点检索请求；和/或，检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
本申请实施例中，利用公共函数获取与各个预定检索策略对应的兴趣点是否召回和/或召回排序信息，能够精确定位到兴趣点检索服务的引发问题的具体策略，找到检索未生效原因。
在一种实施方式中，根据检索结果信息定位出现问题的检索策略，包括：
根据检索结果信息统计各个预定检索策略的效果指标，效果指标包括召回率和排序能力指标；
根据各个预定检索策略的效果指标定位出现问题的检索策略。
本申请实施例中，通过统计各个预定检索策略的效果指标，在线上质量保证方面，可客观衡量各策略质量及变化，自动收集批量的各策略存量BadCASE，支持业务决策，提升用户体验。
在一种实施方式中，上述方法还包括：
获取第一评估结果和第二评估结果，第一评估结果是检索服务的基准任务策略的检索结果信息，第二评估结果是检索服务的测试任务的检索结果信息，测试任务策略是对基准任务策略进行优化得到的；
比较第一评估结果和第二评估结果的差异；
根据差异确认是否将基准任务策略优化为测试任务策略。
本申请实施例中，通过比较第一评估结果和第二评估结果的差异，在预上线项目质量保证方面，可确定项目迭代方向，最大化项目效果。
第二方面，本申请实施例提供了一种检索策略的问题定位装置，包括：
接收单元，用于接收检索请求；
执行单元，用于根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数；
获取单元，用于利用公共函数获取与各个预定检索策略对应的检索结果信息；
定位单元，用于根据检索结果信息定位出现问题的检索策略。
在一种实施方式中，执行单元用于：
识别检索请求中是否包括信息获取参数；
若识别到检索请求中包括信息获取参数，则在执行各个预定检索策略的过程中调用公共函数。
在一种实施方式中，检索请求包括兴趣点检索请求；和/或，检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
在一种实施方式中，定位单元用于：
根据检索结果信息统计各个预定检索策略的效果指标，效果指标包括召回率和排序能力指标；
根据各个预定检索策略的效果指标定位出现问题的检索策略。
在一种实施方式中，上述装置还包括优化单元，优化单元用于：
获取第一评估结果和第二评估结果，第一评估结果是检索服务的基准任务策略的检索结果信息，第二评估结果是检索服务的测试任务的检索结果信息，测试任务策略是对基准任务策略进行优化得到的；
比较第一评估结果和第二评估结果的差异；
根据差异确认是否将基准任务策略优化为测试任务策略。
第三方面，本申请实施例提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
上述申请中的一个实施例具有如下优点或有益效果：能够将检索未生效原因定位到检索服务的各个步骤中的引发问题的具体策略。根据上述检索结果信息，可帮助确定预上线项目的迭代方向。可客观衡量线上项目中各策略质量及变化，支持业务决策。对于用户上报问题，可快速地做出策略原因定位，提升用户体验。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的检索策略的问题定位方法的流程图；
图2是根据本申请实施例的检索策略的问题定位方法的优化流程图；
图3是根据本申请实施例的检索策略的问题定位方法的测试数据表格；
图4是根据本申请实施例的检索策略的问题定位方法的召回率统计数据示意图；
图5是根据本申请实施例的检索策略的问题定位方法的排序能力统计数据示意图；
图6是根据本申请实施例的检索策略的问题定位装置的结构示意图；
图7是根据本申请实施例的检索策略的问题定位装置的结构示意图；
图8是用来实现本申请实施例的检索策略的问题定位方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
通常的检索策略的问题定位方法分为系统性问题定位方法和单个CASE定位方法两方面内容。具体的检索应用场景可包括以下情形：若用户直接通过关键词进行检索，则向服务器发送的检索请求为非提示检索请求；若用户通过点击提示条目进行检索，则向服务器发送的检索请求为提示检索请求。系统性问题定位方法主要包括以下过程：人工每季度分析批量随机nosug(非提示)样本，产品专员在地图APP(APPlication，应用程序)评估检索效果，标记BadCASE。完成评估后把全量BadCASE提供给开发人员，开发人员CASE by CASE(逐案地)在代码中开启debug(调试)日志，根据调试信息定位策略原因。把各策略问题汇总后，分发给具体负责各策略的开发人员。然后再由开发人员手工复现，找到具体原因后解决优化。对于单个CASE定位。单个CASE的定位方法包括：开发人员人工在代码中开启debug日志，根据调试信息定位具体策略原因。
图1是根据本申请实施例的检索策略的问题定位方法的流程图。参见图1，该检索策略的问题定位方法包括：
步骤S110，接收检索请求；
步骤S120，根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数；
步骤S130，利用公共函数获取与各个预定检索策略对应的检索结果信息；
步骤S140，根据检索结果信息定位出现问题的检索策略。
本申请实施例在检索服务端设计易扩展的策略定位公共函数库，在各核心策略节点实现公共函数的调用以获取检索结果信息。以POI检索为例，最终根据检索请求以矩阵形式返回各召回POI在各个策略的召回排序定位信息。
本申请实施例中，能够将检索未生效原因定位到检索服务的各个步骤中的引发问题的具体策略。根据上述检索结果信息，可帮助确定预上线项目的迭代方向。可客观衡量线上项目中各策略质量及变化，支持业务决策。对于用户上报问题，可快速地做出策略原因定位，提升用户体验。
在一种实施方式中，检索请求包括兴趣点检索请求；和/或，检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
仍以POI检索为例，在步骤S110中，检索服务端接收检索请求。在步骤S120中，用户通过地图APP发起POI检索后，检索服务端根据检索请求的指示执行检索服务的至少一个预定检索策略。检索服务的各个预定检索策略依次处理，最终反馈给用户。一个示例性的POI检索服务的各个预定检索策略如下：
1)POI数据上线；2)离线索引建库；3)召回；4)预过滤；5)LTR(Learning torank，学习排序)队列融合；6)LTR粗排；7)LTR粗排后过滤；8)LTR精排；9)LTR平衡模型调序；10)城市选择；11)城市排序；12)REARRANGE(重新排序)；13)PRIO(优先级)。
上述POI检索服务的各个预定检索策略是进行POI检索时的各个执行步骤所对应的预定检索策略。例如，步骤2)离线索引建库是为POI数据创建索引并存储。步骤13)PRIO(优先级)是将检索结果按照优先级排序。经过上述步骤3)召回和步骤4)预过滤处理过的检索结果信息中包括兴趣点是否召回的信息，而没有召回排序信息。从步骤5)LTR队列融合之后，处理过的检索结果信息中包括召回排序信息。
上述示例中，步骤3)召回策略负责根据检索请求召回若干POI，召回的若干POI记为all_pois(全部POI)结构体。例如all_pois结构体可包括多个队列，每个队列中可包括多个POI。步骤3)之后的若干策略可抽象为若干node(节点)。经过当前node处理过的有序POI集合，记为sorted_pois(有序的POI)结构体。其中，每一个当前node都会对前一步骤产生的结果进行处理并重新排序。
可预先构建公共函数，公共函数的功能是获取各个预定检索策略对应的检索结果信息，包括兴趣点是否召回、召回排序信息等，并将各个预定检索策略对应的检索结果信息写入到预先设置的定位信息矩阵中。例如，可预先设置一个全局变量，定位信息矩阵以HashMap(哈希映射)形式存储在全局变量中。
在一个示例中，当前node的策略名称记为strategy_name。公共函数最终抽象为：strategy_locator(strategy_name,all_pois,sorted_pois)。其中，strategy_locator是公共函数的名称，该公共函数共有三个参数：strategy_name、all_pois、sorted_pois。
在步骤S130中，通过在各个预定检索策略执行过程中调用上述公共函数，可获取将all_pois经过各个预定检索策略处理后的定位信息矩阵。在一个示例中，公共函数调用可扩展到预定检索策略中核心策略内部的二级策略。当核心策略发生变化时，例如增加一个检索策略或者减少一个检索策略，可同步调整函数调用node，最终输出的定位信息矩阵也会随之变化。
在步骤S140中，根据检索结果信息，例如在各个预定检索策略兴趣点是否召回、召回排序信息等，确定是在执行哪个策略时将期望检索到的POI过滤掉了，或者确定是执行哪个策略导致期望检索到的POI没有排序在前，从而定位出现问题的检索策略。
本申请实施例中，利用公共函数获取与各个预定检索策略对应的兴趣点是否召回和/或召回排序信息，能够精确定位到兴趣点检索服务的引发问题的具体策略，找到检索未生效原因。
在一种实施方式中，根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数，包括：
识别检索请求中是否包括信息获取参数；
若识别到检索请求中包括信息获取参数，则在执行各个预定检索策略的过程中调用公共函数。
仍以POI检索为例，可在POI检索请求中添加一个信息获取参数。信息获取参数用于指示检索服务在执行各个步骤时调用公共函数输出在本步骤检索策略对应的检索结果信息。例如，所述检索结果信息可包括该POI是否召回以及召回排序信息。
检索服务端接收到上述检索请求后，若识别到检索请求中包括上述信息获取参数，则在执行检索服务的各个预定检索策略时调用公共函数将该预定检索策略对应的检索结果信息写入定位信息矩阵中。在上述执行检索服务的过程中，每执行一个预定检索策略，都会在定位信息矩阵中追加该预定检索策略对应的检索结果信息。
本申请实施例中，通过信息获取参数指示检索服务在执行各个预定检索策略的过程中是否调用公共函数。一方面在需要定位出现问题的检索策略的场景下，在检索请求添加信息获取参数以获取检索结果信息。另一方面在不需要定位出现问题的检索策略的场景下，则在检索请求不添加信息，不执行调用公共函数的步骤，避免系统资源的浪费。
图2是根据本申请实施例的检索策略的问题定位方法的优化流程图。如图2所示，在一种实施方式中，上述方法还包括：
步骤S210，获取第一评估结果和第二评估结果，第一评估结果是检索服务的基准任务策略的检索结果信息，第二评估结果是检索服务的测试任务的检索结果信息，测试任务策略是对基准任务策略进行优化得到的；
步骤S220，比较第一评估结果和第二评估结果的差异；
步骤S230，根据差异确认是否将基准任务策略优化为测试任务策略。
本申请实施例的检索策略的问题定位方法可用于预上线项目策略影响面评估。在一个示例中，将已标注主需求的精确POI样本拆分为黑盒和白盒两个集合。其中黑盒样本用于评估和监控，白盒样本用于迭代。在预上线项目的项目迭代阶段，在对检索服务的基准任务进行修改优化而得到测试任务。在步骤S210中，可利用图1所示的方法，得到基准任务策略的检索结果信息和测试任务的检索结果信息，也就是第一评估结果和第二评估结果。在步骤S220和步骤S230中，分析第一评估结果和第二评估结果的差异，也就是分析对基准任务进行的修改优化是否对检索结果信息产生的好的影响，若是则将基准任务策略优化为测试任务策略。
图3是根据本申请实施例的检索策略的问题定位方法的测试数据表格。可自动对比第一评估结果和第二评估结果，经过统计计算生成的测试数据表格。图3中所示的表格的第一行表示表头，表头的第一项“主需求排序位置”表示用户期望检索到的POI排序在第几位。在该项数据中，用户期望检索到的POI排序在前则表示达到了预定的检索目的。表头的第二项“非首位召回原因定位”表示根据检索结果信息得到的定位结果，也就是定位到出现问题的检索策略是哪个。表头的第三项至最后一项表示检索服务执行的各个预定检索策略。
在图3所示的表格中，经过步骤“bs召回节点”和步骤”预过滤节点”的检索结果信息中包括兴趣点是否召回的信息，而没有召回排序信息，则在表格的第三列和第四列的测试数据中，用“1”表示召回，用“0”表示未召回。从步骤“Itr预处理节点”之后，处理过的检索结果信息中包括召回排序信息，则在表格的第五列至最后一列的测试数据中，表格中的数值表示POI的排序位置，表格中的小圆点“·”表示检索结果没有经过该步骤的处理。
图3中所示的表格的第二行数据表示表示预上线项目基准任务对应的数据，也就是第一评估结果。第三行数据表示测试任务对应的数据，也就是第二评估结果。首先执行的前两个步骤“bs召回节点”和“预过滤节点”没有召回排序信息，从第三个步骤“ltr预处理节点”开始有召回排序信息。由图3中的可知，在基准任务的数据中，从步骤“ltr预处理节点”开始，主需求排序位置为1；从步骤“rearranger节点”开始，主需求排序位置为7。因此，基准任务的“非首位召回原因定位”定位在“rearranger节点”。在测试任务的数据中，在步骤“bs召回节点”主需求未召回。因此，测试任务的“非首位召回原因定位”定位在“bs召回节点”。
从图3中所示的表格中的数据可以看出，测试任务与基准任务相比较是有差异(DIFF)的。修改前的基准任务的主需求召回且主需求排序位置为7，修改后的测试任务的主需求未召回。这个案例显示修改后的测试任务变差了。在项目迭代阶段，针对一个任务的调优修改，可经过多次测试。如果调优修改的正向影响大于负向影响，且测试任务变差的占比少，则认为可以实施该项调优修改。
在项目迭代阶段，对于白盒样本基准任务和测试任务的主需求位置DIFFCASE(分析案例中的差异)，可自动定位主需求未召回或排序非首位的原因，分析导致DIFF的具体策略。批量收集各策略的BadCASE，为迭代提供优化方向。对于基准任务和测试任务的主需求位置DIFF CASE，自动评估各策略的影响面，也就是评估该策略的修改对其它策略的影响的多少。如城市选择优化项目，可根据主需求城市和实际召回城市快速定位城市选择策略的影响，判断项目效果是否符合预期，节省人工成本。
在线上监控环节，可以记录各策略召回排序轨迹，自动定位导致BadCASE的检索策略。其中，记录各策略召回排序轨迹可以每天为周期记录。通过该方法可节省人工分析发现DIFF的成本，并解决因数据、特征变化导致CASE不复现，无法追踪问题原因的问题。
本申请实施例中，通过比较第一评估结果和第二评估结果的差异，在预上线项目质量保证方面，可确定项目迭代方向，最大化项目效果。在项目迭代阶段，某一个检索策略的修改可能没有影响到整体的检索效果，因此现有技术中的整体评估的方法的评估结果不到位、不准确。本申请实施例中对预上线项目策略影响面评估的方法，可针对检索服务的各个预定检索策略进行评估，明显优于现有技术中的整体评估的方法。
在一种实施方式中，图1中的步骤S140，根据检索结果信息定位出现问题的检索策略，包括：
根据检索结果信息统计各个预定检索策略的效果指标，效果指标包括召回率和排序能力指标；
根据各个预定检索策略的效果指标定位出现问题的检索策略。
本申请实施例的检索策略的问题定位方法可用于线上客观衡量检索策略质量及变化评估。图4是根据本申请实施例的检索策略的问题定位方法的召回率统计数据示意图。图5是根据本申请实施例的检索策略的问题定位方法的排序能力统计数据示意图。图4和图5所示的漏斗图表示线上监控某一天各策略节点召回率和排序能力描述DEMO(demonstration，展示)，通过主需求召回率和主需求MRR@3两个维度分别描述策略节点的召回能力和排序能力。其中，MRR@N是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配分数为0。MRR@3表示只使用排序在前的3个结果匹配计算，从第4个结果匹配开始取值为0。
图4中的百分数表示各个预定检索策略对应的召回率。“top10”表示主需求是否排在前10位。强展表示：在优先级策略中，召回的检索结果中一部分被折叠而没有显示，另一部分没有被折叠而强迫展现的，称之为强展。
由图4可以得出，由于“bs召回”策略对应的召回率是90％，“预过滤”策略对应的召回率是88.8％，因此计算二者的差值可知“预过滤”策略有1.2％的提升空间。同理，“ltr粗排&过滤”策略有1％的提升空间。“top10召回-强展现”策略有1.5％的提升空间。
在图5中，漏斗图展示的方式是按照MRR@3的评价分数递减的次序排序后的顺序示出各检索策略的评价分数。在实际执行检索服务时各个检索策略的执行顺序为：
第1步：ltr队列融合；
第2步：ltr粗排；
第3步：ltr精排；
第4步：ltr后置处理；
第5步：ltr平衡模型调权；
第6步：rearrange重排。
以上各检索策略对应的步骤顺序执行，因此MRR@3的评价分数应递增。由于第4步：ltr后置处理的得分0.89小于第3步：ltr精排的得分0.894，因此ltr后置处理策略的排序能力欠佳。
本申请实施例中，通过统计各个预定检索策略的效果指标，在线上质量保证方面，可客观衡量各策略质量及变化，自动收集批量的各策略存量badCASE，支持业务决策，提升用户体验。
在又一个示例中，本申请实施例的检索策略的问题定位方法可用于用户上报问题的快速定位与闭环。其中，闭环(闭环结构)是将系统输出量的测量值与所期望的给定值相比较，进行调节控制，使输出值尽量接近于期望值。
对于用户上报问题，可根据问题描述快速判断检索未生效原因，给出快速答复，缩短问题闭环时间，提升用户满意度。一个示例性的用户上报问题的定位与闭环如表1所示：
表1用户上报问题的定位与闭环示例
从表1的定位结论中可以看出，主需求在“ltr粗排”后被过滤，也就是说用户期望检索到的POI在“ltr粗排”这一策略处理后被过滤掉了。定位结论中的query表示用户的检索请求。定位结论中的bid:"8374784127638087277",表示POI标识。
参见表1，在没有召回排序信息的步骤中，”yes”表示召回，”no”表示未召回。bs_recall:“yes”和bs_recall_prefilter:“yes”表示在bs_recall和bs_recall_prefilter这两个步骤中主需求被召回。
表1中的ltr_preprocess:"2",表示在“ltr_preprocess”这个策略处理之后，主需求排在第三位。其中，排序计数从0开始，排在第一位用“0”表示，排在第二位用“1”表示，排在第三位用“2”表示。
表1中的ltr_preranking:"-1"表示在“ltr_preranking”这个策略处理之后，该检索结果POI被过滤掉了。
图6是根据本申请实施例的检索策略的问题定位装置的结构示意图。如图6所示，本申请实施例的检索策略的问题定位装置包括：
接收单元100，用于接收检索请求；
执行单元200，用于根据检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个预定检索策略的过程中调用公共函数；
获取单元300，用于利用公共函数获取与各个预定检索策略对应的检索结果信息；
定位单元400，用于根据检索结果信息定位出现问题的检索策略。
在一种实施方式中，执行单元200用于：
识别检索请求中是否包括信息获取参数；
若识别到检索请求中包括信息获取参数，则在执行各个预定检索策略的过程中调用公共函数。
在一种实施方式中，检索请求包括兴趣点检索请求；和/或，检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
在一种实施方式中，定位单元400用于：
根据检索结果信息统计各个预定检索策略的效果指标，效果指标包括召回率和排序能力指标；
根据各个预定检索策略的效果指标定位出现问题的检索策略。
图7是根据本申请实施例的检索策略的问题定位装置的结构示意图。如图7所示，在一种实施方式中，上述装置还包括优化单元500，优化单元500用于：
获取第一评估结果和第二评估结果，第一评估结果是检索服务的基准任务策略的检索结果信息，第二评估结果是检索服务的测试任务的检索结果信息，测试任务策略是对基准任务策略进行优化得到的；
比较第一评估结果和第二评估结果的差异；
根据差异确认是否将基准任务策略优化为测试任务策略。
本申请实施例的检索策略的问题定位装置中的各单元的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的检索策略的问题定位方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的检索策略的问题定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的检索策略的问题定位方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的检索策略的问题定位方法对应的程序指令/模块(例如，附图6所示的接收单元100、执行单元200、获取单元300、定位单元400，附图7所示的优化单元500)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的检索策略的问题定位方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行检索策略的问题定位方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至执行检索策略的问题定位方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行检索策略的问题定位方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与执行检索策略的问题定位方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light Emitting Diode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，能够将检索未生效原因定位到检索服务的各个步骤中的引发问题的具体策略。根据上述检索结果信息，可帮助确定预上线项目的迭代方向。可客观衡量线上项目中各策略质量及变化，支持业务决策。对于用户上报问题，可快速地做出策略原因定位，提升用户体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种检索策略的问题定位方法，其特征在于，包括：
接收检索请求；
根据所述检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个所述预定检索策略的过程中调用公共函数；
利用所述公共函数获取与各个所述预定检索策略对应的检索结果信息；
根据所述检索结果信息定位出现问题的检索策略。
2.根据权利要求1所述的方法，其特征在于，根据所述检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个所述预定检索策略的过程中调用公共函数，包括：
识别所述检索请求中是否包括信息获取参数；
若识别到所述检索请求中包括信息获取参数，则在执行各个所述预定检索策略的过程中调用所述公共函数。
3.根据权利要求1所述的方法，其特征在于，所述检索请求包括兴趣点检索请求；和/或，所述检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
4.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述检索结果信息定位出现问题的检索策略，包括：
根据所述检索结果信息统计各个所述预定检索策略的效果指标，所述效果指标包括召回率和排序能力指标；
根据各个所述预定检索策略的效果指标定位出现问题的检索策略。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
获取第一评估结果和第二评估结果，所述第一评估结果是检索服务的基准任务策略的检索结果信息，所述第二评估结果是检索服务的测试任务的检索结果信息，所述测试任务策略是对所述基准任务策略进行优化得到的；
比较所述第一评估结果和所述第二评估结果的差异；
根据所述差异确认是否将所述基准任务策略优化为所述测试任务策略。
6.一种检索策略的问题定位装置，其特征在于，包括：
接收单元，用于接收检索请求；
执行单元，用于根据所述检索请求的指示执行检索服务的至少一个预定检索策略，并在执行各个所述预定检索策略的过程中调用公共函数；
获取单元，用于利用所述公共函数获取与各个所述预定检索策略对应的检索结果信息；
定位单元，用于根据所述检索结果信息定位出现问题的检索策略。
7.根据权利要求6所述的装置，其特征在于，所述执行单元用于：
识别所述检索请求中是否包括信息获取参数；
若识别到所述检索请求中包括信息获取参数，则在执行各个所述预定检索策略的过程中调用所述公共函数。
8.根据权利要求6所述的装置，其特征在于，所述检索请求包括兴趣点检索请求；和/或，所述检索结果信息包括：兴趣点是否召回和召回排序信息中的至少一项。
9.根据权利要求6-8中任一项所述的装置，其特征在于，所述定位单元用于：
根据所述检索结果信息统计各个所述预定检索策略的效果指标，所述效果指标包括召回率和排序能力指标；
根据各个所述预定检索策略的效果指标定位出现问题的检索策略。
10.根据权利要求6-8中任一项所述的装置，其特征在于，所述装置还包括优化单元，所述优化单元用于：
获取第一评估结果和第二评估结果，所述第一评估结果是检索服务的基准任务策略的检索结果信息，所述第二评估结果是检索服务的测试任务的检索结果信息，所述测试任务策略是对所述基准任务策略进行优化得到的；
比较所述第一评估结果和所述第二评估结果的差异；
根据所述差异确认是否将所述基准任务策略优化为所述测试任务策略。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955343.6A CN110727865A (zh) | 2019-10-09 | 2019-10-09 | 检索策略的问题定位方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955343.6A CN110727865A (zh) | 2019-10-09 | 2019-10-09 | 检索策略的问题定位方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727865A true CN110727865A (zh) | 2020-01-24 |
Family
ID=69219809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910955343.6A Pending CN110727865A (zh) | 2019-10-09 | 2019-10-09 | 检索策略的问题定位方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727865A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111355614A (zh) * | 2020-03-10 | 2020-06-30 | 北京意锐新创科技有限公司 | 适用于支付设备日志的异常信息定位方法和装置 |
| CN112115340A (zh) * | 2020-09-14 | 2020-12-22 | 深圳市欢太科技有限公司 | 搜索策略的选择方法、移动终端以及可读存储介质 |
| CN112989224A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种检索方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160092569A1 (en) * | 2014-09-30 | 2016-03-31 | International Business Machines Corporation | Policy driven contextual search |
| CN107656849A (zh) * | 2017-09-28 | 2018-02-02 | 新华三技术有限公司 | 一种软件系统性能问题定位方法以及装置 |
| CN107704467A (zh) * | 2016-08-09 | 2018-02-16 | 百度在线网络技术（北京）有限公司 | 搜索质量评估方法及装置 |
| CN109582751A (zh) * | 2018-11-29 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 一种检索效果的度量方法及服务器 |
| WO2019095156A1 (zh) * | 2017-11-15 | 2019-05-23 | 华为技术有限公司 | 一种信息搜索的方法、终端、网络设备和系统 |
-
2019
- 2019-10-09 CN CN201910955343.6A patent/CN110727865A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160092569A1 (en) * | 2014-09-30 | 2016-03-31 | International Business Machines Corporation | Policy driven contextual search |
| CN107704467A (zh) * | 2016-08-09 | 2018-02-16 | 百度在线网络技术（北京）有限公司 | 搜索质量评估方法及装置 |
| CN107656849A (zh) * | 2017-09-28 | 2018-02-02 | 新华三技术有限公司 | 一种软件系统性能问题定位方法以及装置 |
| WO2019095156A1 (zh) * | 2017-11-15 | 2019-05-23 | 华为技术有限公司 | 一种信息搜索的方法、终端、网络设备和系统 |
| CN109582751A (zh) * | 2018-11-29 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 一种检索效果的度量方法及服务器 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111355614A (zh) * | 2020-03-10 | 2020-06-30 | 北京意锐新创科技有限公司 | 适用于支付设备日志的异常信息定位方法和装置 |
| CN112115340A (zh) * | 2020-09-14 | 2020-12-22 | 深圳市欢太科技有限公司 | 搜索策略的选择方法、移动终端以及可读存储介质 |
| CN112989224A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种检索方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111309479B (zh) | 一种任务并行处理的实现方法、装置、设备和介质 | |
| US20190102460A1 (en) | Data insight scoring for performance analytics | |
| CN110727865A (zh) | 检索策略的问题定位方法、装置、电子设备及存储介质 | |
| AU2019280058B2 (en) | Cloud-based platform instrumentation and monitoring system for maintenance of user-configured programs | |
| CN111224843B (zh) | 资源链路监控方法、装置、设备和存储介质 | |
| CN112395333B (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
| CN115335821B (zh) | 卸载统计收集 | |
| CN112084150B (zh) | 模型训练、数据检索方法，装置，设备以及存储介质 | |
| CN110570097A (zh) | 基于大数据的业务人员风险识别方法、装置及存储介质 | |
| CN111723091A (zh) | 基于Oracle数据库的索引处理方法、系统、设备和存储介质 | |
| CN109871368A (zh) | 数据库检测方法、装置、计算机装置及存储介质 | |
| CN111444438A (zh) | 召回策略的准召率的确定方法、装置、设备及存储介质 | |
| CN113010310B (zh) | 作业数据的处理方法、装置和服务器 | |
| US20210089977A1 (en) | Data insights for performance analytics | |
| CN114661571B (zh) | 模型评测方法、装置、电子设备和存储介质 | |
| CN112100991A (zh) | 数据报表生成方法及装置 | |
| CN115438056A (zh) | 一种数据获取方法、装置、设备以及存储介质 | |
| US11809862B2 (en) | Related change analysis of multiple version control systems | |
| CN117370128A (zh) | 一种云监控和分析方法、系统 | |
| CN114676062A (zh) | 用于接口的差异数据测试方法及装置、电子设备和介质 | |
| CN110781217B (zh) | 排序数据的处理方法、装置及存储介质、服务器 | |
| CN113238931A (zh) | 一种基于执行路径追踪技术的测试覆盖计算方法及装置 | |
| CN111292223A (zh) | 图计算的处理方法、装置、电子设备及存储介质 | |
| CN112307372A (zh) | 数据处理方法和装置 | |
| CN112506762B (zh) | 应用程序接口参数的筛选方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |