CN114020957A

CN114020957A - 搜索算法的评测方法、装置、计算设备及介质

Info

Publication number: CN114020957A
Application number: CN202111313734.1A
Authority: CN
Inventors: 虞学良; 张文; 胡涛; 李敏; 洪权; 丁为胜; 马振; 杜玲炯
Original assignee: Hangzhou Netease Cloud Music Technology Co Ltd
Current assignee: Hangzhou Netease Cloud Music Technology Co Ltd
Priority date: 2021-11-08
Filing date: 2021-11-08
Publication date: 2022-02-08

Abstract

本公开实施例提供了一种搜索算法的评测方法、装置、计算设备以及介质。该方法包括：显示搜索算法评测界面，搜索算法评测界面中包括搜索功能区和搜索结果评测区；基于在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示搜索结果；根据在搜索结果评测区中针对搜索结果的评测操作输出搜索算法评测数据。根据本公开实施例的技术方案，能够基于对搜索算法的搜索结果的评测操作输出所评测的搜索算法的评测数据，前置暴露搜索算法的问题，以此指导搜索算法的更新迭代方向，提高搜索算法的准确性和可靠性，进而减少用户体验不佳的现象。

Description

搜索算法的评测方法、装置、计算设备及介质

技术领域

本公开的实施方式涉及计算机技术领域，更具体地，本公开的实施方式涉及搜索算法的评测方法、搜索算法的评测装置、计算设备及介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

音乐平台为用户提供了极致的视听享受，用户可以在音乐平台上进行所需歌曲的搜索操作，音乐平台的搜索算法根据用户输入的搜索词汇筛选出相关的内容展示给用户。

但是，音乐平台的搜索算法并不是对每一次搜索都能给出较好的搜索结果，会存在搜索结果不能满足用户需求的情况。

为此，非常需要一种评测音乐平台搜索算法的方法，以能够对音乐平台的搜索算法进行评测，前置暴露搜索算法的问题。

发明内容

在本公开实施例的第一方面中，提供了一种搜索算法的评测方法，包括：

显示搜索算法评测界面，所述搜索算法评测界面中包括搜索功能区和搜索结果评测区；

基于在所述搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示所述搜索结果；

根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据。

在本公开的一些示例实施例中，在所述显示搜索算法评测界面之前，所述评测方法还包括：

显示评测任务配置界面，所述评测任务配置界面中包括待评测搜索算法的评测类型的配置控件和待评测标签页的配置控件；

响应于面向所述评测类型的配置控件和待评测标签页的配置控件的配置操作，确定待评测搜索算法的目标评测类型和目标评测标签页；

基于所述目标评测类型和所述目标评测标签页生成针对所述目标评测标签页的搜索算法评测界面。

在根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据之后，所述评测方法还包括：

根据所述搜索算法评测数据生成搜索算法评测报告。

在本公开的一些示例实施例中，所述评测任务配置界面中还包括如下至少之一：所述评测类型对应的评测规则的配置控件、评测样本的配置控件和评测次数的配置控件。

在本公开的一些示例实施例中，所述根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据包括：

根据在所述搜索结果评测区中针对所述搜索结果的评测操作，利用目标评测规则确定出搜索算法评测数据；

输出所述搜索算法评测数据。

在本公开的一些示例实施例中，所述评测操作包括所述搜索结果满意程度的标记操作，所述目标评测规则反映搜索结果的评分机制。

在本公开的一些示例实施例中，所述搜索算法评测界面基于选定的搜索算法评测类型确定，所述选定的搜索算法评测类型包括以下至少一种：用户体验评测、版本评测和竞对评测。

在本公开的一些示例实施例中，所述搜索结果评测区中包括搜索结果各评分维度满意程度的标记控件；所述根据在所述搜索结果评测区中针对所述搜索结果的评测操作，利用目标评测规则确定出搜索算法评测数据，包括：

针对每次评测的每个搜索词汇，响应于面向所述搜索结果各评分维度满意程度的标记控件的标记操作，利用所述目标评测规则确定所述搜索词汇对应的各评分维度的评分值；

完成设定评测次数的评测后，对所有搜索词汇对应的各评分维度的所述评分值进行统计分析，得到搜索算法评测数据；

显示所述搜索算法评测数据。

在本公开的一些示例实施例中，所述响应于面向所述搜索结果各评分维度满意程度的标记控件的标记操作，利用所述目标评测规则确定所述搜索词汇对应的各评分维度的评分值，包括：

响应于面向所述搜索结果各评分维度满意程度的标记控件的标记操作，确定各评分维度的搜索结果满意程度级别；

基于确定出的各评分维度的搜索结果满意程度级别，从所述目标评测规则中匹配各评分维度的评分值。

在本公开的一些示例实施例中，所述对所有搜索词汇对应的各评分维度的所述评分值进行统计分析，得到搜索算法评测数据，包括：

针对每个搜索词汇，从目标评测规则中匹配各评分维度对应的评分权重；

根据每个所述搜索词汇对应搜索结果的各评分维度的评分值和匹配出的所述评分权重计算目标评分；

分别统计各评分维度对应的各搜索结果满意程度级别的个数，得到搜索结果满意程度分布表；

基于所述目标评分和所述搜索结果满意程度分布表生成搜索算法评测数据。

在本公开的一些示例实施例中，所述评测方法还包括：

基于所述目标评分生成表征搜索算法是否评测通过的评测结果信息；

输出所述评测结果信息。

在本公开的一些示例实施例中，所述选定的搜索算法评测类型包括用户体验评测，所述根据每个所述搜索词汇对应搜索结果的各评分维度的评分值和匹配出的所述评分权重计算目标评分包括：

根据每个所述搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值；

根据所述加权总评分值计算每个搜索词汇的平均评分值，得到所述目标评分。

在本公开的一些示例实施例中，所述选定的搜索算法评测类型包括版本评测或竞对评测，所述根据每个所述搜索词汇对应搜索结果的各评分维度的评分值和匹配出的所述评分权重计算目标评分包括：

根据每个所述搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值，得到所述目标评分。

在本公开的一些示例实施例中，所述选定的搜索算法评测类型包括竞对评测，所述基于所述目标评分和所述搜索结果满意程度分布表生成搜索算法评测数据包括：

基于当前评测版本和每一竞品版本分别对应的所述目标评分和所述搜索结果满意程度分布表生成搜索算法评测数据。

在本公开的一些示例实施例中，所述选定的搜索算法评测类型包括版本评测，所述评测方法还包括：

基于所述搜索结果满意程度分布表，获取各评分维度分别对应的各搜索结果满意程度级别的个数；

对于每一评分维度，计算所述每一评分维度对应的第一搜索结果满意程度级别的个数与第二搜索结果满意程度级别的个数的平均值；

计算所述每一评分维度对应的第三搜索结果满意程度级别的个数与所述平均值之和，得到胜出总数；

获取所述每一评分维度对应的所有搜索结果满意程度级别的总个数；

计算所述胜出总数与所述总个数的比值，得到当前评测版本的所述评分维度相对于参照版本的胜出率；

输出所述胜出率；

其中，所述第一搜索结果满意程度级别为表征当前评测版本和参照版本均满足搜索预期的搜索结果满意程度级别，所述第二搜索结果满意程度级别为表征当前评测版本和参照版本均不能满足搜索预期的搜索结果满意程度级别，所述第三搜索结果满意程度级别为表征当前评测版本能够满足搜索预期而参照版本不能满足搜索预期的搜索结果满意程度级别。

在本公开的一些示例实施例中，所述搜索结果评测区中还包括所述各评分维度对应问题类型的标记控件；所述评测方法还包括：

针对每次评测的每个搜索词汇，响应于面向所述各评分维度对应问题类型的标记控件的标记操作，确定所述搜索词汇对应搜索结果的各评分维度的问题类型；

完成所述设定评测次数的评测后，对所有搜索词汇对应搜索结果的各评分维度的所述问题类型进行统计分析，得到问题分布表；

将所述问题分布表添加至所述搜索算法评测数据中。

在本公开的一些示例实施例中，所述对所有搜索词汇对应搜索结果的各评分维度的所述问题类型进行统计分析，得到问题分布表，包括：

对所有搜索词汇对应搜索结果的各评分维度，分别统计各评分维度对应的各问题类型的个数，得到问题分布表。

在本公开的一些示例实施例中，所述评测方法还包括：

检测到创建评测规则的指令时，显示评测规则配置界面，所述评测规则配置界面中包括评测类型选择菜单；

响应于面向所述评测类型选择菜单的选择操作，选定待创建评测规则的搜索算法评测类型；

显示选定的待创建评测规则的搜索算法评测类型对应的评测规则配置子界面，所述评测规则配置子界面中包括评分维度配置区、评测档位配置区和问题类型配置区，所述评分维度配置区包括评分维度和对应评分权重的配置控件，所述评测档位配置区包括搜索结果满意程度级别和对应评分值的配置控件，所述问题类型配置区包括问题类型的配置控件；

响应于面向所述评测规则配置子界面的配置操作，生成所述选定的待创建评测规则的搜索算法评测类型对应的评测规则。

在本公开实施例的第二方面中，提供了一种搜索算法的评测装置，包括：

评测界面显示模块，用于显示搜索算法评测界面，所述搜索算法评测界面中包括搜索功能区和搜索结果评测区；

搜索模块，用于基于检测到的在所述搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示所述搜索结果；

评测模块，用于根据检测到的在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据。

在本公开的一些示例实施例中，所述装置还包括：

报告生成模块，用于根据所述搜索算法评测数据生成搜索算法评测报告。

在本公开的一些示例实施例中，所述装置还包括：

评测任务显示模块，用于显示评测任务配置界面，所述评测任务配置界面中包括待评测搜索算法的评测类型的配置控件和待评测标签页的配置控件；

确定模块，用于响应于面向所述评测类型的配置控件和待评测标签页的配置控件的配置操作，确定待评测搜索算法的目标评测类型和目标评测标签页；

评测界面生成模块，用于基于所述目标评测类型和所述目标评测标签页生成针对所述目标评测标签页的搜索算法评测界面。

在本公开的一些示例实施例中，所述装置还包括：

第一评测规则显示模块，用于检测到创建评测规则的指令时，显示评测规则配置界面，所述评测规则配置界面中包括评测类型选择菜单；

评测类型确定模块，用于响应于面向所述评测类型选择菜单的选择操作，选定待创建评测规则的搜索算法评测类型；

第二评测规则显示模块，用于显示选定的待创建评测规则的搜索算法评测类型对应的评测规则配置子界面，所述评测规则配置子界面中包括评分维度配置区、评测档位配置区和问题类型配置区，所述评分维度配置区包括评分维度和对应评分权重的配置控件，所述评测档位配置区包括搜索结果满意程度级别和对应评分值的配置控件，所述问题类型配置区包括问题类型的配置控件；

评测规则生成模块，用于响应于面向所述评测规则配置子界面的配置操作，生成所述选定的待创建评测规则的搜索算法评测类型对应的评测规则。

在本公开实施例的第三方面中，提供了一种计算设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如上述第一方面中任一项所述的方法。

在本公开实施例的第四方面中，提供了一种介质，其上存储有程序，该程序被处理器执行时实现如上述第一方面中任一项所述的方法。

根据本公开实施例的技术方案，一方面，可以为评测人员提供搜索算法评测界面，使评测人员能够利用该搜索算法评测界面对搜索结果进行评测，并基于评测人员的评测操输出所评测的搜索算法的评测数据，通过该评测数据可以前置暴露搜索算法的问题，以此指导搜索算法的更新迭代方向，提高搜索算法的准确性和可靠性，减少用户体验不佳的现象；另一方面，在新版搜索算法上线之前，可以通过本公开实施例的技术方案预先获知该搜索算法的搜索效果，为是否上线提供参考依据。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示意性地示出了根据本公开的一些实施例的搜索算法的评测方法的流程图；

图2示意性地示出了根据本公开的一些实施例的用户体验评测对应的搜索算法评测界面的示意图；

图3示意性地示出了根据本公开的一些实施例的版本评测的搜索结果的显示效果示意图；

图4示意性示出了根据本公开的一些实施例的竞对评测的搜索结果的显示效果示意图；

图5示意性地示出了根据本公开的一些实施例的生成搜索算法评测界面的方法的流程图；

图6示意性地示出了根据本公开的一些实施例的创建评测规则的方法的流程图；

图7示意性地示出了根据本公开的一些实施例的评测规则配置界面的示意图；

图8示意性地示出了根据本公开的一些实施例的利用目标评测规则确定搜索算法评测数据的方法的流程图；

图9示意性地示出了根据本公开的一些实施例的评测任务配置界面的示意图；

图10示意性地示出了根据本公开的一些实施例的对所有搜索词汇对应的各评分维度的评分值进行统计分析的方法的流程图；

图11示意性地示出了根据本公开的一些实施例的获取当前评测版本相对于参照版本的胜出率的方法的流程图；

图12示意性地示出了根据本公开的一些实施例的获取搜索算法评测数据的方法的流程图；

图13示意性地示出了根据本公开的一些实施例的用户体验评测的搜索算法评测报告的展示效果示意图；

图14示意性地示出了根据本公开的一些实施例的竞对评测的搜索算法评测报告的示意图；

图15示意性地示出了根据本公开的一些实施例的计算机可读存储介质的示意图；

图16示意性示出了根据本公开的一些实施例的搜索算法的评测装置的结构框图；

图17示意性示出了根据本公开的一些实施例的电子设备的结构框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施例来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本公开的实施方式，提出了一种搜索算法的评测方法、装置、计算设备和介质。

在本文中，需要理解的是，所涉及的术语：

搜索算法，是指根据用户输入的搜索词汇，将与该搜索词汇相关的内容按照一定的展示效果展示给用户。

评测，也即评定测试，本公开实施例以对音乐软件的搜索算法的效果进行评定测试为例对方案进行描述。基于本公开的方案，可以辅助评测人员对搜索结果进行打分记录，并对打分记录结果进行统计分析后得到相关的评测数据。

用户体验评测，是一种对搜索算法进行长线质量跟踪的评测方式，执行周期比如可以是数月。

版本评测，是一种将待发布版本与当前已发布的稳定运行版本进行比较，以获得待发布版本搜索算法的效果的评测方式。在日常业务迭代中进行，执行周期较短，是一种对搜索算法进行短线质量提升的方式。

竞对评测，也可称为竞品评测，以音乐软件为例，是将自身的音乐软件搜索功能与竞品的搜索功能进行横向比较，对自身音乐软件的搜索结果进行打分记录，对打分记录结果进行统计分析后得到相关的评测数据，通过与竞品比对来取长补短，推动自身搜索算法的优化更迭。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

本发明人发现，现有软件的搜索算法并不是对每一个搜索词汇都能给出较好的搜索结果，存在一些用户需求得不到满足的情况，以音乐软件为例，对用户而言，在进行搜索操作时，如果出现搜索结果与预期不符合，会降低其对于该音乐软件继续操作的意愿，如继续播放、收藏等，也不能通过搜索功能迅速查询到所需的内容，失去设置搜索功能的意义。因此，搜索算法的准确性对于软件应用来说非常重要。

基于上述内容，本公开的基本思想在于：提供一种搜索算法的评测方法、装置、计算设备和介质，显示搜索算法评测界面，该搜索算法评测界面中包括搜索功能区和搜索结果评测区，基于在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示该搜索结果，根据在搜索结果评测区中针对搜索结果的评测操作输出搜索算法评测数据。根据本公开实施例的技术方案，一方面，可以为评测人员提供搜索算法评测界面，使评测人员能够利用该搜索算法评测界面对搜索结果进行评测，并基于评测操作输出所评测的搜索算法的评测数据，通过该评测数据可以前置暴露搜索算法所存在的问题，以此指导搜索算法的更新迭代方向，提高搜索算法的准确性和可靠性，减少用户体验不佳的现象；另一方面，在新版搜索算法上线之前，可以通过本公开实施例的技术方案预先获知该搜索算法的搜索效果，为是否上线提供参考依据。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

需要注意的是，下述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

示例性的，本公开实施例的技术方案可以应用于通过对音乐软件的搜索算法进行评测以获知搜索算法搜索效果的场景。比如，对于已上线发布的音乐软件，可以不定期地跟踪其搜索算法的整体质量，利用本公开实施例的技术方案，评测人员可以在提供的搜索算法评测界面中输入搜索词汇，然后对显示出的搜索结果进行打分、标记满意程度等评测操作，基于该评测操作可获得所评测搜索算法的评测数据，评测人员根据该评测数据可以获知搜索算法的整体质量、是否能够达到用户的预期、达到预期的程度、存在的问题等信息，以此指导搜索算法的更新迭代方向。

又比如，对于新版本音乐软件或新开发的搜索算法，可以利用本公开实施例的方案，将例如待上线的新版搜索算法与当前已上线运行的搜索算法的搜索结果进行比较，得到新版搜索算法相对于当前已上线运行的搜索算法的评测数据，将该评测数据作为新版搜索算法是否上线的参考依据。

再比如，可以利用本公开实施例的方案对自身音乐软件的搜索功能和竞品软件的搜索功能均进行评测，并将评测结果进行横向比较，通过与竞品比对来取长补短，推动自身搜索算法的优化更迭。

示例性方法

下面结合上述的应用场景，参考图1来描述根据本公开示例性实施例的搜索算法的评测方法，该评测方法可以包括步骤S110～步骤S130。本公开实施例提供的搜索算法的评测方法的执行主体可以是具有计算处理功能的设备，比如手机、电脑、服务器等。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施例在此方面不受任何限制。相反，本公开的实施例可以应用于适用的任何场景。

参照图1所示，在步骤S110中，显示搜索算法评测界面，搜索算法评测界面中包括搜索功能区和搜索结果评测区。

在本公开的一种示例实施例中，搜索算法评测界面可以基于选定的搜索算法评测类型确定。示例性的，选定的搜索算法评测类型可以包括以下至少一种：用户体验评测、版本评测和竞对评测。

以选定的搜索算法评测类型是用户体验评测为例，参照图2，示意性示出了根据本公开一些实施例的用户体验评测对应的搜索算法评测界面的示意图，该搜索算法评测界面中可以包括搜索功能区21和搜索结果评测区22。搜索功能区21提供输入搜索词汇的功能控件，例如，可以将可选的搜索词汇以列表的形式展现在搜索功能区21中，用户可以通过选定其中的某个搜索词汇实现该搜索词汇的输入；再比如，可以通过输入搜索词汇的功能控件提供输入搜索词汇的入口，用户可以通过该功能控件直接输入要搜索的词汇。搜索功能区21中还可以提供评测任务信息的功能控件，比如图2中的“任务信息”菜单，用户可以通过该菜单查看已创建的评测任务，可以从中选择所需的评测任务进行评测，也可以通过选定某个评测任务来查看该评测任务当前的任务进度或评测结果，还可以在“任务信息”菜单中设置新增评测任务的功能控件，选中该功能控件后可以进入创建评测任务的流程，比如可以调出评测任务配置界面供用户进行评测任务的创建。搜索结果评测区22可以提供对搜索结果进行评测的功能控件，比如可以包括搜索结果各评分维度满意程度的标记控件，可以包括各评分维度对应问题类型的标记控件等。示例性的，如图2所示，搜索结果评测区22中的“最佳匹配”、“排序”、“第一个模块”等评分维度均对应有满意程度标记控件221，评测人员可以根据搜索结果显示区23中显示的搜索结果，通过满意程度标记控件221标记相应评分维度的满意程度。其中的“第一个模块”只是一种命名的表示方法，可以指代搜索结果页面中第一个标签模块，比如图2中展示的“你可能感兴趣”模块，相应的，“单曲”可称为“第二个模块”。需要说明的是，这里仅为举例说明，并不用于限制本公开，实际应用中可以根据本公开的思想设置任意所需的控件，比如记录搜索结果所存在问题的问题类型标记控件、记录搜索结果数量的标记控件等。

对于版本评测和竞对评测，示例性的，其搜索算法评测界面可以类比图2，同样可以包括搜索功能区和搜索结果评测区，搜索功能区可以提供输入搜索词汇的功能控件，搜索结果评测区可以提供相应的对搜索结果进行评测的功能控件，比如对搜索结果进行打分、记录满意程度等。所不同的是，对于版本评测，可以在搜索结果显示区显示当前评测版本的搜索结果和参照版本的搜索结果，以方便比对评测，其一种示例性的显示效果可参考图3，在图3所示的搜索结果显示区33中可以显示出当前评测版本(组名为t)和参照版本(组名为c)的搜索结果，用户可以根据对该搜索结果的横向比对在搜索结果评测区32中进行评测，比如对搜索结果中的“你可能感兴趣”模块进行对比，记录比对结果；对于竞对评测，可以在搜索结果显示区显示自身音乐软件的搜索结果和每一竞品的搜索结果，以进行比对评测，其一种示例性的显示效果可参考图4，在图4所示的搜索结果显示区43中可以显示出自身音乐软件的搜索结果(组名为t)、竞品c1的搜索结果及竞品c2的搜索结果，用户可以对该搜索结果进行横向比对，记录比对结果。

在本公开的一些示例实施例中，可以在创建评测任务时选定搜索算法评测类型。在执行步骤S110之前，搜索算法的评测方法还可以包括生成搜索算法评测界面的步骤，参照图5，具体可以包括如下的步骤S510～步骤S530：

在步骤S510中，显示评测任务配置界面，评测任务配置界面中可以包括待评测搜索算法的评测类型的配置控件和待评测标签页的配置控件。

在本公开的一些示例实施例中，评测类型可以包括用户体验评测、版本评测和竞对评测中的至少一种，评测人员可以根据评测需求，通过待评测搜索算法的评测类型的配置控件选择或者输入所需进行的评测类型，比如选定版本评测。音乐软件的搜索功能页面提供有多种类型的标签页，比如综合、单曲、歌手、歌单、视频、播客等标签页，评测人员可以通过待评测标签页的配置控件设置所要评测的一种或多种标签页。

在步骤S520中，响应于面向评测类型的配置控件和待评测标签页的配置控件的配置操作，确定待评测搜索算法的目标评测类型和目标评测标签页。

在步骤S530中，基于目标评测类型和目标评测标签页生成针对目标评测标签页的搜索算法评测界面。

例如，评测人员在评测任务配置界面中，通过评测类型的配置控件选定了用户体验评测，通过待评测标签页的配置控件选定了单曲标签页，则基于选定的用户体验评测和单曲标签页，可以生成针对单曲标签页的搜索算法评测界面，其一种示例性的显示效果可参考图2。当评测人员在搜索算法评测界面的搜索功能区中输入搜索词汇时，在搜索结果显示区中可以以一定的顺序显示出与输入的搜索词汇相关的单曲，评测人员可根据这些单曲在搜索结果评测区进行满意程度标记、所关注信息的记录等评测操作。

在步骤S120中，基于在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示搜索结果。

音乐软件的搜索算法可以将歌曲、歌单等建立索引，评测人员在搜索功能区中输入搜索词汇后，搜索算法可以对用户输入的搜索词汇进行意图分析，根据意图分析结果从数据资源库中获取经过粗略排序后的结果，然后根据设定的调整算法对该结果进行调整，比如加入歌曲热度值、关注新歌指数等，以此筛选出一定数目的搜索结果进行展示。

在步骤S130中，根据在搜索结果评测区中针对搜索结果的评测操作输出搜索算法评测数据。

在本公开的一些示例实施例中，可以根据在搜索结果评测区中针对搜索结果的评测操作，利用目标评测规则确定出搜索算法评测数据，然后输出该搜索算法评测数据。在本公开的一种示例实施例中，评测操作可以包括搜索结果满意程度的标记操作，目标评测规则可以反映搜索结果的评分机制。

对于每一种评测类型，可以对应一种或多种评测规则。一种实施方式中，一种评测类型可以对应一种评测规则，可以将该评测规则作为该评测类型的目标评测规则。另一种实施方式中，一种评测类型可以对应多种评测规则，可以从该多种评测规则中选定一种评测规则作为该评测类型的目标评测规则。例如，评测人员可以通过步骤S510中所述的评测任务配置界面选定待评测搜索算法的评测类型，该评测类型可以对应有一种默认的目标评测规则，当评测人员选定评测类型，即也选定了对应的目标评测规则。再比如，还可以在评测任务配置界面中提供评测类型对应的评测规则的配置控件，评测人员可以通过该配置控件为选定的评测类型选定一种评测规则作为目标评测规则。

在本公开的一种示例实施例中，评测规则可以是在创建评测任务之前预先建立，也可以是在创建评测任务时，当检测到选定的评测类型没有对应的评测规则时进行建立。比如，检测到选定的评测类型没有对应的评测规则时，自动启动创建评测规则的线程，或者输出选定的评测类型没有对应评测规则的提示信息，由用户决定是否创建对应的评测规则，当用户确定创建对应的评测规则时，启动创建评测规则的线程。

参照图6，示意性示出了本公开示例实施例的一种创建评测规则的方法，该方法可以包括如下的步骤S610～步骤S640：

在步骤S610中，检测到创建评测规则的指令时，显示评测规则配置界面，评测规则配置界面中包括评测类型选择菜单。

在步骤S620中，响应于面向评测类型选择菜单的选择操作，选定待创建评测规则的搜索算法评测类型。

在步骤S630中，显示选定的待创建评测规则的搜索算法评测类型对应的评测规则配置子界面，该评测规则配置子界面中可以包括评分维度配置区、评测档位配置区和问题类型配置区，评分维度配置区可以包括评分维度和对应评分权重的配置控件，评测档位配置区可以包括搜索结果满意程度级别和对应评分值的配置控件，问题类型配置区可以包括问题类型的配置控件。

如图7所示，示例性示出了一种评测规则配置界面，该评测规则配置界面中包括评测类型选择菜单71，该评测类型选择菜单71中提供了可选的评测类型：用户体验评测、版本评测和竞对评测，用户可以通过评测类型选择菜单71选择待创建评测规则的搜索算法评测类型。比如，选定用户体验评测，可以在评测规则配置界面的预设区域显示用户体验评测对应的评测规则配置子界面，其一种示例性的显示效果可参照图7。在图7所示的评测规则配置子界面中，评测人员可以通过评分维度配置区72中的评分维度和对应评分权重的配置控件对评分维度及对应的评分权重进行配置，比如增减评分维度、设置评分维度的评分权重等；评测人员可以通过评测档位配置区73中的搜索结果满意程度级别和对应评分值的配置控件配置搜索结果满意程度级别及对应的评分值，比如增减搜索结果满意程度级别、设置搜索结果满意程度级别的评分值等，还可以设置搜索结果满意程度级别对应的处理类型，比如，对于搜索结果完全满足的情况，可以设置该搜索结果通过，对于搜索结果完全不满足的情况，可以设置该搜索结果不通过等；评测人员可以通过问题类型配置区74中的问题类型的配置控件配置可选的问题类型，该问题类型可以用来反映搜索结果不能满足预期时所存在的问题，比如搜索结果未达到预期可能是存在版权问题、意图识别问题、排序问题、相关性问题、实效性问题、单曲问题、歌单问题等，评测人员可以在评测界面中根据搜索结果从这些问题类型中选择相关的问题进行问题类型的标记。

需要说明的是，这里仅为举例说明，并不用于唯一限定本公开，评测规则的配置项目可以在本公开基本思想的指导下，根据实际情况进行设置，比如可以只包括评分维度配置区72和评测档位配置区73，或者可以只包括问题类型配置区74等，本公开对此不做特殊限定。

对于版本评测和竞对评测，对应的评测规则配置子界面中的配置项目可类比用户体验评测，此处不再赘述。

在步骤S640中，响应于面向评测规则配置子界面的配置操作，生成选定的待创建评测规则的搜索算法评测类型对应的评测规则。

以用户体验评测为例，其评测规则的一种示例性配置结果可参考图7，根据图7所示的配置结果，可以生成用户体验评测对应的评测规则，该评测规则中可以包括评分维度与评分权重的对应关系、搜索结果满意程度级别与评分值的对应关系，还可以包括可供选择的问题类型。评测人员在搜索结果评测区中针对搜索结果进行评测操作之后，可以根据评测操作，利用对应的评测规则确定出搜索算法评测数据。

在本公开的一种示例实施例中，搜索结果评测区中可以包括搜索结果各评分维度满意程度的标记控件，参照图8所示，利用目标评测规则确定搜索算法评测数据的方法可以包括如下的步骤S810～步骤S830：

在步骤S810中，针对每次评测的每个搜索词汇，响应于面向搜索结果各评分维度满意程度的标记控件的标记操作，利用目标评测规则确定每个搜索词汇对应的各评分维度的评分值。

一种示例性实施例中，可以通过如下的方法确定每个搜索词汇对应的各评分维度的评分值：响应于面向搜索结果各评分维度满意程度的标记控件的标记操作，确定各评分维度的搜索结果满意程度级别；基于确定出的各评分维度的搜索结果满意程度级别，从目标评测规则中匹配各评分维度的评分值。

以用户体验评测为例，参考图2所示，评测人员可以根据搜索结果显示区23中显示的搜索结果，参考一定的标准进行评测，例如新歌需要排在前三位、没有版权的不能排在前三位等，利用满意程度标记控件221对“最佳匹配”、“排序”、“第一个模块”等评分维度进行满意程度的标记。比如，根据搜索结果显示区23中显示的搜索结果，标记“最佳匹配”的满意程度级别为“完全不满足”，标记“排序”的满意程度级别为“基本满足”等，完成评分维度的标记后确定，则根据该标记，可以结合图7所示的评测规则，匹配出“最佳匹配”的评分值为-2，匹配出“排序”的评分值为1等。

在步骤S820中，完成设定评测次数的评测后，对所有搜索词汇对应的各评分维度的评分值进行统计分析，得到搜索算法评测数据。

示例性的，参考图2所示，可以在搜索功能区21中以列表的形式展示评测使用的所有搜索词汇，对这些搜索词汇均进行评测之后认为完成了一次评测。对于任一评测类型，可以执行一次评测或多次评测，评测次数可以是默认的次数，也可以由用户设置，比如在创建评测任务时设置。例如，上述的评测任务配置界面中还可以包括评测次数的配置控件，用户可以通过该评测次数的配置控件设置评测次数。

示例性的，在搜索功能区21中展示的搜索词汇可以通过评测样本提供，该评测样本可以是预先设定好的评测样本，对于任一评测类型，均使用该评测样本生成搜索功能区21中所展示的搜索词汇，或者可以是每一种评测类型均有对应的评测样本，评测人员通过待评测搜索算法的评测类型的配置控件选定评测类型后，即也选定了该评测类型对应的评测样本。评测样本也可以由评测人员进行配置，比如在创建评测任务时配置。例如，上述的评测任务配置界面中还可以包括评测样本的配置控件，用户可以通过评测样本的配置控件选择评测样本。评测样本中的词汇可以从线上采集，比如按照5：3：2的比例抽取热门词汇、中热词汇和冷门词汇共计200个生成评测样本；其中的热门词汇可以是点击率排名前10％的词汇，中热词汇可以是点击率排名在前40％～60％的词汇，冷门词汇可以是点击率排名后10％的词汇。这里内容和数值仅为示例性的说明，并不用于限定本公开。

例如，图9示意性示出了本公开实施例的一种示例性的评测任务配置界面，该评测任务配置界面中还可以包括运行环境的配置控件93，用户可以通过该运行环境的配置控件93设置评测时运行的环境，该运行环境可以是线上环境或测试环境，搜索算法可以在测试环境下评测通过后发布到线上。在图9所示的评测任务配置界面中，用户可以通过评测任务名称的配置控件91设置所要创建评测任务的名称，可以通过待评测搜索算法的评测类型的配置控件92设置进行评测的评测类型，比如设置的是“版本评测”，可以通过评测样本的配置控件95选择评测所需的样本，以提供可选的搜索词汇，可以通过评测规则的配置控件96设置所选评测类型对应的评测规则，可以通过待评测标签页的配置控件97设置评测所针对的标签页，可以通过评测次数的配置控件98设置所需的评测次数。另外，对于同一个搜索算法，可能会进行多组实验评测，还可以在评测任务配置界面中通过实验组配置控件94设置实验组号，以区分每一组的评测结果。相应的，生成搜索算法评测界面的过程可以是基于在图9所示评测任务配置界面中配置的内容生成。

在本公开的一种示例性实施例中，参照图10所示，可以通过如下的步骤S821～步骤S824对所有搜索词汇对应的各评分维度的评分值进行统计分析，得到搜索算法评测数据：

在步骤S821中，针对每个搜索词汇，从目标评测规则中匹配各评分维度对应的评分权重。

以用户体验评测为例，参考图7所示，目标评测规则中包括评分维度与评分权重的对应关系，比如可以从评分维度与评分权重的对应关系中匹配出“最佳匹配”对应的评分权重为0.2、“排序”对应的评分权重为0.2、“第一个模块”对应的评分权重为0.3、“第二个模块”对应的评分权重为0.2等。

在步骤S822中，根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分。

搜索算法评测类型可以包括用户体验评测、版本评测和竞对评测中的至少一种。

示例性的，对于用户体验评测，根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分可以包括如下的过程：根据每个搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值；根据加权总评分值计算每个搜索词汇的平均评分值，得到目标评分。

示例性的，对于版本评测和竞对评测，根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分可以包括如下的过程：根据每个搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值，得到目标评分。

例如，假设共有两个搜索词汇：搜索词汇A和搜索词汇B；目标评测规则中设置了三个评分维度：评分维度1～评分维度3；评分维度1～评分维度3对应的评分权重分别为p1、p2和p3；对于搜索词汇A，假设评分维度1～评分维度3的评分值分别为0、2、1；对于搜索词汇B，假设评分维度1～评分维度3的评分值分别为-1、1、-2。则所有搜索词汇的加权总评分值M＝(0×p1+2×p2+1×p3)+(-1×p1+1×p2-2×p3)，每个搜索词汇的平均评分值为M/2。

在步骤S823中，分别统计各评分维度对应的各搜索结果满意程度级别的个数，得到搜索结果满意程度分布表。

示例性的，以用户体验评测为例，假设评分维度包括“最佳匹配”、“排序”、“第一个模块”和“第二个模块”，搜索结果满意程度级别包括“完全满足”、“基本不满足”、“完全不满足”、“基本满足”和“意图不明”五个级别；假设共有5个搜索词汇：词汇A、词汇B、词汇C、词汇D和词汇E，共进行了两次评测，两次评测的结果可参考如下的表1：

表1

对表1所示的评测结果进行统计分析可知，对于评分维度“最佳匹配”，其对应的搜索结果满意程度级别“完全满足”、“基本满足”、“基本不满足”、“完全不满足”和“意图不明”(其他评分维度均以该顺序描述)的个数分别为6、2、2、0和0；对于评分维度“排序”，其对应的各搜索结果满意程度级别的个数分别为2、2、2、1和3；对于“第一个模块”，其对应的各搜索结果满意程度级别的个数分别为3、5、0、1和1；对于“第二个模块”，其对应的各搜索结果满意程度级别的个数分别为4、4、0、2和0。根据该统计结果得到搜索结果满意程度分布表可以如表2所示：

表2

需要说明的是，这里仅为举例说明，并不用于限定本公开，评分维度、搜索结果满意程度级别等可以在不违背本公开基本思想的前提下根据实际应用确定。

示例性的，对于版本评测，可以类比用户体验评测统计各评分维度对应的各搜索结果满意程度级别的个数，得到对应的搜索结果满意程度分布表。对于竞对评测，可以类比用户体验评测，对当前评测版本和每一竞品版本分别进行统计，得到当前评测版本和每一竞品版本分别对应的搜索结果满意程度分布表。

在步骤S824中，基于目标评分和搜索结果满意程度分布表生成搜索算法评测数据。

示例性的，对于用户体验评测，可以将步骤S822获得的平均评分值和步骤S823获得的如表2所示的搜索结果满意程度分布表合并，生成对应的搜索算法评测数据。对于版本评测，可以将步骤S822获得的加权总评分值和步骤S823获得的搜索结果满意程度分布表合并，生成对应的搜索算法评测数据。对于竞对评测，可以基于当前评测版本和每一竞品版本分别对应的目标评分和搜索结果满意程度分布表生成搜索算法评测数据，其中的目标评分可以是加权总评分值。

在本公开的一种示例性实施例中，对于版本评测，还可以通过当前评测版本相对于参照版本的胜出率来反映所评测搜索算法的搜索效果。参照图11所示，搜索算法的评测方法还可以包括获取当前评测版本相对于参照版本的胜出率的步骤，具体可以包括如下的步骤S1110～步骤S1160：

在步骤S1110中，基于搜索结果满意程度分布表，获取各评分维度分别对应的各搜索结果满意程度级别的个数。

示例性的，版本评测的搜索结果满意程度分布表可以类比上述表2，根据版本评测的搜索结果满意程度分布表可以获得版本评测的各评分维度分别对应的各搜索结果满意程度级别的个数。

在步骤S1120中，对于每一评分维度，计算每一评分维度对应的第一搜索结果满意程度级别的个数与第二搜索结果满意程度级别的个数的平均值。

在本公开实施例中，可以根据当前评测版本和参照版本是否均能满足搜索预期的情况建立搜索结果满意程度级别。例如，第一搜索结果满意程度级别为表征当前评测版本和参照版本均满足搜索预期的搜索结果满意程度级别，第二搜索结果满意程度级别为表征当前评测版本和参照版本均不能满足搜索预期的搜索结果满意程度级别，第三搜索结果满意程度级别为表征当前评测版本能够满足搜索预期而参照版本不能满足搜索预期的搜索结果满意程度级别。

在步骤S1130中，计算每一评分维度对应的第三搜索结果满意程度级别的个数与平均值之和，得到胜出总数。

在步骤S1140中，获取每一评分维度对应的所有搜索结果满意程度级别的总个数。

在步骤S1150中，计算胜出总数与总个数的比值，得到当前评测版本的各评分维度相对于参照版本的胜出率。

在步骤S1160中，输出胜出率。可以将该胜出率作为搜索算法评测数据的一部分进行显示。

例如，版本评测的一种示例性搜索结果满意程度分布表如下表3所示，包括“均不满足”、“落败”、“胜出”和“均满足”四个搜索结果满意程度级别，其中，“均满足”、“均不满足”和“胜出”依次对应于上述的第一搜索结果满意程度级别、第二搜索结果满意程度级别和第三搜索结果满意程度级别。

表3

搜索结果满意程度级别	均不满足	落败	胜出	均满足
					最佳匹配	14	23	22	41

根据表3的内容，可以利用公式“(胜出的个数+(均满足的个数+均不满足的个数)/2)/总个数”计算得到胜出率为49.5％，其中的总个数为所有的搜索结果满意程度级别的总个数。

可以通过胜出率来评价当前评测版本的搜索算法的质量，当胜出率超过设定的参考值(比如55％)时，表征当前评测版本的搜索算法优于参照版本，可以用当前评测版本的搜索算法替代参照版本的搜索算法，提高搜索结果的准确性和可靠性，进而提升用户的搜索体验。

在步骤S830中，显示搜索算法评测数据。

搜索算法评测数据可以基于目标评分和搜索结果满意程度分布表生成。搜索结果满意程度分布表可以反映搜索结果各评分维度的搜索预期情况，目标评分可以反映当前评测的搜索算法的质量。

对于用户体验评测，当目标评分超过设定的评分参照值时，表征当前评测的搜索算法能够满足用户的搜索预期，本次用户体验评测通过。对于版本评测，可以将当前评测版本的目标评分与参照版本的目标评分进行比较，若当前评测版本的目标评分高于参照版本的目标评分，则表征当前评测版本的搜索算法优于参照版本，可以用当前评测版本的搜索算法替代参照版本的搜索算法，或扩大当前评测版本的搜索算法的使用流量，提高搜索结果的准确性和可靠性，进而提升用户的搜索体验。对于竞对评测，可以将当前评测版本的目标评分与每一竞品版本的目标评分进行比较，目标评分高的表征搜索算法较优，以此指导当前评测版本的优化。

在本公开的一些示例实施例中，还可以基于目标评分生成表征搜索算法是否评测通过的评测结果信息，然后输出该评测结果信息。比如，在进行用户体验评测时，当目标评分超过设定的评分参照值时，生成评测通过的评测结果信息并输出，这样，可以直观地获知本次用户体验评测通过。

在上述方法步骤中，可以利用目标评分评价搜索算法的搜索效果。在本公开的一些示例实施例中，还可以对搜索结果所反映出的搜索算法的问题进行统计分析，并将分析结果展示给用户。

示例性的，结合图2所示，搜索结果评测区22中还可以包括各评分维度对应问题类型的标记控件222，评测人员可以通过该标记控件标记搜索结果所反映出的问题，比如搜索结果中存在版权问题、搜索结果的排序存在问题、搜索结果中存在意图识别不明的问题、搜索结果中的单曲模块不能达到预期、搜索结果的相关性不高等，可以将这些问题类型进行枚举，与各评分维度对应问题类型的标记控件关联，提供可选的问题类型，评测人员可以通过标记控件222选择相关的问题类型实现问题类型的标记。或者，用户也可以通过各评分维度对应问题类型的标记控件直接输入相关的问题类型。相应的，参照图12所示，获取搜索算法评测数据的方法还可以包括如下的步骤S1210～步骤S1230：

在步骤S1210中，针对每次评测的每个搜索词汇，响应于面向各评分维度对应问题类型的标记控件的标记操作，确定搜索词汇对应搜索结果的各评分维度的问题类型。

例如，参照图2所示，“最佳匹配”、“排序”、“第一模块”等评分维度均有各自对应的问题类型的标记控件222，根据搜索结果显示区23中显示的搜索结果，比如评测人员发现搜索结果的“最佳匹配”评分维度未达到搜索预期，存在版权问题，则可以通过“最佳匹配”对应的问题类型的标记控件222将问题类型标记为“版权问题”，则可确定“最佳匹配”对应的问题类型为“版权问题”。对于每个评分维度，均可通过各自对应的问题类型的标记控件222进行问题类型的标记操作，根据标记操作得到各评分维度的问题类型。可以理解，对于每个评分维度，其对应的问题可能是一个或多个，可以通过问题类型的标记控件222标记一个或多个问题类型。

在步骤S1220中，完成设定评测次数的评测后，对所有搜索词汇对应搜索结果的各评分维度的问题类型进行统计分析，得到问题分布表。

对于任一评测类型，可以执行一次评测或多次评测，评测次数可以是默认的次数，也可以由用户设置，比如在创建评测任务时设置。

一种示例实施方式中，可以对所有搜索词汇对应搜索结果的各评分维度，分别统计各评分维度对应的各问题类型的个数，得到问题分布表。

例如，以用户体验评测为例，假设评分维度包括“最佳匹配”、“排序”、“第一个模块”和“第二个模块”，标记的问题类型包括“意图识别问题”、“版权问题”、“排序问题”和“相关性问题”；假设共有5个搜索词汇：词汇A、词汇B、词汇C、词汇D和词汇E，共进行了两次评测，对于每次评测的每个搜索词汇，可以标记每个评分维度对应的问题类型，每个评分维度对应的问题类型可能是一个或多个，得到评测结果，根据评测结果统计各评分维度对应的各问题类型的个数的过程可类比步骤S823统计各搜索结果满意程度级别个数的过程，此处不再赘述。通过统计分析得到的问题分布表比如可以是如下的表4：

表4

需要说明的是，这里仅为示意性的举例说明，并不用于限定本公开，在不违背本公开技术方案基本思想的前提下，评分维度、问题类型及实际的统计结果均可根据实际应用得到。

在步骤S1230中，将问题分布表添加至搜索算法评测数据中。

可以将问题分布表也作为搜索算法评测数据的一部分，与上述目标评分和搜索结果满意程度分布表一起评价搜索算法的质量。问题分布表可以直观地反映搜索结果中各评分维度所存在的问题，比如搜索结果的“最佳匹配”维度没有达到预期主要是由于存在版权问题和意图识别问题，可以以此为依据对搜索算法进行有针对性的改进，提高搜索算法的准确性和可靠性，进一步提升音乐软件用户的搜索体验。

在本公开的一种示例实施例中，获得搜索算法评测数据之后，搜索算法的评测方法还可以包括根据搜索算法评测数据生成搜索算法评测报告的步骤。可以将搜索算法评测报告进行输出，比如显示、打印等。

示例性的，可以将步骤S822获得的目标评分和步骤S823获得的搜索结果满意程度分布表通过设定的格式合并，生成搜索算法评测报告。比如，可以在搜索结果满意程度分布表中增加一栏目标评分，或者可以将目标评分作为单独的一个部分与搜索结果满意程度分布表关联，得到搜索算法评测报告。搜索结果满意程度分布表在搜索算法评测报告中的展示形式比如可以是上述的表2、表3，本公开对搜索结果满意程度分布表在搜索算法评测报告中的具体展示形式不做特殊限定。

一种实施方式中，搜索算法评测报告中还可以包括如步骤S1220所述的问题分布表，相应的，可以将目标评分、搜索结果满意程度分布表和问题分布表进行关联，得到设定格式的搜索算法评测报告，然后展示给用户。例如，用户体验评测的搜索算法评测报告的一种示例性的展示效果可参考图13。

一种实施方式中，搜索算法评测报告中还可以包括基于目标评分生成的表征搜索算法是否评测通过的评测结果信息，通过该评测结果信息可以直观获知当前评测的搜索算法是否通过。

一种实施方式中，对于版本评测，其搜索算法评测报告中还可以包括当前评测版本相对于参照版本的胜出率，相应的，可以将目标评分、搜索结果满意程度分布表和胜出率进行关联，得到设定格式的搜索算法评测报告，然后展示给用户。

一种实施方式中，对于竞对评测，可以将当前评测版本和每一竞品版本的搜索算法评测数据进行同一维度的比对，比如结合图4所示，将三个结果中的“单曲”模块进行比对，然后将结果以比对的形式展示在搜索算法评测报告中。比如，可以根据比对维度划分报告区域，将当前评测版本和每一竞品版本分别对应的目标评分放置在同一区域，将分别对应的问题分布表放置在同一区域等。参照图14所示，示意性示出了竞对评测的一种示例性的搜索算法评测报告，可以在设定的区域以比对的方式分别展示目标评分、评分分布图和问题分布图。其中的评分分布图可以是以评分占比的方式比对输出，评分占比比如可以是所有搜索词汇对应的各评分值中每一评分值的个数所占的比重，例如，可以通过搜索结果满意程度分布表获得每一搜索结果满意程度级别的个数，每一搜索结果满意程度级别都对应一评分值，比如“完全满足”、“基本满足”、“完全不满足”和“意图不明”四个级别分别对应评分值2、1、-2和0，以此可以获得各评分值的个数，然后计算得到各评分值的个数占评分值总个数的占比，得到评分占比。当然，评分占比也可以是其他的形式，比如，可以将评分值划分为较好、一般和较差三个类别，将评分值高于第一阈值的归为较好的一类，将评分值小于第二阈值的归为较差的一类，其余的归为一般，获取各类别评分值的占比。

示例性的，评分分布图中还可以包括根据评分占比进行比对后的比对图。示例性的，问题分布图可以是以问题类型的占比方式比对输出。搜索算法评测报告通过比对的格式输出，可以直观地反映当前评测版本相对于每一竞品版本的优劣，以此指导搜索算法的改进，提高搜索算法的准确性和可靠性。

需要说明的是，搜索算法评测报告展现的格式仅为举例说明，实际应用中也可以是其他的格式，本公开对此不做特殊限定。

示例性介质

在介绍了本公开示例性实施例的方法之后，接下来，对本公开示例性实施例的介质进行说明。

在一些可能的实施例中，本公开的各个方面还可以实现为一种介质，其上存储有程序代码，当所述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的搜索算法的评测方法中的步骤。

在一些可能的实施例中，所述设备的处理器执行所述程序代码时可以用于实现如下步骤：步骤S110，显示搜索算法评测界面，搜索算法评测界面中包括搜索功能区和搜索结果评测区；步骤S120，基于在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示搜索结果；步骤S130，根据在搜索结果评测区中针对搜索结果的评测操作输出搜索算法评测数据。

参考图15所示，描述了根据本公开的实施例的用于实现上述数据处理方法的程序产品1500，其可以采用便携式紧凑盘只读存储器并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此。

需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑盘只读存储器、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网或广域网—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性装置

在介绍了本公开示例性实施例的介质之后，接下来，参考图16对本公开示例性实施例的搜索算法的评测装置进行说明。

参照图16所示，搜索算法的评测装置1600包括：评测界面显示模块1610，用于显示搜索算法评测界面，该搜索算法评测界面中包括搜索功能区和搜索结果评测区；搜索模块1620，用于基于检测到的在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示该搜索结果；评测模块1630，用于根据检测到的在搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据。

在本公开的一些示例实施例中，搜索算法的评测装置1600还包括：报告生成模块，用于根据搜索算法评测数据生成搜索算法评测报告。

在本公开的一些示例实施例中，搜索算法的评测装置1600还包括：评测任务显示模块，用于显示评测任务配置界面，评测任务配置界面中包括待评测搜索算法的评测类型的配置控件和待评测标签页的配置控件；确定模块，用于响应于面向评测类型的配置控件和待评测标签页的配置控件的配置操作，确定待评测搜索算法的目标评测类型和目标评测标签页；评测界面生成模块，用于基于目标评测类型和目标评测标签页生成针对目标评测标签页的搜索算法评测界面。

在本公开的一些示例实施例中，评测任务配置界面中还包括如下至少之一：评测类型对应的评测规则的配置控件、评测样本的配置控件和评测次数的配置控件。

在本公开的一些示例实施例中，评测模块1630具体用于根据在搜索结果评测区中针对搜索结果的评测操作，利用目标评测规则确定出搜索算法评测数据，输出该搜索算法评测数据。

在本公开的一些示例实施例中，评测操作可以包括搜索结果满意程度的标记操作，目标评测规则反映搜索结果的评分机制。

在本公开的一些示例实施例中，搜索算法评测界面基于选定的搜索算法评测类型确定，选定的搜索算法评测类型可以包括以下至少一种：用户体验评测、版本评测和竞对评测。

在本公开的一些示例实施例中，搜索结果评测区中可以包括搜索结果各评分维度满意程度的标记控件；评测模块1630可以包括：评分值确定单元，用于针对每次评测的每个搜索词汇，响应于面向搜索结果各评分维度满意程度的标记控件的标记操作，利用目标评测规则确定搜索词汇对应的各评分维度的评分值；第一分析单元，用于在完成设定评测次数的评测后，对所有搜索词汇对应的各评分维度的评分值进行统计分析，得到搜索算法评测数据；显示单元，用于显示搜索算法评测数据。

在本公开的一些示例实施例中，评分值确定单元具体用于：响应于面向搜索结果各评分维度满意程度的标记控件的标记操作，确定各评分维度的搜索结果满意程度级别；基于确定出的各评分维度的搜索结果满意程度级别，从目标评测规则中匹配各评分维度的评分值。

在本公开的一些示例实施例中，第一分析单元具体用于：针对每个搜索词汇，从目标评测规则中匹配各评分维度对应的评分权重；根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分；分别统计各评分维度对应的各搜索结果满意程度级别的个数，得到搜索结果满意程度分布表；基于目标评分和搜索结果满意程度分布表生成搜索算法评测数据。

在本公开的一些示例实施例中，评测模块1630还可以包括：评测结果信息生成单元，用于基于目标评分生成表征搜索算法是否评测通过的评测结果信息；评测结果信息输出单元，用于输出评测结果信息。

在本公开的一些示例实施例中，选定的搜索算法评测类型可以包括用户体验评测，第一分析单元在根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分时具体用于：根据每个搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值；根据加权总评分值计算每个搜索词汇的平均评分值，得到目标评分。

在本公开的一些示例实施例中，选定的搜索算法评测类型可以包括版本评测或竞对评测，第一分析单元在根据每个搜索词汇对应搜索结果的各评分维度的评分值和匹配出的评分权重计算目标评分时具体用于：根据每个搜索词汇对应搜索结果的各评分维度的评分值和评分权重计算所有搜索词汇的加权总评分值，得到目标评分。

在本公开的一些示例实施例中，选定的搜索算法评测类型包括竞对评测，第一分析单元具体用于基于当前评测版本和每一竞品版本分别对应的目标评分和搜索结果满意程度分布表生成搜索算法评测数据。

在本公开的一些示例实施例中，选定的搜索算法评测类型可以包括版本评测，第一分析单元还可以用于：基于搜索结果满意程度分布表，获取各评分维度分别对应的各搜索结果满意程度级别的个数；对于每一评分维度，计算每一评分维度对应的第一搜索结果满意程度级别的个数与第二搜索结果满意程度级别的个数的平均值；计算每一评分维度对应的第三搜索结果满意程度级别的个数与平均值之和，得到胜出总数；获取每一评分维度对应的所有搜索结果满意程度级别的总个数；计算胜出总数与总个数的比值，得到当前评测版本的评分维度相对于参照版本的胜出率；输出胜出率；其中，第一搜索结果满意程度级别为表征当前评测版本和参照版本均满足搜索预期的搜索结果满意程度级别，第二搜索结果满意程度级别为表征当前评测版本和参照版本均不能满足搜索预期的搜索结果满意程度级别，第三搜索结果满意程度级别为表征当前评测版本能够满足搜索预期而参照版本不能满足搜索预期的搜索结果满意程度级别。

在本公开的一些示例实施例中，搜索结果评测区中还可以包括各评分维度对应问题类型的标记控件；评测模块1630还可以包括：问题类型确定单元，用于针对每次评测的每个搜索词汇，响应于面向各评分维度对应问题类型的标记控件的标记操作，确定搜索词汇对应搜索结果的各评分维度的问题类型；第二分析单元，用于完成设定评测次数的评测后，对所有搜索词汇对应搜索结果的各评分维度的问题类型进行统计分析，得到问题分布表，将问题分布表添加至搜索算法评测数据中。

在本公开的一些示例实施例中，第二分析单元具体用于对所有搜索词汇对应搜索结果的各评分维度，分别统计各评分维度对应的各问题类型的个数，得到问题分布表。

在本公开的一些示例实施例中，搜索算法的评测装置1600还可以包括：

第一评测规则显示模块，用于检测到创建评测规则的指令时，显示评测规则配置界面，评测规则配置界面中包括评测类型选择菜单；

评测类型确定模块，响应于面向评测类型选择菜单的选择操作，选定待创建评测规则的搜索算法评测类型；

第二评测规则显示模块，用于显示选定的待创建评测规则的搜索算法评测类型对应的评测规则配置子界面，评测规则配置子界面中包括评分维度配置区、评测档位配置区和问题类型配置区，评分维度配置区包括评分维度和对应评分权重的配置控件，评测档位配置区包括搜索结果满意程度级别和对应评分值的配置控件，问题类型配置区包括问题类型的配置控件；

评测规则生成模块，用于响应于面向评测规则配置子界面的配置操作，生成选定的待创建评测规则的搜索算法评测类型对应的评测规则。

由于本公开的示例实施例的搜索算法的评测装置的各个功能模块与上述搜索算法的评测方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的搜索算法的评测方法的实施例。

示例性计算设备

在介绍了本公开示例性实施例的方法、介质和装置之后，接下来，介绍根据本公开的另一示例性实施例的计算设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施例中，根据本公开实施例的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的搜索算法的评测方法中的步骤。例如，所述处理器可以执行如图1中所示的步骤：步骤S110，显示搜索算法评测界面，搜索算法评测界面中包括搜索功能区和搜索结果评测区；步骤S120，基于在搜索功能区中输入的搜索词汇获取对应的搜索结果，并显示搜索结果；步骤S130，根据在搜索结果评测区中针对搜索结果的评测操作输出搜索算法评测数据。

下面参照图17来描述根据本公开的示例实施例的电子设备1700。图17所示的电子设备1700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图17所示，电子设备1700以通用计算设备的形式表现。电子设备1700的组件可以包括但不限于：上述至少一个处理单元1710、上述至少一个存储单元1720、连接不同系统组件(包括存储单元1720和处理单元1710)的总线1730。

总线1730表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元1720可以包括易失性存储器形式的可读介质，例如RAM(Random AccessMemory，随机存取存储器)1721和/或高速缓存存储器1722，还可以进一步包括ROM(Read-Only Memory，只读存储器)1723。

存储单元1720还可以包括具有一组(至少一个)程序模块1724的程序/实用工具1725，这样的程序模块1724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备1700也可以与一个或多个外部设备1740(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与电子设备1700交互的设备通信，和/或与使得电子设备1700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1750进行。电子设备1700还包括显示单元1770，其连接到输入/输出(I/O)接口1750，用于进行显示。并且，电子设备1700还可以通过网络适配器1760与一个或者多个网络(例如局域网，广域网和/或公共网络，例如因特网)通信。如图所示，网络适配器1760通过总线1730与电子设备1700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID(Redundant Arrays ofIndependent Disks，独立冗余磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了音乐热度预测装置的若干单元或子单元，但是这种划分仅仅是示例性的，并非是强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或单元的特征和功能可以在一个模块或单元中具体化。反之，上文描述的一个模块或单元的特征和功能可以进一步划分为由多个模块或单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims

1.一种搜索算法的评测方法，其特征在于，包括：

2.根据权利要求1所述的评测方法，其特征在于，在根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据之后，所述评测方法还包括：

根据所述搜索算法评测数据生成搜索算法评测报告。

3.根据权利要求1所述的评测方法，其特征在于，在所述显示搜索算法评测界面之前，所述评测方法还包括：

4.根据权利要求1所述的评测方法，其特征在于，所述根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据包括：

输出所述搜索算法评测数据。

5.根据权利要求4所述的评测方法，其特征在于，所述搜索算法评测界面基于选定的搜索算法评测类型确定，所述选定的搜索算法评测类型包括以下至少一种：用户体验评测、版本评测和竞对评测。

6.根据权利要求5所述的评测方法，其特征在于，所述搜索结果评测区中包括搜索结果各评分维度满意程度的标记控件；所述根据在所述搜索结果评测区中针对所述搜索结果的评测操作，利用目标评测规则确定出搜索算法评测数据，包括：

显示所述搜索算法评测数据。

7.根据权利要求1所述的评测方法，其特征在于，还包括：

8.一种搜索算法的评测装置，其特征在于，包括：

评测模块，用于根据在所述搜索结果评测区中针对所述搜索结果的评测操作输出搜索算法评测数据。

9.一种计算设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至7中任一项所述的方法。

10.一种介质，其上存储有程序，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。