CN103902449B - 一种用于生成搜索引擎相关性排序测试用例的方法与设备 - Google Patents

Abstract

本发明的目的是提供一种用于生成搜索引擎相关性排序测试用例的方法与设备；通过获取待生成测试用例的用例描述文件；获取搜索引擎所返回的基于该用例描述文件中挖掘相关信息的输入数据，其中，该输入数据命中该搜索引擎相关性排序；根据该测试用例的预期相关信息，生成该测试用例的可执行用例文件；根据该输入数据，以及该可执行用例文件，确定该测试用例。与现有技术相比，本发明提出一种自动生成搜索引擎相关性排序的测试用例的方法与设备，基于关键路径覆盖，通过对搜索引擎模块进行内部代码改造，自动挖掘用例输入数据，自动生成用例预期内容，满足复杂众多的测试需求，极大地提高了生成测试用例的数量与效率，降低了用例维护成本。

Description

一种用于生成搜索引擎相关性排序测试用例的方法与设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种用于生成搜索引擎相关性排序测试用例的技术。

背景技术

搜索引擎中关键词查询序列(query)与检索结果间的相关匹配程度，广义上用户查询的需求满足度，叫做搜索引擎的相关性。随着用户需求的越发多样化，搜索引擎相关性排序众多复杂，相关性排序改进的重心也更多的从基础检索后移至在线特征统计与计算，同时搜索引擎的国际化改造更强调在线执行时动态选择排序方法的机制，使得相关性排序测试复杂度大大增加。固定输入数据的自动化测试用例，常常由于策略耦合升级、接口调整、架构改造等，导致用例预期全部失败，测试用例维护成本极高。

因此，如何快速有效地生成搜索引擎相关性排序测试用例，成为本领域技术人员亟需解决的问题之一。

发明内容

本发明的目的是提供一种用于生成搜索引擎相关性排序测试用例的方法与设备。

根据本发明的一个方面，提供了一种用于生成搜索引擎相关性排序测试用例的方法，其中，该方法包括以下步骤：

a获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；

b获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；

c根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；

d根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。

根据本发明的另一方面，还提供了一种在搜索引擎端辅助用于生成搜索引擎相关性排序测试用例的方法，其中，该方法包括以下步骤：

A获取自用例生成设备发送的挖掘命令；

B根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；

C将所述输入数据返回至所述用例生成设备。

根据本发明的又一方面，还提供了一种用于生成搜索引擎相关性排序测试用例的用例生成设备，其中，该设备包括：

用例获取装置，用于获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；

数据获取装置，用于获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；

用例生成装置，用于根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；

用例确定装置，根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。

根据本发明的再一方面，还提供了一种辅助用于生成搜索引擎相关性排序测试用例的搜索引擎，其中，该搜索引擎包括：

命令获取装置，用于获取自用例生成设备发送的挖掘命令；

数据挖掘装置，用于根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；

数据返回装置，用于将所述输入数据返回至所述用例生成设备。

根据本发明的再一方面，还提供了一种用于生成搜索引擎相关性排序测试用例的系统，包括如上述的用例生成设备及如上述的搜索引擎。

与现有技术相比，本发明提出一种自动生成搜索引擎相关性排序的测试用例的方法与设备，基于关键路径覆盖，通过对搜索引擎模块进行内部代码改造，自动挖掘用例输入数据，自动生成用例预期内容，满足复杂众多的测试需求，极大地提高了生成测试用例的数量与效率，降低了用例维护成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的用于生成搜索引擎相关性排序测试用例的设备示意图；

图2示出根据本发明一个优选实施例的用于生成搜索引擎相关性排序测试用例的设备示意图；

图3示出根据本发明另一个方面的用于生成搜索引擎相关性排序测试用例的方法流程图；

图4示出根据本发明一个优选实施例的用于生成搜索引擎相关性排序测试用例的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的用于生成搜索引擎相关性排序测试用例的设备示意图。用例生成设备1包括用例获取装置101、数据获取装置102、用例生成装置103和用例确定装置104。

用例获取装置101获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息。具体地，用例获取装置101例如通过约定的通信方式，与文件库等进行交互，获取待生成测试用例的用例描述文件。该文件库中例如存储有事先编写好的用例描述文件。在此，用例描述文件包括挖掘相关信息及预期相关信息。该挖掘相关信息与命中搜索引擎相关性排序的输入数据相对应，描述了用例需要挖掘满足何种搜索引擎相关性排序的输入数据。在此，搜索引擎相关性排序通过对用户输入关键词的理解和需求分析，在事先抓取的互联网网页镜像数据库中挑选出与用户搜索意图相匹配的优质网页展现给用户。主流搜索引擎常见的相关性排序方法有：主题匹配度高结果选取策略、权威性结果提权策略、作弊结果打压、飘红策略、标题(title)/摘要选取策略等。

该预期相关信息例如路径预期、表达式预期等，可用于判断获得的输入数据是否满足该预期，当满足时，用例通过，否则用例失败。

数据获取装置102获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。具体地，数据获取装置102例如通过将该用例描述文件中所包括的挖掘相关信息发送至搜索引擎2，随后接收该搜索引擎2所返回的基于该挖掘相关信息的输入数据；或者，通过对该挖掘相关信息的解析，获得对应的挖掘命令并发送至搜索引擎2，随后接收该搜索引擎2所返回的基于该挖掘命令的输入数据。在此，挖掘命令主要指策略和分支标识码，是指搜索引擎模块代码中的策略和分支的唯一标识。在此，输入数据命中该搜索引擎相关性排序，一般包括关键词query、模块上下游交互接口数据、策略中间数据等。

本领域技术人员应能理解上述获取输入数据的方式仅为举例，其他现有的或今后可能出现的获取输入数据的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

用例生成装置103根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件。具体地，用例生成装置103根据用例获取装置101所获取的用例描述文件，自该用例描述文件中提取用于生成测试用例的预期相关信息，如用例执行环境描述、用例执行动作描述、用例预期描述等，根据该预期相关信息，生成该测试用例的可执行用例文件，如通过加载用例模板，生成该可执行用例文件。

在此，该用例生成装置通过脚本实现，解析用例描述文件中的预期相关信息，如预期描述，读取文件配置，填充到用例模板中，生成可执行的用例文件。

在此，该可执行用例文件部署案例(case)执行环境，包括二进制程序版本、配置、词典等运行环境的部署。

该用例可执行文件负责根据输入数据启动查询过程，如输入至被测模块进行查询，得到对应的输出数据，进而，判断该输出数据是否符合用例预期。

本领域技术人员应能理解上述生成可执行用例文件的方式仅为举例，其他现有的或今后可能出现的生成可执行用例文件的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

用例确定装置104根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。具体地，用例确定装置104根据数据获取装置102所获取的命中该搜索引擎相关性排序的输入数据，以及该用例生成装置103所生成的可执行用例文件，确定测试用例。

在此，该可执行用例文件还可包括用例预期，该用例预期例如策略路径(排序路径)，模块上下游接口数据、策略中间输出数据，对于采集到的输入数据，可以进行用例预期，如将该输入数据与该用例预期进行匹配，当匹配时，即该输入数据满足该用例预期时，该测试用例通过，否则该测试用例失败。

优选地，用例生成设备1的各个装置之间是持续不断工作的。具体地，用例获取装置101获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；数据获取装置102获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；用例生成装置103根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；用例确定装置104根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。在此，本领域技术人员应理解“持续”是指用例生成设备1的各装置分别按照设定的或实时调整的工作模式要求进行用例描述文件的获取、输入数据的获取、可执行用例文件的生成及测试用例的确定，直至该用例生成设备1在较长时间内停止获取待生成测试用例的用例描述文件。

现有的生成测试用例的方法受策略耦合升级、接口调整、架构改造等影响很大。例如，升级的上层策略导致了下层策略的命中率降低，使得原有挖掘的命中下层策略的输入数据，不能再命中策略(排序)，导致一部分测试用例失败；又如，搜索引擎模块之间的接口调整变化、甚至接口数据不兼容，导致已有测试用例的输入数据不可用，用例失败；再如，搜索引擎的策略是依附在架构代码之中的，架构改造升级，一般会导致策略的执行顺序变化、策略命中率变化，所以，架构一旦升级改造，就会导致大部分的测试用例失败，用例的维护成本极大。

在此，本发明提出一种自动生成搜索引擎相关性排序的测试用例的方法与设备，基于关键路径覆盖，通过对搜索引擎模块进行内部代码改造，自动挖掘用例输入数据，自动生成用例预期内容，满足复杂众多的测试需求，极大地提高了生成测试用例的数量与效率，降低了用例维护成本。当用例由于策略耦合升级、接口调整、架构改造等影响，需要重新准备输入数据时，只需要根据用例描述文件，重新执行一次挖掘和生成过程即可，无需人工操作，大大降低了用例的维护成本。具体地，本发明相对现有技术带来的有益效果如下：

1)基于路径覆盖的测试用例，能有效地覆盖相关性排序的重大问题，根据排序路径可直接把问题定位在分支级别，极大地降低了追查问题的成本；

2)在线全自动挖掘，编写测试用例的过程，转化为极简单地填写用例描述文件的过程，无需手工准备测试数据，工程师接手成本极低，可以生成大量的测试用例来保证相关性排序测试覆盖率，生成测试用例效率大大提高；

3)测试用例维护成本极低，当用例非预期失败需要修复时，只需要根据用例描述文件，重新执行一次用例生成过程，测试用例即可再生，可复用性高，是可再生的自动化测试用例。

图2示出根据本发明一个优选实施例的用于生成搜索引擎相关性排序测试用例的设备示意图。用例生成设备1包括用例获取装置201、数据获取装置202、用例生成装置203和用例确定装置204，其中，数据获取装置202还包括命令发送单元202a和数据获取单元202b；搜索引擎2包括命令获取装置205、数据挖掘装置206和数据返回装置207。以下参照图2对该优选实施例进行详细描述：具体地，用例获取装置201获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；命令发送单元202a对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎；搜索引擎中的命令获取装置205获取自用例生成设备发送的挖掘命令；数据挖掘装置206根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；数据返回装置207将所述输入数据返回至所述用例生成设备；用例生成设备1中的数据获取单元202b获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；用例生成装置203根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；用例确定装置204根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。其中，用例生成设备1中的用例获取装置201、用例生成装置203和用例确定装置204与图1所示对应装置相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

其中，用例生成设备1中的命令发送单元202a对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎。具体地，命令发送单元202a根据用例获取装置201所获取的用例描述文件，对该用例描述文件中所包括的挖掘相关信息进行解析，获得对应的挖掘命令，例如通过用户接口程序，发送至搜索引擎后台服务模块开放的测试接口。在此，挖掘命令主要指策略和分支标识码，是指搜索引擎模块代码中的策略和分支的唯一标识。

搜索引擎中的命令获取装置205获取自用例生成设备发送的挖掘命令。例如，通过用户接口程序，获取该挖掘命令。

数据挖掘装置206根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序。在此，该数据挖掘装置206根据该命令获取装置205所获取的挖掘命令，挖掘命中该搜索引擎相关性排序的输入数据，如挖掘命中策略或分支的输入数据，并推送到用例目录下，以作为测试用例的输入数据。

数据返回装置207将所述输入数据返回至所述用例生成设备。

用例生成设备1中的数据获取单元202b获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

优选地，该用例生成设备1还包括探针植入装置(未示出)，该搜索引擎还包括探针接受装置(未示出)。该探针植入装置在所述搜索引擎的预定位置植入测试探针；该搜索引擎中的探针接受装置在预定位置接受所述用例生成设备所植入的测试探针；其中，该搜索引擎中的数据挖掘装置206根据挖掘命令中的排序标识，与所述排序路径中的排序标识进行匹配处理，其中，所述排序路径与所述测试探针相对应；当匹配成功时，将所述测试探针采集的数据作为所述输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。该用例生成设备1中的数据获取单元202b获取所述搜索引擎所返回的基于所述挖掘命令在所述测试探针中匹配所获得的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

在此，对搜索引擎模块的代码进行可测性改造，用例生成设备1中的探针植入装置在搜索引擎的预定位置植入测试探针，如在该搜索引擎的模块代码的策略和策略的重要分支的最终生效位置植入测试探针。在此，该测试探针用于排序标识和信息采集，该测试探针记录代码流程经过的策略路径(排序路径)和采集测试用例所需的输入数据，最后匹配接收到的挖掘命令与经过的排序路径是否一致来决定挖掘是否成功，若匹配成功，则输出采集的数据。在此，排序标识可通过为每个测试探针分配标识码，输出标识码，形成排序路径文件的形式实现；信息采集，可通过重载探针函数，对策略内部的各种数据类型的中间数据或模块间的接口数据输出到指定文件中。

在此，策略或重要分支的生效位置，一般指策略、重要分支最终产生作用的位置，而不是中间异常退出的位置，可认为，测试探针被经过了，则该策略或重要分支最终作用了，这些“预定位置”由策略开发工程师在策略制定阶段确定的。

在此，测试探针只覆盖策略的重要分支，植入测试探针过程如下伪代码：

当测试探针用于排序标识时，该测试探针将一次query请求经过的排序标识、分支标识记录在一个排序路径文件中，表示一次query处理逻辑中生效的策略和重要分支；排序路径文件是作为测试用例路径预期的数据，排序路径文件格式如下表1所示：

表1：排序路径文件

(其中，例如，输入关键词baidu，test_Sid_1：表示排序、分支、条件名，0x2000：表示标识码)

当测试探针用于排序标识时，当挖掘成功后，该测试探针将采集到的策略内部中间数据、模块间上下游交互数据输出到特定数据文件中，采集的数据文件作为测试用例表达式预期的数据。

优选地，还可以将用户接口程序发送的命令信息存入到的命令管理器中，把测试探针记录的策略和分支标识码存入到数据管理器中，最终通过查找数据管理器中的标识码是否匹配命令管理器中的标识码来决定挖掘是否成功，若匹配成功，则输出对应的采集信息，若匹配不成功，则继续下一次query请求的挖掘。在此，该命令管理器和数据管理器例如可以通过哈希映射(hashmap)实现。

更优选地，所述可执行用例文件包括用例预期，其中，该用例生成设备1还包括匹配装置(未示出)，该匹配装置将在所述测试探针中匹配所获得的输入数据与所述用例预期进行匹配，以获得对应的匹配结果。在此，该可执行用例文件还可包括用例预期，该用例预期例如排序路径，模块上下游接口数据、策略中间输出数据，对于采集到的输入数据，可以进行用例预期，例如，匹配装置将该测试探针所采集到的输入数据与该用例预期进行匹配，获得对应的匹配结果。例如，当该输入数据与该用例预期匹配时，即该输入数据满足该用例预期时，该测试用例通过，否则该测试用例失败。

更优选地，所述用例预期包括以下至少任一项：

-路径预期，其具有粗测试粒度；

-表达式预期，其具有细测试粒度。

在此，用例预期分为路径预期和表达式预期，默认的预期为路径预期，即验证代码处理流程经过的排序路径包含了所挖掘的策略或分支；表达式预期，用户自定义的预期，一般取搜索引擎模块为挖掘单独输出的数据文件作为预期内容。

在此，路径预期和表达式预期是一种测试分层思想，用于质量要求不同的测试场景，路径预期是测试粒度较粗的预期，表达式预期是测试粒度较细的预期。例如，为验证相关性排序A是否生效，若排序A的重要处理分支都生效了，如测试探针被经过覆盖，即粗粒度的路径预期；若排序A的重要处理分支的逻辑处理内容符合指定的表达式预期，例如：大于、小于、等于等表达式，即细粒度的表达式预期。

本领域技术人员应能理解上述用例预期仅为举例，其他现有的或今后可能出现的用例预期如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

优选地，所述用例生成装置203根据所述测试用例的预期相关信息，加载用例模板，生成所述可执行用例文件；其中，所述预期相关信息包括以下至少任一项：

-用例执行环境描述；

-用例执行动作描述；

-用例预期描述。

具体地，用例生成装置103根据用例获取装置101所获取的用例描述文件，自该用例描述文件中提取用于生成测试用例的预期相关信息，如用例执行环境描述、用例执行动作描述、用例预期描述等，根据该预期相关信息，通过加载用例模板，生成该测试用例的可执行用例文件。

在此，该用例生成装置通过脚本实现，解析用例描述文件中的预期相关信息，如预期描述，读取文件配置，填充到用例模板中，生成可执行的用例文件。

本领域技术人员应能理解上述预期相关信息仅为举例，其他现有的或今后可能出现的预期相关信息如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

图3示出根据本发明另一个方面的用于生成搜索引擎相关性排序测试用例的方法流程图。

在步骤S301中，用例生成设备1获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息。具体地，在步骤S301中，用例生成设备1例如通过约定的通信方式，与文件库等进行交互，获取待生成测试用例的用例描述文件。该文件库中例如存储有事先编写好的用例描述文件。在此，用例描述文件包括挖掘相关信息及预期相关信息。该挖掘相关信息与命中搜索引擎相关性排序的输入数据相对应，描述了用例需要挖掘满足何种搜索引擎相关性排序的输入数据。在此，搜索引擎相关性排序通过对用户输入关键词的理解和需求分析，在事先抓取的互联网网页镜像数据库中挑选出与用户搜索意图相匹配的优质网页展现给用户。主流搜索引擎常见的相关性排序方法有：主题匹配度高结果选取策略、权威性结果提权策略、作弊结果打压、飘红策略、title/摘要选取策略等。

该预期相关信息例如路径预期、表达式预期等，可用于判断获得的输入数据是否满足该预期，当满足时，用例通过，否则用例失败。

在步骤S302中，用例生成设备1获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。具体地，在步骤S302中，用例生成设备1例如通过将该用例描述文件中所包括的挖掘相关信息发送至搜索引擎2，随后接收该搜索引擎2所返回的基于该挖掘相关信息的输入数据；或者，通过对该挖掘相关信息的解析，获得对应的挖掘命令并发送至搜索引擎2，随后接收该搜索引擎2所返回的基于该挖掘命令的输入数据。在此，挖掘命令主要指策略和分支标识码，是指搜索引擎模块代码中的策略和分支的唯一标识。在此，输入数据命中该搜索引擎相关性排序，一般包括关键词query、模块上下游交互接口数据、策略中间数据等。

本领域技术人员应能理解上述获取输入数据的方式仅为举例，其他现有的或今后可能出现的获取输入数据的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

在步骤S303中，用例生成设备1根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件。具体地，在步骤S303中，用例生成设备1根据在步骤S301中所获取的用例描述文件，自该用例描述文件中提取用于生成测试用例的预期相关信息，如用例执行环境描述、用例执行动作描述、用例预期描述等，根据该预期相关信息，生成该测试用例的可执行用例文件，如通过加载用例模板，生成该可执行用例文件。

在此，该步骤S303通过脚本实现，解析用例描述文件中的预期相关信息，如预期描述，读取文件配置，填充到用例模板中，生成可执行的用例文件。

在此，该可执行用例文件部署case执行环境，包括二进制程序版本、配置、词典等运行环境的部署。

该用例可执行文件负责根据输入数据启动查询过程，如输入至被测模块进行查询，得到对应的输出数据，进而，判断该输出数据是否符合用例预期。

本领域技术人员应能理解上述生成可执行用例文件的方式仅为举例，其他现有的或今后可能出现的生成可执行用例文件的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

在步骤S304中，用例生成设备1根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。具体地，在步骤S304中，用例生成设备1根据在步骤S302中所获取的命中该搜索引擎相关性排序的输入数据，以及在步骤S303中所生成的可执行用例文件，确定测试用例。

在此，该可执行用例文件还可包括用例预期，该用例预期例如策略路径(排序路径)，模块上下游接口数据、策略中间输出数据，对于采集到的输入数据，可以进行用例预期，如将该输入数据与该用例预期进行匹配，当匹配时，即该输入数据满足该用例预期时，该测试用例通过，否则该测试用例失败。

优选地，用例生成设备1的各个步骤之间是持续不断工作的。具体地，在步骤S301中，用例生成设备1获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；在步骤S302中，用例生成设备1获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；在步骤S303中，用例生成设备1根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；在步骤S304中，用例生成设备1根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。在此，本领域技术人员应理解“持续”是指用例生成设备1的各步骤分别按照设定的或实时调整的工作模式要求进行用例描述文件的获取、输入数据的获取、可执行用例文件的生成及测试用例的确定，直至该用例生成设备1在较长时间内停止获取待生成测试用例的用例描述文件。

现有的生成测试用例的方法受策略耦合升级、接口调整、架构改造等影响很大。例如，升级的上层策略导致了下层策略的命中率降低，使得原有挖掘的命中下层策略的输入数据，不能再命中策略(排序)，导致一部分测试用例失败；又如，搜索引擎模块之间的接口调整变化、甚至接口数据不兼容，导致已有测试用例的输入数据不可用，用例失败；再如，搜索引擎的策略是依附在架构代码之中的，架构改造升级，一般会导致策略的执行顺序变化、策略命中率变化，所以，架构一旦升级改造，就会导致大部分的测试用例失败，用例的维护成本极大。

在此，本发明提出一种自动生成搜索引擎相关性排序的测试用例的方法与设备，基于关键路径覆盖，通过对搜索引擎模块进行内部代码改造，自动挖掘用例输入数据，自动生成用例预期内容，满足复杂众多的测试需求，极大地提高了生成测试用例的数量与效率，降低了用例维护成本。当用例由于策略耦合升级、接口调整、架构改造等影响，需要重新准备输入数据时，只需要根据用例描述文件，重新执行一次挖掘和生成过程即可，无需人工操作，大大降低了用例的维护成本。具体地，本发明相对现有技术带来的有益效果如下：

1)基于路径覆盖的测试用例，能有效地覆盖相关性排序的重大问题，根据排序路径可直接把问题定位在分支级别，极大地降低了追查问题的成本；

2)在线全自动挖掘，编写测试用例的过程，转化为极简单地填写用例描述文件的过程，无需手工准备测试数据，工程师接手成本极低，可以生成大量的测试用例来保证相关性排序测试覆盖率，生成测试用例效率大大提高；

3)测试用例维护成本极低，当用例非预期失败需要修复时，只需要根据用例描述文件，重新执行一次用例生成过程，测试用例即可再生，可复用性高，是可再生的自动化测试用例。

图4示出根据本发明一个优选实施例的用于生成搜索引擎相关性排序测试用例的方法流程图。以下参照图4对该优选实施例进行详细描述：具体地，在步骤S401中，用例生成设备1获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息；在步骤S402中，用例生成设备1对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎；搜索引擎2获取自用例生成设备发送的挖掘命令；在步骤S403中，搜索引擎2根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；在步骤S404中，搜索引擎2将所述输入数据返回至所述用例生成设备；用例生成设备1获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；在步骤S405中，用例生成设备1根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；在步骤S406中，用例生成设备1根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。其中，步骤S401、S405和S406与图3所示对应步骤相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

其中，在步骤S402中，用例生成设备1对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎。具体地，在步骤S402中，用例生成设备1根据在步骤S401中所获取的用例描述文件，对该用例描述文件中所包括的挖掘相关信息进行解析，获得对应的挖掘命令，例如通过用户接口程序，发送至搜索引擎后台服务模块开放的测试接口。在此，挖掘命令主要指策略和分支标识码，是指搜索引擎模块代码中的策略和分支的唯一标识。

搜索引擎2获取自用例生成设备发送的挖掘命令。例如，通过用户接口程序，获取该挖掘命令。

在步骤S403中，搜索引擎2根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序。在此，该搜索引擎2根据获取的挖掘命令，挖掘命中该搜索引擎相关性排序的输入数据，如挖掘命中策略或分支的输入数据，并推送到用例目录下，以作为测试用例的输入数据。

在步骤S404中，搜索引擎2将所述输入数据返回至所述用例生成设备。

用例生成设备1获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

优选地，该方法还包括步骤S407(未示出)。在该步骤S407中，该用例生成设备1在所述搜索引擎2的预定位置植入测试探针；该搜索引擎2在预定位置接受所述用例生成设备所植入的测试探针；随后，在步骤S403中，搜索引擎2根据挖掘命令中的排序标识，与所述排序路径中的排序标识进行匹配处理，其中，所述排序路径与所述测试探针相对应；当匹配成功时，将所述测试探针采集的数据作为所述输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。该用例生成设备1获取所述搜索引擎所返回的基于所述挖掘命令在所述测试探针中匹配所获得的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

在此，对搜索引擎模块的代码进行可测性改造，在步骤S407中，用例生成设备1在搜索引擎的预定位置植入测试探针，如在该搜索引擎的模块代码的策略和策略的重要分支的最终生效位置植入测试探针。在此，该测试探针用于排序标识和信息采集，该测试探针记录代码流程经过的策略路径(排序路径)和采集测试用例所需的输入数据，最后匹配接收到的挖掘命令与经过的排序路径是否一致来决定挖掘是否成功，若匹配成功，则输出采集的数据。在此，排序标识可通过为每个测试探针分配标识码，输出标识码，形成排序路径文件的形式实现；信息采集，可通过重载探针函数，对策略内部的各种数据类型的中间数据或模块间的接口数据输出到指定文件中。

在此，策略或重要分支的生效位置，一般指策略、重要分支最终产生作用的位置，而不是中间异常退出的位置，可认为，测试探针被经过了，则该策略或重要分支最终作用了，这些“预定位置”由策略开发工程师在策略制定阶段确定的。

在此，测试探针只覆盖策略的重要分支，植入测试探针过程如下伪代码：

当测试探针用于排序标识时，该测试探针将一次query请求经过的排序标识、分支标识记录在一个排序路径文件中，表示一次query处理逻辑中生效的策略和重要分支；排序路径文件是作为测试用例路径预期的数据，排序路径文件格式如下表2所示：

表2：排序路径文件

(其中，例如，输入关键词baidu，test_Sid_1：表示排序、分支、条件名，0x2000：表示标识码)

当测试探针用于排序标识时，当挖掘成功后，该测试探针将采集到的策略内部中间数据、模块间上下游交互数据输出到特定数据文件中，采集的数据文件作为测试用例表达式预期的数据。

优选地，还可以将用户接口程序发送的命令信息存入到的命令管理器中，把测试探针记录的策略和分支标识码存入到数据管理器中，最终通过查找数据管理器中的标识码是否匹配命令管理器中的标识码来决定挖掘是否成功，若匹配成功，则输出对应的采集信息，若匹配不成功，则继续下一次query请求的挖掘。在此，该命令管理器和数据管理器例如可以通过hashmap实现。

更优选地，所述可执行用例文件包括用例预期，其中，该方法还包括步骤S408(未示出)，在步骤S408中，该用例生成设备1将在所述测试探针中匹配所获得的输入数据与所述用例预期进行匹配，以获得对应的匹配结果。在此，该可执行用例文件还可包括用例预期，该用例预期例如排序路径，模块上下游接口数据、策略中间输出数据，对于采集到的输入数据，可以进行用例预期，例如，在步骤S408中，用例生成设备1将该测试探针所采集到的输入数据与该用例预期进行匹配，获得对应的匹配结果。例如，当该输入数据与该用例预期匹配时，即该输入数据满足该用例预期时，该测试用例通过，否则该测试用例失败。

更优选地，所述用例预期包括以下至少任一项：

-路径预期，其具有粗测试粒度；

-表达式预期，其具有细测试粒度。

在此，用例预期分为路径预期和表达式预期，默认的预期为路径预期，即验证代码处理流程经过的排序路径包含了所挖掘的策略或分支；表达式预期，用户自定义的预期，一般取搜索引擎模块为挖掘单独输出的数据文件作为预期内容。

在此，路径预期和表达式预期是一种测试分层思想，用于质量要求不同的测试场景，路径预期是测试粒度较粗的预期，表达式预期是测试粒度较细的预期。例如，为验证相关性排序A是否生效，若排序A的重要处理分支都生效了，如测试探针被经过覆盖，即粗粒度的路径预期；若排序A的重要处理分支的逻辑处理内容符合指定的表达式预期，例如：大于、小于、等于等表达式，即细粒度的表达式预期。

本领域技术人员应能理解上述用例预期仅为举例，其他现有的或今后可能出现的用例预期如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

优选地，在步骤S405中，用例生成设备1根据所述测试用例的预期相关信息，加载用例模板，生成所述可执行用例文件；其中，所述预期相关信息包括以下至少任一项：

-用例执行环境描述；

-用例执行动作描述；

-用例预期描述。

具体地，在步骤S405中，用例生成设备1根据在步骤S401中所获取的用例描述文件，自该用例描述文件中提取用于生成测试用例的预期相关信息，如用例执行环境描述、用例执行动作描述、用例预期描述等，根据该预期相关信息，通过加载用例模板，生成该测试用例的可执行用例文件。

在此，该步骤S405通过脚本实现，解析用例描述文件中的预期相关信息，如预期描述，读取文件配置，填充到用例模板中，生成可执行的用例文件。

本领域技术人员应能理解上述预期相关信息仅为举例，其他现有的或今后可能出现的预期相关信息如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (17)

1.一种用于生成搜索引擎相关性排序测试用例的方法，其中，该方法包括以下步骤：

a获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息，其中，所述预期相关信息用于判断所述输入数据是否满足对应预期；

b获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；

c根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；

d根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。

2.根据权利要求1所述的方法，其中，所述步骤b包括：

b1对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎；

b2获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

3.根据权利要求2所述的方法，其中，该方法还包括：

-在所述搜索引擎的预定位置植入测试探针；

其中，所述步骤b2包括：

-获取所述搜索引擎所返回的基于所述挖掘命令在所述测试探针中匹配所获得的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

4.根据权利要求3所述的方法，其中，所述可执行用例文件包括用例预期，其中，该方法还包括：

-将在所述测试探针中匹配所获得的输入数据与所述用例预期进行匹配，以获得对应的匹配结果。

5.根据权利要求4所述的方法，其中，所述用例预期包括以下至少任一项：

-路径预期，其具有粗测试粒度；

-表达式预期，其具有细测试粒度。

6.根据权利要求1至5中任一项所述的方法，其中，所述步骤c包括：

-根据所述测试用例的预期相关信息，加载用例模板，生成所述可执行用例文件；

其中，所述预期相关信息包括以下至少任一项：

-用例执行环境描述；

-用例执行动作描述；

-用例预期描述。

7.一种在搜索引擎端辅助用于生成搜索引擎相关性排序测试用例的方法，其中，该方法包括以下步骤：

A获取自用例生成设备发送的挖掘命令；

B根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；

C将所述输入数据返回至所述用例生成设备。

8.根据权利要求7所述的方法，其中，该方法还包括：

-在预定位置接受所述用例生成设备所植入的测试探针；

其中，所述步骤B包括：

-根据挖掘命令中的排序标识，与所述排序路径中的排序标识进行匹配处理，其中，所述排序路径与所述测试探针相对应；

-当匹配成功时，将所述测试探针采集的数据作为所述输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

9.一种用于生成搜索引擎相关性排序测试用例的用例生成设备，其中，该设备包括：

用例获取装置，用于获取待生成测试用例的用例描述文件，其中，所述用例描述文件包括与命中搜索引擎相关性排序的输入数据相对应的挖掘相关信息及所述测试用例的预期相关信息，其中，所述预期相关信息用于判断所述输入数据是否满足对应预期；

数据获取装置，用于获取搜索引擎所返回的基于所述挖掘相关信息的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序；

用例生成装置，用于根据所述测试用例的预期相关信息，生成所述测试用例的可执行用例文件；

用例确定装置，用于根据所述输入数据，以及所述可执行用例文件，确定所述测试用例。

10.根据权利要求9所述的用例生成设备，其中，所述数据获取装置包括：

命令发送单元，用于对所述挖掘相关信息进行解析，以获得对应的挖掘命令，并发送至所述搜索引擎；

数据获取单元，用于获取所述搜索引擎所返回的基于所述挖掘命令的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

11.根据权利要求10所述的用例生成设备，其中，该设备还包括：

探针植入装置，用于在所述搜索引擎的预定位置植入测试探针；

其中，所述数据获取单元用于：

-获取所述搜索引擎所返回的基于所述挖掘命令在所述测试探针中匹配所获得的输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

12.根据权利要求11所述的用例生成设备，其中，所述可执行用例文件包括用例预期，其中，该设备还包括：

匹配装置，用于将在所述测试探针中匹配所获得的输入数据与所述用例预期进行匹配，以获得对应的匹配结果。

13.根据权利要求12所述的用例生成设备，其中，所述用例预期包括以下至少任一项：

-路径预期，其具有粗测试粒度；

-表达式预期，其具有细测试粒度。

14.根据权利要求9至13中任一项所述的用例生成设备，其中，所述用例生成装置用于：

-根据所述测试用例的预期相关信息，加载用例模板，生成所述可执行用例文件；

其中，所述预期相关信息包括以下至少任一项：

-用例执行环境描述；

-用例执行动作描述；

-用例预期描述。

15.一种辅助用于生成搜索引擎相关性排序测试用例的搜索引擎，其中，该搜索引擎包括：

命令获取装置，用于获取自用例生成设备发送的挖掘命令；

数据挖掘装置，用于根据所述挖掘命令，基于排序路径进行挖掘处理，以获得用于生成测试用例的输入数据，其中，所述输入数据命中搜索引擎相关性排序；

数据返回装置，用于将所述输入数据返回至所述用例生成设备。

16.根据权利要求15所述的搜索引擎，其中，该搜索引擎还包括：

探针接受装置，用于在预定位置接受所述用例生成设备所植入的测试探针；

其中，所述数据挖掘装置用于：

-根据挖掘命令中的排序标识，与所述排序路径中的排序标识进行匹配处理，其中，所述排序路径与所述测试探针相对应；

-当匹配成功时，将所述测试探针采集的数据作为所述输入数据，其中，所述输入数据命中所述搜索引擎相关性排序。

17.一种用于生成搜索引擎相关性排序测试用例的系统，包括如权利要求9至14中任一项所述的用例生成设备及如权利要求15或16所述的搜索引擎。