CN113672496B - 一种基于余弦相似度的测试方法及系统 - Google Patents

Abstract

本发明提供一种基于余弦相似度的测试方法及系统，包括：输入测试用例；提取针对测试用例的预期响应结果，预期响应结果包括预期响应向量；接收针对测试用例的实际响应报文；根据预设的关键字对实际响应报文进行筛选及分词统计，得到实际响应数据结果；对实际响应数据结果进行转换，得到实际响应向量；对预期响应向量和实际响应向量进行余弦相似度计算，得到当前余弦相似度值；判断当前余弦相似度值是否大于余弦相似度预期值；若否，则判定测试用例执行失败；若是，则判定测试用例执行成功。通过此方法，能够解决现有技术在返回结果含有动态变化数据的场景下无法准确测试的问题，大幅度提高了测试准确性。

Description

一种基于余弦相似度的测试方法及系统

技术领域

本发明涉及计算机技术领域，具体涉及一种基于余弦相似度的测试方法及系统。

背景技术

当前常用的测试手段和测试方法是通过接口自动化测试，发送请求报文，并针对返回的响应报文进行断言分析，进行解决。目前相关工具较多，有代表性且开源的工具有YApi、或通过http协议的自研工具等，实现方式以YApi为例：

YApi首先针对接口进行分类，并录入/导入到YApi工具中，接口类型相同的会被归为一类接口；然后设置用例执行集合，在集合中添加上一步中已经分类的接口，作为用例，每个用例可以根据的用例设计方法进行相应参数的调整；通过设置全局变量或动态获取查询词的方法，对接口用例请求链接中的请求参数进行替换，达到动态发送HTTP请求的目的；最后，通过接收返回请求的响应报文，进行断言，来确定返回的数据中，是否存在需要关注的验证点，如果断言成功，则用例执行成功，反之，用例执行失败，并提供最终的测试报告。对于其他自研的工具，从使用的角度来看，基本也遵循了YApi的使用逻辑。

这种接口自动化的测试手段，对于返回固定响应数据结构以及数据结果，进行正确性的判断效果明显。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

若测试时返回的数据结构是动态的，数据结果也是动态的，就无法满足断言判断的正确性。例如对微博搜索进行测试时，结果中的数据是动态的，每次搜索出来的数据都跟前一次或多或少有所不同。此时，前述的常用测试方法就无法满足要求。因此，对于返回结果数据为动态的软件或系统如何进行测试，是需要解决的问题。

发明内容

本发明实施例提供一种基于余弦相似度的测试方法及系统，用以解决现有技术的接口自动化测试方法，在返回结果含有动态变化数据的场景下无法准确测试的问题。

为达到上述目的，一方面，本发明实施例提供一种基于余弦相似度的测试方法，包括：

输入测试用例；提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量；接收针对所述测试用例的实际响应报文；根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；对所述实际响应数据结果进行转换，得到实际响应向量；对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；判断当前余弦相似度值是否大于余弦相似度预期值；若否，则判定测试用例执行失败；若是，则判定测试用例执行成功。

另一方面，本发明实施例提供一种基于余弦相似度的测试系统，包括：输入模块，用于输入测试用例；调取模块，用于提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量；接收模块，用于接收针对所述测试用例的实际响应报文；数据处理模块，用于根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；对所述实际响应数据结果进行转换，得到实际响应向量；余弦相似度判断模块，用于对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；判断当前余弦相似度值是否大于余弦相似度预期值；若否，则判定测试用例执行失败；若是，则判定测试用例执行成功。

上述技术方案具有如下有益效果：

本技术方案针对动态的数据结构，首先解决了响应结果中确定顺序的问题(简称：定序)，可以有效的解决动态数据结构中的结构不稳定的问题，进而将动态数据按照分词的方法标记为向量，通过判断预期结果向量与实际结果结果向量的夹角余弦的方式，将文本对比，转化为判断通过概率比对的方法进行最终结果的判断，避免了固定断言无法满足判断动态数据的问题；并根据实际情况，动态设置预期，根据预期进行执行判断，可以为每个搜索词设定一个动态的预期结果，从而大幅度提高了测试的准确性。

此外，本技术方案还具有以下特点：

1、在测试过程中，可灵活设置获取数据的关键字集合池，根据关键字集合池中指定的关键字进行值的获取，将不关注的数据进行过滤，从而提高工作效率；

2、在测试过程中，可同时根据执行的结果，进行相关数据的数据分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于余弦相似度的测试方法的流程图；

图2是本发明一种基于余弦相似度的测试系统的结构框图；

图3是本发明一具体实施例中的流程图；

图4是本发明一具体实施例中的实际响应报文的示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请针对现有技术的接口自动化测试方法，在返回结果含有动态变化数据的场景下无法准确测试的问题，进行了详细的分析，并确定出现有技术存在此问题的原因在于以下几个方面：

动态数据结构中，返回数据结构的先后顺序不稳定，存在增/删结构中，某一些数据集合的情况；获取数据的方法不能根据实际的报文进行选择，使用起来不够灵活，方便；动态数据中断言的正确性失效，本身数据结构不稳定，断言的路径选择会出现偏差，数据结果动态生成，断言将无法生效；由于工具框架的影响，无法进行很好的扩展，动态数据的执行结果，需要进行动态调整预期，即，如果本次执行的结果符合预期，就会将本次执行作为下一次执行的预期进行比对。所以，不满足当前微博搜索的测试需求。

因此，为解决该问题，本申请从以下几方面着手：

针对动态的数据结构，响应结果中确定顺序的问题，以下简称“定序”；解决动态返回的结果中，动态数据获取的问题；解决断言无法满足判断动态数据的问题；解决动态预期调整的问题，以提高验证结果的有效性。

具体技术方案如下：

如图1所示，本发明提供一种基于余弦相似度的测试方法，包括：

S101、输入测试用例；

S102、提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量；

S103、接收针对所述测试用例的实际响应报文；

S104、根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；

S105、对所述实际响应数据结果进行转换，得到实际响应向量；

S109、对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；

S110、判断当前余弦相似度值是否大于余弦相似度预期值；

若否，则判定测试用例执行失败；

若是，则判定测试用例执行成功。

进一步的，所述预期响应结果还包括预期响应数据结果；

在步骤S109之前，还包括：

S106、判定所述预期响应结果不为空、且所述实际响应数据结果的数据顺序与所述预期响应数据结果的数据顺序相一致；

S107、若所述预期响应结果为空，则执行预期响应结果添加过程S112，并在执行完所述预期响应结果添加过程后结束当前测试；

S108、若所述实际响应数据结果的数据顺序与所述预期响应数据结果的数据顺序不一致，则告警，并结束当前测试。

进一步的，所述基于余弦相似度的测试方法还包括：

S111、若判定测试用例执行失败，则告警；若判定测试用例执行成功，则更新预期响应结果；

所述更新预期响应结果，包括：

以当前测试用例所述实际响应数据结果替换所述预期响应数据结果，并以当前测试用例所述实际响应向量替换所述预期响应向量。

进一步的，所述预期响应结果添加过程S112具体包括：

S1121、输入第二测试用例；

S1122、接收针对所述第二测试用例的第二实际响应报文；

S1123、对所述第二实际响应报文进行筛选及分词统计，得到第二实际响应数据结果；

S1124、根据所述第二实际响应数据结果对所述实际响应数据结果进行降噪处理，得到待添加实际响应数据结果；

S1125、对所述待添加实际响应数据结果进行转换，得到待添加实际响应向量；

S1126、以所述待添加实际响应数据结果作为所述预期响应数据结果，并以所述待添加响应向量作为所述预期响应向量。

进一步的，步骤S109，采用以下公式进行：

其中，cosα表示当前余弦相似度值，a为预期响应向量，b为实际响应向量。

如图2所示，本发明实施例提供一种基于余弦相似度的测试系统，包括：

输入模块21，用于输入测试用例；

调取模块22，用于提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量；

接收模块23，用于接收针对所述测试用例的实际响应报文；

数据处理模块24，用于根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；对所述实际响应数据结果进行转换，得到实际响应向量；

余弦相似度判断模块27，用于对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；判断当前余弦相似度值是否大于余弦相似度预期值；若否，则判定测试用例执行失败；若是，则判定测试用例执行成功。

进一步的，所述预期响应结果还包括预期响应数据结果；

所述系统中还包括：

预期判断模块25，用于判断所述预期响应结果是否为空；若为空，则触发添加执行模块29，并在所述添加执行模块执行完成后结束当前测试，若不为空，则触发数据顺序判断模块；

添加执行模块29，用于执行预期响应结果添加过程；

数据顺序判断模块26，用于当所述预期响应结果不为空时，判断所述实际响应数据结果的数据顺序是否与所述预期响应数据结果的数据顺序相一致；若否，则告警，之后结束当前测试；若是，则则触发所述余弦相似度判断模块27的执行。

进一步的，所述系统还包括：

预期数据更新模块28，用于若判定测试用例执行失败，则告警；若判定测试用例执行成功，则更新预期相应结果；所述更新预期响应结果具体包括：以当前测试用例的实际响应数据结果替换所述预期响应数据结果，并以当前测试用例的所述实际响应向量替换所述预期响应向量。

进一步的，所述添加执行模块29具体用于：

输入第二测试用例；接收针对所述第二测试用例的第二实际响应报文；对所述第二实际响应报文进行筛选及分词统计，得到第二实际响应数据结果；根据所述第二实际响应数据结果对所述实际响应数据结果进行降噪处理，得到待添加实际响应数据结果；对所述待添加实际响应数据结果进行转换，得到待添加实际响应向量；以所述待添加实际响应数据结果作为所述预期响应数据结果，并以所述待添加响应向量作为所述预期响应向量。

进一步的，所述余弦相似度判断模块27采用以下公式进行余弦相似度计算：

其中，cosα表示当前余弦相似度值，a为预期响应向量，b为实际响应向量。

以下结合图3所示的具体应用实例对本发明实施例上述技术方案进行详细说明，在图3所示的实例中，具体业务流程为：

步骤1、开始，通过外部调用进入程序，同时携带相关的参数，比如：搜索词(包括：话题词、商品词、相关资源词、热点词等等)，还可以进一步针对综合搜索、热搜榜、热点、要闻榜、娱乐榜、同城榜、落地页、垂直搜索，以及热点词、话题词、明星词等等各种资源分类词进行测试覆盖。

步骤2、根据提供的搜索词，向数据库中进行查询，查询结果分两种情况

查询成功，获取到相关的预期结果数据，并存储预期结果，为后续操作提供预期判断提供数据支持

查询失败，没有获取到预期结果数据，说明提供的搜索词，是首次执行，存储的预期结果为空结果

步骤3、根据提供的搜索词，进行动态的组装查询链接，通过查询链接向服务器发送请求，发送请求存在两种情况

请求失败，会直接进入到告警，并结束本次执行的后续流程

请求成功，会接收返回的数据信息，并为后续的流程操作，提供数据结果

步骤4、根据步骤3中的第2点，请求成功的响应结果报文，进行递归遍历，并在遍历的过程中，通过预先设定的关键字集合池，进行结果获取和结果过滤。

其中，设定的关键字集合池方法，是通过实际响应结果，进行分析后，确定下来的报文关键字，该关键字集合池是在执行本方法对应的流程之前预先设置的。

实际的操作，比如针对如图4所示的响应结果报文，通过比对分析，报文中存在大量的关键字信息，但是不影响最终判断的结果，所以，需要关注的关键字可以简化为："id"、"name",并形成最终的关键字集合池，片段中其余的关键字不计入筛选数据结果中。

根据关键字集合池的最终结果，可以获取实际响应报文所对应的数据，并按照先后顺序达到如下效果：["1","综合","86","排名","85","入围"]，拿到最终的实际响应数据结果后，可以直接通过数据作为最终的分词结果，并在整体响应报文中进行分词统计，得到对应分词的个数，作为实际响应的向量结果存储到数据库中，比如：[{"1":1},{"综合":2},{"86":1},{"排名":5},{"85":1},{"入围":10}]，其中的1，2,1,5,1,10就是从整体报文中获取的关于此值的个数。

步骤5、通过步骤5中存储的预期结果进行判断，有如下两种情况需要说明：

如果存储的预期结果为空，说明当前的搜索词为首次搜索，数据库内部并没有相应的预期结果，程序将走步骤6的流程；

存储的预期结果不为空，程序将走步骤7的流程。

步骤6、通过步骤5中的第1点，程序会在此时向服务器发送两次请求，确定需要判断的基本顺序(定序)，执行两次请求是为了降低噪音处理(即，降噪处理，是指将两次结果中动态变化的数据进行过滤，达到保持基本固定顺序的效果)，将首次执行降噪处理后的数据作为预期响应结果存放到数据库中，即完成了预期响应结果的添加，之后便结束本次执行的流程.

步骤7、通过步骤5中的第2点，说明本次执行的搜索词，不是第一次执行，数据库中存在相关的预期执行结果，并将存储顺序的预期结果与实际执行的顺序结果进行比对，查看预期结果和实际结果中报文动态结构的顺序是否一致，不一致会整合本次告警，顺序一致也会记录执行的顺序结果

步骤8、全量对比。在该步骤之前，要首先将实际响应数据结果中的数据，转化为向量结果，即实际响应向量，比如步骤四中的结果A＝[{"1":1},{"综合":2},{"86":1},{"排名":5},{"85":1},{"入围":10}],可以通过程序筛选表示为a＝[1,2,1,5,1,10]组成实际响应向量(该转化过程可以在前述步骤4中完成)；再调取存储器中的预期响应向量，例如预期响应数据结果为B＝[{"1":5},{"综合":2},{"86":0},{"排名":5},{"85":1},{"入围":5}]，相应的预期相应向量为b＝[5,2,0,5,1,5]。

之后便开始根据向量夹角的余弦公式，对预期响应向量和实际响应向量进行计算，公式为：

上例中，通过计算，可得余弦夹角的值为：0.8317，说明a向量与b向量有83.17％的相似度，这个过程就是将文本转化为向量再通过计算得到夹角余弦的值，因为取值范围在[0,1]之间，可以将计算的余弦结果转化为概率，作进一步的比对。预期结果是根据大量执行的结果数据进行分析，得到预期值大于0.7964时，两次请求结果的相似度基本满足比对的需求。在很大程度上降低了请求响应中，动态结果比对的难度。整个过程也模拟了TF-IDF(term frequency–inverse document frequency)的算法过程。

本次响应的结果处理，通过余弦结果比对会分为两种情况进行

结果成功，会作为此搜索词的下一次请求的预期；

结果失败，会告警并将告警内容整合到告警流程中。

步骤9、执行结果和整合告警，进行统一处理，并将最终结果存储到数据库中，程序到此结束。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本申请定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本申请给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于余弦相似度的测试方法，其特征在于，包括：

输入测试用例；

提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量，所述预期响应结果还包括预期响应数据结果；

接收针对所述测试用例的实际响应报文；

根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；

对所述实际响应数据结果进行转换，得到实际响应向量；

对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；

判断当前余弦相似度值是否大于余弦相似度预期值；

若否，则判定测试用例执行失败；

若是，则判定测试用例执行成功；

其中，在对所述预期响应向量和所述实际响应向量进行余弦相似度计算之前，还包括：

判定所述预期响应结果不为空、且所述实际响应数据结果的数据顺序与所述预期响应数据结果的数据顺序相一致；

以及，所述方法还包括：

若所述预期响应结果为空，则执行预期响应结果添加过程，并在执行完所述预期响应结果添加过程后结束当前测试；

若所述实际响应数据结果的数据顺序与所述预期响应数据结果的数据顺序不一致，则告警，并结束当前测试；

所述预期响应结果添加过程，具体包括：

输入第二测试用例；

接收针对所述第二测试用例的第二实际响应报文；

对所述第二实际响应报文进行筛选及分词统计，得到第二实际响应数据结果；

根据所述第二实际响应数据结果对所述实际响应数据结果进行降噪处理，得到待添加实际响应数据结果；

对所述待添加实际响应数据结果进行转换，得到待添加实际响应向量；

以所述待添加实际响应数据结果作为所述预期响应数据结果，并以所述待添加实际响应向量作为所述预期响应向量。

2.如权利要求1所述的基于余弦相似度的测试方法，其特征在于，还包括：

若判定测试用例执行失败，则告警；

若判定测试用例执行成功，则更新预期响应结果；

所述更新预期响应结果，包括：

以当前测试用例的实际响应数据结果替换所述预期响应数据结果，并以当前测试用例的实际响应向量替换所述预期响应向量。

3.如权利要求1所述的基于余弦相似度的测试方法，其特征在于，所述对预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值，采用以下公式进行：

其中，cosα表示当前余弦相似度值，a表示预期响应向量，b表示实际响应向量。

4.一种基于余弦相似度的测试系统，其特征在于，包括：

输入模块，用于输入测试用例；

调取模块，用于提取针对所述测试用例的预期响应结果，所述预期响应结果包括预期响应向量，所述预期响应结果还包括预期响应数据结果；

接收模块，用于接收针对所述测试用例的实际响应报文；

数据处理模块，用于根据预设的关键字对所述实际响应报文进行筛选及分词统计，得到实际响应数据结果；对所述实际响应数据结果进行转换，得到实际响应向量；

余弦相似度判断模块，用于对所述预期响应向量和所述实际响应向量进行余弦相似度计算，得到当前余弦相似度值；判断当前余弦相似度值是否大于余弦相似度预期值；若否，则判定测试用例执行失败；若是，则判定测试用例执行成功；

预期判断模块，用于判断所述预期响应结果是否为空；若为空，则触发添加执行模块，并在所述添加执行模块执行完成后结束当前测试，若不为空，则触发数据顺序判断模块；

添加执行模块，用于执行预期响应结果添加过程；

数据顺序判断模块，用于判断所述实际响应数据结果的数据顺序是否与所述预期响应数据结果的数据顺序相一致；若否，则告警，之后结束当前测试；若是，则触发所述余弦相似度判断模块的执行；

所述添加执行模块具体用于：输入第二测试用例；接收针对所述第二测试用例的第二实际响应报文；对所述第二实际响应报文进行筛选及分词统计，得到第二实际响应数据结果；根据所述第二实际响应数据结果对所述实际响应数据结果进行降噪处理，得到待添加实际响应数据结果；对所述待添加实际响应数据结果进行转换，得到待添加实际响应向量；以所述待添加实际响应数据结果作为所述预期响应数据结果，并以所述待添加实际响应向量作为所述预期响应向量。

5.如权利要求4所述的基于余弦相似度的测试系统，其特征在于，还包括：

预期数据更新模块，用于若判定测试用例执行失败，则告警；若判定测试用例执行成功，则更新预期响应结果；所述更新预期响应结果具体包括：以当前测试用例的实际响应数据结果替换所述预期响应数据结果，并以当前测试用例的实际响应向量替换所述预期响应向量。

6.如权利要求4所述的基于余弦相似度的测试系统，其特征在于，所述余弦相似度判断模块采用以下公式进行余弦相似度计算：

其中，cosα表示当前余弦相似度值，a表示预期响应向量，b表示实际响应向量。