CN115964275A - 一种分布式模糊测试加速方法及系统 - Google Patents

Abstract

本发明公开了一种分布式模糊测试加速方法及系统，将模糊测试任务拆分为多个不同的轻量级任务切片；在一个迭代周期内，将多个不同的轻量级任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级任务，并开始下一轮迭代。采用“云‑端”架构，在多个节点上利用时间切片执行轻量模糊测试任务；基于测试覆盖信息，提高节点间的协作效率和整体测试效率，并且能动态调整资源分配，提升了分布式模糊测试的效率和灵活性。

Description

一种分布式模糊测试加速方法及系统

技术领域

本发明涉及模糊测试技术领域，具体涉及一种分布式模糊测试加速方法及系统。

背景技术

模糊测试通过模糊测试器生成大量随机数据，触发软件深层缺陷，再通过各类检测器进行问题分析与定位，可以帮助发现、修复应用、协议、内核、数据库等各种被测软件的bug，减少测试的人力成本，提升软件系统安全性与健壮性。模糊测试技术持续自动持续生成测试数据，测试时间长，计算量大，对CPU、内存等硬件资源消耗较大是其突出特点。

现有的模糊测试产品，从测试任务运行方式上来说，可以分为两种：

第一种是单点运行，如Defensics、Peach等工具，模糊测试器以单体软件的形式执行，对待测对象进行测试，待测对象只运行一个实例。不具备大规模并行测试支持，因而测试能力将受限于计算资源限制。随着软件复杂度提升，测试效率成为瓶颈，对于复杂测试对象表现为覆盖率低，无法发现深层bug。

另一类支持分布式测试，如Google推出的ClusterFuzz平台、微软推出的OneFuzz平台等。这类平台支持在1000+节点并行执行测试，并提供集群管理等功能。在平台每个节点均运行模糊测试器(Fuzzer)，持续生成测试用例数据，待测对象同样运行多个实例，分布于平台节点。这些平台在测试运行过程中，每个节点运行的模糊测试器、验证检测器均为预先设置，只能通过反复重新测试来进行调优。

现有的分布式模糊测试技术，可以利用大规模集群进行扩展，但是仍然存在灵活性差，资源利用率低的问题。

首先，这些分布式模糊测试系统，其执行时间，执行资源分配是静态设置的；这就导致集群中存在大量的模糊测试任务，部分任务执行到瓶颈阶段，覆盖率进展缓慢；而其他任务处于排队中，得不到执行，最终影响到了整体的测试效率。

其次，模糊测试的种子测试用例，会随着测试的展开动态变化，不同的种子集合，影响模糊测试的搜索方向，最终的覆盖率以及发现的bug也会有所区别。已有的分布式模糊测试系统，会在不同的测试节点上使用不同的种子，从而获取不同的搜索方向，提高覆盖率及测试效率。但是随着测试的展开，某些测试的执行会陷入停滞，某些测试却处于排队中，得不到执行。只能通过人工干预的方式，基于对测试过程和结果数据的分析反复重新启动测试。如果节点较多，会造成较大的人力成本负担，效率也得不到保障。

发明内容

为此，本发明提供一种分布式模糊测试加速方法及系统，以解决以上技术问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出一种分布式模糊测试加速方法，所述方法包括：

将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；

在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。

进一步地，所述全局用例集合是一个全局映射表，key中存储了各个用例对目标代码的详细覆盖信息；用例集合更新时，覆盖信息表现相同的用例会被替换。

进一步地，所述方法还包括：

轻量级模糊测试执行时间固定而且时间切片低于预设值，使得全局用例集合能够不断迭代更新。

进一步地，将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，具体包括：

第一步，Fuzz过程中获取各个用例对待测对象的详细覆盖信息，使用一个N纬向量来标记，其中N表示待测对象的代码总行数，0代表这一行被用例覆盖，1代表这一行没有被用例覆盖，把所有的用例都向量化；

第二步，任意选取k个向量，使用向量间的几何距离作为初始质心；

第三步，计算各个向量到质心的距离，距离把它划为跟质心同一聚簇之中；

第四步，每一个聚簇内，计算每一个向量到其他所有向量的距离，距离聚簇内所有其他向量最近的那个向量作为新的质心；

第五步，重复第三步到第四步，直到收敛。

进一步地，所述方法还包括：

通过动态调整K值，调整一个模糊测试任务的资源分配，K代表用例聚类的数量，同时也代表轻量级任务并发数，在资源比较紧张的情况或者重要性相对较低的任务，适当降低K值，反之则提高K值。

根据本发明实施例的第二方面，提出一种分布式模糊测试加速系统，所述系统包括云端服务器以及多个分布式测试节点；

所述云端服务器包括节点管理器和任务管理器；

所述节点管理器用于测试节点管理、测试集群组建以及测试过程管理；

所述任务管理器用于模糊测试任务的分配和用例聚类机制，负责局部用例的拆分和全局用例的更新维护，同时负责将一个模糊测试任务拆分为多个不同的轻量级任务切片执行并合并测试结果；

所述分布式测试节点用于并行运行多个模糊测试器以及对待测对象开展测试，测试节点上的检测器能够针对用例生成代码覆盖信息。

进一步地，所述任务管理器具体用于：

将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；

在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。

进一步地，所述任务管理器具体用于用例聚类，包括：

第一步，Fuzz过程中获取各个用例对待测对象的详细覆盖信息，使用一个N纬向量来标记，其中N表示待测对象的代码总行数，0代表这一行被用例覆盖，1代表这一行没有被用例覆盖，把所有的用例都向量化；

第二步，任意选取k个向量，使用向量间的几何距离作为初始质心；

第三步，计算各个向量到质心的距离，距离把它划为跟质心同一聚簇之中；

第四步，每一个聚簇内，计算每一个向量到其他所有向量的距离，距离聚簇内所有其他向量最近的那个向量作为新的质心；

第五步，重复第三步到第四步，直到收敛。

进一步地，所述任务管理器具体用于：

通过动态调整K值，调整一个模糊测试任务的资源分配，K代表用例聚类的数量，同时也代表轻量级任务并发数，在资源比较紧张的情况或者重要性相对较低的任务，适当降低K值，反之则提高K值。

根据本发明实施例的第三方面，提出一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种分布式模糊测试加速系统执行如上任一项所述的方法。

本发明具有如下优点：

本发明提出的一种分布式模糊测试加速方法及系统，将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。采用“云-端”架构，在多个节点上利用时间切片执行轻量模糊测试任务，相比于现有技术具有多方面提升。本方案提出的模糊测试加速方法，基于测试覆盖信息，提高节点间的协作效率和整体测试效率，并且能动态调整资源分配，提升了分布式模糊测试的效率和灵活性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的一种分布式模糊测试加速方法的流程示意图；

图2为本发明实施例提供的一种分布式模糊测试加速方法中模糊测试任务分解机制流程图；

图3为本发明实施例提供的一种分布式模糊测试加速方法中测试用例拆分和任务执行实例；

图4为本发明实施例提供的一种分布式模糊测试加速系统的结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提出了一种分布式模糊测试加速方法，所述方法包括：

S100、将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；

S200、在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。

本实施例提出的一种分布式模糊测试加速方法，基于“云-端”架构，由服务器上的调度器进行全局层面的任务调度。加速方法可以在分布式执行模糊测试场景下，提高节点间的协作效率和整体测试效率；并且能动态调整资源分配，提高分布式模糊测试的灵活性。

一方面，该方案提出一种模糊测试任务分解机制，将任务执行的单位由普通模糊测试任务拆分为轻量级fuzz任务，在分布式场景实现对轻量级fuzz任务的管理和调度。轻量级fuzz任务由模糊测试任务执行过程中迭代分解生成，其原理是不要长时间的跑包含大量测试用例的模糊测试，而是采用小步慢跑的方式，将模糊测试任务按时间和测试用例完成切片。

另一方面，该方案使用分布式架构实现了这一任务分解机制,该架构能够支撑上述轻量级fuzz任务拆分和迭代执行；它能根据系统的实时资源空闲状态，动态调整fuzz任务的资源分配，提升整个集群的模糊测试执行效率。

相对于普通分布式模糊测试任务，如图2所示，轻量级模糊测试执行时间固定而且时间切片相对较短，使得全局用例集合能够不断迭代更新，更新之后再次拆分为子用例集合(局部用例集合)，生成新的轻量级模糊测试任务。

全局用例集合是一个全局映射表，key中存储了各个用例对目标代码的详细覆盖信息；用例集合拆分的算法见图3及其描述；用例集合更新时，覆盖信息表现相同的用例会被替换。

基于这种方式，每个轻量级fuzz任务包含少量的测试用例，即局部用例集合，执行时长也相对固定，一个迭代周期完成之后，本次迭代生成的轻量级fuzz任务跑完，fuzz生成的新的局部测试用例汇总并更新全局测试用例，从而开始下一轮迭代。

局部用例集合由每个模糊测试器自身维护，而全局用例集合由任务管理器维护，在任务分发阶段，全局用例集合向每一个可用的模糊测试器同步部分用例，生成局部测试用例。在用例聚合阶段，将模糊测试其的新生成测试用例回收到任务管理器，重建全局用例集合。整个执行过程示例如图3。

图3中可以看到，开始基于三个局部用例集合生成三个轻量级任务，分配到三个测试节点去跑；各个测试节点跑完任务之后，会出现全局测试用例的更新和进一步拆分，生成两个新集合。聚类由任务管理器基于覆盖映射表和全局用例池来进行的，使用k-means方法，具体方法如下：

1、Fuzz过程中获取各个用例对待测对象的详细覆盖信息，使用一个N纬向量来标记，其中N表示待测对象的代码总行数，0代表这一行被用例覆盖，1代表这一行没有被用例覆盖。把所有的用例都向量化。

2、任意选取k个向量，使用向量间的几何距离作为初始质心。

3、计算各个向量到质心的距离，距离把它划为跟质心同一聚簇之中。

4、每一个聚簇内，计算每一个向量到其他所有向量的距离。距离聚簇内所有其他向量最近的那个向量作为新的质心。

5、重复3到4，直到收敛。

根据算法可知，聚类到同一局部集合的测试用例，在覆盖信息上具有相似性；在模糊测试领域中，覆盖信息相似的用例集合代表相近的搜索方向，相比于随机拆分测试用例，这一聚类方式能够有效提升分布式场景下模糊器的整体搜索效率，避免了各个工作节点重复搜索。

与上述实施例相对应的，如图4所示，本发明实施例提出一种分布式模糊测试加速系统，包括云端服务器以及多个分布式测试节点。

云端服务器包含节点管理器、任务管理器两个主要组件。

测试节点并行运行多个模糊测试器以及待测对象，开展测试，测试节点上的检测器能够针对用例生成代码覆盖信息。

节点管理器，提供分布式基础能力，功能包括测试节点管理、测试集群组建以及测试过程管理等。

任务管理器，实现了模糊测试任务的分配和用例聚类机制，负责局部用例的拆分和全局用例的更新维护，同时它负责将一个模糊测试任务拆分为多个不同的轻量级任务切片执行并合并测试结果。注意局部用例生成算法中，K值是可以动态指定的。任务管理器通过动态调整K值，调整一个模糊测试任务的资源分配。K代表用例聚类的数量，同时也代表轻量级任务并发数，在资源比较紧张的情况或者重要性相对较低的任务，可以适当降低K值，反之则提高K值。

与上述实施例相对应的，本实施例提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种分布式模糊测试加速系统执行如上实施例的方法。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种分布式模糊测试加速方法，其特征在于，所述方法包括：

将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；

在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。

2.根据权利要求1所述的一种分布式模糊测试加速方法，其特征在于，所述全局用例集合是一个全局映射表，key中存储了各个用例对目标代码的详细覆盖信息；用例集合更新时，覆盖信息表现相同的用例会被替换。

3.根据权利要求1所述的一种分布式模糊测试加速方法，其特征在于，所述方法还包括：

轻量级模糊测试执行时间固定而且时间切片低于预设值，使得全局用例集合能够不断迭代更新。

4.根据权利要求1所述的一种分布式模糊测试加速方法，其特征在于，将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，具体包括：

第一步，Fuzz过程中获取各个用例对待测对象的详细覆盖信息，使用一个N纬向量来标记，其中N表示待测对象的代码总行数，0代表这一行被用例覆盖，1代表这一行没有被用例覆盖，把所有的用例都向量化；

第二步，任意选取k个向量，使用向量间的几何距离作为初始质心；

第三步，计算各个向量到质心的距离，距离把它划为跟质心同一聚簇之中；

第四步，每一个聚簇内，计算每一个向量到其他所有向量的距离，距离聚簇内所有其他向量最近的那个向量作为新的质心；

第五步，重复第三步到第四步，直到收敛。

5.根据权利要求1所述的一种分布式模糊测试加速方法，其特征在于，所述方法还包括：

通过动态调整K值，调整一个模糊测试任务的资源分配，K代表用例聚类的数量，同时也代表轻量级任务并发数，在资源比较紧张的情况或者重要性相对较低的任务，适当降低K值，反之则提高K值。

6.一种分布式模糊测试加速系统，其特征在于，所述系统包括云端服务器以及多个分布式测试节点；

所述云端服务器包括节点管理器和任务管理器；

所述节点管理器用于测试节点管理、测试集群组建以及测试过程管理；

所述任务管理器用于模糊测试任务的分配和用例聚类机制，负责局部用例的拆分和全局用例的更新维护，同时负责将一个模糊测试任务拆分为多个不同的轻量级任务切片执行并合并测试结果；

所述分布式测试节点用于并行运行多个模糊测试器以及对待测对象开展测试，测试节点上的检测器能够针对用例生成代码覆盖信息。

7.根据权利要求6所述的一种分布式模糊测试加速系统，其特征在于，所述任务管理器具体用于：

将模糊测试任务拆分为多个不同的轻量级fuzz任务切片，每个轻量级fuzz任务对应一个局部用例集合，所述局部用例集合包含数个聚类得到的测试用例；

在一个迭代周期内，将多个不同的轻量级fuzz任务分配到多个并行的轻量级模糊测试节点执行测试，并在测试过程中获取各个用例对待测对象的覆盖信息，任务执行完后将每个测试节点新生成的测试用例汇总得到全局用例集合，并将全局用例集合根据各用例的覆盖信息通过聚类算法再拆分成多个局部用例集合，生成多个新的轻量级fuzz任务，并开始下一轮迭代。

8.根据权利要求6所述的一种分布式模糊测试加速系统，其特征在于，所述任务管理器具体用于用例聚类，包括：

第一步，Fuzz过程中获取各个用例对待测对象的详细覆盖信息，使用一个N纬向量来标记，其中N表示待测对象的代码总行数，0代表这一行被用例覆盖，1代表这一行没有被用例覆盖，把所有的用例都向量化；

第二步，任意选取k个向量，使用向量间的几何距离作为初始质心；

第三步，计算各个向量到质心的距离，距离把它划为跟质心同一聚簇之中；

第四步，每一个聚簇内，计算每一个向量到其他所有向量的距离，距离聚簇内所有其他向量最近的那个向量作为新的质心；

第五步，重复第三步到第四步，直到收敛。

9.根据权利要求6所述的一种分布式模糊测试加速系统，其特征在于，所述任务管理器具体用于：

通过动态调整K值，调整一个模糊测试任务的资源分配，K代表用例聚类的数量，同时也代表轻量级任务并发数，在资源比较紧张的情况或者重要性相对较低的任务，适当降低K值，反之则提高K值。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种分布式模糊测试加速系统执行如权利要求1-5任一项所述的方法。

Images