CN104360944A - 一种自动化测试方法及系统 - Google Patents

Abstract

本发明公开了一种自动化测试方法及系统，该方法包括以下步骤：S1、伪随机发生器产生测试激励，训练样例收集整理模块对训练样例进行整理，得到概率表；S2、分类器使用所述概率表判断所述伪随机发生器产生的测试激励是否为有效激励，如果是，则执行步骤S4；否则，执行步骤S3；S3、所述伪随机发生器重新产生激励，并返回步骤S2；S4、偏置器测试有效激励的响应元素，产生与所述有效激励对应的新激励；S5、测试平台根据所述有效激励和所述新激励进行仿真验证，得到测试结果。本发明有方向性地产生测试激励，调整投入的测试激励，分类出高效的测试激励进行仿真验证，极大地缩短了测试验证的时间，提高了测试验证的效率。

Description

一种自动化测试方法及系统

技术领域

本发明涉及硬件仿真技术领域，具体涉及一种自动化测试方法及系统。

背景技术

随着芯片设计工艺和规模的扩大，芯片的接口数量和逻辑复杂程度倍增，不仅提高了对芯片设计人员的开发能力的要求，也提高了对芯片验证人员的验证能力的要求。由于芯片逻辑和规模的扩大，芯片开发过程中的系统级仿真验证的验证环境复杂，芯片的模拟验证时间周期也得到相应的延长，使得测试验证过程占用了整体开发周期的很大比重。

现有技术中，使用BFM(Bus Function Model，总线功能建模)工具搭建测试平台(Test Bench)，由于BFM工具的运行速率较慢，测试人员的工作时间通常被浪费在等待仿真结果上，并且每次测试验证都需要人工干预，相邻两次的测试验证也不是即时衔接的，造成了机器资源的浪费。此外，在大规模的测试验证过程中，所需要的激励种类的纬度往往也很大，极大地增加了人工设计测试激励的难度。

发明内容

本发明提供了一种自动化测试方法及系统，以解决现有技术中测试验证效率低的缺陷。

本发明提供了一种自动化测试方法，包括以下步骤：

S1、伪随机发生器产生测试激励，训练样例收集整理模块对训练样例进行整理，得到概率表；

S2、分类器使用所述概率表判断所述伪随机发生器产生的测试激励是否为有效激励，如果是，则执行步骤S4；否则，执行步骤S3；

S3、所述伪随机发生器重新产生激励，并返回步骤S2；

S4、偏置器测试有效激励的响应元素，产生与所述有效激励对应的新激励；

S5、测试平台根据所述有效激励和所述新激励进行仿真验证，得到测试结果。

可选地，所述步骤S5之后，还包括：

S6、所述测试平台根据所述测试结果，判断是否满足协议覆盖率的要求，如果是，则结束流程；否则，所述测试平台将所述测试结果添加到所述训练样例中，并返回步骤S1。

可选地，所述伪随机发生器产生测试激励，具体为：

所述伪随机发生器通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

可选地，所述偏置器测试有效激励的响应元素，产生与所述有效激励对应的新激励，具体为：

所述偏置器通过微调激励元素的构成，在所述有效激励中添加扰动，产生与有效激励对应的新激励。

可选地，所述训练样例收集整理模块对训练样例进行整理，得到概率表，具体为：

所述训练样例收集整理模块对训练样例进行统计和计算，将得到的数据文件作为概率表，所述训练样例包括测试结果和测试激励，所述测试结果包括覆盖统计。

本发明还提供了一种自动化测试系统，包括：

伪随机发生器，用于产生测试激励；

训练样例收集整理模块，用于对训练样例进行整理，得到概率表；

分类器，用于使用所述概率表判断所述伪随机发生器产生的测试激励是否为有效激励，并在判断出所述测试激励不是有效激励时，触发所述伪随机发生器重新产生激励；

偏置器，用于在所述分类器判断出所述测试激励为有效激励时，测试有效激励的响应元素，产生与所述有效激励对应的新激励；

测试平台，用于根据所述有效激励和所述新激励进行仿真验证，得到测试结果。

可选地，所述测试平台，还用于根据所述测试结果，判断是否满足协议覆盖率的要求，如果不满足，则将所述测试结果添加到所述训练样例中，并触发训练样例收集整理模块对所述训练样例进行整理。

可选地，所述伪随机发生器，具体用于通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

可选地，所述偏置器，具体用于通过微调激励元素的构成，在所述有效激励中添加扰动，产生与有效激励对应的新激励。

可选地，所述训练样例收集整理模块，具体用于对训练样例进行统计和计算，将得到的数据文件作为概率表，所述训练样例包括测试结果和测试激励，所述测试结果包括覆盖统计。

本发明以协议覆盖率和激励元素的分布为驱动，对机器学习模型进行分段的多次学习，有方向性地产生测试激励，调整投入的测试激励，分类出高效的测试激励进行仿真验证，并通过偏置器对有效激励进行偏置操作，扩大了有效激励的规模，通过循环往复的自动化运行，极大地缩短了测试验证的时间，解放了人力，提高了有效激励的产生比例、准确性，以及测试验证的效率，具有高效率、低人力的特点。

附图说明

图1为本发明实施例中的一种自动化测试系统的结构示意图；

图2为本发明实施例中的一种自动化测试方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供了一种自动化测试系统，如图1所示，包括测试平台、机器学习激励生成器、训练样例收集整理模块、错误触发器，测试平台包括BFM工具、DUT(Device Under Test，被测器件)和结果校验模块(ResultChecker)，机器学习激励生成器用于产生激励，包括伪随机发生器、分类器和偏置器。

其中，训练样例收集整理模块，用于对训练样例进行整理，得到概率表。

具体地，训练样例收集整理模块对训练样例进行统计和计算，将得到的数据文件作为分类器所需的概率表，其中，训练样例包括测试结果和测试激励，测试结果包括覆盖统计，即，对协议覆盖率的统计。

本发明实施例自定义了概率表的数据存储格式，将大量的描述性名词映射成单字符的形式，并按照一定的排版格式，将映射得到的单字符存储成文本文件。相应地，分类器通过读取上述文本文件，获取概率表中的概率值。

伪随机发生器，用于产生测试激励。

其中，测试激励中的激励元素包括地址和指令类型。伪随机发生器可以通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

为了全方位的覆盖所有场景，本发明实施例中的伪随机发生器将指令组合、请求节点、目的地址、延迟间隔和函数设置作为随机化方向，产生伪随机激励。其中，指令组合为12种指令的随机组合，请求节点为发起请求的源，目的地址为发起请求的地址，延迟间隔为每条指令间的延迟，函数设置为测试平台中设计的相应的开关函数，指令条数为每次产生的伪随机激励的指令条数。

分类器，用于使用概率表判断伪随机发生器产生的测试激励是否为有效激励。

具体地，分类器是基于改进型朴素贝叶斯机器学习算法设计的分类器，使用训练样例收集整理模块整理得到的概率表，对伪随机发生器产生的激励进行有效激励的判定，并将通过测试的有效激励加入到偏置器上。

其中，分类器所用的算法为基于改进型朴素贝叶斯机器学习算法，分类器根据该算法中的定理公式，计算训练样例中出现过的测试激励对协议覆盖率的贡献，据此得出一个比较模糊的新产生的激励对未覆盖项的贡献值p，并计算新产生的激励元素的出现较以往测试激励的分布值d，判断p和d是否满足预设的阈值，如果满足，则确定测试激励为有效激励；否则，确定测试激励不是有效激励。上述算法能够满足朴素贝叶斯型机器学习模型分类要求中训练样例必须覆盖所有分类项的要求，也就是说，在本发明实施例的自动化测试系统中，分类项(覆盖)是逐步增长的，验证过程是以协议覆盖率作为驱动的。

偏置器，用于测试有效激励的响应元素，产生与有效激励对应的新激励，以扩大激励的规模。

本发明实施例中，如果覆盖统计中的两条覆盖之间的不同元素小于两个，则确定上述两条覆盖为相近覆盖。设每条覆盖元素集合为D，按照以下公式对D中的各维数定义减法运算：

$a-b=\left\{\begin{array}{cc}0,& a=b\\ 1,& a\≠b\end{array}\right.$

仿照欧式距离定理定义线性空间D的任意两点之间的距离为：

$d_{\mathrm{xy}}=\sqrt{{(x_0-y_0)}^2+...+{(x_n-y_n)}^2}$

如果即两条覆盖之间的不同元素小于两个时，则上述两条覆盖为相近覆盖。

相应地，偏置器通过微调激励元素的构成，在有效激励中添加微小的扰动，产生与有效激励对应的新激励，从而达到覆盖到有效激励的临近覆盖的目的。

测试平台，用于根据有效激励和新激励进行仿真验证，得到测试结果，并根据测试结果，判断是否满足协议覆盖率的要求，如果是，则确定测试完毕；否则，将测试结果添加到训练样例中。

其中，测试平台可以添加人工设计的激励进行测试，也可以添加激励自动化工具。

错误触发器，用于启动和结束自动化测试系统，监视测试平台中的结果校验模块报出的错误信息，并在接收到来自结果校验模块报出的错误信息后，触发错误处理，暂停测试平台的仿真验证。

其中，错误信息可以为自定义的信息，包括超时信息和数据错误信息等。

本发明实施例中的自动化测试系统通过修改基于朴素贝叶斯公式的机器学习算法，以协议覆盖率和激励元素的分布为驱动，对机器学习模型进行分段的多次学习，有方向性地产生测试激励，调整投入的测试激励，分类出高效的测试激励进行仿真验证，并通过偏置器对有效激励进行偏置操作，扩大了有效激励的规模，通过循环往复的自动化运行，极大地缩短了测试验证的时间，解放了人力，提高了有效激励的产生比例、准确性，以及测试验证的效率，具有高效率、低人力的特点。

此外，自动化测试系统被划分为多个功能模块，各个功能模块能够单独运行，可以选择性地添加功能模块来达到使用者的需求，方便使用者对模块实现的修改，功能模块间低耦合，便于维护，系统易用性高。

基于上述自动化测试系统，本发明实施例提供了一种自动化测试方法，如图2所示，包括以下步骤：

步骤201，伪随机发生器产生测试激励，训练样例收集整理模块对训练样例进行整理，得到概率表。

其中，训练样例包括测试激励和测试结果，测试激励中的激励元素包括地址和指令类型。伪随机发生器可以通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

为了全方位的覆盖所有场景，本发明实施例中的伪随机发生器将指令组合、请求节点、目的地址、延迟间隔和函数设置作为随机化方向，产生伪随机激励。其中，指令组合为12种指令的随机组合，请求节点为发起请求的源，目的地址为发起请求的地址，延迟间隔为每条指令间的延迟，函数设置为测试平台中设计的相应的开关函数，指令条数为每次产生的伪随机激励的指令条数。训练样例收集整理模块对训练样例进行统计和计算，将得到的数据文件作为分类器所需的概率表，其中，训练样例包括测试结果和测试激励，测试结果包括覆盖统计，即，对协议覆盖率的统计。

步骤202，分类器使用概率表判断伪随机发生器产生的测试激励是否为有效激励，如果是，则执行步骤204；否则，执行步骤203。

本发明实施例自定义了概率表的数据存储格式，将大量的描述性名词映射成单字符的形式，并按照一定的排版格式，将映射得到的单字符存储成文本文件。相应地，分类器通过读取上述文本文件，获取概率表中的概率值。

分类器是基于改进型朴素贝叶斯机器学习算法设计的分类器，使用训练样例收集整理模块整理得到的概率表，对伪随机发生器产生的激励进行有效激励的判定，并将通过测试的有效激励加入到偏置器上。

其中，分类器所用的算法为基于改进型朴素贝叶斯机器学习算法，分类器根据该算法中的定理公式，计算训练样例中出现过的测试激励对协议覆盖率的贡献，据此得出一个比较模糊的新产生的激励对未覆盖项的贡献值p，并计算新产生的激励元素的出现较以往测试激励的分布值d，判断p和d是否满足预设的阈值，如果满足，则确定测试激励为有效激励；否则，确定测试激励不是有效激励。上述算法能够满足朴素贝叶斯型机器学习模型分类要求中训练样例必须覆盖所有分类项的要求，也就是说，在本发明实施例的自动化测试系统中，分类项(覆盖)是逐步增长的，验证过程是以协议覆盖率作为驱动的。

步骤203，伪随机发生器重新产生激励，并返回步骤202。

步骤204，偏置器测试有效激励的响应元素，产生与有效激励对应的新激励。

具体地，偏置器通过微调激励元素的构成，在有效激励中添加扰动，产生与有效激励对应的新激励，从而达到覆盖到有效激励的临近覆盖的目的。其中，在有效激励中添加的扰动可以是微小的扰动。

步骤205，测试平台根据有效激励和新激励进行仿真验证，得到测试结果。

步骤206，测试平台根据测试结果，判断是否满足协议覆盖率的要求，如果是，则结束流程；否则，执行步骤207。

步骤207，测试平台将测试结果添加到训练样例中，并返回步骤201。

本发明实施例通过修改基于朴素贝叶斯公式的机器学习算法，以协议覆盖率和激励元素的分布为驱动，对机器学习模型进行分段的多次学习，有方向性地产生测试激励，调整投入的测试激励，分类出高效的测试激励进行仿真验证，并通过偏置器对有效激励进行偏置操作，扩大了有效激励的规模，通过循环往复的自动化运行，极大地缩短了测试验证的时间，解放了人力，提高了有效激励的产生比例、准确性，以及测试验证的效率，具有高效率、低人力的特点。此外，本发明实施例划分多个功能模块，各个功能模块能够单独运行，可以选择性地添加功能模块来达到使用者的需求，方便使用者对模块实现的修改，功能模块间低耦合，便于维护，系统易用性高。

结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种自动化测试方法，其特征在于，包括以下步骤：

S1、伪随机发生器产生测试激励，训练样例收集整理模块对训练样例进行整理，得到概率表；

S2、分类器使用所述概率表判断所述伪随机发生器产生的测试激励是否为有效激励，如果是，则执行步骤S4；否则，执行步骤S3；

S3、所述伪随机发生器重新产生激励，并返回步骤S2；

S4、偏置器测试有效激励的响应元素，产生与所述有效激励对应的新激励；

S5、测试平台根据所述有效激励和所述新激励进行仿真验证，得到测试结果。

2.如权利要求1所述的方法，其特征在于，所述步骤S5之后，还包括：

S6、所述测试平台根据所述测试结果，判断是否满足协议覆盖率的要求，如果是，则结束流程；否则，所述测试平台将所述测试结果添加到所述训练样例中，并返回步骤S1。

3.如权利要求1所述的方法，其特征在于，所述伪随机发生器产生测试激励，具体为：

所述伪随机发生器通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

4.如权利要求1所述的方法，其特征在于，所述偏置器测试有效激励的响应元素，产生与所述有效激励对应的新激励，具体为：

所述偏置器通过微调激励元素的构成，在所述有效激励中添加扰动，产生与有效激励对应的新激励。

5.如权利要求1所述的方法，其特征在于，所述训练样例收集整理模块对训练样例进行整理，得到概率表，具体为：

所述训练样例收集整理模块对训练样例进行统计和计算，将得到的数据文件作为概率表，所述训练样例包括测试结果和测试激励，所述测试结果包括覆盖统计。

6.一种自动化测试系统，其特征在于，包括：

伪随机发生器，用于产生测试激励；

训练样例收集整理模块，用于对训练样例进行整理，得到概率表；

分类器，用于使用所述概率表判断所述伪随机发生器产生的测试激励是否为有效激励，并在判断出所述测试激励不是有效激励时，触发所述伪随机发生器重新产生激励；

偏置器，用于在所述分类器判断出所述测试激励为有效激励时，测试有效激励的响应元素，产生与所述有效激励对应的新激励；

测试平台，用于根据所述有效激励和所述新激励进行仿真验证，得到测试结果。

7.如权利要求6所述的系统，其特征在于，

所述测试平台，还用于根据所述测试结果，判断是否满足协议覆盖率的要求，如果不满足，则将所述测试结果添加到所述训练样例中，并触发训练样例收集整理模块对所述训练样例进行整理。

8.如权利要求6所述的系统，其特征在于，

所述伪随机发生器，具体用于通过调整地址和指令类型的分布规律，采用局部随机的方式，产生伪随机激励作为测试激励。

9.如权利要求6所述的系统，其特征在于，

所述偏置器，具体用于通过微调激励元素的构成，在所述有效激励中添加扰动，产生与有效激励对应的新激励。

10.如权利要求6所述的系统，其特征在于，

所述训练样例收集整理模块，具体用于对训练样例进行统计和计算，将得到的数据文件作为概率表，所述训练样例包括测试结果和测试激励，所述测试结果包括覆盖统计。