CN116244169A - 基于时序型覆盖数据库的回归测试系统 - Google Patents

Abstract

本发明涉及一种基于时序型覆盖数据库的回归测试系统，实现步骤G1、将第m测试用例输入待测数字电路运行；步骤G2、当监测到待测数字电路发生覆盖事件时，获取当前覆盖事件信息；步骤G3、解析当前覆盖事件信息，获取当前覆盖点标识，若当前覆盖点标识属于第一覆盖点集合，则获取对应的当前覆盖时间，执行步骤G4；步骤G4、将当前覆盖时间对应的覆盖时间索引填写至第m时序型覆盖数据库中当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段；步骤G5、第m测试用例运行完毕后，生成第m时序型覆盖数据库；步骤G6、基于所述第m时序型覆盖数据库确定第m测试用例的有效回归时间。本发明提高了回归测试的效率，降低了回归测试的成本。

Description

基于时序型覆盖数据库的回归测试系统

技术领域

本发明涉及数字电路验证技术领域，尤其涉及一种基于时序型覆盖数据库的回归测试系统。

背景技术

在数字电路验证过程中，通常需要多个测试用例进行回归测试，得到覆盖数据库，基于覆盖数据库得到覆盖率，对数字电路进行验证。而传统的覆盖数据库仅记录覆盖点是否被覆盖，然后通过回归测试，得到多个数据库的融合来获取设计的整体覆盖率。但是，由于数据量庞大，现有的覆盖数据库并没有记录覆盖点对应的覆盖时间，仅能从覆盖数据库中获知覆盖点是否被覆盖，无法获取覆盖点对应的覆盖时间，导致现有技术至少具有以下技术问题：

(1)数字电路回归测试用例数量众多，需要消耗大量的计算资源，基于传统的覆盖数据库无法确定出有效的仿真时间段，从而使大量的计算资源用在无效的仿真，使得回归测试时间长，回归测试效率低。

(2)使用随机约束产生测试向量是数字电路仿真验证的常用方法，但随机约束产生大量测试向量大多数对提高覆盖率没有贡献，基于传统的覆盖数据库无法确定出对覆盖率有贡献的测试向量，使得回归测试时间长。

(3)对数字电路而言，回归测试出错调试非常困难，传统的覆盖数据库无法取法提供准确的调试信息，往往需要工程师依照经验和出错情况去猜测调试的起始点和起始时间，如果猜测错误需要多次尝试，因而耗费大量时间，调试效率低，成本高。

发明内容

本发明目的在于，提供一种基于时序型覆盖数据库的回归测试系统，基于覆盖点对应的时间确定每一测试用例对应的仿真终止时间，提高了回归测试的效率，降低了回归测试的成本。

本发明提供了一种基于时序型覆盖数据库的回归测试系统，包括第m时序型覆盖数据库、处理器和存储有计算机程序的存储器，m的取值范围为1到M，M为待测数字电路对应的测试用例总数，所述第m时序型覆盖数据库用于存储第m测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖；

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤G1、将第m测试用例输入待测数字电路运行；

步骤G2、当监测到所述待测数字电路发生覆盖事件时，获取当前覆盖事件信息；

步骤G3、解析所述当前覆盖事件信息，获取当前覆盖点标识，若当前覆盖点标识属于第一覆盖点集合，则获取对应的当前覆盖时间，执行步骤G4；

步骤G4、将当前覆盖时间对应的覆盖时间索引填写至所述第m时序型覆盖数据库中所述当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段；

步骤G5、第m测试用例运行完毕后，生成所述第m时序型覆盖数据库；

步骤G6、基于所述第m时序型覆盖数据库确定第m测试用例的有效回归时间。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的基于时序型覆盖数据库的回归测试系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明所述的步骤可以获取每一测试用例对应的仿真终止时间，确定有效的仿真时间段，剔除无效仿真时间，在后续进行回归测试中，将每一测试用例执行至对应的仿真终止时间即可终止，减少了无用的回归测试操作时间，提高了回归测试的效率，从而提高了数字电路的验证效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于时序型覆盖数据库确定测试用例对应的仿真终止时间示意图；

图2为本发明实施例提供的基于时序型覆盖数据库确定测试用例对应的有效执行区域示意图；

图3为本发明实施例提供的基于时序型覆盖数据库确定有效随机测试向量集合意图；

图4为本发明实施例提供的基于时序型覆盖数据库的回归测试调试流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于时序型覆盖数据库的回归测试系统的具体实施方式及其功效，详细说明如后。

现有的数字电路的覆盖数据库仅记录覆盖点是否被覆盖，而没有记录覆盖点时间，一方面在于覆盖数据库数据量非常庞大，如果每个覆盖点都记录覆盖时间，则需要耗费大量的资源处理更大数量的数据，会降低数字电路验证效率。另一方面，现有技术中并没有基于覆盖时间来优化回归测试或者回归调试的方式，基于此，实施例一提供了一种时序型覆盖数据库的获取技术，作为一种实施例，数字电路具体可以为用于芯片设计、验证等的数字电路。

实施例一

实施例一提供了一种基于时序型覆盖数据库的回归测试系统，包括第m时序型覆盖数据库、处理器和存储有计算机程序的存储器，m的取值范围为1到M，M为待测数字电路对应的测试用例总数。所述第m时序型覆盖数据库用于存储第m测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述第一覆盖点集合为待测数字电路覆盖点全集的子集。需要说明的是，由于数字电路复杂，组成模块多，数据量大，而每个测试用例可能仅针对数字电路的部分组成模块进行验证，因此，仅设置需要关注的覆盖点组成第一覆盖点集合，来生成对应的第m时序型覆盖数据库，减少第m时序型覆盖数据库种的数据量，提高数据处理效率。

所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖，例如覆盖初始值可以设置为0。需要说明的是，所述第m时序型覆盖数据库可以直接按照预设的顺序将覆盖信息记录排列好，待后续更新对应的覆盖时间字段。也可以按照覆盖顺序逐条生成覆盖信息记录，以覆盖信息记录数据结构生成时序型覆盖数据库的方式都落入本发明保护范围之内，在此不做具体限定。可以理解的是，本发明实施例所述的时序型覆盖数据库指的是包含覆盖时间信息的覆盖数据库。

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤G1、将第m测试用例输入待测数字电路运行。

步骤G2、当监测到所述待测数字电路发生覆盖事件时，获取当前覆盖事件信息；

步骤G3、解析所述当前覆盖事件信息，获取当前覆盖点标识，若当前覆盖点标识属于第一覆盖点集合，则获取对应的当前覆盖时间，执行步骤G4。

步骤G4、将当前覆盖时间对应的覆盖时间索引填写至所述第m时序型覆盖数据库中所述当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段。

步骤G5、第m测试用例运行完毕后，生成所述第m时序型覆盖数据库。

步骤G6、基于所述第m时序型覆盖数据库确定第m测试用例的有效回归时间。

可以理解的是，对于任何一个第m测试用例均可通过步骤G1-步骤G5生成对应的第m时序型覆盖数据库，再通过步骤G6的得到第m测试用例的有效回归时间，在后续回归测试中，配置第m测试用例仅在对应的有效回归时间中执行，从而提高回归测试的效率。

作为一种实施例，所述系统还包括时间索引映射表，所述时间索引映射表用于存储覆盖时间信息和覆盖时间索引的映射关系，覆盖时间索引的数据长度小于覆盖时间信息的数据长度，例如，覆盖时间为10，对应的覆盖时间索引设置为1；覆盖时间为112，对应的覆盖时间索引设置为2；覆盖时间为150，对应的覆盖时间索引设置为3等等，这样设置可以大大减小覆盖时间字段所存储的数据量，提高数据处理效率，所述步骤G3还包括：

步骤G31、若所述当前覆盖时间在所述时间索引映射表中存在对应的覆盖时间索引，则执行步G4，否则，在所述时间索引映射表中添加当前覆盖时间对应的覆盖时间索引之后执行步骤G4。

可以理解的是，相同的覆盖时间对应一个唯一的时间索引，在对同一测试用例的一次仿真中，一个覆盖点可能在不同的覆盖时间被覆盖多次，因此可能对应多个时间索引。不同的覆盖点可能在相同的时间被覆盖，这样使得不同的覆盖点对应相同的覆盖时间索引。如果一个覆盖点时钟没有被覆盖，则覆盖时间字段始终为覆盖初始值。

作为一种实施例，所述覆盖时间字段设置有存储覆盖时间索引数量阈值G，所述步骤G3中，若当前覆盖点标识属于所述第一覆盖点集合，还包括：

步骤G32、判断当前覆盖点标识对应的覆盖时间字段是否已存储G个覆盖时间索引，若是，则不再向对应的覆盖信息记录中存储覆盖时间索引，否则，再执行获取对应的当前覆盖时间，执行步骤G4。

例如，可以将G设置为3，使得每一覆盖信息记录中最多记载3个覆盖时间索引，后续再被覆盖则不再记录，进一步减小时序型覆盖数据库的大小，可以理解的是，G的数值可以根据具体应用需求来设置。

回归测试通常是不断迭代的过程，在一些应用场景下，覆盖率已经达到了一定的数值，后续仅需对部分模块中仍未被覆盖的点进一步验证，基于此，无需将数字电路中的整个组成模块中的覆盖点作为第一覆盖点集合，可以进一步缩减第一覆盖点集合的范围，从而进一步减小第m时序型覆盖数据库的数据量。作为一种实施例，所述系统还包括基准数据库，所述基准数据库中存储有第一覆盖点集合对应的覆盖记录，所述覆盖记录用于记录覆盖点是否已经被覆盖，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤G10、将待测设计的预设目标模块对应的覆盖点的集合作为第四覆盖点集合，所述预设目标模块为待测设计的组成部分；

步骤G20、逐一判断所述第四覆盖点集合中的覆盖点在所述基准数据库中是否已经被覆盖，若是，则将该覆盖点从所述第四覆盖点集合中删除，生成第一所述第一覆盖点集合。

通过步骤G10-步骤G20，可以在保证对目标覆盖点进行验证的基础上，进一步缩减第一覆盖点集合的范围，从而进一步减小第m时序型覆盖数据库的数据量，提高数据处理效率。

作为另一种实施例，也可以直接将第四覆盖点集合作为所述第一覆盖点集合。

优选的，第一覆盖点集合为待测数字电路覆盖点全集的真子集。

通过实施例一可以为每一测试用例构建包含覆盖时间信息的时序型覆盖数据库，基于时序型覆盖数据库对每一测试用例的回归测试时间进行优化，也可以对回归测试的调试过程进行优化，从而提高数字电路回归测试效率。

实施例二、

在实施例一构建时序型覆盖数据库的基础上，实施例二进一步提出了一种具体优化场景：所述步骤G5具体可包括：

步骤S1、从所述第m时序型覆盖数据库中获取第m测试用例对应的预设的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，所述第二覆盖点集合为所述第一覆盖点集合的子集。

需要说明的是，在对第m测试用例的回归测试进行优化的过程中，可以进一步从第一覆盖点集合中选择需要进一步分析的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，从而进一步减小数据处理量。可以理解的是，第二覆盖点集合也可以和第一覆盖点集合相等，也可以为一覆盖点集合的真子集，根据具体应用需求而定。优选的，第二覆盖点集合为所述第一覆盖点集合的真子集。

步骤S2、根据第二覆盖点集合中所有覆盖点对应的覆盖信息记录确定时间序列{T_x，T_x+1，…，T_y-1,T_y}，T_i第i个仿真时间，i的取值范围为x到y,T_x为起点时间，T_y为终点时间T_y，x<y。

其中，T_x，T_x+1，…，T_y-1,T_y按照覆盖时间发生的先后顺序排序。

步骤S3、从第二覆盖点集合中所有覆盖点对应的覆盖信息记录中，获取覆盖时间字段中首个覆盖时间索引为T_i的覆盖点标识数量，记作T_i的对应的覆盖点增量F_i,生成{F_x，F_x+1，…F_y-1，F_y}。

步骤S4、基于{T_x，T_x+1，…，T_y-1,T_y}、{F_x，F_x+1，…F_y-1，F_y}确定待测第m测试用例对应的仿真终止时间T_z,z满足F_z≠0,且F_z+1至F_y均等于0，x<z≤y。

作为一种实施例，所述步骤S1之前还包括：

步骤S0、从所述第m时序型覆盖数据库中获取第m测试用例对应的起点时间T_x和终点时间T_y，若T_y-T_x>T_u,T_u为预设的执行时间阈值，则通过步骤S51-步骤S54确定T_z，否则，直接将T_y确定为T_z。

可以理解的是，当第m测试用例本身仿真时间较短，小于预设的执行时间阈值的情况下，无需对测试时间进行进一步优化。T_u根据具体应用需求设定。

作为一种实施例，所述步骤S4具体可包括：

步骤S41、以仿真时间为X轴，以覆盖点标识增量为纵轴建立坐标系。

步骤S42、基于{F_x，F_x+1，…F_y-1，F_y}和{T_x，T_x+1，…，T_y-1,T_y}绘制覆盖点标识增量曲线；

需要说明的是，每一(T_i,F_i)组成一个对应的坐标点，位于T_x和T_y之间且不在{T_x，T_x+1，…，T_y-1,T_y}内的仿真时间对应的覆盖点增量为0，基于T_x和T_y之间对应的所有坐标点即可拟合出覆盖点标识增量曲线。需要说明的是，还可以同时绘制出每一仿真时间对应的覆盖点标识总量曲线(图1中未绘制)，更加直观确定T_z。

步骤S43、基于所述覆盖点标识增量曲线确定T_z。

如图1所示示例，基于所述覆盖点标识增量曲线即可直观确定出T_z。

作为一种优选实施例，所述步骤S43包括：

步骤S431、基于所述覆盖点标识增量曲线获取波动区域{E₁，E₂，…E_N},E₁，E₂，…E_N按照时间先后顺序排列，E_n为第n个波动区域，n的取值范围为1到N，N≥1，E_n对应的起点周期为T_a ⁿ,终点周期为T_b ⁿ。

步骤S432、若任意n的取值满足T_b ⁿ⁺¹-T_a ⁿ≤T_d,T_d为预设的第一间隔时间阈值，则将T_b ^N确定为T_z。

需要说明的是，T_d根据具体应用需求来设置，若存在n不满足T_b ⁿ⁺¹-T_a ⁿ≤T_d，则可以采用实施例三的方法对回归测试进行进一步优化。

作为一种实施例，所述步骤S4之后还包括：

步骤S5、将M个测试用例输入当前待测设计执行，当第m测试用例执行至对应的T_z时，终止第m测试用例的执行，并生成第m测试用例对应的当前第m时序型覆盖数据库。

步骤S6、将所有当前第m时序型覆盖数据库进行融合，生成当前待测设计对应的覆盖率。

需要说明的是，实施例二中每一第m时序型覆盖数据库的具体实现过程直接采用实施例一中的技术细节实现即可，在此不再赘述。

需要说明的是，通过实施例二所述的步骤可以获取每一第m测试用例对应的仿真终止时间T_z，在后续进行回归测试中，将每一第m测试用例执行至对应的仿真终止时间T_z即可终止，减少了无用的回归测试操作时间，提高了回归测试的效率，从而提高了数字电路的验证效率。

实施例三、

若任意n的取值均满足T_b ⁿ⁺¹-T_a ⁿ≤T_d,T_d为预设的第一间隔时间阈值，则可直接采用实施例一所述的方式来确定T_z，优化回归测试。但是若存在n不满足T_b ⁿ⁺¹-T_a ⁿ≤T_d时，中间还是可能会进行过多的无用回归测试，在此基础上，实施例三提出了一种进一步优化回归测试的方式。

实施例三提供了一种基于时序型覆盖数据库的有效执行区域确定系统，包括预先生成的第m时序型覆盖数据库、处理器和存储有计算机程序的存储器，m的取值范围为1到M，M为待测数字电路对应的测试用例总数，所述第m时序型覆盖数据库用于存储第m测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖。

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤C1、从所述第m时序型覆盖数据库中获取第m测试用例对应的预设的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，所述第二覆盖点集合为所述第一覆盖点集合的子集。

需要说明的是，在对第m测试用例的回归测试进行优化的过程中，可以进一步从第一覆盖点集合中选择需要进一步分析的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，从而进一步减小数据处理量，可以理解的是，第二覆盖点集合也可以和第一覆盖点集合相等，也可以为一覆盖点集合的真子集，根据具体应用需求而定。优选的，第二覆盖点集合为所述第一覆盖点集合的真子集。

步骤C2、根据第二覆盖点集合中所有覆盖点对应的覆盖信息记录确定时间序列{T_x，T_x+1，…，T_y-1,T_y}，T_i第i个仿真时间，i的取值范围为x到y,T_x为起点时间，T_y为终点时间T_y，x<y。

其中，T_x，T_x+1，…，T_y-1,T_y按照覆盖时间发生的先后顺序排序。

步骤C3、从第二覆盖点集合中所有覆盖点对应的覆盖信息记录中，获取覆盖时间字段中首个覆盖时间索引为T_i的覆盖点标识数量，记作T_i的对应的覆盖点增量F_i,生成{F_x，F_x+1，…F_y-1，F_y}。

步骤C4、基于{T_x，T_x+1，…，T_y-1,T_y}、{F_x，F_x+1，…F_y-1，F_y}确定待测第m测试用例对应的有效执行区域{W₁，W₂，…W_K}，W_k为第k个有效执行区域，k的取值范围为1到K，W_k包括对应的执行区域起点时间t_x ^k和执行区域终点时间t_y ^k，W_k中每一仿真时间对应的覆盖点增量均大于0，或者覆盖点增量连续等于0的时间间隔小于预设的第二间隔时间阈值。

作为一种实施例，所述系统还包括第m执行状态数据库，所述执行状态数据库用于存储待测数字电路基于第m测试用例的每一仿真时间对应的执行状态信息，所述步骤C4之后还包括：

步骤C5、从所述第m执行状态数据库获取t_x ^k对应的执行状态信息，作为W_k的执行起点状态信息执行W_k。

作为一种实施例，所述步骤C4包括：

步骤C41、以仿真时间为X轴，以覆盖点标识增量为纵轴建立坐标系。

步骤C42、基于{F_x，F_x+1，…F_y-1，F_y}和{T_x，T_x+1，…，T_y-1,T_y}绘制覆盖点标识增量曲线。

需要说明的是，每一(T_i,F_i)组成一个对应的坐标点，位于T_x和T_y之间且不在{T_x，T_x+1，…，T_y-1,T_y}内的仿真时间对应的覆盖点增量为0，基于T_x和T_y之间对应的所有坐标点即可拟合出覆盖点标识增量曲线。

步骤C43、基于所述覆盖点标识增量曲线确定{W₁，W₂，…W_K}。

作为一种实施例，所述步骤C43包括：

步骤C431、基于所述覆盖点标识增量曲线获取波动区域{E₁，E₂，…E_N},E₁，E₂，…E_N按照时间先后顺序排列，E_n为第n个波动区域，n的取值范围为1到N，N≥1，E_n对应的起点周期为T_a ⁿ,终点周期为T_b ⁿ。

步骤C432、若T_b ⁿ⁺¹-T_a ⁿ≤T_d,T_d为预设的第三间隔时间阈值，所述预设的第三间隔时间阈值小于预设的第三间隔时间阈值，则E_n和E_n+1划分为一个有效执行区域，否则，划分在两个有效执行区域中，生成{W₁，W₂，…W_K}。

需要说明的是，还可以同时绘制出每一仿真时间对应的覆盖点标识总量曲线，更加直观确定{W₁，W₂，…W_K}。优选的，K小于等于3，如图2所示示例，图2中，曲线1表示覆盖点标识增量曲线，曲线2表示覆盖点标识总量曲线，3个椭圆标注的区域即为基于所述覆盖点标识增量曲线确定的{W₁，W₂，…W_K}。

作为一种实施例，所述步骤C1之前还包括：

步骤C0、从所述第m时序型覆盖数据库中获取第m测试用例对应的起点时间T_x和终点时间T_y，若T_y-T_x>T_u,T_u为预设的执行时间阈值，则通过步骤C1-步骤C4确定{W₁，W₂，…W_K}。

可以理解的是，当第m测试用例本身仿真时间较短，小于预设的执行时间阈值的情况下，无需对测试时间进行进一步优化。T_u根据具体应用需求设定。

作为一种实施例，所述步骤C5之后还包括：

步骤C6、将M个测试用例输入当前待测设计执行，若第m测试用例存在对应的{W₁，W₂，…W_K}，则基于W_k的执行起点状态信息，从t_x ^k开始执行第m测试用例，执行至t_y ^k时，结束执行W_k，并生成第m测试用例对应的当前第m时序型覆盖数据库；否则，则直接执行第m测试用例，并生成第m测试用例对应的当前第m时序型覆盖数据库；

步骤C7、将所有当前第m时序型覆盖数据库进行融合，生成当前待测设计对应的覆盖率。

需要说明的是，实施例三中每一第m时序型覆盖数据库的具体实现过程直接采用实施例一中的技术细节实现即可，在此不再赘述。

需要说明的是，通过实施例三所述的步骤可以获取每一第m测试用例对应的有效执行区域{W₁，W₂，…W_K}，在后续进行回归测试中，每一第m测试用例仅执行对应的有效执行区域{W₁，W₂，…W_K}即可，减少了无用的回归测试操作时间，提高了回归测试的效率，从而提高了数字电路的验证效率。

实施例四、

数字电路验证还包括使用随机约束产生测试向量使数字电路仿真验证，为数字电路输入一个测试向量运行，每一测试向量会随机产生出下一个测试向量来运行，下一个测试向量继续随机产生出再一个测试向量，依次类推。但是有些测试向量可能并未对回归测试做出贡献，因此可以对随机测试验证进行优化，基于此，本发明提出了实施例四。

实施例四提供了一种基于时序型覆盖数据库的有效随机测试向量确定系统，包括预先生成的第m时序型覆盖数据库、处理器和存储有计算机程序的存储器，m的取值范围为1到M，M为待测数字电路对应的随机测试用例总数，所述第m时序型覆盖数据库用于存储第m随机测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖；第m随机测试用例包括P个随机测试向量，D_j为第j随机测试向量，j的取值范围为1到P，D_j+1基于D_j随机生成。

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤E1、从所述第m时序型覆盖数据库中获取第m随机测试用例对应的预设的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，所述第二覆盖点集合为所述第一覆盖点集合的子集。

需要说明的是，在对第m测试用例的回归测试进行优化的过程中，可以进一步从第一覆盖点集合中选择需要进一步分析的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，从而进一步减小数据处理量，可以理解的是，第二覆盖点集合也可以和第一覆盖点集合相等，也可以为一覆盖点集合的真子集，根据具体应用需求而定。优选的，第二覆盖点集合为所述第一覆盖点集合的真子集。

步骤E2、根据第二覆盖点集合中所有覆盖点对应的覆盖信息记录确定时间序列{T_x，T_x+1，…，T_y-1,T_y}，以及D_j的测试向量起点时间v_x ^j和测试向量终点时间v_y ^j，T_i第i个仿真时间，i的取值范围为x到y,T_x为起点时间，T_y为终点时间T_y，x<y,v_x ^j和v_y ^j属于{T_x，T_x+1，…，T_y-1,T_y}。

其中，T_x，T_x+1，…，T_y-1,T_y按照覆盖时间发生的先后顺序排序。

步骤E3、从第二覆盖点集合中所有覆盖点对应的覆盖信息记录中，获取覆盖时间字段中首个覆盖时间索引为T_i的覆盖点标识数量，记作T_i的对应的覆盖点增量F_i,生成{F_x，F_x+1，…F_y-1，F_y}。

步骤E4、基于{T_x，T_x+1，…，T_y-1,T_y}、{F_x，F_x+1，…F_y-1，F_y}将v_x ^j和v_y ^j之间对应的覆盖点增量不全为0的D_j确定为有效随机测试向量，构建第m随机测试用例对应的有效随机测试向量集合。

作为一种实施例，所述步骤E4包括：

步骤E41、以仿真时间为X轴，以覆盖点标识增量为纵轴建立坐标系。

步骤E42、基于{F_x，F_x+1，…F_y-1，F_y}和{T_x，T_x+1，…，T_y-1,T_y}绘制覆盖点标识增量曲线。

需要说明的是每一(T_i,F_i)组成一个对应的坐标点，位于T_x和T_y之间且不再{T_x，T_x+1，…，T_y-1,T_y}内的仿真时间对应的覆盖点增量为0，基于T_x和T_y之间对应的所有坐标点即可拟合出覆盖点标识增量曲线。

步骤E43、基于所述覆盖点标识增量曲线将v_x ^j和v_y ^j之间对应的覆盖点增量不全为0的D_j确定为有效随机测试向量。

需要说明的是，还可以同时绘制出每一仿真时间对应的覆盖点标识总量曲线，更加直观确定有效随机测试向量。如图3所示示例，图3中，曲线1表示覆盖点标识增量曲线，曲线2表示覆盖点标识总量曲线，测试向量1、测试向量2、测试向量3、测试向量5、测试向量7为有效随机测试向量，其他测试向量为无效测试向量。

作为一种实施例，所述步骤E1之前还包括：

步骤E0、从所述第m时序型覆盖数据库中获取第m测试用例对应的起点时间T_x和终点时间T_y，若T_y-T_x>T_u,T_u为预设的执行时间阈值，则通过步骤E1-步骤E4确定对应的有效随机测试向量集合。

可以理解的是，当第m随机测试用例本身仿真时间较短，小于预设的执行时间阈值的情况下，无需对测试时间进行进一步优化。T_u根据具体应用需求设定。

作为一种实施例，所述步骤E4之后还包括：

步骤E5、若第m随机测试用例存在对应的有效随机测试向量集合，仅将第m随机测试用例中有效随机测试向量集合中的随机测试向量输入当前待测设计执行，并生成第m随机测试用例对应的当前第m时序型覆盖数据库；否则，则直接执行第m随机测试用例，并生成第m测试用例对应的当前第m时序型覆盖数据库。

需要说明的是，有效随机测试向量集合中的随机测试向量分别独立输入当前待测设计执行，没有顺序限制。

步骤E6、将所有当前第m时序型覆盖数据库进行融合，生成当前待测设计对应的覆盖率。

需要说明的是，实施例四中每一第m时序型覆盖数据库的具体实现过程直接采用实施例一中的技术细节实现即可，在此不再赘述。

需要说明的是，通过实施例四所述的步骤可以获取每一第m随机测试用例对应的有效随机测试向量集合，在后续进行回归测试中，每一第m测试用例仅执行有效随机测试向量集合即可，无需再执行无效的随机测试向量，减少了无用的回归测试操作时间，提高了回归测试的效率，从而提高了数字电路的验证效率。

实施例五、

现有的数字电路的覆盖数据库仅记录了覆盖点是否被覆盖，当回归测试出现问题时，无法准确的提供调试线索，即便两次回归测试的某一覆盖点均显示覆盖，也不能准确说明该覆盖点处没有问题，因为有可能覆盖时间是不相同的，但是现有的覆盖数据库并不能体现覆盖时间。此外，现有技术中，需要对数字电路十分了解的工程师来做出预判，寻找一个调试起点模块，不断追踪，但有些情况下可能追踪多个模块才能确定问题点，甚至追踪多个模块仍然无法确定问题点，调试效率低，基于此，本发明进一步提出了实施例四。

实施例五提供了一种基于时序型覆盖数据库的回归测试调试系统，包括处理器和存储有计算机程序的存储器，当所述处理器执行所述计算机程序时，如图4所示，实现以下步骤：

步骤F1、若数字电路当前回归测试失败，则将当前数字电路数据作为第一数字电路，所述第一数字电路对应的距离当前时刻最近的历史回归测试成功的数字电路数据作为第二数字电路。

需要说明的是，在回归测试过程中是可能对数字电路进行调整的，因此，不同时间对应的数字电路数据可能不同。

步骤F2、为所述第一数字电路和第二数字电路设置相同的第一覆盖点集合，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，所述第一数字电路和第二数字电路为待测数字电路不同时间对应的数字电路数据。

步骤F3、将第m测试用例分别输入所述第一数字电路和第二数字电路运行，生成第一数字电路对应的参考第m时序型覆盖数据库，以及第二数字电路对应的目标第m时序型覆盖数据库，所述参考第m时序型覆盖数据库和目标第m时序型覆盖数据库均用于存储第m测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段。

步骤F4、对比参考第m时序型覆盖数据库和目标第m时序型覆盖数据库中每一第一覆盖点对应的覆盖时间字段，将覆盖时间字段不同的覆盖信息记录作为候选覆盖信息记录。

步骤F5、获取覆盖时间字段记录的覆盖时间最早的候选覆盖信息记录作为目标覆盖信息记录。

步骤F6、基于目标覆盖信息记录确定调试结束时间和调试结束信号，基于所述调试结束时间和调试结束信号调试所述第一数字电路。

需要说明的是，通过步骤F1-步骤F6可以确定最早出现问题的覆盖点以及发生覆盖的时间，对应的输入信号，基于上述信息可以准确地确定调试范围，在调试范围内调试所述第一数字电路，提高了调试效率和准确性。

作为一种实施例，所述系统还包括用于存储历史回归测试成功的数字电路数据的数字电路数据库，所述步骤F1包括：

步骤F1、从所述数字电路数据库中获取所述第一数字电路对应的距离当前时刻最近的历史回归测试成功的数字电路数据作为所述第二数字电路。

可以理解的是，数字电路数据库中存储了回归测试成功的数字电路数据，以及对应的时间信息，当出现数字电路故障时，可以快速从所述数字电路数据库获取所述第一数字电路对应的距离当前时刻最近的历史回归测试成功的数字电路数据作为所述第二数字电路。

作为一种实施例，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖。

作为一种实施例，所述步骤F3包括：

步骤F31、将第m测试用例输入第L数字电路中运行，L等于1或2。

即对于第一数字电路和第二数字电路生成时序型覆盖数据库的方式是相同的。

步骤F32、当监测到第L数字电路发生覆盖事件时，获取当前覆盖事件信息。

步骤F33、解析所述当前覆盖事件信息，获取当前覆盖点标识，若当前覆盖点标识属于所述第一覆盖点集合，则获取对应的当前覆盖时间，执行步骤F34。

步骤F34、若L＝1，则将当前覆盖时间对应的覆盖时间索引填写至所述参考第m时序型覆盖数据库中所述当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段；若L＝2，则将当前覆盖时间对应的覆盖时间索引填写至所述目标第m时序型覆盖数据库中所述当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段。

步骤F35、第m测试用例运行完毕后，生成所述参考第m时序型覆盖数据库和目标第m时序型覆盖数据库。

作为一种实施例，所述系统还包括时间索引映射表，所述时间索引映射表用于存储覆盖时间信息和覆盖时间索引的映射关系，覆盖时间索引的数据长度小于覆盖时间信息的数据长度，这样设置可以大大减小覆盖时间字段所存储的数据量，提高处理效率，所述步骤F33还包括：

步骤F330、若所述当前覆盖时间在所述时间索引映射表中存在对应的覆盖时间索引，则执行步骤F34，否则，在所述时间索引映射表中添加当前覆盖时间对应的覆盖时间索引之后执行步骤F34。

可以理解的是，相同的覆盖时间对应一个唯一的时间索引，在对同一测试用例的一次方针中，一个覆盖点可能在不同的覆盖时间被覆盖多次，因此可能对应多个时间索引。不同的覆盖点可能在相同的时间被覆盖，这样使得不同的覆盖点对应相同的覆盖时间索引。如果一个覆盖点时钟没有被覆盖，则覆盖时间字段始终为覆盖初始值。

作为一种实施例，所述覆盖时间字段设置有存储覆盖时间索引数量阈值G，所述步骤F33中，若当前覆盖点标识属于所述第一覆盖点集合，还包括：

步骤F331、判断当前覆盖点标识对应的覆盖时间字段是否已存储G个覆盖时间索引，若是，则不再向对应的覆盖信息记录中存储覆盖时间索引，否则，再执行获取对应的当前覆盖时间，执行步骤F34。

例如可以将G设置为3，这样使得每一覆盖信息记录中最多记载3个覆盖时间索引，后续再被覆盖则不再记录，进一步减少时序型覆盖数据库的大小，可以理解的是，G的数值可以根据具体应用需求来设置。

回归测试通常是不断迭代的过程，在一些应用场景下，覆盖率已经达到了一定的数值，后续可能仅对部分模块中仍未被覆盖的点进一步验证，基于此，无需将数字电路中的整个组成模块中的覆盖点作为第一覆盖点集合，可以进一步缩减第一覆盖点集合的范围，进一步减小第m时序型覆盖数据库的数据量。作为一种实施例，所述系统还包括基准数据库，所述基准数据库中存储有第三覆盖点集合对应的覆盖记录，所述第三覆盖点集合为待测数字电路覆盖点全集的子集，当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤F100、将待测设计的预设目标模块对应的覆盖点的集合作为第四覆盖点集合，所述预设目标模块为待测设计的组成部分；

步骤F200、逐一判断所述第四覆盖点集合中的覆盖点在所述基准数据库中是否已经被覆盖，若是，则将该覆盖点从所述第四覆盖点集合中删除，生成第一所述第一覆盖点集合。

通过步骤F100-步骤F200，可以在保证对目标覆盖点进行验证的基础上，进一步缩减第一覆盖点集合的范围，进一步减小第m时序型覆盖数据库的数据量，提高数据处理效率。

优选的，第一覆盖点集合为待测数字电路覆盖点全集的真子集。

作为一种实施例，所述步骤F6包括：

步骤F61、将目标覆盖信息记录对应的覆盖时间字段中的最早时间确定为调试结束时间。

步骤F62、将目标覆盖信息记录对应的覆盖点标识在所述调试结束时间对应的输入信号确定为调试结束信号。

步骤F63、将目标覆盖信息记录对应的覆盖点所在的以及所关联的第一数字电路中的组成模块确定为目标调试模块。

步骤F64、重新运行所述第一数字电路至调试结束时间，输入对应的调试结束信号，生成目标调试模块对应的波形，根据所述目标调试模块对应的波形对所述第一数字电路进行调试。

通过步骤F61-步骤F64可以精确的确定调试范围，提高调试效率。

此外，步骤F3、将第m测试用例分别输入所述第一数字电路和第二数字电路运行时，可以采用实施例二、实施例三或实施例四中已经优化的回归测试方案来进行仿真，进一步获取对应的参考第m时序型覆盖数据库和目标第m时序型覆盖数据库，实施例二、实施例三或实施例四的具体实施细节在此不再赘述。需要说明的是，未在实施例五中提及的，已在实施例一中提及的第m时序型覆盖数据库的具体实现过程，也可以适用于实施例五，在此不再赘述。

实施例五通过确定最早出现问题的覆盖点以及发生覆盖的时间，对应的输入信号，基于上述信息可以准确地确定调试范围，在调试范围内调试所述第一数字电路，提高了调试效率和准确性。

需要说明的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于时序型覆盖数据库的回归测试系统，其特征在于，

包括第m时序型覆盖数据库、处理器和存储有计算机程序的存储器，m的取值范围为1到M，M为待测数字电路对应的测试用例总数，所述第m时序型覆盖数据库用于存储第m测试用例对应的第一覆盖点集合中每一覆盖点的覆盖信息记录，所述第一覆盖点集合为待测数字电路覆盖点全集的子集，所述覆盖信息记录包括覆盖点标识字段和覆盖时间字段，所述覆盖时间字段用于存储覆盖点对应的覆盖时间索引，每一覆盖时间索引对应一个仿真时间，所述覆盖时间字段的设置相同的覆盖初始值，所述覆盖初始值表示对应的覆盖点未被覆盖；

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤G1、将第m测试用例输入待测数字电路运行；

步骤G2、当监测到所述待测数字电路发生覆盖事件时，获取当前覆盖事件信息；

步骤G3、解析所述当前覆盖事件信息，获取当前覆盖点标识，若当前覆盖点标识属于第一覆盖点集合，则获取对应的当前覆盖时间，执行步骤G4；

步骤G4、将当前覆盖时间对应的覆盖时间索引填写至所述第m时序型覆盖数据库中所述当前覆盖点标识所对应的覆盖信息记录的覆盖时间字段；

步骤G5、第m测试用例运行完毕后，生成所述第m时序型覆盖数据库；

步骤G6、基于所述第m时序型覆盖数据库确定第m测试用例的有效回归时间。

2.根据权利要求1所述的系统，其特征在于，

所述系统还包括时间索引映射表，所述时间索引映射表用于存储覆盖时间信息和覆盖时间索引的映射关系，覆盖时间索引的数据长度小于覆盖时间信息的数据长度，所述步骤G3还包括：

步骤G31、若所述当前覆盖时间在所述时间索引映射表中存在对应的覆盖时间索引，则执行步G4，否则，在所述时间索引映射表中添加当前覆盖时间对应的覆盖时间索引之后执行步骤G4。

3.根据权利要求1所述的系统，其特征在于，

所述覆盖时间字段设置有存储覆盖时间索引数量阈值G，所述步骤G3中，若当前覆盖点标识属于所述第一覆盖点集合，还包括：

步骤G32、判断当前覆盖点标识对应的覆盖时间字段是否已存储G个覆盖时间索引，若是，则不再向对应的覆盖信息记录中存储覆盖时间索引，否则，再执行获取对应的当前覆盖时间，执行步骤G4。

4.根据权利要求1所述的系统，其特征在于，

所述步骤G5包括：

步骤S1、从所述第m时序型覆盖数据库中获取第m测试用例对应的预设的第二覆盖点集合中每一覆盖点对应的覆盖信息记录，所述第二覆盖点集合为所述第一覆盖点集合的子集；

步骤S2、根据第二覆盖点集合中所有覆盖点对应的覆盖信息记录确定时间序列{T_x，T_x+1，…，T_y-1,T_y}，T_i第i个仿真时间，i的取值范围为x到y,T_x为起点时间，T_y为终点时间T_y，x<y；

步骤S3、从第二覆盖点集合中所有覆盖点对应的覆盖信息记录中，获取覆盖时间字段中首个覆盖时间索引为T_i的覆盖点标识数量，记作T_i的对应的覆盖点增量F_i,生成{F_x，F_x+1，…F_y-1，F_y}；

步骤S4、基于{T_x，T_x+1，…，T_y-1,T_y}、{F_x，F_x+1，…F_y-1，F_y}确定待测第m测试用例对应的仿真终止时间T_z,z满足F_z≠0,且F_z+1至F_y均等于0，x<z≤y。

5.根据权利要求4所述的系统，其特征在于，

所述步骤S1之前还包括：

步骤S0、从所述第m时序型覆盖数据库中获取第m测试用例对应的起点时间T_x和终点时间T_y，若T_y-T_x>T_u,T_u为预设的执行时间阈值，则通过步骤S51-步骤S54确定T_z，否则，直接将T_y确定为T_z。

6.根据权利要求4所述的系统，其特征在于，

所述步骤S4包括：

步骤S41、以仿真时间为X轴，以覆盖点标识增量为纵轴建立坐标系；

步骤S42、基于{F_x，F_x+1，…F_y-1，F_y}和{T_x，T_x+1，…，T_y-1,T_y}绘制覆盖点标识增量曲线；

步骤S43、基于所述覆盖点标识增量曲线确定T_z。

7.根据权利要求6所述的系统，其特征在于，

所述步骤S43包括：

步骤S431、基于所述覆盖点标识增量曲线获取波动区域{E₁，E₂，…E_N},E₁，E₂，…E_N按照时间先后顺序排列，E_n为第n个波动区域，n的取值范围为1到N，N≥1，E_n对应的起点周期为T_a ⁿ,终点周期为T_b ⁿ；

步骤S432、若任意n的取值满足T_b ⁿ⁺¹-T_a ⁿ≤T_d,T_d为预设的第一间隔时间阈值，则将T_b ^N确定为T_z。

8.根据权利要求4所述的系统，其特征在于，

所述步骤S4之后还包括：

步骤S5、将M个测试用例输入当前待测设计执行，当第m测试用例执行至对应的T_z时，终止第m测试用例的执行，并生成第m测试用例对应的当前第m时序型覆盖数据库；

步骤S6、将所有当前第m时序型覆盖数据库进行融合，生成当前待测设计对应的覆盖率。

Images