CN108108558A - 一种基于覆盖次数统计评价随机验证质量的方法及系统 - Google Patents

Abstract

本发明提供了一种基于覆盖次数统计评价随机验证质量的方法及系统，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件，进行随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证，发现异常情况进行报警。本发明提高了验证的健壮性，有效地减少人力资源和时间的耗费，提高研发效率。

Description

一种基于覆盖次数统计评价随机验证质量的方法及系统

技术领域

本发明涉及芯片设计的技术领域，具体涉及一种基于覆盖次数统计评价随机验证质量的方法及系统。

背景技术

随着工艺技术以及应用领域的不断发展，芯片的复杂度不断提高，相对应的，对于仿真验证工作的要求也在不断提高。不但需要进行仿真验证的功能点越来越繁复，而且验证周期的要求越来越严格。

现有的芯片设计流程中，分为前端设计(逻辑设计)和后端设计(物理设计)两个阶段。前端设计主要是以通过硬件描述语言(如verilog)来实现芯片的逻辑功能，而代码描述的正确性主要就是通过对这些代码(或是由这些代码生成的网表)的仿真验证来实现的。在标准的仿真验证流程中，需要确保的前端设计涉及到的逻辑功能的功能点，都需要通过构造相应的仿真场景，证实前段设计逻辑功能的正确性。

对复杂度较高的系统进行仿真验证，随机验证是一个重要的步骤，可以在尽可能减少人力的前提下覆盖更多复杂甚至是预期外的场景。随机化激励可以仅用几行代码就能产生大量的激励数据，通过为设计提供随机激励信号来扩大验证的测试空间。但是，当设计规模很大且非常复杂时，随机验证空间会变得近乎无限，于是需要给随机化过程施加一定的约束，使其按照约束生成随机化的激励，即让它生成的随机化的激励更多地落在有效的区域或者边界内，以更快地达到功能覆盖率的要求。因此，随机约束的选择也决定了随机验证的效率。约束过于宽泛会造成随机出来的场景大部分都是没有意义的，约束过于严格又会限制随机出的场景类型。

在现有的仿真验证中，都是以覆盖率作为评价验证充分程度的标准，对于规模比较小的设计，可以统计代码覆盖率来评价验证程度，但在大规模以及超大规模的芯片设计中，用代码覆盖率既低效又不准确，往往通过自定义的功能点的覆盖率作为标准。在基于功能点覆盖率驱动的随机验证中，对于不同随机约束构造的随机验证，评价优劣的唯一的标准就是能否在更短的时间内覆盖到更多更全的功能点。

用功能点覆盖与否作为衡量随机验证的唯一标准，需要假设一个前提就是功能点提取是正确的和完备的。这实际上就降低了随机验证的作用，随机验证不只是为了节省在定向验证中投入的人力，它更重要的作用是提供研发人员预期外的一些测试场景，弥补研发人员可能的疏漏，并测试设计的各种异常处理。

即便功能点的提取是正确的和完备的，但是因为功能点与逻辑设计未必是一一对应关系，也就是说同一个功能点的覆盖，可能是通过不同的逻辑状态转换得来的。一个功能点覆盖到了，并不代表它背后的所有逻辑都覆盖到了。定向验证可以只关注功能点，尽可能地保证功能点的正确性，但如果随机验证也只关注功能点覆盖与否，那么验证的健壮性就很难保证。

发明内容

基于上述问题，本发明提出了一种基于覆盖次数统计评价随机验证质量的方法及系统，解决功能点覆盖率不能起到完全反映随机验证质量和指导随机参数改进作用的技术问题，在基于功能点覆盖驱动的验证流程中，对覆盖率的统计方式进行调整，除了是否覆盖，还需要统计覆盖次数，并根据统计信息判断功能点覆盖的均匀度，以此作为评价随机验证质量的标准。

本发明提供如下技术方案：

一方面，本发明提供了一种基于覆盖次数统计评价随机验证质量的方法，包括：

步骤101，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

步骤102，随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

步骤103，发现异常情况进行报警。

其中，所述覆盖次数统计结果输出条件为：为覆盖次数设置覆盖次数阈值，为时间设置第一时间阈值和第二时间阈值，所述第一时间阈值小于第二时间阈值，当覆盖次数达到所述覆盖次数阈值，若验证时间达到第一时间阈值，且小于第二时间阈值；或者覆盖次数未达到覆盖次数阈值，验证时间达到第二时间阈值。

其中，发现异常情况进行报警具体为：自动化初步分析，平行的功能点中某个功能点出现的次数远远大于其它；和/或是某些功能点总是同时出现，对所述初步分析的结果会进行输出和报警，判断是否符合预期，并决定是否停止验证。

其中，对于覆盖次数统计结果的分析，发现异常情况，若所述异常情况是由于随机验证的参数设置限定了随机验证的场景不够全面，则修改随机参数继续验证或用新的随机参数构造新的随机验证作为补充，若所述异常情况是由于功能点的设置不合理，则继续验证，直到验证停止后再进行修改。

优选的，对覆盖次数统计结果进行输出的同时进行保存，至少保存上一次的统计结果。

另外，本发明还提供了一种基于覆盖次数统计评价随机验证质量的系统，所述系统包括：

设置模块，用于设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

验证模块，用于随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

报警模块，用于发现异常情况进行报警。

其中，所述覆盖次数统计结果输出条件为：为覆盖次数设置覆盖次数阈值，为时间设置第一时间阈值和第二时间阈值，所述第一时间阈值小于第二时间阈值，当覆盖次数达到所述覆盖次数阈值，若验证时间达到第一时间阈值，且小于第二时间阈值；或者覆盖次数未达到覆盖次数阈值，验证时间达到第二时间阈值。

其中，发现异常情况进行报警具体为：自动化初步分析，平行的功能点中某个功能点出现的次数远远大于其它；和/或是某些功能点总是同时出现，对所述初步分析的结果会进行输出和报警，判断是否符合预期，并决定是否停止验证。

其中，对于覆盖次数统计结果的分析，发现异常情况，若所述异常情况是由于随机验证的参数设置限定了随机验证的场景不够全面，则修改随机参数继续验证或用新的随机参数构造新的随机验证作为补充，若所述异常情况是由于功能点的设置不合理，则继续验证，直到验证停止后再进行修改。

优选的，对覆盖次数统计结果进行输出的同时进行保存，至少保存上一次的统计结果。

本发明提供了一种基于覆盖次数统计评价随机验证质量的方法及系统，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件，进行随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证，发现异常情况进行报警。本发明提高了验证的健壮性，有效地减少人力资源和时间的耗费，提高研发效率。

附图说明

图1是现有技术的以覆盖率作为评价随机验证标准的随机验证基本流程图；

图2是本发明的基于覆盖次数统计评价随机验证的基本流程图；

具体实施方式

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

本发明的评价随机验证质量的方法，不但能表现功能点覆盖情况，还能帮助验证人员得到随机验证是否全面、对功能点的设置是否合理等信息，提高验证的健壮性。同时，自动化的结果统计、输出、初步分析等步骤，能有效地减少人力资源和时间的耗费，提高研发效率。

本发明在原有的统计覆盖率的随机验证基础之上，对部分功能点进行覆盖次数的统计，并按照预定义的规则对统计结果进行输出和自动化的分析。

基于上述，一方面，本发明的实施方式提供了一种基于覆盖次数统计评价随机验证质量的方法，附图2是本发明的基于覆盖次数统计评价随机验证的基本流程图，包括：

步骤101，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

设置各类参数；有条件的情况下，应该对功能点进行筛选，对于简单的、实现逻辑单一的功能点，可以考虑不纳入统计覆盖次数的范畴(但还是要统计是否覆盖)，这样可以尽可能地减少资源耗费，提高验证的速度。

对覆盖率的统计有两种方式，一种是用EDA工具自带的覆盖率统计功能，按照EDA工具的要求标记具体的功能点(一般是通过SystemVerilog加断言的方式)；另一种是由验证人员通过在验证平台编写工具收集功能点特征。用第一种方式也可以实现对功能点覆盖次数的统计，但灵活性不足，对于一个功能点定义的几项特征，无法分开统计次数，对统计结果的输出也只能在验证结束之后。在比较复杂的芯片系统或者功能点定义并不完备的情况下，应该采用第二种方式，在验证平台中编写工具收集特征，并分配对应的存储资源进行记录。

步骤102，随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

功能点覆盖次数的总体统计结果应该采用设置时间与覆盖次数两重阈值的方式进行输出。这是因为随机验证的激励一般规模比较大，如果要等验证结束之后再进行覆盖率收集，可能浪费大量的时间和资源进行质量不高的随机验证。同时，在验证平台中，频繁地对覆盖情况总体统计结果的输出会占用大量的资源和验证时间，而如果统计结果输出的不及时也可能会推迟对验证质量问题的发现，降低验证效率。因此，输出总体统计结果可以采取两重阈值的方式，要同时满足时间和覆盖次数的要求才进行输出。具体而言，要为覆盖次数设置一个阈值，为时间设置两个阈值(阈值1小于阈值2)。两种情况需要输出统计结果，一种是当覆盖次数达到阈值(避免无意义的输出信息)，同时验证时间达到阈值1(避免功能点覆盖更新比较密集的时候频繁输出)，小于阈值2；另一种是覆盖次数还没有达到阈值，而验证时间达到阈值2(意味着功能点覆盖增长非常缓慢)。具体阈值可根据验证目标的不同进行设置，并根据验证实测的数据进行调整。

对于覆盖情况总体统计结果的每次输出，除了功能点名称和覆盖次数之外，还应该包含能反映从上次统计结果输出以来的不同功能点覆盖的新增次数。这是为了避免随机验证中出现的一些小概率的特殊场景，造成某些功能短时间内出现大量的覆盖，影响对验证质量的判断。要实现这一功能，就需要在对统计结果进行输出的同时进行保存，至少需要保存上一次的统计结果，在资源允许的情况下，为了对统计结果的分析更加准确，可以保存往前尽可能多次的结果。

步骤103，发现异常情况进行报警；

对于功能点覆盖次数的统计结果进行分析和判断，往往需要对设计和验证环境都有很深了解的专家进行分析。为了减少专家分析的工作量，同时也提高效率，可以统计结果进行自动化的初步分析。自动化初步分析可以在每次统计结果输出的时候进行，也可以在统计结果输出达到一定次数之后进行，其作用是在于对可能的验证质量低下做出报警，但不会停止验证。自动化初步分析的内容可以多种多样，依据实际设计的需求添加。举例而言，最基本的初步分析可以包括：平行的功能点(即从功能实现上属于同层次但不会出现同时出现的功能点，比如同一个接口的读操作和写操作)中某个功能点出现的次数远远大于其它；又或者是某些功能点总是同时出现(表现为统计结果中这些功能点覆盖次数的增长总是非常相近)。对这些初步分析的结果会进行输出和报警，由验证人员进行判断是否符合预期，并决定是否停止验证。

对于功能点覆盖次数统计结果的分析，发现的异常情况(比如2.2.5中提到的需要报警的情况)，有两种可能的原因，一是随机验证的参数设置限定了随机验证的场景不够全面，二是功能点的设置不合理。对于前者，需要验证人员进行具体分析之后修改随机参数继续验证或者用新的随机参数构造新的随机验证作为补充。而如果是功能点设置的问题，可以继续验证，直到验证停止后再进行修改。

本发明提供了一种基于覆盖次数统计评价随机验证质量的方法，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件，进行随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证，发现异常情况进行报警。本发明提高了验证的健壮性，有效地减少人力资源和时间的耗费，提高研发效率。

另一方面，本发明的实施方式提供了一种基于覆盖次数统计评价随机验证质量的系统，所述系统包括：

设置模块201，用于设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

设置各类参数；有条件的情况下，应该对功能点进行筛选，对于简单的、实现逻辑单一的功能点，可以考虑不纳入统计覆盖次数的范畴(但还是要统计是否覆盖)，这样可以尽可能地减少资源耗费，提高验证的速度。

对覆盖率的统计有两种方式，一种是用EDA工具自带的覆盖率统计功能，按照EDA工具的要求标记具体的功能点(一般是通过SystemVerilog加断言的方式)；另一种是由验证人员通过在验证平台编写工具收集功能点特征。用第一种方式也可以实现对功能点覆盖次数的统计，但灵活性不足，对于一个功能点定义的几项特征，无法分开统计次数，对统计结果的输出也只能在验证结束之后。在比较复杂的芯片系统或者功能点定义并不完备的情况下，应该采用第二种方式，在验证平台中编写工具收集特征，并分配对应的存储资源进行记录。

验证模块202，用于随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

功能点覆盖次数的总体统计结果应该采用设置时间与覆盖次数两重阈值的方式进行输出。这是因为随机验证的激励一般规模比较大，如果要等验证结束之后再进行覆盖率收集，可能浪费大量的时间和资源进行质量不高的随机验证。同时，在验证平台中，频繁地对覆盖情况总体统计结果的输出会占用大量的资源和验证时间，而如果统计结果输出的不及时也可能会推迟对验证质量问题的发现，降低验证效率。因此，输出总体统计结果可以采取两重阈值的方式，要同时满足时间和覆盖次数的要求才进行输出。具体而言，要为覆盖次数设置一个阈值，为时间设置两个阈值(阈值1小于阈值2)。两种情况需要输出统计结果，一种是当覆盖次数达到阈值(避免无意义的输出信息)，同时验证时间达到阈值1(避免功能点覆盖更新比较密集的时候频繁输出)，小于阈值2；另一种是覆盖次数还没有达到阈值，而验证时间达到阈值2(意味着功能点覆盖增长非常缓慢)。具体阈值可根据验证目标的不同进行设置，并根据验证实测的数据进行调整。

对于覆盖情况总体统计结果的每次输出，除了功能点名称和覆盖次数之外，还应该包含能反映从上次统计结果输出以来的不同功能点覆盖的新增次数。这是为了避免随机验证中出现的一些小概率的特殊场景，造成某些功能短时间内出现大量的覆盖，影响对验证质量的判断。要实现这一功能，就需要在对统计结果进行输出的同时进行保存，至少需要保存上一次的统计结果，在资源允许的情况下，为了对统计结果的分析更加准确，可以保存往前尽可能多次的结果。

报警模块203，用于发现异常情况进行报警；

对于功能点覆盖次数的统计结果进行分析和判断，往往需要对设计和验证环境都有很深了解的专家进行分析。为了减少专家分析的工作量，同时也提高效率，可以统计结果进行自动化的初步分析。自动化初步分析可以在每次统计结果输出的时候进行，也可以在统计结果输出达到一定次数之后进行，其作用是在于对可能的验证质量低下做出报警，但不会停止验证。自动化初步分析的内容可以多种多样，依据实际设计的需求添加。举例而言，最基本的初步分析可以包括：平行的功能点(即从功能实现上属于同层次但不会出现同时出现的功能点，比如同一个接口的读操作和写操作)中某个功能点出现的次数远远大于其它；又或者是某些功能点总是同时出现(表现为统计结果中这些功能点覆盖次数的增长总是非常相近)。对这些初步分析的结果会进行输出和报警，由验证人员进行判断是否符合预期，并决定是否停止验证。

对于功能点覆盖次数统计结果的分析，发现的异常情况(比如2.2.5中提到的需要报警的情况)，有两种可能的原因，一是随机验证的参数设置限定了随机验证的场景不够全面，二是功能点的设置不合理。对于前者，需要验证人员进行具体分析之后修改随机参数继续验证或者用新的随机参数构造新的随机验证作为补充。而如果是功能点设置的问题，可以继续验证，直到验证停止后再进行修改。

本发明提供了一种基于覆盖次数统计评价随机验证质量的方法，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件，进行随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证，发现异常情况进行报警。本发明提高了验证的健壮性，有效地减少人力资源和时间的耗费，提高研发效率。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于覆盖次数统计评价随机验证质量的方法，其特征在于：

步骤101，设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

步骤102，随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

步骤103，发现异常情况进行报警。

2.根据权利要求1所述的方法，其特征在于：所述覆盖次数统计结果输出条件为：为覆盖次数设置覆盖次数阈值，为时间设置第一时间阈值和第二时间阈值，所述第一时间阈值小于第二时间阈值，当覆盖次数达到所述覆盖次数阈值，若验证时间达到第一时间阈值，且小于第二时间阈值；或者覆盖次数未达到覆盖次数阈值，验证时间达到第二时间阈值。

3.根据权利要求1所述的方法，其特征在于：发现异常情况进行报警具体为：自动化初步分析，平行的功能点中某个功能点出现的次数远远大于其它；和/或是某些功能点总是同时出现，对所述初步分析的结果会进行输出和报警，判断是否符合预期，并决定是否停止验证。

4.根据权利要求1所述的方法，其特征在于：对于覆盖次数统计结果的分析，发现异常情况，若所述异常情况是由于随机验证的参数设置限定了随机验证的场景不够全面，则修改随机参数继续验证或用新的随机参数构造新的随机验证作为补充，若所述异常情况是由于功能点的设置不合理，则继续验证，直到验证停止后再进行修改。

5.根据权利要求1所述的方法，其特征在于：对覆盖次数统计结果进行输出的同时进行保存，至少保存上一次的统计结果。

6.一种基于覆盖次数统计评价随机验证质量的系统，其特征在于：所述系统包括：

设置模块，用于设置待覆盖的功能点、需统计覆盖次数的功能点、随机验证参数、覆盖次数统计结果输出条件、统计结果分析报警条件；

验证模块，用于随机验证，收集功能覆盖率以及功能覆盖次数，若覆盖次数统计结果输出条件满足，则输出覆盖次数统计结果，自动化初步分析，若不满足，则继续随机验证；

报警模块，用于发现异常情况进行报警。

7.根据权利要求6所述的系统，其特征在于：所述覆盖次数统计结果输出条件为：为覆盖次数设置覆盖次数阈值，为时间设置第一时间阈值和第二时间阈值，所述第一时间阈值小于第二时间阈值，当覆盖次数达到所述覆盖次数阈值，若验证时间达到第一时间阈值，且小于第二时间阈值；或者覆盖次数未达到覆盖次数阈值，验证时间达到第二时间阈值。

8.根据权利要求6所述的系统，其特征在于：发现异常情况进行报警具体为：自动化初步分析，平行的功能点中某个功能点出现的次数远远大于其它；和/或是某些功能点总是同时出现，对所述初步分析的结果会进行输出和报警，判断是否符合预期，并决定是否停止验证。

9.根据权利要求6所述的系统，其特征在于：对于覆盖次数统计结果的分析，发现异常情况，若所述异常情况是由于随机验证的参数设置限定了随机验证的场景不够全面，则修改随机参数继续验证或用新的随机参数构造新的随机验证作为补充，若所述异常情况是由于功能点的设置不合理，则继续验证，直到验证停止后再进行修改。

10.根据权利要求6所述的系统，其特征在于：对覆盖次数统计结果进行输出的同时进行保存，至少保存上一次的统计结果。