CN115328798A - 一种芯片验证自动化回归测试方法及计算机可读存储介质 - Google Patents

Abstract

本发明属于芯片验证技术领域，具体涉及一种芯片验证自动化回归测试方法及计算机可读存储介质，将更新后的待回归测试代码，利用对旧版本代码仿真有覆盖率贡献的仿真种子，进行回归测试，再利用随机仿真种子对待回归测试代码，进行回归测试，至达到设定覆盖率。通过在代码版本更新后，先利用对旧版本代码仿真有覆盖率贡献的仿真种子，进行回归测试，能够在回归测试初期快速回归覆盖，并且在利用了在先种子集合中的仿真种子进行回归测试后，再利用随机仿真种子进行回归测试，进一步提升覆盖率，并且本发明的回归测试是自动化的回归测试，无需人力的参加，因此本发明的芯片验证自动化回归测试的方法在能够满足覆盖率要求的同时，提升了回归测试效率。

Description

一种芯片验证自动化回归测试方法及计算机可读存储介质

技术领域

本发明属于芯片验证技术领域，具体涉及一种芯片验证自动化回归测试方法及计算机可读存储介质。

背景技术

芯片验证就是采用相应的验证语言，验证工具，验证方法，在芯片生产之前验证芯片设计是否符合芯片定义的需求规格，是否已经完全释放了风险，发现并更正了所有的缺陷。

芯片验证(IC验证)中，特别是模块与子系统验证，经常更新版本，改动设计代码；由于某些用例激励是随机约束的，需要大量仿真，保证质量，所以经常在后期回归大量用例，且每个用例都需要用随机种子跑很多次，因为不同的种子仿真有不同的覆盖率。针对该场景，常规有三种回归测试方法：第一种是每个用例根据随机种子无休止地跑仿真，该法需要消耗大量时间，效率不高；第二种是添加大量定向测试用例，以覆盖比较难于覆盖到的代码，该法需要消耗人力，效率不高；第三种是前两种方法的折中方案，即添加一些定向用例，剩下就交给随机种子去跑仿真，这样一来，在仿真时间上以及人力资源占用上取得了平衡。常规的三种回归测试方法，在回归测试过程中存在仿真效率不高的问题，即代码覆盖率提升的速度较慢。

通常，IC验证中经常采用第三种方法进行仿真，因第三种方法进行仿真的过程中，还是需要占用人力资源，而占用人力资源进行的仿真，仿真效率因人为因素存在不确定性，导致仿真效率仍然不理想，即在利用定向测试用例时，覆盖率提升的速率依旧较慢。

发明内容

本发明的目的在于提供一种芯片验证自动化回归测试方法及计算机可读存储介质，用以解决现有技术在芯片验证回归测试时，在回归测试初期不能快速提升覆盖率的问题。

为解决上述技术问题，本发明提供了一种芯片验证自动化回归测试方法，包括如下步骤：

1)获取在先种子集合；所述在先种子集合包括对旧版本代码仿真有覆盖率贡献的仿真种子；所述覆盖率包括代码覆盖率和功能覆盖率中的至少一种；

2)将待回归测试的更新后代码，利用在先种子集合中的仿真种子进行回归测试；所述更新后代码为对步骤1)中旧版本代码更新得到的；

3)利用随机仿真种子对更新后代码再次进行回归测试，至达到设定覆盖率。

其有益效果为：通过获取对旧版本代码仿真有覆盖率贡献的在先种子集合，在代码版本更新后，先后利用种子集合中的仿真种子和随机种子进行自动化回归测试，能够在回归测试初期快速回归覆盖，即将覆盖率快速接近覆盖率要求，并且在利用了在先种子集合中的仿真种子进行回归测试后，再利用随机种子再次进行回归测试，进一步提升覆盖率，并且本发明的回归测试是自动化的回归测试，无需人力的参加，因此本发明的芯片验证自动化回归测试的方法在能够满足覆盖率要求的同时，提升了回归测试效率。

进一步地，步骤2)中，利用在先种子集合中的仿真种子进行回归测试时，根据回归测试结果，剔除在先种子集合中无覆盖率贡献的仿真种子；将在先种子集合中剩余的仿真种子列入所述更新后代码的种子集合。

考虑到即使在上个版本(旧版本代码)有覆盖率贡献的仿真种子，在代码版本更新后，种子列表(种子列表为记录种子集合的列表)中的仿真种子可能存在对更新后的代码版本无覆盖率贡献的种子，为了使得种子列表不仅能够对此次更新的代码实现快速回归测试，还能够在此次更新后的代码再次更新时，也能实现快速回归测试，因此，本发明在利用种子列表中的仿真种子进行回归测试过程中，依旧对种子列表中的仿真种子进行是否对覆盖率有贡献的判断，以剔除对覆盖率没有贡献的仿真种子。通过在回归测试中剔除对覆盖率没有贡献的仿真种子，即回归测试结束后的种子列表依旧为对“当前代码版本”(回归测试的代码版本)有覆盖率贡献的仿真种子，供后续代码版本验证使用，实现了种子列表的持续使用，并且保证了种子列表质量，进而提升了后续代码版本回归测试时的效率。

进一步地，步骤3)中，利用随机仿真种子对更新后代码再次进行回归测试中，还将有覆盖率贡献的仿真种子列入所述更新后代码的种子集合。

通过收集随机仿真种子中对覆盖率有贡献的仿真种子，并将收集的仿真种子列入种子集合中，保证了种子集合中的仿真种子依旧满足“当前代码版本”(回归测试的代码版本)的覆盖率要求，供后续代码版本验证使用，实现了种子列表的持续使用，并且保证了种子列表质量，进而在后续代码版本回归测试时，能够快速覆盖功能以及设计代码。

进一步地，步骤3)中，利用随机仿真种子对待回归测试的代码版本再次进行回归测试中，还将发现过bug的仿真种子列入所述更新后代码的种子集合。

为了覆盖设计代码容易犯错的功能点，还收集发现bug而后修正过的种子，并将发现bug而后修正过的种子也列入种子列表。通过将发现bug而后修正过的种子也列入种子列表，可避免在设计代码时由于笔误恢复bug设计的情况。

进一步地，所述覆盖率贡献为：在进行回归测试时，当前回归测试的仿真种子满足：所有已回归测试的仿真种子加上当前回归测试的仿真种子跑出来的覆盖率合集，大于所有已回归测试的仿真种子跑出来的覆盖率合集时，当前回归测试的仿真种子为有覆盖率贡献的仿真种子。

通过在回归测试过程中，将当前回归测试的仿真种子跑出来的覆盖率集合，与所有已经回归测试的仿真种子跑出来的覆盖率集合，进行比较，得到当前回归测试的种子是否为对“当前代码版本”(回归测试的代码)有覆盖率贡献，若有则将当前测试的仿真种子加入种子集合中，若无则不加入或剔除(若存在于种子集合中则剔除)，通过此过程，在利用随机种子进行回归测试后，形成的新的种子集合中的仿真种子是满足覆盖率要求的仿真种子的最小合集，进一步提升代码版本再次更新后，继续利用新的种子集合中的仿真种子进行回归测试的效率以及在回归测试初期快速回归覆盖。

进一步地，有覆盖率贡献的仿真种子，通过如下方式获得：

判断cov(a+b)>cov(a)是否成立，其中，a为所有已回归测试的仿真种子，b为当前回归测试的仿真种子，cov(a)表示所有已回归测试的仿真种子仿真跑出来的覆盖率合集，cov(a+b)表示所有已回归测试的仿真种子加上当前回归测试的仿真种子仿真跑出来的覆盖率合集，若成立则当前回归测试种子为有覆盖率贡献的仿真种子。

进一步地，步骤1)中，所述在先种子集合为旧版本代码在芯片验证的仿真种子集合。

在代码版本更新前一定对更新前的代码版本做了芯片验证，所以只需要从芯片验证中获取旧版本代码在芯片验证的仿真种子集合，即可得到在先种子集合。

进一步地，步骤1)中，所述在先种子集合还包括发现过旧版本代码bug的仿真种子。

为了覆盖设计代码容易犯错的功能点，还将发现过旧版本代码bug的仿真种子也列入在先种子集合中，可避免在设计代码时由于笔误恢复bug设计的情况。

为了解决上述技术问题，本发明还提供了一种计算机可读存储介质，其存储有可供处理器执行的程序指令，以实现上述介绍的芯片验证自动化回归测试的方法，并达到与该方法相同的有益效果。

附图说明

图1是本发明的芯片验证自动化回归测试的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明了，以下结合附图及实施例，对本发明进行进一步详细说明。

芯片验证自动化回归测试方法实施例：

本实施例中通过获取预先存储的种子列表(在先种子集合记录于种子列表中)，在代码版本更新后，利用种子列表中的仿真种子进行回归测试，回归测试结束后，利用随机种子对代码版本更新后的代码再次进行回归测试，以从随机种子中获取对覆盖率有贡献的种子，并将新获取的种子列入种子列表，形成新的种子列表，供代码版本更新后，能够利用新的种子列表进行高效的自动化回归测试，即实现快速回归覆盖。

通过获取对覆盖率有贡献的种子列表，在代码版本更新后，先后利用种子列表的仿真种子和随机种子进行自动化回归测试，能够快速回归覆盖，并且在利用了种子列表中的仿真种子进行回归测试后，再利用随机种子再次进行回归测试，进一步提升覆盖率，并且本实施例中的回归测试是自动化的回归测试，无需人力的参加，因此本发明的芯片验证自动化回归测试的方法能够满足覆盖率要求的同时，提升了回归测试效率。

如图1，具体的实现芯片验证自动化回归测试的方法过程为：

1)收集对当前代码版本有覆盖率贡献的仿真种子，并将收集的仿真种子列入种子集合。

当前代码版本为更新前的代码版本(即旧版本代码)，在代码版本更新前一定对旧版本代码做了芯片验证，所以只需要从芯片验证中获取旧版本代码在芯片验证的仿真种子集合，即可得到在先种子集合。

本实施例为了覆盖设计代码容易犯错的功能点，还收集发现当前代码版本bug的仿真种子，并将发现过未更新代码版本bug的仿真种子也列入种子集合，可避免在设计代码时由于笔误恢复bug设计的情况。

通过将对当前代码版本有覆盖率贡献的仿真种子形成种子集合(种子集合记录于种子列表中)，即种子列表中的仿真种子满足了当前代码版本的覆盖率要求，所以当代码更新后，能够利用种子列表中的仿真种子尽可能快的仿真覆盖设计代码。

2)在代码版本更新后，利用种子列表中的仿真种子进行回归测试。

在代码版本更新后，将已记录种子(即种子列表中的仿真种子)全部跑一遍，因种子列表中的仿真种子已满足代码版本更新前的覆盖率要求，所以在代码版本更新后，利用种子列表中的仿真种子进行自动化回归测试时，能够尽可能快的仿真覆盖设计代码，及时发现bug，提高仿真效率以及加速验证进度。

考虑到即使在上个版本有覆盖率贡献的仿真种子，在代码版本更新后，种子列表中的仿真种子可能存在对更新后的代码版本无覆盖率贡献的种子，为了使得种子列表不仅能够对此次更新的代码实现快速回归测试，还能够在此次更新后的代码再次更新时，也能实现快速回归测试，因此，本实施例在利用种子列表中的仿真种子进行回归测试过程中，依旧对种子列表中的仿真种子进行是否对覆盖率有贡献的判断，以剔除对覆盖率没有贡献的仿真种子。通过在回归测试中剔除对覆盖率没有贡献的仿真种子，即回归测试结束后的种子列表依旧为对“当前代码版本”(回归测试的代码版本)有覆盖率贡献的仿真种子，供后续代码版本验证使用，实现了种子列表的持续使用，并且保证了种子列表质量。

本实施例中，仿真种子对覆盖率是否有贡献的判断标准为：判断cov(a+b)>cov(a)是否成立，其中，a为已回归测试并已记录种子列表的种子集合，b为当前回归测试的仿真种子，cov(a)表示已回归测试并已记录种子列表的种子集合仿真跑出来的覆盖率合集，cov(a+b)表示已回归测试并已记录种子列表的种子集合加上当前回归测试的仿真种子仿真跑出来的覆盖率合集，若成立则当前回归测试的仿真种子对覆盖率有贡献，若不成立则当前回归测试的仿真种子对覆盖率无贡献，即是否有贡献，取决于当前仿真种子跑出来的结果对已回归测试并已记录种子列表的种子集合跑出来的结果合集是否有覆盖率的提升，覆盖率的提升包括功能覆盖率和代码覆盖率至少一个提升。

3)回归测试结束后，继续利用随机种子进行回归测试。

虽然种子列表中的仿真种子满足了更新前代码版本的覆盖率要求，并且此列表中的仿真种子能够实现代码版本更新后快速将覆盖率提升至接近饱和状态，并及时发现新代码版本bug，但是因新版代码可能添加了新功能或新bug，所以为了满足更新后代码版本的覆盖率要求，除了要利用已存的种子列表进行快速回归仿真，还要继续利用随机种子进行仿真，在此过程中如果发现bug，则进行定位修复。通过继续利用随机种子进行回归测试，保证了更新后代码版本的覆盖率要求。

4)收集随机种子中对覆盖率有贡献的种子，并将收集的种子列入种子列表中。

为了使得种子列表不仅能够对此次更新的代码实现快速回归测试，还能够在此次更新后的代码再次更新时，也能实现快速回归测试，因此，本实施例在利用随机种子进行自动化回归测试的过程中，也判断随机种子是否对覆盖率有贡献(如步骤2)中“仿真种子对覆盖率是否有贡献的判断标准”判断随机种子是否对覆盖率有贡献)，以便收集对覆盖率有用的新种子，并将收集的新种子，添加至种子列表，保证种子列表完备性。还把此过程中发现bug的种子也列入到种子列表中。

通过收集随机种子中对覆盖率有贡献的种子，并将收集的种子列入种子列表中，保证了种子列表中的仿真种子依旧满足“当前代码版本”(回归测试的代码版本)的覆盖率要求，供后续代码版本验证使用，实现了种子列表的持续使用，并且保证了种子列表质量。

并且在利用随机种子进行回归测试时还获取包括发现过bug的仿真种子。为了覆盖设计代码容易犯错的功能点，还收集发现bug而后修正过的种子，并将发现bug而后修正过的种子也列入种子列表。通过将发现bug而后修正过的种子也列入种子列表，可避免在设计代码时由于笔误恢复bug设计的情况。

在对代码版本更新后的代码进行回归测试时，获取对当前代码有覆盖率贡献的种子列表，并在代码版本更新后，先利用种子列表进行快速回归验证，再继续用随机种子进行自动化回归测试，快速回归测试，可以尽可能快的仿真覆盖设计代码，及时发现bug，提高仿真效率以及加速验证进度。并且在对代码版本更新后的代码进行回归测试时，剔除种子列表中对代码版本更新后无贡献的仿真种子，并将种子列表中加入随机种子中对代码版本更新后有贡献的种子，通过此方式更新种子列表中的仿真种子，使得种子列表中的仿真种子一直保持对“当前代码版本”(回归测试的代码版本)有覆盖率贡献的同时，也满足“当前代码版本”(回归测试的代码版本)的覆盖率要求，进而本发明的回归测试法保证了设计代码已更新到最新版本，且可避免由于笔误恢复bug设计，并能够实现种子列表的可持续利用。进而该方法进行高效率芯片验证自动化回归测试，包括利用旧种子(即种子列表中的仿真种子)快速回归高效覆盖和收集记录对覆盖率有贡献的种子，都是全程自动化仿真的过程，因此本实施例芯片验证自动化回归测试的方法，不但满足了回归测试的覆盖率要求，也缩短了仿真时间，加速了验证进度。

计算机可读存储介质实施例：

本实施例中的计算机可读存储介质有可供处理器执行的程序指令，以实现芯片验证自动化回归测试的方法步骤，而具体的芯片验证自动化回归测试的方法已在芯片验证自动化回归测试的方法实施例中介绍的足够清楚，此处不再赘述。

并且以上芯片验证自动化回归测试的方法步骤能够由计算机脚本自动化控制，包括收集记录种子，判断种子是否有贡献，进行回归仿真，更新种子列表等。因此无需更新，一劳永逸，且各验证平台通用，进而无需占用人力资源，实现了自动化验证的过程，并且验证效率得到了提升。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (9)

1.一种芯片验证自动化回归测试方法，其特征在于，包括如下步骤：

1)获取在先种子集合；所述在先种子集合包括对旧版本代码仿真有覆盖率贡献的仿真种子；所述覆盖率包括代码覆盖率和功能覆盖率中的至少一种；

2)将待回归测试的更新后代码，利用在先种子集合中的仿真种子进行回归测试；所述更新后代码为对步骤1)中旧版本代码更新得到的；

3)利用随机仿真种子对更新后代码再次进行回归测试，至达到设定覆盖率。

2.根据权利要求1所述的芯片验证自动化回归测试方法，其特征在于，步骤2)中，利用在先种子集合中的仿真种子进行回归测试时，根据回归测试结果，剔除在先种子集合中无覆盖率贡献的仿真种子；将在先种子集合中剩余的仿真种子列入所述更新后代码的种子集合。

3.根据权利要求1所述的芯片验证自动化回归测试方法，其特征在于，步骤3)中，利用随机仿真种子对更新后代码再次进行回归测试中，还将有覆盖率贡献的仿真种子列入所述更新后代码的种子集合。

4.根据权利要求3所述的芯片验证自动化回归测试方法，其特征在于，步骤3)中，利用随机仿真种子对待回归测试的代码版本再次进行回归测试中，还将发现过bug的仿真种子列入所述更新后代码的种子集合。

5.根据权利要求2和3所述的芯片验证自动化回归测试方法，其特征在于，所述覆盖率贡献为：在进行回归测试时，当前回归测试的仿真种子满足：所有已回归测试的仿真种子加上当前回归测试的仿真种子跑出来的覆盖率合集，大于所有已回归测试的仿真种子跑出来的覆盖率合集时，当前回归测试的仿真种子为有覆盖率贡献的仿真种子。

6.根据权利要求5所述的芯片验证自动化回归测试方法，其特征在于，有覆盖率贡献的仿真种子，通过如下方式获得：

判断cov(a+b)>cov(a)是否成立，其中，a为所有已回归测试的仿真种子，b为当前回归测试的仿真种子，cov(a)表示所有已回归测试的仿真种子仿真跑出来的覆盖率合集，cov(a+b)表示所有已回归测试的仿真种子加上当前回归测试的仿真种子仿真跑出来的覆盖率合集，若成立则当前回归测试种子为有覆盖率贡献的仿真种子。

7.根据权利要求1所述的芯片验证自动化回归测试方法，其特征在于，步骤1)中，所述在先种子集合为旧版本代码在芯片验证的仿真种子集合。

8.根据权利要求1所述的芯片验证自动化回归测试方法，其特征在于，步骤1)中，所述在先种子集合还包括发现过旧版本代码bug的仿真种子。

9.一种计算机可读存储介质，其特征在于，其存储有可供处理器执行的程序指令，以实现如权利要求1～8所述的任一项芯片验证自动化回归测试方法步骤。

Images