CN113312226B - 测试逻辑设计异常特性的验证平台、装置及存储介质 - Google Patents
测试逻辑设计异常特性的验证平台、装置及存储介质 Download PDFInfo
- Publication number
- CN113312226B CN113312226B CN202110694728.9A CN202110694728A CN113312226B CN 113312226 B CN113312226 B CN 113312226B CN 202110694728 A CN202110694728 A CN 202110694728A CN 113312226 B CN113312226 B CN 113312226B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- logic design
- tested
- test
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tests Of Electronic Circuits (AREA)
Abstract
本发明公开了一种测试逻辑设计异常特性的验证平台,包括:异常激励生成器,用于生成随机异常测试激励,获取随机异常测试激励的激励特征,并将激励特征发送至配置生成器;配置生成器,用于获取与激励特征对应的第一配置信息与第二配置信息,以及将第一配置信息发送至参考模型,将第二配置信息发送至比较器。本发明还公开了一种测试逻辑设计异常特性的验证装置以及存储介质。本发明通过不同异常测试激励生成的配置信息对参考模型以及比较器的功能进行动态配置,使得验证平台可适应不同异常特性的验证,从而可支持异常特性的随机激励测试,无需针对不同异常特性单独开发定向测试用例,提高了异常特性的验证效率和质量。
Description
技术领域
本发明涉及逻辑设计技术领域,尤其涉及测试逻辑设计异常特性的验证平台、装置及存储介质。
背景技术
在芯片的开发过程中,芯片的逻辑设计的功能验证一般是基于通用验证方法学(UVM,Universal Verification Methodology)来实现的。
在UVM验证平台的功能配置完成后,UVM验证平台可验证的异常特性的类型也固定了,这导致了UVM验证平台运行测试用例时,即使生成并发送了成千上万个测试激励,结果却只能覆盖到某一类或某几类的异常特性,因此,对异常特性的测试用例,往往是采用定向测试用例而非随机测试用例,即针对逻辑设计的不同异常特性的特点,定制开发对应的定向测试用例,这样,在逻辑设计的异常特性较多时,验证人员需要开发的定向测试用例也会更多,严重降低了异常特性的验证效率。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种测试逻辑设计异常特性的验证平台、装置及存储介质,旨在提高逻辑设计异常特性的验证效率和质量。
为实现上述目的,本发明提供一种测试逻辑设计异常特性的验证平台,所述测试逻辑设计异常特性的验证平台包括:
异常激励生成器,用于生成随机异常测试激励,获取所述随机异常测试激励的激励特征,并将所述激励特征发送至配置生成器,以及将所述随机异常测试激励分别发送至待测逻辑设计以及参考模型;
配置生成器,用于获取与所述激励特征对应的第一配置信息与第二配置信息,以及将所述第一配置信息发送至参考模型,将所述第二配置信息发送至比较器;
待测逻辑设计,用于根据所述随机异常测试激励进行逻辑处理,并将所述逻辑处理的结果输出至比较器;
参考模型,用于应用所述第一配置信息,并在应用所述第一配置信息之后,对所述待测逻辑设计根据所述随机异常测试激励进行逻辑处理得到的结果进行预测,得到预测结果,并将所述预测结果输出至所述比较器;
比较器,用于应用所述第二配置信息,并在应用所述第二配置信息之后,比较所述逻辑处理的结果与所述预测结果,以检测所述待测逻辑设计的异常特性是否符合设计规格。
可选地,所述测试逻辑设计异常特性的验证平台还包括异常事件触发监视器;
配置生成器,还用于获取与所述激励特征对应的第三配置信息,以及将所述第三配置信息发送至所述异常事件触发监视器;
待测逻辑设计,还用于在根据所述随机异常测试激励进行的逻辑处理触发了所述待测逻辑设计的异常特性时,将被触发的异常特性对应的中断上报信号发送至所述异常事件触发监视器;
异常事件触发监视器,用于应用所述第三配置信息,并在应用所述第三配置信息之后,检测所述中断上报信号对应的被触发异常特性与所述第三配置信息对应的待测试异常特性是否一致,并将检测结果发送至所述比较器;
比较器,还用于在应用所述第二配置信息之后,根据所述检测结果判断是否执行所述比较所述逻辑处理的结果与所述预测结果的步骤。
可选地,所述测试逻辑设计异常特性的验证平台还包括中断信息清除器:
所述比较器,还用于在检测到所述待测逻辑设计的异常特性符合设计规格时,发送测试完成的提示信息至所述中断信息清除器;
中断信息清除器,用于在接收到测试完成的提示信息时,清除所述待测逻辑设计对应的寄存器中的值,其中,所述寄存器包括中断状态寄存器、中断计数器以及中断信息寄存器。
可选地,所述第一配置信息包括所述参考模型在对所述待测逻辑设计根据所述随机异常测试激励进行逻辑处理得到的结果进行预测时采用的预测策略,所述预测策略包括灰盒预测策略、白盒预测策略以及黑盒预测策略中的至少一个。
可选地,所述第二配置信息包括所述比较器在比较所述逻辑处理的结果与所述预测结果时采用的比较策略,所述比较策略包括顺序比较策略、乱序比较策略以及丢包比较策略中的至少一个。
可选地,异常激励生成器,用于根据测试用例的约束和配置生成所述随机异常测试激励。
此外,为实现上述目的,本发明还提供一种测试逻辑设计异常特性的验证装置,所述测试逻辑设计异常特性的验证装置运行有如上所述中任一项所述的测试逻辑设计异常特性的验证平台。
此外,为实现上述目的,本发明还提供一种计算机存储介质,所述计算机存储介质上存储有如上所述中任一项所述的测试逻辑设计异常特性的验证平台。
本发明实施例提出的测试逻辑设计异常特性的验证平台、装置及存储介质,测试逻辑设计异常特性的验证平台包括:异常激励生成器,用于生成随机异常测试激励,获取随机异常测试激励的激励特征,并将激励特征发送至配置生成器,以及将随机异常测试激励分别发送至待测逻辑设计以及参考模型;配置生成器,用于获取与激励特征对应的第一配置信息与第二配置信息,以及将第一配置信息发送至参考模型,将第二配置信息发送至比较器;待测逻辑设计,用于根据随机异常测试激励进行逻辑处理,并将逻辑处理的结果输出至比较器;参考模型,用于应用第一配置信息,并在应用第一配置信息之后,对待测逻辑设计根据随机异常测试激励进行逻辑处理得到的结果进行预测,得到预测结果,并将预测结果输出至比较器;比较器,用于应用第二配置信息,并在应用第二配置信息之后,比较逻辑处理的结果与预测结果,以检测待测逻辑设计的异常特性是否符合设计规格。本发明通过不同异常测试激励生成的配置信息对参考模型以及比较器的功能进行动态配置,使得验证平台可适应不同异常特性的验证,从而可支持异常特性的随机激励测试,无需针对不同异常特性单独开发定向测试用例,提高了异常特性的验证效率和质量。
附图说明
图1为本发明测试逻辑设计异常特性的验证平台的一实施例的连接关系示意图;
图2为本发明测试逻辑设计异常特性的验证平台另一实施例的连接关系示意图;
图3为本发明测试逻辑设计异常特性的验证平台再一实施例的连接关系示意图;
图4为本发明测试逻辑设计异常特性的验证平台的一实施例的流程示意图;
图5为本发明基于UVM验证方法学的异常特性验证流程的一流程示意图;
图6为本发明基于UVM验证方法学的异常特性验证流程另一流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种解决方案,通过不同异常测试激励生成的配置信息对参考模型以及比较器的功能进行动态配置,使得验证平台可适应不同异常特性的验证,从而可支持异常特性的随机激励测试,无需针对不同异常特性单独开发定向测试用例,提高了异常特性的验证效率和质量。
在一实施例中,如图1所示,测试逻辑设计异常特性的验证平台基于UVM(Universal Verification Methodology,通用验证方法学)来搭建,测试逻辑设计异常特性的验证平台主要包括异常激励生成器(sequence)、配置生成器、待测逻辑设计(DUT,Design Under Test)、参考模型(reference model)以及比较器(scoreboard)几个部分,对逻辑设计的异常特性是否符合设计规格进行测试。
UVM是一个以SystemVerilog类库为主体的验证平台开发框架,验证工程师利用其可重用组件可以构建具有标准化层次结构和接口的功能验证环境。IC(Integratedcircuit,集成电路)设计是从一份需求说明书开始的,这份需求说明书一般来自于产品经理,从需求说明书开始,IC工程师会把它们细化为特性列表(包括正常特性以及异常特性)。设计工程师根据特性列表,将其转化为设计规格说明书,在这份说明书中,设计工程师会详细阐述自己的设计方案(逻辑设计),描述清楚接口时序信号,使用多少RAM资源,如何进行异常处理等。验证工程师根据特性列表,写出验证规格说明书。在验证规格说明书中,将会说明如何搭建验证平台,如何保证验证完备性,如何测试每一条特性,如何测试异常的情况等,通过验证平台即可实现对逻辑设计的特性是否符合设计规格的验证。
在本实施例中,异常激励生成器,用于生成随机异常测试激励,并将生成的随机异常测试激励发送至待测逻辑设计,以供待测逻辑设计对随机异常测试激励进行逻辑处理以及向比较器输出逻辑处理的结果,例如,异常激励生成器随机生成的随机异常测试激励包括1和2,在待测逻辑设计为加法时,则待测逻辑设计向比较器输出的逻辑处理的结果为3,需要说明的是,该示例是用于说明被测逻辑设计的逻辑处理过程,被测逻辑设计的实际输入以及实际逻辑处理规则是非常复杂的。异常激励生成器也将生成的随机异常测试激励发送至参考模型,以供参考模型预测待测逻辑设计向比较器输出的逻辑处理的结果,并将预测结果输出至比较器。异常激励生成器,还用于获取随机异常测试激励对应的激励特征,以及将激励特征发送至配置生成器,例如,在随机异常测试激励包括1和0时,则可认为该随机异常测试激励是用于验证被测逻辑设计的除法逻辑处理,因为在除法中的除数会取值为0,从而触发被测逻辑设计的除法相关的异常特性,则将除法相关的激励特征作为随机异常测试激励的激励特征,并发送至配置生成器,又例如,在随机异常测试激励包括51以50时,则可认为该随机异常测试激励是用于验证被测逻辑设计的加法逻辑处理,因为在被测逻辑设计的加法事先设定了加法的取值不大于50,从而可触发被测逻辑设计的加法相关的异常特性,则将加法相关的激励特征作为随机异常测试激励的激励特征,并发送至配置生成器。
配置生成器,用于接收异常激励生成器发送的激励特征,获取激励特征对应的第一配置信息与第二配置信息,以及将第一配置信息发送至参考模型,将第二配置信息发送至比较器,以对参考模型以及比较器进行与随机异常测试激励对应的待测试异常特性相关的功能配置,以保证可以顺利地验证随机异常测试激励对应的待测试异常特性是否符合设计规格。具体地,配置生成器事先存储有将激励特征转换为配置信息的转换规则,实现激励特征至配置信息的转换,其中,第一配置信息通过与参考模型对应的转换规则进行转换,第二配置信息通过与比较器对应的转换规则进行转换。
待测逻辑设计,用于根据测试激励进行逻辑处理,并将逻辑处理的结果输出至比较器,在输入至待测逻辑设计中的测试激励为异常测试激励时,可触发待测逻辑设计的异常特性,根据待测逻辑设计逻辑处理的结果即可确定待测逻辑设计的异常特性是否符合设计规格。在本实施例中,输入至待测逻辑设计中的测试激励为随机异常测试激励,由于随机异常测试激励的随机性,在随机异常测试激励不同时,可以对应自动替换参考模型以及比较器的功能配置,从而使得验证平台完成了对特定逻辑设计异常特性验证需求的适配,实现对应的待测逻辑设计异常特性的验证。例如,在随机异常测试激励随机生成的数值的取值范围为[-100,100]时,随机异常测试激励可以取值为51,并对应配置参考模型以及比较器的功能,以验证被测逻辑设计的加法相关的异常特性,也可以取值为0,并对应配置参考模型以及比较器的功能,以验证被测逻辑设计的除法相关的异常特性,而在常规的异常特性验证中,则是针对被测逻辑设计的加法相关的异常特性,设置测试激励随机生成时的取值范围为[50,100],并建立对应的定向测试用例,该定向测试用例无法覆盖到测试激励取值为0的情况,即无法触发被测逻辑设计的除法相关的异常特性,所以需要针对被测逻辑设计的除法相关的异常特性,再建立单独的定向测试用例,因此,本实施例针对被测逻辑设计的异常特性,采用随机生成异常测试激励的方式,并根据随机生成的异常测试激励对应配置验证平台的功能,使得单个随机测试用例可以覆盖到更多的异常特性,提高了异常特性的验证效率。
参考模型,用于应用第一配置信息,并在应用第一配置信息之后,对待测逻辑设计根据随机异常测试激励进行逻辑处理得到的结果进行预测,得到预测结果,并将预测结果输出至比较器,其中,第一配置信息用于实现在待测逻辑设计触发随机异常测试激励对应的待测异常特性后,保证参考模型同样可以预测出待测逻辑设计根据随机异常测试激励进行逻辑处理得到的结果,即逻辑处理得到的期望结果。参考模型为对待测逻辑设计的功能行为的抽象化理想模型,一般为验证人员参考待测逻辑设计的功能来手动编写,用于完成与待测逻辑设计相同的功能,参考模型为虚拟的数据模型,无法像包含有待测逻辑设计的芯片一样来生产制造。
比较器,用于应用第二配置信息,并在应用第二配置信息之后,比较逻辑处理的结果与预测结果,以检测待测逻辑设计的逻辑处理结果是否达到预设的设计要求,即待测逻辑设计的异常特性是否符合设计规格。其中,第二配置信息用于实现比较器可以正确地比较待测逻辑设计输出的实际结果与参考模型的预测结果,正确检测出待测逻辑设计的待测异常特性是否符合设计规格。
可选地,参照图1,测试逻辑设计异常特性的验证平台还包括激励发送器(driver),激励发送器用于将异常激励生成器随机生成的随机异常测试激励发送至被测逻辑设计以及参考模型。
在本实施例公开的技术方案中,通过不同异常测试激励生成的配置信息对参考模型以及比较器的功能进行动态配置,使得验证平台可适应不同异常特性的验证,从而可支持异常特性的随机激励测试,无需针对不同异常特性单独开发定向测试用例,提高了异常特性的验证效率和质量。
在另一实施例中,参照图2,在上述图1所示的实施例基础上,测试逻辑设计异常特性的验证平台还包括异常事件触发监视器,异常事件触发监视器用于监测待测逻辑设计的待测异常特性是否被正确触发,在待测逻辑设计的待测异常特性被正确触发时,比较器开始对待测逻辑设计输出的实际结果与参考模型的预测结果进行比较。
待测逻辑设计,还用于在根据随机异常测试激励进行的逻辑处理触发了待测逻辑设计的异常特性时,将被触发的异常特性对应的中断上报信号发送至异常事件触发监视器,实现异常特性被触发的提示。
配置生成器,还用于获取与激励特征对应的第三配置信息,以及将第三配置信息发送至异常事件触发监视器;
异常事件触发监视器,用于应用接收到的第三配置信息,并在应用第三配置信息之后,检测中断上报信号对应的被触发异常特性与第三配置信息对应的待测试异常特性是否一致,即判断应该触发的异常特性是否被触发,并将检测结果发送至比较器,其中,第三配置信息用于表明待测逻辑设计的输入是否为异常激励,异常事件触发监视器是否需要等待待测逻辑设计发送中断上报信号;
比较器,还用于在应用第二配置信息之后,根据检测结果判断是否执行比较逻辑处理的结果与预测结果的步骤,例如,在检测结果为中断上报信号对应的被触发异常特性与第三配置信息对应的待测试异常特性一致,则表明待测异常特性被正确触发,因此比较待测逻辑设计输出的实际结果与参考模型的预测结果,以检测出待测逻辑设计的待测异常特性是否符合设计规格。
在本实施例中,通过异常事件触发监视器监测待测逻辑设计是否正确发送中断上报信号,以判断待测逻辑设计的待测异常特性是否被触发。
在另一实施例中,如图3所示,在图1至图2任一实施例所示的基础上,测试逻辑设计异常特性的验证平台还包括中断信息清除器,中断信息清除器用于清除待测逻辑设计发送的中断上报信号相关的寄存器中的值。
比较器,还用于在检测到待测逻辑设计的异常特性符合设计规格时,发送本轮测试完成的提示信息至中断信息清除器,以使得中断信息清除器清除相关的寄存器中的值,以防本轮测试中更新的中断寄存器的值影响到下一轮测试中的中断寄存器值的预期;
中断信息清除器,用于在接收到本轮测试完成的提示信息时,清除待测逻辑设计对应的寄存器中的值,其中,寄存器包括中断状态寄存器、中断计数器以及中断信息寄存器。可选地,中断状态寄存器中的值用于表明待测逻辑设计的待测异常特性是否被触发,在待测逻辑设计的待测异常特性被触发时,待测逻辑设计即处于中断状态,中断计数器中的值用于表明待测逻辑设计的待测异常特性被触发的累计次数,中断信息寄存器中的值用于表明本次待测逻辑设计处于中断状态的相关信息,相关信息包括被触发的异常特性的类型,其中,中断状态寄存器中的值可根据待测逻辑设计的待测异常特性被触发来自动更新,在本轮待测异常特性的验证结束后,中断信息清除器清除中断状态寄存器以及中断信息寄存器中的值,以使中断状态寄存器以及中断信息寄存器恢复至待测逻辑设计的待测异常特性未被触发的状态,避免影响到下一轮测试。
比较器,还用于在比较待测逻辑设计输出的实际结果与参考模型的预测结果时,也检测中断状态寄存器以及中断信息寄存器中的值是否正确,以验证待测逻辑设计的异常特性是否正常触发。
可选地,配置生成器发送至参考模型的第一配置信息可包括在参考模型对待测逻辑设计根据随机异常测试激励进行逻辑处理得到的结果进行预测时,参考模型采用的预测策略,预测策略包括灰盒预测策略、白盒预测策略以及黑盒预测策略中的至少一个。具体地,参考模型在采用灰盒预测策略时,参考模型会配置待测逻辑设计的部分内部特性、部分内部逻辑处理,并进行部分与待测逻辑设计相同的逻辑运算或条件判断,并在输出预测结果时,也将这些逻辑运算或条件判断作为预测结果的一部分输出,以使比较器可参考更多信息比较待测逻辑设计输出的实际结果与参考模型的预测结果,使得待测逻辑设计的异常特性的验证更加准确,是否采用灰盒预测策略,以及采用灰盒预测策略后,参考待测逻辑设计的哪些内部特性、哪些内部逻辑处理,均由第一配置信息决定。
可选地,第二配置信息包括比较器在比较逻辑处理的结果与预测结果时采用的比较策略,比较策略包括顺序比较策略、乱序比较策略以及丢包比较策略中的至少一个。其中,顺序比较策略指比较器将待测逻辑设计输出的实际结果与参考模型的预测结果按照接收顺序进行比较,而由于待测逻辑设计的部分异常特性可能导致待测逻辑设计输入的激励与输出的结果之间的顺序发生变化,因此需要用到乱序比较,乱序比较不关心待测逻辑设计输出的实际结果的顺序与参考模型的预测结果的顺序是否一致,只要结果所包含的多个内容均一致即可,例如,待测逻辑设计输出的实际结果的顺序为A、B、C,而参考模型的预测结果的顺序为B、A、C,按照乱序比较时则认为待测逻辑设计输出的实际结果与参考模型的预测结果一致。丢包比较则是在待测逻辑设计输出的实际结果与参考模型的预测结果大部分内容基本一致时,则认为待测逻辑设计输出的实际结果与参考模型的预测结果一致,例如,待测逻辑设计输出的实际结果为1、2、3、4、5,则参考模型的预测结果为1、3、4、5,按照丢包比较时则认为待测逻辑设计输出的实际结果与参考模型的预测结果一致。
可选地,异常激励生成器的配置为事先根据配置好的。具体地,预先设计好待测逻辑设计对应的随机测试用例,这样,异常激励生成器可获取待测逻辑设计对应的随机测试用例,并根据随机测试用例的约束范围和配置随机生成随机异常测试激励,实现对于待测逻辑设计的异常特性的随机验证测试,提高了异常特性的验证效率和质量。
在一示例性说明中,参照图5,图5为UVM验证平台的通用框架。
在图5中,异常激励生成器生成测试数据,分别送到被测逻辑设计和参考模型,参考模型用于对异常事件的处理行为进行模拟,并输出预期结果,比较器会判断实际输出和预期输出的值是否一致。如果一致,说明被测逻辑设计对异常的处理行为是正确的,否则,被测逻辑设计的处理是错误的。
参照图6,图6为芯片开发过程中,验证人员在通过UVM验证平台测试异常特性的通用流程:
S101,根据定向测试用例配置验证平台功能:
根据本测试用例要测试的异常特性,配置验证平台的功能,配置完成后,该平台支持的功能也就确定了。
S102,生成并发送异常测试激励:
生成可以触发异常事件的激励,将其发送给被测逻辑设计,触发异常事件的激励不一定是单个数据,可能是特定的数据流序列。
S103,被测逻辑设计输出处理结果:
被测逻辑设计处理,根据其逻辑行为,处理接收到的异常测试激励,处理完后,由输出端输出处理结果数据。
S104,检测异常处理结果是否正确;
在被测逻辑设计输出处理结果前,参考模型会输出预期的处理数据,预期结果和实际处理结果进行比对,以检查被测逻辑设计的输出是否正确。另外,异常会更新相应的中断寄存器,中断寄存器是否被正确更新,也会在这一步做检查。
S105,判断是否处理完所有的测试激励;
如果验证平台处理完所有的测试激励,仿真结束,否则,进行下一轮测试。
在上述测试流程中,验证平台功能配置完成后,生成并发送异常测试激励的类型也就固定了。测试激励与所要测试的逻辑设计的特性是一一对应的,那么,该用例测试的异常特性的类型也固定了。
异常特性的验证平台及测试流程,与一般的测试正常特性的验证平台的不同点在于,激励生成器在验证异常特性时,使用的是可生成异常测试激励的激励生成器。并且,在实际的芯片开发过程中,对于验证工作来讲,异常特性的验证是非常繁琐的,尤其是异常特性比较多的逻辑设计模块。究其原因,异常特性的测试对验证平台的功能要求非常苛刻,而且这些要求往往是互斥的,例如,待测逻辑设计的加法逻辑相关的异常特性需要的测试用例的取值范围与待测逻辑设计的触发逻辑相关的异常特性需要的测试用例的取值范围不同。通过上面的测试流程可以看出,在整个仿真流程中,验证平台的功能只配置一次,一旦配置完成后,验证平台所支持的异常测试的特性也就固定了,这导致运行测试用例时,虽然发送了成千上万个测试激励,结果只能覆盖到某一类或某几类的异常特性。也就是说,对于单次仿真来说,验证平台配置的局限性,导致了异常特性测试的局限性。
上面提到的局限性导致了对异常特性的测试用例,往往采用定向用例而不是随机用例。所谓定向用例,就是根据要测试异常特性的特点,定制开发的测试用例。而随机用例,就是添加了必要约束的、具有宽泛取值范围的测试数据流的测试用例。很明显随机用例的测试效率要大大高于定向用例。采用定向测试策略时,验证人员先针对具有相同验证平台配置的异常特性进行分类,针对各个分类,分别开发相应的定向测试激励。针对异常特性比较多的模块,验证人员为此开发的定向用例多达几十,甚至上百条。测试用例数的增加,导致验证人员调试验证环境工作量的增加,从而降低了验证工作的收敛速率。再者,定向用例的场景单一,发现的设计缺陷都是显而易见的,那么对发现设计中存在的隐藏比较深的设计缺陷的帮助是有限的。
因此,在本示例性说明中,在验证平台中加入了配置生成器等模块,同时,对验证平台的多个功能模块进行改进,使得验证平台可根据测试激励特性,动态的配置验证平台的功能,以适应不同的异常特性测试的需求。这些改进使得验证平台可支持异常特性的随机测试,将要测试的异常特性所需的测试激励和平台功能作归一化处理,解决了目前测试异常特性时,需要逐个开发异常特性测试定向用例,导致的用例开发数量庞大,测试场景单一的缺点,提高了异常特性测试的效率和质量。
在一示例性说明中,参照图1,为了支持异常特性随机测试的需求,本验证平台加入了新的功能模块,同时扩展了原有的功能模块的功能,具体如下:
(1)异常激励生成器:
异常激励生成器是用于专门产生随机异常测试激励的。异常激励生成器在生成测试激励的同时,还会生成相应的激励特征信息,所谓激励特征指的是,本次产生的激励的特征编码,以指导后续的配置生成器,产生配置信息。
(2)配置生成器:
配置生成器接收到激励特征后,将其转换为配置信息,配置信息将用于平台的功能配置,这样将测试激励和平台的功能配置耦合起来,使得验证平台的功能可根据测试激励的特点,进行动态配置。配置信息会发送到异常事件触发监视器、参考模型和比较器这几个模块。
(3)参考模型:
参考模型的功能是模拟被测试逻辑设计的逻辑处理行为,以预期被测逻辑设计的输出是否正确。本示例性说明的参考模型为了异常特性的预期需求,在基本功能的基础上加入了多种行为预期策略。主要加入了灰盒方式的预期策略,通用的参考模型都采用黑盒方式实现,即参考模型的预期与被测测试逻辑的行为是完全独立的。在预期异常特性的处理行为时,为了精确的预期被测逻辑设计的异常处理结果,参考模型抓取了部分被测逻辑设计的内部信息,进行逻辑运算或条件判断,这就是灰盒方式。是否采用灰盒方式,采用灰盒方式后,抓取哪些信号,由第一配置信息决定。
(4)异常事件触发监视器:
该模块根据第三配合信息,获取到本轮测试的异常特性的类型,监视被测逻辑设计中异常特性对应的中断上报信号,监视的中断上报信号拉高说明异常特性被触发,告知比较器检查被测逻辑的实际输出。如果是正常特性测试,则监视的中断上报信号不会拉高,如果拉高就会报错。该模块保证了所测试的异常特性被正确触发了。
(5)比较器:
比较器是比较实际输出和预期输出的结果是否一致,如果不一致就报错。本示例性说明的验证平台为了满足异常特性测试的比较策略,还对比较器增加了多种比较方式,包括了顺序比较、乱序比较和丢包比较。这些比较方式由第二配置信息决定。
(6)中断信息清除器:
所有的异常特性被触发时,都会更新中断相关的寄存器的值,这些寄存器包括有中断状态寄存器,中断计数器和中断信息寄存器等。这些寄存器的值的正确性在比较器中会做检查,为了不影响下一轮的测试,在本轮测试结束时,将这些寄存器的值予以清除。
在一示例性说明中,可随机测试异常特性的验证平台的工作流程如图4所示。在图4中,激励生成器生成随机的异常测试激励数据,并将本轮测试激励的激励特征发送给配置生成器,配置生成器生成3类配置信息,分别用于配置参考模型、异常事件触发监视器和比较器的功能。而激励发送器将测试激励发送给被测逻辑设计和参考模型,异常事件触发器监控到异常事件被触发后,通知比较器,比较器比较实际输出和预期输出的结果,完成数据比较后,中断信息清除器将中断相关的寄存器的值清除,进入下一轮测试。
在图4中,异常特性测试的测试流程因为要支持不同的异常测试特性的随机测试,加入了验证平台的功能模块动态配置,异常状态清除等流程。在本示例性说明中,验证平台可根据要测试的异常特性的特点进行实时配置,以支持不同异常特性的测试需求。
下面对图4中验证平台的工作流程进行详细说明:
S201:生成随机测试激励,这里主要是生成随机的异常测试激励和相应的激励特征。
S202:将激励特征送到配置生成器,生成三类配置信息。
S203:将对应的配置信息发送到参考模型、异常事件触发监视器和比较器,这些配置信息用于配置验证平台相关模块的功能。
S204:激励发送器将激励发送给被测逻辑设计和参考模型。
S205:异常事件触发监视器通过监视中断上报信号,检测异常事件是否发生。如果本轮测试激励触发了异常特性,中断上报信号肯定会置起。
S206:比较器接收到来自被测逻辑设计的实际输出和来自参考模型的预期输出,如果这两组数据不一致,则报告错误。
S207:清除本轮的中断寄存器的状态,以确保不影响下轮测试的结果。
S208:如果发送并处理完所有测试激励,结束仿真,否则继续生成随机异常测试激励。
在本示例性说明中,对UVM验证平台做了改进,使得UVM验证平台可根据异常测试激励,生成配置信息,动态配置UVM验证平台相关模块的功能,从而支持异常特性的随机测试。解决了目前在UVM验证平台下测试芯片异常特性时,需要开发大量定向用例和测试场景单一的问题,提高了异常特性的测试效率和质量,丰富了异常特性的测试场景。
此外,本发明实施例还提出一种测试逻辑设计异常特性的验证装置,所述测试逻辑设计异常特性的验证装置运行有如上各个实施例所述的测试逻辑设计异常特性的验证平台。
此外,本发明实施例还提出一种计算机存储介质,所述计算机存储介质上存储有如上各个实施例所述的测试逻辑设计异常特性的验证平台。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种测试逻辑设计异常特性的验证平台,其特征在于,所述测试逻辑设计异常特性的验证平台包括:
异常激励生成器,用于生成随机异常测试激励,获取所述随机异常测试激励的激励特征,并将所述激励特征发送至配置生成器,以及将所述随机异常测试激励分别发送至待测逻辑设计以及参考模型;
配置生成器,用于获取与所述激励特征对应的第一配置信息与第二配置信息,以及将所述第一配置信息发送至参考模型,将所述第二配置信息发送至比较器;
待测逻辑设计,用于根据所述随机异常测试激励进行逻辑处理,并将所述逻辑处理的结果输出至比较器;
参考模型,用于应用所述第一配置信息,并在应用所述第一配置信息之后,对所述待测逻辑设计根据所述随机异常测试激励进行逻辑处理得到的结果进行预测,得到预测结果,并将所述预测结果输出至所述比较器;
比较器,用于应用所述第二配置信息,并在应用所述第二配置信息之后,比较所述逻辑处理的结果与所述预测结果,以检测所述待测逻辑设计的异常特性是否符合设计规格。
2.如权利要求1所述的测试逻辑设计异常特性的验证平台,其特征在于,所述测试逻辑设计异常特性的验证平台还包括异常事件触发监视器;
配置生成器,还用于获取与所述激励特征对应的第三配置信息,以及将所述第三配置信息发送至所述异常事件触发监视器;
待测逻辑设计,还用于在根据所述随机异常测试激励进行的逻辑处理触发了所述待测逻辑设计的异常特性时,将被触发的异常特性对应的中断上报信号发送至所述异常事件触发监视器;
异常事件触发监视器,用于应用所述第三配置信息,并在应用所述第三配置信息之后,检测所述中断上报信号对应的被触发异常特性与所述第三配置信息对应的待测试异常特性是否一致,并将检测结果发送至所述比较器;
比较器,还用于在应用所述第二配置信息之后,根据所述检测结果判断是否执行所述比较所述逻辑处理的结果与所述预测结果的步骤。
3.如权利要求2所述的测试逻辑设计异常特性的验证平台,其特征在于,所述测试逻辑设计异常特性的验证平台还包括中断信息清除器:
所述比较器,还用于在检测到所述待测逻辑设计的异常特性符合设计规格时,发送测试完成的提示信息至所述中断信息清除器;
中断信息清除器,用于在接收到测试完成的提示信息时,清除所述待测逻辑设计对应的寄存器中的值,其中,所述寄存器包括中断状态寄存器、中断计数器以及中断信息寄存器。
4.如权利要求1所述的测试逻辑设计异常特性的验证平台,其特征在于,所述第一配置信息包括所述参考模型在对所述待测逻辑设计根据所述随机异常测试激励进行逻辑处理得到的结果进行预测时采用的预测策略,所述预测策略包括灰盒预测策略、白盒预测策略以及黑盒预测策略中的至少一个。
5.如权利要求1所述的测试逻辑设计异常特性的验证平台,其特征在于,所述第二配置信息包括所述比较器在比较所述逻辑处理的结果与所述预测结果时采用的比较策略,所述比较策略包括顺序比较策略、乱序比较策略以及丢包比较策略中的至少一个。
6.如权利要求1所述的测试逻辑设计异常特性的验证平台,其特征在于,
异常激励生成器,用于根据测试用例的约束和配置生成所述随机异常测试激励。
7.一种测试逻辑设计异常特性的验证装置,其特征在于,所述测试逻辑设计异常特性的验证装置运行有如权利要求1至6中任一项所述的测试逻辑设计异常特性的验证平台。
8.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有如权利要求1至6中任一项所述的测试逻辑设计异常特性的验证平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694728.9A CN113312226B (zh) | 2021-06-22 | 2021-06-22 | 测试逻辑设计异常特性的验证平台、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694728.9A CN113312226B (zh) | 2021-06-22 | 2021-06-22 | 测试逻辑设计异常特性的验证平台、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113312226A CN113312226A (zh) | 2021-08-27 |
CN113312226B true CN113312226B (zh) | 2022-07-01 |
Family
ID=77379780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110694728.9A Active CN113312226B (zh) | 2021-06-22 | 2021-06-22 | 测试逻辑设计异常特性的验证平台、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113312226B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626343B (zh) * | 2021-10-12 | 2022-04-22 | 中科南京智能技术研究院 | 一种基于UVM的Router可重用验证平台 |
CN113779912B (zh) * | 2021-11-12 | 2022-02-11 | 上海燧原科技有限公司 | 一种芯片验证系统、方法、装置、电子设备及存储介质 |
CN116595933B (zh) * | 2023-07-17 | 2024-07-05 | 芯天下技术股份有限公司 | 电压配置的随机化验证方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1641595A (zh) * | 2004-01-05 | 2005-07-20 | 华为技术有限公司 | 一种自适应滤波逻辑验证系统及方法 |
CN104133168A (zh) * | 2013-04-30 | 2014-11-05 | 鸿富锦精密工业(深圳)有限公司 | 主板测试系统及方法 |
CN109992462A (zh) * | 2017-12-29 | 2019-07-09 | 北京中科寒武纪科技有限公司 | 验证激励生成方法、装置、芯片验证方法及系统 |
-
2021
- 2021-06-22 CN CN202110694728.9A patent/CN113312226B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1641595A (zh) * | 2004-01-05 | 2005-07-20 | 华为技术有限公司 | 一种自适应滤波逻辑验证系统及方法 |
CN104133168A (zh) * | 2013-04-30 | 2014-11-05 | 鸿富锦精密工业(深圳)有限公司 | 主板测试系统及方法 |
CN109992462A (zh) * | 2017-12-29 | 2019-07-09 | 北京中科寒武纪科技有限公司 | 验证激励生成方法、装置、芯片验证方法及系统 |
Non-Patent Citations (1)
Title |
---|
一种通用的仿真平台的设计;敖情波等;《中国集成电路》;20091105(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113312226A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113312226B (zh) | 测试逻辑设计异常特性的验证平台、装置及存储介质 | |
CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
US8612171B2 (en) | Method of automatically formulating test cases for verifying at least part of a piece of software | |
KR101459867B1 (ko) | 시스템 테스트 장치 | |
US8495425B2 (en) | System and method to efficiently identify bad components in a multi-node system utilizing multiple node topologies | |
KR101459869B1 (ko) | 예외처리 테스트 장치 및 방법 | |
US20050066234A1 (en) | Method and system for identifying errors in computer software | |
US11122070B2 (en) | Monitoring device monitoring network | |
CN111897724A (zh) | 一种适用于云平台的自动化测试方法及装置 | |
CN110674047B (zh) | 软件测试方法、装置及电子设备 | |
CN108241580B (zh) | 客户端程序的测试方法及终端 | |
CN110275818B (zh) | 硅后验证方法、装置及存储介质 | |
CN113572726B (zh) | 一种多模态网络控制-数据平面一致性校验方法及装置 | |
WO2014085793A1 (en) | Advanced and automatic analysis of recurrent test failures | |
CN110990289B (zh) | 一种自动提交bug的方法、装置、电子设备及存储介质 | |
US6615379B1 (en) | Method and apparatus for testing a logic device | |
CN113282496B (zh) | 接口自动测试方法、装置、设备及存储介质 | |
CN113157587A (zh) | 基于区块链的产品测试方法及装置 | |
US20070124456A1 (en) | Methods and apparatus for passive mid-stream monitoring of real-time properties | |
CN107562617B (zh) | 一种基于nc系统中的模块验证系统 | |
US12124359B2 (en) | Systems and methods for device testing to avoid resource conflicts for a large number of test scenarios | |
JPH07121576A (ja) | 故障シミュレーション装置 | |
US20220253375A1 (en) | Systems and methods for device testing to avoid resource conflicts for a large number of test scenarios | |
CN117389887A (zh) | 一种软件调整方法、装置、电子设备及可读存储介质 | |
CN115604007A (zh) | 一种测试报文处理方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |