CN113360402B - 一种测试方法、电子设备、芯片和存储介质 - Google Patents

Abstract

本申请提供了一种测试方法、装置、电子设备和存储介质，方法包括：检测到用于测试第一IP模块的第一操作，响应于所述第一操作，从测试文件获取一个或多个参数的属性信息，所述一个或多个参数用于对所述第一IP模块进行测试；基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数；基于所述第一目标参数，对所述第一IP模块进行测试；统计所述一个或多个第一目标参数的第一覆盖率，基于所述第一覆盖率大于预设阈值，完成对所述第一IP模块的测试。

Description

一种测试方法、电子设备、芯片和存储介质

技术领域

本申请涉及测试技术领域，尤其涉及一种测试方法、电子设备、芯片和存储介质。

背景技术

在IP(Intellectual Properties)模块开发后，需要对IP模块的功能进行测试和验证。在测试过程中，需要使用大量的测试参数示例(case)来验证IP模块的功能，这些参数一般都是设计好的固定参数，在某种角度，参数示例也可以理解为测试用例。验证的完整性和准确性取决于参数示例的设计，IP模块测试对设计人员要求较高，很难全面的验证IP模块的功能，因此需要进行随机case的测试来更全面覆盖case的功能测试。

发明内容

第一方面，本申请提供了一种测试方法，方法包括：

检测到用于测试第一IP模块的第一操作，响应于第一操作，从测试文件获取一个或多个参数的属性信息，一个或多个参数用于对第一IP模块进行测试；

基于一个或多个参数的属性信息，随机出一个或多个第一目标参数；

基于第一目标参数，对第一IP模块进行测试；可以理解该目标参数，为具体的参数值或文本等。

统计一个或多个第一目标参数的第一覆盖率，基于第一覆盖率大于预设阈值，完成对第一IP模块的测试。可以理解，该覆盖率为已经随机出的参数的覆盖率。

在本申请的一个实施例中，属性信息包括一个或多个参数的预设数值范围、预设数据类型、预设文本类型以及参数间的预设关系中的一个或多个。

在本申请的一个实施例中，基于一个或多个参数的属性信息，随机出一个或多个第一目标参数，包括：

基于一个或多个参数的预设数值范围和预设数据类型，随机出第一参数。

在本申请的一个实施例中，基于一个或多个参数的属性信息，随机出一个或多个第一目标参数，还包括：

基于第一参数与预设关系，随机出第二参数。

在本申请的一个实施例中，基于一个或多个参数的属性信息，随机出一个或多个第一目标参数，包括：

基于预设文本类型中的第一类型，获取第一类型对应的一个或多个预设代码；

基于预设代码，随机生成第一类型的文本，

在本申请的一个实施例中，方法还包括：

基于第一覆盖率小于或等于预设阈值，以及基于一个或多个参数的属性信息，随机出一个或多个第二目标参数；

基于第二目标参数，对第一IP模块进行测试；

统计一个或多个第一目标参数和一个或多个第二目标参数的第二覆盖率，基于第二覆盖率大于预设阈值，完成对第一IP模块的测试。可以理解，该覆盖率为已经随机出的参数的覆盖率，第一目标参数和第二目标参数已经为随机出的参数，可以用他们计算覆盖率。

第二方面，本申请提供了一种测试装置，

检测模块，用于检测到用于测试第一IP模块的第一操作，响应于第一操作，从测试文件获取一个或多个参数的属性信息，一个或多个参数用于对第一IP模块进行测试；

随机模块，用于基于一个或多个参数的属性信息，随机出一个或多个第一目标参数；

测试模块，用于基于第一目标参数，对第一IP模块进行测试；

统计模块，用于统计一个或多个第一目标参数的第一覆盖率，基于第一覆盖率大于预设阈值，完成对第一IP模块的测试。

在本申请的一个实施例中，属性信息包括一个或多个参数的预设数值范围、预设数据类型、预设文本类型以及参数间的预设关系中的一个或多个。

在本申请的一个实施例中，随机模块用于基于一个或多个参数的预设数值范围和预设数据类型，随机出第一参数。

在本申请的一个实施例中，随机模块还用于基于第一参数与预设关系，随机出第二参数。

在本申请的一个实施例中，随机模块用于基于预设文本类型中的第一类型，获取第一类型对应的一个或多个预设代码；

基于预设代码，随机生成第一类型的文本，

第三方面，本申请提供了一种电子设备，电子设备还包括处理器和存储设备，存储设备存有程序指令，程序指令由处理器运行时，使得电子设备执行第一方面所示的测试方法。

第四方面，本申请提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在计算机设备上运行时，使得计算机设备执行如第一方面所示的测试方法。

基于本申请所示方法，可以更好地提高参数的覆盖率，更全面的对IP模块进行验证，能及时有效验证IP设计中存在的问题。进一步地，还可以随机出复杂的参数，如有约束关系的参数或文本类型的参数，更好地对IP模块进行测试或验证。

附图说明

图1为本申请实施例提供的电子设备100的结构示意图；

图2为本申请一个实施例提供的测试方法的流程图；

图3为本申请一个实施例提供的测试方法的流程图；

图4为本申请一个实施例提供的电子设备100的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

IP模块的测试和验证一般包括设计功能描述、硬件实现框图、待验证功能点梳理、验证环境搭建、准备测试用例、编译脚本和递归测试、覆盖率分析。

一份递归测试表就是将设计所有功能点的测试用例合并为一个测试集，在ip开发过程，通过这种往复测试完成对设计的功能点验证。但是这种测试无法对ip模块的参数进行全面回归测试，因此需要考虑ip模块参数的随机测试。

一般随机测试方法是通过脚本或者代码随机产生大量不同的参数case，组成一个随机测试集，然后对该随机测试集进行集中回归测试。这种测试的覆盖率统计和随机测试的参数case是独立进行的。如果参数覆盖率达不到要求还需要重新产生随机测试集，测试相对复杂。

现有的随机case一般是给定某一数值范围，在此范围内进行随机出一个具体的值，然后使用该具体的值对IP模块进行测试。但是在一些特殊的IP模块的随机测试中，如多媒体IP模块，模块参数种类复杂，各个参数之间有一定耦合关系，或者，某些参数case是以文本形式存在，传统的随机测试很难完成更高覆盖率的测试。另外现有的随机测试中case产生和覆盖率统计分开独立进行，当覆盖率达不到时还需要重新产生参数case，增加了随机测试的时间，测试更繁琐。

基于此，本申请提出了一种测试方法，该测试方法可以用于对IP模块的参数验证，例如对ISP图像处理芯片的验证。该方法可以在电子设备100中执行，电子设备100中可包括接收模块102，接收模块102用于接收用户向测试文件输入的一个或多个参数的属性信息，示例性地，包括第一参数的属性信息和第二参数的属性信息。测试文件中的一个或多个参数的属性信息可以由测试人员预设。

在一个实施例中，属性信息可包括每个参数的预设数值范围、预设数据类型、预设文本类型中的一个或多个，预设数据类型可以包括INT(整型)类型、float(浮点)类型等，预设文本类型可以包括Excel文档、word文档等。属性信息还可以包括两个或更多个参数之间的预设关系，例如，当IP测试模块需要第一参数和第二参数测试时，在对IP模块测试过程中，第一参数的数值必须大于第二参数的数值。测试文件本身的文件类型本申请不进行限制，示例性地，测试文件可以为Excel表格等。

在一个示例中，电子设备100包括随机模块104。随机模块104根据待测IP模块需要的参数和测试文件中该参数的属性信息，随机出一个或多个具体参数，例如，IP模块测试时，需要使用两个参数，如第一参数和第二参数，随机模块104可以根据第一参数的属性信息，从测试文件随机出一个具体的第一参数，根据第一参数的属性信息随机出一个具体的第二参数。

在本申请的一个实施例中，对IP模块测试的参数可以不是某一个具体的值，可以是一个文本，例如excel数据表格，示例性地，isp的gamma模块的参数是一个或多个曲线表，通常以文本形式存放，随机模块104可随机产生不同的曲线表(文本形式)来验证isp芯片gamma模块的功能。在一个具体地示例中，测试文件的参数属性信息中可以记载哪些参数是文本类型。对于文本类型的参数，测试文件可支持预设代码写入，该预设代码可以为python代码。测试人员可以将一个或多个文本的预设代码写入测试文件中。随机模块104在读取测试文件中时发现该参数为文本形式时，会读取并执行该该参数对应的预设代码来产生的文本，该文本中包括具体的参数，参数的文本取决于提前写入测试文件的预设代码，这种方式使文本类型的参数的更容易随机生成，也更易于修改。

在一个示例中，IP模块需要多个参数进行测试时，两个或更多个参数之间存在预设关系，比如测试文件中有第一参数A、第一参数B的属性信息，第一参数A和第二参数B都用于测试同一IP模块。测试文件中写入第一参数A的范围是[-100,100],第一参数B的范围也是[-100,100],但是第一参数B还有关于第一参数A的预设关系为B<A，因此可以将该预设关系的不等式“B<A”写入测试文件中。电子设备读取测试文件后，根据第一参数A的属性信息先产生参数A的随机值，后根据第二参数B的属性信息产生第二参数B的随机值。电子设备100判断随机产生的第二参数B值是否满足读取测试文件中的预设关系“B<A”，若满足，则继续产生其他参数随机值。若不满足，则在原先给定的随机范围重新产生，直到满足该限制依赖关系。在一个示例中，电子设备在随机第二参数A后，可以直接基于第一参数A、第一参数A和第二参数B间的预设关系，随机第二参数B。

在一个实施例中，测试文件中某些参数的数值范围通常很大，在随机测试中把所有参数的所有范围值都遍历一遍是不现实的。因此，为了在数量上确保随机参数的覆盖率，测试文件中的一些参数可设定区间，示例性地，可按照预设区间值stage_size划分随机参数的区间，在不同区间端点一定范围对随机模块104随机出的参数值进行打点标记，以表明随机出的参数的落在了该区间，若多次产生的随机值落在了划定的所以区间中，可以认为在一定数量下该参数有了很高的覆盖率，例如第一参数A范围是[-1000,1000]表格中设定stage_size为10，那么会分成100个区间，假定随机了100次，每次的值都分别落在了该100个区间内，我们就可以认为基于stage_size在一定数量下该参数A的覆盖率达到了100％。进一步地，在一个示例中，预设区间值stage_size值写入测试文件，计算机上的电子设备100读取测试文件时读入该stage_size的值。

对于枚举类型，在设置好的随机范围内支持遍历统计，范围内的值每被随机到一次，则覆盖率相应增加一次，确保每个枚举值都能随机到。对于一个IP的模块有多个参数，每个参数在通过一定数量来多次随机时都会统计各自的覆盖率，每个参数根据不同类型去分别统计覆盖率。通常设定的case数量越大，随机出来的case的参数值越多，覆盖率越大。

在一个实施例中，当电子设备100从测试文件随机出参数后，可以对IP模块进行测试，然后分别统计每个参数的覆盖率，如果覆盖率小于预设值，如100％，则继续进行随机测试。在另一个实施例中，当电子设备从测试文件随机出参数后，立刻通过usb或者仿真接口之间传给另一个电子设备(如ip验证平台)进行测试，测试结束后测试文件中该参数对应的参数覆盖率，当测试到所有参数覆盖率都达到100％则结束随机测试，也可以选择继续随机，直到达到测试文件中设定的数量，此时覆盖率不会增加还是100％，这两种方法可以在电子设备100中进行选择。每个模块case的覆盖率情况在测试结束后会写入到测试文件或其他文件中存档。

通过本申请所示测试方法，可以避免手动设计参数覆盖不全的局限性，提高参数的覆盖率，更全面的对IP模块进行验证，能及时有效验证IP设计中存在的问题。进一步地，还可以随机出复杂的参数，如有约束关系的参数或文本类型的参数，更好地对IP模块进行测试或验证。

参见图2，为本申请一个实施例提供的测试方法的流程图，该方法可以用于上述电子设备100，该方法具体包括：

步骤202，电子设备100接收用户向测试文件中输入一个或多个参数的属性信息。

该一个或多个测试参数可用于对一个或多个IP模块进行测试，例如对ISP图像处理芯片的一个或多个功能点进行测试。

该属性信息可以包括每个参数的预设数值范围、预设数据类型、预设文本类型以及参数间的预设关系中的一个或多个，预设数据类型可以包括INT(整型)类型、float(浮点)类型等，预设文本类型可以包括Excel文档、word文档等。

在一个示例中，该参数可以包括第一参数，第一参数用于对第一IP模块进行测试。

在一个示例中，该参数可以包括第一参数和第二参数，第一参数和第二参数用于对第一IP模块进行测试。进一步地，属性信息中可以包括第一参数和第二参数之间的预设关系，例如在对第一IP模块测试过程中，第一参数必须大于第二参数。

在一个示例中，测试文件还包括文本参数，该文本参数可用于对第一IP模块进行测试。示例性地，当第一IP模块为ISP的gamma模块时，文本参数可以为一个伽马曲线表格。进一步地，该文本参数可以预设代码的形式写入到测试文件，该预设代码可以为python代码。

在本申请的一个实施例中，测试文件中的参数的属性信息，可以不基于用户输入，而是根据预设算法自动生成。

步骤204，电子设备100检测到对第一IP模块进行测试的第一操作，从测试文件中获取一个或多个参数的属性信息

具体地，该第一操作可以为用户的预设操作，如点击电子设备显示屏的操作，电子设备检测到第一操作后，从测试文件读取一个或多个参数的属性信息。

步骤206，电子设备100基于所述属性信息，随机出一个或多个参数，使用随机出的一个或多个参数进行测试

在一个实施例中，第一IP模块基于第一参数进行测试。进一步地。电子设备可以基于测试文件中第一参数的预设数据类型，如int类型，并根据第一参数的预设数值范围，随机出一个参数，如整型数值，并使用该整型数值对第一IP模块进行测试。进一步地，在一个示例中，如果在测试文件中，该第一参数的预设数值范围非常大，可以根据预设区间值stage_size，对第一参数的预设数值范围分区为区间。电子设备可以根据分区，从预设数值范围中的一个分区中随机出第一参数。

在一个实施例中，第一IP模块基于第一参数和第二参数进行测试。进一步地。电子设备可以基于测试文件第一参数的预设数据类型，如int类型，并根据第一参数的预设数值范围中，随机出一个第一参数，如一个整型数值。进一步地。电子设备可以基于测试文件第二参数的预设数据类型，如float类型，并根据第二参数的预设数值范围，随机出一个第二参数，如一个浮点数值。

进一步地，如果测试文件中包括第一参数和第二参数的预设关系，电子设备可以先随机出第一参数，然后基于该预设关系随机第二参数，或者电子设备可以先随机出第二参数，然后基于该预设关系随机第一参数。如果先随机的第一参数，使得后随机的第二参数无法满足预设关系，可以重新随机。

在一个实施例中，第一IP模块可以基于第三文本进行测试。电子设备可以基于第三文本对应的预设代码，随机生成第三文本，并使用第三文本中的信息对第一ip模块进行测试。可以理解，第三文本在测试文件中对应多个预设代码，每个预设代码用于生成包含特定的第三文本。

步骤208，电子设备100统计一个或多个参数的覆盖率。

具体地，每进行一次测试，即可统计该参数的覆盖率。

示例性地，参数覆盖率可以为随机出的参数占整个参数预设数值范围的比例。当预设数值范围分区间时，参数覆盖率可以为每个已随机出的参数的区间，占所有区间的比例。

示例性地，当参数为文本时，参数覆盖率可以为随机出的文本占测试文件中总文本数量比例。

步骤210，电子设备100判断参数的覆盖率是否达到预设阈值。

具体地，带电子设备100可以判断用于测试第一ip模块的所有参数的覆盖率是否达到预设阈值。如果未达到，则重新进入步骤206，进行随机测试。

如果达到预设阈值，则重新进入步骤210，即输出参数覆盖率的报告。

参见图3，为本申请一个实施例提供的测试方法的流程图。

步骤302，检测到用于测试第一IP模块的第一操作，响应于所述第一操作，从测试文件获取一个或多个参数的属性信息，所述一个或多个参数用于对所述第一IP模块进行测试；

步骤304，基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数；

步骤306，基于所述第一目标参数，对所述第一IP模块进行测试；

步骤308，统计所述一个或多个第一目标参数的第一覆盖率，基于所述第一覆盖率大于预设阈值，完成对所述第一IP模块的测试。

参见图4，具体涉及本申请一个实施例提供的电子设备100的结构示意图

本发明提出测试方法可应用于电子设备100上，电子设备100包括，但不仅限于，处理器11、存储器12。本领域技术人员可以理解，图4仅仅是电子设备的示例，并不构成对电子设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备100还可以包括输入输出设备、网络接入设备、总线等。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器12可以是电子设备100的内部存储单元，例如电子设备100的硬盘或内存。存储器12也可以是电子设备100的外部存储设备，例如电子设备100上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器12还可以既包括电子设备100的内部存储单元也包括外部存储设备。存储器12用于存储计算机程序以及电子设备100所需的其他程序和数据。存储器12还可以用于暂时地存储已经输出或者将要输出的数据。

在一个实施例中，电子设备还可包括显示屏，用于显示图像，视频等，还可以用来接受用户输入的数据。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏，N为大于1的正整数。

Claims (11)

1.一种测试方法，其特征在于，所述方法包括：

检测到用于测试第一IP模块的第一操作，响应于所述第一操作，从测试文件获取一个或多个参数的属性信息，所述一个或多个参数用于对所述第一IP模块进行测试；所述属性信息包括一个或多个参数的预设数值范围、预设数据类型、预设文本类型以及参数间的预设关系中的一个或多个；

基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数；

基于所述第一目标参数，对所述第一IP模块进行测试；

统计所述一个或多个第一目标参数的第一覆盖率，基于所述第一覆盖率大于预设阈值，完成对所述第一IP模块的测试。

2.根据权利要求1所述的测试方法，其特征在于，所述基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数，包括：

基于所述一个或多个参数的预设数值范围和预设数据类型，随机出第一参数。

3.根据权利要求2所述的测试方法，其特征在于，所述基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数，还包括：

基于所述第一参数与所述预设关系，随机出第二参数。

4.根据权利要求1所述的测试方法，其特征在于，所述基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数，包括：

基于所述预设文本类型中的第一类型，获取所述第一类型对应的一个或多个预设代码；

基于所述预设代码，随机生成第一类型的文本。

5.根据权利要求1所述的测试方法，其特征在于，所述方法还包括：

基于所述第一覆盖率小于或等于所述预设阈值，以及基于所述一个或多个参数的属性信息，随机出一个或多个第二目标参数；

基于所述第二目标参数，对所述第一IP模块进行测试；

统计所述一个或多个第一目标参数和所述一个或多个第二目标参数的第二覆盖率，基于所述第二覆盖率大于预设阈值，完成对所述第一IP模块的测试。

6.一种测试装置，其特征在于，

检测模块，用于检测到用于测试第一IP模块的第一操作，响应于所述第一操作，从测试文件获取一个或多个参数的属性信息，所述一个或多个参数用于对所述第一IP模块进行测试；所述属性信息包括一个或多个参数的预设数值范围、预设数据类型、预设文本类型以及参数间的预设关系中的一个或多个；

随机模块，用于基于所述一个或多个参数的属性信息，随机出一个或多个第一目标参数；

测试模块，用于基于所述第一目标参数，对所述第一IP模块进行测试；

统计模块，用于统计所述一个或多个第一目标参数的第一覆盖率，基于所述第一覆盖率大于预设阈值，完成对所述第一IP模块的测试。

7.根据权利要求6所述的测试装置，其特征在于，所述随机模块用于基于所述一个或多个参数的预设数值范围和预设数据类型，随机出第一参数。

8.根据权利要求7所述的测试装置，所述随机模块还用于基于所述第一参数与所述预设关系，随机出第二参数。

9.根据权利要求6所述的测试装置，其特征在于，随机模块用于基于所述预设文本类型中的第一类型，获取所述第一类型对应的一个或多个预设代码；

基于所述预设代码，随机生成第一类型的文本。

10.一种电子设备，其特征在于，所述电子设备还包括处理器和存储设备，所述存储设备存有程序指令，所述程序指令由所述处理器运行时，使得所述电子设备执行权利要求1-5任一项所述的测试方法。

11.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-5任一项所述的测试方法。