CN115934503A

CN115934503A - 程序测试方法、装置、设备及存储介质

Info

Publication number: CN115934503A
Application number: CN202211168106.3A
Authority: CN
Inventors: 杨碧; 蔡权雄; 牛昕宇
Original assignee: Shenzhen Corerain Technologies Co Ltd
Current assignee: Shenzhen Corerain Technologies Co Ltd
Priority date: 2022-09-23
Filing date: 2022-09-23
Publication date: 2023-04-07

Abstract

本申请涉及一种程序测试方法、装置、设备及存储介质。所述方法包括：获取待测试程序，及获取测试待测试程序所需的输入数据及配置信息，将待测试程序的输入数据及配置信息转换成激励信号，将激励信号输入硬件仿真平台对应的芯片后启动仿真测试，并获取软件平台对待测试程序执行测试的测试结果，将硬件仿真平台的测试结果和软件平台的测试结果进行的对比结果后反馈至预设终端。本申请使得测试人员可以根据对比结果分析出待测试程序出现BUG的代码，并及时发现待测试程序中潜在的BUG，从而定位出待测试程序中具体是哪段代码存在问题，提高测试和调试的效率。

Description

程序测试方法、装置、设备及存储介质

技术领域

本申请涉及测试技术领域，尤其涉及一种程序测试方法、装置、设备及存储介质。

背景技术

在芯片开发过程中，测试软件正确性是必不可少的一个环节，当软件程序开发完成后，需要在FPGA或硬件加速器上测试软件程序的正确性，当软件程序有问题时，可能会导致芯片卡住或者结果错误。若测试人员仅利用软件平台排除错误，通常无法定位出软件程序卡住或者结果错误的地方，且不能发现软件程序中潜在的BUG，从而难以定位出软件程序中具体是哪段代码存在问题，导致软件程序的测试效率低。

发明内容

鉴于以上内容，本申请提供一种程序测试方法、装置、设备及存储介质，其目的在于解决上述技术问题。

第一方面，本申请提供一种程序测试方法，该方法包括：

获取待测试程序，及获取测试所述待测试程序所需的输入数据及配置信息；

将所述输入数据及所述配置信息转换成激励信号；

将所述激励信号输入硬件仿真平台对应的芯片后启动仿真测试，得到第一测试结果；

获取预设软件平台对所述待测试程序执行测试的第二测试结果；

将所述第一测试结果与所述第二测试结果进行对比得到对比结果，反馈所述对比结果至预设终端。

优选的，所述待测试程序为所述预设软件平台对至少一个软件程序的测试用例集执行测试时，存在执行失败的测试用例对应的软件程序。

优选的，所述将所述输入数据及所述配置信息转换成激励信号，包括：

通过预先配置的脚本将所述输入数据及所述配置信息转换成激励信号，其中，所述输入数据包括数据的存储地址及数据长度，所述输入数据存储于二进制文件中，所述配置信息包括配置数据的操作类型、配置数据的地址及配置数据的数据内容。

优选的，在得到第一测试结果之后，所述方法还包括：

将所述第一测试结果存储至第一数组。

优选的，在获取预设软件平台对所述待测试程序执行测试的第二测试结果之后，所述方法还包括：

将所述第二测试结果存储至第二数组。

优选的，所述将所述第一测试结果与所述第二测试结果进行对比得到对比结果，包括：

将所述第一数组与所述第二数组中相同索引对应的元素进行对比；

若所述第一数组与所述第二数组中每个相同索引对应的元素均相同，生成第一对比结果；

若所述第一数组与所述第二数组中任意一个相同索引的元素不同，生成第二对比结果。

优选的，在生成第二对比结果之前，所述方法还包括：

将所述第一数组与所述第二数组中相同索引对应不同元素的索引进行标记。

第二方面，本申请提供一种程序测试装置，该程序测试装置包括：

获取模块：用于获取待测试程序，及获取测试所述待测试程序所需的输入数据及配置信息；

转换模块：用于将所述输入数据及所述配置信息转换成激励信号；

第一测试模块：用于将所述激励信号输入硬件仿真平台对应的芯片后启动仿真测试，得到第一测试结果；

第二测试模块：用于获取预设软件平台对所述待测试程序执行测试的第二测试结果；

对比模块：用于将所述第一测试结果与所述第二测试结果进行对比得到对比结果，反馈所述对比结果至预设终端。

第三方面，本申请提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的程序测试方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的程序测试方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请通过将待测试程序的输入数据及配置信息转换成激励信号，将激励信号输入硬件仿真平台对应的芯片后启动仿真测试，不需要额外的硬件设备即可复现待测试程序运行时的硬件行为，同时获取软件平台对待测试程序执行测试的测试结果，该测试结果包含待测试程序运行时的软件行为，将硬件仿真平台的测试结果和软件平台的测试结果进行的对比结果后反馈至预设终端，由于对比结果中包含了待测试程序运行时的硬件行为和软件行为，终端的测试人员可以根据软硬件平台协同测试的对比结果分析出待测试程序出现BUG的代码，并及时发现待测试程序中潜在的BUG，从而定位出待测试程序中具体是哪段代码存在问题，提高测试和调试的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请程序测试方法较佳实施例的流程图示意图；

图2为本申请程序测试装置较佳实施例的模块示意图；

图3为本申请电子设备较佳实施例的示意图；

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本申请提供一种程序测试方法。参照图1所示，为本申请程序测试方法的实施例的方法流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。程序测试方法包括：

步骤S10：获取待测试程序，及获取测试所述待测试程序所需的输入数据及配置信息；

步骤S20：将所述输入数据及所述配置信息转换成激励信号；

步骤S30：将所述激励信号输入硬件仿真平台对应的芯片后启动仿真测试，得到第一测试结果；

步骤S40：获取预设软件平台对所述待测试程序执行测试的第二测试结果；

步骤S50：将所述第一测试结果与所述第二测试结果进行对比得到对比结果，反馈所述对比结果至预设终端。

本实施例中，电子设备中安装有硬件仿真平台和预设软件平台，硬件仿真平台可以对待测试程序执行仿真测试，预设软件平台可以测试待测试程序代码的正确性，待测试程序可以是指芯片开发过程中，需要测试的运行于芯片的软件程序，该软件程序可以是软件产品中某个功能模块的软件代码，也可以是完整的软件产品的软件代码。进一步地，待测试程序为预设软件平台对至少一个软件程序的测试用例集执行测试时，存在执行失败的测试用例对应的软件程序，即软件程序测试或调试失败后，可获取调试失败的待测试程序，还需要获取测试该待测试程序所需的输入数据及配置信息。

例如，若存在A、B、C三个软件程序，每个软件程序具有对应的测试用例集，若软件平台对软件程序A的测试用例集执行测试时，该测试用例集中存在执行失败的用例，则将软件程序A作为待测试程序，并获取测试软件程序A所需的输入数据及配置信息，通过硬件仿真平台对软件程序A进行验证。配置信息是失败的测试用例场景的配置信息，例如，测试时输入图片的大小，输出结果的大小。输入数据是指失败的测试用例场景对应的输入至软件平台进行测试的数据，例如，输入图片信息、特征函数信息等。

获取到测试待测试程序所需的输入数据及配置信息之后，将输入数据及配置信息转换成激励信号，将激励信号输入硬件仿真平台(例如，EDA平台)对应的芯片后启动仿真测试，得到第一测试结果，仿真测试是指模拟软件程序的真实使用环境，将软件程序配置到真实的使用状态进行的测试。第一测试结果表示待测试程序在硬件仿真平台上的测试结果，第一测试结果含有待测试程序运行时的硬件行为。同时获取预设软件平台对待测试程序执行测试的第二测试结果，第二预测结果表示待测试程序在软件平台上的测试结果，第二测试结果含有待测试程序运行时的软件行为，第二测试结果可以从golden实时数据库中获取到。

将第一测试结果与第二测试结果进行对比得到对比结果，即将待测试程序在硬件仿真平台的测试结果与待测试程序在软件平台的测试结果进行对比，将对比结果与预先配置的故障分析表进行匹配，根据匹配结果确定待测试程序存在的问题，可以理解的是，故障分析表记录了多种对比结果与待测试程序调试失败时所存在的问题的映射关系，根据第一测试结果与第二测试结果的对比结果可以查找出待测试程序所存在的问题，也可以将对比结果反馈至预设终端，预设终端可以是测试人员对应的终端，测试人员接收到对比结果之后，可以根据对比结果分析定位待测试程序所存在的问题，对于测试或调试失败的待测试程序，将待测试程序通过硬件仿真平台进行复现，测试人员通过查看波形进行分析，可以快速了解待测试程序是哪里出现问题。

本申请通过将待测试程序的输入数据及配置信息转换成激励信号，将激励信号输入硬件仿真平台对应的芯片后启动仿真测试，并获取软件平台对待测试程序执行测试的测试结果，将硬件仿真平台的测试结果和软件平台的测试结果进行的对比结果后反馈至预设终端，由于对比结果中包含了硬件仿真平台和软件平台的测试结果，终端的测试人员可以根据对比结果分析出待测试程序出现BUG的代码，并及时发现待测试程序中潜在的BUG，从而定位出待测试程序中具体是哪段代码存在问题，提高测试和调试的效率。

在一个实施例中，所述将所述输入数据及所述配置信息转换成激励信号，包括：

输入数据是按照二进制bin文件存储的，输入数据包括数据的存储地址及数据长度，配置信息包括配置数据的操作类型、配置数据的地址及配置数据的数据内容。根据二进制文件和配置数据可以通过预先配置的脚本将输入数据及配置信息转换成激励信号，即通过预先配置的脚本转换成硬件仿真平台能识别的信息。

在一个实施例中，在得到第一测试结果之后，所述方法还包括：

将所述第一测试结果存储至第一数组。

第一测试结果为硬件仿真平台的芯片仿真测试结果，将第一测试结果存储在数组mem_data中可以节省仿真空间，第一数组的格式为mem_data[addr]＝data。

进一步地，在获取预设软件平台对所述待测试程序执行测试的第二测试结果之后，所述方法还包括：

将所述第二测试结果存储至第二数组。

第二测试结果为软件平台对待测试程序的测试结果，将第二测试结果存储在数组mem_golden中，第二数组的格式为mem_golden[addr]＝data。

进一步地，所述将所述第一测试结果与所述第二测试结果进行对比得到对比结果，包括：

数组的索引表示数组元素在数组中的位置，每个数组有多个索引，每个索引有对应的元素。将第一数组与第二数组中相同索引对应的元素进行对比，例如，第一数组为m，第一数组m的索引分别是0、1、2、3，第二数组为n，第二数组n的索引分别是0、1、2、3，则分别将m[0]与n[0]的元素进行对比，m[1]与n[1]的元素进行对比，m[2]与n[2]的元素进行对比，m[3]与n[3]的元素进行对比，若第一数组与第二数组中每个相同索引对应的元素均相同，说明硬件仿真平台和软件平台的测试结果是相同的，生成第一对比结果(例如，对比结果相同)。若第一数组与第二数组中任意一个相同索引的元素不同，生成第二对比结果(例如，对比结果不同)，例如，若m[1]与n[1]的元素不同，则说明硬件仿真平台和软件平台的测试结果存在不同，对于待测试程序为软件平台测试失败的软件程序时，测试人员可以利用波形分析芯片内部行为，通过对波形的分析可以确定配置是否有问题，若配置没有问题，可以分析芯片各模块的信号判断计算是否有问题，从而定位出待测试程序的哪段代码有问题。

进一步地，在生成第二对比结果之前，所述方法还包括：

由于可能存在多个相同索引对应的元素不同，例如，m[1]与n[1]的元素不同，m[3]与n[3]的元素不同。为了测试人员可以清楚地看到对比结果，因此可以将第一数组与第二数组中相同索引对应不同元素的索引进行标记。例如，若m[1]与n[1]的元素不同，则对第一数组m的索引1进行标记及对第二数组n的索引1进行标记。测试人员可以在对比结果中看到第一数组与第二数组中不同元素的索引。

参照图2所示，为本申请程序测试装置100的功能模块示意图。

本申请所述程序测试装置100可以安装于电子设备中。根据实现的功能，所述程序测试装置100可以包括获取模块110、转换模块120、第一测试模块130、第二测试模块140及对比模块150。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

获取模块110：用于获取待测试程序，及获取测试所述待测试程序所需的输入数据及配置信息；

转换模块120：用于将所述输入数据及所述配置信息转换成激励信号；

第一测试模块130：用于将所述激励信号输入硬件仿真平台对应的芯片后启动仿真测试，得到第一测试结果；

第二测试模块140：用于获取预设软件平台对所述待测试程序执行测试的第二测试结果；

对比模块150：用于将所述第一测试结果与所述第二测试结果进行对比得到对比结果，反馈所述对比结果至预设终端。

在一个实施例中，所述待测试程序为所述预设软件平台对至少一个软件程序的测试用例集执行测试时，存在执行失败的测试用例对应的软件程序。

在一个实施例中，第一测试模块130还用于：

将所述第一测试结果存储至第一数组。

在一个实施例中，第一测试模块140还用于：

将所述第二测试结果存储至第二数组。

在一个实施例中，所述将所述第一测试结果与所述第二测试结果进行对比得到对比结果，包括：

在一个实施例中，对比模块150还用于：

参照图3所示，为本申请电子设备1较佳实施例的示意图。

该电子设备1包括但不限于：存储器11、处理器12、显示器13及通信接口14。所述电子设备1可以通过通信接口14连接网络。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类计算机程序，例如计算机程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行计算机程序10的程序代码等。

显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面。

通信接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该通信接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。

图3仅示出了具有组件11-14以及计算机程序10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

在上述实施例中，处理器12执行存储器11中存储的计算机程序10时可以实现如下步骤：

将所述输入数据及所述配置信息转换成激励信号；

所述存储设备可以为电子设备1的存储器11，也可以为与电子设备1通讯连接的其它存储设备。

关于上述步骤的详细介绍，请参照上述图2关于程序测试装置100实施例的功能模块图以及图1关于程序测试方法实施例的流程图的说明。

此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区，存储程序区存储有计算机程序10，所述计算机程序10被处理器执行时实现如下操作：

将所述输入数据及所述配置信息转换成激励信号；

本申请之计算机可读存储介质的具体实施方式与上述程序测试方法的具体实施方式大致相同，在此不再赘述。

需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件仿真平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种程序测试方法，其特征在于，所述方法包括：

将所述输入数据及所述配置信息转换成激励信号；

2.如权利要求1所述的程序测试方法，其特征在于，所述待测试程序为所述预设软件平台对至少一个软件程序的测试用例集执行测试时，存在执行失败的测试用例对应的软件程序。

3.如权利要求1所述的程序测试方法，其特征在于，所述将所述输入数据及所述配置信息转换成激励信号，包括：

4.如权利要求1所述的程序测试方法，其特征在于，在得到第一测试结果之后，所述方法还包括：

将所述第一测试结果存储至第一数组。

5.如权利要求1或4所述的程序测试方法，其特征在于，在获取预设软件平台对所述待测试程序执行测试的第二测试结果之后，所述方法还包括：

将所述第二测试结果存储至第二数组。

6.如权利要求5所述的程序测试方法，其特征在于，所述将所述第一测试结果与所述第二测试结果进行对比得到对比结果，包括：

7.如权利要求6所述的程序测试方法，其特征在于，在生成第二对比结果之前，所述方法还包括：

8.一种程序测试装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1至7中任一项所述的程序测试方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述程序测试方法的步骤。