CN113836031B

CN113836031B - 用于嵌入式系统测试的系统、方法、设备以及介质

Info

Publication number: CN113836031B
Application number: CN202111167919.6A
Authority: CN
Inventors: 刘东坡; 王雷; 陆文艳
Original assignee: Yangtze Memory Technologies Co Ltd
Current assignee: Yangtze Memory Technologies Co Ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2024-05-10
Anticipated expiration: 2041-09-29
Also published as: CN113836031A

Abstract

本公开提供了一种测试系统，包括：测试控制模块，用于：提供编码后的固件代码，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件相对应的编码信息；以及生成系统测试日志，所述系统测试日志包括在所述测试期间与所述测试系统中发生的一个或多个事件相对应的第一时间信息；以及日志处理模块，用于：接收所述系统测试日志；接收来自所述嵌入式系统的固件日志，所述固件日志包括与所述嵌入式系统中发生的所述一个或多个事件相对应的第二时间信息以及所述编码信息；将所述编码信息转换为相应的字符信息；以及基于所述第一时间信息、所述第二时间信息以及所述字符信息，生成日志报告。

Description

用于嵌入式系统测试的系统、方法、设备以及介质

技术领域

概括地说，本公开涉及嵌入式系统测试，具体地说，本公开涉及标准化的嵌入式系统测试框架。

背景技术

嵌入式系统是一种服务于特定应用的专用计算机系统，其具有定制化的软硬件模块。由于使用场景的限制，嵌入式系统一般对功能、性能、可靠性、成本、尺寸、功耗等指标有严格的要求。因此，受限于嵌入式系统有限的计算和存储资源，如何高效地对嵌入式系统进行测试一直是行业难点和痛点。

发明内容

按照本公开的一方面，提供一种测试系统，其包括：测试控制模块，用于：提供编码后的固件代码，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件相对应的编码信息；以及生成系统测试日志，所述系统测试日志包括在所述测试期间与所述测试系统中发生的一个或多个事件相对应的第一时间信息；以及日志处理模块，用于：接收所述系统测试日志；接收来自所述嵌入式系统的固件日志，所述固件日志包括与所述嵌入式系统中发生的所述一个或多个事件相对应的第二时间信息以及所述编码信息；将所述编码信息转换为相应的字符信息；以及基于所述第一时间信息、所述第二时间信息以及所述字符信息，生成日志报告。

按照本公开的又一方面，提供一种测试方法，其包括：提供编码后的固件代码，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件相对应的编码信息；生成系统测试日志，所述系统测试日志包括在所述测试期间与测试系统中发生的一个或多个事件相对应的第一时间信息；接收来自所述嵌入式系统的固件日志，所述固件日志包括与所述嵌入式系统中发生的所述一个或多个事件相对应的第二时间信息以及所述编码信息；将所述编码信息转换为相应的字符信息；以及基于所述第一时间信息、所述第二时间信息以及所述字符信息，生成日志报告。

按照本公开的还一方面，提供一种测试设备，其包括：存储指令的存储器；以及耦合到所述存储器的处理器，所述指令在被所述处理器执行时执行根据本公开所述的方法。

按照本公开的再一方面，提供一种具有指令的计算机可读介质，所述指令在被处理器执行时，使所述处理器执行根据本公开所述的方法。

本公开的技术方案能够实现一种标准化的嵌入式系统测试方法和框架。根据本公开的技术方案，在对嵌入式系统进行测试时，既能节省嵌入式系统的存储器空间，又能主动分析测试用例和固件代码的关联性，从而自动推断测试代码的命中率和固件代码的代码覆盖率，提高了嵌入式系统测试的效率。

附图说明

以下附图仅是根据本公开的各实施例的出于说明目的的示例，并且不旨在限制本公开的范围。

图1示出了根据本公开一实施例的用于嵌入式系统的固件代码。

图2示出了根据本公开一实施例的嵌入式系统测试框架。

图3示出了根据本公开一实施例的嵌入式系统测试方法的流程图。

图4示出了根据本公开一实施例的用于进行嵌入式系统测试的设备。

具体实施方式

下面结合附图对本公开实施例提供的方法和系统进行详细说明。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在测试嵌入式系统时，可以采用C语言测试框架。由于C语言测试框架往往需要较大的存储器运行空间，对于一些存储器资源受限的嵌入式系统而言，该方法较难实现。另一种对嵌入式系统进行测试的方法是采用软硬件仿真平台，该仿真平台一般包括仿真器和模拟器，可以对嵌入式系统的组件进行模拟仿真，从而离线测试嵌入式系统。但是，软硬件仿真平台本身需要持续投入时间和金钱来进行搭建，同时也不可避免地存在漏洞，需要额外的维护成本，许多企业难以承担相应的成本。在实际工作中还可以采用开发测试用例和人工分析嵌入式系统的日志的方法来进行测试。这种方法需要大量占用嵌入式系统的固件代码空间并且会降低系统性能，同时，对日志的人工分析需要开发工程师和测试工程师的密切协作，工作量较大并且标准难以统一。

图1示出了根据本公开一实施例的用于嵌入式系统的固件代码100。嵌入式系统基于固件代码100进行操作，例如，一些嵌入式存储解决方案(例如UFS，eMMC)可以运行固件代码100。固件代码100包括由嵌入式系统运行的实时操作系统和应用程序的代码，用于实现嵌入式系统的设计功能。固件代码100可以以文件的形式存储在嵌入式系统之外，并且在需要对嵌入式系统的固件进行初始化或更新时传输至嵌入式系统的非易失性存储器中。

固件代码100包含多个代码块110a,110b,…,110n。在一个实施例中，为了进行测试，可以对固件代码100进行“插桩”，即在一个或多个代码块110a,110b,…,110n中插入测试桩函数120a,…,120n。测试桩函数是用于在测试过程中进行信息采集的代码段，测试桩函数能够在保证被测代码原有逻辑完整性的基础上，随着被测代码一起被执行，同时输出被测代码运行的特征数据。测试桩函数120a,…,120n中可以包含字符信息，例如用于记录日志的字符串。字符信息可以被用于标识测试桩函数120a,…,120n。在一个实施例中，当嵌入式系统运行到某个测试桩函数时，可以根据该测试桩函数的指示，在固件日志中输出相应的字符信息，以供测试人员或测试设备进行分析。通过对这些数据的分析，可以获得固件代码100运行的控制流和数据流信息，进而得到例如固件代码100的代码覆盖率等动态信息。

应当理解的是，固件代码100中的每个代码块110a,110b,…,110n可以包括一个或多个测试桩函数120a,…,120n，或者不包括测试桩函数。

图2示出了根据本公开一实施例的嵌入式系统测试框架，其中，测试系统200是用于对嵌入式系统280进行测试的系统。测试系统200可以是单机系统，其可以具有x86、RISC或者ARM等计算机架构，并且可以运行Windows、Unix、Linux、Android等操作系统。测试系统200通过例如串口或者USB接口与嵌入式系统280进行通信，以发送测试控制命令并且接收测试响应等数据。

在一个实施例中，测试系统200可以包括字典模块210、编码模块220、测试控制模块230、解码模块250、日志处理模块260以及测试分析模块270。这些模块虽然在图中被示出为集成于测试系统200中，但是测试系统200可以仅包括部分模块，或者一个或多个模块也可以位于与测试系统200通信地连接的其他设备或云端，在这种情况下，用于对嵌入式系统280进行测试的系统可以具有分布式的架构。在一些情况下，该分布式的架构能够提供更高效的测试框架，并且能够进一步节省成本。

以下将详细描述各模块的功能。

测试控制模块230

测试控制模块230是对整个测试过程的启动、监测和结束进行控制的模块，其用于执行测试代码来导入测试用例，以基于测试用例来对嵌入式系统280进行测试。每个测试用例可以包括用户设定的针对嵌入式系统280的测试输入参数、测试环境参数以及期望的测试输出结果等数据。测试用例通常以文件的形式存储在测试系统200中。在一些实施例中，测试用例可以集成在测试控制模块230中，或者位于与测试系统200通信地连接的其他设备或云端。

测试控制模块230可以执行测试代码，以导入测试用例，并且基于导入的测试用例中的数据，生成测试控制命令并发送给嵌入式系统280以发起对嵌入式系统280的测试。另一方面，测试控制模块230从嵌入式系统280获得测试响应等数据。测试控制模块230在进行测试的过程中生成系统测试日志，系统测试日志用于记录在测试期间在测试系统200中发生的一个或多个事件，例如测试开始、测试结束、发起某命令、接收某命令的响应等等，以及该一个或多个事件发生时的时间信息。在一个实施例中，该时间信息可以包括反映事件发生时的真实时间的时间戳。

在一个实施例中，在测试开始之前，测试控制模块230还可以向嵌入式系统280提供编码后的固件代码240。该编码后的固件代码240是例如对图1所示的固件代码100进行编码之后得到的。该编码后的固件代码240被提供给嵌入式系统280并存储到嵌入式系统280的非易失性存储单元(例如EEPROM)中，用于在嵌入式系统280启动时被微处理器加载到嵌入式系统280的存储器(例如RAM)中。在一个实施例中，编码后的固件代码240在被提供给嵌入式系统280之前还需要经过编译等处理。以下将通过编码模块220和字典模块210进一步描述对固件代码进行编码的示例过程。

编码模块220

编码模块220用于响应于测试控制模块230的命令，在测试开始之前对包含字符信息的未编码的固件代码(如图1所示的固件代码100)进行编码以生成编码后的固件代码240。在一个实施例中，编码模块220将各个测试桩函数120a,…,120n中的字符信息转换为编码信息，并且将所述编码信息与其相应的字符信息相关联地存储在字典模块210中。

在一个实施例中，编码模块220可以将测试桩函数120a,…,120n中的字符信息转换为4位16进制数，从而大大减小了测试桩函数120a,…,120n的大小。例如，编码模块220可以将示例测试桩函数A：routine(“this is a log string”,other_parameters)转换为：routine(hex_key,other_parameters)。在这个实施例中，示例测试桩函数A中的较长的字符信息“this is a log string”被用编码信息hex_key替代，从而减小了示例测试桩函数A的代码长度。可以理解的是，编码信息hex_key并不局限于4位16进制数，而是可以采用任何位数的任何形式的编码方式。

字典模块210

字典模块210可以以例如数据库的形式存储被编码的字符信息与编码信息的对应关系。例如，字典模块210可以将存有未编码的固件代码的文件的名称、字符信息、字符信息所在的代码行以及编码信息等信息相互对应地存储在数据库中。

在图2的实施例中，字典模块210位于测试系统200中，然而，可选地，字典模块210可以位于与测试系统200通信地连接的云端，使得多个测试系统可以共享字典模块210中的数据。在一个实施例中，字典模块210还可以作为编码模块220的一部分。

日志处理模块260

日志处理模块260用于从测试控制模块230获取系统测试日志并且从嵌入式系统280获取固件日志。固件日志是嵌入式系统280记录的日志，其记录在测试的整个过程中编码后的固件代码240的运行状态。在一个实施例中，测试控制模块230在发起测试时，会命令嵌入式系统280在其固件日志中打上测试开始时的起始时间戳，该起始时间戳反映了测试开始时的真实时间。在测试进行时，固件日志会记录编码后的固件代码240的运行过程中的各事件(例如执行某个代码段、执行某个测试桩函数、信号输入输出等)，并且同时记录该事件发生时的时间信息。该时间信息可以包括反映事件发生时的真实时间的时间戳；或者，该时间信息可以包括事件发生时距离测试开始所经过的处理器滴答(CPU tick)数。处理器滴答数能够反映事件距离测试开始的时间偏移量，通过固件日志中的起始时间戳和上述处理器滴答数，日志处理模块260能够确定反映各事件发生时的真实时间的时间戳。

此外，日志处理模块260还能够命令解码模块250以基于字典模块210对固件日志中出现的编码信息进行解码。在一个实施例中，当在嵌入式系统280中执行测试桩函数时，会在固件日志中输出相应的编码信息。如对于上面提到的示例测试桩函数A，在运行该示例测试桩函数A时，会在固件日志中记录编码信息hex_key，日志处理模块260可以命令解码模块250查询字典模块210，以取回该编码信息hex_key对应的字符信息例如日志字符串“thisis a log string”，日志处理模块260然后将固件日志中的hex_key转换为“this is a logstring”。

日志处理模块260通过比较系统测试日志中记录的各事件和固件日志中记录的各事件的时间戳，并参考解码后的固件日志中的字符信息，可以得出日志报告，日志报告包含系统测试日志和固件日志中的相应事件的对应关系。

解码模块250

解码模块250用于响应于日志处理模块260的命令，对编码信息进行解码。解码模块250可以基于日志处理模块260提供的编码信息，发起对字典模块210的查询，然后，解码模块250会将与编码信息相对应的字符信息返回给日志处理模块260。在图2的实施例中，解码模块250位于测试系统200中，然而，解码模块250也可以位于与测试系统200通信地连接的云端，从而提高测试的效率。在一个实施例中，解码模块250还可以作为日志处理模块260的一部分。

测试分析模块270

测试分析模块270用于至少部分地基于由日志处理模块260得出的日志报告，自动分析测试代码和未编码的固件代码，以获得测试代码的命中率和未编码的固件代码的代码覆盖率。在一个实施例中，测试分析模块270还可以自动绘制未编码的固件代码的函数调用过程图。

在一个实施例中，测试分析模块270还额外地基于测试用例日志和嵌入式系统日志来完成分析。测试用例日志是用户指定的描述嵌入式系统280的预期运行状态的日志，其包括预期的代码段的运行数据和测试的输入、预期的输出等数据。而嵌入式系统日志是嵌入式系统280记录的用于描述嵌入式系统280的系统参数(如处理器、存储器、I/O接口的压力等)的日志。上述两个额外的日志可以使得测试分析模块270的分析更加准确。

方法开始于步骤S302，其中，提供编码后的固件代码。在一个实施例中，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件(例如执行测试桩函数)相对应的编码信息。在一个实施例中，在测试开始之前，包含所述字符信息的未编码的固件代码被编码以生成所述编码后的固件代码，该编码后的固件代码被传输到嵌入式系统中。当嵌入式系统启动时，可以导入该编码后的固件代码来运行。在一个实施例中，在对未编码的固件代码进行编码的过程中，用于标识测试桩函数的字符信息被转换为编码信息。上述编码信息与其相应的字符信息被相关联地存储以供查询。在一个实施例中，可以在云端进行上述转换操作和/或存储操作。

接下来，方法前进到步骤S304，其中，生成系统测试日志。系统测试日志包括在测试期间在测试系统中发生的一个或多个事件(例如测试开始、测试结束、发起某命令、接收某命令的响应等等)，以及与该一个或多个事件相对应的第一时间信息。在一个实施例中，第一时间信息包括测试系统中的一个或多个事件发生时的时间戳。

接下来，方法前进到步骤S306，其中，接收来自嵌入式系统的固件日志。固件日志包括在嵌入式系统中发生的一个或多个事件(例如执行测试桩函数)，与该一个或多个事件相对应的第二时间信息，以及编码信息。在一个实施例中，固件日志中记录了测试开始的起始时间戳，同时，第二时间信息包括嵌入式系统中的一个或多个事件发生时的处理器滴答数。基于起始时间戳和处理器滴答数，可以确定嵌入式系统中的一个或多个事件发生时的时间戳。在另一个实施例中，第二时间信息可以直接包括嵌入式系统中的一个或多个事件发生时的时间戳。

接下来，方法前进到步骤S308，其中，将编码信息转换为相应的字符信息。在一个实施例中，对在S306步骤中接收到的固件日志进行解码，以将固件日志中的一个或多个编码信息转换为相应的字符信息。在经过解码之后，固件日志中的字符信息可以被测试人员或测试设备分析。

最后，方法前进到步骤S310，其中，基于第一时间信息、第二时间信息以及字符信息，生成日志报告。该日志报告可以被进一步用于分析测试代码的命中率和/或未编码的固件代码的代码覆盖率，以及绘制未编码的固件代码的函数调用过程图。

图4示出了根据本公开一实施例的用于进行嵌入式系统测试的设备。在一个实施例中，测试设备400可以用于实现如图2所示的测试系统200。

测试设备400包括处理器410和存储器420，存储器420中存储有计算机可读指令，该计算机可读指令在被处理器410执行时，使处理器410执行本公开的前述的任一种方法。此外，测试设备400可以包括输入/输出设备440(例如显示器，键盘，鼠标)，存储设备450(例如软盘，硬盘驱动器，光盘只读存储器(CD-ROM))，以及网络通信接口460(例如网络接口卡，调制解调器)。测试设备400还可以包括用于与嵌入式系统通信的测试接口430(例如串口，USB接口)。测试设备400的各部件可以经由系统总线彼此耦合。在一些实施例中，测试设备400可以是固定设备或者移动设备。

本公开另一实施例提供配有计算机可读介质的系统，在该计算机可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统的处理器能够读出并执行存储在该计算机可读介质中的计算机可读指令。在这种情况下，从计算机可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此计算机可读指令和存储计算机可读指令的计算机可读介质构成了本公开的一部分。

以上结合实施例对本公开进行了描述。按照本公开实施例的设计，通过对固件代码中测试桩函数内的字符信息进行统一编码管理，并借助字典模块对固件日志中的编码信息进行解码，实现了节省嵌入式系统代码空间和存储器运行空间、提升运行性能的技术效果。同时，本公开实施例的技术方案使得固件日志和系统测试日志中的对应事件能够在时间上方便地对齐，从而有助于分析测试代码的命中率和固件代码的代码覆盖率，使得测试过程标准化、统一化，减少了人力成本。并且，在测试过程中，不需要修改嵌入式系统和测试用例的原有结构，对现有测试环境有良好的适应性。

以上描述内容仅说明了本公开的特定的示例性实施例，并且不旨在限制本公开的范围。本领域的技术人员可以作为整体来理解本说明书，并且可以将各种实施例中的技术特征组合成本领域的技术人员可理解的其它实施例。在不脱离本公开的精神和原理的情况下，任何等价物或者修改落在本公开的范围内。

Claims

1.一种测试系统，包括：

测试控制模块，用于：

提供编码后的固件代码，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件相对应的编码信息，其中，所述编码信息使得所述编码后的固件代码与未编码的固件代码相比具有减小的代码长度；以及

生成系统测试日志，所述系统测试日志包括在所述测试期间与所述测试系统中发生的一个或多个事件相对应的第一时间信息；以及

日志处理模块，用于：

接收所述系统测试日志；

接收来自所述嵌入式系统的固件日志，所述固件日志包括与所述嵌入式系统中发生的所述一个或多个事件相对应的第二时间信息以及所述编码信息；

将所述编码信息转换为相应的字符信息；以及

基于所述第一时间信息、所述第二时间信息以及所述字符信息，生成日志报告。

2.一种测试方法，包括：

提供编码后的固件代码，所述编码后的固件代码包括在测试期间与嵌入式系统中发生的一个或多个事件相对应的编码信息，其中，所述编码信息使得所述编码后的固件代码与未编码的固件代码相比具有减小的代码长度；

生成系统测试日志，所述系统测试日志包括在所述测试期间与测试系统中发生的一个或多个事件相对应的第一时间信息；

将所述编码信息转换为相应的字符信息；以及

3.根据权利要求2所述的方法，包括：

对包含所述字符信息的未编码的固件代码进行编码，以生成所述编码后的固件代码；以及

将所述编码后的固件代码传输到所述嵌入式系统中。

4.根据权利要求3所述的方法，包括：

将所述字符信息转换为所述编码信息并且将所述编码信息与其相应的字符信息相关联地存储。

5.根据权利要求4所述的方法，其中，在云端执行以下操作中至少一个：将所述字符信息转换为所述编码信息和将所述编码信息与其相应的字符信息相关联地存储。

6.根据权利要求2所述的方法，包括：

基于所述日志报告确定以下中的一个或多个：测试代码的命中率、未编码的固件代码的代码覆盖率、以及所述未编码的固件代码的函数调用过程图。

7.根据权利要求2所述的方法，其中，所述嵌入式系统中发生的所述一个或多个事件包括执行测试桩函数，所述字符信息用于标识所述测试桩函数。

8.根据权利要求2所述的方法，其中，所述编码信息为4位16进制数。

9.根据权利要求2所述的方法，其中，所述第一时间信息包括所述测试系统中的所述一个或多个事件发生时的时间戳。

10.根据权利要求9所述的方法，其中，所述嵌入式系统在所述固件日志中记录测试开始时的起始时间戳，并且其中，所述第二时间信息包括所述嵌入式系统中的所述一个或多个事件发生时的处理器滴答数，所述方法包括：

基于所述起始时间戳和所述处理器滴答数，确定所述嵌入式系统中的所述一个或多个事件发生时的时间戳。

11.根据权利要求9所述的方法，其中，所述第二时间信息包括所述嵌入式系统中的所述一个或多个事件发生时的时间戳。

12.一种测试设备，包括：

存储指令的存储器；以及

耦合到所述存储器的处理器，所述指令在被所述处理器执行时执行根据权利要求2-11中的任一项所述的方法。

13.一种具有指令的计算机可读介质，所述指令在被处理器执行时，使所述处理器执行根据权利要求2-11中的任一项所述的方法。