CN104111890B - 一种实时性能测试方法与系统 - Google Patents

Abstract

本发明公开了一种实时性能测试方法，应用于嵌入式系统的实时性能测试。所述方法包括以下步骤：在上位机中对应用程序源代码进行时间特征建模；利用所述建模过程得到的时间特征模型完成对源代码的插桩操作；将所述源代码编译链接好后下载到下位机，并通过所述上位机启动所述应用程序；所述应用程序在运行期间采集测试数据，并根据预先设定的传输规则将实时存储到特定数据容器的数据传回所述上位机；经过数据分析后得到所述应用程序的实时性能测试报告。本发明实现了对嵌入式实时应用程序的实时性能测试，具有测试过程全自动化、误差小和结果详尽的优点。本发明同时还公开了一种应用上述方法的系统。

Description

一种实时性能测试方法与系统

技术领域

本发明涉及嵌入式系统性能测试领域，尤其涉及嵌入式系统上对实时性有较高要求的应用程序的时间性能测试。

背景技术

嵌入式系统中的实时应用程序的正确性不仅依赖于系统计算的逻辑结果，还依赖于产生这个结果的时间。嵌入式实时应用程序要求能够在确定的时间内或在指定的时刻完成特定的系统功能或能够与外部或内部的组件同步或异步地做出响应。因此，在设计和实现嵌入式实时应用程序时，需要对程序中的每一个组件的运行时间都能够做到必要精度的预估，否则很难保证在确定的时间内获得想要的处理结果。

现在嵌入式实时应用程序开发人员在进行应用程序开发时，为了预估应用程序中的每一个组件确切地运行时间，只能通过在每个需要预估运行时间的组件前后插入桩语句，并在多次人工运行程序之后才能确定该组件是否满足实时性要求。这样做的缺点非常明显：人工插装很繁琐，相当浪费精力，无法做到对同一条件多次验证，而且得到多次运行程序相关组件的运行时间的统计结果；很难对源代码中出现的递归、循环、扇出等语句块的运行时间进行预估；获取时间的精度与程序员所掌握的获取系统时间的技能相关，一般程序员无法保证获取到高精度的时间数值。所以，需要有一种可以能够对用户所关心的嵌入式实时应用程序中的多个组件进行自动实时性能分析的方法和工具来解放相关开发人员。

发明内容

本发明的技术用于解决问题：克服现有技术的不足，提供一种能够自动对嵌入式实时应用程序进行实时性能进行检测的方法和系统，应用这个方法完成的系统可以根据用户的需要，自动完成对应用程序中的函数、任务，以及函数或任务中的循环、递归或扇出调用等组件运行时间的测量，并能根据测量的结果和用户预先输入的实时性能预期结果，给出该应用程序的实时性能分析报告，以便用户能够根据分析报告优化应用程序中不符合要求的组件。本发明实现了对嵌入式实时应用程序的实时性能全自动测试，具有测试过程全自动化、误差小和结果详尽的优点，完全能够满足用户对于嵌入式实时应用程序实时性能测试的需求。

为了实现上述目的，本发明提供了一种能够自动对嵌入式实时应用程序进行实时性能进行检测的方法，该方法包括以下步骤：

A.在上位机中对应用程序源代码进行时间特征建模，以便能够得到该应用程序源代码的所有关键时间节点的信息。如图2所示，所述应用程序的时间特征模型的关键时间节点包括时间起始节点、时间截止节点、递归关键时间节点、循环关键时间节点、扇出关键时间节点、函数或任务结束节点、return结束节点；其中循环关键时间节点又包含for循环关键时间节点、while循环关键时间节点和do…while关键时间节点。其中，return是指程序语言中的返回语句的关键字；for、while和do…while是程序编程语言中常见的三种循环控制结构的关键字。

B.利用所述建模过程得到的应用程序时间特征模型完成所述源代码的插桩操作。在对源代码插桩时，需要考虑时间特征模型中的每一个关键时间节点的运行时特征和该节点前后是否有其他语法结构来确定桩语句的位置；影响桩语句插入位置的原因包括关键时间节点前后是否存在其他语句、关键节点前后是否存在圆括号或花括号、关键节点中是否存在return语句等。

C.将所述源代码编译链接好后下载到下位机，并通过所述上位机启动所述应用程序。利用上位机启动所述下位机上的应用程序需要搭建上位机与下位机的专用通信渠道，可以利用串口通信协议或TCP/IP协议完成启动指令的传输和反馈信息的回传。这里的TCP/IP指的是因特网最基本的网络通讯协议，由网络层的IP协议和传输层的TCP协议组成。

D.所述应用程序在运行期间采集测试数据，并根据预先设定的传输规则将实时存储到特定数据容器的数据传回所述上位机。由于只关注函数或任务，以及时间特征模型关键节点的运行时间，故在所述应用程序运行期间采集到的每一条记录只需包含时间信息归属对象编号和运行时间信息；运行时间的检测精度可以根据需要设定为毫秒或纳秒。下位机中用于存储前述记录的数据容器可以采用消息栈、消息队列或消息邮箱来充当，但推荐使用消息栈来存储运行时间记录。所述的传输规则指的是下位机向上位机传输采集到的测试数据的上传时间和上传频率的定义；由于下位机的存储器容量有限，再加上频繁上传数据对应用程序的实时性能有极大的影响，故需要对传输规则进行定义，最理想的情况是在下位机上的应用程序运行完毕后再将所有存储到的数据回传到上位机中处理。

E.经过数据分析后得到所述应用程序的实时性能测试报告。所述的数据分析主要包括对回传到上位机的数据进行归属分析、周期分析和异常分析，最后将数据分析得到的结果与用户在检测前输入的预期运行时间、预期运行周期、预期完成时刻等数据进行匹配分析，即可生成该应用程序中用户所关心的函数或任务，以及时间特征模型中关键节点的实时性能测试结果，最终呈现给用户的是相关统计图表和该应用程序的实时性能优化建议。

一种实时性能测试系统，包括部署在所述上位机上的测试终端和部署在所述下位机上的测试代理：所述上位机包括时间特征建模器、插桩位置分析器、插桩器、交叉编译工具链、数据上传下载器和数据分析与报告生成器；所述下位机包括数据上传下载器、测试任务调度器；上位机和下位机之间通过串口或TCP/IP信道来完成通信。其中，在上位机中：

时间特征建模器，用于对工程源代码进行时间特征建模，并将生成的时间特征模型基础数据送外插桩位置分析器；

插桩位置分析器，用于对时间特征模型基础数据进行分析，并将生成的插桩信息数据文件送往插桩器；

插桩器，利用输入的插桩信息数据文件和桩函数库完成对工程源代码的插桩操作，并将插桩后的工程源代码送外交叉编译工具链；

交叉编译工具链，用于编译、链接插桩后的工程源代码，并将生成的二进制文件送外数据上传下载器；

数据上传下载器，用于完成在上位机与下位机之间的控制指令与数据文件的传输操作；

数据分析与报告生成器，用于完成对下位机传回的测试采集数据进行分析整理，并生成方便用户查看的实时性能测试报告。

在下位机中：

数据上传下载器，用于接收来自上位机的测试指令和测试配置数据，并将下位机采集到的测试数据上传到上位机。

测试任务调度器，用于对下载到下位机中的测试任务进行排队，在接收到上位机传输来的测试启动指令后调度测试任务运行，以采集该测试任务所需要的测试数据。

本发明利用对所述应用程序的时间特征建模，完成了对所述应用程序中所有关键时间节点的识别与记录，并支持对测试任务多次运行结果的统计分析，使得本发明与现有技术相比有以下三个优点：

(1)无需用户人工干预，全自动完成所述应用程序实时性能测试操作；

(2)对多次运行的测试任务的测试结果进行统计分析，最大限度地降低测试误差；

(3)测试目标颗粒小，可得到所述过程的所有影响时间性能的关键时间节点不同层次的运行时间信息，对用户进一步优化工程源代码提供强大的数据支持。

附图说明

图1为本发明中的一种实时性能测试方法流程图；

图2为本发明中的时间特征模型示意图；

图3为本发明应用场景中的一种实时性能测试系统结构示意图。

具体实施方式

需要完成对嵌入式应用程序实时性能的检测，就需要获取应用程序中用户所关心的函数、任务及其内关键时间节点的位置信息，以便能够将获取系统时间戳的桩语句插入到适当的位置。而为了最大可能地减少用户在检测过程中所需耗费的工作量，本发明提供的技术解决方案能够完成应用程序所关心的函数和任务及其内关键时间节点位置信息的自动获取、系统时间戳桩语句插入位置的分析和自动插入、应用程序中关键时间节点运行时间统计报告的自动生成等一系列容易出现错误或遗漏的操作。

下面将结合本发明中的附图，对本发明的技术解决方案进行详细而完整的阐述，显然，以下所阐述的具体实施案例仅仅是本发明的一部分实施案例，而不是全部的实施案例。

如图1所示，为本发明中的一种实时性能测试方法流程图，应用于包括上位机和下位机的嵌入式实时系统中，该方法包括以下步骤：

步骤101，在上位机中对嵌入式应用程序的源代码进行时间特征建模。

其中，要完成时间特征建模，需要对源代码进行词法分析和语法分析。利用开源的GNU GCC编译器完成这一过程，首先生成该工程源代码的抽象语法树，然后遍历这棵语法树，将所关注的函数或任务的声明和调用、包含文件语句的定义、函数或任务中的循环、递归调用、扇出调用和return语句的位置和类型信息解析出来，并为每条信息添加一个唯一的标识符，写入到插桩位置基础数据文件中。

步骤102，在上位机中利用所述应用程序时间特征模型完成所述应用程序源代码的自动插桩过程。

其中，首先，需要分析步骤101得到的插桩位置基础数据文件，得到用户所关注的函数或任务起止行号和循环、递归、扇出等关键时间节点的插桩信息集。特别需要注意的是，由于每个程序员的编码习惯不一样，函数或任务的起始花括号“{”和结束花括号“}”可能会与其他的语句混在同一行，所以在分析的时候需要将函数或任务的起止符号、return语句的前后是否存在语句的信息记录下来，以便插桩时做相应的处理，否则插桩时会出现插桩位置错乱的问题。同理，return语句在源代码中可能是自成一行，但也有可能其前后都有语句的存在。针对这种情况，一种处理办法是在插桩过程中，自动先将源代码中用于标识一个语句块的开始和结束的符号，包括return语句单独成一行，这时候再将桩函数插入到源代码中，如此便能很好地解决由于程序员编码不够规范而造成的插桩位置错乱的问题。其次，利用插桩器在读入源代码的同时匹配插桩信息集中的桩位置和桩类型的定义，将桩函数库中的桩函数实时插入源代码中，从而生成已插桩的源代码工程。

步骤103，利用上位机中的交叉编译工具链完成对已插桩的源代码工程的编译和链接，生成可在下位机上运行的二进制文件，并将这个二进制文件通过专用的数据上传下载器下载到下位机中。

其中，上位机中的交叉编译工具链要求与目标机上的处理器的型号相匹配。与二进制文件一同下载到下位机中的，还包括一个包含了检测次数和测试数据回传地址等数据的测试配置文件。

步骤104，下位机接收到测试任务后，由测试任务调度器来统一调度运行测试任务。测试任务在运行的过程中采集测试数据，并适时回传数据到上位机。

其中，下位机的数据上传下载器接收到上位机传输过来的二进制文件和测试配置文件后，测试任务调度器需要创建一个新的测试任务，并将测试任务的启动地址记录到测试任务链表中，一旦其他测试任务完成测试或接收到上位机传送过来的立即启动测试任务，即可运行该测试任务。测试任务在运行的过程中，会将采集到的包含了系统时间戳的时间信息记录写入到数据采集容器，待采集容器中的数据达到总体容量的2/3或测试任务完成时，需要将时间信息记录自动上传到上位机中。

步骤105，回传到上位机的测试数据需要经过分析后，并与用于事先输入的预期运行时间、预期运行周期等数据进行匹配，最后完成该应用程序的实时性能测试报告。

本发明在提供了上述实时性能测试方法的具体实施方式之外，还提供了应用上述实时性能测试方法的系统。

如图3所示，为本发明应用场景中的实时性能测试系统结构示意图，该测试系统包含上位机中的测试终端和下位机中的测试代理。

其中，所述上位机包括时间特征建模器、插桩位置分析器、插桩器、交叉编译工具链、数据上传下载器和数据分析与报告生成器；所述下位机包括数据上传下载器、测试任务调度器；上位机和下位机之间通过串口或TCP/IP信道来完成通信。

以下结合图3，对本发明应用场景中的实时性能测试系统进行说明。

(1)将应用程序源代码送入时间特征建模器中，以完成对该应用程序源代码的时间特征建模，并生成时间特征模型基础数据文件；

(2)插桩位置分析器接收到时间特征模型基础数据文件后，需要根据时间特征模型中不同关键时间节点的类型，完成对所述应用程序源代码插桩位置的确定，并生成插桩信息数据文件；

其中，在确定插桩位置时，不同关键时间节点的插桩位置按下表进行定义：

关键时间节点	插桩位置
		时间起始节点	在函数或任务的“{”号后插桩
循环关键时间节点	在循环语句块前、后插桩
		递归关键时间节点	在递归调用语句前、后插桩
扇出关键时间节点	在删除调用语句前、后插桩
		函数或任务结束节点	在函数或任务结束的“}”号前插桩
return结束节点	在return语句前插桩

(3)利用输入的插桩信息数据文件和桩函数库在插桩器中完成对应用程序源代码的插桩操作。

其中，每个桩函数中的关键信息包括：插桩对象的全局唯一性标识、当时系统时间戳，以及数据传输函数定义和参数。

(4)插桩完的应用程序源代码需要送入交叉编译工具链中完成编译和链接操作，以便生成可在下位机上运行的二进制文件。

其中，交叉编译工具链需要根据下位机的处理器型号来选择工具链的版本。

(5)将步骤(4)中生成的二进制文件和用户事先设置好的测试配置文件一同通过上位机的上传下载器下载到下位机中。

(6)下位机的数据上传下载器接收到二进制文件和测试配置文件后，在测试任务调度器中创建新的测试任务记录；数据上传下载器接收到来自上位机的测试启动指令后，启动测试任务。

(7)测试任务在运行期间采集测试数据，并在下位机的数据采集容器达到2/3的容量或测试任务运行结束时，将数据采集容器中的数据回传到上位机中。

(8)上位机的数据上传下载器在接收到下位机传回来的测试采集数据后，将所有数据送往数据分析与报告生成器。

(9)数据分析与报告生成器在接收到数据上传下载器传输来的测试采集数据后，开始对测试数据进行统计分析，并结合用户的测试配置数据，生成最终的实时性能测试报告。

总之，本发明实现了对嵌入式实时应用程序的实时性能测试，具有测试过程全自动化、误差小和结果详尽的优点。

通过以上对本发明提供的实时性能测试方法的实施步骤和应用了该方法的系统组成的描述，本领域的技术人员可以清楚地了解到如何利用本发明提供的方法和系统来完成嵌入式应用程序的实时性能的测试，从而为最终用户提供包含了循环、递归、扇出等关键时间节点在内的应用程序实时性能测试报告，从而为应用程序开发人员提供优化程序的实时性能提供依据。

应该指出的是，上述实施案例的阐述较为具体，并不能因此而认为是对本发明的专利保护范围的限制，在不脱离本发明的核心思想和范围的所有等效改进和润饰，都属于本发明的保护范围。

Claims (8)

1.一种实时性能测试方法，应用于嵌入式系统的实时性能测试，其特征在于：可以根据用户的需要，自动完成对应用程序中的函数、任务，以及函数或任务中的循环、递归或扇出调用等组件运行时间的测量，并能根据测量的结果和用户预先输入的实时性能预期结果，给出该应用程序的实时性能分析报告，以便用户能够根据分析报告优化应用程序中不符合要求的组件；

所述方法包括以下步骤：

步骤(1)，在上位机中对嵌入式应用程序的源代码进行时间特征建模；

其中，要完成时间特征建模，需要对源代码进行词法分析和语法分析，首先生成工程源代码的抽象语法树，然后遍历这棵语法树，将所关注的函数或任务的声明和调用、包含文件语句的定义、函数或任务中的循环、递归调用、扇出调用和return语句的位置和类型信息解析出来，并为每条信息添加一个唯一的标识符，写入到插桩位置基础数据文件中；

步骤(2)，在上位机中利用所述应用程序时间特征模型完成所述应用程序源代码的自动插桩过程；

首先，分析步骤1得到的插桩位置基础数据文件，得到用户所关注的函数或任务起止行号和循环、递归、扇出关键时间节点的插桩信息集；在分析的时候需要将函数或任务的起止符号、return语句的前后是否存在语句的信息记录下来，以便插桩时做相应的处理，否则插桩时会出现插桩位置错乱的问题；同理，return语句在源代码中可能是自成一行，但也有可能其前后都有语句的存在，针对这种情况，在插桩过程中，自动先将源代码中用于标识一个语句块的开始和结束的符号，包括return语句单独成一行，此时再将桩函数插入到源代码中，如此便能很好地解决由于程序员编码不够规范而造成的插桩位置错乱的问题；其次，利用插桩器在读入源代码的同时匹配插桩信息集中的桩位置和桩类型的定义，将桩函数库中的桩函数实时插入源代码中，从而生成已插桩的源代码工程；

步骤(3)，利用上位机中的交叉编译工具链完成对已插桩的源代码工程的编译和链接，生成可在下位机上运行的二进制文件，并将这个二进制文件通过专用的数据上传下载器下载到下位机中；

其中，上位机中的交叉编译工具链要求与目标机上的处理器的型号相匹配，与二进制文件一同下载到下位机中的，还包括一个包含了检测次数和测试数据回传地址数据的测试配置文件；

步骤(4)，下位机接收到测试任务后，由测试任务调度器来统一调度运行测试任务，测试任务在运行的过程中采集测试数据，并适时回传数据到上位机；

其中，下位机的数据上传下载器接收到上位机传输过来的二进制文件和测试配置文件后，测试任务调度器需要创建一个新的测试任务，并将测试任务的启动地址记录到测试任务链表中，一旦其他测试任务完成测试或接收到上位机传送过来的立即启动测试任务，即可运行该测试任务；测试任务在运行的过程中，会将采集到的包含了系统时间戳的时间信息记录写入到数据采集容器，待采集容器中的数据达到总体容量的2/3或测试任务完成时，需要将时间信息记录自动上传到上位机中；

步骤(5)，回传到上位机的测试数据需要经过分析后，并与用于事先输入的预期运行时间、预期运行周期数据进行匹配，最后完成该应用程序的实时性能测试报告。

2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中，所述时间特征模型中的关键节点包括时间起始节点、时间截止节点、递归关键时间节点、循环关键时间节点、扇出关键时间节点、函数或任务结束节点和return结束节点；其中循环关键时间节点又包含for循环关键时间节点、while循环关键时间节点和do…while关键时间节点；其中，for、while和do…while是程序编程语言中常见的三种循环控制结构的关键字。

3.根据权利要求1所述的方法，其特征在于：所述步骤(2)中，所述源代码插桩操作是在指定位置上插入用于获取下位机当前系统时间戳和对获取到的数据存储到指定数据容器中或传回所述上位机的桩函数的过程。

4.根据权利要求1所述的方法，其特征在于：所述步骤(3)中，在将所述源代码构建好后下载到所述下位机的同时，还需下载测试配置数据文件；测试配置数据文件中包含了对测试次数、测试对象个数、相邻两次测试延迟时间、所述上位机IP地址和通信端口号配置数据。

5.根据权利要求1所述的方法，其特征在于：所述步骤(3)中，所述传输规则是将所述下位机上采集到的时间数据优先存储在所述下位机上开设的测试数据栈上，当所述测试数据栈存满或待测应用程序在所述下位机上运行结束时，所述时间数据会被传输回所述上位机数据接收器中。

6.根据权利要求1或4所述的方法，其特征在于：所述步骤(3)中，测试数据栈中存储的每一条数据都包括唯一的数据采集标识号和系统时间戳两部分信息；所述数据采集标识号由对象分类标识、对象名称和对象序号组成；所述对象指的是所述源代码中出现的函数、任务、循环、递归或扇出。

7.根据权利要求1或4所述的方法，其特征在于：所述步骤(4)中，所述数据分析是根据所述测试配置文件和从所述下位机传输回来的测试数据进行分析的过程，从而得到包含各测试对象每次绝对运行时间、周期运行时间、平均运行时间、最长运行时间、最短运行时间、预期运行时间和周期运行时间的差值信息的测试报告，所述测试报告中还能够对所述应用程序的关键运行时间因素进行分析，并给出相应的代码优化建议。

8.一种应用于权利要求1所述方法的系统，其特征在于，所述系统包括部署在所述上位机上的测试终端和部署在所述下位机上的测试代理：所述上位机包括时间特征建模器、插桩位置分析器、插桩器、交叉编译工具链、数据上传下载器和数据分析与报告生成器；所述下位机包括数据上传下载器、测试任务调度器；上位机和下位机之间通过串口或TCP/IP信道来完成通信；这里的TCP/IP指的是因特网最基本的网络通讯协议，由网络层的IP协议和传输层的TCP协议组成；其中，在上位机中：

时间特征建模器，用于对工程源代码进行时间特征建模，并将生成的时间特征模型基础数据送外插桩位置分析器；

插桩位置分析器，用于对时间特征模型基础数据进行分析，并将生成的插桩信息数据文件送往插桩器；

插桩器，利用输入的插桩信息数据文件和桩函数库完成对工程源代码的插桩操作，并将插桩后的工程源代码送外交叉编译工具链；

交叉编译工具链，用于编译、链接插桩后的工程源代码，并将生成的二进制文件送外数据上传下载器；

数据上传下载器，用于完成在上位机与下位机之间的控制指令与数据文件的传输操作；

数据分析与报告生成器，用于完成对下位机传回的测试采集数据进行分析整理，并生成方便用户查看的实时性能测试报告；

在下位机中：

数据上传下载器，用于接收来自上位机的测试指令和测试配置数据，并将下位机采集到的测试数据上传到上位机；

测试任务调度器，用于对下载到下位机中的测试任务进行排队，在接收到上位机传输来的测试启动指令后调度测试任务运行，以采集该测试任务所需要的测试数据。