CN107294802A - 一种端对端性能测试系统 - Google Patents

Abstract

本发明公开了一种端对端性能测试系统，包括用于端对端性能测试的测试系统，所述测试系统包括位于底层的多个硬件探针模块，位于顶层的用户管理模块，以及位于中间管理层并分别与所述的多个硬件探针模块和用户管理模块进行数据通信的数据处理单元，所述用户管理模块用于启动/停止会话测试，将指令Ord1下发至所述会话控制模块，所述会话控制模块根据所述指令Ord1模拟生成探测任务数据包M并下发至硬件探针模块根据数据源O1和对应指令Ord1硬件探针模块收集的节点网络数据计算获得有效网络参数Z1并写入数据库模块形成性能评估数据包，分析评估数据包获得被测端对端的性能测试报告。本发明能够模拟与实际使用环境一致的负载，更加精准的测试系统性能。

Description

一种端对端性能测试系统

技术领域

本发明涉及网络环境中相互通信的两个设备端之间的通信能力测试的系统领域，尤其涉及采用串联试用例和逻辑运算控制方式综合测试端对端性能的系统，具体的说，是一种端对端性能测试系统。

背景技术

端对端性能测试的研发工作是远远落后于功能测试部分的，而且与性能测试在测试工作中的重要地位是不相符合的。

端对端性能测试在整个测试工作中的作用是及其重要的，它是对产品做整体检验和综合评估的最后一道关口。通过性能测试，设计人员可以发现系统存在的性能瓶颈所在，系统尚不完善的地方所在，为下一步的系统优化和修补漏洞制定方案；而用户则可以通过性能测试，掌握系统的各项性能指标，评估系统的能力，验证其可靠性、稳定性是否达到要求，来检验和评估所购买的产品或服务是否达到了用户的要求。

目前的测试工具或者研究报告中，性能测试的单元还主要停留在测试用例上，缺乏多个测试用例的有效组合方式，不能进行测试用例的串联，仅仅使用若干个测试用例进行一味的反复发送请求并没有太大的现实意义。现实使用中，用户的操作会多种多样，同时也是具有很强的逻辑性的，比如，一个用户以一定的账号和密码身份登录，在登录期间会进行相应的执行操作，修改用户属性内容，执行用户权限允许的查询访问，获取返回信息后，执行退出操作。这一连串的操作，是具有先后的逻辑顺序的，而且随后的操作是依据之前的一系列操作的返回结果而定的。假设需要在性能测试中模拟如此的较为复杂的操作，仅仅使用测试用例层次上的模拟仿真是远远不够的。比如SOAPUI测试工具，它在功能测试方面，是可以将上一个测试用例的操作保存给一个变量供随后的测试用例初始化使用，但由于在性能测试时使用的测试粒度是测试用例，这种保存赋值方式就不能使用，这就导致不能在性能测试中模拟复杂的客户操作。而LoadRunner虽然使用脚本设计是可以实现任何复杂操作的串联，但由于其过程式的设计，导致这种设计方式在多机联合测试的分布式模式下不能有效的使用。

因此，在性能测试方法中需要设计一种有效机制，它既能够保证自动化测试的执行，又能够提供丰富的串联测试用例的方式和逻辑控制方式，而且这种机制还需要适应分布式的远程部署。这是性能测试方法设计的关键点所在，通过这个机制可以有效的丰富对现实应用场景的模拟能力，提供一种高效、灵活的方式来组织串联测试用例，使得性能测试能够应用在更多的范围内，从而在性能测试后，对被测端对端给出更加精确、更具有针对性的性能评估数据。

发明内容

本发明的目的在于提供一种端对端性能测试系统，用于解决现有技术中端对端性能测试采用的单一或者多个测试用例进行反复发送请求，以获知通信性能的方式存在的测试精度不高，无法体现当网络处于复杂的逻辑运算环境的通信和运算能力，以及同时执行多个简单的测试用例和多个逻辑运算时网络负载和通信能力的问题。本发明提供了一种全新的针对端对端测试的方法，既能够保证自动化测试的执行，又能够提供丰富的串联测试用例的方式和逻辑控制方式，而且这种机制还需要适应分布式的远程部署。

本发明通过下述技术方案实现：

一种端对端性能测试系统，所述测试系统包括位于底层的多个硬件探针模块，位于顶层的用户管理模块，以及位于中间管理层并分别与所述的多个硬件探针模块和用户管理模块进行数据通信的数据处理单元；

所述数据处理单元包括数据库模块，以及分别与所述数据库模块进行数据交换、存储和通信的会话控制模块和数据控制模块；

所述用户管理模块用于启动/停止会话测试，将指令Ord1下发至所述会话控制模块，所述会话控制模块根据所述指令Ord1模拟生成探测任务数据包M并下发至分布在网络不同位置的所述多个硬件探针模块；

以及与所述数据库模块进行数据交互，获得节点数据并存储在数据库模块中作为数据源O1的数据控制模块；

所述用户管理模块在下发指令Ord1的同时向所述数据控制模块发送计算请求Beg1启动计算，并根据数据源O1和对应指令Ord1硬件探针模块收集的节点网络数据计算获得有效网络参数Z1并写入数据库模块形成性能评估数据包，分析所述评估数据包获得被测端对端的性能测试报告。

所述数据库模块包括在双向探测协议中，负责控制会话中发送探测任务数据包M的数据发送模块Session-sender和用于接收所述探测任务数据包M后产生并发送探测反馈数据包N的数据接收反馈模块Session-reflector，所述数据发送模块Session-sender将探测反馈数据包N发送至数据控制模块以供数据库模块存储记录和用户管理模块可视化呈现。

所述多个硬件探针模块均包括控制终端模块Srever：用于发起建立双向探测协议的探测会话请求，控制会话的初始化和最终停止，以及在初始化和停止的过程中，进行探测、通信和数据包发送方式的协商同步。

所述双向探测协议内容包括通过所述数据控制模块对任何一个所述硬件探针模块的注册信息进行接收，接收探针keepalive信息，向指定探针发送Ping监察探针状态，接收来自Web服务器的测量模板并向指定硬件探针模块分配任务，接收来自探针端的数据，生成测量报告并将其保存至数据库模块。

所述指令Ord1为择一的方式选择一个或多个测试用例进行的反复请求发送或者多个测试用例的组合串联。

所述计算请求Beg1为包括所述数据源O1作为逻辑运算初始值或者中间值的数据属性修改、增加、删除、访问、读取和退出操作的逻辑运算。

本发明所述的端对端性能测试系统的测试流程如下：

（1）控制终端模块client在一个公共服务端口，IANA（互联网数字分配机构）分配的默认端口号为862，进行侦听，初始化一个基于TCP协议的连接，然后Server模块实体回应一个Greeting报文给控制终端模块，信息包括Server所能够支持的安全性（security）和完整性（integrity）模式。

（2）控制终端模块在收到Server模块的反馈后，立刻发送本次网络探测所需要用到的完整性保障和加密封装等要求。Server收到这些参数并校验通过后，发送接收模式报文，并将本次探测的开始时间共享给终端。至此，双向探测协议中的连接建立部分完成。

（3）控制终端实体利用一个独特的TWAMP控制报文发起一个探测问话的请求，服务端回复确认和所支持的相关消息之后，就可以开始进行双向主动探测协议的探测流程了。由于的TWAMP四个逻辑实体之间功能独立，所以可以同时在多个终端实体和多个服务端实体之间，采用多线程方式，同时进行多个探测会话的任务。

（4）探测会话的开始阶段，控制终端实体使用发送Start-Session消息请求test会话，实体做出正面的确认回应。

（5）探测回话请求被服务端实体确认之后，数据发送模块和数据接收反馈模块就可以根据之前的Control实体的设定，不间断地通过刚刚建立的探测会话来进行探测数据包的交互了。

本发明与现有技术相比，具有以下优点及有益效果：

（1）本发明所述方法能够模拟更加贴合实际使用状况的环境，集正常访问、峰值访问，交叉进行逻辑处理于一体的复杂环境模拟，精准的评判系统或者端对端的通信能力强弱，通过施加的相应负载和相应时间数据更加准确的测试被测系统的性能，避免了现有技术中通过测试的系统在实际应用中出现崩溃，反应延迟，通信流量小，能力弱，与测试能力完全不相匹配导致系统需要不断优化调试造成的数据处理和无法正常使用。

（2）本发明可以在测试过程中识别体系中的弱点，受控的负荷可以被增加到一个极端的水平，并突破它，从而修复体系的瓶颈或薄弱的地方；很好的规避了因测试环境与实际使用环境不一致导致的系统在经过测试后，使用瘫痪的问题。并通过重复运行测试，验证调整系统的活动得到预期结果，从而在测试阶段即可改进其性能。

附图说明

图1为本发明中测试系统结构示意图；

图2为本发明测试系统的模块通信示意图。

具体实施方式

下面结合本发明的优选实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

优选实施例：

在对本发明的优选实施例进行说明之前，首先对本实施例中涉及的相关名词，术语，以及为理解本发明所必须要了解的信息进行简要的介绍。

云计算：云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。

端对端：端对端是针对网络中传输的两端设备间的关系而言的。端对端传输指的是在数据传输前，经过各种各样的交换设备，在两端设备间建立一条链路，就像它们是直接相连的一样，链路建立后，发送端就可以发送数据，直至数据发送完毕，接收端确认接收成功。

端对端传输的优点是链路建立后，发送端知道接收设备一定能收到，而且经过中间交换设备时不需要进行存储转发，因此传输延迟小。

端对端传输的缺点是直到接收端收到数据为止，发送端的设备一直要参与传输。如果整个传输的延迟很长，那么对发送端的设备造成很大的浪费。端对端传输的另一个缺点是如果接收设备关机或故障，那么端对端传输不可能实现。

在一个网络系统的不同分层中，可能用到端对端传输，也可能用到点对点传输。如Internet网，IP及以下各层采用点到点传输，4层以上采用端对端传输。

端到端：端到端是网络连接。网络要通信，必须建立连接，不管有多远，中间有多少机器，都必须在两头（源和目的）间建立连接，一旦连接建立起来，就说已经是端到端连接了，即端到端是逻辑链路，这条路可能经过了很复杂的物理路线，但两端主机不管，只认为是有两端的连接，而且一旦通信完成，这个连接就释放了，物理线路可能又被别的应用用来建立连接了。例如TCP就是用来建立这种端到端连接的一个具体协议，SPX也是。

结合附图1所示，本发明所述的端对端性能测试系统包含三种型的功能模块：数据库、中央服务器以及若干硬件探针（硬件探针1、硬件探针2……硬件探针n），用于处理信息、操作或者作为被测试对象的终端。这里的终端可以为任意接入测试网络并负载有软件的PC机、智能设备、智能手机、服务器等。利用测试系统测试任意被测两个可以相互通信的两个终端之间的通信性能，并通过模拟与现实使用环境相同或者相似的负载方式，包括大于、小于、达到甚至超过被测通信终端的通信极限的负载，以获得被测对象在实际使用过程中最真实客观的通信能力的反应。包括通信流量、通信速率、通信稳定性和可靠性。并同时，通过不断改变负载的交叉方式和类型，获得被测终端或者系统的信息处理薄弱点；通过不断增大负载的流量，获得系统通信瓶颈，以暴露系统的最薄弱的环节，以为系统的优化和修护提供科学的参考。

所述中央服务器负责对测量任务的配置和下发，在测试过程中监控所有硬件探针的工作情况，并负责对测试结果的收集和呈现。同时，中央服务器对用户和每个硬件探针提供了访问数据库的统一接口。

数据库负责测量结果数据、操作用户数据和硬件探针数据的存放。

硬件探针负责进行实际的网络探测功能，向中央服务器上传会话管理信息，向数据库记录硬件探测的关键性能参数原始数据。

结合附图2所示，端对端性能测试系统，所述测试系统包括位于底层的多个硬件探针模块，位于顶层的用户管理模块，以及位于中间管理层并分别与所述的多个硬件探针模块和用户管理模块进行数据通信的数据处理单元；

所述数据处理单元包括数据库模块，以及分别与所述数据库模块进行数据交换、存储和通信的会话控制模块和数据控制模块；

所述用户管理模块用于启动/停止会话测试，将指令Ord1下发至所述会话控制模块，所述会话控制模块根据所述指令Ord1模拟生成探测任务数据包M并下发至分布在网络不同位置的所述多个硬件探针模块；

以及与所述数据库模块进行数据交互，获得节点数据并存储在数据库模块中作为数据源O1的数据控制模块；

所述用户管理模块在下发指令Ord1的同时向所述数据控制模块发送计算请求Beg1启动计算，并根据数据源O1和对应指令Ord1硬件探针模块收集的节点网络数据计算获得有效网络参数Z1并写入数据库模块形成性能评估数据包，分析所述评估数据包获得被测端对端的性能测试报告。

所述数据库模块包括在双向探测协议中，负责控制会话中发送探测任务数据包M的数据发送模块Session-sender和用于接收所述探测任务数据包M后产生并发送探测反馈数据包N的数据接收反馈模块Session-reflector，所述数据发送模块Session-sender将探测反馈数据包N发送至数据控制模块以供数据库模块存储记录和用户管理模块可视化呈现。

所述多个硬件探针模块均包括控制终端模块Srever：用于发起建立双向探测协议的探测会话请求，控制会话的初始化和最终停止，以及在初始化和停止的过程中，进行探测、通信和数据包发送方式的协商同步。

所述双向探测协议内容包括通过所述数据控制模块对任何一个所述硬件探针模块的注册信息进行接收，接收探针keepalive信息，向指定探针发送Ping监察探针状态，接收来自Web服务器的测量模板并向指定硬件探针模块分配任务，接收来自探针端的数据，生成测量报告并将其保存至数据库模块。

所述指令Ord1为择一的方式选择一个或多个测试用例进行的反复请求发送或者多个测试用例的组合串联。

所述计算请求Beg1为包括所述数据源O1作为逻辑运算初始值或者中间值的数据属性修改、增加、删除、访问、读取和退出操作的逻辑运算。

进一步地，上述用户管理模块、会话控制模块、数据库模块、数据控制模块、硬件探针模块具体负责的功能和作用罗列如下：

用户管理模块：此模块提供基本的用户管理界面，用户可以原则启动、停止会话或者进行。以及负责将探测到的系统关键性能参数进行可视化呈现。

会话控制模块：根据使用者发送的命令，负责将探测任务下发给分布在网络不同位置的硬件探针模块。

数据库模块：负责与会话控制模块和数据控制模块进行交互，进行存储数据和提供数据源。

数据控制模块：接受到用户命令之后，提议向数据库模块发送计算请求，从而获得有效的网络参数。并且也负责从硬件探针节点收集数据写入数据库模块。

硬件探针节点：此模块的主要功能就是负责进行具体的网络探测。此外，还承担着接收会话控制模块的控制命令以及向数据控制模块上传探测数据的功能。使用本发明进行端对端测试包含的具体流程即原理如下：

创建会话：根据使用者选择的探测计划，创建一个会话作为本次交互的唯一标志，然后将使用者选择的此次探测计划的其他相关信息如探测时间，发送数据包长度等集中存储在设计好的数据库中，由会话控制模块开始本次探测任务。

启动会话：会话控制模块在收到开始探测命令后，根据会话，去数据库中查找本次探测计划的其他相关信息。然后将这些信息拆分成硬件探针控制信息，将这些硬件探针控制信息分发给分布在网络中的硬件探针节点。

进行探测：硬件探针节点在收到探测任务后，将进行发送探测数据包的工作，并将残疾到的性能关键参数数据返回给数据控制模块。同时，硬件探针节点也会定时向会话控制模块报告自己的状态，已确认正常工作中。探测完成预定计划完成后，硬件探针节点完成本次探测计划，将存储在探针端的相关数据上传给数据控制模块，并告知会话控制模块探测计划已经完成。

探测错误退出：不是每次探测计划都能够正常进行到探测结束，如果中间过程中发生网络异常或者硬件探针自身状态异常，将会中断本次会话，在这种情况下，问题探针节点将不可能告知会话控制模块探测计划已完成，会话控制模块正是基于这一点进行判断是否有节点处于非正常状态。

删除回话：进行完探测计划后，将可以从存储在数据库中的探测详细数据进行处理，得到所探测系统的关键性能参数。当得到相关参数后，这些中间数据由于占用空间较大，将会自动删除，而只保留最终的结果数据。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种端对端性能测试系统，所述测试系统包括位于底层的多个硬件探针模块，位于顶层的用户管理模块，以及位于中间管理层并分别与所述的多个硬件探针模块和用户管理模块进行数据通信的数据处理单元，其特征在于：

所述数据处理单元包括数据库模块，以及分别与所述数据库模块进行数据交换、存储和通信的会话控制模块和数据控制模块；

所述用户管理模块用于启动/停止会话测试，将指令Ord1下发至所述会话控制模块，所述会话控制模块根据所述指令Ord1模拟生成探测任务数据包M并下发至分布在网络不同位置的所述多个硬件探针模块；

以及与所述数据库模块进行数据交互，获得节点数据并存储在数据库模块中作为数据源O1的数据控制模块；

所述用户管理模块在下发指令Ord1的同时向所述数据控制模块发送计算请求Beg1启动计算，并根据数据源O1和对应指令Ord1硬件探针模块收集的节点网络数据计算获得有效网络参数Z1并写入数据库模块形成性能评估数据包，分析所述评估数据包获得被测端对端的性能测试报告。

2.根据权利要求1所述的一种端对端性能测试系统，其特征在于：所述数据库模块包括在双向探测协议中，负责控制会话中发送探测任务数据包M的数据发送模块Session-sender和用于接收所述探测任务数据包M后产生并发送探测反馈数据包N的数据接收反馈模块Session-reflector，所述数据发送模块Session-sender将探测反馈数据包N发送至数据控制模块以供数据库模块存储记录和用户管理模块可视化呈现。

3.根据权利要求1所述的一种端对端性能测试系统，其特征在于：所述多个硬件探针模块均包括控制终端模块Server：用于发起建立双向探测协议的探测会话请求，控制会话的初始化和最终停止，以及在初始化和停止的过程中，进行探测、通信和数据包发送方式的协商同步。

4.根据权利要求2或3所述的一种端对端性能测试系统，其特征在于：所述双向探测协议内容包括通过所述数据控制模块对任何一个所述硬件探针模块的注册信息进行接收，接收探针keepalive信息，向指定探针发送Ping监察探针状态，接收来自Web服务器的测量模板并向指定硬件探针模块分配任务，接收来自探针端的数据，生成测量报告并将其保存至数据库模块。

5.根据权利要求1所述的一种端对端性能测试系统，其特征在于：所述指令Ord1为择一的方式选择一个或多个测试用例进行的反复请求发送或者多个测试用例的组合串联。

6.根据权利要求1所述的一种端对端性能测试系统，其特征在于：所述计算请求Beg1为包括所述数据源O1作为逻辑运算初始值或者中间值的数据属性修改、增加、删除、访问、读取和退出操作的逻辑运算。