CN102195829A - 一种通用压力仿真系统及其控制方法 - Google Patents

Abstract

本发明涉及一种应用于网络负载压力测试的仿真系统，特别涉及一种通用压力仿真系统及其控制方法，该通用压力仿真系统是包括表示层、中间层集群、数据层的三层结构，中间层集群包含生产环境中的业务逻辑中间层和测试环境中的测试中间层。本发明取代了对真实网络生产环境进行模拟的方式，在独立于生产环境的测试环境中引入生产环境的网络负载压力参数，并根据导入的压力在测试环境中对测试环境进行优化整合，该优化过程不对真实的生产环境造成任何业务波动，并且测试环境的优化结果为生产环境自身的优化提供了真实有效的依据。

Description

一种通用压力仿真系统及其控制方法

技术领域

本发明涉及一种应用于网络负载压力测试的仿真系统，特别涉及一种通用压力仿真系统及其控制方法。

背景技术

随着互联网越来越迅猛的发展，上网人数每年以10％左右速度增长，数据信息量越来越庞大，加上最近几年来网络热点层出不穷，从新闻传媒到博客，以及SNS、WAP等，使得各大网站的网络负载压力与日俱增，鉴于这种压力，如何不断优化整合已有的软硬件资源以及优化提高当前的架构设计，是当今互联网技术不断发展和创新的动力源泉。

对于软硬件资源或网络架构设计进行优化，需要对其进行测试并提供结果来反映优化是否有效，目前市面上流行的测试工具包括loadrunner、sysbench、bonnie++、iozone、orion等，这些测试工具各自所偏重的测试点均不相同，有的着重于简单易用，有的着重于丰富的报告功能。

上述工具一般是通过自身所模拟的测试环境来进行测试，然而互联网上用户的网络服务请求不仅多样而且复杂，不同的网络热点带来的网络负载压力也不尽相同，通过模拟所得的测试环境比较单一，显然无法模拟出用户复杂化的服务请求。因此，通过测试工具所观测和判定的优化结果与客观实际的结果往往存在较大的偏差，优化测试的瓶颈主要体现在以下几点：

1：在模拟的测试环境中，无法得到互联网网络工作线上生产环境的真实压力状况，所测试的结果与真实环境下的情况存在偏差，难以确认测试环境下所产生的优化结果是否在真实环境中也有效；

2：如果直接在互联网真实环境的网络工作线上进行测试优化，绝大部分情况会造成线上的业务受到影响，轻则业务波动，重则业务停顿，这都是服务商和用户不能容忍的。实际上，一个成功的优化需要多次反复的尝试，很明显，我们不能在真实的业务中进行这种优化尝试；

3：除了优化外，我们还希望能了解互联网网络工作线上的真实压力极限，而这些压力极限往往都不是呈线性增长，并且一些网络热点的分布是很难估计和模拟出来，因此，我们无法对系统的单点或整体的极限做到心中有数。

如果定义网络工作线的真实环境为生产环境，提供测试的环境为测试环境，我们面临的一个问题就是：如何将生产环境引入到测试环境中，而测试环境的任何优化动作不能影响到生产环境的正常运作，并且该测试环境可以引入生产环境的网络负载压力，或是依据需求而定义测试环境的压力，做到测试需求可定制。

鉴于上述问题，本发明公开一种通用压力仿真系统。其具有如下文所述之技术特征，以解决现有的问题。

发明内容

为了解决上述技术问题，本发明将网络工作线的真实环境即生产环境中的真实数据接入到测试环境中，并且不影响生产环境正常的运作，提供了一种通用压力仿真系统。

本发明的一种通用压力仿真系统，包括表示层、中间层集群、数据层。

所述中间层集群分别与表示层、数据层连接，中间层集群对表示层是透明的，数据层对中间层集群是透明的。

所述中间层集群包含业务逻辑中间层和测试中间层，业务逻辑中间层与测试中间层连接。

所述中间层集群是无状态的中间层，该无状态中间层配置有中间层服务器，中间层服务器对业务逻辑数据的处理是利用嵌入式脚本实现的。

所述数据层配置有缓存存储器、数据库代理服务器和多套数据库服务器。

所述的一种通用压力仿真系统的控制方法，包含以下步骤：

步骤1：在生产环境中，业务逻辑中间层接收表示层的用户请求，提交给嵌入式脚本进行处理，嵌入式脚本反序列化用户请求，产生一个请求对象；

步骤2：在生产环境中，业务逻辑中间层针对请求对象，产生一个轻量级线程，调用嵌入式脚本执行生产环境的业务逻辑；

步骤3：在生产环境中，根据数据库管理员的需求，产生一个新的用户请求；

步骤4：在生产环境中，业务逻辑中间层继续执行生产环境的业务逻辑。

所述的一种通用压力仿真系统的控制方法，所述步骤3还包含以下步骤：

步骤3.1：所述产生的新的用户请求异步发送至测试环境的测试中间层，测试中间层接收新的用户请求后提交给嵌入式脚本进行处理，嵌入式脚本反序列化新的用户请求，产生一个新的用户请求对象；

步骤3.2：在测试环境中，测试中间层针对新的用户请求对象，产生一个新的轻量级线程，调用嵌入式脚本执行测试环境的业务逻辑；

步骤3.3：在测试环境中，测试中间层的业务逻辑处理完毕，直接结束。

本发明取代了对真实网络生产环境进行模拟的方式，在独立于生产环境的测试环境中引入生产环境的网络负载压力参数，并根据导入的压力在测试环境中对测试环境进行优化整合，该优化过程不对真实的生产环境造成任何业务波动，并且测试环境的优化结果为生产环境自身的优化提供了依据。

附图说明

图1是本发明的一种通用压力仿真系统的结构图。

图2是本发明的一种通用压力仿真系统的构架示意图。

图3是通用压力仿真系统控制方法的流程图。

具体实施方式

根据本发明的权利要求和发明内容所公开的内容，本发明的技术方案具体如下实施例所述：

实施例：

如图1所示，表示层1配置有Web服务器，主要接收用户的请求并返回数据，为客户端提供应用逻辑控制的访问；中间层集群2配置有中间层服务器，负责对数据业务逻辑处理；数据层3配置有缓存存储器及连接数据库的数据库代理服务器和多套数据库服务器，负责管理对数据库数据的读写。

如图2所示，本发明的一种通用压力仿真系统，包括表示层1、中间层集群2、数据层3，是一个三层体系的结构。

中间层集群2分别与表示层1、数据层3连接，中间层集群2对表示层1是透明的，数据层3对中间层集群2是透明的。

中间层集群2包含业务逻辑中间层21和测试中间层22，业务逻辑中间层21与测试中间层22连接，业务逻辑中间层21主要处理生产环境的业务逻辑，测试中间层22主要处理测试环境的业务逻辑。

中间层集群2是无状态的中间层，该无状态中间层配置有中间层服务器，中间层服务器对业务逻辑数据的处理是利用嵌入式脚本实现的。本发明使用的嵌入式脚本可采用Clurk脚本，Clurk脚本是作为一门方便的嵌入式并可扩展的轻量级脚本来设计的，一直遵从着简单、小巧、可移植、快速的原则，能嵌入到宿主处理单元中，以此来实现可配置性、可扩展性。Clurk虚拟机支持多进程、多线程、轻量级线程的逻辑模型，Clurk脚本配合引擎完成数据描述、配置管理和业务逻辑控制等任务。

数据层3配置有缓存存储器、数据库代理服务器和多套数据库服务器。

如图3所示，所述的一种通用压力仿真系统的控制方法，包含以下的步骤：

步骤1：在生产环境中，业务逻辑中间层21接收表示层1的用户请求，提交给嵌入式脚本进行处理，嵌入式脚本反序列化用户请求，产生一个请求对象；

步骤2：在生产环境中，业务逻辑中间层21针对请求对象，产生一个轻量级线程，调用嵌入式脚本执行生产环境的业务逻辑；

步骤3：在生产环境中，根据数据库管理员的需求，产生一个新的用户请求；

步骤4：在生产环境中，业务逻辑中间层21继续执行生产环境的业务逻辑。

所述的一种通用压力仿真系统的控制方法，所述步骤3还包含以下步骤：

步骤3.1：所述产生的新的用户请求异步发送至测试环境的测试中间层22，测试中间层22接收新的用户请求后提交给嵌入式脚本进行处理，嵌入式脚本反序列化新的用户请求，产生一个新的用户请求对象；

步骤3.2：在测试环境中，测试中间层22针对新的用户请求对象，产生一个新的轻量级线程，调用嵌入式脚本执行测试环境的业务逻辑；

步骤3.3：在测试环境中，测试中间层22的业务逻辑处理完毕，直接结束。

根据上述控制方法的步骤，在生产环境中，中间层服务器接收Web前端表示层1的服务指令，获取客户请求数据，提交给嵌入式脚本处理，针对单个请求，中间层服务器的业务逻辑中间层21按照生产环境要求进行处理，但是涉及处理数据库相关请求时，业务逻辑中间层21在按照自己流程处理业务逻辑的同时，将该服务请求异步发送至测试中间层22，业务逻辑中间层21无需等待测试中间层22的反馈，依然遵从原有业务逻辑的处理方式对客户服务请求进行后续的逻辑处理。

根据上述控制方法的步骤，在测试环境中，测试中间层22获取业务逻辑中间层21异步传送的服务请求，即使获得生产环境的网络压力数据参数，测试中间层22可根据对数据库的测试要求定制处理流程，该处理流程处理完毕之后直接结束，不需要将处理结果返回至生产环境。

本发明将生产环境和测试环境完全隔离，测试中间层22在对数据库的测试处理流程中，以1∶1的比例引入真实网络工作线上的压力至测试环境中，在测试环境中，不仅限于DB当机、网络中断、中间件服务器硬件等故障，其他测试环境中的任何优化动作都不会影响到现实中真实的生产环境。

除了1∶1引入真实环境的压力，该通用压力仿真系统还能以1∶N放大压力，定制前端缓存存储器的命中率，如定制分布式Cache的命中率，调节后端数据库代理服务器、多套数据库服务器处理数据库数据的压力，重新定义用户请求内容，即可针对专门的热点事件、热点用户进行测试单表或单点的极限压力，非线性的热点压力可以据此得到极限压力，用以满足测试可定制的需求。

此外，测试环境中，可任意指定HASH规则，可以跟生产环境完全一致，也可以不一致，给优化重组架构提供可能测试的底层可以是数据库也可以是存储器，提供一种完全透明的底层。

本发明取代了对真实网络生产环境进行模拟的方式，在独立于生产环境的测试环境中引入生产环境的网络负载压力参数，并根据导入的压力在测试环境中对测试环境进行优化整合，该优化过程不对真实的生产环境造成任何业务波动，并且测试环境的优化结果为生产环境自身的优化提供了真实有效的依据。

上述实施例仅是本发明可选实施方式的举例，其所公开的特征仅用于说明及阐述本发明的技术方案，并不用于限定本发明的保护范围。

Claims (6)

1.一种通用压力仿真系统，其特征在于，包括表示层(1)、中间层集群(2)、数据层(3)；

所述中间层集群(2)分别与表示层(1)、数据层(3)连接，中间层集群(2)对表示层(1)是透明的，数据层(3)对中间层集群(2)是透明的；

所述中间层集群(2)包含业务逻辑中间层(21)和测试中间层(22)，业务逻辑中间层(21)与测试中间层(22)连接。

2.根据权利要求1所述的一种通用压力仿真系统，其特征在于，所述中间层集群(2)是无状态的中间层，该中间层配置有中间层服务器。

3.根据权利要求1或2所述的一种通用压力仿真系统，其特征在于，所述中间层服务器对业务逻辑数据的处理是利用嵌入式脚本实现的。

4.根据权利要求1所述的一种通用压力仿真系统，其特征在于，所述数据层(3)配置有缓存存储器、数据库代理服务器和多套数据库服务器。

5.根据权利要求1所述的一种通用压力仿真系统的控制方法，其特征在于，包含以下步骤：

步骤1：在生产环境中，业务逻辑中间层(21)接收表示层(1)的用户请求，提交给嵌入式脚本进行处理，嵌入式脚本反序列化用户请求，产生一个请求对象；

步骤2：在生产环境中，业务逻辑中间层(21)针对请求对象，产生一个轻量级线程，调用嵌入式脚本执行生产环境的业务逻辑；

步骤3：在生产环境中，根据数据库管理员的需求，产生一个新的用户请求；

步骤4：在生产环境中，业务逻辑中间层(21)继续执行生产环境的业务逻辑。

6.根据权利要求4所述的一种通用压力仿真系统的控制方法，其特征在于，所述步骤3还包含以下步骤：

步骤3.1：所述产生的新的用户请求异步发送至测试环境的测试中间层(22)，测试中间层(22)接收新的用户请求后提交给嵌入式脚本进行处理，嵌入式脚本反序列化新的用户请求，产生一个新的用户请求对象；

步骤3.2：在测试环境中，测试中间层(22)针对新的用户请求对象，产生一个新的轻量级线程，调用嵌入式脚本执行测试环境的业务逻辑；

步骤3.3：在测试环境中，测试中间层(22)的业务逻辑处理完毕，直接结束。

Images