CN101291260B

CN101291260B - 一种用于流媒体服务的负载测试系统以及测试方法

Info

Publication number: CN101291260B
Application number: CN2007101236172A
Authority: CN
Inventors: 李福堂
Original assignee: Shenzhen Coship Electronics Co Ltd
Current assignee: Shenzhen Coship Electronics Co Ltd
Priority date: 2007-09-25
Filing date: 2007-09-25
Publication date: 2011-08-10
Anticipated expiration: 2027-09-25
Also published as: CN101291260A

Abstract

本发明公开一种用于流媒体服务的负载测试系统以及测试方法，该测试系统包括：用于提供流媒体服务的流媒体服务器；用于根据测试任务向流媒体服务器发起流媒体服务的点播请求，并记录点播流媒体服务时相应的点播质量参数的至少一个测试客户端；用于生成分配至所述测试客户端的测试任务，并获取所述测试客户端对应测试任务的点播质量参数以及所述流媒体服务器运行的性能日志，通过分析点播质量参数以及性能日志获取流媒体服务的测试结果的测试管理服务器。本发明通过SOAP通信协议、集中配置测试任务、自动完成自测并生成测试报告来实现对流媒体服务器的性能进行综合测试，具有测试准确、真实，且适用测试场合较广的优点。

Description

一种用于流媒体服务的负载测试系统以及测试方法

技术领域

本发明涉及流媒体测试技术，尤其是涉及一种用于流媒体服务、对流媒体服务器的性能进行综合测试的负载测试系统以及测试方法。

背景技术

流媒体(Streaming Media)技术的出现，使得通过网络观看和传输影音文件成为一种现实。所谓流媒体技术，就是将视音频文件经过压缩处理后，放在网络服务器上进行分段传输，客户端计算机不用将整个视音频文件下载到本地，便可以即时收听和收看的全新方式。但在目前的网络带宽的限制下，为了达到网络上流式传播文件的目的，视音频文件经过压缩处理，减小了文件的大小，从而使影音文件的品质有所下降。

由于流媒体业务是一种宽带业务，对于网络带宽、抖动、延迟和丢包率都有较高的要求，因此，尤其是在业务忙碌的时段内，客户端在使用流媒体服务时，可能会产生黑屏、马赛克、图像停格、声音时断时续等现象。

为了解决流媒体在播放时出现的问题，寻找影响流媒体业务品质的问题，需要对流媒体业务进行测试。目前的测试手段大致可以分为两类：

一类是采用最原始最简单的测试方法，即让大量测试人员在不同时段、不同地方点播流媒体，并记录所遇到黑屏、马塞克、图像停格、声音时断时续等现象，最后将记录数据作汇总统计。该测试方法费时费力，测试人员必须一直仔细地盯着画面，很容易疏忽掉一些细节，且测试数据的统计工作也相当繁琐。

另一类是使用专门的测试软件进行测试。目前国际上公开发布的流媒体服务器性能模拟测试工具只有美国微软公司发布的“Windows Media LoadSimulator”。该工具可以完全自动的模拟打开流媒体、关闭流媒体的连接，因此，利用该工具大大减轻了测试人员的工作量，且可以提高测试效率。然而，该测试工具不会真正进行播放流媒体，仅偏重于对流媒体服务器进行压力测试，故无法真实的模拟用户的使用场景，当然也无法检测到播放流媒体时出现的停顿、马赛克等现象。此外，该测试工具还具有以下缺点：一是只支持微软公司自己的协议，只能测试微软公司的流媒体服务器；二是不支持分步式多个负载工作站测试数据的汇总与分析；三是其只能运行在Windows操作系列平台上。

此外，申请号为200410058810.9的中国专利申请，公开了一种用于流媒体服务的负载模拟器以及负载模拟系统，该系统虽然能够实现模拟客户端用户播放流媒体的使用场景进行测试，但该系统只支持RTSP(Real Time StreamingProtocol)协议，且系统配置复杂，对流媒体的测试非常不方便。

发明内容

本发明的目的在于提出一种对用于提供流媒体服务的流媒体服务器的性能进行综合测试的负载测试系统以及测试方法，以解决现有测试方法对流媒体服务器测试不方便的技术问题。

为解决上述问题，本发明公开一种用于流媒体服务的负载测试系统，包括用于提供流媒体服务的流媒体服务器；与所述流媒体服务器连接的至少一个测试客户端，用于根据测试任务向流媒体服务器发起流媒体服务的点播请求，并记录点播流媒体服务时相应的点播质量参数；分别与所述流媒体服务器以及所述测试客户端连接的测试管理服务器，用于生成分配至所述测试客户端的测试任务；并获取所述测试客户端对应测试任务的点播质量参数以及所述流媒体服务器运行的性能日志，通过分析点播质量参数及性能日志获取流媒体服务的测试结果；

所述测试客户端包括：测试任务处理模块，用于从所述测试管理服务器获取所分配的测试任务；依据所述流媒体服务器提供的软件开发工具设计的负载产生模块，与所述测试任务处理模块连接，用于根据测试任务向流媒体服务器发起流媒体服务的点播请求，并记录点播流媒体服务时用于评估流媒体服务质量的点播质量参数，并于测试任务完成后将所述点播质量参数发送至所述测试管理服务器。

较优的，所述测试管理服务器包括：测试任务管理模块，用于生成分配至所述测试客户端的测试任务；测试数据分析模块，用于接收所述测试客户端发送的所述点播质量参数，以及所述流媒体服务器发送的性能日志，并通过分析所述点播质量参数以及所述性能日志，获取流媒体服务的测试结果。

较优的，所述测试管理服务器还包括：管理员配置模块，与所述测试任务管理模块连接，用于配置测试任务相关的信息，包括配置用于测试的对应流媒体文件列表、所述测试客户端的当前状态信息、以及增加、删除和修改所述测试客户端的信息。

较优的，所述测试客户端与所述测试管理服务器之间，以及所述测试管理服务器与所述流媒体服务器之间，均采用SOAP通信协议进行信息交互。

较优的，所述测试任务至少包括：对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式。

较优的，所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息；而所述性能日志包括至少记载了所述流媒体服务器的CUP占有率、磁盘吞吐量、网络吞吐量的信息。

另外，本发明还公开一种用于流媒体服务的负载测试方法，包括步骤：

每个测试客户端接收测试管理服务器所分配的测试任务，根据测试任务向流媒体服务器发起流媒体服务的点播请求，记录并上报点播流媒体服务时用于评估流媒体服务质量的点播质量参数，并于测试任务完成后将所述点播质量参数发送至测试管理服务器；

测试管理服务器接收并分析所述测试客户端对应测试任务的点播质量参数以及所述流媒体服务器运行的性能日志，通过分析点播质量参数以及所述流媒体服务器运行的性能日志获取流媒体服务的测试结果。

较优的，所述测试客户端获取测试任务以及上报所述点播质量参数、以及所述流媒体服务器上报运行的性能日志，均是采用SOAP通信协议进行信息交互。

较优的，所述测试任务至少包括：对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式；所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息；而所述性能日志包括至少记载了所述流媒体服务器的CUP占有率、磁盘吞吐量、网络吞吐量的信息。

与现有技术相比，本发明具有以下有益效果：

1、本发明所有的测试任务都可以在所述测试管理服务器中集中部署，各测试客户端只要与所述测试管理服务器通信就可以获取自己的测试任务并自动执行，因此，本发明具有集中管理的优点；

2、本发明在测试任务设置完毕后，各测试客户端可以自动进行测试，同时将测试结果自动发送到所述测试管理服务器，并生成性能分析报表，因而本发明具有测试完全自动化、无须人为干预的优点，且通过模拟用户点播流媒体的实际使用场景对流媒体服务进行测试，具有测试数据准确、真实的优点；

3、本发明所有的管理都基于WEB方式管理，用户可以远程管理测试系统，获取测试结果，因而具有操作方便的优点；

4、本发明测试客户端中的负载产生模块是采用开放式结构设计，利用各流媒体服务器、视频服务器厂家提供的软件开发工具包(SDK)进行开发，这样，本系统支持各种协议的流就媒体服务器，可以测试各个厂家的流媒体服务器的性能，因而，本发明具有适用面广的优点。

附图说明

图1是本发明负载测试系统的结构示意图。

图2是本发明负载测试方法的流程示意图。

具体实施方式

本发明提出了一种代替人工进行流媒体的点播测试，以成本低廉、自动记录异常、分析结果准确、统计方便、少量人工参与的主要优点，实现对提供流媒体服务的流媒体服务器的性能进行综合测试的负载测试系统以及测试方法。

为便于理解，先详细阐述本发明的实现策略：

从流媒体点播的基本思想来看，任何一台连入互联网的计算机都有可能成为流媒体用户；即，安装了客户端点播程序的计算机都可以成为本系统的一个测试客户端(或简称为客户端)；因此，本发明的测试系统要求具有远程通信的能力。并且，待测流媒体以及点播流媒体的客户端可能会不断变化，所以，要求流媒体服务器与客户端之间具有更为灵活、松散的关系，这对本发明的测试系统提出了松散耦合的需求。另外，客户端上运行的客户端程序与服务器端的实现可能是异构的，这里需要将两者集成为一个相互协调互动的Web应用。

另外，Web Service体系使用简单对象访问协议(Simple Object AccessProtocol，SOAP)实现应用与服务之间的通信，用WSDL(Web Services DescriptionLanguage)文件对服务进行标准的描述。Web Service体系具有完全的平台、语言独立性，它进行了更高程度的抽象，只要遵守Web Service的接口即可进行服务的请求与调用，同时，SOAP协议一般是使用标准的HTTP协议，可以透明地穿越防火墙。Web Service可以在Web上发布，通过采用Web Service，部署和集成的费用大大降低。基于Web Service的应用程序具备了松散耦合、面向构建和跨技术实现的特点，因此，是实现本发明的较佳解决途径。

以下以使用Web Service体系为例来进一步阐述本发明的测试系统。请参见图1所示，本发明的测试系统包括：用于提供流媒体服务的流媒体服务器110；若干个测试客户端120，均与所述流媒体服务器110连接；以及测试管理服务器130，分别与所述流媒体服务器110以及所述测试客户端120连接。

其中，所述测试客户端120包括：用于从所述测试管理服务器获取所分配的测试任务的测试任务处理模块121；与所述测试任务处理模块121连接的负载产生模块122，可以模拟一个或多个利用流媒体服务厂商提供的软件开发工具(Sofeware Development Kit，SDK)开发的客户端点播程序，用于根据测试任务向所述流媒体服务器110发起流媒体服务的点播请求，并记录点播流媒体服务时用于评估流媒体服务质量的点播质量参数，并于测试任务完成后将所述点播质量参数发送至所述测试管理服务器。所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息。

所述测试客户端120与所述测试管理服务器130之间采用SOAP通信协议进行信息交互。启动所述测试客户端120后，所述测试任务处理模块121通过SOAP协议与所述测试管理服务器130通信，获取测试任务的信息，然后调用所述负载产生模块122；由所述负载产生模块122根据测试任务的要求，通过测试任务处理模块121向所述流媒体服务器110发起指定点播文件和指定数量的点播请求。另外，所述负载产生模块122实时记录点播图像画面质量信息(即点播质量参数)，比如影片URL、影片开始结束时间、比特率、帧数、数据包数、丢包率、网络连接状态与每分钟比特率统计等信息，以通过该点播质量参数来评估网络播放流媒体的质量。并且，在每个影片点播完成后，所述负载产生模块122会将点播质量参数信息发送到所述测试管理服务器130。

另外，所述流媒体服务器110与所述测试管理服务器130之间通过SOAP协议进行通信，获取所述测试管理服务器130设定的测试任务，以及所述测试管理服务器130中所设置的性能日志的发送间隔，从而为所述测试客户端120提供流媒体服务做准备，比如，复制测试任务对应流媒体文件的分数，准备点播素材等。此外，所述流媒体服务器110定期记录自身的运行性能日志信息，包括：CPU占用率、磁盘IO占用率、磁盘吞吐量、网络吞吐量等信息，并根据所述测试管理服务器130中所设置的性能日志的发送间隔，将性能日志发送至所述测试管理服务器130。

所述测试管理服务器130需要运行Web Server与数据库，包括：管理员配置模块131、测试任务管理模块132和测试数据分析模块133。所述管理员配置模块131与所述测试任务管理模块132连接，用于配置测试任务相关的信息，包括配置用于测试的对应流媒体文件列表、所述测试客户端的当前状态信息、以及增加、删除和修改所述测试客户端的信息；所述测试任务管理模块132用于生成分配至所述测试客户端120的测试任务；所述测试数据分析模块133用于接收所述测试客户端120发送的所述点播质量参数，以及所述流媒体服务器110发送的性能日志，并通过分析所述点播质量参数以及所述性能日志，获取流媒体服务器的测试结果。

另外，所述管理员配置模块131可以直接以具有管理员权限的帐号、密码从所述测试管理服务器130登陆，也可以从任意一台可以通过HTTP访问所述测试管理服务器130的PC机上进行登陆。

所述测试任务相关信息至少包括：测试任务对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器110发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式。

其中，播放流媒体文件模式可以是如下3种模式的任何一种：

1、单文件模式(SF)，即所有的负载产生模块122都点播同一流媒体文件，这种情况测试的是理想情况下所述流媒体服务器110的性能。

2、一负载一文件的模式(SE)，即每个所述负载产生模块122都点播不同的流媒体文件，这种情况测试的是极端情况下所述流媒体服务器110的性能。

3、按2/8规律的文件模式(SSN，N为整数，表示系统支持N个并发用户)，即：根据系统设计的并发容量，按2/8规律确定文件数，2/8规律就是80％的用户只访问20％的节目。假设我们设计系统支持N个并发用户，则理论上，极端来讲，80％的用户访问20％的节目，剩下20％的用户每个人访问一个节目。如此，就可以计算出理论上极端被访问的节目文件数目X，公式为：X＝X*0.2+N*0.2；X＝N/4。也就是说，如果我们模拟测一个实际并发用户为200的系统，只要准备50个流媒体文件就可以了。

所述测试客户端启动测试的次序包括顺序启动或随即启动。所谓顺序启动(S2)，是指所有的负载产生模块122按设定的一个时间间隔依次启动，该时间间隔可以根据实际需要，设置为2秒、5秒等。而所谓随即启动(RX，X为一个整数)，是指所有的负载产生模块122在一个设定时间范围内随即启动，比如，设置启动的时间范围为R1000，表示所有的负载产生模块122在1-1000秒内随即启动，且每个所述负载产生模块122的启动时间间隔是随即而不相同的。

所述流媒体服务点播过程控制模式包括顺序播放模式和控制播放模式。所谓顺序播放模式(S)，是指每个所述负载产生模块122开始点播流媒体文件后，中间不做任何操作，依次播放到文件结尾。而控制播放模式(T)是指每个所述负载产生模块122开始点播流媒体文件后，中间模拟一些点播控制，比如暂停、快进、快退、拖动播放等操作，且这些操作都是随机产生的。

因此，用户可以选择这三种参数的组合，设置测试任务中实际的测试模式。如设置测试模式为SF-S2-S，表示单文件顺序播放：参与点播的文件只有一个，比如1.mp4；每个所述负载产生模块122每隔2秒发起对该文件的点播请求，且点播从头到尾依次播放完毕。

又如，设置测试模式为SS200-R1000-T，表示按2/8规律模拟200并发用户的点播用户，这时参与点播的文件为50个；所述流媒体服务器110需要把将测试文件复制49份，比如所述流媒体服务器110上的测试文件是1.mp4，则需要将该文件复制成2.mp4、3.mp4、...、50.mp4；这时，所有200个所述负载产生模块122要在1000秒发起对这50个文件的访问：编号0-16的负载产生模块访问1.mp4、编号17-32的负载产生模块访问2.mp4、...、编号144-160的负载产生模块访问10.mp4，最后面编号为161-200的负载产生模块依次访问11.mp4、12.mp4、...、50.mp4；每个点播请求发起后，播放过程中随机模拟一些点播控制操作，如暂停、快进、快退、拖动播放等。

另外，当所有的测试客户端120的测试任务完成后，所述测试管理服务器130会把收集到的数据进行综合分析后，生成性能测试报表。比如，该报表的样式如下表1所示：

表1

其中，所述流媒体服务器110的当前性能指标：CPU占用率、磁盘读速度、磁盘写速度以及网络吞吐量，均是指在执行存在若干个并发用户的测试任务时，所述流媒体服务器110的自身性能指标。这些参数均可以通过所述流媒体服务器110安装的操作系统(Operation System，OS)中所携带的任务管理器获得。

另外，所述测试管理服务器130还提供查询功能，包括查询性能测试报表、测试日志、以及测试点状态等多种信息的查询。并且，测试管理员还可以通过浏览器访问所述测试管理服务器130，实现多个测试点的播放列表配置，也可以修改任意一部待测流媒体文件的测试配置参数，甚至还可以实现按流媒体服务器IP、测试点编号、播放时段对测试结果的统计。

相应的，本发明公开一种用于流媒体服务的负载测试方法，请参见图2所示，包括如下步骤：

步骤S210：每个测试客户端接收分配的测试任务。

步骤S220：根据测试任务向流媒体服务器发起流媒体服务的点播请求。

步骤S230：获取点播请求对应的流媒体文件，开始播放流媒体文件，记录并上报点播流媒体服务时相应的点播质量参数。

步骤S240：接收并分析所述测试客户端对应测试任务的点播质量参数，以及获取并分析所述流媒体服务器运行的性能日志

步骤S250：通过分析所述点播质量参数和所述性能日志，获取流媒体服务的测试结果。

其中，所述测试客户端获取测试任务以及上报所述点播质量参数、以及所述流媒体服务器上报运行的性能日志，均是采用SOAP通信协议进行信息交互。

所述测试任务至少包括：对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式；所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息；而所述性能日志包括至少记载了所述流媒体服务器的CUP占有率、磁盘吞吐量、网络吞吐量的信息。

综上所述，本发明具有如下有意技术效果：

Claims

1.一种用于流媒体服务的负载测试系统，包括用于提供流媒体服务的流媒体服务器，其特征在于，还包括：

与所述流媒体服务器连接的至少一个测试客户端，用于根据测试任务向流媒体服务器发起流媒体服务的点播请求，并记录点播流媒体服务时相应的点播质量参数；

分别与所述流媒体服务器以及所述测试客户端连接的测试管理服务器，用于生成分配至所述测试客户端的测试任务；并获取所述测试客户端对应测试任务的点播质量参数以及所述流媒体服务器运行的性能日志，通过分析点播质量参数以及性能日志获取流媒体服务的测试结果；

所述测试客户端包括：

测试任务处理模块，用于从所述测试管理服务器获取所分配的测试任务；

依据所述流媒体服务器提供的软件开发工具设计的负载产生模块，与所述测试任务处理模块连接，用于根据测试任务向流媒体服务器发起流媒体服务的点播请求，并记录点播流媒体服务时用于评估流媒体服务质量的点播质量参数，并于测试任务完成后将所述点播质量参数发送至所述测试管理服务器。

2.根据权利要求1所述的用于流媒体服务的负载测试系统，其特征在于，所述测试管理服务器包括：

测试任务管理模块，用于生成分配至所述测试客户端的测试任务；

测试数据分析模块，用于接收所述测试客户端发送的所述点播质量参数，以及所述流媒体服务器发送的性能日志，并通过分析所述点播质量参数以及所述性能日志，获取流媒体服务的测试结果。

3.根据权利要求2所述的用于流媒体服务的负载测试系统，其特征在于，所述测试管理服务器还包括：

管理员配置模块，与所述测试任务管理模块连接，用于配置测试任务相关的信息，包括配置用于测试的对应流媒体文件列表、所述测试客户端的当前状态信息、以及增加、删除和修改所述测试客户端的信息。

4.根据权利要求1所述的用于流媒体服务的负载测试系统，其特征在于，所述测试客户端与所述测试管理服务器之间，以及所述测试管理服务器与所述流媒体服务器之间，均采用SOAP通信协议进行信息交互。

5.根据权利要求1-4任何一项所述的用于流媒体服务的负载测试系统，其特征在于，所述测试任务至少包括：对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式。

6.根据权利要求5所述的用于流媒体服务的负载测试系统，其特征在于，所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息；而所述性能日志包括至少记载了所述流媒体服务器的CUP占有率、磁盘吞吐量、网络吞吐量的信息。

7.一种用于流媒体服务的负载测试方法，其特征在于，包括步骤：

8.根据权利要求7所述的用于流媒体服务的负载测试方法，其特征在于，所述测试客户端获取测试任务以及上报所述点播质量参数、以及所述流媒体服务器上报运行的性能日志，均是采用SOAP通信协议进行信息交互。

9.根据权利要求7或8所述的用于流媒体服务的负载测试方法，其特征在于，所述测试任务至少包括：对应的测试客户端信息、所述流媒体服务器的IP地址以及所采用的通信协议信息、以及包含测试模式与设置所述流媒体服务器发送的性能日志的时间间隔的测试信息；且该测试模式包括播放流媒体文件模式、所述测试客户端启动测试的次序、以及流媒体服务点播过程控制模式；所述点播质量参数至少包括点播的流媒体文件的URL、点播开始和结束时间、比特率、帧数、数据包数量、丢包率、网络连接状态、以及每分钟比特率统计的信息；而所述性能日志包括至少记载了所述流媒体服务器的CUP占有率、磁盘吞吐量、网络吞吐量的信息。