CN102647308A - 一种分布式文件系统的自动测试方法 - Google Patents

一种分布式文件系统的自动测试方法 Download PDF

Info

Publication number
CN102647308A
CN102647308A CN2012100906411A CN201210090641A CN102647308A CN 102647308 A CN102647308 A CN 102647308A CN 2012100906411 A CN2012100906411 A CN 2012100906411A CN 201210090641 A CN201210090641 A CN 201210090641A CN 102647308 A CN102647308 A CN 102647308A
Authority
CN
China
Prior art keywords
test
client
simulant
file system
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100906411A
Other languages
English (en)
Inventor
何立志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UTStarcom Telecom Co Ltd
Original Assignee
UTStarcom Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UTStarcom Telecom Co Ltd filed Critical UTStarcom Telecom Co Ltd
Priority to CN2012100906411A priority Critical patent/CN102647308A/zh
Publication of CN102647308A publication Critical patent/CN102647308A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种分布式文件系统的自动测试方法，所述分布式文件系统包括文件管理服务器和数据存储服务器，每台文件管理服务器、数据存储服务器上均安装有测试监控模块，用于测试的测试控制中心安装在一台测试服务器上，模拟客户端安装在模拟客户端组的测试服务器组上，通过测试控制中心设置需要测试的场景，对分布式文件系统的数据交换进行测试，并记录测试过程中的输出与结果，同时采集分布式文件系统的系统状态。实现了分布式文件系统的自动化测试和数据的自动采集保存功能，节省了大量的手工劳动，保证了数据连续、准确、有效性。

Description

一种分布式文件系统的自动测试方法
技术领域
本发明涉及自动化测试领域，尤其涉及通过网络自动化测试分布式文件系统和自动采集测试数据的方法。
背景技术
首先简要介绍分布式文件系统结构，无论是Hadoop分布式文件系统(HDFS)还是Google的GFS，甚至UT斯达康开发的DFS，所有这些分布式文件系统的设计都包括客户端(Client)、文件管理(File Manage)、数据服务器(Data Server)三个模块。其结构总体如附图1所示。
客户端是用来对DFS进行访问和操作的客户端。客户端提供了数据文件写入、读取、查询、删除等功能入口。
文件管理模块主要功能是：DFS的控制中心，担负了整个文件系统的目录管理；并管理所有数据存储组中的数据服务器状态管理的功能；模块本身并不存储文件内容，但是负责管理所有已经使用和未使用的的数据块信息。另外本模块还将负责响应客户端的注册和对文件的所有合法操作请求。
数据服务器主要功能是：存储文件数据块内容。数据块的大小是可以通过指令指定的。在存储文件时，每个数据块将被备份为三个备份，分别存放在三个数据服务器上，而且尽量放在不同的组中，以最大程度地保证数据的可靠性。当某个数据服务器故障时，文件管理模块将控制把该数据服务器上保存的数据挪到其他数据服务器上。
现有的分布式文件系统的测试方法基本是下面这样的：
1)先登录测试服务器，安装测试软件。
2)运行测试软件，在服务器上创建一个客户端A，注册到文件管理模块，建立了与文件系统的连接。
3)在A客户端上执行一个或者多个写、读、文件覆盖、删除等用例。然后客户端记录测试结果。
4)如果需要观察、记录分布式文件系统的各个功能单元的系统开销，测试执行人需要手工操作各个功能单元所在的服务器。
5)如果需要获取文件上/下载失败的点和原因，也需要手工操作查询文件管理和数据所在的服务器。
现有测试方法的特点是整个测试过程的执行人需要手工完成和手工采集测试中所需要的数据。缺点就是由此占用了大量人工，而且不能保证数据实时有效性。例如某个用例执行过程中失败，测试执行者不可能及时发现并且无法及时采集到失败前关键点和失败后关键点的被测试对象的数据。
发明内容
本发明的目的在于实现分布式文件的自动化测试和数据的自动采集保存功能。以解决手工测试和手工数据采集所消耗的大量人工，并保证数据的连续、准确、有效性。
一种分布式文件系统的自动测试方法，所述分布式文件系统包括文件管理服务器和数据存储服务器，每台文件管理服务器、数据存储服务器上均安装有测试监控模块，用于测试的测试控制中心安装在一台测试服务器上，模拟客户端安装在模拟客户端组的测试服务器组上，所述自动测试方法包括步骤：
(1)、登录测试控制中心，设置需要测试的场景；
(2)、开始执行测试，测试控制中心启动模拟客户端和测试监控模块；
(3)、模拟客户端开始执行用例集，向文件管理服务器发起文件操作请求，文件管理服务器返回数据服务器IP地址给模拟客户端；
(4)、模拟客户端与数据存储服务器进行数据交换，完成数据交换后通知文件管理服务器数据交换完成；
(5)、模拟客户端记录执行过程中的事件与结果，数据交换完成后向测试中心反馈执行完成；
(6)、测试控制中心在收到模拟客户端的用例集执行完成的反馈后，自动指令测试监控模块保存监控记录并停止监控，结束测试。
所述的模拟客户端为至少一个，安装在一台测试服务器或分别安装在不同的测试服务器上，在测试控制中心的控制下同时执行不同的用户例来对分布式文件系统进行测试。
所述步骤(3)中所述设置需要测试的场景包括选取用例集，设定执行和持续时间，设定模拟客户端执行的任务进程，设定进程监控配置，事件处理设置，配置模拟客户端的运行脚本等。
所述步骤(4)，在数据交换过程中，如发生异常，则模拟客户端向文件管理服务器发送异常信息。
所述的监控记录是指测试监控模块在测试执行的过程中采集并记录的被测试对象的状态和其所在服务器的系统状态，包括进程运行状态、进程占用资源状态、系统运行状态和系统资源状态。
本发明中，只需要设置不同的测试场景，对分布式文件系统的测试操作，包括写文件，读文件，删除、更新、文件续传等都可以使用同样测试方法完成。
本发明分布式文件系统的自动测试方法，实现了分布式文件系统的自动化测试和数据的自动采集保存功能，节省了大量的手工劳动，保证了数据连续、准确、有效性。
附图说明
图1为分布式文件系统结构图；
图2为分布式文件系统自动化测试模型结构图；
图3为本发明自动化测试方法流程图。
具体实施方式
下面结合附图对本发明具体实施方式作进一步的阐述：
如附图2中所示，分布式文件系统包括数据存储服务器组与文件管理服务器组。本发明使用标准的Socket协议建立主从模式(Master-Slave模式)的自动化测试网络，测试网络包括测试控制中心(Test Control Center)、模拟客户端(Simulated client)和测试监控模块(Test Monitor)，共三类模块实体，可独立安装。
其中测试控制中心安装在一台测试服务器上，模拟客户端安装在模拟客户端组的测试服务器组上，每台文件管理服务器(File Manage)、数据存储服务器(Storage Data)上均安装有测试监控模块。
所述的主从模式的自动化测试网络可以很方便地管理多个模拟客户端和测试监控模块，其中测试控制中心负责管理所有的模拟客户端和测试监控模块；负责设置测试场景，包括选取用例集，设定执行和持续时间，设定模拟客户端执行的任务进程，设定进程监控配置，事件处理设置，配置模拟客户端的运行脚本等。
模拟客户端是用例集的执行功能主体，其根据测试控制中心设置的脚本启动，并运行设定的用例集，其上实现针对文件系统的所有操作，还负责记录执行过程中的输出和结果。
模拟客户端可以是多台不同的模拟客户端，安装在不同的测试服务器上，在测试控制中心的控制下同时执行或分别执行不同的用户例来对分布式文件系统进行测试。
测试监控模块是被测试对象的监测器，与被测试对象安装在一起，在测试执行的过程中负责采集并记录被测试对象的状态和其所在服务器的系统状态，包括但不限于进程运行状态、进程占用资源状态、系统运行状态和系统资源状态等。
如图3所示，测试的流程如下：
(1)、登录测试控制中心，设置需要测试的场景；
(2)、开始执行测试，测试控制中心启动模拟客户端和测试监控模块；
(3)、模拟客户端开始执行用例集，向文件管理服务器发起文件操作请求，文件管理服务器返回数据服务器IP地址给模拟客户端；
(4)、模拟客户端与数据存储服务器进行数据交换，完成数据交换后通知文件管理服务器数据交换完成；
(5)、模拟客户端记录执行过程中的事件与结果，数据交换完成后向测试中心反馈执行完成；
(6)、测试控制中心在收到模拟客户端的用例集执行完成的反馈后，自动指令测试监控模块保存监控记录并停止监控，结束测试。
所述步骤(4)中，在数据交换过程中，如发生异常事件，则模拟客户端向文件管理服务器发送异常信息。
本发明中，只需要设置不同的测试场景，对分布式文件系统的测试操作，包括写文件，读文件，删除、更新、文件续传等都可以使用同样测试方法完成。
主从模式的自动化测试系统从根本上实现了一次开发、多次使用，精确执行、全程记录，减少人工、提高效率的目标。是分布式文件系统自动化测试的一站式解决方案。

Claims (8)

1.一种分布式文件系统的自动测试方法，所述分布式文件系统包括文件管理服务器和数据存储服务器，每台文件管理服务器、数据存储服务器上均安装有测试监控模块，用于测试的测试控制中心安装在一台测试服务器上，模拟客户端安装在模拟客户端组的测试服务器组上，其特征在于：所述自动测试方法包括步骤：
(1)、登录测试控制中心，设置需要测试的场景；
(2)、开始执行测试，测试控制中心启动模拟客户端和测试监控模块；
(3)、模拟客户端开始执行用例集，向文件管理服务器发起文件操作请求，文件管理服务器返回数据服务器IP地址给模拟客户端；
(4)、模拟客户端与数据存储服务器进行数据交换，完成数据交换后通知文件管理服务器数据交换完成；
(5)、模拟客户端记录执行过程中的事件与结果，数据交换完成后向测试中心反馈执行完成；
(6)、测试控制中心在收到模拟客户端的用例集执行完成的反馈后，自动指令测试监控模块保存监控记录并停止监控，结束测试。
2.如权利要求1所述的分布式文件系统的自动测试方法，其特征在于，所述的模拟客户端为至少一个，安装在一台测试服务器或分别安装在不同的测试服务器上。
3.如权利要求2所述的分布式文件系统的自动测试方法，其特征在于，所述模拟客户端在测试控制中心的控制下同时执行不同的用户例来对分布式文件系统进行测试。
4.如权利要求1所述的分布式文件系统的自动测试方法，其特征在于，所述步骤(3)中所述设置需要测试的场景包括选取用例集，设定执行和持续时间，设定模拟客户端执行的任务进程，设定进程监控配置，事件处理设置，配置模拟客户端的运行脚本。
5.如权利要求1所述的分布式文件系统的自动测试方法，其特征在于，所述步骤(4)，在数据交换过程中，如发生异常，则模拟客户端向文件管理服务器发送异常信息。
6.如权利要求1所述的分布式文件系统的自动测试方法，其特征在于，所述步骤(6)中，所述的监控记录包括测试监控模块在测试执行的过程中采集并记录的被测试对象的状态。
7.如权利要求6所述的分布式文件系统的自动测试方法，其特征在于，所述的监控记录包括测试监控模块在测试执行的过程中采集并记录的其所在服务器的系统状态。
8.如权利要求7所述的分布式文件系统的自动测试方法，其特征在于，所述服务器的系统状态包括进程运行状态、进程占用资源状态、系统运行状态和系统资源状态。
CN2012100906411A 2012-03-30 2012-03-30 一种分布式文件系统的自动测试方法 Pending CN102647308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100906411A CN102647308A (zh) 2012-03-30 2012-03-30 一种分布式文件系统的自动测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100906411A CN102647308A (zh) 2012-03-30 2012-03-30 一种分布式文件系统的自动测试方法

Publications (1)

Publication Number Publication Date
CN102647308A true CN102647308A (zh) 2012-08-22

Family

ID=46659893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100906411A Pending CN102647308A (zh) 2012-03-30 2012-03-30 一种分布式文件系统的自动测试方法

Country Status (1)

Country Link
CN (1) CN102647308A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902542A (zh) * 2012-12-25 2014-07-02 百度在线网络技术（北京）有限公司 一种测试环境中数据库的运维方法及系统
CN105205003A (zh) * 2015-10-28 2015-12-30 努比亚技术有限公司 一种基于集群化系统的自动化测试方法和装置
CN105808428A (zh) * 2016-03-03 2016-07-27 南京大学 一种对分布式文件系统进行统一性能测试的方法
CN106055486A (zh) * 2016-08-19 2016-10-26 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的自动化运维方法及平台
CN106897200A (zh) * 2017-02-22 2017-06-27 郑州云海信息技术有限公司 一种基于redis的分布式文件系统性能测试方法
CN107222878A (zh) * 2016-03-22 2017-09-29 中国移动通信集团终端有限公司 一种终端的测试方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252471A (zh) * 2008-03-20 2008-08-27 中兴通讯股份有限公司 一种分布式自动化测试系统及其方法
CN102035697A (zh) * 2010-12-31 2011-04-27 中国电子科技集团公司第十五研究所 一种文件系统的并发连接数性能测试系统和方法
CN102045402A (zh) * 2010-12-28 2011-05-04 云海创想信息技术（北京）有限公司 一种分布式文件系统的数据采集方法和数据采集系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252471A (zh) * 2008-03-20 2008-08-27 中兴通讯股份有限公司 一种分布式自动化测试系统及其方法
CN102045402A (zh) * 2010-12-28 2011-05-04 云海创想信息技术（北京）有限公司 一种分布式文件系统的数据采集方法和数据采集系统
CN102035697A (zh) * 2010-12-31 2011-04-27 中国电子科技集团公司第十五研究所 一种文件系统的并发连接数性能测试系统和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902542A (zh) * 2012-12-25 2014-07-02 百度在线网络技术（北京）有限公司 一种测试环境中数据库的运维方法及系统
CN105205003A (zh) * 2015-10-28 2015-12-30 努比亚技术有限公司 一种基于集群化系统的自动化测试方法和装置
CN105808428A (zh) * 2016-03-03 2016-07-27 南京大学 一种对分布式文件系统进行统一性能测试的方法
CN105808428B (zh) * 2016-03-03 2018-09-14 南京大学 一种对分布式文件系统进行统一性能测试的方法
CN107222878A (zh) * 2016-03-22 2017-09-29 中国移动通信集团终端有限公司 一种终端的测试方法和装置
CN107222878B (zh) * 2016-03-22 2020-12-22 中国移动通信集团终端有限公司 一种终端的测试方法和装置
CN106055486A (zh) * 2016-08-19 2016-10-26 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的自动化运维方法及平台
CN106897200A (zh) * 2017-02-22 2017-06-27 郑州云海信息技术有限公司 一种基于redis的分布式文件系统性能测试方法

Similar Documents

Publication Publication Date Title
CN102647308A (zh) 一种分布式文件系统的自动测试方法
US10795856B1 (en) Methods, systems, and computer readable mediums for implementing a data protection policy for a transferred enterprise application
CN102999400A (zh) 一种云存储系统数据备份方法及装置
CN108984335A (zh) 备份和恢复数据的方法和系统
CN103488546B (zh) 一种支持多级别数据和数据库在线并发备份与恢复方法
CN106156289A (zh) 一种读写对象存储系统中的数据的方法以及装置
CN112817791B (zh) 一种工作面集群开采状态的移动端监控方法
CN103516755B (zh) 虚拟存储方法及设备
CN103562904A (zh) 在服务的次要位置重放作业
CN103685486A (zh) 跨数据中心集群的分布式系统监控方法及系统
CN103678042A (zh) 一种基于数据分析的备份策略信息生成方法
CN107733735B (zh) 一种植入于压测宝中的脚本录制系统及方法
CN109460343A (zh) 基于日志的系统异常监控方法、装置、设备及存储介质
CN105577475A (zh) 自动化性能测试系统及方法
CN104077199A (zh) 基于共享磁盘的高可用集群的隔离方法和系统
CN105205167A (zh) 一种日志数据系统
CN102624096B (zh) 配电现场作业智能监管系统
CN105430096A (zh) 并行文件系统的自动安装方法及装置
CN115048452A (zh) 一种基于区块链的大数据治理系统
CN103365740A (zh) 一种数据冷备方法及装置
CN103778024A (zh) 服务器系统及其讯息处理方法
CN111782618B (zh) 一种数据同步系统
CN103226501A (zh) 一种数据库的逻辑备份方法以及逻辑备份系统
CN105022779A (zh) 一种利用Filesystem API实现HDFS文件存取方法
CN103810258A (zh) 基于数据仓库的数据汇聚调度方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120822