CN103116542B - 设备扩容稳定性测试方法 - Google Patents

设备扩容稳定性测试方法 Download PDF

Info

Publication number
CN103116542B
CN103116542B CN201310028411.7A CN201310028411A CN103116542B CN 103116542 B CN103116542 B CN 103116542B CN 201310028411 A CN201310028411 A CN 201310028411A CN 103116542 B CN103116542 B CN 103116542B
Authority
CN
China
Prior art keywords
data
dilatation
test
consistent
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310028411.7A
Other languages
English (en)
Other versions
CN103116542A (zh
Inventor
张志�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201310028411.7A priority Critical patent/CN103116542B/zh
Publication of CN103116542A publication Critical patent/CN103116542A/zh
Application granted granted Critical
Publication of CN103116542B publication Critical patent/CN103116542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种设备扩容稳定性测试方法。涉及计算机应用领域;解决了现有测试方法无法反应系统真实状况的问题。该方法包括:配置测试内容、测试目的和测试脚本;根据所述测试内容和测试目的自动生成测试用I/O数据;对所述测试用I/O数据进行跟踪,记录数据动态;对记录的数据动态进行分析。本发明提供的技术方案适用于在线逻辑存储设备的扩容,实现了自动化的实时扩容稳定性检测。

Description

设备扩容稳定性测试方法
技术领域
本发明涉及计算机应用领域,尤其涉及一种设备扩容稳定性测试方法。
背景技术
数据正在以爆炸式速度递增。McKinsey在其发表的2010年海量数据尖端研究报告中指出,它预计海量数据的零售营业利润率将增长60%,这就是海量数据背后的技术变得如此重要的原因。没有一家公司希望自己的交易数据库被海量数据充斥,但信息需求就是这么大,企业必须保证让那些数据随时处于被访问的状态,以便可以实时进行数据分析,企业才能更好地对不断变化的趋势做出反应。
在很多企业单位的应用环境中,大量的数据时不能够离线进行逻辑存储设备的扩充,而必须要进行在线逻辑存储设备的扩容,比如RAID在线扩容、逻辑卷设备的在线扩容等多种扩容方式。传统的数据扩容的测试方法多集中在手动和借助在具体的应用生产环境中进行测试,这些测试会带来经济成本的增加,同时也会带来对测试结果的信息的统计和分析方面的困难,测试的结果往往很难反应系统真实的状况。
发明内容
本发明提供了一种设备扩容稳定性测试方法,解决了现有测试方法无法反应系统真实状况的问题。
一种设备扩容稳定性测试方法,包括:
配置测试内容、测试目的和测试脚本;
根据所述测试内容和测试目的自动生成测试用I/O数据;
对所述测试用I/O数据进行跟踪,记录数据动态;
对记录的数据动态进行分析。
优选的,所述测试用I/O数据包括:
数据库I/O数据、流媒体I/O数据、大数据块I/O、碎片数据I/O。
优选的,生成测试用I/O数据的源数据为:
已有的测试的数据文件,或通过OS的文件操作的API动态生成的数据。
优选的,所述对所述测试用I/O数据进行跟踪,记录数据动态包括:
对所述测试用I/O数据添加标志位信息,在所述标志位信息中包含多条元数据信息,所述元数据信息由所述测试脚本中配置的逻辑点添加,所述元数据信息包括数据的产生源、数据的目的地址和数据的变化修改时间;
在预置的全周期内跟踪所述测试用I/O数据的标志位信息,记录以下数据动态信息:
数据的修改、数据的访问流程、数据的读写次数、数据的存储位置;
生成包含所述数据动态信息的日志。
优选的,所述对记录的数据进行分析包括:
对比缓存数据段与磁盘上相对应的数据是否一致;
对比扩容前的数据与扩容后的数据是否一致;
对比逻辑设备扩容前与扩容后的数据是否一致;
在所述缓存数据段与磁盘上相对应的数据一致且扩容前的数据与扩容后的数据一致且逻辑设备扩容前与扩容后的数据一致时,判定扩容过程稳定。
优选的,所述对比缓存数据段与磁盘上相对应的数据是否一致具体为:
对比扩容前缓存在缓存数据段中的测试用I/O数据与写入磁盘后的测试用I/O数据是否一致。
优选的,所述对比扩容前的数据与扩容后的数据是否一致包括:
在逻辑设备扩容过程中,分别计算扩容前和扩容后的逻辑设备上的数据按照<元数据段,数据段>的组成方式的哈希值;
对比扩容前的哈希值和扩容后的哈希值,以确定扩容过程中的存储器和磁盘存储设备上的I/O数据是否一致。
本发明提供了一种设备扩容稳定性测试方法,配置测试内容、测试目的和测试脚本,根据所述测试内容和测试目的自动生成测试用I/O数据,对所述测试用I/O数据进行跟踪,记录数据动态,最后对记录的数据动态进行分析,实现了自动化的实时扩容稳定性检测,解决了现有测试方法无法反应系统真实状况的问题。
附图说明
图1是本发明的实施例一提供的一种设备扩容稳定性测试系统的结构示意图;
图2是本发明的实施例二提供的一种设备扩容稳定性测试方法的流程图。
具体实施方式
现有的扩容方式的测试只是针对扩容结果的一些测试,比如扩容后数据是否一致,扩容后数据的可靠性等,也不能实现自动化的测试。并没有一种好的测试方法能够实现对扩容过程进行数据检测的一个测试方法。而扩容过程的性能和可靠性,包括时间和空间的开销等对于衡量一个数据扩容机制的优劣起到了决定性作用。
因此,目前对于一种能够实现系统的在线测试、能够实现测试自动化、同时能够测试出不同应用环境下的测试、节约经济成本、能够对结果进行有效的通缉和分析的新型设备动态平滑扩容系统的测试系统的需求是迫在眉睫。
为了解决上述问题,本发明的实施例提供了一种设备扩容稳定性测试方法。下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
首先结合附图,对本发明的实施例一进行说明。
本发明实施例提供了一种设备扩容稳定性测试系统,区别于传统的数据的可靠性测试系统,以自动化产生负载测试数据为核心,通过动态生成负载数据,对扩容逻辑设备的扩容前、扩容后的数据一致性进行测试。同时,也对缓存中的数据域逻辑设备上的数据一致性进行测试,该系统结构如图1所示,包括:自动生成负载数据模块101,数据迁移数据一致性的测试模块102,数据跟踪模块103,缓存数据一致性模块104,逻辑设备数据一致性的测试模块105,自动性能测试模块106,日志与分析模块107,GUI接口模块108,其中:
自动生成负载数据模块101是系统的核心,负责根据各项测试的动态需要进行数据的动态的I/O数据生成,同时,也可以生成实际应用数据,比如数据库I/O,流媒体I/O数据等;
数据迁移数据一致性的测试模块102主要负责逻辑设备在扩容过程中相关的元数据信息、数据段数据是否与扩容前一致,扩容过程中的I/O数据是否一致,以此来衡量逻辑设备扩容的稳定性;
数据跟踪模块103主要负责跟踪整个I/O数据的生命周期,比如I/O数据的来源、读写访问路径、数据在逻辑设备上的位置等;
缓存数据一致性模块104的作用是对比缓存数据段与磁盘上的相对应的数据是否一致;
逻辑设备数据一致性的测试模块105的作用在于对比扩容前的数据与扩容后数据的一致性;
自动性能测试模块106是根据自动生成负载数据模块101动态生成的数据,动态的统计数据的访问I/O带宽;
日志与分析模块107,记录各个模块的详细信息以及操作;
GUI接口模块108用户图形操作接口,用来协助用户操作本系统。
在一个典型的测试环境中,用户首先根据GUI接口模块108配置测试的内容和测试目的(此处配置测试的内容和目的指的是测试人员在测试之初的一个初始化阶段,测试的内容和目的指的是测试人员可以通过本配置功能配置测试的具体内容项,比如测试某功能项,测试某环节性能等),配置好相关的测试脚本(测试脚本是根据GUI页面上的配置的具体内容生成的标准XML文件),并定制需要记录和分析的数据之后(分析的数据包括I/O带宽、I/O聚合队列等),由自动生成负载数据模块101根据具体的测试需要生成测试用I/O数据。测试用I/O数据的生成主要是根据不同的测试目的和测试内容生成不同的数据。测试用I/O数据生成的方式有多种:可以直接生成一个大数据量的空文件,或者生成一个大数据量的流媒体协议的文件,或者生成多个非连续小数据样本文件等等。生成测试用I/O数据的数据源可以通过各种方式来取得,可以将已有的测试的数据文件添加入本系统作为数据源,也可以在本系统内,通过OS的文件操作的API动态生成数据作为数据源。具体的,测试用I/O数据包括以下数据之一或多种:
测试数据库I/O数据、流媒体I/O数据、大数据块I/O、碎片数据I/O。
数据库I/O数据指的由MYSQL、ORACLE等数据,流媒体I/O数据指的是音视频数据,大数据块I/O指的是文件数据块超过1M的数据,碎片数据I/O指的是在存储器中物理分布非连续线性的分布。
从数据的自动生成一开始,数据的跟踪模块103开始对数据进行跟踪。具体的,通过对测试用I/O数据添加标志位信息,即增加其元数据描述信息来实现。测试用I/O数据每到达一个测试配置信息的逻辑点都会给测试用I/O数据添加一个描述其状态的元数据信息,这些元数据信息包括:数据的产生源、数据的目的地址、数据的变化修改时间等。跟踪整个生命周期范围内的数据动态,包括数据的修改、数据的访问流程、数据的读写次数,数据的存储位置信息等,以便日志与分析模块107能够记录测试用I/O数据的生命周期,保证分析数据的可靠性。
在逻辑设备在线扩容的过程中,将测试用I/O数据缓存至服务器缓存,再写入扩容的逻辑设备,在这个过程中,进行数据一致性的判断。主要包括三方面:
1、数据迁移数据一致性的测试模块102负责逻辑设备在扩容过程中相关的元数据信息、数据段数据是否与扩容前一致。具体的,将扩容前和扩容后的元数据信息、数据段数据分别按照<元数据段,数据段>的组成方式计算哈希值,对比哈希值。其中,元数据段包含对整个数据的描述信息;数据段为实际的数据本身。
2、缓存数据一致性模块104则主要集中在数据由缓存(主要是指存储器)写入在线扩容的逻辑设备前后的数据一致性,即对比缓存数据段与磁盘上的相对应的数据是否一致。
3、逻辑设备数据一致性的测试模块105的测试在于对比扩容前的数据与扩容后数据的一致性。
自动性能测试模块106是根据自动生成负载数据模块101中动态生成的数据,动态的统计数据的访问I/O带宽;由此完成设备容量动态平滑扩容的测试系统的一个典型的测试生命周期。
下面结合附图,对本发明的实施例二进行说明。
本发明实施例提供了一种设备扩容稳定性测试方法,自动生成测试用I/O数据,并对扩容前和扩容后的数据一致性进行测试,实现了对扩容稳定性的实时检测,具体流程如图2所示,包括:
步骤201、配置测试内容、测试目的和测试脚本;
步骤202、根据所述测试内容和测试目的自动生成测试用I/O数据;
测试用I/O数据包括:
数据库I/O数据、流媒体I/O数据、大数据块I/O、碎片数据I/O。
生成测试用I/O数据的源数据为:
已有的测试的数据文件,或通过OS的文件操作的API动态生成的数据。
步骤203、对所述测试用I/O数据进行跟踪,记录数据动态;
本步骤具体包括:
1、对所述测试用I/O数据添加标志位信息,在所述标志位信息中包含多条元数据信息,所述元数据信息由所述测试脚本中配置的逻辑点添加,所述元数据信息包括数据的产生源、数据的目的地址和数据的变化修改时间;
2、在预置的全周期内跟踪所述测试用I/O数据的标志位信息,记录以下数据动态信息:
3、数据的修改、数据的访问流程、数据的读写次数、数据的存储位置;
4、生成包含所述数据动态信息的日志。
步骤204、对记录的数据动态进行分析;
本步骤中,需要进行三方面的对比,一是对比缓存数据段与磁盘上相对应的数据是否一致,二是对比扩容前的数据与扩容后的数据是否一致,三是对比逻辑设备扩容前与扩容后的数据是否一致。
对比缓存数据段与磁盘上相对应的数据是否一致具体为:
对比扩容前缓存在缓存数据段中的测试用I/O数据与写入磁盘后的测试用I/O数据是否一致。
优选的,所述对比扩容前的数据与扩容后的数据是否一致包括:
在逻辑设备扩容过程中,分别计算扩容前和扩容后的逻辑设备上的数据按照<元数据段,数据段>的组成方式的哈希值;
对比扩容前的哈希值和扩容后的哈希值,以确定扩容过程中的存储器和磁盘存储设备上的I/O数据是否一致。
在所述缓存数据段与磁盘上相对应的数据一致且扩容前的数据与扩容后的数据一致且逻辑设备扩容前与扩容后的数据一致时,判定扩容过程稳定。
本发明的实施例提供了一种设备扩容稳定性测试方法,配置测试内容、测试目的和测试脚本,根据所述测试内容和测试目的自动生成测试用I/O数据,对所述测试用I/O数据进行跟踪,记录数据动态,最后对记录的数据动态进行分析,实现了自动化的实时扩容稳定性检测,解决了现有测试方法无法反应系统真实状况的问题。以自动化生产负载测试数据为核心,通过动态生成根据需要测试的不同应用环境负载的I/O数据,对扩容逻辑设备的扩容前、扩容后的数据一致性进行测试,同时,也对缓存中的数据域逻辑设备上的数据一致性进行测试,能够对测试过程进行详细信息的记录,同时对测试结果进行有效的分析和记录,该系统能够记录每一个I/O的生命周期的详细信息。自动化生成负载数据、跟踪数据I/O生命周期、自动记录和分析数据、经济成本低等优点,使得其弥补了传统的测试方案经济成本高测试数据不准确、无法详细分析和记录信息等问题。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现,所述计算机程序可以存储于一计算机可读存储介质中,所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行,在执行时,包括方法实施例的步骤之一或其组合。
可选地,上述实施例的全部或部分步骤也可以使用集成电路来实现,这些步骤可以被分别制作成一个个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现,它们可以集中在单个的计算装置上,也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器,磁盘或光盘等。
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。

Claims (6)

1.一种设备扩容稳定性测试方法,其特征在于,包括:
配置测试内容、测试目的和测试脚本;
根据所述测试内容和测试目的自动生成测试用I/O数据;
对所述测试用I/O数据进行跟踪,记录数据动态;
对记录的数据动态进行分析;
所述对所述测试用I/O数据进行跟踪,记录数据动态包括:
对所述测试用I/O数据添加标志位信息,在所述标志位信息中包含多条元数据信息,所述元数据信息由所述测试脚本中配置的逻辑点添加,所述元数据信息包括数据的产生源、数据的目的地址和数据的变化修改时间;
在预置的全周期内跟踪所述测试用I/O数据的标志位信息,记录以下数据动态信息:
数据的修改、数据的访问流程、数据的读写次数和数据的存储位置;
生成包含所述数据动态信息的日志。
2.根据权利要求1所述的设备扩容稳定性测试方法,其特征在于,所述测试用I/O数据包括以下数据之一或多种:
数据库I/O数据、流媒体I/O数据、大数据块I/O、碎片数据I/O。
3.根据权利要求1或2所述的设备扩容稳定性测试方法,其特征在于,生成测试用I/O数据的源数据为:
已有的测试的数据文件,或通过OS的文件操作的API动态生成的数据。
4.根据权利要求1所述的设备扩容稳定性测试方法,其特征在于,所述对记录的数据动态进行分析包括:
对比缓存数据段与磁盘上相对应的数据是否一致;
对比扩容前的数据与扩容后的数据是否一致;
对比逻辑设备扩容前与扩容后的数据是否一致;
在所述缓存数据段与磁盘上相对应的数据一致且扩容前的数据与扩容后的数据一致且逻辑设备扩容前与扩容后的数据一致时,判定扩容过程稳定。
5.根据权利要求4所述的设备扩容稳定性测试方法,其特征在于,所述对比缓存数据段与磁盘上相对应的数据是否一致具体为:
对比扩容前缓存在缓存数据段中的测试用I/O数据与写入磁盘后的测试用I/O数据是否一致。
6.根据权利要求4所述的设备扩容稳定测试方法,其特征在于,所述对比扩容前的数据与扩容后的数据是否一致包括:
在逻辑设备扩容过程中,分别计算扩容前和扩容后的逻辑设备上的数据按照<元数据段,数据段>的组成方式的哈希值;
对比扩容前的哈希值和扩容后的哈希值,以确定扩容过程中的存储器和磁盘存储设备上的I/O数据是否一致。
CN201310028411.7A 2013-01-24 2013-01-24 设备扩容稳定性测试方法 Active CN103116542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310028411.7A CN103116542B (zh) 2013-01-24 2013-01-24 设备扩容稳定性测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310028411.7A CN103116542B (zh) 2013-01-24 2013-01-24 设备扩容稳定性测试方法

Publications (2)

Publication Number Publication Date
CN103116542A CN103116542A (zh) 2013-05-22
CN103116542B true CN103116542B (zh) 2015-12-02

Family

ID=48414922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310028411.7A Active CN103116542B (zh) 2013-01-24 2013-01-24 设备扩容稳定性测试方法

Country Status (1)

Country Link
CN (1) CN103116542B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423961B (zh) * 2013-09-11 2017-11-17 阿里巴巴集团控股有限公司 一种生成测试脚本的方法及系统
CN105047207A (zh) * 2015-08-13 2015-11-11 浪潮电子信息产业股份有限公司 一种存储系统的动态扩容的性能测试方法及系统
CN105183641B (zh) * 2015-08-13 2017-12-12 浪潮(北京)电子信息产业有限公司 一种内核模块的数据一致性校验方法及系统
CN105095036B (zh) * 2015-08-31 2018-05-04 浪潮(北京)电子信息产业有限公司 一种数据错误定位方法与系统
CN110519107B (zh) * 2019-09-24 2022-06-28 中盈优创资讯科技有限公司 城域网电路扩容方法及装置
CN111309612A (zh) * 2020-02-16 2020-06-19 苏州浪潮智能科技有限公司 一种基于分布式文件系统数据限流测试方法与系统
CN113434489B (zh) * 2021-08-26 2021-11-16 西安热工研究院有限公司 一种实时数据库在线扩容方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740137A (zh) * 2008-11-06 2010-06-16 奇岩电子股份有限公司 存储器的测试方法
CN101819547A (zh) * 2010-03-25 2010-09-01 浪潮电子信息产业股份有限公司 一种针对存储子系统稳定性和可靠性的测试方法
CN102567495A (zh) * 2011-12-22 2012-07-11 国网信息通信有限公司 一种海量信息存储系统及实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4175788B2 (ja) * 2001-07-05 2008-11-05 株式会社日立製作所 ボリューム制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740137A (zh) * 2008-11-06 2010-06-16 奇岩电子股份有限公司 存储器的测试方法
CN101819547A (zh) * 2010-03-25 2010-09-01 浪潮电子信息产业股份有限公司 一种针对存储子系统稳定性和可靠性的测试方法
CN102567495A (zh) * 2011-12-22 2012-07-11 国网信息通信有限公司 一种海量信息存储系统及实现方法

Also Published As

Publication number Publication date
CN103116542A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
CN103116542B (zh) 设备扩容稳定性测试方法
CN101576918B (zh) 具备负载均衡功能的数据缓存系统
Kim et al. HybridStore: A cost-efficient, high-performance storage system combining SSDs and HDDs
US7925491B2 (en) Simulation of installation and configuration of distributed software
CN106021045B (zh) 一种linux系统下服务器硬盘IO性能的测试方法
CN102568522B (zh) 硬盘性能的测试方法和装置
CN106649092A (zh) 一种测试脚本生成方法、网页测试方法、装置和系统
CN105653591A (zh) 一种工业实时数据分级存储及迁移方法
CN105867832B (zh) 一种面向用户与应用的计算机与智能设备加速方法和装置
CN107480039A (zh) 一种分布式存储系统的小文件读写性能测试方法及装置
SG188806A1 (en) Dynamic formulas for spreadsheet cells
CN102880542B (zh) 云计算服务评测系统及评测方法
US9015608B2 (en) Regenerating a user interface area
CN109241165B (zh) 一种数据库同步延时的确定方法、装置和设备
CN103399797B (zh) 服务器资源配置方法及装置
CN113886162B (zh) 一种计算设备性能测试方法、计算设备及存储介质
CN107068199B (zh) 一种ssd硬盘的性能测试方法
CN114564460B (zh) 基于分布式存储系统的参数调优方法、装置、设备及介质
CN109543891A (zh) 容量预测模型的建立方法、设备及计算机可读存储介质
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN103502925A (zh) 一种监控记录管理方法与装置
CN107704350A (zh) 一种自动化测试SSD Qos的测试方法
Avula et al. Performance evaluation of TPC-C benchmark on various cloud providers
CN109992614B (zh) 数据获取方法、装置和服务器
CN105487953A (zh) 一种总线性能分析方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant