CN102664708B - 一种提高云存储实际应用效率的方法 - Google Patents

一种提高云存储实际应用效率的方法 Download PDF

Info

Publication number
CN102664708B
CN102664708B CN201210116403.3A CN201210116403A CN102664708B CN 102664708 B CN102664708 B CN 102664708B CN 201210116403 A CN201210116403 A CN 201210116403A CN 102664708 B CN102664708 B CN 102664708B
Authority
CN
China
Prior art keywords
value
cloud storage
data
application
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210116403.3A
Other languages
English (en)
Other versions
CN102664708A (zh
Inventor
黄臣
李瑞东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201210116403.3A priority Critical patent/CN102664708B/zh
Publication of CN102664708A publication Critical patent/CN102664708A/zh
Application granted granted Critical
Publication of CN102664708B publication Critical patent/CN102664708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种提高云存储实际应用效率的方法,步骤如下:模拟用户应用,在云存储得出测试样例,在云存储应用终端,通过检测系统统计数据流,其IOps值设定为i,MBps值设定为m,并得出其比值L=i/m,检测过程中采用统一标准测试模型用例,以减少环境的不确定因素的影响,小数据选取512B、4K、8K和32K数据块;大数据选取1M、2M和4M数据块,测试时间每项12小时,并使用同一种脚本进行测试;2)得出不同测试项目的L值后,获取L值中最大值Lmax和最小值Lmini,同时得出中间临界值Ln,通过分析L值测试数据中的分布情况,以确定云存储提供应用服务中,小数据块和大数据块的应用偏重。

Description

一种提高云存储实际应用效率的方法
技术领域
本发明涉及计算机应用技术领域, 具体地说是一种提高云存储实际应用效率的方法。
背景技术
随着物联网、云计算等新兴技术的发展,存储的传统架构也由NAS(NetworkAccessServer)和SAN(Storage Area Network),向云存储发展。传统的SAN和NAS设备不能满足物联网、云计算的应用需求,因为它们提供的是共享模式的存储资源。同时SAN也并不具备云存储的特点--动态性、弹性与灵活性。云存储的随时、随地、随需访问等特性加快了其实际应用推广。
在云存储为各类大型数据中心、各类云计算应用平台提供有效云存储应用时,处理的各种数据具有差异性,有些数据以小块为主,有些数据以大块为主。传统数据处理方法为不加区分应用数据大小,统一在云存储终端进行处理,制约了云存储性能和效率的提高。
发明内容
本发明的目的是提供一种提高云存储实际应用效率的方法。
本发明的目的是按以下方式实现的,步骤如下:
1)模拟用户应用,在云存储得出测试样例,在云存储应用终端,通过检测系统统计数据流,其IOps值设定为i,MBps值设定为m,并得出其比值L=i/m,检测过程中采用统一标准测试模型用例,以减少环境的不确定因素的影响,小数据选取512B、4K、8K和32K数据块;大数据选取1M、2M和4M数据块,测试时间每项12小时,并使用同一种脚本进行测试;
2)得出不同测试项目的L值后,获取L值中最大值Lmax和最小值Lmini,同时得出中间临界值Ln,通过分析L值测试数据中的分布情况,以确定云存储提供应用服务中,小数据块和大数据块的应用偏重;
3)最后,在实际应用中,系统实时检测云存储实际应用中环境,当得出的Lx值满足在Lmax值和Ln值之间时,则动态分配云存储终端更多的内存池和处理单元进行小块数据的处理;当云存储应用中Lx值满足在Ln和Lmini值之间时,则分配更多的带宽和冗余链路以满足数据大块数据的处理和传输的稳定性;
4)通过分析Lx的比值范围,达到区分处理的数据块大小,给出云存储的最优应对方法,以满足提高云应用中对外服务层对云存储终端数据的应用需求,提高云存储性能的目的。
本发明的有益效果是,通过分析应用中处理的大块数据或者小块数据的比重,给出云存储的最优应对方法,提高云存储的性能。
附图说明
图1是系统结构示意图;
图2是系统流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的目的为一种提高云存储在多复杂应用环境中,提高实际应用效率的方法。
首先,模拟用户应用,在云存储得出测试样例。在云存储应用终端,通过检测系统统计数据流其IOps值(设定为i)和MBps值(设定为m),并得出其比值L=i/m。检测过程中采用统一标准测试模型用例,以减少环境的不确定因素的影响。小数据选取512B、4K、8K和32K数据块;大数据选取1M、2M和4M数据块,测试时常为每项12小时,并使用同一种脚本进行测试;
其次,通过得出不同测试项目的L值后,获取L值中最大值Lmax和最小值Lmini,同时得出中间临界值Ln。通过分析L值测试数据中的分布情况,以确定云存储提供应用服务中,小数据块和大数据块的应用偏重;
最后,在实际应用中,系统实时检测云存储实际应用中环境,当得出的Lx值满足在Lmax值和Ln值之间时,则动态分配云存储终端更多的内存池和处理单元进行小块数据的处理;当云存储应用中Lx值满足在Ln和Lmini值之间时,则分配更多的带宽和冗余链路以满足数据大块数据的处理和传输的稳定性。
通过考虑Lx的比值范围,达到区分处理的数据块大小,给出云存储的最优应对方法,以满足提高云应用中对外服务层对云存储终端数据的应用需求,提高云存储性能的目的。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。

Claims (1)

1.一种提高云存储实际应用效率的方法, 其特征在于步骤如下:
1)模拟用户应用,在云存储得出测试样例,在云存储应用终端,通过检测系统统计数据流,其IOps值设定为i,MBps值设定为m,并得出其比值L=i/m,检测过程中采用统一标准测试模型用例,以减少环境的不确定因素的影响,小数据选取512B、4K、8K和32K数据块;大数据选取1M、2M和4M数据块,测试时间每项12小时,并使用同一种脚本进行测试;
2)得出不同测试项目的L值后,获取L值中最大值Lmax和最小值Lmini,同时得出中间临界值Ln,通过分析L值测试数据中的分布情况,以确定云存储提供应用服务中,小数据块和大数据块的应用偏重;
3)最后,在实际应用中,系统实时检测云存储实际应用中环境,当得出的Lx值满足在Lmax值和Ln值之间时,则动态分配云存储终端更多的内存池和处理单元进行小块数据的处理;当云存储应用中Lx值满足在Ln和Lmini值之间时,则分配更多的带宽和冗余链路以满足数据大块数据的处理和传输的稳定性;
4)通过分析Lx的比值范围,达到区分处理的数据块大小,给出云存储的最优应对方法。
CN201210116403.3A 2012-04-20 2012-04-20 一种提高云存储实际应用效率的方法 Active CN102664708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210116403.3A CN102664708B (zh) 2012-04-20 2012-04-20 一种提高云存储实际应用效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210116403.3A CN102664708B (zh) 2012-04-20 2012-04-20 一种提高云存储实际应用效率的方法

Publications (2)

Publication Number Publication Date
CN102664708A CN102664708A (zh) 2012-09-12
CN102664708B true CN102664708B (zh) 2017-02-08

Family

ID=46774132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210116403.3A Active CN102664708B (zh) 2012-04-20 2012-04-20 一种提高云存储实际应用效率的方法

Country Status (1)

Country Link
CN (1) CN102664708B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946429A (zh) * 2012-11-07 2013-02-27 浪潮电子信息产业股份有限公司 一种基于云存储的高效资源动态调度方法
CN108683567B (zh) * 2018-05-30 2021-12-07 郑州云海信息技术有限公司 一种基于mcs和服务器的交换机端口故障测试方法及系统
CN111352821A (zh) * 2020-03-10 2020-06-30 深圳市宝能投资集团有限公司 业务测试方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576915A (zh) * 2009-06-18 2009-11-11 北京大学 一种分布式b+树索引系统及构建方法
CN101605148A (zh) * 2009-05-21 2009-12-16 何吴迪 云存储的并行系统的架构方法
CN101984632A (zh) * 2010-11-15 2011-03-09 中兴通讯股份有限公司 一种分布式缓存系统中负荷分配方法、装置及服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089579A1 (en) * 2010-10-08 2012-04-12 Sandeep Ranade Compression pipeline for storing data in a storage cloud

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605148A (zh) * 2009-05-21 2009-12-16 何吴迪 云存储的并行系统的架构方法
CN101576915A (zh) * 2009-06-18 2009-11-11 北京大学 一种分布式b+树索引系统及构建方法
CN101984632A (zh) * 2010-11-15 2011-03-09 中兴通讯股份有限公司 一种分布式缓存系统中负荷分配方法、装置及服务器

Also Published As

Publication number Publication date
CN102664708A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CN106803799B (zh) 一种性能测试方法和装置
CN107342913B (zh) 一种cdn节点的探测方法和装置
US10843084B2 (en) Method and system for gathering time-varying metrics
CN102664708B (zh) 一种提高云存储实际应用效率的方法
WO2014194704A1 (en) A grouping processing method and system
CN114095567B (zh) 数据访问请求的处理方法、装置、计算机设备及介质
CN108510147B (zh) 一种基于残差波动模型的电能质量综合评价方法
CN110108938B (zh) 基于gpu数据流驱动的实时电磁频谱分析系统及方法
CN108696649A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN116700920A (zh) 云原生混合部署集群资源调度方法及装置
CN111611171B (zh) 测试用例的处理方法、装置及存储介质
Hassan et al. Effect of varying segment size on DASH streaming quality for mobile user
WO2021051879A1 (zh) 反向代理评价模型中目标参数选取方法及相关装置
CN105337810B (zh) 一种对待测设备进行网络测试的方法、系统及装置
CN205540723U (zh) 一种基于云计算的信息检索系统
CN111061807A (zh) 分布式数据采集分析系统及方法、服务器及介质
CN105337850A (zh) 一种物联网数据处理方法及物联网网关
CN105872082A (zh) 基于容器集群负载均衡算法的细粒度资源响应系统
CN109542867A (zh) 分布式数据采集方法及装置
CN106789853A (zh) 一种转码器的动态调度方法及装置
CN105471674A (zh) 测试服务器性能的方法及系统
CN106161129B (zh) 路由设备中数据流分析的方法、装置及路由设备
CN207764835U (zh) 电力投资风险预警系统
CN115220131A (zh) 气象数据质检方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant