CN107590069A - 一种软件定义存储性能评测方法 - Google Patents
一种软件定义存储性能评测方法 Download PDFInfo
- Publication number
- CN107590069A CN107590069A CN201710700581.3A CN201710700581A CN107590069A CN 107590069 A CN107590069 A CN 107590069A CN 201710700581 A CN201710700581 A CN 201710700581A CN 107590069 A CN107590069 A CN 107590069A
- Authority
- CN
- China
- Prior art keywords
- software
- storage
- performance
- indicators
- evaluation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 230000036314 physical performance Effects 0.000 claims abstract description 8
- 238000013102 re-test Methods 0.000 claims abstract description 7
- 238000013461 design Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 238000012854 evaluation process Methods 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013101 initial test Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种软件定义存储性能评测方法，包括：(1)硬件环境搭建；(2)基础硬件性能基线建立；(3)存储软件部署；(4)性能指标初测；(5)存储软件配置能力优化；(6)性能指标复测；(7)性能指标评价；评价流程结束后，评价结果以物理性能基线发挥百分比作为指标，指标涵盖带宽、时延、IOPS、并发能力等内容。本发明公开了一种信息系统基础架构选型中针对软件定义存储的性能评价方法，该方法区别于当前性能评测过程中借助于IOPS、容量、规模等硬性指标的方式，而是更注重于软件本身对于现有硬件性能的榨取能力，更加切合软件定义存储企业应用的实际。
Description
技术领域
本发明涉及一种软件定义存储性能评测方法。
背景技术
软件定义存储(SDS)是一种数据存储方式，所有存储相关的控制工作都仅在相对于物理存储硬件的外部软件中。这个软件不是作为存储设备中的固件，而是在一个服务器上或者作为操作系统(OS)或hypervisor的一部分。
软件定义存储是一个较大的行业发展趋势，这个行业还包括软件定义网络(SDN)和软件定义数据中心(SDDC)。和SDN情况类似，软件定义存储可以保证系统的存储访问能在一个精准的水平上更灵活地管理。软件定义存储是从硬件存储中抽象出来的，这也意味着它可以变成一个不受物理系统限制的共享池，以便于最有效地利用资源。它还可以通过软件和管理进行部署和供应，也可以通过基于策略的自动化管理来进一步简化。
软件定义存储作为新兴技术形态，伴随着“互联网+”的兴起逐步获得推广应用，但是缺乏与其对应的性能评测技术。一直以来沿用的是传统集中式存储评测方法，主要以硬件的IOPS、容量和扩展能力为标准，忽略了软件定义存储中“软能力”的体现；另一方面，由于软件定义存储相关产品具有较强的扩展能力，传统的评价方式获得的性能指标与生产能力严重脱节，迫切需要一种新式的评测方法，客观评价软件定义存储产品的性能水平。
发明内容
为了解决上述技术问题，本发明提供一种软件定义存储性能评测方法。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种软件定义存储性能评测方法，该方法包括以下具体步骤：
(1)硬件环境搭建；
(2)存储软件部署；
(3)物理性能基线测定；
(4)性能指标初测：通过存储软件初始化后，所有本地资源整合映射存储设备的测试值；
(5)存储优化调整：在初测基础上，具体根据现有硬件资源的配置情况，进行针对性优化，优化范围限定在软件层面；
(6)性能指标复测：在存储优化调整后，开展相关软件资源的测试工作；
(7)利用物理性能基线与复测指标进行比对，获得存储软件对于物理硬件的性能榨取能力。
作为本发明的进一步优化方案，步骤(1)中硬件环境包括节点数量、硬盘大小与特性、网络设计与绑定规则、CPU、内存指标。
作为本发明的进一步优化方案，步骤(2)中包括软件安装。
作为本发明的进一步优化方案，步骤(3)中物理性能基线包括存储介质性能说明中定义的性能指标、以及存储软件部署后物理硬件被操作系统格式化后的测试指标。
作为本发明的进一步优化方案，步骤(4)中允许一次补测。
作为本发明的进一步优化方案，步骤(5)中所述的优化包括参数调整、队列调整、规则模块重构。
作为本发明的进一步优化方案，步骤(6)中所述的测试内容包括读写能力、并发能力、带宽占用、时延。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：沿用原评测方法，软件定义存储产品的IOPS均可以达到百万级别，存储能力为PB级别，指标值超越现有集中式存储，但是在存储产品具体实施时，客户尽快IOPS和存储能力的理论值很高，实际环境根本做不到；本发明的性能评测方式强调硬件指标的转化能力，客观上强调了产品的实用性，规避了规模叠加造成的性能假象，而且新的评测方法通过带宽、时延和并发能力分析，便于发现软硬件的瓶颈，为后期产品定型提供数据支撑。
附图说明
图1是本发明的方法流程图。
图2是现有硬件架构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明设计了一种信息系统基础架构选型中，针对软件定义存储的性能评价方法，该方法区别于当前性能评测过程中借助于IOPS、容量、规模等硬性指标的方式，而是更注重于软件本身对于现有硬件性能的榨取能力，更加切合软件定义存储企业应用的实际。
本发明的软件定义存储性能评价方法，强调软件定义存储性能评测过程中的“软能力”，改变了传统存储性能评测强调IOPS、缓存、硬盘规模等“硬指标”，评测方式更加切合软件定义存储所强调的在通用硬件平台上，通过软件技术整合存储资源的技术特征，回避了软件定义存储借助扩展能力实现指标累加对评测过程的干扰。
本发明的方法如图1所示，通过如下步骤实现评测过程：
(1)硬件环境搭建。由于软件定义存储强调通用硬件的技术特性，评测环境要保持一致性特征，硬件环境包括节点数量、硬盘大小与特性、网络设计与绑定规则、CPU、内存等指标，硬件环境是测评的基础；
(2)存储软件部署。存储软件部署主要是软件安装过程，因软件定义存储一般构建在主流OS平台，为保证后期物理基线测试需要，本步骤只包括软件安装，不含存储资源接管内容；
(3)物理性能基线测定。物理性能基线即包括存储介质性能说明中定义的性能指标，也包括存储软件部署后，物理硬件被操作系统格式化后的测试指标，针对整个集群而言，物理性能基线即包括硬件性能的累加值(如IOPS)，也包括最小值(如时延)。
(4)性能指标初测。该步骤主要指，通过存储软件初始化后，所有本地资源整合映射存储设备的测试值，由于初次测试，评价方法中原则上给予一次补测机会。
(5)存储优化调整。主要是指在初测基础上，具体根据现有硬件资源的配置情况，进行针对性优化，优化范围限定在软件层面，可以包括参数调整，队列调整，规则模块重构等内容；
(6)性能指标复测。指在前面存储优化调整后，开展相关软件资源的测试工作，测试内容包括读写能力、并发能力、带宽占用、时延等内容；
(7)利用物理性能基线与复测指标进行比对，获得存储软件对于物理硬件的性能榨取能力，相关指标均应低于1，如高于1则证明测试时间不足，内存缓冲等行为。
下面通过具体实施例对本发明的技术方案做进一步阐述：
(1)现有硬件架构如图2所示，现有硬件物理读写指标如表1所示。
表1现有硬件物理读写指标
(2)分布式存储软件Ceph部署后测试指标如表2所示。
表2分布式存储软件Ceph部署后测试指标
(3)系统优化配置后测试指标如表3所示。
表3系统优化配置后测试指标
考虑到软件定义存储产品Ceph的读写模式：
IOPS评价指标，IOPS转化率为：
其中，IOPS0为IOPS输出数，IOPSi为存储介质固有能力，Counti为存储介质赌赢存储池的副本数，Logi为对应介质的日志副本数。
时延转化计算，时延具有不可叠加性，时延计算相对简单：
LAT％＝max(LATi)/LAT0 (2)
其中，LATi为原有设备固有时延，LAT0为存储资源输出时延。
带宽利用率与节点数密切相关，考虑单一客户端情况下，带宽占用与输出带宽的关系，这里软件定义存储后端的交换带宽不做考虑。
其中，BW0为压测过程存储磁盘固有带宽，BWi为存储磁盘固有带宽，BWd为对外服务通道带宽。
(4)获得最终的性能指标评价如表4所示。
表4最终的性能指标评价
对比另一款软件定义存储产品ScaleIO，所有优化后指标均高于50％，开源软件Ceph的产品化能力还是很薄弱。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (7)
1.一种软件定义存储性能评测方法，其特征在于，该方法包括以下具体步骤：
(1)硬件环境搭建；
(2)存储软件部署；
(3)物理性能基线测定；
(4)性能指标初测：通过存储软件初始化后，所有本地资源整合映射存储设备的测试值；
(5)存储优化调整：在初测基础上，具体根据现有硬件资源的配置情况，进行针对性优化，优化范围限定在软件层面；
(6)性能指标复测：在存储优化调整后，开展相关软件资源的测试工作；
(7)利用物理性能基线与复测指标进行比对，获得存储软件对于物理硬件的性能榨取能力。
2.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(1)中硬件环境包括节点数量、硬盘大小与特性、网络设计与绑定规则、CPU、内存指标。
3.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(2)中包括软件安装。
4.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(3)中物理性能基线包括存储介质性能说明中定义的性能指标、以及存储软件部署后物理硬件被操作系统格式化后的测试指标。
5.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(4)中允许一次补测。
6.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(5)中所述的优化包括参数调整、队列调整、规则模块重构。
7.根据权利要求1所述的一种软件定义存储性能评测方法，其特征在于，步骤(6)中所述的测试内容包括读写能力、并发能力、带宽占用、时延。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700581.3A CN107590069A (zh) | 2017-08-16 | 2017-08-16 | 一种软件定义存储性能评测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700581.3A CN107590069A (zh) | 2017-08-16 | 2017-08-16 | 一种软件定义存储性能评测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107590069A true CN107590069A (zh) | 2018-01-16 |
Family
ID=61043214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710700581.3A Pending CN107590069A (zh) | 2017-08-16 | 2017-08-16 | 一种软件定义存储性能评测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107590069A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407984A (zh) * | 2018-10-11 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种存储系统性能监测方法、装置和设备 |
| CN111930299A (zh) * | 2020-06-22 | 2020-11-13 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
| CN111984527A (zh) * | 2020-07-10 | 2020-11-24 | 招联消费金融有限公司 | 软件的性能测试方法、装置、设备和介质 |
| US10983855B2 (en) | 2019-02-12 | 2021-04-20 | Microsoft Technology Licensing, Llc | Interface for fault prediction and detection using time-based distributed data |
| CN116737522A (zh) * | 2023-06-21 | 2023-09-12 | 山东日照发电有限公司 | 一种系统性能优化方法 |
-
2017
- 2017-08-16 CN CN201710700581.3A patent/CN107590069A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407984A (zh) * | 2018-10-11 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种存储系统性能监测方法、装置和设备 |
| CN109407984B (zh) * | 2018-10-11 | 2021-12-17 | 郑州云海信息技术有限公司 | 一种存储系统性能监测方法、装置和设备 |
| US10983855B2 (en) | 2019-02-12 | 2021-04-20 | Microsoft Technology Licensing, Llc | Interface for fault prediction and detection using time-based distributed data |
| US11030038B2 (en) | 2019-02-12 | 2021-06-08 | Microsoft Technology Licensing, Llc | Fault prediction and detection using time-based distributed data |
| CN111930299A (zh) * | 2020-06-22 | 2020-11-13 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
| CN111930299B (zh) * | 2020-06-22 | 2024-01-26 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
| CN111984527A (zh) * | 2020-07-10 | 2020-11-24 | 招联消费金融有限公司 | 软件的性能测试方法、装置、设备和介质 |
| CN116737522A (zh) * | 2023-06-21 | 2023-09-12 | 山东日照发电有限公司 | 一种系统性能优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11269819B1 (en) | Managing consistency models in a distributed database | |
| CN107590069A (zh) | 一种软件定义存储性能评测方法 | |
| CN103793425B (zh) | 用于分布式系统的数据处理方法及装置 | |
| CN105893139B (zh) | 在云存储环境中用于向租户提供存储服务的方法和装置 | |
| US9569108B2 (en) | Dataset replica migration | |
| US10331669B2 (en) | Fast query processing in columnar databases with GPUs | |
| CN111737127A (zh) | 用于测试地图服务的方法和装置 | |
| US20150169339A1 (en) | Determining Horizontal Scaling Pattern for a Workload | |
| US10789234B2 (en) | Method and apparatus for storing data | |
| CN108475201A (zh) | 一种虚拟机启动过程中的数据获取方法和云计算系统 | |
| CN105302536A (zh) | MapReduce应用的相关参数的配置方法和装置 | |
| CN115292280A (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
| US11777519B2 (en) | Partitional data compression | |
| US9772877B2 (en) | Managing I/O operations in a shared file system | |
| US11340950B2 (en) | Service band management system | |
| US11321205B2 (en) | Enterprise-scale time series graphite backend infrastructure | |
| US10712959B2 (en) | Method, device and computer program product for storing data | |
| CN109951506A (zh) | 一种存储集群性能的评估方法及设备 | |
| CN109947704A (zh) | 一种锁类型切换方法、装置及集群文件系统 | |
| CN114741332A (zh) | 内存访问方法和装置、计算设备及存储介质 | |
| CN113568736A (zh) | 数据处理方法及装置 | |
| Boito et al. | The impact of applications’ I/O strategies on the performance of the Lustre parallel file system | |
| CN113704165B (zh) | 一种超融合服务器、数据处理方法及装置 | |
| CN102868725A (zh) | 云操作系统分布式存储中文件存储方法 | |
| CN110413215A (zh) | 用于获取访问权限的方法、设备和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180116 |