CN106775467A - 一种基于自动分层技术热度统计数据的存储系统优化方法 - Google Patents

一种基于自动分层技术热度统计数据的存储系统优化方法 Download PDF

Info

Publication number
CN106775467A
CN106775467A CN201611110022.9A CN201611110022A CN106775467A CN 106775467 A CN106775467 A CN 106775467A CN 201611110022 A CN201611110022 A CN 201611110022A CN 106775467 A CN106775467 A CN 106775467A
Authority
CN
China
Prior art keywords
data
system optimization
automatic zoning
automatic
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611110022.9A
Other languages
English (en)
Inventor
刘明甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611110022.9A priority Critical patent/CN106775467A/zh
Publication of CN106775467A publication Critical patent/CN106775467A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明公开了一种基于自动分层技术热度统计数据的存储系统优化方法，所述方法基于IO热度数据分布状况，结合系统现状自动评估并给出优化改造方案，为系统优化提供更专业可靠的理论和数据支撑。本发明为系统优化提供了理论和数据支撑,辅助管理者进行管理维护，降低系统维护成本,又提高系统性能和管理水平，优化提升系统整体性能，尤其是系统响应时间(response time)和每秒读写次数(IOPS)两方面性能。

Description

一种基于自动分层技术热度统计数据的存储系统优化方法
技术领域
本发明涉及存储系统软件技术领域，具体涉及一种基于自动分层技术热度统计数据的存储系统优化方法,主要针对存储系统性能优化功能，提供一种更高效的评估存储系统性能优化空间,并自动生成优化方案的方法，主要为了提高存储系统优化管理水平。
背景技术
为了提高存储系统的性能，目前常见的存储系统都提供有自动分层的功能，自动分层技术将存储系统中的热数据自动迁移到性能更高的SSD存储设备上，同时也会将冷数据迁移到HDD/SATA/NL等更廉价的存储设备上。降低存储成本并提高系统对热数据的响应速度。在自动分层技术基础上，存储系统管理者更关注的问题是系统中热数据的总量如何,如何分布,是否需要在系统中增加SSD设备,需要增加的容量是多少,增加后能够提升的性能有多少,等等。
本发明主要针对解决此类问题而设计，通过对系统热数据的分析，给系统管理者提供系统优化改造的建议报告，辅助决策，提升存储系统的使用性能和管理水平。
发明内容
本发明要解决的技术问题是：本发明针对以上问题，提供一种基于自动分层技术热度统计数据的存储系统优化方法。
本发明所采用的技术方案为：
一种基于自动分层技术热度统计数据的存储系统优化方法，所述方法基于IO热度数据分布状况，结合系统现状自动评估并给出优化改造方案，为系统优化提供更专业可靠的理论和数据支撑。
所述方法利用自动分层模块的热度数据，并依据自动分层的数据迁移原则建立全新的自动化系统优化评估模型，在自动化系统评估模型的基础上,自动生成系统优化方案，为系统优化提供了理论和数据支撑,辅助管理者进行管理维护。
所述方法基于存储自动分层模块输出热度数据文件,统计每一最小物理单元(extent)的读写IO次数，以此计算出现有存储设备各卷上的不同类型热度数据(热/温/冷)的总量及占比分布，并依据热数据迁移到SSD层，温数据迁移到HDD层，冷数据迁移到NL层这一自动分层技术的迁移原则，自动计算需要对应增加的SSD/HDD/NL设备数量和容量，并评估增加后对系统性能的改善，最终输出系统优化的评估建议报告。
本发明的有益效果为：
本发明为系统优化提供了理论和数据支撑,辅助管理者进行管理维护，降低系统维护成本,又提高系统性能和管理水平，优化提升系统整体性能，尤其是系统响应时间(response time)和每秒读写次数(IOPS)两方面性能。
附图说明
图1为本发明自动分层模块输出的数据文件格式示例图。
具体实施方式
下面根据说明书附图，结合具体实施方式对本发明进一步说明：
实施例1
一种基于自动分层技术热度统计数据的存储系统优化方法，所述方法基于IO热度数据分布状况，结合系统现状自动评估并给出优化改造方案，为系统优化提供更专业可靠的理论和数据支撑。
实施例2
在实施例1的基础上，本实施例所述方法利用自动分层模块的热度数据，并依据自动分层的数据迁移原则建立全新的自动化系统优化评估模型，在自动化系统评估模型的基础上,自动生成系统优化方案，为系统优化提供了理论和数据支撑,辅助管理者进行管理维护。
实施例3
在实施例2的基础上，本实施例所述方法基于存储自动分层模块输出热度数据文件,统计每一最小物理单元(extent)的读写IO次数，以此计算出现有存储设备各卷上的不同类型热度数据(热/温/冷)的总量及占比分布，并依据热数据迁移到SSD层，温数据迁移到HDD层，冷数据迁移到NL层这一自动分层技术的迁移原则，自动计算需要对应增加的SSD/HDD/NL设备数量和容量，并评估增加后对系统性能的改善，最终输出系统优化的评估建议报告。
实施例4
如图1所示，TIER 0-2表示存储系统的三层架构，extend表示最小的物理分配单元，bucket表示根据响应时间将数据分散到12个(0-11)buckets中，其中,bucket 3-11表示热数据，bucket0、2表示温数据，bucket 1表示冷数据，ctg 0-3表示将数据按IO总数及阈值标准分为active large/inactive/low activity/active四种。
根据热度数据容量及占比分布情况，得到热数据、温数据、冷数据在存储系统各卷上热度数据的容量及分布；
根据所得到的热数据分布状态，自动计算出存储池内应当添加的各类型的设备数量和容量，并评估出对系统整体性能的提升效果供参考。
实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种基于自动分层技术热度统计数据的存储系统优化方法，其特征在于，所述方法基于IO热度数据分布状况，结合系统现状自动评估并给出优化改造方案，为系统优化提供理论和数据支撑。
2.根据权利要求1所述的一种基于自动分层技术热度统计数据的存储系统优化方法，其特征在于，所述方法利用自动分层模块的热度数据，并依据自动分层的数据迁移原则建立全新的自动化系统优化评估模型，在自动化系统评估模型的基础上,自动生成系统优化方案，为系统优化提供了理论和数据支撑,辅助管理者进行管理维护。
3.根据权利要求2所述的一种基于自动分层技术热度统计数据的存储系统优化方法，其特征在于，所述方法基于存储自动分层模块输出热度数据文件,统计每一最小物理单元的读写IO次数，以此计算出现有存储设备各卷上的不同类型热度数据的总量及占比分布，并依据热数据迁移到SSD层，温数据迁移到HDD层，冷数据迁移到NL层这一自动分层技术的迁移原则，自动计算需要对应增加的SSD/HDD/NL设备数量和容量，并评估增加后对系统性能的改善，最终输出系统优化的评估建议报告。
CN201611110022.9A 2016-12-06 2016-12-06 一种基于自动分层技术热度统计数据的存储系统优化方法 Pending CN106775467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611110022.9A CN106775467A (zh) 2016-12-06 2016-12-06 一种基于自动分层技术热度统计数据的存储系统优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611110022.9A CN106775467A (zh) 2016-12-06 2016-12-06 一种基于自动分层技术热度统计数据的存储系统优化方法

Publications (1)

Publication Number Publication Date
CN106775467A true CN106775467A (zh) 2017-05-31

Family

ID=58879100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611110022.9A Pending CN106775467A (zh) 2016-12-06 2016-12-06 一种基于自动分层技术热度统计数据的存储系统优化方法

Country Status (1)

Country Link
CN (1) CN106775467A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058808A (zh) * 2018-01-17 2019-07-26 富士通株式会社 减少在存储分级层之间重排数据的数据迁移时间的装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005475A1 (en) * 2006-06-30 2008-01-03 Seagate Technology Llc Hot data zones
CN103631729A (zh) * 2013-12-06 2014-03-12 浪潮(北京)电子信息产业有限公司 一种基于块级的分级存储方法及系统
CN103631538A (zh) * 2013-12-05 2014-03-12 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的系统
CN105701028A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005475A1 (en) * 2006-06-30 2008-01-03 Seagate Technology Llc Hot data zones
CN104102454A (zh) * 2013-04-07 2014-10-15 杭州信核数据科技有限公司 一种自动实现分层存储的方法和管理分层存储的系统
CN103631538A (zh) * 2013-12-05 2014-03-12 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
CN103631729A (zh) * 2013-12-06 2014-03-12 浪潮(北京)电子信息产业有限公司 一种基于块级的分级存储方法及系统
CN105701028A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058808A (zh) * 2018-01-17 2019-07-26 富士通株式会社 减少在存储分级层之间重排数据的数据迁移时间的装置
CN110058808B (zh) * 2018-01-17 2022-08-02 富士通株式会社 减少在存储分级层之间重排数据的数据迁移时间的装置

Similar Documents

Publication Publication Date Title
CN102637203B (zh) 电量数据处理方法和电能计量自动化系统监控主站
US9310406B2 (en) Region-based security evaluation method for the electric power distribution system
CN103559655A (zh) 基于数据挖掘的微网新型馈线负荷的预测方法
CN103428282A (zh) 一种云计算数据中心的在线节能控制方法及装置
CN103545832A (zh) 一种基于发电预测误差的光伏系统储能容量配置方法
CN104699424A (zh) 一种基于页面热度的异构内存管理方法
Gutiérrez-Alcaraz et al. An efficient method for contingency-constrained transmission expansion planning
CN106775467A (zh) 一种基于自动分层技术热度统计数据的存储系统优化方法
CN104077081B (zh) 一种存储方法及装置
CN103500177A (zh) 一种用户激活数的统计方法及装置
CN108898239A (zh) 一种基于数据分析的配电变压器选址方法
CN111509747B (zh) 一种电网储能优化配置方法、装置和设备
CN105117457B (zh) 一种虚拟资产保全系统的索引重建方法
CN104239230B (zh) 一种数据块迁移方法及装置
CN103793748A (zh) 含分布式电源的配电网多级可靠性提升方法
CN204968320U (zh) 一种基于电力设备监测的一体机散热机柜及机柜组
CN108121794A (zh) 档案管理系统
CN116050695A (zh) 一种基于信息化手段的电网运检业务管理方法
CN103136597A (zh) 基于统计指标对公司经营的决策支持系统及其使用方法
CN104794536A (zh) 一种自助售电终端的清机维护时间的预测方法
CN111050525A (zh) 一种用于数据中心的水冷系统
CN202563385U (zh) 一种高密度大容量存储服务器机柜
CN110097439A (zh) 一种税务核算管控平台
CN204287925U (zh) 远程监控装置
CN204882750U (zh) 智能卡掉电保护的测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication