CN106371762A - 一种存储数据优化方法及系统 - Google Patents

一种存储数据优化方法及系统 Download PDF

Info

Publication number
CN106371762A
CN106371762A CN201610697564.4A CN201610697564A CN106371762A CN 106371762 A CN106371762 A CN 106371762A CN 201610697564 A CN201610697564 A CN 201610697564A CN 106371762 A CN106371762 A CN 106371762A
Authority
CN
China
Prior art keywords
interval
access
access density
density
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610697564.4A
Other languages
English (en)
Inventor
刘志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610697564.4A priority Critical patent/CN106371762A/zh
Publication of CN106371762A publication Critical patent/CN106371762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Abstract

本申请公开了一种存储数据优化方法及系统，包括：将存储设备划分得到N个区间，N为大于1的整数；确定上述N个区间中每一个区间的访问密度；将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。可见本申请将存储设备划分区间后，以区间为单位进行数据迁移，通过确定用户对每个区间的访问密度，将访问密度高的区间中的数据迁移至访问密度低的区间，减少某一区间因用户进行高密度访问持续被读写的时间，利用了访问密度较低的空闲区间，从而平衡了存储设备中各区间被读写的频率，充分利用了存储设备空间，避免了用户对某一区间频繁读写造成的存储设备寿命缩短，从而提高了存储设备寿命。

Description

一种存储数据优化方法及系统
技术领域
本发明涉及数据储存技术领域，特别涉及一种存储数据优化方法及系统。
背景技术
随着社会朝着信息化方向发展，虚拟化与分层存储在数据存储领域应用广泛。一个存储设备通常会包括多种类型的磁盘，每种磁盘的读写效率均存在差异。
现有技术中，存储设备一般支持相同类型或相同性能的磁盘构建RAID(RedundantArrays of Independent Disks，即磁盘阵列)，并由多个RAID组成一个虚拟的存储池。用户在使用时可以直接从存储池中划分出卷来进行分区，但这种简单的分区在数据访问时，会导致某些常用数据所在的区域经常被读写，从而影响该区域的使用寿命，容易发生磁盘等存储设备的损坏。
综上所述，如何充分利用存储设备空间，从而提高存储设备寿命是目前需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种存储数据优化方法及系统，包括：将存储设备划分得到N个区间，N为大于1的整数；确定上述N个区间中每一个区间的访问密度；将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。可见本发明将存储设备划分区间后，以区间为单位进行数据迁移，通过确定用户对每个区间的访问密度，将访问密度高的区间中的数据迁移至访问密度低的区间，减少某一区间因用户进行高密度访问持续被读写的时间，利用了访问密度较低的空闲区间，从而平衡了存储设备中各区间被读写的频率，充分利用了存储设备空间，避免了用户对某一区间频繁读写造成的存储设备寿命缩短，从而提高了存储设备寿命。其具体方案如下：
一种存储数据优化方法，包括：
将存储设备划分得到N个区间，N为大于1的整数；
确定所述N个区间中每一个区间的访问密度；
将所述N个区间中第一区间的数据迁移至第二区间，其中所述第一区间的访问密度高于所述第二区间的访问密度。
优选的，确定N个区间中任一区间的访问密度包括：
判断该区间是否存在周期性频繁访问，若是，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
优选的，所述存储设备包括M种磁盘，其中，M为大于1的整数。
优选的，所述M种磁盘中的任一种均存在唯一对应的访问密度范围，其中，所述M种磁盘对应的访问密度范围连续且不重叠。
优选的，所述存储数据优化方法还包括：
将目标区间的数据迁移至目标磁盘中的区间，其中，所述目标区间的访问密度在所述目标磁盘对应的访问密度范围内，所述目标区间为所述N个区间中的任一区间，所述目标磁盘为所述M种磁盘中的任一种。
优选的，将所述第一区间的数据迁移至所述第二区间包括：
判断所述第一区间的访问密度是否大于所述访问密度阈值；
若判定所述第一区间的访问密度大于访问密度阈值，则判断所述第一区间的主要操作动作是否为写操作；
若判定所述主要操作动作为写操作，则将所述第一区间的数据迁移至所述第二区间，其中，所述第二区间的访问密度低于所述访问密度阈值，所述第一区间和所述第二区间位于同一种磁盘。
本发明还公开了一种存储数据优化系统，包括：
区间划分模块，用于将存储设备划分得到N个区间，N为大于1的整数；
访问密度确定模块，用于确定所述N个区间中每一个区间的访问密度；
第一数据迁移模块，用于将所述N个区间中第一区间的数据迁移至第二区间，其中所述第一区间的访问密度高于所述第二区间的访问密度。
优选的，所述访问密度确定模块包括：
频繁访问判断单元，用于判断所述N个区间中的任一区间是否存在周期性频繁访问；
第一访问密度计算单元，用于当判定该区间存在所述周期性频繁访问，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度；
第二访问密度计算单元，用于当判定该区间不存在所述周期性频繁访问，则将该区间在整体使用期内的访问次数作为访问密度。
优选的，所述存储设备包括M种磁盘，其中，M为大于1的整数。
优选的，所述存储数据优化系统还包括：
访问密度设定模块，用于为所述M种磁盘中的任一种设定唯一对应的访问密度范围，其中，所述M种磁盘对应的访问密度范围连续且不重叠。
本发明公开了一种存储数据优化方法及系统，包括：将存储设备划分得到N个区间，N为大于1的整数；确定上述N个区间中每一个区间的访问密度；将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。可见本发明将存储设备划分区间后，以区间为单位进行数据迁移，通过确定用户对每个区间的访问密度，将访问密度高的区间中的数据迁移至访问密度低的区间，减少某一区间因用户进行高密度访问持续被读写的时间，利用了访问密度较低的空闲区间，从而平衡了存储设备中各区间被读写的频率，充分利用了存储设备空间，避免了用户对某一区间频繁读写造成的存储设备寿命缩短，从而提高了存储设备寿命。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中的一种存储数据优化方法的流程示意图；
图2为本发明实施例中的一种存储数据优化系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种存储数据优化方法，参见图1所示，包括步骤S1-3，其中：
步骤S1：将存储设备划分得到N个区间，N为大于1的整数。
本发明实施例以区间为最小单位，将存储设备划分得到N个区间，存储设备中的数据也是以区间为单位迁移。例如，存储设备的容量为100GB，每个区间的容量为1MB，因此将存储设备划分得到102400个存储空间。可以理解的是，区间的容量和划分得到的区间数量呈负相关性，即区间的容量越小，划分得到的区间数量约多，例如存储设备的容量为100GB，当每个区间的容量为1MB时，划分得到102400个存储空间；当每个区间的容量为10MB时，划分得到10240个存储空间。
步骤S2：确定上述N个区间中每一个区间的访问密度。
本发明实施例中，N个区间中每一个区间的访问密度为单位时间内用户对该区间访问次数，即用户对每一个区间的访问频率。例如，若单位时间为1天，且用户每天对存储设备中第一个区间进行100次访问，则用户的访问密度为100次/天。
可以理解的是，由于用户对存储设备中的不同数据有不同的使用频率，因此每个区间中数据的读写频率也不同，用户对某一区间进行频繁读写会导致该区间所对应的存储设备寿命减少，因此通过确定用户对每个区间的访问密度来推导出各区间中是否存在频繁读写的区间，从而判断是否会导致存储设备寿命的减少。
步骤S3：将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。
本发明实施例中，当第一区间的访问密度高于第二区间时，将上述第一区间的数据迁移至第二区间，可以理解的是，第二区间一般为用户不访问的空闲区间。
需要说明的是，将上述N个区间中第一区间的数据迁移至第二区间可以是定期迁移，例如每天进行一次数据迁移；也可以是不定期迁移，例如只在用户对存储设备操作后进行数据迁移。
本发明公开了一种存储数据优化方法，包括：将存储设备划分得到N个区间，N为大于1的整数；确定上述N个区间中每一个区间的访问密度；将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。可见本发明将存储设备划分区间后，以区间为单位进行数据迁移，通过确定用户对每个区间的访问密度，将访问密度高的区间中的数据迁移至访问密度低的区间，减少某一区间因用户进行高密度访问持续被读写的时间，利用了访问密度较低的空闲区间，从而平衡了存储设备中各区间被读写的频率，充分利用了存储设备空间，避免了用户对某一区间频繁读写造成的存储设备寿命缩短，从而提高了存储设备寿命。
本发明实施例公开了一种具体的存储数据优化方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
本发明实施例中，计算区间的访问密度不是简单地在一个长时间内获得的平均值，因此对步骤S2中的确定N个区间中任一区间的访问密度进行了进一步细化。具体包括：
判断该区间是否存在周期性频繁访问，若是，则将该区间在上述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
可以理解的是，当判定N个区间中的任一区间存在上述周期性频繁访问，则将该区间在上述周期性频繁访问对应的一个周期内的访问次数作为访问密度，例如，区间A在工作日每天访问1000次，周末不存在访问现象，则判定区间A存在周期性频繁访问，且区间A周期性频繁访问对应的一个周期为工作日中的一天，则将工作日中的一天中的访问次数作为访问密度，1000次/天。当判定该区间不存在周期性频繁访问，对该区间在整体使用期内的访问次数求单位时间内的平均值，并将结果作为访问密度，例如，区间A每天都被访问，但每天的访问次数不同，区间A在使用期100天内一共被访问了60000次，则计算区间A的访问密度为60000/100＝600次/天。
本发明实施例中，上述存储设备包括M种磁盘，其中，M为大于1的整数。
可以理解的是，存储设备包括但不限于固态硬盘、混合硬盘、机械硬盘、闪存磁盘以及服务器中的动态磁盘。
本发明实施例中，上述M种磁盘中的任一种均存在唯一对应的访问密度范围，其中，上述M种磁盘对应的访问密度范围连续且不重叠。
可以理解的是，上述M种磁盘中的任一种对应的访问密度范围与该磁盘的读写性能呈正相关关系。例如，存储设备包括固态硬盘、混合硬盘和机械硬盘，且在在读写性能方面，固态硬盘大于混合硬盘大于机械硬盘，则固态硬盘对应1000次/天以上的访问密度范围，混合硬盘对应500次/天至1000次/天的访问密度范围，机械硬盘对应500次/天以下的访问密度范围。
本发明实施例中，为了充分利用不同类型磁盘的读写性能，提高数据的读写效率，还包括：
将目标区间的数据迁移至目标磁盘中的区间，其中，上述目标区间的访问密度在目标磁盘对应的访问密度范围内，上述目标区间为上述N个区间中的任一区间，上述目标磁盘为上述M种磁盘中的任一种。例如，存储设备包括固态硬盘和机械硬盘，且固态硬盘对应1000次/天以上的访问密度范围，机械硬盘对应1000次/天以下的访问密度范围，则将访问密度为1500次/天的区间A中的数据迁移至固态硬盘的区间，将访问密度为200次/天的区间B中的数据迁移至机械硬盘的区间。
在对区间的访问中，由于高访问密度的写操作对存储设备的寿命影响大于高访问密度的读操作，因此本发明实施例中，将上述第一区间的数据迁移至上述第二区间包括：
判断上述第一区间的访问密度是否大于访问密度阈值；若判定上述第一区间的访问密度大于上述访问密度阈值，则判断上述第一区间的主要操作动作是否为写操作；若判定上述主要操作动作为写操作，则将上述上述第一区间的数据迁移至上述第二区间，其中，上述第二区间的访问密度低于上述访问密度阈值，上述第一区间和上述第二区间位于同一种磁盘。
可以理解的是，访问密度阈值是衡量每个区间使用寿命是否减少的一个因素，同时由于高访问密度的写操作对存储设备的寿命影响大于高访问密度的读操作，因此对区间的访问操作包括：访问密度较低于或等于访问密度阈值；访问密度较高于访问密度阈值，且主要操作动作为读操作；访问密度较高于访问密度阈值，且主要操作动作为写操作。当区间的访问密度较高于访问密度阈值，且主要操作动作为读操作，由于高访问密度的写操作对存储设备寿命影响很大，因此需要将该区域中的数据迁移至同一种磁盘中其他不存在高访问密度的区间，或将该区域中的数据迁移至同一种磁盘中其他存在高访问密度，且主要操作动作为读操作的区间。
本发明还公开了一种存储数据优化系统，参见图2所示，包括区间划分模块11、访问密度确定模块12和第一数据迁移模块13，其中：
区间划分模块11，用于将存储设备划分得到N个区间，N为大于1的整数。
本发明实施例中，区间划分模块11以区间为最小单位，将存储设备划分得到N个区间，存储设备中的数据也是以区间为单位迁移。例如，存储设备的容量为100GB，每个区间的容量为1MB，因此区间划分模块将存储设备划分得到102400个存储空间。可以理解的是，区间的容量和划分得到的区间数量呈负相关性，即区间的容量越小，划分得到的区间数量约多，例如存储设备的容量为100GB，当每个区间的容量为1MB时，区间划分模块划分得到102400个存储空间；当每个区间的容量为10MB时，区间划分模块划分得到10240个存储空间。
访问密度确定模块12，用于确定上述N个区间中每一个区间的访问密度。
本发明实施例中，访问密度确定模块12通过计算N个区间中每一个区间在单位时间内用户对该区间访问次数，并将其作为访问密度。例如，若单位时间为1天，且用户每天对存储设备中第一个区间进行100次访问，则用户的访问密度为100次/天。
可以理解的是，由于用户对存储设备中的不同数据有不同的使用频率，因此每个区间中数据的读写频率也不同，用户对某一区间进行频繁读写会导致该区间所对应的存储设备寿命减少，因此访问密度确定模块通过确定用户对每个区间的访问密度来推导出各区间中是否存在频繁读写的区间，从而帮助判断是否会导致存储设备寿命的减少。
第一数据迁移模块13，用于将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。
本发明实施例中，当第一区间的访问密度高于第二区间时，第一数据迁移模块13将上述第一区间的数据迁移至第二区间，可以理解的是，第二区间一般为用户不访问的空闲区间。
需要说明的是，第一数据迁移模块13将上述N个区间中第一区间的数据迁移至第二区间可以是定期迁移，例如第一数据迁移模块每天进行一次数据迁移；也可以是不定期迁移，例如第一数据迁移模块只在用户对存储设备操作后进行数据迁移。
本发明公开了一种存储数据优化方法，包括：区间划分模块，用于将存储设备划分得到N个区间，N为大于1的整数；访问密度确定模块，用于确定上述N个区间中每一个区间的访问密度；第一数据迁移模块，用于将上述N个区间中第一区间的数据迁移至第二区间，其中上述第一区间的访问密度高于上述第二区间的访问密度。可见本发明通过区间划分模块将存储设备划分区间后，以区间为单位进行数据迁移，通过访问密度确定模块确定用户对每个区间的访问密度，再利用第一数据迁移模块将访问密度高的区间中的数据迁移至访问密度低的区间，减少某一区间因用户进行高密度访问持续被读写的时间，利用了访问密度较低的空闲区间，从而平衡了存储设备中各区间被读写的频率，充分利用了存储设备空间，避免了用户对某一区间频繁读写造成的存储设备寿命缩短，从而提高了存储设备寿命。
本发明实施例公开了一种具体的存储数据优化系统，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
本发明实施例中，计算区间的访问密度不是简单地在一个长时间内获得的平均值，因此对访问密度确定模块进行了进一步细化，具体包括：
频繁访问判断单元，用于判断上述N个区间中的任一区间是否存在周期性频繁访问；
第一访问密度计算单元，用于当判定该区间存在周期性频繁访问，则将该区间在上述周期性频繁访问对应的一个周期内的访问次数作为访问密度；
第二访问密度计算单元，用于当判定该区间不存在上述周期性频繁访问，则将该区间在整体使用期内的访问次数作为访问密度。
可以理解的是，当频繁访问判断单元判定上述N个区间中的任一区间存在周期性频繁访问，则第一访问密度计算单元将该区间在上述周期性频繁访问对应的一个周期内的访问次数作为访问密度，例如，区间A在工作日每天访问1000次，周末不存在访问现象，则第一频繁访问判断单元判定区间A存在周期性频繁访问，且区间A周期性频繁访问对应的一个周期为工作日中的一天，则第一访问密度计算单元将工作日中的一天中的访问次数作为访问密度，1000次/天。当频繁访问判断单元判定该区间不存在周期性频繁访问，则第二访问密度该区间在整体使用期内的访问次数求单位时间内的平均值，并将结果作为访问密度，例如，区间A每天都被访问，但每天的访问次数不同，区间A在使用期100天内一共被访问了60000次，则计算区间A的访问密度为60000/100＝600次/天。
本发明实施例中，上述存储设备包括M种磁盘，其中，M为大于1的整数。
可以理解的是，存储设备包括但不限于固态硬盘、混合硬盘、机械硬盘、闪存磁盘以及服务器中的动态磁盘。
为了使上述N各区间根据访问密度更好地匹配存储设备中不同性能的磁盘，本发明实施例还包括：
访问密度设定模块，用于为上述M种磁盘中的任一种设定唯一对应的访问密度范围，其中，上述M种磁盘对应的访问密度范围连续且不重叠。
可以理解的是，上述M种磁盘中的任一种对应的访问密度范围与该磁盘的读写性能呈正相关关系。例如，存储设备包括固态硬盘、混合硬盘和机械硬盘，且在在读写性能方面，固态硬盘大于混合硬盘大于机械硬盘，则访问密度设定模块设定固态硬盘对应1000次/天以上的访问密度范围，混合硬盘对应500次/天至1000次/天的访问密度范围，机械硬盘对应500次/天以下的访问密度范围。
本发明实施例中，为了充分利用不同类型磁盘的读写性能，提高数据的读写效率，存储数据优化系统还包括：
第二数据迁移模块，用于将目标区间的数据迁移至目标磁盘中的区间，其中，上述目标区间的访问密度在目标磁盘对应的访问密度范围内，上述目标区间为上述N个区间中的任一区间，上述目标磁盘为上述M种磁盘中的任一种。例如，存储设备包括固态硬盘和机械硬盘，且固态硬盘对应1000次/天以上的访问密度范围，机械硬盘对应1000次/天以下的访问密度范围，则通过第二数据迁移模块将访问密度为1500次/天的区间A中的数据迁移至固态硬盘的区间，并且通过第二数据迁移模块将访问密度为200次/天的区间B中的数据迁移至机械硬盘的区间。
在对区间的周期性频繁访问中，由于高访问密度的写操作对存储设备的寿命影响大于高访问密度的读操作，上述第一数据迁移模块包括：
访问密度阈值判断单元，用于判断上述第一区间的访问密度是否大于访问密度阈值；
主要动作判断单元，用于当判定上述第一区间的访问密度大于上述访问密度阈值，则判断上述第一区间的主要操作动作是否为写操作；
区间迁移单元，用于当判定上述主要操作动作为写操作，则将上述第一区间的数据迁移至上述第二区间，其中，上述第二区间的访问密度低于上述访问密度阈值，上述第一区间和上述第二区间位于同一种磁盘。
可以理解的是，访问密度阈值是衡量每个区间使用寿命是否减少的一个因素，同时由于高访问密度的写操作对存储设备的寿命影响大于高访问密度的读操作，因此对区间的访问操作包括：访问密度较低于或等于访问密度阈值；访问密度较高于访问密度阈值，且主要操作动作为读操作；访问密度较高于访问密度阈值，且主要操作动作为写操作。当区间的访问密度较高于访问密度阈值，且主要操作动作为读操作，由于高访问密度的写操作对存储设备寿命影响很大，因此需要通过区间迁移单元将该区域中的数据迁移至同一种磁盘中其他不存在高访问密度的区间，或通过区间迁移单元将该区域中的数据迁移至同一种磁盘中其他存在高访问密度，且主要操作动作为读操作的区间。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种存储数据优化方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种存储数据优化方法，其特征在于，包括：
将存储设备划分得到N个区间，N为大于1的整数；
确定所述N个区间中每一个区间的访问密度；
将所述N个区间中第一区间的数据迁移至第二区间，其中所述第一区间的访问密度高于所述第二区间的访问密度。
2.根据权利要求1所述的存储数据优化方法，其特征在于，确定N个区间中任一区间的访问密度包括：
判断该区间是否存在周期性频繁访问，若是，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
3.根据权利要求2所述的存储数据优化方法，其特征在于，所述存储设备包括M种磁盘，其中，M为大于1的整数。
4.根绝权利要求3所述的存储数据优化方法，其特征在于，所述M种磁盘中的任一种均存在唯一对应的访问密度范围，其中，所述M种磁盘对应的访问密度范围连续且不重叠。
5.根据权利要求4所述的存储数据优化方法，其特征在于，还包括：
将目标区间的数据迁移至目标磁盘中的区间，其中，所述目标区间的访问密度在所述目标磁盘对应的访问密度范围内，所述目标区间为所述N个区间中的任一区间，所述目标磁盘为所述M种磁盘中的任一种。
6.根据权利要求3所述的存储数据优化方法，其特征在于，将所述第一区间的数据迁移至所述第二区间包括：
判断所述第一区间的访问密度是否大于访问密度阈值；
若判定所述第一区间的访问密度大于所述访问密度阈值，则判断所述第一区间的主要操作动作是否为写操作；
若判定所述主要操作动作为写操作，则将所述第一区间的数据迁移至所述第二区间，其中，所述第二区间的访问密度低于所述访问密度阈值，所述第一区间和所述第二区间位于同一种磁盘。
7.一种存储数据优化系统，其特征在于，包括：
区间划分模块，用于将存储设备划分得到N个区间，N为大于1的整数；
访问密度确定模块，用于确定所述N个区间中每一个区间的访问密度；
第一数据迁移模块，用于将所述N个区间中第一区间的数据迁移至第二区间，其中所述第一区间的访问密度高于所述第二区间的访问密度。
8.根据权利要求7所述的存储数据优化系统，其特征在于，所述访问密度确定模块包括：
频繁访问判断单元，用于判断所述N个区间中的任一区间是否存在周期性频繁访问；
第一访问密度计算单元，用于当判定该区间存在所述周期性频繁访问，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度；
第二访问密度计算单元，用于当判定该区间不存在所述周期性频繁访问，则将该区间在整体使用期内的访问次数作为访问密度。
9.根据权利要求8所述的存储数据优化系统，其特征在于，所述存储设备包括M种磁盘，其中，M为大于1的整数。
10.根据权利要求9所述的存储数据优化系统，其特征在于，还包括：
访问密度设定模块，用于为所述M种磁盘中的任一种设定唯一对应的访问密度范围，其中，所述M种磁盘对应的访问密度范围连续且不重叠。
CN201610697564.4A 2016-08-19 2016-08-19 一种存储数据优化方法及系统 Pending CN106371762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610697564.4A CN106371762A (zh) 2016-08-19 2016-08-19 一种存储数据优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610697564.4A CN106371762A (zh) 2016-08-19 2016-08-19 一种存储数据优化方法及系统

Publications (1)

Publication Number Publication Date
CN106371762A true CN106371762A (zh) 2017-02-01

Family

ID=57878351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610697564.4A Pending CN106371762A (zh) 2016-08-19 2016-08-19 一种存储数据优化方法及系统

Country Status (1)

Country Link
CN (1) CN106371762A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558337A (zh) * 2018-11-30 2019-04-02 北京同有飞骥科技股份有限公司 高速缓存的动态访问方法、装置及存储介质
CN109840053A (zh) * 2019-02-13 2019-06-04 安徽大尺度网络传媒有限公司 一种基于存储系统的在线数据存储优化方法
CN109992409A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 数据存储区域的切分方法、装置、系统、电子设备和介质
CN110018797A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110955642A (zh) * 2019-10-12 2020-04-03 平安科技（深圳）有限公司 数据采集优化方法、装置、设备及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
CN101218557A (zh) * 2005-07-05 2008-07-09 国际商业机器公司 用于存储器迁移的系统和方法
CN101383190A (zh) * 2008-08-11 2009-03-11 湖南源科创新科技股份有限公司 应用于固态硬盘的闪存均衡损耗算法
CN101419842A (zh) * 2008-11-07 2009-04-29 成都市华为赛门铁克科技有限公司 硬盘的损耗均衡方法、装置及系统
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103257830A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 存储单元的访问方法和存储单元
CN103927134A (zh) * 2014-04-09 2014-07-16 汉柏科技有限公司 硬盘负载均衡方法、操作系统及存储控制设备
CN104298475A (zh) * 2014-10-13 2015-01-21 合一网络技术(北京)有限公司 一种数据存储的优化方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
CN101218557A (zh) * 2005-07-05 2008-07-09 国际商业机器公司 用于存储器迁移的系统和方法
CN101383190A (zh) * 2008-08-11 2009-03-11 湖南源科创新科技股份有限公司 应用于固态硬盘的闪存均衡损耗算法
CN101419842A (zh) * 2008-11-07 2009-04-29 成都市华为赛门铁克科技有限公司 硬盘的损耗均衡方法、装置及系统
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及系统
CN103257830A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 存储单元的访问方法和存储单元
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN103927134A (zh) * 2014-04-09 2014-07-16 汉柏科技有限公司 硬盘负载均衡方法、操作系统及存储控制设备
CN104298475A (zh) * 2014-10-13 2015-01-21 合一网络技术(北京)有限公司 一种数据存储的优化方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992409A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 数据存储区域的切分方法、装置、系统、电子设备和介质
CN109992409B (zh) * 2018-01-02 2021-07-30 中国移动通信有限公司研究院 数据存储区域的切分方法、装置、系统、电子设备和介质
CN109558337A (zh) * 2018-11-30 2019-04-02 北京同有飞骥科技股份有限公司 高速缓存的动态访问方法、装置及存储介质
CN109558337B (zh) * 2018-11-30 2023-09-19 北京同有飞骥科技股份有限公司 高速缓存的动态访问方法、装置及存储介质
CN109840053A (zh) * 2019-02-13 2019-06-04 安徽大尺度网络传媒有限公司 一种基于存储系统的在线数据存储优化方法
CN110018797A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110955642A (zh) * 2019-10-12 2020-04-03 平安科技（深圳）有限公司 数据采集优化方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106371762A (zh) 一种存储数据优化方法及系统
CN106469029B (zh) 数据分层存储处理方法、装置和存储设备
EP3869316B1 (en) Hybrid storage
CN102622189B (zh) 存储虚拟化的装置、数据存储方法及系统
CN102156738B (zh) 数据块处理方法、数据块存储设备及系统
US8478939B2 (en) Relative heat index based hot data determination for block based storage tiering
CN105447059A (zh) 一种数据处理方法及装置
WO2017092480A1 (zh) 一种数据迁移的方法及装置
CN103229136B (zh) 磁盘阵列刷盘方法及磁盘阵列刷盘装置
CN104102454A (zh) 一种自动实现分层存储的方法和管理分层存储的系统
CN105138476A (zh) 一种基于hadoop异构存储的数据存储方法及系统
CN109324758A (zh) 数据迁移方法、装置及存储设备
CN104699424A (zh) 一种基于页面热度的异构内存管理方法
CN104869140B (zh) 多集群系统和控制多集群系统的数据存储的方法
CN106484330A (zh) 一种混合磁盘分层数据优化方法和装置
CN111367469A (zh) 一种分层存储数据迁移方法和系统
CN107122126A (zh) 数据的迁移方法、装置和系统
CN109739442A (zh) 一种数据迁移方法、系统及相关组件
CN103631729A (zh) 一种基于块级的分级存储方法及系统
CN104459781A (zh) 三维叠前地震数据的随机噪声衰减方法
CN102184080A (zh) 一种基于固化条带的raid系统扩容后的数据读写方法
US20090138530A1 (en) Data management method for logical volume manager
CN103605482A (zh) 一种硬盘内数据高性能存储方法
CN107948229A (zh) 分布式存储的方法、装置及系统
CN103399783A (zh) 虚拟机的镜像文件的存储方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201