CN111367469B - 一种分层存储数据迁移方法和系统 - Google Patents

一种分层存储数据迁移方法和系统 Download PDF

Info

Publication number
CN111367469B
CN111367469B CN202010094756.2A CN202010094756A CN111367469B CN 111367469 B CN111367469 B CN 111367469B CN 202010094756 A CN202010094756 A CN 202010094756A CN 111367469 B CN111367469 B CN 111367469B
Authority
CN
China
Prior art keywords
file
migration
storage layer
value
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010094756.2A
Other languages
English (en)
Other versions
CN111367469A (zh
Inventor
毛贝贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010094756.2A priority Critical patent/CN111367469B/zh
Publication of CN111367469A publication Critical patent/CN111367469A/zh
Application granted granted Critical
Publication of CN111367469B publication Critical patent/CN111367469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分层存储数据迁移方法和系统，所述方法包括如下步骤：获取文件的元数据信息；根据所述的元数据信息计算文件价值；根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。本发明提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度，同时减少了数据迁移时对系统性能的影响。

Description

一种分层存储数据迁移方法和系统
技术领域
本发明涉及存储数据迁移管理技术领域，具体涉及一种分层存储数据迁移方法和系统。
背景技术
计算机和通讯技术的发展，使得数据呈爆炸式发展，数据的快速增长对存储系统的高效利用提出了更高的要求。但是根据相关机构统计，大量的数据在创建后被访问的次数非常少，有的数据长期处于休眠状态，但数据却依然存放在昂贵的存储设备上，而企业通常希望将更重要的数据放在高性能的存储设备中，以获得更高的性能和利用率。因此越来越多的机构开始意识到分层存储的重要性。
分层存储是一种让数据在不同存储层次间进行迁移管理的技术。分层存储管理的出现是为了提供所需性能的同时，节约更多的成本。在所有数据中，访问频率较高的数据存放于高性能的存储层，而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层，用户不需要知道数据存放在哪里，系统会自动检索出数据。从存储介质的物理结构来看，分层存储最新的发展是机械硬盘和闪存的结合。存储系统中的分层存储即将访问频率较高的热点数据存放在高速率存储层，例如SSD存储层，而将访问频率较低的冷数据存放在低速率存储层，例如HDD存储层上。而大部分基于文件的分层存储系统数据迁移主要是根据数据的创建时间长短以及访问频率来决定，超过一定年限的数据或访问频率较低的文件放入低速的存储设备中，但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联，同时没有考虑业务本身的时效性和对存储系统可能带来的波动性，导致存储设备的效率没有得到有效提升。
发明内容
针对而大部分基于文件的分层存储系统数据迁移主要是根据数据的创建时间长短以及访问频率来决定，超过一定年限的数据或访问频率较低的文件放入低速的存储设备中，但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联，同时没有考虑业务本身的时效性和对存储系统可能带来的波动性，导致存储设备的效率没有得到有效提升的问题，本发明提供一种基于数据价值的分层存储数据迁移方法和系统。
本发明的技术方案是：
一方面，本发发明技术方案提供一种分层存储数据迁移方法，包括如下步骤：
获取文件的元数据信息；
根据所述的元数据信息计算文件价值；
根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；
从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。
进一步的，所述的获取文件的元数据信息中，所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
文件读写顺序系数
Figure BDA0002384983550000031
文件读写随机系数
Figure BDA0002384983550000032
δ∈(0，1)，设X周期的平均响应时间为t：
Figure BDA0002384983550000033
表示编号为i的文件在X周期内顺序访问的频率；
Figure BDA0002384983550000034
编号为i的文件在X周期内随机访问的频率；
δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小。
进一步的，所述的根据所述的元数据信息计算文件价值的步骤包括：
所述的根据所述的元数据信息计算文件价值的步骤包括：
获取系统中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间；
根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数；
根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F；所述的文件价值F用于体现文件存放在高速率存储层获得的价值；
Figure BDA0002384983550000035
其中，为了防止部分小文件获得太大的文件价值设定的文件最小值γ，α为文件大小权重，来平衡文件访问频率以及文件大小的关系；Fsize(i)为当前文件的大小，ρ匹配程度系数。
进一步的，所述根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数的步骤包括：
将获取的在低速率存储层顺序访问所需时间与在高速率存储层顺序访问所需时间计算时间差，并将计算的时间差与文件读写顺序系数相乘得到顺序匹配系数；
将获取的在低速率存储层随机访问所需时间与在高速率存储层随机访问所需时间计算时间差，并将计算的时间差与文件读写随机系数相乘得到随机匹配系数；
将顺序匹配系数与随机匹配系数相加得到存储层匹配程度系数。匹配程度系数体现了该文件适合存放在某一存储层而不适合存放在另外存储层的程度。
进一步的，所述的根据文件价值产生文件迁移计划表的步骤包括：
根据文件价值的大小对文件进行排序并输出文件列表；文件列表的顺序体现了不同的文件在当前层获得的文件价值的相对大小；
遍历文件列表每一个文件输出文件迁移计划表；其中，遍历文件时，若当前文件未在高速率存储层，并且文件大小小于高速率存储层的可用空间，在迁移计划表里面添加一条文件迁移计划。
进一步的，所述的从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移的步骤包括：
从文件迁移计划表里取出迁移任务，检测当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移；其中，所述的性能参数包括文件系统的负载率、剩余存储空间、历史访问模式。
进一步的，所述的从文件迁移计划表里取出迁移任务，检测当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移的步骤中，具体步骤包括：
检测当前文件系统的负载率；
当检测到所述负载率小于设定的负载阈值时，检测目标存储层的文件存储容量，当目标存储层的文件存储容量低于设定的第一阈值时，从文件迁移计划表里取出迁移任务执行迁移；当前存储空间已满或者文件已经全部迁移完成后，停止迁移；
当目标存储层的文件存储容量高于设定的第二阈值时，判断待迁移文件大小小于目标存储层当前可用空间时，从文件迁移计划表里取出迁移任务执行迁移，否则不执行迁移过程，其中，第一阈值小于第二阈值。
进一步的，若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时，查询该文件的历史访问模式，若该文件历史访问模式为顺序访问模式，则该文件不执行迁移；若该文件历史访问模式为随机访问模式，将该文件迁移到高速率存储层。
进一步的，若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时，该文件不执行迁移。
另一方面，本发明技术方案还提供一种分层存储数据迁移系统，包括元数据管理模块、文件价值判定模块、迁移控制模块、文件系统监视模块、迁移模块；
元数据管理模块，用于获取并管理文件的元数据信息；
文件价值判定模块，用于对文件进行价值判定并将判定结果输出到迁移控制模块；
迁移控制模块，接受文件价值判定模块的文件价值计算结果，产生文件迁移计划表并输出控制信息到迁移模块；
文件系统监视模块，收集存储系统的性能信息并输出信息到迁移控制模块；
迁移模块，用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务，对文件在不同存储层上进行迁移。
该系统还包括访问重定向模块，所述的访问重定向模块，用于提供虚拟层，使上层接口用统一的应用程序接口访问不同的存储层。
综合考虑了数据大小、访问时间、访问频率、访问模式和对系统性能影响等因素，在需要迁移的数据较多时，相比传统的迁移方法，数据迁移具有更高的精确性，同时对系统性能的影响更小。
从以上技术方案可以看出，本发明具有以下优点：本发明提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度，同时减少了数据迁移时对系统性能的影响。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供分层存储数据迁移方法的示意性流程图。
图2是本发明实施例四提供的分层存储数据迁移系统的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明技术方案提供一种分层存储数据迁移方法，包括如下步骤：
S1-1：获取文件的元数据信息；在这里，元数据信息包括文件的属性、文件位置以及历史访问信息，其中，历史访问信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
S1-2：根据所述的元数据信息计算文件价值；在这里，根据文件在当前存储层和相邻存储层完成所有读写操作所需要的时间以及文件读写顺序/随机系数来计算文件价值；
S1-3：根据文件价值产生文件迁移计划表；
S1-4：从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移，本实施例中，本领域技术人员可以设定什么时候进行迁移，以及如何进行迁移。迁移时间间隔的长短考虑文件系统负载变化的快慢、剩余存储空间，文件访问命中率等因素，从而制定合理的文件迁移时间间隔，促进文件价值判定模块更好地发现热点文件，同时保证系统的迁移活动对系统的正常业务的影响在可控的范围内。
实施例二
本发明技术方案提供一种分层存储数据迁移方法，包括如下步骤：
S1-1：获取文件的元数据信息；在这里，元数据信息包括文件的属性、文件位置以及历史访问信息，其中，历史访问信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
S1-2：根据所述的元数据信息计算文件价值；在这里，根据文件在当前存储层和相邻存储层完成所有读写操作所需要的时间以及文件读写顺序/随机系数来计算文件价值；
S1-3：根据文件价值产生文件迁移计划表；
S1-4：从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移，本实施例中，从文件迁移计划表里取出迁移任务，检测当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移；其中，所述的性能参数包括文件系统的负载率、剩余存储空间、历史访问模式。具体步骤包括：
检测当前文件系统的负载率；
当检测到所述负载率小于设定的负载阈值时，检测目标存储层的文件存储容量，当目标存储层的文件存储容量低于设定的第一阈值时，从文件迁移计划表里取出迁移任务执行迁移；当前存储空间已满或者文件已经全部迁移完成后，停止迁移；
当目标存储层的文件存储容量高于设定的第二阈值时，判断待迁移文件大小小于目标存储层当前可用空间时，从文件迁移计划表里取出迁移任务执行迁移，否则不执行迁移过程，其中，第一阈值小于第二阈值。
若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时，查询该文件的历史访问模式，若该文件历史访问模式为顺序访问模式，则该文件不执行迁移；若该文件历史访问模式为随机访问模式，将该文件迁移到高速率存储层。若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时，该文件不执行迁移。
实施例三
本发明技术方案提供一种分层存储数据迁移方法，包括如下步骤：
S2-1：获取文件的元数据信息；本步骤中，所述的获取文件的元数据信息中，所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
文件读写顺序系数
Figure BDA0002384983550000091
文件读写随机系数
Figure BDA0002384983550000092
δ∈(0，1)，设X周期的平均响应时间为t：
Figure BDA0002384983550000101
表示编号为i的文件在X周期内顺序访问的频率；
Figure BDA0002384983550000102
编号为i的文件在X周期内随机访问的频率；
δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小。
S2-2：根据所述的元数据信息计算文件价值；需要说明的是，本步骤包括：
S2-21：获取系统中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间；本实施例中高速率存储层为SSD存储层，低速率存储层为HDD存储层；
S2-22：根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数ρ；
在本发明实施例中，ρ表示文件适合存放在SSD存储层而不适合存放在HDD存储层的程度。因此需要分别计算文件在SSD存储层和HDD存储层完成上一周期读写系数对应的操作所需的时间。然后将计算得到的所需时间相减即可得到程度系数ρ。ρ的计算公式为ρ＝Fs(i)×[Ts(k+1)-Ts(k)]+Fr(i)×[Tr(k+1)-Tr(k)]，符号定义如下：Ts(k+1)表示在HDD存储层存储顺序访问所需时间，Ts(k)表示在SSD存储层存储顺序访问所需时间，Tr(k+1)表示在HDD存储层存储随机访问所需时间，Tr(k)表示在SSD存储层存储随机访问所需时间。
S2-23：根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F；
Figure BDA0002384983550000111
其中，为了防止部分小文件获得太大的文件价值设定的文件最小值γ，α为文件大小权重，来平衡文件访问频率以及文件大小的关系；Fsize(i)为当前文件的大小，ρ匹配程度系数。在本发明实施例中，计算出文件在SSD存储层的文件价值F，F体现了文件存放在SSD存储层存储的获得的价值。
S2-4：根据文件价值产生文件迁移计划表；按照F的大小对文件进行排序并输出文件列表；遍历文件列表每一个文件输出文件迁移计划表；遍历文件时，若当前文件未在SSD存储层，并且文件大小小于SSD层存储的可用空间，在迁移计划表里面添加一条文件迁移计划，若文件在此之前已经在SSD存储层，则无需操作。所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列。
S2-5：从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。从文件迁移计划表里取出迁移任务，本实施例中，迁移任务对应的目标迁移层为SSD存储层，检测SSD存储层当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移；其中，所述的性能参数包括文件系统的负载率、剩余存储空间、历史访问模式。
具体步骤包括：
S2-51：检测SSD存储层当前文件系统的负载率；
S2-52：当检测到所述负载率小于设定的负载阈值时，检测SSD存储层的文件存储容量，当SSD存储层的文件存储容量低于设定的第一阈值时，从文件迁移计划表里取出迁移任务执行迁移；当前存储空间已满或者文件已经全部迁移完成后，停止迁移；
S2-53：当SSD存储层的文件存储容量高于设定的第二阈值时，判断待迁移文件大小小于SSD存储层当前可用空间时，从文件迁移计划表里取出迁移任务执行迁移，否则不执行迁移过程，其中，第一阈值小于第二阈值。
S2-54：若待迁移文件当前所在的存储层为HDD存储层并且文件大小大于设定的大文件阈值时，查询该文件的历史访问模式，若该文件历史访问模式为顺序访问模式，则该文件不执行迁移；若该文件历史访问模式为随机访问模式，将该文件迁移到SSD存储层。
S2-55：若待迁移文件当前所在的存储层为HDD存储层并且的文件大小小于设定的小文件阈值时，该文件不执行迁移。需要说明的是，迁移的目的是将存储在低速率存储层的热点数据迁移到高速率存储层，将原有在高速率存储层的非热点数据在合适的迁移时间点将费热点数据迁出高速率存储层，进一步合理的利用资源。
实施例四
如图2所示，本发明技术方案还提供一种分层存储数据迁移系统，包括元数据管理模块、文件价值判定模块、迁移控制模块、文件系统监视模块、迁移模块；
元数据管理模块，用于获取并管理文件的元数据信息；保留文件的属性、文件位置以及历史访问信息包括文件的读写频率，顺序、随机访问比例，文件读写大小等信息，这些信息是文件价值判定阶段对文件进行价值判定的主要输入。文件价值判定模块，用于对文件进行价值判定并将判定结果输出到迁移控制模块；判定的结果反映文件的活跃程度；迁移控制模块，接受文件价值判定模块的文件价值计算结果，产生文件迁移计划表并输出控制信息到迁移模块；文件系统监视模块，收集目标存储层存储系统的性能信息并输出信息到迁移控制模块；包括文件系统访问延迟，访问命中率，顺序读写比例、存储系统剩余空间等，是产生迁移计划以及控制迁移模块迁移速度的重要依据；迁移模块，用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务，对文件在不同存储层上进行迁移。为了使迁移后的数据访问不受限系统中还存在访问重定向模块，用于提供虚拟层，上层接口可用统一的应用程序接口访问不同的存储层。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种分层存储数据迁移方法，其特征在于，包括如下步骤：
获取文件的元数据信息；
根据所述的元数据信息计算文件价值；
根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；
从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移；
所述的获取文件的元数据信息中，所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
文件读写顺序系数
Figure FDA0003628977110000011
文件读写随机系数
Figure FDA0003628977110000012
δ∈(0，1)，设X周期的平均响应时间为t；
Figure FDA0003628977110000013
表示编号为i的文件在X周期内顺序访问的频率；
Figure FDA0003628977110000014
表示编号为i的文件在X周期内随机访问的频率；
δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小；
所述的根据所述的元数据信息计算文件价值的步骤包括：
获取系统中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间；
根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数；
根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F；所述的文件价值F用于体现文件存放在高速率存储层获得的价值；
Figure FDA0003628977110000021
其中γ为设定的文件最小值，α为文件大小权重，Fsize(i)为当前文件的大小，ρ匹配程度系数。
2.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数的步骤包括：
将获取的在低速率存储层顺序访问所需时间与在高速率存储层顺序访问所需时间计算时间差，并将计算的时间差与文件读写顺序系数相乘得到顺序匹配系数；
将获取的在低速率存储层随机访问所需时间与在高速率存储层随机访问所需时间计算时间差，并将计算的时间差与文件读写随机系数相乘得到随机匹配系数；
将顺序匹配系数与随机匹配系数相加得到存储层匹配程度系数。
3.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述的根据文件价值产生文件迁移计划表的步骤包括：
根据文件价值的大小对文件进行排序并输出文件列表；
遍历文件列表的每一个文件并输出文件迁移计划表；其中，遍历文件时，若当前文件未在高速率存储层，并且文件大小小于高速率存储层的可用空间，在迁移计划表里面添加一条文件迁移计划。
4.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述的从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移的步骤包括：
从文件迁移计划表里取出迁移任务，检测当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移；其中，所述的性能参数包括文件系统的负载率、剩余存储空间、历史访问模式。
5.根据权利要求4所述的一种分层存储数据迁移方法，其特征在于，所述的从文件迁移计划表里取出迁移任务，检测当前文件系统的性能信息并根据所述的性能信息，对文件在不同存储层上进行迁移的步骤中，具体步骤包括：
检测当前文件系统的负载率；
当检测到所述负载率小于设定的负载阈值时，检测目标存储层的文件存储容量，当目标存储层的文件存储容量低于设定的第一阈值时，从文件迁移计划表里取出迁移任务执行迁移；当前存储空间已满或者文件已经全部迁移完成后，停止迁移；
当目标存储层的文件存储容量高于设定的第二阈值时，判断待迁移文件大小小于目标存储层当前可用空间时，从文件迁移计划表里取出迁移任务执行迁移，否则不执行迁移过程，其中，第一阈值小于第二阈值。
6.根据权利要求5所述的一种分层存储数据迁移方法，其特征在于，若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时，查询该文件的历史访问模式，若该文件的历史访问模式为顺序访问模式，则该文件不执行迁移；若该文件的历史访问模式为随机访问模式，将该文件迁移到高速率存储层；
若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时，该文件不执行迁移。
7.一种分层存储数据迁移系统，其特征在于，包括元数据管理模块、文件价值判定模块、迁移控制模块、文件系统监视模块、迁移模块；
元数据管理模块，用于获取并管理文件的元数据信息；所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
文件读写顺序系数
Figure FDA0003628977110000041
文件读写随机系数
Figure FDA0003628977110000042
δ∈(0，1)，设X周期的平均响应时间为t；
Figure FDA0003628977110000043
表示编号为i的文件在X周期内顺序访问的频率；
Figure FDA0003628977110000044
表示编号为i的文件在X周期内随机访问的频率；
δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小；
文件价值判定模块，用于对文件进行价值判定并将判定结果输出到迁移控制模块；具体用于获取系统中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间；根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数；根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F；所述的文件价值F用于体现文件存放在高速率存储层获得的价值；
Figure FDA0003628977110000051
其中γ为设定的文件最小值，α为文件大小权重，Fsize(i)为当前文件的大小，ρ匹配程度系数；
迁移控制模块，接收文件价值判定模块的文件价值计算结果，产生文件迁移计划表并输出控制信息到迁移模块；
文件系统监视模块，收集存储系统的性能信息并输出信息到迁移控制模块；
迁移模块，用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务，对文件在不同存储层上进行迁移。
8.根据权利要求7所述的一种分层存储数据迁移系统，其特征在于，该系统还包括访问重定向模块，所述的访问重定向模块，用于提供虚拟层，使上层接口用统一的应用程序接口访问不同的存储层。
CN202010094756.2A 2020-02-16 2020-02-16 一种分层存储数据迁移方法和系统 Active CN111367469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010094756.2A CN111367469B (zh) 2020-02-16 2020-02-16 一种分层存储数据迁移方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010094756.2A CN111367469B (zh) 2020-02-16 2020-02-16 一种分层存储数据迁移方法和系统

Publications (2)

Publication Number Publication Date
CN111367469A CN111367469A (zh) 2020-07-03
CN111367469B true CN111367469B (zh) 2022-07-08

Family

ID=71206123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010094756.2A Active CN111367469B (zh) 2020-02-16 2020-02-16 一种分层存储数据迁移方法和系统

Country Status (1)

Country Link
CN (1) CN111367469B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269759B (zh) * 2020-10-23 2023-12-22 北京浪潮数据技术有限公司 一种共享文件存储的迁移方法及相关装置
CN112506875B (zh) * 2020-12-15 2023-01-17 科大讯飞股份有限公司 文件存储方法、相关装置及文件存储系统
CN113515238B (zh) * 2021-07-27 2024-02-06 华云数据控股集团有限公司 一种基于分层存储的数据调度方法、系统及电子设备
CN113741819A (zh) * 2021-09-15 2021-12-03 第四范式（北京）技术有限公司 数据分级存储的方法和装置
CN114816749B (zh) * 2022-04-22 2023-02-10 江苏华存电子科技有限公司 一种用于内存的智能化管理方法及系统
CN116974468B (zh) * 2023-07-18 2024-02-20 广东华原网络工程有限公司 一种基于大数据的设备数据存储管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150263A (zh) * 2012-12-13 2013-06-12 深圳先进技术研究院 分级存储方法
CN103548004A (zh) * 2011-12-28 2014-01-29 华为技术有限公司 在文件系统中实现多级存储的方法和装置
CN105653591A (zh) * 2015-12-22 2016-06-08 浙江中控研究院有限公司 一种工业实时数据分级存储及迁移方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103548004A (zh) * 2011-12-28 2014-01-29 华为技术有限公司 在文件系统中实现多级存储的方法和装置
CN103150263A (zh) * 2012-12-13 2013-06-12 深圳先进技术研究院 分级存储方法
CN105653591A (zh) * 2015-12-22 2016-06-08 浙江中控研究院有限公司 一种工业实时数据分级存储及迁移方法

Also Published As

Publication number Publication date
CN111367469A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111367469B (zh) 一种分层存储数据迁移方法和系统
CN105653591B (zh) 一种工业实时数据分级存储及迁移方法
US8909887B1 (en) Selective defragmentation based on IO hot spots
US9703500B2 (en) Reducing power consumption by migration of data within a tiered storage system
US9355112B1 (en) Optimizing compression based on data activity
CN102364474B (zh) 用于机群文件系统的元数据存储系统和管理方法
CN104516471B (zh) 一种管理存储器系统的电源的方法和装置
CN103399713B (zh) 平衡多级存储性能与固态硬盘寿命的数据缓冲方法
US20140331004A1 (en) Write Spike Performance Enhancement In Hybrid Storage Systems
WO2018019119A1 (zh) 一种面向连续数据存储的动态局部并行数据布局方法及装置
CN102136005B (zh) 数据查询方法和装置
US8478939B2 (en) Relative heat index based hot data determination for block based storage tiering
CN103440208B (zh) 一种数据存储的方法及装置
CN104699424B (zh) 一种基于页面热度的异构内存管理方法
CN103914516A (zh) 一种存储系统分层管理的方法与系统
CN101373445B (zh) 一种内存调度方法及装置
WO2018113317A1 (zh) 数据的迁移方法、装置和系统
CN105242871A (zh) 一种数据写入方法及装置
CN103916459A (zh) 一种大数据归档存储系统
Shi et al. Optimal disk storage allocation for multi-tier storage system
CN107340975A (zh) 一种文件存储的方法及装置
CN105630810A (zh) 一种对于海量小文件在分布式存储系统中上载的方法
CN109388341A (zh) 一种基于Device Mapper的系统存储优化方法
CN106371762A (zh) 一种存储数据优化方法及系统
CN102722450A (zh) 一种基于位置敏感哈希的删冗块设备存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant