CN111858471A - 一种实时迁移策略 - Google Patents

一种实时迁移策略 Download PDF

Info

Publication number
CN111858471A
CN111858471A CN202010734285.7A CN202010734285A CN111858471A CN 111858471 A CN111858471 A CN 111858471A CN 202010734285 A CN202010734285 A CN 202010734285A CN 111858471 A CN111858471 A CN 111858471A
Authority
CN
China
Prior art keywords
time
real
migration
data
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010734285.7A
Other languages
English (en)
Inventor
陈宏宇
王亚强
刘魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cheng Xin High Tech Information Technology Co ltd, Chengdu University of Information Technology filed Critical Chengdu Cheng Xin High Tech Information Technology Co ltd
Priority to CN202010734285.7A priority Critical patent/CN111858471A/zh
Publication of CN111858471A publication Critical patent/CN111858471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。在数据访问发生时，实时记录数据的访问次数和间隔时间；判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中。根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。本发明执行全局数据访问的监控，为分布式文件存储系统的存储方法提供了有效帮助。

Description

一种实时迁移策略
技术领域
本发明涉及数据迁移策略，尤其涉及一种实时迁移策略，属于移动通信技术领域。
背景技术
随着电子网络时代的兴起，在日常的工作生活中需要用到越来越多的数据存储。而随着时间的增加，会出现数据源硬件老化、数据源存储空间不足、数据源需要更新换代等问题的出现。因此，需要进行数据迁移以保证数据的完整性。根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。
分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实时性的文件访问监控和分析，从而导致文件的迁移不及时，针对突发性频繁访问的文件无法及时进行迁移。
发明内容
为了解决文件的迁移不及时的问题，本发明提供了一种实时迁移策略。
本发明的所采用的技术方案如下：
一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。
S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；
S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；
S13：根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。
当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
本发明达到的有益效果：
提供了一种实时迁移策略，IO请求发生时，根据访问的文件句柄信息和其所在的存储层级，实时统计该文件的访问次数信息，定时间隔T时间后增量遍历全局文件访问信息进行迁移决策，选出访问次数超过N的需要进行迁移的文件加入到文件待迁移队列中等待执行文件迁移，并且在迁移完成后根据系统监控的各层级、各节点的存储容量等信息判断是否需要调整迁移策略中的阈值T和N。执行全局数据访问的监控，为分布式文件存储系统的存储方法提供了有效帮助。
附图说明
结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：
图1为本发明中策略执行具体流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例：
如图1所示，在实际的系统运行中，IO请求发生时根据访问的文件句柄信息和其所在的存储层级，实时统计该文件的访问次数信息，定时间隔T时间后增量遍历全局文件访问信息进行迁移决策，选出访问次数超过N的需要进行迁移的文件加入到文件待迁移队列中等待执行文件迁移，并且在迁移完成后根据系统监控的各层级、各节点的存储容量等信息判断是否需要调整迁移策略中的阈值T和N。
在本实施例中，一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。
S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；
S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；
S13：根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。
当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
本发明实例以分布式文件存储系统为背景，提出实时迁移策略。本发明通过具体的实施步骤，给出了优化方法实施的具体案例并分析其改善效果，尽管以上发明实施案例已经示出和描述了本发明的实施例，可以理解的是上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种实时迁移策略，应用于分布式文件存储系统，其特征在于，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。
2.根据权利要求1所述的一种实时迁移策略，其特征在于，包括如下步骤：
S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；
S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中。
3.根据权利要求1所述的一种实时迁移策略，其特征在于，所述步骤S12后还包括步骤：
S13：根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。
4.根据权利要求1所述的一种实时迁移策略，其特征在于，当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
CN202010734285.7A 2020-07-24 2020-07-24 一种实时迁移策略 Pending CN111858471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010734285.7A CN111858471A (zh) 2020-07-24 2020-07-24 一种实时迁移策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010734285.7A CN111858471A (zh) 2020-07-24 2020-07-24 一种实时迁移策略

Publications (1)

Publication Number Publication Date
CN111858471A true CN111858471A (zh) 2020-10-30

Family

ID=72947648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010734285.7A Pending CN111858471A (zh) 2020-07-24 2020-07-24 一种实时迁移策略

Country Status (1)

Country Link
CN (1) CN111858471A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN117056087A (zh) * 2023-10-11 2023-11-14 深圳云天畅想信息科技有限公司 云数据中心混合内存优化方法、计算机装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500072A (zh) * 2013-09-27 2014-01-08 华为技术有限公司 数据迁移方法及数据迁移装置
CN104272386A (zh) * 2012-04-25 2015-01-07 国际商业机器公司 通过分层存储系统内的数据迁移减少功耗
CN111427843A (zh) * 2020-04-15 2020-07-17 成都信息工程大学 一种面向文件的海量数据分级存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272386A (zh) * 2012-04-25 2015-01-07 国际商业机器公司 通过分层存储系统内的数据迁移减少功耗
CN103500072A (zh) * 2013-09-27 2014-01-08 华为技术有限公司 数据迁移方法及数据迁移装置
CN111427843A (zh) * 2020-04-15 2020-07-17 成都信息工程大学 一种面向文件的海量数据分级存储方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN112948398B (zh) * 2021-04-29 2023-02-24 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN117056087A (zh) * 2023-10-11 2023-11-14 深圳云天畅想信息科技有限公司 云数据中心混合内存优化方法、计算机装置及存储介质
CN117056087B (zh) * 2023-10-11 2024-01-26 深圳云天畅想信息科技有限公司 云数据中心混合内存优化方法、计算机装置及存储介质

Similar Documents

Publication Publication Date Title
CN100571281C (zh) 海量数据分级存储方法
CN109947668B (zh) 存储数据的方法和装置
CN111427844B (zh) 一种面向文件分级存储的数据迁移系统及方法
CN101673192B (zh) 时序化的数据处理方法、装置及系统
CN111949629B (zh) 一种面向边缘云的文件存储方法及终端
CN111858471A (zh) 一种实时迁移策略
WO2014176547A1 (en) Object storage using multiple dimensions of object information
CN101790257A (zh) 一种存储数据的方法和网管系统
CN103576835A (zh) 一种休眠磁盘的数据操作方法和装置
CN102111920B (zh) 一种性能报表管理的方法及装置
CN104965674B (zh) 一种基于块关联的低能耗磁盘调度方法及系统
CN112202618A (zh) 基于数据通信的设备状态调整方法及数据处理终端
CN112947860A (zh) 一种分布式数据副本的分级存储与调度方法
CA2540947C (en) Tracking space usage in a database
CN111523004B (zh) 一种边缘计算网关数据的存储方法及系统
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
CN111858470A (zh) 一种时间窗口迁移策略
CN111858469A (zh) 一种基于时间滑动窗口的自适应分级存储的方法
WO2021258360A1 (zh) 一种车载数据存储方法及系统
CN107346342A (zh) 一种基于存储计算的文件调用方法与系统
CN114697325B (zh) 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置
CN115858510A (zh) 一种评测数据温度并进行动态存储管理的方法及存储介质
CN117472873A (zh) 数据迁移方法、装置、计算设备集群及存储介质
CN116932156A (zh) 一种任务处理方法、装置及系统
CN113885801A (zh) 一种内存数据的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination