CN103150263A - 分级存储方法 - Google Patents

分级存储方法 Download PDF

Info

Publication number
CN103150263A
CN103150263A CN2012105394373A CN201210539437A CN103150263A CN 103150263 A CN103150263 A CN 103150263A CN 2012105394373 A CN2012105394373 A CN 2012105394373A CN 201210539437 A CN201210539437 A CN 201210539437A CN 103150263 A CN103150263 A CN 103150263A
Authority
CN
China
Prior art keywords
migration
data
data block
storage
memory hierarchy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105394373A
Other languages
English (en)
Other versions
CN103150263B (zh
Inventor
张森林
冯圣中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Internet Service Co ltd
Ourchem Information Consulting Co ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210539437.3A priority Critical patent/CN103150263B/zh
Publication of CN103150263A publication Critical patent/CN103150263A/zh
Application granted granted Critical
Publication of CN103150263B publication Critical patent/CN103150263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分级存储方法，所述方法包括以下步骤：存储自动分级：集群启动，自动识别不同类型的主机所处于的存储层次；定向存取：选择距离近、存储层次高、负载轻的节点用于数据的存储和读取；寻找热数据：记录文件中各数据块的访问信息，判断迁移时机，当迁移时机到来时，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列；数据块迁移：将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层。本发明的分级存储方法容易部署且硬件低廉，具有较高性价比，同时改善集群的数据调度，使得集群的访问性能得到优化。

Description

分级存储方法
技术领域
本发明涉及一种计算机领域的存储技术，尤其涉及一种分级存储方法。
背景技术
随着数据量的剧增，传统的存储系统由于其物理组成的限制及功能上的局限，造成了存储系统瓶颈的出现，已不能完全满足海量数据存储的需要，于是集群存储应运而生。集群存储，是指由若干个“通用存储设备”组成的用于存储的集群，相对传统的存储系统，它有扩展性强、容易管理、性能优越的特点。集群存储的核心是其分布式的存储系统，一般拥有统一的命名空间，能够将集群中的所有操作统一调度和分发，协调众多存储设备一起工作。近年来，集群存储在并行I/O方面取得了显著成效，尤其是处理工作流、读密集型和大型文件的访问，更是得心应手。hadoop集群就是这样一种存储海量数据的集群，它拥有集群存储的大部分优点。
数据调度的目的是，利用最少的资源，占用最少的时间，完成指定的批量任务。hadoop集群中的数据调度，主要牵涉到数据分片与负载均衡技术。其中，数据分片，是将较大的文件分成较小的数据片，这些数据片会分布在不同的服务器节点上，在处理大任务时，可以先将其分割成小任务，在各个节点上并发执行，然后合并成最终的结果输出。负载均衡，是为了缓解个别过载服务器的压力，需要将部分负载转移到其他负载轻的节点上，这牵涉到了集群在线扩展和数据的迁移。
当前hadoop集群中的服务器，多配备容量大、价格低的SATA硬盘，处理能力偏低且服务器分散。
发明内容
本发明为解决上述技术问题，提供一种成本低、自动化程度高的分级存储方法，所述方法包括以下步骤：
存储自动分级：集群启动，自动识别不同类型的主机所处于的存储层次；
定向存取：选择距离近、存储层次高、负载轻的节点用于数据的存储和读取；
寻找热数据：记录文件中各数据块的访问信息，判断迁移时机，当迁移时机到来时，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列；
数据块迁移：将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层。
优选地，所述方法还包括：自适应调整：数据迁移完成后，更新数据块相关信息，重新启动监控。
优选地，根据主机名将不同类型的主机划分为不同的存储层次。
优选地，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。
优选地，通过信息估值模型处理所述记录信息，所述数据块访问信息包括访问用户、访问时间以及数据块信息。
优选地，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数据块值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移。
优选地，所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，过滤后形成的队列中的所有数据分段都已经确定迁移方向，阈值反映了本存储层次上前一次的迁移结果。
优选地，所述路径匹配模型为：在队列中所有的块都确定了迁移方向后，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点。
优选地，所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。
优选地，所述更新数据块相关信息，重新启动监控的步骤具体为：
存储数据块的估值结果，以备下一次估值时使用；
对于已经被删除的数据块，在系统所保留的访问记录中删除；
根据迁移的实际情况进行各存储层次的阈值更新；
唤醒监视进程，等待下一次数据迁移的到来。
本发明的分层存储方法在集群实现分级存储技术，使用最小的成本达到最佳的性能，对集群的数据调度策略进行了优化。
附图说明
图1为本发明一实施例分级存储方法流程示意图。
具体实施方式
下面将结合附图以及具体实施例来对本发明作进一步详细说明。
如图1所示，为本发明一实施例分级存储方法流程示意图，本发明分级存储的方法包括以下步骤：
步骤S1：存储自动分级。
集群启动，自动识别不同类型的主机所处于的存储层次，本实施例中，hadoop集群启动时，通过“主机名标识法”(分级依据)，系统可自动识别每个节点的访问性能。如主机名中含有“high”，则访问性能最好，列为一级存储；含有“middle”，则访问性能适中，列为二级存储；含有“low”，列为三级存储。系统将所有的节点分成这3个存储层次，存储层次越高，访问性能越少。必要时，存储层次高的节点还会配以更快的网络、cpu等；所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。
步骤S2：定向存取。
存储文件时，客户端将要存储的文件分成固定大小的数据块，每个数据块至少设有1个副本，各副本优先存储在存储层次高的存储层上，本实施例中，存储文件时，客户端需要首先从名称节点获得许可。然后将文件分成大小为64MB的块，每个块通常有3个副本。这3个副本会采用“管道流”的方式存放在3个不同的数据节点上。节点的选择由名称节点实现，通常会考虑到节点与客户端的距离、节点负载与容量等条件，并优先考虑存储层次较高的节点；读取文件时，客户端首先从存储层获取数据块的位置，然后直接与相应的存储层进行数据传输，选择距离近、存储层次高、负载轻的节点用于数据的存储和读取。
步骤S3：寻找热数据。
记录文件中各数据块的访问信息，判断迁移时机，根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点，当迁移时机到来时，通过信息估值模型处理所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列，本实施例中，集群中的节点被分为3个不同的存储层次，存储层次越高，配置的硬盘访问性能越好，容量就越小，价格也越贵。因此只能由少量的数据存放在存储层次最高的节点上。通常情况下，一个集群中的所有数据中只有少量数据被频繁访问。我们通过记录文件的访问信息，通过信息估值模型处理这些信息，得出一个价值，该价值越大，代表该数据访问的越是频繁，存储层次就该越高；客户端对文件的读取是以块为单位的，系统把块的每次读取操作都记录下来，记录的内容包括：用户、时间、块信息等，每读取一次系统就会生成一条记录。在特定时刻，使用信息估值模型处理这些记录，模型的处理对象是块，用到的参数有：访问时间，访问次数，用户数量，块的大小，块与其他块的关联度，块的历史值等，利用公式计算出特定的值，来衡量块的“热”度，并按照价值从高到低形成队列，信息估值模型初步处理后的块值队列，数据迁移算法利用队列过滤模型、路径匹配模型，形成具体的迁移任务，最后利用迁移控制模型完成最终的数据迁移；队列过滤模型通过各存储层次上的阈值，过滤掉无需迁移的数据块。这些阈值记录的是所有下迁数据块的最大值和所有上迁数据块的最小值。过滤后形成的队列中的所有块都已经确定迁移方向。
步骤S4：数据块迁移。
将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层，本实施例中，所述存储层包括SSD一级存储层、SAS二级存储层以及SATA三级存储层，在队列中所有的块都确定了迁移方向后，需要确定迁移的源和目标。迁移源优先选择剩余空间较少，负载轻的节点，迁移目标需要有足够的空间来容纳迁移块，优先选择负载轻的节点。同时迁移源与迁移目标的距离要足够的近，队列中所有的块都有了具体的迁移源和迁移目标时，就形成了具体的迁移任务。控制模型使用多线程分批次执行这些迁移任务，如每批次只有50个线程用于迁移，并且每个节点至多有5个线程用于执行迁移任务，使得迁移过程对集群中节点访问性能的影响尽可能小。
步骤S5：自适应调整。
数据迁移完成后，更新数据块访问信息，重新启动监控，本实施例中，所述更新数据块相关信息，重新启动监控的步骤具体为：
存储数据块的估值结果，以备下一次估值时使用；
对于已经被删除的数据块，在系统所保留的访问记录中删除；
根据迁移的实际情况进行各存储层次的阈值更新；
唤醒监视进程，等待下一次数据迁移的到来。
在步骤S5之后，返回执行步骤S2，数据调度的过程循环进行。
本发明的分级存储方法具有以下特点，容易部署，本发明使用的hadoop版本可直接安装，与普通的hadoop集群安装并无太大区别；硬件低廉，集群中大部分的主机仍旧安装SATA盘，只有少量的主机节点配置SSD盘或SAS盘；性价比高，利用分级存储技术，使得集群的访问性能接近于全部部署SSD硬盘的情形，而存储能力与成本接近于全部部署SATA硬盘的情形，同时使用分级存储的方法可以改善集群的数据调度，使得集群的访问性能得到优化。
可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种分级存储方法，其特征在于，所述方法包括以下步骤：
存储自动分级：集群启动，自动识别不同类型的主机所处于的存储层次；
定向存取：选择距离近、存储层次高、负载轻的节点用于数据的存储和读取；
寻找热数据：记录文件中各数据块的访问信息，判断迁移时机，当迁移时机到来时，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列；
数据块迁移：将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层。
2.根据权利要求1所述的分级存储方法，其特征在于，所述方法还包括：自适应调整：数据迁移完成后，更新数据块相关信息，重新启动监控。
3.根据权利要求1所述的分级存储方法，其特征在于：根据主机名将不同类型的主机划分为不同的存储层次。
4.根据权利要求1所述的分级存储方法，其特征在于：在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。
5.根据权利要求1所述的分级存储方法，其特征在于：通过信息估值模型处理所述记录信息，所述数据块访问信息包括访问用户、访问时间以及数据块信息。
6.根据权利要求5所述的分级存储方法，其特征在于：通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数据块值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移。
7.根据权利要求6所述的分级存储方法，其特征在于：所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，过滤后形成的队列中的所有数据分段都已经确定迁移方向，阈值反映了本存储层次上前一次的迁移结果。
8.根据权利要求6所述的分级存储方法，其特征在于：所述路径匹配模型为：在队列中所有的块都确定了迁移方向后，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点。
9.根据权利要求6所述的分级存储方法，其特征在于：所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。
10.根据权利要求2所述的分级存储方法，其特征在于：所述更新数据块相关信息，重新启动监控的步骤具体为：
存储数据块的估值结果，以备下一次估值时使用；
对于已经被删除的数据块，在系统所保留的访问记录中删除；
根据迁移的实际情况进行各存储层次的阈值更新；
唤醒监视进程，等待下一次数据迁移的到来。
CN201210539437.3A 2012-12-13 2012-12-13 分级存储方法 Active CN103150263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210539437.3A CN103150263B (zh) 2012-12-13 2012-12-13 分级存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210539437.3A CN103150263B (zh) 2012-12-13 2012-12-13 分级存储方法

Publications (2)

Publication Number Publication Date
CN103150263A true CN103150263A (zh) 2013-06-12
CN103150263B CN103150263B (zh) 2016-01-20

Family

ID=48548356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210539437.3A Active CN103150263B (zh) 2012-12-13 2012-12-13 分级存储方法

Country Status (1)

Country Link
CN (1) CN103150263B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324713A (zh) * 2013-06-19 2013-09-25 北京奇虎科技有限公司 多级服务器中的数据处理方法、装置和数据处理系统
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN103473298A (zh) * 2013-09-04 2013-12-25 华为技术有限公司 数据归档方法和装置以及存储系统
CN103714152A (zh) * 2013-12-26 2014-04-09 国家电网公司 一种通用的数据接入方法及装置
CN104156381A (zh) * 2014-03-27 2014-11-19 深圳信息职业技术学院 Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统
CN104462389A (zh) * 2014-12-10 2015-03-25 上海爱数软件有限公司 基于分级存储的分布式文件系统实现方法
CN104731517A (zh) * 2013-12-19 2015-06-24 中国移动通信集团四川有限公司 一种存储池容量分配方法和装置
CN104869140A (zh) * 2014-02-25 2015-08-26 阿里巴巴集团控股有限公司 多集群系统和控制多集群系统的数据存储的方法
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106527995A (zh) * 2016-11-22 2017-03-22 青海师范大学 一种i/o均衡的数据扩容迁移方法
WO2017036428A3 (zh) * 2015-09-06 2017-04-13 中兴通讯股份有限公司 容量变更建议方法及装置
CN107066206A (zh) * 2017-03-22 2017-08-18 佛山科学技术学院 一种分布式物理磁盘的存储控制方法、及系统
CN107153513A (zh) * 2017-03-22 2017-09-12 佛山科学技术学院 一种分布式系统服务器的存储控制方法、及服务器
CN107168645A (zh) * 2017-03-22 2017-09-15 佛山科学技术学院 一种分布式系统的存储控制方法、及系统
CN107291388A (zh) * 2017-06-15 2017-10-24 郑州云海信息技术有限公司 一种io栈中数据分层的方法和装置
WO2017206649A1 (zh) * 2016-05-31 2017-12-07 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN108595108A (zh) * 2017-12-29 2018-09-28 北京奇虎科技有限公司 一种数据的迁移方法和装置
CN108810140A (zh) * 2018-06-12 2018-11-13 湘潭大学 云存储系统中基于动态阈值调整的分级存储方法
CN109947703A (zh) * 2017-11-09 2019-06-28 北京京东尚科信息技术有限公司 文件系统、文件存储方法、存储装置和计算机可读介质
CN110471900A (zh) * 2019-07-10 2019-11-19 平安科技（深圳）有限公司 数据处理方法及终端设备
CN110489378A (zh) * 2019-08-25 2019-11-22 张亮 一种在互联网中进行文件迁移的方法及系统
CN110609827A (zh) * 2019-09-25 2019-12-24 上海交通大学 面向分布式图数据库的数据动态迁移方法及系统
CN111367469A (zh) * 2020-02-16 2020-07-03 苏州浪潮智能科技有限公司 一种分层存储数据迁移方法和系统
CN111427969A (zh) * 2020-03-18 2020-07-17 清华大学 一种分级存储系统的数据替换方法
CN111684779A (zh) * 2018-02-12 2020-09-18 国际商业机器公司 分层存储管理系统中的数据迁移
CN112187738A (zh) * 2020-09-11 2021-01-05 中国银联股份有限公司 业务数据访问控制方法、装置及计算机可读存储介质
CN112947860A (zh) * 2021-03-03 2021-06-11 成都信息工程大学 一种分布式数据副本的分级存储与调度方法
CN113742290A (zh) * 2021-11-04 2021-12-03 上海闪马智能科技有限公司 一种数据存储方法、装置、存储介质及电子装置
CN114245080A (zh) * 2021-12-20 2022-03-25 厦门南棠科技有限公司 网络视频监控系统
CN115079958A (zh) * 2022-07-22 2022-09-20 苏州浪潮智能科技有限公司 多节点负载均衡冷热数据迁移装置、方法、终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201801A (zh) * 2006-12-11 2008-06-18 南京理工大学 视频点播系统的分级存储管理方法
CN102158513A (zh) * 2010-02-11 2011-08-17 联想(北京)有限公司 一种服务器集群节能的方法、装置和服务器集群
US20120017046A1 (en) * 2010-07-14 2012-01-19 Varun Mehta Unified management of storage and application consistent snapshots
CN102724294A (zh) * 2012-05-24 2012-10-10 中国科学院深圳先进技术研究院 数据分布存储方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201801A (zh) * 2006-12-11 2008-06-18 南京理工大学 视频点播系统的分级存储管理方法
CN102158513A (zh) * 2010-02-11 2011-08-17 联想(北京)有限公司 一种服务器集群节能的方法、装置和服务器集群
US20120017046A1 (en) * 2010-07-14 2012-01-19 Varun Mehta Unified management of storage and application consistent snapshots
CN102724294A (zh) * 2012-05-24 2012-10-10 中国科学院深圳先进技术研究院 数据分布存储方法和系统

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324713B (zh) * 2013-06-19 2017-04-12 北京奇安信科技有限公司 多级服务器中的数据处理方法、装置和数据处理系统
CN103324713A (zh) * 2013-06-19 2013-09-25 北京奇虎科技有限公司 多级服务器中的数据处理方法、装置和数据处理系统
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN103473298A (zh) * 2013-09-04 2013-12-25 华为技术有限公司 数据归档方法和装置以及存储系统
CN103473298B (zh) * 2013-09-04 2017-01-11 华为技术有限公司 数据归档方法和装置以及存储系统
CN104731517A (zh) * 2013-12-19 2015-06-24 中国移动通信集团四川有限公司 一种存储池容量分配方法和装置
CN103714152A (zh) * 2013-12-26 2014-04-09 国家电网公司 一种通用的数据接入方法及装置
CN104869140B (zh) * 2014-02-25 2018-05-22 阿里巴巴集团控股有限公司 多集群系统和控制多集群系统的数据存储的方法
CN104869140A (zh) * 2014-02-25 2015-08-26 阿里巴巴集团控股有限公司 多集群系统和控制多集群系统的数据存储的方法
CN104156381A (zh) * 2014-03-27 2014-11-19 深圳信息职业技术学院 Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统
CN104462389A (zh) * 2014-12-10 2015-03-25 上海爱数软件有限公司 基于分级存储的分布式文件系统实现方法
CN104462389B (zh) * 2014-12-10 2018-01-30 上海爱数信息技术股份有限公司 基于分级存储的分布式文件系统实现方法
WO2017036428A3 (zh) * 2015-09-06 2017-04-13 中兴通讯股份有限公司 容量变更建议方法及装置
WO2017206649A1 (zh) * 2016-05-31 2017-12-07 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106470242B (zh) * 2016-09-07 2019-07-19 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106527995A (zh) * 2016-11-22 2017-03-22 青海师范大学 一种i/o均衡的数据扩容迁移方法
CN106527995B (zh) * 2016-11-22 2019-03-29 青海师范大学 一种i/o均衡的数据扩容迁移方法
CN107168645B (zh) * 2017-03-22 2020-07-28 佛山科学技术学院 一种分布式系统的存储控制方法及系统
CN107153513B (zh) * 2017-03-22 2020-07-24 佛山科学技术学院 一种分布式系统服务器的存储控制方法及服务器
CN107066206A (zh) * 2017-03-22 2017-08-18 佛山科学技术学院 一种分布式物理磁盘的存储控制方法、及系统
CN107066206B (zh) * 2017-03-22 2020-07-24 佛山科学技术学院 一种分布式物理磁盘的存储控制方法及系统
CN107153513A (zh) * 2017-03-22 2017-09-12 佛山科学技术学院 一种分布式系统服务器的存储控制方法、及服务器
CN107168645A (zh) * 2017-03-22 2017-09-15 佛山科学技术学院 一种分布式系统的存储控制方法、及系统
CN107291388A (zh) * 2017-06-15 2017-10-24 郑州云海信息技术有限公司 一种io栈中数据分层的方法和装置
CN109947703A (zh) * 2017-11-09 2019-06-28 北京京东尚科信息技术有限公司 文件系统、文件存储方法、存储装置和计算机可读介质
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN108595108A (zh) * 2017-12-29 2018-09-28 北京奇虎科技有限公司 一种数据的迁移方法和装置
CN111684779B (zh) * 2018-02-12 2023-02-03 国际商业机器公司 分层存储管理系统中的数据迁移
CN111684779A (zh) * 2018-02-12 2020-09-18 国际商业机器公司 分层存储管理系统中的数据迁移
CN108810140B (zh) * 2018-06-12 2021-09-28 湘潭大学 云存储系统中基于动态阈值调整的高性能分级存储优化方法
CN108810140A (zh) * 2018-06-12 2018-11-13 湘潭大学 云存储系统中基于动态阈值调整的分级存储方法
CN110471900A (zh) * 2019-07-10 2019-11-19 平安科技（深圳）有限公司 数据处理方法及终端设备
CN110489378A (zh) * 2019-08-25 2019-11-22 张亮 一种在互联网中进行文件迁移的方法及系统
CN110609827A (zh) * 2019-09-25 2019-12-24 上海交通大学 面向分布式图数据库的数据动态迁移方法及系统
CN111367469A (zh) * 2020-02-16 2020-07-03 苏州浪潮智能科技有限公司 一种分层存储数据迁移方法和系统
CN111367469B (zh) * 2020-02-16 2022-07-08 苏州浪潮智能科技有限公司 一种分层存储数据迁移方法和系统
CN111427969B (zh) * 2020-03-18 2022-05-27 清华大学 一种分级存储系统的数据替换方法
CN111427969A (zh) * 2020-03-18 2020-07-17 清华大学 一种分级存储系统的数据替换方法
CN112187738A (zh) * 2020-09-11 2021-01-05 中国银联股份有限公司 业务数据访问控制方法、装置及计算机可读存储介质
CN112947860A (zh) * 2021-03-03 2021-06-11 成都信息工程大学 一种分布式数据副本的分级存储与调度方法
CN113742290A (zh) * 2021-11-04 2021-12-03 上海闪马智能科技有限公司 一种数据存储方法、装置、存储介质及电子装置
CN113742290B (zh) * 2021-11-04 2022-03-15 上海闪马智能科技有限公司 一种数据存储方法、装置、存储介质及电子装置
CN114245080A (zh) * 2021-12-20 2022-03-25 厦门南棠科技有限公司 网络视频监控系统
CN115079958A (zh) * 2022-07-22 2022-09-20 苏州浪潮智能科技有限公司 多节点负载均衡冷热数据迁移装置、方法、终端及介质

Also Published As

Publication number Publication date
CN103150263B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN103150263A (zh) 分级存储方法
CN103106152B (zh) 基于层次存储介质的数据调度方法
US11487760B2 (en) Query plan management associated with a shared pool of configurable computing resources
JP5765416B2 (ja) 分散ストレージシステムおよび方法
US9218196B2 (en) Performing pre-stage replication of data associated with virtual machines prior to migration of virtual machines based on resource usage
US20140325151A1 (en) Method and system for dynamically managing big data in hierarchical cloud storage classes to improve data storing and processing cost efficiency
US10866970B1 (en) Range query capacity allocation
CN106462544A (zh) 分布式存储系统中的会话管理
US20150081964A1 (en) Management apparatus and management method of computing system
CN106462601A (zh) 针对多盘区操作的原子写入
CN106462545A (zh) 可缩放文件存储服务
US20120158799A1 (en) Automatically matching data sets with storage components
CN105103114B (zh) 提供多个层的数据存储、文件和卷系统
CN103106044A (zh) 分级存储节能方法
WO2018113317A1 (zh) 数据的迁移方法、装置和系统
US20170220957A1 (en) Restaurant reservation and table management system and method
US9330158B1 (en) Range query capacity allocation
US20170109282A1 (en) High-performance distributed caching
CN107409142A (zh) 存储受约束的共享内容项同步
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN112163001A (zh) 高并发查询方法、智能终端及存储介质
CN107346342A (zh) 一种基于存储计算的文件调用方法与系统
CN117076391B (zh) 一种水利元数据管理系统
CN104391947B (zh) 海量gis数据实时处理方法及系统
US20180124067A1 (en) Data access management

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230104

Address after: 510000 room 606-609, compound office complex building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province (not for plant use)

Patentee after: China Southern Power Grid Internet Service Co.,Ltd.

Address before: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee before: OURCHEM INFORMATION CONSULTING CO.,LTD.

Effective date of registration: 20230104

Address after: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee after: OURCHEM INFORMATION CONSULTING CO.,LTD.

Address before: 1068 No. 518055 Guangdong city in Shenzhen Province, Nanshan District City Xili University School Avenue

Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

TR01 Transfer of patent right