CN113836084A - 一种数据存储方法、装置和系统 - Google Patents
一种数据存储方法、装置和系统 Download PDFInfo
- Publication number
- CN113836084A CN113836084A CN202111108397.2A CN202111108397A CN113836084A CN 113836084 A CN113836084 A CN 113836084A CN 202111108397 A CN202111108397 A CN 202111108397A CN 113836084 A CN113836084 A CN 113836084A
- Authority
- CN
- China
- Prior art keywords
- data
- hdd
- ssd
- data file
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 239000007787 solid Substances 0.000 claims abstract description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 2
- 238000010922 spray-dried dispersion Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000004883 computer application Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据存储方法、装置和系统，部署的数据存储系统包括硬盘驱动器(HDD)和固态硬盘(SSD)，还包括监控调度中心；监控调度中心收集所述HDD和SSD上各数据文件的访问频率信息，依据访问频率信息将各数据文件分为冷数据和热数据；调度热数据到SSD以及调度冷数据到HDD。本发明提供的HDD及SSD异构存储的方式，能够在满足性能需要的前提下，提高可运营性及降低成本。
Description
【技术领域】
本发明涉及计算机应用技术领域，特别涉及一种数据存储方法、装置和系统。
【背景技术】
HBase是一个分布式的、高性能、面向列的开源数据库，利用HBase技术可在廉价PC服务器上搭建起大规模结构化存储集群。现有HBase的数据采用如图1中所示的存储方式，即每个数据文件保存在HDD(Hard Disk Drive，硬盘驱动器)上，以HDD作为数据存储介质。HDD虽然具有容量大和价格低的优势，但性能较低，当整个HBase集群的性能无法满足应用的需要时，需要升级HDD到SSD(Solid State Drive，固态硬盘)来满足性能需要，即采用如图2中所示的存储方式，每个数据文件保存在SSD上。在总体容量不变的情况下，将需要更多数量的SSD。然而，SSD虽然具有性能高的优势，但容量小且价格高，这就会造成机房中机器数量更多、可运维性降低且整体成本较高。
【发明内容】
有鉴于此，本发明提供了一种数据存储方法、装置和系统，在满足性能需要的前提下，提高可运营性及降低成本。
具体技术方案如下：
本发明提供了一种数据存储的方法，部署的数据存储系统包括硬盘驱动器HDD和固态硬盘SSD；所述方法包括：
收集所述HDD和SSD上各数据文件的访问频率信息，依据访问频率信息将各数据文件分为冷数据和热数据；
调度热数据到SSD以及调度冷数据到HDD。
根据本发明一优选实施方式，所述HDD的总存储容量大于所述SSD的总存储容量。
根据本发明一优选实施方式，所述HDD与所述SSD的总存储容量比例约为8:2。
根据本发明一优选实施方式，所述依据访问频率信息将各数据文件分为冷数据和热数据包括：
依据访问频率信息对各数据文件进行排序，将排在前M个的数据文件确定为热数据，所述前M个数据文件的大小小于或等于所述SDD的总存储容量。
根据本发明一优选实施方式，所述调度热数据到SSD以及调度冷数据到HDD包括：
按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；以及，
按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。
根据本发明一优选实施方式，所述一定的顺序包括：
按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序。
根据本发明一优选实施方式，在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；
在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。
本发明提供了一种数据存储的装置，该装置应用于部署了HDD和SSD的数据存储系统，所述装置包括：
收集单元，用于收集所述HDD和SSD上各数据文件的访问频率信息；
判别单元，用于依据访问频率信息将所述各数据文件分为冷数据和热数据；
调度单元，用于调度热数据到SSD以及调度冷数据到HDD。
根据本发明一优选实施方式，所述判别单元，具体用于依据访问频率信息对所述各数据文件进行排序，将排在前M个的数据文件确定为热数据，所述前M个数据文件的大小小于或等于所述SDD的总存储容量。
根据本发明一优选实施方式，所述调度单元，具体用于按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；以及，
按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。
根据本发明一优选实施方式，所述一定的顺序包括：
按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序。
根据本发明一优选实施方式，所述调度单元在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。
本发明提供了一种数据存储系统，所述数据存储系统中部署了HDD和SSD，还包括监控调度中心；
所述监控调度中心包括上述的装置。
根据本发明一优选实施方式，所述HDD的总存储容量大于所述SSD的总存储容量。
根据本发明一优选实施方式，所述HDD与所述SSD的总存储容量比例约为8:2。
由以上技术方案可以看出，本发明采用HDD和SSD的异构存储方式，依据数据文件的访问频率信息，将数据文件在HDD和SSD上进行调度，能够在满足性能需要的前提下，提高可运营性及降低成本。
【附图说明】
图1为现有技术中HBase的第一种数据存储方式；
图2为现有技术中HBase的第二种数据存储方式；
图3为本发明实施例提供的数据存储系统结构图；
图4为本发明实施例提供的数据存储方法流程图；
图5为本发明实施例提供的数据存储方式的实例图；
图6为本发明实施例提供的装置结构图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
本发明的核心思想在于，在集群中部署HDD和SSD，采用异构存储的方式将数据文件存储在HDD和SSD上，在HDD和SDD构成的数据存储系统中还包括监控调度中心，如图3中所示。其中监控调度中心负责调度数据文件存储在HDD或SSD上。具体的存储方法结合实图4所示的流程进行描述。
图4为本发明实施例提供的数据存储方法流程图，如图4中所示，该方法可以包括以下流程：
在401中，预先为HBase集群部署数据存储系统，该数据存储系统中包括HDD和SSD。其中可以设置HDD的总存储容量大于SSD的总存储容量。根据80/20定律可知，通常80％的访问流量实际仅访问其中20％的数据，基于该定律，优选设置HDD与SSD的存储容量比例为8:2。但HDD和SDD总的存储容量需要满足HBase集群的业务需求。
该401是预先执行的，下述的步骤是数据存储系统中的监控调度中心周期性执行的。另外，上述SDD和HDD的数量可以根据具体的业务需求、企业的财力状况等因素进行扩展和调整。
在402中，监控调度中心周期性收集各数据文件的访问频率信息，将各数据文件分为冷数据和热数据。
对于初始状态下，将各数据文件进行存储时，可以随机存储于SSD或HDD上；也可以按顺序优选存储于SSD上，SSD上满了以后再存储于HDD上；还可以按照数据文件的类型结合经验，将某些访问频率可能较高的类型的数据文件存储于SSD上。
这里的数据文件可以以数据块为单元，即收集各数据块的访问频率信息，将访问频率高的数据块判定为热数据，将访问频率低的数据块判定为冷数据。
这里的访问频率信息可以采用QPS(Query Per Second，每秒查询率)。一种优选的实施方式，依据QPS将各数据文件进行排序，将排在前M个的数据文件确定为热数据，M为正整数，该M个数据文件的大小小于或等于SDD的存储容量。
如果数据文件以固定大小的数据块为单元，则可以将QPS排在前M％的数据块确定为热数据，
其中m:n为HDD与SSD的存储容量比例。
假设存在20个数据块，如果HDD和SDD的存储容量比值为8:2，则依据QPS进行排序后，可以将排在前4个的数据块确定为热数据。例如表1中所示：
表1
在403中，调度热数据到SSD，调度冷数据到HDD。
在判别出冷、热数据后，可能存在以下几种情况：
1)数据文件是冷数据且当前存储于HDD；
2)数据文件是热数据且当前存储于SSD；
3)数据文件是热数据且当前存储于HDD；
4)数据文件是冷数据且当前存储于SSD。
对于第1)和第2)种情况的数据文件无需进行调度，需要进行调度的是第3)和第4)种情况。
对于第3)种情况的数据文件，可以按照一定顺序逐一进行调度，将被调度的数据文件转移存储到当前具有足够存储空间的SSD，优选地，可以优先存储到当前负载最小的SSD上。其中按照一定顺序可以是按照随机挑选出来的顺序、按照所在HDD编号的顺序、按照访问频率的顺序等等。
对于第4)种情况的数据文件，类似地，也可以按照一定顺序逐一进行调度，将被调度的数据文件转移存储到当前具有足够存储空间的HDD上，优选地，可以优先存储到当前负载最小的HDD上。其中按照一定顺序可以是按照随机挑选出来的顺序、按照所在SSD编号的顺序、按照访问频率的顺序等等。
表1中的数据进行上述调度之后的存储结果可以如图5中所示，这样QPS较高的数据文件存储于SSD上，QPS较低的数据文件存储于HDD上，从而尽可能的保证QPS较高的数据文件的性能需求。
图6为本发明实施例提供的装置结构图，该装置设置于数据存储系统的监控调度中心中，如图6中所示，该装置可以包括：收集单元01、判别单元02和调度单元03。
其中收集单元01负责收集HDD和SSD上各数据文件的访问频率信息，该收集可以是周期性的。这里的访问频率信息可以采用QPS。
判别单元02负责依据访问频率信息将各数据文件分为冷数据和热数据。一种优选的实施方式，依据QPS将各数据文件进行排序，将排在前M个的数据文件确定为热数据，M为正整数，该M个数据文件的大小小于或等于SDD的存储容量。
在判别单元02判别出冷热数据后，调度单元03负责调度热数据到SSD以及调度冷数据到HDD。具体地，可以按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。
其中，一定的顺序可以包括：按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序等。另外，调度单元03在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。
需要说明的是，本发明实施例提供的上述方法、装置和系统并不局限于HBase集群，也可以应用于其他数据库类型的集群。
由于一般SSD和HDD的价格比例为10:1，性能比例为30:1，那么按照本发明实施例所提供的方法、装置和系统进行数据存储能够保证性能较高的同时，价格大幅降低。将几种数据存储方案的价格和性能状况进行比较，如表2中所示。
表2
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (19)
1.一种数据存储的方法，应用于HBase集群，其特征在于，所述HBase集群部署的数据存储系统包括硬盘驱动器HDD和固态硬盘SSD；所述SSD和HDD共同分担数据文件的存储；所述方法包括：
获取待存储的数据文件；
将所述数据文件中的一部分存储于所述HDD，一部分存储于所述SSD。
2.根据权利要求1所述的方法，其特征在于，所述将所述数据文件中的一部分存储于所述HDD，一部分存储于所述SSD，包括：
收集所述HDD和SSD上各数据文件的访问频率信息，依据访问频率信息将各数据文件分为冷数据和热数据；
调度热数据到SSD以及调度冷数据到HDD。
3.根据权利要求1所述的方法，其特征在于，所述HDD的总存储容量大于所述SSD的总存储容量。
4.根据权利要求3所述的方法，其特征在于，所述HDD与所述SSD的总存储容量比例约为8:2。
5.根据权利要求2所述的方法，其特征在于，所述依据访问频率信息将各数据文件分为冷数据和热数据包括：
依据访问频率信息对各数据文件进行排序，将排在前M个的数据文件确定为热数据，所述前M个数据文件的大小小于或等于所述SDD的总存储容量。
6.根据权利要求2至5任一权项所述的方法，其特征在于，所述调度热数据到SSD以及调度冷数据到HDD包括：
按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；以及，
按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。
7.根据权利要求6所述的方法，其特征在于，所述一定的顺序包括：
按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序。
8.根据权利要求6所述的方法，其特征在于，在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；
在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。
9.一种数据存储的装置，应用于HBase集群，其特征在于，该装置应用于所述HBase集群，所述HBase集群部署了包括HDD和SSD的数据存储系统，所述SSD和HDD共同分担数据文件的存储；所述装置包括：
收集单元，用于获取待存储的数据文件；
调度单元，用于将所述数据文件中的一部分存储于所述HDD，一部分存储于所述SSD。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括判别单元；
所述收集单元，用于收集所述HDD和SSD上各数据文件的访问频率信息；
所述判别单元，用于依据访问频率信息将所述各数据文件分为冷数据和热数据；
所述调度单元，用于调度热数据到SSD以及调度冷数据到HDD。
11.根据权利要求10所述的装置，其特征在于，所述判别单元，具体用于依据访问频率信息对所述各数据文件进行排序，将排在前M个的数据文件确定为热数据，所述前M个数据文件的大小小于或等于所述SDD的总存储容量。
12.根据权利要求10所述的装置，其特征在于，所述调度单元，具体用于按照一定的顺序对当前存储在HDD上的热数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的SSD；以及，
按照一定的顺序对当前存储在SSD上的冷数据进行调度，将被调度的数据文件转存到当前具有足够存储空间的HDD。
13.根据权利要求12所述的装置，其特征在于，所述一定的顺序包括：
按照随机挑选出的顺序，按照所在HDD或SSD编号的顺序或者按照访问频率的顺序。
14.根据权利要求12所述的装置，其特征在于，所述调度单元在将被调度的数据文件转存到SSD上时，优选转存到当前负载最小的SSD上；在将被调度的数据文件转存到HDD上时，优先转存到当前负载最小的HDD上。
15.一种数据存储系统，应用于HBase集群，其特征在于，所述HBase集群的数据存储系统中部署了HDD和SSD，还包括监控调度中心；所述SSD和HDD共同分担数据文件的存储；
所述监控调度中心包括如权利要求9至14任一权项所述的装置。
16.根据权利要求15所述的系统，其特征在于，所述HDD的总存储容量大于所述SSD的总存储容量。
17.根据权利要求16所述的系统，其特征在于，所述HDD与所述SSD的总存储容量比例约为8:2。
18.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至8任一权项所述方法的步骤。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一权项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111108397.2A CN113836084A (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410627557.8A CN105653524B (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
| CN202111108397.2A CN113836084A (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410627557.8A Division CN105653524B (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113836084A true CN113836084A (zh) | 2021-12-24 |
Family
ID=56483563
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410627557.8A Active CN105653524B (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
| CN202111108397.2A Pending CN113836084A (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410627557.8A Active CN105653524B (zh) | 2014-11-10 | 2014-11-10 | 一种数据存储方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN105653524B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506356B (zh) * | 2016-06-14 | 2019-03-01 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统 |
| CN106775453B (zh) * | 2016-11-22 | 2019-07-05 | 华中科技大学 | 一种混合存储阵列的构建方法 |
| CN107122126B (zh) * | 2016-12-22 | 2020-09-08 | 华为技术有限公司 | 数据的迁移方法、装置和系统 |
| CN107329705B (zh) * | 2017-07-03 | 2020-06-05 | 中国科学院计算技术研究所 | 一种针对异构存储的Shuffle方法 |
| CN107291633A (zh) * | 2017-07-14 | 2017-10-24 | 长沙开雅电子科技有限公司 | 一种新型集群存储写缓存分级管理方法 |
| CN107480073A (zh) * | 2017-08-20 | 2017-12-15 | 长沙曙通信息科技有限公司 | 一种存储系统热点数据缓存预读实现方法 |
| CN107844269B (zh) * | 2017-10-17 | 2020-06-02 | 华中科技大学 | 一种基于一致性哈希的分层混合存储系统 |
| CN107968818B (zh) * | 2017-11-17 | 2021-06-04 | 北京联想超融合科技有限公司 | 数据的存储方法、装置及服务器集群 |
| CN107967172B (zh) * | 2017-12-21 | 2022-01-11 | 深圳大学 | 一种面向异构存储的Spark任务动态迁移方法和系统 |
| CN108538323A (zh) * | 2018-04-04 | 2018-09-14 | 北京蓝杞数据科技有限公司天津分公司 | 一种数据传送方法、系统、电子设备及可读存储介质 |
| TWI725791B (zh) * | 2019-01-16 | 2021-04-21 | 香港商希瑞科技股份有限公司 | 伺服器及相關的電腦程式產品 |
| TWI692955B (zh) | 2019-01-16 | 2020-05-01 | 香港商希瑞科技股份有限公司 | 伺服器及相關的電腦程式產品 |
| CN109918450B (zh) * | 2019-03-20 | 2024-01-09 | 江苏瑞中数据股份有限公司 | 基于分析类场景下的分布式并行数据库及存储方法 |
| CN111813740A (zh) * | 2019-04-11 | 2020-10-23 | 中国移动通信集团四川有限公司 | 一种文件分层存储方法及服务器 |
| CN110309229A (zh) * | 2019-05-09 | 2019-10-08 | 北京极数云舟科技有限公司 | 分布式系统的数据处理方法和分布式系统 |
| CN110531938A (zh) * | 2019-09-02 | 2019-12-03 | 广东紫晶信息存储技术股份有限公司 | 一种基于多维度的冷热数据迁移方法及系统 |
| CN111443867B (zh) * | 2020-03-24 | 2021-08-03 | 腾讯科技（深圳）有限公司 | 一种数据存储方法、装置、设备及存储介质 |
| CN113704346B (zh) * | 2020-05-20 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种Hbase表中冷热数据转换方法、装置及电子设备 |
| CN113821175B (zh) * | 2021-09-27 | 2024-07-09 | 山东华芯半导体有限公司 | 基于存储内容优先的ssd指令调度方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096556A (zh) * | 2010-12-03 | 2011-06-15 | 成都市华为赛门铁克科技有限公司 | 拷贝数据的方法、读取数据的方法和装置及系统 |
| CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
| CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100088459A1 (en) * | 2008-10-06 | 2010-04-08 | Siamak Arya | Improved Hybrid Drive |
| CN101907978B (zh) * | 2010-07-27 | 2011-12-07 | 浙江大学 | 基于固态硬盘和磁性硬盘的混合存储系统及存储方法 |
| US20120066712A1 (en) * | 2010-09-13 | 2012-03-15 | Jennifer Schultz | System and method for notifying advertisers of available targeted advertising slots |
| CN102541466A (zh) * | 2011-10-27 | 2012-07-04 | 忆正存储技术（武汉）有限公司 | 一种混合存储控制系统和方法 |
| CN103186350B (zh) * | 2011-12-31 | 2016-03-30 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
| CN103914516B (zh) * | 2014-02-25 | 2017-09-08 | 深圳市中博科创信息技术有限公司 | 一种存储系统分层管理的方法与系统 |
-
2014
- 2014-11-10 CN CN201410627557.8A patent/CN105653524B/zh active Active
- 2014-11-10 CN CN202111108397.2A patent/CN113836084A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096556A (zh) * | 2010-12-03 | 2011-06-15 | 成都市华为赛门铁克科技有限公司 | 拷贝数据的方法、读取数据的方法和装置及系统 |
| CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
| CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105653524A (zh) | 2016-06-08 |
| CN105653524B (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105653524B (zh) | 一种数据存储方法、装置和系统 | |
| US9336224B2 (en) | Systems and methods for providing increased scalability in deduplication storage systems | |
| US9372867B2 (en) | Similarity analysis method, apparatus, and system | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN104978362B (zh) | 分布式文件系统的数据迁移方法、装置及元数据服务器 | |
| KR20170054299A (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
| CN105630810B (zh) | 一种对于海量小文件在分布式存储系统中上载的方法 | |
| WO2017028394A1 (zh) | 一种基于实例的分布式数据恢复方法和装置 | |
| CN102841931A (zh) | 分布式文件系统的存储方法及装置 | |
| US10540095B1 (en) | Efficient garbage collection for stable data | |
| CN109947668A (zh) | 存储数据的方法和装置 | |
| CN104462389A (zh) | 基于分级存储的分布式文件系统实现方法 | |
| CN103955530A (zh) | 一种在线重复数据删除系统的数据重建优化方法 | |
| JP2017208096A5 (zh) | ||
| US10380074B1 (en) | Systems and methods for efficient backup deduplication | |
| CN104978324B (zh) | 一种数据处理方法和装置 | |
| KR101744892B1 (ko) | 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 | |
| CN106469152A (zh) | 一种基于etl的文件处理方法及系统 | |
| Zhang et al. | {Low-Cost} Data Deduplication for Virtual Machine Backup in Cloud Storage | |
| CN102708183A (zh) | 数据压缩的方法和装置 | |
| CN110019017B (zh) | 一种基于访问特征的高能物理文件存储方法 | |
| CN105183399A (zh) | 一种基于弹性块存储的数据写、读方法及装置 | |
| CN104391961A (zh) | 千万级小文件数据的一种读写解决策略 | |
| CN110309143A (zh) | 数据相似度确定方法、装置及处理设备 | |
| CN107180051B (zh) | 一种日志管理方法、服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |