CN103136243B - 基于云存储的文件系统去重方法及装置 - Google Patents
基于云存储的文件系统去重方法及装置 Download PDFInfo
- Publication number
- CN103136243B CN103136243B CN201110386113.6A CN201110386113A CN103136243B CN 103136243 B CN103136243 B CN 103136243B CN 201110386113 A CN201110386113 A CN 201110386113A CN 103136243 B CN103136243 B CN 103136243B
- Authority
- CN
- China
- Prior art keywords
- file system
- object metadata
- metadata
- cloud storage
- storage file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012217 deletion Methods 0.000 claims abstract description 16
- 230000037430 deletion Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Abstract
本发明涉及一种基于云存储的文件系统去重方法，包括：云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据；执行哈希计算，获得对应的哈希值；云存储文件系统通过参考指针逐条对云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查；在检查过程中，云存储文件系统将第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较，若存在，则执行删除操作。本发明在用户上传对象元数据时，通过哈希算法计算对象元数据的哈希值，并通过比较哈希值来确定在云存储文件系统中是否存在已有记录，进而执行去重操作。这种方式更加精确，且误删率较低，从而在保证了数据的完整性的同时，节省了用户的存储成本。
Description
技术领域
本发明涉及云存储技术领域，尤其涉及一种基于云存储的文件系统去重方法及装置。
背景技术
在现有的磁盘管理应用中，往往存在着大量重复数据，这些重复数据的存取将直接影响到磁盘或卷的实际空间利用率。如果这些大量且冗余的数据通过网络进行上传或下载，则又将会对网络带宽带来较大影响，影响用户数据业务以及其他业务的正常使用。
随着云计算技术和网络技术的快速发展，加之网络存储成本的不断降低，越来越多的用户开始选用云存储的方式来替代原有的磁盘存储方式，而这种变化对云存储技术的处理能力要求也越来越高，如何降低或避免大量重复数据对系统资源和网络资源的影响则成为云存储技术的一个亟需解决的问题。
现在也出现了一些数据去重的技术，例如利用数据间的相似度进行去重，这里的相似度比对是通过元数据的属性值等参数来进行字符串或字段等的计算比对，在进行计算比对之前，还可以随着输入的元数据提供相应的权重值，而权重值是指字符在字符串的位置值与该字符的ASC码值的乘积，是一种字符所在的位置值，加入权重值因素的元数据比对得出的复合相似度通过与预设阈值进行比较，来对相似度较高的数据执行删除操作，这种方案虽然能够起到一定的去重效果，但在数据安全性和准确性存在一定的缺陷。
发明内容
本发明的目的是提出一种基于云存储的文件系统去重方法及装置，能够通过数据去重来降低对系统资源和网络资源的需求，且保证一定的数据安全性和准确性。
为实现上述目的，本发明提供了一种基于云存储的文件系统去重方法，包括：
云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据；
所述云存储文件系统通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；
所述云存储文件系统通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；
在检查过程中，所述云存储文件系统将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较；
如果所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录，则对所述第一对象元数据执行删除操作。
为实现上述目的，本发明提供了一种基于云存储的文件系统去重装置，该文件系统去重装置设置在云存储文件系统中，具体包括：
数据接收单元，用于接收数据提供者通过参考指针上传的第一对象元数据；
哈希计算单元，用于通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；
记录比对单元，用于通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，在检查过程中，将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；
数据删除单元，用于在检查出所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录时，对所述第一对象元数据执行删除操作。
基于上述技术方案，本发明在用户上传对象元数据时，通过哈希算法计算对象元数据的哈希值，并通过比较哈希值来确定在云存储文件系统中是否存在已有记录，进而执行去重操作。相比于相似度比较的数据去重方式，这种方式更加精确，且误删率较低，从而在保证了数据的完整性的同时，节省了用户的存储成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于云存储的文件系统去重方法的一实施例的流程示意图。
图2为本发明基于云存储的文件系统去重方法的另一实施例的流程示意图。
图3为图2实施例的一种较形象的过程示意图。
图4为本发明基于云存储的文件系统去重装置的一实施例的结构示意图。
图5为本发明基于云存储的文件系统去重装置的另一实施例的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
如图1所示，为本发明基于云存储的文件系统去重方法的一实施例的流程示意图。在本实施例中，文件系统去重流程包括：
步骤101、云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据；
步骤102、所述云存储文件系统通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；
步骤103、所述云存储文件系统通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；
步骤104、在检查过程中，所述云存储文件系统将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较；
步骤105、如果所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录，则对所述第一对象元数据执行删除操作。
在本实施例中，数据提供者通过参考指针定位云存储文件系统，并向云存储文件系统发出元数据上传请求，而云存储文件系统根据该元数据上传请求返回响应消息，数据提供者根据该响应消息向云存储文件系统上传第一对象元数据。上述这一过程是云存储文件接收数据提供者通过参考指针上传的第一对象元数据的操作之前发生的，可被称为第一对象元数据的预上传过程。这里的参考指针是指示存储单元的元数据地址。
在云存储文件系统接收到第一对象元数据后，并不直接存入云存储文件系统内，而是先通过哈希算法对第一对象元数据进行计算，获得第一对象元数据对应的哈希值。哈希算法可以将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。基于此，数据的哈希值可以检验上传的第一对象元数据与云存储文件系统内的已有数据的匹配性。具体的哈希算法可采用现有较成熟的MD2、MD4、MD5及SHA-1算法及改进算法中的一种，这里就不再对哈希算法的实现细节进行详述了。
云存储文件系统在计算出第一对象元数据的哈希值后，通过参考指针逐条的对云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查。元数据索引表中包括了多条记录，各条记录中包括哈希值和对象元数据在对象元数据表中的地址信息，而各条记录中的哈希值是分别与对象元数据表中的各条第二对象元数据相对应的。
在检查过程中，通过比对哈希值是否相同来确定是否存在与第一对象元数据对应的记录，这种比对方式相比于现有技术中的相似度与阈值的比较更加精确，可以有效地避免数据的误删问题。当存在与第一对象元数据对应的记录，则将第一对象元数据从云存储文件系统删除，不使其记录到云存储文件系统内。
如图2所示，为本发明基于云存储的文件系统去重方法的另一实施例的流程示意图。与上一实施例相比，本实施例在步骤104之后还包括：
步骤104a、判断在元数据索引表中是否存在与所述第一对象元数据对应的哈希值相同的记录，如果存在，则执行步骤105，否则执行步骤104b；
步骤104b、将所述第一对象元数据存入所述对象元数据表中，并作为第二对象元数据，同时在所述元数据索引表追加包括所述第一对象元数据的地址信息和索引值的记录。
在保存第一对象元数据时，同时也在元数据索引表进行记录追加，从而通过及时更新元数据索引表来实现更有效的去重过程。
如图3所示，为图2实施例的一种较形象的过程示意图。图3中的云存储文件系统包括三种表：对象元数据表、元数据索引表和数据块组成表，其中对象元数据表用于存放对象元数据，元数据索引表用于存储用于索引的元数据属性值的存放目录。数据块组成表：对于云存储文件系统来说，对象在存储设备中的存储形式就是数据块，数据以对象的方式提供给外部。在图3中，第一对象元数据(即对象元数据1)通过参考指针写入云存储文件系统，进入云存储文件系统的对象元数据1要经过哈希算法计算和在元数据索引表内记录的比较，如果存在了该对象元数据1对应的哈希值，则进行该重复数据的删除操作，如果该对象元数据1对应的哈希值在元数据索引表中不存在，则将对象元数据1存入对象元数据表，并更新元数据索引表。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示，为本发明基于云存储的文件系统去重装置的一实施例的结构示意图。在本实施例中，文件系统去重装置可以设置在云存储文件系统中，具体包括：数据接收单元1、哈希计算单元2、记录比对单元3和数据删除单元4。其中，数据接收单元1负责接收数据提供者通过参考指针上传的第一对象元数据。哈希计算单元2负责通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值。记录比对单元3负责通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，在检查过程中，将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息。
数据删除单元4负责在检查出所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录时，对所述第一对象元数据执行删除操作。
如图5所示，为本发明基于云存储的文件系统去重装置的另一实施例的结构示意图。与上一实施例相比，本实施例还包括：数据保存单元5和索引表更新单元6。数据保存单元5负责在检查出所述元数据索引表中未存在与所述第一对象元数据对应的哈希值相同的记录时，将所述第一对象元数据存入所述对象元数据表中，并作为第二对象元数据。索引表更新单元6负责在数据保存单元5进行保存的同时，在所述元数据索引表追加包括所述第一对象元数据的地址信息和索引值的记录。
在另一实施例中，文件系统去重装置还可以包括：上传请求响应单元，该单元用于在所述数据提供者通过所述参考指针定位所述云存储文件系统，并向所述云存储文件系统发出元数据上传请求时，根据所述元数据上传请求返回响应消息，以便所述数据提供者根据所述响应消息向所述云存储文件系统上传所述第一对象元数据。
在上述各实施例中，哈希算法可以为MD2、MD4、MD5及SHA-1算法及改进算法中的一种。
本发明实施例在用户上传对象元数据时，通过哈希算法计算对象元数据的哈希值，并通过比较哈希值来确定在云存储文件系统中是否存在已有记录，进而执行去重操作。相比于相似度比较的数据去重方式，这种方式更加精确，且误删率较低，从而在保证了数据的完整性的同时，节省了用户的存储成本。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (6)
1.一种基于云存储的文件系统去重方法，包括：
云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据；
所述云存储文件系统通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；
所述云存储文件系统通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；
在检查过程中，所述云存储文件系统将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较；
如果所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录，则对所述第一对象元数据执行删除操作；
如果所述元数据索引表中未存在与所述第一对象元数据对应的哈希值相同的记录，则将所述第一对象元数据存入所述对象元数据表中，并作为第二对象元数据，同时在所述元数据索引表追加包括所述第一对象元数据的地址信息和索引值的记录。
2.根据权利要求1所述的文件系统去重方法，其中，在所述云存储文件系统接收数据提供者通过参考指针上传的第一对象元数据的操作之前，还包括：
所述数据提供者通过所述参考指针定位所述云存储文件系统，并向所述云存储文件系统发出元数据上传请求，所述云存储文件系统根据所述元数据上传请求返回响应消息，所述数据提供者根据所述响应消息向所述云存储文件系统上传所述第一对象元数据。
3.根据权利要求1所述的文件系统去重方法，其中，所述哈希算法为MD2、MD4、MD5及SHA-1算法中的一种。
4.一种基于云存储的文件系统去重装置，该文件系统去重装置设置在云存储文件系统中，具体包括：
数据接收单元，用于接收数据提供者通过参考指针上传的第一对象元数据；
哈希计算单元，用于通过哈希算法对所述第一对象元数据进行计算，获得所述第一对象元数据对应的哈希值；
记录比对单元，用于通过所述参考指针逐条对所述云存储文件系统内的元数据索引表中的各条记录中的哈希值进行检查，所述哈希值分别与对象元数据表中的各条第二对象元数据相对应，在检查过程中，将所述第一对象元数据对应的哈希值与当前指针所指向的记录中的哈希值进行比较，所述元数据索引表中还包括各条对象元数据在所述对象元数据表中的地址信息；
数据删除单元，用于在检查出所述元数据索引表中存在与所述第一对象元数据对应的哈希值相同的记录时，对所述第一对象元数据执行删除操作；
其中，还包括：
数据保存单元，用于在检查出所述元数据索引表中未存在与所述第一对象元数据对应的哈希值相同的记录时，将所述第一对象元数据存入所述对象元数据表中，并作为第二对象元数据；
索引表更新单元，用于在所述数据保存单元进行保存的同时，在所述元数据索引表追加包括所述第一对象元数据的地址信息和索引值的记录。
5.根据权利要求4所述的文件系统去重装置，其中，还包括：
上传请求响应单元，用于在所述数据提供者通过所述参考指针定位所述云存储文件系统，并向所述云存储文件系统发出元数据上传请求时，根据所述元数据上传请求返回响应消息，以便所述数据提供者根据所述响应消息向所述云存储文件系统上传所述第一对象元数据。
6.根据权利要求4所述的文件系统去重装置，其中，所述哈希算法为MD2、MD4、MD5及SHA-1算法中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110386113.6A CN103136243B (zh) | 2011-11-29 | 2011-11-29 | 基于云存储的文件系统去重方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110386113.6A CN103136243B (zh) | 2011-11-29 | 2011-11-29 | 基于云存储的文件系统去重方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103136243A CN103136243A (zh) | 2013-06-05 |
| CN103136243B true CN103136243B (zh) | 2016-08-31 |
Family
ID=48496078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110386113.6A Active CN103136243B (zh) | 2011-11-29 | 2011-11-29 | 基于云存储的文件系统去重方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103136243B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376584B (zh) * | 2013-08-15 | 2018-02-13 | 华为技术有限公司 | 一种数据压缩的方法、计算机系统和装置 |
| CN103561056A (zh) * | 2013-10-12 | 2014-02-05 | 北京奇虎科技有限公司 | 文件传输方法、设备及系统 |
| CN103714123B (zh) * | 2013-12-06 | 2017-06-16 | 温州大学 | 企业云存储分块对象重复数据删除和重组版本控制方法 |
| CN105094688B (zh) * | 2014-05-14 | 2019-11-22 | 卡米纳利欧技术有限公司 | 存储系统中的去重方法和系统以及计算机可读介质 |
| CN105487818B (zh) * | 2015-11-27 | 2018-11-09 | 清华大学 | 针对云存储系统中重复冗余数据的高效去重方法 |
| CN107015982A (zh) * | 2016-01-27 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种监控系统文件完整性的方法、装置和设备 |
| CN105956068A (zh) * | 2016-04-27 | 2016-09-21 | 湖南蚁坊软件有限公司 | 基于分布式数据库的网页url去重方法 |
| CN106446077A (zh) * | 2016-09-07 | 2017-02-22 | 乐视控股（北京）有限公司 | 一种对象上传方法和电子设备 |
| US11644992B2 (en) | 2016-11-23 | 2023-05-09 | Samsung Electronics Co., Ltd. | Storage system performing data deduplication, method of operating storage system, and method of operating data processing system |
| CN106487937A (zh) * | 2016-12-30 | 2017-03-08 | 郑州云海信息技术有限公司 | 一种云存储系统文件去重方法及系统 |
| CN106844676B (zh) * | 2017-01-24 | 2020-07-07 | 北京奇虎科技有限公司 | 数据存储方法及装置 |
| WO2018165963A1 (zh) * | 2017-03-17 | 2018-09-20 | 深圳市秀趣品牌文化传播有限公司 | 电商数据冗余处理系统及方法 |
| CN107566463B (zh) * | 2017-08-21 | 2020-08-11 | 北京航空航天大学 | 一种提高存储可用性的多云存储管理系统 |
| CN107766564B (zh) * | 2017-11-07 | 2020-02-21 | 上海携程商务有限公司 | 记录式数据压缩方法、装置、电子设备、存储介质 |
| CN109165119B (zh) * | 2018-08-07 | 2021-05-14 | 杭州金荔枝科技有限公司 | 一种电子商务数据处理方法和系统 |
| CN109213793A (zh) * | 2018-08-07 | 2019-01-15 | 泾县麦蓝网络技术服务有限公司 | 一种流式数据处理方法和系统 |
| CN109241011B (zh) * | 2018-09-21 | 2023-01-06 | 联想(北京)有限公司 | 一种虚拟机文件处理方法及装置 |
| CN111008264A (zh) | 2018-10-10 | 2020-04-14 | 腾讯科技（深圳）有限公司 | 审计项存储方法、装置、电子设备及介质 |
| CN110535835A (zh) * | 2019-08-09 | 2019-12-03 | 西藏宁算科技集团有限公司 | 一种基于消息摘要算法支持多云的共享云存储方法及系统 |
| US11836267B2 (en) * | 2019-08-19 | 2023-12-05 | International Business Machines Corporation | Opaque encryption for data deduplication |
| CN110557243B (zh) * | 2019-08-27 | 2022-09-09 | 格局商学教育科技（深圳）有限公司 | 一种基于云存储的教学资料共享方法和系统 |
| CN111177082B (zh) * | 2019-12-03 | 2023-06-09 | 世强先进(深圳)科技股份有限公司 | 一种pdf文件去重存储方法及系统 |
| EP4014106A1 (en) * | 2019-12-03 | 2022-06-22 | Huawei Technologies Co., Ltd. | Devices, system and methods for optimization in deduplication |
| CN113971229A (zh) * | 2021-10-20 | 2022-01-25 | 成都智元汇信息技术股份有限公司 | 一种帧对比法分析方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706825A (zh) * | 2009-12-10 | 2010-05-12 | 华中科技大学 | 一种基于文件内容类型的重复数据删除方法 |
| CN101963982A (zh) * | 2010-09-27 | 2011-02-02 | 清华大学 | 基于位置敏感哈希的删冗存储系统元数据管理方法 |
| CN102033962A (zh) * | 2010-12-31 | 2011-04-27 | 中国传媒大学 | 一种快速去重的文件数据复制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9122729B2 (en) * | 2009-07-31 | 2015-09-01 | Cumulus Data Llc | Chain-of-custody for archived data |
-
2011
- 2011-11-29 CN CN201110386113.6A patent/CN103136243B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706825A (zh) * | 2009-12-10 | 2010-05-12 | 华中科技大学 | 一种基于文件内容类型的重复数据删除方法 |
| CN101963982A (zh) * | 2010-09-27 | 2011-02-02 | 清华大学 | 基于位置敏感哈希的删冗存储系统元数据管理方法 |
| CN102033962A (zh) * | 2010-12-31 | 2011-04-27 | 中国传媒大学 | 一种快速去重的文件数据复制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103136243A (zh) | 2013-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103136243B (zh) | 基于云存储的文件系统去重方法及装置 | |
| US11314701B2 (en) | Resharding method and system for a distributed storage system | |
| US10296239B1 (en) | Object-based commands with quality of service identifiers | |
| CN103902623B (zh) | 用于在存储系统上存取文件的方法和系统 | |
| CN107436725A (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
| JP2005267600A5 (zh) | ||
| CN111444196B (zh) | 块链式账本中全局状态的哈希的生成方法、装置及设备 | |
| CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
| CN105468473A (zh) | 数据迁移方法及数据迁移装置 | |
| CN107958079A (zh) | 聚合文件删除方法、系统、装置及可读存储介质 | |
| CN104184812B (zh) | 一种基于私有云的多点数据传输方法 | |
| CN111444192B (zh) | 块链式账本中全局状态的哈希的生成方法、装置及设备 | |
| CN110888837B (zh) | 对象存储小文件归并方法及装置 | |
| US20120117347A1 (en) | Initializing of a memory area | |
| CN104965835B (zh) | 一种分布式文件系统的文件读写方法及装置 | |
| CN104462388B (zh) | 一种基于级联式存储介质的冗余数据清理方法 | |
| CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
| CN107205024A (zh) | 一种云存储系统中数据去重方法及系统 | |
| CN106682021A (zh) | 数据库迁移方法及装置 | |
| CN107506466A (zh) | 一种小文件存储方法及系统 | |
| CN107423425A (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
| CN108959497A (zh) | 分布式文件系统日志处理方法、装置、设备及存储介质 | |
| CN105677579A (zh) | 缓存系统中的数据访问方法和系统 | |
| CN109542860B (zh) | 基于hdfs的业务数据管理方法、终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20130605 Assignee: Tianyiyun Technology Co.,Ltd. Assignor: CHINA TELECOM Corp.,Ltd. Contract record no.: X2024110000020 Denomination of invention: A method and device for deduplication of file systems based on cloud storage Granted publication date: 20160831 License type: Common License Record date: 20240315 |
|
| EE01 | Entry into force of recordation of patent licensing contract |