CN105335530A - 一种提升大数据块重复数据删除性能的方法 - Google Patents

一种提升大数据块重复数据删除性能的方法 Download PDF

Info

Publication number
CN105335530A
CN105335530A CN201510918571.8A CN201510918571A CN105335530A CN 105335530 A CN105335530 A CN 105335530A CN 201510918571 A CN201510918571 A CN 201510918571A CN 105335530 A CN105335530 A CN 105335530A
Authority
CN
China
Prior art keywords
data block
fingerprint
data
fingerprints
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510918571.8A
Other languages
English (en)
Other versions
CN105335530B (zh
Inventor
吴植民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510918571.8A priority Critical patent/CN105335530B/zh
Publication of CN105335530A publication Critical patent/CN105335530A/zh
Application granted granted Critical
Publication of CN105335530B publication Critical patent/CN105335530B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G06F16/1752—De-duplication implemented within the file system, e.g. based on file segments based on file chunks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种提升大数据块重复数据删除性能的方法，包括步骤：S1、获取数据块；S2、将数据块划分为同等固定长度的数据块片段；S3、对数据块片段进行指纹计算并得到对应的数据块片段指纹；S4、将数据块片段指纹与己存在的数据块片段指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，则进入步骤S5；S5、将数据块进行指纹计算并得到对应的数据块指纹；S6、将数据块指纹与己存在的数据块指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，存储数据块指纹的缓存信息并结束查询。通过减少指纹的计算量来提升计算性能，从而提升数据块重复数据删除的性能。

Description

一种提升大数据块重复数据删除性能的方法
技术领域
本发明涉及重复数据删除领域，特别是涉及一种提升大数据块重复数据删除性能的方法。
背景技术
随着计算机的不断发展，存储在用户计算机中的数据越来越多，保护这些数据成为用户面临的难题。针对该难题，许多厂商推出了重复数据删除解决方案。不同厂商的重复数据删除原理基本类似，但在性能方面有着很大的差别。性能这一关键因素将决定了用户能保护数据的数据量及保护周期。好的性能能让用户更好的解决数据保护的难题。
数据块重复数据删除是重复数据删除的一种方案，该方案是基于数据块级别处理的。它的重复数据删除粒度通常较大，多数为几兆至几十兆。数据块重复数据删除主要用于在数据块级别删除重复的数据块从而提升重复数据删除的性能。
尽管数据块重复数据删除能删除部分重复的数据块达到提升重复数据删除性能的目的，但该方案仅对小部分数据类型有意义，大部分的数据块之间均是不相同的。故为了能快速地识别出数据块是否重复成为优化数据块重复数据删除的一个关键点。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种提升大数据块重复数据删除性能的方法，用于解决现有技术中性能较差、缓存占用多的问题。
为实现上述目的及其他相关目的，本发明提供一种提升大数据块重复数据删除性能的方法，包括步骤：S1、获取数据块；S2、将所述数据块划分为同等固定长度的数据块片段；S3、对所述数据块片段进行指纹计算并得到对应的数据块片段指纹；S4、将所述数据块片段指纹与已存在的数据块片段指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，则进入步骤S5；S5、将所述数据块进行指纹计算并得到对应的数据块指纹；S6、将所述数据块指纹与已存在的数据块指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，存储所述数据块指纹的缓存信息并结束查询。
于本发明的一实施例中，所述步骤S6中还包括步骤：S61、根据所述数据块指纹生成所述数据块的指纹缓存信息；S62、缓存所述数据块指纹与所述数据块指纹的缓存信息。
于本发明的一实施例中，所述步骤S6中还包括步骤：S61’、获取所述已存在的数据块指纹对应的数据块指纹的缓存信息；S62’、将所述已存在的数据块指纹对应的数据块指纹的缓存信息返回。
于本发明的一实施例中，所述指纹为对应数据块和数据块片段的哈希值；所述哈希值通过哈希算法计算得出。
如上所述，本发明的提升大数据块重复数据删除性能的方法，具有以下有益效果：通过减少计算指纹的数据量来提升计算的性能，从而提升数据块重复数据删除的性能。该方法同时能过滤非热点数据块从而减少数据块指纹缓存占用。
附图说明
图1显示为本发明提升大数据块重复数据删除性能的方法的一实施例中的流程方框示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1。如图1所示，图1显示为本发明提升大数据块重复数据删除性能的方法的一实施例中的流程方框示意图。本发明提供一种提升大数据块重复数据删除性能的方法，包括步骤：S1、获取数据块；S2、将所述数据块划分为同等固定长度的数据块片段；S3、对所述数据块片段进行指纹计算并得到对应的数据块片段指纹；S4、将所述数据块片段指纹与已存在的数据块片段指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，则进入步骤S5；S5、将所述数据块进行指纹计算并得到对应的数据块指纹；S6、将所述数据块指纹与已存在的数据块指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，存储所述数据块指纹的缓存信息并结束查询。进一步地，所述步骤S6中当判断结果为否时，还包括步骤：S61、根据所述数据块指纹生成所述数据块的指纹缓存信息；S62、缓存所述数据块指纹与所述数据块指纹的缓存信息。当所述步骤S6中判断结果为是时还包括步骤：S61’、获取所述已存在的数据块指纹对应的数据块指纹的缓存信息；S62’、将所述已存在的数据块指纹对应的数据块指纹的缓存信息返回。
本发明的优选实施例中，所述指纹为对应数据块和数据块片段的哈希值；本实施例中，所述哈希值通过哈希算法计算得出对应数据块和数据块片段的哈希值。哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上是不可能的，所以数据的哈希值可以检验数据的完整性。一般用于快速查找和加密算法。哈希表是根据设定的哈希函数H(key)和处理冲突方法将一组关键字映射到一个有限的地址区间上，并以关键字在地址区间中的象作为记录在表中的存储位置，这种表称为哈希表或散列，所得存储位置称为哈希地址或散列地址。作为线性数据结构与表格和队列等相比，哈希表无疑是查找速度比较快的一种。通过将单向数学函数(有时称为“哈希算法”)应用到任意数量的数据所得到的固定大小的结果。如果输入数据中有变化，则哈希也会发生变化。哈希可用于许多操作，包括身份验证和数字签名。也称为“消息摘要”。或者说，哈希(Hash)算法，即散列函数。它是一种单向密码体制，即它是一个从明文到密文的不可逆的映射，只有加密过程，没有解密过程。同时，哈希函数可以将任意长度的输入经过变化以后得到固定长度的输出。哈希函数的这种单向特征和输出数据长度固定的特征使得它可以生成消息或者数据。后续指纹即哈希值的生成均采用此方法。
以下以一具体实施方式为例进行说明。本实例采用的操作系统为RedHatEnterpriseLinux5，数据块大小为4MB，数据块数据量为1GB。本实例包含如下步骤：
1、获取数据块。
2、取步骤1中数据块内容的从数据头部开始的4KB长度的数据片段。
3、对步骤2中获取的数据片段进行指纹计算并得到其对应的指纹。
4、将步骤3中得到的指纹与已存在的数据片段指纹进行对比，检测是否存在一致的指纹。若不存在则执行步骤11，否则继续执行。
5、对步骤1中获取的数据块进行指纹计算并得到其对应的指纹。
6、将步骤5中得到的指纹与已存在的数据块指纹进行对比，检测是否存在一致的指纹。若不存在则执行步骤9，否则继续执行。
7、获取步骤6比对结果中已存在数据块指纹对应的数据块指纹缓存信息。
8、将步骤7获取的数据块指纹缓存信息返回。继续执行步骤12。
9、根据步骤5得到的指纹生成数据块指纹缓存信息。
10、将步骤5获取的数据块指纹及步骤9生成的数据块指纹缓存信息缓存起来。
11、返回未查询到数据块指纹的结果。
12、结束数据块指纹查询。
综上所述，本发明的提升大数据块重复数据删除性能的方法，通过减少计算指纹的数据量来提升计算的性能，从而提升数据块重复数据删除的性能。该方法同时能过滤非热点数据块从而减少数据块指纹缓存占用。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.一种提升大数据块重复数据删除性能的方法，其特征在于，包括步骤：
S1、获取数据块；
S2、将所述数据块划分为同等固定长度的数据块片段；
S3、对所述数据块片段进行指纹计算并得到对应的数据块片段指纹；
S4、将所述数据块片段指纹与已存在的数据块片段指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，则进入步骤S5；
S5、将所述数据块进行指纹计算并得到对应的数据块指纹；
S6、将所述数据块指纹与已存在的数据块指纹进行对比，判断是否存在一致的指纹；若否，则返回未查询到数据块指纹的结果并结束查询；若是，存储所述数据块指纹的缓存信息并结束查询。
2.根据权利要求1所述的提升大数据块重复数据删除性能的方法，其特征在于，所述步骤S6中还包括步骤：
S61、根据所述数据块指纹生成所述数据块的指纹缓存信息；
S62、缓存所述数据块指纹与所述数据块指纹的缓存信息。
3.根据权利要求1所述的提升大数据块重复数据删除性能的方法，其特征在于，所述步骤S6中还包括步骤：
S61’、获取所述已存在的数据块指纹对应的数据块指纹的缓存信息；
S62’、将所述已存在的数据块指纹对应的数据块指纹的缓存信息返回。
4.根据权利要求1所述的提升大数据块重复数据删除性能的方法，其特征在于，所述指纹为对应数据块和数据块片段的哈希值；所述哈希值通过哈希算法计算得出。
CN201510918571.8A 2015-12-11 2015-12-11 一种提升大数据块重复数据删除性能的方法 Expired - Fee Related CN105335530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510918571.8A CN105335530B (zh) 2015-12-11 2015-12-11 一种提升大数据块重复数据删除性能的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510918571.8A CN105335530B (zh) 2015-12-11 2015-12-11 一种提升大数据块重复数据删除性能的方法

Publications (2)

Publication Number Publication Date
CN105335530A true CN105335530A (zh) 2016-02-17
CN105335530B CN105335530B (zh) 2018-10-19

Family

ID=55286057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510918571.8A Expired - Fee Related CN105335530B (zh) 2015-12-11 2015-12-11 一种提升大数据块重复数据删除性能的方法

Country Status (1)

Country Link
CN (1) CN105335530B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608235A (zh) * 2016-03-25 2016-05-25 上海爱数信息技术股份有限公司 Oracle数据库中备份数据块的重复数据删除方法及系统
CN107688978A (zh) * 2016-08-05 2018-02-13 北京京东尚科信息技术有限公司 用于检测重复订单信息的方法及装置
CN115543979A (zh) * 2022-09-29 2022-12-30 广州鼎甲计算机科技有限公司 重复数据的删除方法、装置、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882216A (zh) * 2009-05-08 2010-11-10 成都市华为赛门铁克科技有限公司 构建数据指纹的方法、装置及电子设备
US8112463B2 (en) * 2009-09-16 2012-02-07 Hitachi, Ltd. File management method and storage system
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN103858125A (zh) * 2013-12-17 2014-06-11 华为技术有限公司 重复数据处理方法、装置及存储控制器和存储节点
CN105069111A (zh) * 2015-08-10 2015-11-18 广东工业大学 云存储中基于相似性的数据块级数据去重方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882216A (zh) * 2009-05-08 2010-11-10 成都市华为赛门铁克科技有限公司 构建数据指纹的方法、装置及电子设备
US8112463B2 (en) * 2009-09-16 2012-02-07 Hitachi, Ltd. File management method and storage system
US8307019B2 (en) * 2009-09-16 2012-11-06 Hitachi, Ltd. File management method and storage system
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN103858125A (zh) * 2013-12-17 2014-06-11 华为技术有限公司 重复数据处理方法、装置及存储控制器和存储节点
CN105069111A (zh) * 2015-08-10 2015-11-18 广东工业大学 云存储中基于相似性的数据块级数据去重方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608235A (zh) * 2016-03-25 2016-05-25 上海爱数信息技术股份有限公司 Oracle数据库中备份数据块的重复数据删除方法及系统
CN105608235B (zh) * 2016-03-25 2018-12-14 上海爱数信息技术股份有限公司 Oracle数据库中备份数据块的重复数据删除方法及系统
CN107688978A (zh) * 2016-08-05 2018-02-13 北京京东尚科信息技术有限公司 用于检测重复订单信息的方法及装置
CN107688978B (zh) * 2016-08-05 2021-05-25 北京京东尚科信息技术有限公司 用于检测重复订单信息的方法及装置
CN115543979A (zh) * 2022-09-29 2022-12-30 广州鼎甲计算机科技有限公司 重复数据的删除方法、装置、设备、存储介质和程序产品
CN115543979B (zh) * 2022-09-29 2023-08-08 广州鼎甲计算机科技有限公司 重复数据的删除方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN105335530B (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
EP3561674B1 (en) Method and apparatus for verifying block data in a blockchain
CN106933854B (zh) 短链接处理方法、装置及服务器
US8719237B2 (en) Method and apparatus for deleting duplicate data
US8244741B2 (en) Method and apparatus for extracting information from a database
US10686589B2 (en) Combining hashes of data blocks
WO2013143278A1 (zh) 数据的索引查询方法、装置及系统
CN110928904A (zh) 一种数据查询方法、装置及相关组件
JP5429502B2 (ja) 範囲検索システム、範囲検索方法、及び範囲検索用プログラム
CN105827582A (zh) 一种通信加密方法、装置和系统
CN105335530A (zh) 一种提升大数据块重复数据删除性能的方法
CN112073444B (zh) 数据集的处理方法、装置和服务器
KR20140011534A (ko) 특정 포맷을 가지는 대체 데이터의 생성 및 검증
CN107784073B (zh) 一种本地缓存的数据查询方法、存储介质和服务器
CN105511814A (zh) 一种静态数据文件的存储方法
CN109753306A (zh) 一种预编译函数缓存引擎的大数据处理方法
CN104463020A (zh) 存储器数据完整性保护的方法
CN104767761A (zh) 一种云存储平台访问控制方法及装置
US10303655B1 (en) Storage array compression based on the structure of the data being compressed
WO2020024446A1 (zh) 数据的存储方法及装置、存储介质、计算机设备
CN108093024B (zh) 一种基于数据频度的分类路由方法及装置
CN115292737B (zh) 一种多关键词模糊搜索加密方法、系统及电子设备
JP2016045594A (ja) データ処理装置、データ処理方法及びデータ処理プログラム
Jang et al. A Comparison of the Query Execution Algorithms in Secure Database System.
JPWO2017168798A1 (ja) 暗号化検索インデックスマージサーバ、暗号化検索インデックスマージシステム、及び暗号化検索インデックスマージ方法
CN107248929B (zh) 一种多维关联数据的强关联数据生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181019

Termination date: 20191211