CN112667144A

CN112667144A - 数据块构建及比较方法、装置、介质及设备

Info

Publication number: CN112667144A
Application number: CN201910983290.9A
Authority: CN
Inventors: 李文博; 吴义谱
Original assignee: Beijing Baishanyun Technology Co ltd
Current assignee: Beijing Baishanyun Technology Co ltd
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2021-04-16

Abstract

本文是关于一种数据块构建及比较方法、装置、介质及设备。该方法包括：根据比较任务确定N个子数据块，将N个子数据块填充到数据块中；生成与所述N个子数据块的内容一一对应的N个哈希指纹；将所述N个哈希指纹加入到所述数据块中。在进行数据块相似性比较时，直接提取待比较的多个数据块中的哈希指纹或哈希指纹列表，基于哈希指纹或哈希指纹列表确定多个数据块的相似度系数，避免对大数据进行切分并计算哈希指纹的过程，节省计算时间，提高效率。

Description

数据块构建及比较方法、装置、介质及设备

技术领域

本文涉及分布式存储，尤其涉及数据块构建及比较方法、装置、介质及设备。

背景技术

相关存储技术中，数据块(Oracle Data Blocks)是最小的存储单位，数据存放在“数据块”中，一个数据块占用一定的磁盘空间。

在使用数据块存储的过程中，通常会有比较两个数据块的内容是否高度相似的场景。为了比较两个数据块的相似性，现有技术中一般采用：将数据块按某种方式切块，针对每一小块的数据计算哈希指纹，然后利用相似系数比较有限样本集(即数据块对应的小数据块的哈希指纹集合)之间的相似性与差异性，系数值越大，样本相似度越高。而数据块在比较前必须进行数据切分，并进行哈希指纹的计算，最后才能利用算法进行比较。在大数据块的切分和哈希指纹的计算上将耗费大量时间，实现比较的时间成本和空间成本都非常高，对于一般企业而言，这样的成本几乎是不可接受的。

发明内容

为克服相关技术中存在的问题，本文提供一种数据块构建及比较方法、装置、介质及设备。

根据本文的第一方面，提供一种数据块构建方法，包括：

根据比较任务确定N个子数据块，将N个子数据块填充到数据块中；

生成与所述N个子数据块的内容一一对应的N个哈希指纹；

将所述N个哈希指纹加入到所述数据块中。

所述生成与所述N个子数据块的内容一一对应的N个哈希指纹包括：

分别读取所述N个子数据块的内容，按所述子数据块的内容生成内容哈希指纹；

或者，读取所述N个子数据块的索引名，根据所述索引名生成索引名哈希指纹，所述索引名基于子数据块的内容哈希指纹确定。

所述索引名基于子数据块的内容哈希指纹确定包括：

以所述子数据块的内容哈希指纹的部分或全部作为所述子数据块的索引名；或者，

以所述子数据块的内容哈希指纹的部分或全部作为所述子数据块的索引名的一部分。

将所述N个哈希指纹加入到所述数据块中包括：将所述N个哈希指纹生成哈希指纹列表，并保存在数据块中。

所述N个子数据块的数量根据比较任务的准确度需求确定，所述N个子数据块的大小根据执行比较任务的服务器性能确定。

提供一种数据块比较方法，包括：

提取待比较的多个数据块的哈希指纹或哈希指纹列表；

基于所述哈希指纹或哈希指纹列表确定所述多个数据块的相似度系数；

根据所述相似度系数，确定所述多个数据块的相似性。

所述相似度系数为杰卡德系数；所述根据所述相似度系数，确定所述多个数据块的相似性包括：所述杰卡德系数越接近1，则所述多个数据块的相似性越高。

根据本文的另一方面，提供一种数据块构建装置，包括：

构建模块，用于根据比较任务确定N个子数据块；

填充模块，用于将N个子数据块填充到数据块中；

哈希指纹生成模块，用于生成与所述N个子数据块的内容一一对应的N个哈希指纹；

哈希指纹加入模块，用于将所述N个哈希指纹加入到所述数据块中。

所述哈希指纹生成模块用于：

所述索引名根据子数据块的内容哈希指纹确定包括：

所述哈希指纹加入模块将所述N个哈希指纹生成指纹列表，并保存在数据块中。

一种数据块比较装置，包括：

哈希指纹提取模块，用于提取待比较的多个数据块中的哈希指纹或哈希指纹列表；

比较模块，用于基于所述哈希指纹或哈希指纹列表确定所述多个数据块的相似度系数；

相似度确定模块，用于根据所述相似度系数，确定所述多个数据块的相似性。

所述相似度系数为杰卡德系数；所述确定模块确定所述多个数据块的相似性包括：所述杰卡德系数越接近1，则所述多个数据块的相似性越高。

根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现数据块构建及比较方法的步骤。

根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现数据块构建及比较方法的步骤。

本文通过数据块构建及比较方法，在构建数据块过程中，将与子数据块内容一一对应的哈希指纹存储在数据块中，在数据块比较的时候，可以实现快速提取哈希指纹，比较多个数据块的相似性，避免了在数据块比较时进行切块和计算切块的哈希指纹所耗费的大量时间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。

附图说明

构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：

图1是根据一示例性实施例示出的一种数据块构建方法的流程图。

图2是根据一示例性实施例示出的一种数据块比较方法的流程图。

图3是根据一示例性实施例示出的一种数据块构建装置的框图。

图4是根据一示例性实施例示出的一种数据块比较装置的框图。

具体实施方式

为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。

图1是根据一示例性实施例示出的一种数据块构建方法的流程图。参考图1，数据块构建方法包括：

步骤S11，根据比较任务确定N个子数据块，将N个子数据块填充到数据块中；

步骤S12，生成与N个子数据块的内容一一对应的N个哈希指纹；

步骤S13，将N个哈希指纹加入到数据块中。

根据比较任务，提前规划好数据块的结构，数据块大小，以及数据块包括多少子数据块，每个子数据块的大小等。根据规划，将预设大小的N个子数据块填充到数据块中。根据每一个子数据块的内容，计算好哈希指纹，在将子数据块填充到数据块的过程中，或者在子数据块填充完毕后，将计算好的哈希指纹加入到数据块中。例如：对于子数据块的大小可以根据执行此比较任务的服务器系统性能来决定，在服务器系统性能越高的情况下，可以选择的子数据块大小范围就越广；再例如：在实际对比中可以根据所需的比对准确度来确定构建数据块的子数据块数量，构造数据块的子数据块数量越多最终的比对准确度就越高。可以看出，比对的范围以及比对的准确度均可根据需求进行动态调整。

在一个实施例中，步骤S12，生成与N个子数据块的内容一一对应的N个哈希指纹包括：

分别读取N个子数据块的内容，按子数据块的内容生成内容哈希指纹；

或者，读取N个子数据块的索引名，根据索引名生成索引名哈希指纹，索引名基于子数据块的内容哈希指纹确定。

在生成哈希指纹时，可以根据每一个子数据块的内容来生成哈希指纹；或者，先根据每一个子数据块的内容生成哈希指纹，基于哈希指纹生成子数据块的索引名，对索引名再进行一次哈希计算，生成索引名对应的哈希指纹。例如在某些场景下，子数据块加入数据块之前，已经根据自身内容生成了索引名，再将子数据块加入数据块时，不需要再次针对子数据块的内容计算哈希指纹，只需对子数据块的索引名进行哈希计算，会更加快捷和方便，这样生成的哈希指纹依然是和子数据块的内容一一对应的。

在一实施例中，基于子数据块的内容哈希指纹确定索引名包括：

以子数据块的内容哈希指纹的部分或全部作为子数据块的索引名；或者，

以子数据块的内容哈希指纹的部分或全部作为子数据块的索引名的一部分。

在一实施中，步骤S13，将N个哈希指纹加入到数据块中包括：将N个哈希指纹生成指纹列表，并保存在数据块中。

在构建数据块的时候，根据子数据块的内容，将与子数据块内容一一对应的哈希指纹加入到数据块中，在进行数据块比较的时候，可以在数据块中快速提取出哈希指纹列表，哈希指纹列表以集合的形式存在，可以直接用于相似度的比较。

图2是根据一示例性实施例示出的一种数据块比较方法的流程图。参考图2，数据块比较方法包括：

步骤S21，提取待比较的多个数据块中的哈希指纹或哈希指纹列表；

步骤S22，基于所述哈希指纹或哈希指纹列表确定所述多个数据块的相似度系数；

步骤S23，根据相似度系数，确定多个数据块的相似性。

通过直接在数据块中提取哈希指纹或者哈希指纹列表，如果提取的是哈希指纹，将每个数据块中的哈希指纹生成哈希指纹列表，比较哈希指纹列表的相似度系数，即可确定多个数据块的相似性。不需要再对数据块进行切分，也不需要再对切分出的小数据块进行哈希指纹的计算，节省时间和空间，提高工作效率。

本实施例中，相似度系数为杰卡德系数；根据相似度系数，确定多个数据块的相似性包括：杰卡德系数越接近1，则多个数据块的相似性越高。

通过以上实施例，本文提供的数据块构建及比较方法中，通过在构建数据块的时候，根据子数据块的内容生成与子数据块内容一一对应的哈希指纹，并将哈希指纹以列表的形式存储在数据块中，在进行数据块比较的时候，可以直接提取数据块中的指纹列表，比较相似性。避免对大数据进行切分并计算哈希指纹的过程，节省计算时间和存储空间，提高计算效率。

图3是根据一示例性实施例示出的一种数据块构建装置的框图。参考图3，数据块构建装置包括：构建模块301，填充模块302，哈希指纹生成模块303，哈希指纹写入模块304。

该构建模块301被配置为用于根据比较任务确定N个子数据块；

该填充模块302被配置为用于将N个子数据块填充到数据块中；

该哈希指纹生成模块303被配置为用于生成与N个子数据块的内容一一对应的N个哈希指纹；

该哈希指纹写入模块304被配置为用于将N个哈希指纹加入到数据块中。

哈希指纹生成模块303分别读取N个子数据块的内容，按子数据的内容生成内容哈希指纹；

或者，读取N个子数据块的索引名，根据所述索引名生成索引名哈希指纹，索引名基于子数据块的内容哈希指纹确定。

基于子数据块的内容哈希指纹确定索引名包括：

哈希指纹加入模块将N个哈希指纹生成指纹列表，并保存在数据块中。

图4是根据一示例性实施例示出的一种数据块比较装置的框图。参考图4，数据块比较装置包括：哈希指纹提取模块401，比较模块402，相似度确定模块403。

该哈希指纹提取模块401被配置为用于提取待比较的多个数据块中的哈希指纹或哈希指纹列表；

该比较模块402被配置为用于基于所述哈希指纹或哈希指纹列表确定所述多个数据块的相似度系数；

该相似度确定模块403被配置为用于根据相似度系数，确定多个数据块的相似性。

相似度系数为杰卡德系数；确定模块确定多个数据块的相似性包括：杰卡德系数越接近1，则多个数据块的相似性越高。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。

显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims

1.一种数据块构建方法，其特征在于，包括：

根据比较任务确定N个子数据块，将所述N个子数据块填充到数据块中；

生成与所述N个子数据块的内容一一对应的N个哈希指纹；

将所述N个哈希指纹加入到所述数据块中。

2.如权利要求1所述的数据块构建方法，其特征在于，所述生成与所述N个子数据块的内容一一对应的N个哈希指纹包括：

3.如权利要求2所述数据块构建方法，其特征在于，所述索引名基于子数据块的内容哈希指纹确定包括：

4.如权利要求1所述的数据块构建方法，其特征在于，将所述N个哈希指纹加入到所述数据块中包括：将所述N个哈希指纹生成哈希指纹列表，并保存在数据块中。

5.如权利要求1-4任一所述的数据块构建方法，其特征在于，所述N个子数据块的数量根据比较任务的准确度需求确定，所述N个子数据块的大小根据执行比较任务的服务器性能确定。

6.一种数据块比较方法，其特征在于，包括：

提取待比较的多个数据块的哈希指纹或哈希指纹列表；

根据所述相似度系数，确定所述多个数据块的相似性。

7.如权利要求6所述的数据块比较方法，其特征在于，所述相似度系数为杰卡德系数；所述根据所述相似度系数，确定所述多个数据块的相似性包括：所述杰卡德系数越接近1，则所述多个数据块的相似性越高。

8.一种数据块构建装置，其特征在于，包括：

构建模块，用于根据比较任务确定N个子数据块；

填充模块，用于将N个子数据块填充到数据块中；

9.如权利要求8所述的数据块构建装置，其特征在于，所述哈希指纹生成模块用于：

10.如权利要求9所述的数据块构建装置，其特征在于，所述索引名根据子数据块的内容哈希指纹确定包括：

11.如权利要求8所述的数据块构建装置，其特征在于，所述哈希指纹加入模块将所述N个哈希指纹生成指纹列表，并保存在数据块中。

12.如权利要求8-11任一所述的数据块构建装置，其特征在于，所述N 个子数据块的数量根据比较任务的准确度需求确定，所述N个子数据块的大小根据执行比较任务的服务器性能确定。

13.一种数据块比较装置，其特征在于，包括：

14.如权利要求13所述的数据块比较装置，其特征在于，所述相似度系数为杰卡德系数；所述确定模块确定所述多个数据块的相似性包括：所述杰卡德系数越接近1，则所述多个数据块的相似性越高。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1－7中任意一项所述方法的步骤。

16.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1－7中任意一项所述方法的步骤。