CN105653209A - 一种对象存储数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种对象存储数据传输方法及装置，该方法包括：接收数据上传的指令，将对象流中的对象分段为多个数据片段；计算每个所述数据片段的指纹值；按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。本发明将对象进行分段，根据指纹存在性选择上传，这种面向数据重删的对象传输协议，不仅提高了系统整体存取吞吐量，而且有效提高了对象存储系统的存储设备和网络带宽的利用率，提高了数据传输效率。

Description

一种对象存储数据传输方法及装置

技术领域

本发明涉及对象存储、存储数据重删技术领域，特别是涉及一种对象存储数据传输方法及装置。

背景技术

随着社会信息化水平的不断提高和互联网技术的高速发展，各类非结构化数据，如图片、音视频、文本资料等呈现出爆炸性增长的趋势，在云存储服务为人们带来便利的同时，数据规模也在急剧膨胀，这对存储海量数据的能力提出了更高的要求。研究表明，数据中高达75％的部分是重复的，存储资源利用率不高的一个重要原因就是数据中存在大量的重复和冗余。

对象存储系统对其中的对象访问主要通过上传和下载、删除的方式，当上传系统中存在云存储中已存在的数据时，重复上传数据会引起网络带宽的浪费，以及会影响存储系统整体的吞吐率。

针对对象存储中数据存在大量重复的问题，如何提高对象存储系统的存储设备和网络带宽的利用率，提高数据传输效率成为目前亟待解决的技术问题。

发明内容

本发明的目的是提供一种对象存储数据传输方法及装置，目的在于解决重复的数据被多次存储导致存储空间浪费的问题。

为解决上述技术问题，本发明提供一种对象存储数据传输方法，包括：

接收数据上传的指令，将对象流中的对象分段为多个数据片段；

计算每个所述数据片段的指纹值；

按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

可选地，所述将对象流中的对象分段为多个数据片段包括：

将所述对象的长度与预先设定的阈值进行比较；

当所述对象的长度小于所述阈值时，进行全对象分块，存入小数据片段池；

当所述对象的长度大于等于所述阈值时，进行固定对象分块，将分块后长度等于所述阈值的片段存入定长数据片段池，将分块后长度小于所述阈值的片段存入所述小数据片段池。

可选地，所述上传所述指纹值对应的数据片段包括：

并行上传所述指纹值对应的数据片段。

可选地，还包括：

接收数据下载的指令，获取与对象对应的所述映射关系对应表；

根据所述映射关系对应表中的指纹值获取对应的数据片段；

将所述数据片段重组为对象。

可选地，所述根据所述映射关系对应表中的指纹值获取对应的数据片段包括：

采用多线程并发访问的方式，获取每个所述指纹值对应的数据片段。

可选地，还包括：

接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。

可选地，所述删除与对象对应的所述映射关系对应表包括：

在所述映射关系对应表所在目录中建立带有时间戳的标记文件，在读取所述映射关系对应表时返回失败，并通过发送异步请求解除所述数据片段到所述对象的反向引用。

本发明还提供了一种对象存储数据传输装置，包括：

接收模块，用于接收数据上传的指令，将对象流中的对象分段为多个数据片段；

计算模块，用于计算每个所述数据片段的指纹值；

生成模块，用于按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

比较模块，用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

建立模块，用于当所述指纹值数据库中存在所述指纹值时，建立所述指纹值对应的数据片段到所述对象的反向引用；当所述指纹值数据库中不存在所述指纹值时，上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

可选地，还包括：

下载模块，用于接收数据下载的指令，获取与对象对应的所述映射关系对应表；根据所述映射关系对应表中的指纹值获取对应的数据片段；将所述数据片段重组为对象。

可选地，还包括：

删除模块，用于接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。

本发明所提供的对象存储数据传输方法及装置，接收数据上传的指令，将对象流中的对象分段为多个数据片段；计算每个数据片段的指纹值；按照指纹值生成反映指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，分别将每个指纹值与指纹值数据库中已存在的指纹值进行比较；当指纹值数据库中存在指纹值时，建立指纹值对应的数据片段到对象的反向引用；当不存在该指纹值时，上传指纹值对应的数据片段，并将指纹值更新至指纹值数据库。本发明充分利用基于内容寻址的优良特性，将对象进行分段，并计算指纹值，根据指纹存在性选择上传，这种面向数据重删的对象传输协议，不仅提高了系统整体存取吞吐量，而且有效提高了对象存储系统的存储设备和网络带宽的利用率，提高了数据传输效率。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的对象存储数据传输方法的一种具体实施方式的流程图；

图2为本发明所提供的对象存储数据传输方法的另一种具体实施方式中数据分段的流程图；

图3为本发明实施例所提供的采用固定长度分块的方法对数据上传的流程图；

图4为本发明实施例中面向数据重删的对象分段上传的时序图；

图5为本发明实施例中面向数据重删的对象下载的时序图；

图6为本发明实施例中面向数据重删的对象删除的时序图；

图7为本发明实施例提供的对象存储数据传输装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的对象存储数据传输方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：接收数据上传的指令，将对象流中的对象分段为多个数据片段；

步骤S102：计算每个所述数据片段的指纹值；

具体地，该指纹值可以为哈希值。

步骤S103：按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

具体地，可以在应用层存储基本单元与底层数据存储的基本单元之间引入一个映射关系，这个关系可用一个manifest来组织，反映了一个应用层对象到N个底层数据片段的映射关系。

进一步地，本实施例中采用JSON格式存储这一关系，JSON格式是一种轻量级的数据交换格式，表达精简，目前已经广泛应用于各类互联网应用中。当然也可以为其他格式，这均不影响本发明的实现。

步骤S104：调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

对于已经存在于对象存储系统中的对象，会按照其指纹值和一致性哈希值进行存放，每一个指纹值对应一个唯一的位置。

步骤S105：如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

当有新的对象流到达后，首先将该对象流中的每一个对象进行分段，计算这些数据片段或按照全对象的指纹值生成一个manifest，将该manifest上传到代理服务器，代理服务器将manifest中的每个指纹值与已经存储在指纹值数据库进行比较，如果发现指纹值已经存在，则不需要进行数据上传。如果发现指纹值还不存在，则可以判定该数据片段没有在存储系统中，将数据上传到服务器，并更新指纹库。

本发明所提供的对象存储数据传输方法，接收数据上传的指令，将对象流中的对象分段为多个数据片段；计算每个数据片段的指纹值；按照指纹值生成反映指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，分别将每个指纹值与指纹值数据库中已存在的指纹值进行比较；当指纹值数据库中存在指纹值时，建立指纹值对应的数据片段到对象的反向引用；当不存在该指纹值时，上传指纹值对应的数据片段，并将指纹值更新至指纹值数据库。本发明充分利用基于内容寻址的优良特性，将对象进行分段，并计算指纹值，根据指纹存在性选择上传，这种面向数据重删的对象传输协议，不仅提高了系统整体存取吞吐量，而且有效提高了对象存储系统的存储设备和网络带宽的利用率，提高了数据传输效率。

在上述实施例的基础上，将对象流中的对象分段为多个数据片段可以具体采用全对象分块方法或定长分块方法来实现，具体可以由客户端来完成。全对象分块方法与定长分块方法实现简单、计算开销小、应用广泛，但在去重效果方面略差。

作为一种优选实施方式，本实施例中采用全对象分块与定长分块相结合的方法，如图2本发明所提供的对象存储数据传输方法的另一种具体实施方式中数据分段的流程图所示，该方法可以具体为：

步骤S201：将所述对象的长度与预先设定的阈值进行比较；

步骤S202：当所述对象的长度小于所述阈值时，进行全对象分块，存入小数据片段池；

步骤S203：当所述对象的长度大于等于所述阈值时，进行固定对象分块，将分块后长度等于所述阈值的片段存入定长数据片段池，将分块后长度小于所述阈值的片段存入所述小数据片段池。

具体地，可以设定系统中定长分块的长度L，作为上述阈值。检测对象的大小，对于大小小于L的对象进行全对象去重，并存储小数据片段的存储池；对于大小大于L的对象则进行固定长度分块。进行固定长度分块时，将长度为L的分段存入定长数据片段池，如果最后一个数据片段的长度不足L，也将存入小数据片段存储池。

利用这种方法可以在一定程度上克服了全对象分段粒度过大的情况，针对图片等低频率修改的小对象有较好的适应性，可以对数据片段进行合理的分配。

全对象分块的去重方法，粒度较粗，适合对小文件处理。为了更细粒度的重复数据检测，可以将对象分割成固定大小的数据片段，也即基于静态分块的数据去重方法。为了使得用户尽量感知不到去重的过程，客户端在去重时选择了计算开销较小的全对象分块和定长分块，同时，客户端和多个存储池的方案也有能力支持变长分块算法。

全对象分块可以看作是定长分块方法的一个特例，下面结合图3以固定长度分块为例来对数据上传的过程进行进一步详细描述。该过程包括：

步骤S301：对象流中的对象n准备进行数据上传，客户端将该对象分段，计算每个数据片段的指纹值；

步骤S302：客户端按照指纹值列表生成manifest；

步骤S303：客户端将该生成的manifest上传到代理服务器，代理服务器将manifest写入接口服务器中，并将manifest中的每个指纹值在指纹数据库中进行检索；

步骤S304：对于存在于指纹库中的数据片段，直接建立数据链接，即数据片段到应用层的反向引用；

步骤S305：代理服务器向客户端返回查询结果manifest*；

步骤S306：客户端指明需要上传的数据片段；

步骤S307：客户端上传存储系统中不存在的数据片段，并建立新的数据片段对象；

步骤S308：更新新建数据片段的反向引用；

步骤S309：解除不在manifest*中数据片段的引用。

至此，一个对象的数据片段分段上传完成。

本发明提供了一种面向数据重删的对象存储数据传输方法，在分布式对象存储系统中，充分利用基于内容寻址的优良特性，将对象进行分段，并计算指纹值，根据指纹存在性选择上传，研究了面向数据重删的对象传输协议。与传统的对象存储系统相比，本发明在提高了系统整体存取吞吐量的同时，在存储资源和网络带宽的利用率上得到了较大的提高。另外，本发明提出的面向数据重删的对象传输协议也普适于其他分布式存储系统，在大规模分布式对象存储系统实践中具有很高的技术价值和实用价值。

需要指出的是，本发明所提供的对象存储数据传输方法，需要客户端、代理服务、接口服务、存储服务的共同配合完成。

本发明实施例中面向数据重删的对象分段上传的时序图如图4所示。代理服务器在获得了对象manifest之后应当立即完成对数据片段的反向引用，否则在manifest上传和数据片段上传的间隙当中已存在的数据片段有可能被垃圾回收服务清除。

值得注意的是，对manifest*中所指的数据片段进行上传时可以是并行的。

在上述任一实施例的基础上，本发明所提供的对象存储传输方法还可以进一步包括：面向数据重删的对象下载与面向数据重删的对象删除的过程。

具体地，下载的过程包括：

接收数据下载的指令，获取与对象对应的所述映射关系对应表；

根据所述映射关系对应表中的指纹值获取对应的数据片段；

将所述数据片段重组为对象。

在本发明中的传输协议中，每个对象对应了一个manifest，其中记录了该对象每个数据片段在对象存储系统中的信息。进行数据下载时，客户端首先取得对象的manifest，然后客户端根据manifest中的指纹值列表取得每个数据片段，并重组成一个完整的对象。对象下载的时序图如图5所示。

值得注意的是，在循环取得每个数据片段的步骤中，对每个数据片段的获取可以是可并行的，在实现时可以采用多线程并发访问的方式。

删除的过程可以具体为：

接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。

在删除对象时主要有两个工作，其一是删除对象的manifest文件，其二是解除每个数据片段到该对象的反向引用。本发明协议在删除对象manifest时采用异步的方式，即并不是在系统中直接移除manifest文件，而是在manifest所在目录中建立一个带有时间戳的tombstone文件，表示该manifest已经被删除，在对manifest读取时会返回失败，被删除的manifest会由存储服务器完成清理。在建立tombstone文件的同时，系统会向存储服务器发送异步请求来解除数据片段到对象的反向引用。对象删除的时序图如图6所示。

值得注意的是，接口服务向存储服务发送异步请求时，删除命令会被加入一个消息队列，并且该队列会在系统中保存状态，在系统宕机恢复后，未完成的更新命令可继续完成。

下面对本发明实施例提供的对象存储数据传输装置进行介绍，下文描述的对象存储数据传输装置与上文描述的对象存储数据传输方法可相互对应参照。

图7为本发明实施例提供的对象存储数据传输装置的结构框图，参照图7对象存储数据传输装置可以包括：

接收模块100，用于接收数据上传的指令，将对象流中的对象分段为多个数据片段；

计算模块200，用于计算每个所述数据片段的指纹值；

生成模块300，用于按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

比较模块400，用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

建立模块500，用于当所述指纹值数据库中存在所述指纹值时，建立所述指纹值对应的数据片段到所述对象的反向引用；当所述指纹值数据库中不存在所述指纹值时，上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

作为一种具体实施方式，本发明所提供的对象存储数据传输装置还可以进一步包括：

下载模块，用于接收数据下载的指令，获取与对象对应的所述映射关系对应表；根据所述映射关系对应表中的指纹值获取对应的数据片段；将所述数据片段重组为对象。

作为一种具体实施方式，本发明所提供的对象存储数据传输装置还可以进一步包括：

删除模块，用于接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。

本发明所提供的对象存储数据传输装置，接收数据上传的指令，将对象流中的对象分段为多个数据片段；计算每个数据片段的指纹值；按照指纹值生成反映指纹值与对应的存储位置的映射关系对应表；调用指纹值数据库，分别将每个指纹值与指纹值数据库中已存在的指纹值进行比较；当指纹值数据库中存在指纹值时，建立指纹值对应的数据片段到对象的反向引用；当不存在该指纹值时，上传指纹值对应的数据片段，并将指纹值更新至指纹值数据库。本发明充分利用基于内容寻址的优良特性，将对象进行分段，并计算指纹值，根据指纹存在性选择上传，这种面向数据重删的对象传输协议，不仅提高了系统整体存取吞吐量，而且有效提高了对象存储系统的存储设备和网络带宽的利用率，提高了数据传输效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的对象存储数据传输方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种对象存储数据传输方法，其特征在于，包括：

接收数据上传的指令，将对象流中的对象分段为多个数据片段；

计算每个所述数据片段的指纹值；

按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

如果是，则建立所述指纹值对应的数据片段到所述对象的反向引用；如果否，则上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

2.如权利要求1所述的对象存储数据传输方法，其特征在于，所述将对象流中的对象分段为多个数据片段包括：

将所述对象的长度与预先设定的阈值进行比较；

当所述对象的长度小于所述阈值时，进行全对象分块，存入小数据片段池；

当所述对象的长度大于等于所述阈值时，进行固定对象分块，将分块后长度等于所述阈值的片段存入定长数据片段池，将分块后长度小于所述阈值的片段存入所述小数据片段池。

3.如权利要求2所述的对象存储数据传输方法，其特征在于，所述上传所述指纹值对应的数据片段包括：

并行上传所述指纹值对应的数据片段。

4.如权利要求1至3任一项所述的对象存储数据传输方法，其特征在于，还包括：

接收数据下载的指令，获取与对象对应的所述映射关系对应表；

根据所述映射关系对应表中的指纹值获取对应的数据片段；

将所述数据片段重组为对象。

5.如权利要求4所述的对象存储数据传输方法，其特征在于，所述根据所述映射关系对应表中的指纹值获取对应的数据片段包括：

采用多线程并发访问的方式，获取每个所述指纹值对应的数据片段。

6.如权利要求5所述的对象存储数据传输方法，其特征在于，还包括：

接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。

7.如权利要求6所述的对象存储数据传输方法，其特征在于，所述删除与对象对应的所述映射关系对应表包括：

在所述映射关系对应表所在目录中建立带有时间戳的标记文件，在读取所述映射关系对应表时返回失败，并通过发送异步请求解除所述数据片段到所述对象的反向引用。

8.一种对象存储数据传输装置，其特征在于，包括：

接收模块，用于接收数据上传的指令，将对象流中的对象分段为多个数据片段；

计算模块，用于计算每个所述数据片段的指纹值；

生成模块，用于按照所述指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；

比较模块，用于调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值；

建立模块，用于当所述指纹值数据库中存在所述指纹值时，建立所述指纹值对应的数据片段到所述对象的反向引用；当所述指纹值数据库中不存在所述指纹值时，上传所述指纹值对应的数据片段，并将所述指纹值更新至所述指纹值数据库。

9.如权利要求8所述的对象存储数据传输装置，其特征在于，还包括：

下载模块，用于接收数据下载的指令，获取与对象对应的所述映射关系对应表；根据所述映射关系对应表中的指纹值获取对应的数据片段；将所述数据片段重组为对象。

10.如权利要求9所述的对象存储数据传输装置，其特征在于，还包括：

删除模块，用于接收数据删除的指令，删除与对象对应的所述映射关系对应表，并解除每个所述数据片段到所述对象的反向引用。