CN110019093A - 数据写入方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了数据写入方法、装置、设备及介质。该方法应用于分布式文件系统中，且分布式文件系统中的各节点设备通过RDMA协议进行网络互联，该方法包括：客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备；将当前数据并发写入所述主节点设备分配的每个从节点设备中。根据本发明的技术方案，通过RDMA协议实现了分布式文件系统中的数据并发写入，从而提高了数据在各从节点设备间的同步进程，节省了大量的时间，使得分布式文件系统的处理性能得以提升。

Description

数据写入方法、装置、设备及介质

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种数据写入方法、装置、设备及介质。

背景技术

近年来，随着“云计算”、“互联网”、“物联网”的快速发展，大数据(Big Data)也吸引了越来越多的人关注，成为社会热点之一。伴随着商业智能的发展，数据量呈现指数增长，Hadoop(分布式系统基础架构)在多个行业中得到了越来越多的广泛应用，一些迫在眉睫需要得到解决的问题也涌现出来。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System，HDFS)，它能提供高吞吐量的数据访问，非常适合大规模数据集群上的应用。虽然HDFS可以通过线性扩展节点设备来提升集群的处理能力，但是，首先，随着集群的规模越来越大，节点设备间进行数据传输的损耗也一并提升，使得增加节点设备而得到提升的处理能力变得有限甚至收效甚微；其次，节点设备的线性扩展是通过不断增加新的硬件来使得处理能力得到提升，但对已有的单节点设备上的并行能力无法得到提升，这样既造成了资源上的浪费，同时也提高了管理上的难度。

发明内容

本发明实施例提供了数据写入方法、装置、设备及介质，能够大大提升分布式文件系统的处理性能。

第一方面，本发明实施例提供了一种数据写入方法，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问(Remote Direct MemoryAccess，RDMA)协议进行网络互联，方法包括：

客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备；

将当前数据并发写入所述主节点设备分配的每个从节点设备中。

第二方面，本发明实施例提供了一种数据写入方法，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，方法包括：

从节点设备获取并存储客户节点设备写入的当前数据；

对所述当前数据的完整性进行校验，得到写入结果；

将所述写入结果反馈给所述客户节点设备。

第三方面，本发明实施例提供了一种数据写入装置，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，装置包括：

请求单元，用于向主节点设备请求分配用于数据写入的多个从节点设备；

写入单元，用于将当前数据并发写入所述主节点设备分配的每个从节点设备中。

第四方面，本发明实施例提供了一种数据写入装置，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，装置包括：

获取单元，用于获取并存储客户节点设备写入的当前数据；

校验单元，用于对所述当前数据的完整性进行校验，得到写入结果；

反馈单元，用于将所述写入结果反馈给所述客户节点设备。

第五方面，本发明实施例提供了一种数据写入设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面或第二方面的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面或第二方面的方法。

本发明实施例提供的数据写入方法、装置、设备及介质，应用于分布式文件系统中，且分布式文件系统中的各节点设备通过RDMA协议进行网络互联，客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备后，将当前数据并发写入主节点设备分配的每个从节点设备中。该技术方案中，通过RDMA协议实现了分布式文件系统中的数据并发写入，从而提高了数据在各从节点设备间的同步进程，节省了大量的时间，使得分布式文件系统的处理性能得以提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了现有技术中的大数据传输框架示意图；

图2示出了本发明一个实施例提供的大数据传输框架示意图；

图3示出了本发明一个实施例提供的客户节点设备端实现的数据写入方法的示例性流程图；

图4示出了本发明一个实施例提供的从节点设备端实现的数据写入方法的示例性流程图；

图5示出了本发明一个实施例中基于RDMA协议实现的HDFS写操作逻辑图；

图6示出了本发明一个实施例提供的一种数据写入装置的示例性结构框图；

图7示出了本发明一个实施例提供的另一种数据写入装置的示例性结构框图；

图8示出了本发明一个实施例提供的一种数据写入设备的硬件结构框图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

首先，如图1所示，为现有技术中的大数据传输框架示意图。其中，大数据的通信模块是使用socket通信方式通过1/10GB网络进行通信的，这其中需要对上层语义进行转义，以及进行内存拷贝等一系列操作，从而效率不高，同时也受底层网络带宽限制。

针对上述情况，本发明实施例中对大数据的通信模块进行了调整，如图2所示，为本发明实施例提供的大数据传输框架示意图，包括Application(应用)、OSU Design(OSU设计)、Verbs Interface(Verbs接口)以及10GigE或InfiniBand。InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5Gbps的运行速度。其中，在OSU(Over Socket Unite，上层通信整合)Design部分，提供了支持RDMA协议的HDFS及支持RDMA协议的并发复制。同时，节点设备间的通信协议不仅支持传统的socket通信方式，而且优先选择使用RDMA协议进行内部通信。底层将节点设备间的网络调整为RDMA自适应网络，即各节点设备之间通过RDMA协议实现网络互联，除支持传统的IPToIB网络以外，同时提供对RoCE协议的支持。

另外，存储盘可以由原先普通的SCSI(Small Computer System Interface，小型计算机系统接口)硬盘调整为SSD(Solid State Drives，固态硬盘)。

基于上述分析，本发明实施例提供了一种数据写入方案，应用于分布式文件系统中，且分布式文件系统中的各节点设备通过RDMA协议进行网络互联，客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备后，将当前数据并发写入主节点设备分配的每个从节点设备中。该技术方案中，通过RDMA协议实现了分布式文件系统中的数据并发写入，从而提高了数据在各从节点设备间的同步进程，节省了大量的时间，使得分布式文件系统的处理性能得以提升。

需要说明的是，本发明实施例中分布式文件系统中的各节点设备可以但不限于包括：客户节点设备、主节点设备和从节点设备。

如图3所示，为本发明实施例提供的一种客户端节点设备实现的数据写入方法的示例性流程图。该方法包括：

步骤310，客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备。

步骤320，将当前数据并发写入主节点设备分配的每个从节点设备中。

具体的，步骤320可以但不限于按照如下方式实现：

首先，按照预设封装格式，对当前数据进行封装，从而得到多个数据包，其中，这多个数据包中的最后一个数据包携带用于表征当前数据传输完毕的包尾；

然后，将得到的多个数据包依次并发写入主节点设备分配的每个从节点设备中。

本发明实施例中，通过RDMA协议实现了分布式文件系统中的数据并发写入，从而提高了数据在各从节点设备间的同步进程，节省了大量的时间，使得分布式文件系统的处理性能得以提升。

可选的，还可以包括：

步骤330，接收主节点设备分配的每个从节点设备反馈的写入结果，该写入结果是主节点设备分配的每个从节点设备接收到携带有包尾的数据包后，对接收到的数据的完整性进行校验得到的。

当校验出数据完整时，则写入结果为当前数据成功写入；当校验出数据不完整时，则写入结果为当前数据未成功写入。

可选的，校验方式可以但不限于采用CRC32校验方式。

现有技术中，从节点设备每接收一个数据包就要向客户端节点设备反馈一个数据确认包，由客户端节点设备确认从节点设备接收到的数据是否完整。而本发明实施例中，由于对数据按照预设的封装格式进行封装，使得从节点设备可以完成数据完整性的校验，并将校验结果以写入结果的形式反馈给客户端节点设备，客户端节点设备只需要接收一个来自从节点设备反馈的写入结果即可，从而减少了客户端节点设备和从节点设备之间的通信次数，提高了分布式文件系统的处理性能。

相应的，如图4所示，为本发明实施例提供的一种从节点设备实现的数据写入方法的示例性流程图。该方法包括：

步骤410，从节点设备获取并存储客户节点设备写入的当前数据。

具体的，从节点设备获取并存储客户节点设备写入的当前数据；其中：当前数据被客户节点设备根据预设封装格式封装成多个数据包，且该多个数据包中的最后一个数据包携带用于表征当前数据传输完毕的包尾。

步骤420，对当前数据的完整性进行校验，得到写入结果。

具体的，当接收到携带包尾的数据包时，证明当前数据传输完毕，进而对当前数据的完整性进行校验，得到写入结果。

可选的，校验方式可以但不限于采用CRC32校验方式。

步骤430，将写入结果反馈给客户节点设备。

本发明实施例提供的上述数据写入方法在实际应用中，可以基于RDMA协议，在客户机节点设备和从节点设备中分别增加RDMA客户模块和RDMA服务模块，具体参见图5。在图5中，示出了如下信息：HDFS Client(客户机节点设备)、Client RDMA Module(RDMA客户模块)、Client UCR(客户机UCR)、DataNode Server(从节点设备)、Server RDMA Module(RDMA服务模块)、Server UCR(服务UCR)、RDMA Data Transfer(RDMA数据传输)、JNI Interface(JIN接口)。

根据图5，基于RDMA协议的HDFS写操作设计如下：

1、客户机节点设备(HDFS Client)中的RDMA客户模块(Client RDMA Module)负责将当前数据转换成包并发送给从节点设备(DataNode Server，数据节点服务器)的RDMA服务模块(Server RDMA Module)。

2、RDMA服务模块负责接收数据包，并按照现有的HDFS写操作，将该数据包复制给下一个从节点设备的RDMA服务模块。

3、RDMA客户模块和RDMA服务模块在客户机节点设备和从节点设备之间建立互联网络，它们之间通过联合统一接口(包括Client UCR和Server UCR)进行数据传输。

4、RDMA客户模块只接收一个来自RDMA服务模块的写入结果，而数据完整性本身由RDMA服务模块在完成复制后进行校验确认。

将现有的HDFS写操作和本发明实施例提供的基于RDMA协议的HDFS写操作进行性能对比，性能改进结果如下。

1、使用新框架，在hadoop进行数据同步对比测试：

使用本发明实施例提供的OSU Design模块，底层网络采用IB网络(简称OSU IB)，对比原有框架(如图1)使用10GB网络，同步时间得到了56％的提升。

使用OSU IB模块，对比原有框架使用普通的IPToIB网络，同步时间得到了30％的提升。

2、使用TestDFSIO进行IO性能测试对比：

在使用普通磁盘，8节点的hadoop集群中，当使用OSU IB模块时，对比原有框架使用普通的IPToIB网络有24％的提升；对比原有框架使用10GB网络，则有着将近一倍的提升。

在替换集群节点的普通磁盘为SSD存储后，使用OSU IB模块时，对比原有框架使用普通的IPToIB网络有61％的提升。

3、使用TestDFSIO进行排序性能测试对比：

在使用普通磁盘，8节点的hadoop集群中，当使用OSU IB模块时，对比原有框架使用普通的IPTOIB网络，同样的排序操作有45％的提升；对比原有框架使用10GB网络，则有着39％。

替换磁盘由普通磁盘为SSD存储后，使用OSU IB模块时，对比原有框架使用普通的IPToIB网络有46％的提升，对比10GB网络有40％的提升。

由此可见，本发明实施例提供的数据写入方案可以大大提升分布式文件系统的处理性能。

基于上述数据写入方法，本发明实施例还提供了一种数据写入装置，如图6所示，为本申请实施例提供的一种数据写入装置的示例性结构框图，该装置应用于分布式文件系统中，且该分布式文件系统中的各节点设备通过RDMA协议进行网络互联，具体包括：

请求单元61，用于向主节点设备请求分配用于数据写入的多个从节点设备；

写入单元62，用于将当前数据并发写入所述主节点设备分配的每个从节点设备中。

可选的，写入单元62可以具体用于：

按照预设封装格式，对所述当前数据进行封装，得到多个数据包；其中，所述多个数据包中的最后一个数据包携带用于表征所述当前数据传输完毕的包尾；

将所述多个数据包依次并发写入所述主节点设备分配的每个从节点设备中。

可选的，该装置可以包括：

接收单元63，用于接收所述主节点设备分配的每个从节点设备反馈的写入结果；其中，所述写入结果是所述主节点设备分配的每个从节点设备接收到携带所述包尾的数据包后，对接收到的数据的完整性进行校验得到的。

基于上述数据写入方法，本发明实施例还提供了一种数据写入装置，如图7所示，为本申请实施例提供的另一种数据写入装置的示例性结构框图，该装置应用于分布式文件系统中，且该分布式文件系统中的各节点设备通过RDMA协议进行网络互联，具体包括：

获取单元71，用于获取并存储客户节点设备写入的当前数据；

校验单元72，用于对所述当前数据的完整性进行校验，得到写入结果；

反馈单元73，用于将所述写入结果反馈给所述客户节点设备。

可选的，所述获取单元71，可以具体用于：

获取并存储客户节点设备写入的当前数据；其中：所述当前数据被所述客户节点设备根据预设封装格式封装成多个数据包，且所述多个数据包中的最后一个数据包携带用于表征所述当前数据传输完毕的包尾。

可选的，所述校验单元72，可以具体用于：

当接收到携带所述包尾的数据包时，对所述当前数据的完整性进行校验，得到写入结果。

另外，结合图3或图4描述的本发明实施例的数据写入方法可以由数据写入设备来实现。图8示出了本发明实施例提供的数据写入设备的硬件结构示意图。

数据写入设备可以包括处理器801以及存储有计算机程序指令的存储器802。

具体地，上述处理器801可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在数据处理装置的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器802包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现上述实施例中的任意一种数据写入方法。

在一个示例中，数据写入设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。

通信接口803，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线810包括硬件、软件或两者，将数据写入设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该数据写入设备可以基于获取到待测小区的网管性能指标，执行本发明实施例中的数据写入方法，从而实现结合图3或图4描述的数据写入方法。

另外，结合上述实施例中的数据写入方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据写入方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种数据写入方法，其特征在于，所述方法应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，所述方法包括：

客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备；

将当前数据并发写入所述主节点设备分配的每个从节点设备中。

2.根据权利要求1所述的方法，其特征在于，所述将当前数据并发写入所述主节点设备分配的每个从节点设备中，包括：

按照预设封装格式，对所述当前数据进行封装，得到多个数据包，其中，所述多个数据包中的最后一个数据包携带用于表征所述当前数据传输完毕的包尾；

将所述多个数据包依次并发写入所述主节点设备分配的每个从节点设备中。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

接收所述主节点设备分配的每个从节点设备反馈的写入结果；其中，所述写入结果是所述主节点设备分配的每个从节点设备接收到携带所述包尾的数据包后，对接收到的数据的完整性进行校验得到的。

4.一种数据写入方法，其特征在于，所述分布式文件系统中的各节点设备通过RDMA协议进行网络互联，所述方法包括：

从节点设备获取并存储客户节点设备写入的当前数据；

对所述当前数据的完整性进行校验，得到写入结果；

将所述写入结果反馈给所述客户节点设备。

5.根据权利要求4所述的方法，其特征在于，所述从节点设备获取并存储客户节点设备写入的当前数据，具体包括：

从节点设备获取并存储客户节点设备写入的当前数据；其中：所述当前数据被所述客户节点设备根据预设封装格式封装成多个数据包，且所述多个数据包中的最后一个数据包携带用于表征所述当前数据传输完毕的包尾。

6.根据权利要求5所述的方法，其特征在于，所述对所述当前数据的完整性进行校验，得到写入结果，具体包括：

当接收到携带所述包尾的数据包时，对所述当前数据的完整性进行校验，得到写入结果。

7.一种数据写入装置，其特征在于，所述装置应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过RDMA协议进行网络互联，所述装置包括：

请求单元，用于向主节点设备请求分配用于数据写入的多个从节点设备；

写入单元，用于将当前数据并发写入所述主节点设备分配的每个从节点设备中。

8.一种数据写入装置，其特征在于，所述装置应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过RDMA协议进行网络互联，所述装置包括：

获取单元，用于获取并存储客户节点设备写入的当前数据；

校验单元，用于对所述当前数据的完整性进行校验，得到写入结果；

反馈单元，用于将所述写入结果反馈给所述客户节点设备。

9.一种数据写入设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-3中任一项或权利要求4-6中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-3中任一项或权利要求4-6中任一项所述的方法。