CN103347077A - 分布式文件系统的数据传输方法和装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的数据传输方法和装置，其中，该数据传输方法包括：判断传输的数据所对应的接口；从预先存储的多个协议中调用接口对应的协议；利用调用的协议处理数据；传输处理后的数据。本发明通过利用数据的接口对应的协议对数据进行处理，再传输数据，能够准确无误地处理并传输数据，此外，由于本发明的方案预先存储了多个协议，并且每个协议都有相应的接口，能够通过判断数据对应的接口，然后利用多个接口传输多种类型的数据，降低系统的复杂度和耦合度，并且有效地提高系统的可靠性，简化了用户的传输操作。

Description

分布式文件系统的数据传输方法和装置

技术领域

本发明涉及计算机领域，并且特别地，涉及一种分布式文件系统的数据传输方法和装置。

背景技术

目前，使用分布式文件系统是解决大规模数据存储问题与高速数据处理问题的有效解决方案。分布式文件系统集中管理数据，将数据服务与元数据服务分离，并将负载分散到多个服务器节点上，提高了数据存取的并行性和可靠性。服务器节点之间的高速通信成为实现分布式文件系统的高性能和可靠性的决定性因素。

随着需求的不断提升和技术的发展，有越来越多的高性能通信方案可供选择，从广泛应用的依赖于以太网技术、光纤技术及Infiniband技术的通信方案来看，都有其显著特征和相应的适用范围。如何能够合理地搭配使用这些通信方案，在软件层面给予有效地支持，成为分布式文件系统需要解决的重要技术问题。

目前，上述通信方案的自身发展已经比较成熟，但是在软件使用中需要硬件供应商提供的相关软件，各个通信方案使用的应用编程接口（API）也不能完全兼容。现有的分布式文件系统中，通常会使用多种通信方案，在系统中依据不同通信方案的特性（如高带宽、低延迟等特性），在不同的节点或者模块之间部署多种通信方案，以提高系统的整体性能。

在一个分布式文件系统中混合使用多种通信方案，需要在分布式文件系统软件中使用多种通信方案特有的应用编程接口（API）和编程库，导致系统的复杂度增加了，并且降低了系统的可维护性和可靠性，无法将业务逻辑同底层通信逻辑真正分离来减少系统的耦合度。

针对相关技术中在一个分布式文件系统中混合使用多种通信方案，导致系统复杂度增加的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中在一个分布式文件系统中混合使用多种通信方案，导致系统复杂度增加的问题，本发明提出一种分布式文件系统的数据传输方法和装置，能够利用多个接口传输多种数据，降低系统的复杂度和耦合度，并且提高系统的可靠性，简化用户的传输操作。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式文件系统的数据传输方法。

该数据传输方法包括：

判断传输的数据所对应的接口；

从预先存储的多个协议中调用接口对应的协议；

利用调用的协议处理数据；

传输处理后的数据。

其中，在传输的数据为外界输入的数据的情况下，数据对应的接口为接收到数据的接口。

而且，在传输的数据为需要向外界发送的数据的情况下，数据对应的接口为根据数据的特征确定的接口。

此外，在利用调用的协议处理数据之前，该数据传输方法进一步包括：

在存在多个传输的数据且多个数据为需要通过同一接口向外界发送的数据的情况下，如果多个数据的传输优先级相同，则对多个数据进行合并；

而且，利用调用的协议处理数据包括：

利用调用的协议对合并后的数据进行处理。

并且，在传输的数据为需要向外界发送的数据的情况下，利用调用的协议处理数据包括：

根据需要发送数据的接口所对应的协议，对数据进行封装。

并且，传输处理后的数据包括：

通过需要发送数据的接口，发送封装后的数据。

进一步地，在传输的数据为从外界接收的数据的情况下，利用调用的协议处理数据包括：

根据接收数据的接口所对应的协议，对数据进行解封装；

并且，上述传输处理后的数据包括：

将解封装后的数据传输至本地系统。

可选地，上述协议包括TCP/IP协议、RDMA协议和串口协议。

并且，上述接口包括以太网接口、Infiniband接口和串口接口。

根据本发明的一个方面，提供了一种分布式文件系统的数据传输装置。

该数据传输装置包括：

判断模块，用于判断传输的数据所对应的接口；

调用模块，用于从预先存储的多个协议中调用接口对应的协议；

处理模块，用于利用调用的协议处理数据；

传输模块，用于传输处理后的数据。

此外，该数据传输装置进一步包括：

优先级确定模块，用于在存在多个传输的数据且多个数据为需要通过同一接口向外界发送的数据的情况下，确定多个数据的传输优先级；

合并模块，用于对优先级相同的多个数据进行合并；

并且，处理模块用于利用调用的协议对合并后的数据进行处理。

本发明通过利用数据的接口对应的协议对数据进行处理，再传输数据，能够准确无误地处理并传输数据，此外，由于本发明的方案预先存储了多个协议，并且每个协议都有相应的接口，能够通过判断数据对应的接口，然后利用多个接口传输多种类型的数据，降低系统的复杂度和耦合度，并且有效地提高系统的可靠性，简化了用户的传输操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式文件系统的数据传输方法的流程图；

图2是根据本发明实施例的分布式文件系统的数据传输装置的框图；

图3是根据本发明实施例的数据传输装置在具体应用时的示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式文件系统的数据传输方法。

如图1所示，根据本发明实施例的传输方法包括：

步骤S101，判断传输的数据所对应的接口；

步骤S103，从预先存储的多个协议中调用接口对应的协议；

步骤S105，利用调用的协议处理数据；

步骤S107，传输处理后的数据。

其中，在传输的数据为外界输入的数据的情况下，数据对应的接口为接收到数据的接口。

而且，在传输的数据为需要向外界发送的数据的情况下，数据对应的接口为根据数据的特征确定的接口。

此外，在利用调用的协议处理数据之前，该传输方法进一步包括：

在存在多个传输的数据且多个数据为需要通过同一接口向外界发送的数据的情况下，如果多个数据的传输优先级相同，则对多个数据进行合并；

而且，利用调用的协议处理数据包括：

利用调用的协议对合并后的数据进行处理。

并且，在传输的数据为需要向外界发送的数据的情况下，利用调用的协议处理数据包括：

根据需要发送数据的接口所对应的协议，对数据进行封装。

并且，传输处理后的数据包括：

通过需要发送数据的接口，发送封装后的数据。

进一步地，在传输的数据为从外界接收的数据的情况下，利用调用的协议处理数据包括：

根据接收数据的接口所对应的协议，对数据进行解封装；

并且，上述传输处理后的数据包括：

将解封装后的数据传输至本地系统。

可选地，上述协议包括TCP/IP协议、RDMA协议和串口协议。

并且，上述接口包括以太网接口、Infiniband接口和串口接口。

根据本发明的实施例，提供了一种分布式文件系统的数据传输装置。

如图2所示，根据本发明实施例的数据传输装置包括：

判断模块21，用于判断传输的数据所对应的接口；

调用模块22，用于从预先存储的多个协议中调用接口对应的协议；

处理模块23，用于利用调用的协议处理数据；

传输模块24，用于传输处理后的数据。

此外，根据本发明实施例的数据传输装置进一步包括：

优先级确定模块（未示出），用于在存在多个传输的数据且多个数据为需要通过同一接口向外界发送的数据的情况下，确定多个数据的传输优先级；

合并模块（未示出），用于对优先级相同的多个数据进行合并；

并且，处理模块23用于利用调用的协议对合并后的数据进行处理。这样能充分利资源，节约信令开销。

如图3所示，根据本发明方案的数据传输装置在实际应用中可以包括通信接口层L31、通信协议层L32和统一通信操作接口层L33。

通信接口层L31包括以太网、Infiniband、光纤、串口及其它本领域技术人员所公知的通信接口。该通信接口层33对应于用户设备中不同的通信硬件，通信硬件包括多种不同的通信物理介质和设备。通信接口层L31能实现将信息传送至不同的通信介质。

通信协议层L32可包括TCP/IP协议、RDMA协议、SDP协议光纤协议、串口协议及其它本领域技术人员所公知的通信协议。每个协议均具有不同的功能，包括：

TCP/IP协议，在以太网和Infiniband等通信接口的基础上，实现注入寻址、路由、可靠性等特性的通信协议；

RDMA协议，在Infiniband硬件的基础上，实现类似于DMA的高效远程通信操作的通信协议；

SDP协议，为了解决其他基于Infiniband协议的高CPU和内存带快占用的问题而提出的协议，基于微软的Winsock Direct协议，优化后用于Infiniband硬件；

光纤协议，指光纤的应用层协议；

串口协议，串口协议将串口封装成类似双向的Unix管道（Pipe），使用时按照类似管道的操作即可实现双工或半双工通信。

通信协议层L32对通信接口层L31进行封装，实现相应的通信操作交互原语，以便于编程使用。将统一通信操作接口层L33的通信请求传递给通信接口层L31，同时将通信结果报告给统一通信操作接口层L33。

统一通信操作接口层L33在通信协议层L32的基础上，将具体的各种通信操作抽象为打开（open）、初始化（init）、退出（exit）、关闭（close）、发送（send）、接收（receive）等等，从而为分布式系统提供统一的接口。

根据本发明实施的数据传输装置可以执行发送、接收的通信操作。对于每次通信选用哪种通信协议和通信硬件，可以由统一通信操作接口层L33根据通信的参数（parameters）以及上下文（context）做出综合判断，从而自动选择通信协议和通信接口及其对应的通信硬件，也可以由用户指定。

图3所示的各层中的各个项仅仅为实施例，根据本发明的另一个实施例，可以修改（添加或减少）通信接口层和通信协议层，上层业务逻辑可以完全不必修改和重新编译，因此，本发明的方案能够避免单一设置通信接口和通信协议的缺陷，提高了系统部署的灵活性。

综上所述，借助于本发明的上述技术方案，通过利用数据的接口对应的协议对数据进行处理，再传输数据，能够准确无误地处理并传输数据，此外，由于本发明的方案预先存储了多个协议，并且每个协议都有相应的接口，能够通过判断数据对应的接口，然后利用多个接口传输多种类型的数据，降低系统的复杂度和耦合度，并且有效地提高系统的可靠性，简化了用户的传输操作。使用本发明的技术方案，还可以对多个不同的通信协议进行抽象封装，分布式文件系统的业务逻辑应用直接使用抽象封装的统一通信接口进行通信，不必关心底层的通信接口和通信硬件，便于实现分布式文件系统的业务逻辑和通信逻辑分离，提高了系统的可维护性。同时多个通信接口层对应的多个硬件通道可以并行工作，大大提高了通信总带宽，也提供了冗余通信通道，提高了系统的可靠性和容错能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式文件系统的数据传输方法，其特征在于，所述方法包括：

判断传输的数据所对应的接口；

从预先存储的多个协议中调用所述接口对应的协议；

利用调用的所述协议处理所述数据；

传输处理后的数据。

2.根据权利要求1所述的传输方法，其特征在于，在传输的所述数据为外界输入的数据的情况下，所述数据对应的接口为接收到所述数据的接口。

3.根据权利要求1所述的传输方法，其特征在于，在传输的所述数据为需要向外界发送的数据的情况下，所述数据对应的接口为根据所述数据的特征确定的接口。

4.根据权利要求1所述的传输方法，其特征在于，在利用调用的所述协议处理所述数据之前，所述传输方法进一步包括：

在存在多个传输的数据且所述多个数据为需要通过同一接口向外界发送的数据的情况下，如果所述多个数据的传输优先级相同，则对所述多个数据进行合并；

并且，利用调用的所述协议处理所述数据包括：

利用调用的所述协议对合并后的所述数据进行处理。

5.根据权利要求1所述的传输方法，其特征在于，在传输的数据为需要向外界发送的数据的情况下，利用调用的所述协议处理所述数据包括：

根据需要发送所述数据的接口所对应的协议，对所述数据进行封装。

并且，传输处理后的数据包括：

通过需要发送所述数据的接口，发送封装后的所述数据。

6.根据权利要求1所述的传输方法，其特征在于，在传输的数据为从外界接收的数据的情况下，利用调用的所述协议处理所述数据包括：

根据接收所述数据的接口所对应的协议，对所述数据进行解封装；

并且，传输处理后的数据包括：

将解封装后的所述数据传输至本地系统。

7.根据权利要求1所述的传输方法，其特征在于，所述协议包括TCP/IP协议、RDMA协议和串口协议。

8.根据权利要求1所述的传输方法，其特征在于，所述接口包括以太网接口、Infiniband接口和串口接口。

9.一种分布式文件系统的数据传输装置，其特征在于，所述装置包括：

判断模块，用于判断传输的数据所对应的接口；

调用模块，用于从预先存储的多个协议中调用所述接口对应的协议；

处理模块，用于利用调用的所述协议处理所述数据；

传输模块，用于传输处理后的数据。

10.根据权利要求9所述的传输装置，其特征在于，进一步包括：

优先级确定模块，用于在存在多个传输的数据且所述多个数据为需要通过同一接口向外界发送的数据的情况下，确定所述多个数据的传输优先级；

合并模块，用于对优先级相同的多个数据进行合并；

并且，所述处理模块用于利用调用的所述协议对合并后的所述数据进行处理。

Images