CN113422669A - 数据传输方法、装置和系统、电子设备以及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种数据传输方法、装置和系统、电子设备以及计算机可读存储介质。该方法包括：接收数据传输指令；根据所述数据传输指令，确定待传输数据和目标端；根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；将所述应用数据向量发送到所述目标端。本申请实施例通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

Description

数据传输方法、装置和系统、电子设备以及计算机可读存储 介质

技术领域

本申请涉及数据传输技术领域，尤其涉及一种数据传输方法、装置和系统、电子设备以及计算机可读存储介质。

背景技术

随着互联网技术的发展，用户可以将数据存储在通过互联网连接的多个服务器上，并且可以通过互联网来进行数据传输。例如，当前用户可以使用TCP/IP协议来进行数据传输，在这样的数据传输中，数据需要经历数据通路上的多次拷贝才能够实现传输，因此导致了巨大的计算开销和时延。因此，出现了直接根据传输数据的地址进行数据读写操作的零拷贝的数据传输技术。例如，利用基于远程内存访问(RDMA，Remote Direct MemoryAccess)的数据传输技术，用户可以通过使用基于该技术的网卡的内存直接访问功能来根据远程数据存储服务器中的数据存储地址读取指定数据或者将数据直接写入到存储地址中，因此，能够大大降低数据传输导致的额外开销。但是由于该方案的数据读写都需要使用特定的通信原语来进行读写操作，因此大大限制了RDMA在使用上的灵活性。特别是尽管网络传输的数据存在着多样性，但是仍然需要严格按照通信原语的定义来使用读写指令，增加了应用的难度，降低了应用该技术的灵活性。

发明内容

本申请实施例提供一种数据传输方法、装置和系统、电子设备以及计算机可读存储介质，以解决现有技术中使用零拷贝的传输方案时灵活性较低的缺陷。

为达到上述目的，本申请实施例提供了一种数据传输方法，包括：

接收数据传输指令；

根据所述数据传输指令，确定待传输数据和目标端；

根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；

将所述应用数据向量发送到所述目标端。

本申请实施例还提供了一种数据传输方法，包括：

接收针对待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，所述数据大小分量用于标识所述待传输数据的大小，并且，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；

对所述网络传输向量进行处理，以确定所述应用数据向量；

根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

本申请实施例还提供了一种数据传输装置，包括：

指令接收模块，用于接收数据传输指令；

确定模块，用于根据所述数据传输指令，确定待传输数据和目标端；

数据向量生成模块，用于根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；

发送模块，用于将所述应用数据向量发送到所述目标端。

本申请实施例还提供了一种数据传输装置，包括：

向量接收模块，用于接收针对待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，所述数据大小分量用于标识所述待传输数据的大小，并且，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；

处理模块，用于对所述网络传输向量进行处理，以确定所述应用数据向量；

获取模块，用于根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

本申请实施例还提供了一种数据传输系统，包括：

发送端，用于根据用户输入的数据传输指令，确定待传输数据和接收端，根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；以及，通过远程内存访问网络将所述应用数据向量发送到所述接收端；

接收端，用于通过所述远程内存访问网络接收针对所述待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；对所述网络传输向量进行处理，以确定所述应用数据向量；以及，根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

本申请实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本申请实施例提供的数据传输方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本申请实施例提供的数据传输方法。

本申请实施例提供的数据传输方法、装置和系统、电子设备以及计算机可读存储介质，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1a-图1c为本申请实施例提供的数据传输方法的应用场景示意图；

图2为本申请提供的数据传输方法一个实施例的流程图；

图3为本申请提供的数据传输方法另一个实施例的流程图；

图4为本申请提供的数据传输方法又一个实施例的流程图；

图5为本申请提供的数据传输装置一个实施例的结构示意图；

图6为本申请提供的数据传输装置另一个实施例的结构示意图；

图7为本申请提供的电子设备实施例的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本申请实施例提供的方案可应用于任何具有数据处传输能力的数据传输系统。图1a-图1c为本申请实施例提供的数据传输方法的应用场景示意图，图1a-图1c所示的场景仅仅是本申请的技术方案可以应用的场景的示例。

随着网络技术的发展，用户能够通过互联网来传输数据。特别是，用户能够利用分散在不同地方的存储服务器作为存储节点并且通过互联网连接来访问这些服务器。例如，用户在本地可以使用本地客户端中安装的应用程序来通过互联网访问存储在云端服务器上的各种数据。在该过程中，用户所访问的数据在经由本地客户端上的应用进行处理之前，需要将该数据从云端下载到本地来进行处理。在这样的下载过程中，数据需要根据各种网络数据传输协议进行封装，例如添加报文头来形成数据包进行传输。当用户与数据存储节点之间的网络环境比较复杂时，会通过一系列多层网络协议来形成数据包，例如传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)以及互联网控制消息协议(ICMP)等，形成数据包之后，数据包还需要复制到网卡中的缓存进行网络传输。在接收数据时，用户的本地客户端在从远程数据存储服务器接收到的数据包后，要将数据包从网卡的缓存中复制到终端的缓存中。然后经过对应的网络协议进行数据包的解析。解析后的数据才能够复制到终端中对应的存储位置来由应用调用。因此，在这样的数据传输过程中，由于互联网技术的高速发展，数据在发送端与接收端之间的传输已经非常高效，但是如上所述，在发送端对待发送数据进行封装并形成数据包并且将其复制到网卡进行发送，而在接收端也要进行类似的处理，例如将接收到的数据包接收到网卡中进行解析并将解析后的数据再复制到存储空间中进行存储等等，这样的两端的数据处理会导致较大的系统开销。特别是在接收和发送的两端进行的数据缓存管理以及相应地在不同的存储空间中复制导致了整个数据传输过程中的高额开销。而这样的不同存储空间中复制，例如在发送端从数据存储空间复制到网卡的缓存中等等，是由于现有的数据传输技术所依赖的网络通信协议需要通过系统内核来进行处理。因此，为了实现更高效的数据传输，已经提出了跨内核通信的高性能网络通信方案，其能够利用内存的高带宽来直接进行数据的读写操作。例如，已经提出了远程内存访问(RDMA，Remote Direct Memory Access)的数据传输技术，其能够利用支持RDMA网卡的内存直接访问功能来在没有系统内核的参与的情况下在存储空间之间直接进行数据的传输。例如，如图1a和1b中所示，图1a示出了基于网络的数据传输的示例性场景。当用户在本地终端或云上的终端中对于应用执行RDMA读或写请求时，该RDMA请求从运行在该终端中的应用中发送到该终端的本地网卡，在该过程中没有执行数据复制并且不需要任何内核内存参与，之后，本地网卡可以读取终端的缓存中的内容，并通过网络传输到目标服务器的网卡，这样在网络上传输的基于RDMA的数据传输请求包含目标服务器的存储目的地地址以及数据本身。当目标服务器的网卡确认该存储请求时可以直接将请求中的数据写入对应的应用缓存中。

因此，基于RDMA的数据传输提供了点对点通信的方案，终端或服务器中的每个应用都可以直接获取自己所需的数据而无需操作系统和协议栈的介入。并且数据传输服务是建立在通信双方本端和远端应用之间创建的数据传输连接的基础上。当终端或服务器中的应用需要数据传输时，就会创建这样的点对点通信连接。但是在这样的过程中，需要使用RDMA协议提供的通信原语，即传输指令，例如post/send/read/write来使得发送端和接收端能够在没有系统内核参与的情况下了解所需进行的数据操作。但是由于通信原语的语义以及操作要求比较严格，因此大大降低了数据传输的灵活性。尤其是不适合于当前应用之间传输的数据的多样性和复杂性。为此，根据本申请实施例，提供了一种改进的数据传输方案。在例如图1a中所示的场景中，用户在终端上或通过网络访问服务器上的应用以发起向远程数据存储服务器请求数据传输。例如，可以请求将终端上的第一应用数据写入到远程数据存储服务器上存储的数据。在该情况下，在本申请实施例中，根据用户对于应用的操作，来生成数据传输请求，该数据传输请求中可以包括针对要传输到远程数据存储服务器上的数据而生成的应用数据向量。例如，该应用数据向量可以包括指示应用数据在本地的存储起始位置的第一分量以及指示应用数据的大小的第二分量，从而终端(例如，终端的网卡)进一步在该数据传输请求中封装进表示网络传输的报文头部，特别地，在本申请实施例中，以同样的方式来封装报文头部，即在网络层(例如，网卡)生成报文向量，其中，报文向量的第一分量中包括报文头部的地址并且报文向量的第二分量中包括报文的长度，从而如图1a中所示，封装好形成为数据包的数据传输请求中的数据向量以及添加的报文向量具有统一的格式。例如，如图1b中所示，可以根据数据1、数据2和数据3形成应用数据向量，其中可以包括对应于数据1的起始位置的第一分量1以及指示数据1的大小的第二分量1、对应于数据2的第一分量2以及指示数据2的大小的第二分量2、对应于数据3的第一分量3以及指示数据3的大小的第二分量3，并且可以进一步向该应用数据分量中添加具有指示报文头部的起始位置的第一分量和指示报文头部的大小的报文头以形成网络传输向量。因此，接下来，终端或服务器可以根据该数据传输请求直接将对应的应用数据从终端的缓存中发到目标服务器，并且目标服务器可以根据该应用数据传输请求中的具有统一格式的各向量来进行操作。例如，可以在接收到该请求之后，去除掉请求中的报文向量等网络头部向量，从而将其转化为应用数据向量，以便于目标服务器中进行存储或者由目标服务器中的应用直接使用。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

上述实施例是对本申请实施例的技术原理和示例性的应用框架的说明，下面通过多个实施例来进一步对本申请实施例具体技术方案进行详细描述。

实施例二

图2为本申请提供的数据传输方法一个实施例的流程图，该方法的执行主体可以为具有数据传输能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图2所示，该数据传输方法包括如下步骤：

S201，接收数据传输指令。

用户在进行基于云服务的数据处理时，可以通过操作本地的终端或者通过互联网接入到云终端上，并且对其上运行的应用程序发出指令来执行各种处理。例如，用户在本地可以使用本地客户端中安装的应用程序来通过互联网访问存储在云端服务器上的各种数据。在该过程中，用户所访问的数据在经由本地客户端上的应用进行处理之前，需要将该数据从云端下载到本地来进行处理或者将本地的数据传输到云端来在云端服务器上的应用中进行处理。因此，在步骤S201中，用户本地的终端或者云端服务器可以接收用户通过操作应用程序而发出的数据传输指令。例如，如图1b中所示，示出了用户的终端中向目标服务器发送数据的场景。在该场景中，用户可以通过应用指示将数据1发送到目标服务器。

S202，根据数据传输指令确定待传输数据和目标端。

在本申请实施例中，目标端可以是用于接收用户通过应用下达的传输指令所针对的数据的各种模块、装置或终端，在一些实施例中，目标端可以是目标服务器，并且在另外的实施例中，目标端也可以是位于服务器中的接收模块或管理模块等等。

在步骤S201中接收到用户例如通过应用下达的数据传输指令之后，在步骤S202中可以根据该指令来解析确定用户通过该应用要传输的数据以及目标服务器。例如，在如图1b中所示的场景中，可以根据步骤S201中接收的用户的数据传输指令来确定用户想要传输的数据是数据1至数据3，并且可以相应地确定将要传输到的目标服务器为服务器1。

S203，根据待传输数据生成应用数据向量。

在步骤S202中确定了待传输数据之后，可以根据所确定的待传输数据来生成应用数据向量。例如，在本申请实施例中，可以生成应用数据向量从而包括指示待传输数据在本地的存储位置的存储地址分量以及指示待传输数据的大小的数据大小分量，从而例如，如图1b中所示，针对不同数据1-3生成的应用数据向量具有统一的格式。例如，如图1b中所示，在步骤S202中确定在步骤S201中接收的数据传输指令所针对的待传输数据为数据1、数据2和数据3，因此，针对该三个数据形成应用数据向量，其中可以包括对应于数据1的起始位置的数据存储地址分量1以及指示数据1的大小的数据大小分量1、对应于数据2的数据存储地址分量2以及指示数据2的大小的数据大小分量2、对应于数据3的数据存储地址分量3以及指示数据3的大小的数据大小分量3。

S204，将应用数据向量发送到目标端。

因此，接下来，终端或服务器可以根据将步骤S203中生成的具有统一格式的应用数据向量从终端的缓存中发到目标服务器，并且目标服务器从而可以根据该具有统一格式的各向量来进行操作。例如，目标服务器中进行存储或者由目标服务器中的应用直接使用。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

实施例三

图3为本申请提供的数据传输方法另一个实施例的流程图，该方法的执行主体可以为具有数据传输能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图3所示，该数据传输方法包括如下步骤：

S301，接收数据传输指令。

用户在进行基于云服务的数据处理时，可以通过操作本地的终端或者通过互联网接入到云终端上，并且对其上运行的应用程序发出指令来执行各种处理。例如，用户在本地可以使用本地客户端中安装的应用程序来通过互联网访问存储在云端服务器上的各种数据。在该过程中，用户所访问的数据在经由本地客户端上的应用进行处理之前，需要将该数据从云端下载到本地来进行处理或者将本地的数据传输到云端来在云端服务器上的应用中进行处理。因此，在步骤S301中，用户本地的终端或者云端服务器可以接收用户通过操作应用程序而发出的数据传输指令。例如，如图1c中所示，示出了用户的终端中向目标服务器发送数据的场景。在该场景中，用户可以通过应用指示将数据1至3发送到目标服务器，并且可以特别指定将数据1分为两个片段分别以不同的方式进行传输。

S302，根据数据传输指令确定待传输数据和目标服务器。

在步骤S301中接收到用户例如通过应用下达的数据传输指令之后，在步骤S302中可以根据该指令来解析确定用户通过该应用要传输的数据以及目标服务器。例如，在如图1b和图1c中所示的场景中，可以根据步骤S301中接收的用户的数据传输指令来确定用户想要传输的数据是数据1至数据3，并且可以相应地确定将要传输到的目标服务器为服务器1，并且如上所述可以进一步确定用户想要将数据1拆分为两个片段并且分别进行传输。

S303，对待传输数据进行划分，以获得多个待传输子数据。

S304，对于多个待传输子数据中的每一个生成对应的应用数据向量。

在步骤S302中确定了用户要传输的待传输数据之后，可以根据用户指令来对指定的数据进行划分，以形成多个待传输子数据。例如，如上所述，用户的指令中指定了数据1需要被划分为两个片段，从而可以针对数据1来进行划分，以获得两个待传输子数据，例如，如图1c中所示的数据1的片段1和片段2。此外，在一些实施例中，用户可以针对不同的待传输数据或者待传输数据的不同的待传输子数据来指定不同的传输方式或者通信原语，例如对于数据1指定“Send”，对于数据2指定“Write”或者对于数据1的片段1指定“Send”，对于数据1的片段2指定“Write”，或者甚至可以对于数据1的片段2的第一部分指定“Send”，并且对于数据1的片段2的第二部分指定“Write”。换言之，在本申请实施例中，用户可以对于不同数据，数据的不同部分，甚至对于数据的某个部分的不同子部分指定对应的传输方式/通信原语，并且从而在步骤S303中根据这样的个别指定来对数据进行划分，并且在步骤S304中对于各个数据，例如每个划分后的子数据甚至子数据的各个子部分来生成应用数据向量，其中数据存储地址分量指示该待传输子数据的存储位置并且大小分量指示该待传输子数据的大小。

S305，根据待传输数据的网络传输协议生成网络头部向量。

在本申请实施例中，在步骤S301中接收到的用户的传输指令中，可以解析出用户想要使用的传输方式，例如通信原语，即RDMA协议下的Send、Write、Read、Receive等等。因此，在步骤S304对于每个待传输数据或者子数据生成了应用数据向量之后，可以进一步在步骤S305中根据用户所指定的传输方式来生成网络头部向量。该网络头部向量可以包括网络头部存储地址分量和网络头部大小分量。例如，如图1b的右侧所示，可以以与应用数据向量相同的形式来生成网络头部向量。例如，添加报文头部的地址和报文头部的长度，从而形成最终的网络传输向量。此外，如图1c中所示，在本申请实施例中，由于采用了统一的格式来生成应用数据向量和网络头部向量，因此，在用户的指令中指示将数据进行分割并分别传输的情况下，例如如图1c中所示，将数据1划分为片段1和片段2，或者甚至将片段2进一步划分为部分1(片段2.1)和部分2(片段2.2)，因此，在步骤S305中可以根据步骤S304中生成的各个数据或各子数据对应的传输方式来生成网络头部向量。

S306，将网络头部向量与应用数据向量一起发送到目标服务器。

因此，接下来，终端或服务器可以根据将步骤S304中生成的具有统一格式的应用数据向量以及步骤S305中生成的对应的网络头部向量从终端的缓存中发到目标服务器，并且目标服务器从而可以根据该具有统一格式的各向量来进行操作。例如，目标服务器中进行存储或者由目标服务器中的应用直接使用。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题，特别是可以对于待传输数据进行划分后使用该统一格式来添加报文头部信息以进行传输，从而大大增强了传输的灵活性。

实施例四

图4为本申请提供的数据传输方法又一个实施例的流程图，该方法的执行主体可以为具有数据传输能力的各种终端或服务器设备，也可以为集成在这些设备上的装置或芯片。如图4所示，该数据传输方法包括如下步骤：

S401，接收网络传输向量。

在本申请实施例中，作为用户数据传输的对端，例如接收用户传输的数据的目标服务器，可以接收用户侧通过操作终端或者云服务器上的应用发送的网络传输向量。该网络传输向量可以包括应用数据向量和网络头部向量。例如，在本申请实施例中，应用数据向量可以包括数据存储地址分量和数据大小分量，并且数据存储地址分量标识待传输数据的存储位置并且数据大小分量标识待传输数据的大小。网络头部向量可以包括网络头部存储地址分量和网络头部大小分量。例如，如图1b和图1c中所示，对端服务器可以接收到图1b右侧以及图1c的中间示出的网络传输向量，从而可以按照该网络传输向量中指示的通信原语对其中指示的数据进行处理。

S402，对网络传输向量进行处理以确定应用数据向量。

在步骤S401中获取了网络传输向量之后，可以进一步对网络传输向量进行处理。例如，可以去除网络传输向量中包含的网络头部向量来获取应用数据向量。当然在一些实施例中，在步骤S401中接收到的网络传输向量中也可以包括有其他的头部向量，因此，在步骤S402中可以对这些头部向量一并做去除处理，以获取应用数据向量。

S403，根据所确定的应用数据向量中包含的数据存储地址分量指示的存储位置以及数据大小分量指示的数据大小获取数据传输请求所针对的数据。

在本申请实施例中，目标服务器在确定了接收到的网络传输向量中的应用数据向量之后，可以根据该应用数据向量包含的存储地址分量盒数据大小分量来获取该数据，并且进而供目标服务器的应用层使用或者直接写入诸如SSD的存储空间中。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

实施例五

图5为本申请提供的数据传输装置一个实施例的结构示意图，可用于执行如图2和图3所示的方法步骤。如图5所示，该数据传输装置可以包括：指令接收模块51、确定模块52、数据向量生成模块53和发送模块54。

指令接收模块51可以用于接收数据传输指令。

用户在进行基于云服务的数据处理时，可以通过操作本申请的数据传输装置通对应用程序发出指令来执行各种处理。例如，用户在本地可以使用本地客户端中安装的应用程序来通过互联网访问存储在云端服务器上的各种数据。在该过程中，用户所访问的数据在经由本地客户端上的应用进行处理之前，需要将该数据从云端下载到本地来进行处理或者将本地的数据传输到云端来在云端服务器上的应用中进行处理。因此，本申请的指令接收模块51可以接收用户通过操作应用程序而发出的数据传输指令。

确定模块52可以用于根据数据传输指令确定待传输数据和目标服务器。

在指令接收模块51接收到用户例如通过应用下达的数据传输指令之后，确定模块52可以根据该指令来进行解析确定用户通过应用要传输的数据以及目标服务器。例如，在如图1b中所示的场景中，确定模块52可以根据指令接收模块51接收的用户的数据传输指令来确定用户想要传输的数据是数据1至数据3，并且可以相应地确定将要传输到的目标服务器为服务器1。此外，在本申请实施例中，确定模块52也可以进一步根据数据传输指令来确定传输数据的传输方式，例如所要使用的通信原语。

数据向量生成模块53可以根据待传输数据生成应用数据向量。

在确定模块52确定了待传输数据之后，数据向量生成模块52可以根据确定模块52确定的待传输数据来生成应用数据向量。例如，在本申请实施例中，数据向量生成模块53可以生成应用数据向量从而包括指示待传输数据在本地的存储位置的存储地址分量以及指示待传输数据的大小的数据大小分量，从而例如，如图1b中所示，针对不同数据1-3生成的应用数据向量具有统一的格式。例如，如图1b中所示，确定模块52确定指令接收模块51接收的数据传输指令所针对的待传输数据为数据1、数据2和数据3，因此，数据向量生成模块53可以针对该三个数据形成应用数据向量，其中可以包括对应于数据1的起始位置的数据存储地址分量1以及指示数据1的大小的数据大小分量1、对应于数据2的数据存储地址分量2以及指示数据2的大小的数据大小分量2、对应于数据3的数据存储地址分量3以及指示数据3的大小的数据大小分量3。

此外，数据向量生成模块53可以进一步包括划分单元531和生成单元532。

划分单元531可以用于对待传输数据进行划分，以获得多个待传输子数据。

生成单元532可以用于对于多个待传输子数据中的每一个生成对应的应用数据向量。

确定模块52确定了用户要传输的待传输数据之后，数据向量生成模块53可以根据用户指令来使用划分单元531对用户指定的数据进行划分，以形成多个待传输子数据。例如，如上所述，用户的指令中指定了数据1需要被划分为两个片段，从而划分单元531可以针对数据1来进行划分，以获得两个待传输子数据，例如，如图1c中所示的数据1的片段1和片段2。此外，在一些实施例中，用户可以针对不同的待传输数据或者待传输数据的不同的待传输子数据来指定不同的传输方式或者通信原语，例如对于数据1指定“Send”，对于数据2指定“Write”或者对于数据1的片段1指定“Send”，对于数据1的片段2指定“Write”，或者甚至可以对于数据1的片段2的第一部分指定“Send”，并且对于数据1的片段2的第二部分指定“Write”。换言之，在本申请实施例中，用户可以对于不同数据，数据的不同部分，甚至对于数据的某个部分的不同子部分指定对应的传输方式/通信原语，并且从而划分单元531可以根据这样的个别指定来对数据进行划分，并且在相应地生成单元532可以对于各个数据，例如每个划分后的子数据甚至子数据的各个子部分来生成应用数据向量，其中数据存储地址分量指示该待传输子数据的存储位置并且大小分量指示该待传输子数据的大小。

此外，本申请的数据传输装置可以进一步包括头部向量生成模块55，该头部向量生成模块55可以进一步用于根据待传输数据的网络传输协议生成网络头部向量。

在本申请实施例中，如上所述，在指令接收模块51接收到的用户的传输指令中，确定模块52可以解析出用户想要使用的传输方式，例如通信原语，即RDMA协议下的Send、Write、Read、Receive等等。因此，在数据向量生成模块53对于每个待传输数据或者子数据生成了应用数据向量之后，头部向量生成模块55可以进一步根据用户所指定的传输方式来生成网络头部向量。该网络头部向量可以包括网络头部存储地址分量和网络头部大小分量。例如，如图1b的右侧所示，可以以与应用数据向量相同的形式来生成网络头部向量。例如，添加报文头部的地址和报文头部的长度，从而形成最终的网络传输向量。此外，如图1c中所示，在本申请实施例中，由于采用了统一的格式来生成应用数据向量和网络头部向量，因此，在用户的指令中指示将数据进行分割并分别传输的情况下，例如如图1c中所示，数据向量生成模块53的划分单元531将数据1划分为片段1和片段2，或者甚至将片段2进一步划分为部分1和部分2，因此，头部向量生成模块55以可以根据划分单元531生成的各个数据或各子数据对应的传输方式来生成网络头部向量。

发送模块54可以用于将网络头部向量与应用数据向量一起发送到目标服务器。

发送模块54可以将具有统一格式的数据向量生成模块53生成的应用数据向量以及头部向量生成模块55生成的对应的网络头部向量从终端的缓存中发到目标服务器，并且目标服务器从而可以根据该具有统一格式的各向量来进行操作。例如，目标服务器中进行存储或者由目标服务器中的应用直接使用。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

实施例六

图6为本申请提供的数据传输装置另一个实施例的结构示意图，可用于执行如图4所示的方法步骤。如图6所示，该数据传输装置可以包括：向量接收模块61、处理模块62、获取模块63。

向量接收模块61可以用于接收网络传输向量。

在本申请实施例中，作为用户数据传输的对端，例如接收用户传输的数据的目标服务器，可以通过向量接收模块61接收用户侧通过操作终端或者云服务器上的应用发送的网络传输向量。该网络传输向量可以包括应用数据向量和网络头部向量。例如，在本申请实施例中，应用数据向量可以包括数据存储地址分量和数据大小分量，并且数据存储地址分量标识待传输数据的存储位置并且数据大小分量标识待传输数据的大小。网络头部向量可以包括网络头部存储地址分量和网络头部大小分量。例如，如图1b和图1c中所示，向量接收模块61可以接收图1b右侧以及图1c的中间示出的网络传输向量，从而可以按照该网络传输向量中指示的通信原语对其中指示的数据进行处理。

处理模块62可以用于对网络传输向量进行处理以确定应用数据向量；

向量接收模块61获取了网络传输向量之后，处理模块62可以进一步对网络传输向量进行处理。例如，可以去除网络传输向量中包含的网络头部向量来获取应用数据向量。当然在一些实施例中，向量接收模块61接收到的网络传输向量中也可以包括有其他的头部向量，因此，处理模块62可以对这些头部向量一并做去除处理，以确定应用数据向量。

获取模块63可以根据所确定的应用数据向量中包含的数据存储地址分量指示的存储位置以及数据大小分量指示的数据大小获取数据传输请求所针对的数据。

在本申请实施例中，处理模块62确定了接收到的网络传输向量中的应用数据向量之后，获取模块63可以根据该应用数据向量包含的存储地址分量盒数据大小分量来获取该数据，并且进而供目标服务器的应用层使用或者通过写入模块64直接写入诸如SSD的存储空间中。

因此，根据本申请实施例的数据传输方案，通过构造数据传输信息时使用具有存储地址分量和数据大小分量形式的应用数据向量，从而能够使用统一的格式来记录数据传输信息，解决了现有技术中由于数据传输信息的构造而在使用通信原语时不够灵活的问题。

实施例七

以上描述了数据传输装置的内部功能和结构，该装置可实现为一种电子设备。图7为本申请提供的电子设备实施例的结构示意图。如图7所示，该电子设备包括存储器71和处理器72。

存储器71，用于存储程序。除上述程序之外，存储器71还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器71可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器72，不仅仅局限于中央处理器(CPU)，还可能为图形处理器(GPU)、现场可编辑门阵列(FPGA)、嵌入式神经网络处理器(NPU)或人工智能(AI)芯片等处理芯片。处理器72，与存储器71耦合，执行存储器71所存储的程序，该程序运行时执行上述实施例二至四的数据传输方法。

进一步，如图7所示，电子设备还可以包括：通信组件73、电源组件74、音频组件77、显示器76等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。

通信组件73被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，3G、4G或7G，或它们的组合。在一个示例性实施例中，通信组件73经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件73还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件74，为电子设备的各种组件提供电力。电源组件74可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件75被配置为输出和/或输入音频信号。例如，音频组件75包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器71或经由通信组件73发送。在一些实施例中，音频组件75还包括一个扬声器，用于输出音频信号。

显示器76包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种数据传输方法，包括：

接收数据传输指令；

根据所述数据传输指令，确定待传输数据和目标端；

根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；

将所述应用数据向量发送到所述目标端。

2.根据权利要求1所述的数据传输方法，其中，所述数据存储地址分用于量标识所述待传输数据的存储起始位置。

3.根据权利要求1所述的数据传输方法，其中，所述根据所述待传输数据生成应用数据向量包括：

对所述待传输数据进行划分，以获得多个待传输子数据；

针对所述多个待传输子数据中的每一个，生成对应的应用数据向量。

4.根据权利要求1-3中的任一项所述的数据传输方法，其中，所述数据传输方法进一步包括：

根据所述待传输数据的网络传输协议，生成网络头部向量，其中，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；

将所述网络头部向量与所述应用数据向量一起发送到所述目标端。

5.一种数据传输方法，包括：

接收针对待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，所述数据大小分量用于标识所述待传输数据的大小，并且，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；

对所述网络传输向量进行处理，以确定所述应用数据向量；

根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

6.根据权利要求5所述的数据传输方法，其中，所述数据传输方法进一步包括：

根据所述应用数据向量，将所获取到的数据写入到存储空间。

7.根据权利要求5或6所述的数据传输方法，其中，所述数据存储地址分量用于标识所述待传输数据的存储起始位置。

8.一种数据传输装置，包括：

指令接收模块，用于接收数据传输指令；

确定模块，用于根据所述数据传输指令，确定待传输数据和目标端；

数据向量生成模块，用于根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；

发送模块，用于将所述应用数据向量发送到所述目标端。

9.根据权利要求8所述的数据传输装置，其中，所述数据存储地址分量用于标识所述待传输数据的存储起始位置。

10.根据权利要求8所述的数据传输装置，其中，所述数据向量生成模块包括：

划分单元，用于对所述待传输数据进行划分，以获得多个待传输子数据；

生成单元，用于针对所述多个待传输子数据中的每一个，生成对应的应用数据向量。

11.根据权利要求8-10中的任一项所述的数据传输装置，其中，所述数据传输装置进一步包括：

头部向量生成模块，用于根据所述待传输数据的网络传输协议，生成网络头部向量，其中，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量，并且

所述发送模块进一步用于，将所述网络头部向量与所述应用数据向量一起发送到所述目标端。

12.一种数据传输装置，其特征在于，包括：

向量接收模块，用于接收针对待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，所述数据大小分量用于标识所述待传输数据的大小，并且，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；

处理模块，用于对所述网络传输向量进行处理，以确定所述应用数据向量；

获取模块，用于根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

13.根据权利要求12所述的数据传输装置，其中，所述数据传输装置进一步包括：

写入模块，用于根据所述应用数据向量，将所获取到的数据写入到存储空间。

14.根据权利要求12或13所述的数据传输装置，其中，所述数据存储地址分量用于标识所述待传输数据的存储起始位置。

15.一种数据传输系统，包括：

发送端，用于根据用户输入的数据传输指令，确定待传输数据和接收端，根据所述待传输数据生成应用数据向量，其中，所述应用数据向量包括数据存储地址分量和数据大小分量，所述数据存储地址分量用于标识所述待传输数据的存储位置，并且，所述数据大小分量用于标识所述待传输数据的大小；以及，通过远程内存访问网络将所述应用数据向量发送到所述接收端；

接收端，用于通过所述远程内存访问网络接收针对所述待传输数据的网络传输向量，其中，所述网络传输向量包括应用数据向量和网络头部向量，所述网络头部向量包括网络头部存储地址分量和网络头部大小分量；对所述网络传输向量进行处理，以确定所述应用数据向量；以及，根据所确定的应用数据向量中包含的数据存储地址分量以及数据大小分量，获取所述数据传输请求所针对的数据。

16.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行如权利要求1至7中任一所述的数据传输方法。

17.一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如权利要求1至7中任一所述的数据传输方法。

Images