CN112511609B - 数据传输方法、装置及存储介质 - Google Patents

Abstract

本发明涉及通信技术领域，公开了数据传输方法、装置及存储介质，该方法包括发送步骤和接收步骤，其中，发送步骤包括以下步骤：S100、分割待发送原始数据为特定大小的数据块，标记数据块在原始数据中的位置标识；S200、将预置传输协议插入数据块；S300、设置第一网卡为混杂模式，通过第一网卡发送数据块；接收步骤包括以下步骤：S400、设置第二网卡为混杂模式并监听网络中的数据传输信息；S500、解析接收到的数据，存储符合预置传输协议的数据块；S600、根据数据块中的位置标识检验原始数据。本发明至少具有以下有益效果：提升文件传输响应，提高系统效率，提升网卡的数据吞吐率。

Description

数据传输方法、装置及存储介质

技术领域

本发明涉及通信技术领域，特别涉及一种数据传输方法、装置及存储介质。

背景技术

目前通过网络获取文件的方式主要是通过ftp、nfs、samba、ssh等服务来实现。其服务一般为C/S的网络访问模式，其传输协议是基于TCP和UDP。

文件数据存放在装置的硬盘上，用户通过客户端连接到服务来读取文件。nfs和samba服务是通过共享文件的方式来读取文件，但本质还是C/S的访问模式。在这种访问模式中，传输协议和文件都是相互独立，传输时会打开文件，然后经过socket接口通过网络发送。使用这种传输方式，不可避免地会占用大量系统资源用于服务调度，当传输较大文件时，响应的速度较慢，且需要调用协议栈，导致网卡的吞吐率降低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种数据传输方法，能够提高系统加载较大文件时的响应速度，提高系统效率，提高网卡的数据吞吐率。

本发明还提出一种具有上述数据传输方法的数据传输装置。

本发明还提出一种具有上述数据传输方法的计算机可读存储介质。

根据本发明的第一方面实施例的数据传输方法，包括发送步骤和接收步骤，所述发送步骤包括以下步骤：S100、分割待发送原始数据为特定大小的数据块，标记所述数据块在所述原始数据中的位置标识；S200、将预置传输协议插入所述数据块；S300、设置第一网卡为混杂模式，通过所述第一网卡发送所述数据块；所述接收步骤包括以下步骤：S400、设置第二网卡为混杂模式并监听网络中的数据传输信息；S500、解析接收到的数据，存储符合所述预置传输协议的所述数据块；S600、根据所述数据块中的所述位置标识检验所述原始数据。

根据本发明的一些实施例，步骤S100包括以下步骤：S101、接收数据传输指令；S102、根据所述原始数据的数据量大小计算所述数据块的分割数量；S103、建立对应于所述原始数据的记录文件，所述记录文件包括所述原始数据的数据量大小、分割数量和所述数据块的分割位置标识；S104、将所述位置标识嵌入所述数据块中。

根据本发明的一些实施例，所述位置标识嵌入所述数据块的头部位置。

根据本发明的一些实施例，所述预置传输协议插入所述数据块的头部位置。

根据本发明的一些实施例，所述预置传输协议包括协议头和协议体，所述协议头包括所述数据块的基础信息和位置信息，所述协议体包括所述数据块的数据。

根据本发明的一些实施例，所述协议头包括物理地址、传输协议头标识、所述数据块数据长度、所述原始数据数据长度和所述数据块在所述原始数据中的起始位置。

根据本发明的一些实施例，所述数据块按照预置存储结构进行存储，所述预置存储结构包括传输协议标识、所述数据块数据长度、所述原始数据数据长度、所述数据块在所述原始数据中的起始位置和所述数据块的数据。

根据本发明的第二方面实施例的数据传输装置，包括发送模块和接收模块，所述发送模块包括：分割单元，用于分割待发送原始数据为特定大小的数据块，标记所述数据块在所述原始数据中的位置标识；组装单元，用于将预置传输协议插入所述数据块；发送单元，用于设置第一网卡为混杂模式，通过所述第一网卡发送所述数据块；所述接收模块包括：监听单元，用于设置第二网卡为混杂模式并监听网络中的数据传输信息；解析单元，用于解析接收到的数据，存储符合所述预置传输协议的所述数据块；检验单元，用于根据所述数据块中的所述位置标识检验所述原始数据。

根据本发明的一些实施例，所述分割单元包括如下子单元：接收指令子单元，用于接收数据传输指令；数据块分割子单元，用于根据所述原始数据的数据量大小计算所述数据块的分割数量；创建文件子单元，用于建立对应于所述原始数据的记录文件，所述记录文件包括所述原始数据的数据量大小、分割数量和所述数据块的分割位置标识；位置标记子单元，用于将所述位置标识嵌入所述数据块中。

根据本发明的第三方面实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时能够执行上述任一项所述的数据传输方法的步骤。

根据本发明实施例的数据传输方法，至少具有如下有益效果：利用网卡的混杂模式避免了使用协议栈从而减少了系统调用时间，提高了系统效率，通过预置协议，避免了TCP、UDP等协议的额外数据开销，使用网卡的混杂模式，增加了数据吞吐量，通过将传输协议直接和传输数据合并方式简化了程序流程提高了系统利用率，采用将较大数据分成数据块的方式提高了系统的响应速度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的发送流程示意图；

图2为本发明实施例的方法的接收流程示意图；

图3为本发明实施例的方法的数据分割标记流程示意图；

图4为本发明实施例的预置传输协议结构示意图；

图5为本发明实施例的预置存储结构示意图；

图6为本发明实施例的发送和接收模块示意框图；

图7为本发明实施例的分割单元的单元示意框图；

图8为本发明实施例的数据传输示意图；

图9为现有技术的文件传输数据流图；

图10为本发明实施例的文件传输数据流图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的一些实施例中，包括发送步骤和接收步骤，发送步骤包括：S100、分割待发送原始数据为特定大小的数据块，标记数据块在原始数据中的位置标识；S200、将预置传输协议插入数据块；S300、设置第一网卡为混杂模式，通过第一网卡发送数据块；接收步骤包括：S400、设置第二网卡为混杂模式并监听网络中的数据传输信息；S500、解析接收到的数据，存储符合预置传输协议的数据块；S600、根据数据块中的位置标识检验原始数据。需要说明的是，将待发送的原始数据分割成特定大小的数据块进行传输，能够提高系统的响应速度，这在传输的原始数据量较大的时候，效果会更明显，同时降低了因为加载较大原始数据带来的响应超时，以及后续传输中断问题的风险。标记数据块在原始数据中的位置，给接收端恢复检验数据提供了依据，通过将预置的传输协议插入数据块，避免了TCP、UDP等协议的额外数据开销，降低了系统的资源消耗，提高了系统的资源利用率，通过使用网卡的混杂模式，舍弃了使用协议栈从而减少了系统调用时间，又避免了TCP、UDP等协议的额外数据开销，从而增加了数据吞吐量。通过将传输协议直接和待传输数据合并的方式简化了程序流程提高了系统利用率，进一步增加了数据吞吐量。由此可见，通过实使步骤S100-S600，完全能够解决现有技术中存在的数据传输需要占用大量系统资源用于服务调度，当传输较大文件时，响应的速度较慢，且需要调用协议栈，导致网卡的吞吐率降低的问题。

参照图1，图1示出了本发明实施例的方法的发送流程示意图，包括以下步骤：

S100、分割待发送原始数据为特定大小的数据块，标记数据块在原始数据中的位置标识，可以理解的是，将原始数据分割成特定大小的数据块，特定大小是根据系统的实际性能，原始数据的数据量大小决定的，在分割原始数据的时候，对分割后的数据块在原始数据中的位置信息进行标识，以便于接收端恢复原始数据信息；

S200、将预置传输协议插入数据块，通过插入预置传输协议，避免了数据传输需要调用协议栈的系统资源的开销，节约了系统资源；

S300、设置第一网卡为混杂模式，通过第一网卡发送数据块，可以理解的是，第一网卡为发送端的网卡，将发送端网卡设置为混杂模式，配合预置协议的使用，能够避免了TCP、UDP等协议的额外数据开销，增加了数据吞吐量；

参照图2，图2示出了本发明实施例的方法的接收流程示意图，接收步骤包括：

S400、设置第二网卡为混杂模式并监听网络中的数据传输信息，可以想到的是，第二网卡为接收端网卡，通过将第二网卡设置为混杂模式，同样避免了TCP、UDP等协议的额外数据开销，增加数据吞吐量；

S500、解析接收到的数据，存储符合预置传输协议的数据块，通过解析检验，筛选出符合预置传输协议的数据块为接收的目标数据；

S600、根据数据块中的位置标识检验原始数据，使用数据块中的位置，可以检验接收的数据是否完整，如果漏掉某一个数据块，则可以反馈回发送端，要求发送端将漏掉的特定位置标识的数据块重新进行传输。

参照图3，图3示出了本发明实施例的方法的数据分割标记流程示意图，包括以下步骤：

S101、接收数据传输指令；

S102、根据原始数据的数据量大小计算数据块的分割数量；

S103、建立对应于原始数据的记录文件，记录文件包括原始数据的数据量大小、分割数量和数据块的分割位置标识；

S104、将位置标识嵌入数据块中。

在本发明的一些实施例中，位置标识嵌入数据块的头部位置，可以想到的是，通过将位置标识嵌入数据块的头部位置，在接收数据块的时候，可以第一时间得到数据块的位置信息，便于对接收数据的检验。

在本发明的一些实施例中，预置传输协议插入数据块的头部位置，可以想到的是，通过将预置传输协议插入数据块的头部位置，在接收数据块的时候，可以第一时间得到数据块的基本信息，包括数据块的数据长度，原始数据的长度，数据块在原始数据中的位置信息等基本信息，便于对接收到的数据块的进一步处理。

参照图4，图4示出了本发明实施例的预置传输协议结构示意图，预置传输协议包括协议头和协议体，协议头包括数据块的基础信息和位置信息，协议体包括数据块的数据，具体的，协议头包括物理地址、传输协议头标识、数据块数据长度、原始数据数据长度和数据块在原始数据中的起始位置。

参照图5，图5示出了本发明实施例的预置存储结构示意图，在本发明的一些实施例中，数据块按照预置存储结构进行存储，预置存储结构包括传输协议标识、数据块数据长度、原始数据数据长度、数据块在原始数据中的起始位置和数据块的数据，具体的，数据的一种体现方式可以是文件，因此，存储结构包括传输协议标识，传输内容长度，文件总长度，传输内容在总文件的起始位置以及文件内容。

参照图6，图6示出了本发明实施例的发送和接收模块示意框图，包括发送模块和接收模块，发送模块包括：分割单元，用于分割待发送原始数据为特定大小的数据块，标记数据块在原始数据中的位置标识；组装单元，用于将预置传输协议插入数据块；发送单元，用于设置第一网卡为混杂模式，通过第一网卡发送数据块；接收模块包括：监听单元，用于设置第二网卡为混杂模式并监听网络中的数据传输信息；解析单元，用于解析接收到的数据，存储符合预置传输协议的数据块；检验单元，用于根据数据块中的位置标识检验原始数据。

参照图7，图7示出了本发明实施例的分割单元的单元示意框图，分割单元包括如下子单元：接收指令子单元，用于接收数据传输指令；数据块分割子单元，用于根据原始数据的数据量大小计算数据块的分割数量；创建文件子单元，用于建立对应于原始数据的记录文件，记录文件包括原始数据的数据量大小、分割数量和数据块的分割位置标识；位置标记子单元，用于将位置标识嵌入数据块中。

在本发明的一些实施例中，存在一种计算机可读存储介质，其上存储有计算机程序，计算机程序被一个或多个处理器执行时能够执行上述任一项的数据传输方法的步骤。

参照图8，图8示出了本发明实施例的数据传输示意图，一个具体的实施例，如图中所示：装置A向装置B传输数据，此时，装置A和装置B的网卡均设置为混杂模式，装置A中将待传输的数据内容(该数据内容可以是文件，音频信息，视频信息，文字信息等数字信息)分成3份子内容，分别传输，在装置B处，接收到的3份子内容，每一份子内容均包含预置协议信息和内容信息，装置B将三分子内同进行组装并验证。

为了进一步说明本发明的其中一部分有益效果，下文给出了本发明一些具体的实施例和现有技术的应用。

图9示出了现有技术的文件传输数据流图，现有技术中，当需要传输数据时，需要经过应用程序层，操作系统，驱动程序层，最后经过硬件网卡发送出去，应用层是指一些具体的网络应用程序，包括浏览器，邮件客户端，Web服务器，邮件服务器等。操作系统中包括协议栈，通过数据传输的具体要求，选择采用TCP或者UDP协议根据具体的请求IP地址选择合适的路由进行传输，驱动程序主要是网卡的驱动程序，硬件指网卡。可见，现有技术中传输数据需要至少4层的参与，且调用协议栈，选择传输协议，确定路由和IP都会消耗系统资源。基于次，本发明提出了一种更优的技术方案，能够降低系统资源的开销，提高数据吞吐率。

如图10，图10示出了本发明实施例的文件传输数据流图，使用本发明的技术方案进行数据传输时，文件只需要经过应用程序层，驱动程序层和硬件层就可以直接进行传输，应用程序层集成了文件传输服务，包括Socket库，驱动程序层包括网卡的驱动程序，硬件主要是指网卡。显而易见的，本发明的技术方案相比现有技术减少了操作系统层，去除了协议栈，不需要针到底是采用TCP协议还是UDP协议进行传输的选择，也不需要计算传输路由，配合网卡的混杂模式，避免了使用协议栈从而减少系统调用时间，又避免了TCP、UDP等协议的额外数据开销，从而增加的数据吞吐量。通过将传输协议直接和文件合并方式简化了程序流程提高了系统利用率。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种数据传输方法，其特征在于，包括发送步骤和接收步骤，所述发送步骤包括以下步骤：

S100、分割待发送原始数据为特定大小的数据块，标记所述数据块在所述原始数据中的位置标识；

S200、将预置传输协议插入所述数据块；其中，所述预置传输协议包括协议头和协议体，所述协议头包括数据块的基础信息和位置信息，所述协议体包括数据块的数据；

S300、设置第一网卡为混杂模式，通过所述第一网卡发送所述数据块；

所述接收步骤包括以下步骤：

S400、设置第二网卡为混杂模式并监听网络中的数据传输信息；

S500、解析接收到的数据，存储符合所述预置传输协议的所述数据块；

S600、根据所述数据块中的所述位置标识检验所述原始数据。

2.根据权利要求1所述的数据传输方法，其特征在于，步骤S100包括以下步骤：

S101、接收数据传输指令；

S102、根据所述原始数据的数据量大小计算所述数据块的分割数量；

S103、建立对应于所述原始数据的记录文件，所述记录文件包括所述原始数据的数据量大小、分割数量和所述数据块的分割位置标识；

S104、将所述位置标识嵌入所述数据块中。

3.根据权利要求2所述的数据传输方法，其特征在于，所述位置标识嵌入所述数据块的头部位置。

4.根据权利要求1所述的数据传输方法，其特征在于，所述预置传输协议插入所述数据块的头部位置。

5.根据权利要求1所述的数据传输方法，其特征在于，所述协议头包括物理地址、传输协议头标识、所述数据块数据长度、所述原始数据数据长度和所述数据块在所述原始数据中的起始位置。

6.根据权利要求1所述的数据传输方法，其特征在于，所述数据块按照预置存储结构进行存储，所述预置存储结构包括传输协议标识、所述数据块数据长度、所述原始数据数据长度、所述数据块在所述原始数据中的起始位置和所述数据块的数据。

7.一种数据传输装置，其特征在于，包括发送模块和接收模块，所述发送模块包括：

分割单元，用于分割待发送原始数据为特定大小的数据块，标记所述数据块在所述原始数据中的位置标识；

组装单元，用于将预置传输协议插入所述数据块；其中，所述预置传输协议包括协议头和协议体，所述协议头包括数据块的基础信息和位置信息，所述协议体包括数据块的数据；

发送单元，用于设置第一网卡为混杂模式，通过所述第一网卡发送所述数据块；

所述接收模块包括：

监听单元，用于设置第二网卡为混杂模式并监听网络中的数据传输信息；

解析单元，用于解析接收到的数据，存储符合所述预置传输协议的所述数据块；

检验单元，用于根据所述数据块中的所述位置标识检验所述原始数据。

8.根据权利要求7所述的数据传输装置，其特征在于，所述分割单元包括如下子单元：

接收指令子单元，用于接收数据传输指令；

数据块分割子单元，用于根据所述原始数据的数据量大小计算所述数据块的分割数量；

创建文件子单元，用于建立对应于所述原始数据的记录文件，所述记录文件包括所述原始数据的数据量大小、分割数量和所述数据块的分割位置标识；

位置标记子单元，用于将所述位置标识嵌入所述数据块中。

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项的方法。

Images