CN111526089A - 一种基于变长粒度的数据融合传输与调度的装置 - Google Patents

Abstract

本发明提供一种基于变长粒度的数据融合传输与调度的装置，包括：hash模块获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值；并对数据包进行分组；状态处理模块具有状态表，并根据hash模块、网络感知模块和转发模块的逻辑对状态表进行更新；网络感知模块获得数据包转发路径的网络参数，以及将该网络参数进行预处理并更新同步至所述状态表中；转发模块根据状态表动态调整转发策略实现可变长粒度的转发调度。本发明的装置基于可编程数据平面技术实现带状态转发，提高数据平面的“智能”，使数据平面拥有处理更复杂逻辑的能力；支持可变粒度的数据融合传输与调度。

Description

一种基于变长粒度的数据融合传输与调度的装置

技术领域

本发明涉及互联网通信技术领域，尤其涉及一种基于变长粒度的数据融合传输与调度的装置。

背景技术

随着互联网体系架构的多元化发展以及多种接入技术的成熟商用，例如蜂窝链路(5G、4G、3G)、WiFi、卫星链路、以太链路以及光纤等，越来越多的终端设备开始提供多种网络接入方式。另一方面，随着物联网、云计算、短视频、直播等新兴网络应用的出现，人们对于网络的带宽和移动性要求也越来越高，使得单一接入方式已经难以满足用户对网络的需求。因此，如何合理的利用终端设备提供的多种接入方式聚合网络资源，提供更高的网络传输效率来满足用户对于网络的需求正得到广泛关注。在此背景下，多路径并行传输作为一种能有效提高数据吞吐量、网络资源利用率、通信安全(基于多路径混淆传输)以及系统鲁棒性的接入技术，已经成为当前的研究热点之一。

多路径传输旨在研究终端之间如何通过多条路径进行数据融合传输，从而实现带宽聚合、负载均衡、动态切换、数据包混淆以及自动将业务从最拥塞、最易中断的路径上转移到较好的路径的方法。在广大科研人员的共同努力下，当前多路径并行传输已经取得了很大进展，但是，在异构网络环境下，尤其是在网络性能差异较大的无线网络环境下实现多路径并行传输还面临着很多挑战。大量实验表明，多路径并行传输系统在异构网络环境下性能低于预期的原因主要在于路径间巨大的差异导致的数据包乱序以及不正确的往返时延(round-trip time,RTT)估计导致的不必要重传。由此可见，当前亟需一种可以兼容当前的多种异构网络，并且具有高效，易推广的多路径传输方案，来满足未来人们不断增长的差异化的网络需求。

等价多路径路由(Equal-cost multi-path routing，ECMP)是一种工作在网络层的多路径传输解决方案，该方案将数据包的IP地址以及端口信息进行hash，从而在等价最短路径之间实现流粒度的负载均衡策略。即当存在多条到达同一目的地址的相同开销的链路时，如果设备支持等价路由，发往目的IP的流量将由不同路径分担，这提高了网络的可靠性和网络资源利用率，同时可以在链路出现故障时，实现快速切换。等价多径路由的负载均衡通常不适用于在网络特性频繁大幅变化的异构网络场景下进行多路径传输，在异构网络环境中，大多数的路径并不等价，因此部分可用路径只能作为备用路径存在。此外，当某条EMCP链路失效之后，EMCP组内的所有链路都需要进行重新HASH。多级EMCP部署时，HASH极化将会导致链路拥塞情况。

Internet工作任务组(Internet Engineering Task Force,IETF)于2000年提出的一种工作于传输层的多路径传输协议——流控制传输协议(Stream ControlTransmission Protocol，SCTP)，它提供了像TCP一样可靠、有序地发送数据的功能，但却以像UDP一样面向消息的方式来进行操作，这可以保护消息边界。同时该协议多宿主、多流的特性在多路径传输场景下，可以在检测到某条路径失效时，将数据通过另外的路径传输。从而提高网络鲁棒性。该协议主要针对有线的网络环境设计，在无线网络环境下效果较差。虽然该协议实现了多路径传输，但是调度过程中以流为单位，因此不可避免的依然会浪费大量的网络资源。此外，该协议需要通信双方的支持才可以使用，与当前的网络兼容性较差，不方便大规模部署。

Internet工作任务组(Internet Engineering Task Force,IETF)于2013年提出了一种多路径TCP协议——MPTCP。MPTCP协议是在传统TCP协议基础上发展而来，通过创建子连接(subflow)并根据子流所处的传输路径网络特性进行联合拥塞控制以及数据分配，其目的是允许传输控制协议Transmission Control Protocol(TCP)连接使用多个路径来最大化信道资源使用，提高整体的网络性能。MPTCP协议在网络容量方面实现了显著的提高，但是另一方面，由于通过多个子流传递到接受端的数据包需要重新排序，因此MPTCP的时延倾向于与多条路径中最差的一条路径的时延一致，系统的时延特性可能显著恶化。同时MPTCP要求通信双方必须同时支持该协议，由于其依赖TCP指数退避方式调整超时重传时间，无法及时发现链路的连通性。

中国发明专利公开说明书CN107682886A公开了一种多路径的数据传输方法，该发明的包括：通过对每条路径建立排队论模型，评估每条子路径的路径质量，并根据路径质量，动态分配数据到各路径进行传输；获得路径中的链路利用率，根据所述链路利用率与预设的链路拥塞参考阙值的关系进行丢包区分。通过该方法对进行流媒体数据传输，传输速率有明显的提升，传输时延大幅降低，极大的提高了用户体验。该发明在进行数据包调度过程中通过评估子路径质量来动态的调整转发策略，但是该转发策略仅支持包粒度的调度精度。当多个路径之间的网络性能参数差异较大时，接收端将不可避免的发生大量的乱序和不必要的重传，从而影响网络的整体性能。另一方面判断路径是否拥塞的阈值参数设置缺乏开放性，因为在不同网络环境下，该参数值可能不同。

中国发明专利公开说明书CN108476208A一种多路径传输方法，该方法包括：从用户应用程序接收要使用通过网络的单个连接从源地址传输到目的地地址的数据；以及根据通信协议将所述数据分成多个数据包。对于所述多个数据包中的每个数据包，从多个细流中确定用于要在其中传输的所述数据包的相应细流；基于所述数据包的所述确定的细流，设置所述数据包中的由所述网络的网络交换机用于路由所述数据包的字段；以及经由所述确定的细流，发送所述数据包以通过所述网络进行传输。该发明通过数据包报头中的字段，诸如数据包报头中的不同源端口，来将两个端点或两个IP地址之间的数据流分成多个细流，本质上是流粒度的多路径调度策略，虽然可以尽可能避免接受端数据包的乱序，但是因为调度粒度过粗，将无法充分利用网络资源。另一方面，该发明中没有应对路径中断的相关机制，当路径发生中断时，将导致大量不必要的丢包。

发明内容

本发明的实施例提供了一种基于变长粒度的数据融合传输与调度的装置，用于解决现有技术的多路径传输技术的网络资源利用率低，可靠性差，安全性差，与现有网络协议难以兼容等问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于变长粒度的数据融合传输与调度的装置，其特征在于，包括hash模块、状态处理模块、网络感知模块和转发模块；

hash模块用于：获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值；基于该哈希值，对数据包进行分组；

状态处理模块具有状态表和状态转移操作指令，并根据hash模块、网络感知模块和转发模块的逻辑对状态表进行更新；

网络感知模块获得数据包转发路径的网络参数，并根据该网络参数构建数据包的转发策略，以及将该网络参数进行预处理并更新同步至状态表；

转发模块用于：根据状态表动态调整转发策略，并基于该动态调整的转发策略实现可变长粒度的转发调度。

优选地，hash模块获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值包括：

hash模块通过哈希函数H(·)＝CRC16(five-tuple)modN(1)获得数据包的头部信息的五元组信息对应的哈希值；

式中，N决定了状态模块中流状态表的表规模，five-tuple表示当前数据包的五元组信息。

优选地，状态处理模块的状态表包括流状态表和路径状态表；

流状态表用于记录流和数据包的状态；路径状态表用于记录每个路径的当前状态。

优选地，流状态表记录流和数据包的状态的参数包括：哈希值、流的当前数据包个数、流的初始转发路径和流的当前转发路径；

路径状态表记录的每个路径当前状态参数包括：路径的端口号、路径的可用状态、连续判定为拥塞的次数和路径的权重；

路径的权重通过

获得，式中，bw_i表示与编号为i的端口相对应的路径的带宽，W_i表示端口i对应的路径的权重。

优选地，网络感知模块获得数据包转发路径的网络参数包括数据包转发路径的网络吞吐量和时延信息。

优选地，转发模块根据状态表动态调整转发策略，并基于该动态调整的转发策略转发数据包的过程包括动态选路算法和数据流拆分算法；

动态选路算法的过程具体包括：

根据数据包的当前转发端口，并结合预设轮询选路策略获取数据包的临时转发端口；根据该临时转发端口的信息，在路径状态表中获取该临时转发端口对应的路径的网络状态，判断该网络状态是否有效；若有效，执行下一个步骤；否则，将数据包的当前转发端口更新为临时转发端口，并重复执行本步骤；

获取外部交换机中临时转发端口对应的数据包队列深度，并与预设网络拥塞判定阈值相比较；若该数据包队列深度未超过该网络拥塞判定阈值，则返回临时转发端口，并更新路径状态表；否则，执行下一个步骤；

从路径状态表中获取临时转发端口对应的拥塞的次数的字段值，并与预设的路径中断判定阈值相比较；若该拥塞的次数的字段值不小于路径中断判定阈值，则将临时转发端口对应的路径的可用状态更新为不可用，并将临时转发端口对应的路径的权重值更新为0，并返回执行第一个步骤；否则，执行下一个步骤；

更新临时转发端口对应的路径的拥塞的次数的字段值，并获取所有可用端口的优先级队列深度值，将临时转发端口的信息更新为队列深度最小的路径对应的端口的信息，返回临时转发端口；

数据流拆分算法的过程具体包括：

初始化流状态表和预设阈值参数信息；

基于哈希值，对数据包按照数据包所属流进行分类；

基于流状态表中的流的当前数据包个数的字段值和路径状态表中路径的权重字段值将流数据拆分为不同粒度的小流进行转发，该小流所包含的数据包的数量由由

决定；

当前小流转发完成后，调用动态选路算法获取下一个小流的转发路径。

优选地，可变粒度单位包括包粒度、流粒度和小流粒度。

优选地，还包括控制接口；外部终端通过该控制接口与网络感知模块通信连接；网络感知模块接收外部终端的控制指令，改变所获取数据包转发路径的网络参数的类型和获取周期。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种基于变长粒度的数据融合传输与调度的装置，包括hash模块、状态处理模块、网络感知模块和转发模块；hash模块用于：获取外部交换机接收的数据包，对数据包的元组信息进行处理，获得元组对应的哈希值；基于该哈希值，将数据包以流为单位进行分组调度；状态处理模块具有状态表，并根据hash模块和所述转发模块的逻辑对状态表进行更新；网络感知模块用于：获得数据包转发路径的网络参数，并根据该网络参数构建数据包的转发策略，以及将该网络参数进行预处理并更新同步至所述状态表；转发模块用于：基于外部控制平面提供的控制参数或者模块本身的动态选路算法，结合所述状态处理模块中路径的权重，确定数据包转发路径。本发明提供的装置和方法，具有如下优点：

基于可编程数据平面技术实现了带状态转发，提高了数据平面的“智能”，使得数据平面拥有处理更复杂逻辑的能力；

支持可变粒度的数据融合传输与调度。具体的，本发明可以根据当前网络性能，设置系统转发粒度为包粒度、流粒度或者任意大小的小流粒度的转发；

可以根据用户的网络需求，灵活的选择数据融合传输的粒度，实现网络效率与通信安全的均衡。基于包粒度、流粒度和小流粒度的多路径混淆传输，通可以通过降低通信被监听的风险，从而提高网络安全性；

在小流粒度的工作模式下，本发明可以根据路径的带宽关系，为不同路径分配不同规模的小流，多路径数据调度机制更加灵活。同时最大限度的均衡了流量的传输，更加合理的利用了现有的网络资源；

由于数据平面强大的处理能力，可以无需控制平面的参与进行独立的部署；

本发明的动态机制，基于数据面的队列状态信息实现多路径调度，用户可以根据实际的网络情况设置系统对于路径中断和网络拥塞做出反应的灵敏度；

可以根据不同路径的网络性能差异，实现任意小流粒度的融合传输与调度，从而极大限度的避免了接收端数据包乱序导致的重传；

可以感知每条路径的网络拥塞情况，并根据网络的近期带宽合理规划转发策略，提高整体网络性能；

可以感知路径的中断，当路径中断时，将该路径移除调度序列，当传输层为TCP时，减少不必要的重传，当传输层为UDP时，减少不必要的丢包；

可以感知路径的恢复，当路径恢复时，可以将该路径添加进调度序列，从而提高系统网络性能和网络资源的利用率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于变长粒度的数据融合传输与调度的装置的框架图；

图2为本发明提供的一种基于变长粒度的数据融合传输与调度的装置的一种优选实施例的框架图；

图3为现有技术中的SDN数据平面处理机制框架图；

图4为本发明提供的本发明提供的一种基于变长粒度的数据融合传输与调度的装置的状态处理模块的框架图；

图5为BMV2队列优先级模型逻辑框架图；

图6为本发明提供的本发明提供的一种基于变长粒度的数据融合传输与调度的装置的第一种应用实施例的示意图；

图7为本发明提供的本发明提供的一种基于变长粒度的数据融合传输与调度的装置的第二种应用实施例的示意图；

图8为本发明提供的本发明提供的一种基于变长粒度的数据融合传输与调度的装置的第三种应用实施例的示意图。

图中：

101.hash模块 102.状态处理模块 103.转发模块 104.网络感知模块。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

参见图1和2，本发明提供的一种基于变长粒度的数据融合传输与调度的装置，包括hash模块101、状态处理模块102、转发模块103和网络感知模块104；

如图2所示，三个模块具体的作用如下；hash模块101用于：获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值；基于该哈希值，对数据包进行分组；

状态处理模块102具有状态表和状态转移操作指令，并根据hash模块101、网络感知模块104和转发模块103的逻辑对状态表进行更新；

网络感知模块104获得数据包转发路径的网络参数，并根据该网络参数构建数据包的转发策略，以及将该网络参数进行预处理并更新同步至所述状态表；

转发模块103用于：根据状态表动态调整转发策略，并基于该动态调整的转发策略实现可变长粒度的转发调度。

进一步的，在一些优选实施例中，hash模块101获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值的过程包括：

将解析出的数据包的五元组信息进行hash运算，从而得到五元组对应的hash值，根据hash值区分不同的流，然后对流进行独立的调度。具体的，hash算法采用ISO标准提出了一种16位CRC(Cyclic Redundancy Check，循环冗余校验)算法，虽然该算法更加复杂，但对五元组的散列效果更好；

具体可以是hash模块101通过哈希函数H(·)＝CRC16(five-tuple)modN(1)获得五元组对应的哈希值；

式中，N决定了状态模块中流状态表的表规模，在本实施例中，默认值为256，当然不限于此，five-tuple表示当前数据包的五元组，通过hash函数CRC16计算得到的hash值决定了当前流的数据包对应的初始转发路径。应当理解的是，本实施例中获得数据包的五元组信息只是一个示例，本发明提供的装置中的hash模块101还可以用于计算其它元祖对应的哈希值，例如包含但不限于计算数据包的四元组、五元组和七元组的哈希值。

获取了数据包的元祖对应的哈希值，进一步结合本专利设计的带状态转发机制可以实现更加灵活的可变长粒度的数据融合传输与调度。具体的，根据路径的网络性能差异以及用户需求，本发明支持多种转发粒度包例如流粒度、包粒度以及任意规模的小流粒度的多路径混淆调度策略。用户可以通过控制接口指定多路径混淆传输时转发粒度的选择。具体的，每种转发粒度的处理过程为；

包粒度转发：以数据包为最小转发单位进行调度，这种方案的优点是可以简单高效的多条路径间分配流量，但是数据包的乱序问题更加突出，通常导致系统性能的下降。

流粒度转发：基于流的多路径转发方式是将同一个流中的数据包从同一条路径转发，该方案很好地解决了接收端数据包乱序问题，但是难以均衡各条路径的负载，当只有单个流或者hash算法设计的不科学时，会降低系统的转发效率。

小流粒度转发：该策略是将流人为地分成不同大小的小流，一方面，与包粒度相比，可以缓解包的乱序问题；另一方面，和流粒度相比，负载均衡的效果更好，此外，即使系统中只有一个流时，依然可以进行负载均衡。

此外，小流粒度的多路径转发机制会通过探测的不同路径的网络特性参数差异化的设置小流所包含的数据包的个数，从而尽可能地提高系统的网络资源利用率，使系统的整体网络性能更优。

在本发明提供的实施例中，状态处理模块102主要负责数据平面状态信息的维护。申请人发现，在现有技术中传统的SDN数据平面中，通常可以将数据包的处理抽象为“匹配+动作”转发机制。如图3所示，报文进入数据平面后，将解析后的报头信息与本地流表项进行匹配，然后根据流表所对应的动作表进行转发、丢弃、封装或加密。但是传统的SDN数据平面“匹配+动作”处理机制不支持状态转发，因为它无法处理状态信息。在本发明基于传统数据平面的处理机制设计实现了一种带状态转发机制，并将其抽象为“匹配+状态+动作”的处理机制。如图4所示，在本发明的实施例中向数据平面添加了一个本地状态表，扩展了操作操作，并将其分为状态操作和转发操作；使用状态操作来更新状态表并执行状态转换，并使用转发操作将数据包转发到指定的端口；状态模块的存在提高了数据平面的“智能”，赋予了数据平面处理状态信息的能力，提高了数据平面处理效率。

在本实施例中，状态表包括流状态表和路径状态表；如表1所示，流状态表用于记录流和数据包的状态。在本实施例中使用表中的“哈希值”字段来匹配数据包五元组的哈希值；目的是将数据包分为不同的流以进行单独处理。表中的“计数器”字段用于记录流的当前数据包个数，是用于将流拆分成多个小流的关键。“初始端口”字段用于记录流的初始转发路径。这样可以防止多个流在并行传输时被调度到同一路径，从而达到更好的负载均衡效果。“当前端口”字段用于记录流的当前转发路径。每个流都有一个独立的状态，这使调度机制更加灵活。

哈希值	计数器	初始端口	当前端口
				0x00	0	random(1,2,3)	Null
0x01	0	random(1,2,3)	Null
				···	···	···	···
0xff	0	random(1,2,3)	Null

表1.流状态表

路径状态表记录每个路径的当前状态。如表2所示，“端口号”字段记录设备所有路径的端口号。“状态”字段记录与端口对应的路径的可用状态，该字段具有两个可选状态，“Valid”表示路径可用，“Invalid”表示路径不可达。“拥塞计数”字段记录确定该路径队列长度连续判定为拥塞的次数例如连续超过拥塞阈值的次数。当此字段超过预设的“路径中断阈值”时，路径状态将更新为“Invalid”，并且直到重新激活路径后，才会从路径转发数据包。“权重”字段记录路径的(转发)权重，其值由公式(2)计算。在公式中，bw_i表示与编号为i的端口相对应的路径的带宽，W_i表示端口i对应的路径的权重。

端口号	状态	拥塞计数	权重
				1	Valid	0	w<sub>1</sub>
2	Valid	0	w<sub>2</sub>
				···	···	···	···
n	Invalid	0	w<sub>n</sub>

表2.路径状态表

进一步的，在一些优选实施例中，网络感知模块104获得数据包转发路径的网络参数包括数据包转发路径的网络吞吐量和时延信息。

网络感知模块的104的工作过程包括根据预设的策略参数或者用户控制端口设置的参数定期的感所有路径的网络参数。该模块中支持iperf、ping等网络测试指令以及工具，同时可以根据用户需求，灵活的支持第三方网络探测工具。

转发模块103的工作过程包括采用动态选路算法和数据流拆分算法(网络数据拆分)；动态转发机制则是基于对网络拥塞状态的感知，(小)数据流拆分算法主要基于当前流状态信息的处理和更新；上述机制的实现使得转发模块103可以根据当前不同路径的网络情况动态调整转发策略，从而提高系统的稳定性。

具体的BMV2交换机的流量管理引擎支持具有速率限制的严格优先级调度，其缓冲区模型如图5所示。在BMV2交换机中，输入和输出的先进先出(FIFO)缓冲区由所有端口共享，但优先级队列是根据端口划分的。具体来说，假设BMV2交换机中没有数据包，则当BMV2收到第一个数据包时，它将被排队到输入缓冲区中。然后，通知入口线程，并将数据包从输入缓冲区传输到与流端口确定的与出口端口相对应的优先级队列行。

优先级队列支持速率受限的严格优先级调度，调度速度以每秒处理的数据包数量(PPS)为单位。激活出口线程后，数据包将从优先级队列中出队列，然后排队到输出缓冲区中。接着周期性的获取每条链路的带宽和连通性，然后根据带宽确定不同端口对应的报文转发速率并更新路径的状态表。由于网络性能的波动性，如果观测网络状态的周期过长，则无法准确反映当前的网络状况，如果过于频繁的观测网络状态，又会增加网络的负荷，因此本发明提供了观测周期接口，方便用户根据网络的特性和用户需求设置观测频率，默认为每5分钟观测10秒，观测值得平均值被认为是当前5分钟的网络状态。

在本实施例中，动动态选路算法的过程具体包括：

根据数据包的当前转发端口，并结合预设轮询选路策略获取数据包的临时转发端口；根据该临时转发端口的信息(在本实施例中，为端口号)，在路径状态表中获取该临时转发端口对应的路径的网络状态，判断该网络状态是否有效；若有效，执行下一个步骤；否则，将数据包的当前转发端口更新为临时转发端口，并重复执行本步骤；

获取外部交换机中临时转发端口对应的数据包队列深度，并与预设网络拥塞判定阈值相比较；若该数据包队列深度未超过该网络拥塞判定阈值，则返回临时转发端口，并更新路径状态表；否则，执行下一个步骤；

从路径状态表中获取临时转发端口对应的拥塞的次数的字段值，并与预设的路径中断判定阈值相比较；若该拥塞的次数的字段值不小于路径中断判定阈值，则将临时转发端口对应的路径的可用状态更新为不可用，并将临时转发端口对应的路径的权重值更新为0，并返回执行第一个步骤；否则，执行下一个步骤；

更新临时转发端口对应的路径的拥塞的次数的字段值，并获取所有可用端口的优先级队列深度值，将临时转发端口的信息更新为队列深度最小的路径对应的端口的信息，返回临时转发端口。

在一个具体的实施方式中，可以使用命令“set_queue_rate k i”将端口i的数据包发送速率设置为K(PPS)。随后，优先级队列的队列深度变化就可以实时反映端口对应路径的拥塞状态。转发模块103中动态转发机制的实现可用子算法1来描述，具体如下：

数据流拆分算法的过程具体包括：

首先，初始化状态表和阈值参数信息，路径状态表的权重信息需要基于当前路径的网络性能由公式2生成；

阈值参数que_threshold和invalid_threshold则是经验参数，可以根据对网络波动敏感性的需求设定；

参数flowsize由公式(3)计算得道，其中w_i表示端口号为i的路径的权重,min(W)表示权重数组的最小值；

flowsize的值直接决定了每条路径每转发的小流所包含的数据包个数，该值可以通过系统计算得到，也可以由用户定义，因此，当该值为1或者无穷大时，小流粒度的多路径转发策略将退化为包粒度或者流粒度，具有极高的灵活性；

之后，结合hash模块101计算得到的数据包的五元组hash值，将数据包按照所属的流进行分类；状态模块根据状态表和状态更新操作实时的将接收到的数据包根据转发路径拆分成不同大小的小流组，每个小流组所包含的数据包的数量由公式(3)决定；

最后，当前路径的小流所包含的数据包全部转发出去后，调用函数SELECTPATH动态选择下一条转发路径。

在本发明提供的优选实施例中，该装置还包括控制接口；外部终端通过该控制接口与网络感知模块104通信连接。用于用户在数据面通过本地控制端口，或者利用控制器通过远程控制端口修改装置的参数。具体的，支持用户根据网络需求以及网络环境控制网络感知模块104探测哪些网络参数以及各个参数的探测周期；支持用户根据网络需求以及网络环境控制动态选路算法感知路径中断以及网络拥塞，并作出反应的响应速度。

本发明还提供两个实施例，用于示例性地显示本发明提供的装置的具体应用。

如图6所示，本发明可直接应用于终端设备，当终端设备可提供多种接入方式时，则可以实现多路径并行传输。将处于子网边界同时可以接入多个路边单元的用户称为关键用户，如图3所示，子网A和子网B分别拥有一个关键用户，他们除了完成自己本身的通信外还承担着连接两个子网的工作。此时关键用户将探测网络的可达性，假设三条链路均具有可达性，之后通信双方分别探测三条路径的网络吞吐量和传输时延等特性，根据多路径转发策略，更新路径的状态信息，计算不同路径的权重。最后将流数据进行分组，并根据不同路径的权重将其拆分成不同规模的小流进行转发，从而尽可能提高网络资源的利用率，提高整体的网络性能。

在另一种实施例中，如图7所示，本发明可作为接入网关部署，用于子网之间以及子网和核心网之间的通信。在这种部署方案下，多路径转发设备将同时提供局域网的网络接入功能，用户可将其作为接入网关使用，该设备支持DHCP协议，可以自动为接入该设备的终端提供子网的动态IP，同时也支持手动绑定静态IP。

如图7所示，多路径转发设备还支持路由和多路径传输的功能，接入方式上支持当前觉得多数的网络协议，包括但不限于IPv4/IPv6协议、位置/身份分离映射(LISP)协议、命名数据网络(NDN)协议、智融标识网络(SINET)协议等。同时支持的网络接入技术包括但不限于wifi、蜂窝网络(4G、5G)、卫星通信和以太网等。

这种工作模式下设备需要成对部署，用户需要手动配置两个多路径转发设备的目的IP，从而是设备可以将数据发送到指定的设备，实现数据包的多路径转发和聚合。同时设备的存在对于接入的网络设备无感，用户无需对自身网络进行配置，提高系统的可用性。

在第三种实施例中，如图8所示，本方明可以与控制器协同部署，其中控制器的功能包括但不限于维护数据面设备的状态和映射信息，通过对网络全局信息为网关设备下发流表、策略控制信息等。图中所示的Packet-In、Packet-Out即为数据面与控制面的通讯接口，该接口支持的通信方式包括但不限于Socket连接、RPC连接和gRPC连接等。其网关设备的功能如实施例二所示基本一致，包括但不限于支持DHCP协议，可以为接入设备自动或手动分配动态或者静态IP；理论上可以支持已知的全部网络协议，包括自定义协议(通信双方同时支持时才有效)；依然保留了数据面本地的控制接口，包括但不限于状态更新、网络参数信息输入以及流表下发等。

当子网A中的某个网络设备第一次接入网关设备时将会被动态分配一个IP，然后网关设备A记录其转发表，当其请求与子网B中的某个网络设备通信时将数据包发送至网关设备，网关设备则将数据包按流进行处理，通过感知到的可用路径数量以及各个链路的网络性能为不同路径分配不同的小流进行传输，数据包经过多条路径被传输至网关设备B，网关设备B将接收到的数据包转发至目的地址，整个过程对用户透明，所有数据包的动态调度均由网关设备和控制器执行。从而最大限度的提高网络的资源利用率和网络性能。

综上所述，本发明提供的一种基于变长粒度的数据融合传输与调度的装置，包括hash模块、状态处理模块和转发模块；hash模块用于：获取外部交换机接收的数据包，对数据包的元组信息进行处理，获得元组对应的哈希值；基于该哈希值，将数据包以流为单位进行分组调度；状态处理模块具有状态表，并根据hash模块和所述转发模块的逻辑对状态表进行更新；转发模块用于：基于外部控制平面提供的转发策略，结合所述状态处理模块中路径的权重，确定数据包转发路径。本发明提供的装置，具有如下功能：

支持数据平面方案的独立部署和带控制器方案的系统部署；独立部署时需要将多路径设备成对部署，带控制器的方案则是由控制器维护数据平面设备的配置信息。

支持可变长粒度的数据融合传输与调度策略，例如基于包粒度、基于流粒度和基于任意大小的小流粒度的多路径数据融合传输，极大提高了转发策略的灵活性以及混淆传输的效果，同时提高了体系的安全性以及对不同路径网络差异的适应性和对网络资源的利用率。

支持数据包的多路径混淆传输，极大降低的通信过程被完整监听的风险，提高了网络的安全性。

支持带状态的转发，本发明包含状态信息表和状态更新机制，状态信息的维护使得数据平面可以实现更加复杂的处理策略。

支持动态转发策略，可以动态的将拥塞链路的数据包转移到网络质量相对更好地路径上，可以动态的感知路径的拥塞和中断，及时的将已经中断的路径禁用，避免大量的数据包重传，同时可以定时刷新状态表，及时发现恢复连接的路径；

支持数据平面设备的独立部署，设备拥有独立处理数包转发的能力，包括但不限于数据包的包头解析，本地流表的设置和更新；

支持带控制器方案的系统部署方式，该方式包括至少一个集中控制器和不少于两个数据平面转发设备。

集中控制器的职责包含但不限于存储网络的整体拓扑信息和数据平面设备的接口地址映射信息等；

支持的网络协议包含但不限于IPv4/IPv6协议、LISP协议、NDN协议与SINET协议等，同时支持任何可明确描述的自定义协议，前提是通信双方同时支持该协议；

包含一个hash功能模块，hash模块的功能包含但不限于计算数据包的四元组、五元组和7元组的hash值；

支持可定制的hash算法计算数据包的五元组hash值，包括但不限于直接寻址法、平方取中法、折叠法、随机数法、除留于数法和循环冗余校验等算法；

包含一个状态处理模块，状态处理模块的功能包括但不限于状态存储、状态转移、状态更新、以及状态操作接口等功能；其状态存储功能可在数据平面存储状态表，状态表包括但不限于流状态表和路径状态表。并支持状态表的自定义；其状态转移功能和状态更新功能的特征在于包括但不限于提供与状态表对应的状态转移和状态更新的原语操作，并支持操作的自定义；其状态操作接口功能的特征在于包括但不限于可以在控制平面或者本地通过接口的方式对状态表进行更新，而不需通过状态转移的内部方式，使得用户对状态的控制更加灵活；

包含一个转发功能模块，转发功能模块包括但不限于可以基于状态信息对流数据进行灵活拆分、提供自适应的多路径调度策略、提供可变粒度的混淆传输策略、提供流拆分设置接口等功能；其基于状态信息对流数据进行灵活拆分功能在于提供可变粒度的数据融合传输与调度，包括但不限于可以提供流粒度转发、包粒度转发和包含任意数量的数据包的小流粒度的转发；在小流粒度的转发工作模式下，将依据不同路径的网络特性参数(带宽关系)，为不同的路径分配不同大小的小流，从而更加均衡的利用现有的网络资源；

其自适应的多路径调度策略的特征包括但不限于根据不同路径的网络参数动态调整该路径转发的小流所包含的数据包数量；根据路径的拥塞情况和连通性决定是否在调度策略中选择该路径；当某条路径由于网络抖动导致突发拥塞时可以将原本从该路径转发的数据包转移到当前网络状态最好的路径上；如果突发拥塞发展为持续拥塞则将该路径状态更新为不可达；定义更新路径可达状态，及时发现已恢复连通性的无效路径，尽可能提高网络资源的利用率；

其动态机制的实现基于网络的特性参数信息以及数据面的数据包队列信息实现，并支持根据某种策略或者用户需求设置动态机制的反应灵敏程度；

动态机制可以根据网络特性以及用户需求设置系统应对网络拥塞的灵敏程度，即网络拥塞发生之后，系统多久做出相应的反应，这种灵活的实现基于网络感知周期的设置以及que_threshold和invalid_threshold另个阈值参数的设置；

动态机制可以根据网络的特性和用户需求灵活的设置系统应对路径中断的灵敏度，即当发生路径中断之后，系统多久做出相应的反应，其实现基础在于网络性能参数感知周期的设置；

动态机制可以根据网络的特性和用户需求灵活的设置系统对中断路径恢复的灵敏度，即当中段的路径恢复之后，最迟多久可以被添加到多路径传输序列中。其实现基础是基于网络性能参数的感知周期设置。如果用户对于网络资源浪费的容忍度相对较高，那么可以设置性对较长的采集周期，避免过于频繁的采集增加网络负载；

网络性能参数的额采集周期可以基于采集方式和采集指标进行独立设置，例如，对于网络吞吐量、网络传输时延、网络时延抖动等参数的采集可以基于不同的周期进行，进一步，如果路径中断和和恢复是基于网络传输时延判断，而网络拥塞是基于网络吞吐量来判断，那么系统就可以为路径中断和恢复以及路径拥塞等情况设置不同的灵敏度；

其流拆分设置接口功能的特征包括但不限于不同路径传输的小流所包含的数据包的数量是可以灵活定义的，一方面其可以由算法动态的调整该数值的大小，另一方面他可以通过命令行进行手动设置或者被控制器设置，提高算法的扩展性和灵活性；

还包含网络性能参数的辅助功能，其特征包含但不限于通过第三方工具获取当前路径的网络吞吐量并将该信息提供给数据面用于算法的实施；通过第三方工具测试所有可选路径的连通性，并提供给数据面用于更新路径状态信息；

其通过第三方工具获取信息的功能可以由用户决定采用何种工具以及信息获取的频率，支持的第三方工具包括但不限于iperf和ping等；

可以由用户根据当前的网络特征或者用户需求灵活的设置网络状态采集周期，同时支持基于机器学习，深度学习、自定义策略等第三方策略的制动化配置，本发明仅提供接口；

作为转发设备时具有DHCP功能，其特点在于可以作为终端设备的接入点，此时多路径设备对用户无感，可以通过手动或者自动的方式为接入设备分配局域网网络地址。

本发明提供的装置和方法，还具有如下有益效果：

拥有多种接入方式的转发设备将更加有效地降低接收端的数据包乱序，显著的提高网络资源的整体利用率，同时可以通过数据包的混淆传输，降低通信过程被完整监听的风险，提高网络的安全性，从而优化网络的整体性能。具体的，用户无需关注终端设备本身是否支持多路径协议，仅需将设备连入多径转发设备即可实现数据包的多路径传输，同时转发设备基于可编程数据平面和协议无关编程语言设计实现，因此不但可以支持当前主流的网络设备和协议，同时可以通过定制是转发设备支持特定协议设备的接入。此外，本设备作为一个转发设备，既可以作为数据平面设备独立部署，同时也支持集中控制部署模式，即通过统一的控制器控制多台数据平面设备进行整体部署。总的来说，本发明提供了一种灵活的，兼容性和扩展性极强的可变粒度的数据融合传输与调度的方法和设备，以一种即插即用的接入方式为当前的单一路径网络环境提供了多路径混淆传输的转发能力，极大提高了网络的吞吐量、网络资源利用率和网络的可靠性，和传统多路径传输方案相比，极大提高了多路径调度策略的灵活性，显著降低了接受端的数据包乱序率，提高了传输效率和安全性。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于变长粒度的数据融合传输与调度的装置，其特征在于，包括hash模块、状态处理模块、网络感知模块和转发模块；

所述hash模块用于：获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值；基于该哈希值，对数据包进行分组；

所述状态处理模块具有状态表和状态转移操作指令，并根据所述hash模块、所述网络感知模块和所述转发模块的逻辑对状态表进行更新；

所述网络感知模块获得数据包转发路径的网络参数，并根据该网络参数构建数据包的转发策略，以及将该网络参数进行预处理并更新同步至所述状态表；

所述转发模块用于：根据状态表动态调整转发策略，并基于该动态调整的转发策略实现可变长粒度的转发调度。

2.根据权利要求1所述的装置，其特征在于，所述的hash模块获取外部交换机接收的数据包的头部信息，对数据包的头部信息的元组信息进行哈希运算，获得与元组信息对应的哈希值包括：

所述hash模块通过哈希函数H(·)＝CRC16(five-tuple)mod N (1)获得数据包的头部信息的五元组信息对应的哈希值；

式中，N决定了状态模块中流状态表的表规模，five-tuple表示当前数据包的五元组信息。

3.根据权利要求1所述的装置，其特征在于，所述状态处理模块的状态表包括流状态表和路径状态表；

所述流状态表用于记录流和数据包的状态；所述路径状态表用于记录每个路径的当前状态。

4.根据权利要求3所述的装置，其特征在于，所述流状态表记录流和数据包的状态的参数包括：哈希值、流的当前数据包个数、流的初始转发路径和流的当前转发路径；

所述路径状态表记录的每个路径当前状态参数包括：路径的端口号、路径的可用状态、连续判定为拥塞的次数和路径的权重；

所述路径的权重通过

获得，式中，bw_i表示与编号为i的端口相对应的路径的带宽，W_i表示端口i对应的路径的权重。

5.根据权利要求4所述的装置，其特征在于，所述网络感知模块获得数据包转发路径的网络参数包括数据包转发路径的网络吞吐量和时延信息。

6.根据权利要求5所述的装置，其特征在于，所述转发模块根据状态表动态调整转发策略，并基于该动态调整的转发策略转发数据包的过程包括动态选路算法和数据流拆分算法；

所述动态选路算法的过程具体包括：

根据数据包的当前转发端口，并结合预设轮询选路策略获取数据包的临时转发端口；根据该临时转发端口的信息，在所述路径状态表中获取该临时转发端口对应的路径的网络状态，判断该网络状态是否有效；若有效，执行下一个步骤；否则，将数据包的当前转发端口更新为所述临时转发端口，并重复执行本步骤；

获取外部交换机中所述临时转发端口对应的数据包队列深度，并与预设网络拥塞判定阈值相比较；若该数据包队列深度未超过该网络拥塞判定阈值，则返回所述临时转发端口，并更新所述路径状态表；否则，执行下一个步骤；

从所述路径状态表中获取所述临时转发端口对应的拥塞的次数的字段值，并与预设的路径中断判定阈值相比较；若该拥塞的次数的字段值不小于路径中断判定阈值，则将所述临时转发端口对应的路径的可用状态更新为不可用，并将所述临时转发端口对应的路径的权重值更新为0，并返回执行第一个步骤；否则，执行下一个步骤；

更新所述临时转发端口对应的路径的拥塞的次数的字段值，并获取所有可用端口的优先级队列深度值，将所述临时转发端口的信息更新为队列深度最小的路径对应的端口的信息，返回所述临时转发端口；

所述数据流拆分算法的过程具体包括：

初始化流状态表和预设阈值参数信息；

基于哈希值，对数据包按照数据包所属流进行分类；

基于所述流状态表中的流的当前数据包个数的字段值和路径状态表中路径的权重字段值将流数据拆分为不同粒度的小流进行转发，该小流所包含的数据包的数量由

决定；

当前小流转发完成后，调用动态选路算法获取下一个小流的转发路径。

7.根据权利要求1至6任一所述的装置，其特征在于，所述可变粒度单位包括包粒度、流粒度和小流粒度。

8.根据权利要求1至6任一所述的装置，其特征在于，还包括控制接口；外部终端通过该控制接口与所述网络感知模块通信连接；所述网络感知模块接收外部终端的控制指令，改变所获取数据包转发路径的网络参数的类型和获取周期。

Images