CN114051001A - 流量数据处理方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种流量数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；获取拥塞链路中的流量数据，根据拥塞链路中的流量成分占比确定待调度的一个或多个目标流量，并生成流量调度策略；其中，流量调度策略中包括Top目标流量成分的调度路径；下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。该方法提供一种检测、计算、调度的处理技术，可以自动检测出拥塞链路，并可以生成调度策略对拥塞链路中的流量成分进行调度，减少拥塞导致的丢包现象，保障用户正常访问的互联网质量。

Description

流量数据处理方法及装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种流量数据处理方法及装置、存储介质及电子设备。

背景技术

骨干网运营维护中会出现传输中断的情况时，现有的调度方法中，大多使用人工经验中总结的规则进行多方向分析，依赖人工经验实现调度方向选择。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种流量数据处理方法、装置、电子设备及存储介质，以解决相关技术中需要依赖人工进行流量调度的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种流量数据处理方法，包括：获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

在本公开一个实施例中，获取链路流量，根据链路流量确定拥塞链路，包括：基于秒级能力采集现网数据；根据现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量；根据各链路的链路流量计算各链路的链路利用率；将链路利用率高于利用率阈值的链路确定为拥塞链路。

在本公开一个实施例中，获取拥塞链路中的流量数据，包括：确定与源节点对应的设备端口，获取从设备端口流出的端口流量数据；端口流量数据包括：端口流量的源端口、端口流量的下一跳端口、端口流量值；从端口流量数据中确定下一跳端口与目的节点对应的端口流量，作为拥塞链路中的流量数据。

在本公开一个实施例中，根据拥塞链路中的流量数据确定待调度的目标流量成分，包括：根据拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到拥塞链路中的流量成分，以及各流量成分的流量值；根据各流量成分的流量值确定出各流量成分的流量占比，按照流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；从流量成分序列中选出前N个待调度的目标流量成分，使得根据拥塞链路中除了目标流量成分的剩余流量计算出的链路利用率低于利用率阈值。

在本公开一个实施例中，生成流量调度策略，包括：获取目标流量成分的候选路径集合；其中，候选路径集合中路径的起始节点为源节点，终止节点为目的节点；从候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；计算各中间候选路径的时延，选出时延最小的中间候选路径，作为流量调度策略中目标流量成分的调度路径。

在本公开一个实施例中，在将流量调度策略下发至源节点之前，还包括：获取现网流量环境；基于现网流量环境对流量调度策略进行仿真测试，以在仿真测试通过后下发流量调度策略至源节点。

在本公开一个实施例中，在将流量调度策略下发至源节点之后，还包括：基于预设频率监控链路流量，当检测到链路流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

在本公开一个实施例中，回撤条件包括：目标流量成分根据相应的调度路径无法从源节点路由至目的节点；从源节点到目的节点，目标流量成分的流量为0；流量调度策略中的调度路径中存在拥塞；以及，拥塞链路中不存在拥塞。

根据本公开的另一个方面，提供一种流量数据处理装置，包括：获取模块，用于获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；生成策略模块，用于获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；下发模块，用于下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

在本公开一个实施例中，获取模块获取链路流量，根据链路流量确定拥塞链路，包括：基于秒级能力采集现网数据；根据现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量；根据各链路的链路流量计算各链路的链路利用率；将链路利用率高于利用率阈值的链路确定为拥塞链路。

在本公开一个实施例中，生成策略模块获取拥塞链路中的，包括：确定与源节点对应的设备端口，获取从设备端口流出的端口流量数据；端口流量数据包括：端口流量的源端口、端口流量的下一跳端口、端口流量值；从端口流量数据中确定下一跳端口与目的节点对应的端口流量，作为拥塞链路中的流量数据。

在本公开一个实施例中，生成策略模块根据拥塞链路中的流量数据确定待调度的目标流量成分，包括：根据拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到拥塞链路中的流量成分，以及各流量成分的流量值；根据各流量成分的流量值确定出各流量成分的流量占比，按照流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；从流量成分序列中选出前N个待调度的目标流量成分，使得根据拥塞链路中除了目标流量成分的剩余流量计算出的链路利用率低于利用率阈值。

在本公开一个实施例中，生成策略模块生成流量调度策略，包括：获取目标流量成分的候选路径集合；其中，候选路径集合中路径的起始节点为源节点，终止节点为目的节点；从候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；计算各中间候选路径的时延，选出时延最小的中间候选路径，作为流量调度策略中目标流量成分的调度路径。

在本公开一个实施例中，本公开提供的流量数据处理装置还包括：仿真测试模块，在下发模块将流量调度策略下发至源节点之前，仿真测试模块用于：获取现网流量环境；基于现网流量环境对流量调度策略进行仿真测试，以在仿真测试通过后下发流量调度策略至源节点。

在本公开一个实施例中，本公开提供的流量数据处理装置还包括：回撤模块，在下发模块将流量调度策略下发至源节点之后，回撤模块用于：基于预设频率监控链路流量，当检测到链路流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

在本公开一个实施例中，回撤条件包括：目标流量成分根据相应的调度路径无法从源节点路由至目的节点；从源节点到目的节点，目标流量成分的流量为0；流量调度策略中的调度路径中存在拥塞；以及，拥塞链路中不存在拥塞。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的流量数据处理方法。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的流量数据处理方法。

本公开的实施例所提供的流量数据处理方法，能够自动检测出拥塞链路，并可以生成调度策略对拥塞链路中的流量成分进行调度，减少拥塞导致的丢包现象。

进一步，本公开实施例提供的流量数据处理方法中生成的调度策略，还可以为待调度的流量成分选出跳数少、时延小的调度路径，进而保障网内的访问质量，提升客户感知。

进一步，本公开实施例提供的流量数据处理方法还可以在下发调度策略前进行仿真测试，进而保证了策略的可实施性。

进一步，本公开实施例提供的流量数据处理方法还可以在下发调度策略后进行回撤检测，并提供了多种回撤条件，保证流量的稳定传输。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的流量数据处理方法的示例性系统架构的示意图；

图2示出了本公开一个实施例的流量数据处理方法的流程图；

图3示出了本公开一个实施例的流量数据处理方法中确定拥塞链路的流程图；

图4示出了本公开一个实施例的流量数据处理方法中确定目标流量成分的流程图；

图5示出了本公开一个实施例的流量数据处理方法中确定调度路径的流程图；

图6示出了本公开一个实施例的流量数据处理方法的流程图；

图7示出了本公开一个实施例的流量数据处理方法的示意图；

图8示出了本公开一个实施例的流量数据处理方法的示意图；

图9示出了本公开一个实施例的流量数据处理装置的框图；和

图10示出了本公开实施例中一种流量数据处理计算机设备的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

针对上述相关技术中存在的技术问题，本公开实施例提供了一种流量数据处理方法，以用于至少解决上述技术问题中的一个或者全部。

图1示出了可以应用本公开实施例的流量数据处理方法的示例性系统架构的示意图；如图1所示：

该系统架构可以包括服务器101和网络102，网络102可以是骨干网络，网络102中可以包括路由节点RT(Route Target)。网络102用以在服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等；图1仅示出4个路由节点RT作为示例，根据实际需要，网络102中可以具有任意数目的路由节点RT。如图1所示，在网络102中包含路由节点RT1021、RT1022、RT1023和RT1024，其中RT1021可以与RT1022连接、RT1022可以与RT1024连接，RT1021还可以与RT1023连接、RT1023可以与RT1024连接，路由节点之间的连接可以用于流量数据的传输。

服务器101可以是提供各种服务的服务器，在一些实际应用中服务器101可以是功能性的服务节点如：RR(Round Robin)控制器。又例如，在本公开提供的方法中，服务器101可以获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；服务器101可以获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；服务器101可以下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

应该理解，图1中的路由节点RT、网络和服务器的数目仅仅是示意性的，服务器101可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器。根据实际需要，可以具有任意数目的路由节点RT、网络和服务器。

下面，将结合附图及实施例对本公开示例实施例中的流量数据处理方法的各个步骤进行更详细的说明。

图2示出了本公开一个实施例的流量数据处理方法的流程图。本公开实施例提供的方法可以由如图1所示的服务器中执行，但本公开并不限定于此。

在下面的举例说明中，以服务器集群101为执行主体进行示例说明。

如图2所示，本公开实施例提供的流量数据处理方法可以包括以下步骤：

步骤S201，获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；步骤S203，获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；步骤S205，下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

可以先获取网络中的链路流量，根据链路流量确定出是否存在拥塞现象，并在存在拥塞现象时确定出拥塞链路，其中，源节点和目的节点在拥塞链路中可以为相邻节点。再获取拥塞链路中的流量数据，根据流量数据中的流量成分及相应占比，选出待调度的目标流量成分，为目标流量成分确定新的路由路径进而生成总体的流量调度策略，最后将流量调度策略下发至拥塞链路的源节点，以将目标流量成分从源节点处调走，缓解拥塞链路的流量压力。

通过本公开的实施例所提供的流量数据处理方法，可以自动检测出拥塞链路，并可以生成调度策略对拥塞链路中的流量成分进行调度，减少拥塞导致的丢包现象。

在一些实施例中，获取链路流量，根据链路流量确定拥塞链路，包括：基于秒级能力采集现网数据；根据现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量；根据各链路的链路流量计算各链路的链路利用率；将链路利用率高于利用率阈值的链路确定为拥塞链路。

秒级能力中可以指定能力频率，能力频率可以是根据实际生产环境进行调整的，如每30秒采集一次，或者每10秒采集一次，或者每5秒采集一次；第一频率的数值越高可以得到越趋近于实况的网络流量环境。利用率阈值可以是根据实际生产环境进行调整的，如75％或80％或90％；利用率阈值可以看作是确定拥塞现象的触发阈值，进而自动触发本公开中的流量数据处理方法。

图3示出了本公开一个实施例的流量数据处理方法中确定拥塞链路的流程图；如图3所示，包括：

步骤S301，基于秒级能力采集现网数据；现网数据可以是SNMP流量，可以周期性采集SNMP流量，以用于检测链路拥塞情况。在一些实际应用中，可以使用采集服务收集网络拓扑结构、链路流量/质量和流量流向等一系列数据，以分钟级单位感知网络变化。

步骤S303，根据现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量。

步骤S305，根据各链路的链路流量计算各链路的链路利用率；链路利用率可以是80％或90％等可调节的数值，用于确定当前网络中是否存在拥塞现象。

步骤S307，将链路利用率高于利用率阈值的链路确定为拥塞链路；拥塞链路可以有不止一条。

在一些实施例中，获取拥塞链路中的流量数据，包括：确定与源节点对应的设备端口，获取从设备端口流出的端口流量数据；端口流量数据包括：端口流量的源端口、端口流量的下一跳端口、端口流量值；从端口流量数据中确定下一跳端口与目的节点对应的端口流量，作为拥塞链路中的流量数据。

进一步地，在一些实施例中，根据拥塞链路中的流量数据确定待调度的目标流量成分，包括：根据拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到拥塞链路中的流量成分，以及各流量成分的流量值；根据各流量成分的流量值确定出各流量成分的流量占比，按照流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；从流量成分序列中选出前N个待调度的目标流量成分，使得根据拥塞链路中除了目标流量成分的剩余流量计算出的链路利用率低于利用率阈值。

可以自动检测拥塞方向承载的流量成分，通过自动计算，生成修改目标流量成分的路由下一跳的流量调度策略，以根据流量调度策略将目标流量成分从拥塞电路的源节点上调开，实现缓解拥塞的效果。

其中，选出的N可以是恰好使拥塞链路不再拥塞的调离流量成分的个数M，所述“恰好使拥塞链路不再拥塞的调离流量成分的个数M”具有如下效果：当调开流量成分序列中前M个流量成分时，拥塞链路不再存在拥塞，且当调开流量成分序列中前(M-1)个流量成分时，拥塞链路仍存在拥塞，进而达到在调离最少数量流量成分的情况下使拥塞链路不再拥塞的效果，使得既缓解了拥塞，又节省了计算资源。

图4示出了本公开一个实施例的流量数据处理方法中确定目标流量成分的流程图，如图4所示，包括：

步骤S401，确定与源节点对应的设备端口，获取从设备端口流出的端口流量数据；端口流量数据包括：端口流量的源端口、端口流量的下一跳端口、端口流量值；

步骤S403，从端口流量数据中确定下一跳端口与目的节点对应的端口流量，作为拥塞链路中的流量数据。

步骤S405，根据拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到拥塞链路中的流量成分，以及各流量成分的流量值；

步骤S407，根据各流量成分的流量值确定出各流量成分的流量占比，按照流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；

步骤S409，从流量成分序列中选出前N个待调度的目标流量成分，使得根据拥塞链路中除了目标流量成分的剩余流量计算出的链路利用率低于利用率阈值；在一些实际应用中，N值可以是恰好使拥塞链路不再拥塞的调离流量成分的个数M；在又一些实际应用中，N也可以大于M。

在一些实施例中，生成流量调度策略，包括：获取目标流量成分的候选路径集合；其中，候选路径集合中路径的起始节点为源节点，终止节点为目的节点；从候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；计算各中间候选路径的时延，选出时延最小的中间候选路径，作为流量调度策略中目标流量成分的调度路径。

目标流量成分的候选路径集合可以是预先设置好的。跳数阈值可以根据实际的应用环境进行调整，如：3、4等数值，当设置为3时，可以看作是新的路由路径的跳数需要小于3，即新的路由路径中，除了源节点和目的节点以外，还可以有0个或1个或2个中间节点。通过本实施例选出的目标流量成分的调度路径，可以具有跳数少、时延小的效果，从而保证了调度后的流量质量。

图5示出了本公开一个实施例的流量数据处理方法中确定调度路径的流程图，如图5所示，包括：

步骤S501，获取所述目标流量成分的候选路径集合；其中，所述候选路径集合中路径的起始节点为所述源节点，终止节点为所述目的节点；

步骤S503，从所述候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；

步骤S505，计算各中间候选路径的时延，选出时延最小的中间候选路径，作为所述流量调度策略中所述目标流量成分的调度路径。

在一些实施例中，在将流量调度策略下发至源节点之前，还包括：获取现网流量环境；基于现网流量环境对流量调度策略进行仿真测试，以在仿真测试通过后下发流量调度策略至源节点。

可以在生成调度策略后先进行仿真测试，确定调度策略的可行性，以避免若调度策略不可行而产生的不必要的资源消耗。

在一些实际应用中，可以通过如下方式进行测试：由SDN控制器自动触发测试程序，主要包括两部分：(1)调度路径测试：从源AS trace到目的AS的IP地址，全程显示traceIP关联的路径信息。(2)业务测试：从源AS ping侧目的AS的IP地址。以此进行仿真测试，确定调度策略的可行性。

在一些实施例中，在将流量调度策略下发至源节点之后，还包括：基于预设频率监控链路流量，当检测到链路流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

预设频率可以是根据实际生产环境进行调整的，如每1分钟监控一次，或者3分钟监控一次。本公开实施例提供的流量数据处理方法可以在下发调度策略后进行回撤检测，并提供了多种回撤条件，以及时对调度策略进行回撤，保证流量的稳定传输。

进一步地，在一些实施例中，回撤条件包括：(1)目标流量成分根据相应的调度路径无法从源节点路由至目的节点；(2)从源节点到目的节点，目标流量成分的流量为0；(3)流量调度策略中的调度路径中存在拥塞；以及，(4)拥塞链路中不存在拥塞。

上述回撤条件(1)可以理解为：目标流量成分的调度路径不通畅，目标流量成分无法到达目的节点，故此时需要停止调度路径的应用，可以回撤调度路径，使目标流量成分通过拥塞链路到达目的节点，或为目标流量成分确定新的调度路径。

上述回撤条件(2)可以理解为：从源节点到目的节点不再需要目标流量成分了，此时可以停止调度路径的应用，回撤调度路径。

上述回撤条件(3)可以理解为：若调度路径中因引入目标流量成分而产生了拥塞，则可以回撤调度路径，使目标流量成分通过拥塞链路到达目的节点，或为目标流量成分确定新的调度路径。

上述回撤条件(4)可以理解为：若将调离的目标流量成分还原至拥塞链路进行计算，不再产生拥塞，则可以回撤调度路径，使目标流量成分通过拥塞链路到达目的节点。

图6示出了本公开一个实施例的流量数据处理方法的流程图，如图6所示，包括：

步骤S601，获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点；

步骤S603，获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；

步骤S605，获取现网流量环境；基于现网流量环境对流量调度策略进行仿真测试，以在仿真测试通过后下发流量调度策略至源节点；

步骤S607，下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点；

步骤S609，基于预设频率监控链路流量，当检测到链路流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

通过本公开提出的流量数据处理方法，能够实现对流量调度自动发现、分析、调度、测试的全流程闭环。本公开通过在骨干网电路进行实时发现，能够对发现的拥塞电路进行及时调度，实现缓解拥塞的效果。

图7示出了本公开一个实施例的流量数据处理方法的示意图；如图7所示，本公开中的流量数据处理方法可以包括3个服务模块：调度服务、采集服务，和控制服务。3个服务模块的功能可以如下：

调度服务，用于调度系统核心，负责监控、计算、下发、验证等整体业务流程控制。

采集服务，用于负责收集网络拓扑结构、链路流量/质量和流量流向等一系列数据，以分钟级单位感知网络变化。

控制服务，用于通过RR反射机制，在指定的路由器上控制所选目标的路由流向。

在一些具体应用中，确定流量成分的过程中可以调度流量监控算法，通过对生效策略的调度流量进行计算进而监控策略方向的流量大小来实现，主要原理如下：

(1)生效策略记做P(目前生效策略判断依据是前一条启用过)；

(2)通过对策略P的源节点SrcNode调度的流量成分进行计算，到目的省的调度流量成分记做FlowCom。

其中，FlowCom的计算方法为：

①获取SrcNode上所有的设备及端口信息，通过该节点到目标网络的流量成分，获取昨日最大峰值流速。②按不同的目标网络形成目标目的省，对于调度节点相同的目标网络进行合并。

(3)计算出FlowCom后，依据策略中的源省，目的省，原IGP下一跳省，设定下一跳省进行中继分省流量计算，形成策略在各分省路径上的链路流量标记为PtoPFlux，具体算法如下：

①对于原路径上进行逐跳计算，如果存在某一跳存在多条路径则计算多条路径的流量，按每一跳的起始省和目的省形成流量值。②对于调度后路径上进行逐跳计算，如果存在某一跳存在多条路径则进行带宽均分，按每一跳的起始省和相邻省形成流量值。③对所有调度策略进行计算，并对形成的每一跳流量进行合并，形成的流量总和。

在一些实际应用中，本公开提供的流量数据处理方法中的调度原理可以是：

发现拥塞过程：网络调度服务基于周期性采集的SNMP流量检测链路拥塞情况，当链路利用率高于配置的告警阈值时，自动启动自动流量调度流程。计算策略过程：自动检测拥塞方向承载的流量成分，通过自动计算，生成修改选定流量成分的路由下一跳的调度策略。下发策略过程：将选定流量成分从拥塞链路上调开，实现缓解拥塞的效果。

在拥塞点上，调度服务将通过NetFlow采集此处的流量成分，然后按照各流量成分的大小，候选方向的总时延和逐跳利用率计算出可以缓解拥塞的最佳策略。如果存在可用的策略，则可以先进行仿真测试：SDN控制器将尝试向调度点(即源节点)下发该策略，然后验证该点到目标(即目的节点)是否切换至新路径。若仿真测试通过则下发策略，下发成功后，可以由调度服务发布通知调度结果。在策略应用后可以进行回撤检测：并继续监控全局流量变化，确保拥塞得以解决，并在全局流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

在一些实际应用中，本公开提供的流量数据处理方法中的调度业务流程可以是：

①当网络中原路径流量上涨，检测出存在拥塞；

②通过采集服务感知拥塞；

③采集服务将拥塞上报给调度服务，以使调度服务确定出指定目标成分，并为指定目标成分计算仿真候选路径；

④调度服务将计算好的仿真路径通过控制器(即RR+控制器)下发给需调度设备(即源节点)；

⑤调度设备(即源节点)上指定目标成分切换路径，使得原路径流量下降，解决拥塞。

图8示出了本公开一个实施例的流量数据处理方法的示意图，如图8所示，在生成调度策略后，可以先调用控制服务，利用控制器(即RR+控制器)选出服务设备作为指定路由器，再调用调度服务将调度策略下发至指定路由器，由指定路由器控制目标流量成分通过调度策略中相应的调度路径路由至目的节点。在图8中，原路径为RT01-RT02-RT04，新路径为RT01-RT03-RT04。

在一些实际应用中，本公开提供的流量数据处理方法中调度策略的自动撤销原理可以是：

对于激活策略进行定时监控，满足下列条件之一则会被撤销。

(1)指定流量成分在当前策略下不能到达目标地址。

(2)策略方向上不再存在指定流量成分。

(3)策略方向因调入特定成分造成新的拥塞。

(4)当策略正常承载流量时，通过计算还原路径和还原流量变化量进行判断。如果还原的路径在骨干上从接入设备端到端全程都不会造成新的拥塞，则视为可以撤销。

通过本公开提供的流量数据处理方法，可以达到以下有益效果：

(1)实现可执行的流量自动调度：相似性专利的调度主要用以定制在特定场景且需要手工进行策略部署及调度，各步骤需分布完成，没有形成自动发现、分析、调度、测试的全流程闭环。本专利通过在骨干网电路进行实时发现，能够对发现的拥塞电路进行及时调度。

(2)通用性强：对于骨干网络拓扑结构的各方向拥塞场景，只需要确定拥塞触发阈值(即利用率阈值)、调度目标阈值(即跳数阈值)即可。

(3)自动化程度高；本公开提供的方法不需要人工干预，只需要定时运行该算法的程序代码即可。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

图9示出了本公开一个实施例的流量数据处理装置900的框图；如图9所示，包括：

根据本公开的另一个方面，提供一种流量数据处理装置，包括：获取模块901，用于获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点，源节点和目的节点在拥塞链路中为相邻节点；生成策略模块902，用于获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；下发模块903，用于下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

在一些实施例中，获取模块获取链路流量，根据链路流量确定拥塞链路，包括：基于秒级能力采集现网数据；根据现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量；根据各链路的链路流量计算各链路的链路利用率；将链路利用率高于利用率阈值的链路确定为拥塞链路。

在一些实施例中，生成策略模块获取拥塞链路中的流量数据，包括：确定与源节点对应的设备端口，获取从设备端口流出的端口流量数据；端口流量数据包括：端口流量的源端口、端口流量的下一跳端口、端口流量值；从端口流量数据中确定下一跳端口与目的节点对应的端口流量，作为拥塞链路中的流量数据。

在一些实施例中，生成策略模块根据拥塞链路中的流量数据确定待调度的目标流量成分，包括：根据拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到拥塞链路中的流量成分，以及各流量成分的流量值；根据各流量成分的流量值确定出各流量成分的流量占比，按照流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；从流量成分序列中选出前N个待调度的目标流量成分，使得根据拥塞链路中除了目标流量成分的剩余流量计算出的链路利用率低于利用率阈值。

在一些实施例中，生成策略模块生成流量调度策略，包括：获取目标流量成分的候选路径集合；其中，候选路径集合中路径的起始节点为源节点，终止节点为目的节点；从候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；计算各中间候选路径的时延，选出时延最小的中间候选路径，作为流量调度策略中目标流量成分的调度路径。

在一些实施例中，本公开提供的流量数据处理装置还包括：仿真测试模块904，在下发模块将流量调度策略下发至源节点之前，仿真测试模块用于：获取现网流量环境；基于现网流量环境对流量调度策略进行仿真测试，以在仿真测试通过后下发流量调度策略至源节点。

在一些实施例中，本公开提供的流量数据处理装置还包括：回撤模块905，在下发模块将流量调度策略下发至源节点之后，回撤模块用于：基于预设频率监控链路流量，当检测到链路流量满足任一回撤条件时，对流量调度策略中相应的调度路径进行回撤处理。

在一些实施例中，回撤条件包括：目标流量成分根据相应的调度路径无法从源节点路由至目的节点；从源节点到目的节点，目标流量成分的流量为0；流量调度策略中的调度路径中存在拥塞；以及，拥塞链路中不存在拥塞。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

图10示出本公开实施例中一种流量数据处理计算机设备的结构框图。需要说明的是，图示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图2中所示的步骤S201，获取链路流量，根据链路流量确定拥塞链路；其中，拥塞链路包括源节点和目的节点，源节点和目的节点在拥塞链路中为相邻节点；步骤S203，获取拥塞链路中的流量数据，根据拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，流量调度策略中包括各个目标流量成分的调度路径；步骤S205，下发流量调度策略至源节点，以使目标流量成分根据相应的调度路径从源节点路由至目的节点。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (13)

1.一种流量数据处理方法，其特征在于，包括：

获取链路流量，根据所述链路流量确定拥塞链路；其中，所述拥塞链路包括源节点和目的节点；

获取所述拥塞链路中的流量数据，根据所述拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，所述流量调度策略中包括各个目标流量成分的调度路径；

下发所述流量调度策略至所述源节点，以使所述目标流量成分根据相应的调度路径从所述源节点路由至所述目的节点。

2.根据权利要求1所述的方法，其特征在于，获取链路流量，根据所述链路流量确定拥塞链路，包括：

基于秒级能力采集现网数据；

根据所述现网数据中的网络拓扑结构、链路流量数据、流量流向数据确定各链路的链路流量；

根据所述各链路的链路流量计算各链路的链路利用率；

将链路利用率高于利用率阈值的链路确定为所述拥塞链路。

3.根据权利要求1所述的方法，其特征在于，获取所述拥塞链路中的流量数据，包括：

确定与所述源节点对应的设备端口，获取从所述设备端口流出的端口流量数据；所述端口流量数据包括：端口流量的源端口、所述端口流量的下一跳端口、端口流量值；

从所述端口流量数据中确定下一跳端口与所述目的节点对应的端口流量，作为所述拥塞链路中的流量数据。

4.根据权利要求3所述的方法，其特征在于，根据所述拥塞链路中的流量数据确定待调度的目标流量成分，包括：

根据所述拥塞链路中的流量数据包的源IP地址，源端口，目的IP地址，目的端口和协议进行计算得到网络边缘间端到端的流量；将所述网络边缘间端到端的流量通过IGP拓扑进行叠加计算得到所述拥塞链路中的流量成分，以及各流量成分的流量值；

根据所述各流量成分的流量值确定出各流量成分的流量占比，按照所述流量占比从大到小的顺序对流量成分进行排序，得到流量成分序列；

从所述流量成分序列中选出前N个待调度的目标流量成分，使得根据所述拥塞链路中除了所述目标流量成分的剩余流量计算出的链路利用率低于利用率阈值。

5.根据权利要求1所述的方法，其特征在于，生成流量调度策略，包括：

获取所述目标流量成分的候选路径集合；其中，所述候选路径集合中路径的起始节点为所述源节点，终止节点为所述目的节点；

从所述候选路径集合中选出节点变化跳数小于跳数阈值的一个或多个路径，作为中间候选路径；

计算各中间候选路径的时延，选出时延最小的中间候选路径，作为所述流量调度策略中所述目标流量成分的调度路径。

6.根据权利要求1所述的方法，其特征在于，在将所述流量调度策略下发至所述源节点之前，还包括：

获取现网流量环境；

基于所述现网流量环境对所述流量调度策略进行仿真测试，以在所述仿真测试通过后下发所述流量调度策略至所述源节点。

7.根据权利要求1所述的方法，其特征在于，在将所述流量调度策略下发至所述源节点之后，还包括：

基于预设频率监控所述链路流量，当检测到所述链路流量满足任一回撤条件时，对所述流量调度策略中相应的调度路径进行回撤处理。

8.根据权利要求7所述的方法，其特征在于，所述回撤条件包括：

所述目标流量成分根据相应的调度路径无法从所述源节点路由至所述目的节点；

从所述源节点到所述目的节点，所述目标流量成分的流量为0；

所述流量调度策略中的调度路径中存在拥塞；以及，

所述拥塞链路中不存在拥塞。

9.一种流量数据处理装置，其特征在于，包括：

获取模块，用于获取链路流量，根据所述链路流量确定拥塞链路；其中，所述拥塞链路包括源节点和目的节点；

生成策略模块，用于获取所述拥塞链路中的流量数据，根据所述拥塞链路中的流量数据确定待调度的一个或多个目标流量成分，并生成流量调度策略；其中，所述流量调度策略中包括各个目标流量成分的调度路径；

下发模块，用于下发所述流量调度策略至所述源节点，以使所述目标流量成分根据相应的调度路径从所述源节点路由至所述目的节点。

10.根据权利要求9所述的装置，其特征在于，还包括：仿真测试模块，在所述下发模块将所述流量调度策略下发至所述源节点之前，所述仿真测试模块用于：

获取现网流量环境；

基于所述现网流量环境对所述流量调度策略进行仿真测试，以在所述仿真测试通过后下发所述流量调度策略至所述源节点。

11.根据权利要求9所述的装置，其特征在于，还包括：回撤模块，在所述下发模块将所述流量调度策略下发至所述源节点之后，回撤模块用于：

基于预设频率监控所述链路流量，当检测到所述链路流量满足任一回撤条件时，对所述流量调度策略中相应的调度路径进行回撤处理。

12.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至8任一项所述的流量数据处理方法。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8任一项所述的流量数据处理方法。

Images