CN117857465A - 数据处理方法、装置、设备及存储介质、程序产品 - Google Patents

数据处理方法、装置、设备及存储介质、程序产品 Download PDF

Info

Publication number
CN117857465A
CN117857465A CN202410259497.2A CN202410259497A CN117857465A CN 117857465 A CN117857465 A CN 117857465A CN 202410259497 A CN202410259497 A CN 202410259497A CN 117857465 A CN117857465 A CN 117857465A
Authority
CN
China
Prior art keywords
network link
network
dispatching
batch
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410259497.2A
Other languages
English (en)
Other versions
CN117857465B (zh
Inventor
肖昂弘
肖晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410259497.2A priority Critical patent/CN117857465B/zh
Priority claimed from CN202410259497.2A external-priority patent/CN117857465B/zh
Publication of CN117857465A publication Critical patent/CN117857465A/zh
Application granted granted Critical
Publication of CN117857465B publication Critical patent/CN117857465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开一种数据处理方法、装置、设备及存储介质、程序产品,方法应用于网络调度对象,网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组,方法包括:按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理;可以节约处理资源。

Description

数据处理方法、装置、设备及存储介质、程序产品
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质、程序产品。
背景技术
在流量分析的相关场景中,若需要对通信网络中的多条网络链路进行流量分析,通常需要实时采集每条网络链路用于进行流量分析的流量分析数据并进行处理,该种方式通常会导致处理资源消耗大。
发明内容
本申请实施例提供了一种数据处理方法、装置、设备及存储介质、程序产品,可以节约处理资源。
一方面,本申请实施例提供了一种数据处理方法,应用于网络调度对象,网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组,方法包括:
按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;
向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;
接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
一方面,本申请实施例提供了一种数据处理装置,应用于网络调度对象,网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组,装置包括:
通信单元,用于进行通信交互;
处理单元,用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
一方面,本申请实施例提供了一种计算机设备,计算机设备包括输入接口和输出接口,计算机设备还包括:
处理器以及计算机可读存储介质;
计算机可读存储介质,用于存储计算机程序;
处理器,用于运行计算机程序,实现上述数据处理方法。
一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序适于由处理器加载并执行上述数据处理方法。
一方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序适于由处理器加载并执行上述数据处理方法。
本申请实施例中,可以按照调度策略的指示将多条网络链路划分得到的N个网络链路组分批次进行调度,以实现对N个网络链路组中网络链路的流量分析数据的分批次采集与处理,即实现了分时复用处理,换言之,在调度策略的指示下,可以通过调度网络链路的管理节点来实现对多条网络链路划分得到的N个网络链路组的分批次调度,即可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理;在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理系统的结构示意图;
图2是本申请实施例提供的一种数据处理方法的流程示意图;
图3是本申请实施例提供的一种分批次采集流量分析数据的示意图;
图4是本申请实施例提供的另一种数据处理方法的流程示意图;
图5a是本申请实施例提供的一种划分得到网络链路组的示意图;
图5b是本申请实施例提供的一种确定网络链路组所属的调度批次的示意图;
图5c是本申请实施例提供的一种流量分析处理的示意图;
图5d是本申请实施例提供的一种流量分析结果的查询示意图;
图5e是本申请实施例提供的另一种流量分析结果的查询示意图;
图5f是本申请实施例提供的又一种流量分析结果的查询示意图;
图5g是本申请实施例提供的再一种流量分析结果的查询示意图;
图5h是本申请实施例提供的还一种流量分析结果的查询示意图;
图6a是本申请实施例提供的一种采集流量分析数据的示意图;
图6b是本申请实施例提供的另一种分批次采集流量分析数据的示意图;
图6c是本申请实施例提供的一种调度平台的结构示意图;
图7是本申请实施例提供的一种数据处理装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种数据处理方法,该数据处理方法可以应用于数据处理系统中,该数据处理系统可以包括网络调度对象以及通信网络,该通信网络可以包括多条网络链路以及通过多条网络链路实现通信连接的多个网络节点;其中,一条网络链路可以用于实现两个网络节点之间的通信连接以及数据传输,网络链路可以是有线链路或无线链路,本申请实施例不做限制,一条网络链路中对应部署有一个管理节点。请参见图1,为本申请实施例示例性提供的一种数据处理系统的结构示意图,其中,网络调度对象可以如10标记所示,通信网络可以如11标记所示,一条网络链路可以如111标记所示,一条网络链路的管理节点可以如112标记所示,一个网络节点可以如113标记所示。网络调度对象、管理节点以及网络节点可以由一个或多个计算机设备构成,也可以由一个或多个包含有计算机设备的计算机机房构成;本申请实施例提及的计算机设备可以是终端设备,也可以是服务器,终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能车载、以及智能可穿戴设备等,本申请实施例对此不作限制,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等,本申请实施例对此不作限制。
其中,网络调度对象10可以用于根据调度策略对多条网络链路的管理节点进行控制,管理节点112可以在网络调度对象10的控制下,采集相应网络链路的流量分析数据,并将采集到的流量分析数据返回至网络调度对象10中,网络调度对象10可以在接收到管理节点112返回的流量分析数据后,对接收到的流量分析数据进行处理;其中,一条网络链路的流量分析数据可以包括:可以用于对该网络链路进行流量分析的相关数据。
其中,多条网络链路可以被分为N个网络链路组,N为大于1的整数,调度策略可以用于指示对多个调度批次进行调度,一个网络链路组对应一个调度批次,也就是说N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次。基于此,网络调度对象10可以按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组,并向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;M个目标网络链路组中的目标网络链路的管理节点可以采集相应目标网络链路的流量分析数据,并将采集到的流量分析数据返回至网络调度对象10中;网络调度对象10可以接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。也就是说,网络管理节点10可以将多条网络链路划分得到的N个网络链路组分批次进行调度,以实现对N个网络链路组中网络链路的流量分析数据的分批次采集与处理,换言之,网络管理节点10可以通过调度网络链路的管理节点来实现对多条网络链路划分得到的N个网络链路组的分批次调度,即可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理;在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。
应该知道的是,上述数据处理系统中的通信网络只是一种示例性的说明,存在网络链路的通信网络,均可以采用本申请实施例提出的数据处理方法来对相应通信网络中的网络链路的流量分析数据进行处理,以节约处理资源。需要特别指出的是,本申请中相关数据(例如通过网络链路传输的数据、网络链路的流量分析数据等等)收集处理在实例应用时应该严格根据法律法规的要求,获取个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
基于上述描述,本申请实施例提供了一种数据处理方法,参见图2,为本申请实施例提供的一种数据处理方法的流程示意图;该数据处理方法可以应用于网络调度对象,即该数据处理方法可以由网络调度对象执行,例如可以由图1所示的数据处理系统的网络调度对象10执行;其中,网络调度对象可以用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组,N为大于1的整数;该数据处理方法可包括如下步骤S201-S203:
S201,按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组。
其中,调度策略可以用于指示对多个调度批次进行调度,一个网络链路组对应一个调度批次,也就是说N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次;M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数。
在一种可行的实施方式中,N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次,调度策略可以用于指示周期性地调度多个调度批次中每个网络链路组的网络链路的管理节点;基于此,网络调度对象按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组时,可以:按照调度策略和周期计时信息,从多个调度批次中确定出当前周期的调度批次;从N个网络链路组中确定出属于当前周期的调度批次的M个网络链路组,并将确定出的M个网络链路组作为M个目标网络链路组。
其中,调度策略还可以用于指示多个调度批次中每个调度批次的调度时长,基于此可知,调度周期为多个调度批次的调度时长之和;针对调度策略可以用于指示周期性地调度多个调度批次中每个网络链路组的网络链路的管理节点,换言之,调度策略可以用于指示周期性地调度多个调度批次,在一个调度周期内依次调度多个调度批次中的每个调度批次。为了便于阐述,本申请实施例将调度批次的数量用H表示,网络调度对象按照调度策略和周期计时信息,从多个调度批次中确定出当前周期的调度批次的过程中,可以在周期计时信息所指示的时间到达一个调度周期内的第h个调度批次的开始时间时,将该第h个调度批次确定为当前周期的调度批次,h∈[1,H]。然后网络调度对象可以从N个网络链路组中确定出属于当前周期的调度批次的M个网络链路组,并将确定出的M个网络链路组作为M个目标网络链路组,并向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息,使得相应管理节点可以在当前周期的调度批次的调度时长内持续采集相应目标网络链路的流量分析数据,并返回至网络调度对象;网络调度对象可以接收M个目标网络链路组每条目标网络链路的管理节点在当前周期的调度批次的调度时长内返回的流量分析数据,并对接收到的流量分析数据进行处理,直至当前周期的调度批次的调度时长结束,即直至周期计时信息所指示的时间到达该调度周期内的第h+1个调度批次的开始时间。
S202,向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息。
其中,采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据。在一种可行的实施方式中,网络调度对象可以向N个网络链路组中除M个目标网络链路组之外的,其他网络链路组中每条网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据。
S203,接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
举例来说,若N=4,即多条网络链路被分为4个网络链路组,调度批次的数量H=3,每个调度批次的调度时长为1分钟,即调度策略可以用于指示对3个调度批次进行调度,且每个调度批次的调度时长为1分钟;若第1个网络链路组以及第2个网络链路组所属的调度批次为第1个调度批次,第3个网络链路组所属的调度批次为第2个调度批次,第4个网络链路组所属的调度批次为第3个调度批次;请参见图3,为本申请实施例提出的一种分批次采集流量分析数据的示意图。
以一个调度周期为例,在周期计时信息所指示的时间到达该调度周期内的第1个调度批次的开始时间时,即到达该调度周期内的第1分钟的开始时间时,当前周期的调度批次为第1个调度批次,目标网络链路组为第1个网络链路组和第2个网络链路组,网络调度对象可以向第1个网络链路组和第2个网络链路组中每条目标网络链路的管理节点发送采集控制信息,使得相应管理节点可以在第1个调度批次的调度时长内(即可以在该调度周期的第1分钟内)持续采集相应目标网络链路的流量分析数据,并返回至网络调度对象;网络调度对象可以接收第1个网络链路组和第2个网络链路组中每条目标网络链路的管理节点在该调度周期的第1分钟内返回的流量分析数据,并对接收到的流量分析数据进行处理。
在周期计时信息所指示的时间到达该调度周期内的第2个调度批次的开始时间时,即到达该调度周期内的第2分钟的开始时间时,当前周期的调度批次为第2个调度批次,目标网络链路组为第3个网络链路组,网络调度对象可以向第3个网络链路组中每条目标网络链路的管理节点发送采集控制信息,使得相应管理节点可以在第2个调度批次的调度时长内(即可以在该调度周期的第2分钟内)持续采集相应目标网络链路的流量分析数据,并返回至网络调度对象;网络调度对象可以接收第3个网络链路组中每条目标网络链路的管理节点在该调度周期的第2分钟内返回的流量分析数据,并对接收到的流量分析数据进行处理。
在周期计时信息所指示的时间到达该调度周期内的第3个调度批次的开始时间时,即到达该调度周期内的第3分钟的开始时间时,当前周期的调度批次为第3个调度批次,目标网络链路组为第4个网络链路组,网络调度对象可以向第4个网络链路组中每条目标网络链路的管理节点发送采集控制信息,使得相应管理节点可以在第3个调度批次的调度时长内(即可以在该调度周期的第3分钟内)持续采集相应目标网络链路的流量分析数据,并返回至网络调度对象;网络调度对象可以接收第4个网络链路组中每条目标网络链路的管理节点在该调度周期的第3分钟内返回的流量分析数据,并对接收到的流量分析数据进行处理。
本申请实施例中,可以按照调度策略的指示将多条网络链路划分得到的N个网络链路组分批次进行调度,以实现对N个网络链路组中网络链路的流量分析数据的分批次采集与处理,即实现了分时复用处理,换言之,在调度策略的指示下,可以通过调度网络链路的管理节点来实现对多条网络链路划分得到的N个网络链路组的分批次调度,即可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理;在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。
基于上述描述,本申请实施例提供了另一种数据处理方法,参见图4,为本申请实施例提供的另一种数据处理方法的流程示意图;该数据处理方法可以应用于网络调度对象,即该数据处理方法可以由网络调度对象执行,例如可以由图1所示的数据处理系统的网络调度对象10执行;其中,网络调度对象可以用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组,N为大于1的整数;基于此可知,网络调度对象在根据调度策略对多条网络链路的管理节点进行控制之前,还需要确定调度策略,该数据处理方法可包括如下步骤S401-S404:
S401,确定调度策略。
在一种可行的实施方式中,网络调度对象在确定调度策略的过程中,可以确定多条网络链路、多个调度批次以及每个调度批次的调度时长,可以将多条网络链路分为N个网络链路组以及确定N个网络链路组中每个网络链路组在多个调度批次中所属的调度批次(即从多个调度批次中确定出N个网络链路组中每个网络链路组所属的调度批次),可以根据每个网络链路组所属的调度批次以及每个调度批次的调度时长确定出调度策略。其中,该多条网络链路可以是需对相应的流量分析数据进行处理的网络链路,例如,在一个应用场景中,需要对多个区域之间的网络链路的流量分析数据进行处理,则该多条网络链路可以为该多个区域之间的网络链路,例如该多个区域包括区域A、区域B、区域C、区域D以及区域X,区域X为中心区域,区域A、区域B、区域C以及区域D与区域X互联,并通过与区域X互联实现两两区域的互联,则该多条网络链路可以分别为区域A、区域B、区域C以及区域D与区域X之间的网络链路。其中,多条网络链路、多个调度批次以及每个调度批次的调度时长均可以根据具体需求进行配置,本申请实施例不做限制。
针对将多条网络链路分为N个网络链路组的相关过程。
在一种可行的实施方式中,网络调度对象可以将多条网络链路中的每条网络链路分别划分至不同的网络链路组中,得到N个网络链路组,其中,一个网络链路组中包含一条网络链路。在另一种可行的实施方式中,网络调度对象可以获取网络链路组的数量N,将多条网络链路进行随机划分,得到N个网络链路组,其中,一个网络链路组至少包含一条网络链路,该种情况下N可以根据具体需求进行配置。在另一种可行的实施方式中,网络调度对象可以获取网络链路组的数量N,将多条网络链路依次划分至不同的网络链路组中,得到N个网络链路组,该种情况下N可以根据具体需求进行配置。
在另一种可行的实施方式中,网络调度对象可以获取多条网络链路中每条网络链路的归属位置信息;其中,任一网络链路的归属位置信息用于指示相应网络链路所属的两端部署区域;按照每条网络链路的归属位置信息所指示的两端部署区域,将多条网络链路分为N个网络链路组;其中,任一网络链路组中的所有网络链路的两端部署区域相同。其中,一条网络链路所属的两端部署区域是指:通过该网络链路互联的两个网络节点所部属的区域,任意两条网络链路的两端部属区域相同是指:该两条网络链路的两端部属区域分别相同,举例来说,若一条网络链路所连接的两个网络节点分别为网络节点a1和网络节点b1,另一条网络链路所连接的两个网络节点分别为网络节点a2和网络节点b2,其中,网络节点a1和网络节点a2所部属的区域为区域A,网络节点b1和网络节点b2所部属的区域为区域B,该两条网络链路的两端部属区域均为区域A和区域B,则该两条网络链路的两端部属区域相同,该两条网络链路被划分至同一个网络链路组。若在一个应用场景中,需要对多个区域之间的网络链路的流量分析数据进行管理,则基于上述将多条网络链路划分为N个网络链路组的方式,可以将两个区域之间的网络链路划分为一个网络链路组;后续通过确定N个网络链路组中每个网络链路组在多个调度批次中所属的调度批次的相关过程,可以使得流量分析数据以“区域-区域”为最小维度去分批次接入,保证了同一个局向(一个区域到另一个区域)的流量分析数据都在同一批次接入,使得可以获取区域之间的网络链路的流量分析数据以实现区域之间的流量分析。
请参见图5a,为本申请实施例提供的一种划分得到网络链路组的示意图;若区域A与区域X之间存在2条网络链路,若区域B与区域X之间存在1条网络链路,若区域C与区域X之间存在2条网络链路,若区域D与区域X之间存在1条网络链路,则区域A与区域X之间存在的2条网络链路被划分为1个网络链路组,区域B与区域X之间存在的1条网络链路被划分为1个网络链路组,区域C与区域X之间存在的2条网络链路被划分为1个网络链路组,区域D与区域X之间存在的1条网络链路被划分为1个网络链路组。可以知道的是,对于网络链路组的划分可以根据具体的需求来划分。
针对确定N个网络链路组中每个网络链路组在多个调度批次中所属的调度批次的相关过程,即针对从多个调度批次中确定出N个网络链路组中每个网络链路组所属的调度批次的相关过程。
在一种可行的实施方式中,网络调度对象可以获取调度批次的数量,并将多个调度批次依次确定为N个网络链路组所属的调度批次;其中,若调度批次的数量用H表示,则H应该为大于1且小于或等于N的整数,调度批次的数量可以根据具体需求进行设定,本申请实施例不做限制。举例来说,若N=3,H=2,则可以依次将第1个调度批次确定为第1个网络链路组所属的调度批次,将第2个调度批次确定为第2个网络链路组所属的调度批次,将第1个调度批次确定为第3个网络链路组所属的调度批次,该种情况下,第1个调度批次对应调度第1个网络链路组和第3个网络链路组,第2个调度批次对应调度第2个网络链路组。
在另一种可行的实施方式中,网络调度对象也可以直接确定多个调度批次中每个调度批次对应调度的网络链路组。可选的,网络调度对象可以将N个网络链路组划分至多个调度批次中;举例来说,若N=3,H=2,则可以将第1个网络调度组和第2个网络链路组划分至第1个调度批次中,将第3个网络链路组划分至第2个调度批次中;也可以将第1个网络调度组划分至第1个调度批次中,将第2个网络链路组和第3个网络链路组划分至第2个调度批次中,等等。可选的,网络调度对象可以将N个网络链路组依次划分至多个调度批次中;举例来说,若N=3,H=2,则可以依次将第1个网络链路组划分至第1个调度批次中,将第2个网络链路组划分至第2个调度批次中,将第3个网络链路组划分至第1个调度批次中,该种情况下,第1个调度批次对应调度第1个网络链路组和第3个网络链路组,第2个调度批次对应调度第2个网络链路组。
在一种可行的实施方式中,网络调度对象可以获取N个网络链路组中每个网络链路组在历史时间段内的链路组流量;根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次;其中,任一调度批次中的网络链路组的总链路组流量,小于N个网络链路组的总链路组流量。其中,任一调度批次中的网络链路组的总链路组流量是指:该调度批次中的各个网络链路组的链路组流量之和,N个网络链路组的总链路组流量是指:N个网络链路组中各个网络链路组的链路组流量之和。其中,历史时间段可以是指触发执行确定调度策略的时间点之前的一个时间段,历史时间段的起止时间以及时长均是可以根据具体需求进行设定的,本申请实施例不做限制,例如,历史时间段可以被设定为触发执行确定调度策略的时间点的前一天,触发执行确定调度策略的时间点的前一周,等等。其中,任一网络链路组在历史时间段内的链路组流量是指:该网络链路组中每条网络链路在历史时间段内的流量之和,此处提及的任一网络链路在历史时间段内的流量可以是指:该网络链路在历史时间段内的总流量,或者该网络链路在历史时间段内的平均流量,可以根据具体需求进行选用;也就是说,网络调度对象可以获取N个网络链路组中每条网络链路在历史时间段内的流量,并根据每条网络链路在历史时间段内的流量确定出N个网络链路组中每个网络链路组在历史时间段内的链路组流量。
在一种可行的实施方式中,请参见图5b,为本申请实施例提出的一种确定网络链路组所属的调度批次的示意图;网络调度对象根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可以:根据每个网络链路组的链路组流量以及调度批次的数量,确定出各个调度批次对应的平均流量;按照链路组流量的大小对N个网络链路组进行降序排序,并依次遍历N个网络链路组;针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次。在一种可行的实施方式中,网络调度对象根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次的过程中,可以执行如下步骤:若多个调度批次中各个调度批次对应的评估总流量均大于或等于平均流量,则将多个调度批次中,评估总流量与平均流量之间差异最小的调度批次,确定为当前网络链路组所属的调度批次;若多个调度批次中,存在评估总流量小于平均流量的调度批次,则将评估总流量小于平均流量的调度批次中,评估总流量与平均流量之间差异最大的调度批次,确定为当前网络链路组所属的调度批次。其中,若调度批次的数量用H表示,则H应该为大于1且小于或等于N的整数,调度批次的数量可以根据具体需求进行设定,本申请实施例不做限制;各个调度批次对应的平均流量是指:每个网络链路组的链路组流量之和,与调度批次的数量之间的比值;将当前网络链路组加入一个调度批次后,该调度批次对应的评估总流量是指:将当前网络链路组加入该调度批次后,该调度批次中的各个网络链路组的链路组流量之和。可选的,评估总流量与平均流量之间差异可以用评估总流量与平均流量的差值的绝对值来表示。
在另一种可行的实施方式中,网络调度对象根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可以:按照链路组流量的降序依次遍历N个网络链路组;针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;将多个调度批次中,评估总流量最小的调度批次,确定为当前网络链路组所属的调度批次。其中,按照链路组流量的降序依次遍历N个网络链路组,即按照链路组流量的大小对N个网络链路组进行降序排序,并依次遍历N个网络链路组。
上述根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次的相关方式,可以使得每个调度批次要调度的流量都尽可能达到了均衡,使得后续在对不同调度批次的流量分析数据进行处理时提升了负载均衡效果,提升处理资源的利用率,降低处理资源的成本。
在一种可行的实施方式中,网络调度对象可以周期性触发执行确定调度策略的步骤,即网络调度对象可以周期性确定调度策略,确定调度策略的周期(为了便于阐述称为策略周期)可以根据具体需求进行设定,例如可以设定为1天,一周等等,本申请实施例不做限制。基于此,上述从多个调度批次中确定出N个网络链路组中每个网络链路组所属的调度批次的相关过程中,所提及的触发执行确定调度策略的时间点,即一个策略周期的开始时间点;历史时间段可以是指触发执行确定调度策略的时间点之前的一个时间段。在一种示例性的应用场景中,策略周期可以被设定为1天,历史时间段可以被设定为触发执行确定调度策略的时间点的前一天,则网络调度对象可以每到一个策略周期的开始时间点时,根据N个网络链路组中每个网络链路组在前一天内的链路组流量,从多个调度批次中确定出每个网络链路组所属的调度批次,以进一步确定出该策略周期对应的调度策略,使得在该策略周期内可以基于该调度策略来进行调度,其中,一个策略周期的开始时间点可以根据具体需求进行设定,例如可以被设定为一天中的零点、2点、4点等等,本申请实施例不做限制。基于上述描述可知,网络调度对象可以周期性根据N个网络链路组中每个网络链路组在历史时间段内的链路组流量确定调度策略,使得确定出的调度策略所指示的网络链路组的调度批次能够与网络链路组在历史时间段内的链路组流量动态适应。
本申请实施例中,将多条网络链路分为N个网络链路组的相关过程,可以是通过对多条网络链路的链路标识进行操作得到的,网络链路的链路标识可以是用于唯一标识相应网络链路的标识信息。网络调度对象可以获取链路参数信息,链路参数信息可以包括多条网络链路的链路标识、多条网络链路的归属位置信息、多条网络链路在历史时间段内的流量、历史时间段,以根据链路参数信息和确定的多个调度批次以及每个调度批次的调度时长,确定调度策略;若网络调度对象周期性触发执行确定调度策略的步骤,则链路参数信息也是周期性获取的。
S402,按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组。
其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数;步骤S402的相关过程与上述步骤S201的相关过程类似,在此不做赘述。
S403,向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息。
其中,采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;步骤S403的相关过程与上述步骤S202的相关过程类似,在此不做赘述。一条网络链路的流量分析数据可以包括:可以用于对该网络链路进行流量分析的相关数据;在不同的应用场景中,可以根据具体的需求设定网络链路的管理节点所需采集的流量分析数据的数据类型,并通过网络调度对象下发至管理节点中,使得管理节点可以采集与应用场景相适应的流量分析数据;例如,在一种应用场景下,需要分析网络链路的实时流量,则流量分析数据可以被设定为在网络链路中传输的数据所对应的流量信息,一个数据对应的流量信息可以包括该数据的流量。
S404,接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
在一种可行的实施方式中,网络调度对象还支持根据调度指令对多条网络链路的管理节点进行控制;网络调度对象可以在接收到调度指令的情况下,根据调度指令确定出需调度的各条网络链路;向确定出的各条网络链路的管理节点发送采集控制信息,并向其他网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据;接收确定出的网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。其中,调度指令支持根据具体的需求进行配置,调度指令可以指示需调度的各条网络链路,例如可以携带需调度的各条网络链路的链路标识。可选的,调度指令还支持对调度指令对应的调度时长进行配置,使得网络调度对象可以接收确定出的网络链路的管理节点在调度指令对应的调度时长内返回的流量分析数据,并对接收到的流量分析数据进行处理,网络调度对象在调度指令对应的调度时长结束之后,可以切换至根据调度策略对多条网络链路的管理节点进行控制的处理逻辑。
在一种可行的实施方式中,网络调度对象对接收到的流量分析数据进行处理的相关过程,可以包括对接收到的流量分析数据进行流量分析处理的相关过程,即网络调度对象可以对接收到的流量分析数据进行流量分析处理,得到流量分析结果。其中,网络调度对象对接收到的流量分析数据进行流量分析处理的相关过程,可以是与具体的应用场景相适应的,在不同的需求下,网络调度对象可以执行与相应需求相适应的流量分析处理,例如,在一种应用场景下,网络调度对象可以对接收到的流量分析数据进行流量分析处理,得到流量分析结果,该流量分析结果可以用于指示网络链路的实时流量;又如,在另一种应用场景下,网络调度对象可以对接收到的流量分析数据进行流量分析处理,得到流量分析结果,该流量分析结果可以用于指示,网络链路在当前周期的调度批次的调度时长内的总流量。
在一种可行的实施方式中,网络调度对象可以对接收到的流量分析数据进行流量分析处理,得到流量分析结果;若流量分析结果指示多条网络链路中包括满足优化条件的网络链路,则输出针对满足优化条件的网络链路的优化提示信息;其中,满足优化条件的网络链路包括:产生的流量超过流量阈值且持续时长达到时长阈值的网络链路,优化提示信息用于提示对满足优化条件的网络链路进行服务优化处理。其中,一条网络链路产生的流量可以是该网络链路在当前周期的调度批次的调度时长内的总流量;流量阈值和时长阈值可以根据具体业务需求进行设定,本申请实施例不做限制,例如每个调度批次的调度时长相同,时长阈值被设定为3个调度批次的调度时长之和,那么基于当前周期的调度批次确定出的某网络链路的流量超过流量阈值,且当前周期的调度批次的前两个调度批次对应确定出的该网络链路的流量均超过流量阈值,则可以确定该网络链路的流量超过流量阈值且持续时长达到时长阈值,即可以确定该网络链路满足优化条件。在另一种可行的实施方式中,一条网络链路满足优化条件也可以被设定为:该网络链路的流量超过流量阈值且当前周期的调度批次之前的K个调度批次对应的该网络链路的流量均超过流量阈值,K可以根据具体需求进行设定;换言之,即某个网络链路的流量在持续多个调度批次中均超过流量阈值,则可以确定相应网络链路满足优化条件。其中,优化提示信息用于提示对满足优化条件的网络链路进行服务优化处理,本申请实施例不对优化提示信息的具体内容进行限制;例如,若满足优化条件的网络链路为网络链路1,则优化提示信息可以为“网络链路1的流量长时间超过流量阈值,请对其进行安全检测或扩容”。
在一种示例性的应用场景中,一条网络链路连接的两个网络节点中的任一网络节点可以由一个或多个计算机机房构成,网络调度对象对接收到的流量分析数据进行流量分析处理,得到流量分析结果的过程中,也可以分析接收到的流量分析数据所涉及的各条网络链路在不同计算机机房的流量分布;一条网络链路可以用于传输不同业务部门的数据,网络调度对象对接收到的流量分析数据进行流量分析处理,得到流量分析结果的过程中,也可以分析接收到的流量分析数据所涉及的各条网络链路在不同业务部门的流量分布;一条网络链路可以用于传输不同业务服务(或业务集或业务模块)的数据,网络调度对象对接收到的流量分析数据进行流量分析处理,得到流量分析结果的过程中,也可以分析接收到的流量分析数据所涉及的各条网络链路在不同业务服务的流量分布;网络调度对象对接收到的流量分析数据进行流量分析处理,得到流量分析结果的过程中,也可以分析接收到的流量分析数据所涉及的各条网络链路的DSCP(Differentiated Services Code Point,差分服务代码点)金银铜流量分布,还可以分析接收到的流量分析数据所涉及的各条网络链路的流量成本等等。
基于上述应用场景的描述,在一种可行的实施方式中,流量分析数据可以被设定为在网络链路中传输的数据所对应的流量信息,一个数据对应的流量信息可以包括该数据的流量、源IP(Internet Protocol Address)、目的IP、流量方向、DSCP、传输该数据的网络链路的链路标识等信息;也就是说,一条网络链路的管理节点可以从该网络链路传输的数据中提取数据对应的流量信息,并将其作为流量分析数据发送至网络调度对象,其中,网络链路传输的数据可以为报文数据,管理节点可以对报文数据进行协议解析以提取得到相应的流量信息。请参见图5c,为本申请实施例提供的一种流量分析处理的示意图;网络调度对象在接收到网络链路在每调度批次的调度时长内的流量信息之后,可以进行IP粒度聚合计算,即以源IP或目的IP或源目IP为key(键值)进行流量聚合处理,即以源IP或目的IP或源目IP为key(键值),对每调度批次的调度时长内的流量信息进行聚合,得到IP粒度的流量信息。针对一个数据的上述分析,可以是对在某个企业对其两个不同办公地点之间的网络链路上传输的数据进行的分析,以此来开展企业内的信息安全等处理。
然后,网络调度对象可以执行大宽表构建的相关过程,在该过程中,可以根据IP关联的计算机机房、业务部门、业务服务等业务信息,构建得到包含IP粒度的流量信息和业务信息的大宽表数据。然后网络调度对象可以根据构建的大宽表数据分析得到流量分析结果,并将流量分析结果存储至数据库中,使得后续可以在需查询流量分析结果时可以从数据库中对流量分析结果进行查询并输出,其中,该流量分析结果可以用于指示网络链路在不同计算机机房的流量分布,网络链路在不同业务部门的流量分布,网络链路在不同业务服务的流量分布,等等。
在另一种可行的实施方式中,流量分析数据也可以被设定为在网络链路中传输的数据(即报文数据),一条网络链路的管理节点可以将该网络链路传输的报文数据进行复制,得到复制的报文数据,并将复制的报文数据作为流量分析数据发送至网络管理节点,网络管理节点可以从接收到的报文数据中提取得到流量信息,并基于流量信息执行后续流量分析处理相关的操作;值得注意的是,在将流量分析数据设定为在网络链路中传输的数据(即报文数据)之前,需要获取所传输的报文数据的个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
本申请可以对不同的网络链路上的流量大小进行分析,以便于在流量持续变大的时候,能够及时通过扩容、更换设备等方式保证业务数据能够及时、快速的传输、处理。在其他一些应用场景下,例如在某个企业或者单位自行架构本申请的相关系统的场景下,则除了可以进行流量分析外,对同一企业的多个区域之间的网络链路的数据还可以进行容灾备份、信息安全等等处理。
网络调度对象支持业务对象(例如网络运营人员)对多条网络链路对应分析得到的流量分析结果进行查询,并输出业务对象查询的流量分析结果。请参见图5d,为本申请实施例提供的一种流量分析结果的查询示意图,该流量分析结果可以指示网络链路在不同计算机机房的流量分布,也就是说,网络调度对象支持查询任一网络链路的流量分布在哪些计算机机房(也称机房网络模块),还支持查询流量TopN的计算机机房(即流量最高的N个计算机机房)及其流量曲线,该流量曲线是指在时间分布上的流量曲线;图5d所示的流量分析结果的查询示意图中,查询了网络链路1在2023年10月29日的计算机机房的流量分布,并查询了流量最高的2个计算机机房的流量曲线。请参见图5e,为本申请实施例提供的另一种流量分析结果的查询示意图,该流量分析结果可以指示网络链路在不同业务部门的流量分布,也就是说,网络调度对象支持查询任一网络链路的流量分布在哪些业务部门,还支持查询流量TopN的业务部门(即流量最高的N个业务部门)及其流量曲线,该流量曲线是指在时间分布上的流量曲线;图5e所示的流量分析结果的查询示意图中,查询了网络链路1在2023年10月29日的业务部门的流量分布,并查询了流量最高的2个业务部门的流量曲线。请参见图5f,为本申请实施例提供的又一种流量分析结果的查询示意图,该流量分析结果可以指示网络链路在不同业务服务的流量分布,也就是说,网络调度对象支持查询任一网络链路的流量分布在哪些业务服务,还支持查询流量TopN的业务服务(即流量最高的N个业务服务)及其流量曲线,该流量曲线是指在时间分布上的流量曲线;图5f所示的流量分析结果的查询示意图中,查询了网络链路1在2023年10月29日的业务服务的流量分布,并查询了流量最高的2个业务服务的流量曲线。请参见图5g,为本申请实施例提供的再一种流量分析结果的查询示意图,该流量分析结果可以指示网络链路的DSCP金银铜流量分布,也就是说,网络调度对象支持查询任一网络链路的DSCP金银铜流量分布,还支持查询流量TopN的DSCP(即流量最高的N个DSCP)及其流量曲线,该流量曲线是指在时间分布上的流量曲线;图5g所示的流量分析结果的查询示意图中,查询了网络链路1在2023年10月29日的DSCP金银铜流量分布,并查询了流量最高的2个DSCP的流量曲线。请参见图5h,为本申请实施例提供的还一种流量分析结果的查询示意图,该流量分析结果可以指示IP的流量分布情况;也就是说,网络调度对象支持查询流量TopN的IP(即流量最高的N个IP)。
在一种可行的实施方式中,网络调度对象可以包括调度平台以及管理平台;其中,调度平台可以用于执行分批次调度的相关处理逻辑,管理平台可以用于执行与流量分析数据的处理相关的处理逻辑,例如可以用于执行流量分析处理的相关过程。在一种可行的实施方式中(为了便于阐述称为第一种实施方式),调度平台可以按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组,并向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;M个目标网络链路组中每条目标网络链路的管理节点可以采集相应目标网络链路的流量分析数据,并将采集到的流量分析数据返回至调度平台中;调度平台可以将接收到的流量分析数据转发至管理平台,由管理平台对接收到的流量分析数据进行处理。在另一种可行的实施方式中(为了便于阐述称为第二种实施方式),调度平台可以按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组,并向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;M个目标网络链路组中每条目标网络链路的管理节点可以采集相应目标网络链路的流量分析数据,并将采集到的流量分析数据返回至管理平台,管理平台可以对接收到的流量分析数据进行处理。
以第二种实施方式为例,管理节点可以包括采集模块以及传输模块,请参见图6a,为本申请实施例提供的一种采集流量分析数据的示意图;采集模块可以安装于网络链路中以用于采集该网络链路的流量分析数据,采集模块采集的流量分析数据可以通过链路发送到传输模块中,再由传输模块将流量分析数据转发到管理平台中;其中,该传输模块可以选用交换机,一条网络链路的流量分析数据通过采集模块连接到交换机的一个端口上,如果关闭这个端口,则该条网络链路的流量分析数据就不会转发至管理平台中,即该网络链路的流量分析数据不流向管理平台。可选的,在流量分析数据被设定为在网络链路中传输的数据(即报文数据)的情况下,采集模块可以选用分光器以实现对网络链路中传输的数据的复制。基于图3所示的分批次采集流量分析数据的过程,请参见图6b,为本申请实施例提出的另一种分批次采集流量分析数据的示意图,通过包括采集模块601在内的多个采集模块、多个交换机来完成流量分析数据的采集;以一个调度周期为例,在周期计时信息所指示的时间到达该调度周期内的第1个调度批次的开始时间时,调度平台可以向第1个网络链路组和第2个网络链路组中每条网络链路对应的交换机发送采集控制信息,使得相应交换机可以在第1个调度批次的调度时长内持续转发相应网络链路的流量分析数据至管理平台。在周期计时信息所指示的时间到达该调度周期内的第2个调度批次的开始时间时,调度平台可以向第3个网络链路组中每条网络链路对应的交换机发送采集控制信息,使得相应交换机可以在第2个调度批次的调度时长内持续转发相应网络链路的流量分析数据至管理平台。在周期计时信息所指示的时间到达该调度周期内的第3个调度批次的开始时间时,调度平台可以向第4个网络链路组中每条网络链路对应的交换机发送采集控制信息,使得相应交换机可以在第3个调度批次的调度时长内持续转发相应网络链路的流量分析数据至管理平台。
以第二种实施方式为例。请参见图6c,为本申请实施例提供的一种调度平台的结构示意图,调度平台可以包括配置处理模块、调度模块以及任务下发模块;其中,配置处理模块可以用于获取本申请实施例提出的数据处理方法的处理过程中所需的相关数据,例如可以用于获取链路参数信息、多个调度批次以及每个调度批次的调度时长等数据,其中,链路参数信息可以包括多条网络链路的链路标识、多条网络链路的归属位置信息、多条网络链路在历史时间段内的流量、历史时间段;当管理节点包含采集模块和传输模块,且传输模块为交换机时,链路参数信息还可以包括多条网络链路中每条网络链路对应的交换机的交换机标识以及交换机端口的端口标识,其中,交换机标识为可以用于唯一标识交换机的标识信息,端口标识可以为可以用于唯一标识交换机端口的标识信息。在一种示例性的应用场景中,若策略周期被设定为1天,历史时间段被设定为触发执行确定调度策略的时间点的前一天,则对于历史时间段的获取,可以为针对日期的获取,即获取网络链路每一天对应的链路参数信息,为了便于记录,可以将网络链路的归属位置信息所指示的两端部署区域中,安装有采集模块的区域记为采集区域,将未安装采集模块的区域记为对端区域,基于此,网络链路的归属位置信息可以被记录为采集区域以及对端区域,此时链路参数信息所包含的信息字段可以如以下表1所示:
表1
其中,调度模块可以用于实现周期性调度和自定义调度的相关过程,周期性调度即基于调度策略的调度方式,自定义调度即基于调度指令的调度方式;以基于调度策略的调度方式为例,调度模块可以根据链路参数信息和确定的多个调度批次以及每个调度批次的调度时长,确定调度策略。任务下发模块可以用于执行调度任务的下发过程,也就是说,任务下发模块可以在周期计时信息所指示的时间每到达一个调度周期内的一个调度批次的开始时间时,按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组,并向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息,还可以向N个网络链路组中除M个目标网络链路组之外的,其他网络链路组中每条网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据,使得每条目标网络链路的管理节点可以在相应调度批次的调度时长内持续采集流量分析数据并返回至管理平台;其中,当管理节点包括采集模块和传输模块,且传输模块为交换机时,采集控制信息与采集终端信息应该是发送至交换机的。
本申请实施例中,可以将多条网络链路分为N个网络链路组以及从多个调度批次中确定N个网络链路组中每个网络链路组所属的调度批次,并根据每个网络链路组所属的调度批次以及每个调度批次的调度时长确定出调度策略;在调度策略的指示下,可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理,在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。在确定每个网络链路组所属的调度批次的过程中,可以根据每个网络链路组的链路组流量的大小来确定,该种方式可以使每个调度批次要调度的流量都尽可能达到了均衡,使得后续在对不同调度批次的流量分析数据进行处理时提升了负载均衡效果,提升处理资源的利用率,降低处理资源的成本;并且,可以周期性根据每个网络链路组在历史时间段内的链路组流量确定调度策略,使得确定出的调度策略所指示的网络链路组的调度批次能够与网络链路组在历史时间段内的链路组流量动态适应。
基于上述方法实施例的描述,本申请实施例还公开了一种数据处理装置;该数据处理装置可以是运行于计算机设备中的计算机程序,该计算机设备可以为网络调度对象,也就是说,该数据处理装置可以应用于网络调度对象,该网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组;该数据处理装置可以执行图2或图4所示的方法流程中的各个步骤。请参见图7,为本申请实施例提供的一种数据处理装置的结构示意图,该数据处理装置可以包括通信单元701以及处理单元702,其中:
通信单元701,用于进行通信交互;
处理单元702,用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
在一种实施方式中,N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次,调度策略用于指示周期性地调度多个调度批次中每个网络链路组的网络链路的管理节点;
处理单元702在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组时,可具体用于:
按照调度策略和周期计时信息,从多个调度批次中确定出当前周期的调度批次;
从N个网络链路组中确定出属于当前周期的调度批次的M个网络链路组,并将确定出的M个网络链路组作为M个目标网络链路组。
在一种实施方式中,处理单元702还用于:
在接收到调度指令的情况下,根据调度指令确定出需调度的各条网络链路;
向确定出的各条网络链路的管理节点发送采集控制信息,并向其他网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据;
接收确定出的网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
在一种实施方式中,处理单元702在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组之前,还用于:
获取N个网络链路组中每个网络链路组在历史时间段内的链路组流量;
根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次;其中,任一调度批次中的网络链路组的总链路组流量,小于N个网络链路组的总链路组流量。
在一种实施方式中,处理单元702在用于根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可具体用于:
根据每个网络链路组的链路组流量以及调度批次的数量,确定出各个调度批次对应的平均流量;
按照链路组流量的大小对N个网络链路组进行降序排序,并依次遍历N个网络链路组;
针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;
根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次。
在一种实施方式中,处理单元702在用于根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次时,可具体用于:
若多个调度批次中各个调度批次对应的评估总流量均大于或等于平均流量,则将多个调度批次中,评估总流量与平均流量之间差异最小的调度批次,确定为当前网络链路组所属的调度批次;
若多个调度批次中,存在评估总流量小于平均流量的调度批次,则将评估总流量小于平均流量的调度批次中,评估总流量与平均流量之间差异最大的调度批次,确定为当前网络链路组所属的调度批次。
在一种实施方式中,处理单元702在用于根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可具体用于:
按照链路组流量的降序依次遍历N个网络链路组;
针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;
将多个调度批次中,评估总流量最小的调度批次,确定为当前网络链路组所属的调度批次。
在一种实施方式中,处理单元702在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组之前,还用于:
获取多条网络链路中每条网络链路的归属位置信息;其中,任一网络链路的归属位置信息用于指示相应网络链路所属的两端部署区域;
按照每条网络链路的归属位置信息所指示的两端部署区域,将多条网络链路分为N个网络链路组;
其中,任一网络链路组中的所有网络链路的两端部署区域相同。
在一种实施方式中,处理单元702在用于对接收到的流量分析数据进行处理时,可具体用于:对接收到的流量分析数据进行流量分析处理,得到流量分析结果;
处理单元702还用于:
若流量分析结果指示多条网络链路中包括满足优化条件的网络链路,则输出针对满足优化条件的网络链路的优化提示信息;
其中,满足优化条件的网络链路包括:产生的流量超过流量阈值且持续时长达到时长阈值的网络链路,优化提示信息用于提示对满足优化条件的网络链路进行服务优化处理。
根据本申请的另一个实施例,图7所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序,来构造如图7中所示的数据处理装置,以及来实现本申请实施例的数据处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
本申请实施例中,可以按照调度策略的指示将多条网络链路划分得到的N个网络链路组分批次进行调度,以实现对N个网络链路组中网络链路的流量分析数据的分批次采集与处理,即实现了分时复用处理,换言之,在调度策略的指示下,可以通过调度网络链路的管理节点来实现对多条网络链路划分得到的N个网络链路组的分批次调度,即可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理;在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备,该计算机设备可以为网络调度对象,该网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,多条网络链路被分为N个网络链路组。请参见图8,该计算机设备至少包括处理器801、输入接口802、输出接口803以及计算机可读存储介质804。其中,计算机设备内的处理器801、输入接口802、输出接口803以及计算机可读存储介质804可通过总线或其他方式连接。计算机可读存储介质804可以存储在计算机设备的存储器中,计算机可读存储介质804用于存储计算机程序,处理器801用于执行计算机可读存储介质804存储的计算机程序。处理器801(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于运行计算机程序从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例提出的处理器801可以用于执行分批次调度的相关过程,具体包括:按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理,等等。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放计算机程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了计算机程序,该计算机程序适于被处理器801加载并执行以实现本申请实施例所提供的相应方法流程。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,可由处理器加载并执行计算机可读存储介质中存放的计算机程序,以实现上述有关图2或图4所示的方法实施例中的相应步骤;具体实现中,计算机可读存储介质中的计算机程序可由处理器加载并执行如下步骤:
按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组;其中,M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;
向M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;
接收M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
在一种实施方式中,N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次,调度策略用于指示周期性地调度多个调度批次中每个网络链路组的网络链路的管理节点;
处理器801在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组时,可具体用于:
按照调度策略和周期计时信息,从多个调度批次中确定出当前周期的调度批次;
从N个网络链路组中确定出属于当前周期的调度批次的M个网络链路组,并将确定出的M个网络链路组作为M个目标网络链路组。
在一种实施方式中,处理器801还用于:
在接收到调度指令的情况下,根据调度指令确定出需调度的各条网络链路;
向确定出的各条网络链路的管理节点发送采集控制信息,并向其他网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据;
接收确定出的网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
在一种实施方式中,处理器801在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组之前,还用于:
获取N个网络链路组中每个网络链路组在历史时间段内的链路组流量;
根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次;其中,任一调度批次中的网络链路组的总链路组流量,小于N个网络链路组的总链路组流量。
在一种实施方式中,处理器801在用于根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可具体用于:
根据每个网络链路组的链路组流量以及调度批次的数量,确定出各个调度批次对应的平均流量;
按照链路组流量的大小对N个网络链路组进行降序排序,并依次遍历N个网络链路组;
针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;
根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次。
在一种实施方式中,处理器801在用于根据各个调度批次对应的评估总流量和平均流量,从多个调度批次中确定当前网络链路组所属的调度批次时,可具体用于:
若多个调度批次中各个调度批次对应的评估总流量均大于或等于平均流量,则将多个调度批次中,评估总流量与平均流量之间差异最小的调度批次,确定为当前网络链路组所属的调度批次;
若多个调度批次中,存在评估总流量小于平均流量的调度批次,则将评估总流量小于平均流量的调度批次中,评估总流量与平均流量之间差异最大的调度批次,确定为当前网络链路组所属的调度批次。
在一种实施方式中,处理器801在用于根据每个网络链路组的链路组流量,从多个调度批次中分别确定出每个网络链路组所属的调度批次时,可具体用于:
按照链路组流量的降序依次遍历N个网络链路组;
针对遍历的当前网络链路组,确定出将当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;
将多个调度批次中,评估总流量最小的调度批次,确定为当前网络链路组所属的调度批次。
在一种实施方式中,处理器801在用于按照调度策略的指示,从N个网络链路组中确定M个目标网络链路组之前,还用于:
获取多条网络链路中每条网络链路的归属位置信息;其中,任一网络链路的归属位置信息用于指示相应网络链路所属的两端部署区域;
按照每条网络链路的归属位置信息所指示的两端部署区域,将多条网络链路分为N个网络链路组;
其中,任一网络链路组中的所有网络链路的两端部署区域相同。
在一种实施方式中,处理器801在用于对接收到的流量分析数据进行处理时,可具体用于:对接收到的流量分析数据进行流量分析处理,得到流量分析结果;
处理器801还用于:
若流量分析结果指示多条网络链路中包括满足优化条件的网络链路,则输出针对满足优化条件的网络链路的优化提示信息;
其中,满足优化条件的网络链路包括:产生的流量超过流量阈值且持续时长达到时长阈值的网络链路,优化提示信息用于提示对满足优化条件的网络链路进行服务优化处理。
本申请实施例中,可以按照调度策略的指示将多条网络链路划分得到的N个网络链路组分批次进行调度,以实现对N个网络链路组中网络链路的流量分析数据的分批次采集与处理,即实现了分时复用处理,换言之,在调度策略的指示下,可以通过调度网络链路的管理节点来实现对多条网络链路划分得到的N个网络链路组的分批次调度,即可以通过调度网络链路的管理节点来实现对N个网络链路组中网络链路的流量分析数据的分批次采集,进而可以基于分批次采集到的流量分析数据实现分批次处理;在一个调度批次的调度过程中,仅采集该调度批次下的网络链路组中网络链路的流量分析数据并进行处理,可以节约处理资源。
本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质中读取该计算机程序,处理器执行该计算机程序,使得计算机设备执行上述图2或图4所示的方法实施例。应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (13)

1.一种数据处理方法,其特征在于,应用于网络调度对象,所述网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,所述多条网络链路被分为N个网络链路组,所述方法包括:
按照所述调度策略的指示,从所述N个网络链路组中确定M个目标网络链路组;其中,所述M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;
向所述M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;所述采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;
接收所述M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
2.如权利要求1所述的方法,其特征在于,所述N个网络链路组中的任一网络链路组被划分到多个调度批次中的其中一个调度批次,所述调度策略用于指示周期性地调度所述多个调度批次中每个网络链路组的网络链路的管理节点;
所述按照所述调度策略的指示,从所述N个网络链路组中确定M个目标网络链路组,包括:
按照所述调度策略和周期计时信息,从所述多个调度批次中确定出当前周期的调度批次;
从所述N个网络链路组中确定出属于所述当前周期的调度批次的M个网络链路组,并将确定出的M个网络链路组作为所述M个目标网络链路组。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
在接收到调度指令的情况下,根据所述调度指令确定出需调度的各条网络链路;
向确定出的各条网络链路的管理节点发送采集控制信息,并向其他网络链路的管理节点发送采集中断信息,以中断相应管理节点采集流量分析数据;
接收确定出的网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
4.如权利要求1所述的方法,其特征在于,所述按照所述调度策略的指示,从所述N个网络链路组中确定M个目标网络链路组之前,还包括:
获取所述N个网络链路组中每个网络链路组在历史时间段内的链路组流量;
根据所述每个网络链路组的链路组流量,从多个调度批次中分别确定出所述每个网络链路组所属的调度批次;其中,任一调度批次中的网络链路组的总链路组流量,小于所述N个网络链路组的总链路组流量。
5.如权利要求4所述的方法,其特征在于,所述根据所述每个网络链路组的链路组流量,从多个调度批次中分别确定出所述每个网络链路组所属的调度批次,包括:
根据所述每个网络链路组的链路组流量以及调度批次的数量,确定出各个调度批次对应的平均流量;
按照链路组流量的大小对所述N个网络链路组进行降序排序,并依次遍历所述N个网络链路组;
针对遍历的当前网络链路组,确定出将所述当前网络链路组加入所述各个调度批次后,各个调度批次对应的评估总流量;
根据所述各个调度批次对应的评估总流量和所述平均流量,从所述多个调度批次中确定所述当前网络链路组所属的调度批次。
6.如权利要求5所述的方法,其特征在于,所述根据所述各个调度批次对应的评估总流量和所述平均流量,从所述多个调度批次中确定所述当前网络链路组所属的调度批次,包括:
若所述多个调度批次中各个调度批次对应的评估总流量均大于或等于所述平均流量,则将所述多个调度批次中,评估总流量与所述平均流量之间差异最小的调度批次,确定为所述当前网络链路组所属的调度批次;
若所述多个调度批次中,存在评估总流量小于所述平均流量的调度批次,则将评估总流量小于所述平均流量的调度批次中,评估总流量与所述平均流量之间差异最大的调度批次,确定为所述当前网络链路组所属的调度批次。
7.如权利要求4所述的方法,其特征在于,所述根据所述每个网络链路组的链路组流量,从多个调度批次中分别确定出所述每个网络链路组所属的调度批次,包括:
按照链路组流量的降序依次遍历所述N个网络链路组;
针对遍历的当前网络链路组,确定出将所述当前网络链路组加入各个调度批次后,各个调度批次对应的评估总流量;
将所述多个调度批次中,评估总流量最小的调度批次,确定为所述当前网络链路组所属的调度批次。
8.如权利要求1所述的方法,其特征在于,所述按照所述调度策略的指示,从所述N个网络链路组中确定M个目标网络链路组之前,还包括:
获取所述多条网络链路中每条网络链路的归属位置信息;其中,任一网络链路的归属位置信息用于指示相应网络链路所属的两端部署区域;
按照所述每条网络链路的归属位置信息所指示的两端部署区域,将所述多条网络链路分为N个网络链路组;
其中,任一网络链路组中的所有网络链路的两端部署区域相同。
9.如权利要求1所述的方法,其特征在于,所述对接收到的流量分析数据进行处理,包括:对所述接收到的流量分析数据进行流量分析处理,得到流量分析结果;
所述方法还包括:
若所述流量分析结果指示所述多条网络链路中包括满足优化条件的网络链路,则输出针对所述满足优化条件的网络链路的优化提示信息;
其中,满足优化条件的网络链路包括:产生的流量超过流量阈值且持续时长达到时长阈值的网络链路,所述优化提示信息用于提示对满足优化条件的网络链路进行服务优化处理。
10.一种数据处理装置,其特征在于,应用于网络调度对象,所述网络调度对象用于根据调度策略对多条网络链路的管理节点进行控制,所述多条网络链路被分为N个网络链路组,所述装置包括:
通信单元,用于进行通信交互;
处理单元,用于按照所述调度策略的指示,从所述N个网络链路组中确定M个目标网络链路组;其中,所述M个目标网络链路组属于同一调度批次,M为大于或等于1且小于N的整数,N为大于1的整数;向所述M个目标网络链路组中每条目标网络链路的管理节点发送采集控制信息;所述采集控制信息用于触发管理节点采集相应目标网络链路的流量分析数据;接收所述M个目标网络链路组中每条目标网络链路的管理节点返回的流量分析数据,并对接收到的流量分析数据进行处理。
11.一种计算机设备,包括输入接口和输出接口,其特征在于,还包括:处理器以及计算机可读存储介质;
所述计算机可读存储介质,用于存储计算机程序;
所述处理器,用于运行所述计算机程序,实现如权利要求1-9任一项所述的数据处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-9任一项所述的数据处理方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-9任一项所述的数据处理方法。
CN202410259497.2A 2024-03-07 数据处理方法、装置、设备及存储介质、程序产品 Active CN117857465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410259497.2A CN117857465B (zh) 2024-03-07 数据处理方法、装置、设备及存储介质、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410259497.2A CN117857465B (zh) 2024-03-07 数据处理方法、装置、设备及存储介质、程序产品

Publications (2)

Publication Number Publication Date
CN117857465A true CN117857465A (zh) 2024-04-09
CN117857465B CN117857465B (zh) 2024-05-14

Family

ID=

Similar Documents

Publication Publication Date Title
CN107332876B (zh) 区块链状态的同步方法及装置
CN113347164B (zh) 基于区块链的分布式共识系统及方法、设备、存储介质
CN110232010A (zh) 一种告警方法、告警服务器及监控服务器
CN108062243B (zh) 执行计划的生成方法、任务执行方法及装置
CN111459986B (zh) 数据计算系统及方法
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN110380985B (zh) 基于交易链路的流量控制方法、装置、设备及存储介质
CN112559475B (zh) 数据实时捕获和传输方法及系统
CN111698315B (zh) 针对区块的数据处理方法、数据处理装置及计算机设备
CN109413202B (zh) 区块链交易信息的排序系统及方法
CN113656168A (zh) 一种流量的自动容灾和调度的方法、系统、介质和设备
CN111382334B (zh) 一种数据处理方法、装置、计算机以及可读存储介质
CN108399175B (zh) 一种数据存储、查询方法及其装置
CN114091610A (zh) 智能决策方法及装置
CN117857465B (zh) 数据处理方法、装置、设备及存储介质、程序产品
CN110225110B (zh) 一种区块链群组的拆分方法及装置
CN114610504A (zh) 消息处理方法、装置、电子设备及存储介质
CN106708869B (zh) 一种群组数据处理的方法及装置
CN109308219B (zh) 任务处理方法、装置及分布式计算机系统
CN117857465A (zh) 数据处理方法、装置、设备及存储介质、程序产品
EP2770447B1 (en) Data processing method, computational node and system
CN113612832A (zh) 流式数据分发方法与系统
CN114116908A (zh) 一种数据管理方法、装置及电子设备
CN113407491A (zh) 数据处理方法及装置
CN112596974A (zh) 一种全链路监控方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant