CN112217657A - 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 - Google Patents
基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 Download PDFInfo
- Publication number
- CN112217657A CN112217657A CN201910625332.1A CN201910625332A CN112217657A CN 112217657 A CN112217657 A CN 112217657A CN 201910625332 A CN201910625332 A CN 201910625332A CN 112217657 A CN112217657 A CN 112217657A
- Authority
- CN
- China
- Prior art keywords
- data
- predetermined
- level
- result
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012800 visualization Methods 0.000 description 6
- 101000762967 Homo sapiens Lymphokine-activated killer T-cell-originated protein kinase Proteins 0.000 description 5
- 102100026753 Lymphokine-activated killer T-cell-originated protein kinase Human genes 0.000 description 5
- 238000005553 drilling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于SD‑WAN系统的数据传输方法,能够在降低网络带宽和控制终端设备存储空间的同时实现数据下钻功能,该方法包括:获取第一预定时间间隔内的待传输数据;获取多个预定层级,其中,每两个相邻的预定层级为上下级关系;针对多个预定层级中的每个预定层级,从待传输数据中统计出属于预定层级的第一目标数据,得到分层结果,其中,分层结果的数据量小于待传输数据的数据量;确定SD‑WAN系统中用于实现客户终端设备和控制终端设备交互的传输隧道;通过传输隧道传输分层结果至控制终端设备。本公开还提供了一种基于SD‑WAN系统的数据处理方法、一种客户终端设备、一种控制终端设备、一种SD‑WAN系统、一种计算机设备和一种计算机可读存储介质。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种基于SD-WAN系统的数据传输方法、数据处理方法、客户终端设备、控制终端设备、计算机设备和计算机可读存储介质。
背景技术
SD-WAN(Software-Defined Wide Area Network,广域软件定义网络)是将SDN(Software Defined Network,软件定义网络)技术应用到广域网络中所形成的一种服务,这种服务用于连接广阔的地理范围的企业网络、数据中心、互联网应用及云服务。
在利用隧道技术传输技术时,业务数据的大小、时效性和功能性都不尽相同,面对不同的需求,需要有不同的数据处理和优质的存储方案,从而达到可以可视化这些复杂网络的数据,进而进行规划、部署和验证等措施。而SD-WAN在其中需要解决的问题是如何能够在控制链路网络带宽和控制器存储空间有限的前提下,可以在可视化时看到更丰富的支撑数据。
然而,发明人在研究本发明的过程中发现:现有技术中通过隧道技术上传大量的原始日志会严重占用网络带宽和占用控制器存储空间,导致企业需要花费额外的资金购买存储空间和网络带宽;另一种现有技术为了节省网络带宽和存储只上传基于单维度的统计数据,无法支持下钻功能。
发明内容
本发明的目的在于提供一种基于SD-WAN系统的数据传输方法、数据处理方法、客户终端设备、控制终端设备、计算机设备和计算机可读存储介质,能够在降低网络带宽和控制终端设备存储空间的同时实现数据下钻功能。
本发明的一个方面提供了一种基于SD-WAN系统的数据传输方法,应用于客户终端设备,上述方法包括:获取第一预定时间间隔内的待传输数据;获取多个预定层级,其中,每两个相邻的上述预定层级为上下级关系;针对上述多个预定层级中的每个上述预定层级,从上述待传输数据中统计出属于上述预定层级的第一目标数据,得到分层结果,其中,上述分层结果的数据量小于上述待传输数据的数据量;确定SD-WAN系统中用于实现上述客户终端设备和控制终端设备交互的传输隧道;通过上述传输隧道传输上述分层结果至上述控制终端设备。
可选地,从上述待传输数据中统计出属于上述预定层级的第一目标数据的步骤包括:判断上述预定层级是否为第一目标层级;在判定上述预定层级是上述第一目标层级时,从上述待传输数据中统计出属于上述预定层级且排名在与上述预定层级对应的第一阈值之前的数据;在判定上述预定层级不是上述第一目标层级时,从上述待传输数据中统计出属于上述预定层级的所有数据。
可选地,在得到分层结果的步骤之后,上述方法还包括:存储上述分层结果至内存;通过上述传输隧道传输上述分层结果至上述控制终端设备的步骤包括:从上述内存中获取上述分层结果,并通过上述传输隧道传输上述分层结果至上述控制终端设备;在通过上述传输隧道传输上述分层结果至上述控制终端设备的步骤之后,上述方法还包括:删除上述内存中存储的上述分层结果。
可选地,存储上述分层结果至内存的步骤包括:将上述分层结果中属于不同上述预定层级的上述第一目标数据存储至上述内存的不同位置。
可选地,每个第一目标数据包括至少一个元素,通过上述传输隧道传输上述分层结果至上述控制终端设备的步骤包括:将上述分层结果转化为至少一条数据链,其中,上述数据链包括所有的上述预定层级,上述数据链中每个上述预定层级对应一个元素,且下一级上述预定层级对应的元素是上一级上述预定层级对应的元素的子级别,在上述数据链中通过预定标识区分每个上述预定层级对应的元素;将上述至少一条数据链通过上述传输隧道传输至上述控制终端设备。
本发明的另一个方面提供了一种基于SD-WAN系统的数据处理方法,应用于控制终端设备,上述方法包括:获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,上述传输隧道是SD-WAN系统中用于实现上述客户终端设备和上述控制终端设备交互的隧道,上述分层结果是上述客户终端设备针对多个预定层级中的每个上述预定层级从待传输数据中统计出属于上述预定层级的第一目标数据得到的,其中,每两个相邻的上述预定层级为上下级关系,上述待传输数据是上述客户终端设备获取的第一预定时间间隔内的数据,上述第一预定时间间隔小于等于上述第二预定时间间隔,上述分层结果的数据量小于上述待传输数据的数据量;针对多个上述预定层级中的每个上述预定层级,将所有上述分层结果中属于上述预定层级的上述第一目标数据进行汇总,得到初步汇总结果;针对多个上述预定层级中的每个上述预定层级,从上述初步汇总结果中选取属于上述预定层级的第二目标数据,得到最终汇总结果。
可选地,从上述初步汇总结果中选取属于上述预定层级的第二目标数据的步骤包括:判断上述预定层级是否为第二目标层级;在判定上述预定层级是上述第二目标层级时,从上述初步汇总结果中选取属于上述预定层级且排名在与上述预定层级对应的第二阈值之前的数据,其中,上述第二阈值小于等于第一阈值,其中,在上述预定层级为第一目标层级时,上述第一目标数据为上述客户终端设备从上述待传输数据中统计出的属于上述预定层级且排名在与上述预定层级对应的上述第一阈值之前的数据;在判定上述预定层级不是上述第二目标层级时,从上述初步汇总结果中选取属于上述预定层级的所有数据。
可选地,获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果的步骤包括:获取上述客户终端设备通过上述传输隧道传输的属于上述第二预定时间内的所有数据链;其中,上述第一目标数据包括至少一个元素,上述数据链包括所有的上述预定层级,且上述数据链中每个上述预定层级对应一个元素,下一级上述预定层级对应的元素是上一级上述预定层级对应的元素的子级别,在上述数据链中通过预定标识区分每个上述预定层级对应的元素;针对多个上述预定层级中的每个上述预定层级,将所有上述分层统计结果中属于上述预定层级的上述第一目标数据进行汇总的步骤包括:利用上述预定标识区分每条上述数据链中每个上述预定层级对应的元素;针对多个上述预定层级中的每个上述预定层级,将所有上述数据链中与上述预定层级对应的元素进行汇总。
本发明的再一个方面提供了一种客户终端设备,包括:第一获取模块,用于获取第一预定时间间隔内的待传输数据;第二获取模块,用于获取多个预定层级,其中,每两个相邻的上述预定层级为上下级关系;分层模块,用于针对上述多个预定层级中的每个上述预定层级,从上述待传输数据中统计出属于上述预定层级的第一目标数据,得到分层结果,其中,上述分层结果的数据量小于上述待传输数据的数据量;确定模块,用于确定SD-WAN系统中用于实现上述客户终端设备和控制终端设备交互的传输隧道;传输模块,用于通过上述传输隧道传输上述分层结果至上述控制终端设备。
本发明的又一个方面提供了一种控制终端设备,包括:第三获取模块,用于获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,上述传输隧道是SD-WAN系统中用于实现上述客户终端设备和上述控制终端设备交互的隧道,上述分层结果是上述客户终端设备针对多个预定层级中的每个上述预定层级从待传输数据中统计出属于上述预定层级的第一目标数据得到的,其中,每两个相邻的上述预定层级为上下级关系,上述待传输数据是上述客户终端设备获取的第一预定时间间隔内的数据,上述第一预定时间间隔小于等于上述第二预定时间间隔,上述分层统计结果的数据量小于上述待传输数据的数据量;第一汇总模块,用于针对多个上述预定层级中的每个上述预定层级,将所有上述分层结果中属于上述预定层级的上述第一目标数据进行汇总,得到初步汇总结果;第二汇总模块,用于针对多个上述预定层级中的每个上述预定层级,从上述初步汇总结果中选取属于上述预定层级的第二目标数据,得到最终汇总结果。
本发明的又一个方面提供了一种SD-WAN系统,包括客户终端设备和控制终端设备,其中,上述客户终端设备用于:获取第一预定时间间隔内的待传输数据;获取多个预定层级,其中,每两个相邻的上述预定层级为上下级关系;针对上述多个预定层级中的每个上述预定层级,从上述待传输数据中统计出属于上述预定层级的第一目标数据,得到分层结果,其中,上述分层结果的数据量小于上述待传输数据的数据量;确定SD-WAN系统中用于实现上述客户终端设备和控制终端设备交互的传输隧道;通过上述传输隧道传输上述分层结果至上述控制终端设备;上述控制终端设备用于:获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,上述第一预定时间间隔小于等于上述第二预定时间间隔;针对多个上述预定层级中的每个上述预定层级,将所有上述分层结果中属于上述预定层级的上述第一目标数据进行汇总,得到初步汇总结果;针对多个上述预定层级中的每个上述预定层级,从上述初步汇总结果中选取属于上述预定层级的第二目标数据,得到最终汇总结果。
本发明的又一个方面提供了一种计算机设备,该计算机设备包括:存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现上述任一实施例所述的基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法。
本发明的又一个方面提供了一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述任一实施例所述的基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法。
本发明提供的基于SD-WAN系统的数据传输方法可以应用于客户终端设备,客户终端设备可以通过SD-WAN系统中的传输隧道与控制终端设备交互,客户终端设备通过执行该基于SD-WAN系统的数据传输方法可以从待传输数据中统计出属于每个预定层级的第一目标数据,进而得到分层结果,再将分层结果通过传输隧道传输至控制终端设备,由于每两个相邻的预定层级为上下级关系,则分层结果中每两个相邻的预定层级对应的第一目标数据也为上下级关系,即每层第一目标数据之前至嵌套关系,下一层预定层级的第一目标数据是上一层预定层级的第一目标数据更细粒度的划分,因此分层结果能够满足数据下钻功能;另外,由于分层结果的数据量小于待传输数据的数据量,因此通过传输隧道传输分层结果至控制终端设备可以避免如现有技术那般上传所有的原始日志,进而可以降低网络带宽和控制终端设备的存储空间,即通过本实施例提供的基于SD-WAN系统的数据传输方法能够在降低网络带宽和控制终端设备存储空间的同时实现数据下钻功能。
进一步,本发明提供的基于SD-WAN系统的数据处理方法可以应用于控制终端设备,控制终端设备通过执行该基于SD-WAN系统的数据处理方法可以获取属于第二预定时间间隔内的所有分层结果,控制终端设备可以分别将这些分层结果中属于每个预定层级的第一目标数据依次进行汇总,在汇总完所有预定层级的第一目标数据之后,得到初步汇总结果,再从初步汇总结果中选取属于每个预定层级的第二目标数据,在选取完所有的预定层级的第二目标数据之后,即可得到最终汇总结果。由于控制终端设备接收的分层结果的数据量小于待传输数据的数据量,因此可以降低控制终端设备接收数据和存储数据的压力,并且在分层结果的基础上进行汇总得到的最终汇总结果依然具有数据下钻功能。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示意性示出了根据本发明实施例的基于SD-WAN系统的数据传输方法的流程图;
图2示意性示出了根据本发明实施例的分层结果的示意图。
图3示意性示出了根据本发明实施例的基于SD-WAN系统的数据传输方案的示意图;
图4示意性示出了根据本发明实施例的基于SD-WAN系统的数据处理方法的流程图;
图5示意性示出了根据本发明实施例的基于SD-WAN系统的数据处理方案的示意图;
图6示意性示出了根据本发明实施例的客户终端设备的框图;
图7示意性示出了根据本发明实施例的控制终端设备的框图;
图8示意性示出了根据本发明实施例的SD-WAN系统的框图;
图9示意性示出了根据本发明实施例的适于实现基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法的计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
本发明提供了一种基于SD-WAN系统的数据传输方法,该方法可以应用于如下的业务场景,具体地:SD-WAN系统可以包括至少一个客户终端设备和一个控制终端设备,每个客户终端设备可以通过传输隧道与控制终端设备交互,客户终端设备可以周期性执行该基于SD-WAN系统的数据传输方法,每次执行时可以获取第一预定时间间隔内的待传输数据,从待传输数据中统计出属于每个预定层级的第一目标数据,进而得到分层结果,再将分层结果通过传输隧道传输至控制终端设备,由于每两个相邻的预定层级为上下级关系,则分层结果中每两个相邻的预定层级对应的第一目标数据也为上下级关系,即每层第一目标数据之前至嵌套关系,下一层预定层级的第一目标数据是上一层预定层级的第一目标数据更细粒度的划分,因此分层结果能够满足数据下钻功能;另外,由于分层结果的数据量小于待传输数据的数据量,因此通过传输隧道传输分层结果至控制终端设备可以避免如现有技术那般上传所有的原始日志,进而可以降低网络带宽和控制终端设备的存储空间,即通过本实施例提供的基于SD-WAN系统的数据传输方法能够在降低网络带宽和控制终端设备存储空间的同时实现数据下钻功能。具体地,图1示意性示出了根据本发明实施例的基于SD-WAN系统的数据传输方法的流程图。如图1所示,该基于SD-WAN系统的数据传输方法可以包括步骤S101~步骤S105,其中:
步骤S101,获取第一预定时间间隔内的待传输数据。
本实施例中,客户终端设备(Customer Premise Equipment,简称CPE)是安装在SD-WAN系统中客户侧的网关设备。待传输数据可以是与客户终端设备有关的任何数据,比如业务流量数据。第一预定时间间隔可以根据业务需求确定,比如为30s,则步骤S101可以获取最近30s的业务流量数据。
步骤S102,获取多个预定层级,其中,每两个相邻的预定层级为上下级关系。
预定层级的数量可以根据业务需求而定,如控制终端设备需要获取4层数据以便进行可视化分析,则可以将预定层级的数量至少设为4层,且每层预定层级的具体含义也可以根据业务需求而定。另外,本实施例中,任意两个相邻的预定层级为上下级关系,即下一级预定层级对应的数据是上一级预定层级对应的数据更细粒度的划分。
例如,待传输数据为业务流量数据,根据业务需求需要统计策略类型的数据,则可以预先设定与策略类型的数据对应的多个预定层级,如4个预定层级,第一层为:每个策略总流量的统计,第二层为:每个策略下每个隧道的总流量的统计,第三层为:每个策略每个隧道下的应用流量的统计,第四层为:每个策略每个隧道下,访问这应用里的每个应用的地址。当前,还可以基于待传输数据统计其他类型的数据,如隧道类型的数据,具体统计方法与策略类型的数据类似,在此不再赘述。
步骤S103,针对多个预定层级中的每个预定层级,从待传输数据中统计出属于该预定层级的第一目标数据,得到分层结果,其中,分层结果的数据量小于待传输数据的数据量。
本实施例中,步骤S103可以包括两种方案,第一种方案为:第一目标数据为所述预定层级的所有数据,第二种方案为:多个预定层级中至少有一个预定层级对应的第一目标数据为属于该预定层级的部分数据。对于第一种方案,由于得到的分层结果的数据量小于待传输数据的数据量,则表明多个预定层级的数量小于待传输数据中原本可以划分的层级数量,进而将分层结果传输至控制终端设备时,可以降低网络带宽和控制终端设备的存储空间,同时还可以实现数据下钻功能。对于第二种方案,由于至少有一个预定层级对应的第一目标数据是属于该预定层级的部分数据,则无论多个预定层级的数量是否小于待传输数据原本可以划分的层级数量,依然可以满足分层结果的数据量小于待传输数据的数据量,进而将分层结果传输至控制终端设备时,可以降低网络带宽和控制终端设备的存储空间,同时实现数据下钻功能。
可选地,对于第二种方案,从所述待传输数据中统计出属于所述预定层级的第一目标数据的步骤可以包括步骤S1031~步骤S1033,其中:
步骤S1031,判断预定层级是否为第一目标层级;
步骤S1032,在判定预定层级是第一目标层级时,从待传输数据中统计出属于预定层级且排名在与预定层级对应的第一阈值之前的数据;
步骤S1033,在判定预定层级不是第一目标层级时,从待传输数据中统计出属于预定层级的所有数据。
具体地,在统计每一个预定层级的第一目标数据之前,可以先判断该预定层级是否第一目标层级,若是,则可以表明第一目标数据为待传输数据中属于该预定层级且排名在与该预定层级对应的第一阈值之前的数据,若否,则第一目标数据为待传输数据中属于该预定层级的所有数据。其中,在存在至少一个预定层级是第一目标层级时,每个预定层级对应的第一阈值可以相同也可以不同。排名在与该预定层级对应的第一阈值之前的数据可以通过TOP-NK确定,即第一阈值为N与K的乘积。其中,控制终端设备根据可视化需求可能需要TOP-K的数据,则在客户终端设备就需要保证TOP-NK大于TOP-K,即客户终端设备上传的数据覆盖控制终端设备最终使用的数据,进而可以尽最大可能保证数据的准确性,因此N的值大于1。如,K=10,则N可以为1.5、2或3等。其中,K是预先设定好的,N可以是基于K预先设定好的,也可以是客户终端设备基于K随机产生的大于1的数值,由于每个预定层级对应一个第一阈值,而K是预先设定好的,因此每个预定层级可以对应一个N,且每个预定层级对应的N可以相同也可以不同。
例如,结合上述示例,假定每个预定层级对应的的N均为N=2,K=10,第三层和第四层是第一目标层级,则第三层对应的第一阈值为20,第四层对应的第一阈值也为20。如图2所示,第一层为:每个策略总流量的统计(即图2中的Policy流量),第二层为:每个策略下每个隧道的总流量的统计(即图2中的Policy->tunnel流量),第三层为:每个策略每个隧道下的top20应用流量的统计(即图2中的Policy->tunnel->app的TOP-NK流量),第四层为:每个策略每个隧道下,访问这top20应用里的每个应用的top20的地址(即图2中的Policy->tunnel->app->sip的TOP-NK流量)。另外,客户终端设备还可以通过执行基于SD-WAN系统的数据传输方法将待传输数据统计为隧道类型的数据。需要说明的是,每种类型的数据对应的预定层级不同。对于隧道类型的数据对应的预定层级可以如图2所述,第一层预定层级为:每个隧道总流量的统计(即图2中的Tunnel流量),第二层预定层级为:每个隧道下的top20应用流量的统计(即图2中的Tunnel->app的TOP-NK流量),第三层预定层级为:每个隧道下,访问这top20应用里的每个应用的top20的地址(即图2中的Tunnel->app->sip的TOP-NK流量)。对于每一类分层结果,均可以通过传输隧道传输至控制终端设备。
由于对于每一类数据,均不是单一维度的展现,而是可以在查看应用流量的基础上,查看命中该应用的ip情况,使得整个网络可视化信息会更加丰富,以解决了下钻问题。而现有技术中为了节省网络带宽和存储,只能上传一些基于单维度的统计数据,而无法将更多数据上传到控制终端设备,只能看到TOPK的应用流量大小,或者TOPK的源ip的流量大小,无法支持下钻功能,即无法查看TOPK的应用里的每个应用的流量TOPK的源IP,在排查用户网络的问题的时候数据略显苍白。并且,由于本实施例上传的每类数据的数据量小于原始数据,且上传的数据量大于控制终端设备需要的数据量,在将低网络带宽和控制终端设备存储空间的同时还能够尽可能的保证数据的准确性。
需要说明的是,对于第二种方案,若是控制终端设备不需要分析待传输数据涉及的所有层数据,则第二种方案的优选方案可以为:存在至少一个预定层级对应的第一目标数据是待传输数据中属于该预定层级的部分数据,且多个预定层级的数量小于待传输数据原本可以划分的层级数量。
可选地,在得到分层结果的步骤之后,该基于SD-WAN系统的数据传输方法还可以包括:存储分层结果至内存;通过传输隧道传输分层结果至控制终端设备的步骤可以包括:从内存中获取分层结果,并通过传输隧道传输分层结果至控制终端设备;在通过传输隧道传输分层结果至控制终端设备的步骤之后,该基于SD-WAN系统的数据传输方法还可以包括:删除内存中存储的分层结果。
本实施例中,通过将分层结果暂存在内存中,可以提升数据提取速度,并且在将分层结果传输至控制终端设备之后,可以清空内存中暂存该分层结果,以便于后续分层结果的存储。
可选地,存储所述分层结果至内存的步骤可以包括:将所述分层结果中属于不同预定层级的第一目标数据存储至内存的不同位置。
通过本实施例可以将不同层级的第一目标数据隔离存储,互不干扰。如,可以将每一个预定层级的第一目标数据存储在不同的哈希表中,这些哈希表具有关联关系,通过该关联关系可以表明每层第一目标数据之间的级别,并且这些哈希表均存储在内存中。
步骤S104,确定SD-WAN系统中用于实现客户终端设备和控制终端设备交互的传输隧道。
SD-WAN系统中可以包括多条隧道,用于实现客户终端设备和控制终端设备交互隧道称为传输隧道,传输隧道的类型可以包括IPSec(Internet Protocol Security)隧道、GRE(Generic Routing Encapsulation)隧道和MPLS(Multi Protocol Label Switch)隧道。
步骤S105,通过传输隧道传输分层结果至控制终端设备。
本实施例中,步骤S105可以包括两种方案,第一种方案为:将分层结果按照预定层级分层传输至控制终端设备,比如先传输第一层预定层级的第一目标数据,再传输第二层预定层级的第一目标数据,依次类推。由于分层结果具有多个预定层级,因此可以实现数据下钻功能,即在步骤S105采用第一种方案时,该基于SD-WAN系统的数据传输方法已经足以实现在降低网络带宽和控制终端设备存储空间的同时满足数据下钻功能的技术效果。但是,在采用步骤S105的第一种方案传输分层结果时,用户只能在控制终端设备将分层结果全部接收完毕后才可以基于分层结果的数据下钻功能进行后续规划、部署和验证等工作,使得用户等待时间较长,体验感较差。
基于此,本实施例还提供了第二种方案,即步骤S105可以包括步骤S1051和步骤S1052,其中,每个第一目标数据可以包括至少一个元素,具体地:
步骤S1051,将分层结果转化为至少一条数据链,其中,数据链包括所有的预定层级,数据链中每个预定层级对应一个元素,且下一级预定层级对应的元素是上一级预定层级对应的元素的子级别,在数据链中通过预定标识区分每个预定层级对应的元素;
步骤S1052,将至少一条数据链通过传输隧道传输至控制终端设备。
本实施例中,可以将分成结果转化为至少一条数据链,每条数据链包括多个预定层级中每个预定层级的一个元素,且在每条数据链中,下一级预定层级对应的元素是上一级预定层级对应的元素的子级别。
例如,如图3所示,结合上述示例,第1条数据链可以为策略1总流量、隧道1总流量、应用1流量和地址1,第2条数据链可以为策略1总流量、隧道1总流量、应用1流量和地址2,…,依次类推。并且,在图2中,隧道1总流量、隧道2总流量和隧道3总流量均是策略1总流量的子级别,但是隧道4总流量不是策略1总流量的子级别,在本实施例中,只有具有级别关系的元素才可以出现在同一数据链中,即在每条数据链中,下一级预定层级对应的元素是上一级预定层级对应的元素的子级别。
进一步,对于每条数据链中包括的元素,均可以通过预定标识区分每个元素所述的预定层级。例如,结合上述示例,在第一条数据链中,可以通过预定标识区分策略1总流量属于第一层预定层级,隧道1总流量属于第二层预定层级,应用1流量属于第三层预定层级,地址1属于第四层预定层级。进而可以将分层结果全部转化成数据链,得到至少一条数据链,再将这些数据链通过传输隧道传输至控制终端设备。
本实施例中,由于每条数据链均包括所有的预定层级,即每条数据链均能够实现数据下钻功能,通过数据链的方式进行传输,一旦控制终端设备接收到任意一条数据链,即可根据该数据链的数据下钻功能进行后续规划、部署和验证等工作,减少用户等待时间,提高用户体验。
本发明提供了一种基于SD-WAN系统的数据处理方法,该方法可以应用于如下的业务场景,具体地:SD-WAN系统可以包括至少一个客户终端设备和一个控制终端设备,每个客户终端设备可以通过传输隧道与控制终端设备交互,客户终端设备可以定期执行该基于SD-WAN系统的数据传输方法以将第一预定时间间隔内的分层结果定期传输至控制终端设备,控制终端设备可以执行该基于SD-WAN系统的数据处理方法获取属于第二预定时间间隔内的所有分层结果,控制终端设备可以分别将这些分层结果中属于每个预定层级的第一目标数据依次进行汇总,在汇总完所有预定层级的第一目标数据之后,得到初步汇总结果,再从初步汇总结果中选取属于每个预定层级的第二目标数据,在选取完所有的预定层级的第二目标数据之后,即可得到最终汇总结果。由于控制终端设备接收的分层结果的数据量小于待传输数据的数据量,因此可以降低控制终端设备接收数据和存储数据的压力,并且在分层结果的基础上进行汇总得到的最终汇总结果依然具有数据下钻功能。具体地,图4示意性示出了根据本发明实施例的基于SD-WAN系统的数据处理方法的流程图。如图4所示,该基于SD-WAN系统的数据处理方法可以包括步骤S401~步骤S403,其中:
步骤S401,获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,传输隧道是SD-WAN系统中用于实现客户终端设备和控制终端设备交互的隧道,分层结果是客户终端设备针对多个预定层级中的每个预定层级从待传输数据中统计出属于预定层级的第一目标数据得到的,其中,每两个相邻的预定层级为上下级关系,待传输数据是客户终端设备获取的第一预定时间间隔内的数据,第一预定时间间隔小于等于第二预定时间间隔,分层统计结果的数据量小于待传输数据的数据量。
在本实施例中,控制终端设备用于汇总客户终端设备定期上传的分层结果,如汇总第二预定时间间隔内的所有分层结果,其中,第二预定时间间隔大于等于第一预定时间间隔。比如,第一预定时间间隔为30s,第二预定时间间隔为15分钟,则在第二预定时间间隔内存在30个分层结果,控制终端设备可以将该30个分层结果进行汇总。
其中,客户终端设备上传的分层结果可以是根据步骤S105的第一种方案上传的,则控制终端设备可以直接获取这些分层结果;客户终端设备上传的分层结果也可以是根步骤S105的第二种方案上传的,则步骤S401可以包括:获取客户终端设备通过传输隧道传输的属于第二预定时间内的所有数据链。其中,第一目标数据包括至少一个元素,数据链包括所有的预定层级,且数据链中每个预定层级对应一个元素,下一级预定层级对应的元素是上一级预定层级对应的元素的子级别,在数据链中通过预定标识区分每个预定层级对应的元素。
例如,结合上述示例,每个分层结果可以转化为10条数据链,则可以第二预定时间内有10×30=300条数据链,即控制终端设备获取了300条数据链。
步骤S402,针对多个预定层级中的每个预定层级,将所有分层结果中属于预定层级的第一目标数据进行汇总,得到初步汇总结果。
若客户终端设备是采用步骤S105的第一种方案上传分层结果,则步骤S402可以直接将所有分层结果的各个预定层级的第一目标数据进行汇总,得到初步汇总结果。
若客户终端设备是采用步骤S105的第二种方案上传分层结果,即以数据链的形式上传,则步骤S402可以包括:利用预定标识区分每条数据链中每个预定层级对应的元素;针对多个预定层级中的每个预定层级,将所有数据链中与预定层级对应的元素进行汇总。
由于客户终端设备是以数据链的形式上传分层结果,且每条数据链可以通过预定标识区分各个层级的元素,因此在控制终端设备测不需要再对数据链重新分层,只需依据预定标识识别出每条数据链中的各层元素即可,然后在将所有数据链中的元素分层汇总。
需要说明的是,无论是哪种方案,最终得到的初步汇总结果是一致的。对于任一方案,汇总方式举例如下。
例如,第一个分层结果如图2所示,第二分层结果的第三层预定层级对应的第一目标数据为应用1流量、应用3流量和应用4流量,则汇总第三层预定层级的第一目标数据为:第一个元素为:第一个分层结果的应用1流量与第二个分层结果的应用1流量相加之和,第二个元素为:第一个分层结果的应用2流量,第三个元素为:第一个分层结果的应用3流量与第二个分层结果的应用3流量相加之和,第四个元素为:第二个分层结果的应用4流量,…,等等。
步骤S403,针对多个预定层级中的每个预定层级,从初步汇总结果中选取属于该预定层级的第二目标数据,得到最终汇总结果。
本实施例中,步骤S403也可以包括两种方案,第一种方案为:第二目标数据为该初步汇总结果中属于该预定层级的所有数据;但是,根据控制终端设备的可视化需求,可能并不需要使用每个预定层级汇总后的所有数据,而是只需要有些或者全部预定层级汇总后的部分数据,因此得到第二种方案为:多个预定层级中至少有一个预定层级对应的第二目标数据为该初步汇总结果中属于该预定层级的部分数据。
可选地,对于第二种方案,从初步汇总结果中选取属于预定层级的第二目标数据的步骤可以包括步骤S4031~步骤S4033,其中:
步骤S4031,判断预定层级是否为第二目标层级;
步骤S4032,在判定预定层级是第二目标层级时,从初步汇总结果中选取属于预定层级且排名在与预定层级对应的第二阈值之前的数据,其中,第二阈值小于等于第一阈值,其中,在预定层级为第一目标层级时,第一目标数据为客户终端设备从待传输数据中统计出的属于预定层级且排名在与预定层级对应的第一阈值之前的数据;
步骤S4033,在判定预定层级不是第二目标层级时,从初步汇总结果中选取属于预定层级的所有数据。
具体地,在从初步汇总结果中选取属于每一个预定层级的第二目标数据之前,可以先判断该预定层级是否第二目标层级,若是,则可以表明第二目标数据为初步汇总结果中属于该预定层级且排名在与该预定层级对应的第二阈值之前的数据,若否,则第二目标数据为初步汇总结果中属于该预定层级的所有数据。其中,第一目标层级和第二目标层级可以是相同的层级也可以是不同的层级,本实施例对此不做限定。在存在至少一个预定层级是第二目标层级时,每个预定层级对应的第二阈值可以相同也可以不同。排名在与该预定层级对应的第二阈值之前的数据可以通过TOP-K确定,即第二阈值为K的值,其中,第二阈值小于等于第一阈值,因为如果客户终端设备仅上传了TOPK,而忽略了N,会导致控制终端设备TOPK汇总数据的不准确。虽然在每个第一预定时间间隔内客户终端设备侧的TOPK的值是准确的,但当数据累加后,控制终端设备侧的汇总数据就不再准确,所以需要客户终端设备侧上传TOP-NK数据,即客户终端设备上传的数据覆盖控制终端设备最终使用的数据,进而可以尽最大可能保证数据的准确性,因此N的值大于1。
例如,结合上述示例,K=10,第三层和第四层是第二目标层级,且第三层对应的第二阈值为10,第四层对应的第二阈值也为10,则第一层为:初步汇总结果中每个策略总流量的统计,第二层为:初步汇总结果中每个策略下每个隧道的总流量的统计,第三层为:初步汇总结果中每个策略每个隧道下的top10应用流量的统计,第四层为:初步汇总结果中每个策略每个隧道下,访问这top10应用里的每个应用的top10的地址。
进一步,在得到最终汇总结果之后,还可以将最终汇总结果中每个预定层级的第二目标数据存储在对应的统计表中。例如,以策略类型的数据为例,存储形式可以如图5所示,假设有4层预定层级,第二预定时间间隔为15分钟,则可以将最近15分钟内的最终汇总结果分层存储在图5所示的4个统计表中;假设第二预定时间间隔为1个小时,则可以最近1个小时内的最终汇总结果分层存储在图5所示的另外4个统计表中。比如,根据可视化业务的需要,将第二预定时间分为最近15分钟、最近1个小时、最近6个小时、最近12个小时、最近1天、最近7天、最近30天,则可以将最终汇总结果存储在7*4=28张统计表里。另外,还可以根据根据每层数据在可视化展现的需求,额外建立统计表,例如,为了展现策略类型的数据流量大小的趋势图,需要存储最近1个小时内每5分钟的流量大小。在图5中,以策略类型的数据为例,第一层预定层级对应的第二目标数据存储在policy统计表中,第二层预定层级对应的第二目标数据存储在policy->tunnel统计表中,第三层预定层级对应的第二目标数据存储在policy->tunnel->app统计表中,第四层预定层级对应的第二目标数据存储在policy->tunnel->app->sip统计表中。其中,图5右侧的数据为对图5左侧统计表的存储内容的解释,即policy->tunnel统计表、policy->tunnel统计表、policy->tunnel->app统计表和policy->tunnel->app->sip统计表均是存储的属于第二预定时间间隔内的汇总数据。此外,现实场景中,可以通过Kafka平台将最终汇总结果的各层第二目标数据存储在各层统计表中,各层对应的统计表可以存储在数据库中。
本发明的实施例还提供了一种客户终端设备,该客户终端设备与上述实施例提供的基于SD-WAN系统的数据传输方法相对应,相应的技术特征和技术效果在本实施例中不再详述,相关之处可参考上述实施例。具体地,图6示意性示出了根据本发明实施例的客户终端设备的框图。如图6所示,该客户终端设备600可以包括第一获取模块601、第二获取模块602、分层模块603、确定模块604和传输模块605,其中:
第一获取模块601,用于获取第一预定时间间隔内的待传输数据;
第二获取模块602,用于获取多个预定层级,其中,每两个相邻的预定层级为上下级关系;
分层模块603,用于针对多个预定层级中的每个预定层级,从待传输数据中统计出属于预定层级的第一目标数据,得到分层结果,其中,分层结果的数据量小于待传输数据的数据量;
确定模块604,用于确定SD-WAN系统中用于实现客户终端设备和控制终端设备交互的传输隧道;
传输模块605,用于通过传输隧道传输分层结果至控制终端设备。
可选地,分层模块在从待传输数据中统计出属于预定层级的第一目标数据时,还可以用于:判断预定层级是否为第一目标层级;在判定预定层级是第一目标层级时,从待传输数据中统计出属于预定层级且排名在与预定层级对应的第一阈值之前的数据;在判定预定层级不是第一目标层级时,从待传输数据中统计出属于预定层级的所有数据。
可选地,客户终端设备还可以包括:存储模块,用于在得到分层结果的步骤之后,存储分层结果至内存;传输模块还可以用于:从内存中获取分层结果,并通过传输隧道传输分层结果至控制终端设备。客户终端设备还可以包括:删除模块,用于在通过传输隧道传输分层结果至控制终端设备的步骤之后,删除内存中存储的分层结果。
可选地,存储模块还可以用于:将分层结果中属于不同预定层级的第一目标数据存储至内存的不同位置。
可选地,每个第一目标数据包括至少一个元素,传输模块还可以用于:将分层结果转化为至少一条数据链,其中,数据链包括所有的预定层级,数据链中每个预定层级对应一个元素,且下一级预定层级对应的元素是上一级预定层级对应的元素的子级别,在数据链中通过预定标识区分每个预定层级对应的元素;将至少一条数据链通过传输隧道传输至控制终端设备。
本发明的实施例还提供了一种控制终端设备,该控制终端设备与上述实施例提供的基于SD-WAN系统的数据处理方法相对应,相应的技术特征和技术效果在本实施例中不再详述,相关之处可参考上述实施例。具体地,图7示意性示出了根据本发明实施例的控制终端设备的框图。如图7所示,该控制终端设备700可以包括第三获取模块701、第一汇总模块702和第一汇总模块703,其中:
第三获取模块701,用于获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,传输隧道是SD-WAN系统中用于实现客户终端设备和控制终端设备交互的隧道,分层结果是客户终端设备针对多个预定层级中的每个预定层级从待传输数据中统计出属于预定层级的第一目标数据得到的,其中,每两个相邻的预定层级为上下级关系,待传输数据是客户终端设备获取的第一预定时间间隔内的数据,第一预定时间间隔小于等于第二预定时间间隔,分层统计结果的数据量小于待传输数据的数据量;
第一汇总模块702,用于针对多个预定层级中的每个预定层级,将所有分层结果中属于预定层级的第一目标数据进行汇总,得到初步汇总结果;
第二汇总模块703,用于针对多个预定层级中的每个预定层级,从初步汇总结果中选取属于预定层级的第二目标数据,得到最终汇总结果。
可选地,第二汇总模块在从初步汇总结果中选取属于预定层级的第二目标数据时,还可以用于:判断预定层级是否为第二目标层级;在判定预定层级是第二目标层级时,从初步汇总结果中选取属于预定层级且排名在与预定层级对应的第二阈值之前的数据,其中,第二阈值小于等于第一阈值,其中,在预定层级为第一目标层级时,第一目标数据为客户终端设备从待传输数据中统计出的属于预定层级且排名在与预定层级对应的第一阈值之前的数据;在判定预定层级不是第二目标层级时,从初步汇总结果中选取属于预定层级的所有数据。
可选地,第三获取模块还可以用于:获取客户终端设备通过传输隧道传输的属于第二预定时间内的所有数据链;其中,第一目标数据包括至少一个元素,数据链包括所有的预定层级,且数据链中每个预定层级对应一个元素,下一级预定层级对应的元素是上一级预定层级对应的元素的子级别,在数据链中通过预定标识区分每个预定层级对应的元素;第一汇总模块还可以用于:利用预定标识区分每条数据链中每个预定层级对应的元素;针对多个预定层级中的每个预定层级,将所有数据链中与预定层级对应的元素进行汇总。
本发明的实施例还提供了一种SD-WAN系统,该SD-WAN系统与上述实施例提供的基于SD-WAN系统的数据传输方法和基于SD-WAN系统的数据处理方法相对应,相应的技术特征和技术效果在本实施例中不再详述,相关之处可参考上述实施例。具体地,图8示意性示出了根据本发明实施例的SD-WAN系统的框图。如图8所示,该SD-WAN系统800可以包括客户终端设备801和控制终端设备802,其中:
客户终端设备801可以用于:获取第一预定时间间隔内的待传输数据;获取多个预定层级,其中,每两个相邻的预定层级为上下级关系;针对多个预定层级中的每个预定层级,从待传输数据中统计出属于预定层级的第一目标数据,得到分层结果,其中,分层结果的数据量小于待传输数据的数据量;确定SD-WAN系统中用于实现客户终端设备和控制终端设备交互的传输隧道;通过传输隧道传输分层结果至控制终端设备;
控制终端设备802可以用于:获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,第一预定时间间隔小于等于第二预定时间间隔;针对多个预定层级中的每个预定层级,将所有分层结果中属于预定层级的第一目标数据进行汇总,得到初步汇总结果;针对多个预定层级中的每个预定层级,从初步汇总结果中选取属于预定层级的第二目标数据,得到最终汇总结果。可选地,客户终端设备在从待传输数据中统计出属于预定层级的第一目标数据时,还可以用于:判断预定层级是否为第一目标层级;在判定预定层级是第一目标层级时,从待传输数据中统计出属于预定层级且排名在与预定层级对应的第一阈值之前的数据;在判定预定层级不是第一目标层级时,从待传输数据中统计出属于预定层级的所有数据。
可选地,客户终端设备还可以用于:在在得到分层结果的步骤之后,存储分层结果至内存;客户终端设备在通过传输隧道传输分层结果至控制终端设备时,还可以用于:从内存中获取分层结果,并通过传输隧道传输分层结果至控制终端设备;客户终端设备还可以用于:在通过传输隧道传输分层结果至控制终端设备的步骤之后,删除内存中存储的分层结果。
可选地,客户终端设备在存储分层结果至内存时,还可以用于:将分层结果中属于不同预定层级的第一目标数据存储至内存的不同位置。
可选地,每个第一目标数据包括至少一个元素,客户终端设备在通过传输隧道传输分层结果至控制终端设备时,还可以用于:将分层结果转化为至少一条数据链,其中,数据链包括所有的预定层级,数据链中每个预定层级对应一个元素,且下一级预定层级对应的元素是上一级预定层级对应的元素的子级别,在数据链中通过预定标识区分每个预定层级对应的元素;将至少一条数据链通过传输隧道传输至控制终端设备。
可选地,控制终端设备在从初步汇总结果中选取属于预定层级的第二目标数据时,还可以用于:判断预定层级是否为第二目标层级;在判定预定层级是第二目标层级时,从初步汇总结果中选取属于预定层级且排名在与预定层级对应的第二阈值之前的数据,其中,第二阈值小于等于第一阈值;在判定预定层级不是第二目标层级时,从初步汇总结果中选取属于预定层级的所有数据。
可选地,控制终端设备在获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果时,还可以用于:获取客户终端设备通过传输隧道传输的属于第二预定时间内的所有数据链;控制终端设备在针对多个预定层级中的每个预定层级,将所有分层统计结果中属于预定层级的第一目标数据进行汇总时,还可以用于:利用预定标识区分每条数据链中每个预定层级对应的元素;针对多个预定层级中的每个预定层级,将所有数据链中与预定层级对应的元素进行汇总。
图9示意性示出了根据本发明实施例的适于实现基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法的计算机设备的框图。本实施例中,计算机设备900可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图9所示,本实施例的计算机设备900至少包括但不限于:可通过系统总线相互通信连接的存储器901、处理器902、网络接口903。需要指出的是,图9仅示出了具有组件901-903的计算机设备900,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器903至少包括一种类型的计算机可读存储介质,可读存储介质包括包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器901可以是计算机设备900的内部存储单元,例如该计算机设备900的硬盘或内存。在另一些实施例中,存储器901也可以是计算机设备900的外部存储设备,例如该计算机设备900上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器901还可以既包括计算机设备900的内部存储单元也包括其外部存储设备。在本实施例中,存储器901通常用于存储安装于计算机设备900的操作系统和各类应用软件,例如基于SD-WAN系统的数据传输方法的程序代码或者基于SD-WAN系统的数据处理方法的程序代码等。此外,存储器901还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器902在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器902通常用于控制计算机设备900的总体操作。例如执行与计算机设备900进行数据交互或者通信相关的控制和处理等的基于SD-WAN系统的数据传输方法的程序代码或者基于SD-WAN系统的数据处理方法的程序代码。
在本实施例中,存储于存储器901中的基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器902)所执行,以完成本发明。
网络接口903可包括无线网络接口或有线网络接口,该网络接口903通常用于在计算机设备900与其他计算机设备之间建立通信链接。例如,网络接口903用于通过网络将计算机设备900与外部终端相连,在计算机设备900与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
本实施例还提供一种计算机可读存储介质,包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等,其上存储有计算机程序,所述计算机程序被处理器执行时实现基于SD-WAN系统的数据传输方法或者基于SD-WAN系统的数据处理方法。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (13)
1.一种基于SD-WAN系统的数据传输方法,其特征在于,应用于客户终端设备,所述方法包括:
获取第一预定时间间隔内的待传输数据;
获取多个预定层级,其中,每两个相邻的所述预定层级为上下级关系;
针对所述多个预定层级中的每个所述预定层级,从所述待传输数据中统计出属于所述预定层级的第一目标数据,得到分层结果,其中,所述分层结果的数据量小于所述待传输数据的数据量;
确定SD-WAN系统中用于实现所述客户终端设备和控制终端设备交互的传输隧道;
通过所述传输隧道传输所述分层结果至所述控制终端设备。
2.根据权利要求1所述的方法,其特征在于,从所述待传输数据中统计出属于所述预定层级的第一目标数据的步骤包括:
判断所述预定层级是否为第一目标层级;
在判定所述预定层级是所述第一目标层级时,从所述待传输数据中统计出属于所述预定层级且排名在与所述预定层级对应的第一阈值之前的数据;
在判定所述预定层级不是所述第一目标层级时,从所述待传输数据中统计出属于所述预定层级的所有数据。
3.根据权利要求1所述的方法,其特征在于,
在得到分层结果的步骤之后,所述方法还包括:存储所述分层结果至内存;
通过所述传输隧道传输所述分层结果至所述控制终端设备的步骤包括:从所述内存中获取所述分层结果,并通过所述传输隧道传输所述分层结果至所述控制终端设备;
在通过所述传输隧道传输所述分层结果至所述控制终端设备的步骤之后,所述方法还包括:删除所述内存中存储的所述分层结果。
4.根据权利要求3所述的方法,其特征在于,存储所述分层结果至内存的步骤包括:
将所述分层结果中属于不同所述预定层级的所述第一目标数据存储至所述内存的不同位置。
5.根据权利要求1所述的方法,其特征在于,每个第一目标数据包括至少一个元素,通过所述传输隧道传输所述分层结果至所述控制终端设备的步骤包括:
将所述分层结果转化为至少一条数据链,其中,所述数据链包括所有的所述预定层级,所述数据链中每个所述预定层级对应一个元素,且下一级所述预定层级对应的元素是上一级所述预定层级对应的元素的子级别,在所述数据链中通过预定标识区分每个所述预定层级对应的元素;
将所述至少一条数据链通过所述传输隧道传输至所述控制终端设备。
6.一种基于SD-WAN系统的数据处理方法,其特征在于,应用于控制终端设备,所述方法包括:
获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,所述传输隧道是SD-WAN系统中用于实现所述客户终端设备和所述控制终端设备交互的隧道,所述分层结果是所述客户终端设备针对多个预定层级中的每个所述预定层级从待传输数据中统计出属于所述预定层级的第一目标数据得到的,其中,每两个相邻的所述预定层级为上下级关系,所述待传输数据是所述客户终端设备获取的第一预定时间间隔内的数据,所述第一预定时间间隔小于等于所述第二预定时间间隔,所述分层结果的数据量小于所述待传输数据的数据量;
针对多个所述预定层级中的每个所述预定层级,将所有所述分层结果中属于所述预定层级的所述第一目标数据进行汇总,得到初步汇总结果;
针对多个所述预定层级中的每个所述预定层级,从所述初步汇总结果中选取属于所述预定层级的第二目标数据,得到最终汇总结果。
7.根据权利要求6所述的方法,其特征在于,从所述初步汇总结果中选取属于所述预定层级的第二目标数据的步骤包括:
判断所述预定层级是否为第二目标层级;
在判定所述预定层级是所述第二目标层级时,从所述初步汇总结果中选取属于所述预定层级且排名在与所述预定层级对应的第二阈值之前的数据,其中,所述第二阈值小于等于第一阈值,其中,在所述预定层级为第一目标层级时,所述第一目标数据为所述客户终端设备从所述待传输数据中统计出的属于所述预定层级且排名在与所述预定层级对应的所述第一阈值之前的数据;
在判定所述预定层级不是所述第二目标层级时,从所述初步汇总结果中选取属于所述预定层级的所有数据。
8.根据权利要求6所述的方法,其特征在于,
获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果的步骤包括:获取所述客户终端设备通过所述传输隧道传输的属于所述第二预定时间内的所有数据链;
其中,所述第一目标数据包括至少一个元素,所述数据链包括所有的所述预定层级,且所述数据链中每个所述预定层级对应一个元素,下一级所述预定层级对应的元素是上一级所述预定层级对应的元素的子级别,在所述数据链中通过预定标识区分每个所述预定层级对应的元素;
针对多个所述预定层级中的每个所述预定层级,将所有所述分层统计结果中属于所述预定层级的所述第一目标数据进行汇总的步骤包括:利用所述预定标识区分每条所述数据链中每个所述预定层级对应的元素;针对多个所述预定层级中的每个所述预定层级,将所有所述数据链中与所述预定层级对应的元素进行汇总。
9.一种客户终端设备,其特征在于,包括:
第一获取模块,用于获取第一预定时间间隔内的待传输数据;
第二获取模块,用于获取多个预定层级,其中,每两个相邻的所述预定层级为上下级关系;
分层模块,用于针对所述多个预定层级中的每个所述预定层级,从所述待传输数据中统计出属于所述预定层级的第一目标数据,得到分层结果,其中,所述分层结果的数据量小于所述待传输数据的数据量;
确定模块,用于确定SD-WAN系统中用于实现所述客户终端设备和控制终端设备交互的传输隧道;
传输模块,用于通过所述传输隧道传输所述分层结果至所述控制终端设备。
10.一种控制终端设备,其特征在于,包括:
第三获取模块,用于获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,所述传输隧道是SD-WAN系统中用于实现所述客户终端设备和所述控制终端设备交互的隧道,所述分层结果是所述客户终端设备针对多个预定层级中的每个所述预定层级从待传输数据中统计出属于所述预定层级的第一目标数据得到的,其中,每两个相邻的所述预定层级为上下级关系,所述待传输数据是所述客户终端设备获取的第一预定时间间隔内的数据,所述第一预定时间间隔小于等于所述第二预定时间间隔,所述分层统计结果的数据量小于所述待传输数据的数据量;
第一汇总模块,用于针对多个所述预定层级中的每个所述预定层级,将所有所述分层结果中属于所述预定层级的所述第一目标数据进行汇总,得到初步汇总结果;
第二汇总模块,用于针对多个所述预定层级中的每个所述预定层级,从所述初步汇总结果中选取属于所述预定层级的第二目标数据,得到最终汇总结果。
11.一种SD-WAN系统,其特征在于,包括客户终端设备和控制终端设备,其中,
所述客户终端设备用于:获取第一预定时间间隔内的待传输数据;获取多个预定层级,其中,每两个相邻的所述预定层级为上下级关系;针对所述多个预定层级中的每个所述预定层级,从所述待传输数据中统计出属于所述预定层级的第一目标数据,得到分层结果,其中,所述分层结果的数据量小于所述待传输数据的数据量;确定SD-WAN系统中用于实现所述客户终端设备和控制终端设备交互的传输隧道;通过所述传输隧道传输所述分层结果至所述控制终端设备;
所述控制终端设备用于:获取客户终端设备通过传输隧道传输的属于第二预定时间间隔内的所有分层结果,其中,所述第一预定时间间隔小于等于所述第二预定时间间隔;针对多个所述预定层级中的每个所述预定层级,将所有所述分层结果中属于所述预定层级的所述第一目标数据进行汇总,得到初步汇总结果;针对多个所述预定层级中的每个所述预定层级,从所述初步汇总结果中选取属于所述预定层级的第二目标数据,得到最终汇总结果。
12.一种计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法或者权利要求6至8任一项所述方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法或者权利要求6至8任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625332.1A CN112217657B (zh) | 2019-07-11 | 2019-07-11 | 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625332.1A CN112217657B (zh) | 2019-07-11 | 2019-07-11 | 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112217657A true CN112217657A (zh) | 2021-01-12 |
CN112217657B CN112217657B (zh) | 2023-08-04 |
Family
ID=74048655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910625332.1A Active CN112217657B (zh) | 2019-07-11 | 2019-07-11 | 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112217657B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363411A (zh) * | 2021-12-28 | 2022-04-15 | 奇安信科技集团股份有限公司 | 数据传输方法、设备、系统及计算机存储介质 |
CN115514649A (zh) * | 2022-08-24 | 2022-12-23 | 中国电信股份有限公司 | 一种企业SDWAN hub-spoke组网中智能隧道调度的方法与系统 |
CN115987794A (zh) * | 2023-03-17 | 2023-04-18 | 深圳互联先锋科技有限公司 | 一种基于sd-wan的智能分流方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150095341A1 (en) * | 2013-09-27 | 2015-04-02 | International Business Machines Corporation | System and a method for hierarchical data column storage and efficient query processing |
WO2017139699A1 (en) * | 2016-02-10 | 2017-08-17 | Hughes Network Systems, Llc | System and method for policy-based multipath wan transports for improved quality of service over broadband networks |
CN108075955A (zh) * | 2016-11-10 | 2018-05-25 | 中国移动通信有限公司研究院 | 骨干网的数据处理方法及装置 |
CN108566341A (zh) * | 2018-04-08 | 2018-09-21 | 西安交通大学 | 一种sd-wan环境中流量控制方法 |
CN109617778A (zh) * | 2018-11-22 | 2019-04-12 | 西安佰才邦网络技术有限公司 | 跨域二层网络业务的实现方法、装置和系统 |
CN109743370A (zh) * | 2018-12-24 | 2019-05-10 | 上海游驰网络技术有限公司 | 基于sd-wan的混合云连接方法及系统 |
-
2019
- 2019-07-11 CN CN201910625332.1A patent/CN112217657B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150095341A1 (en) * | 2013-09-27 | 2015-04-02 | International Business Machines Corporation | System and a method for hierarchical data column storage and efficient query processing |
WO2017139699A1 (en) * | 2016-02-10 | 2017-08-17 | Hughes Network Systems, Llc | System and method for policy-based multipath wan transports for improved quality of service over broadband networks |
CN108075955A (zh) * | 2016-11-10 | 2018-05-25 | 中国移动通信有限公司研究院 | 骨干网的数据处理方法及装置 |
CN108566341A (zh) * | 2018-04-08 | 2018-09-21 | 西安交通大学 | 一种sd-wan环境中流量控制方法 |
CN109617778A (zh) * | 2018-11-22 | 2019-04-12 | 西安佰才邦网络技术有限公司 | 跨域二层网络业务的实现方法、装置和系统 |
CN109743370A (zh) * | 2018-12-24 | 2019-05-10 | 上海游驰网络技术有限公司 | 基于sd-wan的混合云连接方法及系统 |
Non-Patent Citations (2)
Title |
---|
谢兆贤等: "软件定义广域网研究", 《火力与指挥控制》 * |
谢兆贤等: "软件定义广域网研究", 《火力与指挥控制》, no. 12, 15 December 2017 (2017-12-15) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363411A (zh) * | 2021-12-28 | 2022-04-15 | 奇安信科技集团股份有限公司 | 数据传输方法、设备、系统及计算机存储介质 |
CN114363411B (zh) * | 2021-12-28 | 2023-11-17 | 奇安信科技集团股份有限公司 | 数据传输方法、设备、系统及计算机存储介质 |
CN115514649A (zh) * | 2022-08-24 | 2022-12-23 | 中国电信股份有限公司 | 一种企业SDWAN hub-spoke组网中智能隧道调度的方法与系统 |
CN115987794A (zh) * | 2023-03-17 | 2023-04-18 | 深圳互联先锋科技有限公司 | 一种基于sd-wan的智能分流方法 |
CN115987794B (zh) * | 2023-03-17 | 2023-05-12 | 深圳互联先锋科技有限公司 | 一种基于sd-wan的智能分流方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112217657B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
JP6716727B2 (ja) | ストリーミングデータ分散処理方法及び装置 | |
US9471610B1 (en) | Scale-out of data that supports roll back | |
CN112217657A (zh) | 基于sd-wan系统的数据传输方法、数据处理方法、设备和介质 | |
CN108737535A (zh) | 一种消息推送方法、存储介质和服务器 | |
CN110198305A (zh) | 坐席ip的异常检测方法、系统、计算机设备及存储介质 | |
CN107370780B (zh) | 基于互联网的媒体推送方法、装置和系统 | |
CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
CN105302920A (zh) | 一种云存储数据的优化管理方法和系统 | |
CN107291744A (zh) | 确定及运用应用程序之间的关系关联的方法及装置 | |
CN113132267B (zh) | 一种分布式系统、数据聚合方法和计算机可读存储介质 | |
CN110928755A (zh) | 一种用户行为数据处理方法及装置 | |
CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
CN104052626A (zh) | 配置网元数据的方法、装置和系统 | |
CN110309496B (zh) | 数据汇总方法、电子装置及计算机可读存储介质 | |
CN113190267B (zh) | 界面布局的动态配置方法与系统 | |
CN105184559B (zh) | 一种支付系统及方法 | |
CN114070755B (zh) | 虚拟机网络流量确定方法、装置、电子设备和存储介质 | |
CN109918277A (zh) | 电子装置、系统日志聚类分析结果的评价方法及存储介质 | |
CN113312355A (zh) | 一种数据管理的方法和装置 | |
CN107844520A (zh) | 电子装置、车辆数据导入方法及存储介质 | |
CN108038127A (zh) | 一种数据同步的方法、装置、终端设备及存储介质 | |
CN106686141A (zh) | 资源下载方法及装置 | |
CN111026566A (zh) | 一种客户端业务错误场景立体监控方法及装置 | |
CN113966602A (zh) | 区块链中区块的分布式存储 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Applicant after: QAX Technology Group Inc. Applicant after: Qianxin Wangshen information technology (Beijing) Co.,Ltd. Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088 Applicant before: QAX Technology Group Inc. Applicant before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |