CN114666249B - 云平台上的流量采集方法、设备以及计算机可读存储介质 - Google Patents
云平台上的流量采集方法、设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114666249B CN114666249B CN202011405772.5A CN202011405772A CN114666249B CN 114666249 B CN114666249 B CN 114666249B CN 202011405772 A CN202011405772 A CN 202011405772A CN 114666249 B CN114666249 B CN 114666249B
- Authority
- CN
- China
- Prior art keywords
- flow
- traffic
- data
- network
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
提供了一种云平台上的流量采集方法、设备以及计算机可读存储介质,所述方法包括:获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将其存储至预定存储位置,其中,所述流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
Description
技术领域
本公开涉及云技术领域,并且更具体地,涉及一种云平台上的流量采集方法、设备以及计算机可读存储介质。
背景技术
在云平台的应用场景中,常常需要对云原生流量(后文简称为流量)进行采集,以对可能发生的异常流量进行监控,因为异常流量通常与网络入侵、受损实例或其他异常情况的内容相关联,并且可以基于监控的流量来进行故障定位、故障消除等。另外,对于企业用户来说,可以通过对流量的监控而进行业务分析等。对流量的监控可以被视为流量的采集。
因此需要一种能够实时地、精确地获取云原生流量的流量采集方案。
发明内容
为了解决上述问题,本公开提出了一种云平台上的流量采集方法、设备以及计算机可读存储介质,更具体地,提出了一种基于流量镜像来对云原生流量进行采集的方法、装置、系统以及设备。
根据本公开实施例的一方面,提供了一种在云平台上流量采集方法,包括:获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将其存储至预定存储位置,其中,所述流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
根据本公开的实施例,其中,所述流量采集配置信息还可以包括对象配置信息,其中,通过流量镜像的方式采集所述待采集的私有网络的全量流量数据包括:基于所述对象配置信息,确定所述特定私有网络中的目标采集对象;以及通过流量镜像的方式采集所述特定私有网络中所述目标采集对象的全量流量数据。
根据本公开的实施例,其中,所述目标采集对象包括目标弹性网卡以及目标采集方向中的至少一项,其中,所述特定私有网络部署有多个弹性网卡,所述目标弹性网卡为所述多个弹性网卡中的至少一个;所述目标采集方向包括出流量方向以及入流量方向中的至少一个。
根据本公开的实施例,其中,所述特定私有网络被划分为至少一个子网,每个子网中部署多个弹性网卡,其中,所述目标弹性网卡为以下一项:所述特定私有网络内的所有弹性网卡、特定子网内的所有弹性网卡、和特定弹性网卡。
根据本公开的实施例,其中,所述流量筛选方式包括以下至少一项:从所述全量流量数据中提取五元组流量数据;从所述全量流量数据中提取与特定网关类型相关的流量数据。
根据本公开的实施例,其中,所述预定存储位置包括所述特定私有网络内的预定存储位置以及所述特定私有网络外的预定存储位置中的至少一个。
根据本公开的实施例,其中,所述预定存储位置包括多个子存储位置;所述流量采集配置信息还可以包括均衡分配信息,所述均衡分配信息用于指示将所述流量采集数据均衡地分配到所述多个子存储位置的均衡方式,其中,将流量采集数据存储在所述预定存储位置包括:基于所述均衡分配信息,将所述流量采集数据存储到所述多个子存储位置。
根据本公开的实施例,其中,所述均衡方式包括随机均分或者按目标弹性网卡分配,其中,其中,基于所述均衡分配信息,将所述流量采集数据存储到所述多个子存储位置,包括:基于所述均衡分配信息,将所述流量采集数据存储到所述多个子存储位置,包括:在所述均衡方式为随机均分时,将所述流量采集数据平均分配为多个组,并且将各个组的流量采集数据分别转发到各个子存储位置中,或者在所述均衡方式为按弹性网卡的地址分配时,按照弹性网卡的地址将该弹性网卡的流量采集数据转发到与该弹性网卡相关联的子存储位置。
根据本公开的实施例,其中,所述采集配置信息还可以包括至少一个公网地址的信息,所述方法还可以包括:通过流量镜像的方式采集所述至少一个公网地址处的全量流量数据。
根据本公开的实施例,其中,所述至少一个公网地址处的全量流量数据也可以被存储到所述特定私有网络内的预定存储地址以及所述特定私有网络外的预定存储地址中的至少一个。
根据本公开的实施例,其中,所述至少一个公网地址处的全量流量数据也可以被分发地存储到多个子存储位置。
根据本公开的实施例,其中,通过流量镜像的方式采集所述至少一个公网地址处的流量镜像包括:利用无源光器件通过流量镜像的方式对所述至少一个公网地址处的流量进行采集,并且通过流量镜像的方式采集所述特定私有网络的全量流量数据包括:利用所述特定私有网络的宿主机中的私有网络代理对目标采集对象的流量进行采集。
根据本公开的另一方面,还提供了一种在云平台上的流量采集设备,其特征在于,包括:至少一个处理器;以及至少一个存储器,其上存储有指令,当所述指令被所述至少一个处理器执行时,使得所述至少一个处理器执行以下操作:获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将所述流量采集数据存储至预定存储位置,其中,所述流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
根据本公开的实施例,其中,所述流量采集配置信息还可以包括对象配置信息,其中,所述至少一个处理器通过流量镜像的方式采集所述特定私有网络的全量流量数据,包括:基于所述对象配置信息,确定所述特定私有网络中的目标采集对象;以及通过流量镜像的方式采集所述特定私有网络中所述目标采集对象的全量流量数据。
根据本公开的实施例,其中,所述目标采集对象包括目标弹性网卡以及目标采集方向中的至少一项,其中,所述特定私有网络部署有多个弹性网卡,所述目标弹性网卡为所述多个弹性网卡中的至少一个;所述目标采集方向包括出流量方向以及入流量方向中的至少一个。
根据本公开的实施例,其中所述采集配置信息还可以包括至少一个公网地址的信息,其中,所述流量采集设备还可以包括:分光系统,用于通过流量镜像的方式采集所述至少一个公网地址处的流量。
根据本公开的实施例,其中,预定存储位置包括特定私有网络内的预定存储地址以及特定私有网络外的预定存储地址中的至少一个,并且预定存储位置包括多个子存储位置。
根据本公开的实施例,其中,生成模块可以被配置为基于均衡分配信息,将流量采集数据存储到多个子存储位置,其中均衡分配信息用于指示将流量采集信息均衡地分配到多个子存储位置的均衡方式。
根据本公开的又一方面,还提供了一种在云平台上的流量采集装置,包括:获取模块,用于获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;流量采集模块,用于通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及生成模块,用于基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将其存储至预定存储位置。
根据本公开的又一方面,还提供了一种在云平台上的流量采集系统。流量采集系统可以包括:如上所述的流量采集装置以及接收装置。接收装置用于接收并存储来自流量采集装置的通过流量镜像的方式采集得到的流量采集数据,并对其进行分析或处理或将其转发到用户数据中心(用户IDC)进行分析和处理。
根据本公开的实施例,其中,接收装置可以包括第一网关(例如用于协议封装、数据转发等)、第二网关(专线网关,例如用户协议解封装、数据转发等)、以及所述特定私有网络中的多个云服务器。所述第一网关用于从分光系统或者私有网络代理接收流量采集数据并进行初步处理(例如,将分光系统推送的或者将私有网络代理采集的流量采集数据UDP报文进行协议(例如GRE)封装)以从underlay网络转换到overlay网络从而在虚拟层面上对其进行操作,并将初步处理后的流量采集数据经由专线网关(解封装)转发到用户数据中心以进行分析和处理或者向云服务器转发以进行分析和处理。
根据本公开的实施例,其中,流量采集系统还可以包括输入装置和显示装置,其中输入装置包括有助于用户输入的用户接口部件,在本公开的一些实施例中可以用于用户输入采集配置信息。显示装置包括一个或多个视觉显示屏,用于呈现流量采集的相关信息,例如在创建基于流量镜像的方式的流量采集任务(简称流量镜像)的配置界面。
本公开的实施例还提供了一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时用于实现如上所述的在云平台上的流量采集方法。
本公开的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行根据本公开实施例的在云平台上的流量采集方法。
基于本公开的实施例提供的在云平台上基于流量镜像来对云原生流量进行采集的方法、装置以及系统,由于通过流量镜像直接对采集目标(例如弹性网卡接口以及公网IP(公网出口))处的流量进行采集,并且可以实时转发到分析或处理装置,因此能够实时地采集云原生流量的全包数据,即包括包头和包体的全部数据,以便例如可以对被监控的流量进行故障定位、流量分析、流量备份,基于采集的流量对网络架构进行合理优化等,同时满足安全部门或安全合规的审计需求。此外,精确粒度可以与实时粒度相当,因此可以更方便定位故障或安全事故发生的时间点信息。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本公开的一些示例性实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了云平台上的一种私有网络(VPC)的示意图。
图2示出了流量镜像技术的原理的示意图。
图3A-3B示出了根据本公开实施例的云平台上的流量采集方法的流程示意图。
图4-5示出了根据本公开实施例的在数据平面和控制平面上的流量采集过程的示意图。
图6A示出了根据本公开实施例的云平台上的流量采集设备的示意框图。
图6B示出了根据本公开实施例的云平台上的流量采集装置的示意框图。
图7示出了根据本公开实施例的云平台上的流量采集系统的示意框图。
图8-13示出了根据本公开实施例的流量镜像的配置界面的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参考附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
在本说明书和附图中,基本上相同或相似的步骤和元素用相同或相似的附图标记来表示,并且对这些步骤和元素的重复描述将被省略。同时,在本公开的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性或排序。
云安全(Cloud Security)是指基于云计算商业模式应用的安全软件、硬件、用户、机构、安全云平台的总称。云安全融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,并发送到服务器端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
云安全主要研究方向包括:1.云计算安全,主要研究如何保障云自身及云上各种应用的安全,包括云计算机系统安全、用户数据的安全存储与隔离、用户接入认证、信息传输安全、网络攻击防护、合规审计等;2.安全基础设施的云化,主要研究如何采用云计算新建与整合安全基础设施资源,优化安全防护机制,包括通过云计算技术构建超大规模安全事件、信息采集与处理平台,实现对海量信息的采集与关联分析,提升全网安全事件把控能力及风险控制能力;3.云安全服务,主要研究各种基于云计算平台为用户提供的安全服务,如防病毒服务等。
本公开的实施例涉及对云原生流量进行采集,其中采集的流量可以用于进行安全审计、业务分析、故障定位等。为便于理解,以下首先介绍与本公开的实施例相关的一些基本概念。
虚拟私人云(Virtual Private Cloud,VPC):是一块租户可自定义的逻辑隔离网络空间,也称为私有网络。与用户在数据中心运行的传统网络相似,托管在公有云平台中私有网络内的是租户在公有云平台上的服务资源,包括云服务器、负载均衡、云数据库等云服务资源,租户可以完全掌握私有网络环境,包括自定义网段划分、IP地址和路由策略等,并通过网络访问控制表(ACL)和安全组等实现多层安全防护,如图1所示。同时,租户也可以通过IPsec VPN或专线连通私有网络与租户的数据中心(IDC),灵活部署混合云。
流量镜像:通过在交换机或路由器上,将一个或多个源端口的数据流量转发到某一个指定端口来实现对网络的监听,指定端口称之为“镜像端口”或“目的端口”,在不严重影响源端口正常吞吐流量的情况下,可以通过镜像端口对网络的流量进行监控分析,如图2所示。
网关(Gateway,GW):又称网间连接器、协议转换器。默认网关在网络层上以实现网络互连,是最复杂的网络互连设备,仅用于两个高层协议不同的网络互连。网关的结构也和路由器类似,不同的是互连层。网关既可以用于广域网互连,也可以用于局域网互连。
弹性网卡或弹性网络接口(Elastic Network Interface,ENI):一种可以绑定到私有网络(VPC)类型的云服务器上的虚拟网卡。通过弹性网卡,可以实现高可用集群搭建、低成本故障转移和精细化的网络管理。弹性网卡是一种虚拟的网络接口,需绑定到私有网络的云服务器上使用,并且弹性网卡只可以绑定同一私有网络下同一可用区的云服务器。
公网地址(或公网IP、公网IP地址):在创建云服务器时,在网络中设置带宽大于0Mbps,完成后系统会自动从公有IP地址池中为该云服务器分配一个公网IP,公网IP和内网IP(私网IP)可以经过地址转换方式而相互转换,即通过NAT映射,用于该云服务器进行公网访问或被公网访问,但在云服务器处无法查看公网IP。
网络地址转换(NAT)网关:是一种将VPC中内网IP地址和公网IP地址进行转换的网关,是VPC内无公网IP的云资源(云主机、云服务器)访问Internet的一种方式,NAT网关处于Internet和VPC的边界。NAT网关能提供具备SNAT(源网络地址转换)、DNAT(目的网络地址转换)功能,SNAT支持多个VPC云服务器通过同一公网IP主动访问互联网,DNAT将VPC内的云服务器内网IP、协议、端口映射成外网IP、协议、端口,使得云服务器上的服务可被外网访问。
弹性公网地址(弹性公网IP、EIP):可以独立购买和持有的、某个地域下固定不变的公网IP地址。EIP可以随时与云服务器、NAT网关、弹性网卡和高可用虚拟IP绑定,提供访问公网和被公网访问的能力,也可以随时与它们解绑(普通公网IP无法解绑),例如,若需要保留某个与业务强相关的公网IP地址,可以将普通公网IP转换为EIP保留在用户账户中。
首先,根据本公开的一方面,为了对云原生流量的采集,提出了一种基于网络流日志(Flow logs)的方法。网络流日志对代表公有云客户的流日志中的网络流进行记录。每个记录捕获特定捕获窗口(一段时间,例如,5-10分钟)中的特定五元组(源IP地址、源端口、目的IP地址、目的端口和传输层协议)的IP报文的网络流。在捕获窗口的时间段内,流日志服务会聚合数据,然后再发布流日志记录,推送时间约为5分钟。流日志记录是以空格分隔的字符串,例如可以采用以下格式:version account-id interface-id srcaddr dstaddrsrcport dstport protocol packets bytes start end action log-status。
基于流日志,客户可捕获传入/传出私有网络(VPC)中弹性网卡IP的流量。例如,在一个示例中,在创建流日志后,客户可以在用户界面上的日志服务栏中查看和检索其数据,或将指定的流日志投递其它产品分析或存储,例如,投递至云对象存储(Cloud ObjectStorage,COS)中,对流日志进行生命周期管理等,以例如满足针对流日志的安全审计需求等。
然而,对于基于网络流日志的流量采集方法,该方法仅采集包头五元组信息,并未采集全包信息,因此无法利用流量的全量流量数据(全量信息)来进行安全审计、故障定位以及业务数据分析等。此外,该方法采集的流量数据为一个时间段内的聚合数据,并且精确粒度较大,例如在十几分钟(与捕获窗口的时间段长度对应),因此无法获取实时的以及更精准的流量数据。
因此,需要一种能够实时地以及更精准地获取流量数据的方法。
以下结合图3A-13对根据本公开实施例的基于流量镜像的流量采集方案进行详细介绍,以能够实时地以及更精准地获取流量数据。
图3A-3B示出了根据本公开实施例的云平台中的流量采集方法的示意流程图。该方法适用于在如图1所示的云平台中进行流量采集,并且可以包括以下步骤S310-S330。
图3A示出了根据本公开实施例的一种云平台中的流量采集方法300。
如图3A所示,在步骤S310中,获取流量采集配置信息,其中该流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,云平台上部署有多个私有网络,且各个私有网络彼此隔离。该特定私有网络为多个私有网络中的一个。
例如,在云平台上,在创建私有网络(VPC)时,已经针对该要创建的私有网络创建了私有网络的标识(名称和ID)以及分配了对应的VPC网段。图1示出了两个私有网络(VPC1和VPC2)。每个私有网络里包括多个(图中为两个)子网(子网网段也在VPC网段内),针对子网创建一个网络访问控制表(ACL),也叫路由表,并把子网关联到这个网络访问控制表,子网里包括多个云服务器,该网络访问控制表存储子网内的该多个云服务器的地址。同一私有网络下不同子网是互通的,不同私有网络间的子网是隔离的,不同的私有网络间可以通过对等连接和云联网进行通信,并且通过虚拟私有网络(VPN)、专线接入和云联网等,可以实现私有网络与用户数据中心(IDC)的互联。图1中还示出了VPC中的云服务器可以通过弹性公网IP(EIP)实现与公网的通信。这种情况下,这些云服务器会优先通过绑定的弹性公网IP来访问互联网,而不通过网络地址转换(NAT)网关。
因此,基于配置的(例如通过用户输入的)私有网络的标识,可以确定对应的待采集其流量的特定私有网络。
此外,如将在后文描述的,由于通过流量镜像采集得到的流量数据是全量流量数据(本文中所述的全量流量数据指的是从端口获取的完整的流量数据,例如从该端口流出的所有流量数据而不仅仅是类似于诸如五元组信息的关键信息相关联的流量数据。与仅仅采集特定的五元组信息相关联的流量数据相比,采集全量流量数据可以用于更多类型的数据分析)。但是可能后端服务(例如,用于安全审计、故障定位、业务分析)只需要特定部分的流量数据,因此通过流量筛选信息来指示从所采集的流量的全量流量数据中筛选出最终期望得到的流量数据的流量筛选方式。例如,所述流量筛选方式包括以下至少一项:从所述全量流量数据中提取五元组流量数据;以及从所述全量流量数据中提取与特定网关类型相关的流量数据,例如,流量筛选方式可以包括下一跳(指定关联到特定路由表的子网流量具体跳转至哪个下一跳网关)为NAT网关。也就是说,可以从通过流量镜像的方式获得的全量流量数据中筛选出特定五元组信息相关联的流量数据或者去向为NAT网关的流量数据,作为流量采集数据,以用于对应的后端服务。当然还可以包括其他流量筛选方式,这可以根据后端服务所需要的流量数据而设置,本公开对此不做限制。此外,流量筛选信息也可以指示不对所采集的全量流量数据进行筛选,此时将通过流量镜像的方式采集的全量流量数据作为流量采集数据。例如,每条流量采集数据不仅具有诸如五元组信息(源IP地址、源端口、目的IP地址、目的端口和传输层协议)的关键信息相关联的流量数据,而且更包括其他信息相关联的流量数据。
在步骤S320中,通过流量镜像的方式采集该特定私有网络的全量流量数据。
如前文参考图2所描述的,流量镜像的方式为将采集源21的端口(镜像源)的数据流量转发到接收端口(镜像目标)来实现对网络流量的监听(采集),该过程是实时进行的。
在图2中,以采集源为该特定私有网络里的多个云服务器201上绑定的多个弹性网卡202为例,该多个弹性网卡202会向正常业务集群23(图中示出了包括云服务器201、弹性网卡202和云数据库203)提供业务流量或者从正常业务集群23接收业务流量。流量镜像组件(如将在后文描述的宿主机中的私有网络代理)采集该多个弹性网卡202的流量(包括出流量、入流量或全部流量),并将采集到的流量转发到作为接收端22的、该特定私有网络里的至少其他一个云服务器201。
在步骤S330中,基于所采集的全量流量数据以及该流量筛选信息,生成流量采集数据,并将其存储至预定存储位置。预定存储位置包括特定私有网络内的预定存储位置以及特定私有网络外的预定存储位置中的至少一个。
可选地,在预定存储位置为特定私有网络内的预定存储位置的情况下,预定存储位置可以包括该特定私有网络内的云服务器,并且在预定存储位置为特定私有网络外的预定存储位置的情况下,预定存储位置可以包括该特定私有网络外的用户数据中心。
图3B示出了根据本公开的另一实施例的云平台中的流量采集方法300B。
在一些实施例中,流量采集配置信息还可以包括对象配置信息,对象配置信息能够指示特定私有网络中的具体的目标采集对象。因此,在图3B的步骤S320中,可以通过流量镜像的方式采集所述待采集的私有网络的全量流量数据包括:基于所述对象配置信息,确定私有网络中的目标采集对象;以及通过流量镜像的方式采集所述私有网络中所述目标采集对象的全量流量数据。
例如,目标采集对象可以包括目标弹性网卡以及目标采集方向中的至少一项。由于所述特定私有网络中可以部署多个云服务器,多个云服务器可以绑定有多个弹性网卡,因此目标弹性网卡为该特定私有网络中的多个弹性网卡中的至少一个。
更具体地,由于特定私有网络被划分为至少一个子网,每个私有子网中包括多个云服务器,从而部署有多个弹性网卡,因此,目标弹性网卡可以为以下一项:特定私有网络内的所有弹性网卡、所述至少一个子网当中特定子网内的所有弹性网卡、和至少一个特定弹性网卡。
此外,对于端口来说,流量可以从该端口流进和流出,因此可以采集端口的出流量,采集端口的入流量,也可采集全部流量(全部流量为出流量和入流量两者),因此,目标采集对象中包括的目标采集方向包括出流量方向以及入流量方向中的至少一个。
可选地,可以利用特定私有网络对应的宿主机中的私有网络代理对所述目标采集对象的流量进行采集。宿主机是提供用户独享的物理服务器资源,在其上可以搭载虚拟化系统,因此在其上可以创建多个云服务器并创建私有网络,每个私有网络都有其对应的宿主机。
此外,在图3B中的步骤S330可以存在多个子存储位置。
首先,由于流量采集数据的数据量往往比较大,因此将流量采集数据存到一个预定存储位置,例如存储到一个云服务器是不合适的。因此可选地,预定存储位置可以包括多个子存储位置,例如特定私有网络内的预定存储位置或者特定私有网络外的预定存储位置可以包括多个子存储位置,即可以将该预定存储位置认为是多个子存储位置的集合,这样就可以将流量采集数据分布式地存储在多个位置。
在一方面,在预定存储位置为特定私有网络内的预定存储位置的情况下,预定存储位置可以包括该特定私有网络内的多个云服务器(也称为云主机或虚拟机)的地址(内网IP),这些云服务器的地址可以被称为接收IP,并且这些云服务器可以对流量采集数据进行分析和处理,以基于流量采集数据进行安全审计、故障定位、业务分析等,并且在目标采集对象为该特定私有网络中的所有弹性网卡以及子网中的弹性网卡的情况下,接收流量采集数据的云服务器绑定的弹性网卡的流量数据不被采集。
例如,可以在流量采集配置信息中配置存储位置的信息(例如配置IP地址),从而可以基于流量采集配置信息而确定要接收流量采集数据的至少一个云服务器,这样即使要采集整个特定私有网络的所有弹性网卡的流量,也不采集接收流量采集数据的云服务器绑定的弹性网卡的流量。
例如,在该特定私有网络内,可以通过流量镜像的方式对一个特定子网内的所有云服务器的弹性网卡进行流量采集,并将流量采集数据发送到另一个子网内的云服务器进行分析和处理;或者,通过流量镜像的方式对至少一个特定弹性网卡进行流量采集,并将流量采集数据发送到未与该至少一个特定弹性网卡绑定的云服务器。
在另一方面,特定私有网络外的预定存储位置可以包括用户数据中心,并且可选地在这种情况下,预定存储位置可以包括多个用户数据中心。
云平台中的用户数据中心可以有多个,相互之间可以互相进行数据和信息的交换。用户数据中心是支撑云计算服务的基础设施,其可以存储大量数据,并且保证这些数据始终是安全可用的,并且能对数据进行集中地自动化管理、按特定规则备份、对系统性能和流量等特性的监测、存储设备的负载均衡等。
如上面所述,在预定存储位置包括多个子存储位置的情况下,流量采集配置信息还应该包括均衡分配信息,该均衡分配信息用于指示将该流量采集信息均衡地分配到所述多个子存储位置的均衡方式。因此,步骤S330具体可以包括基于该均衡分配信息,将所述流量采集信息存储到所述多个子存储位置。
另外,流量采集数据可以是用户数据报协议(UDP)的格式,在这种情况下,可以将流量采集数据所对应的UDP报文经过网关(如后文所述的第一网关JNSGW)进行封装后再转发到各个云服务器或者用户数据中心。
根据本公开的一些实施例,该均衡方式可以包括随机均分或者按弹性网卡的地址分配。
在均衡方式为随机均分时,可以将流量采集数据平均分配为多个组,并且将各个组的流量采集数据分别转发到各个对应的子存储位置中。例如,在某一时刻采集的某一特定子网内的所有弹性网卡的全部流量数据被平均地转发到多个子存储位置中。
在均衡方式为按弹性网卡的地址分配时,可以按照弹性网卡的地址将该弹性网卡的流量采集数据转发到与该弹性网卡相关联的子存储位置。
作为一个示例,将同一弹性网卡的流量采集数据转发到与该弹性网卡相关联的子存储位置,即转发到同一子存储位置。例如,IP为172.17.32.14(内网IP)的云服务器用于存储ID为“eni-ftwvoxjt”的特定弹性网卡(地址不变)的流量采集数据,因此针对该特定弹性网卡在第一次采集期间的出流量、第二次采集期间的入流量和第三次采集期间的全部流量都会存储在该云服务器处。一个IP对应的云服务器可以与多个弹性网卡相关联,即可以存储针对多个弹性网卡的地址的流量采集数据。
作为另一个示例,与弹性网卡相关联的子存储位置还可以基于弹性网卡的地址的哈希计算。例如,子存储位置仅为N个,远少于被采集了流量数据的弹性网卡(也即目标弹性网卡)的数量,可以对每个弹性网卡的地址(内网IP)进行数据转换得到整数,然后将这些整数对N取余,将具有相同余数的整数对应的弹性网卡(的地址)存储到一个子存储位置中,即该一个子存储位置与具有相同余数的整数对应的弹性网卡相关联。该过程可以视为对这些弹性网卡的地址的哈希运算,即可以基于弹性网卡的地址的哈希运算来对流量采集数据的存储位置的均衡分配。
附加地或替代地,还可以通过流量镜像的方式对公网地址的流量进行采集,更具体地,对公网出口处的流量进行采集,例如,NAT网关朝向外网侧的端口。在这种情况下,在步骤S310中获取的流量采集信息还可以包括至少一个公网地址的信息,并且该方法还可以包括:通过流量镜像的方式采集所述至少一个公网地址处的流量。
可选地,利用无源光器件通过流量镜像的方式对所述至少一个公网地址处的流量进行采集。例如,无源光器件可以为分光系统中的一个部件,用于将公网出口处的光信号(与流量相对应)复制一份,用作流量采集数据。基于分光系统采集流量无需修改现有网络设备的任何配置,不改变网络结构,能够和网络无缝集成,即属于非侵入式方式。
此外,分光系统在通过其内部的分光器件得到流量采集数据之后,可以将流量采集数据转发到用户数据中心或者云服务器。
具体地,由于分光系统采集的流量采集数据是基于下层(underlay)网络,及基于物理层面的,因此需要将该underlay网络的数据发送到上层(overlay)网络,以进行虚拟层面的操作。分光系统将通过流量镜像的方式采集得到的流量采集数据(经过过滤得到的负载均衡(LB)流量,负载均衡是云计算领域的常规技术,为了不模糊本申请的内容,这里不详细介绍)通过用户数据报协议(UDP)推送到第一网关(例如,JNSGW),然后第一网关将分光系统推送的UDP报文进行封装(例如,GRE封装),将封装后的UDP报文转发到具有指定的接收IP的云服务器或者第二网关(例如,专线网关,DCGW),即该第一网关能够将underlay网络的报文转发到overlay网络。第二网关对封装后的UDP报文进行解封装,然后将解封装后的UDP报文转发到所述特定私有网络对应的用户数据中心以进行分析和处理。
可选地,第一网关的集群可以采用主备的方式。
可选地,与前面类似地,分光系统也可以将流量采集数据(经过第一网关的UDP报文封装后)随机均分或者按照流量采集数据的关键信息而均衡地分发到多个用户数据中心或者云服务器处。例如,该关键信息可以是各条流量采集数据的五元组信息,分光系统可以根据不同五元组信息将五元组信息经过转换得到的整数进行分组,例如对N取余(N为子存储位置或云服务器的数量),然后将流量采集数据分发到后端的不同云服务器处或不同的用户数据中心处(例如根据这些数据相对于对N的余数)。
为了更清楚地对上述基于流量镜像的方式的流量采集方法进行描述,下面从数据平面和控制平面来对其进行描述。图4示出了基于流量镜像的方式的流量采集方法的数据平面的数据传输的示意图,并且图5示出了控制平面的控制信令传输的示意图。
如图4所示,分光系统通过流量镜像的方式采集公网IP(公网出口)处的流量,和/或宿主机中的流量采集组件(例如,宿主机中的私有网络代理)通过流量镜像的方式采集私有网络中与多个云服务器绑定的弹性网卡中的至少一个弹性网卡的流量。所获得的流量采集数据可以被转发到接收装置420。接收装置可以包括第一网关4201(例如用于协议封装、数据转发等)、第二网关4202(专线网关,例如用户协议解封装、数据转发等)、以及所述特定私有网络中的多个云服务器4203(具有预设的接收IP)。第一网关4201用于从如前面所述的分光系统或者私有网络代理接收流量采集数据并进行初步处理(例如,将分光系统推送的或者将私有网络代理采集的流量采集数据UDP报文进行协议(例如GRE)封装)以从underlay网络转换到overlay网络从而在虚拟层面上对其进行操作,并将初步处理后的流量采集数据经由专线网关4202(解封装)转发到用户数据中心430以进行分析和处理或者向云服务器4203转发以进行分析和处理。分光系统和宿主机中的流量采集组件可以共同视为流量采集模块410,与图6B中所示的流量采集模块对应。
同时,对于控制平面,如图5所示,用户501进入控制台502以通过云应用程序接口(API)503创建所需要的功能,例如可以创建流量镜像、流量接收操作,用户通过配置管理中心(例如Appolo)504输入和修改配置信息以及服务器的地址等。私有网络执行单元(VPC-OSS)505基于来自云API 503以及配置管理中心504的控制信息而进行业务逻辑处理,并将由消息传递机制(例如ZK)506向宿主机中的私有网络代理507传递进行基于流量镜像的方式的流量采集,和/或控制分光系统508对公网IP处进行基于流量镜像的方式的流量采集。实际上,按照实现的功能,在图5中,可以将控制台、云API以及Appolo共同视为输入模块,将私有网络执行单元(VPC-OSS)以及消息传递机制共同视为处理模块,并且私有网络代理以及分光系统共同视为流量采集模块。
基于本公开的实施例提供的基于流量镜像来对云原生流量进行采集的方法,由于通过流量镜像直接对采集目标(例如弹性网卡接口以及公网IP(公网出口))处的流量进行采集,因此能够采集云原生流量的全包数据,即包括包头和包体的全部流量数据,从而可以根据实际需要的流量数据设置流量筛选规则(例如,用于安全审计以及业务分析应用的流量筛选规则不同)来从全部流量数据中筛选出所需要的流量数据,进而例如可以对被监控的流量进行故障定位、流量分析、流量备份,基于采集的流量对网络架构进行合理优化等,同时满足安全部门或安全合规的审计需求。此外,通过流量镜像的方式采集流量是实时进行的,因此精确粒度可以与实时粒度相当,因此可以更方便定位故障或安全事故发生的时间点信息。
根据本公开的另一方面,还提供了一种在云平台上的流量采集设备和流量采集装装置。
参见图6A,流量采集设备600A可以包括至少一个处理器601和至少一个存储器602(图中只示出一个,实际可以为多个,并且分布式地部署)。至少一个处理器601和至少一个存储器602可以通过总线603相连。
至少一个存储器602上存储有指令,并且当所述指令被所述至少一个处理器执行时,使得该至少一个处理器601执行以下操作:获取流量采集配置信息,流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,云平台上部署有多个私有网络,且各个私有网络彼此隔离,特定私有网络为多个私有网络之一;通过流量镜像的方式采集特定私有网络的全量流量数据;以及基于所采集的全量流量数据以及流量筛选信息,生成流量采集数据,并将流量采集数据存储至预定存储位置,其中,流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
此外,如前面参考图3A-3B,由于流量采集配置信息包括对象配置信息,因此至少一个处理器601可以基于对象配置信息,确定特定私有网络中的目标采集对象;以及通过流量镜像的方式采集特定私有网络中目标采集对象的全量流量数据。
可选地,预定存储位置包括多个子存储位置;采集配置信息还可以包括均衡分配信息,均衡分配信息用于指示将流量采集信息均衡地分配到多个子存储位置的均衡方式,因此,至少一个处理器601可以基于均衡分配信息,将流量采集数据存储到多个子存储位置。
可选地,由于如前面参考图3A-3B,均衡方式包括随机均分或者按弹性网卡地址分配,因此,至少一个处理器601可以:在均衡方式为随机均分时,将流量采集数据平均分配为多个组,并且将各个组的流量采集数据分别转发到各个子存储位置中,或者在均衡方式为按弹性网卡地址分配时,按照弹性网卡的地址将该弹性网卡的流量采集数据转发到与该弹性网卡相关联的子存储位置。
可选地,至少一个处理器601可以利用特定私有网络的宿主机中的私有网络代理通过流量镜像的方式对目标采集对象的全量流量数据进行采集。
此外,该流量采集设备600A还可以包括分光系统604,用于通过流量镜像的方式采集至少一个公网地址处的全量流量数据,更具体地,该分光系统利用无源光器件(例如,分光器)通过流量镜像的方式对至少一个公网地址处的全量流量数据进行采集。
至少一个处理器601可以根据存储在至少一个存储器602中的计算机可读指令执行各种动作和处理。具体地,至少一个处理器601中的每个可以是一种集成电路芯片,具有信号的处理能力。上述处理器可以是中央处理器(CPU)、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开的实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以是X66架构或ARM架构的。
至少一个存储器602中的每个可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意,本公开描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
图6B示出了根据本公开实施例的在云平台上的流量采集装置600B。
如图6B所示,该流量采集装置600B包括获取模块610、流量采集模块620以及生成模块630。
获取模块610用于获取流量采集配置信息,流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,云平台上部署有多个私有网络,且各个私有网络彼此隔离,该特定私有网络为多个私有网络之一。
流量采集模块620用于通过流量镜像的方式采集特定私有网络的全量流量数据。
更具体地,如前面所述,流量采集配置信息还可以包括对象配置信息,因此流量采集模块620可以包括:确定子模块6201,用于基于所述对象配置信息,确定所述特定私有网络中的目标采集对象;以及第一采集子模块6202,用于通过流量镜像的方式采集所述特定私有网络中目标采集对象的全量流量数据。与前文一致的,目标采集对象包括目标弹性网卡(特定私有网络内的所有弹性网卡、特定子网内的所有弹性网卡、或特定弹性网卡)以及目标采集方向(出流量方向以及入流量方向中的至少一个)中的至少一项。
此外,如前面所述,还可以通过流量镜像的方式对公网地址处的流量进行采集,因此,流量采集模块620还可以包括:第二采集子模块6203,用于通过流量镜像的方式采集至少一个公网地址处的流量。对目标弹性网卡以及公网地址处的流量的更多细节已经在前文进行了详细描述,因此这里可以省略。
生成模块630用于基于所采集的全量流量数据以及流量筛选信息,生成流量采集数据,并将其存储至预定存储位置。
具体地,预定存储位置包括特定私有网络内的预定存储地址以及特定私有网络外的预定存储地址中的至少一个,并且可选地预定存储位置可以例如包括多个子存储位置。因此,生成模块630可以被配置为基于均衡分配信息,将流量采集数据存储到多个子存储位置,其中均衡分配信息用于指示将流量采集信息均衡地分配到多个子存储位置的均衡方式。关于均衡方式的更多细节已经在前文进行了详细介绍,因此这里不再重复。
基于本公开的实施例提供的基于流量镜像来对云原生流量进行采集的设备和装置,由于通过流量镜像直接对采集目标(例如弹性网卡接口以及公网IP(公网出口))处的流量进行采集,因此能够采集云原生流量的全包数据,即包括包头和包体的全部流量数据,从而可以根据实际需要的流量数据设置流量筛选规则(例如,用于安全审计以及业务分析应用的流量筛选规则不同)来从全部流量数据中筛选出所需要的流量数据,进而例如可以对被监控的流量进行故障定位、流量分析、流量备份,基于采集的流量对网络架构进行合理优化等,同时满足安全部门或安全合规的审计需求。此外,通过流量镜像的方式采集流量是实时进行的,因此精确粒度可以与实时粒度相当,因此可以更方便定位故障或安全事故发生的时间点信息。
根据本公开的又一方面,还提供了一种在云平台上的流量采集系统。图7示出了根据本公开实施的在云平台上的流量采集系统700。
流量采集系统700可以包括:流量采集装置710以及接收装置720(流量采集数据在私有网络内的预定存储位置)。
流量采集装置710可以是前面参考图6B描述的流量采集装置600,并且接收装置720用于接收并存储来自流量采集装置710的通过流量镜像的方式采集得到的流量采集数据,并对其进行分析或处理或将其转发到用户数据中心进行分析和处理。
更具体地,接收装置720可以包括第一网关(例如用于协议封装、数据转发等)、第二网关(专线网关,例如用户协议解封装、数据转发等)、以及所述特定私有网络中的多个云服务器(具有预设的接收IP)。第一网关用于从如前面所述的分光系统或者私有网络代理接收流量采集数据并进行初步处理(例如,将分光系统推送的或者将私有网络代理采集的流量采集数据UDP报文进行协议(例如GRE)封装)以从underlay网络转换到overlay网络从而在虚拟层面上对其进行操作,并将初步处理后的流量采集数据经由专线网关(解封装)转发到用户数据中心以进行分析和处理或者向云服务器转发以进行分析和处理。
此外,流量采集系统700还可以包括输入装置730和显示装置740。输入装置730包括有助于用户输入的用户接口部件,例如键盘、鼠标、触屏显示屏、其他输入按钮和控件,在本公开的一些实施例中可以用于用户输入采集配置信息。显示装置740包括一个或多个视觉显示屏,用于呈现流量采集的相关信息,例如在创建基于流量镜像的方式的流量采集任务(简称流量镜像)的配置界面。
图8-图13示出了根据本公开实施例的基于流量镜像的方式进行流量采集的任务(简称流量镜像)的配置界面的示意图。
图8示出了已创建好的多个流量镜像的列表,针对每个流量镜像,显示了该流量镜像的名称和ID(两者一一对应,例如名称为imgl-abcd对应的ID为sd)、目标采集对象(包括目标弹性网卡和目标采集方向,分别与图中的采集范围和采集类型对应)、要采集的目标采集对象的所属网络、创建时间、流量采集的启用开关(默认不开启),以及针对该流量镜像的任何后期可能的操作(例如,编辑标签或者删除该流量镜像)。
在图8中,采集范围指示期望采集什么范围内的弹性网卡,对应于如前面所述的目标弹性网卡,可以包括特定私有网络内的所有弹性网卡(图8中显示为私有网络)、至少一个特定子网内的所有弹性网卡(图8中显示为子网)、和至少一个特定弹性网卡(未示出)。采集类型对应于如前面描述的目标采集方向,指示期望采集目标弹性网卡的端口的流量的类型,可以包括出流量、入流量(未示出)以及全部流量(图8显示为全部流量)。
在图8中,还显示了界面元素“+新建”,可以响应于用户的输入(例如,点击),而显示新建流量镜像的界面,用户可以基于在该界面上进行输入而进行新的流量镜像的采集信息配置。
根据一些实施例,用于流量镜像的采集信息配置的显示方法可以包括以下步骤。
首先,获取用户输入的流量镜像的采集配置请求。例如,获取响应于用户点击图8中的“+新建”界面元素而生成的采集配置请求。
然后,响应于采集配置请求显示采集配置界面,采集配置界面上至少包括用于用户输入采集配置信息的输入框或选项,例如私有网络的标识、目标采集对象(采集范围、采集类型)、流量筛选规则、均衡方式、以及接收装置的地址,其他的配置属性也是可行的,本公开对此不做限制。
接着,接收用户针对所述采集配置界面输入的采集配置信息,例如选择信息或者文本信息。
最后,基于该采集配置信息生成详情显示信息,并基于该详情显示信息显示配置完成的流量镜像的详情页。
此外,该显示方法还可以附加地包括:接收用户针对该详情页的附加输入;以及基于该附加输入显示编辑页面,以用于用户对基于先前的采集配置信息生成的流量镜像的详情进行修改或编辑。
图9示出了在用户点击图8中的“新建”界面元素后而生成的第一示例界面900。
在该界面900中,显示了用于用户输入或选择各项参数的输入框或选择图形。
具体地,用户需要在界面元素“名称”对应的输入框901中输入新建的流量镜像的名称,并且在界面元素“所属网络”对应的输入框902中输入要对其内部的目标采集对象进行流量采集的网络的名称、ID和/或IP地址,其中该输入可以是通过下拉菜单在多个备选项中进行选择。
界面元素“采集范围”对应了三个选择图形903-905,每个选择图形对应私有网络、子网以及弹性网卡中的一种,用户需要在三个选项图形中选择其中之一,以确定采集范围。此外,如图所示,在用户选择了选择图形903时,即采集范围为私有网络,则自动生成界面元素“私有网络”对应的信息(输入框902中的名称、ID和IP地址中的至少一个)并显示。
界面元素“采集类型”对应了三个选择图形906-908,每个选择图形对应全部流量、出流量以及入流量中的一种,用户需要在三个选项图形中选择其中之一,以确定采集类型。此外,如图所示,在用户选择了选择图形906时,即采集类型为全部流量,则在界面元素“流量筛选”对应的输入框909自动填充“无”,即指示无需对采集的全量流量数据进行筛选。
用户可以在界面元素“接收IP”对应的输入框910内输入至少一个IP地址(内网IP),用于指示具有这些IP的云服务器作为基于流量镜像采集的流量的接收装置。此外,还可以在输入框910内显示输入方法提示消息,例如“请输入内网IP,多个IP换行分隔”。
界面元素“均衡方式”对应了两个选择图形911-912,每个选择图形对应随机均分以及按弹性网卡的地址中的一种,用户需要在两个选项图形中选择其中之一,以确定均衡方式。
此外,在上述各个界面元素处还显示提醒符号,用于用户在需要了解该界面元素的更多信息时,通过例如点击该提醒符号即可获取更多信息。
在界面900的左下端还显示用于用户确认新建流量镜像完成或需要将其取消的界面元素“完成”和“取消”。
图10示出了在用户点击图8中的“+新建”界面元素后而生成的第二示例界面1000。将省略图10中与图8相同的界面元素的描述。
界面元素“采集范围”对应了三个选择图形1003-1005,每个选择图形对应私有网络、子网以及弹性网卡中的一种,用户需要在三个选项图形中选择其中之一,以确定采集范围。此外,如图所示,在用户选择了选择图形1005时,即采集范围为弹性网卡,即,要采集的目标弹性网卡为至少一个特定弹性网卡,则自动生成并在选择图形1003-1005下方显示输入框1006,用于用户输入至少一个弹性网卡的ID。可选地,在用户输入ID的过程中,根据用户的输入还自动显示可能的ID,以提示用户从其中进行选择(例如通过回车或点击)即可,并且在用户选择了提示的ID后,自动换行,并在输入框中分行显示各个ID。
界面元素“采集类型”对应了三个选择图形1007-1009,每个选择图形对应全部流量、出流量以及入流量中的一种,用户需要在三个选项图形中选择其中之一,以确定采集类型。此外,如图所示,在用户选择了选择图形1008时,即采集类型为出流量,则在界面元素“流量筛选”对应的输入框1010显示存在下拉菜单的输入框,用于用户在下拉菜单中选择筛选方式,如图中所示的五元组。在用户选择了筛选方式为五元组之后,还进一步在五元组的输入框下显示界面元素“筛选条件”、提示用的多个其他界面元素以及对应的文本框,用于用户输入五元组的具体信息。此外,可以基于多个不同的五元组信息而筛选流量,因此可以在五元组信息行的下方显示界面元素“添加”,以用于用户添加五元组信息。
图11示出了在用户点击图8中的“新建”界面元素后而生成的第三示例界面1100。将省略图11中与图9和图10相同的界面元素的描述。
在图11中,在用户选择了筛选方式为“下一跳为NAT网关”之后,还进一步在筛选方式的输入框下显示界面元素“NAT网关”以及对应的输入框,用于用户在下拉菜单中选择NAT网关的名称和/或ID。
图12示出了新建流量镜像完成后的详情显示界面。
详情显示界面包括三部分,第一部分为该流量镜像的基本信息,第二部分为采集流量的信息,第三部分为接收IP的信息。
从图12中可以看出,该新建流量镜像用于对两个子网(内部的所有弹性网卡)的流量进行采集,并且采集类型是出流量,并按照两个五元组信息进行流量筛选,最后将按照五元组信息筛选后的流量发送到多个接收IP。
此外,详情显示界面上还可以包括界面元素“编辑”,用于用户对当前的流量镜像的采集配置信息进行修改或编辑。
图13示出了对详情显示界面上的采集流量的信息进行修改或编辑的显示界面。
从图13中可以看出,可以将采集范围从先前的“子网”修改为“弹性网卡”,并与前面参考图10所描述的类似,输入各种采集配置信息。用户在完成修改之后,可以点击界面元素“保存”而重新生成新的详情显示界面(未示出)。
基于本公开的实施例提供的基于流量镜像来对云原生流量进行采集的系统,由于通过流量镜像直接对采集目标(例如弹性网卡接口以及公网IP(公网出口))处的流量进行采集,因此能够采集云原生流量的全包数据,即包括包头和包体的全部流量数据,从而可以根据实际需要的流量数据设置流量筛选规则(例如,用于安全审计以及业务分析应用的流量筛选规则不同)来从全部流量数据中筛选出所需要的流量数据,进而例如可以对被监控的流量进行故障定位、流量分析、流量备份,基于采集的流量对网络架构进行合理优化等,同时满足安全部门或安全合规的审计需求。此外,通过流量镜像的方式采集流量是实时进行的,因此精确粒度可以与实时粒度相当,因此可以更方便定位故障或安全事故发生的时间点信息。此外,通过界面化的显示,能够方便用户个性化地配置流量采集配置信息。
综上所述,本公开实施例提供的云平台上的流量采集方案,由于通过流量镜像直接对采集目标(例如弹性网卡接口以及公网IP(公网出口))处的流量进行采集,因此能够实时采集云原生流量的全部流量数据,从而帮助公有云客户:
1.快速定位网络故障
通过流量镜像的方式可保存故障现场,助力公有云客户快速定位网络故障,进行网络回溯取证,减少网络停用时间,具体地:
快速定位问题根源的云服务器,例如广播风暴、带宽过度使用的云服务器,
快速定位云服务器不可访问是否为安全组或ACL设置不合理;
2、合理优化网络架构
通过流量镜像的方式可采集全网、全时、全流的弹性网卡和EIP流量,通过大数据分析及可视化,助力公有云客户提升数据驱动的网络运维能力,合理优化网络架构,具体地:
分析历史网络数据,构建业务网络基准,
及时发现性能瓶颈,合理扩容或流量降级,
分析访问用户地域,合理拓展覆盖域,
分析网络流量,优化网络安全策略,
3、即时发现网络安全威胁,提升系统的安全性
试图连接大范围IP,
与已知威胁IP通信,
识别出不常用协议,
安全审计等。
需要说明的是,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
一般而言,本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑,或其任何组合中实施。某些方面可以在硬件中实施,而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时,将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备,或其某些组合中实施。
在上面详细描述的本公开的示例实施例仅仅是说明性的,而不是限制性的。本领域技术人员应该理解,在不脱离本公开的原理和精神的情况下,可对这些实施例或其特征进行各种修改和组合,这样的修改应落入本公开的范围内。
Claims (15)
1.一种在云平台上的流量采集方法,包括:
获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;
通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及
基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将所述流量采集数据存储至预定存储位置,其中,所述流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
2.根据权利要求1所述的流量采集方法,其特征在于,所述流量采集配置信息还可以包括对象配置信息,
其中,通过流量镜像的方式采集所述待采集的私有网络的全量流量数据包括:
基于所述对象配置信息,确定所述特定私有网络中的目标采集对象;以及
通过流量镜像的方式采集所述特定私有网络中所述目标采集对象的全量流量数据。
3.根据权利要求2所述的流量采集方法,其特征在于,所述目标采集对象包括目标弹性网卡以及目标采集方向中的至少一项,
其中,所述特定私有网络部署有多个弹性网卡,所述目标弹性网卡为所述多个弹性网卡中的至少一个;所述目标采集方向包括出流量方向以及入流量方向中的至少一个。
4.根据权利要求3所述的流量采集方法,其特征在于,所述特定私有网络被划分为至少一个子网,每个子网中部署多个弹性网卡,
其中,所述目标弹性网卡为以下一项:所述特定私有网络内的所有弹性网卡、特定子网内的所有弹性网卡、和特定弹性网卡。
5.根据权利要求1-4任一项所述的流量采集方法,其特征在于,所述流量筛选方式包括以下至少一项:
从所述全量流量数据中提取五元组流量数据;
从所述全量流量数据中提取与特定网关类型相关的流量数据。
6.根据权利要求1-4任一项所述的流量采集方法,其特征在于,所述预定存储位置包括所述特定私有网络内的预定存储位置以及所述特定私有网络外的预定存储位置中的至少一个。
7.根据权利要求6所述的流量采集方法,其特征在于,所述预定存储位置包括多个子存储位置;所述流量采集配置信息还可以包括均衡分配信息,所述均衡分配信息用于指示将所述流量采集数据均衡地分配到所述多个子存储位置的均衡方式,
其中,将流量采集数据存储至预定存储位置包括:
基于所述均衡分配信息,将所述流量采集数据存储到所述多个子存储位置。
8.根据权利要求7所述的流量采集方法,其特征在于,所述均衡方式包括随机均分或者按弹性网卡地址分配,
其中,基于所述均衡分配信息,将所述流量采集数据存储到所述多个子存储位置,包括:
在所述均衡方式为随机均分时,将所述流量采集数据平均分配为多个组,并且将各个组的流量采集数据分别转发到各个子存储位置中,或者
在所述均衡方式为按弹性网卡地址分配时,按照弹性网卡的地址将该弹性网卡的流量采集数据转发到与该弹性网卡相关联的子存储位置。
9.根据权利要求2所述的流量采集方法,其特征在于,所述采集配置信息还可以包括至少一个公网地址的信息,
所述流量采集方法还可以包括:通过流量镜像的方式采集所述至少一个公网地址处的全量流量数据。
10.根据权利要求9所述的流量采集方法,其特征在于,通过流量镜像的方式采集所述至少一个公网地址处的流量包括:利用无源光器件通过流量镜像的方式对所述至少一个公网地址处的全量流量数据进行采集,并且
其中,通过流量镜像的方式采集所述特定私有网络的全量流量数据包括:利用所述特定私有网络的宿主机中的私有网络代理通过流量镜像的方式对所述目标采集对象的全量流量数据进行采集。
11.一种在云平台上的流量采集设备,包括:
至少一个处理器;以及
至少一个存储器,其上存储有指令,当所述指令被所述至少一个处理器执行时,使得所述至少一个处理器执行以下操作:
获取流量采集配置信息,所述流量采集配置信息至少包括待采集其流量的特定私有网络的标识、以及流量筛选信息,其中,所述云平台上部署有多个私有网络,且各个私有网络彼此隔离,所述特定私有网络为所述多个私有网络之一;
通过流量镜像的方式采集所述特定私有网络的全量流量数据;以及
基于所采集的全量流量数据以及所述流量筛选信息,生成流量采集数据,并将所述流量采集数据存储至预定存储位置,其中,所述流量筛选信息用于指示对所采集的全量流量数据的流量筛选方式。
12.根据权利要求11所述的流量采集设备,其特征在于,所述流量采集配置信息还可以包括对象配置信息,
其中,所述至少一个处理器通过流量镜像的方式采集所述特定私有网络的全量流量数据,包括:
基于所述对象配置信息,确定所述特定私有网络中的目标采集对象;以及
通过流量镜像的方式采集所述特定私有网络中所述目标采集对象的全量流量数据。
13.根据权利要求12所述的流量采集设备,其特征在于,所述目标采集对象包括目标弹性网卡以及目标采集方向中的至少一项,
其中,所述特定私有网络部署有多个弹性网卡,所述目标弹性网卡为所述多个弹性网卡中的至少一个;所述目标采集方向包括出流量方向以及入流量方向中的至少一个。
14.根据权利要求11所述的流量采集设备,其特征在于,所述采集配置信息还可以包括至少一个公网地址的信息,
其中,所述流量采集设备还包括:
分光系统,用于通过流量镜像的方式采集所述至少一个公网地址处的全量流量数据。
15.一种计算机可读存储介质,其上存储有指令,其特征在于,所述指令被至少一个处理器执行用于实现权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011405772.5A CN114666249B (zh) | 2020-12-03 | 2020-12-03 | 云平台上的流量采集方法、设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011405772.5A CN114666249B (zh) | 2020-12-03 | 2020-12-03 | 云平台上的流量采集方法、设备以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114666249A CN114666249A (zh) | 2022-06-24 |
CN114666249B true CN114666249B (zh) | 2023-07-07 |
Family
ID=82025448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011405772.5A Active CN114666249B (zh) | 2020-12-03 | 2020-12-03 | 云平台上的流量采集方法、设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114666249B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117176727B (zh) * | 2023-11-02 | 2024-01-05 | 南京中孚信息技术有限公司 | 基于带宽控制的云原生应用保护系统、方法、设备及介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104012041A (zh) * | 2011-05-24 | 2014-08-27 | 思杰系统有限公司 | 用于分析网络指标的系统和方法 |
WO2014144520A2 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Network traffic mapping and performance analysis |
US9306949B1 (en) * | 2013-03-12 | 2016-04-05 | Amazon Technologies, Inc. | Configure interconnections between networks hosted in datacenters |
CN107995162A (zh) * | 2017-10-27 | 2018-05-04 | 深信服科技股份有限公司 | 网络安全感知系统、方法及可读存储介质 |
CN108039965A (zh) * | 2017-12-07 | 2018-05-15 | 江南大学 | 一种面向仿真网络的链路数据采集方法 |
CN108512935A (zh) * | 2018-04-16 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 数据服务系统、方法、服务器和计算机可读存储介质 |
CN109194506A (zh) * | 2018-08-16 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 区块链网络部署方法、平台及计算机存储介质 |
CN109962891A (zh) * | 2017-12-25 | 2019-07-02 | 中国移动通信集团安徽有限公司 | 监测云安全的方法、装置、设备和计算机存储介质 |
WO2020029793A1 (zh) * | 2018-08-07 | 2020-02-13 | 深信服科技股份有限公司 | 一种上网行为管理系统、设备及方法 |
WO2020036680A1 (en) * | 2018-08-16 | 2020-02-20 | Microsoft Technology Licensing, Llc | Automatic application scaling between private and public cloud platforms |
CN111447080A (zh) * | 2020-02-29 | 2020-07-24 | 平安银行股份有限公司 | 私有网络去中心化控制方法、装置及计算机可读存储介质 |
CN111459749A (zh) * | 2020-03-18 | 2020-07-28 | 平安科技(深圳)有限公司 | 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10673694B2 (en) * | 2018-05-29 | 2020-06-02 | Amazon Technologies, Inc. | Private network mirroring |
US11570244B2 (en) * | 2018-12-11 | 2023-01-31 | Amazon Technologies, Inc. | Mirroring network traffic of virtual networks at a service provider network |
-
2020
- 2020-12-03 CN CN202011405772.5A patent/CN114666249B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104012041A (zh) * | 2011-05-24 | 2014-08-27 | 思杰系统有限公司 | 用于分析网络指标的系统和方法 |
US9306949B1 (en) * | 2013-03-12 | 2016-04-05 | Amazon Technologies, Inc. | Configure interconnections between networks hosted in datacenters |
WO2014144520A2 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Network traffic mapping and performance analysis |
CN107995162A (zh) * | 2017-10-27 | 2018-05-04 | 深信服科技股份有限公司 | 网络安全感知系统、方法及可读存储介质 |
CN108039965A (zh) * | 2017-12-07 | 2018-05-15 | 江南大学 | 一种面向仿真网络的链路数据采集方法 |
CN109962891A (zh) * | 2017-12-25 | 2019-07-02 | 中国移动通信集团安徽有限公司 | 监测云安全的方法、装置、设备和计算机存储介质 |
CN108512935A (zh) * | 2018-04-16 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 数据服务系统、方法、服务器和计算机可读存储介质 |
WO2020029793A1 (zh) * | 2018-08-07 | 2020-02-13 | 深信服科技股份有限公司 | 一种上网行为管理系统、设备及方法 |
CN109194506A (zh) * | 2018-08-16 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 区块链网络部署方法、平台及计算机存储介质 |
WO2020036680A1 (en) * | 2018-08-16 | 2020-02-20 | Microsoft Technology Licensing, Llc | Automatic application scaling between private and public cloud platforms |
CN111447080A (zh) * | 2020-02-29 | 2020-07-24 | 平安银行股份有限公司 | 私有网络去中心化控制方法、装置及计算机可读存储介质 |
CN111459749A (zh) * | 2020-03-18 | 2020-07-28 | 平安科技(深圳)有限公司 | 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114666249A (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10516590B2 (en) | External health checking of virtual private cloud network environments | |
US11750563B2 (en) | Flow metadata exchanges between network and security functions for a security service | |
US10455303B2 (en) | Packet-optical in-band telemetry (POINT) flow tracing and proof-of-transit | |
US10079846B2 (en) | Domain name system (DNS) based anomaly detection | |
US10686568B2 (en) | Active flow diagnostics for cloud-hosted networks | |
US10291473B2 (en) | Routing policy impact simulation | |
CN107852604B (zh) | 用于提供全局虚拟网络(gvn)的系统 | |
US8892766B1 (en) | Application-based network traffic redirection for cloud security service | |
US10237230B2 (en) | Method and system for inspecting network traffic between end points of a zone | |
US9985930B2 (en) | Reverse proxy for accessing local network over the internet | |
US9736016B2 (en) | Managing failure behavior for computing nodes of provided computer networks | |
US11329883B2 (en) | Dynamic establishment of application-specific network tunnels between network devices by an SDWAN controller | |
US9967346B2 (en) | Passing data over virtual links | |
US10778465B1 (en) | Scalable cloud switch for integration of on premises networking infrastructure with networking services in the cloud | |
US9967140B2 (en) | Virtual links for network appliances | |
US11546303B2 (en) | Automatic establishment of network tunnels by an SDWAN controller based on group and role assignments of network devices | |
US11785048B2 (en) | Consistent monitoring and analytics for security insights for network and security functions for a security service | |
EP3993331B1 (en) | Flow metadata exchanges between network and security functions for a security service | |
CN111371740A (zh) | 一种报文流量监控方法、系统及电子设备 | |
CN114666249B (zh) | 云平台上的流量采集方法、设备以及计算机可读存储介质 | |
CN111818081B (zh) | 虚拟加密机管理方法、装置、计算机设备和存储介质 | |
CN116418595A (zh) | 访问Web服务器的安全验证系统及安全验证方法 | |
CN118077183A (zh) | 在软件即服务部署中复用租户隧道 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |