CN108696452A

CN108696452A - 一种容器级网络流量采集、网络质量标识方法、装置、系统

Info

Publication number: CN108696452A
Application number: CN201810468173.4A
Authority: CN
Inventors: 刘延春
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Cloud Computing Beijing Co Ltd
Priority date: 2018-05-16
Filing date: 2018-05-16
Publication date: 2018-10-23
Anticipated expiration: 2038-05-16
Also published as: CN108696452B

Abstract

本发明公开了一种容器级网络流量采集、网络质量标识方法、装置、系统，其中所述容器级网络流量采集方法包括：为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；在网络数据包传入或传出网络协议栈时，获取所述网络数据包的类别标识符；对获取的所有网络数据包的类别标识符进行分类；并对分类得到的每类网络数据包进行统计，得到网络数据包的流量数据；根据内核文件系统接口，使上层用户态读取所述网络数据包的流量数据；获取根据所述网络数据包的流量数据得到对应容器的网络流量信息。本发明为服务网络质量保障和度量提供重要的意义。

Description

一种容器级网络流量采集、网络质量标识方法、装置、系统

技术领域

本发明涉及网络技术领域，尤其涉及一种容器级网络流量采集、网络质量标识方法、装置、系统。

背景技术

在容器技术越来越被关注，对应地服务容器化已经成为一种趋势。Docker做为时下最流行的容器引擎，在生产环境得到了越来越广泛的应用。对于部署在容器中的服务，其对网络带宽资源的使用情况度量，以及对重点服务网络质量的保障，都成了必不可少的组成部分，直接影响到服务的运营质量。

目前对容器内的网络流量采集，普通采用了在容器内映射虚拟网卡，然后通过内核提供的/proc/net/dev接口(显示网络适配器及统计信息的接口)获取网络协议栈的网络出入流量及包量，从而达到统计的目的。

为了实现容器级的流量采集及容器级网络质量标识，需要提出一种全新的解决方案解决现有的难题。

发明内容

为了解决现有技术的问题，本发明提供了一种容器级网络流量采集、网络质量标识方法、装置、系统及存储介质；具体地：

一方面提供了一种网络流量采集方法，所述方法包括：

为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

在网络数据包传入或传出网络协议栈时，获取所述网络数据包的类别标识符；

对获取的所有网络数据包的类别标识符进行分类；并对分类得到的每类网络数据包进行统计，得到网络数据包的流量数据；

根据所述网络数据包的流量数据得到对应容器的网络流量信息。

另一方面提供了一种网络质量标识方法，所述方法包括：

根据内核文件系统接口，使上层用户态将网络数据包配置得到的流量标识值传输给内核模块；

在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识。

另一方面提供了一种网络流量采集装置，所述装置包括：

第一类别标识符配置模块，用于为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

类别标识符获取模块，用于在网络数据包传入或传出网络协议栈时，获取所述网络数据包的类别标识符；

网络数据包流量获取模块，用于对获取的所有网络数据包的类别标识符进行分类；并对分类得到的每类网络数据包进行统计，得到网络数据包的流量数据；

容器级网络流量获取模块，用于根据所述网络数据包的流量数据得到对应容器的网络流量信息。

另一方面提供了一种网络质量标识装置，所述装置包括：

第二类别标识符配置模块，用于为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

类别标识符传输模块，将网络数据包的类别标识符传输至上层用户态，使网络数据包配置得到对应的流量标识值；

流量标识值获取模块，用于根据内核文件系统接口，使上层用户态将网络数据包配置得到的流量标识值传输给内核模块；

网络质量标识模块，用于在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识。

另一方面提供了一种网络管理系统，所述系统包括上述方面所述的网络流量采集装置，上述方面所述的网络质量标识装置。

另一方面提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的网络流量采集方法，上述方面所述的网络质量标识方法。

本发明提供的一种网络流量采集、网络质量标识方法、装置、系统及存储介质，具有如下技术效果：

本发明能够在内核态中，通过内核态中cgroup的net_cls子系统为每个容器配置独立的类别标识符(classid)，使容器之间的网络数据包具有对应的类别标识符(classid)，能够通过类别标识符进行标记区分；进一步网络数据包传入或传出网络协议栈时，能够根据类别标识符进行网络数据包的统计，得到对应容器的流量数据；在通过用户态的文件系统接口进入用户态后，能够输出容器的流量数据信息。

并且，本发明能够通过内核态中cgroup的net_cls子系统为每个容器配置的独立的类别标识符(classid)，使容器之间的网络数据包具有对应的类别标识符(classid)；进一步由网络数据包的类别标识符配置得到对应的流量标识值(dscp值)；根据用户态的内核系统文件接口，根据网络数据包的类别标识符，得到对应的流量标识值(dscp值)；在网络数据包输出网络协议栈时，由内核模块修改网络数据包IP头，之后根据网络数据包的流量标识值就得到对应容器的网络质量级别的获取。

本发明借助于Cgroup的网络数据包质量标识机制，实现了不同容器的网络数据包标识；通过内核态中新增的自研内核模块，实现了容器级的流量信息的采集和网络质量级别的获取；为服务网络质量保障和度量提供重要的意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明提供的一种Host网络模式下的系统示意图；

图2是本发明提供的Unix/Linux操作系统的体系架构宏观示意图；

图3是本发明提供的一种网络流量采集方法流程图；

图4是本发明提供的一种对分类得到的每类网络数据包进行统计的方法流程图：

图5是本发明提供的一种根据类别标识符对网络数据包进行分类之后进行细分的方法流程图；

图6是本发明提供的另一种网络流量采集方法流程图；

图7是本发明提供的一种网络质量标识方法流程图；

图8是本发明提供的将网络数据包的流量标识值设置为对应容器的网络质量标识的方法流程图；

图9是本发明提供的网络数据包传输流程图；

图10是本发明提供的网络流量采集装置结构框图；

图11是本发明提供的网络数据包流量获取模块的一种组成框图；

图12是本发明提供的装置中网络数据包再分类单元和网卡流量获取单元组成的框图；

图13是本发明提供的一种网络质量标识装置结构框图；

图14是本发明提供的网络质量标识模块的组成框图；

图15是本发明提供的一种服务器结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，现有生产环境下，出于安全考虑服务器可能会禁用SNAT(源地址转换)及DNAT(目标地址转换)功能，这时候容器内的进程要想对外提供服务，一种可行的方案就是采用Host网络模式和宿主机共用网卡。但是，在这种使用模式下，因为/proc/net/dev接口只能统计到网卡粒度的流量信息，通过/proc/net/dev接口统计容器级流量的方式就不适用了；并且，在Host网络模式下，多个容器会共用同一块网卡，虽然系统自带的Cgroup子系统本身也可以通过配置实现不同容器配置不同的classid，但却无法对不同classid的流量进行分别统计，导致同一块网卡上多个容器之间的流量无法拆分。同时，对Host模式下的容器级网络质量打标，传统的网络流量打标，对于同一台宿主机上运行多个容器并且容器之间公用IP的情况，根据IP统一设置网络质量参数的方式不适用。而且大多数服务并不会在代码中设置网络质量参数，无法为同一台机器上的不同容器设置不同的网络质量保障级别。

针对现有技术问题，本技术方案提出了一种容器级网络流量采集、网络质量标识方法相关的技术方案。

其中，本技术方案实现了容器级实时流量采集监控和网络质量级别的获取，并有效应用于业务质量优化和成本度量，对Sumeru云平台的的发展壮大起了重要作用。

请参照图1，为本技术方案提供的一种Host网络模式下的系统示意图，包括容器、内核态和用户态。

其中，对系统中涉及到的内核态和用户态给与说明的是：

为了限制不同的程序之间的访问能力，防止单一程序获取其它程序的内存数据，或者操作外围设备等；CPU划分出两个权限等级，即用户态和内核态。其中，内核态CPU可以访问内存所有数据，包括外围设备，例如硬盘,网卡；也可以将自己从一个程序切换到另一个程序。用户态则只能受限的访问内存，且不允许访问外围设备；占用CPU的能力被剥夺，CPU资源也可以被其他程序抢占。

比如通过Unix/Linux操作系统的体系架构对内核态和用户态给与进一步说明，请参照图2所示；从宏观上来看，Unix/Linux操作系统的体系架构分为用户态和内核态(或者用户空间和内核)。内核从本质上看是一种软件——控制计算机的硬件资源，并提供上层应用程序运行的环境。用户态即上层应用程序的活动空间，应用程序的执行必须依托于内核提供的资源，包括CPU资源、存储资源、I/O资源等。为了使上层应用能够访问到这些资源，内核必须为上层应用提供访问的接口：即系统调用。

其中系统中的IP层即网络层，负责提供基本的数据封包传送功能，确保每一个数据封包都能传送到目的主机。需要说明的是，本技术方案中流量采集和网络质量标识这些操作是在内核态的IP层进行的，操作的对象为网络数据包。

TCP/UDP为传输层协议，其中TCP提供IP环境下的数据可靠传输，它提供的服务包括数据流传送、可靠性、有效流控、全双工操作和多路复用。而UDP对应的则是可靠性要求低、传输经济的应用，不提供可靠性、流控及差错恢复功能。

需要说明的是，本技术方案应用在Host网络模式下；其中Host网络模式中，容器不会创建独立的命名空间，也不会虚拟自己的网卡、配置自己的IP，而是和宿主机共用网络命令空间，使用宿主机的IP和端口。

具体地，本说明书实施例提供了一种容器级网络流量采集方法，请参照图3所示，所述方法包括：

S202.为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

在步骤S202中，通过内核态中Cgroup的net_cls子系统为容器配置独立的类别标识符，用于标识一类流量；进一步地，所述容器中的网络数据包就具有对应地类别标识符。

详细地，所述类别标识符为classid标识，网络数据包具有对应的类别标识符也就是网络数据包的sk_buffer结构体中就会包含该classid标识。相应地，步骤S202为：在Cgroup的net_cls子系统中为容器配置了classid(在Cgroup的配置文件中指定每个容器的classid)之后，Cgroup的net_cls子系统处理数据包时，就会自动为数据包的IP头设置classid信息。

其中，Cgroups为control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如：cpu、memory、IO等)的机制。

net_cls子系统为Cgroup提供的对网络带宽进行访问限制的一类子系统，可用于限制网络数据包的发送带宽，提供对网络带宽的访问限制；比如对发送带宽和接收带宽进程限制。

需要说明的是，本说明书实施例中借助Cgroup下的net_cls子系统对已配置的进程的所有进出网路数据包设置classid标识，其中，该classid标识信息包含在数据包在网络协议栈(运行在内核态中的网络协调处理模块)中的sk_buff下的sock结构体中。

S204.在网络数据包传入或传出网络协议栈时，获取所述网络数据包的类别标识符；

步骤S204中，通过netfilter框架，在网络数据包进入或者离开网络协议栈时，检查每一个网络数据包的classid标识；其中，在检查或者获取出入网络协议栈的网络数据包的classid时，对应地是通过检查Netfilter框架的NF_IP_LOCAL_IN和NF_IP_LOCAL_OUT这两个HOOK点处的出入网络协议栈的网络数据包。

Netfilter框架为在Linux内核中的一个软件框架，用于管理网络数据包；不仅具有网络地址转换(NAT)的功能；也具备数据包内容修改以及数据包过滤等防火墙功能。

NF_IP_LOCAL_IN：进入网络层的数据包通过此HOOK点，源地址转换在此HOOK点进行；

NF_IP_LOCAL_OUT：本机进程发出的数据包通过此HOOK点，OUTPUT包过滤在此HOOK点进行。

S206.对获取的所有网络数据包的类别标识符进行分类；并对分类得到的每类网络数据包进行统计，得到网络数据包的流量数据；

在步骤S206中，根据类标识符对应不同的网络数据包对所有网络数据包进行分类；在分类之后分别对每一类网络数据包的数量进行统计，得出每一类网络数据包分别对应的数量，也就是该类网络数据包的流量数据。

基于步骤S204，则步骤S206在出入网络协议栈时，通过检查Netfilter框架的NF_IP_LOCAL_IN和NF_IP_LOCAL_OUT这两个HOOK点处的网络数据包，得到已分类的网络数据包的入流量和出流量。

具体地，在一种可行的实施方式中，步骤S206，所述对分类得到的每类网络数据包进行统计，请参照图4所示，可以包括：

S402.对分类得到的每类网络数据包的数量进行统计；

S404.对每类网络数据包中网络数据包的大小进行统计；

S406.根据网络数据包的数量统计信息和大小统计信息生成信息映射表。

其中，本实施方式中，对分类之后的网络数据包的个数进行统计，并且，对网络数据包的大小进行统计；其中，这个网络数据包的大小和网卡的吞吐能力有关，理论上网络数据包的大小可以达到网卡的上限(1G字节每秒)。通过获取网络数据包的大小可以用于衡量所述网络数据包对应的网卡。

进一步地，将网络数据包、网络数据包的分类信息、每类网络数据包的数量、网络数据包的大小等生成信息映射表；可以传输到用户态，可以用于网络质量的监控度量，便于工作人员对网络数据包的进一步分析。

S208.获取根据所述网络数据包的流量数据得到对应容器的网络流量信息；

在步骤S208中，由网络数据包的流量数据就得到了对应容器的网络流量信息，实现了容器级的流量统计。

具体地，本说明书实施例中的所述网络数据包包括TCP数据包、UDP数据包和ICMP数据包。需要说明的是，所述网络数据包还可以是其他能够支持的数据包，并不做具体限制。

请参照图5，在一种可行的实施方式中，步骤S208所述根据所述网络数据包的流量数据得到对应容器的网络流量信息，之后包括：

S602.根据网卡的属性或网卡支持的协议，将分类得到的网络数据包进行再次分类；

对应到该步骤中，是将已经分类之后的网络数据包，进一步分类为网卡1、网卡2等；其中还可以是仅根据网卡的不同进行数据流量采集的区分。

其中，可以直接根据网卡的不同，或是网卡的属性(包括网卡速率等)，网卡支持的协议(包括TCP协议、UDP协议等)等进行再次分类。

S604.根据网络数据包再次分类的结果，将容器的的网络流量信息分配到不同网卡上。

在该步骤中，在细分为同一网卡的网络数据包的流量数据，得到每张网卡上的流量信息；

比如：classid1--网卡1--tcp包量为A1--流量数据为B1；

classid2--网卡2--udp包量为A2---流量数据为B2。

可见，本发明实施例能够在Host网络模式下，多个容器会共用同一块网卡情况下，对不同classid的网络数据包的流量进行分别统计，进而实现容器级时时流量的采集监控。本发明实施例还能够在不获取网卡本身的流量信息的情况下，只获取容器的流量信息，通过拆分到网卡的方式得到不同网卡上对应的流量信息。

进一步给与说明的是，部署在每台服务器上的服务节点(或者说是用户态的服务节点通过/proc文件系统接口)还能够定时读取每个容器(对应独立的classid)对应的流量信息；并进一步将容器流量信息上报到云端进行存储及统计分析；比如对流量进行监控告警、发现流量异常、对容器及时扩容(比如某容器流量超高时可能需要增加结点时)等，进而帮助时时获知网络带宽使用情况或网络运行状况等信息。

其中，服务节点即node服务，是指一个部署在宿主机上，通过/proc文件系统与内核模块(netcls)通信，并负责数据采集和上报的agent代理服务。本技术方案中，负责用户态及内核态交互的node服务，以及负责存储、统计的云端服务，均可以有不同的实现。

对应地，本发明实施例中所述网络流量采集方法除了包括图3所述的步骤之外，请参照图6所示，还可以包括：

S210中，根据内核文件系统的接口，使上层用户态读取所述容器的网络流量信息，并将所述网络流量信息上报到云端。

其中，内核文件系统即/proc文件系统，是一个Linux下的虚拟文件系统，在该目录中的所有文件都不会占用磁盘空间，而是在需要读取时动态生成，主要用于展示系统信息和运行状况。/proc文件系统的接口是内核态暴露给用户态的操作接口，相当于一个大门，一边是用户态一边是内核态。

本说明书实施例提供的容器级网络流量采集方法，能够在操作系统的内核态，通过Cgroup的net_cls子系统为每个容器配置独立的classid，使得容器之间的网络数据包具有对应的classid，进而容器及其之间的网络数据包能够通过classid进行区分；基于网络数据包的classid信息，进行容器级流量统计及分析；有效获知容器级流量出入信息，以及容器内进程对外的服务质量信息。并且，流量采集提供了还提供了监控和度量的功能；比如判断流量是否符合预测，负载是否正常的；这为网络服务监控、网络服务质量优化提供了数据支持。

进一步地，本发明实施例还能够在Host网络模式下，多个容器共用同一块网卡情况下，实现对不同classid的网络数据包的流量进行分别统计，通过这种方式实现同一块网卡上容器的时时流量的采集监控；进而对Host模式下的服务网络质量提供了深化保障，对服务质量的度量提供了有效依据。

本说明书实施例还提供了一种容器级网络质量标识方法，请参照图7所示，所述方法包括：

S802.为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

在步骤S802中，通过内核态中的内核模块为容器配置独立的类别标识符(classid)，容器中的网络数据包就具有对应地类别标识符。也就是说，通过借助Cgroup下的net_cls子系统对已配置进程的所有进出网路数据包设置classid标识；具体地，该classid标识信息包含在数据包在网络协议栈中的sk_buff下的sock结构体中。

S804.将网络数据包的类别标识符传输至上层用户态；

在步骤S804中，将网络数据包的类别标识符传输至上层用户态，在上层用户态由网络数据包的类别标识符(classid)配置得到对应网络数据包的流量标识值(dscp值)。

其中，流量标识值(dscp值)的配置依据网络质量，不同的网络质量配置不同的流量标识值(dscp值)；其中关于网络质量，可以通过例如金牌流量、银牌流量、铜牌流量等进行网络质量的区分，相当于VIP和普通用户的类似划分级别。在实际应用中，比如交换机出现高负载时，会优先保障金牌流量不受影响；如果必须丢包时，会优先丢弃铜牌流量的数据包。

S806.获取由网络数据包的类别标识符配置得到的流量标识值；

在步骤S806中，通过内核文件系统的接口，使上层用户态将流量标识值传输至内核态的内核模块(netcls)。其中，内核文件系统即/proc文件系统，是一个Linux下的虚拟文件系统，在该目录中的所有文件都不会占用磁盘空间，而是在需要读取时动态生成，主要用于展示系统信息和运行状况；可以认为是用户态的一个文件系统，只是读取的是内核态的数据。其中，/proc文件系统的接口属于一种操作接口，相当于一个大门，一边是用户态一边是内核态。

S808.在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识。

在一种可行的实施方式中，步骤S808，在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识，请参照图8所示，包括：

S1002.对获取的所有网络数据包的类别标识符进行分类；

基于步骤S802，根据classid将网络数据包进行分类，在分类之后便于后续为相同类别标识符的网络数据包进行处理。

S1004.为具有相同类别标识符的网络数据包的IP头配置新的流量标识值；

其中，配置的依据是服务重要程度，由服务重要程度可见网络数据包的重要程度；也就是说，依据服务重要程度或网络数据包的重要程度，为网络数据包配置不同的新的流量标识符。其中，核心服务需要的保障优先级更高，非核心服务比如日志类则可以配置为低网络质量；网络质量越高成本越高。

具体地，网络数据包的IP头中包含了dscp信息，dscp由IP头中的6位组成，使用的是TOS字节，在使用dscp后，该字节被称为dscp字节，其在字节中的位置如下：

DS5DS4DS3DS2DS1DS0CU CU

其中，dscp优先级：6bit(DS5-DS0)；

未用：2bit(CU)。

S1006.在网络数据包传出网络协议栈时，将所述网络数据包的已有流量标识值修改为新的流量标识值；

其中，网络质量保障的处理节点主要在交换设备上，交换设备会依据网络数据包IP头中的dscp值来分辨网络数据包的重要程序；使得在网络数据包传出网络协议栈时，将所述网络数据包的已有流量标识值修改为配置的新的流量标识值。

S1008.根据网络数据包的新的流量标识值得到对应容器的网络质量标识。

其中，通过设置每一个网络数据包的dscp值，得到网络数据包对应容器的网络质量保障级别，从而实现同一台宿主机(可以是服务器)的不同容器拥有不同的网络质量保障级别。

需要说明的是，本说明书实施例中的内核模块是Linux内核对外提供的一个插口；具有独立功能的程序，它可以被单独编译，但不能独立运行；它在运行时被链接到内核作为内核的一部分，在内核空间运行，这与运行在用户空间的进程是不同的。详细地，模块通常由一组函数和数据结构组成，用来实现一种文件系统、一个驱动程序或其他内核上层的功能。

本发明实施例提供的容器级网络质量标识方法，能够根据为每个容器配置独立的classid；利用内核系统文件接口从内核态得到，由classid配置得到的对应网络数据包的dscp值；在网络数据包输出网络协议栈时，由内核模块修改网络数据包IP头中的原有dscp值为配置的新的dscp值，为容器的网络质量的级别打上一个标识。

可见，本发明实施例通过Cgroup的数据包打标机制实现了网络数据包的标识，通过内核模块实现了对应容器的网络质量级别的标识；进而使得容器根据各自的网络质量级别标识，可以实现同一台机器上不同容器能够采用不同的网络服务质量，从而可以实现高低网络优先级服务的混合布局，降低了网络使用成本降低，提升了网络服务质量。

进一步地，请参照图9所示，图9为本说明书实施例中对应的数据传输流程图，具体地：

对于网络流量采集来说，在接收到网络数据包，以及将网络数据包的发送输出网络协议栈时，均包括：

通过Cgroup的net_cls子系统为容器中的网络数据包添加classid标识；

通过Netfilter框架触发数据包接收事件，对网络数据包进行统计得到网络数据包的流量信息；

之后，对网络数据包进行后续处理。

对于网络质量标识来说，在将网络数据包传出网络协议栈时，包括：

通过Netfilter框架触发数据包接收事件，对网络数据包进行标识；

之后，对网络数据包进行后续处理。

需要说明的是，因为流量的采集是度量用的，包括出流量和入流量；而打标是设置网络质量的(质量的标识)，用于数据包传输过程中的优先级设置，是告诉网络节点中的交换机这个网络数据包的重要程度，在网络拥塞时是否可丢弃，因此只有传出时才有意义；对于传入的数据包我们已经收到了，即已走完所有中间网络节点。

本技术方案中流量统计数据和dscp配置，都是通过/proc文件系统接口在内核态和用户态进行传递；并且，借助于Cgroup的网络数据包打标机制，实现了不同容器的网络数据包标识，然后通过自研内核模块，实现了容器级的流量采集和网络质量打标；可以有效解决容器级的网络流量度量及质量打标问题，对Host模式下的网络服务质量保障和网络服务质量的度量具有极为重要的意义。

本说明书实施例提供了一种网络流量采集装置，请参照图10所示，所述装置包括：

第一类别标识符配置模块202，用于为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

类别标识符获取模块204，用于在网络数据包传入或传出网络协议栈时，获取所述网络数据包的类别标识符；

网络数据包流量获取模块206，用于对获取的所有网络数据包的类别标识符进行分类；并对分类得到的每类网络数据包进行统计，得到网络数据包的流量数据；

容器级网络流量获取模块208，用于获取根据所述网络数据包的流量数据得到对应容器的网络流量信息。

进一步地，所述装置还包括：

网络流量信息输出模块，用于根据内核文件系统的接口，使上层用户态读取所述容器的网络流量信息。

在一种可行的实施方式中，所述网络数据包流量获取模块206，请参照图11所示，包括：

网络数据包数量统计单元402，用于对分类得到的每类网络数据包的数量进行统计；

网络数据包大小统计单元406，用于对每类网络数据包中网络数据包的大小进行统计；

信息映射表生成单元408，用于根据网络数据包的数量统计信息和大小统计信息生成信息映射表。

在一种可行的实施方式中，请参照图12所示，所述装置还包括：

网络数据包再分类单元602，用于根据网卡的属性或网卡支持的协议，将分类得到的网络数据包进行再次分类；

网卡流量获取单元604，用于根据网络数据包再次分类的结果，将容器的的网络流量信息分配到不同网卡上。

具体地，所述网络数据包包括TCP数据包、UDP数据包和ICMP数据包。

本说明书实施例中的装置实施例与方法实施例具有相同的发明构思。

本说明书实施例提供了一种网络质量标识装置，请参照图13所示，所述装置包括：

第二类别标识符配置模块802，用于为容器配置类别标识符，使所述容器中的网络数据包具有对应的类别标识符；

类别标识符传输模块804，将网络数据包的类别标识符传输至上层用户态；

流量标识值获取模块806，用于获取由网络数据包的类别标识符配置得到的流量标识值；

网络质量标识模块808，用于在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识。

进一步地，所述网络质量标识模块808，请参照图14所示，包括：

类别标识符分类单元1002，用于对获取的所有网络数据包的类别标识符进行分类；

流量标识符配置单元1004，用于为具有相同类别标识符的网络数据包配置新的流量标识值；

流量标识符修改单元1006，用于在网络数据包传出网络协议栈时，将所述网络数据包的已有流量标识值修改为新的流量标识值；

容器网络质量标识单元1008，用于根据网络数据包的新的流量标识值得到对应容器的网络质量标识。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本说明书实施例提供了一种网络管理系统，所述系统包括上述实施例所述的容器级网络流量采集装置；所述容器级网络流量采集装置至少包括：

网络数据包流量读取模块，用于根据内核文件系统接口，使上层用户态读取所述网络数据包的流量数据；

容器级网络流量获取模块，获取根据所述网络数据包的流量数据得到对应容器的网络流量信息。

所述系统包括上述实施例所述的容器级网络质量标识装置；所述容器级网络质量标识装置至少包括：

需要说明的是，所述系统中的第一类别标识符配置模块和第二类别标识符配置模块能够实现相同的功能，可以根据需要设置一个类别标识符配置模块；并且，系统中能够实现相同功能的其他模块也可以属于相同的配置方式。

本技术方案针对的是容器的场景，理论上基于Linux并且支持容器的系统均可使用，服务器或是终端设备。

请参考图15，其示出了本说明书实施例提供的一种服务器的结构示意图。该服务器用于实施上述实施例中提供的网络流量采集方法、网络质量标识方法。具体来讲：

所述服务器1200包括中央处理单元(CPU)1201、包括随机存取存储器(RAM)1202和只读存储器(ROM)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述服务器1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。

所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为服务器1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。

根据本发明的各种实施例，所述服务器1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述后台服务器侧的方法的指令。

本发明实施例还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的容器级网络流量采集方法；包括至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集：

进一步地，本发明实施例提供的一种存储介质还用于加载并执行以实现上述的容器级网络质量标识方法，包括至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集：

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种容器级网络流量采集方法，其特征在于，所述方法包括：

2.根据权利要求1所述的网络流量采集方法，其特征在于，所述根据所述网络数据包的流量数据得到对应容器的网络流量信息，之后包括：

根据内核文件系统的接口，使上层用户态读取所述容器的网络流量信息，并将所述网络流量信息上报到云端。

3.根据权利要求1所述的网络流量采集方法，其特征在于，所述对分类得到的每类网络数据包进行统计，包括：

对分类得到的每类网络数据包的数量进行统计；

对每类网络数据包中网络数据包的大小进行统计；

根据网络数据包的数量统计信息和大小统计信息生成信息映射表。

4.根据权利要求1所述的网络流量采集方法，其特征在于，所述根据所述网络数据包的流量数据得到对应容器的网络流量信息，之后还包括：

根据网卡的属性或网卡支持的协议，将分类得到的网络数据包进行再次分类；

根据网络数据包再次分类的结果，将容器的的网络流量信息分配到不同网卡上。

5.一种容器级网络质量标识方法，其特征在于，所述方法包括：

将网络数据包的类别标识符传输至上层用户态；

根据内核文件系统的接口，获取由网络数据包的类别标识符配置得到的流量标识值；

6.根据权利要求5所述的网络质量标识方法，其特征在于，所述在网络数据包传出网络协议栈时，将网络数据包的流量标识值设置为对应容器的网络质量标识，包括：

对获取的所有网络数据包的类别标识符进行分类；

为具有相同类别标识符的网络数据包配置新的流量标识值；

在网络数据包传出网络协议栈时，将所述网络数据包的已有流量标识值修改为新的流量标识值；

根据网络数据包的新的流量标识值得到对应容器的网络质量标识。

7.根据权利要求5所述的网络质量标识方法，其特征在于，所述网络数据包包括TCP数据包、UDP数据包和ICMP数据包。

8.一种网络流量采集装置，其特征在于，所述装置包括：

9.根据权利要求8所述的网络流量采集装置，其特征在于，所述装置还包括：

网络流量信息输出模块，用于根据内核文件系统的接口，使上层用户态读取所述容器的网络流量信息，并将所述网络流量信息上报到云端。

10.根据权利要求8所述的网络流量采集装置，其特征在于，所述网络数据包流量获取模块，包括：

网络数据包数量统计单元，用于对分类得到的每类网络数据包的数量进行统计；

网络数据包大小统计单元，用于对每类网络数据包中网络数据包的大小进行统计；

信息映射表生成单元，用于根据网络数据包的数量统计信息和大小统计信息生成信息映射表。

11.根据权利要求8所述的网络流量采集装置，其特征在于，所述装置还包括：

网络数据包再分类单元，用于根据网卡的属性或网卡支持的协议，将分类得到的网络数据包进行再次分类；

网卡流量获取单元，用于根据网络数据包再次分类的结果，将容器的的网络流量信息分配到不同网卡上。

12.一种网络质量标识装置，其特征在于，所述装置包括：

类别标识符传输模块，用于将网络数据包的类别标识符传输至上层用户态；

流量标识值获取模块，用于获取由网络数据包的类别标识符配置得到的流量标识值；

13.根据权利要求12所述的网络质量标识装置，其特征在于，所述网络质量标识模块，包括：

类别标识符分类单元，用于对获取的所有网络数据包的类别标识符进行分类；

流量标识符配置单元，用于为具有相同类别标识符的网络数据包配置新的流量标识值；

流量标识符修改单元，用于在网络数据包传出网络协议栈时，将所述网络数据包的已有流量标识值修改为新的流量标识值；

容器网络质量标识单元，用于根据网络数据包的新的流量标识值得到对应容器的网络质量标识。

14.一种网络管理系统，其特征在于，所述系统包括权利要求8-11任一所述的网络流量采集装置，权利要求12-13任一所述的网络质量标识装置。

15.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-4任一所述的网络流量采集方法，权利要求5-7任一所述的网络质量标识方法。