CN111970151A - 虚拟及容器网络的流量故障定位方法及系统 - Google Patents

Abstract

本发明公开了一种适用于虚拟及容器网络的流量故障定位方法及系统，其中，所述定位方法包括：获取多个监控点收集的网络流量数据，所述多个监控点分别部署在容器、虚拟机及服务器上；根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；根据所述分析结果定位故障。本发明解决了现有虚拟网络长期存在的固定的关键点抓包工具仅能作为事后分析，无故障时段数据支持等问题。同时，加快了故障的定位，可以实时展现网络层工作状态，实现了网络层工作状态可视化。

Description

虚拟及容器网络的流量故障定位方法及系统

技术领域

本发明涉及计算机应用技术领域，更为具体而言，涉及一种适用于虚拟及容器网络的流量故障定位方法及系统。

背景技术

互联网平台最开始将应用部署在物理机上，为了保证互不冲突，在一台物理机上只部署一个应用。随着应用服务的不断发展，一台物理机部署一个应用的策略过于浪费资源，因此在一台物理机上部署了多个应用，但是为管理带来了麻烦，应用之间有一定的冲突或者相互影响。

因此，虚拟机应运而生，虚拟机上可以部署更多的应用，而且隔离比较好。但是虚拟机资源隔离的粒度太粗，于是容器发展起来。容器能做到把一个应用打包，涵盖环境配置等信息，运行起来可以只是一个进程，又具备一定的隔离性，同时把资源使用的粒度控制得足够细。

如今的云计算时代，虚拟化技术作为构建云计算的主要关键技术，能够确保云计算平台的性能和可靠性，最大化的利用云计算平台的硬件资源。其中，容器技术作为轻量化的虚拟化技术，减少了中间层级，实现对系统资源高效和精确的控制。

目前，主流技术可以实现对网络流量进行跟踪和故障定位，采用的方法是在网络各层报文处理入口点绑定探测函数并设定探测点，报文通过探测点进入探测程序。进入探测程序后，系统分拣出需要跟踪的报文并收集这些需要被跟踪的报文经过网络各层时的转发信息后，撤销网络各层中的探测点。最后系统会分析收集到的报文信息，通过这些信息分析网络流量状态及分析网络故障成因。

但是，此种方法仅适用于传统物理网络，而容器网络、虚拟网络均需要以软件形式部署在容器、虚拟机内部及各类软件定义的网关内部，目前，尚无基于虚拟化环境的、有效的自动化网络流分析工具，尤其是没有针对特定的流量，例如东西向流量或南北向流量的分析和故障检测方法。现有技术中，常采用固定的关键点抓包工具抓取数据分析，但该方式配置命令复杂、场景多样，抓取的数据只能作为事后分析所用，严重影响故障排查效率。同时，目前尚无针对容器网络、虚拟私有网络的网络层工作状态可视化工具。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种适用于虚拟及容器网络的流量故障定位方法及系统，可以针对特定的流量进行分析，加快了故障的定位，可以实时展现网络层工作状态。

根据本发明的实施方式，提供了一种适用于虚拟及容器网络的流量故障定位方法，所述定位方法包括：获取多个监控点收集的网络流量数据，所述多个监控点分别部署在容器、虚拟机及服务器上；根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；根据所述分析结果定位故障。

在本发明的一些实施方式中，所述网络流量数据包括包头信息、日志信息和吞吐量信息。

在本发明的一些实施方式中，所述预设的特征集合通过以下分析日常监控数据的方式获得：获取多个监控点收集的日常网络流量数据；预处理所述日常网络流量数据得到待分析数据；根据所述待分析数据通过所述预设的分析规则生成所述特征集合。

在本发明的一些实施方式中，所述预设的特征集合包括基线值、阈值和关键字；所述根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果包括：若所述故障类型为基线数据类型，则提取所述网络流量数据中的基线数据部分，与所述基线值和所述阈值对比分析，获取所述分析结果；若所述故障类型为日志类型，则提取所述网络流量数据中的日志部分，与所述关键字对比分析，获取所述分析结果。

在本发明的一些实施方式中，所述定位方法还包括：获取所述分析结果前，对所述网络流量数据进行预处理；所述预处理包括去重处理。

在本发明的一些实施方式中，所述定位方法还包括：根据所述分析结果确定处理方案，根据所述处理方案处理所述故障；展示所述网络流量数据、所述分析结果和处理结果。

在本发明的一些实施方式中，所述定位方法还包括：保存所述网络流量数据。

同时，本发明提供了一种适用于虚拟及容器网络的流量故障定位系统，所述定位系统包括：数据获取模块，用于获取多个监控点收集的网络流量数据，所述多个监控点分别部署在容器、虚拟机及服务器上；分析模块，用于根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；定位模块，用于根据所述分析结果定位故障。

在本发明的一些实施方式中，所述网络流量数据包括包头信息、日志信息和吞吐量信息。

在本发明的一些实施方式中，所述预设的特征集合通过以下分析日常监控数据的方式获得：获取多个监控点收集的日常网络流量数据；预处理所述日常网络流量数据得到待分析数据；根据所述待分析数据通过所述预设的分析规则生成所述特征集合。

在本发明的一些实施方式中，所述预设的特征集合包括基线值、阈值和关键字；所述分析模块用于：若所述故障类型为基线数据类型，则提取所述网络流量数据中的基线数据部分，与所述基线值和所述阈值对比分析，获取所述分析结果；若所述故障类型为日志类型，则提取所述网络流量数据中的日志部分，与所述关键字对比分析，获取所述分析结果。

在本发明的一些实施方式中，所述分析模块还用于：在获取所述分析结果前，对所述网络流量数据进行预处理；所述预处理包括去重处理。

在本发明的一些实施方式中，所述定位系统还包括：处理模块，用于根据所述分析结果确定处理方案，根据所述处理方案处理所述故障；展示模块，用于展示所述网络流量数据、所述分析结果和处理结果。

在本发明的一些实施方式中，所述定位系统还包括：存储模块，用于保存所述网络流量数据。

此外，本发明实施方式提供了一种适用于虚拟及容器网络的流量故障定位装置，包括存储器和处理器，所述存储器用于存储一条或多条计算机可读指令；所述处理器用于执行所述一条或多条计算机可读指令从而实现前述任一项实施方式所述的方法。

本发明实施方式还提供了一种计算机存储介质，存储有一条或多条计算机程序，所述一条或多条计算机程序在执行时实现前述任一项实施方式所述的方法。

本发明通过预设的特征集合和预设的分析规则对监控点采集的数据进行实时分析，解决了现有虚拟网络及容器网络中长期存在的固定的关键点抓包工具仅能作为事后分析的问题，以及无法针对特定流量进行分析定位的问题。同时对收集的数据进行存储，解决了现有技术中无故障时段数据支持的问题。且本发明一次部署、自动化运行，解决了传统抓包分析工具的如下痛点：临时部署、多方参与、时效性差、协调困难、命令复杂、手工分析。同时，加快了故障的定位，提供实时展示功能，可以实时展现网络层工作状态，实现了网络层工作状态可视化。

附图说明

为了便于理解本发明，以下通过具体实施方式并结合附图对本发明进行具体说明。

图1是现有虚拟网络构架中东西及南北向流量的示意图；

图2是根据本发明一种实施方式的适用于虚拟及容器网络的流量故障定位方法的流程示意图；

图3是根据本发明一种实施方式的适用于虚拟及容器网络的流量故障定位系统的框图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。

在虚拟网络架构中，需要将网络按功能划分成多个不同的网络空间，每个网络空间相互协作，实现流量转发。每个独立的网络空间都需要使用一个控制器进行管理，在网络中同时部署多个控制器，各个控制器按照某种规则相互协同来提升网络空间的处理能力。如图1所示，一般把控制器所在平面向上面向的应用称为北向接口，向下面向的数据称为南向接口；相对于南北向接口，控制器与控制器之间的接口则称为东西向接口，其作用是完成控制器之间的通信。网络东西向流量是指控制器之间相互通信的网络流量，东西向接口需要交换配置信息和管控信息，从而控制网络数据的转发。因此，对虚拟网络架构中特定流量的分析，尤其是对东西向流量进行快速分析、定位故障，对虚拟网络架构而言十分重要。

基于此，本发明的一种实施方式提供了一种适用于虚拟及容器网络的流量故障定位方法，如图2所示，在本发明的实施方式中，参照图2，该方法包括：

100：获取多个监控点收集的网络流量数据；

101：根据网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；

102：根据分析结果定位故障。

在本发明的实施方式中，该多个监控点分别部署在容器、虚拟机及服务器上。可选的，监控点可以是例如agent(能自主活动的软件或者硬件实体)的小程序，安装在KVM(Kernel-based Virtual Machine，一款开源的系统虚拟化模块)、容器、母机、BMS(BareMetal Server，物理服务器)裸金属、弹性网卡等各个关键点，自带弱分析能力，主要功能是将宿主的网络流量数据通过镜像、包头提取、日志收集、吞吐量等信息按要求发送给相应的收集、分析和存贮组件。

在本发明的实施方式中，通过监控点部署的位置不同，可以特定的针对某种流量进行收集，例如，部署在控制器上的监控点可以针对的收集东西向流量数据。

在本发明的实施方式中，网络流量数据包括包头信息、日志信息和吞吐量信息。以agent为例，agent负责监控和抓取网络数据包并进行包头提取、提取系统及应用日志、获取应用交互中的任务ID、系统及网络性能等信息。agent可将上述信息定期发送给相应的组件，使用者也可以在容器、虚拟机及物理服务器上通过agent查看本机的相关收集信息，通过同一时间点各个方面收集到的信息判断应用或系统是否存在问题。可选的，网络流量数据可以仅包括包头信息，以减少抓包内容对生产网络的容量造成影响。有必要时可以进行调整，改为发全量数据包。

在本发明的实施方式中，预设的特征集合可以通过以下分析日常监控数据的方式获得：

获取多个监控点收集的日常网络流量数据，预处理日常网络流量数据得到待分析数据，根据待分析数据通过所述预设的分析规则生成特征集合。

在本发明的实施方式中，预设的特征集合可以包括基线值、阈值和关键字等信息。下面将结合具体例子对本实施方式所提供的获取特征集合的方法进行描述：

在本发明的实施方式中，首先汇总各个agent收集的日常网络流量数据，在汇总的过程中，进行去重处理，将相同的数据进行合并，仅保留时间戳等必要信息。可选的，可以将处理完成的数据进行存储，例如，可以按照租户的选择存储，也可将相关的数据同步存储到指定的COS(Cloud Object Storage，对象存储)等系统中去，以备后续原始数据查询。

其次，针对预处理完的日常网络流量数据中的网络流量的变化、接口容量的变化、延时的变化进行归纳统计，在此过程中也可以将统计结果实时进行展示。通过预设的分析规则生成基线值、告警的阈值并可以对未来的容量变化做出预测，相关信息也可以同步进行展示。对于突发性的超出阈值的情况或明显低于基线的情况将自动产生告警信息，以例如短信等形式发给外部告警系统，也可以同步将告警信息进行展示。

针对预处理完的日常网络流量数据中的任务ID的跟踪，通过预设的分析规则生成基线值，形成告警的阈值并可以将任务流统计结果实时进行展示。对于突发性的任务流路径变化将自动产生告警信息，以例如短信等形式发给外部告警系统，也可以同步将告警信息进行展示。

针对预处理完的日常网络流量数据中的日志分析，可以根据预设的分析规则对预定义的日志关键字级别进行展示和告警，相关信息将以例如短信等形式发给外部告警系统，也可以同步将告警信息进行展示。

由此，生成特征集合，用于后续对网络流量数据的分析。

在本发明的实施方式中，处理101可以通过以下方式进行，具体包括：

若故障类型为基线数据类型，则提取网络流量数据中的基线数据部分，与基线值和所述阈值对比分析，获取分析结果；若故障类型为日志类型，则提取网络流量数据中的日志部分，与关键字对比分析，获取分析结果。

在本发明的实施方式中，在获取分析结果前，可以对网络流量数据进行预处理，例如去重处理，将相同的数据进行合并，仅保留时间戳等必要信息。同时，在获取分析结果后，除了确定故障的位置，还可以根据分析结果确定相关的处理方案对故障进行自处理，在此过程中，可以实时对网络流量数据、分析结果和处理结果进行展示。

在可选的实施方式中，展示形式包括饼图、曲线、拓扑等等。同时支持多租户分类展示，可以根据租户不同权限和需求进行定制化展示。

在本发明的实施方式中，可以保存网络流量数据，例如，可以按照租户的选择存储，也可将相关的数据同步存储到指定的COS等系统中去，以备后续原始数据查询。针对网络流量数据这类的原始数据可以选择进行压缩以节省存储空间占用。同时，本发明的实施方式支持多租户分类存储，租户之间的数据相互不可见。

下面将结合具体例子对本实施方式所提供的针对不同故障类型进行故障定位及后续处理的方法进行描述。

对于基线数据类型的故障，例如，应用响应超时故障，处理如下：

agent将收集的网络流量数据汇总，将相同的数据进行合并，仅保留时间戳等必要信息。根据预设的分析规则对去重处理后的网络流量数据进行智能化分析，对应用交易链断点、应用处理延时超过阈值、接口带宽无变化等指标横向进行分析，最终给出故障点定位结果。该结果可以通过告警短信发送至相关负责人，也可以同步将告警信息进行展示。

接收到告警后检查针对此类告警是否有针对性的自动化应急操作，如果有则按照应急操作脚本执行，如删除容器、重新拉起故障点应用等。同步将处理状态返回，根据处理状态对相关的告警进行置维护操作，同时同步发送应急处理操作的告警信息给相关管理人员。

应急操作结束后，同步将处理结果返回，将相关处理结果发送给相关管理员，同步取消相关告警的置维护状态。

对于日志类型的故障，例如，应用bug故障，处理如下：

agent将收集的网络流量数据汇总，将相同的数据进行合并，仅保留时间戳等必要信息。根据预设的分析规则对去重处理后的网络流量数据进行智能化分析，对应用交易链断点、应用处理延时、应用日志关键字等指标横向进行分析，最终给出故障点定位结果。该结果可以通过告警短信发送至相关负责人，也可以同步将告警信息进行展示。

在进行软件升级前可以对相关的告警进行置维护操作。

软件升级操作结束后，再根据结果取消相关告警的置维护状态。

由此，本发明实施方式通过预设的特征集合和预设的分析规则对监控点采集的数据进行实时分析，解决了现有虚拟网络及容器网络中长期存在的固定的关键点抓包工具仅能作为事后分析的问题。同时对收集的数据进行存储，解决了现有技术中无故障时段数据支持的问题。且针对特定流量的特点在相应位置部署监控点，解决了现有技术中无法针对特定流量进行分析定位的问题。且本发明一次部署、自动化运行，解决了传统抓包分析工具的如下痛点：临时部署、多方参与、时效性差、协调困难、命令复杂、手工分析。同时，加快了故障的定位，提供实时展示功能，可以实时展现网络层工作状态，实现了网络层工作状态可视化。

图3是根据本发明一种实施方式的适用于虚拟及容器网络的流量故障定位系统1的框图，参照图3，该定位系统1包括：数据获取模块11，用于获取多个监控点收集的网络流量数据，多个监控点分别部署在容器、虚拟机及服务器上；分析模块12，用于根据网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；定位模块13，用于根据分析结果定位故障。

在本发明的实施方式中，网络流量数据包括包头信息、日志信息和吞吐量信息。

在本发明的实施方式中，预设的特征集合通过以下分析日常监控数据的方式获得：

获取多个监控点收集的日常网络流量数据，预处理日常网络流量数据得到待分析数据，根据待分析数据通过预设的分析规则生成特征集合。

在本发明的实施方式中，预设的特征集合包括基线值、阈值和关键字，基于此，分析模块12用于：

若故障类型为基线数据类型，则提取网络流量数据中的基线数据部分，与基线值和阈值对比分析，获取分析结果；

若故障类型为日志类型，则提取网络流量数据中的日志部分，与关键字对比分析，获取分析结果。

在本发明的实施方式中，分析模块12还用于：在获取分析结果前，对网络流量数据进行预处理，该预处理包括去重处理。

在本发明的实施方式中，参照图3，该定位系统1还包括：处理模块14，用于根据分析结果确定处理方案，根据处理方案处理故障；展示模块15，用于展示网络流量数据、分析结果和处理结果；存储模块16，用于保存网络流量数据。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。

因此，本发明实施方式还提供了一种计算机存储介质，存储有一条或多条计算机程序，用于在执行时实现本发明前述实施方式或实现方式提供的适用于虚拟及容器网络的流量故障定位方法。例如，所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。

本发明实施方式还提供了一种适用于虚拟及容器网络的流量故障定位装置，该装置包括存储器，用于存储一条或多条计算机可读指令；处理器，用于执行所述一条或多条计算机可读指令从而实现本发明前述实施方式或实现方式所提供的适用于虚拟及容器网络的流量故障定位方法。可选地，在本发明实施方式的一种实现方式中，所述装置还可以包括用于进行数据通信的输入输出接口。例如，所述装置可以是计算机、智能终端、服务器等。

本文所公开的具体实施方式仅用于举例说明本发明，对于本领域技术人员而言，显然可以根据本文的教导进行各种修改，可以采用各种等同的方式实施本发明，因此，本发明上述公开的特定的实施方式仅仅是示例性的，其保护范围不受在此公开的结构或设计的细节所限，除非在权利要求中另有说明。因此，上述公开的特定的示例性的实施方式可进行各种替换、组合或修改，其所有的变形都落入本文公开的范围内。

Claims (16)

1.一种适用于虚拟及容器网络的流量故障定位方法，其特征在于，所述定位方法包括：

获取多个监控点收集的网络流量数据，所述多个监控点分别部署在容器、虚拟机及服务器上；

根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；

根据所述分析结果定位故障。

2.如权利要求1所述的定位方法，其特征在于，

所述网络流量数据包括包头信息、日志信息和吞吐量信息。

3.如权利要求1所述的定位方法，其特征在于，所述预设的特征集合通过以下分析日常监控数据的方式获得：

获取多个监控点收集的日常网络流量数据；

预处理所述日常网络流量数据得到待分析数据；

根据所述待分析数据通过所述预设的分析规则生成所述特征集合。

4.如权利要求1所述的定位方法，其特征在于，

所述预设的特征集合包括基线值、阈值和关键字；

所述根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果包括：

若所述故障类型为基线数据类型，则提取所述网络流量数据中的基线数据部分，与所述基线值和所述阈值对比分析，获取所述分析结果；

若所述故障类型为日志类型，则提取所述网络流量数据中的日志部分，与所述关键字对比分析，获取所述分析结果。

5.如权利要求1所述的定位方法，其特征在于，所述定位方法还包括：

获取所述分析结果前，对所述网络流量数据进行预处理；

所述预处理包括去重处理。

6.如权利要求1所述的定位方法，其特征在于，所述定位方法还包括：

根据所述分析结果确定处理方案，根据所述处理方案处理所述故障；

展示所述网络流量数据、所述分析结果和处理结果。

7.如权利要求1所述的定位方法，其特征在于，所述定位方法还包括：

保存所述网络流量数据。

8.一种适用于虚拟及容器网络的流量故障定位系统，其特征在于，所述定位系统包括：

数据获取模块，用于获取多个监控点收集的网络流量数据，所述多个监控点分别部署在容器、虚拟机及服务器上；

分析模块，用于根据所述网络流量数据与预设的特征集合通过预设的分析规则获取分析结果；

定位模块，用于根据所述分析结果定位故障。

9.如权利要求8所述的定位系统，其特征在于，

所述网络流量数据包括包头信息、日志信息和吞吐量信息。

10.如权利要求8所述的定位系统，其特征在于，所述预设的特征集合通过以下分析日常监控数据的方式获得：

获取多个监控点收集的日常网络流量数据；

预处理所述日常网络流量数据得到待分析数据；

根据所述待分析数据通过所述预设的分析规则生成所述特征集合。

11.如权利要求8所述的定位系统，其特征在于，

所述预设的特征集合包括基线值、阈值和关键字；

所述分析模块用于：

若所述故障类型为基线数据类型，则提取所述网络流量数据中的基线数据部分，与所述基线值和所述阈值对比分析，获取所述分析结果；

若所述故障类型为日志类型，则提取所述网络流量数据中的日志部分，与所述关键字对比分析，获取所述分析结果。

12.如权利要求8所述的定位系统，其特征在于，所述分析模块还用于：

在获取所述分析结果前，对所述网络流量数据进行预处理；

所述预处理包括去重处理。

13.如权利要求8所述的定位系统，其特征在于，所述定位系统还包括：

处理模块，用于根据所述分析结果确定处理方案，根据所述处理方案处理所述故障；

展示模块，用于展示所述网络流量数据、所述分析结果和处理结果。

14.如权利要求8所述的定位系统，其特征在于，所述定位系统还包括：

存储模块，用于保存所述网络流量数据。

15.一种适用于虚拟及容器网络的流量故障定位装置，包括存储器和处理器，其特征在于，

所述存储器用于存储一条或多条计算机可读指令；

所述处理器用于执行所述一条或多条计算机可读指令以实现如权利要求1-7中任一项所述的方法。

16.一种计算机存储介质，存储有一条或多条计算机程序，其特征在于，所述一条或多条计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images