CN114697242A - 一种政务云场景下客户虚拟网卡流量管理方法及系统 - Google Patents

一种政务云场景下客户虚拟网卡流量管理方法及系统 Download PDF

Info

Publication number
CN114697242A
CN114697242A CN202210277981.9A CN202210277981A CN114697242A CN 114697242 A CN114697242 A CN 114697242A CN 202210277981 A CN202210277981 A CN 202210277981A CN 114697242 A CN114697242 A CN 114697242A
Authority
CN
China
Prior art keywords
flow
network card
virtual network
rule
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210277981.9A
Other languages
English (en)
Inventor
李廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202210277981.9A priority Critical patent/CN114697242A/zh
Publication of CN114697242A publication Critical patent/CN114697242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/042Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051Service on demand, e.g. definition and deployment of services in real time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种政务云场景下客户虚拟网卡流量管理方法及系统,属于云平台管理技术领域,该方法的实现包括:云平台虚拟网卡流量的数据采集处理;管理流量比对规则元数据配置;流量管控接口设置;平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,调度程序按照比对规则与平台流量能力数据进行比对;虚拟网卡流量规则的匹配选择,根据虚拟网卡流量总和数值和平台流量能力数值做数据对比的结果,选择虚拟网卡流量的规则;虚拟网卡流量规则的任务执行。本发明能够按照客户需求实现客户虚机资源内部虚拟网卡流量范围,按需配置流量上限和下限,最终实现云管系统能够管理客户虚拟网卡流量的功能。

Description

一种政务云场景下客户虚拟网卡流量管理方法及系统
技术领域
本发明涉及云平台管理技术领域,具体地说是一种政务云场景下客户虚拟网卡流量管理方法及系统。
背景技术
在政务云项目中,为了管理很多客户的虚拟资源,需要建设一套云管系统来支持可管理虚拟资源的订单业务和资源实例管理业务,其中比较常见的业务就是流量分析业务。这里的流量业务指的是客户开通的虚机内部的虚拟网卡的流量的业务,是从这个虚拟网卡出去的流量和从这个虚拟网卡流入的流量的管理和控制,虚拟网卡的流量过大和过小,都会影响虚拟机上的应用运行的稳定性,直接关系着客户的业务系统的使用场景。如果流量不做管理和控制,当流量在一个用户的虚机内部的网卡流量太多的时候,会出现其余虚机的流量减少,会导致整个平台上的业务流量出现分布不均衡的问题,这样就会出现由于其中一个业务流量太多导致平台其余客户的业务系统在使用上出现卡顿的问题,严重的情况会导致业务流量低的虚拟网卡涉及到的业务系统出现系统不可用的故障,这种场景下就急需一个功能可以通过流量管理的操作来管理每个客户虚机资源的网卡流量的使用范围,不要出现个别虚机网卡流量太高而引起其余虚机资源网卡流量需求不足的问题现象。这就需要一种功能上线来实现管控虚拟网卡流量的功能。
发明内容
本发明的技术任务是针对以上不足之处,提供一种政务云场景下客户虚拟网卡流量管理方法及系统,能够按照客户需求实现客户虚机资源内部虚拟网卡流量范围,按需配置流量上限和下限,最终实现云管系统能够管理客户虚拟网卡流量的功能。
本发明解决其技术问题所采用的技术方案是:
一种政务云场景下客户虚拟网卡流量管理方法,该方法的实现包括:
云平台虚拟网卡流量的数据采集处理;
管理流量比对规则元数据配置,包括对云平台流量能力元数据完成基础设置,设置流量比对规则和流量管控调度接口基础算法及功能的对接规则,以便实现数据对比、规则选择、规则执行的一系列功能;
流量管控接口设置;
平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,调度程序按照比对规则与平台流量能力数据进行比对;平台流量数据能力是指云平台虚拟化流量可以提供的最大限制的数据流量的一个能力数值,虚拟网卡流量的数据是虚拟机操作系统内部的网卡上实际产生的数据流量,虚拟网卡实际数据需要通过数据采集功能来获取到虚拟网卡实际使用的流量数值,然后通过调度算法得出平台上所有虚拟机的虚拟网卡的流量总和,使用虚拟网卡流量总和数值和平台流量能力数值做数据对比,得出比对结果;
虚拟网卡流量规则的匹配选择,根据虚拟网卡流量总和数值和平台流量能力数值做数据对比的结果,选择虚拟网卡流量的规则;
虚拟网卡流量规则的任务执行,根据匹配模块输出的匹配结果,调度任务执行模块,任务执行模块按照匹配结果选择执行的子任务,完成虚拟网卡流量管控的全生命周期的操作环节。
优选的,该方法基于OpenStack的Neutron实现网络QOS的流量控制,从云管平台创建网络资源池,资源池内有vlan资源和ip资源,通过调用底层 neutron的qos-policy api接口创建不同的qos策略;如调用 qos-bandwidth-limit-rule api接口创建不同的流量带宽的限制规则, qos-bandwidth-limit-rule的规则作用的对象是虚拟机的虚拟网卡,也就是 port,最终对虚机上的业务产生的流量实现了管控的效果;
根据neutron组件的api接口做SDK封装,并通过命令行管理流量控制的工具来管理网络QOS规则,neutron的qos管理的接口中有几个接口,通过对 api接口的二次封装处理,使用python对这些api接口做SDK封装,并且提供命令行的使用工具,用来管理网络QOS规则,并利用规则对虚拟机内部虚拟网卡对应的port做流量控制的规则设置,以便实现对业务系统经过虚拟网卡上的流量管控需求;
在调度流量管理规则服务的接口组件时,实现对虚拟网卡流量监控采集数据的上报功能,根据采集上报的实际流量的数据变化的幅度判断,来选择调度流量管理的子功能模块接口。
进一步的,流量控制通过调用neutron接口实现了流量规则管理和适配于虚机网卡port的配置功能,并且可以把流量的规则和映射配置情况管理起来,作为一种QOS的插件,适配到OpenStack的Neutron服务端,从而实现对QOS 规则进行信息存储与配置管理功能的下发;
通过neutron的QOS代理实现QOS规则的设置,通过规则设置,完成对虚拟网卡流量的范围管理,即流量最大峰值管理和流量最小指标数值的调整,以保证云平台上所有需求的流量使用更合理更充分;
需要对虚机虚拟网卡的实际数值做好流量的数据处理,根据数据处理的结果来做判断和执行流量管理的操作任务,从而对于后续升级流程更加灵活,升级部署操作更加简单,使用qga的agent集成的方式,对数据采集做流量采集功能的封装,以便完成虚机虚拟网卡流量的数据采集的数据获取和解析,输出结果之后,和实际的平台网卡的承载能力做对比,对比判断后来选择下一步流量管理的操作任务,以便完成流量管控全部的操作任务。
优选的,对云平台虚拟网卡流量完成虚机虚拟网卡流量的数据采集,采集完成之后,把原始数据保存到网卡原始数据库中,作为虚机网卡流量管控的数据对比功能的算法调度使用;实现过程如下:
1)、制作虚机镜像:在每一个虚机使用的镜像内部安装qga agent代理组件,代理组件按照操作系统类型和版本来区分和兼容,做好适配验证;
2)、启动虚拟机:把虚机镜像管理注册到云平台镜像服务中心,虚机启动时,选择对应的镜像、虚机规则、虚机网卡、虚机云硬盘等附件虚拟资源进行加载,加载成功之后,虚拟机可以正常启动成功;
3)、QgaAgent代理程序加载:虚机启动使用的镜像中带有qga小程序,这个小程序会自动启动qga agent的服务,以便数据采集的程序接口进行调用;
4)、QgaAgent服务自测:对于虚机操作系统内部的qga服务进行自测检查,保证可用;
5)、数据接口状态更新:QgaAgent代理程序自测通过之后,对于数据接口的状态会自动更新成可用,以便数据处理的采集程序调度;
6)、数据采集和传输:采集机按照设置的采集频率和接口配置信息,对每一台虚拟机的虚拟网卡对象上的流量信息做周期性的采集,采集完成原始数据之后生成原始数据文件,传递到预处理服务器上;
7)、数据处理和归档:预处理服务器上的程序对原始数据文件做标准化解析处理工作,处理完成后把处理后的每台虚拟机虚拟网卡的数据做好归档和存放。
优选的,所述管理流量比对规则元数据配置包括:
配置基本信息,包括虚机名称、虚机UUID、虚机IP信息、虚机网卡信息、虚机网卡带宽值信息;
配置流量元数据信息,包括配置平台流量能力最大值、虚机流量等级、虚机流量等级流量最小值、虚机流量等级流量最大值;
配置比对规则,包括单一比对规则、整体比对规则、单个网卡环比规则、整体数据环比规则;
规则激活,对配置完成的规则做激活设置,激活之后的规则可以正常使用,未激活的比对规则是无效的。
优选的,所述流量管控接口设置,基于KVM平台neutron组件的port端口子功能的流量服务API的管理功能,流量元数据接口上层增值改造加深封装后形成云管平台流量管控的接口功能,从而完成流量管控的操作动作和操作任务;
设置包括:
虚拟网卡流量限值设置,包括设置流量限值最小值,设置流量限值最大值;
流量规则绑定网卡:把设置好的一个流量规则绑定到一个虚拟网卡上,使虚机网卡的流量可以得到已绑定流量规则的管理和限制的作用;
流量规则解绑网卡:把一个虚拟网卡上的一个流量规则从网卡上取消掉,使虚机网卡的流量不再受限制于这个流量规则的作用;
虚拟网卡流量限值修改:对于已经设置好的一个流量规则的限制最小值和限制最大值的数值做修改设置处理,修改之后,绑定的虚拟网卡会自动按照修改的最新的限制最大值和限制最小值来作用规则。
优选的,所述平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,通过调度算法得出平台上所有虚拟机的虚拟网卡的流量总和;使用虚拟网卡流量总和数值和平台流量能力数值做数据对比,得出对比结果;
具体实现过程如下:
1)、平台流量能力数据配置完成;
2)、虚拟网卡流量的数据采集完成数据处理;
3)、设置比对规则以及相应的比对流程;
4)、输出比对结果,依据流量管控的规则匹配使用,完成流量规则管控的执行操作。
优选的,所述虚拟网卡流量规则匹配,制定虚拟网卡流量规则以及对应的匹配原则,录入到规则动态库,作为基础数据,并对每一条流量规则的匹配制定好对应的匹配选择调度的条件,从而实现流量管控系统上出现了满足条件的流量规则之后可以完成自动选择流量管控功能;
虚拟网卡流量管控系统根据数据采集的虚拟网卡实际数据与平台流量能力数据的比对模块生成的比对结果,对流量规则的选择做匹配映射;匹配映射成功之后,虚拟网卡流量的管控功能选择流量管控子模块的调度任务,继续完成虚拟网卡流量管控的操作任务,以便保证虚拟网卡流量的峰值不会超出平台能力数值;具体的:
查询比对结果:流量管控系统匹配规则模块程序按照周期定时调度查询流量比对模块输出的比对结果;
匹配分析环节:虚拟网卡流量管控子模块流量匹配分析,获取查询比对结果之后,分析处理比对结果和匹配模块的选择操作,完成匹配分析环节处理,输出匹配流量规则之后的匹配结果。
优选的,流量管控任务执行包括自动执行任务和人工执行任务:虚拟网卡流量数据和平台流量能力的数据比对结果满足流量管控规则动态库的条件后,自动匹配选择流量管控的任务,去完成流量管控的操作;当出现虚拟网卡流量告警阈值,但是流量规则匹配动态库的里面没有可以和当前告警阈值匹配成功的任务时,需要人工核实判断,选择流量管控的虚拟网卡对象以及门限数值,从而完成人工流量管控的操作任务;
所述虚拟网卡流量规则的任务执行,具体实现过程如下:
查询获取匹配流量规则的结果:虚拟网卡流量管控任务执行子模块调用查询接口,获取流量匹配规则的结果;
调度选择子任务模块:虚拟网卡流量管控任务调度任务模块完成管控任务的选择操作;
执行流量管控的子任务:虚拟网卡流量管控任务根据调度选择的操作任务类型,执行完成对应的子任务。
任务执行结果检查确认:虚拟网卡流量管控任务调度检查任务的接口,完成流量任务管控的任务执行结果的检查工作。
本发明还要求保护一种政务云场景下客户虚拟网卡流量管理系统,包括云平台虚拟网卡流量的数据采集处理模块、管理流量比对规则元数据配置模块、流量管控接口设置模块、平台流量能力数据与虚拟网卡流量的数据比对模块、虚拟网卡流量规则的匹配选择模块以及虚拟网卡流量规则的任务执行模块,该系统实现上述的政务云场景下客户虚拟网卡流量管理方法。
本发明的一种政务云场景下客户虚拟网卡流量管理方法及系统与现有技术相比,具有以下有益效果:
针对对于云管系统的部署任务也越来越繁重,传统的云管系统的功能已经不能满足平台运维和管理的需求,尤其是对应平台流量的合理充分使用的规划,传统的云管系统是无法管控和保证的的问题,本方法通过虚拟网卡流量管控系统承担了平台流量和虚拟网卡流量合理分配使用的一个角色,帮助运维管理人员快速查看流量使用情况,合理分配平台流量的能力数值给每个虚拟机上的虚拟网卡的流量需求使用,在有限的平台流量能力数值范围之内,让客户的业务系统在使用流量上得到了最大的价值和作用。
通过本方法的应用,不但及时获取每个业务系统的虚拟网卡的流量的事情情况,而且可以及时发现不正常的虚拟网卡流量数值,能够让平台运维管理人员及时处理不正常的流量对应的虚拟网卡的业务系统,从而起到了对平台上业务系统的及时保护的作用。
使用本方法,对于业务系统运行期间出现的虚拟网卡流量的峰值不正常的虚拟网卡,做采集数据处理归档的工作,如果这个峰值的现象循环出现,可以帮助运维管理人员做业务上云的分析判断,以便更好的辅助待上云业务系统的虚拟资源的分配,更加合理的支撑上云业务稳定发展。
本方法可以帮助运维管理人员在云中心云平台业务割接、业务迁移、网络设备版本升级等的场景下做流量监控使用,虚拟网卡流量管控采集归档的历史数据形成报表,可以帮助云中心运维管理人员分析和确定业务割接、业务迁移、网络设备版本升级等操作的时间窗口,根据虚拟网卡流量的高峰值和低峰值的范围以及时间段区间,来判断平台变更操作的时间窗口,让业务系统在平台变更的操作期间产生的影响降到最低。
附图说明
图1是本发明实施例提供的虚拟网卡流量数据采集和数据处理流程图;
图2是本发明实施例提供的管理流量比对规则元数据配置流程图;
图3是本发明实施例提供的流量管控接口功能架构图;
图4是本发明实施例提供的平台流量和虚拟网卡流量的数据对比流程图;
图5是本发明实施例提供的虚拟网卡流量规则匹配分析流程图;
图6是本发明实施例提供的虚拟网卡流量规则任务处理流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
在政务云项目中,项目为了给客户提供管理服务,在云平台上层建设一套云管系统,这套云管系统包含了资源开通、资源监控、资源变更、资源销毁等全流程生命周期的管理功能,一般都是部署在云中心的平台管理区域,可以同时管理每个业务网络区域的物理资源、平台资源、虚拟资源等几个层次的资源对象。其中,对于虚拟资源类型中的虚拟网卡对象是一个关键的核心对象,它的流量多少直接影响着虚拟资源上的业务系统运行的质量状态,尤其是当部分虚拟网卡的流量突然都打到峰值的时候,有可能出现所有虚拟网卡流量数值之和大于云平台网络流量能力数值的现象,这时候对于云平台的网络流量如果不去管理调度,则影响云平台的正常运行,进而会去影响云平台上的业务应用系统的正常使用,更为严重的情况则会导致客户虚拟资源的网络出现长时间的阻塞和延时。
目前,很多政务云项目部署云管平台系统的管理功能都没有对虚拟网卡的流量做管控,在平台建设初期,对于虚拟网卡流量的管控功能的需求是微小的,但是随着业务系统的不断上云,虚拟资源在云平台上的开通的越来越多,业务系统的上云数量也随之剧增,业务系统的上云增加同时也增加了网络流量的要求,这种状态下云管平台就迫切需要一个虚拟网卡流量管控的功能上线来完善云平台管理运维的功能体系,对于此功能的需求原因如下:
业务系统的不断上云,导致业务系统对网卡流量的需求总和是不断增加的,而且对于流量的使用是没有限制和约束的;
当业务系统资源申请资源超过了平台的实际承载能力,业务系统的虚拟网卡流量在没有收到管控的时候会出现很大的峰值,严重的时候会导致整个平台的流量出现网络中断、网络延时等故障;
如果某个上限数值不稳定的虚拟网卡的流量得到了控制,则这个虚拟网卡的流量不会出现意外峰值,当这个虚拟网卡确实存在高流量数值需求的时候,也是会被流量管控的最大限制数值所保护,这样既保证了这个虚拟资源上业务的稳定运行,又不影响云平台的流量使用,这是一个可以得到双赢的设计思路;
云平台客户希望他们申请的虚拟资源挂载的虚拟网卡的流量可以得到合理充分的流量管理和数值分配,这样既可以保障平台网络流量的使用可以充分利用,又可以保障平台上的业务系统在流量需求方面合理调度,不会出现某一个虚拟资源虚拟网卡的流量任意争用导致其余业务系统的虚拟网卡流量不足的故障;
基于以上现状和背景技术描述,虚拟网卡的流量管控功能急需上线并推广使用,只有虚拟网卡流量管控上线之后,才可以使虚拟网卡使用的流量更加合理,才可以使平台上的业务系统在使用平台网络流量能力分配的时候发挥充分合理的价值。
本发明实施例提供一种政务云场景下客户虚拟网卡流量管理方法,该方法的实现包括:
云平台虚拟网卡流量的数据采集处理,基于QGA的数据采集实现方式,对云平台虚拟网卡流量完成虚机虚拟网卡流量的数据采集,采集完成之后,把原始数据保存到网卡原始数据库中;
管理流量比对规则元数据配置,包括对云平台流量能力元数据完成基础设置,设置流量比对规则和流量管控调度接口基础算法及功能的对接规则,以便实现数据对比、规则选择、规则执行的一系列功能;
流量管控接口设置,云平台的流量接口是基于KVM平台neutron组件的port 端口子功能的流量服务API的管理功能,流量元数据接口上层增值改造加深封装后形成云管平台流量管控的接口功能,以便可以完成流量管控的操作动作和操作任务;
平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,调度程序按照比对规则与平台流量能力数据进行比对;平台流量数据能力是指云平台虚拟化流量可以提供的最大限制的数据流量的一个能力数值,虚拟网卡流量的数据是虚拟机操作系统内部的网卡上实际产生的数据流量,虚拟网卡实际数据需要通过数据采集功能来获取到虚拟网卡实际使用的流量数值,然后通过调度算法得出平台上所有虚拟机的虚拟网卡的流量总和,使用虚拟网卡流量总和数值和平台流量能力数值做数据对比,得出比对结果;
虚拟网卡流量规则的匹配选择,根据虚拟网卡流量总和数值和平台流量能力数值做数据对比的结果,选择虚拟网卡流量的规则,虚拟网卡流量规则匹配完成的前提是需要制定虚拟网卡流量规则以及对应的匹配原则,录入到规则动态库,作为基础数据,并对每一条流量规则的匹配制定好对应的匹配选择调度的条件,以便流量管控系统上出现了满足条件的流量规则之后可以完成自动选择流量管控功能;
虚拟网卡流量规则的任务执行,根据匹配模块输出的匹配结果,调度任务执行模块,任务执行模块按照匹配结果选择执行的子任务,完成虚拟网卡流量管控的全生命周期的操作环节。
对于虚拟网卡流量规则管控的操作功能,可以对流量管控任务执行功能分为两类,一类是自动执行任务,另一类是人工执行任务。自动任务执行的前提是虚拟网卡流量数据和平台流量能力的数据比对结果满足流量管控规则动态库的条件后,自动匹配选择流量管控的任务,去完成流量管控的操作。人工执行的任务当出现虚拟网卡流量告警阈值,但是流量规则匹配动态库的里面没有可以和当前告警阈值匹配成功的任务,这时候,需要人工核实判断,选择流量管控的虚拟网卡对象以及门限数值,以便完成人工流量管控的操作任务。
以上六个特征,互相依赖,互相弥补,从流量管控元数据接口到流量管控的规则动态库,从虚拟网卡流量数据采集到虚拟网卡流量管控操作,都是采用的一个数据处理的算法原则,流量管控系统对于云管系统的发展是一个极好的补充和完善,提高了业务系统在云平台上运行的稳定性,方便了运维人员更加便捷的完成云平台的运维工作。
本方法基于OpenStack的Neutron实现网络QOS的流量控制,从云管平台创建网络资源池,资源池内有vlan资源和ip资源,通过调用底层neutron的 qos-policy api接口创建不同的qos策略;如调用qos-bandwidth-limit-rule api接口创建不同的流量带宽的限制规则,qos-bandwidth-limit-rule的规则作用的对象是虚拟机的虚拟网卡,也就是port,最终对虚机上的业务产生的流量实现了管控的效果。
从业务的场景上以下两种比较普遍存在:
新业务上线场景适配
当客户新业务上线期间,业务流量需求很大,但是客户在上线业务系统的时候对流量需求评估存在不准确的场景,这时候需要对上线业务做流量控制来实现已经上线的业务系统稳定持续运行,也能保证新上线的业务正常运行。
业务割接升级场景适配
业务系统根据业务的需求需要做割接升级的操作,在割接升级期间,数据传输的流量是很大的,这时候,需要对数据传输的虚机相关的网卡做流量控制,用来避免割接业务的虚机网卡流量跑满引起其余业务系统的运行受到流量太低的降速影响。
本方法根据neutron组件的api接口做SDK封装,并通过命令行管理流量控制的工具来管理网络QOS规则,neutron的qos管理的接口中有几个接口,通过对api接口的二次封装处理,使用python对这些api接口做SDK封装,并且提供命令行的使用工具,用来管理网络QOS规则,并利用规则对虚拟机内部虚拟网卡对应的port做流量控制的规则设置,以便实现对业务系统经过虚拟网卡上的流量管控需求。
调用neutron接口实现了流量规则管理和适配于虚机网卡port的配置功能,同时,能够对QOS规则做存储和下发的管理功能:流量控制通过调用neutron 接口实现了流量规则管理和适配于虚机网卡port的配置功能,并且可以把流量的规则和映射配置情况管理起来,作为一种QOS的插件,适配到OpenStack的 Neutron服务端,实现了对QOS规则进行信息存储与配置管理功能的下发需求。
在调度流量管理规则服务的接口组件时,实现对虚拟网卡流量监控采集数据的上报功能,根据采集上报的实际流量的数据变化的幅度判断,来选择调度流量管理的子功能模块接口。通过流量监控管理的功能,调度网卡流量数据获取的接口,提供neutron的QOS代理实现QOS规则的设置,通过规则设置,完成对虚拟网卡流量的范围管理,即流量最大峰值管理和流量最小指标数值的调整,以保证云平台上所有需求的流量使用更合理更充分。
需要对虚机虚拟网卡的实际数值做好流量的数据处理,根据数据处理的结果来做判断和执行流量管理的操作任务,从而对于后续升级流程更加灵活,升级部署操作更加简单,使用qga的agent集成的方式,对数据采集做流量采集功能的封装,以便完成虚机虚拟网卡流量的数据采集的数据获取和解析,输出结果之后,和实际的平台网卡的承载能力做对比,对比判断后来选择下一步流量管理的操作任务,以便完成流量管控全部的操作任务。
本方法基于云计算虚拟化的网络技术,集成了虚拟化网卡管理的原子功能,在云管平台上实现的一个能够执行流量管控的网卡流量管理功能。能够按照客户需求实现客户虚机资源内部虚拟网卡流量范围,按需配置流量上限和下限,最终实现了云管系统能够管理客户虚拟网卡流量的功能,这样处理既满足了云平台上所有客户虚拟网卡流量的需求,不会因为某个虚机的网卡流量太低而影响客户业务系统的使用,而且针对业务交换机升级、故障处理等场景下都能够有效的对客户虚机网卡流量做管控,更加清晰的掌控业务系统所需流量的数值范围。
本方法的具体实现过程如下:
一、云平台虚拟网卡流量的数据采集处理功能。
云平台上开通了很多的虚拟资源,如虚拟机、虚拟网卡、云硬盘等,在这些虚拟资源中,虚拟网卡上实际产生的流量数据采集下来,作为虚机网卡流量管控的数据对比功能的算法调度使用:
1)、制作虚机镜像:云平台上需要开通了很多虚拟机,在每一个虚机使用的镜像内部安装qga agent代理组件,代理组件按照操作系统类型和版本来区分和兼容,做好适配验证;
2)、启动虚拟机:把虚机镜像管理注册到云平台镜像服务中心,虚机启动时,选择对应的镜像、虚机规则、虚机网卡、虚机云硬盘等附件虚拟资源进行加载,加载成功之后,虚拟机就可以正常启动成功;
3)、QgaAgent代理程序加载:虚机启动使用的镜像中带有qga小程序,这个小程序会自动启动qga agent的服务,以便数据采集的程序接口进行调用;
4)、QgaAgent服务自测:对于虚机操作系统内部的qga服务需要进行自测检查,保证可用;
5)、数据接口状态更新:QgaAgent代理成都自测通过之后,对于数据接口的状态会自动更新成可用,以便数据处理的采集程序调度。
6)、数据采集和传输:采集机按照设置的采集频率和接口配置信息,对每一台虚拟机的虚拟网卡对象上的流量信息做周期性的采集,采集完成原始数据之后生成原始数据文件,传递到预处理服务器上。
7)、数据处理和归档:预处理服务器上的程序对原始数据文件做标准化解析处理工作,处理完成后把处理后的每台虚拟机虚拟网卡的数据做好归档和存放。
二、管理流量比对规则元数据配置功能。
政务云的云管系统是包括很多功能模块的,按照本专利的研究方法,主要是针对流量管控功能做的数据配置,对于管理流量的比对规则元数据的配置需要完成下面几个步骤的配置。
1)、配置基本信息:虚机名称、虚机UUID、虚机IP信息、虚机网卡信息、虚机网卡带宽值;
2)、配置流量元数据信息:配置平台流量能力最大值、虚机流量等级、虚机流量等级流量最小值、虚机流量等级流量最大值;
3)、配置比对规则:包括单一比对规则、整体比对规则、单个网卡环比规则、整体数据环比规则等;
4)、规则激活:对配置完成的规则做激活设置,激活之后的规则可以正常使用,未激活的比对规则是无效的;
三、流量管控接口功能的实现功能。
流量管控的功能需要在云平台上体现出来,云平台上的虚拟化网络组件服务neutron的接口功能中存在对虚拟网卡流量控制的一系列功能,包括虚拟网卡流量限值设置、设置最小值、设置最大值、流量规则绑定网卡、流量规则解绑网卡、虚拟网卡流量限值的修改。
虚拟网卡流量限值设置:把虚拟网卡流量的限值设置成功,即设置流量限值最小值,设置流量限值最大值;
流量规则绑定网卡:把设置好的一个流量规则绑定到一个虚拟网卡上,使虚机网卡的流量可以得到已绑定流量规则的管理和限制的作用;
流量规则解绑网卡:把一个虚拟网卡上的一个流量规则从网卡上取消掉,使虚机网卡的流量不再受限制于这个流量规则的作用;
虚拟网卡流量限值修改:对于已经设置好的一个流量规则的限制最小值和限制最大值的数值做修改设置处理,修改之后,绑定的虚拟网卡会自动按照修改的最新的限制最大值和限制最小值来作用规则;
四、平台流量能力数据和虚拟网卡流量的数据比对功能。
虚拟网卡管控系统中在虚拟网卡数据采集的步骤完成之后,调度程序按照比对规则和平台流量能力数据进行比对。过程如下:
1)、平台流量能力数据配置完成;
2)、虚拟网卡流量的数据采集完成数据处理;
3)、设置比对规则以及相应的比对流程;
4)、输出比对结果,依据流量管控的规则匹配使用,完成流量规则管控的执行操作。
五、虚拟网卡流量规则的匹配选择功能。
虚拟网卡流量管控系统根据数据采集虚拟网卡实际数据和平台流量能力数据的比对模块生成的比对结果,对流量规则的选择做匹配映射,匹配映射成功之后,虚拟网卡流量的管控功能选择流量管控子模块的调度任务,继续完成虚拟网卡流量管控的操作任务,以便保证虚拟网卡流量的峰值不会超出平台能力数值,造成平台流量的超负荷现象,甚至引起平台上所有业务系统流量使用异常故障。
查询比对结果:流量管控系统匹配规则模块程序按照周期定时调度查询流量比对模块输出的比对结果。
匹配分析环节:虚拟网卡流量管控子模块流量匹配分析,获取查询比对结果之后,分析处理比对结果和匹配模块的选择操作,完成匹配分析环节处理,输出匹配流量规则之后的匹配结果。
六、虚拟网卡流量规则的任务执行功能。
虚拟网卡流量管控系统根据匹配模块输出的匹配结果,调度任务执行模块,任务执行模块按照匹配结果选择执行的子任务,完成虚拟网卡流量管控的全生命周期的操作环节。
查询获取匹配流量规则的结果:虚拟网卡流量管控任务执行子模块调用查询接口,获取流量匹配规则的结果。
调度选择子任务模块:虚拟网卡流量管控任务调度任务模块完成管控任务的选择操作。
执行流量管控的子任务:虚拟网卡流量管控任务根据调度选择的操作任务类型,执行完成对应的子任务。
任务执行结果检查确认:虚拟网卡流量管控任务调度检查任务的接口,完成流量任务管控的任务执行结果的检查工作。
云管系统按照本方法发明的虚拟网卡流量管控系统是对云管系统的一个补充,数据采集和数据处理的模块可以使用云管系统的数据采集和数据处理模块来实现。对于流量管控规则匹配模块和流量管控任务执行模块可以采用原子化的服务部署方式,这两个模块的功能分为前端呈现和后端服务两个部分。服务部署完成之后,和云管系统一起启动,通过操作员的角色配置不同的操作权限,从而分配给不能的岗位使用虚拟网卡流量管控的相关模块的功能菜单。
本发明实施例还提供一种政务云场景下客户虚拟网卡流量管理系统,包括云平台虚拟网卡流量的数据采集处理模块、管理流量比对规则元数据配置模块、流量管控接口设置模块、平台流量能力数据与虚拟网卡流量的数据比对模块、虚拟网卡流量规则的匹配选择模块以及虚拟网卡流量规则的任务执行模块,该系统实现本发明上述实施例中所述的政务云场景下客户虚拟网卡流量管理方法。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。

Claims (10)

1.一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,该方法的实现包括:
云平台虚拟网卡流量的数据采集处理;
管理流量比对规则元数据配置,包括对云平台流量能力元数据完成基础设置,设置流量比对规则和流量管控调度接口基础算法及功能的对接规则;
流量管控接口设置;
平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,调度程序按照比对规则与平台流量能力数据进行比对;
虚拟网卡流量规则的匹配选择,根据虚拟网卡流量总和数值和平台流量能力数值做数据对比的结果,选择虚拟网卡流量的规则;
虚拟网卡流量规则的任务执行,根据匹配模块输出的匹配结果,调度任务执行模块,任务执行模块按照匹配结果选择执行的子任务,完成虚拟网卡流量管控的全生命周期的操作环节。
2.根据权利要求1所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,该方法基于OpenStack的Neutron实现网络QOS的流量控制,从云管平台创建网络资源池,资源池内有vlan资源和ip资源,通过调用底层neutron的qos-policy api接口创建不同的qos策略;
根据neutron组件的api接口做SDK封装,并通过命令行管理流量控制的工具来管理网络QOS规则;利用规则对虚拟机内部虚拟网卡对应的port做流量控制的规则设置,从而实现对业务系统经过虚拟网卡上的流量管控;
在调度流量管理规则服务的接口组件时,实现对虚拟网卡流量监控采集数据的上报功能,根据采集上报的实际流量的数据变化的幅度判断,来选择调度流量管理的子功能模块接口。
3.根据权利要求2所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,把流量的规则和映射配置情况管理起来,作为一种QOS的插件,适配到OpenStack的Neutron服务端,从而实现对QOS规则进行信息存储与配置管理功能的下发;
通过neutron的QOS代理实现QOS规则的设置,通过规则设置,完成对虚拟网卡流量的范围管理;
使用qga的agent集成的方式,对数据采集做流量采集功能的封装,以便完成虚机虚拟网卡流量的数据采集的数据获取和解析,输出结果之后,和实际的平台网卡的承载能力做对比,对比判断后来选择下一步流量管理的操作任务,以便完成流量管控全部的操作任务。
4.根据权利要求3所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,对云平台虚拟网卡流量完成虚机虚拟网卡流量的数据采集,采集完成之后,把原始数据保存到网卡原始数据库中,作为虚机网卡流量管控的数据对比功能的算法调度使用;实现过程如下:
1)、制作虚机镜像:在每一个虚机使用的镜像内部安装qga agent代理组件,代理组件按照操作系统类型和版本来区分和兼容,做好适配验证;
2)、启动虚拟机:把虚机镜像管理注册到云平台镜像服务中心,虚机启动时,选择对应的附件虚拟资源进行加载,加载成功之后,虚拟机可以正常启动成功;
3)、QgaAgent代理程序加载:虚机启动使用的镜像中带有qga小程序,这个小程序会自动启动qga agent的服务,以便数据采集的程序接口进行调用;
4)、QgaAgent服务自测:对于虚机操作系统内部的qga服务进行自测检查,保证可用;
5)、数据接口状态更新:QgaAgent代理程序自测通过之后,对于数据接口的状态会自动更新成可用,以便数据处理的采集程序调度;
6)、数据采集和传输:采集机按照设置的采集频率和接口配置信息,对每一台虚拟机的虚拟网卡对象上的流量信息做周期性的采集,采集完成原始数据之后生成原始数据文件,传递到预处理服务器上;
7)、数据处理和归档:预处理服务器上的程序对原始数据文件做标准化解析处理工作,处理完成后把处理后的每台虚拟机虚拟网卡的数据做好归档和存放。
5.根据权利要求1-4任一所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,所述管理流量比对规则元数据配置包括:
配置基本信息,包括虚机名称、虚机UUID、虚机IP信息、虚机网卡信息、虚机网卡带宽值信息;
配置流量元数据信息,包括配置平台流量能力最大值、虚机流量等级、虚机流量等级流量最小值、虚机流量等级流量最大值;
配置比对规则,包括单一比对规则、整体比对规则、单个网卡环比规则、整体数据环比规则;
规则激活,对配置完成的规则做激活设置,激活之后的规则可以正常使用,未激活的比对规则是无效的。
6.根据权利要求5所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于所述流量管控接口设置,基于KVM平台neutron组件的port端口子功能的流量服务API的管理功能,流量元数据接口上层增值改造加深封装后形成云管平台流量管控的接口功能,从而完成流量管控的操作动作和操作任务;
设置包括:
虚拟网卡流量限值设置,包括设置流量限值最小值,设置流量限值最大值;
流量规则绑定网卡:把设置好的一个流量规则绑定到一个虚拟网卡上,使虚机网卡的流量可以得到已绑定流量规则的管理和限制的作用;
流量规则解绑网卡:把一个虚拟网卡上的一个流量规则从网卡上取消掉,使虚机网卡的流量不再受限制于这个流量规则的作用;
虚拟网卡流量限值修改:对于已经设置好的一个流量规则的限制最小值和限制最大值的数值做修改设置处理,修改之后,绑定的虚拟网卡会自动按照修改的最新的限制最大值和限制最小值来作用规则。
7.根据权利要求6所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,所述平台流量能力数据与虚拟网卡流量的数据比对,通过数据采集获取到云平台虚拟网卡流量数值,通过调度算法得出平台上所有虚拟机的虚拟网卡的流量总和;使用虚拟网卡流量总和数值和平台流量能力数值做数据对比,得出对比结果;
具体实现过程如下:
1)、平台流量能力数据配置完成;
2)、虚拟网卡流量的数据采集完成数据处理;
3)、设置比对规则以及相应的比对流程;
4)、输出比对结果,依据流量管控的规则匹配使用,完成流量规则管控的执行操作。
8.根据权利要求7所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,所述虚拟网卡流量规则匹配,制定虚拟网卡流量规则以及对应的匹配原则,录入到规则动态库,作为基础数据,并对每一条流量规则的匹配制定好对应的匹配选择调度的条件,从而实现流量管控系统上出现了满足条件的流量规则之后可以完成自动选择流量管控功能;
虚拟网卡流量管控系统根据数据采集的虚拟网卡实际数据与平台流量能力数据的比对模块生成的比对结果,对流量规则的选择做匹配映射;匹配映射成功之后,虚拟网卡流量的管控功能选择流量管控子模块的调度任务,继续完成虚拟网卡流量管控的操作任务,以便保证虚拟网卡流量的峰值不会超出平台能力数值;具体的:
查询比对结果:流量管控系统匹配规则模块程序按照周期定时调度查询流量比对模块输出的比对结果;
匹配分析环节:虚拟网卡流量管控子模块流量匹配分析,获取查询比对结果之后,分析处理比对结果和匹配模块的选择操作,完成匹配分析环节处理,输出匹配流量规则之后的匹配结果。
9.根据权利要求8所述的一种政务云场景下客户虚拟网卡流量管理方法,其特征在于,流量管控任务执行包括自动执行任务和人工执行任务:虚拟网卡流量数据和平台流量能力的数据比对结果满足流量管控规则动态库的条件后,自动匹配选择流量管控的任务,去完成流量管控的操作;当出现虚拟网卡流量告警阈值,但是流量规则匹配动态库的里面没有可以和当前告警阈值匹配成功的任务时,需要人工核实判断,选择流量管控的虚拟网卡对象以及门限数值,从而完成人工流量管控的操作任务;
所述虚拟网卡流量规则的任务执行,具体实现过程如下:
查询获取匹配流量规则的结果:虚拟网卡流量管控任务执行子模块调用查询接口,获取流量匹配规则的结果;
调度选择子任务模块:虚拟网卡流量管控任务调度任务模块完成管控任务的选择操作;
执行流量管控的子任务:虚拟网卡流量管控任务根据调度选择的操作任务类型,执行完成对应的子任务。
任务执行结果检查确认:虚拟网卡流量管控任务调度检查任务的接口,完成流量任务管控的任务执行结果的检查工作。
10.一种政务云场景下客户虚拟网卡流量管理系统,其特征在于,包括云平台虚拟网卡流量的数据采集处理模块、管理流量比对规则元数据配置模块、流量管控接口设置模块、平台流量能力数据与虚拟网卡流量的数据比对模块、虚拟网卡流量规则的匹配选择模块以及虚拟网卡流量规则的任务执行模块,该系统实现权利要求1-9任一项所述的政务云场景下客户虚拟网卡流量管理方法。
CN202210277981.9A 2022-03-21 2022-03-21 一种政务云场景下客户虚拟网卡流量管理方法及系统 Pending CN114697242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210277981.9A CN114697242A (zh) 2022-03-21 2022-03-21 一种政务云场景下客户虚拟网卡流量管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210277981.9A CN114697242A (zh) 2022-03-21 2022-03-21 一种政务云场景下客户虚拟网卡流量管理方法及系统

Publications (1)

Publication Number Publication Date
CN114697242A true CN114697242A (zh) 2022-07-01

Family

ID=82139726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210277981.9A Pending CN114697242A (zh) 2022-03-21 2022-03-21 一种政务云场景下客户虚拟网卡流量管理方法及系统

Country Status (1)

Country Link
CN (1) CN114697242A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048177A (zh) * 2022-08-15 2022-09-13 成都中科合迅科技有限公司 基于自定义容器完成业务场景的动态配置方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581042A (zh) * 2013-10-30 2014-02-12 华为技术有限公司 一种数据包发送的方法和设备
CN106209677A (zh) * 2016-07-15 2016-12-07 深圳市永达电子信息股份有限公司 基于Openstack的neutron实现网络QOS的方法
CN108614726A (zh) * 2018-03-22 2018-10-02 华为技术有限公司 虚拟机创建方法及装置
CN111274053A (zh) * 2020-01-20 2020-06-12 山东汇贸电子口岸有限公司 一种通过nova调用qemu guest agent接口的方法
JP2020191621A (ja) * 2019-05-17 2020-11-26 広東叡江云計算股▲分▼有限公司Guangdong Eflycloud Computing Co., Ltd 仮想マシンのネットワークQoSの制御方法及びその装置
CN113411225A (zh) * 2021-08-20 2021-09-17 苏州浪潮智能科技有限公司 基于云主机的qga服务管理方法、装置、设备及介质
CN114153559A (zh) * 2021-11-18 2022-03-08 郑州云海信息技术有限公司 一种云平台日志采集方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581042A (zh) * 2013-10-30 2014-02-12 华为技术有限公司 一种数据包发送的方法和设备
CN106209677A (zh) * 2016-07-15 2016-12-07 深圳市永达电子信息股份有限公司 基于Openstack的neutron实现网络QOS的方法
CN108614726A (zh) * 2018-03-22 2018-10-02 华为技术有限公司 虚拟机创建方法及装置
JP2020191621A (ja) * 2019-05-17 2020-11-26 広東叡江云計算股▲分▼有限公司Guangdong Eflycloud Computing Co., Ltd 仮想マシンのネットワークQoSの制御方法及びその装置
CN111274053A (zh) * 2020-01-20 2020-06-12 山东汇贸电子口岸有限公司 一种通过nova调用qemu guest agent接口的方法
CN113411225A (zh) * 2021-08-20 2021-09-17 苏州浪潮智能科技有限公司 基于云主机的qga服务管理方法、装置、设备及介质
CN114153559A (zh) * 2021-11-18 2022-03-08 郑州云海信息技术有限公司 一种云平台日志采集方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048177A (zh) * 2022-08-15 2022-09-13 成都中科合迅科技有限公司 基于自定义容器完成业务场景的动态配置方法
CN115048177B (zh) * 2022-08-15 2022-11-04 成都中科合迅科技有限公司 基于自定义容器完成业务场景的动态配置方法

Similar Documents

Publication Publication Date Title
EP2667541B1 (en) Connectivity service orchestrator
US8656404B2 (en) Statistical packing of resource requirements in data centers
US20160321112A1 (en) Management system, virtual communication-function management node, and management method
US8000260B2 (en) Method for dynamic information technology infrastructure provisioning
US20050283788A1 (en) Autonomic monitoring in a grid environment
JP2008033852A (ja) リソース管理システム及びその方法
CN104335182A (zh) 基于云的应用的单点故障消除的方法和装置
US20180199239A1 (en) Management of resource allocation in a mobile telecommunication network
CN111209110B (zh) 一种实现负载均衡的任务调度管理方法、系统和存储介质
CN110838939B (zh) 一种基于轻量级容器的调度方法及边缘物联管理平台
CN110086726A (zh) 一种自动切换Kubernetes主节点的方法
CN112910937B (zh) 容器集群中的对象调度方法、装置、服务器和容器集群
CN110471774A (zh) 一种基于统一任务调度的数据处理方法及装置
CN114697242A (zh) 一种政务云场景下客户虚拟网卡流量管理方法及系统
CN114138434A (zh) 一种大数据任务调度系统
CN112035123A (zh) 一种基于kubernetes平台实现无服务器的方法
CN117435324B (zh) 基于容器化的任务调度方法
US20220239605A1 (en) Improved Communications System and Method
EP2385726A1 (en) Apparatus and method for controlling amount of concurrent calls
US9323509B2 (en) Method and system for automated process distribution
CN109314697B (zh) 自动网络管理系统和方法
US7254627B2 (en) Method, service agent and network management system for operating a telecommunications network
US20230246911A1 (en) Control device, control method, control program and control system
CN111786846B (zh) 一种确定监控机的方法、装置、设备和存储介质
CN114416379A (zh) 一种Kubernetes资源巡检方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination