CN107947974B - 一种云平台业务的网络关键链路检测方法 - Google Patents

一种云平台业务的网络关键链路检测方法 Download PDF

Info

Publication number
CN107947974B
CN107947974B CN201711143714.8A CN201711143714A CN107947974B CN 107947974 B CN107947974 B CN 107947974B CN 201711143714 A CN201711143714 A CN 201711143714A CN 107947974 B CN107947974 B CN 107947974B
Authority
CN
China
Prior art keywords
network
port
cloud platform
virtual
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711143714.8A
Other languages
English (en)
Other versions
CN107947974A (zh
Inventor
罗义兵
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201711143714.8A priority Critical patent/CN107947974B/zh
Publication of CN107947974A publication Critical patent/CN107947974A/zh
Application granted granted Critical
Publication of CN107947974B publication Critical patent/CN107947974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Abstract

本发明涉及云计算网络技术领域，特别是一种云平台业务的网络关键链路检测方法。本发明方法首先在云平台上定义业务系统的IP网络关键链路连接以及模拟请求；将其IP网络寻找对应云平台的虚拟机、容器的虚拟端口，并对虚拟端口采集网络特征数据；定期依据业务系统关键网络链路对网络特征数据进行检测。本发明在减少对业务系统的干扰情况下，支持微服务架构等业务系统在云平台上运行状态的检测，快速分析业务系统的故障、网络压力、不正常请求等，提升云上业务系统的服务水平。

Description

一种云平台业务的网络关键链路检测方法
技术领域
本发明涉及云计算网络技术领域，特别是一种云平台业务的网络关键链路检测方法。
背景技术
随着云计算的发展，很多业务系统逐渐迁入到云平台上，云平台上也拥有很多虚拟机、容器等承载系统的资源。同时业务系统大部分也采用分布式架构，加快开发的流程，提高系统的可靠性。但是传统的分布式的监控是在业务系统上部署响应的监控系统，其通用性比较差，难以复制；同时也会损耗业务系统上的资源。在结合云平台特性以及分布式系统部署的特性，我们怎么能够进行监控呢？
发明内容
本发明解决的技术问题在于提出一种云平台业务的网络关键链路检测方法，在减少业务系统的干涉情况下，支持微服务架构等业务系统在云平台上运行状态的检测，协助业务系统的故障、网络压力定位，提升云上业务系统的服务水平。
本发明解决上述技术问题的技术方案是：
所述的方法包含以下步骤：
(1)在云平台上自定义业务系统IP网络关键链路连接以及模拟系统请求；业务系统IP网络包含IP地址、端口、连接线、工作流；
(2)系统根据IP网络寻找对应云平台的虚拟机、容器的虚拟端口，并对虚拟端口采集网络特征数据；
首先按照网络链路的工作流，获取第一条连接线的源IP的虚拟端口，如果获取到，则在虚拟端口上采集网络特征数据；然后再寻找目的IP的虚拟端口，如存在则获取网络特征数据；然后再接着寻找下一条连接线相关IP的虚拟端口，依次执行直到完成所有连接线相关的虚拟端口网络特征数据采集；
(3)定期依据业务系统关键网络链路对网络特征数据进行时序工作流检测；
所述网络特征数据包含源地址IP、目的地址IP、源端口、目的端口、流量大小以及采集时间信息，以及关联当前业务系统的标识；
所述云平台中需要记录虚拟机、容器使用的网卡的IP地址信息；虚拟机、容器使用的虚拟端口支持数据包采集。
对网络特征数据进行时序工作流检测的步骤是：
(1)首先获取一定时间范围内的拥有业务系统标识的网络特征数据，并按照时序排列；
(2)依据关键链路路径以及工作流，依次在网络特征数据序列中检测链路上的IP和端口要求；
(3)如果没有找到IP和端口的网络特征记录，且串联模式下或并行模式下都缺少数据包通信，则存在不正常请求或者该链路上服务异常；同时在并行模式的关键路径上没有数据包通信则该条链路也存在故障；
(4)可以检测链路上网络特征的带宽大小是否达到该端口的带宽控制，协助优化关键链路的带宽质量；
(5)检测周期由业务系统模拟请求周期确定，包括发送模拟请求周期为1 分钟；系统模拟请求为调用系统的请求API，来激活系统内部的通信，包括系统内部关键流程的通信。
所述的连接线两端记录了源IP、源端口、目的IP、目的端口、连接线允许的最大流量大，支持源端口、目的端口、目的地址、流量大小可选操作；
由工作流组成的网络，其工作流支持并行、串联模式流程，其并行模式可应用于网络负载等模型；串联模式可应用于完善的系统业务衔接流程，包括前端访问消息中间件，消息中间件再访问后台数据存储。
所述云平台的网络采用软件定义网络实现，其虚拟网络交换可以以 openvswitch实现。
本发明方案的有益效果如下：
(1)在减少干涉业务系统的情况下，支持微服务架构等业务系统在云平台上运行状态的检测；
(2)协助业务系统的故障、网络压力定位，提升云上业务系统的服务水平；
(3)具有通用性，适用于大部分云平台的业务监控，特别是分布式业务系统。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，
(1)首先定义业务系统网络关键链路，如下所示：
前端为负载均衡器：其IP地址为100.20.254.89,其对外服务端口为80
后端为业务逻辑服务，有两个IP地址100.20.254.87，其对外服务端口为80，100.20.254.86其对外服务端口为80，支持业务逻辑的负载均衡，其业务逻辑后端为数据库服务；
业务逻辑后端为数据服务，其IP地址为100.20.254.85，端口为3306。
其业务系统关键链路(1)–>100.20.254.89:80(2) 100.20.254.89->100.20.254.86:80或100.20.254.89->100.20.254.87:80并发形式
(3)100.20.254.86—>100.20.254.85:3306或 100.20.254.87—>100.20.254.85:3306并发模式，其中(1)、(2)、(3)组成3步工作流。
将关键链路存取到数据库服务中，同时存取业务系统标识id
其模拟请求为Get http://100.20.254.89:80/system_test.do,请求发送周期为1 分钟
(2)其IP网络寻找对应的云平台的虚拟机、容器的虚拟端口，并对虚拟端口采取网络特征数据
首先寻找100.20.254.89、100.20.254.87、100.20.254.86、100.20.254.85对应的虚拟机的端口，然后采取网络特征数据，其采集可以有在openvswitch上的虚拟端口上基于sflow协议采集，采集周期为秒
将其数据存储到时序数据库influxdb
insert sflow,businessId＝12345678 sourceip＝100.20.254.89 sourceport＝80 dstip＝20.251.33.99,dstport＝1099value＝10
insert sflow,businessId＝12345678 sourceip＝100.20.254.87 sourceport＝80 dstip＝100.20.254.89,dstport＝12203 value＝5
insert sflow,businessId＝12345678 sourceip＝100.20.254.86 sourceport＝80 dstip＝100.20.254.89,dstport＝12213 value＝15
insert sflow,businessId＝12345678 sourceip＝100.20.254.86 sourceport＝80 dstip＝100.20.254.89,dstport＝12213 value＝15
insert sflow,businessId＝12345678 sourceip＝100.20.254.85 sourceport＝3306 dstip＝100.20.254.86 dstport＝1213 value＝1500
insert sflow,businessId＝12345678 sourceip＝100.20.254.85 sourceport＝3306 dstip＝100.20.254.87 dstport＝1003 value＝2500
…………………。
(3)依据业务系统关键网络链路对网络特征数据进行检测
select*from sflow where businessId＝12345678and now()–2m
获取到时序网络特征数据
检查关键网络链路：
首先检查第一条链路–>100.20.254.89:80，在时序特征数据中找是否存在100.20.254.89，源端口为80的特征记录，如果没有找到则说明业务系统存在关键链路故障，否则依次继续进行下一步链路检测。
以上所揭露的仅为本发明其中一个实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种云平台业务的网络关键链路检测方法，其特征在于：
所述的方法包含以下步骤：
(1)在云平台上自定义业务系统IP网络关键链路连接以及模拟系统请求；业务系统IP网络包含IP地址、端口、连接线、工作流；
(2)系统根据IP网络寻找对应云平台的虚拟机、容器的虚拟端口，并对虚拟端口采集网络特征数据；
首先按照网络链路的工作流，获取第一条连接线的源IP的虚拟端口，如果获取到，则在虚拟端口上采集网络特征数据；然后再寻找目的IP的虚拟端口，如存在则获取网络特征数据；然后再接着寻找下一条连接线相关IP的虚拟端口，依次执行直到完成所有连接线相关的虚拟端口网络特征数据采集；
(3)定期依据业务系统关键网络链路对网络特征数据进行时序工作流检测；
所述网络特征数据包含源地址IP、目的地址IP、源端口、目的端口、流量大小以及采集时间信息，以及关联当前业务系统的标识；
所述云平台中需要记录虚拟机、容器使用的网卡的IP地址信息；虚拟机、容器使用的虚拟端口支持数据包采集。
2.根据权利要求1所述的检测方法，其特征在于：对网络特征数据进行时序工作流检测的步骤是：
(1)首先获取一定时间范围内的拥有业务系统标识的网络特征数据，并按照时序排列；
(2)依据关键链路路径以及工作流，依次在网络特征数据序列中检测链路上的IP和端口要求；
(3)如果没有找到IP和端口的网络特征记录，且串联模式下或并行模式下都缺少数据包通信，则存在不正常请求或者该链路上服务异常；同时在并行模式的关键路径上没有数据包通信则该条链路也存在故障；
(4)可以检测链路上网络特征的带宽大小是否达到该端口的带宽控制，协助优化关键链路的带宽质量；
(5)检测周期由业务系统模拟请求周期确定，包括发送模拟请求周期为1分钟；系统模拟请求为调用系统的请求API，来激活系统内部的通信，包括系统内部关键流程的通信。
3.根据权利要求1或2所述的检测方法，其特征在于：所述的连接线两端记录了源IP、源端口、目的IP、目的端口、连接线允许的最大流量大，支持源端口、目的端口、目的地址、流量大小可选操作；
由工作流组成的网络，其工作流支持并行、串联模式流程，其并行模式可应用于网络负载模型；串联模式可应用于完善的系统业务衔接流程，包括前端访问消息中间件，消息中间件再访问后台数据存储。
4.根据权利要求1或2所述的检测方法，其特征在于：所述云平台的网络采用软件定义网络实现，其虚拟网络交换可以以openVswitch实现。
5.根据权利要求3所述的检测方法，其特征在于：所述云平台的网络采用软件定义网络实现，其虚拟网络交换可以以openvswitch实现。
CN201711143714.8A 2017-11-17 2017-11-17 一种云平台业务的网络关键链路检测方法 Active CN107947974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711143714.8A CN107947974B (zh) 2017-11-17 2017-11-17 一种云平台业务的网络关键链路检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711143714.8A CN107947974B (zh) 2017-11-17 2017-11-17 一种云平台业务的网络关键链路检测方法

Publications (2)

Publication Number Publication Date
CN107947974A CN107947974A (zh) 2018-04-20
CN107947974B true CN107947974B (zh) 2021-01-19

Family

ID=61932714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711143714.8A Active CN107947974B (zh) 2017-11-17 2017-11-17 一种云平台业务的网络关键链路检测方法

Country Status (1)

Country Link
CN (1) CN107947974B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784663B (zh) * 2018-12-20 2022-11-25 西北大学 一种工作流调度方法与装置
CN111355622A (zh) * 2018-12-21 2020-06-30 中兴通讯股份有限公司 容器的业务监控方法、系统和计算机可读存储介质
CN112333163B (zh) * 2020-10-23 2022-08-02 中国联合网络通信集团有限公司 容器间流量监控方法及流量监控管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018201A (zh) * 2017-04-20 2017-08-04 北京中科睿芯科技有限公司 数据流架构中利用关键路径信息进行指令动态迁移的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675485B2 (en) * 2004-12-14 2014-03-18 Aspen Networks, Inc. Reliable ISP access cloud state detection method and apparatus
CN103491555B (zh) * 2012-06-13 2016-08-10 中国移动通信集团湖南有限公司 一种基于业务信息定位ip链路故障的方法、设备和系统
WO2015018090A1 (zh) * 2013-08-09 2015-02-12 华为技术有限公司 一种业务流链路的连通性检测方法、相关装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018201A (zh) * 2017-04-20 2017-08-04 北京中科睿芯科技有限公司 数据流架构中利用关键路径信息进行指令动态迁移的方法

Also Published As

Publication number Publication date
CN107947974A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
US10771377B2 (en) System and method for real-time load balancing of network packets
CN107947974B (zh) 一种云平台业务的网络关键链路检测方法
CN102325036B (zh) 一种网络系统的故障诊断方法、系统及装置
WO2019001312A1 (zh) 实现告警关联的方法、装置以及计算机可读存储介质
CN112953982B (zh) 一种服务处理的方法、服务配置的方法以及相关装置
WO2015007161A1 (zh) 调度自动化系统iec104规约通讯状态的检测方法
CN106357726A (zh) 负载均衡方法及装置
CN106982244A (zh) 在云网络环境下实现动态流量的报文镜像的方法和装置
WO2013086996A1 (zh) 故障处理方法、设备和系统
CN104618189A (zh) 链路故障检测方法及装置
CN104639400A (zh) 网络包处理芯片的自动检测方法及装置
CN105207909A (zh) 一种发送信息的方法和网络装置
CN105871661A (zh) 公网服务器探测方法及探测服务器
CN111181800A (zh) 测试数据处理方法、装置、电子设备及存储介质
CN101252477A (zh) 一种网络故障根源的确定方法及分析装置
CN116896499B (zh) kubernetes Pod网络错误排查系统及方法
CN113726556A (zh) 边缘物联代理节点运维方法、系统、存储介质及计算设备
CN107018088B (zh) 传输链路选择方法及装置
CN101924670A (zh) 标签交换路径检测的方法及设备
CN106210101B (zh) 消息管理系统及消息管理方法
CN108063814A (zh) 一种负载均衡方法及装置
CN111010362B (zh) 一种异常主机的监控方法及装置
CN107592260B (zh) 基于快速重路由的vpws bypass保护倒换方法及系统
CN104917640B (zh) 一种与接入点对应的交换机端口的定位方法
CN109639525B (zh) 基于国产化操作系统的网络接口检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 523808 19th floor, Cloud Computing Center, Chinese Academy of Sciences, No.1 Kehui Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: G-CLOUD TECHNOLOGY Co.,Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Patentee before: G-CLOUD TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder