CN116204386B - 应用服务关系自动识别及监控方法、系统、介质和设备 - Google Patents

应用服务关系自动识别及监控方法、系统、介质和设备 Download PDF

Info

Publication number
CN116204386B
CN116204386B CN202310457768.0A CN202310457768A CN116204386B CN 116204386 B CN116204386 B CN 116204386B CN 202310457768 A CN202310457768 A CN 202310457768A CN 116204386 B CN116204386 B CN 116204386B
Authority
CN
China
Prior art keywords
application service
information
monitoring
link
unique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310457768.0A
Other languages
English (en)
Other versions
CN116204386A (zh
Inventor
董延昌
张子千
李达宽
李菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingyida Technology Co ltd
Original Assignee
Beijing Mingyida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mingyida Technology Co ltd filed Critical Beijing Mingyida Technology Co ltd
Priority to CN202310457768.0A priority Critical patent/CN116204386B/zh
Publication of CN116204386A publication Critical patent/CN116204386A/zh
Application granted granted Critical
Publication of CN116204386B publication Critical patent/CN116204386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种应用服务关系自动识别及监控方法,包括:采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;基于服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合唯一应用服务信息和辅助信息生成应用服务拓扑关系图;采用应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警。本发明还涉及应用服务关系自动识别及监控系统、介质和设备。本发明基于大数据分析应用服务之间的调用关系和性能,能够实时和真实反映应用系统实际状态。

Description

应用服务关系自动识别及监控方法、系统、介质和设备
技术领域
本发明涉及应用服务技术领域,尤其涉及一种应用服务关系自动识别及监控方法、系统、介质和设备。
背景技术
目前,随着数据中心的规模越来越大,以及新技术如微服务开发技术的应用,应用系统的规模和复杂度不断扩大。不同系统、或同一系统中的不同服务间存在大量的交互调用,这种复杂的关系靠人工梳理变得越来越困难,应用服务的故障影响所带来的问题也严重影响故障的恢复和排查效率。例如,应用服务出现故障发现不及时,应用服务性能下降带来的系统隐患,以及发现故障后难以处理或处理效率低下等问题,都验证影响了业务系统的正常运行。
为解决现有技术中存在的问题,亟需研发一种将爬取的进程信息、链接信息进行汇总整合,在自动生成业务系统拓扑的同时,还可对生成的业务拓扑进行进一步的分析和监控的方法及其系统,做到对服务状态和性能监控的同时,还可快速定位故障并据此处理。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种应用服务关系自动识别及监控方法、系统、介质和设备。
本发明解决上述技术问题的技术方案如下:一种应用服务关系自动识别及监控方法,包括:
数据采集步骤:采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别步骤:基于服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合唯一应用服务信息和辅助信息生成应用服务拓扑关系图;
应用服务监控步骤:采用应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警。
优选的,上述数据采集步骤进一步包括:
爬虫采集步骤:采用爬虫技术采集服务器上监听进程信息,并据此整合得到唯一应用服务信息和辅助信息,唯一应用服务信息为应用拓扑中的唯一节点的信息,辅助信息为构建拓扑关系的辅助信息;
应用服务关系和性能采集步骤:采集服务器活动的链接信息,链接信息包括:链接协议名称、本机IP地址、本机端口、外部主机IP地址、外部主机端口、链接状态、链接进程PID、链接进程名称信息。
优选的,上述应用服务拓扑关系识别步骤包括:
源端匹配步骤:基于应用服务关系的源端信息与所述唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息;应用服务关系的源端信息包括:链接协议名称、本机IP地址、本机端口、链接进程名称、链接进程PID;
目标端匹配步骤:基于应用服务关系的目标端信息与唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息;应用服务关系的目标端信息包括:链接协议名称、外部主机IP地址、外部主机端口;
计算链接数步骤:基于应用服务拓扑中应用服务的状态进行分类统计链接数并计算应用服务的性能指标。
优选的,上述应用服务监控步骤包括:
应用服务状态监控步骤:对爬虫获取的应用进程进行状态分析,若状态分析结果为LISTEN,标识应用服务状态为正常,若状态分析结果不为LISTEN则应用服务状态为异常,发送告警通知,并在应用服务拓扑关系上显示受影响的相关应用服务;
应用服务性能监控步骤:分析应用服务的性能指标,运用单指标异常检测算法,对性能指标进行实时检测,如果检测出性能数据异常,触发性能数据异常告警。
优选的,上述应用服务状态监控步骤包括:定期对应用进程状态进行记录并据此预测应用服务状态。
优选的,上述应用服务性能监控步骤包括:定期对应用服务性能进行记录,并通过机器学习,在长期运行中形成自动触发性能数据异常告警的行为。
优选的,上述监听进程信息包括:协议名称、进程名称、进程占用端口、服务器IP地址、进程PID、进程状态;
唯一应用服务信息包括:协议名称、进程名称、进程占用端口、服务器IP地址;
辅助信息是系统以数组形式记录的所述进程PID的所有变化和时间。
本发明实施例还提供一种应用服务关系自动识别及监控系统,采用如上应用服务关系自动识别及监控方法,系统包括:
数据采集模块:用于采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别模块:基于服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合唯一应用服务信息和辅助信息生成应用服务拓扑关系图;
应用服务监控模块:用于采用应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警。
本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的应用服务关系自动识别及监控方法的步骤。
本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上所述的应用服务关系自动识别及监控方法的步骤。
本方法发明的有益效果是:
1)本发明提出的方法以应用服务为逻辑单位,基于大数据分析应用服务之间的调用关系和性能,能够实时和真实反映应用系统实际状态,解决了以往人工梳理关系时工作量大,人为错误多,由于环境的变化导致原有关系梳理时效性差,以及调用性能无法获取的问题,提高了系统维护的准确性;
2)本发明方法不仅支持发现同一应用系统之间应用服务的调用关系,同时还可以发现不同应用系统之间的应用服务调用关系,以及应用服务与数据库服务的调用关系和性能。同时基于机器学习算法分析,及时发现系统的调用异常,及时告警通知负责人及时处理异常问题;
3)本发明方法基于性能数据分析,对于性能下降做出及时预测分析,提高系统故障的处置效率。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明应用服务关系自动识别及监控方法示意图;
图2为本发明应用服务关系自动识别及监控系统示意图;
图3为本发明具体实施例应用服务关系自动识别及监控系统示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
本发明旨在提出一种应用服务关系自动识别及监控方法,将爬取的进程信息、链接信息等进行汇总整合,在自动生成业务系统拓扑的同时,还可对生成的业务拓扑进行进一步的分析和监控,在做到对服务状态和性能监控的同时,还可快速定位故障并据此处理。
本发明解决上述技术问题的技术方案如下:本发明解决上述技术问题的技术方案如下:如图1所示,一种应用服务关系自动识别及监控方法,包括:
数据采集步骤S10:采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别步骤S20:基于服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合唯一应用服务信息和辅助信息生成应用服务拓扑关系图;
应用服务监控步骤S30:采用应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警。
优选的,上述数据采集步骤S10进一步包括:
爬虫采集步骤:采用爬虫技术采集服务器上监听进程信息,并据此整合得到唯一应用服务信息和辅助信息,唯一应用服务信息为应用拓扑中的唯一节点,辅助信息为构建拓扑关系的辅助信息;
应用服务关系和性能采集步骤:采集服务器活动的链接信息,链接信息包括:链接协议名称、本机IP地址、本机端口、外部主机IP地址、外部主机端口、链接状态、链接进程PID、链接进程名称信息。
优选的,上述应用服务拓扑关系识别步骤S20包括:
源端匹配步骤:基于应用服务关系的源端信息与所述唯一应用服务信息进行匹配,并识别出唯一应用服务信息及辅助信息 ;应用服务关系的源端信息包括:链接协议名称、本机IP地址、本机端口、链接进程名称、链接进程PID;
目标端匹配步骤:基于应用服务关系的目标端信息与唯一应用服务信息进行匹配,并识别出唯一应用服务信息及辅助信息 ;应用服务关系的目标端信息包括:链接协议名称、外部主机IP地址、外部主机端口;
计算链接数步骤:基于应用服务拓扑中应用服务的状态进行分类统计链接数并计算应用服务的性能指标。
优选的,上述应用服务监控步骤S30包括:
应用服务状态监控步骤:对爬虫获取的应用进程进行状态分析,若状态分析结果为LISTEN,标识应用服务状态为正常,若状态分析结果不为LISTEN则应用服务状态为异常,发送告警通知,并在应用服务拓扑关系上显示受影响的相关应用服务;
应用服务性能监控步骤:分析应用服务的性能指标,运用单指标异常检测算法,对性能指标进行实时检测,如果检测出性能数据异常,触发性能数据异常告警。
优选的,上述应用服务状态监控步骤包括:定期对应用进程状态进行记录并据此预测应用服务状态。
优选的,上述应用服务性能监控步骤包括:定期对应用服务性能进行记录,并通过机器学习,在长期运行中形成自动触发性能数据异常告警的行为。
优选的,上述监听进程信息包括:协议名称、进程名称、进程占用端口、服务器IP地址、进程PID、进程状态;
唯一应用服务信息包括:协议名称、进程名称、进程占用端口、服务器IP地址;
辅助信息是系统以数组形式记录的所述进程PID的所有变化和时间。
本发明实施例还提供一种应用服务关系自动识别及监控系统,采用如上应用服务关系自动识别及监控方法,如图2所示,系统包括:
数据采集模块10:用于采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别模块20:基于服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合唯一应用服务信息和辅助信息生成应用服务拓扑关系图;
应用服务监控模块30:用于采用应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警。
以下结合附图对本发明具体实施例进行详细说明:
本申请提供的系统中,如图3所示,包括相通讯连接的爬虫模块、应用服务关系和性能采集模块、应用服务关系识别(及计算)模块、应用服务状态监控模块和应用服务性能监控模块。
所述爬虫模块:获取应用服务的原始信息及状态,具体的,所述爬虫模块采集服务器上监听进程信息,并据此整合得到唯一应用服务信息和辅助信息,所述唯一应用服务信息即为应用拓扑中的唯一节点,而辅助信息则用于进一步构建拓扑关系图。
进一步的,所述监听进程信息包括:协议名称、进程名称、进程占用端口、服务器IP地址、进程PID、进程状态;
进一步的,所述唯一应用服务信息是由协议名称、进程名称、进程占用端口、服务器IP地址四者组合而成;
进一步的,由于进程PID会变化,所述辅助信息是系统以数组形式记录的所述进程PID的所有变化和时间。
所述应用服务关系和性能采集模块:采集服务器活动的链接信息,所述链接信息包括:链接协议名称、本机IP地址本机端口、外部主机IP地址、外部主机端口、链接状态、链接进程PID、链接进程名称信息。
所述应用服务关系识别(及计算)模块:对应用服务关系和性能采集模块采集的链接信息进行识别,识别出应用服务关系的源端和目标端信息。
进一步的,所述应用服务关系的源端是由链接协议名称、本机IP地址、端口、链接进程名称、链接进程PID组合匹配得到的,其作用是作为应用服务关系的发起端;
进一步的,所述应用服务关系的目标端是由链接协议名称、外部主机IP地址、端口组合匹配得到的,其作用是作为应用服务关系的响应端;
进一步的,所述应用服务关系识别(及计算)模块在获取应用服务关系的源端和目标端信息的基础上,结合爬虫模块获取的唯一应用服务信息和辅助信息生成应用服务拓扑关系和方向;
更进一步的,所述应用服务关系识别(及计算)模块还包括计算链接数功能,基于状态进行分类统计,类型包括ESTABLISHED、SYN_SENT、SYN_RECV、FIN_WAIT1、FIN_WAIT2、TIME_WAIT、CLOSE、CLOSE_WAIT、LAST_ACK、CLOSING、UNKNOWN,该模块按以上类型统计链接数,并计算出性能指标。
所述应用服务状态监控模块:通过对爬虫模块获取应用进程状态进行分析,如果状态为LISTEN,标识应用服务状态正常,其它状态为异常,发送告警通知责任人,并在应用服务拓扑关系上显示受影响的相关应用服务。
进一步的,所述应用服务状态监控模块定期对应用进程状态进行记录并据此预测应用服务状态。
所述应用服务性能监控模块:对于应用服务关系识别(及计算)模块分析出的实时性能指标数据,运用单指标异常检测算法,对性能指标进行实时检测,如果检测出性能数据异常,触发性能数据异常告警。
单指标异常检测算法:采用的是通过环比数学算法来判断当前的指标是否出现了异常。先计算出对应指标当前单位周期内的当前值;在计算出对应指标前期单位周期内的历史值;利用公式:环比增长率=(当前值-历史值)÷历史值×100%;判断环比增长率是否在设定的基线[下基线-上基线]范围内,如果不在就触发告警通知。
进一步的,所述应用服务性能监控模块定期对应用服务性能进行记录,并通过机器学习,在长期运行中形成自动触发性能数据异常告警的行为。
以下结合本发明具体实施例的样例对本发明方法进一步详细说明:
1、采用爬虫技术采集服务器上监听进程信息
所述监听进程信息具体如下:
监听进程信息样例1:
tcp 0 0 192.168.140.30:3306 0.0.0.0:* LISTEN 17859/docker-proxy-
监听进程信息样例2:
tcp 0 0 192.168.140.41:38020 0.0.0.0:* LISTEN 21440/java
2、对监听进程信息分析结果如下
上述监听进程信息分析结果包括:协议名称、进程名称、进程占用端口、服务器IP地址、进程PID、进程状态;
以监听进程信息分析结果样例1为例,其中:
tcp 0 0 192.168.140.30:3306 0.0.0.0:* LISTEN 17859/docker-proxy-
上述样例中,协议名称为tcp、进程名称为docker-proxy-、进程占用端口为3306、服务器IP地址为192.168.140.30、进程PID为17859、进程状态为LISTEN
以监听进程信息分析结果样例2为例,其中:
tcp 0 0 192.168.140.41:38020 0.0.0.0:*
LISTEN 21440/java
上述样例中,协议名称为tcp、进程名称为java、进程占用端口为38020、服务器IP地址为192.168.140.41、进程PID为21440、进程状态为LISTEN
3、据此整合得到唯一应用服务信息和辅助信息
唯一应用服务信息包含协议名称、进程名称、进程占用端口、服务器IP地址。此步骤的主要技术效果是识别服务并对服务进行标记。
此步骤将上述信息整合成唯一应用服务信息,所述唯一应用服务信息可以为不同信息拼接的内容,但不局限于样例中的形式,亦可采用本领域内合理的其他组合形式展现。
唯一应用服务信息样例1:
tcp_docker-proxy-_3306_192.168.140.30
即“协议名称_进程名称_端口号_服务器IP地址”
唯一应用服务信息样例2:
tcp_java-_38020_192.168.140.41
即“协议名称_进程名称_端口号_服务器IP地址”
辅助信息包括进程PID
辅助信息样例1:【19120】
辅助信息样例2:【21440】
4、采集服务器活动的链接信息
链接信息样例:
tcp 0 0 192.168.140.41:23870 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:32656 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:36314 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:32866 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:31628 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:31164 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:31452 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:32242 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:33072 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:32270 192.168.140.30:3306 ESTABLISHED 21440/java
tcp 0 0 192.168.140.41:34716 192.168.140.30:3306 ESTABLISHED 21440/java
链接信息包括:链接协议名称、本机IP地址:端口、外部主机IP地址:端口、链接状态、链接进程PID、链接进程名称信息。
上述样例中,以最后一条为例:
tcp 0 0 192.168.140.41:34716 192.168.140.30:3306 ESTABLISHED 21440/java
其中链接协议名称为tcp,本机IP地址:端口为192.168.140.41:34716,外部主机IP地址:端口为192.168.140.30:3306,链接状态为ESTABLISHED,链接进程PID为21440,链接进程名称信息为java
5、应用服务关系的源端
包括:链接协议名称、本机IP地址、端口、链接进程名称、链接进程PID;
样例:链接协议名称:tcp、本机IP地址:192.168.140.41、端口:34716、链接进程名称:java、链接进程PID:21440
6、应用服务关系的目标端
包括:链接协议名称、外部主机IP地址、端口
样例:链接协议名称:tcp、外部主机IP地址:192.168.140.30、端口:3306
步骤5和步骤6分别确定了应用服务关系中源端和目标源的信息。
7、应用服务拓扑关系识别
(1)基于应用服务关系的源端信息与唯一应用服务信息进行匹配
如通过以下源端信息:
样例:链接协议名称:tcp、本机IP地址:192.168.140.41、端口:34716、链接进程名称:java、链接进程PID:21440
可以匹配到:
唯一应用服务信息样例2:
tcp_java-_38020_192.168.140.41
辅助信息样例2:【21440】
(2)基于应用服务关系的目标端信息与唯一应用服务信息进行匹配
如通过以下目标端信息:
样例:链接协议名称:tcp、外部主机IP地址:192.168.140.30、端口:3306
可以匹配到:
唯一应用服务信息样例1:
tcp_docker-proxy-_3306_192.168.140.30
辅助信息样例1:【19120】
8、生成应用服务拓扑关系图
根据步骤7可识别出应用服务:tcp_java-_38020_192.168.140.41为源端;
还可识别出应用服务:tcp_docker-proxy-_3306_192.168.140.30为目标端;
根据上述识别关系,在关系图中生成源端至目标端的指向(“源端”+“→”+“目标端”),进一步形成拓扑关系。
本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的应用服务关系自动识别及监控方法的步骤。
本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的应用服务关系自动识别及监控方法的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种应用服务关系自动识别及监控方法,其特征在于,所述方法包括:
数据采集步骤:采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别步骤:基于所述服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合所述唯一应用服务信息和辅助信息生成应用服务拓扑关系图;
应用服务监控步骤:采用所述应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警;
其中,应用服务拓扑关系识别步骤包括:
源端匹配步骤:基于应用服务关系的源端信息与所述唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息 ;所述应用服务关系的源端信息包括:链接协议名称、本机IP地址、本机端口、链接进程名称信息、链接进程PID;
目标端匹配步骤:基于应用服务关系的目标端信息与唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息;所述应用服务关系的目标端信息包括:链接协议名称、外部主机IP地址、外部主机端口;
计算链接数步骤:基于应用服务拓扑中应用服务的状态进行分类统计链接数并计算所述应用服务的性能指标。
2.根据权利要求1所述应用服务关系自动识别及监控方法,其特征在于,所述数据采集步骤进一步包括:
爬虫采集步骤:采用爬虫技术采集服务器上监听进程信息,并整合得到唯一应用服务信息和辅助信息,所述唯一应用服务信息为应用拓扑中的唯一节点的信息,所述辅助信息为构建拓扑关系的辅助信息;
应用服务关系和性能采集步骤:采集服务器活动的链接信息,所述链接信息包括:链接协议名称、本机IP地址、本机端口、外部主机IP地址、外部主机端口、链接状态、链接进程PID、链接进程名称信息。
3.根据权利要求1所述应用服务关系自动识别及监控方法,其特征在于,所述应用服务监控步骤包括:
应用服务状态监控步骤:对爬虫获取的应用进程进行状态分析,若状态分析结果为LISTEN,标识应用服务状态为正常,若状态分析结果不为LISTEN则应用服务状态为异常,发送告警通知,并在应用服务拓扑关系上显示受影响的相关应用服务;
应用服务性能监控步骤:分析所述应用服务的性能指标,运用单指标异常检测算法,对性能指标进行实时检测,如果检测出性能数据异常,触发性能数据异常告警。
4.根据权利要求3所述应用服务关系自动识别及监控方法,其特征在于,所述应用服务状态监控步骤包括:定期对应用进程状态进行记录并预测应用服务状态。
5.根据权利要求3所述应用服务关系自动识别及监控方法,其特征在于,所述应用服务性能监控步骤包括:定期对应用服务性能进行记录,并通过机器学习,在运行中形成自动触发性能数据异常告警的行为。
6.根据权利要求2所述应用服务关系自动识别及监控方法,其特征在于,所述监听进程信息包括:协议名称、进程名称、进程占用端口、服务器IP地址、进程PID、进程状态;
所述唯一应用服务信息包括:协议名称、进程名称、进程占用端口、服务器IP地址;
所述辅助信息是系统以数组形式记录的所述进程PID的所有变化和时间。
7.一种应用服务关系自动识别及监控系统,采用如权利要求1-6中任意一项所述应用服务关系自动识别及监控方法,其特征在于,所述系统包括:
数据采集模块:用于采用爬虫技术获取服务器上的应用服务的原始信息及状态信息,整合获得唯一应用服务信息和辅助信息,并采集服务器活动的链接信息;
应用服务拓扑关系识别模块:基于所述服务器活动的链接信息,识别应用服务关系的源端和目标端信息,结合所述唯一应用服务信息和所述辅助信息生成应用服务拓扑关系图;
应用服务监控模块:用于采用所述应用服务拓扑关系图,对各个应用服务的性能指标及实时状态进行实时监测,如果发生异常,则触发异常报警;
其中,应用服务拓扑关系识别模块包括:
源端匹配模块:基于应用服务关系的源端信息与所述唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息 ;所述应用服务关系的源端信息包括:链接协议名称、本机IP地址、本机端口、链接进程名称信息、链接进程PID;
目标端匹配模块:基于应用服务关系的目标端信息与唯一应用服务信息进行匹配,并识别出所述唯一应用服务信息及所述辅助信息;所述应用服务关系的目标端信息包括:链接协议名称、外部主机IP地址、外部主机端口;
计算链接数模块:基于应用服务拓扑中应用服务的状态进行分类统计链接数并计算所述应用服务的性能指标。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述应用服务关系自动识别及监控方法的步骤。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一项所述应用服务关系自动识别及监控方法的步骤。
CN202310457768.0A 2023-04-26 2023-04-26 应用服务关系自动识别及监控方法、系统、介质和设备 Active CN116204386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310457768.0A CN116204386B (zh) 2023-04-26 2023-04-26 应用服务关系自动识别及监控方法、系统、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310457768.0A CN116204386B (zh) 2023-04-26 2023-04-26 应用服务关系自动识别及监控方法、系统、介质和设备

Publications (2)

Publication Number Publication Date
CN116204386A CN116204386A (zh) 2023-06-02
CN116204386B true CN116204386B (zh) 2023-07-28

Family

ID=86514967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310457768.0A Active CN116204386B (zh) 2023-04-26 2023-04-26 应用服务关系自动识别及监控方法、系统、介质和设备

Country Status (1)

Country Link
CN (1) CN116204386B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118041794B (zh) * 2024-04-11 2024-06-21 灵长智能科技(杭州)有限公司 应用服务拓扑生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516027A (zh) * 2016-01-12 2016-04-20 北京奇虎科技有限公司 应用识别模型建立方法、流量数据的识别方法及装置
WO2022057430A1 (zh) * 2020-09-18 2022-03-24 华为技术有限公司 一种业务处理的方法、网络管理与控制系统及存储介质
CN115801538A (zh) * 2022-11-10 2023-03-14 云南电网有限责任公司 场站服务器应用资产深度识别方法、系统及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516027A (zh) * 2016-01-12 2016-04-20 北京奇虎科技有限公司 应用识别模型建立方法、流量数据的识别方法及装置
WO2022057430A1 (zh) * 2020-09-18 2022-03-24 华为技术有限公司 一种业务处理的方法、网络管理与控制系统及存储介质
CN115801538A (zh) * 2022-11-10 2023-03-14 云南电网有限责任公司 场站服务器应用资产深度识别方法、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
服务关系及其在面向服务计算中的应用;陈世展;冯志勇;王辉;;计算机学报(第11期);全文 *

Also Published As

Publication number Publication date
CN116204386A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US9413597B2 (en) Method and system for providing aggregated network alarms
US8676945B2 (en) Method and system for processing fault alarms and maintenance events in a managed network services system
CN106371986A (zh) 一种日志处理运维监控系统
KR20180108446A (ko) Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법
CN109462490B (zh) 视频监控系统及故障分析方法
CN111756582A (zh) 基于nfv日志告警的业务链监控方法
CN102740112B (zh) 一种基于视频监控系统的设备轮巡的控制方法
CN111163150A (zh) 一种分布式调用追踪系统
CN116204386B (zh) 应用服务关系自动识别及监控方法、系统、介质和设备
WO2009110329A1 (ja) 障害分析装置、障害分析方法および記録媒体
CN112416872A (zh) 一种基于大数据的云平台日志管理系统
CN110765189A (zh) 互联网产品的异常管理方法和系统
CN113112038B (zh) 智能监测与诊断分析系统、装置、电子设备及存储介质
CN112994972B (zh) 一种分布式探针监测平台
CN114039900A (zh) 一种高效网络数据包协议分析方法和系统
CN116719664B (zh) 基于微服务部署的应用和云平台跨层故障分析方法及系统
CN114531338A (zh) 一种基于调用链数据的监控告警和溯源方法及系统
CN111901172B (zh) 基于云计算环境下的应用服务监控方法及系统
CN114143160A (zh) 一种云平台自动化运维系统
CN112884176A (zh) 管理系统及方法
CN117194154A (zh) 一种基于微服务的apm全链路监控系统及方法
CN111988172B (zh) 一种网络信息管理平台、装置及安全管理方法
CN116302795A (zh) 一种基于人工智能的终端运维系统及方法
CN114500178B (zh) 一种自运维的智慧物联网关
KR100500836B1 (ko) 매트로 이더넷망의 장애처리 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant