CN112202895B - 监控指标数据的收集方法、系统、电子设备及存储介质 - Google Patents

监控指标数据的收集方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112202895B
CN112202895B CN202011065270.2A CN202011065270A CN112202895B CN 112202895 B CN112202895 B CN 112202895B CN 202011065270 A CN202011065270 A CN 202011065270A CN 112202895 B CN112202895 B CN 112202895B
Authority
CN
China
Prior art keywords
index
server
monitoring
index collection
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011065270.2A
Other languages
English (en)
Other versions
CN112202895A (zh
Inventor
孙荣辛
李孟龙
曹建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011065270.2A priority Critical patent/CN112202895B/zh
Publication of CN112202895A publication Critical patent/CN112202895A/zh
Application granted granted Critical
Publication of CN112202895B publication Critical patent/CN112202895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/146Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开关于一种监控指标数据的收集方法、系统、电子设备及存储介质,该方法包括:指标调度服务器接收携带有新增监控指标数据和对应标签分组信息的监控指标数据调度请求;获取预设指标收集映射信息和对应映射容量,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;根据标签分组信息和映射容量,生成新增监控指标数据的唯一标识信息;基于预设指标收集映射信息,获取对应的指标收集服务器的地址信息;基于地址信息将新增监控指标数据发送至对应的指标收集服务器。采用本公开实施例提供的技术方案可在兼顾系统的负载均衡、可用性、可扩展性的同时保证数据的完整性和准确性。

Description

监控指标数据的收集方法、系统、电子设备及存储介质
技术领域
本公开涉及计算机通信技术领域,尤其涉及一种监控指标数据的收集方法、系统、电子设备及存储介质。
背景技术
随着云计算和微服务等计算机通信技术的兴起,企业应用日趋集群化和复杂化:服务应用不在是一个一个的“孤岛”,而是相互依赖和调用,形成应用群。复杂的服务应用依赖关系带来强大的技术红利的同时,也带来了性能监控上的挑战,微服务架构下,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。尤其是大规模互联网应用,服务由不同的团队开发,用不同编程语言来实现、并部署在大量服务器上,为了支持发生故障的时候,能够快速定位和解决问题,需要收集这大量服务器的相关指标数据,进行及时的监控、分析和报警。
相关技术中,如Prometheus,一套开源的系统监控分析报警框架,主要可以包括Push Gateway(指标收集服务器),负责监控指标数据的收集;Prometheus Server(监控分析服务器)定时从Push Gateway拉取最新的监控指标数据,进行监控指标数据的分析、计算和存储;Alert Manager(告警管理服务器),在Prometheus Server发现指标异常向其推送告警数据后,进行报警处理。为了计算的高效简单,Prometheus往往为单点服务(即单个Push Gateway),存在可用性和可扩展性的不足的问题,若将Prometheus扩展为多点服务(即多个Push Gateway),常常出现为保证多点服务的负载均衡,将相同监控指标数据在不同时刻的指标值调度到多个PushGateway上,导致Prometheus Server采样时,无法分辨哪个PushGateway上的指标值是最新的,造成采集到的监控指标数据有缺失,不准确。因此,相关技术中存在无法在兼顾整个监控分析报警系统的可用性、可扩展性和负载均衡的同时保证数据完整性和准确性的问题。
发明内容
本公开提供一种监控指标数据的收集方法、装置及系统,以至少解决相关技术中存在的无法在兼顾整个监控分析报警系统的可用性、可扩展性和负载均衡的同时保证数据完整性和准确性的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种监控指标数据的收集方法,包括
指标调度服务器接收监控指标数据调度请求,所述监控指标数据调度请求携带有新增监控指标数据和所述新增监控指标数据的标签分组信息;
所述指标调度服务器获取预设指标收集映射信息和所述预设指标收集映射信息对应的映射容量,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述指标调度服务器根据所述标签分组信息和所述映射容量,生成所述新增监控指标数据的唯一标识信息;
所述指标调度服务器基于所述预设指标收集映射信息,获取与所述新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息;
所述指标调度服务器基于所述地址信息将所述新增监控指标数据发送至所述对应的指标收集服务器。
可选的,所述方法还包括:所述指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息;
所述指标调度服务器根据所述指标收集服务集群中指标收集服务器的数量确定映射容量;
所述指标调度服务器根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息;
所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述指标调度服务器基于所述映射关系生成所述预设指标收集映射信息。
可选的,在指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息之前,所述方法还包括:
所述指标调度服务器根据所述监控分析服务器监控的监控指标数据的数量,将所述指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群;
相应的,所述指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息包括:指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和所述主指标收集服务集群中每一主指标收集服务器的地址信息;
所述指标调度服务器根据所述指标收集服务集群中指标收集服务器的数量确定映射容量包括:所述指标调度服务器根据所述主指标收集服务集群中主指标收集服务器的数量确定映射容量;
所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系包括:所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
可选的,所述指标调度服务器根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息包括:
所述指标调度服务器基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
所述指标调度服务器利用预设信息摘要散列函数对所述编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
所述指标调度服务器获取所述初始标识信息的哈希值;
所述指标调度服务器利用所述哈希值对所述映射容量进行取模,得到每一监控指标数据的唯一标识信息。
可选的,所述方法还包括:
探活监控服务器向所述指标收集服务集群中的每一指标收集服务器发送轮询请求;
当任一指标收集服务器在预设时间段内未响应所述轮询请求时,探活监控服务器对所述在预设时间段内未响应所述轮询请求的指标收集服务器进行主备识别;
当所述在预设时间段内未响应所述轮询请求的指标收集服务器为主指标收集服务器时,所述探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
所述探活监控服务器将所述预设指标收集映射信息中在预设时间段内未响应所述轮询请求的主指标收集服务器的地址信息替换为所述目标备指标收集服务器的地址信息;
所述探活监控服务器删除所述主指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
可选的,所述方法还包括:
当所述在预设时间段内未响应所述轮询请求的指标收集服务器为备指标收集服务器时,所述探活监控服务器删除所述备指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
可选的,所述方法还包括:
当所述预设时间段之后,接收到所述在预设时间段内未响应所述轮询请求的指标收集服务器的响应时,所述探活监控服务器将所述在预设时间段内未响应所述轮询请求的指标收集服务器加入所述备指标收集服务集群。
可选的,所述方法还包括:
动态伸缩服务器向所述主指标收集服务集群中每一主指标收集服务器发送流量探测请求;
所述主指标收集服务集群中的主指标收集服务器分别向所述动态伸缩服务器发送当前流量数据;
当所述主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,所述动态伸缩服务器从所述主指标收集服务集群中确定待切换主指标收集服务器,将所述待切换主指标收集服务器移入所述备指标收集服务集群,删除所述预设指标收集映射信息中所述待切换主指标收集服务器对应的映射关系;
当所述主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,所述动态伸缩服务器从所述备指标收集服务集群中确定待切换备指标收集服务器,将所述待切换备指标收集服务器移入所述主指标收集服务集群,在所述预设指标收集映射信息中增加所述待切换备指标收集服务器对应的地址信息;
当所述指标调度服务器监测到所述预设指标收集映射信息发现变化时,所述指标调度服务器基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息。
可选的,所述指标调度服务器基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息包括:
所述指标调度服务器根据所述当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;
所述指标调度服务器根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;
所述指标调度服务器建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;
所述指标调度服务器利用当前映射关系替换所述预设指标收集映射信息中的映射关系。
根据本公开实施例的第二方面,提供一种监控指标数据的收集系统,包括指标调度服务器和指标收集服务集群;
指标调度服务器包括调度请求接收模块、第一数据获取模块、第一指标标识信息生成模块、地址信息获取模、和监控指标数据发送模块;
所述调度请求接收模块,被配置为执行接收监控指标数据调度请求,所述监控指标数据调度请求携带有新增监控指标数据和所述新增监控指标数据的标签分组信息;
所述第一数据获取模块,被配置为执行获取预设指标收集映射信息和所述预设指标收集映射信息对应的映射容量,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据与指标收集服务集群中一个指标收集服务器间的映射关系;
所述第一指标标识信息生成模块,被配置为执行根据所述标签分组信息和所述映射容量,生成所述新增监控指标数据的唯一标识信息;
所述地址信息获取模块,被配置为执行基于所述预设指标收集映射信息,获取与所述新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息;
所述监控指标数据发送模块,被配置为执行基于所述地址信息将所述新增监控指标数据发送至所述对应的指标收集服务器;
所述指标收集服务集群包括多个指标收集服务器,每一指标收集服务器包括监控指标数据接收模块;
所述监控指标数据接收模块,被配置为执行接收新增监控指标数据。
可选的,所述系统中的指标调度服务器还包括:第二数据获取模块、映射容量确定模块、第二指标标识信息生成模块、映射关系建立模块和映射信息生成模块;
所述第二数据获取模块,被配置为执行获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息;
所述映射容量确定模块,被配置为执行根据所述指标收集服务集群中指标收集服务器的数量确定映射容量;
所述第二指标标识信息生成模块,被配置为执行根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息;
所述映射关系建立模块,被配置为执行建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述映射信息生成模块,被配置为执行基于所述映射关系生成所述预设指标收集映射信息。
可选的,所述系统中的指标调度服务器还包括:主备划分模块;
所述主备划分模块,被配置为执行在指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息之前,根据所述监控分析服务器监控的监控指标数据的数量,将所述指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群;
相应的,所述第二数据获取模块还被配置为执行指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和所述主指标收集服务集群中每一主指标收集服务器的地址信息;
所述映射容量确定模块还被配置为执行根据所述主指标收集服务集群中主指标收集服务器的数量确定映射容量;
所述映射关系建立模块还被配置为执行建立每一监控指标数据的唯一标识信息与所述主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
可选的,所述第二指标标识信息生成模块包括:
编码单元,被配置为执行基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
散列处理单元,被配置为执行利用预设信息摘要散列函数对所述编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
哈希值获取单元,被配置为执行获取所述初始标识信息的哈希值;
取模单元,被配置为执行利用所述哈希值对所述映射容量进行取模,得到每一监控指标数据的唯一标识信息。
可选的,所述系统还包括:探活监控服务器;所述探活监控服务器包括轮询请求发送模块、主备识别模块、备用服务器摄像模块、地址信息替换模块和第一服务器剔除模块;
所述轮询请求发送模块,被配置为执行向所述指标收集服务集群中的每一指标收集服务器发送轮询请求;
所述主备识别模块,被配置为执行当任一指标收集服务器在预设时间段内未响应所述轮询请求时,对所述在预设时间段内未响应所述轮询请求的指标收集服务器进行主备识别;
所述备用服务器摄像模块,被配置为执行当所述在预设时间段内未响应所述轮询请求的指标收集服务器为主指标收集服务器时,所述探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
所述地址信息替换模块,被配置为执行将所述预设指标收集映射信息中在预设时间段内未响应所述轮询请求的主指标收集服务器的地址信息替换为所述目标备指标收集服务器的地址信息;
所述第一服务器删除模块,被配置为执行删除所述主指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
可选的,所述系统中的探活监控服务器还包括:
第二服务器删除模块,被配置为执行当所述在预设时间段内未响应所述轮询请求的指标收集服务器为备指标收集服务器时,删除所述备指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
可选的,所述系统中的探活监控服务器还包括:
服务器增加模块,被配置为执行当所述预设时间段之后,接收到所述在预设时间段内未响应所述轮询请求的指标收集服务器的响应时,将所述在预设时间段内未响应所述轮询请求的指标收集服务器加入所述备指标收集服务集群。
可选的,所述系统还包括:动态伸缩服务器,所述动态伸缩服务器包括流量探测请求发送模块、流量数据接收模块、缩容处理模块和扩容处理模块;
所述流量探测请求发送模块,被配置为执行向所述主指标收集服务集群中每一主指标收集服务器发送流量探测请求;
所述流量数据接收模块,被配置为执行接收所述主指标收集服务集群中的主指标收集服务器发送的当前流量数据;
所述缩容处理模块,被配置为执行当所述主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,从所述主指标收集服务集群中确定待切换主指标收集服务器,将所述待切换主指标收集服务器移入所述备指标收集服务集群,删除所述预设指标收集映射信息中所述待切换主指标收集服务器对应的映射关系;
所述扩容处理模块,被配置为执行当所述主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,所述动态伸缩服务器从所述备指标收集服务集群中确定待切换备指标收集服务器,将所述待切换备指标收集服务器移入所述主指标收集服务集群,在所述预设指标收集映射信息中增加所述待切换备指标收集服务器对应的地址信息;
所述指标调度服务器还包括:映射信息关系模块;
所述映射信息更新模块,被配置为执行当监测到所述预设指标收集映射信息发现变化时,基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息。
可选的,所述映射信息更新模块包括:
映射容量确定单元,被配置为执行根据所述当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;
指标标识信息生成单元,被配置为执行根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;
映射关系建立单元,被配置为执行建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;
映射关系替换单元,被配置为执行利用当前映射关系替换所述预设指标收集映射信息中的映射关系。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
根据本公开实施例的第五方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在监控指标收集过程中,实现了指标收集服务的集群化,大大提高了数据收集的可扩展性和可用性,且引入指标调度服务器在指标收集服务集群收集监控指标数据过程中,对新增监控指标数据进行调度,在调度时,预先设置预设指标收集映射信息,能够表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系,且监控指标数据的唯一标识信息是结合监控指标数据的标签分组信息和预设指标收集映射信息对应的映射容量生成的,可以有效保证监控分析服务器监控的监控指标数据可以均匀收集到指标收集服务集群中,同时可以有效保证新增监控指标数据对应指标收集服务集群中唯一一个指标收集服务器,即不同时刻的同一监控指标数据只会被同一指标收集服务器收集,实现兼顾整个监控分析报警系统的负载均衡、可用性、可扩展性的同时保证了监控指标数据的完整性和准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1根据一示例性实施例示出的一种监控指标数据的收集方法的应用环境的示意图;
图2是根据一示例性实施例示出的一种监控指标数据的收集方法的流程图;
图3是根据一示例性实施例示出的一种预设指标收集映射信息生成方法的流程图;
图4是根据一示例性实施例示出的一种指标调度服务器根据每一监控指标数据的标签分组信息和映射容量,生成每一监控指标数据的唯一标识信息方法的流程图;
图5是根据一示例性实施例示出的一种对指标收集服务集群定时探活和主备切换方法的流程图;
图6是根据一示例性实施例示出的另一种对指标收集服务集群定时探活和主备切换方法的流程图;
图7是根据一示例性实施例示出的一种对指标收集服务集群动态伸缩方法的流程图。
图8是根据一示例性实施例示出的一种监控指标数据的收集系统框图;
图9是根据一示例性实施例示出的一种监控指标数据的收集系统框图;
图10是根据一示例性实施例示出的一种监控指标数据的收集系统框图;
图11是根据一示例性实施例示出的一种用于监控指标数据的收集的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1根据一示例性实施例示出的一种监控指标数据的收集方法的应用环境的示意图,如图1所示,该应用环境可以包括被监控对象01、指标调度服务器02、指标收集服务集群03、监控分析服务器04和告警管理服务器05。
在一个可选的实施例中,被监控对象01可以为提供至少一种服务的设备;可选的,被监控对象01可以包括多个物理服务器构成的服务器集群或者分布式系统,还可以包括云服务器集群,还可以包括终端。
本说明书实施例中,指标调度服务器02可以在监控指标数据的收集过程中对监控指标数据进行调度。在一个可选的实施例中,指标调度服务器02可以包括独立的物理服务器,也可以包括多个物理服务器构成的服务器集群或者分布式系统,还可以包括云服务器或云服务器集群。
本说明书实施例中,指标收集服务集群03可以存储被监控对象01最新的监控指标数据,以及将最新的监控指标数据推送给监控分析服务器04。在一个可选的实施例中,指标收集服务集群03可以包括多个物理服务器构成的服务器集群或者分布式系统,还可以包括云服务器集群。
本说明书实施例中,监控分析服务器04可以定时从指标收集服务集群03拉取最新的监控指标数据,进行监控指标数据的分析、计算和存储,以及在监控分析服务器04发现监控指标数据异常需要告警时,将告警数据推送给告警管理服务器05。在一个可选的实施例中,监控分析服务器04可以包括独立的物理服务器,也可以包括多个物理服务器构成的服务器集群或者分布式系统,还可以包括云服务器或云服务器集群。
本说明书实施例中,告警管理服务器05可以对监控分析服务器04推送的告警数据进行去重,分组等处理,并发出报警。在一个可选的实施例中,告警管理服务器05可以包括独立的物理服务器,也可以包括多个物理服务器构成的服务器集群或者分布式系统,还可以包括云服务器或云服务器集群。
此外,需要说明的是,图1所示的仅仅是本公开提供的监控指标数据的收集方法的一种应用环境,在实际应用中,还可以包括其他应用环境。
本说明书实施例中,上述被监控对象01、指标调度服务器02、指标收集服务集群03、监控分析服务器04和告警管理服务器05间可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
图2是根据一示例性实施例示出的一种监控指标数据的收集方法的流程图,如图2所示,可以包括以下步骤。
在步骤S201中,指标调度服务器接收监控指标数据调度请求,该监控指标数据调度请求携带有新增监控指标数据和新增监控指标数据的标签分组信息。
在实际应用中,被监控对象可以按照预设的上报周期,定时向指标调度服务器上报新增监控指标数据,可选的,被监控对象可以直接向指标调度服务器发送携带有新增监控指标数据和该新增监控指标数据的标签分组信息的监控指标数据调度请求,也可以通过第三方,例如消息队列等方式将该监控指标数据调度请求发送给指标调度服务器。
在一个可选的实施例中,新增监控指标数据可以为被监控对象当前上报周期内的监控指标数据。在一个具体的实施例中,假设上报周期为1分钟,某一时刻指标调度服务器接收到的新增监控指标数据(假设被监控对象发送新增监控指标数据的时刻与指标调度服务器接收到新增监控指标数据的时刻一致)可以为该时刻之前的一分钟(当前上报周期)内被监控对象的监控指标数据。具体的,监控指标数据可以为能够影响被监控对象运行的相关指标数据,在一个具体的实施例中,监控指标数据可以包括但不限于CPU利用率、内存使用率、磁盘可用容量、吞吐量、端口平均响应时间等。
在实际应用中,每一被监控对象会对应一个或多个监控指标数据。本说明书实施例中,每一监控指标数据的标签分组信息可以为能够标识一个设备上一个监控指标数据的信息。具体的,一个设备上的一个监控指标数据可以对应该设备上的一个需要监控的服务(简称监控服务)。相应的,在一个具体的实施例中,标签分组信息可以包括监控服务的标签、实现该监控服务的设备的设备标签、监控服务对应的路径信息(API,应用程序接口)、监控指标数据的名称、监控指标数据的类型。在另一个具体的实施例中,一个服务可以在多种环境下运行,例如虚拟机、物理机或者容器中运行,当通过设备标签不能区分两个监控指标数据时,标签分组信息还可以包括监控服务的运行标签(即在哪里运行,例如容器);可选的,为了清楚由谁向指标收集服务器推送的监控指标数据,标签分组信息还可以包括推送监控指标数据的服务标签;可选的,为了表示监控指标数据的用途,标签分组信息还可以包括监控指标数据的用途标签,例如可以用于告警。
在实际应用中,监控分析服务器根据不同的标签分组信息来区分不同的监控指标数据,相应的,指标调度服务器可以预先结合监控指标数据的标签分组信息生成预设指标收集映射信息。
本说明书实施例中,预设指标推送信息可以表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系。
在一个可选的实施例中,图3是根据一示例性实施例示出的一种预设指标收集映射信息生成方法的流程图,如图3所示,可以包括以下步骤。
在步骤S301中,指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息。
在一个可选的实施例中,监控分析服务器监控的每一监控指标数据的分组标签信息和指标收集服务集群中每一指标收集服务器的地址信息可以预先存储在指标调度服务器可访问的数据库。具体的,指标收集服务集群中的每一指标收集服务器为可用服务器(无故障的服务器)。
在步骤S303中,指标调度服务器根据指标收集服务集群中指标收集服务器的数量确定映射容量。
在一个可选的实施例中,指标收集服务集群中指标收集服务器的数量可以大于等于监控分析服务器监控的监控指标数据的数量。本说明书实施例中,每一监控指标数据由指标收集服务集群中一个指标收集服务器来收集,可选的,可以用一个指标收集服务器来收集一个或多个监控指标数据。本说明书实施例中,映射容量可以为用来收集监控指标数据的指标收集服务器的数量。例如,当用一个指标收集服务器来收集一个监控指标数据时,可以从指标收集服务集群选取与监控分析服务器监控的监控指标数据的数量相同的指标收集服务器来进行监控指标数据的收集。
在步骤S305中,指标调度服务器根据每一监控指标数据的标签分组信息和映射容量,生成每一监控指标数据的唯一标识信息。
在一个可选的实施例中,图4是根据一示例性实施例示出的一种指标调度服务器根据每一监控指标数据的标签分组信息和映射容量,生成每一监控指标数据的唯一标识信息方法的流程图,如图4所示,可以包括以下步骤。
在步骤S401中,指标调度服务器基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
在步骤S403中,指标调度服务器利用预设信息摘要散列函数对编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
在步骤S405中,指标调度服务器获取初始标识信息的哈希值;
在步骤S407中,指标调度服务器利用哈希值对映射容量进行取模,得到每一监控指标数据的唯一标识信息。
本说明书实施例中,预设编码算法可以为按照一定的编码规则对任意字节数据进行编码的算法。在一个具体的实施例中,预设编码算法可以包括但不限于base64(基于64个可打印字符来表示二进制数据)、base32(基于32个可打印字符来表示二进制数据)、base16(基于16个可打印字符来表示二进制数据)。
本说明书实施例中,预设信息摘要散列函数可以为能够将任意长度的消息压缩到某一固定长度的消息摘要的函数;在一个具体的实施例中,预设信息摘要散列函数可以包括但不限于MD5(Message-Digest Algorithm5,信息摘要算法5)、SHA1(Secure HashAlgorithm,安全散列算法1)。
本说明书实施例中,在监控指标数据的唯一标识信息计算过程中结合预设信息摘要散列函数,可以大大提高计算监控指标数据的唯一标识符的速度。
在一个具体的实施例中,假设预设编码算法可以为base64,预设信息摘要散列函数为MD5,如表1所示,表1是根据一示例性实施例示出的监控指标数据的标签分组信息和唯一标识信息的示例。
Figure GDA0003497456060000131
表1
本说明书实施例中,以表1中的第一个分组标签信息为例,app可以表示监控服务的标签,相应的,"bpm-activiti-web"为监控服务的标签值;appInstance可以表示实现该监控服务的设备的设备标签,相应的,"bpm-activiti-web"为设备标签值(这里app和appInstance值一样,即监控服务就是bpm-activiti-web这个设备本身);application可以表示推送监控指标数据的服务标签,相应的,"is-alarm"为推送监控指标数据的服务标签值;endpoint可以表示监控服务对应的路径信息,相应的,"/ks-bpm/bpm-activiti-web/webjars/springfox-swagger-ui/fonts/open-sans-v15-latin-700.woff2"为监控服务对应的路径信息值;instance可以表示监控服务的运行标签,相应的,""为运行标签值为空,即表示没有运行标签;job可以表示监控指标数据的用途标签,相应的,"is-alarm"为监控指标数据的用途标签值,即为用于告警;metricName可以表示监控指标数据的名称,相应的,"endpoint_avg"为监控指标数据的名称值,即端口平均响应时间;type可以表示监控指标数据的类型,相应的,"接口(endpoint)"为监控指标数据的类型值,即接口。
在一个可选的实施例中,标签分组信息中包括多项信息,相应的,多项信息可以按照预设的排序规则进行排序后作为标签分组信息。在一个具体的实施例中,如表1所示,监控指标数据的标签分组信息可以为按序排列的键值对的形式。可选的,可以将标签分组信息中的键值对,按照字母顺序排序。例如表1中的第一个标签分组信息可以表示为:app="bpm-activiti-web"appInstance="bpm-activiti-web"application="is-alarm"endpoint="/ks-bpm/bpm-activiti-web/webjars/springfox-swagger-ui/fonts/open-sans-v15-latin-700.woff2"instance=""job="is-alarm"metricName="endpoint_avg"type="接口(endpoint)"
此外,需要说明的是,在实际应用中,监控指标数据的唯一标识信息的生成方法并不仅限于上述图4对应实施例的方式,在实际应用中,还可以采用其他方式,例如在得到编码信息之后,直接获取编码信息的哈希值,并利用哈希值对映射容量进行取模,得到监控指标数据的唯一标识信息。
在步骤S307中,指标调度服务器建立每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系。
本说明书实施例中,每一监控指标数据的唯一标识信息对应唯一的指标收集服务器的地址信息,每一指标收集服务器的地址信息可以对应一个或多个监控指标数据的唯一标识信息
在步骤S309中,指标调度服务器基于映射关系生成预设指标收集映射信息。
在一个可选的实施例中,可以将映射关系作为预设指标收集映射信息,也可以将映射关系以表格等形式排列好后,作为预设指标收集映射信息。
本说明书实施例中,通过建立每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系,可以将一个监控指标数据对应到唯一的一个指标收集服务器,有效保证后续监控指标数据会被收集到同一指标收集服务器,进而避免后续监控分析服务器采集监控指标数据时,因同一时刻多个指标收集服务器存在同一监控指标数据而导致的数据缺失,不准确的问题。
在一个可选的实施例中,还可以将可用服务器按照一定比例设置主备服务器,相应的,在步骤S301之前,还可以包括:指标调度服务器根据监控分析服务器监控的监控指标数据的数量,将指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群并生成散列表。
可选的,当用一个指标收集服务器来收集一个监控指标数据时,可以从指标收集服务集群中选取与监控分析服务器监控的监控指标数据的数量相同的指标收集服务器,来形成主指标收集服务集群;相应的,指标收集服务集群中除主指标收集服务集群以外的指标收集服务器可以形成备指标收集服务集群。
可选的,步骤S301可以包括:指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和主指标收集服务集群中每一主指标收集服务器的地址信息。
可选的,步骤S303可以包括:指标调度服务器根据主指标收集服务集群中主指标收集服务器的数量确定映射容量;
可选的,步骤S307可以包括:指标调度服务器建立每一监控指标数据的唯一标识信息与主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
本说明书实施例中,通过设置主备指标收集服务器,可以便于后续主指标收集服务器出现故障时,进行主备切换,进而提高指标收集服务器的可用性。
在步骤S203中,指标调度服务器获取预设指标收集映射信息和该预设指标收集映射信息对应的映射容量。
本说明书实施例中,指标调度服务器在接收到监控指标数据调度请求之后,可以获取预设指标收集映射信息和该预设指标收集映射信息对应的映射容量。可选的,预设指标收集映射信息和该预设指标收集映射信息对应的映射容量可以存储在指标调度服务器可以访问的数据库中,可选的,为了提高访问效率,与可以同时保存一份到缓存中。
在步骤S205中,指标调度服务器根据新增监控指标数据的标签分组信息和映射容量,生成新增监控指标数据的唯一标识信息。
本说明书实施例中,指标调度服务器根据新增监控指标数据的标签分组信息和映射容量,生成新增监控指标数据的唯一标识信息可以参见上述指标调度服务器根据每一监控指标数据的标签分组信息和映射容量,生成每一监控指标数据的唯一标识信息的具体步骤,在此不再赘述。
在步骤S207中,指标调度服务器基于预设指标收集映射信息,获取与新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息。
本说明书实施例中,指标调度服务器可以利用新增监控指标数据的唯一标识信息查询预设指标收集映射信息中,包括新增监控指标数据的唯一标识信息的映射关系;并将该映射关系中的指标收集服务器的地址信息作为与新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息。
在步骤S209中,指标调度服务器基于地址信息将新增监控指标数据发送至对应的指标收集服务器。
指标调度服务器可以基于与新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息建立与该对应的指标收集服务器间的连接,并将新增监控指标数据发送至该对应的指标收集服务器。
在实际应用中,步骤S209之后,还可以包括,上述对应的指标收集服务器基于新增监控指标数据更新本地的监控指标数据。
在实际应用中,由于指标收集服务器采用新值覆盖旧值的方式进行数据更新;相应的,指标收集服务器可以基于新增监控指标数据的标签分组信息查询本地是否已经存在该新增监控指标数据对应的旧值;若存在,直接将新值(新增监控指标数据)来替换旧值(删除旧值,存储新值);若不存在,直接存储新值(新增监控指标数据)。
在实际应用中,监听分析服务器可以预先配置好监听的指标收集服务器的地址信息,然后按照预设的采样周期定时去监听的指标收集服务器进行监控指标数据采集。相应的,在到达预定的采样时刻,监控分析服务器可以向监听的多个指标收集服务器发送监控指标数据采集请求;多个指标收集服务器将本地的监控指标数据发送给监控分析服务器。
本说明书实施例中,由于同一监控指标数据只会被同一指标收集服务器收集,故而即使监控分析服务器监听多个指标收集服务器,也不会存在监控指标数据缺失不准确的问题。
本说明书实施例中,多个指标收集服务器每次会将本地的全部监控指标数据发送给监控分析服务器,在一个新的采集周期内,如果有新的监控指标数据调度到指标收集服务器,监控分析服务器就可以采集到新的监控指标数据,并记录新的监控指标数据;如果没有新的监控指标数据调度到指标收集服务器,监控分析服务器采集到的还是原始的监控指标数据(即监控分析服务已经有的数据),可以不再对已经有的数据进行二次记录。
由以上述本说明书实施例提供的技术方案可见,本说明书在监控指标收集过程中,实现了指标收集服务的集群化,大大提高了数据收集的可扩展性和可用性,且引入指标调度服务器在指标收集服务集群收集监控指标数据过程中,对新增监控指标数据进行调度,在调度时,预先设置预设指标收集映射信息,能够表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系,且监控指标数据的唯一标识信息是结合监控指标数据的标签分组信息和预设指标收集映射信息对应的映射容量生成的,可以有效保证监控分析服务器监控的监控指标数据可以均匀收集到指标收集服务集群中,同时可以有效保证新增监控指标数据对应指标收集服务集群中唯一一个指标收集服务器,即不同时刻的同一监控指标数据只会被同一指标收集服务器收集,实现兼顾整个监控分析报警系统的负载均衡、可用性、可扩展性的同时保证了监控指标数据的完整性和准确性。
在一个可选的实施例中,为了更好提高整个监控分析报警系统的可用性,在监控指标数据调度过程中,还可以进行对指标收集服务集群进行探活,并基于探活结果进行主备切换的处理;图5是根据一示例性实施例示出的一种对指标收集服务集群定时探活和主备切换方法的流程图,如图5所示,可以包括以下步骤。
在步骤S501中,探活监控服务器向指标收集服务集群中的每一指标收集服务器发送轮询请求;
在步骤S503中,当任一指标收集服务器在预设时间段内未响应轮询请求时,探活监控服务器对在预设时间段内未响应轮询请求的指标收集服务器进行主备识别;
在步骤S505中,当在预设时间段内未响应轮询请求的指标收集服务器为主指标收集服务器时,探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
在步骤S507中,探活监控服务器将预设指标收集映射信息中在预设时间段内未响应轮询请求的主指标收集服务器的地址信息替换为目标备指标收集服务器的地址信息;
在步骤S509中,探活监控服务器删除主指标收集服务集群中在预设时间段内未响应轮询请求的指标收集服务器。
在一个可选的实施例中,探活监控服务器可以定时向指标收集服务集群中的每一指标收集服务器发送轮询请求。
在一个可选的实施例中,目标备指标收集服务器可以为备指标收集服务集群中任一备指标收集服务器。
本说明书实施例中,探活监控服务器也可以访问存储预设指标收集映射信息的数据库,可选的,探活监控服务器可以向该数据库发送地址信息替换请求,以便有数据库将预设指标收集映射信息中在预设时间段内未响应轮询请求的主指标收集服务器的地址信息替换为目标备指标收集服务器的地址信息。
在一个可选的实施例中,可以维护一个数据库存储可用的主指标收集服务器的相关信息(例如标识信息),探活监控服务器可以访问该存储可用的主指标收集服务器的相关信息的数据库,相应的,探活监控服务器可以向该数据库发送服务器删除指令,该服务器删除指令可以携带有在预设时间段内未响应轮询请求的主指标收集服务器的标识信息,以便数据库将可用的主指标收集服务器的相关信息中该主指标收集服务集群的标识信息。
本说明书实施例中,通过主备指标收集服务器的机制,保证故障发生时监控指标收集服务不会中断,进而也保证监控分析服务器能及时采集到监控指标数据,避免了对整个监控分析告警系统的影响,大大提高系统的鲁棒性。
在一个可选的实施例中,如图6所示,图6是根据一示例性实施例示出的另一种对指标收集服务集群定时探活和主备切换方法的流程图,具体的,在步骤S503之后,还可以可以包括步骤S511。
在步骤S511中,当在预设时间段内未响应轮询请求的指标收集服务器为备指标收集服务器时,探活监控服务器删除备指标收集服务集群中在预设时间段内未响应轮询请求的指标收集服务器;
在一个可选的实施例中,可以维护一个数据库存储可用的备指标收集服务器的相关信息(例如标识信息),探活监控服务器可以访问该存储可用的备指标收集服务器的相关信息的数据库,相应的,探活监控服务器可以向该数据库发送服务器删除指令,该服务器删除指令可以携带有在预设时间段内未响应轮询请求的备指标收集服务器的标识信息,以便数据库将可用的备指标收集服务器的相关信息中该备指标收集服务集群的标识信息。
可选的,存储可用的备指标收集服务器的相关信息的数据库和存储可用的主指标收集服务器的相关信息的数据库可以为同一数据库。
本说明书实施例中,主指标收集服务集群和备指标收集服务集群都在的探活范围内,在探测到主指标收集服务器和备指标收集服务器出现故障时,可以及时从相应的集群中删除出现故障的服务器,并在主指标收集服务器出现故障时进行主备切换,保证了指标收集服务器的可用性,进而提高整个监控分析报警系统的可用性;同时也可以避免进行主备切换,或后续扩容时,用有故障的备指标收集服务器来收集监控指标数据。
在一个可选的实施例中,在步骤S501之后,还可以包括如下步骤:当预设时间段之后,接收到在预设时间段内未响应轮询请求的指标收集服务器的响应时,探活监控服务器将在预设时间段内未响应轮询请求的指标收集服务器加入备指标收集服务集群。
本说明书实施例中,发生故障的指标收集服务器恢复后重新上线时,均以备指标收集服务器重新加入指标收集服务集群,可以避免对于业务的二次伤害,保证监控指标数据收集的稳定性。
在一个可选的实施例中,从业务角度出发,监控指标数据的量可能随时变化,指标收集服务集群也需要随之扩容或者缩容。如图7所示,图7是根据一示例性实施例示出的一种对指标收集服务集群动态伸缩方法的流程图,具体可以包括如下步骤。
在步骤S701中,动态伸缩服务器向主指标收集服务集群中每一主指标收集服务器发送流量探测请求。
在步骤S703中,主指标收集服务集群中的主指标收集服务器分别向动态伸缩服务器发送当前流量数据。
在步骤S705中,当主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,动态伸缩服务器从主指标收集服务集群中确定待切换主指标收集服务器,将待切换主指标收集服务器移入备指标收集服务集群,删除预设指标收集映射信息中待切换主指标收集服务器对应的映射关系。
在步骤S707中,当主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,动态伸缩服务器从备指标收集服务集群中确定待切换备指标收集服务器,将待切换备指标收集服务器移入主指标收集服务集群,在预设指标收集映射信息中增加待切换备指标收集服务器对应的地址信息;
在步骤S709中,当指标调度服务器监测到预设指标收集映射信息发现变化时,基于当前的主指标收集服务集群中主指标收集服务器的数量,更新预设指标收集映射信息。
在一个可选的实施例中,动态伸缩服务器可以定时向主指标收集服务集群中的主指标收集服务器分别发送流量探测请求。
本说明书实施例中,每一主指标收集服务器的当前流量数据可以表征该主指标收集服务器在一段时间内的接收到的监控指标数据的量。具体的,这里的一段时间可以结合实际应用预先设定,可选的,该一段时间可以为接收到流量探测请求之前的一段时间,例如接收到流量探测请求之前的24小时,可选的,每一主指标收集服务器也可以按照预设的流量统计周期进行流量统计,相应的,该一段时间可以为接收到流量探测请求之前一个流量统计周期。
可选的,动态伸缩服务器也可以访问存储预设指标收集映射信息的数据库。
本说明书实施例中,第一流量阈值可以为结合当前的主指标收集服务集群中主指标收集服务器数量确定的流量阈值下限;具体的,当主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,可以确定当前流量过低,相应的,可以进行缩容处理,从主指标收集服务集群中确定一定数量的主指标收集服务器作为待切换主指标收集服务器,并移入备指标收集服务集群,并删除预设指标收集映射信息中待切换主指标收集服务器对应的映射关系。
本说明书实施例中,第二流量阈值可以为结合当前的主指标收集服务集群中主指标收集服务器数量确定的流量阈值上限;可选的,第二流量阈值大于第一流量阈值。具体的,当主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,可以确定当前流量过高,相应的,可以进行扩容处理,从备指标收集服务集群中确定一定数量的待切换备指标收集服务器,将这一定数量的待切换备指标收集服务器移入主指标收集服务集群,并在预设指标收集映射信息中增加待切换备指标收集服务器对应的地址信息;
上述扩容处理和缩容处理过程中,均会导致预设指标收集映射信息的变化,指标调度服务器可以监测预设指标收集映射信息的变化情况,当指标调度服务器监测到预设指标收集映射信息发现变化时,可以基于当前的主指标收集服务集群中主指标收集服务器的数量,更新预设指标收集映射信息。
在一个可选的实施例中,指标调度服务器基于当前的主指标收集服务集群中主指标收集服务器的数量,更新预设指标收集映射信息可以包括:指标调度服务器根据当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;指标调度服务器根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;指标调度服务器建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;指标调度服务器利用当前映射关系替换预设指标收集映射信息中的映射关系。
本说明书实施例中,按照指标收集服务集群的流量对指标收集服务集群进行扩容或者缩容,可以更好的提高指标收集服务集群的可用性,进而保证整个监控分析报警系统的高可用性,且在扩容或者缩容时,进行预设指标收集映射信息的更新,可以保证设指标收集映射信息的映射容量与可用主指标收集服务器的个数保持一致,实现同一监控指标数据只会推送到固定一个指标收集服务器上,而不需要修改业务逻辑或者重启服务。
图8是根据一示例性实施例示出的一种监控指标数据的收集系统框图。参照图8,该系统包括指标调度服务器810和指标收集服务集群820;
指标调度服务器810可以包括调度请求接收模块811、第一数据获取模块813、第一指标标识信息生成模块815、地址信息获取模块817、和监控指标数据发送模块819;
该调度请求接收模块811,被配置为执行接收监控指标数据调度请求,监控指标数据调度请求携带有新增监控指标数据和新增监控指标数据的标签分组信息;
该第一数据获取模块813,被配置为执行获取预设指标收集映射信息和预设指标收集映射信息对应的映射容量;
该第一指标标识信息生成模块815,被配置为执行根据标签分组信息和映射容量,生成新增监控指标数据的唯一标识信息;
该地址信息获取模块817,被配置为执行基于预设指标收集映射信息,获取与新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据与指标收集服务集群中一个指标收集服务器间的映射关系;
该监控指标数据发送模块819,被配置为执行基于地址信息将新增监控指标数据发送至上述对应的指标收集服务器;
该指标收集服务集群包括多个指标收集服务器821,每一指标收集服务器821包括监控指标数据接收模块8211;
该监控指标数据接收模块8211,被配置为执行接收新增监控指标数据。
可选的,该系统中的指标调度服务器810还包括:第二数据获取模块、映射容量确定模块、第二指标标识信息生成模块、映射关系建立模块和映射信息生成模块;
该第二数据获取模块,被配置为执行获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息;
该映射容量确定模块,被配置为执行根据指标收集服务集群中指标收集服务器的数量确定映射容量;
该第二指标标识信息生成模块,被配置为执行根据每一监控指标数据的标签分组信息和映射容量,生成每一监控指标数据的唯一标识信息;
该映射关系建立模块,被配置为执行建立每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
该映射信息生成模块,被配置为执行基于映射关系生成预设指标收集映射信息。
可选的,该系统中的指标调度服务器810还包括:主备划分模块;
该主备划分模块,被配置为执行在指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息之前,根据监控分析服务器监控的监控指标数据的数量,将指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群;
相应的,该第二数据获取模块还被配置为执行指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和主指标收集服务集群中每一主指标收集服务器的地址信息;
该映射容量确定模块还被配置为执行根据主指标收集服务集群中主指标收集服务器的数量确定映射容量;
该映射关系建立模块还被配置为执行建立每一监控指标数据的唯一标识信息与主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
可选的,该第二指标标识信息生成模块包括:
编码单元,被配置为执行基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
散列处理单元,被配置为执行利用预设信息摘要散列函数对编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
哈希值获取单元,被配置为执行获取初始标识信息的哈希值;
取模单元,被配置为执行利用哈希值对映射容量进行取模,得到每一监控指标数据的唯一标识信息。
可选的,图9是根据一示例性实施例示出的一种监控指标数据的收集系统框图。参照图9,该系统还包括:探活监控服务器830;该探活监控服务器830包括轮询请求发送模块、主备识别模块、备用服务器摄像模块、地址信息替换模块和第一服务器剔除模块;
该轮询请求发送模块,被配置为执行向指标收集服务集群中的每一指标收集服务器发送轮询请求;
该主备识别模块,被配置为执行当任一指标收集服务器在预设时间段内未响应轮询请求时,对在预设时间段内未响应轮询请求的指标收集服务器进行主备识别;
该备用服务器摄像模块,被配置为执行当在预设时间段内未响应轮询请求的指标收集服务器为主指标收集服务器时,探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
该地址信息替换模块,被配置为执行将预设指标收集映射信息中在预设时间段内未响应轮询请求的主指标收集服务器的地址信息替换为目标备指标收集服务器的地址信息;
该第一服务器删除模块,被配置为执行删除主指标收集服务集群中在预设时间段内未响应轮询请求的指标收集服务器。
可选的,该系统中的探活监控服务器830还包括:
第二服务器删除模块,被配置为执行当在预设时间段内未响应轮询请求的指标收集服务器为备指标收集服务器时,删除备指标收集服务集群中在预设时间段内未响应轮询请求的指标收集服务器。
可选的,该系统中的探活监控服务器830还包括:
服务器增加模块,被配置为执行当预设时间段之后,接收到在预设时间段内未响应轮询请求的指标收集服务器的响应时,将在预设时间段内未响应轮询请求的指标收集服务器加入备指标收集服务集群。
可选的,图10是根据一示例性实施例示出的一种监控指标数据的收集系统框图。参照图10,该系统还包括:动态伸缩服务器840,该动态伸缩服务器840包括流量探测请求发送模块、流量数据接收模块、缩容处理模块和扩容处理模块;
该流量探测请求发送模块,被配置为执行向主指标收集服务集群中每一主指标收集服务器发送流量探测请求;
该流量数据接收模块,被配置为执行接收主指标收集服务集群中的主指标收集服务器发送的当前流量数据;
该缩容处理模块,被配置为执行当主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,从主指标收集服务集群中确定待切换主指标收集服务器,将切换主指标收集服务器移入备指标收集服务集群,删除预设指标收集映射信息中待切换主指标收集服务器对应的映射关系;
该扩容处理模块,被配置为执行当主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,动态伸缩服务器从备指标收集服务集群中确定待切换备指标收集服务器,将待切换备指标收集服务器移入主指标收集服务集群,在预设指标收集映射信息中增加待切换备指标收集服务器对应的地址信息;
该指标调度服务器还包括:映射信息关系模块;
该映射信息更新模块,被配置为执行当监测到预设指标收集映射信息发现变化时,基于当前的主指标收集服务集群中主指标收集服务器的数量,更新预设指标收集映射信息。
可选的,该映射信息更新模块包括:
映射容量确定单元,被配置为执行根据当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;
指标标识信息生成单元,被配置为执行根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;
映射关系建立单元,被配置为执行建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;
映射关系替换单元,被配置为执行利用当前映射关系替换预设指标收集映射信息中的映射关系。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种用于监控指标数据的收集的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种监控指标数据的收集的方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的监控指标数据的收集方法。
在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的监控指标数据的收集方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的监控指标数据的收集的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种监控指标数据的收集方法,其特征在于,所述方法包括:
指标调度服务器接收监控指标数据调度请求,所述监控指标数据调度请求携带有新增监控指标数据和所述新增监控指标数据的标签分组信息;
所述指标调度服务器获取预设指标收集映射信息和所述预设指标收集映射信息对应的映射容量,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据的唯一标识信息与指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述指标调度服务器根据所述标签分组信息和所述映射容量,生成所述新增监控指标数据的唯一标识信息;
所述指标调度服务器基于所述预设指标收集映射信息,获取与所述新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息;
所述指标调度服务器基于所述地址信息将所述新增监控指标数据发送至所述对应的指标收集服务器。
2.根据权利要求1所述的监控指标数据的收集方法,其特征在于,所述方法还包括:
所述指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息;
所述指标调度服务器根据所述指标收集服务集群中指标收集服务器的数量确定映射容量;
所述指标调度服务器根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息;
所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述指标调度服务器基于所述映射关系生成所述预设指标收集映射信息。
3.根据权利要求2所述的监控指标数据的收集方法,其特征在于,在指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息之前,所述方法还包括:
所述指标调度服务器根据所述监控分析服务器监控的监控指标数据的数量,将所述指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群;
相应的,所述指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息包括:指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和所述主指标收集服务集群中每一主指标收集服务器的地址信息;
所述指标调度服务器根据所述指标收集服务集群中指标收集服务器的数量确定映射容量包括:所述指标调度服务器根据所述主指标收集服务集群中主指标收集服务器的数量确定映射容量;
所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系包括:所述指标调度服务器建立每一监控指标数据的唯一标识信息与所述主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
4.根据权利要求2所述的监控指标数据的收集方法,其特征在于,所述指标调度服务器根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息包括:
所述指标调度服务器基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
所述指标调度服务器利用预设信息摘要散列函数对所述编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
所述指标调度服务器获取所述初始标识信息的哈希值;
所述指标调度服务器利用所述哈希值对所述映射容量进行取模,得到每一监控指标数据的唯一标识信息。
5.根据权利要求3所述的监控指标数据的收集方法,其特征在于,所述方法还包括:
探活监控服务器向所述指标收集服务集群中的每一指标收集服务器发送轮询请求;
当任一指标收集服务器在预设时间段内未响应所述轮询请求时,探活监控服务器对所述在预设时间段内未响应所述轮询请求的指标收集服务器进行主备识别;
当所述在预设时间段内未响应所述轮询请求的指标收集服务器为主指标收集服务器时,所述探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
所述探活监控服务器将所述预设指标收集映射信息中在预设时间段内未响应所述轮询请求的主指标收集服务器的地址信息替换为所述目标备指标收集服务器的地址信息;
所述探活监控服务器删除所述主指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
6.根据权利要求5所述的监控指标数据的收集方法,其特征在于,所述方法还包括:
当所述在预设时间段内未响应所述轮询请求的指标收集服务器为备指标收集服务器时,所述探活监控服务器删除所述备指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
7.根据权利要求5所述的监控指标数据的收集方法,其特征在于,所述方法还包括:
当所述预设时间段之后,接收到所述在预设时间段内未响应所述轮询请求的指标收集服务器的响应时,所述探活监控服务器将所述在预设时间段内未响应所述轮询请求的指标收集服务器加入所述备指标收集服务集群。
8.根据权利要求3所述的监控指标数据的收集方法,其特征在于,所述方法还包括:
动态伸缩服务器向所述主指标收集服务集群中每一主指标收集服务器发送流量探测请求;
所述主指标收集服务集群中的主指标收集服务器分别向所述动态伸缩服务器发送当前流量数据;
当所述主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,所述动态伸缩服务器从所述主指标收集服务集群中确定待切换主指标收集服务器,将所述待切换主指标收集服务器移入所述备指标收集服务集群,删除所述预设指标收集映射信息中所述待切换主指标收集服务器对应的映射关系;
当所述主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,所述动态伸缩服务器从所述备指标收集服务集群中确定待切换备指标收集服务器,将所述待切换备指标收集服务器移入所述主指标收集服务集群,在所述预设指标收集映射信息中增加所述待切换备指标收集服务器对应的地址信息;
当所述指标调度服务器监测到所述预设指标收集映射信息发现变化时,所述指标调度服务器基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息。
9.根据权利要求8所述的监控指标数据的收集方法,其特征在于,所述指标调度服务器基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息包括:
所述指标调度服务器根据所述当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;
所述指标调度服务器根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;
所述指标调度服务器建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;
所述指标调度服务器利用当前映射关系替换所述预设指标收集映射信息中的映射关系。
10.一种监控指标数据的收集系统,其特征在于,所述系统包括:指标调度服务器和指标收集服务集群;
指标调度服务器包括调度请求接收模块、第一数据获取模块、第一指标标识信息生成模块、地址信息获取模、和监控指标数据发送模块;
所述调度请求接收模块,被配置为执行接收监控指标数据调度请求,所述监控指标数据调度请求携带有新增监控指标数据和所述新增监控指标数据的标签分组信息;
所述第一数据获取模块,被配置为执行获取预设指标收集映射信息和所述预设指标收集映射信息对应的映射容量,预设指标收集映射信息表征监控分析服务器监控的每一监控指标数据与指标收集服务集群中一个指标收集服务器间的映射关系;
所述第一指标标识信息生成模块,被配置为执行根据所述标签分组信息和所述映射容量,生成所述新增监控指标数据的唯一标识信息;
所述地址信息获取模块,被配置为执行基于所述预设指标收集映射信息,获取与所述新增监控指标数据的唯一标识信息对应的指标收集服务器的地址信息;
所述监控指标数据发送模块,被配置为执行基于所述地址信息将所述新增监控指标数据发送至所述对应的指标收集服务器;
所述指标收集服务集群包括多个指标收集服务器,每一指标收集服务器包括监控指标数据接收模块;
所述监控指标数据接收模块,被配置为执行接收新增监控指标数据。
11.根据权利要求10所述的监控指标数据的收集系统,其特征在于,所述系统中的指标调度服务器还包括:第二数据获取模块、映射容量确定模块、第二指标标识信息生成模块、映射关系建立模块和映射信息生成模块;
所述第二数据获取模块,被配置为执行获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息;
所述映射容量确定模块,被配置为执行根据所述指标收集服务集群中指标收集服务器的数量确定映射容量;
所述第二指标标识信息生成模块,被配置为执行根据每一监控指标数据的标签分组信息和所述映射容量,生成每一监控指标数据的唯一标识信息;
所述映射关系建立模块,被配置为执行建立每一监控指标数据的唯一标识信息与所述指标收集服务集群中一个指标收集服务器的地址信息间的映射关系;
所述映射信息生成模块,被配置为执行基于所述映射关系生成所述预设指标收集映射信息。
12.根据权利要求11所述的监控指标数据的收集系统,其特征在于,所述系统中的指标调度服务器还包括:主备划分模块;
所述主备划分模块,被配置为执行在指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和指标收集服务集群中每一指标收集服务器的地址信息之前,根据所述监控分析服务器监控的监控指标数据的数量,将所述指标收集服务集群划分为主指标收集服务集群和备指标收集服务集群;
相应的,所述第二数据获取模块还被配置为执行指标调度服务器获取监控分析服务器监控的每一监控指标数据的标签分组信息和所述主指标收集服务集群中每一主指标收集服务器的地址信息;
所述映射容量确定模块还被配置为执行根据所述主指标收集服务集群中主指标收集服务器的数量确定映射容量;
所述映射关系建立模块还被配置为执行建立每一监控指标数据的唯一标识信息与所述主指标收集服务集群中一个主指标收集服务器的地址信息间的映射关系。
13.根据权利要求11所述的监控指标数据的收集系统,其特征在于,所述第二指标标识信息生成模块包括:
编码单元,被配置为执行基于预设编码算法对每一监控指标数据的标签分组信息进行编码,得到每一监控指标数据的编码信息;
散列处理单元,被配置为执行利用预设信息摘要散列函数对所述编码信息进行散列处理,得到每一监控指标数据的初始标识信息;
哈希值获取单元,被配置为执行获取所述初始标识信息的哈希值;
取模单元,被配置为执行利用所述哈希值对所述映射容量进行取模,得到每一监控指标数据的唯一标识信息。
14.根据权利要求12所述的监控指标数据的收集系统,其特征在于,所述系统还包括:探活监控服务器;所述探活监控服务器包括轮询请求发送模块、主备识别模块、备用服务器摄像模块、地址信息替换模块和第一服务器剔除模块;
所述轮询请求发送模块,被配置为执行向所述指标收集服务集群中的每一指标收集服务器发送轮询请求;
所述主备识别模块,被配置为执行当任一指标收集服务器在预设时间段内未响应所述轮询请求时,对所述在预设时间段内未响应所述轮询请求的指标收集服务器进行主备识别;
所述备用服务器摄像模块,被配置为执行当所述在预设时间段内未响应所述轮询请求的指标收集服务器为主指标收集服务器时,所述探活监控服务器从备指标收集服务集群中选出目标备指标收集服务器;
所述地址信息替换模块,被配置为执行将所述预设指标收集映射信息中在预设时间段内未响应所述轮询请求的主指标收集服务器的地址信息替换为所述目标备指标收集服务器的地址信息;
所述第一服务器删除模块,被配置为执行删除所述主指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
15.根据权利要求14所述的监控指标数据的收集系统,其特征在于,所述系统中的探活监控服务器还包括:
第二服务器删除模块,被配置为执行当所述在预设时间段内未响应所述轮询请求的指标收集服务器为备指标收集服务器时,删除所述备指标收集服务集群中所述在预设时间段内未响应所述轮询请求的指标收集服务器。
16.根据权利要求14所述的监控指标数据的收集系统,其特征在于,所述系统中的探活监控服务器还包括:
服务器增加模块,被配置为执行当所述预设时间段之后,接收到所述在预设时间段内未响应所述轮询请求的指标收集服务器的响应时,将所述在预设时间段内未响应所述轮询请求的指标收集服务器加入所述备指标收集服务集群。
17.根据权利要求12所述的监控指标数据的收集系统,其特征在于,所述系统还包括:动态伸缩服务器,所述动态伸缩服务器包括流量探测请求发送模块、流量数据接收模块、缩容处理模块和扩容处理模块;
所述流量探测请求发送模块,被配置为执行向所述主指标收集服务集群中每一主指标收集服务器发送流量探测请求;
所述流量数据接收模块,被配置为执行接收所述主指标收集服务集群中的主指标收集服务器发送的当前流量数据;
所述缩容处理模块,被配置为执行当所述主指标收集服务集群对应的当前流量数据的总量小于第一流量阈值时,从所述主指标收集服务集群中确定待切换主指标收集服务器,将所述待切换主指标收集服务器移入所述备指标收集服务集群,删除所述预设指标收集映射信息中所述待切换主指标收集服务器对应的映射关系;
所述扩容处理模块,被配置为执行当所述主指标收集服务集群对应的当前流量数据的总量大于第二流量阈值时,所述动态伸缩服务器从所述备指标收集服务集群中确定待切换备指标收集服务器,将所述待切换备指标收集服务器移入所述主指标收集服务集群,在所述预设指标收集映射信息中增加所述待切换备指标收集服务器对应的地址信息;
所述指标调度服务器还包括:映射信息关系模块;
所述映射信息更新模块,被配置为执行当监测到所述预设指标收集映射信息发现变化时,基于当前的主指标收集服务集群中主指标收集服务器的数量,更新所述预设指标收集映射信息。
18.根据权利要求17所述的监控指标数据的收集系统,其特征在于,所述映射信息更新模块包括:
映射容量确定单元,被配置为执行根据所述当前的主指标收集服务集群中主指标收集服务器的数量重新确定映射容量;
指标标识信息生成单元,被配置为执行根据每一监控指标数据的标签分组信息和重新确定的映射容量,重新生成每一监控指标数据的唯一标识信息;
映射关系建立单元,被配置为执行建立重新生成的每一监控指标数据的唯一标识信息与当前的主指标收集服务集群中一个主指标收集服务器的地址信息间的当前映射关系;
映射关系替换单元,被配置为执行利用当前映射关系替换所述预设指标收集映射信息中的映射关系。
19.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9中任一项所述的监控指标数据的收集方法。
20.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备执行如权利要求1至9中任一项所述的监控指标数据的收集方法。
CN202011065270.2A 2020-09-30 2020-09-30 监控指标数据的收集方法、系统、电子设备及存储介质 Active CN112202895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065270.2A CN112202895B (zh) 2020-09-30 2020-09-30 监控指标数据的收集方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065270.2A CN112202895B (zh) 2020-09-30 2020-09-30 监控指标数据的收集方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112202895A CN112202895A (zh) 2021-01-08
CN112202895B true CN112202895B (zh) 2022-07-08

Family

ID=74013839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065270.2A Active CN112202895B (zh) 2020-09-30 2020-09-30 监控指标数据的收集方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112202895B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979276B (zh) * 2022-05-13 2024-02-23 深信服科技股份有限公司 一种资源动态调度方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624570B (zh) * 2012-04-27 2015-04-15 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN102739775B (zh) * 2012-05-29 2017-11-07 宁波东冠科技有限公司 物联网数据采集服务器集群的监控和管理方法
CN103685486B (zh) * 2013-12-02 2017-01-18 中国科学院计算技术研究所 跨数据中心集群的分布式系统监控方法及系统
CN104135395B (zh) * 2014-03-10 2015-12-30 腾讯科技(深圳)有限公司 Idc网络中数据传输质量监控方法和系统
JP6134437B2 (ja) * 2014-03-18 2017-05-24 株式会社日立製作所 データ転送監視システム、データ転送監視方法、および拠点システム
CN104811478A (zh) * 2015-03-27 2015-07-29 上海斐讯数据通信技术有限公司 无线终端设备的远程控制系统及远程控制方法
CN104954184A (zh) * 2015-06-15 2015-09-30 四川长虹电器股份有限公司 云端后台服务器集群的监控、告警方法及系统
CN106453504A (zh) * 2016-09-13 2017-02-22 杭州东方通信软件技术有限公司 一种基于nginx服务器集群的监控系统及方法
CN107426274B (zh) * 2017-04-06 2020-05-19 云南小鹰科技有限公司 基于时序的业务应用及监控分析调度的方法和系统
CN110489305B (zh) * 2019-08-23 2021-09-24 北京首都在线科技股份有限公司 一种服务器管理方法及装置
CN111682976B (zh) * 2020-04-26 2022-03-01 合肥中科类脑智能技术有限公司 一种保证分布式多机通信监控的方法

Also Published As

Publication number Publication date
CN112202895A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
WO2018001110A1 (zh) 一种基于纠删码的存储数据重构方法和装置、存储节点
US9367261B2 (en) Computer system, data management method and data management program
US10908834B2 (en) Load balancing for scalable storage system
US9176798B2 (en) Computer-readable recording medium, failure prediction device and applicability determination method
CN102833281B (zh) 一种分布式自增计数的实现方法、装置及系统
CN111159233B (zh) 分布式缓存方法、系统、计算机设备以及存储介质
CN112131073A (zh) 服务器的监控方法和系统
CN112130996A (zh) 数据监控控制系统、方法、装置、电子设备和存储介质
CN111538563A (zh) 一种对Kubernetes的事件分析方法及装置
CN114048217A (zh) 增量数据的同步方法和装置、电子设备和存储介质
CN108337100B (zh) 一种云平台监测的方法和装置
WO2020029376A1 (zh) 日志采集方法、系统、计算机设备和存储介质
CN112202895B (zh) 监控指标数据的收集方法、系统、电子设备及存储介质
CN108228432A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN106487852B (zh) 实现客户端文件同步的方法、装置、终端设备及系统
CN117909143A (zh) 项目数据的处理方法和装置、存储介质及电子设备
US10339019B2 (en) Packet capturing system, packet capturing apparatus and method
JP2015194797A (ja) 監視漏れ特定処理プログラム,監視漏れ特定処理方法及び監視漏れ特定処理装置
CN107426012B (zh) 一种基于超融合架构的故障恢复方法及其装置
CN105893150B (zh) 接口调用频度控制、接口调用请求处理方法及装置
CN110798492B (zh) 数据存储方法及装置、数据处理系统
CN115914668A (zh) 一种直播流处理方法及直播源站集群
CN114860782A (zh) 数据查询方法、装置、设备及介质
CN111506422B (zh) 事件分析方法及系统
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant