CN107544837A - 云服务设备性能数据采集系统、方法和装置 - Google Patents

云服务设备性能数据采集系统、方法和装置 Download PDF

Info

Publication number
CN107544837A
CN107544837A CN201610471294.5A CN201610471294A CN107544837A CN 107544837 A CN107544837 A CN 107544837A CN 201610471294 A CN201610471294 A CN 201610471294A CN 107544837 A CN107544837 A CN 107544837A
Authority
CN
China
Prior art keywords
performance data
cloud service
server
service equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610471294.5A
Other languages
English (en)
Other versions
CN107544837B (zh
Inventor
张家桥
阳叶
罗冬水
郑松坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610471294.5A priority Critical patent/CN107544837B/zh
Publication of CN107544837A publication Critical patent/CN107544837A/zh
Application granted granted Critical
Publication of CN107544837B publication Critical patent/CN107544837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种云服务设备性能数据采集系统、方法和装置,该系统包括:分布式的代理服务器和用于管理分布式的代理服务器的管理服务器;管理服务器用于定时从配置管理平台同步配置数据;还用于建立配置数据和代理服务器的服务器标识之间的对应关系;提供用于拉取配置数据的第一程序接口;代理服务器用于定时调用第一程序接口,并通过第一程序接口从管理服务器拉取与自身的服务器标识存在对应关系的配置数据;根据配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;将性能数据上报至存储服务器。本发明提供的云服务设备性能数据采集系统、方法和装置可提高采集云服务设备的性能数据的效率。

Description

云服务设备性能数据采集系统、方法和装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种云服务设备性能数据采集系统、方法和装置。
背景技术
云计算将计算任务发布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。目前云计算技术日趋成熟稳定,得到了广泛应用。云计算依赖于云服务平台,云服务平台的实现需要大量的云服务设备,比如路由设备、防火墙设备或者交换机等。云服务设备是云计算平台的基础设施,采集云服务设备的性能数据,从而高效、智能和全面的监控云服务设备的运行,是保证云服务平台稳定的必要措施。
目前,对云服务设备进行性能数据的采集一般采用轮询方式,具体可向每个云服务设备发送查询请求,并接收云服务设备反馈的性能数据。然而,目前通过轮询方式采集性能数据的方式效率低。
发明内容
基于此,有必要针对目前通过轮询方式采集性能数据的方式效率低的问题,提供一种云服务设备性能数据采集系统、方法和装置。
一种云服务设备性能数据采集系统,包括:分布式的代理服务器和用于管理分布式的代理服务器的管理服务器;
所述管理服务器用于定时从配置管理平台同步配置数据;还用于建立所述配置数据和所述代理服务器的服务器标识之间的对应关系;提供用于拉取所述配置数据的第一程序接口;
所述代理服务器用于定时调用所述第一程序接口,并通过所述第一程序接口从所述管理服务器拉取与自身的服务器标识存在所述对应关系的所述配置数据;根据所述配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;将所述性能数据上报至存储服务器。
一种云服务设备性能数据采集方法,包括:
定时调用管理服务器提供的第一程序接口,通过所述第一程序接口从所述管理服务器拉取与本地的服务器标识存在对应关系的配置数据;所述管理服务器用于管理分布式的代理服务器;所述配置数据由所述管理服务器从配置管理平台定时同步获得;
根据所述配置数据确定所监控的云服务设备;
从确定的云服务设备采集相应的性能数据;
将所述性能数据上报至存储服务器。
一种云服务设备性能数据采集装置,包括:
配置数据同步模块,用于定时调用管理服务器提供的第一程序接口,通过所述第一程序接口从所述管理服务器拉取与本地的服务器标识存在对应关系的配置数据;所述管理服务器用于管理分布式的代理服务器;所述配置数据由所述管理服务器从配置管理平台定时同步获得;
采集模块,用于根据所述配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;
上报模块,用于将所述性能数据上报至存储服务器。
上述云服务设备性能数据采集系统、方法和装置,定时调用管理服务器提供的第一程序接口,以拉取与服务器标识存在对应关系的配置数据,且配置数据由所述管理服务器从配置管理平台定时同步。这样通过定时调用接口的方式,可以及时地响应配置管理平台所做的配置,进而按照相应的配置数据确定所监控的云服务设备,并进行性能数据的采集,可提高采集云服务设备的性能数据的效率,而且可以方便、高效地进行云服务设备的扩展。
附图说明
图1为一个实施例中云服务设备性能数据采集系统的应用环境图;
图2为一个实施例中服务器的内部结构示意图;
图3为一个实施例中云服务设备性能数据采集方法的流程示意图;
图4为另一个实施例中云服务设备性能数据采集系统的应用环境图;
图5为另一个实施例中云服务设备性能数据采集方法的流程示意图;
图6为一个实施例中云服务设备性能数据采集装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本发明的范围的情况下,可以将第一程序接口称为第二程序接口,且类似地,可将第二程序接口称为第一程序接口。第一程序接口和第二程序接口两者都是程序接口,但其不是同一程序接口。
图1为一个实施例中云服务设备性能数据采集系统100的应用环境图。如图1所示,该系统100包括管理服务器110和代理服务器120(如图1中的代理服务器120(a)、120(b)和120(c)),还可以包括存储服务器130。其中,管理服务器110、代理服务器120和存储服务器130可以是独立的物理服务器,也可以是服务器集群。管理服务器110可与配置管理平台010连接,代理服务器120可与相应的云服务设备连接,还可与存储服务器130连接。
在一个实施例中,一种云服务设备性能数据采集系统100,包括:用于管理分布式的代理服务器的管理服务器110和分布式的代理服务器120。管理服务器110用于定时从配置管理平台010同步配置数据;还用于建立配置数据和代理服务器120的服务器标识之间的对应关系;提供用于拉取配置数据的第一程序接口。代理服务器120用于定时调用第一程序接口,并通过第一程序接口从管理服务器110拉取与自身的服务器标识存在对应关系的配置数据;根据配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;将性能数据上报至存储服务器130。
在一个实施例中,代理服务器120还用于根据配置数据确定所监控的性能数据类型;还用于按照性能数据类型从确定的云服务设备采集相应的性能数据。
在一个实施例中,系统100还包括存储服务器130,用于提供用于上报性能数据的第二程序接口;代理服务器120还用于通过第二程序接口将性能数据上报至存储服务器130。
在一个实施例中,系统100还包括存储服务器130,用于将性能数据存入缓存,并通过多个进程将缓存中的性能数据写入数据库中。
在一个实施例中,代理服务器120包括第一类代理服务器120和第二类代理服务器120。第一类代理服务器120用于采用标准网络协议采集性能数据。第二类代理服务器120用于根据配置数据采集自定义类型的性能数据。
在一个实施例中,确定的云服务设备属于相同的网络安全域;和/或,确定的云服务设备具有相同的性能数据采集频度;和/或,确定的云服务设备属于相同的互联网数据中心。
如图2所示,在一个实施例中,提供了一种服务器,该服务器可用作管理服务器或者代理服务器。如图2所示,该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该服务器的非易失性存储介质存储有操作系统、数据库和云服务设备性能数据采集装置,该云服务设备性能数据采集装置用于实现一种云服务设备性能数据采集方法。该服务器的处理器用于提供计算和控制能力,支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的云服务设备性能数据采集装置的运行提供环境。该内存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种云服务设备性能数据采集方法。该服务器的网络接口用于据以与外部的服务器或者云服务设备通过网络连接通信,比如定时调用第一程序接口,从云服务设备采集相应的性能数据,将性能数据上报至存储服务器等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供了一种云服务设备性能数据采集方法,本实施例以该方法应用于上述图1中的代理服务器120来举例说明,代理服务器120上运行有代理客户端,通过该代理客户端执行该云服务设备性能数据采集方法。该方法具体包括如下步骤:
S302,定时调用管理服务器提供的第一程序接口,通过第一程序接口从管理服务器拉取与本地的服务器标识存在对应关系的配置数据;管理服务器用于管理分布式的代理服务器;配置数据由管理服务器从配置管理平台定时同步获得。
其中,配置管理平台用于管理对云服务设备的运行进行监控的配置数据,对配置数据的管理包括配置数据的增加、删除和修改等,配置管理平台还可以用于指派代理服务器和指派代理服务器监控的云服务设备。云服务设备是构成云服务平台的物理设备,可以包括路由器、交换机或者防火墙设备等。配置管理平台具体可存储有配置管理数据库(Configuration Management Database,CMDB),将配置数据存储在配置管理数据库中。配置管理平台可提供配置界面,并获取在配置界面中录入的配置数据,从而将配置数据存储在配置管理数据库中。配置数据可以包括采集性能数据的类型和频度,还可以包括所监控的云服务设备的设备标识。设备标识可以采用IP地址和端口号,还可以采用MAC(MediaAccess Control,介质访问控制)地址,MAC地址可以称为物理地址。管理服务器可定时从配置管理平台的配置管理数据库中同步配置数据。定时是指按照设定的周期周期性进行,定时可以是每隔预设时间间隔或者每到预设时间点。
参照图4,分布式的代理服务器与管理服务器连接,在管理服务器的统一控制下采集云服务平台中云服务设备的性能数据,分布式的代理服务器中每个代理服务器用于采集云服务平台中一部分云服务设备的性能数据,以监控该部分云服务设备的运行状态。管理服务器对分布式的代理服务器的管理,包括向代理服务器下发配置数据,还可以用于对代理服务器进行增加和删除。
管理服务器提供第一程序接口,其中程序接口全称为Application ProgrammingInterface,缩写为API。第一程序接口用于从管理服务器拉取配置数据。管理服务器建立了配置数据和代理服务器的服务器标识的对应关系,该对应关系表示配置数据和代理服务器之间的归属关系,根据该对应关系可确定相应的代理服务器所监控的云服务设备。其中服务器标识可以是IP地址和端口号,还可以是MAC(Media Access Control,介质访问控制)地址,MAC地址可以称为物理地址。该对应关系也可从配置管理平台同步得到,也可以提供配置界面,根据在配置界面中触发的配置指令建立对应关系。
代理服务器在定时调用第一程序接口时,可传入代理服务器本地的服务器标识,从而可以通过该第一程序接口拉取与本地的服务器标识存在对应关系的配置数据。代理服务器调用第一程序接口的定时属性和管理服务器从配置管理平台同步配置数据的定时属性可以相同也可以不同。定时属性比如定时的时间间隔或者定时的时间点。
S304,根据配置数据确定所监控的云服务设备。
具体地,配置数据可包括本地的代理服务器需要监控的云服务设备的设备标识,代理服务器便可以将该设备标识确定为本地的代理服务器所监控的云服务设备的设备标识,从而确定本地的代理服务器所监控的云服务设备。配置数据还可以包括本地的代理服务器需要监控的云服务设备的设备标识的存储地址,从而代理服务器从该存储地址所指向的存储位置读取本地的代理服务器所监控的云服务设备的设备标识。
S306,从确定的云服务设备采集相应的性能数据。
具体地,代理服务器从确定的云服务设备采集与该云服务设备相应的性能数据。代理服务器具体可在确定本地的代理服务器所监控的云服务设备的设备标识后,从确定的设备标识对应的云服务设备采集性能数据。性能数据是反映相应云服务设备的运行状态的数据,包括处理器状态、内存状态、网络流量使用状态、会话数量和背板带宽状态中的至少一种。其中处理器状态可以是处理器使用率以及处理器频率等,内存状态比如内存总量以及内存使用率等,网络流量使用状态比如已占用的网络带宽,背板带宽是网络设备所能吞吐的最大数据量。
S308,将性能数据上报至存储服务器。
具体地,分布式的代理服务器统一将自身所采集的性能数据上报至存储服务器,由存储服务器将上报的性能数据进行存储。代理服务器可将性能数据和相应的云服务设备的设备标识上报至存储服务器,由存储服务器将性能数据与设备标识对应存储。代理服务器还可将性能数据、相应的云服务设备的设备标识和本地的代理服务器的服务器标识上报至存储服务器,由存储服务器将上报的性能数据、设备标识和服务器标识对应存储。
参照图4,在一个实施例中,存储服务器可以提供性能数据展示界面,可在性能数据展示界面中展示性能数据或者展示根据性能数据计算出的性能指标。性能指标是根据性能数据计算出的可反映云服务设备的状态的数据,比如云服务设备满负荷运行的次数和持续时长,还比如云服务设备的性能数据变化趋势。在性能数据展示界面中可以文字和/或图表的形式展示性能数据或者性能指标。其中,性能数据可按照相应的设备标识和/或服务器标识分类展示,性能指标可按照相应的设备标识和/或服务器标识分类统计并展示。
在一个实施例中,存储服务器可以检测存储服务器上的性能数据是否满足事件触发条件,若满足则触发相应的事件。该事件可以是发出警告信息或者执行其它自定义的动作等。
上述云服务设备性能数据采集方法,定时调用管理服务器提供的第一程序接口,以拉取与服务器标识存在对应关系的配置数据,且配置数据由管理服务器从配置管理平台定时同步。这样通过定时调用接口的方式,可以及时地响应配置管理平台所做的配置,进而按照相应的配置数据确定所监控的云服务设备,并进行性能数据的采集,可提高采集云服务设备的性能数据的效率,而且可以方便、高效地进行云服务设备的扩展。
在一个实施例中,存储服务器可将上报的性能数据存入缓存,并将缓存中的性能数据写入数据库中。该数据库是用于存储性能数据的数据库。
在一个实施例中,该云服务设备性能数据采集方法还包括:存储服务器将性能数据存入缓存;存储服务器通过多个进程将缓存中的性能数据写入数据库中。
本实施例中,由于缓存的写入速度高于数据库的写入速度,通过多个进程读取缓存中的性能数据写入数据库中,使得缓存中的性能数据的数据量基本保持平衡,从而可以保证将性能数据存储在数据库中的效率。多个进程的数量具体可根据缓存中的性能数据动态调整。
在一个实施例中,S308包括:调用存储服务器提供的用于上报性能数据的第二程序接口;通过第二程序接口将性能数据上报至存储服务器。
具体地,存储服务器可提供用于上报性能数据的第二程序接口,代理服务器可在采集到性能数据后即时调用第二程序接口以向存储服务器上报性能数据。代理服务器也可以将采集到的性能数据缓存在本地,每隔预设时间段调用第二程序接口,以通过第二程序接口将最近的预设时间段内采集到的性能数据上报至存储服务器。代理服务器还可以将采集到的性能数据缓存在本地,当缓存的性能数据的数据量达到预设数据量时调用第二程序接口,以通过第二程序接口将本地缓存的性能数据批量上报至存储服务器。
本实施例中,分布式的各个代理服务器之间是解耦的,通过调用管理服务器提供的第一程序接口同步配置数据,从而利用配置数据进行性能数据的采集;通过存储服务器提供的第二程序接口上报性能数据,便于进行扩展和维护。
在一个实施例中,该云服务设备性能数据采集方法还包括:根据配置数据确定所监控的性能数据类型;S306包括:按照性能数据类型从确定的云服务设备采集相应的性能数据。
具体地,配置数据可指定需要监控的性能数据类型,可通过相应性能数据的字段名称来指定。代理服务器根据配置数据确定了需要监控的性能数据类型后,便可以按照该性能数据类型,从确定的云服务设备采集该性能数据类型的性能数据。
本实施例中,通过配置数据,不仅可以指定需要监控的云服务设备,还可以指定需要监控的性能数据类型,可以在管理服务器的统一控制下,灵活地管理分布式的代理服务器所监控的对象,提高了云服务设备性能数据采集方法应用的通用性。
在一个实施例中,S306包括:当本地的代理服务器属于第一类代理服务器时,采用标准网络协议从确定的云服务设备采集相应的性能数据;当本地的代理服务器属于第二类代理服务器时,根据配置数据从确定的云服务设备采集自定义类型的性能数据。
本实施例中,分布式的代理服务器分类为第一类代理服务器和第二类代理服务器。当本地的代理服务器属于第一类代理服务器时,本地的代理服务器采用标准网络协议采集相应的性能数据。其中标准网络协议是公认的组织机构制定的被广泛接受的网络协议,本实施例中采用的标准网络协议是可用于采集性能数据的网络协议,比如ICMP(Internet Control Message Protocol,互联网控制报文协议)、SNMP(Simple NetworkManagement Protocol,简单网络管理协议)或者Syslog(系统日志协议)。代理服务器可根据配置数据创建与标准网络协议对应的进程,通过创建的进程采集相应的性能数据,比如创建ICMP可用性状态采集上报进程、SNMP信息采集上报进程或者Syslog监测采集上报进程等。同一代理服务器可配置为采用单一的标准网络协议采集性能数据,也可以配置为采用多种标准网络协议采集性能数据。
进一步地,当本地的代理服务器属于第二类代理服务器时,本地的代理服务器根据配置数据从确定的云服务设备采集自定义类型的性能数据。本实施例中自定义类型是根据监控需求自定义的性能数据类型,比如可以是表示网络质量的性能数据类型或者表示应用层质量的性能数据类型,其中表示网络质量的性能数据类型比如丢包率。
本实施例中,当本地的代理服务器属于第一类代理服务器和第二类代理服务器时分别采用不同的方式采集性能数据。其中当属于第一类代理服务器时,采用标准网络协议采集性能数据,可兼容各厂商的云服务设备,提高了兼容性;当属于第二类代理服务器时,采集自定义类型的性能数据,便于根据专门的需求采集特殊类型的性能数据。兼顾兼容性和专用性,可兼容各种需要监控云服务设备的场景。
在一个实施例中,确定的云服务设备属于相同的网络安全域。其中,网络安全域是指同一系统内有相同的安全保护需求、相互信任并具有相同的安全访问控制和边界控制策略的子网或网络,且相同的网络安全域共享相同的安全策略。本实施例中,同一代理服务器所监控的云服务设备属于相同的网络安全域,同一代理服务器可采用统一的安全策略,便于安全管理,也可以避免复杂的安全验证,提高采集性能数据的效率。
在一个实施例中,确定的云服务设备具有相同的性能数据采集频度。性能数据采集频度可反映采集性能数据的频率的度量值,比如每分钟采集多少次的性能数据,还比如相邻两次采集性能数据的时间间隔。本实施例中,同一代理服务器可采用同一的采集频度来采集性能数据,便于性能数据采集频度的统一控制。
在一个实施例中,确定的云服务设备属于相同的互联网数据中心(全称为Internet Data Center,缩写为IDC)。本实施例中,同一代理服务器所监控的云服务设备属于相同的互联网数据中心,便于对互联网数据中心的统一管理。
上述确定的云服务设备属于相同的网络安全域,具有相同的性能数据采集频度,以及属于相同的互联网数据中心三种情况可以任意组合。
如图5所示,在一个实施例中,提供了一种云服务设备性能数据采集方法,该方法具体包括如下步骤:
S502,管理服务器定时从配置管理平台同步配置数据;建立配置数据和代理服务器的服务器标识之间的对应关系;提供用于拉取配置数据的第一程序接口。
S504,代理服务器定时调用第一程序接口,并通过第一程序接口从管理服务器拉取与自身的服务器标识存在对应关系的配置数据。
S506,代理服务器根据配置数据确定所监控的云服务设备和所监控的性能数据类型。
S508,代理服务器在属于第一类代理服务器时,按照确定的性能数据类型采用标准网络协议从确定的云服务设备采集相应的性能数据;代理服务器在属于第二类代理服务器时,按照确定的自定义类型从确定的云服务设备采集自定义类型的性能数据。
S510,代理服务器调用存储服务器提供的用于上报性能数据的第二程序接口;通过第二程序接口将性能数据上报至存储服务器。
S512,存储服务器将性能数据存入缓存;通过多个进程将缓存中的性能数据写入数据库中。
S514,存储服务器提供性能数据展示界面,在性能数据展示界面中展示性能数据或者展示根据性能数据计算出的性能指标。
S516,存储服务器在检测到缓存中或者数据库中的性能数据满足警告触发条件时,发出相应的警告信息。
本实施例中,代理服务器定时调用管理服务器提供的第一程序接口,以拉取与服务器标识存在对应关系的配置数据,且配置数据由管理服务器从配置管理平台定时同步。这样通过定时调用接口的方式,可以及时地响应配置管理平台所做的配置,进而按照相应的配置数据确定所监控的云服务设备,并进行性能数据的采集,可提高采集云服务设备的性能数据的效率,而且可以方便、高效地进行云服务设备的扩展。
如图6所示,在一个实施例中,提供了一种云服务设备性能数据采集装置600,包括配置数据同步模块602、采集模块604和上报模块606。
配置数据同步模块602,用于定时调用管理服务器提供的第一程序接口,通过第一程序接口从管理服务器拉取与本地的服务器标识存在对应关系的配置数据;管理服务器用于管理分布式的代理服务器;配置数据由管理服务器从配置管理平台定时同步获得。
其中,配置管理平台用于管理对云服务设备的运行进行监控的配置数据,对配置数据的管理包括配置数据的增加、删除和修改等,配置管理平台还可以用于指派代理服务器和指派代理服务器监控的云服务设备。云服务设备是构成云服务平台的物理设备,可以包括路由器、交换机或者防火墙设备等网络设备。配置管理平台具体可存储有配置管理数据库(Configuration Management Database,CMDB),将配置数据存储在配置管理数据库中。配置管理平台可提供配置界面,并获取在配置界面中录入的配置数据,从而将配置数据存储在配置管理数据库中。配置数据可以包括采集性能数据的类型和频度,还可以包括所监控的云服务设备的设备标识。设备标识可以采用IP地址和端口号,还可以采用MAC(MediaAccess Control,介质访问控制)地址,MAC地址可以称为物理地址。管理服务器可定时从配置管理平台的配置管理数据库中同步配置数据。定时是指按照设定的周期周期性进行,定时可以是每隔预设时间间隔或者每到预设时间点。
参照图4,分布式的代理服务器与管理服务器连接,在管理服务器的统一控制下采集云服务平台中云服务设备的性能数据,分布式的代理服务器中每个代理服务器用于采集云服务平台中一部分云服务设备的性能数据,以监控该部分云服务设备的运行状态。管理服务器对分布式的代理服务器的管理,包括向代理服务器下发配置数据,还可以用于对代理服务器进行增加和删除。
管理服务器提供第一程序接口,其中程序接口全称为Application ProgrammingInterface,缩写为API。第一程序接口用于从管理服务器拉取配置数据。管理服务器建立了配置数据和代理服务器的服务器标识的对应关系,该对应关系表示配置数据和代理服务器之间的归属关系,根据该对应关系可确定相应的代理服务器所监控的云服务设备。其中服务器标识可以是IP地址和端口号,还可以是MAC(Media Access Control,介质访问控制)地址,MAC地址可以称为物理地址。该对应关系也可从配置管理平台同步得到,也可以提供配置界面,根据在配置界面中触发的配置指令建立对应关系。
配置数据同步模块602在定时调用第一程序接口时,可传入代理服务器本地的服务器标识,从而可以通过该第一程序接口拉取与本地的服务器标识存在对应关系的配置数据。配置数据同步模块602调用第一程序接口的定时属性和管理服务器从配置管理平台同步配置数据的定时属性可以相同也可以不同。定时属性比如定时的时间间隔或者定时的时间点。
采集模块604,用于根据配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据。
具体地,配置数据可包括本地的代理服务器需要监控的云服务设备的设备标识,采集模块604便可以将该设备标识确定为本地的代理服务器所监控的云服务设备的设备标识,从而确定本地的代理服务器所监控的云服务设备。配置数据还可以包括本地的代理服务器需要监控的云服务设备的设备标识的存储地址,从而采集模块604可用于从该存储地址所指向的存储位置读取本地的代理服务器所监控的云服务设备的设备标识。
进一步地,采集模块604从确定的云服务设备采集与该云服务设备相应的性能数据。采集模块604具体可在确定本地的代理服务器所监控的云服务设备的设备标识后,从确定的设备标识对应的云服务设备采集性能数据。性能数据是反映相应云服务设备的运行状态的数据,包括处理器状态、内存状态、网络流量使用状态、会话数量和背板带宽状态中的至少一种。其中处理器状态可以是处理器使用率以及处理器频率等,内存状态比如内存总量以及内存使用率等,网络流量使用状态比如已占用的网络带宽,背板带宽是网络设备所能吞吐的最大数据量。
上报模块606,用于将性能数据上报至存储服务器。
具体地,上报模块606将所采集的性能数据上报至存储服务器,由存储服务器将上报的性能数据进行存储。上报模块606可将性能数据和相应的云服务设备的设备标识上报至存储服务器,由存储服务器将性能数据与设备标识对应存储。上报模块606还可将性能数据、相应的云服务设备的设备标识和本地的代理服务器的服务器标识上报至存储服务器,由存储服务器将上报的性能数据、设备标识和服务器标识对应存储。
参照图4,在一个实施例中,存储服务器可以提供性能数据展示界面,可在性能数据展示界面中展示性能数据或者展示根据性能数据计算出的性能指标。性能指标是根据性能数据计算出的可反映云服务设备的状态的数据,比如云服务设备满负荷运行的次数和持续时长,还比如云服务设备的性能数据变化趋势。在性能数据展示界面中可以文字和/或图表的形式展示性能数据或者性能指标。其中,性能数据可按照相应的设备标识和/或服务器标识分类展示,性能指标可按照相应的设备标识和/或服务器标识分类统计并展示。
在一个实施例中,存储服务器可以检测存储服务器上的性能数据是否满足事件触发条件,若满足则触发相应的事件。该事件可以是发出警告信息或者执行其它自定义的动作等。
上述云服务设备性能数据采集装置600,定时调用管理服务器提供的第一程序接口,以拉取与服务器标识存在对应关系的配置数据,且配置数据由管理服务器从配置管理平台定时同步。这样通过定时调用接口的方式,可以及时地响应配置管理平台所做的配置,进而按照相应的配置数据确定所监控的云服务设备,并进行性能数据的采集,可提高采集云服务设备的性能数据的效率,而且可以方便、高效地进行云服务设备的扩展。
在一个实施例中,采集模块604还用于根据配置数据确定所监控的性能数据类型;按照性能数据类型从确定的云服务设备采集相应的性能数据。
具体地,配置数据可指定需要监控的性能数据类型,可通过相应性能数据的字段名称来指定。采集模块604根据配置数据确定了需要监控的性能数据类型后,便可以按照该性能数据类型,从确定的云服务设备采集该性能数据类型的性能数据。
本实施例中,通过配置数据,不仅可以指定需要监控的云服务设备,还可以指定需要监控的性能数据类型,可以在管理服务器的统一控制下,灵活地管理分布式的代理服务器所监控的对象,提高了云服务设备性能数据采集装置应用的通用性。
在一个实施例中,上报模块606还用于调用存储服务器提供的用于上报性能数据的第二程序接口;通过第二程序接口将性能数据上报至存储服务器。
具体地,存储服务器可提供用于上报性能数据的第二程序接口,上报模块606可在采集模块604采集到性能数据后即时调用第二程序接口以向存储服务器上报性能数据。采集模块604也可以将采集到的性能数据缓存在本地,上报模块606每隔预设时间段调用第二程序接口,以通过第二程序接口将最近的预设时间段内采集到的性能数据上报至存储服务器。采集模块604还可以将采集到的性能数据缓存在本地,上报模块606可在缓存的性能数据的数据量达到预设数据量时调用第二程序接口,以通过第二程序接口将本地缓存的性能数据批量上报至存储服务器。
本实施例中,分布式的各个代理服务器之间是解耦的,通过调用管理服务器提供的第一程序接口同步配置数据,从而利用配置数据进行性能数据的采集;通过存储服务器提供的第二程序接口上报性能数据,便于进行扩展和维护。
在一个实施例中,存储服务器还用于将性能数据存入缓存;存储服务器通过多个进程将缓存中的性能数据写入数据库中。
本实施例中,由于缓存的写入速度高于数据库的写入速度,通过多个进程读取缓存中的性能数据写入数据库中,使得缓存中的性能数据的数据量基本保持平衡,从而可以保证将性能数据存储在数据库中的效率。多个进程的数量具体可根据缓存中的性能数据动态调整。
在一个实施例中,采集模块604还用于当本地的代理服务器属于第一类代理服务器时,采用标准网络协议从确定的云服务设备采集相应的性能数据;还用于当本地的代理服务器属于第二类代理服务器时,根据配置数据从确定的云服务设备采集自定义类型的性能数据。
本实施例中,分布式的代理服务器分类为第一类代理服务器和第二类代理服务器。当本地的代理服务器属于第一类代理服务器时,采集模块604可用于采用标准网络协议采集相应的性能数据。其中标准网络协议是公认的组织机构制定的被广泛接受的网络协议,本实施例中采用的标准网络协议是可用于采集性能数据的网络协议,比如ICMP(Internet Control Message Protocol,互联网控制报文协议)、SNMP(Simple NetworkManagement Protocol,简单网络管理协议)或者Syslog(系统日志协议)。采集模块604可用于可根据配置数据创建与标准网络协议对应的进程,通过创建的进程采集相应的性能数据,比如创建ICMP可用性状态采集上报进程、SNMP信息采集上报进程或者Syslog监测采集上报进程等。同一代理服务器可配置为采用单一的标准网络协议采集性能数据,也可以配置为采用多种标准网络协议采集性能数据。
进一步地,当本地的代理服务器属于第二类代理服务器时,采集模块604可用于根据配置数据从确定的云服务设备采集自定义类型的性能数据。本实施例中自定义类型是根据监控需求自定义的性能数据类型,比如可以是表示网络质量的性能数据类型或者表示应用层质量的性能数据类型,其中表示网络质量的性能数据类型比如丢包率。
本实施例中,当本地的代理服务器属于第一类代理服务器和第二类代理服务器时分别采用不同的方式采集性能数据。其中当属于第一类代理服务器时,采用标准网络协议采集性能数据,可兼容各厂商的云服务设备,提高了兼容性;当属于第二类代理服务器时,采集自定义类型的性能数据,便于根据专门的需求采集特殊类型的性能数据。兼顾兼容性和专用性,可兼容各种需要监控云服务设备的场景。
在一个实施例中,确定的云服务设备属于相同的网络安全域;和/或,确定的云服务设备具有相同的性能数据采集频度;和/或,确定的云服务设备属于相同的互联网数据中心。
其中,网络安全域是指同一系统内有相同的安全保护需求、相互信任并具有相同的安全访问控制和边界控制策略的子网或网络,且相同的网络安全域共享相同的安全策略。本实施例中,同一代理服务器所监控的云服务设备属于相同的网络安全域,同一代理服务器可采用统一的安全策略,便于安全管理,也可以避免复杂的安全验证,提高采集性能数据的效率。
性能数据采集频度可反映采集性能数据的频率的度量值,比如每分钟采集多少次的性能数据,还比如相邻两次采集性能数据的时间间隔。本实施例中,同一代理服务器可采用同一的采集频度来采集性能数据,便于性能数据采集频度的统一控制。
同一代理服务器所监控的云服务设备属于相同的互联网数据中心,便于对互联网数据中心的统一管理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,该存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种云服务设备性能数据采集系统,其特征在于,包括:分布式的代理服务器和用于管理分布式的代理服务器的管理服务器;
所述管理服务器用于定时从配置管理平台同步配置数据;还用于建立所述配置数据和所述代理服务器的服务器标识之间的对应关系;提供用于拉取所述配置数据的第一程序接口;
所述代理服务器用于定时调用所述第一程序接口,并通过所述第一程序接口从所述管理服务器拉取与自身的服务器标识存在所述对应关系的所述配置数据;根据所述配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;将所述性能数据上报至存储服务器。
2.根据权利要求1所述的系统,其特征在于,所述代理服务器还用于根据所述配置数据确定所监控的性能数据类型;还用于按照所述性能数据类型从确定的云服务设备采集相应的性能数据。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括所述存储服务器,用于提供用于上报性能数据的第二程序接口;所述代理服务器还用于通过所述第二程序接口将所述性能数据上报至所述存储服务器。
4.根据权利要求1所述的系统,其特征在于,所述系统还包括所述存储服务器,用于将所述性能数据存入缓存,并通过多个进程将所述缓存中的所述性能数据写入数据库中。
5.根据权利要求1所述的系统,其特征在于,所述代理服务器包括第一类代理服务器和第二类代理服务器;
所述第一类代理服务器用于采用标准网络协议采集性能数据;
所述第二类代理服务器用于根据所述配置数据采集自定义类型的性能数据。
6.根据权利要求1所述的系统,其特征在于,所述确定的云服务设备属于相同的网络安全域;和/或,
所述确定的云服务设备具有相同的性能数据采集频度;和/或,
所述确定的云服务设备属于相同的互联网数据中心。
7.一种云服务设备性能数据采集方法,包括:
定时调用管理服务器提供的第一程序接口,通过所述第一程序接口从所述管理服务器拉取与本地的服务器标识存在对应关系的配置数据;所述管理服务器用于管理分布式的代理服务器;所述配置数据由所述管理服务器从配置管理平台定时同步获得;
根据所述配置数据确定所监控的云服务设备;
从确定的云服务设备采集相应的性能数据;
将所述性能数据上报至存储服务器。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述配置数据确定所监控的性能数据类型;
所述从确定的云服务设备采集相应的性能数据包括:
按照所述性能数据类型从确定的云服务设备采集相应的性能数据。
9.根据权利要求7所述的方法,其特征在于,所述将所述性能数据上报至存储服务器包括:
调用所述存储服务器提供的用于上报性能数据的第二程序接口;
通过所述第二程序接口将所述性能数据上报至所述存储服务器。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述存储服务器将所述性能数据存入缓存;
所述存储服务器通过多个进程将所述缓存中的所述性能数据写入数据库中。
11.根据权利要求7所述的方法,其特征在于,所述从确定的云服务设备采集相应的性能数据包括:
当本地的代理服务器属于第一类代理服务器时,采用标准网络协议从确定的云服务设备采集相应的性能数据;
当本地的代理服务器属于第二类代理服务器时,根据所述配置数据从确定的云服务设备采集自定义类型的性能数据。
12.根据权利要求7所述的方法,其特征在于,所述确定的云服务设备属于相同的网络安全域;和/或,
所述确定的云服务设备具有相同的性能数据采集频度;和/或,
所述确定的云服务设备属于相同的互联网数据中心。
13.一种云服务设备性能数据采集装置,其特征在于,包括:
配置数据同步模块,用于定时调用管理服务器提供的第一程序接口,通过所述第一程序接口从所述管理服务器拉取与本地的服务器标识存在对应关系的配置数据;所述管理服务器用于管理分布式的代理服务器;所述配置数据由所述管理服务器从配置管理平台定时同步获得;
采集模块,用于根据所述配置数据确定所监控的云服务设备;从确定的云服务设备采集相应的性能数据;
上报模块,用于将所述性能数据上报至存储服务器。
14.根据权利要求13所述的装置,其特征在于,所述采集模块还用于当本地的代理服务器属于第一类代理服务器时,采用标准网络协议从确定的云服务设备采集相应的性能数据;当本地的代理服务器属于第二类代理服务器时,根据所述配置数据从确定的云服务设备采集自定义类型的性能数据。
15.根据权利要求13所述的装置,其特征在于,所述确定的云服务设备属于相同的网络安全域;和/或,
所述确定的云服务设备具有相同的性能数据采集频度;和/或,
所述确定的云服务设备属于相同的互联网数据中心。
CN201610471294.5A 2016-06-24 2016-06-24 云服务设备性能数据采集系统、方法和装置 Active CN107544837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610471294.5A CN107544837B (zh) 2016-06-24 2016-06-24 云服务设备性能数据采集系统、方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610471294.5A CN107544837B (zh) 2016-06-24 2016-06-24 云服务设备性能数据采集系统、方法和装置

Publications (2)

Publication Number Publication Date
CN107544837A true CN107544837A (zh) 2018-01-05
CN107544837B CN107544837B (zh) 2020-12-22

Family

ID=60960657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610471294.5A Active CN107544837B (zh) 2016-06-24 2016-06-24 云服务设备性能数据采集系统、方法和装置

Country Status (1)

Country Link
CN (1) CN107544837B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240608A (zh) * 2018-08-22 2019-01-18 郑州云海信息技术有限公司 一种配置信息同步方法及装置
CN110008101A (zh) * 2019-04-04 2019-07-12 网易(杭州)网络有限公司 客户端性能评价方法、装置、存储介质及电子设备
CN111290331A (zh) * 2020-03-25 2020-06-16 上海隧道工程有限公司 盾构施工数据的采集方法及其系统
CN112347170A (zh) * 2020-10-26 2021-02-09 深圳市汇川技术股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
WO2021184586A1 (zh) * 2020-03-18 2021-09-23 平安科技(深圳)有限公司 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质
CN113810340A (zh) * 2020-06-12 2021-12-17 腾讯科技(深圳)有限公司 数据上报方法、装置、设备及计算机可读存储介质
CN114143321A (zh) * 2021-11-26 2022-03-04 中国电信集团系统集成有限责任公司 一种基于跨idc环境的多租户应用配置分发系统
CN114449040A (zh) * 2022-01-28 2022-05-06 杭州迪普科技股份有限公司 基于云平台的配置下发方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131625A1 (en) * 2008-11-26 2010-05-27 Dehaan Michael Paul Systems and methods for remote network management having multi-node awareness
CN102404306A (zh) * 2010-09-19 2012-04-04 腾讯科技(深圳)有限公司 一种配置协议的方法及装置
US20130218547A1 (en) * 2008-02-13 2013-08-22 Quest Software, Inc. Systems and methods for analyzing performance of virtual environments
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN105187231A (zh) * 2015-07-15 2015-12-23 贵阳语玩科技有限公司 客户端拉取配置数据的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130218547A1 (en) * 2008-02-13 2013-08-22 Quest Software, Inc. Systems and methods for analyzing performance of virtual environments
US20100131625A1 (en) * 2008-11-26 2010-05-27 Dehaan Michael Paul Systems and methods for remote network management having multi-node awareness
CN102404306A (zh) * 2010-09-19 2012-04-04 腾讯科技(深圳)有限公司 一种配置协议的方法及装置
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN105187231A (zh) * 2015-07-15 2015-12-23 贵阳语玩科技有限公司 客户端拉取配置数据的方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240608A (zh) * 2018-08-22 2019-01-18 郑州云海信息技术有限公司 一种配置信息同步方法及装置
CN109240608B (zh) * 2018-08-22 2021-08-31 郑州云海信息技术有限公司 一种配置信息同步方法及装置
CN110008101A (zh) * 2019-04-04 2019-07-12 网易(杭州)网络有限公司 客户端性能评价方法、装置、存储介质及电子设备
WO2021184586A1 (zh) * 2020-03-18 2021-09-23 平安科技(深圳)有限公司 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质
CN111290331A (zh) * 2020-03-25 2020-06-16 上海隧道工程有限公司 盾构施工数据的采集方法及其系统
CN113810340A (zh) * 2020-06-12 2021-12-17 腾讯科技(深圳)有限公司 数据上报方法、装置、设备及计算机可读存储介质
CN113810340B (zh) * 2020-06-12 2024-04-09 腾讯科技(深圳)有限公司 数据上报方法、装置、设备及计算机可读存储介质
CN112347170A (zh) * 2020-10-26 2021-02-09 深圳市汇川技术股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN114143321A (zh) * 2021-11-26 2022-03-04 中国电信集团系统集成有限责任公司 一种基于跨idc环境的多租户应用配置分发系统
CN114143321B (zh) * 2021-11-26 2023-08-25 中电信数智科技有限公司 一种基于跨idc环境的多租户应用配置分发系统
CN114449040A (zh) * 2022-01-28 2022-05-06 杭州迪普科技股份有限公司 基于云平台的配置下发方法及装置
CN114449040B (zh) * 2022-01-28 2023-12-05 杭州迪普科技股份有限公司 基于云平台的配置下发方法及装置

Also Published As

Publication number Publication date
CN107544837B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN107544837A (zh) 云服务设备性能数据采集系统、方法和装置
WO2021017279A1 (zh) 基于Kubernetes和网络域的集群安全管理方法、装置及存储介质
WO2021017301A1 (zh) 基于Kubernetes集群的管理方法、装置及计算机可读存储介质
US10133591B2 (en) Network traffic data in virtualized environments
CN110865867B (zh) 应用拓扑关系发现的方法、装置和系统
CN103236949B (zh) 一种服务器集群的监控方法、装置与系统
US20190280949A1 (en) Monitoring distributed applications
CN111543038B (zh) 使用中间设备流拼接的网络流拼接
US9311160B2 (en) Elastic cloud networking
JP5093598B2 (ja) 制御中継プログラム、制御中継装置および制御中継方法
CN110659109B (zh) 一种openstack集群虚拟机监控系统及方法
CN113973079A (zh) 用于确定覆盖网络中的数据流路径的系统和方法
US20020161861A1 (en) Method and apparatus for configurable data collection on a computer network
CN109831318A (zh) 一种获取网络拓扑的系统、方法和服务器
CN109587264A (zh) 数据监控方法、装置及云平台服务器
CN103026660A (zh) 网络策略配置方法、管理设备以及网络管理中心设备
CN112134741A (zh) 分布式系统中的客户导向的联网限制
CN102820993A (zh) 网络资源监控系统和网络资源监控方法
US20140337471A1 (en) Migration assist system and migration assist method
JP2017524314A (ja) プログラマティックインターフェースに従ったルータ情報の提供
CN109547524A (zh) 基于物理网的用户行为存储方法、装置、设备及存储介质
CN108989089A (zh) 一种设备数据获取方法、设备及系统
CN109510878A (zh) 一种长连接会话保持方法和装置
Sventek et al. An information plane architecture supporting home network management
CN109639534A (zh) 一种测试网络传输性能的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant