CN109951320A - 一种面向云平台的可扩展多层次监控框架及其监控方法 - Google Patents

一种面向云平台的可扩展多层次监控框架及其监控方法 Download PDF

Info

Publication number
CN109951320A
CN109951320A CN201910136235.6A CN201910136235A CN109951320A CN 109951320 A CN109951320 A CN 109951320A CN 201910136235 A CN201910136235 A CN 201910136235A CN 109951320 A CN109951320 A CN 109951320A
Authority
CN
China
Prior art keywords
service
data
acquisition
performance
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910136235.6A
Other languages
English (en)
Inventor
应时
周全
王蕊
周慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910136235.6A priority Critical patent/CN109951320A/zh
Publication of CN109951320A publication Critical patent/CN109951320A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种面向云平台的可扩展多层次监控框架及其监控方法,包括用于管理云计算平台中所有被监控资源的全局数据采集管理服务,它将配置信息发送到局部数据采集管理服务,局部数据采集管理服务接收配置信息后,开启基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,各数据采集服务将采集的性能数据传输至局部数据存储服务中进行存储,局部数据存储服务每隔一定时间将性能数据传输至全局数据存储服务进行统一的存储管理。本发明可以实现对云平台中不同层次的应用服务、中间件和基础设施资源的监控,提供实时精确的监控数据,使云服务提供者和消费者第一时间了解系统性能,及时掌握整个系统的运行状态。

Description

一种面向云平台的可扩展多层次监控框架及其监控方法
技术领域
本发明涉及云计算技术领域,具体涉及一种面向云平台的可扩展多层次监控框架及其监控方法。
背景技术
云计算是一种新型的计算和服务模式,它基于分布式计算、并行计算、网格计算和虚拟化等技术,通过建立计算资源共享池,以按需付费的方式向用户提供广泛的计算、存储、数据库、分析、应用程序和部署等多种类型的云服务。根据NIST的定义,云计算可以提供多个不同层次的服务模式:基础设施即服务(Infrastructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)。
在云计算平台上,许多应用对于性能有严格的要求,为了更好地满足系统性能,云平台应根据需求的动态变化快速地调整资源的供给策略,因此,对云计算平台进行监控是十分必要的。
现有技术中,已有一些研究支持云计算平台的监控,DARGOS是一个分布式云平台资源管理监控框架,它为多租户云平台提供物理基础设施资源和虚拟资源的监控,但该框架无法满足大型应用场景中监控服务高度可扩展的需求。Ganglia可以监控CPU、内存、硬盘利用率、I/O负载、网络流量等,通过网页可以查看集群中节点的信息,但这是针对物理基础设施进行的监控,缺乏对云平台中应用服务的监控。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
现有的方法通常是针对物理基础设施进行的监控,缺乏对云平台中应用服务的监控,同时,监控方法缺乏可扩展性,无法适应不同的应用场景。
发明内容
有鉴于此,本发明提供了一种面向云平台的可扩展多层次监控框架及其监控方法,用以解决或者至少部分解决现有技术的方法存在无法对云平台中应用服务的监控,缺乏可扩展性、无法适应不同的应用场景的技术问题。
本发明第一方面提供了一种面向云平台的可扩展多层次监控框架,包括IaaS层、PaaS层和SaaS层,IaaS层包括基础设施数据采集服务,PaaS层包括全局数据采集管理服务、中间件数据采集服务和全局数据存储服务,SaaS层包括局部数据采集管理服务、应用数据采集服务和局部数据存储服务,
其中,所述局部数据采集管理服务,用于接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务;
所述基础设施数据采集服务,用于采集IaaS层上各个虚拟机节点的基础设施性能数据;
所述中间件数据采集服务,用于采集中间件产品的性能数据;
所述应用数据采集服务,用于采集应用服务的性能数据;
所述局部数据存储服务,其用于存储虚拟机节点的基础设施性能数据、中间件产品的性能数据和应用服务的性能数据,并将存储的各个性能数据发送至所述全局数据存储服务;
所述全局数据存储服务,用于对局部数据存储服务发送的各个性能数据进行统一的管理存储;
所述全局数据采集管理服务,用于管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
在一种实施方式中,所述局部数据采集管理服务位于虚拟机节点中,虚拟机节点的配置信息包括:采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
在一种实施方式中,所述基础设施数据采集服务位于虚拟机节点上,基础设施性能数据包括:虚拟机的基础性能数据,基础设施性能数据包括:虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小以及运行情况。
在一种实施方式中,所述全局数据存储服务还用于:
对外提供历史性数据和实时性能数据的查询接口。
在一种实施方式中,所述应用服务的性能数据包括:
应用服务的响应时间、吞吐量。
在一种实施方式中,所述局部数据存储服务还用于:
每隔预设时长将各个性能数据传输至全局数据存储服务进行统一的存储管理。
在一种实施方式中,配置信息包括:性能数据采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
基于同样的发明构思,本发明第二方面提供了一种第一方面所述的监控框架实现的监控方法,包括:
局部数据采集管理服务接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,以使基础设施数据采集服务采集IaaS层上各个虚拟机节点的基础设施性能数据,中间件数据采集服务采集中间件产品的性能数据,应用数据采集服务采集应用服务的性能数据;
局部数据存储服务接收基础设施数据采集服务、中间件数据采集服务和应用数据采集服务发送的性能数据,并进行存储,并将各个性能数据传输至全局数据存储服务进行统一的存储管理;
全局数据采集管理服务管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
在一种实施方式中,根据所述配置信息启动对应的采集服务,包括:
局部数据采集管理服务根据接收的IaaS上虚拟机的配置信息,开启基础设施数据采集服务;
局部数据采集管理服务根据接收的PaaS层上中间件的配置信息,开启中间件数据采集服务;
局部数据采集管理服务根据接收的SaaS层上应用的配置信息,开启应用数据采集服务。
在一种实施方式中,所述方法还包括:所述中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供一种面向云平台的可扩展多层次监控框架包括用于管理云计算平台中所有被监控资源的全局数据采集管理服务,它将配置信息发送到局部数据采集管理服务,局部数据采集管理服务接收全局数据采集服务的配置信息,开启基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,各数据采集服务将采集的性能数据传输至局部数据存储服务中进行存储,局部数据存储服务将性能数据传输至全局数据存储服务进行统一的存储管理,最后由全局数据采集管理服务从全局数据存储服务中获取性能数据,对性能数据进行评估,根据预设监控策略来调整监控采集的时间间隔。
本发明提供的监控框架及监控方法不仅可以对物理基础设施进行的监控,还可以对云平台中应用服务进行监控。还可以通过增加新的监控流程和执行新的监控运行环境进行横向扩展,在功能不变的情况下提供系统的性能和扩大用户的支持规模的纵向扩展的技术效果,可以应用于多种应用环境。本发明可以实现对云平台中不同层次的应用服务、中间件和基础设施资源的监控,提供实时精确的监控数据,使云服务提供者和消费者第一时间了解系统性能,及时掌握整个系统的运行状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中面向云平台的可扩展多层次监控框架的结构框图;
图2是本发明实施例中面向云平台的可扩展多层次监控框架的技术实施图;
图3是本发明实施例中面向云平台的可扩展多层次监控框架的应用示例图;
图4为本发明实施例中面向云平台的可扩展多层次监控方法的流程图。
图5是本发明实施例中面向云平台的可扩展多层次监控框架的时序图。
具体实施方式
本发明的目的在于提供一种面向云平台的可扩展多层次监控框架及其监控方法,用以改善现有技术的方法存在无法对云平台中应用服务的监控,缺乏可扩展性、无法适应不同的应用场景的技术问题。
本发明的主要构思如下:
提供了本发明提供了一种面向云平台的可扩展多层次监控框:SHMA。SHMA采用微服务架构构建监控框架及其监控方法中各个相互独立的服务组件,包括用于管理云计算平台中配置信息的全局数据采集管理服务,它将相关配置信息发送到局部数据采集管理服务,局部数据采集管理服务接收全局数据采集服务的配置信息后,开启对应的基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,各数据采集服务将采集的性能数据传输至局部数据存储服务中进行存储,局部数据存储服务每隔一定时间将性能数据传输至全局数据存储服务进行统一的存储管理。通过全局数据采集管理服务从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例提供了一种面向云平台的可扩展多层次监控框架,请参见图1,该监控框架包括:IaaS层、PaaS层和SaaS层,IaaS层包括基础设施数据采集服务,PaaS层包括全局数据采集管理服务、中间件数据采集服务和全局数据存储服务,SaaS层包括局部数据采集管理服务、应用数据采集服务和局部数据存储服务,
其中,所述局部数据采集管理服务,用于接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务;
所述基础设施数据采集服务,用于采集IaaS层上各个虚拟机节点的基础设施性能数据;
所述中间件数据采集服务,用于采集中间件产品的性能数据;
所述应用数据采集服务,用于采集应用服务的性能数据;
所述局部数据存储服务,其用于存储虚拟机节点的基础设施性能数据、中间件产品的性能数据和应用服务的性能数据,并将存储的各个性能数据发送至所述全局数据存储服务;
所述全局数据存储服务,用于对局部数据存储服务发送的各个性能数据进行统一的管理存储;
所述全局数据采集管理服务,用于管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
具体来说,本申请发明人通过大量的研究和实验发现:在云计算平台中,不同的资源分布在不同的层次上,硬件资源分布在IaaS层,中间件资源分布在PaaS层,应用服务资源分布在SaaS层,在运行过程中,各层资源都会对系统性能产生影响,单独监控某一层次上的资源不能全面地展示系统的性能特征,因此监控服务需要采取多层次的监控方法对云平台三个层次上的资源进行全面的监控。此外,云计算环境中的资源可能随时加入或离开,这使得云平台上的资源具有动态性、多样性和规模巨大的特点,这就要求监控必须具有良好的可扩展性。因而,本发明提出了一种面向云平台的可扩展多层次监控框架SHMA。
全局数据采集管理服务,其用于管理云计算平台中所有被监控的资源。所述局部数据采集管理服务,其用于管理虚拟机节点上的被监控资源。所述中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。
在一种实施方式中,所述局部数据采集管理服务位于虚拟机节点中,虚拟机节点的配置信息包括:采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
具体来说,局部数据采集管理服务位于每个虚拟机节点中,接收全局数据采集管理服务对该虚拟机节点上被监控资源的配置信息,管理该虚拟机上资源的性能数据采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
在一种实施方式中,所述基础设施数据采集服务位于虚拟机节点上,基础设施性能数据包括:虚拟机的基础性能数据,基础设施性能数据包括:虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小以及运行情况。
具体来说,运行时的情况包括CPU利用率、内存使用率、磁盘读写速率、网络速率等。
在一种实施方式中,所述全局数据存储服务还用于:
对外提供历史性数据和实时性能数据的查询接口。
具体来说,所述全局数据存储服务可以提供持久化的数据存储接口,接收来自SaaS层中局部数据存储服务存储的每个虚拟机节点上的性能监控数据,对性能数据进行统一的管理存储,并对外提供历史性能数据和实时性能数据的查询接口。
在一种实施方式中,所述应用服务的性能数据包括:
应用服务的响应时间、吞吐量。
具体来说,应用数据采集服务根据局部数据采集管理服务的定义按规定的预设时间间隔自动采集应用服务的响应时间、吞吐量等性能指标。
在一种实施方式中,所述局部数据存储服务还用于:
每隔预设时长将各个性能数据传输至全局数据存储服务进行统一的存储管理。
在具体的实施过程中,局部数据存储服务以一个虚拟机为单位,应用数据采集服务、中间件数据采集服务和基础设施数据采集服务监控到的性能数据首先传输到局部数据存储服务中进行存储,然后每隔预设时长再传输至全局存储服务进行存储。预设时长可以根据实际情况进行设置,例如10ms、100sm、10s等等。
在一种实施方式中,配置信息包括:性能数据采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
具体来说,所述全局数据采集管理服务是整个监控框架的核心服务,其用于管理云计算平台中所有被监控的资源的配置信息,包括被监控的虚拟机节点的IP地址、采集服务名称、被监控资源类别、被监控资源名称、采集时间间隔、监控性能指标。
在具体实现时,图1所示的面向云平台的可扩展多层次监控框架可以通过下述方式进行搭建:IaaS层的基础设施数据采集服务,负责收集IaaS层上各个虚拟机的基础性能数据,包括虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小,还有运行时的情况如CPU利用率、内存使用率、磁盘读写速率、网络速率。PaaS层的全局数据采集管理服务、全局数据存储服务、中间件数据采集服务,全局数据采集管理服务负责管理云平台中所有被监控的资源,配置被监控的虚拟机节点的IP地址、采集服务名称、被监控资源类别、被监控资源名称、采集时间间隔、监控性能指标;局部数据存储服务提供持久化数据存储服务接口,接收来自SaaS层中局部数据存储服务存储的每个虚拟机节点上的性能监控数据,对性能数据进行统一的管理存储,并对外提供历史性能数据和实时性能数据的查询接口;中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。SaaS层的应用数据采集服务、局部数据采集管理服务、局部数据存储服务,应用数据采集服务根据局部数据采集管理服务的定义按规定的时间间隔调用性能监控接口自动采集应用服务的响应时间、吞吐量等性能指标;局部数据采集管理服务以一个虚拟机为单位存储性能数据,每隔一定时间再将数据传输至全局数据存储服务中进行存储;局部数据采集管理服务管理该虚拟机节点上的被监控资源的性能数据采集器名称、数据采集方法、采集时间间隔和采集性能指标。
如图2所示,本发明实施例提供的监控框架,采用如下技术来满足云平台的不同监控需求:
局部/全局数据采集管理服务
XML(Extensible Markup Language)是一种可扩展标记语言,具有平台无关性,语言无关性,系统无关性,被广泛作为跨平台之间交互数据的形式,本发明采用表1所示的XML格式对全局数据采集管理服务进行资源配置,并按虚拟机节点将XML配置文件发布到局部数据采集管理服务。
基础设施数据采集服务
在框架实现中,本发明使用跨平台收集系统资源的类库Sigar(SystemInformation Gatherer and Report),通过这个本地类库,本发明可以收集云计算平台中虚拟机的资源信息,包括虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小,还有运行时的情况如CPU利用率、内存使用率、磁盘读写速率、网络速率等。
中间件数据采集服务
对于不同的中间件本发明需要使用不同的监控方法和技术实现性能数据的采集。例如通过Mysql性能查询服务获取Mysql服务器运行的线程数、TPS(每秒事务量)、QPS(每秒Query量)等各种状态值,通过Tomcat性能监控服务获取Tomcat的请求数、网络流量、线程数、平均处理时间等各种参数。
应用数据采集服务
目前,本发明在云平台上的部分服务运行在Java虚拟机(JVM)上,所以JVM的运行状态对服务的质量十分重要,因此,本发明使用JVM Tool Interface(JVM TI)实现对JVM的运行状态和运行在JVM上应用状态的监控。基于Servlet容器的Filter拦截器可以对客户请求进行拦截处理,处理完成后将请求转发给下一个过滤器处理。请求在过滤链里逐个处理,直到最后一个过滤器处理完成。另一种常用的拦截技术是面向切面技术(Aspect OrientedProgramming,即AOP),AOP采用动态代理技术在运行期动态生成代理类,将切面织入到代理类中实现监控,对软件系统性能影响小。通过以上技术本发明可以收集应用服务的性能监控数据。
全局/局部数据存储服务
发布/订阅模式是指事件发布者向服务器发送事件,事件订阅者订阅感兴趣事件。Kafka是一种高吞吐量的分布式发布订阅消息系统,为处理实时数据提供一个统一、高通量、低等待的平台。各个数据采集服务监控到的性能数据通过Kafka发布,数据存储服务订阅相关性能数据进行存储管理。
本发明所述监控框架及其监控方法具有以下特性。
基于云平台:
根据NIST的定义,云计算可以提供多个不同层次的服务模式。基础设施即服务(Infrastructure as a Service,IaaS):该模式的云服务提供计算、存储、网络和其他基本资源,消费者通过租用这些资源能够在上面部署和运行任意软件,包括操作系统和应用程序。平台即服务(Platform as a Service,PaaS):该模式的云服务将软件研发的平台作为一种服务提供给消费者,消费者可以集中于应用程序的部署和管理,无须管理底层基础设施。软件即服务(Software as a Service,SaaS):该模式的云服务将应用程序作为一种服务提供给消费者,消费者不需要维护应用服务和管理底层基础设施即可使用SaaS产品。本发明所述监控框架及其监控方法能够监控云平台中的各种资源,包括IaaS层的基础设施性能数据(如CPU、内存、硬盘、网络的使用情况)、PaaS层运行的各种中间件产品的性能指标以及SaaS层应用服务的性能指标(如响应时间、吞吐量等)。
多层次
根据云计算平台的IaaS、PaaS和SaaS三个层次,本发明所述监控框架及其监控方法也对应地分为三个层次进行监控,提供三个层次的监控服务,包括IaaS层的基础设施数据采集服务、PaaS层的全局数据管理服务、中间件数据采集服务、全局数据存储服务,以及SaaS层的局部数据采集管理服务、应用数据采集服务和局部数据存储服务。
所述基础设施数据采集服务位于虚拟机节点上,负责采集IaaS层上各虚拟机的基础性能数据,包括虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小,还有运行时的情况如CPU利用率、内存使用率、磁盘读写速率、网络速率。
所述全局数据采集管理服务是SHMA监控的核心服务,其用于管理云计算平台中所有被监控的资源,包括被监控的虚拟机节点的IP地址、采集服务名称、被监控资源类别、被监控资源名称、采集时间间隔、监控性能指标,如下所示:
表1数据管理服务配置
所述中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。
所述全局数据存储服务可以提供持久化的数据存储接口,接收来自SaaS层中局部数据存储服务存储的每个虚拟机节点上的性能监控数据,对性能数据进行统一的管理存储,并对外提供历史性能数据和实时性能数据的查询接口,性能数据按JSON数据格式如下表2所示:
表2 JSON性能数据
所述局部数据采集管理服务位于每个虚拟机节点中,接收全局数据采集管理服务对该虚拟机节点上被监控资源的配置信息,管理该虚拟机上资源的性能数据采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
所述应用数据采集服务根据局部数据采集管理服务的定义按规定的时间间隔自动采集应用服务的响应时间、吞吐量等性能指标。
所述局部数据存储服务以一个虚拟机为单位,应用数据采集服务、中间件数据采集服务和基础设施数据采集服务监控到的性能数据首先传输到局部数据存储服务中进行存储,每隔一定时间再传输至全局存储服务进行存储。
为了更好地说明本发明的监控框架,对某综合减灾空间信息服务应用系统进行案例部署和研究。云计算平台的环境由1台服务器作为管理节点、7台服务器作为计算节点组成。管理节点是DELL PowerEdge M630,它有2个6核E5-2609v3处理器,1.9GHz,15M缓存,64GDDR4内存,2块300G 10K 2.5``SAS硬盘。计算节点是DELL PowerEdge M630,2个8核XeonE5-2640v3处理器,2.6GHz,20M缓存,128G DDR4内存,2块300G 10K 2.5``SAS硬盘。这些硬件设备之间通过万兆网卡相连,本发明在这些硬件设备上安装了CloudStack IaaS平台。在云平台上,本发明部署了某综合减灾空间信息服务应用系统,该应用系统的目标是从空间和时间的维度可视化自然灾害的风险和损失,为各项灾害管理工作各阶段提供直观的信息,并提供产品、技术、决策等服务,保障了防灾减灾工作的有效进行。该应用系统采用面向服务的体系架构(SOA),包含一系列具有独立功能的Web组件。本发明将本文提出的监控框架应用到在这个系统所在的云平台中,如图3所示,对运行在云计算平台中各个层次上的资源进行监控。
在本应用案例中,需要被监控的资源包括IaaS层的虚拟机节点A—F,PaaS层中的Mysql、Tomcat、ActiveMQ、FileZilla等中间件,SaaS层中的影像数据接入服务、数据预处理服务、业务运行管理、信息提取等服务。首先按表1所示的内容向全局数据采集管理服务注册需要被监控资源的信息,各个虚拟机节点上的局部数据采集管理服务接收全局数据管理服务的配置信息,开启基础设施数据采集服务采集虚拟机节点A—F的CPU、内存、磁盘和网络的使用情况,开启各中间件数据采集服务采集Mysql的线程数,tomcat的JVM空闲内存、请求总数和线程数等,开启各个应用数据采集服务采集应用服务的响应时间、吞吐量。局部数据存储服务接收该虚拟机节点上监控的性能数据,每隔一定时间将性能数据传输至全局数据存储服务中进行统一的存储管理。
总体来说,本发明可以实现对云平台中不同层次的应用服务、中间件和基础设施资源的监控,提供实时精确的监控数据,使云服务提供者和消费者第一时间了解系统性能,及时掌握整个系统的运行状态。
基于同一发明构思,本申请还提供了基于实施例一中面向云平台的可扩展多层次监控框架实现的监控方法,详见实施例二。
实施例二
本实施例提供了一种面向云平台的可扩展多层次监控框架实现的监控方法,请参见图4,该方法包括:
步骤S201:局部数据采集管理服务接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,以使基础设施数据采集服务采集IaaS层上各个虚拟机节点的基础设施性能数据,中间件数据采集服务采集中间件产品的性能数据,应用数据采集服务采集应用服务的性能数据;
步骤S202:局部数据存储服务接收基础设施数据采集服务、中间件数据采集服务和应用数据采集服务发送的性能数据,并进行存储,并将各个性能数据传输至全局数据存储服务进行统一的存储管理;
步骤S203:全局数据采集管理服务管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
具体地,请参见图5,为本发明实施例中面向云平台的可扩展多层次监控框架的时序图。本发明中的监控方法可以细化为如下过程:
步骤1:全局数据采集管理服务将各虚拟机节点上被监控资源的配置信息发送到局部数据采集管理服务;
步骤2:局部数据采集管理服务接收全局数据采集管理服务的配置信息,开启基础设施数据采集、中间件数据采集服务和应用数据采集服务;
步骤3:局部数据存储服务接收基础设施数据采集服务、中间件数据采集服务和应用数据采集服务监控的性能数据,并进行存储;
步骤4:局部数据存储服务每隔一定时间将性能数据传输至全局数据存储服务进行统一的存储管理;
步骤5:全局数据采集管理服务从全局数据存储服务中获取性能数据,对性能数据进行评估,根据预先定义的监控策略来调整监控采集的时间间隔。
在一种实施方式中,步骤S201中根据所述配置信息启动对应的采集服务,包括:
局部数据采集管理服务根据接收的IaaS上虚拟机的配置信息,开启基础设施数据采集服务;
局部数据采集管理服务根据接收的PaaS层上中间件的配置信息,开启中间件数据采集服务;
局部数据采集管理服务根据接收的SaaS层上应用的配置信息,开启应用数据采集服务。
在一种实施方式中,所述方法还包括:所述中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。
由于本发明实施例二所介绍的监控方法,为基于本发明实施例一中的监控框架所实现的方法,故而基于本发明实施例一所介绍的监控框架,本领域所属人员能够了解该方法的具体实施过程,故而在此不再赘述。凡是本发明实施例一的监控框架所实现的方法都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种面向云平台的可扩展多层次监控框架,其特征在于,包括IaaS层、PaaS层和SaaS层,IaaS层包括基础设施数据采集服务,PaaS层包括全局数据采集管理服务、中间件数据采集服务和全局数据存储服务,SaaS层包括局部数据采集管理服务、应用数据采集服务和局部数据存储服务,
其中,所述局部数据采集管理服务,用于接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务;
所述基础设施数据采集服务,用于采集IaaS层上各个虚拟机节点的基础设施性能数据;
所述中间件数据采集服务,用于采集中间件产品的性能数据;
所述应用数据采集服务,用于采集应用服务的性能数据;
所述局部数据存储服务,其用于存储虚拟机节点的基础设施性能数据、中间件产品的性能数据和应用服务的性能数据,并将存储的各个性能数据发送至所述全局数据存储服务;
所述全局数据存储服务,用于对局部数据存储服务发送的各个性能数据进行统一的管理存储;
所述全局数据采集管理服务,用于管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
2.如权利要求1所述的监控框架,其特征在于,所述局部数据采集管理服务位于虚拟机节点中,虚拟机节点的配置信息包括:采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
3.如权利要求1所述的监控框架,其特征在于,所述基础设施数据采集服务位于虚拟机节点上,基础设施性能数据包括:虚拟机的基础性能数据,基础设施性能数据包括:虚拟机的基本信息如CPU核数、内存大小、磁盘空间大小以及运行情况。
4.如权利要求1所述的监控框架,其特征在于,所述全局数据存储服务还用于:
对外提供历史性数据和实时性能数据的查询接口。
5.如权利要求1所述的监控框架,其特征在于,所述应用服务的性能数据包括:
应用服务的响应时间、吞吐量。
6.如权利要求1所述的监控框架,其特征在于,所述局部数据存储服务还用于:
每隔预设时长将各个性能数据传输至全局数据存储服务进行统一的存储管理。
7.如权利要求1所述的监控框架,其特征在于,配置信息包括:性能数据采集器的名称、数据采集方法、采集时间间隔和采集性能指标。
8.一种基于权利要求1至7任一项权利要求所述的监控框架实现的监控方法,其特征在于,包括:
局部数据采集管理服务接收全局数据采集管理服务发送的虚拟机节点的配置信息,并根据所述配置信息启动对应的采集服务,其中,对应的采集服务包括基础设施数据采集服务、中间件数据采集服务和应用数据采集服务,以使基础设施数据采集服务采集IaaS层上各个虚拟机节点的基础设施性能数据,中间件数据采集服务采集中间件产品的性能数据,应用数据采集服务采集应用服务的性能数据;
局部数据存储服务接收基础设施数据采集服务、中间件数据采集服务和应用数据采集服务发送的性能数据,并进行存储,并将各个性能数据传输至全局数据存储服务进行统一的存储管理;
全局数据采集管理服务管理IaaS层上的虚拟机节点的配置信息,发送至局部数据采集管理服务,其中,所述配置信息包括采集时间间隔,并从全局数据存储服务中获取对应的性能数据后,对性能数据进行评估,根据预设监控策略调整采集时间间隔。
9.如权利要求8所述的方法,其特征在于,根据所述配置信息启动对应的采集服务,包括:
局部数据采集管理服务根据接收的IaaS上虚拟机的配置信息,开启基础设施数据采集服务;
局部数据采集管理服务根据接收的PaaS层上中间件的配置信息,开启中间件数据采集服务;
局部数据采集管理服务根据接收的SaaS层上应用的配置信息,开启应用数据采集服务。
10.如权利要求8所述的方法,其特征在于,所述方法还包括:所述中间件数据采集服务根据局部数据采集管理服务的定义采集中间件产品的性能数据。
CN201910136235.6A 2019-02-25 2019-02-25 一种面向云平台的可扩展多层次监控框架及其监控方法 Pending CN109951320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910136235.6A CN109951320A (zh) 2019-02-25 2019-02-25 一种面向云平台的可扩展多层次监控框架及其监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910136235.6A CN109951320A (zh) 2019-02-25 2019-02-25 一种面向云平台的可扩展多层次监控框架及其监控方法

Publications (1)

Publication Number Publication Date
CN109951320A true CN109951320A (zh) 2019-06-28

Family

ID=67007998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910136235.6A Pending CN109951320A (zh) 2019-02-25 2019-02-25 一种面向云平台的可扩展多层次监控框架及其监控方法

Country Status (1)

Country Link
CN (1) CN109951320A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958158A (zh) * 2019-11-22 2020-04-03 江苏百倍云信息科技有限公司 一种物联网平台通信测评方法
CN111049915A (zh) * 2019-12-17 2020-04-21 书行科技(北京)有限公司 一种容器云下消息队列代理网格及方法
CN111818310A (zh) * 2020-08-12 2020-10-23 创意信息技术股份有限公司 公共安全管理平台
CN112035442A (zh) * 2020-09-02 2020-12-04 南京星邺汇捷网络科技有限公司 一种基于大数据的动态cmdb自动关联方法
CN115174158A (zh) * 2022-06-14 2022-10-11 阿里云计算有限公司 基于多云管理平台的云产品配置检查方法
CN116069584A (zh) * 2021-10-29 2023-05-05 慧与发展有限责任合伙企业 将监控服务扩展到可信云运营商域中

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970164A (zh) * 2012-11-20 2013-03-13 无锡成电科大科技发展有限公司 一种云平台管理监控系统及方法
US20140123325A1 (en) * 2012-11-26 2014-05-01 Elwha Llc Methods and systems for managing data and/or services for devices
CN105847423A (zh) * 2016-05-16 2016-08-10 国网江苏省电力公司信息通信分公司 一种实现统一安全监控与管理的云平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970164A (zh) * 2012-11-20 2013-03-13 无锡成电科大科技发展有限公司 一种云平台管理监控系统及方法
US20140123325A1 (en) * 2012-11-26 2014-05-01 Elwha Llc Methods and systems for managing data and/or services for devices
CN105847423A (zh) * 2016-05-16 2016-08-10 国网江苏省电力公司信息通信分公司 一种实现统一安全监控与管理的云平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈林,应时,贾向阳: ""SHMA_一种云平台的监控框架"", 《计算机科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958158A (zh) * 2019-11-22 2020-04-03 江苏百倍云信息科技有限公司 一种物联网平台通信测评方法
CN110958158B (zh) * 2019-11-22 2022-02-25 百倍云(无锡)智能装备有限公司 一种物联网平台通信测评方法
CN111049915A (zh) * 2019-12-17 2020-04-21 书行科技(北京)有限公司 一种容器云下消息队列代理网格及方法
CN111818310A (zh) * 2020-08-12 2020-10-23 创意信息技术股份有限公司 公共安全管理平台
CN112035442A (zh) * 2020-09-02 2020-12-04 南京星邺汇捷网络科技有限公司 一种基于大数据的动态cmdb自动关联方法
CN116069584A (zh) * 2021-10-29 2023-05-05 慧与发展有限责任合伙企业 将监控服务扩展到可信云运营商域中
CN115174158A (zh) * 2022-06-14 2022-10-11 阿里云计算有限公司 基于多云管理平台的云产品配置检查方法
CN115174158B (zh) * 2022-06-14 2024-04-16 阿里云计算有限公司 基于多云管理平台的云产品配置检查方法

Similar Documents

Publication Publication Date Title
CN109951320A (zh) 一种面向云平台的可扩展多层次监控框架及其监控方法
CN105224445B (zh) 分布式跟踪系统
US10177999B2 (en) System and method for real-time visualization of website performance data
US9491248B2 (en) Real-time analytics of web performance using actual user measurements
US10067850B2 (en) Load test charts with standard deviation and percentile statistics
CN105338061B (zh) 一种轻量级消息中间件的实现方法与系统
CN102971724B (zh) 与数据中心环境内的基于单元式虚拟资源的管理有关的方法和装置
CN102880503B (zh) 数据分析系统及数据分析方法
US9436579B2 (en) Real-time, multi-tier load test results aggregation
US11171849B2 (en) Collecting samples hierarchically in a datacenter
CN105871957B (zh) 监控框架设计方法和监控服务器、代理单元、中控服务器
CN108920948A (zh) 一种反欺诈流式计算装置及方法
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN108241722A (zh) 一种数据处理系统、方法及装置
CN108696400A (zh) 网络监测方法和装置
US20210096981A1 (en) Identifying differences in resource usage across different versions of a software application
CN107370796A (zh) 一种基于Hyper TF的智能学习系统
CN105683918A (zh) 分布式系统中的集中式联网配置
US20230222004A1 (en) Data locality for big data on kubernetes
CN106502856B (zh) 一种信息处理方法及装置
CN107480189A (zh) 一种多维度实时分析系统及方法
Quaresma et al. Controlling garbage collection and request admission to improve performance of faas applications
CN109005071A (zh) 一种决策部署方法和调度设备
Cernuda et al. Hflow: A dynamic and elastic multi-layered i/o forwarder
Brim et al. Monitoring extreme-scale Lustre toolkit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628