CN102347869B - 设备性能监控的方法、装置和系统 - Google Patents

设备性能监控的方法、装置和系统 Download PDF

Info

Publication number
CN102347869B
CN102347869B CN201010241290.0A CN201010241290A CN102347869B CN 102347869 B CN102347869 B CN 102347869B CN 201010241290 A CN201010241290 A CN 201010241290A CN 102347869 B CN102347869 B CN 102347869B
Authority
CN
China
Prior art keywords
monitoring
data
monitoring data
monitored equipment
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010241290.0A
Other languages
English (en)
Other versions
CN102347869A (zh
Inventor
胡东科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201010241290.0A priority Critical patent/CN102347869B/zh
Publication of CN102347869A publication Critical patent/CN102347869A/zh
Priority to HK12104271.8A priority patent/HK1163965A1/zh
Application granted granted Critical
Publication of CN102347869B publication Critical patent/CN102347869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种设备性能监控的方法、装置和系统,该方法包括:接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图。本申请中通过分布式数据库和主数据库共同进行监控,降低了数据库的要求。

Description

设备性能监控的方法、装置和系统
技术领域
本申请涉及通信领域,尤其涉及一种设备性能监控的方法、装置和系统。
背景技术
随着计算机在各公司及企业中的大量应用,如何保证大规模设备的稳定运行,例如服务器设备的稳定运行是一件极其重要的事情。现有技术中通过监控与观察设备的运行趋势,并及时做出故障、扩容、采购等的预判,保证设备的稳定运行。但是,所有设备的性能数据会随着时间的推进而持续不断的增加,如何对这些大批量的数据进行合理的处理,而且又能反映出设备的运行趋势,是急需解决的关键问题。
现有技术中提供的监控方案包括Cacti和RRD(Round Robin Database,环状数据库)Tool(工具),Cacti是一套PHP(Hypertext Preprocessor,超级文本预处理语言)程序,它运用snmpget采集数据,使用RRD Tool进行类似的算法完成数据的归并和绘图,需根据自身业务配置参数,在数据存储上采用了文件存储的方式。但是,由于该方案采用文件方式存储,当被监控设备的规模较大时,例如被监控设备的数量达到几万甚至几十万台时,需要存储大量的数据文件和图像文件,对存储设备的要求较大。
发明内容
本申请提供一种设备性能监控的方法、装置和系统,通过分布式数据库和主数据库共同进行监控,降低了数据库的要求。
本申请实施例提供一种设备性能监控的方法,包括:
接收配置界面下发的被监控设备的监控策略;
根据所述监控策略生成监控项;
在主数据库中配置与所述监控项对应的数据存储空间;
根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
根据所述数据存储空间存储的数据生成性能图。
本申请实施例提供一种设备性能监控的装置,包括:
接收单元,用于接收配置界面下发的被监控设备的监控策略;
监控项生成单元,用于根据所述接收单元接收的监控策略生成监控项;
配置单元,用于在主数据库中配置与所述监控项对应的数据存储空间;
数据获得单元,用于根据所述监控项查找与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
数据处理单元,用于将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
生成单元,用于根据所述数据存储空间存储的数据生成性能图。
本申请实施例提供一种设备性能监控的系统,包括被监控设备、分布式数据库服务器、以及主数据库服务器,其中,
所述分布式数据库服务器,设有分布式数据库,用于存储被监控设备的监控数据;
所述主数据库服务器,设有主数据库,用于接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图。
本申请实施例提供一种设备性能监控的方法,包括以下步骤:
将被监控设备的监控数据存储于分布式数据库中;
接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图。
与现有技术相比,本申请至少具有以下优点:
通过配置界面向数据库下发被监控设备的监控策略,根据该监控策略生成监控项,在数据库中配置与监控项对应的数据存储空间;在分布式数据库中存储被监控设备的监控数据,从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图;由于监控策略是由配置界面下发的,因而用户可以根据需要通过配置界面灵活控制监控策略,并且由于被监控设备的监控数据存储到分布式数据库中,因此降低了数据库的要求。
附图说明
为了更清楚地说明本申请的实施例或现有技术中的技术方案,下面将对本申请的实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的设备性能监控的系统的示意图;
图2是本申请实施例一提供的设备性能监控的方法的流程示意图;
图3是本申请实施例二中数据库设计示意图;
图4是本申请实施例二中CPU性能图的配置信息示意图;
图5是本申请实施例二中环状数据存储示意图;
图6-8所示为本申请实施例提供的监控系统得到的性能图曲线的示例;
图9是本申请实施例三提供的设备性能监控的装置的结构示意图;
图10是本申请实施例四提供的设备性能监控的系统中主数据库的结构示意图;
图11是本申请实施例五提供的设备性能监控的方法的流程示意图。
具体实施方式
下面将结合本申请的实施例中的附图,对本申请的实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请的实施例保护的范围。
本发明实施例提供的设备性能监控的系统,包括多个被监控设备、与各被监控设备对应的分布式数据库(例如一个被监控设备对应一个分布式数据库或者几个被监控设备对应一个分布式数据库)、以及主数据库。如图1所示,各分布式数据库分别配置于分布式数据库服务器内,主数据库配置于主数据库服务器内。各被监控设备的监控数据分别存储到其对应的分布式数据库内,主数据库内存储有被监控设备与分布式数据库的对应关系,主数据库从分布式数据库获取被监控设备的监控数据进行归并处理并存储归并处理的结果。
实施例一
本申请实施例一提供一种设备性能监控的方法,如图2所示,该方法包括以下步骤:
步骤101,接收配置界面下发的被监控设备的监控策略;
具体地,配置界面可以为web页面,用户通过该web页面为被监控设备选择监控策略,然后下发到主数据库;
步骤102,根据所述监控策略生成监控项。该监控项纪录了被监控设备与性能图的对应关系;
步骤103,在主数据库中配置与所述监控项对应的数据存储空间;
该数据存储空间用以存储主数据库在执行监控项时所需要获取、处理的对应的被监控设备的监控数据以及处理的结果。
步骤104,根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
本申请实施例中,被监控设备的监控数据存储到分布式数据库。主数据库内存储被监控设备与分布式数据库的对应关系,根据该对应关系查找特定被监控设备对应的分布式数据库。
监控项记录被监控设备与性能图的对应关系,主数据库根据监控项查找与被监控设备对应的分布式数据库,并根据监控项所标识的性能图的时间段定义从分布式数据库中获得时间段内被监控设备的监控数据。
步骤105,将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
由于性能图上的性能曲线具有时间跨度,例如一天或者一周,因此主数据库中存储的归并处理的值通常是预先设定的有限个数。当超过该个数时,主数据库就需要使用新得到的归并处理的值替换最早得到的归并处理的值,依次循环使主数据库内始终保持有限个数的归并处理的值,也即主数据库需要使用当前归并处理得到的值替换配置的时间长度之前归并处理得到的值,该时间长度为性能图上性能曲线的时间跨度。
主数据库还获得监控数据的开始时间和结束时间(开始接收该监控数据的时间和接收完成的时间),如果监控数据的开始时间和结束时间属于同一时间段,则该监控数据属于该时间段,在该时间段内使用该监控数据进行归并处理;如果监控数据的开始时间和结束时间属于不同时间段,则主数据库需要根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。例如,如果时间段为0s~10s、10s~20s,则开始时间和结束时间为8s和12s的监控数据的值为5就需要进行拆分处理,例如用5乘以(10-8)的结果作为8s~10s时间段的累计值,用5乘以(12-10)的结果作为10s~12s时间段的累计值,进而使用累计值与时间段内的其他值进行归并处理。
步骤106,根据所述数据存储空间存储的数据生成性能图。
本申请实施例提供的方法中,通过配置界面向主数据库下发被监控设备的监控策略,根据该监控策略生成监控项,在主数据库中配置与监控项对应的数据存储空间;在分布式数据库中存储被监控设备的监控数据,从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图;由于监控策略是由配置界面下发的,因而用户可以根据需要通过配置界面灵活控制监控策略,并且由于被监控设备的监控数据存储到分布式数据库中,因此降低了数据库的要求。
实施例二
本申请实施例二提供一种设备性能监控的方法,主要包括数据库设计和数据归并处理部分。
首先介绍本申请实施例中的数据库设计,该数据库设计具体指的是实施例一中的主数据库的设计。如图3所示,数据库设计包括性能图配置、设备监控项配置和数据存储配置。其中,性能图配置主要包括性能图定义(表rrd)、性能曲线定义(表rrd_ds)和时间段定义(表rrd_arc)三部分。如图3所示,性能图定义包括性能图id(用以标识该性能图)、性能图名称、单位、约定数据的时间间隔及空值时的默认值。性能曲线定义包括曲线id(用以标识该曲线定义)、rrd_id(标识该曲线所属的性能图)、曲线名称、计算类型、两次数据的最大时间间隔限制、最大值限制以及最小值限制。时间段定义包括arc_id(用以标识该时间段定义)取值类型、空值所在比率限制、时间间隔数及存放的数据量。为了关联时间段定义和性能图定义,在rrd_arc_rel中存储rrd_id与arc_id的对应关系。其中,考虑到性能曲线基本没共用性,所以每个性能图定义直接对应一个或多个性能曲线。但时间段一般都可共用,所以在设计上采用中间表关联的方式,每个性能图定义对应一个或多个时间段。通过性能图配置,定义了性能图、性能图中的曲线以及该性能图中的时间段。
上述性能图定义、性能曲线定义和时间段定义完成后,用户可以通过配置界面进行具体的性能图配置。以CPU性能图的配置为例,用户可以通过配置界面填写与图3中表rrd、表rrd_ds以及表rrd_arc中的各项参数的值,配置完成后的结果显示如图4所示,其中,性能图定义部分的具体配置为:配置名(rrd_name)=CPU、单位(rrd_unit)=百分比(%)、时间间隔(step)=300、默认值(null_value)为空。性能曲线定义部分的具体配置包括:曲线名(ds_name)=CPU_USER,CPU_SYS,CPU_IDLE,CPU_WAIT;计算函数(ds_type)=(GAUGE,GAUGE,GAUGE,GAUGE);时间间隔限制(heartbeat)=(300,300,300,300);最小值(min_value)=(0.0,0.0,0.0,0.0);最大值(max_value)=(100.0,100.0,100.0,100.0)。时间段定义部分的具体配置包括:时间段(arc_name)=(LAST DAY,LAST WEEK,LAST MONTH,LASTYEAR,LAST 5YEARS);归并函数(fun)=(AVERAGE,AVERAGE,AVERAGE,AVERAGE,AVERAGE);置空比率(xff)=(0.5,0.5,0.5,0.5,0.5);归并步数(step_num)=(1,12,48,864,4320);归并行数(row_num)=(288,168,180,120,120)。在性能图配置过程中,选择时间段还需要遵循一定的计算规则,比如配置最后一天(LAST DAY)的时间段的计算公式为:性能图定义中约定接收数据的时间间隔为30s,一天的总共秒数为86400s,如果定义5分钟归并成一个数值,则需时间间隔数:300/30=10,即10个数据归并成一个值,需存放一天的数据量:86400/300=288,即用288个归并值代表一天的性能趋势。
图3所示的数据库设计中,设备监控项配置包括被监控设备定义、监控项定义和监控策略定义。其中的被监控设备定义包括agent id(被监控设备标识)、host_name(被监控设备名称)、IP地址、以及该设备的监控数据所存储的分布式数据库的信息(用于根据该信息到对应的分布式数据库获取该设备的监控数据)。监控策略定义包括监控策略id、policy_name(监控策略名称)、以及该监控策略对应的性能图rrd_id。监控项定义主要用于存储被监控设备(agent_id)与监控策略(policy_id)的对应关系,间接记录了被监控设备与性能图的对应关系。用户在配置界面上配置具体的性能图以后,可为被监控设备选择相应的监控策略,即确定被监控设备中的数据所需要显示的性能图,数据库根据配置界面下发的被监控设备的监控策略生成监控项。
被监控设备的监控策略配置完成后,数据库中生成相应的监控项。如图3中的归并算法的数据存储配置部分所示,数据库中生成与监控项对应的数据表(rrd_entry),rrd_entry中的entry_id为监控项的id,rrd_id为性能图的id,该rrd_entry用以存储执行该监控项时数据的存储空间。具体地,该rrd_entry包括监控项主键(entry_id)和性能图主键(rrd_id),以及性能数据的最后更新时间;接着生成与性能曲线一一对应的数据(表rrd_update),它主要包括每个性能曲线的最后更新值、空值的累计时间和非空值的累计值;然后生成的是每条性能曲线的每个时间段的对应的数据(表rrd_state),它主要记录的是曲线在每个时间段的累计值、空值的时间间隔数及下一个性能数据的存储位置;最后存储每条性能曲线每个时间段的性能数值(表rrd_value)。
上述数据库设计完成后,执行数据归并处理,根据设备监控项配置时被监控设备定义中设备的监控数据所存储的分布式数据库的信息,到与被监控设备对应的分布式数据库中获取该被监控设备的监控数据。此处需要说明的是,本申请中包括主数据库与其他各分布式数据库,在主数据库进行上述数据库设计以及数据归并处理,在各分布式数据库存储被监控设备的监控数据。在主数据库的数据库设计时将被监控设备与其监控数据所存储的分布式数据库的对应关系存储在agent表中。主数据库从分布式数据库中获取特定时间段的数据进行归并处理后将归并处理的结果存储到主数据库。
本申请中主数据库获取监控数据后,根据配置的归并算法进行数据的归并处理。为了更容易理解本申请实施例提供的归并算法,下面首先介绍环状数据存储(Round Data Storage)的概念。以图5为例,其中每一个小格代表的是接收数据的时间间隔,三个小格表示3个时间间隔内的数据,将其归并成一个数值来代表这个时间段的数值,最后会有8个归并数值来代表环状时间段内的性能趋势。正是由于环状时间段,数据会不断随着时间的推进而覆盖最前面的数据,所以它的数据量在初始化后始终是固定不变的,当然也由于这个原因,需对设备监控项对应的性能图配置多个周期,以满足对不同时间点的展现,例如每一天、每一周、每一月甚至每一年作为一个周期(性能图上性能曲线的时间跨度),这个可根据业务需求来确定。图5中也可以不使用时间间隔而直接使用时间段进行数据存储、归并,此时仍然会有8个归并数值来代表环状时间段内的性能趋势。
结合图5所示,本申请实施例提供的归并算法进行归并处理时,首先确定监控数据的开始时间和结束时间,如果监控数据的开始时间和结束时间分别属于同一时间间隔,主数据库确定该监控数据属于该时间间隔,在该时间段内对该监控数据进行累计处理,当达到时间段时进行归并处理;如果监控数据的开始时间和结束时间属于不同时间间隔,则主数据库根据该监控数据在不同时间间隔内的时间长度拆分该监控数据,使用拆分后的数据进行数据累计,当达到时间段时进行归并处理;如果监控数据的开始时间和结束时间属于不同的时间段,则根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。当然,由于最终归并处理的结果为8个值,因此也可以不考虑时间间隔,即直接根据监控数据的开始时间和结束时间是否属于同一时间段进行不同的数据归并处理。
下面进一步介绍本申请实施例提供的归并算法,结合图5所示,每一时间段内包括多个时间间隔,该算法包括:
1.获取所需处理的监控项的性能图配置信息,根据该性能图配置信息获取时间段内的性能数据,一次可获取一条或多条性能数据,循环处理即可;
2.归并开始前定位上一条数据的时间戳所在时间间隔内的开始时间和结束时间;
3.循环每一条性能曲线,从新性能数据中获取该曲线对应的值,通过针对计算方式的不同,选择不同的计算类型进行计算,得到该性能曲线的计算值,并根据新数据的时间戳相对于结束时间的前后得到该曲线的累计值和累计无值时间;其中,计算类型可根据需要进行扩展。
4.若新数据的时间戳在时间间隔的结束时间之后,则定位新数据的时间戳在所在时间间隔内的开始时间,并计算得到此开始时间与第二步得到的开始时间经过的时间间隔内的平均值(累计值/累计有值时间)和经过的时间间隔数;
5.针对该性能曲线再循环每一个时间段,将上一步得到的时间间隔数逐个累加到第二步得到的结束时间上,如果为空值则累加空值的时间间隔数,否则根据取值类型对应的不同取值方式得到累计归并值;
6.如果在上一步累加的过程中累加时间刚好达到了一个时间段的长度,如果这个时间段内的空值率不大于约定空值率,则保存该归并值,否则保存空值,然后即可跳出第五步的累加循环;
7.若剩余的时间段数(剩余的时间间隔数/该时间段的时间间隔数)大于0,则第四步得到的平均值即为剩余的时间段的归并值,批量保存到数据库中;
8.循环剩余的时间间隔数(剩余的时间间隔数%该时间段的时间间隔数),如果为空值则累加新时间段内的空值时间间隔数,否则根据取值类型对应的不同取值方式得到新时间段内的时间段累计值,然后结束第五步的时间段循环;
9.重置第三步得到的曲线累计值和累计无值时间为0,并结束第三步性能曲线的循环;
最后把该性能数据的时间戳保存到数据库里即可。
图3中性能图配置的各性能图rrd、性能曲线rrd_ds和时间段rrd_arc的相关属性包括:
1.性能图rrd相关属性:
LT(last time):最后更新时间;
ST(start time):LT所在时间段的开始时间;
ET(end time):LT所在时间段的结束时间;
NT(new time):新数据得到的时间;
VM(value map):新数据所有曲线的键值对;
DV(default value):默认值;
step:约定的获取数据的时间隔。
2.性能曲线rrd_ds相关属性:
NV(new value):从VM中获取该曲线的数据值;
LV(last value):某一曲线的最后一个值;
BT(boundary time):最后一个分隔时间段的开始时间;
NS(null seconds):空数值的累计时间;
VS(valid seconds):有数值的累积时间;
AV(accumulate value):时间段内的累计值;
Heartbeat:得到两次数据间的时间差限制,超过限制则为空;
UV(update value):根据计算类型算出的值;
计算类型(可扩展):GAUGE、ABSOLUTE、DERIVE、COUNTER。
3.时间段rrd_arc相关属性:
steps:新数据经过的step个数;
stepNum(step number):时间段内step个数;
nstepNum(null step number):时间段内空数值的step个数;
rstepNum(remain step number):时间段外剩余的step个数;
stepLen(step length):时间段的总时长;
xff:空数值占总数值的比率;
p(pointer):上一归并值存储位置;
rows:时间段存放的时间点个数;
buc(bulk update count):需批量更新的时间段数;
VV(valid value):平均有效值AV/VS;
SV(saved value):根据取值类型得到的归并值;
取值类型(可扩展):MIN、MAX、LAST、AVERAGE。
图6-8所示为本申请实施例提供的监控系统得到的性能图曲线的示例,其中图6展示了某台服务器在一天内的CPU使用率变化趋势,该性能图的性能指标包括用户使用率(CPU_USER),系统使用率(CPU_SYS),CPU空闲率(CPU_IDEL)及CPU等待率(CPU_WAIT);图7展示了某台服务器在一天内的负载变化趋势,该性能图的指标包括前一分钟的负载情况(LOAD1),前5分钟的负载情况(LOAD5)及前15分钟的负载情况(LOAD15);图8展示了某台服务器在一周内的进程变化趋势,该性能图的指标只有一个进程数(PROCS)。
本申请实施例提供的方法中,性能图的具体配置可以由用户通过配置界面下发到数据库,因此用户可以根据实际需要调整最终需要呈现的性能图,另外,用户通过配置界面向数据库下发被监控设备的监控策略,数据库根据该监控策略生成监控项,进行设备监控,因此用户还可以根据需要灵活设置监控策略,而且,被监控设备的监控数据存储到分布式数据库中,主数据库从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图,降低了对数据库的要求。
实施例三
本申请实施例三提供一种设备性能监控的装置,如图9所示,包括:
接收单元11,用于接收配置界面下发的被监控设备的监控策略;
监控项生成单元12,用于根据所述接收单元11接收的监控策略生成监控项;
配置单元13,用于在主数据库中配置与所述监控项对应的数据存储空间;
数据获得单元14,用于根据所述监控项查找与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
数据处理单元15,用于将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
生成单元16,用于根据所述数据存储空间存储的数据生成性能图。
所述监控项记录所述被监控设备与性能图的对应关系;所述数据获得单元14还用于:根据所述监控项所标识的性能图的时间段定义从所述分布式数据库中获得时间段内的与所述监控项对应的所述被监控设备的监控数据。
所述配置单元13还用于:根据配置界面下发的性能图参数配置性能图。
所述数据处理单元15还用于:使用当前归并处理得到的值替换配置的时间长度之前归并处理得到的值;该时间长度为所述性能图上性能曲线的时间跨度。
所述数据处理单元15包括:
第一处理子单元151,用于当监控数据的开始时间和结束时间属于同一时间段时,在该时间段内使用该监控数据进行归并处理;
第二处理子单元152,用于当监控数据的开始时间和结束时间属于不同时间段时,根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
本实施例提供的装置根据配置界面下发的被监控设备的监控策略生成监控项,配置与监控项对应的数据存储空间;在分布式数据库中存储被监控设备的监控数据,从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图;由于监控策略是由配置界面下发的,因而用户可以根据需要通过配置界面灵活控制监控策略,并且由于被监控设备的监控数据存储到分布式数据库中,因此降低了数据库的要求。
实施例四
本申请实施例四提供一种设备性能监控的系统,结合图1所示,包括被监控设备、分布式数据库服务器以及主数据库服务器,其中
所述分布式数据库服务器,设有分布式数据库,用于存储被监控设备的监控数据;
所述主数据库服务器,设有主数据库,用于接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图。
该主数据库的结构如图10所示,包括:
接收单元21,用于接收配置界面下发的被监控设备的监控策略;
监控项生成单元22,用于根据所述接收单元21接收的监控策略生成监控项;
配置单元23,用于在主数据库中配置与所述监控项对应的数据存储空间;
数据获得单元24,用于根据所述监控项查找与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
数据处理单元25,用于将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
生成单元26,用于根据所述数据存储空间存储的数据生成性能图。
所述监控项记录所述被监控设备与性能图的对应关系;所述数据获得单元24还用于:根据所述监控项所标识的性能图的时间段定义从所述分布式数据库中获得时间段内的与所述监控项对应的所述被监控设备的监控数据。
所述配置单元23还用于:根据配置界面下发的性能图参数配置性能图。
所述数据处理单元25还用于:使用当前归并处理得到的值替换配置的时间长度之前归并处理得到的值;该时间长度为所述性能图上性能曲线的时间跨度。
所述数据处理单元25包括:
第一处理子单元251,用于当监控数据的开始时间和结束时间属于同一时间段时,在该时间段内使用该监控数据进行归并处理;
第二处理子单元252,用于当监控数据的开始时间和结束时间属于不同时间段时,根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
本申请实施例提供的系统中,在分布式数据库内存储被监控设备的监控数据,主数据库根据配置界面下发的被监控设备的监控策略生成监控项,配置与监控项对应的数据存储空间,从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图;由于监控策略是由配置界面下发的,因而用户可以根据需要通过配置界面灵活控制监控策略,并且由于被监控设备的监控数据存储到分布式数据库中,因此降低了数据库的要求。
实施例五
本申请实施例五提供一种设备性能监控的方法,如图11所示,包括以下步骤:
步骤1101,将被监控设备的监控数据存储于分布式数据库中;
步骤1102,接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图。
本申请实施例提供的方法中,通过配置界面向主数据库下发被监控设备的监控策略,根据该监控策略生成监控项,在主数据库中配置与监控项对应的数据存储空间;在分布式数据库中存储被监控设备的监控数据,从分布式数据库获取被监控设备的监控数据进行归并处理后存储到数据存储空间,进而生成性能图;由于监控策略是由配置界面下发的,因而用户可以根据需要通过配置界面灵活控制监控策略,并且由于被监控设备的监控数据存储到分布式数据库中,因此降低了数据库的要求。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本申请的几个具体实施例,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (8)

1.一种设备性能监控的方法,其特征在于,包括:
接收配置界面下发的被监控设备的监控策略;
根据所述监控策略生成监控项;
在主数据库中配置与所述监控项对应的数据存储空间;
根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
根据所述数据存储空间存储的数据生成性能图;
其中,所述监控项记录所述被监控设备与性能图的对应关系;
在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据包括:根据所述监控项所标识的性能图的时间段定义从所述分布式数据库中获得时间段内的与所述监控项对应的所述被监控设备的监控数据;
其中,将所述被监控设备的监控数据进行归并处理包括:
若监控数据的开始时间和结束时间属于同一时间段,则在该时间段内使用该监控数据进行归并处理;
若监控数据的开始时间和结束时间属于不同时间段,则根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
2.如权利要求1所述的方法,其特征在于,接收配置界面下发的被监控设备的监控策略之前,还包括:
根据配置界面下发的性能图参数配置性能图。
3.如权利要求1-2任一项所述的方法,其特征在于,将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间包括:
使用当前归并处理得到的值替换配置的时间长度之前归并处理得到的值;该时间长度为所述性能图上性能曲线的时间跨度。
4.一种设备性能监控的装置,其特征在于,包括:
接收单元,用于接收配置界面下发的被监控设备的监控策略;
监控项生成单元,用于根据所述接收单元接收的监控策略生成监控项;
配置单元,用于在主数据库中配置与所述监控项对应的数据存储空间;
数据获得单元,用于根据所述监控项查找与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
数据处理单元,用于将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
生成单元,用于根据所述数据存储空间存储的数据生成性能图;
其中,
所述监控项记录所述被监控设备与性能图的对应关系;
所述数据获得单元还用于:根据所述监控项所标识的性能图的时间段定义从所述分布式数据库中获得时间段内的与所述监控项对应的所述被监控设备的监控数据;
其中,所述数据处理单元包括:
第一处理子单元,用于当监控数据的开始时间和结束时间属于同一时间段时,在该时间段内使用该监控数据进行归并处理;
第二处理子单元,用于当监控数据的开始时间和结束时间属于不同时间段时,根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
5.如权利要求4所述的装置,其特征在于,所述配置单元还用于:根据配置界面下发的性能图参数配置性能图。
6.如权利要求4-5任一项所述的装置,其特征在于,所述数据处理单元还用于:
使用当前归并处理得到的值替换配置的时间长度之前归并处理得到的值;该时间长度为所述性能图上性能曲线的时间跨度。
7.一种设备性能监控的方法,其特征在于包括以下步骤:
将被监控设备的监控数据存储于分布式数据库中;
接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图;其中,所述监控项记录所述被监控设备与性能图的对应关系;在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据包括:根据所述监控项所标识的性能图的时间段定义从所述分布式数据库中获得时间段内的与所述监控项对应的所述被监控设备的监控数据;
其中,将所述被监控设备的监控数据进行归并处理包括:
若监控数据的开始时间和结束时间属于同一时间段,则在该时间段内使用该监控数据进行归并处理;
若监控数据的开始时间和结束时间属于不同时间段,则根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
8.一种设备性能监控的系统,其特征在于,包括被监控设备、分布式数据库服务器、以及主数据库服务器,其中,
所述分布式数据库服务器,设有分布式数据库,用于存储被监控设备的监控数据;
所述主数据库服务器,设有主数据库,用于接收配置界面下发的被监控设备的监控策略;根据所述监控策略生成监控项;在主数据库中配置与所述监控项对应的数据存储空间;根据所述监控项查找配置的与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;根据所述数据存储空间存储的数据生成性能图;
该主数据库服务器的结构,包括:
接收单元,用于接收配置界面下发的被监控设备的监控策略;
监控项生成单元,用于根据所述接收单元接收的监控策略生成监控项;
配置单元,用于在主数据库中配置与所述监控项对应的数据存储空间;
数据获得单元,用于根据所述监控项查找与所述被监控设备对应的分布式数据库,在所述分布式数据库中获得与所述监控项对应的所述被监控设备的监控数据;
数据处理单元,用于将所述被监控设备的监控数据进行归并处理后存储到所述数据存储空间;
生成单元,用于根据所述数据存储空间存储的数据生成性能图;
其中,将所述被监控设备的监控数据进行归并处理包括:
若监控数据的开始时间和结束时间属于同一时间段,则在该时间段内使用该监控数据进行归并处理;
若监控数据的开始时间和结束时间属于不同时间段,则根据该监控数据在不同时间段内的时间长度拆分该监控数据,使用拆分后的数据进行不同时间段的归并处理。
CN201010241290.0A 2010-08-02 2010-08-02 设备性能监控的方法、装置和系统 Active CN102347869B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201010241290.0A CN102347869B (zh) 2010-08-02 2010-08-02 设备性能监控的方法、装置和系统
HK12104271.8A HK1163965A1 (zh) 2010-08-02 2012-05-02 設備性能監控的方法、裝置和系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010241290.0A CN102347869B (zh) 2010-08-02 2010-08-02 设备性能监控的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN102347869A CN102347869A (zh) 2012-02-08
CN102347869B true CN102347869B (zh) 2014-10-08

Family

ID=45546177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010241290.0A Active CN102347869B (zh) 2010-08-02 2010-08-02 设备性能监控的方法、装置和系统

Country Status (2)

Country Link
CN (1) CN102347869B (zh)
HK (1) HK1163965A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820633B (zh) * 2015-05-29 2019-03-19 北京奇虎科技有限公司 计算设备的监控方法及装置
CN106445794A (zh) * 2015-08-04 2017-02-22 北京京东尚科信息技术有限公司 一种提供负载信息的方法和装置
CN106294069A (zh) * 2016-08-04 2017-01-04 浪潮(北京)电子信息产业有限公司 一种基于循环数据库的存储系统性能监控方法和装置
CN106411638A (zh) * 2016-09-13 2017-02-15 郑州云海信息技术有限公司 一种云监控系统中监控数据的处理方法及系统
CN109087107B (zh) * 2018-07-04 2020-11-17 恒生电子股份有限公司 基于分布式内存数据库的实时监控方法、系统及电子设备
CN111818296B (zh) * 2019-04-12 2022-04-12 浙江宇视科技有限公司 监控目标识别方法及分布式监控系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051962A (zh) * 2007-05-22 2007-10-10 网御神州科技(北京)有限公司 一种可扩展动态网络监控系统及其监控方法
CN101408889A (zh) * 2008-11-12 2009-04-15 阿里巴巴集团控股有限公司 一种性能监控的方法、装置及系统
CN101719852A (zh) * 2009-11-30 2010-06-02 中国移动通信集团浙江有限公司 一种中间件性能的监控方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001086877A2 (en) * 2000-05-05 2001-11-15 Nomadix, Inc. Network usage monitoring device and associated method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051962A (zh) * 2007-05-22 2007-10-10 网御神州科技(北京)有限公司 一种可扩展动态网络监控系统及其监控方法
CN101408889A (zh) * 2008-11-12 2009-04-15 阿里巴巴集团控股有限公司 一种性能监控的方法、装置及系统
CN101719852A (zh) * 2009-11-30 2010-06-02 中国移动通信集团浙江有限公司 一种中间件性能的监控方法和设备

Also Published As

Publication number Publication date
CN102347869A (zh) 2012-02-08
HK1163965A1 (zh) 2012-09-14

Similar Documents

Publication Publication Date Title
CN102347869B (zh) 设备性能监控的方法、装置和系统
CN102508709B (zh) 购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法
US20160173122A1 (en) System That Reconfigures Usage of a Storage Device and Method Thereof
CN102682005A (zh) 偏好类目的确定方法及装置
CN106033424B (zh) 数据挖掘方法和装置
CN103605662A (zh) 一种分布式计算框架参数优化方法、装置及系统
CN107798030B (zh) 数据表的拆分方法和装置
CN104751235A (zh) 用于数据挖掘的方法和装置
CN116755939B (zh) 一种基于系统资源的智能化数据备份任务规划方法及系统
CN113282795A (zh) 数据结构图生成及更新方法、装置、电子设备及存储介质
US20070233532A1 (en) Business process analysis apparatus
JP5740338B2 (ja) 仮想環境運用支援システム
CN112434308A (zh) 应用漏洞检测方法、装置、电子设备及计算机存储介质
CN109240893B (zh) 应用运行状态查询方法及终端设备
CN111124854A (zh) 一种冒烟测试用例分配方法、系统、终端及存储介质
CN114064925A (zh) 知识图谱的构建方法、数据查询方法、装置、设备和介质
CN107193749B (zh) 测试方法、装置及设备
CN109739819A (zh) 可回溯的快照无损压缩方法、装置、设备及可读存储介质
CN113377777A (zh) 数据加载方法、设备、计算机程序产品及存储介质
CN112306452A (zh) 归并排序算法处理业务数据的方法、装置及系统
CN111523921B (zh) 漏斗分析方法、分析设备、电子设备及可读存储介质
CN111737233A (zh) 数据监控方法及装置
JP6021193B2 (ja) 管理システム、端末装置、情報管理方法、及び情報管理プログラム
CN107678839B (zh) 基于优先级的客户跟进方法、系统及可读存储介质
CN113378069B (zh) 基于智能推荐算法的主配网自动绘图方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1163965

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1163965

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200826

Address after: Building 8, No. 16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: ALIYUN COMPUTING Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.