CN103490937A

CN103490937A - 监控数据过滤方法及装置

Info

Publication number: CN103490937A
Application number: CN201310476038.1A
Authority: CN
Inventors: 鲍坤夫
Original assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Current assignee: Beijing Qihoo Technology Co Ltd
Priority date: 2013-10-12
Filing date: 2013-10-12
Publication date: 2014-01-01
Anticipated expiration: 2033-10-12
Also published as: CN103490937B

Abstract

本发明涉及一种监控数据过滤方法及装置，该方法包括：接收被监控服务器的监控数据；根据被监控服务器的信息，从监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置，监控策略器包括哈希列表，哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接；根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与被监控服务器相关联的监控策略，根据该监控策略对接收的监控数据进行过滤。由此解决了现有技术中的监控策略无法快速查找并更新的技术问题。

Description

监控数据过滤方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种监控数据过滤方法及装置。

背景技术

随着互联网的迅速发展和公司规模的不断扩大，公司的服务器数量也越来越庞大，监控这些服务器的工作是否正常并提供实时报警功能的需求变得越来越迫切，因此网络上也出现了大量的监控系统，像cacti、nagios等。这些系统在监控服务器各项指标方面都非常强大，但是它们在报警信号过滤处理方面都比较简单或者比较薄弱，不够灵活。

例如，Cacti监控系统是基于PHP、MySQL、SNMP及RRDTool开发的网络流量监测图形分析工具。它通过snmpget来获取数据，使用RRDtool绘画图形，用户完全可以不需要了解RRDtool复杂的参数就可以完成操作。它提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、host以及任何一张图，还可以与LDAP结合进行用户验证，同时也能自己增加模板，功能非常强大完善。

但是，它的监控信号过滤功能主要是通过插件扩展的方式进行，用户需要根据自己的需求安装不同的插件进行监控信号过滤，以便实现报警。由此可见，Cacti本身不支持监控信号过滤，需要通过安装插件的方式进行，并且如果要监控的服务器比较多，监控的指标也比较多的情况下，监控信号过滤的性能就会受到很大影响。

Nagios是一款开源的免费网络监视工具，它能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警以便第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。它通过在配置文件中设置监控策略（包括报警阈值和报警处理方式等）的方式来过滤客户端上传的监控数据并进行报警。

但是，由于Nagios中的监控策略设置在配置文件中，因此，它的监控策略必须预先设置好，后期如果要修改、增加或删除监控策略，就需要重新加载配置文件，导致它的监控策略不能及时更新，而且每次更新时都必须对所有的监控策略全部进行更新，因此，更新监控策略的代价非常大，不具有实时性。

综上可知，现有的监控系统在过滤监控数据这一功能方面存在着严重缺陷：Cacti监控系统本身并不支持过滤监控数据的功能，Nagios监控系统虽然支持这一功能，但由于将监控策略设置在配置文件内导致监控策略无法及时更新。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的断网情况下的数据包处理方法及装置。

依据本发明的一个方面，提供了一种监控数据过滤方法，包括步骤：接收被监控服务器的监控数据；根据被监控服务器的信息，从监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置，其中该监控策略器包括哈希列表，该哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接；以及根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。

可选地，被监控服务器的信息包括：IP地址和主机名，则哈希值是根据IP地址和主机名计算得到的。

可选地，被监控的服务器的监控数据包括：表示采集各监控数据项的时间戳；各监控数据项的ID号；各监控数据项本次的值；以及各监控数据项的值的数据类型。

可选地，还包括：从监控策略数据库中读取监控策略；根据读取的监控策略的变化而更新监控策略器中相应的监控策略，具体包括：获取与读取的监控策略对应的被监控服务器的信息，根据被监控服务器的信息计算得到一个哈希值，在监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定读取的监控策略与查找到的具有该哈希值的服务器相关联的监控策略不同时，根据读取的监控策略对具有该哈希值的服务器相关联的监控策略进行更新。

可选地，在监控策略数据库中，根据监控策略的变化，将监控策略分别存储为监控策略增量更新版本和监控策略全量更新版本，其中监控策略增量更新版本只更新了与一台被监控服务器相关联的部分监控策略，监控策略全量更新版本更新了监控策略整体。

可选地，监控策略增量更新版本的部分监控策略更新包括监控策略的增加、删除、和/或修改。

可选地，根据监控策略增量更新版本的变化而更新监控策略器中被监控的服务器的相应的监控策略的步骤包括：存储监控策略的链表中条目的先前数量L；当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与服务器相关联的监控策略列表。

可选地，如果M部分为“a#策略”格式，则表示该策略是添加的策略；如果M部分为“d#策略”格式，则表示该策略是删除的策略；如果M部分为“d#修改前的策略”和“a#修改后的策略”格式，则表示该策略是修改的策略。

根据本发明的另一方面，提供了一种监控数据过滤装置，其包括：监控策略器，其包括哈希列表，该哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接；接收单元，其适于接收被监控服务器的监控数据；查找单元，其适于根据被监控服务器的信息，从监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置；以及过滤单元，其适于根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。

可选地，被监控服务器的信息包括：IP地址和主机名，则监控策略器中的哈希值是根据IP地址和主机名计算得到的。

可选地，还包括：监控策略数据库，其存储所有的监控策略；读取单元，其适于从监控策略数据库中读取监控策略；更新单元，其根据读取单元所读取的监控策略，更新监控策略器中相应的监控策略，其中，更新单元获取与读取的监控策略对应的被监控服务器的信息，根据被监控服务器的信息计算得到一个哈希值，在监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定读取的监控策略与查找到的具有该哈希值的服务器相关联的监控策略不同时，根据读取的监控策略对具有该哈希值的服务器相关联的监控策略进行更新。

可选地，监控策略数据库中存储有监控策略增量更新版本和监控策略全量更新版本，其中监控策略增量更新版本只更新了与一台被监控服务器相关联的部分监控策略，监控策略全量更新版本更新了监控策略整体。

可选地，更新单元存储监控策略的链表中条目的先前数量L，判断监控策略增量更新版本是否发生变化，当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与服务器相关联的监控策略列表。

根据本发明的监控数据过滤方法及装置，将监控策略存储在监控策略器中，而且，在监控策略器中，通过哈希列表的方式来存储各个被监控服务器所对应的监控策略，这样，当需要查找某个被监控服务器的监控策略时，只需根据该被监控服务器的信息计算出一个哈希值，即可在哈希列表中迅速找到具有该哈希值的哈希单元，进而找到该被监控服务器的监控策略。另外，对于每个被监控服务器的监控策略，都通过一个策略列表进行存储，因而当需要对某一条监控策略进行更改时，只需更改策略列表中的一项信息即可，大大提高了监控策略的更新效率。由此解决了现有技术中将监控策略设置在配置文件内而导致的监控策略无法及时更新的技术问题，实现了能够快速查找并更新监控策略的技术效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的监控数据过滤方法的流程图；

图2示出了监控策略器中的监控策略的存储方式示意图；

图3示出了本发明实施例提供的监控数据过滤装置的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提供了一种监控数据过滤方法及装置，能够解决现有技术中将监控策略设置在配置文件内而导致的监控策略无法及时更新的技术问题。

图1示出了本发明实施例提供的监控数据过滤方法的流程图。如图1所示，该方法始于步骤S110，在步骤S110中，接收被监控服务器的监控数据。

其中，被监控服务器的数量可以为一个或多个，且被监控服务器既可以位于本地也可以位于远端。被监控服务器的监控数据可以由专门的数据收集客户端进行收集，例如，可以为每台被监控服务器分别布置一个数据收集客户端，或者，也可以由多台被监控服务器共用一个数据收集客户端。每个数据收集客户端负责收集被监控服务器在运行期间所产生的各类数据，并将收集到的这些数据封装为被监控服务器的监控数据发送给本发明中的监控数据过滤装置。

可选地，每个数据收集客户端可以包括采集模块和发送模块。其中，采集模块负责对被监控服务器的各类数据进行采样，并生成包含监控数据的监控数据包。这里，采集模块所生成的监控数据包的结构可以为“信息长度+json格式的字符串”。json格式的字符串可以包括：表示采集各监控数据项的时间戳；各监控数据项的ID号；各监控数据项本次的值；以及各监控数据项的值的数据类型。例如，json格式的字符串可以采用如下格式：

上述字符串中的″time″表示采集当前数据的时间，″host″表示当前所监控的服务器，″data″后的部分为采集模块所生成的监控数据包的结构。在″data″部分中的(″item_ID″,″item_value″,″data_type″)中，

item_ID表示这个监控数据项的ID号；

item_value表示本次这个监控数据项取得的值；

data_type表示这个监控数据项的值的数据类型（其中data_type=1表示此监控数据项的采样结果是数值，data_type=2表示此监控数据项的采样结果是字符串）。

通常，将各监控数据项的ID号、其所代表的含义、以及监控数据项的值的数据类型制作成一个数据列表以统一进行管理。表一示出了这样的数据列表的一个例子：

表一

当采集模块生成各个被监控服务器的监控数据后，由发送模块将采集模块生成的监控数据发送给本发明中的监控数据过滤装置。例如，可以将采集模块生成的如下监控数据发送给监控数据过滤装置：

0000000718{″time″:″1331693080″,″data″:[[″37″,″12.22″,″1″],[″64″,″14300″,″1″],……，[″35″,″5.95″,″1″]]，″host″:″mon1.ops.ccp.qihoo.net″}

其中，

0000000718表示这个数据包总长度为718；

time表示发送数据包的数据收集客户端所在的服务器时间；

data表示采样数据，采样数据列举在其后面的[]中，即，[″37″,″12.22″,″1″]，[″64″,″14300″,″1″]，……，[″35″,″5.95″,″1″]；

host表示被监控的服务器，其后的“mon1.ops.ccp.qihoo.net”为该被监控服务器的域名。

其中，[″37″,″12.22″,″1″]表示一监控数据项在数据列表中的监控数据项ID号为37，采样该监控数据项得到的数据为12.22，该数据的值的数据类型是数值。从上述表一中可以查到，监控数据项ID37为“每秒merge写次数”。当采样到的数据为12.22时，表示被监控服务器在此时每秒merge写次数为12.22次。

另外，上述的采集模块和发送模块可以采用Perl语言来实现，从而无需额外安装其他依赖，适合大规模部署。

接下来，在步骤S120中，根据上述被监控服务器的信息，从监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置。其中，监控策略器用于存储与各个被监控服务器相对应的监控策略。具体地，该监控策略器包括哈希列表，该哈希列表中的每个单元包括根据各个被监控服务器的信息而计算得到的哈希值以及到与具有该哈希值的被监控服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接。

由此可见，步骤S120的主要作用在于查找到与被监控服务器相对应的监控策略列表起始位置，以便进而查找到与被监控服务器相对应的监控策略。

图2示出了监控策略器中的监控策略的存储方式示意图。如图2所示，该监控策略器包括具有多个哈希单元的哈希列表。每个哈希单元具有一个唯一的哈希值，用以标识各个哈希单元，该哈希值也可以称作键值（Key value）。例如，图2中的第一个哈希单元的哈希值用key1表示，第二个哈希单元的哈希值用key2表示，依此类推。

每个哈希单元用于存储一定数量的被监控服务器的相关信息，根据这些相关信息可以找到被监控服务器所对应的监控策略。由于实际情况中的被监控服务器可能数量众多，为了将多个被监控服务器分散到各个哈希单元进行存储，可以根据被监控服务器的信息来确定上述每个哈希单元的哈希值，并将被监控服务器分散到具有相应哈希值的哈希单元内。例如，被监控服务器的信息可以包括：IP地址和主机名，这样，通过一定的算法对IP地址和主机名进行计算就可以得到一个数值，将该数值作为一个哈希单元的哈希值，并将该被监控服务器存储到该哈希单元内。在本实施例中，可能有多个被监控服务器的信息经过计算后得出相同的哈希值，因此，具有相同哈希值的多个被监控服务器就存储在同一个哈希单元中。例如，在图2中，被监控服务器1、被监控服务器3以及被监控服务器5的信息计算结果相同，均为key1，因此，这三台服务器的相关信息都存储在哈希值为key1的哈希单元中，同理，被监控服务器2存储在哈希值为key3的哈希单元中，被监控服务器n存储在哈希值为keyn的哈希单元中。

在哈希列表的每个哈希单元中除了存储有上述的根据各个被监控服务器的信息而计算得到的哈希值之外，还存储有到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，根据该链接就可以查找到与具有该哈希值的服务器相对应的监控策略列表起始位置，每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接。由此可见，在本发明实施例中，将每个被监控服务器所对应的监控策略通过监控策略列表的形式加以存储。例如，在图2中，与被监控服务器3相对应的监控策略共有4条，这4条监控策略都存储在被监控服务器3下方的监控策略列表内，该监控策略列表内共有4条信息，分别对应上述的4条监控策略。在图2中为了便于理解，直接将上述的4条监控策略绘制在了被监控服务器3的下方，而在实际存储过程中，上述的4条监控策略可能是分别存储在不同位置的。因此，在本发明中，为了能够迅速查找到与被监控服务器3相对应的这4条监控策略，可以通过一个链表（相当于上文提到的监控策略列表）来存储这4条监控策略的具体存储位置，即：在链表中存储每条监控策略所对应的链接，根据该链接就可以查找到对应的监控策略的具体内容。而且，将第一条监控策略所对应的链接作为该链表的链表头（相当于上文提到的监控策略列表起始位置）。

最后，在步骤S130中，根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与上述被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。

为了便于理解，下面再通过一个具体的例子进一步对本发明中的上述各个步骤进行详细描述：

假设在步骤S110中，本发明中的监控数据过滤装置所接收到的被监控服务器的监控数据如下：

0000000086{″time″:″1331693080″,″data″:[[″22″,″24.42″,″1″]],″host″:″mdb02v.add.vjc.qihoo.net″}。这里，0000000086表示这个数据包总长度为86；″time″表示发送数据包的数据收集客户端所在的服务器时间为1331693080；″data″的[″22″,″24.42″,″1″]中，22表示监控数据项ID，24.42为采样该监控数据项得到的值，1表示该数据的值的数据类型是数值；mdb02v.add.vjc.qihoo.net表示被监控服务器的机器域名。

通过上述监控数据可以确定出被监控服务器的信息为：机器域名为mdb02v.add.vjc.qihoo.net的被监控服务器。

然后，在步骤S120中，监控数据过滤装置通过一定的算法对该机器域名进行计算，假设计算结果为key1，则监控数据过滤装置在监控策略器中查找哈希值为key1的哈希单元，同时参见图2可以看出，该哈希单元中共存储有三个被监控服务器的相关信息，假设机器域名为mdb02v.add.vjc.qihoo.net的被监控服务器为其中的被监控服务器3，则监控数据过滤装置查找到被监控服务器3的相关信息，该相关信息包括：到与被监控服务器3相对应的监控策略列表起始位置的链接，通过该链接即可查找到与被监控服务器3相对应的监控策略列表起始位置（如图2中的“策略3-1”的位置），在该位置保存着与被监控服务器3相对应的各个监控策略的链接，通过这些链接可以进一步查找到与被监控服务器3相对应的所有监控策略（包括图2中的“策略3-1”、“策略3-2”、“策略3-3”以及“策略3-4”）。

接下来，在步骤S130中，根据查找到的上述监控策略对步骤S110中接收到的监控数据进行过滤。

例如，假设从监控策略器中查找到的与被监控服务器3相对应的监控策略（例如“策略3-2”）包括下述内容：

″mdb02v.add.vjc.qihoo.net#118#add_ops#22#SERVER_LOADAVG#>=#20#2#4#5#机器负载过高″。

该策略中各项的含义如下：

mdb02v.add.vjc.qihoo.net#，表示被监控的服务器的域名，即报警机器；

118#，表示报警策略ID为118，每个报警策略包括唯一的报警策略ID以及报警条件；

add_ops#，表示报警组，即报警策略ID所在的报警组；

22#，表示监控数据项ID为22，不同的监控数据项ID对应不同的监控的内容；

SERVER_LOADAVG#，表示监控数据项名称；

>=#，表示比较符号为>=；

20#，表示比较阈值为20；

2#，表示比较时间片（time slice）为2分钟,这里时间的单位为分钟；

4#，表示阈值次数为4；

5#，表示最大报警次数为5；

机器负载过高，表示报警策略名称。

在上述策略中，“mdb02v.add.vjc.qihoo.net#118#add_ops#22#SERVER_LOADAVG#>=#20#”为监控数据过滤策略，其表示对域名为mdb02v.add.vjc.qihoo.net的服务器进行监控，其第22项的监控数据项表示被监控的服务器的机器负载是否出现异常，采用的报警策略对应的报警策略ID为118。当该服务器的机器负载大于等于20时，需要将该被监控的服务器的监控数据过滤出来。

下面就根据上述的监控策略对步骤S110中接收到的监控数据进行过滤。根据监控数据中的data″:[[″22″,″24.42″,″1″]]可知，监控数据项为22的监控数据项的值为24.42，这已经符合监控策略中规定的大于等于20的阈值条件，于是，监控数据过滤装置将该监控数据过滤出来进行报警。

另外，为了能够根据被监控服务器的运行情况或实际需求来调整监控策略器中存储的监控策略，本发明实施例中还可以对监控策略器中存储的监控策略进行更新。

为了便于对监控策略进行统一管理，在本发明中，还可以进一步设置一个监控策略数据库，在该监控策略数据库中统一存储所有被监控服务器的监控策略，当本发明需要根据被监控服务器的运行情况或实际需求调整监控策略时，会第一时间更新监控策略数据库中的监控策略，然后，再根据监控策略数据库中的监控策略来同步更新监控策略器中的监控策略，具体更新监控策略器的方法如下：从监控策略数据库中读取监控策略；根据读取的监控策略的变化而更新监控策略器中相应的监控策略。具体实现时，首先，获取与从监控策略数据库中读取的监控策略对应的被监控服务器的信息，根据该被监控服务器的信息计算得到一个哈希值；然后，在监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定从监控策略数据库中读取的监控策略与在监控策略器中查找到的具有该哈希值的服务器相关联的监控策略不同时，根据从监控策略数据库中读取的监控策略对在监控策略器中查找到的具有该哈希值的服务器相关联的监控策略进行更新。

进一步地，由于被监控服务器往往数量众多，且每个被监控服务器所对应的监控策略也有很多，因此，如果每次更新监控策略时都对监控策略数据库中存储的所有监控策略进行全部更新会导致耗时过长等诸多缺陷。而且，在实际情况中，每次更新时往往仅涉及某一个被监控服务器中的一个具体的监控策略。所以，在本发明中，为了提高更新效率，降低更新时的工作量，在监控策略数据库中，将所有服务器对应的监控策略都放入一个list（redis中的一种数据结构）中进行存储，并根据监控策略的变化，将监控策略分别存储为监控策略增量更新版本（例如用minor_version表示）和监控策略全量更新版本（例如用major_version表示），其中监控策略增量更新版本只更新了与一台被监控服务器相关联的部分监控策略，监控策略全量更新版本更新了监控策略整体。相应地，当major_version版本发生变化时，表示本次更新为全量更新，需要将整个监控策略数据库中的监控策略都读到内存中并重新建立新的哈希列表以及链表的数据结构。当minor_version版本发生变化时，表示本次更新为增量更新，不需要读取整个监控策略数据库中的监控策略，只需要读取监控策略数据库中新增加的部分，并且把这部分新增数据插入到已有的哈希列表以及链表的数据结构中。

下面详细介绍一下监控策略增量更新版本的具体更新方式：监控策略增量更新版本的部分监控策略更新包括监控策略的增加、删除、和/或修改。具体地，根据监控策略增量更新版本的变化而更新监控策略器中被监控的服务器的相应的监控策略的步骤可以包括：存储监控策略的链表中条目的先前数量L；当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与服务器相关联的监控策略列表。

具体地，假设在监控策略增量更新版本发生变化之前，监控策略链表的长度为L，而发生改变后的监控策略链表的长度为L+M，即M为发生改变后的新增部分。这里有一点要特别强调，即：为什么添加、修改和删除监控策略的时候，监控策略链表的长度L部分没有变化。这是由于在本发明中使用了一种技巧，即在新增加的每条监控策略的前面加上一个字符来表示相应的操作，比如要添加一条策略，则只需要在L部分后面的M部分内添加“a#策略”；如果要删除一条策略，则只需要在L部分后面的M部分内添加“d#策略”；同时如果修改了一条策略，则只需要在L部分后面的M部分内加上“d#修改前的策略”和“a#修改后的策略”，即将修改操作解析为一次删除操作和一次添加操作。这样，无论执行何种更新操作（包括添加、修改和删除）都不会改变链表的原始部分（即L部分），只需通过链表的新增部分（即M部分）即可标识监控策略的变化。

相应地，当本发明中的监控数据过滤装置发现major_version版本的监控策略没有变化而minor_version版本的监控策略发生了变化，则根据监控策略器中存储的上一次从监控策略数据库中读取的策略链表的长度L，从监控策略数据库中读取策略链表发生变化的部分，即L+M-L，也就是M部分。接下来，监控数据过滤装置对M部分进行解析，如果解析出来的策略是“a#策略”就会在上面对应的哈希列表及链表结构中找到对应服务器所对应的策略链表，并将该策略添加到链表头部；如果解析出来的策略是“d#策略”则会遍历该链表找到该策略并删除，这样就解决了策略的添加、删除和修改操作。

例如，以一个具体的添加策略为例来说，假设要添加的监控策略的格式如下：

a#服务器的hostname#报警策略ID#报警组#监控的项目id#监控项的英文名#阈值比较符号#阈值

其中，a表示增加一个策略。策略样例为

″a#mdb02v.add.vjc.qihoo.net#118#add_ops#22#SERVER_LOADAVG#>=#32

上例表示，针对机器域名为mdb02v.add.vjc.qihoo.net的被监控服务器，监控其SERVER_LOADAVG项目，当此项目的值高于32的时候，需要把数据包过滤出来并扔到报警池报警。

这里，监控数据过滤装置只会用到策略的一部分，即：

#服务器的hostname#报警策略ID#报警组#监控的项目id#监控项的英文名#阈值比较符号#阈值#

当监控数据过滤装置收到的监控数据中的监控项目的值满足阈值条件，则扔到报警池中报警。

通过上面的方式就完成了一次添加策略的操作。

在本发明实施例提供的监控数据过滤方法中，通过哈希列表与链表相结合的方式来存储监控策略。由于使用了哈希列表的结构，因此寻找每台被监控服务器所对应的监控策略时的速度非常快。同时，使用链表的结构来保存每台服务器所对应的监控策略，使得监控策略的修改（包括添加、删除、修改等）非常方便和快速。这些技术极大地提高了过滤监控数据的速度，保证了监控时的高吞吐率，能够同时支持大量服务器和大量监控策略。

另外，在本发明实施例提供的监控数据过滤方法中，还使用增量更新保证了监控策略更新的实时性，使用全量更新保证了监控策略的一致性。由于在大部分情况下，监控策略的添加、删除和修改操作只会涉及一小部分监控策略，因此大部分情况下只需要增量更新少量数据即可，因此更新速度非常快，极大地保证了监控策略更新的及时性。全量更新虽然周期比较长，但能够保证长时间工作情况下监控策略器中的监控策略与监控策略数据库中的数据的一致性。

图3示出了本发明实施例提供的一种监控数据过滤装置。如图3所示，该装置包括：监控策略器31、接收单元32、查找单元33和过滤单元34。

其中，监控策略器31包括哈希列表，该哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接。关于监控策略器31内的具体存储方式可参见方法实施例中相应部分的描述，此处不再赘述。

接收单元32用于接收被监控服务器的监控数据。查找单元33根据被监控服务器的信息，从监控策略器31中查找与该被监控服务器相对应的监控策略列表起始位置。过滤单元34根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。关于接收单元32、查找单元33和过滤单元34的具体工作方式可参见方法实施例中相应部分的描述，此处不再赘述。

可选地，被监控服务器的信息包括：IP地址和主机名，则监控策略器中的哈希值是根据IP地址和主机名计算得到的。可选地，被监控的服务器的监控数据包括：表示采集各监控数据项的时间戳；各监控数据项的ID号；各监控数据项本次的值；以及各监控数据项的值的数据类型。

进一步地，该监控数据过滤装置还可以包括：监控策略数据库35，其存储所有的监控策略；读取单元36，其适于从监控策略数据库35中读取监控策略；更新单元37，其根据读取单元36所读取的监控策略，更新监控策略器31中相应的监控策略。其中，更新单元37获取与读取的监控策略对应的被监控服务器的信息，根据被监控服务器的信息计算得到一个哈希值，在监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定读取的监控策略与查找到的具有该哈希值的服务器相关联的监控策略不同时，根据读取的监控策略对具有该哈希值的服务器相关联的监控策略进行更新。

可选地，更新单元具体用于存储监控策略的链表中条目的先前数量L，判断监控策略增量更新版本是否发生变化，当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与服务器相关联的监控策略列表。可选地，其中，如果M部分为“a#策略”格式，则表示该策略是添加的策略；如果M部分为“d#策略”格式，则表示该策略是删除的策略；如果M部分为“d#修改前的策略”和“a#修改后的策略”格式，则表示该策略是修改的策略。

关于监控策略数据库35、读取单元36和更新单元37的具体工作方式可参见方法实施例中相应部分的描述，此处不再赘述。

b11.根据权利要求9或10所述的监控数据过滤装置，其中，所述被监控的服务器的监控数据包括：

表示采集各监控数据项的时间戳；

各监控数据项的ID号；

各监控数据项本次的值；以及

各监控数据项的值的数据类型。

b12.根据权利要求9-11中任一项所述的监控数据过滤装置，还包括：

监控策略数据库，其存储所有的监控策略；

读取单元，其适于从监控策略数据库中读取所述监控策略；

更新单元，其根据读取单元所读取的监控策略，更新所述监控策略器中相应的监控策略，其中，所述更新单元获取与读取的所述监控策略对应的被监控服务器的信息，根据所述被监控服务器的信息计算得到一个哈希值，在所述监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定读取的所述监控策略与查找到的具有该哈希值的服务器相关联的监控策略不同时，根据读取的所述监控策略对具有该哈希值的服务器相关联的监控策略进行更新。

b13.根据权利要求12所述的监控数据过滤装置，其中，

所述监控策略数据库中存储有监控策略增量更新版本和监控策略全量更新版本，其中监控策略增量更新版本只更新了与一台被监控服务器相关联的部分监控策略，监控策略全量更新版本更新了监控策略整体。

b14.根据权利要求13所述的监控数据过滤装置，其中，

所述监控策略增量更新版本的部分监控策略更新包括监控策略的增加、删除、和/或修改。

b15.根据权利要求14所述的监控数据过滤装置，其中，

所述更新单元存储监控策略的链表中条目的先前数量L，判断监控策略增量更新版本是否发生变化，当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与所述服务器相关联的监控策略列表。

b16.根据权利要求15所述的监控数据过滤装置，其中，

如果M部分为“a#策略”格式，则表示该策略是添加的策略；

如果M部分为“d#策略”格式，则表示该策略是删除的策略；

如果M部分为“d#修改前的策略”和“a#修改后的策略”格式，则表示该策略是修改的策略。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种监控数据过滤方法，包括步骤：

接收被监控服务器的监控数据；

根据所述被监控服务器的信息，从监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置，其中该监控策略器包括哈希列表，该哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接；以及

根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与所述被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。

2.根据权利要求1所述的监控数据过滤方法，其中，所述被监控服务器的信息包括：IP地址和主机名，则所述哈希值是根据所述IP地址和主机名计算得到的。

3.根据权利要求1或2所述的监控数据过滤方法，所述被监控的服务器的监控数据包括：

表示采集各监控数据项的时间戳；

各监控数据项的ID号；

各监控数据项本次的值；以及

各监控数据项的值的数据类型。

4.根据权利要求1-3中任一项所述的监控数据过滤方法，还包括：

从监控策略数据库中读取所述监控策略；

根据读取的所述监控策略的变化而更新所述监控策略器中相应的监控策略，具体包括：获取与读取的所述监控策略对应的被监控服务器的信息，根据所述被监控服务器的信息计算得到一个哈希值，在所述监控策略器中查找与具有该哈希值的服务器相关联的监控策略，当确定读取的所述监控策略与查找到的具有该哈希值的服务器相关联的监控策略不同时，根据读取的所述监控策略对具有该哈希值的服务器相关联的监控策略进行更新。

5.根据权利要求4所述的报警信号过滤方法，其中，

在所述监控策略数据库中，根据监控策略的变化，将监控策略分别存储为监控策略增量更新版本和监控策略全量更新版本，其中监控策略增量更新版本只更新了与一台被监控服务器相关联的部分监控策略，监控策略全量更新版本更新了监控策略整体。

6.根据权利要求5所述的报警信号过滤方法，其中，

监控策略增量更新版本的部分监控策略更新包括监控策略的增加、删除、和/或修改。

7.根据权利要求5或6所述的报警信号过滤方法，其中根据监控策略增量更新版本的变化而更新所述监控策略器中被监控的服务器的相应的监控策略的步骤包括：

存储监控策略的链表中条目的先前数量L；

当监控策略增量更新版本发生变化时，监控策略的链表中条目的当前数量改变为L+M，随后从监控策略增量更新版本中读取监控策略发生变化的条目M，根据M条监控策略来更新与所述服务器相关联的监控策略列表。

8.根据权利要求7所述的报警信号过滤方法，其中，

如果M部分为“a#策略”格式，则表示该策略是添加的策略；

如果M部分为“d#策略”格式，则表示该策略是删除的策略；

9.一种监控数据过滤装置，其包括：

监控策略器，其包括哈希列表，该哈希列表中的每个单元包括根据各个服务器的信息而计算得到的哈希值以及到与具有该哈希值的服务器相对应的监控策略列表起始位置的链接，而且每个监控策略列表起始位置具有到与相应服务器相关联的各个监控策略的链接；

接收单元，其适于接收被监控服务器的监控数据；

查找单元，其适于根据所述被监控服务器的信息，从所述监控策略器中查找与该被监控服务器相对应的监控策略列表起始位置；以及

过滤单元，其适于根据查找到的与该被监控服务器相对应的监控策略列表起始位置，获得与所述被监控服务器相关联的监控策略，根据所获得的监控策略对所接收的监控数据进行过滤。

10.根据权利要求9所述的监控数据过滤装置，其中，

所述被监控服务器的信息包括：IP地址和主机名，则所述监控策略器中的哈希值是根据所述IP地址和主机名计算得到的。