CN105450459A - 一种系统消息处理方法及收集器 - Google Patents
一种系统消息处理方法及收集器 Download PDFInfo
- Publication number
- CN105450459A CN105450459A CN201511023137.XA CN201511023137A CN105450459A CN 105450459 A CN105450459 A CN 105450459A CN 201511023137 A CN201511023137 A CN 201511023137A CN 105450459 A CN105450459 A CN 105450459A
- Authority
- CN
- China
- Prior art keywords
- message
- normalization
- system message
- event
- gatherer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种系统消息处理方法,应用于包括传感器和收集器的系统消息处理系统中,所述一个收集器与至少一个所述传感器连接,包括收集器接收传感器发送的系统消息,收集器将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,收集器将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,收集器输出所述归一化消息。本发明能够将局域网中不同设备所发送的系统消息进行归一化处理,为分析和数据挖掘提供了数据,便于局域网系统消息的统一管理和监控。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种系统消息处理方法及收集器。
背景技术
在计算机技术高速发展的今天,各行各业的企事业单位普遍部署有局域网,组成局域网的硬件设备包括交换机,路由器,防火墙,服务器等,对这些设备的管理是局域网的集中监控和管理中必不可少的组成部分。
局域网中的每个设备均会产生并发送系统消息,系统消息负责记录一个设备中的任何事件,包括运行程序和系统软件的执行情况以及硬件的运行情况,通过适当配置,便可以实现发送系统消息的各种设备之间的通信和集中管理,并通过分析这些系统消息,追踪和掌握局域网中设备的运转情况以及局域网整体网络有关的情况。
但由于组成局域网的设备种类繁多,型号多变,又由于生产厂家的不同,各自遵循不同生产厂家的企业标准,即使一个相同事件的系统消息经由不同厂家生产的同类型设备发出,也是完全不同的,一个局域网内部的系统消息从编码方法,事件的语句表达,事件级别定义等各方面千差万别,如何从根本上统一系统消息的格式,管理局域网中的系统消息,实现对局域网内所有设备的集中监控管理,是计算机领域亟待解决的问题。
发明内容
本发明所要解决的技术问题是针对现有技术中所存在的上述缺陷,提供一种系统消息处理方法及收集器,用以解决现有技术中存在的局域网内部所有系统消息的集中监控和管理问题。
为实现上述目的,本发明提供一种系统消息处理方法,应用于包括传感器和收集器的系统消息处理系统中,所述一个收集器与至少一个所述传感器连接,包括:
收集器接收传感器发送的系统消息,
收集器将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,
收集器将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,所述归一化消息为具有统一的归一化属性的文件,
收集器输出所述归一化消息。
具体的,所述归一化属性,具体包括收集器在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,所述系统消息为传感器根据不同的系统事件生成的自定义的事件记录消息,所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,
所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。
具体的,所述归一化事件级别,具体包括根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。
优选的,在收集器接收传感器发送的系统消息之后,收集器将接收到的系统消息与所述传感器一一对应的规则文件进行匹配之前,所述方法还包括收集器将具有不同的字符编码方式的系统消息转换为具有统一的字符编码方式的系统消息。
优选的,当收集器接收到的系统消息与预存的与所述传感器一一对应的规则文件不匹配时,收集器将接收到的系统消息与预存的其他传感器对应的规则文件进行匹配。
优选的,在收集器将匹配成功的系统消息生成与所述系统消息一一对应的归一化消息之后,所述方法还包括收集器在预设时间范围内将具有至少一个归一化属性内容相同的多个归一化消息合并,生成合并消息,所述合并消息为与归一化消息具有统一的归一化属性的事件记录,所述收集器输出所述归一化消息,具体包括收集器输出所述归一化消息和合并消息。
具体的,所述收集器将具有至少一个归一化属性的内容相同的多个归一化消息合并生成合并消息,具体包括所述至少一个归一化属性包括自定义事件ID,传感器类型,传感器IP,源IP和目的IP,所述合并生成合并消息包括将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
本发明提供的系统消息处理方法,能够将局域网中不同设备所发送的系统消息按照预设设置好的处理规则进行匹配,如匹配成功则进行进一步的归一化处理,收集器通过按照统一的归一化消息的属性在原系统中提取相应的属性,以及按照归一化属性的定义进行回填,生成与系统消息一一对应的归一化消息,通过收集器输出的所述归一化消息,局域网便可以管理所有的系统消息。本发明提供的方法还包括字符转换和合并,所述字符转换的步骤使得不同字符编码格式的系统消息在进行规则匹配之前进行统一,便于后续的规则匹配和归一化处理,所述合并是将一定时间范围内的相同事件产生的消息合并上报,节省网络资源的同时,更便于发现问题。
本发明还提供一种收集器,包括:
接收模块,用于接收传感器发送的系统消息,
匹配模块,用于将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,
归一化模块,用于将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,所述归一化消息为具有统一的归一化属性的文件,
输出模块,用于输出所述归一化消息。
具体的,所述匹配模块具体用于在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,所述系统消息为传感器根据不同的系统事件生成的自定义的事件记录消息,所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。
具体的,所述匹配模块具体用于根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。
优选的,还包括编码统一模块,用于将具有不同的字符编码方式的系统消息转换为具有统一的字符编码方式的系统消息。
优选的,所述匹配模块具体用于当收集器接收到的系统消息与预存的与所述传感器一一对应的规则文件不匹配时,收集器将接收到的系统消息与预存的其他传感器对应的规则文件进行匹配。
优选的,还包括合并模块,用于在预设时间范围内将具有至少一个归一化属性内容相同的多个归一化消息合并,生成合并消息,所述合并消息为与归一化消息具有统一的归一化属性的事件记录,所述输出模块,具体用于输出所述归一化消息和合并消息。
具体的,所述合并模块具体用于所述至少一个归一化属性包括自定义事件ID,传感器类型,传感器IP,源IP和目的IP,
所述合并生成合并消息包括:将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
本发明所提供的收集器,能够接收局域网中不同设备发送的系统消息,将系统消息按照预设的处理规则进行匹配,匹配成功的需要进一步处理的系统消息,收集器按照统一的归一化消息的属性要求,提取系统消息中的相应属性,并回填部分属性,生成与所述系统消息一一对应的归一化消息,输出所述归一化消息后,局域网便可以通过管理这些具有统一属性的归一化消息,实现对系统消息的统一管理。本发明所提供的收集器还具有字符转换和合并发送的功能模块,所述字符转换功能将采用不同字符编码方式的系统消息在进行规则匹配前统一转换为相同的字符编码方式,便于进一步的后续处理,所述的合并功能,能够将相同事件触发的系统消息进行合并后发送,节省了网络资源的同时,也方便了后续的监控管理工作。
附图说明
为了更清楚的说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明提供的系统消息处理方法第一实施例的流程示意图;
图2为本发明提供的系统消息处理方法第二实施例的流程示意图;
图3为本发明提供的应用于第二实施例的收集器的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和实施例对本发明作进一步详细描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在局域网中,需要进行管理的设备,包括交换机,路由器,防火墙,服务器等设备,均能够发送系统消息,为更好的说明本发明的方法,将发送系统消息的设备统称为传感器,而本发明提供的系统消息处理方法,应用于对这些系统消息进行管理的设备,统称为收集器,一个局域网中包括多个传感器,并根据需要,设置一个或多个收集器,一个收集器连接多个传感器,收集器负责接收传感器发送的系统消息,对系统消息规则匹配和归一化处理后输出。
本领域技术人员很容易理解的是,根据局域网的实际配置情况或管理的需求,收集器输出的归一化消息,可以由收集器负责显示或连接至其他系统进行管理,也可以在收集器之上再设置一个代理中心,用于综合管理局域网中多个收集器输出的归一化消息,使系统消息的管理更加集中化,本发明不再对此设置进行详述。
图1为本发明提供的系统消息处理方法第一实施例的流程示意图,图1所示的系统消息处理方法第一实施例的流程包括:
步骤S101,收集器接收传感器发送的系统消息。
具体的,在一个局域网中,一个收集器连接多个传感器,收集器接收到的系统消息记录了发送此系统消息的传感器的所有事件信息。
步骤S102,收集器将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配。
在传感器发送的系统消息中,有些系统消息记录的事件是集中管理及监控需要的,有些系统消息记录的事件则是不需要的,收集器首先将需要的系统消息筛选出来,不需要的系统消息进行丢弃,其中,丢弃系统消息包括按照传感器的IP地址进行筛选后将某传感器的的系统消息全部丢弃,和按照一定的规则进行匹配后,将不需要进行后续分析整理的系统消息进行丢弃。
在收集器中,预存有与收集器相连的各个传感器一一对应的规则文件,每个所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,即,每个传感器发送出来的系统消息,根据预先设置好的处理规则进行筛选,有用的系统消息需要进行进一步归一化处理,而一些管理员进行配置类的系统消息在局域网监控中可能不需要,则此类的系统消息需要进行丢弃处理。
步骤S103,收集器将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息。
具体的,收集器将匹配成功需要进一步处理的系统消息,进行进一步的归一化处理,按照全网统一的归一化消息的属性要求,生成具有统一的归一化属性的事件记录。
所述归一化属性包括收集器在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,其中,所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。
以上属性中,客户ID用于根据需要上报给不同的系统时,用于区分事件归属的信息属性,自定义事件类型为收集器自定义的归一化消息的事件类型,自定义事件ID为收集器自定义的事件ID。
归一化事件级别为根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。
本发明所提供的系统消息的处理方法,在对系统消息进行归一化处理的同时,对遵循不同企业标准的系统消息,也进行系统消息级别的统一,方便管理,本发明提供的系统消息级别的统一格式如下:
级别 | 名称/英文名称 | 颜色 | 含义 | 归类 |
5 | 紧急(Emergency) | 红色 | 极其紧急的错误,需要立即处理; | 紧急告警 |
4 | 报警(Alert) | 橙色 | 系统中发生一些需立即纠正的错误; | 重要告警 |
3 | 错误(Error) | 黄色 | 关键性错误,需要尽快处理; | 一般告警 |
2 | 警告(Warning) | 蓝色 | 需关注但不重要的提示信息; | 警告 |
1 | 提示(Information) | 绿色 | 一般提示信息; | 提示 |
举例来说,Syslog,SNMPTrap消息级别与归一化后系统消息级别对应关系如下:
归一化的系统消息级别 | 源消息中的级别 |
5 | 0 |
4 | 1 |
3 | 3,2 |
2 | 5,4 |
1 | 7,6 |
1 | 其余所有情况 |
对于没有采用统一消息级别的厂家自定义的系统消息,根据具体消息级别情况,进行级别映射,转换成1~5级,参照上述消息级别进行对应。
步骤S104,收集器输出所述归一化消息。
具体的,收集器根据相应的规则输出所述归一化消息,如按照时间顺序输出,或根据归一化消息的事件级别分类输出等,不再详述。
本实施例所提供的系统消息处理方法,能够将局域网中不同设备发送的系统消息,按照预设的规则进行匹配,筛选出需要进一步处理的系统消息进行归一化的处理,生成具有统一的归一化属性的归一化消息,并对系统消息的级别进行了归一化处理,实现了不同设备间,不同生产厂商间的系统消息的集中监控和管理。
图2为本发明提供的系统消息处理方法第二实施例的流程示意图,如图2所示的本发明提供的系统消息处理方法第二实施例包括如下步骤:
S201,接收传感器发送的系统消息。
同第一实施例的步骤S101。
S202,统一系统消息的字符编码。
具体的,由于系统消息来自不同的传感器,其使用的字符编码方式也互不相同,包括UTF-8,GB2312,GBK等,本发明将系统消息统一为一种字符编码方式以使后续的规则文件的匹配和规划化的处理的过程更加规范。
S203,判断和预存的与所述传感器对应的规则文件是否匹配,如是,跳至步骤S206,如否,接步骤S204。
具体的,收集器将收到的系统消息与收集器中预存的与发送此系统消息的传感器所对应的规则文件进行匹配,匹配结果包括匹配成功和匹配失败,如匹配成功进行进一步的归一化处理,如匹配失败,即,收集器中预存的规则文件中,没有与之对应的规则条目,可能是一个没有被规则文件预先定义的系统消息,也可能是一个传感器发送的错误代码信息。
S204,判断和预存的与其他传感器对应的规则文件是否匹配,如是,跳至步骤S206,如否,接步骤205。
具体的,当收集器将系统消息与收集器中预存的与发送此系统消息的传感器所对应的规则文件进行匹配,匹配失败后,收集器将系统消息进一步与预存的其他传感器对应的规则文件进行匹配,进而提高系统消息匹配成功率。
S205,放入不匹配系统消息记录。
具体的,如系统消息与预存的其他传感器对应的规则文件匹配也不成功时,收集器将此系统消息放入不匹配系统消息记录中,以便后续进行相应规则文件的完善,或者用于发现传感器的隐藏故障等。
S206,进行归一化处理生成归一化消息。
具体的,当系统消息与规则文件匹配成功时,收集器将系统消息进行进一步的归一化处理。
可以理解的是,所述的匹配成功进行处理,包括匹配成功,进一步进行归一化处理生成归一化消息,还包括匹配成功,此系统消息不需要进一步处理,可以丢弃。
归一化消息的生成同第一实施例的步骤S103,不再详述。
优选的,对系统消息进行规则文件匹配时,根据系统消息内事件的级别,事件类型和事件的具体内容,对不同的规则条目进行不同级别的划分,以便对规则文件进行更好的管理。
举例说明,本发明提供使用class(类别),subclass(子类别),family(特性)三个事件级别属性代表归一化事件的三级分类,系统消息与规则条目进行逐级匹配,方便进一步的监控和管理。
优选的,本发明还提供对系统消息中不同的时间格式进行归一化处理的方法,在系统消息中,事件格式包括数字格式和字符串格式,其中数字格式的时间包括:毫秒形式时间,秒形式时间,负数格式时间,字符串格式的时间包括:年月日,月日年,另外,也包括数字或字符串格式的缩写形式,在进行系统消息归一化处理的过程中,需要对不同的时间格式进行归一化处理为一种统一的时间格式。
S207,判断是否满足合并条件。
具体的,收集器生成归一化消息后,本发明还提供合并归一化消息的功能。由于系统消息由不同的事件触发,相同事件在一定时间范围内发生,导致相同的归一化消息频繁产生,如果不进行进一步的合并处理,会导致局域网内网络资源的浪费,也不利于问题的分析和监控管理的需要。
可以理解的是,合并归一化消息需要设定一定的时间范围,超出预设时间范围内的归一化消息没有合并的价值,可以通过预设一定的时间范围,将在此时间范围内满足合并条件的归一化消息进行合并,本发明还提供的一种更优选的方法是,在收集器生成了归一化消息并且进行输出后,会将发送的归一化消息进行缓存,在一定的时间段内,如120秒内,新产生的归一化消息会首先与已经发送的归一化消息进行比较,如满足一定的合并条件,则等待下一条相同归一化消息的产生并进行合并。
本发明提供的合并的条件为,包括至少一个归一化属性,如包括自定义事件类型,传感器类型,传感器IP,源IP和目的IP,当所述的五个归一化属性均相同时,收集器将两个归一化消息进行合并。
S208,合并处理生成合并消息。
具体的,将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,
将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,
将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
合并相同的归一化消息,大大减少了收集器需要输出的归一化消息的个数。
S209,输出归一化消息或合并消息。
具体的,收集器按照预设的一定的输出规则输出归一化消息或合并消息,进行后续的处理和显示,此处不再详述。
本实施例所提供的系统消息的处理方法,在第一实施例的基础上,进一步提供了统一系统消息的字符编码,以及将归一化消息进行合并的功能,使得系统消息的管理更加规范和完善,提高了网络资源利用率,并方便后续的进一步监控和管理。
图3为本发明提供的应用于第二实施例的收集器的结构示意图,图3所示的本发明提供的应用于第二实施例的收集器包括:
接收模块301,用于接收传感器发送的系统消息。
编码统一模块302,用于将具有不同的字符编码方式的系统消息转换为具有统一的字符编码方式的系统消息。
匹配模块303,用于将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,具体用于在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,所述系统消息为传感器根据不同的系统事件生成的自定义的事件记录消息,所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。具体用于根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。具体用于当收集器接收到的系统消息与预存的与所述传感器一一对应的规则文件不匹配时,收集器将接收到的系统消息与预存的其他传感器对应的规则文件进行匹配。
归一化模块304,用于将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,所述归一化消息为具有统一的归一化属性的事件记录。
合并模块305,用于在预设时间范围内将具有至少一个归一化属性内容相同的多个归一化消息合并,生成合并消息,所述合并消息为与归一化消息具有统一的归一化属性的事件记录,所述合并消息为与归一化消息具有统一的归一化属性的记录。具体用于所述至少一个归一化属性包括自定义事件类型,传感器类型,传感器IP,源IP和目的IP,所述合并生成合并消息包括:将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
输出模块306,具体用于输出所述归一化消息和合并消息。
本实施例所提供的收集器,能够将局域网中不同设备发送的系统消息,按照预设的规则进行匹配,并生成具有统一的归一化属性的归一化消息,还提供统一系统消息的字符编码,以及将归一化消息进行合并的功能,实现了不同设备间,不同生产厂商间的系统消息的集中监控和管理,使得系统消息的管理更加规范和完善,提高了网络资源利用率,并方便后续的进一步监控和管理。
在本申请所提供的实施例中,应该理解到,所揭露的方法、设备和系统,可以通过其它的方式实现。例如,以上所描述的设备实施例仅是是示意性的,所述功能模块的划分,仅为一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或者一些特征可以忽略,或不执行。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种系统消息处理方法,应用于包括传感器和收集器的系统消息处理系统中,所述一个收集器连接至少一个所述传感器,其特征在于,包括以下步骤:
收集器接收传感器发送的系统消息,
收集器将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,
收集器将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,所述归一化消息为具有统一的归一化属性的事件记录,
收集器输出所述归一化消息。
2.根据权利要求1所述的系统消息处理方法,其特征在于,所述归一化属性,具体包括:
收集器在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,所述系统消息为传感器根据不同的系统事件生成的自定义的事件记录消息,
所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,
所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。
3.根据权利要求2所述的系统消息处理方法,其特征在于,所述归一化事件级别,具体包括:
根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。
4.根据权利要求1所述的系统消息处理方法,其特征在于,在收集器接收传感器发送的系统消息之后,收集器将接收到的系统消息与预存的与所述传感器一一对应的规则文件进行匹配之前,所述方法还包括:
收集器将具有不同的字符编码方式的系统消息转换为具有统一的字符编码方式的系统消息。
5.根据权利要求1所述的系统消息处理方法,其特征在于,在收集器将接收到的系统消息与预存的与所述传感器一一对应的规则文件进行匹配之后,所述方法还包括:
当收集器接收到的系统消息与预存的与所述传感器一一对应的规则文件不匹配时,收集器将接收到的系统消息与预存的其他传感器对应的规则文件进行匹配。
6.根据权利要求1所述的系统消息处理方法,其特征在于,在收集器将匹配成功的系统消息生成与所述系统消息一一对应的归一化消息之后,所述方法还包括:
收集器在预设时间范围内将具有至少一个归一化属性内容相同的多个归一化消息合并,生成合并消息,所述合并消息为与归一化消息具有统一的归一化属性的事件记录,
所述收集器输出所述归一化消息,具体包括:
收集器输出所述归一化消息和合并消息。
7.根据权利要求6所述的系统消息处理方法,其特征在于,所述收集器将具有至少一个归一化属性的内容相同的多个归一化消息合并生成合并消息,具体包括:
所述至少一个归一化属性包括自定义事件ID,传感器类型,传感器IP,源IP和目的IP,
所述合并生成合并消息包括:
将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,
将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,
将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
8.一种收集器,其特征在于,包括:
接收模块,用于接收传感器发送的系统消息,
匹配模块,用于将所述系统消息和与预存的与所述传感器一一对应的规则文件进行匹配,所述规则文件包括至少一个规则条目,所述规则条目为系统消息与相应的处理规则之间的对应关系,
归一化模块,用于将匹配的系统消息进行归一化处理,生成与所述系统消息一一对应的归一化消息,所述归一化消息为具有统一的归一化属性的文件,
输出模块,用于输出所述归一化消息。
9.根据权利要求8所述的收集器,其特征在于:
所述匹配模块,具体用于在匹配成功的系统消息中直接提取的提取属性,和收集器根据所述匹配成功的系统消息进行回填的回填属性,所述系统消息为传感器根据不同的系统事件生成的自定义的事件记录消息,
所述提取属性包括:所述提取属性包括:帐号,源IP,源端口,目的IP,目的端口,协议类型,事件发生时间,事件结束时间,事件发生次数,事件摘要,访问的网站,访问的DNS,整形保留属性,字符串类型保留属性,
所述回填属性包括:归一化事件级别,客户ID,自定义事件ID,自定义事件类型,传感器ID,传感器IP,传感器掩码,传感器类型,收集器ID,收集器IP,系统消息接收时间,原始日志。
10.根据权利要求9所述的收集器,其特征在于:
所述匹配模块,具体用于根据匹配成功的系统消息中自定义的事件类型和预设的归一化事件级别对应关系,确定归一化事件级别,所述预设的归一化事件级别对应关系,为匹配成功的系统消息中的自定义的事件类型和归一化事件级别之间一一对应的关系。
11.根据权利要求8所述的收集器,其特征在于,还包括:
编码统一模块,用于将具有不同的字符编码方式的系统消息转换为具有统一的字符编码方式的系统消息。
12.根据权利要求8所述的收集器,其特征在于:
所述匹配模块,具体用于当收集器接收到的系统消息与预存的与所述传感器一一对应的规则文件不匹配时,收集器将接收到的系统消息与预存的其他传感器对应的规则文件进行匹配。
13.根据权利要求8所述的收集器,其特征在于,还包括:
合并模块,用于在预设时间范围内将具有至少一个归一化属性内容相同的多个归一化消息合并,生成合并消息,所述合并消息为与归一化消息具有统一的归一化属性的事件记录,
所述输出模块,具体用于输出所述归一化消息和合并消息。
14.根据权利要求13所述的收集器,其特征在于:
所述合并模块,具体用于所述至少一个归一化属性包括自定义事件ID,传感器类型,传感器IP,源IP和目的IP,
所述合并生成合并消息包括:将进行合并的第一个归一化消息中的事件发生时间确定为合并消息中的事件发生时间,将进行合并的最后一个归一化消息中的事件结束时间确定为合并消息中的事件结束时间,将合并的所有归一化消息中的事件发生次数相加得到的和确定为合并消息中的事件发生次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511023137.XA CN105450459B (zh) | 2015-12-30 | 2015-12-30 | 一种系统消息处理方法及收集器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511023137.XA CN105450459B (zh) | 2015-12-30 | 2015-12-30 | 一种系统消息处理方法及收集器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105450459A true CN105450459A (zh) | 2016-03-30 |
CN105450459B CN105450459B (zh) | 2019-06-07 |
Family
ID=55560264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511023137.XA Active CN105450459B (zh) | 2015-12-30 | 2015-12-30 | 一种系统消息处理方法及收集器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105450459B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106230890A (zh) * | 2016-07-15 | 2016-12-14 | 中电长城网际系统应用有限公司 | 一种消息归一化处理方法及系统 |
CN107491460A (zh) * | 2016-06-13 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 适配系统的数据映射方法及装置 |
CN110287279A (zh) * | 2019-05-24 | 2019-09-27 | 国网冀北电力有限公司 | 一种将非结构化的日志报告转为结构化系统报表的方法 |
CN113495978A (zh) * | 2020-03-18 | 2021-10-12 | 中电长城网际系统应用有限公司 | 一种数据检索方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171689B2 (en) * | 2002-02-25 | 2007-01-30 | Symantec Corporation | System and method for tracking and filtering alerts in an enterprise and generating alert indications for analysis |
CN101394267A (zh) * | 2008-10-08 | 2009-03-25 | 北京启明星辰信息技术股份有限公司 | 基于通用范化标签语言的安全信息管理系统及方法 |
CN103546312A (zh) * | 2013-08-27 | 2014-01-29 | 中国航天科工集团第二研究院七〇六所 | 一种海量多源异构日志关联分析方法 |
CN104753861A (zh) * | 2013-12-27 | 2015-07-01 | 中国电信股份有限公司 | 安全事件处理方法和装置 |
CN104778189A (zh) * | 2014-02-24 | 2015-07-15 | 贵州电网公司信息通信分公司 | 一种基于xml标签语言的日志管理方法和系统 |
-
2015
- 2015-12-30 CN CN201511023137.XA patent/CN105450459B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171689B2 (en) * | 2002-02-25 | 2007-01-30 | Symantec Corporation | System and method for tracking and filtering alerts in an enterprise and generating alert indications for analysis |
CN101394267A (zh) * | 2008-10-08 | 2009-03-25 | 北京启明星辰信息技术股份有限公司 | 基于通用范化标签语言的安全信息管理系统及方法 |
CN103546312A (zh) * | 2013-08-27 | 2014-01-29 | 中国航天科工集团第二研究院七〇六所 | 一种海量多源异构日志关联分析方法 |
CN104753861A (zh) * | 2013-12-27 | 2015-07-01 | 中国电信股份有限公司 | 安全事件处理方法和装置 |
CN104778189A (zh) * | 2014-02-24 | 2015-07-15 | 贵州电网公司信息通信分公司 | 一种基于xml标签语言的日志管理方法和系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491460A (zh) * | 2016-06-13 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 适配系统的数据映射方法及装置 |
CN106230890A (zh) * | 2016-07-15 | 2016-12-14 | 中电长城网际系统应用有限公司 | 一种消息归一化处理方法及系统 |
CN110287279A (zh) * | 2019-05-24 | 2019-09-27 | 国网冀北电力有限公司 | 一种将非结构化的日志报告转为结构化系统报表的方法 |
CN110287279B (zh) * | 2019-05-24 | 2021-08-13 | 国网冀北电力有限公司 | 一种将非结构化的日志报告转为结构化系统报表的方法 |
CN113495978A (zh) * | 2020-03-18 | 2021-10-12 | 中电长城网际系统应用有限公司 | 一种数据检索方法及装置 |
CN113495978B (zh) * | 2020-03-18 | 2024-01-02 | 中电长城网际系统应用有限公司 | 一种数据检索方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105450459B (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7139938B2 (en) | System and method for providing common event format using alert index | |
CN100479385C (zh) | 一种多设备集中维护方法和系统 | |
CN105450459A (zh) | 一种系统消息处理方法及收集器 | |
CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
CN104144071A (zh) | 系统日志的处理方法和系统日志的处理平台 | |
CN102820993A (zh) | 网络资源监控系统和网络资源监控方法 | |
JP2021515498A (ja) | 完全性監視及びネットワーク侵入検出のための属性ベースのポリシー | |
CN101938366A (zh) | 一种实现关联告警的方法及装置 | |
CN101388903A (zh) | 移动企业it标准化管理平台 | |
CN112491579A (zh) | 一种基于sdn的处理告警信息的方法及设备 | |
CN113242359A (zh) | 一种基于企业微信自动发送发电厂报警消息的方法 | |
CN112241401A (zh) | 一种基于知识图谱的数字化质量管理系统及方法 | |
US7016954B2 (en) | System and method for processing unsolicited messages | |
US6886113B2 (en) | System and method for determining and presenting network problems | |
CN105071986A (zh) | 一种监控系统运行状态的方法 | |
CN108345528A (zh) | 一种后台服务器监控方法、装置和设备 | |
CN114006940A (zh) | 建筑集成管理信息推送方法、系统、计算机及存储介质 | |
CN111614612B (zh) | 通讯协议实现方法、装置、网管服务器和存储介质 | |
CN112925694A (zh) | 一种基于规则引擎的集中式告警通知系统及方法 | |
CN113691392A (zh) | 一种基于业务规则的物联网报警系统 | |
CN113848834A (zh) | 一种基于边云协同的车间设备接入系统及方法 | |
CN103810085A (zh) | 一种通过数据比对进行模块测试的方法及装置 | |
CN108809735A (zh) | 事件上报管理方法及装置 | |
CN102857355A (zh) | 一种消息适配的方法及装置 | |
CN102088358B (zh) | 一种性能数据采集对象的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |