CN102064969A

CN102064969A - 一种日志的处理方法和设备

Info

Publication number: CN102064969A
Application number: CN2010106217790A
Authority: CN
Inventors: 余栋明; 汪欣
Original assignee: Datang Mobile Communications Equipment Co Ltd
Current assignee: Datang Mobile Communications Equipment Co Ltd
Priority date: 2010-12-27
Filing date: 2010-12-27
Publication date: 2011-05-18

Abstract

本发明公开了一种日志的处理方法和设备，该方法包括：日志服务器接收网元设备通过Syslog消息发送的日志信息；所述日志服务器通过预设程序处理所述日志信息，并根据处理结果存储相应的日志。本发明实施例中，利用Syslog消息发送日志信息，可使用操作系统已有的处理程序或开源程序进行接收、分类存储，无需另行在应用程序中添加对网元设备的日志信息接收、存储的实现，简化实现；而且日志存储在日志服务器的硬盘上，没有记录时长的限制，只需增加硬盘，即可长期保存。

Description

一种日志的处理方法和设备

技术领域

本发明涉及通信技术领域，尤其涉及一种日志的处理方法和设备。

背景技术

现有技术中，对LTE(Long Term Evolution，长期演进)系统的网元设备的日志，相应的保存方式包括：(1)直接保存在网元设备的存储器(如falsh)中。(2)网元设备通过消息(如SNMP(Simple Network Management Protocol，简单网络管理协议)的trap(告警)消息)将日志发送到管理站，由管理站将消息解析后保存在数据库中。

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

LTE网元设备的存储器容量有限，一般情况下只能保存几天的日志记录。

如果网元设备的日志发送到管理站保存，则管理站需要匹配相应的应用程序对其进行解析、入库，并实现查询、统计等完整的维护手段。从而大大增加管理站操作维护应用系统的复杂度，且频繁的读写数据库会增加数据库的负担，导致其它必要的数据库操作无法进行或响应缓慢。

发明内容

本发明实施例提供一种日志的处理方法和设备，以通过日志服务器存储并管理日志。

为了达到上述目的，本发明实施例提供一种日志的处理方法，包括：

日志服务器接收网元设备通过Syslog消息发送的日志信息；

所述日志服务器通过预设程序处理所述日志信息，并根据处理结果存储相应的日志。

本发明实施例提供一种日志服务器，包括：

接收模块，用于接收网元设备通过Syslog消息发送的日志信息；

处理模块，用于通过预设程序处理所述日志信息；

存储模块，用于根据处理结果存储相应的日志。

本发明实施例提供一种日志的处理方法，包括：

网元设备获取日志信息；

所述网元设备通过Syslog消息将所述日志信息发送给日志服务器。

本发明实施例提供一种网元设备，包括：

获取模块，用于获取日志信息；

发送模块，用于通过Syslog消息将所述日志信息发送给日志服务器。

与现有技术相比，本发明至少具有以下优点：

利用Syslog消息发送日志信息，可使用操作系统已有的处理程序或开源程序进行接收、分类存储，无需另行在应用程序中添加对网元设备的日志信息接收、存储的实现，简化实现；而且日志存储在日志服务器的硬盘上，没有记录时长的限制，只需增加硬盘，即可长期保存。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的LTE网管系统的运行日志结构示意图；

图2是本发明实施例一提供的一种日志的处理方法流程示意图；

图3是本发明实施例二提供的一种日志服务器的结构示意图；

图4是本发明实施例三提供的一种网元设备的结构示意图。

具体实施方式

由于LTE系统中网元设备的局限性，其日志在网元设备上的保存时间很短，将日志发送到管理站保存实现复杂且效率低下。针对上述问题，本发明实施例中提出一种日志的处理方法和设备，以简单和高效的维护日志，并可长期保存LTE系统日志。

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种日志的处理方法，以通过Syslog(系统日志)协议处理网元设备的日志。其中，该网元设备包括但不限于：LTE系统中的ENODEB(演进节点B，即基站)、EPC(Evolved Packet Core，分组核心演进)、IMS(IP Multimedia Subsystem，IP多媒体系统)等；该日志包括但不限于：操作日志、异常事件日志、重要过程日志等。

本发明实施例中，如图1所示的LTE网管系统的运行日志结构图，LTE网元设备的操作日志、异常事件日志、重要过程日志等可采用Syslog协议消息格式发送到LTE网管系统的日志服务器，由日志服务器进行分类存储；以下首先对Syslog协议进行详细说明。

Syslog协议可用来记录设备的日志，在UNIX系统，路由器、交换机等网络设备中，Syslog记录系统中任何时间发生的大小事件；管理者可以通过查看系统记录，随时掌握系统状况。如表1所示，为Syslog协议规定的消息格式：

表1

在表1中：

(1)HEADER，依据ABNF[RFC5234]定义，HEADER＝PRI VERSIONSP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGID；其中SP为“空格”，对应的ASCII值为32。

(2)PRI字段，由3-5个字符组成，其格式为<PRIVAL>，“＜”和“＞”分别占一个字符，PRIVAL的值占1-3个字符。其中，PRIVAL值的计算公式为PRIVAL＝Facility*8+Severity，即PRIVAL字段的取值范围为0-191。

进一步的，Facility的取值范围在0-23之内，协议中定义了取值范围为0-15序号的具体含义，取值范围为16-23的序号由用户自定义，如表2所示：

表2

Numerical Code	Facility
		0	kernel messages
1	user-level messages
		2	mail system
3	system daemons
		4	security/authorization messages
5	messages generated internally by syslogd

6	line printer subsystem
		7	network news subsystem
8	UUCP subsystem
		9	clock daemon
10	security/authorization messages
		11	FTP daemon
12	NTP subsystem
		13	log audit
14	log alert
		15	clock daemon(note 2)
16	local use 0(local0)
		17	local use 1(local1)
18	local use 2(local2)
		19	local use 3(local3)
20	local use 4(local4)
		21	local use 5(local5)
22	local use 6(local6)
		23	local use 7(local7)

另外，Severity的取值范围在0-7之内，如表3所示：

表3

Numerical Code

Severity

0	Emergency：system is unusable
		1	Alert：action must be taken immediately
2	Critical：critical conditions
		3	Error：error conditions
4	Warning：warning conditions
		5	Notice：normal but significant condition
6	Informational：informational messages
		7	Debug：debug-level messages

(3)VERSION，VERSION字段由1位非零整数和0-2个整数组成，目前的协议版本号为1。

(4)TIMESTAMP，TIMESTAMP字段是一个标准时间戳的格式，在南向接口中，TIMESTAMP字段所表示的时间为格林尼治时(GMT)，格式为：年-月-日T时:分:秒。其中，字符T是需要包含的；年取值范围为4位整数，网元设备内部从1900开始；月取值范围01-12；日依据年月取值范围分别为01-28，01-29，01-30，01-31；时取值范围为00-23；分取值范围为00-59；秒取值范围为00-59。

(5)HOSTNAME，HOSTNAME字段描述了发送Syslog消息的主机名称，最大占用字节数255个字节。

(6)APP-NAME，APP-NAME字段描述应用名称，用来过滤Syslog消息，该字段为字符串参数，最大占用字节数48个字节。

(7)PROCID，PROCID字段描述进程名或进程ID，该PROCID字段为字符串参数，最大占用字节数128个字节。

(8)MSGID，MSGID字段描述了消息类型，用于Syslog的过滤；该MSGID字段为字符串参数，最大占用字节数32个字节。

(9)STRUCTURED-DATA，依据ABNF[RFC5234]的定义，该STRUCTURED-DATA＝NILVALUE/1*SD-ELEMENT；其中，NILVALUE的含义为“-”，当无STRUCTURED-DATA时，用“-”占位。

(10)SD-ELEMENT，SD-ELEMENT描述了元素值，由一个名称和一个参数数据对组成，其结构为″[″SD-ID*(SP SD-PARAM)″]″。

进一步的，SD-ID字段描述了SD-ELEMENT的类型，其格式为：NAME@enterpriseId；enterpriseId号是向IANA注册时所分配的企业私有ID号，该ID号是独一无二的；NAME字段为字符串类型，不能包含以下字符：“＝”、空格、“]”、双引号。

另外，SD-PARAM是由参数名和参数名所对应的参数值组成，其格式为PARAM-NAME＝“PARAM-VALUE”。

(11)MSG，MSG字段描述了消息内容，为字符串形式。

基于上述Syslog相关特征，如图2所示，该日志的处理方法包括以下步骤：

步骤201，网元设备获取日志信息，并通过Syslog消息将日志信息发送给日志服务器。其中，该网元设备可通过Syslog消息(即基于Syslog协议的消息)将日志信息以UDP(User Datagram Protocol用户数据包协议)方式发送给日志服务器。

步骤202，日志服务器接收网元设备通过Syslog消息发送的日志信息。其中，日志服务器可通过预设程序监听UDP端口来接收网元设备通过Syslog消息发送的日志信息。

本发明实施例中，该预设程序为操作系统已有的处理程序或开源程序，包括但不限于：操作系统中自带的syslogd程序(如：Solaris、Unix等)、安装rsyslog、syslog-ng等开源软件的程序，为了方便描述以syslogd程序为例进行说明，其他开源软件的处理方式与系统自带的syslogd程序的处理方式类似。

本步骤中，日志服务器通过syslogd程序来监听UDP的514端口，当接收到Syslog消息后，日志服务器可及时获知接收到网元设备的日志信息。

步骤203，日志服务器通过syslogd程序处理日志信息，并根据处理结果存储(分类存储)相应的日志。

具体的，日志服务器可根据syslogd程序的syslog.conf中的配置来处理日志信息，并将指定的日志写入指定文件，即日志服务器通过修改syslogd程序中的配置syslog.conf来达到对Syslog消息日志的过滤、分类存储目的。

综上所述，本发明实施例中，日志服务器可通过syslogd程序对日志信息进行过滤，并将过滤后的日志存储到指定文件。该过滤过程包括但不限于：日志服务器对Syslog消息中的PRI字段进行过滤；和/或，日志服务器对Syslog消息中的属性字段进行过滤；和/或，日志服务器对Syslog消息中的指定表达式进行过滤。

(1)选项(selector)过滤器。对Syslog中的PRI字段进行过滤，PRI包括2部分内容，级别(Severity)和设备(Facility)，相应的过滤过程可由多条规则构成，每条规则分3个部分指定Facility、Severity以及要采取的措施，规则的格式为：Selector(Facility，Severity)Action。

例如，指定Facility为mail，Severity为err以上级别的日志写入/var/log/mail文件，而err以下级别的日志被忽略时，相应的格式为：

mail.err /var/log/mail。

又例如，最后将info(包含)～err(不含)范围的kern消息记录到kernel文件(err和更高的级别被忽略)时，则相应的格式为：

kern.info；kern.！err /var/adm/kernel

(2)基于属性的过滤器。该过滤器支持对属性字段的过滤，过滤规则的格式为：：property，[！]compare-operation，″value″

其中，property是Syslog协议报文的属性字段，compare-operation是操作匹配符，内容如表4所示，在compare-operation前可添加“！”，代表取反之意。

表4

例如，将procid等于01010101的Syslog日志记录在borad文件中，则相应格式为：：procid，isequal，″01010101″/var/log/borad

(3)基于属性的过滤器。支持使用表达式对Syslog日志进行过滤，在引用的属性字段前加上”$”，字符串使用单引号。支持使用的字符包括但不限于：if，then

括号

*，/，％(取模)

+，-，&(字符串联)

＝＝，！＝，＜＞，＜，＞，＜＝，＞＝，contains()，startswith()(括号中参数为字符串，不区分大小写)

contains_i()，startswith_i()(区分大小写)

and，or

not

例如，将Facility字段为local0，Msg字段中以“DEVNAME”开始，且Msg字段不能包括“error1”和“error0”的Syslog日志消息记录在文件/var/log/somelog中，则相应的格式为：

if$syslogfacility-text＝＝′local0′and$msg startswith′DEVNAME′and not($msg contains′error 1′or $msg contains′error0′)then/var/log/somelog

步骤204，日志服务器通过Syslog解析工具解析已存储的日志，并将日志的字段作为关键字进行管理(如查询、统计、导出等)。

通过上述步骤201-203，Syslog消息处理程序(syslogd程序)可将网元设备日志过滤后分类保存在不同文件中，本步骤中，可以利用开源的Syslog解析工具，对已分类的日志文件进行解析，将Syslog日志消息的字段作为关键字以方便的进行管理。

综上所述，本发明实施例中，至少具有以下优点：1)利用Syslog协议发送日志消息，可以使用操作系统已有的处理程序或开源程序进行接收、分类存储，无需另行在应用程序中添加对网元设备日志消息接收、存储的实现，简化实现。2)LTE系统网元设备日志存储在网管系统的硬盘上，没有记录时长的限制，只需增加硬盘，就可长期保存。3)利用开源的Syslog解析工具对存储的日志文件进行解析，可有效降低频繁读写数据库带来的I/O处理压力。

实施例二

基于与上述方法同样的发明构思，本发明实施例中还提供了一种日志服务器，如图3所示，该日志服务器包括：

接收模块11，用于接收网元设备通过Syslog消息发送的日志信息；

处理模块12，用于通过预设程序处理所述日志信息；

存储模块13，用于根据处理结果存储相应的日志。

所述接收模块11，具体用于通过所述预设程序监听UDP端口接收所述网元设备通过Syslog消息发送的日志信息。

所述处理模块12，具体用于通过预设程序对所述日志信息进行过滤；

所述存储模块13，具体用于将过滤后的日志存储到指定文件。

所述处理模块12，进一步用于对所述Syslog消息中的PRI字段进行过滤；和/或，

对所述Syslog消息中的属性字段进行过滤；和/或，

对所述Syslog消息中的指定表达式进行过滤。

所述处理模块12，还用于通过Syslog解析工具解析已存储的日志，并将日志的字段作为关键字进行管理。

本发明实施例中，所述预设程序包括：syslogd程序。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

实施例三

基于与上述方法同样的发明构思，本发明实施例中还提供了一种网元设备，如图4所示，该网元设备包括：

获取模块21，用于获取日志信息；

发送模块22，用于通过Syslog消息将所述日志信息发送给日志服务器。

所述发送模块22，具体用于通过Syslog消息将所述日志信息以UDP方式发送给日志服务器。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种日志的处理方法，其特征在于，包括：

日志服务器接收网元设备通过Syslog消息发送的日志信息；

2.如权利要求1所述的方法，其特征在于，所述日志服务器接收网元设备通过Syslog消息发送的日志信息，包括：

所述日志服务器通过所述预设程序监听UDP端口接收所述网元设备通过Syslog消息发送的日志信息。

3.如权利要求1所述的方法，其特征在于，所述日志服务器通过预设程序处理所述日志信息，并根据处理结果存储相应的日志，包括：

所述日志服务器通过预设程序对所述日志信息进行过滤，并将过滤后的日志存储到指定文件。

4.如权利要求3所述的方法，其特征在于，所述日志服务器通过预设程序对所述日志信息进行过滤，包括：

所述日志服务器对所述Syslog消息中的PRI字段进行过滤；和/或，

所述日志服务器对所述Syslog消息中的属性字段进行过滤；和/或，

所述日志服务器对所述Syslog消息中的指定表达式进行过滤。

5.如权利要求1所述的方法，其特征在于，所述日志服务器通过预设程序处理所述日志信息，并根据处理结果存储相应的日志，之后还包括：

所述日志服务器通过Syslog解析工具解析已存储的日志，并将日志的字段作为关键字进行管理。

6.如权利要求1-5任一项所述的方法，其特征在于，所述预设程序包括：syslogd程序。

7.如权利要求1-5任一项所述的方法，其特征在于，所述网元设备为LTE系统中的网元设备；所述日志服务器为LTE系统中的日志服务器。

8.一种日志服务器，其特征在于，包括：

处理模块，用于通过预设程序处理所述日志信息；

存储模块，用于根据处理结果存储相应的日志。

9.如权利要求8所述的日志服务器，其特征在于，

所述接收模块，具体用于通过所述预设程序监听UDP端口接收所述网元设备通过Syslog消息发送的日志信息。

10.如权利要求8所述的日志服务器，其特征在于，

所述处理模块，具体用于通过预设程序对所述日志信息进行过滤；

所述存储模块，具体用于将过滤后的日志存储到指定文件。

11.如权利要求10所述的日志服务器，其特征在于，

所述处理模块，进一步用于对所述Syslog消息中的PRI字段进行过滤；和/或，

对所述Syslog消息中的属性字段进行过滤；和/或，

对所述Syslog消息中的指定表达式进行过滤。

12.如权利要求8所述的日志服务器，其特征在于，

所述处理模块，还用于通过Syslog解析工具解析已存储的日志，并将日志的字段作为关键字进行管理。

13.如权利要求8-12任一项所述的日志服务器，其特征在于，所述预设程序包括：syslogd程序。

14.一种日志的处理方法，其特征在于，包括：

网元设备获取日志信息；

15.如权利要求14所述的方法，其特征在于，所述网元设备通过Syslog消息将所述日志信息发送给日志服务器，包括：

所述网元设备通过Syslog消息将所述日志信息以UDP方式发送给日志服务器。

16.如权利要求14或15所述的方法，其特征在于，所述网元设备为LTE系统中的网元设备；所述日志服务器为LTE系统中的日志服务器。

17.一种网元设备，其特征在于，包括：

获取模块，用于获取日志信息；

18.如权利要求17所述的网元设备，其特征在于，

所述发送模块，具体用于通过Syslog消息将所述日志信息以UDP方式发送给日志服务器。