具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明日志格式化方法一个实施例的流程示意图,如图1所示,本发明实施例包括如下步骤:
步骤101、通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息;
其中,至少两个不同类型的网络设备与至少两个端口分别一一绑定;
步骤102、通过至少两个端口分别对至少两条不同类型的日志信息进行相应的格式化处理。
本发明实施例提供的日志格式化方法,通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,并通过至少两个端口分别对至少两条不同类型的日志信息进行相应的格式化处理,实现了对不同类型的网络设备的日志信息进行相应的日志格式化处理,由于不需要通过查询日志格式化信息表判断采用何种格式化处理方法对接收到的日志信息进行格式化处理,因此提高了网络设备的日志格式化效率。
图2为本发明日志格式化方法另一个实施例的流程示意图,如图2所示,本发明实施例包括如下步骤:
步骤201、通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息;
其中,至少两个不同类型的网络设备与至少两个端口分别一一绑定;
步骤202、获取至少两条不同类型的日志信息中携带的用于表示网络设备类型的类型信息;根据该类型信息分别提取至少两条不同类型的日志信息中的日志内容;根据设定的标准格式分别对日志内容中的关键字段进行解析并排序,得到格式化后的日志信息;
步骤203、若有新网络设备加入网络或者网络设备的日志类型发生变化形成新日志类型,则进行更新处理;
步骤204、对格式化处理后的多条日志信息进行加密处理。
上述步骤201中,由于在网络中存在至少两个不同类型的网络设备,例如:防火墙、路由器、入侵检测设备等等,至少两个不同类型的网络设备发送的日志信息的类型也就互不相同,因此通过至少两个不同类型的网络设备分别一一绑定的至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,例如:第一网络设备通过第一端口与第一日志处理设备相绑定,第二网络设备通过第二端口与第二日志处理设备相绑定,因此第一日志处理设备和第二日志处理设备分别对接收到的不同类型的日志信息进行格式化处理。进一步地,日志处理设备具体可以用插件的形式实现,一个网络设备通过与其相绑定的端口向插件传输日志信息的协议可以但不限于系统日志(syslog)、简单网络管理协议(Simple Network Management Protocol,简称:SNMP)、文件传输协议(File Transfer Protocol,简称:FTP)等协议;当插件接收到网络设备发送的日志信息后,由于网络设备、端口、插件一一对应,因此无需判断应采用哪一个插件对网络设备的日志信息进行处理,直接调用与端口相绑定的插件对与端口相绑定的网络设备发送的日志信息进行格式化即可,因此提高了日志信息格式化的效率。
上述步骤202中,至少两个不同日志处理设备获取日志信息中携带的用于表示网络设备的类型信息;由于至少两个不同类型的网络设备发送的至少两个日志信息的类型互不相同,因此至少两个不同类型的网络设备的日志信息对同一安全信息的描述方式也不相同,所以在对日志信息进行格式化之前,需要获取到至少两条不同类型的日志信息中携带的用于表示至少两个不同类型的网络设备的类型信息,具体地,该类型信息具体可以为:网络设备的IP地址、网络设备的设备序列号、日志内容中所描述的网络设备名称。
至少两个不同日志处理设备根据设定的标准格式分别对至少两个不同日志内容中的关键字段进行解析,得到格式化后的日志信息;具体地,至少两个不同日志处理设备分别提取别接收到的至少两条不同类型的日志信息中的日志内容,从日志内容中找到日志信息中的关键字段,便可按设定的标准格式对日志信息进行格式化处理。格式化处理主要包括:对关键字段的内容解析,以及重排关键字段并扩展关键字段;关键字段的内容解析和重排关键字段仅为本发明实施例中的一个具体示例,并不构成对本发明实施例格式化方法的限制。
具体地,关键字段的内容解析可以理解为一种类型转换机制,由于不同类型的日志信息对同一安全信息的描述方式不相同,例如:一个具有管理员账户(ROOT)权限的用户在登入安全系统(例如:Linux系统)时,Linux系统记录的日志信息为:ROOT LOGIN ON tty1,而在入侵检测系统SNORT记录的日志信息为:POLICY ROOT login attempt[Classification:Misc activity][Priority:3];由于上述两种记录方式都不是设定的标准格式中定义的方式,因此,关键字段的内容解析既是将ROOT LOGIN ON tty1或POLICY ROOT login attempt变换为设定的标准格式中定义的方式;表1为关键字段内容解析前的示例,表2为关键字段内容解析后的示例。
表1关键字段内容解析前的示例
表2关键字段内容解析后的示例
对日志内容中的字段进行排序,指根据标准格式重新排列日志信息中的各字段的前后顺序,并根据标准格式扩展新的字段,继而生成新的标准格式的日志信息。由于对同一安全事件的描述不同类型的日志信息会把关键字段放在不同的位置,为了实现日志信息的格式统一,需要将关键字段按标准格式排列。扩展的字段主要是根据实际需求来制定,可以是插件身份标识(ID)、网络安全设备标识号等。当格式化工作完成以后便可生成一份标准格式的日志;表3为重排字段前的示例,表4为重排字段后的示例。
表3重排字段前的示例
表4重排字段后的示例
从上述表1~表4所示可知,对关键字段进行重排后,各关键字段的顺序按照设定的标准格式的字段顺序排列,并且根据设定的标准格式扩展了一些新的字段;字段内容解析和字段重排没有时间上的先后顺序,在实际过程中可以同时进行。
上述步骤203中,若有新网络设备加入网络或者网络设备的日志类型发生变化形成新日志类型,则进行更新处理;具体地,由于端口与网络设备是一一对应,所以当有新的网络设备加入网络,或者网络设备的日志类型发生变化形成新日志类型时,日志处理设备由于不能对新网络设备发送的日志信息进行格式化处理,或者,若与日志处理设备相绑定的网络设备的日志信息发送变化导致日志处理设备验证网络设备与其绑定关系失败时,则需要对至少两个不同日志处理设备进行更新处理。通过对日志处理设备进行更新处理,当新加入网络的网络设备较多时,有利于对与新加入网络的网络设备相绑定的日志处理设备进行维护和管理,并且更新后的日志处理设备不会影响到其它已有的日志处理设备的正常工作;若对通过端口接收到的日志信息不能进行正常格式化,则根据端口信息很容易找到问题所在,并可以重新确定该日志信息所对应的端口,因此可维护性好。
上述步骤204中,对格式化处理后的多条日志信息进行加密处理,具体地,加密处理的方式可以采用安全套接层协议(Secure Socket Layer,简称:SSL)协议方式进行加密,但SSL协议并不构成对本发明实施例的限制;通过对日志信息进行加密处理,提高日志信息管理的安全性。
本发明实施例提供的日志格式化方法,通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,并根据与至少两个端口分别对至少两条不同类型的日志信息进行相应的格式化处理,实现了对不同类型的网络设备的日志信息进行相应的日志格式化处理,由于不需要通过查询日志格式化信息表判断采用何种格式化处理方法对接收到的日志信息进行格式化处理,因此提高了网络设备的日志格式化效率。
图3为本发明日志格式化装置一个实施例的结构示意图,如图3所示,本实施例包括:接收模块31、格式化处理模块32。
其中,接收模块31通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,所述至少两个不同类型的网络设备与所述至少两个端口分别一一绑定;格式化处理模块32通过所述至少两个端口分别对所述至少两条不同类型的日志信息进行相应的格式化处理。
本发明实施例提供的日志格式化装置,接收模块31通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,格式化处理模块32通过至少两个端口分别对至少两条不同类型的日志信息进行相应的格式化处理,实现了对不同类型的网络设备的日志信息进行相应的日志格式化处理,由于不需要通过查询日志格式化信息表判断采用何种格式化处理方法对接收到的日志信息进行格式化处理,因此提高了网络设备的日志格式化效率。
图4为本发明日志格式化装置另一个实施例的结构示意图,如图4所示,本实施例包括:接收模块41、格式化处理模块42、更新模块43、加密模块44。
其中,接收模块41通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,所述至少两个不同类型的网络设备与所述至少两个端口分别一一绑定;格式化处理模块42通过所述至少两个端口分别对所述至少两条不同类型的日志信息进行相应的格式化处理;若有新网络设备加入网络或者网络设备的日志类型发生变化形成新日志类型,则更新模块43进行更新处理;加密模块44对格式化处理后的多条日志信息进行加密处理。
进一步地,格式化处理模块42还可以包括:获取单元421、提取单元422、解析单元423;其中,获取单元421获取所述至少两条不同类型的日志信息中携带的用于表示网络设备类型的类型信息;提取单元422根据获取模块421获取到的类型信息分别提取所述至少两条不同类型的日志信息中的日志内容;解析单元423根据设定的标准格式分别对所述日志内容中的关键字段进行解析并排序,得到格式化后的日志信息。
本发明实施例提供的日志格式化装置,接收模块41通过至少两个端口接收至少两个不同类型的网络设备发送的至少两条不同类型的日志信息,格式化处理模块42通过至少两个端口分别对至少两条不同类型的日志信息进行相应的格式化处理,实现了对不同类型的网络设备的日志信息进行相应的日志格式化处理,由于不需要通过查询日志格式化信息表判断采用何种格式化处理方法对接收到的日志信息进行格式化处理,因此提高了网络设备的日志格式化效率。
图5为本发明日志格式化系统一个实施例的结构示意图,如图5所示,本实施例中的日志格式化系统50包括:至少两个不同类型的网络设备51、至少两个日志处理设备52;
其中,至少两个日志处理设备52通过至少两个端口接收至少两个不同类型的网络设备51发送的至少两条不同类型的日志信息,通过所述至少两个端口分别对所述至少两条不同类型的日志信息进行相应的格式化处理。所述至少两个日志处理设备52与所述至少两个端口一一绑定,其中,至少两个不同类型的网络设备51与所述至少两个端口分别一一绑定。
本发明实施例提供的日志格式化系统,至少两个日志处理设备52通过与至少两个不同类型的网络设备51分别一一绑定的多个端口接收至少两个不同类型的网络设备51发送的多条不同类型的日志信息,使得至少两个日志处理设备52对至少两条不同类型的日志信息进行相应的格式化处理,因此实现了每一个日志处理设备分别对与其相对应的网络设备的日志信息进行日志格式化处理,由于不需要通过查询日志格式化信息表判断采用何种格式化处理方法对接收到的日志信息进行格式化处理,因此提高了网络设备的日志格式化效率。
进一步地,在上述图5所示实施例的基础上,还可以包括:自动更新设备和加密处理设;其中,若有新网络设备加入网络或者网络设备的日志类型发生变化形成新日志类型,则自动更新设备对所述至少两个不同日志处理设备进行更新处理;加密处理设备对所述至少两个不同日志处理设备格式化处理后的至少两条日志信息进行加密处理。
通过自动更新设备对日志处理设备进行更新处理,当新加入网络的网络设备较多时,有利于对处理新加入网络的网络设备发送的日志处理设备进行维护和管理,并且更新的日志处理设备不会影响到其它日志处理设备的正常工作;当对通过端口接收到的日志信息不能进行正常格式化,则根据端口信息很容易找到问题所在,并可以重新确定该日志信息所对应的端口,因此可维护性好;通过加密处理设备对日志信息进行加密处理,提高日志信息管理的安全性。
图6为图5所示实施例所适用的综合安全系统的结构示意图,如图6所示,本实施例包括:至少两个网络设备、综合安全管理平台69、安全事件采集服务器67;综合安全管理平台69还可以包括:至少两个日志处理设备、状态监控设备63、自动更新设备64、通信模块65、日志收集模块66、远程控制设备68;其中,多个网络设备具体为:第一网络设备611、第二网络设备612、第三网络设备613;多个日志处理设备具体为:第一日志处理设备621、第二日志处理设备622、第三日志处理设备623。
其中,第一网络设备611、第二网络设备612、第三网络设备613分别表示不同类型的网络设备,第一日志处理设备621、第二日志处理设备622、第三日志处理设备623分别表示针对第一网络设备611、第二网络设备612、第三网络设备613的日志信息进行归一化处理的设备,并且,第一网络设备611、第二网络设备612、第三网络设备613分别通过与第一网络设备611、第二网络设备612、第三网络设备613分别一一绑定的端口接收第一网络设备611、第二网络设备612、第三网络设备613发送的不同类型的日志信息;具体地,第一日志处理设备621通过与第一网络设备611相绑定的端口接收第一网络设备611发送的日志信息,第二日志处理设备622通过与第二网络设备612相绑定的端口接收第二网络设备612发送的日志信息,第三日志处理设备623通过与第三网络设备613相绑定的端口接收第三网络设备613发送的日志信息。
日志收集模块66接收网络设备发送给综合安全管理平台69的日志信息;此外,日志信息传输所采用的协议可以但不限于使用以下协议:syslog、SNMP、FTP。
状态监控设备63负责监控整个综合安全管理平台69中各个模块的工作状态,若平台中的某个模块出现问题,则及时通知给后台管理人员。
通信模块65负责将格式统一的安全信息进行加密处理,发送给安全事件采集服务器67;其中,加密的方式可以但不限于SSL协议加密。
安全事件采集服务器67对通信模块65和多个日志处理设备进行统一管理,为每一综合安全管理平台69分配一个标识符(AgentID),同时也为每一日志处理设备分配一个插件标识(PlugID);此外在服务器端本地设有插件库,每一插件都对应一种设备和一个PlugID;由于网络设备在出厂时都有自己的设备序列号,因此形成了PlugID与设备序列号的对应关系,当然也可以根据网络设备接入网络时分配的IP地址等其他标识信息建立映射关系;当新的网络设备加入系统或者现有网络设备的日志类型发生改变时,自动更新设备64可以自动从插件库中调用新的插件安装在采集代理上;因此若综合安全管理平台69上安装的日志处理设备需要更新时,只需要在服务器端的插件库查询设备所对应的插件标识即可。
远程控制设备68向后台管理人员反馈平台中的各个模块的工作策略;通过远程控制设备68的反馈,后台管理人员可以实时的向系统的各个模块分配工作策略。
上述综合安全系统仅为本发明实施例的一个示例,并不构成对本发明实施例的限制,本发明实施例同样可以应用于数据采集系统中、移动网络系统、固定网络系统。
本领域普通技术人员可以理解:实现上述实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。