CN109783567B - 用于企业的日志分析系统及其方法 - Google Patents

Abstract

本发明公开了一种用于企业的日志分析系统及其方法，涉及计算机技术领域。本发明包括应用层、中间层和设备层；应用层按照域的分类分为BSS模块、MSS模块、OSS模块和EDA模块；应用层每个域内均设置有用于采集各个域内设备每天工作信息的日志采集模块；用于将采集到的日志进行分析的日志分析模块；用于展示日志分析模块分析后的异常日志的个数的异常展示模块；用于实时监控服务的运行情况，并展示服务监控实例的IP和和端口信息的监控模块。本发明通过根据不同的日志类型场景选择采集规则，编辑自定义的属性部署在相应的服务器上，利用行为分析来实现对不同日志的分析和展示，提高了运营维护人员的工作效率，避免了日志遗漏的问题。

Description

用于企业的日志分析系统及其方法

技术领域

本发明属于计算机技术领域，特别是涉及一种用于企业的日志分析系统，一种用于企业的日志分析系统的分析方法。

背景技术

随着计算机技术的发展，计算机的应用越来越广泛，计算机中可以安装有多个应用程序，为了有效地掌握应用程序的运行状况，应用程序的后台服务器会在某日志文件中，如文件名为a.log的日志文件中，对应用程序的使用情况进行记录，当记录时间达到一定时长时，将记录的内容移出，生成新的日志文件，并对该日志文件进行命名，如2018-12-09.log，然后在文件名为a.log的日志文件中继续记录，以此类推。

应用程序通常会对应有多台后台服务器，后台服务器可以读取本地存储的日志文件，以对日志文件进行分析。这些后台服务器在读取日志文件时，通常会通过日志文件的文件名来判断该日志文件是否已读取，进而对未读取的日志文件进行读取；这样一来往往会遗落掉部分未读取的日志；而且对于运营维护人员来说，生成日志文件的应用服务器较多，为了方便配置，每台服务器都需要对服务器的日志规格进行单独配置，耗费功夫的同时也不利于系统对日志的分析。

发明内容

本发明的目的在于提供一种用于企业的日志分析系统及其方法，通过搭建企业日志分析系统，根据不同的日志类型场景选择采集规则，编辑自定义的属性部署在相应的服务器上，利用行为分析来实现对不同日志的分析和展示，解决了现有运营维护人员工作难度大、分析日志容易遗漏的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种用于企业的日志分析系统，包括应用层、中间层和设备层；

所述应用层按照域的分类分为BSS模块、MSS模块、OSS模块和EDA模块；所述应用层每个域内均设置有日志采集模块、日志分析模块、异常展示模块和监控模块；所述日志采集模块用于采集各个域内设备每天工作信息；所述日志分析模块用于将采集到的日志进行分析；所述异常展示模块用于展示日志分析模块分析后的异常日志的个数；所述监控模块用于实时监控服务的运行情况，并展示服务监控实例的IP和和端口信息；

所述中间层包括数据库模块和服务模块；所述数据库模块用于存储不同场景的数据库数据；所述服务模块用于对不同的场景类型进行划分；

所述设备层包括网络设备和IT设备两大类；所述网络设备包括防火墙设备、VPN设备和WAF设备；所述IT设备包括存储设备和主机设备。

优选地，所述数据库模块包括Oracle数据库、MySQL数据库和SQLSerber数据库；所述服务模块包括Weblogic、Tuxedo和Tomcat。

优选地，所述设备层设备均设置有带外监控模块；所述带外监控模块用于提供基础设置的态势感知；所述带外监控模块基于IPMI协议通过独立LAN对集群服务器进行硬监控。

优选地，所述日志分析模块内设置有警报生成模块；所述警报生成模块在检测出日志信息出现异常的情况下，将异常信息生成警报通过进行分级并通知管理者；所述警报分级包括分为轻微量、一般量和严重量三类。

本发明为一种用于企业的日志分析系统的分析方法，包括如下步骤：

步骤S01、日志采集：采集各个域内设备每天工作信息和操作信息；

步骤S02、日志预处理：对采集到的日志信息进行预处理；

步骤S03、行为分析：对预处理后的数据进行行为分析；

步骤S04、威胁名单查询：基于攻击特征进行匹配监测，将匹配成功的存入威胁名单；

步骤S05、信任名单查询：基于攻击特征进行匹配监测，将匹配成功的存入信任名单；

步骤S06、数据统计展示：将威胁名单和信任名单进行分类统计展示。

优选地，所述步骤S01之前，需要对日志的采集进行流程配置，具体的配置流程步骤如下：

步骤S011：选择日志类型场景；

步骤S012：编辑基本属性；

步骤S013：判断日志源是否存在；

若存在，则执行步骤S014；

若不存在，则执行步骤S015；

步骤S014：选择采集规则；

步骤S015：增加日志源；

步骤S016：判断采集规则是否存在；

若存在，则执行步骤S017；

若不存在，则执行步骤S018；

步骤S017：编辑自定义属性；

步骤S018：新增规格；

步骤S019：将制定的规格部署在对应服务器上。

优选地，所述步骤S01中，日志采集的方式为SSH采集方式或Samba采集方式或Telnet采集方式。

本发明具有以下有益效果：

本发明通过搭建企业日志分析系统，根据不同的日志类型场景选择采集规则，编辑自定义的属性部署在相应的服务器上，利用行为分析来实现对不同日志的分析和展示，提高了运营维护人员的工作效率，避免了日志遗漏的问题。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种用于企业的日志分析系统的结构示意图；

图2为本发明的一种用于企业的日志分析系统的分析方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种用于企业的日志分析系统，包括应用层、中间层和设备层；

应用层按照域的分类分为BSS模块、MSS模块、OSS模块和EDA模块，BSS模块为业务支撑系统，包括能力开放平台、主数据平台、统一认证平台等，MSS模块为销售支撑系统，包括统一客户接触平台、安全平台堡垒机和大数据平台等，OSS模块为运营支撑系统，包括终端认证平台、CRM(小前台、订单)、销账等；应用层每个域内均设置有日志采集模块、日志分析模块、异常展示模块和监控模块；日志采集模块用于采集各个域内设备每天工作信息；日志分析模块用于将采集到的日志进行分析；异常展示模块用于展示日志分析模块分析后的异常日志的个数；监控模块用于实时监控服务的运行情况，并展示服务监控实例的IP和和端口信息；

中间层包括数据库模块和服务模块；数据库模块用于存储不同场景的数据库数据；服务模块用于对不同的场景类型进行划分；数据库模块按照场景划分显示，服务模块按照类型场景划分；

设备层包括网络设备和IT设备两大类；网络设备包括防火墙设备、VPN设备和WAF设备；IT设备包括存储设备和主机设备。

其中，数据库模块包括Oracle数据库、MySQL数据库和SQLSerber数据库；服务模块包括Weblogic、Tuxedo和Tomcat。

其中，设备层设备均设置有带外监控模块；带外监控模块用于提供基础设置的态势感知；带外监控模块基于IPMI协议通过独立LAN对集群服务器进行硬监控。

其中，日志分析模块内设置有警报生成模块；警报生成模块在检测出日志信息出现异常的情况下，将异常信息生成警报通过进行分级并通知管理者，异常信息主要展示日志的采集量、采集条说、日志警告数据并按照时间刻度展示成图像显示，方便用户观察；警报分级包括分为轻微量、一般量和严重量三类。

请参阅图2所示，本发明为一种用于企业的日志分析系统的分析方法，包括如下步骤：

步骤S01、日志采集：采集各个域内设备每天工作信息和操作信息；

步骤S02、日志预处理：对采集到的日志信息进行预处理；

步骤S03、行为分析：对预处理后的数据进行行为分析；

步骤S04、威胁名单查询：基于攻击特征进行匹配监测，将匹配成功的存入威胁名单；

步骤S05、信任名单查询：基于攻击特征进行匹配监测，将匹配成功的存入信任名单；

步骤S06、数据统计展示：将威胁名单和信任名单进行分类统计展示。

其中，步骤S01之前，需要对日志的采集进行流程配置，具体的配置流程步骤如下：

步骤S011：选择日志类型场景；

步骤S012：编辑基本属性；

步骤S013：判断日志源是否存在；

若存在，则执行步骤S014；

若不存在，则执行步骤S015；

步骤S014：选择采集规则；

步骤S015：增加日志源；

步骤S016：判断采集规则是否存在；

若存在，则执行步骤S017；

若不存在，则执行步骤S018；

步骤S017：编辑自定义属性；

步骤S018：新增规格；

步骤S019：将制定的规格部署在对应服务器上。

其中，步骤S01中，日志采集的方式为SSH采集方式或Samba采集方式或Telnet采集方式；SSH采集方式：专为远程登录会话和其他网络服务提供安全性协议，Samba采集方式：SMB协议通常是被Windows系列永凯磁盘共享；Telnet采集方式：Telnet协议是TCP/IP协议族中的一员，是Internet远程登录服务的标准协议和主要方式。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种用于企业的日志分析系统，包括应用层、中间层和设备层，其特征在于：

所述应用层按照域的分类分为BSS模块、MSS模块、OSS模块和EDA模块；所述应用层每个域内均设置有日志采集模块、日志分析模块、异常展示模块和监控模块；所述日志采集模块用于采集各个域内设备每天工作信息；所述日志分析模块用于将采集到的日志进行分析；所述异常展示模块用于展示日志分析模块分析后的异常日志的个数；所述监控模块用于实时监控服务的运行情况，并展示服务监控实例的IP和端口信息；

所述中间层包括数据库模块和服务模块；所述数据库模块用于存储不同场景的数据库数据；所述服务模块用于对不同的场景类型进行划分；

所述设备层包括网络设备和IT设备两大类；所述网络设备包括防火墙设备、VPN设备和WAF设备；所述IT设备包括存储设备和主机设备；所述设备层设备均设置有带外监控模块；所述带外监控模块用于提供基础设置的态势感知；所述带外监控模块基于IPMI协议通过独立LAN对集群服务器进行硬监控；

所述一种用于企业的日志分析系统的分析方法，包括如下步骤：

步骤S01、日志采集：采集各个域内设备每天工作信息和操作信息；

步骤S02、日志预处理：对采集到的日志信息进行预处理；

步骤S03、行为分析：对预处理后的数据进行行为分析；

步骤S04、威胁名单查询：基于攻击特征进行匹配监测，将匹配成功的存入威胁名单；

步骤S05、信任名单查询：基于攻击特征进行匹配监测，将匹配成功的存入信任名单；

步骤S06、数据统计展示：将威胁名单和信任名单进行分类统计展示；

所述步骤S01之前，需要对日志的采集进行流程配置，具体的配置流程步骤如下：

步骤S011：选择日志类型场景；

步骤S012：编辑基本属性；

步骤S013：判断日志源是否存在；

若存在，则执行步骤S014；

若不存在，则执行步骤S015；

步骤S014：选择采集规则；

步骤S015：增加日志源；

步骤S016：判断采集规则是否存在；

若存在，则执行步骤S017；

若不存在，则执行步骤S018；

步骤S017：编辑自定义属性；

步骤S018：新增规格；

步骤S019：将制定的规格部署在对应服务器上。

2.根据权利要求1所述的一种用于企业的日志分析系统，其特征在于，所述数据库模块包括Oracle数据库、MySQL数据库和SQLSerber数据库；所述服务模块包括Weblogic、Tuxedo和Tomcat。

3.根据权利要求1所述的一种用于企业的日志分析系统，其特征在于，所述日志分析模块内设置有警报生成模块；所述警报生成模块在检测出日志信息出现异常的情况下，将异常信息生成警报通过进行分级并通知管理者；所述警报分级包括分为轻微量、一般量和严重量三类。

4.根据权利要求1所述的一种用于企业的日志分析系统，其特征在于，所述步骤S01中，日志采集的方式为SSH采集方式或Samba采集方式或Telnet采集方式。

Images