CN111245632A - 一种基于云分析的安全日志存储与管理系统 - Google Patents

Abstract

一种基于云分析的安全日志存储与管理系统。涉及计算机应用领域，尤其涉及一种基于云分析的安全日志存储与管理系统。提供了一种采用云存储技术、大数据技术和负载均衡技术，具有对PB级海量安全日志数据的快速收集与处理功能、数据的分布式存储功能、以及高效检索与分析功能的基于云分析的安全日志存储与管理系统。包括以下模块：日志收集、日志处理、日志检索、日志展示、日志存储和日志分析与告警；通过Sprapy爬虫框架、Redis消息队列、PCA的分析算法和One‑classSVM异常检测，对海量日志信息通过云平台进行分析。本发明提供日志查询，日志统计分析，出具日志数据报表，方便管理员分析网络设备运营状况等。

Description

一种基于云分析的安全日志存储与管理系统

技术领域

本发明涉及计算机应用领域，尤其涉及一种基于云分析的安全日志存储与管理系统。

背景技术

随着网络的普及，对于网络中硬件及软件产生的日志信息越来越多，这些日志信息记录着设备的工作状态、出错时间、以及修复等各类消息，也产生了相应设备的日志等级（严重、错误、警告、通知、信息、调试、紧急）信息。为了了解设备的历史状态，逐条信息进行查询时不可行的，所以这些日志信息需要被系统地存储和分析，以最直接的图表、报表等形式展示给用户。现在已经有一些的日志存储与分析系统，但它们大多运行在本地服务器上，需要反复地安装软件，搭建环境，费时费力，存在以下几点明显不足：

①目前大多使用本地数据库对安全日志数据进行存储，存在无法实现数据共享，访问受限等的不足。

②由于国家法律要求，安全日志数据存储不得低于六个月，因此数据存储量加大、增多，存储设备投入太大，当日志的数量超过一定限制时，还会出现丢包、数据溢出等问题。

③在日志检索工程中，目前大多系统是根据关键词检索，存在检索内容复杂难懂、检索量大检索速度慢导致用户体验性差等问题。

发明内容

本发明针对以上问题，提供了一种采用云存储技术、大数据技术和负载均衡技术，具有对PB级海量安全日志数据的快速收集与处理功能、数据的分布式存储功能、以及高效检索与分析功能的基于云分析的安全日志存储与管理系统。

本发明的技术方案是：应用于云平台，以基于web-service的环境信息服务门户为窗口，包括以下模块：日志收集、日志处理、日志检索、日志展示、日志存储和日志分析与告警；

通过Sprapy爬虫框架、Redis消息队列、PCA的分析算法和One-classSVM异常检测，对海量日志信息通过云平台进行分析。

所述Sprapy爬虫框架用于数据挖掘、监测和自动化测试；

其工作流程为：

首先爬虫将需要发送请求的url经引擎交给调度器；

排序，入队处理后，经下载工具交给Downloader；

Downloader向互联网发送请求，并接收下载响应；将响应经下载工具交给爬虫；

爬虫处理响应，提取数据并将数据经ScrapyEngine交给ItemPipeline保存（可以是本地，可以是数据库）；

提取url重新经ScrapyEngine交给调度器进行下一个循环；直到无Url请求程序停止结束。

所述Redis消息队列用于存储和时间紧密相关的日志。

PCA的分析算法中，数据从原来的坐标系转换到新的坐标系，转换坐标系时，以方差最大的方向作为坐标轴方向，第一个新坐标轴选择的是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向；重复该过程，重复次数为原始数据的特征维数。

One-classSVM异常检测包括如下前提条件：

异常信息会打印大量的日志；执行中断导致日志停止打印，产生的日志量远远小于正常水平；日志中没有明显的关键字或者其他标识，能够标识正常或者异常。

本发明将云存储技术、大数据技术和云分析技术应用于安全日志数据存储与管理系统中，并结合Scrapy爬虫框架，实现了高速智能的日志数据的存储、管理、分析。本项目相较传统的日志数据存贮查询与分析系统，在存贮形式和方式上，都有了很大的改善，在技术上处于国内的领先水平，通过云平台分布式存贮和AI智能化查询和统计，对安全日志数据的管理应用达到了较高的水平，对于不同的安全日志，通过云分析进行分类查询统计报警，随时形成直观显示的各种报表、图表和信息等，是一个基于云的智能化的日志存储与分析系统。

改变了以往传统的本地硬件的数据存储与处理，简化了环境安装与硬件需求，降低了不必要的费用。

同时，本项目系统功能全面，支持数据库存储日志数据，进行实时分析；基于Web界面查看日志消息；提供日志查询，日志统计分析，出具日志数据报表，方便管理员分析网络设备运营状况等。

附图说明

图1是本发明的系统框图。

具体实施方式

本发明如图1所示，应用于云平台，以基于web-service的环境信息服务门户为窗口，包括以下模块：日志收集、日志处理、日志检索、日志展示、日志存储和日志分析与告警；

通过Sprapy爬虫框架、Redis消息队列、PCA的分析算法和One-classSVM异常检测，对海量日志信息通过云平台进行分析。

所述Sprapy爬虫框架用于数据挖掘、监测和自动化测试；

其工作流程为：

首先爬虫将需要发送请求的url经引擎交给调度器；

排序，入队处理后，经下载工具交给Downloader；

Downloader向互联网发送请求，并接收下载响应；将响应经下载工具交给爬虫；

爬虫处理响应，提取数据并将数据经ScrapyEngine交给ItemPipeline保存（可以是本地，可以是数据库）；

提取url重新经ScrapyEngine交给调度器进行下一个循环；直到无Url请求程序停止结束。

所述Redis消息队列用于存储和时间紧密相关的日志。

PCA的分析算法中，数据从原来的坐标系转换到新的坐标系，转换坐标系时，以方差最大的方向作为坐标轴方向，第一个新坐标轴选择的是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向；重复该过程，重复次数为原始数据的特征维数。

One-classSVM异常检测包括如下前提条件：

异常信息会打印大量的日志；执行中断导致日志停止打印，产生的日志量远远小于正常水平；日志中没有明显的关键字或者其他标识，能够标识正常或者异常。

安全日志存储与管理系统，是对网络系统中的安全设备以及应用系统产生的日志文件，进行的收集、存储、统计与分析。安全日志存储与管理系统具有以下功能：日志收集、日志处理、日志检索、日志展示、日志存储以及日志分析与警告，常用于对设备、系统及应用的监控、管理以及安全性分析。

它能够从各种数据源上收集日志，存储到中央存储系统（分布式文件系统）中，以便于集中统计分析日志数据。它为日志的“分布式收集，统一处理”提供了一个可扩展、高容错的方案。基于云平台的日志收集与分析系统，可以高效地对异构日志数据进行管理与分析，能够达到对设备与程序及时监控与管理的目的。

本发明可以实现多地访问该系统，大大减少了硬件消耗，也减少了人员管理以及环境的搭建时间，为系统的异地使用提供方便。

Claims (5)

1.一种基于云分析的安全日志存储与管理系统，其特征在于，应用于云平台，以基于web-service的环境信息服务门户为窗口，包括以下模块：日志收集、日志处理、日志检索、日志展示、日志存储和日志分析与告警；

通过Sprapy爬虫框架、Redis消息队列、PCA的分析算法和One-class SVM异常检测，对海量日志信息通过云平台进行分析。

2.根据权利要求1所述的一种基于云分析的安全日志存储与管理系统，其特征在于，所述Sprapy爬虫框架用于数据挖掘、监测和自动化测试；

其工作流程为：

首先爬虫将需要发送请求的url经引擎交给调度器；

排序，入队处理后，经下载工具交给Downloader；

Downloader向互联网发送请求，并接收下载响应；将响应经下载工具交给爬虫；

爬虫处理响应，提取数据并将数据经Scrapy Engine交给Item Pipeline保存（可以是本地，可以是数据库）；

提取url重新经Scrapy Engine交给调度器进行下一个循环；直到无Url请求程序停止结束。

3.根据权利要求1所述的一种基于云分析的安全日志存储与管理系统，其特征在于，所述Redis消息队列用于存储和时间紧密相关的日志。

4.根据权利要求1所述的一种基于云分析的安全日志存储与管理系统，其特征在于，PCA的分析算法中，数据从原来的坐标系转换到新的坐标系，转换坐标系时，以方差最大的方向作为坐标轴方向，第一个新坐标轴选择的是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向；重复该过程，重复次数为原始数据的特征维数。

5.根据权利要求1所述的一种基于云分析的安全日志存储与管理系统，其特征在于，One-class SVM异常检测包括如下前提条件：

异常信息会打印大量的日志；执行中断导致日志停止打印，产生的日志量远远小于正常水平；日志中没有明显的关键字或者其他标识，能够标识正常或者异常。

Images