CN107343021A - 国网云中应用的一种基于大数据的日志管理系统 - Google Patents

Abstract

本发明公开了国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其中日志收集模块：收集、传输和聚合日志信息；日志存储模块：将收集的日志信息存储于分布式服务器的存储节点；日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。本发明实现了应用的弹性部署，为应用提供按需服务和资源的动态分配，即根据应用负载的变化来弹性的调整资源的配置，采用分布式日志收集、海量异构日志信息的存储、海量日志的分析满足海量异构日志数据存储和数据挖掘分析，并通过用户交互模块将查询日志输出和展示。

Description

国网云中应用的一种基于大数据的日志管理系统

技术领域

本发明涉及计算机技术领域，具体的说，是国网云中应用的一种基于大数据的日志管理系统。

背景技术

“国网云”包括生产控制云、企业管理云和公共服务云，分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑，而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据时代的来临，许多公司的平台每天都会产生大量的日志数据，处理这些日志需要特定的数据系统，很多公司也已经将他们的日志系统开源。在国网云应用中，随着部署在云计算环境的应用规模的扩大和用户访问数量的增加，每天都会产生海量的异构日志数据，在传统的数据处理方式上使用传统的单台主机模式针对海量数据文件进行存储和计算，它的计算能力显得十分有限，并且由于日志数据结构不统一、数据量大，传统的关系型数据库在水平扩展能力上的不足和严格的模式化存储方式的约束，使得传统的日志存储和分析方法已经不能满足存储海量的异构日志数据的需求，并且应用日志存储在数量动态变化的主机资源之上，若没有及时将日志统一收集存储到日志服务器，就会造成日志随着主机的撤除而丢失。另外，日志的分布式存储不利于应用维护人员查看和分析，不利于应用系统的维护和优化。

发明内容

本发明的目的在于提供国网云中应用的一种基于大数据的日志管理系统，用于解决现有技术中关系型数据库不能满足海量异构日志数据存储的问题。

为了达到上述目的，本发明通过下述技术方案实现：

国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其中：

日志收集模块：收集、传输和聚合日志信息；

日志存储模块：将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点；

日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；

应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。

分布式日志收集模块负责将海量的分布式异构日志信息收集、传输和聚合，然后将日志信息存储至日志存储模块，日志存储模块将日志信息存储在分布式服务器上，并且设置了冗余备份机制，当被使用的那台服务器岩机时，备份服务器就会接管工作。为了保证备份服务器之间的数据一致性，各服务器之间需定时进行数据同步。日志分析模块利用分布式计算的方法对海量日志数据进行挖掘分析，解决传统单机分析日志的局限性。应用交互模块使用给用户提供交互界面，接收用户输入的操作，返回操作结果。

进一步的优选，所述日志收集模块包括日志收集进程、转发进程和storage层，其中：

日志收集进程：用于监听和收集部署在每台主机上的应用产生的日志；

转发进程：运行在服务器上，用于接收日志收集进程发送的日志，并将日志写到storage层中；

storage层：用于提供永久的日志信息存储服务。

在每台部署应用的主机上都有一个日志收集进程，对应用产生的日志进行收集。日志收集进程作为一个后台运行的进程，只负责监听应用日志的产生并收集日志，对应用本身不产生任何影响，它们是相互独立的，日志转发进程运行在分布式服务器上，负责接收日志收集进程发送过来的日志，并且将日志根据路由规则写到相应的store层中。storage层是存储系统，负责提供永久的日志存储服务。它可以是一个普通文件file，也可以是分布式文件系统HDFS，HIVE，HBase等。

进一步的优选，所述日志存储模块采用无模式且具备水平扩展能力的数据库系统，用于海量异构日志存储。

日志存储模块在水平方向上进行扩展，采用多个分片服务器，通过增加分片服务器来提高存储能力，存储海量日志数据。

进一步的优选，所述数据库系统的水平扩展采用多个分片服务器，将日志数据分布式存储在多个分片服务器上。

日志存储模块将海量日志数据分布式存储在多个分片服务器之上，数据的分片情况对用户是透明的，提供路由服务器作为访问的接口。当路由服务器接收到数据访问请求时，先查询配置服务器，配置服务器中记录了数据分布在哪些分片之上，路由服务器根据配置服务器返回的结果查询分片服务器，将结果整合之后返回给用户。

进一步的优选，所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。

日志存储模块使用NoSQL数据库MongoDB存储海量日志信息。MongoDB是一款高性能、无模式的文档型数据库，文档作为数据结构，没有模式，适用于新型应用的要求；易于扩展，可将文档数据自动地分割给不同的服务器节点，并且保证每台服务器的负载均衡；提供索引，采用和SQL—样的索引创建方式，提供各种查询；采用Map或Reduce方式来处理海量数据；采用GFS系统存储大文件。

进一步的优选，所述NoSQL数据库MongoDB用于：

a.根据需求编写javascript脚本，完成并行计算模型MapReduce的分布式计算；

b.对访问日志进行分析，统计PV值，经过map函数的处理之后，发送给reduce函数，进行日志分析；

c.将javascript程序写在单独的文件中，通过crontab命令定时执行javascript代码，执行完毕后，统计结果便被存储在MongoDB中的Res集合中，最后将根据统计结果绘制的分析图表，以邮件的形式发送给运维人员。

基于并行计算的日志分析模块利用MongoDB的并行计算模型MapReduce进行日志分析，MongoDB中的MapReduce程序使用javascript编写，易于使用和调试。

本发明与现有技术相比，具有以下优点及有益效果：

本发明实现了应用的弹性部署，为应用提供按需服务和资源的动态分配，即根据应用负载的变化来弹性的调整资源的配置，采用分布式日志收集、海量异构日志信息的存储和海量日志的分析来满足海量异构日志数据存储和数据挖掘分析，并通过用户交互模块将查询日志输出和展示。

附图说明

图1为本发明的系统原理框图；

图2为日志收集模块的原理框图；

图3为日志存储模块的原理框图；

图4为应用交互模块的原理框图。

具体实施方式

首先在对本发明的具体实施例进行详细说明之前，对本文涉及的专有名词给予解释：

NoSQL数据库：泛指非关系型数据库；

MongoDB：分布式文档存储数据库；

crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供后续的读取和执行；

Res集合：Res文件在Windows编程中被称为资源文件，用于存放字符串、程序图标、其他引用图片，Res集合即这些资源文件的集合；

HDFS：为Hadoop分布式文件系统；

HIVE： HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行；

Hbase：HBase是一个分布式的、面向列的开源数据库；

GFS: GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用；

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。运用“Map（映射）”和“Reduce（归约）”，方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上；

PV值：PV（page view）即页面浏览量，通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。网页浏览数是评价网站流量最常用的指标之一，简称为PV。监测网站PV的变化趋势和分析其变化原因是很多站长定期要做的工作。 Page Views中的Page一般是指普通的html网页，也包含php、jsp等动态产生的html内容。来自浏览器的一次html内容请求会被看作一个PV，逐渐累计成为PV总数。

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其中：

日志收集模块：收集、传输和聚合日志信息；

日志存储模块：将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点；

日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；

应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。

采用分布式的日志收集模块将海量的分布式异构日志信息收集、传输和聚合，然后将日志信息存储至日志存储模块，日志存储模块将日志信息存储在分布式服务器上，并且设置了冗余备份机制，当被使用的那台服务器岩机时，备份服务器就会接管工作。为了保证备份服务器之间的数据一致性，各服务器之间需定时进行数据同步，解决了海量异构日志数据的存储问题。日志分析模块利用分布式计算的方法对海量异构日志数据进行挖掘分析，解决了传统单机分析日志的局限性。应用交互模块使用给用户提供交互界面，接收用户输入的操作，返回操作结果。应用交互模块给用户提供查询等操作的页面，是用户与日志数据之间的接口，可进行日志查询和日志导出等操作。应用交互界面将业务逻辑和数据显式分离来，将业务逻辑聚集到一个部件里面，具有更高的可重用性。

实施例2：

在实施例1的基础上，结合附图1和图2所示，所述日志收集模块包括日志收集进程、转发进程和storage层，其中：

日志收集进程：用于监听和收集部署在每台主机上的应用产生的日志；

转发进程：运行在服务器上，用于接收日志收集进程发送的日志，并将日志写到storage层中；

storage层：用于提供永久的日志信息存储服务。

在每台部署应用的主机上都有一个日志收集进程，对应用产生的日志进行收集。日志收集进程作为一个后台运行的进程，只负责监听应用日志的产生并收集日志，对应用本身不产生任何影响，它们是相互独立的，日志转发进程运行在分布式服务器上，负责接收日志收集进程发送过来的日志，并且将日志根据路由规则写到相应的store层中。storage层是存储系统，负责提供永久的日志存储服务。它可以是一个普通文件file，也可以是分布式文件系统HDFS、数据仓库工具HIVE或分布式的、面向列的开源数据库HBase。

实施例3：

在实施例1的基础上，结合附图1-3所示，所述日志存储模块采用无模式且具备水平扩展能力的数据库系统，用于海量异构日志存储。

日志存储模块在水平方向上进行扩展，采用多个分片服务器，通过增加分片服务器来提高存储能力，存储海量日志数据。

进一步的优选，所述数据库系统的水平扩展采用多个分片服务器，将日志数据分布式存储在多个分片服务器上。

日志存储模块将海量日志数据分布式存储在多个分片服务器之上，数据的分片情况对用户是透明的，提供路由服务器作为访问的接口。当路由服务器接收到数据访问请求时，先查询配置服务器，配置服务器中记录了数据分布在哪些分片之上，路由服务器根据配置服务器返回的结果查询分片服务器，将结果整合之后通过设置在主机上的加载节点返回应用交互界面展示给用户。

实施例4：

在实施例3的基础上，结合附图1-4所示，所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。

日志收集模块采用Flume集群收集日志，并发送给日志存储模块，Flume采用了分层架构：包括Agent和Collector，Agent和Collector均由两部分组成：source和sink，source是数据来源，sink是数据去向，分别用于收集和发送日志信息。日志存储模块使用NoSQL数据库MongoDB存储海量日志信息。MongoDB集群包括一定数量的mongod（分片存储数据）、mongos（路由处理）、config server（配置节点）、clients（客户端）、arbiter（仲裁节点）和shards。一个shard为一组mongod（分片存储数据），通常一组为两台，主从或互为主从，这一组mongod中的数据时相同的。数据分割采用有序分割方式，每个分片上的数据为某一范围的数据块，故可支持指定分片的范围查询。数据块有指定的最大容量，一旦某个数据块的容量增长到最大容量时，这个数据块会切分成为两块；当分片的数据过多时，数据块将被迁移到系统的其他分片中。另外，新的分片加入时，数据块也会迁移。mongos（路由处理）可以有多个负责路由和协调操作，使得MongoDB集群像一个整体的系统。mongos（分片存储数据）可以运行在任何一台服务器上，有些选择放在shards服务器上，也有放在client 服务器上的。mongos启动时需要从config servers上获取基本信息，然后接受client端的请求，路由到shards服务器上，然后整理返回的结果发回给client服务器。config server（配置节点），存储MongoDB集群的信息，包括分片和块数据信息，用于存储块数据信息，每个config server上都有一份所有块数据信息的拷贝，以保证每台config server（配置节点）上的数据的一致性。shard key：为了分割数据集，需要制定分片key的格式，通常由一个或多个字段组成以分发数据。在用户访问用户交互界面时，返回用户所要查询的日志信息并展示。用户交互界面包括MongoDB是一款高性能、无模式的文档型数据库，文档作为数据结构，没有模式，适用于新型应用的要求；易于扩展，可将文档数据自动地分割给不同的服务器节点，并且保证每台服务器的负载均衡；提供索引，采用和SQL—样的索引创建方式，提供各种查询；采用Map或Reduce方式来处理海量数据；采用GFS系统存储大文件。

进一步的优选，所述NoSQL数据库MongoDB用于：

a.根据需求编写javascript脚本，完成并行计算模型MapReduce的分布式计算；

b.对访问日志进行分析，统计PV值，经过map函数的处理之后，发送给reduce函数，进行日志分析；

c.将javascript程序写在单独的文件中，通过crontab命令定时执行javascript代码，执行完毕后，统计结果便被存储在MongoDB中的Res集合中，最后将根据统计结果绘制的分析图表，以邮件的形式发送给运维人员。

基于并行计算的日志分析模块利用MongoDB的并行计算模型MapReduce进行日志分析，MongoDB中的MapReduce程序使用javascript编写，易于使用和调试。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.国网云中应用的一种基于大数据的日志管理系统，包括日志收集模块，日志存储模块、日志分析模块和应用交互模块，其特征在于，其中：

日志收集模块：收集、传输和聚合日志信息；

日志存储模块：将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点；

日志分析模块：采用分布式计算的方法对日志信息进行数据挖掘分析；

应用交互模块：用于给用户提供查询输入、日志查询和日志导出的界面。

2.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述日志收集模块包括日志收集进程、转发进程和storage层，其中：

日志收集进程：用于监听和收集部署在每台主机上的应用产生的日志；

转发进程：运行在服务器上，用于接收日志收集进程发送的日志，并将日志写到storage层中；

storage层：用于提供永久的日志信息存储服务。

3.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述日志存储模块采用无模式且具备水平扩展能力的数据库系统，用于海量异构日志存储。

4.根据权利要求3所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述数据库系统的水平扩展采用多个分片服务器，将日志数据分布式存储在多个分片服务器上。

5.根据权利要求4所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。

6.根据权利要求5所述的国网云中应用的一种基于大数据的日志管理系统，其特征在于，所述NoSQL数据库MongoDB用于：

a.根据需求编写javascript脚本，完成并行计算模型MapReduce的分布式计算；

b.对访问日志进行分析，统计PV值，经过map函数的处理之后，发送给reduce函数，进行日志分析；

c.将javascript程序写在单独的文件中，通过crontab命令定时执行javascript代码，执行完毕后，统计结果便被存储在MongoDB中的Res集合中，最后将根据统计结果绘制的分析图表，以邮件的形式发送给运维人员。