CN107656973A - 一种应用于云审计系统的日志审计子系统 - Google Patents

一种应用于云审计系统的日志审计子系统 Download PDF

Info

Publication number
CN107656973A
CN107656973A CN201710782902.9A CN201710782902A CN107656973A CN 107656973 A CN107656973 A CN 107656973A CN 201710782902 A CN201710782902 A CN 201710782902A CN 107656973 A CN107656973 A CN 107656973A
Authority
CN
China
Prior art keywords
daily record
log
module
data
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710782902.9A
Other languages
English (en)
Inventor
吴柳
洪丹轲
杨俊权
徐键
张思拓
谢尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN201710782902.9A priority Critical patent/CN107656973A/zh
Publication of CN107656973A publication Critical patent/CN107656973A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Abstract

本发明公开了一种应用于云审计系统的日志审计子系统，包括日志收集服务器和日志分析处理引擎；日志收集服务器还包括：日志采集模块、日志缓存模块、日志分发模块；日志分析处理引擎还包括：日志标准化模块、日志索引模块、日志关联分析模块、日志数据上报模块。日志收集服务器负责对各种来源的日志数据进行收集、缓存和分发，日志分析处理引擎负责将收集的日志进行标准化、关联分析和持久化存储。所述的日志分析处理引擎对日志进行关联分析然后将日志转存到外接的审计数据中心子系统，将日志标准化采用流式计算技术如storm进行并发处理，以支持分布式部署。

Description

一种应用于云审计系统的日志审计子系统
技术领域
本发明涉及一种云应用的子系统，尤其涉及一种应用于云审计系统的日志审计子系统。
背景技术
云计算是一种全新的领先信息技术，其结合IT技术和互联网实现超级计算和高存储能力。推动云计算兴起的动力是高速互联网、虚拟化技术、更加廉价且功能强劲的芯片及硬盘以及数据中心等技术的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化以及负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理和虚拟化技术等。大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。“移动互联网 +”的到来，意味着跨界融合，创新驱动，重塑结构，尊重人性，开放生态的时代到来。“移动互联网 +”就是“互联网”+ 各个传统行业，利用计算机技术、信息通信技术、云计算技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展业态。大数据、云计算时代已经渗透到诸多行业和业务职能领域，成为重要的组成部分。根据权威的NIST定义，现有的云计算主要分为三种服务模式，分别是基础设施即服务 IAAS(infrastructure as aservice)，主要为用户提供基础设施服务，包括计算机、服务器、防火墙、存储设备和网络设备等 ；平台即服务PAAS(platform as a service)，主要为用户提供应用程序开发、测试和部署平台，即是将一个完整的系统平台，包括应用设计、应用开发、应用测试、应用部署和应用托管，都作为一种服务提供给用户 ；软件即服务SAAS(software as a service)，主要是为用户提供应用程序等软件。可以说，云计算这三种服务模式都是从硬件设备的角度出发的。
对于电网大数据系统的审计工作量巨大，被审计的数据不够全面，因此目前的审计系统根本无法完成电网大数据系统的审计需求。
发明内容
为了解决上述技术问题，本发明目的在于提供一种应用于云审计系统的日志审计子系统。
本发明所述的一种应用于云审计系统的日志审计子系统，包括用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统。
所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
本发明所述的一种应用于云审计系统的日志审计子系统主要包含日志收集服务器和日志分析处理引擎两部分。日志收集服务器负责对各种来源的日志数据进行收集、缓存和分发，日志分析处理引擎负责将收集的日志进行标准化、关联分析和持久化存储。所述的日志收集服务器收集以syslog或者snmp trap的方式发送的日志；然后将收集到的日志进行缓存，保证数据不丢失，为后续的处理环节提供缓冲机制；最后将收集的日志转发给日志分析处理引擎。所述的日志收集服务器支持单个物理机或者虚拟机部署；可以支持分布式架构部署，多个采集点，多个日志缓存服务器，以解决单点故障和均衡问题。所述的日志分析处理引擎对日志进行关联分析然后将日志转存到外接的审计数据中心子系统，将日志标准化采用流式计算技术如storm进行并发处理，以支持分布式部署。
附图说明
图1是本发明所述日志审计中心子系统的应用环境示意图。
图2是本发明所述日志审计中心子系统的结构示意图。
具体实施方式
根据图1、图2所示，本发明所述日志审计子系统连同综合展示管理中心子系统、审计中心子系统和网络审计子系统一同组成云审计系统。所述的综合展示管理中心子系统对上外接云资源管理平台，下行连接审计数据中心子系统，用于管理系统安全和各功能子系统的协同运作；所述的审计数据中心子系统下行分别连接日志审计子系统与网络审计子系统；所述的日志审计子系统连接外部日志源；所述的网络审计子系统独立连接外部的虚拟机流量源和物理机流量源。其中的日志审计子系统包括关联规则库，网络审计子系统包括审计规则库。
本发明所述的一种应用于云审计系统的日志审计子系统包括用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎。所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统。
所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
日志审计子系统负责根据云审计员下发的规则为云审计系统收集各虚拟机、物理机、网络设备、Hypervisor等产生的日志信息，为云审计系统后期的关联分析等其他审计工作提供数据来源，是云审计系统重要的下层模块。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.一种应用于云审计系统的日志审计子系统，包括用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统。
2.根据权利要求1所述的子系统，其特征在于，所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
3.根据权利要求1所述的子系统，其特征在于，所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
4.根据权利要求1所述的子系统，其特征在于，所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
CN201710782902.9A 2017-09-03 2017-09-03 一种应用于云审计系统的日志审计子系统 Pending CN107656973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710782902.9A CN107656973A (zh) 2017-09-03 2017-09-03 一种应用于云审计系统的日志审计子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710782902.9A CN107656973A (zh) 2017-09-03 2017-09-03 一种应用于云审计系统的日志审计子系统

Publications (1)

Publication Number Publication Date
CN107656973A true CN107656973A (zh) 2018-02-02

Family

ID=61128083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710782902.9A Pending CN107656973A (zh) 2017-09-03 2017-09-03 一种应用于云审计系统的日志审计子系统

Country Status (1)

Country Link
CN (1) CN107656973A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322306A (zh) * 2018-03-17 2018-07-24 北京工业大学 一种基于可信第三方的面向隐私保护的云平台可信日志审计方法
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理系统
CN110389861A (zh) * 2019-07-23 2019-10-29 宿州星尘网络科技有限公司 用于审计日志的智能备份系统
CN112532470A (zh) * 2020-11-05 2021-03-19 苏州浪潮智能科技有限公司 一种bmc主动上报日志信息的方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483553A (zh) * 2009-02-24 2009-07-15 中兴通讯股份有限公司 一种用户网络行为审计装置及方法
CN103581186A (zh) * 2013-11-05 2014-02-12 中国科学院计算技术研究所 一种网络安全态势感知方法及系统
CN104852927A (zh) * 2015-06-01 2015-08-19 国家电网公司 基于多源异构的信息安全综合管理系统
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483553A (zh) * 2009-02-24 2009-07-15 中兴通讯股份有限公司 一种用户网络行为审计装置及方法
CN103581186A (zh) * 2013-11-05 2014-02-12 中国科学院计算技术研究所 一种网络安全态势感知方法及系统
CN104852927A (zh) * 2015-06-01 2015-08-19 国家电网公司 基于多源异构的信息安全综合管理系统
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322306A (zh) * 2018-03-17 2018-07-24 北京工业大学 一种基于可信第三方的面向隐私保护的云平台可信日志审计方法
CN108322306B (zh) * 2018-03-17 2020-11-27 北京工业大学 一种基于可信第三方的面向隐私保护的云平台可信日志审计方法
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法
CN109902072A (zh) * 2019-02-21 2019-06-18 云南电网有限责任公司红河供电局 一种日志处理系统
CN110389861A (zh) * 2019-07-23 2019-10-29 宿州星尘网络科技有限公司 用于审计日志的智能备份系统
CN110389861B (zh) * 2019-07-23 2022-08-19 安徽朵朵云网络科技有限公司 用于审计日志的智能备份系统
CN112532470A (zh) * 2020-11-05 2021-03-19 苏州浪潮智能科技有限公司 一种bmc主动上报日志信息的方法和系统
CN112532470B (zh) * 2020-11-05 2022-12-27 苏州浪潮智能科技有限公司 一种bmc主动上报日志信息的方法和系统

Similar Documents

Publication Publication Date Title
CN107656973A (zh) 一种应用于云审计系统的日志审计子系统
Coutinho et al. Elasticity in cloud computing: a survey
Maheshwari et al. Toward a reliable, secure and fault tolerant smart grid state estimation in the cloud
CN105631026A (zh) 一种安全数据分析系统
CN107645542A (zh) 一种应用于云审计系统的数据采集装置
Castiglione et al. Modeling performances of concurrent big data applications
CN108021809A (zh) 一种数据处理方法及系统
CN103617067A (zh) 一种基于云计算的电力软件仿真系统
CN108009294A (zh) 一种大数据智慧信用治理平台架构
CN113448812A (zh) 微服务场景下的监控告警方法及装置
CN108334556A (zh) 一种分析互联网金融海量日志的方法及系统
CN107357804A (zh) 互联网金融海量日志的分析系统及方法
CN109088747A (zh) 云计算系统中资源的管理方法和装置
CN104579782A (zh) 一种热点安全事件的识别方法及系统
Ma et al. Design and implementation of smart city big data processing platform based on distributed architecture
CN106407072A (zh) 一种大数据平台的监控系统
Faraji Shoyari et al. Availability modeling in redundant OpenStack private clouds
Stefanov et al. A review of supercomputer performance monitoring systems
CN110825641A (zh) 一种基于模拟数据生成器的微服务应用测试工具集
Dayarathna et al. Energy consumption analysis of data stream processing: a benchmarking approach
Patel et al. A comprehensive assessment and comparative analysis of simulations tools for cloud computing
CN108280230A (zh) 一种分析数据的方法、装置、设备及存储介质
Mu et al. Big data processing technology research and application prospects
Tirta et al. Evaluation performance of cloud computing with network attached storage for video render
CN103986612A (zh) 一种云数据中心中告警过滤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180202