CN108156177A - 基于大数据的信息网安全态势感知预警方法 - Google Patents

基于大数据的信息网安全态势感知预警方法 Download PDF

Info

Publication number
CN108156177A
CN108156177A CN201810087218.3A CN201810087218A CN108156177A CN 108156177 A CN108156177 A CN 108156177A CN 201810087218 A CN201810087218 A CN 201810087218A CN 108156177 A CN108156177 A CN 108156177A
Authority
CN
China
Prior art keywords
data
early warning
network
flow volume
analysis module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810087218.3A
Other languages
English (en)
Inventor
方存保
杨连营
汪文杰
丁晖
张玉兵
许凡强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Tongling Power Supply Co of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Tongling Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Tongling Power Supply Co of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201810087218.3A priority Critical patent/CN108156177A/zh
Publication of CN108156177A publication Critical patent/CN108156177A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Alarm Systems (AREA)

Abstract

本发明属于数据采集与分析挖掘领域，特别涉及一种基于大数据的信息网安全态势感知预警方法。本发明包括数据采集模块和数据分析模块，所述数据采集模块采集日志、网络信息流量以及IDS数据，并将所述日志、网络信息流量以及IDS数据发送至数据分析模块，所述数据分析模块对日志、网络信息流量以及IDS数据进行预警分析。本发明能够统一采集、存储数据，能够统一分析网络运行态势，大大地提升了智能化网络运维建设，而且本发明能够结合日志数据、网络信息流量以及IDS数据分析可疑行为，实现事前预警分析。本发明能够及时发现并且准确确定网络设备、终端设备存在的安全隐患，可以实现对信息网络安全薄弱环节进行定位并改进。

Description

基于大数据的信息网安全态势感知预警方法
技术领域
本发明属于数据采集与分析挖掘领域，特别涉及一种基于大数据的信息网安全态势感知预警方法。
背景技术
随着信息网络规模的不断扩大，终端数量的不断增加，电力信息网络面临的安全风险日益增加，同时随着电力信息网业务形式越来越丰富，网络自身的封闭性和运行机制也受到影响，其面临的安全挑战趋于多样化和复杂化。日志作为信息网运行态势感知的一个重要的组成部分，目前还未实现统一的采集、存储，而日志又是信息安全的重要组成部分。
考虑到电力信息网大规模的复杂性，以及对网络整体安全越来越高的要求，传统的信息网的网络运行安全管理也是依靠故障发现后由网络运维人员管理上报处理，消耗人员工作量大，风险预警的可靠性低，且高度依赖经验等，传统的安全解决方案不能很好地完成保障网络安全的任务，因此，亟需提出一种能够结合日志数据分析可疑行为，实现事前预警分析的信息网安全态势感知预警方法。
发明内容
本发明为了克服上述现有技术的不足，提供了一种基于大数据的信息网安全态势感知预警方法，本发明能够结合日志数据、网络信息流量以及IDS数据分析可疑行为，实现事前预警分析。
为实现上述目的，本发明采用了以下技术措施：
一种基于大数据的信息网安全态势感知预警方法，包括数据采集模块和数据分析模块，所述数据采集模块采集日志、网络信息流量以及IDS数据，并将所述日志、网络信息流量以及IDS数据发送至数据分析模块，所述数据分析模块对日志、网络信息流量以及IDS数据进行预警分析。
优选的，所述日志包括IIS日志、Apache日志、交换机日志、主机日志。
优选的，所述数据采集模块采用Splunk工具对IIS日志、Apache日志、主机日志进行采集。
优选的，所述数据采集模块采用Flume组件对交换机日志进行采集。
进一步的，所述数据采集模块采用交换机采集网络信息流量，并将所述网络信息流量发送至分布式HBase数据库。
进一步的，所述数据采集模块采用Sqoop工具采集IDS数据，并将所述IDS数据发送至分布式HBase数据库。
进一步的，所述数据分析模块对IIS日志、Apache日志、主机日志进行预警分析，分析IIS日志、Apache日志、主机日志中的客户端请求访问页面的频率，以及客户端请求访问网络地址的频率，若客户端请求访问页面的频率或客户端请求访问网络地址的频率大于1分钟100次，则数据分析模块发出预警信号，若客户端请求访问页面的频率以及客户端请求访问网络地址的频率均小于1分钟100次，则数据分析模块不发出预警信号。
进一步的，所述数据分析模块对交换机日志进行预警分析，分析交换机日志中的客户端请求访问网络地址中是否存在select字段、update字段、delete字段、translate字段，如果存在，则数据分析模块发出预警信号，如果不存在，则数据分析模块不发出预警信号。
进一步优选的，所述数据分析模块对网络信息流量进行预警分析，实时显示网络信息流量，如果网络信息流量中的数据流量包存在特殊的数据包协议，则数据分析模块发出预警信号，如果网络信息流量中的单个数据流量包发送至目标主机的时间超过10min，则数据分析模块发出预警信号；如果网络信息流量中的数据流量包不存在特殊的数据包协议，而且网络信息流量中的单个数据流量包发送至目标主机的时间小于等于10min，则数据分析模块不发出预警信号。
进一步优选的，所述特殊的数据包协议包括OICQ协议、AMQP协议、WSDL协议。
本发明的有益效果在于：
1)、本发明包括数据采集模块和数据分析模块，数据采集模块用于采集日志、网络信息流量以及IDS数据，数据分析模块用于对日志、网络信息流量以及IDS数据进行预警分析，本发明能够统一采集、存储数据，能够统一分析网络运行态势，大大地提升了智能化网络运维建设，而且本发明能够结合日志数据、网络信息流量以及IDS数据分析可疑行为，实现事前预警分析。
2)、本发明能够及时发现并且准确确定网络设备、终端设备存在的安全隐患，可以实现对信息网络安全薄弱环节进行定位并改进。
3)、本发明通过网络信息流量的获取，可以获取到关键终端设备网络流量的实时信息，避免流量大起大落的异常现象发生，同时可以通过流量来发现网络长连接的行为，及时地寻找出网络流量的高风险协议信息。
附图说明
图1为本发明的系统结构框图；
图2为本发明的数据采集模块的日志采集对象的原理图；
图3为本发明的Sqoop工具采集IDS数据的流程图。
图中的附图标记含义如下：
10—数据采集模块 20—数据分析模块
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于大数据的信息网安全态势感知预警方法，包括数据采集模块10和数据分析模块20，所述数据采集模块10采集日志、网络信息流量以及IDS数据，并将所述日志、网络信息流量以及IDS数据发送至数据分析模块20，所述数据分析模块20对日志、网络信息流量以及IDS数据进行预警分析。
具体的，所述日志包括IIS日志、Apache日志、交换机日志、主机日志。
所述数据采集模块10采用Splunk工具对IIS日志、Apache日志、主机日志进行采集；所述数据采集模块10采用Flume组件对交换机日志进行采集；所述数据采集模块10采用交换机采集网络信息流量，并将所述网络信息流量发送至分布式HBase数据库；所述数据采集模块10采用Sqoop工具采集IDS数据，并将所述IDS数据发送至分布式HBase数据库。
Flume组件、Sqoop工具均属于大数据技术中的组件。
所述数据分析模块20对IIS日志、Apache日志、主机日志进行预警分析，分析IIS日志、Apache日志、主机日志中的客户端请求访问页面的频率，以及客户端请求访问网络地址的频率，若客户端请求访问页面的频率或客户端请求访问网络地址的频率大于1分钟100次，则数据分析模块20发出预警信号，若客户端请求访问页面的频率以及客户端请求访问网络地址的频率均小于1分钟100次，则数据分析模块20不发出预警信号；数据分析模块20对交换机日志进行预警分析，分析交换机日志中的客户端请求访问网络地址中是否存在select字段、update字段、delete字段、translate字段，如果存在，则数据分析模块20发出预警信号，如果不存在，则数据分析模块20不发出预警信号；数据分析模块20对网络信息流量进行预警分析，实时显示网络信息流量，如果网络信息流量中的数据流量包存在特殊的数据包协议，则数据分析模块20发出预警信号，如果网络信息流量中的单个数据流量包发送至目标主机的时间超过10min，则数据分析模块20发出预警信号；如果网络信息流量中的数据流量包不存在特殊的数据包协议，而且网络信息流量中的单个数据流量包发送至目标主机的时间小于等于10min，则数据分析模块20不发出预警信号。
所述特殊的数据包协议包括OICQ协议、AMQP协议、WSDL协议。
本发明使用大数据组件Sqoop工具和Flume组件抽取数据存放到HDFS中，经过空数据校验，数据量校验，数据波动校验判断数据是否异常，使用数据分析模块20中的MapReduce进行数据分析，最后使用ECharts将数据展现出来，使用ECharts实时显示网络信息流量。
如图2所示，其中IIS日志、Apache日志、交换机Syslog日志、主机日志的收集均采用大数据组件Flume提供的syslog agent文件等多种方式实现网络设备、终端设备、中间件的运行参数、设备日志、安全设备日志以及各支撑系统告警信息的实时采集，利用hdfs基础组件及hbase组件搭建数据存储空间，实现海量日志的全量存储。
如图3所示，本发明使用大数据组件提供的Sqoop工具作为IDS数据库，IDS数据导入到Hadoop的抽取工具，Sqoop主要用于将关系型数据库，例如Oracle、MySQL等导入到Hadoop生态系统中，例如HDFS、Hive、HBase等。同时，Sqoop工具也可以把IDS数据从Hadoop中抽取、导出到关系型数据库中，Sqoop工具在Hadoop中是作为一个沟通桥梁的形式存在的，用以连接旧的生态系统和新的生态系统。
综上所述，本发明能够统一采集、存储数据，能够统一分析网络运行态势，大大地提升了智能化网络运维建设，而且本发明能够结合日志数据、网络信息流量以及IDS数据分析可疑行为，实现事前预警分析。

Claims (10)

1.基于大数据的信息网安全态势感知预警方法，其特征在于：包括数据采集模块(10)和数据分析模块(20)，所述数据采集模块(10)采集日志、网络信息流量以及IDS数据，并将所述日志、网络信息流量以及IDS数据发送至数据分析模块(20)，所述数据分析模块(20)对日志、网络信息流量以及IDS数据进行预警分析。
2.如权利要求1所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述日志包括IIS日志、Apache日志、交换机日志、主机日志。
3.如权利要求2所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据采集模块(10)采用Splunk工具对IIS日志、Apache日志、主机日志进行采集。
4.如权利要求3所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据采集模块(10)采用Flume组件对交换机日志进行采集。
5.如权利要求4所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据采集模块(10)采用交换机采集网络信息流量，并将所述网络信息流量发送至分布式HBase数据库。
6.如权利要求5所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据采集模块(10)采用Sqoop工具采集IDS数据，并将所述IDS数据发送至分布式HBase数据库。
7.如权利要求6所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据分析模块(20)对IIS日志、Apache日志、主机日志进行预警分析，分析IIS日志、Apache日志、主机日志中的客户端请求访问页面的频率，以及客户端请求访问网络地址的频率，若客户端请求访问页面的频率或客户端请求访问网络地址的频率大于1分钟100次，则数据分析模块(20)发出预警信号，若客户端请求访问页面的频率以及客户端请求访问网络地址的频率均小于1分钟100次，则数据分析模块(20)不发出预警信号。
8.如权利要求7所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据分析模块(20)对交换机日志进行预警分析，分析交换机日志中的客户端请求访问网络地址中是否存在select字段、update字段、delete字段、translate字段，如果存在，则数据分析模块(20)发出预警信号，如果不存在，则数据分析模块(20)不发出预警信号。
9.如权利要求1～8任意一项所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述数据分析模块(20)对网络信息流量进行预警分析，实时显示网络信息流量，如果网络信息流量中的数据流量包存在特殊的数据包协议，则数据分析模块(20)发出预警信号，如果网络信息流量中的单个数据流量包发送至目标主机的时间超过10min，则数据分析模块(20)发出预警信号；如果网络信息流量中的数据流量包不存在特殊的数据包协议，而且网络信息流量中的单个数据流量包发送至目标主机的时间小于等于10min，则数据分析模块(20)不发出预警信号。
10.如权利要求9所述的基于大数据的信息网安全态势感知预警方法，其特征在于：所述特殊的数据包协议包括OICQ协议、AMQP协议、WSDL协议。
CN201810087218.3A 2018-01-30 2018-01-30 基于大数据的信息网安全态势感知预警方法 Pending CN108156177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810087218.3A CN108156177A (zh) 2018-01-30 2018-01-30 基于大数据的信息网安全态势感知预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810087218.3A CN108156177A (zh) 2018-01-30 2018-01-30 基于大数据的信息网安全态势感知预警方法

Publications (1)

Publication Number Publication Date
CN108156177A true CN108156177A (zh) 2018-06-12

Family

ID=62459202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810087218.3A Pending CN108156177A (zh) 2018-01-30 2018-01-30 基于大数据的信息网安全态势感知预警方法

Country Status (1)

Country Link
CN (1) CN108156177A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391700A (zh) * 2018-12-12 2019-02-26 北京华清信安科技有限公司 基于深度流量感知的物联网安全云平台
CN110022301A (zh) * 2019-03-07 2019-07-16 北京华安普特网络科技有限公司 物联网设备防护用防火墙
CN111030975A (zh) * 2019-04-26 2020-04-17 北京安天网络安全技术有限公司 一种基于载荷分析的威胁预测方法、装置及存储设备
CN114154172A (zh) * 2022-02-10 2022-03-08 北京国信网联科技有限公司 基于态势感知的网络安全监控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262722A (zh) * 2015-09-07 2016-01-20 深信服网络科技（深圳）有限公司 终端恶意流量规则更新方法、云端服务器和安全网关
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
US20170054745A1 (en) * 2014-02-17 2017-02-23 Beijing Qihoo Technology Company Limited Method and device for processing network threat
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107438079A (zh) * 2017-08-18 2017-12-05 杭州安恒信息技术有限公司 一种网站未知异常行为的检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170054745A1 (en) * 2014-02-17 2017-02-23 Beijing Qihoo Technology Company Limited Method and device for processing network threat
CN105262722A (zh) * 2015-09-07 2016-01-20 深信服网络科技（深圳）有限公司 终端恶意流量规则更新方法、云端服务器和安全网关
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107438079A (zh) * 2017-08-18 2017-12-05 杭州安恒信息技术有限公司 一种网站未知异常行为的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁新燕: "《计算机外设与接口简明教程 修订版》", 31 August 2005, 北京航空航天大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391700A (zh) * 2018-12-12 2019-02-26 北京华清信安科技有限公司 基于深度流量感知的物联网安全云平台
CN109391700B (zh) * 2018-12-12 2021-04-09 北京华清信安科技有限公司 基于深度流量感知的物联网安全云平台
CN110022301A (zh) * 2019-03-07 2019-07-16 北京华安普特网络科技有限公司 物联网设备防护用防火墙
CN111030975A (zh) * 2019-04-26 2020-04-17 北京安天网络安全技术有限公司 一种基于载荷分析的威胁预测方法、装置及存储设备
CN111030975B (zh) * 2019-04-26 2023-02-28 北京安天网络安全技术有限公司 一种基于载荷分析的威胁预测方法、装置及存储设备
CN114154172A (zh) * 2022-02-10 2022-03-08 北京国信网联科技有限公司 基于态势感知的网络安全监控系统

Similar Documents

Publication Publication Date Title
CN108156177A (zh) 基于大数据的信息网安全态势感知预警方法
CN106778253A (zh) 基于大数据的威胁情景感知信息安全主动防御模型
CN106371986A (zh) 一种日志处理运维监控系统
CN108763957A (zh) 一种数据库的安全审计系统、方法及服务器
CN106651633A (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN103716173B (zh) 一种存储监控系统及监控告警发布的方法
CN104852927A (zh) 基于多源异构的信息安全综合管理系统
CN104506507A (zh) 一种sdn网络的蜜网安全防护系统及方法
CN109684422A (zh) 一种基于人工智能的大数据平台的单指标预测和预警方法
CN107403005A (zh) 一种网站监控方法及装置
CN109104438A (zh) 一种窄带物联网中的僵尸网络预警方法及装置
CN104574557A (zh) 一种基于告警的站点巡检方法、操控装置和系统
CN107748946A (zh) 电力光传输设备状态检测评价系统
CN110598051A (zh) 一种电力行业监控系统、方法及装置
El Arass et al. Smart SIEM: From big data logs and events to smart data alerts
CN116257021A (zh) 一种工控系统智能网络安全态势监测预警平台
CN106649765A (zh) 基于大数据技术的智能电网全景数据分析方法
CN108924095A (zh) 一种政府网站安全监控报警平台
EA202092860A1 (ru) Система интеллектуального управления рисками и уязвимостями элементов инфраструктуры
CN105784937A (zh) 气体苯系物探测的数据可视化方法及系统
CN110377757A (zh) 一种实时知识图谱构建系统
CN202565314U (zh) 一种气象实景监控及实时传输系统
CN205449948U (zh) 气体苯系物探测的数据可视化系统
CN108696389A (zh) 一种基于海量数据的网络流量及协议报文分析平台
CN110113301B (zh) 一种基于云计算的入侵检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612