CN111683037A - 一种基于大数据分析的智能网络安全系统 - Google Patents

一种基于大数据分析的智能网络安全系统 Download PDF

Info

Publication number
CN111683037A
CN111683037A CN202010284330.3A CN202010284330A CN111683037A CN 111683037 A CN111683037 A CN 111683037A CN 202010284330 A CN202010284330 A CN 202010284330A CN 111683037 A CN111683037 A CN 111683037A
Authority
CN
China
Prior art keywords
data
big
network security
database
data analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010284330.3A
Other languages
English (en)
Inventor
沈志宏
王胜和
音卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Public Security College
Original Assignee
Anhui Public Security College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Public Security College filed Critical Anhui Public Security College
Priority to CN202010284330.3A priority Critical patent/CN111683037A/zh
Publication of CN111683037A publication Critical patent/CN111683037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/022—Multivendor or multi-standard integration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于大数据分析的智能网络安全系统，包括大数据库以及基于大数据库的网络安全体系构架，所述大数据库与网络安全体系构架之间设置有对大数据库内的数据进行监控的监控系统，所述大数据库的建立步骤为：S1、使用建模工具；S2、收集需求数据；S3、寻找合适的数据切入点，监控系统包括：大数据库内部自检、信息过滤以及信息追踪，网络安全体系构架包括：数据源层、数据收集存储层、数据分析层以及数据展示层；本发明建立大数据库都，通过监控系统对大数据库进行安全保护，再配合网络安全体系构架使得本发明形成一整个基于大数据分析的智能网络安全系统，性能更好。

Description

一种基于大数据分析的智能网络安全系统
技术领域
本发明涉及网络安全技术领域，具体为一种基于大数据分析的智能网络安全系统。
背景技术
当前网络与信息安全领域，正面临着全新的挑战，一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快，另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。
面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下两个方面：
1.数据处理能力有限，缺乏有效的架构支撑；
2.威胁识别能力有限，缺乏安全智能。
发明内容
针对现有技术的不足，本发明提供了一种基于大数据分析的智能网络安全系统，解决了背景技术中提到的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据分析的智能网络安全系统，包括大数据库以及基于大数据库的网络安全体系构架，所述大数据库与网络安全体系构架之间设置有对大数据库内的数据进行监控的监控系统；
所述大数据库的建立步骤为：
S1、使用建模工具；
S2、收集需求数据；
S3、寻找合适的数据切入点。
进一步地，所述监控系统包括：大数据库内部自检、信息过滤以及信息追踪。
进一步地，所述网络安全体系构架包括：数据源层、数据收集存储层、数据分析层以及数据展示层。
进一步地，所述数据源层建立的方式为：多协议数据采集、SNMP、ICMP、日志采集、日志转发、专有AGENT。
本发明与现有技术相比具备以下有益效果：建立大数据库都，通过监控系统对大数据库进行安全保护，再配合网络安全体系构架使得本发明形成一整个基于大数据分析的智能网络安全系统，性能更好。
附图说明
图1为本发明整体步骤的示意图；
图2为本发明监控系统的示意图；
图3为本发明网络安全体系构架的示意图；
图4为本发明数据源层的示意图。
图中：1-大数据库、101-使用建模工具、102-收集需求数据、103-寻找合适的数据切入点、2-网络安全体系构架、201-数据源层、2011-多协议数据采集、2012-SNMP、2013-ICMP、2014-日志采集、2015-日志转发、2016-AGENT、202-数据收集存储层、203-数据分析层、204-数据展示层、3-监控系统、301-大数据库内部自检、302-信息过滤、303-信息追踪。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：一种基于大数据分析的智能网络安全系统，包括大数据库1以及基于大数据库1的网络安全体系构架2，大数据库1与网络安全体系构架2之间设置有对大数据库1内的数据进行监控的监控系统3；
大数据库1的建立步骤为：
S1、使用建模工具101；
S2、收集需求数据102；
S3、寻找合适的数据切入点103。
监控系统3包括：大数据库内部自检301(大数据库内部自检301每隔特定时间对大数据库1内部的数据进行检查)、信息过滤302(信息过滤302用于将添加至大数据库1内的数据进行过滤，当添加的信息不符合要求时，会拒绝数据的进入，保证进入内部信息的安全性，防止不良信息直接进入大数据库1内，造成数据的流失)以及信息追踪303(信息追踪303用于追踪遗失的信息，大数据库1内的数据带有特定的标号，通过信息追踪303能够追踪到遗失信息的位置，查找盗窃数据人员的IP地址，通过追踪模块能够及时找回遗失的信息，防止因数据丢失造成的财产损失)。
首先通过S1、使用建模工具101，S2、收集需求数据102，S3、寻找合适的数据切入点103，建立大数据库1，然后，通过监控系统3对大数据库1进行监控。
数据收集存储层202,网络安全分析需要依托全面、完整的信息数据，在应用大数据技术时，应先完成数据采集，对于每秒数百兆的日志信息来讲，可以利用Chukwa等工具对其进行采集,对于全数量数据来讲，可以使用传统数镜向方式对其进行采集,完成数据采集后，需依托大数据库1对其进行集中存储，在大数据技术的帮助下，数据类型存在差异时，可以采用与其相匹配的方式完成存储，不仅能够保证数据之间的明确分类，又可以方便数据查询,数据类型为即时数据时，可采用列式存储方法，先运用流式计算方式进行分析，然后存储所得结果,数据类型为日志时，为提高数据查询效率，可选用列式存储方法完成存储,另外，当数据经过标准化处理后，需要先对其进行处理，所用方法为分布式计算方法，然后再采用列式存储方法进行存储。
数据分析层203，基于大数据技术的网络安全分析平台，当数据类型不同时，所用分析处理方法也是不一样的，首先，如果数据类型为实时数据时，在对其进行分析和处理时，主要用到了流式计算方式、CEP技术、关联分析算法等，可以及时发现潜在的安全隐患及威胁，其次，如果数据类型为历史数据、统计结果时，在实效性方面要求并不严格，可对其进行离线处理，完成更为深入、全面的分析，所用方法主要为分布式存储与计算，既能够发现其中的风险隐患，又可以找出攻击来源。
数据展示层204，首先，数据收集存储层202主要负责采集各种类型数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集，其次，能够实现海量信息的长期保存，并采用结构化、半结构化、非结构化方式对其进行统一存储，使用均衡算法将现实数据均匀分布在分布式文件系统上，另外，网络安全异常的发现及溯源，则是在数据挖掘分析层完成，具体方法包括特征提取、情境分析、关联分析等，可通过检索查询对异常网络行为进行准确定位，最后，数据展示层204则可以通过可视化形式将大数据分析结果呈现出来，通过多种维度展现网络安全状态。
数据源层201建立的方式为：多协议数据采集2011、SNMP2012、ICMP2013、日志采集2014、日志转发2015、专有AGENT2016。
工作原理：首先通过S1、使用建模工具101，S2、收集需求数据102，S3、寻找合适的数据切入点103，建立大数据库1，然后，通过监控系统3对大数据库1进行监控，网络安全分析需要依托全面、完整的信息数据，在应用大数据技术时，应先完成数据采集，对于每秒数百兆的日志信息来讲，可以利用Chukwa等工具对其进行采集,对于全数量数据来讲，可以使用传统数镜向方式对其进行采集,完成数据采集后，需依托大数据库1对其进行集中存储，在大数据技术的帮助下，数据类型存在差异时，可以采用与其相匹配的方式完成存储，不仅能够保证数据之间的明确分类，又可以方便数据查询,数据类型为即时数据时，可采用列式存储方法，先运用流式计算方式进行分析，然后存储所得结果,数据类型为日志时，为提高数据查询效率，可选用列式存储方法完成存储,另外，当数据经过标准化处理后，需要先对其进行处理，所用方法为分布式计算方法，然后再采用列式存储方法进行存储，基于大数据技术的网络安全分析平台，当数据类型不同时，所用分析处理方法也是不一样的，首先，如果数据类型为实时数据时，在对其进行分析和处理时，主要用到了流式计算方式、CEP技术、关联分析算法等，可以及时发现潜在的安全隐患及威胁，其次，如果数据类型为历史数据、统计结果时，在实效性方面要求并不严格，可对其进行离线处理，完成更为深入、全面的分析，所用方法主要为分布式存储与计算，既能够发现其中的风险隐患，又可以找出攻击来源，数据收集存储层202主要负责采集各种类型数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集，其次，能够实现海量信息的长期保存，并采用结构化、半结构化、非结构化方式对其进行统一存储，使用均衡算法将现实数据均匀分布在分布式文件系统上，另外，网络安全异常的发现及溯源，则是在数据挖掘分析层完成，具体方法包括特征提取、情境分析、关联分析等，可通过检索查询对异常网络行为进行准确定位，最后，数据展示层204则可以通过可视化形式将大数据分析结果呈现出来，通过多种维度展现网络安全状态
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于大数据分析的智能网络安全系统，包括大数据库(1)以及基于大数据库(1)的网络安全体系构架(2)，其特征在于：所述大数据库(1)与网络安全体系构架(2)之间设置有对大数据库(1)内的数据进行监控的监控系统(3)；
所述大数据库(1)的建立步骤为：
S1、使用建模工具(101)；
S2、收集需求数据(102)；
S3、寻找合适的数据切入点(103)。
2.根据权利要求1所述的一种基于大数据分析的智能网络安全系统，其特征在于：所述监控系统(3)包括：大数据库内部自检(301)、信息过滤(302)以及信息追踪(303)。
3.根据权利要求2所述的一种基于大数据分析的智能网络安全系统，其特征在于：所述网络安全体系构架(2)包括：数据源层(201)、数据收集存储层(202)、数据分析层(203)以及数据展示层(204)。
4.根据权利要求3所述的一种基于大数据分析的智能网络安全系统，其特征在于：所述数据源层(201)建立的方式为：多协议数据采集(2011)、SNMP(2012)、ICMP(2013)、日志采集(2014)、日志转发(2015)、专有AGENT(2016)。
CN202010284330.3A 2020-04-13 2020-04-13 一种基于大数据分析的智能网络安全系统 Pending CN111683037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010284330.3A CN111683037A (zh) 2020-04-13 2020-04-13 一种基于大数据分析的智能网络安全系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010284330.3A CN111683037A (zh) 2020-04-13 2020-04-13 一种基于大数据分析的智能网络安全系统

Publications (1)

Publication Number Publication Date
CN111683037A true CN111683037A (zh) 2020-09-18

Family

ID=72433315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010284330.3A Pending CN111683037A (zh) 2020-04-13 2020-04-13 一种基于大数据分析的智能网络安全系统

Country Status (1)

Country Link
CN (1) CN111683037A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109121A (zh) * 2023-04-17 2023-05-12 西昌学院 基于大数据分析的用户需求挖掘方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672689A (zh) * 2019-01-17 2019-04-23 德州学院 一种大数据网络安全监控设备
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672689A (zh) * 2019-01-17 2019-04-23 德州学院 一种大数据网络安全监控设备
CN109885562A (zh) * 2019-01-17 2019-06-14 安徽谛听信息科技有限公司 一种基于网络空间安全的大数据智能分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宁海斌: "基于大数据安全分析的网络安全技术发展趋势研究", 《广播电视信息》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109121A (zh) * 2023-04-17 2023-05-12 西昌学院 基于大数据分析的用户需求挖掘方法及系统
CN116109121B (zh) * 2023-04-17 2023-06-30 西昌学院 基于大数据分析的用户需求挖掘方法及系统

Similar Documents

Publication Publication Date Title
CN108040074B (zh) 一种基于大数据的实时网络异常行为检测系统及方法
CN112651006B (zh) 一种电网安全态势感知系统
CN112114995B (zh) 基于进程的终端异常分析方法、装置、设备及存储介质
CN114584401B (zh) 一种面向大规模网络攻击的追踪溯源系统及方法
CN104852927A (zh) 基于多源异构的信息安全综合管理系统
CN105207826A (zh) 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统
CN114070629B (zh) 针对apt攻击的安全编排与自动化响应方法、装置及系统
CN107229556A (zh) 基于elastic组件的日志分析系统
CN110766329B (zh) 一种信息资产的风险分析方法、装置、设备及介质
CN110392039A (zh) 基于日志和流量采集的网络系统事件溯源方法及系统
CN109150869A (zh) 一种交换机信息采集分析系统及方法
CN112528279A (zh) 一种入侵检测模型的建立方法和装置
CN110519231A (zh) 一种跨域数据交换监管系统及方法
CN115664703A (zh) 一种基于多维度信息的攻击溯源方法
CN112104659A (zh) 一种基于政务应用安全的实时监测平台
CN110855461A (zh) 一种基于关联分析和规则库的日志分析方法
CN111683037A (zh) 一种基于大数据分析的智能网络安全系统
CN117040943B (zh) 基于IPv6地址驱动的云网络内生安全防御方法和装置
CN113923009A (zh) 一种网络安全事件溯源分析方法、装置、介质及电子设备
CN117220961B (zh) 一种基于关联规则图谱的入侵检测方法、装置及存储介质
CN112491913A (zh) 一种黑客攻击溯源分析系统
CN110912753B (zh) 一种基于机器学习的云安全事件实时检测系统及方法
CN112714118A (zh) 网络流量检测方法和装置
Tellenbach Detection, classification and visualization of anomalies using generalized entropy metrics
CN115296888A (zh) 数据雷达监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918