CN109150870A - 网络安全态势分析与应用方法及系统 - Google Patents

网络安全态势分析与应用方法及系统 Download PDF

Info

Publication number
CN109150870A
CN109150870A CN201810921824.0A CN201810921824A CN109150870A CN 109150870 A CN109150870 A CN 109150870A CN 201810921824 A CN201810921824 A CN 201810921824A CN 109150870 A CN109150870 A CN 109150870A
Authority
CN
China
Prior art keywords
data
network safety
safety situation
analysis
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810921824.0A
Other languages
English (en)
Inventor
贺长宇
张博
雷蕾
张宇
郑学欣
姚琳元
饶迎
武超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronics Technology Group Corp CETC
Electronic Science Research Institute of CTEC
Original Assignee
China Electronics Technology Group Corp CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronics Technology Group Corp CETC filed Critical China Electronics Technology Group Corp CETC
Priority to CN201810921824.0A priority Critical patent/CN109150870A/zh
Publication of CN109150870A publication Critical patent/CN109150870A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网络安全态势分析与应用方法及系统，所述方法包括以下步骤：获取各种不同的网络安全态势数据；对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。本发明提高了网络安全态势集成分析系统的分析能力，降低了错误率。

Description

网络安全态势分析与应用方法及系统
技术领域
本发明属于网络技术领域，具体涉及一种网络安全态势分析与应用方法及系统。
背景技术
随着我国互联网的应用普及与发展，网络安全问题也日益突出，网络安全事件频发将严重影响国家安全、社会公共安全和人民群众切身利益。之前爆发的“永恒之蓝”勒索病毒已经在全球造成了重大经济损失，而且可能还会继续出现病毒新变种，甚至蔓延到移动端，造成更大规模的损失。在网络攻击全球化、常态化、组织化的今天，像“永恒之蓝”勒索蠕虫这样突发性强、波及面广、危害性大的安全事件已经成为影响国家关键基础设施和社会秩序稳定的国家级安全事件。
网络安全态势就是指在大规模网络环境中，利用云计算、大数据技术、数据挖掘技术对能够引起网络安全状态发生变化的要素进行获取、理解、展示，并预测未来的发展趋势。态势感知从宏观上动态反映网络安全情况，并对网络安全趋势进行预测和预警，已成为世界公认的实现网络安全监控的重要技术手段。
但是现有网络安全态势集成分析系统投入成本高，缺少对多源数据的融合接入，态势数据结果的全面性差，且对大数据的分析处理手段低、错误率高。
发明内容
本发明目的是提供一种网络安全态势分析与应用方法及系统，提高网络安全态势集成分析系统分析能力。
依据本发明的一个方面，提供一种网络安全态势分析与应用方法，包括以下步骤：
获取各种不同的网络安全态势数据；
对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；
将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。
可选地，本发明所述方法中，所述各种不同的网络安全态势数据至少包括：
单位流量全流量数据；互联网第三方安全态势数据；监管数据。
可选地，本发明所述方法中，在所述得到统计分析结果之后，还包括：
将所述统计分析结果进行可视化显示。
可选地，本发明所述方法中，所述进行统一存储，包括：
将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的存储设备进行分布式数据存储。
可选地，本发明所述方法中，若所述网络安全态势数据为流式数据，在对所述网络安全态势数据进行融合、归一化预处理之前，还要对所述网络安全态势数据进行缓存，通过缓存队列将经过预处理的所述网络安全态势数据传输给存储引擎。
可选地，本发明所述方法中，所述将存储的各所述网络安全态势数据进行大数据统计分析根据数据处理方式的不同分为实时计算和离线计算，
所述实时计算是利用数据引擎对所述网络完全态势数据进行的筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理；
所述离线计算是以智能检索引擎和数据服务总线为基础，利用关联分析引擎和统计分析引擎对所述网络安全态势数据进行统计分析及关联计算。
可选地，本发明所述方法中，所述将存储的各网络安全态势数据进行大数据统计分析，还包括：采用滤波器去除所述网络安全态势数据中的抖动与噪声。
依据本发明的另一个方面，提供一种网络安全态势分析与应用的系统，包括数据源模块、数据存储模块及数据分析处理模块，
所述数据源模块，用于获取各种不同的网络安全态势数据；
所述数据存储模块,用于对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；
所述数据分析处理模块，用于将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。
可选地，本发明所述系统中，还包括：信息通报服务模块，所述信息通报服务模块，用于将所述统计分析结果进行可视化显示。
可选地，本发明所述系统中，所述数据源模块，包括：单位流量全流量数据单元；互联网第三方安全态势数据单元和监管数据单元。
可选地，本发明所述系统中，所述数据分析处理模块，包括：若干数据引擎单元，
所述数据引擎单元至少包括：流式计算引擎单元、关联分析引擎单元、统计分析引擎单元和智能检索引擎单元；
所述将存储的各所述网络安全态势数据进行大数据统计分析根据数据处理方式的不同分为实时计算和离线计算，
所述实时计算，用于利用数据引擎单元对所述网络完全态势数据进行筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理；
所述离线计算，用于以智能检索引擎单元和数据服务总线为基础，利用智能检索引擎单元、关联分析引擎单元和统计分析引擎单元对存储中的网络安全态势数据进行统计分析及关联计算。
可选地，本发明所述系统中，所述数据存储模块，包括：数据预处理子模块和数据库子模块，
所述数据预处理子模块，用于在所述对各网络安全态势数据进行大数据统计分析之前，对各所述网络安全态势数据进行融合、归一化预处理；所述数据预处理子模块，包括格式化单元、数据过滤单元、数据归并单元和数据补全单元；
所述数据库子模块，用于将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的数据库进行分布式数据存储；所述数据库子模块包括：IP地址库单元、域名库单元、设备指纹库单元、漏洞库单元、关系型数据库单元。
本发明的有益效果：本发明获取各种不同的网络安全态势数据构成多源异构数据，进行多源数据融合，利用大数据对多源异构数据开展分析，提高了态势数据的全面性，弥补了现有方法智能处理手段低、错误率高的不足。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
图1为本发明第一实施例提供的网络安全态势分析与应用的系统框架图；
图2为本发明第二实施例提供的网络安全态势分析与应用方法的流程图；
图3为本发明第二实施例中增加可视化显示的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明的第一实施例中，提供一种网络安全态势分析与应用的系统，参见图1所示，包括数据源模块1、数据存储模块2及数据分析处理模块3，
所述数据源模块1，用于获取各种不同的网络安全态势数据。
本发明的一个具体实施例中：所述数据源模块1，包括：单位流量全流量数据单元1-1；互联网第三方安全态势数据单元1-2和监管数据单元1-3。
所述单位流量全流量数据单元1-1是由相关部门自行协调的机构提供，通过相关机构对我国互联网出口、骨干网的监测数据，及其与国内外合作伙伴进行数据和信息共享等方式的数据汇集，形成国内外安全漏洞态势、网络病毒态势、分布式拒绝服务(Distributed Denial of Service:DDOS)攻击态势、高级持续性威胁(AdvancedPersistent Threat:APT)攻击态势、网站安全态势、网络攻击威胁态势、网络安全事件报告。这些态势数据将接入网络安全态势分析与应用的系统(平台)，为网络态势数据处理与综合显示提供数据源。
所述互联网第三方安全态势数据单元1-2是由相关部门自行协调的互联网安全态势感知企业提供。第三方安全态势数据主要是利用第三方企业云端强大的数据采集能力以及高效的分析及运营能力，获取网络安全相关的安全数据。这些数据将涵盖僵木蠕毒感染事件情况、DDOS攻击情况以及高级威胁情报(含APT攻击及组织情报)等。第三方安全态势数据将接入网络安全态势分析与应用的系统(平台)，为各种类型的网络安全相关数据处理与综合显示提供数据源。
所述监管数据单元1-3是提供非格式化情报资料，包括：文字、图像、声音、视频等形式的情报资料(数据格式包括常用格式和部分专用格式)。为了使网络空间事件显示提供更加丰富的数据资料支撑，需将各类网络空间事件相关的非格式化监管情报数据接收到网络安全态势分析与应用的系统(平台)，并进行分类整理。
进一步，所述数据源模块1还设有预留接口单元，该预留接口单元是预留接口，增加了不同数据源的接入支持。对不同格式的数据源提供单独接口，保证数据无损失接入。
数据源模块1通过将网络安全态势相关数据分为单位流量全流量数据；互联网第三方安全态势数据和监管数据三类，可实现对不同数据的个性化采集，更加便于各所述网络安全态势数据构成的多源异构数据的采集和处理。
所述数据存储模块2,用于对各所述网络安全态势数据进行融合、归一化预处理，并统一存储，提升了对异构态势数据进行分析处理的效率。
本发明的一个具体实施例中，所述数据存储模块2，包括：数据预处理子模块2-1和数据库子模块2-2，
所述数据预处理子模块2-1，包括：格式化单元2-11、数据过滤单元2-12、数据归并单元2-13和数据补全单元2-14。
所述数据预处理子模块2-1，用于在对各网络安全态势数据进行大数据统计分析之前，对各所述网络安全态势数据进行融合、归一化预处理。由于网络安全态势分析与应用的系统接入的为各种不同的网络安全态势数据构成的多元异构数据，因此在数据进入数据库子模块2-2前，需要对来自不同机构或企业的各种态势数据进行预处理。包括对多元异构数据进行的融合处理，保证数据描述的一致性，对接入的各类数据进行的归一化处理，保证数据在数值规范上的统一。经过以上处理可以保证数据格式规范统一、方便使用。
所述数据库子模块2-2，包括：IP地址库单元2-11、域名库单元2-21、设备指纹库单元2-23、漏洞库单元2-24、关系型数据库单元2-25。
所述数据库子模块2-2，用于将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的数据库进行分布式数据存储；即经过预处理的数据在系统内部传输给数据存储引擎该引擎将数据按照预先设计好的检索格式进行索引创建并分发相同的索引分片内容到IP地址库、域名库、设备指纹库和漏洞库以实现分布式的数据存储。既提高了存储效率又提升了整个系统的存储可靠性。若所述网络安全态势数据为流式数据，在对所述网络安全态势数据进行融合、归一化预处理之前，还要对所述网络安全态势数据进行缓存，通过缓存队列将经过预处理的所述网络安全态势数据传输给存储引擎。所述各经过预处理的网络安全态势数据储存到数据中心。由于每份数据在存储层都将建立多个分片，每个分片都将保存两份相同内容，在大数据分析层调用存储数据时，可通过分布式的计算方式快速的进行数据的相关操作，为整个系统提供支撑。在分布式大数据存储之外，网络安全态势分析与应用的系统还要使用关系型数据库为管理数据等其他低存储量的关系型数据提供数据的存储能力。
所述数据分析处理模块3，用于将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。目的在于为上层态势服务提供数据加工、统计、计算等相关能力。数据分析处理模块3调用数据存储模块2的数据进行分析处理。
本发明的一个具体实施例中，所述数据分析处理模块3，包括：若干数据引擎单元，所述若干数据引擎单元至少包括：流式计算引擎单元3-1、关联分析引擎单元3-2、统计分析引擎单元3-3和智能检索引擎单元3-4。
所述将存储的各所述网络安全态势数据进行大数据统计分析根据数据处理方式的不同分为实时计算和离线计算，
所述实时计算，用于利用流式计算引擎单元3-1、关联分析引擎单元3-2、统计分析引擎单元3-3等数据引擎对所述网络完全态势数据进行筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理。实时计算主要用于处理大量态势数据以实现对高价值态势信息的筛选和过滤，同时可以针对这类态势输出实时的统计分析结论，作出态势归并处理。
所述离线计算，用于以智能检索引擎和数据服务总线为基础，利用智能检索引擎单元3-4、关联分析引擎单元3-2和统计分析引擎单元3-3对存储中的网络安全态势数据进行统计分析及关联计算。离线计算以智能检索引擎和数据服务总线为基础，在此之上所有引擎将针对数据库中的海量数据进行统计分析及关联计算。离线计算主要实现对态势数据进行融合处理、统计分析，为态势综合显示提供数据，包括网络空间环境监测态势、网络安全威胁、网络空间重大安全事件跟踪等。
进一步地：所述数据分析处理模块3还用于采用滤波器去除所述网络安全态势数据中的抖动与噪声。
所述滤波器是一个有限长单位冲激响应滤波器(Finite Impulse Response,FIR)。阶数为20的FIR滤波器的输出表达式为：
其中，y为滤波器输出值，x为滤波器输入值，h(n)为FIR滤波器系数，FIR滤波器采样频率为400Hz，截止频率为50Hz，滤波器的秩为20。
h(n)为FIR滤波器系数且满足如下条件：
用FIR滤波器进行以下态势数据的分析处理，包括：
(1)网络流量态势数据分析处理
主要实现对互联网流量态势数据的分析处理。包括：流量按地域分析，异常流量分析，针对特定目标流量分析等。
(2)网络攻击源态势数据处理
主要实现对网络攻击源溯源跟踪数据的分析处理。
(3)网络安全漏洞态势数据处理
(4)木马僵尸态势数据处理
(5)网站信息破坏类态势数据处理
主要实现对网站信息破坏类数据的分析处理，包括：网页仿冒数据、网页篡改数据、网页挂马数据、网站后门数据等的分析。
(6)网络空间安全等级评价
主要实现对网络空间安全态势的等级评价。
(7)网络安全态势重演
主要实现对网络安全态势数据的回放重演。例如某次安全事件的复盘研究。
(8)网络安全态势预测
主要实现对网络安全态势的预测、规律分析，利用大数据分析算法，进行安全事件预测、漏洞爆发预测等。
(9)网络安全数据挖掘分析
通过现有网络安全数据，提供挖掘分析算法，为用户提供自动或交互式手段，进行数据差异分析、数据分布分析、数据关联分析等。
所述数据存储模块2和数据分析处理模块3构建了本发明网络安全态势分析与应用的系统的数据平台。
本发明的另一个可选实施例，参见图1所示，还包括信息通报服务模块4，所述信息通报服务模块4，用于将所述统计分析结果进行可视化显示。
本发明具体实施例中，所述统计分析结果进行可视化显示包括将虚拟空间的网络空间态势信息与物理空间进行关联映射和交互式呈现。
具体的，本实施例主要通过应用系统实现网络空间态势数据的可视化显示，将虚拟空间的网络空间态势信息与物理空间进行关联映射和交互式呈现。
具体显示以下内容：
(1)互联网安全态势显示。
(2)网络空间情报资料显示。
(3)网络空间事件动态显示。
(4)态势告警提示；
主要实现网络空间态势发生重大变化时，进行告警提示。能提供必要的异常情况处置建议。
(5)态势定制显示；
主要实现态势定制功能，能根据用户需求，对态势进行定制化显示，例如：可重点关注的网络安全态势信息进行组合定制，包括：APT攻击源数据定制、威胁情报分析、安全风险分析、舆情分析、僵尸网络传播途径分析、网络基础环境分析等，支持多为态势互动投射到大屏显示，支持专题态势演示汇报，支持WEB方式共享主体态势。
本发明网络安全态势分析与应用的系统可以适用于安全监测系统、态势感知系统、通报预警系统和数据共享系统等应用系统。
本发明网络安全态势分析与应用的系统在数据处理中提出了模块化设计思路，降低了网络安全态势分析系统的成本。且通过数据分析处理模块对数据源模块提供的各种不同网络安全态势数据进行分析，提高了处理效率，降低了错误率。
在本发明的第二实施例中，提供一种网络安全态势分析与应用方法，所述方法基于第一实施例中的网络安全态势分析与应用系统，参见图2所示，包括以下步骤：
步骤S001:获取各种不同的网络安全态势数据；
本实施例中：所述各种不同的网络安全态势数据至少包括：单位流量全流量数据；互联网第三方安全态势数据；监管数据。
所述单位流量全流量数据(骨干网单位流量数据)由相关部门自行协调的机构提供。通过相关机构对我国互联网出口、骨干网的监测数据，及其与国内外合作伙伴进行数据和信息共享等方式的数据汇集，形成国内外安全漏洞态势、网络病毒态势、DDOS攻击态势、APT攻击态势、网站安全态势、网络攻击威胁态势、网络安全事件报告。这些态势数据将接入网络安全态势分析与应用系统(平台)，为网络态势数据处理与综合显示提供数据源。
所述互联网第三方安全态势数据由相关部门自行协调的互联网安全态势感知企业提供。第三方安全态势数据主要是利用第三方企业云端强大的数据采集能力以及高效的分析及运营能力，获取网络安全相关的安全数据。这些数据将涵盖僵木蠕毒感染事件情况、DDOS攻击情况以及高级威胁情报(含APT攻击及组织情报)等。第三方安全态势数据将接入网络安全态势分析与应用系统(平台)，为各种类型的网络安全相关数据处理与综合显示提供数据源。
所述监管数据是非格式化监管情报资料，包括：文字、图像、声音、视频等形式的情报资料(数据格式包括常用格式和部分专用格式)。为了使网络空间事件显示提供更加丰富的数据资料支撑，需将各类网络空间事件相关的非格式化监管情报数据接收到网络安全态势分析与应用系统(平台)，并进行分类整理。
通过将网络安全态势相关数据分为单位流量全流量数据；互联网第三方安全态势数据和监管数据三类，可实现对不同数据的个性化采集，更加便于各所述网络安全态势数据构成的多源异构数据的采集和处理。
步骤S002:对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；提升了对异构态势数据进行分析处理的效率。
本实施例中，所述网络安全态势数据进行融合、归一化预处理，是在对各网络安全态势数据进行大数据统计分析之前，对各所述网络安全态势数据进行融合、归一化预处理。由于网络安全态势分析与应用系统(平台)接入的为各种不同的网络安全态势数据构成的多元异构数据，因此在数据进入存储系统前，需要对来自不同机构或企业的各种态势数据进行预处理。包括对多元异构数据进行的融合处理，保证数据描述的一致性，对接入的各类数据进行的归一化处理，保证数据在数值规范上的统一。经过以上处理可以保证数据格式规范统一、方便使用。
本实施例中，所述进行数据统一存储，包括：将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的存储设备进行分布式数据存储；即经过预处理的数据在系统内部传输给数据存储引擎该引擎将数据按照预先设计好的检索格式进行索引创建并分发相同的索引分片内容到IP地址库、域名库、设备指纹库和漏洞库以实现分布式的数据存储。既提高了存储效率又提升了整个系统的存储可靠性。若所述网络安全态势数据为流式数据，在对所述网络安全态势数据进行融合、归一化预处理之前，还要对所述网络安全态势数据进行缓存，通过缓存队列将经过预处理的所述网络安全态势数据传输给存储引擎。所述各经过预处理的网络安全态势数据储存到数据中心。由于每份数据在存储层都将建立多个分片，每个分片都将保存两份相同内容，在大数据分析层调用存储数据时，可通过分布式的计算方式快速的进行数据的相关操作，为整个系统提供支撑。在分布式大数据存储之外，网络安全态势应用系统还要使用关系型数据库为管理数据等其他低存储量的关系型数据提供数据的存储能力。
步骤S003:将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果；
本实施例中：所述将存储的各所述网络安全态势数据进行大数据统计分析目的在于为上层态势服务提供数据加工、统计、计算等相关能力。该统计分析方法根据数据处理方式的不同为实时计算与离线计算，其中所述实时计算是利用流式计算引擎、关联分析引擎和统计分析引擎等数据引擎对所述网络完全态势数据进行的筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理；实时计算主要用于处理大量态势数据以实现对高价值态势信息的筛选和过滤，同时可以针对这类态势输出实时的统计分析结论，作出态势归并处理。实时计算包含了流式计算引擎、关联分析引擎、统计分析引擎。
所述离线计算是以智能检索引擎和数据服务总线为基础，利用智能检索引擎、关联分析引擎和统计分析引擎对所述网络安全态势数据进行统计分析及关联计算。离线计算以智能检索引擎和数据服务总线为基础，在此之上所有引擎将针对存储层中的海量数据进行统计分析及关联计算。离线计算主要实现对态势数据进行融合处理、统计分析，为态势综合显示提供数据，包括网络空间环境监测态势、网络安全威胁、网络空间重大安全事件跟踪等。所述离线计算包含了：智能检索引擎、关联分析引擎、统计分析引擎。
所述将存储的各网络安全态势数据进行大数据统计分析，还包括：采用滤波器去除所述网络安全态势数据中的抖动与噪声。
所述滤波器是一个有限长单位冲激响应滤波器(Finite Impulse Response,FIR)。阶数为20的FIR滤波器的输出表达式为：
其中，y为滤波器输出值，x为滤波器输入值，h(n)为FIR滤波器系数，FIR滤波器采样频率为400Hz，截止频率为50Hz，滤波器的秩为20。
h(n)为FIR滤波器系数且满足如下条件：
用FIR滤波器进行以下态势数据的分析处理，包括：
(1)网络流量态势数据分析处理
主要实现对互联网流量态势数据的分析处理。包括：流量按地域分析，异常流量分析，针对特定目标流量分析等。
(2)网络攻击源态势数据处理
主要实现对网络攻击源溯源跟踪数据的分析处理。
(3)网络安全漏洞态势数据处理
(4)木马僵尸态势数据处理
(5)网站信息破坏类态势数据处理
主要实现对网站信息破坏类数据的分析处理，包括：网页仿冒数据、网页篡改数据、网页挂马数据、网站后门数据等的分析。
(6)网络空间安全等级评价
主要实现对网络空间安全态势的等级评价。
(7)网络安全态势重演
主要实现对网络安全态势数据的回放重演。例如某次安全事件的复盘研究。
(8)网络安全态势预测
主要实现对网络安全态势的预测、规律分析，利用大数据分析算法，进行安全事件预测、漏洞爆发预测等。
(9)网络安全数据挖掘分析
通过现有网络安全数据，提供挖掘分析算法，为用户提供自动或交互式手段，进行数据差异分析、数据分布分析、数据关联分析等。
本发明的一个可选实施例，在所述得到统计分析结果之后，参见图3所示，还包括：步骤S004:将所述统计分析结果进行可视化显示。
本发明实施例中，所述统计分析结果进行可视化显示包括将虚拟空间的网络空间态势信息与物理空间进行关联映射和交互式呈现。
具体的，本实施例主要通过应用系统实现网络空间态势数据的可视化显示，将虚拟空间的网络空间态势信息与物理空间进行关联映射和交互式呈现。
具体显示以下内容：
(1)互联网安全态势显示。
(2)网络空间情报资料显示。
(3)网络空间事件动态显示。
(4)态势告警提示；
主要实现网络空间态势发生重大变化时，进行告警提示。能提供必要的异常情况处置建议。
(5)态势定制显示；
主要实现态势定制功能，能根据用户需求，对态势进行定制化显示，例如：可重点关注的网络安全态势信息进行组合定制，包括：APT攻击源数据定制、威胁情报分析、安全风险分析、舆情分析、僵尸网络传播途径分析、网络基础环境分析等，支持多为态势互动投射到大屏显示，支持专题态势演示汇报，支持WEB方式共享主体态势。
本发明网络安全态势分析与应用方法对各种不同网络安全态势数据进行分析，提高了处理效率，降低了错误率。
在本发明的第三个实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明第二实施例所述的方法步骤。
由于在第二实施例中已经对网络安全态势分析与应用方法做了具体说明，本实施例在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种网络安全态势分析与应用方法，其特征在于，包括以下步骤：
获取各种不同的网络安全态势数据；
对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；
将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。
2.如权利要求1所述的方法，其特征在于，在所述得到统计分析结果之后，还包括：
将所述统计分析结果进行可视化显示。
3.如权利要求1所述的方法，其特征在于，所述进行统一存储，包括：
将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的存储设备进行分布式数据存储。
4.如权利要求3所述的方法，其特征在于，若所述网络安全态势数据为流式数据，在对所述网络安全态势数据进行融合、归一化预处理之前，还要对所述网络安全态势数据进行缓存，通过缓存队列将经过预处理的所述网络安全态势数据传输给存储引擎。
5.如权利要求1所述的方法，其特征在于，所述将存储的各所述网络安全态势数据进行大数据统计分析根据数据处理方式的不同分为实时计算和离线计算，
所述实时计算是数据引擎对所述网络完全态势数据进行的筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理；
所述离线计算是以智能检索引擎和数据服务总线为基础，关联分析引擎和统计分析引擎对所述网络安全态势数据进行统计分析及关联计算。
6.如权利要求1或5所述的方法，其特征在于，所述将存储的各网络安全态势数据进行大数据统计分析，还包括：采用滤波器去除所述网络安全态势数据中的抖动与噪声。
7.一种网络安全态势分析与应用的系统，其特征在于，包括数据源模块、数据存储模块及数据分析处理模块，
所述数据源模块，用于获取各种不同的网络安全态势数据；
所述数据存储模块,用于对各所述网络安全态势数据进行融合、归一化预处理，并进行统一存储；
所述数据分析处理模块，用于将存储的各所述网络安全态势数据进行大数据统计分析，得到统计分析结果。
8.如权利要求7所述的系统，其特征在于，还包括：信息通报服务模块，所述信息通报服务模块，用于将所述统计分析结果进行可视化显示。
9.如权利要求7所述的系统，其特征在于，所述数据分析处理模块，包括：若干数据引擎单元，
所述数据引擎单元至少包括：流式计算引擎单元、关联分析引擎单元、统计分析引擎单元和智能检索引擎单元；
所述将存储的各所述网络安全态势数据进行大数据统计分析根据数据处理方式的不同分为实时计算和离线计算，
所述实时计算，用于利用数据引擎单元对所述网络完全态势数据进行筛选和过滤，同时针对筛选和过滤后的网络完全态势数据实时输出统计分析结论，进行态势归并处理；
所述离线计算，用于以智能检索引擎单元和数据服务总线为基础，关联分析引擎单元和统计分析引擎单元对存储中的网络安全态势数据进行统计分析及关联计算。
10.如权利要求7所述的系统，其特征在于，所述数据存储模块，包括：数据预处理子模块和数据库子模块，
所述数据预处理子模块，用于在所述对各网络安全态势数据进行大数据统计分析之前，对各所述网络安全态势数据进行融合、归一化预处理；所述数据预处理子模块，包括格式化单元、数据过滤单元、数据归并单元和数据补全单元；
所述数据库子模块，用于将经过预处理的所述网络安全态势数据传输给存储引擎，所述存储引擎按照预设检索格式进行索引创建并分发相同的索引分片内容到不同的数据库进行分布式数据存储；所述数据库子模块包括：I P地址库单元、域名库单元、设备指纹库单元、漏洞库单元、关系型数据库单元。
CN201810921824.0A 2018-08-14 2018-08-14 网络安全态势分析与应用方法及系统 Pending CN109150870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810921824.0A CN109150870A (zh) 2018-08-14 2018-08-14 网络安全态势分析与应用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810921824.0A CN109150870A (zh) 2018-08-14 2018-08-14 网络安全态势分析与应用方法及系统

Publications (1)

Publication Number Publication Date
CN109150870A true CN109150870A (zh) 2019-01-04

Family

ID=64793276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810921824.0A Pending CN109150870A (zh) 2018-08-14 2018-08-14 网络安全态势分析与应用方法及系统

Country Status (1)

Country Link
CN (1) CN109150870A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977125A (zh) * 2019-04-09 2019-07-05 福建奇点时空数字科技有限公司 一种基于网络安全的大数据安全分析平台系统
CN110247888A (zh) * 2019-04-17 2019-09-17 郑州轻工业学院 一种计算机网络安全态势感知平台架构
CN110933049A (zh) * 2019-11-16 2020-03-27 杭州安恒信息技术股份有限公司 一种基于视频捕获的网络非法信息监测方法及监测系统
CN111950040A (zh) * 2019-05-15 2020-11-17 北京奇安信科技有限公司 终端设备的环境感知方法、装置、计算机设备及存储介质
CN112769841A (zh) * 2021-01-15 2021-05-07 杭州安恒信息技术股份有限公司 一种基于网络安全设备的网络安全防护的方法及系统
CN115001793A (zh) * 2022-05-27 2022-09-02 北京双湃智安科技有限公司 一种信息安全多源异构数据的数据融合方法
CN116436644A (zh) * 2023-03-15 2023-07-14 中国人民解放军61660部队 一种基于多引擎的大规模网络漏洞快速扫描方法、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN108039959A (zh) * 2017-11-29 2018-05-15 深信服科技股份有限公司 一种数据的态势感知方法、系统及相关装置
CN108154256A (zh) * 2017-11-27 2018-06-12 国网北京市电力公司 预测风险值的确定方法及装置、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN108154256A (zh) * 2017-11-27 2018-06-12 国网北京市电力公司 预测风险值的确定方法及装置、存储介质
CN108039959A (zh) * 2017-11-29 2018-05-15 深信服科技股份有限公司 一种数据的态势感知方法、系统及相关装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977125A (zh) * 2019-04-09 2019-07-05 福建奇点时空数字科技有限公司 一种基于网络安全的大数据安全分析平台系统
CN110247888A (zh) * 2019-04-17 2019-09-17 郑州轻工业学院 一种计算机网络安全态势感知平台架构
CN111950040A (zh) * 2019-05-15 2020-11-17 北京奇安信科技有限公司 终端设备的环境感知方法、装置、计算机设备及存储介质
CN110933049A (zh) * 2019-11-16 2020-03-27 杭州安恒信息技术股份有限公司 一种基于视频捕获的网络非法信息监测方法及监测系统
CN112769841A (zh) * 2021-01-15 2021-05-07 杭州安恒信息技术股份有限公司 一种基于网络安全设备的网络安全防护的方法及系统
CN115001793A (zh) * 2022-05-27 2022-09-02 北京双湃智安科技有限公司 一种信息安全多源异构数据的数据融合方法
CN116436644A (zh) * 2023-03-15 2023-07-14 中国人民解放军61660部队 一种基于多引擎的大规模网络漏洞快速扫描方法、系统

Similar Documents

Publication Publication Date Title
CN109150870A (zh) 网络安全态势分析与应用方法及系统
CN106170772B (zh) 网络安全系统
US10102261B2 (en) System and method for correlating cloud-based big data in real-time for intelligent analytics and multiple end uses
Cárdenas et al. Big data analytics for security
CN103152352B (zh) 一种基于云计算环境的全信息安全取证监听方法和系统
US11032304B2 (en) Ontology based persistent attack campaign detection
CN113486351A (zh) 一种民航空管网络安全检测预警平台
CN106778253A (zh) 基于大数据的威胁情景感知信息安全主动防御模型
Fischer et al. Real-time visual analytics for event data streams
CN102111420A (zh) 基于动态云火墙联动的智能nips架构
CN108021809A (zh) 一种数据处理方法及系统
US20100325685A1 (en) Security Integration System and Device
CN114679338A (zh) 一种基于网络安全态势感知的网络风险评估方法
Rassam et al. Big Data Analytics Adoption for Cybersecurity: A Review of Current Solutions, Requirements, Challenges and Trends.
Du Application of information communication network security management and control based on big data technology
CN106599120A (zh) 基于流处理框架的数据处理方法及装置
Las-Casas et al. A big data architecture for security data and its application to phishing characterization
Gao et al. Querying streaming system monitoring data for enterprise system anomaly detection
Patgiri Issues and challenges in big data: a survey
Jin et al. An adaptive analysis framework for correlating cyber-security-related data
CN112769755A (zh) 一种面向威胁检测的dns日志统计特征抽取方法
Srinivasan et al. eCloudIDS–Design Roadmap for the Architecture of Next-generation Hybrid Two-tier Expert Engine-based IDS for Cloud Computing Environment
Jhaveri et al. Cloud security information & event management
Almeida et al. A hierarchical architectural model for network security exploring situational awareness
CN109495470A (zh) 一种网络信息风险安全预警方法及服务器以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication