CN108833397A - 一种基于网络安全的大数据安全分析平台系统 - Google Patents

Abstract

本发明涉及一种基于网络安全的大数据安全分析平台系统，其包括统一采集平台、基础数据存储和处理能力中心、上层应用数据中心和大数据清单查询中心，所述统一采集平台通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集，提供灵活、可配置的数据采集能力，所述基础数据存储和处理能力中心利用spark和hadoop技术，提供强大的数据处理能力，所述上层应用数据中心通过RDBMS/ES，提供企业高度汇总的统计数据，所述大数据清单查询中心通过构建HBase集群，提供大数据快速查询能力。

Description

一种基于网络安全的大数据安全分析平台系统

技术领域

本发明涉及信息安全领域，具体涉及一种基于网络安全的大数据安全分析平台系统。

背景技术

随着互联网时代的来临，我国网络安全问题日益突出。网络安全态势评估技术能够从整体上动态反映网络安全状况，并对安全状况的发展趋势进行预测和预警，为增强网络安全性提供可靠的参照性依据。

目前有很多科研机构正在进行网络态势感知工具的研发，并取得了一定的进展。哈尔滨工程大学的王惠强等将多种理论与态势感知相结合，提出了多种态势感知模型。基于简单加权法和灰色理论的网络态势感知模型，利用简单加权法评估网络态势的安全性，并利用灰色理论预测网络安全的发展趋势。基于粗糙集的态势感知算法，将网络攻击行为作为安全要素，利用粗糙集理论处理海量网络安全数据，并且通过具有攻击行为、网络服务和安全态势三个层次的感知模型进行网络态势感知。基于Netfolw的安全态势感知系统，通过NetFlow流数据采集器进行数据采集，并且在此基础上进行数据预处理、事件关联与目标识别、态势评估、威胁评估、响应与预警、态势可视化显示等操作，从而对网络的安全态势进行监控和应急响应。

Sourcefire公司开发的3D System是进行高效的网络安全管理的智能化基础设施。其中的3D Sensor负责监测和收集各种网络信息，并对网络信息进行控制管理的网络态势感知工具。3D Sensor由IPS、RNA、RUA和Netflow Analysis四部分组成。IPS(IntrusionDetection System，入侵检测系统)提供入侵检测和保护，RNA(Real-time NetworkAwareness，实时网络识别)监测和收集网络信息；RUA(Real-time User Awareness，实时用户识别)监测和收集网络用户信息；Netflow Analysis(流量分析)收集并监测网络流量信息。

现有的网络安全态势感知系统存在以下不足：1)缺乏数据关联，现有的网络安全态势感知系统倾向于获取多源数据信息，但缺乏对数据信息之间关联性的分析。2)展现形式单一，目前网络安全评估一般都采用定性的或者等级分类的方式描述网络的安全状态，缺乏更直观的展现形式。

发明内容

本发明提供了一种安全可视化与态势感知平台系统，目的在于：

1.开发建设安全数据中心平台，实现安全数据的集中采集、存储、检索及对外接口，采用多样的、可适配数据源的方式对各类安全设备、系统数据进行采集、清洗、标准化、存储，提供离线、实时、全文检索等多种数据订阅及分析方式；

2.提升安全威胁分析与感知能力，为管理者、安全管理员、安全决策人员提供简单、实用、高效的安全威胁分析平台，内置多种面向业务的安全分析场景和模型，重点发现高级别安全攻击、顽固安全问题，采用大数据、机器学习、用户行为分析等技术提升平台整体安全威胁分析与感知能力；

3.提升平台业务安全可视化能力，充分利用可视化技术特点与优势，在安全分析的关联分析、威胁分析、异常发现、调查取证等各个阶段，以业务为中心并提供良好的交互操作，协助客户看清、看深、看透业务安全本质；

4.提升平台容量与处理性能以及分布式部署能力，从而满足大型企业、众多多分支机构等复杂网络环境与业务场景。

具体方案如下：

一种基于网络安全的大数据安全分析平台系统，其包括统一采集平台、基础数据存储和处理能力中心、上层应用数据中心和大数据清单查询中心，所述统一采集平台通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集，提供灵活、可配置的数据采集能力，所述基础数据存储和处理能力中心利用spark和hadoop技术，提供强大的数据处理能力，所述上层应用数据中心通过RDBMS/ES，提供企业高度汇总的统计数据，所述大数据清单查询中心通过构建HBase集群，提供大数据快速查询能力。

所述基础数据存储和处理能力中心完成对安全数据中心的各类日志和数据源信息进行智能分析，对网络中的安全攻击进行分析检测，包括网络攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击。

所述上层应用数据中心和大数据清单查询中心采用可视化方式向用户反馈数据，包括综合安全态势呈现、安全策略可视化、流量安全可视化以及网络安全可视化四大功能模块。

所述综合安全态势呈现模块分为态势感知仪表盘和安全域路径视角两种态势呈现方式，所述态势感知仪表盘从攻防的视角，通过安全策略态势、攻击态势、异常流量态势、恶意操作态势、脆弱性态势、趋势分析与预测和资产安全态势来呈现内外部安全威胁和自身的脆弱性情况，所述安全域路径视角以业务安全为导向，以安全域、核心业务的路径地图为基础，在此基础上叠加网络流量、威胁告警、脆弱性信息。

所述安全策略可视化模块进一步包括安全域基础架构可视化、安全合规路径可视化、安全基线矩阵可视化和安全策略管理可视化四个子模块，所述安全域基础架构可视化子模块实现网络防火墙、路由器、交换机设备安全策略信息的自动提取与解析管理，其中包括对数据安全产生影响的路由信息、访问控制、NAT策略，并运用可视化技术，实现网络安全域基础架构的可视化展示，所述安全合规路径可视化子模块结合各行业业务流程、应用架构、数据架构等现状，分析各核心业务系统关键数据的合规基线策略，实现在安全域基础架构图层查询与展示基于业务的合规路径，预警网络风险，实现核心业务威胁面的可视化分析，所述安全基线矩阵可视化子模块针对性对行业用户网络安全策略体系与业务系统分析，建立安全域间的安全策略矩阵、系统间的安全策略矩阵、用户与系统间的安全策略矩阵，实现安全策略合规矩阵的可视化展示，并通对基线持续监测，实现违反策略基线行为的自动可视化告警，所述安全策略管理可视化子模块对全网安全策略进行管理和变更可视化，分析相关设备的冗余、冲突、无效策略，帮助用户排除用户配置风险，结合工作流与用户权限，实现策略变更申请、分析、审批全流程可视化。

所述流量安全可视化模块通过对节点镜像流量进行多维度、深层次的应用协议识别与内容解析并结合大数据智能分析，以图形化方式对网络整体运行状况、网络质量以及业务服务质量、网络访问行为进行呈现，同时结合安全威胁分析模型和异常告警通知协助企业主动发现潜在未知网络威胁，从而实现企业网络流量可视，行为可知，威胁可控。

所述流量安全可视化模块平台采用DPI深度包检测技术进行应用层协议解析。

所述网络安全可视化模块以大数据、机器学习、深度分析、可视化为技术基础，融合威胁情报、网络流量解析、日志深度挖掘和安全事件响应等多种功能，对整体网络安全态势的监控、评估、预警、可视化和集中响应。

该平台不但能以海量数据为基础进行事件的挖掘和分析，而且提供必要的网络监控、设备管理和运维流程管理等功能，同时还支持与外部运维方式进行联动，可以针对分析结果进行及时的响应和处理，使整个运维工作形成闭环。

附图说明

图1为本发明的基于网络安全的大数据安全分析平台系统。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明的基于网络安全的大数据安全分析平台系统。

大数据平台通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集(如集成flume)，提供灵活、可配置的数据采集能力；

利用spark和hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求；

通过RDBMS/ES，提供企业高度汇总的统计数据，满足企业常规的统计报表需求，降低使用门槛；

对大数据明细查询需求，则通过构建HBase集群，提供大数据快速查询能力，满足对大数据的查询获取需求。

通过大数据分析平台对安全数据中心的各类日志和数据源信息进行智能分析，对网络中的安全攻击进行分析检测，如网络攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击等。

网络攻击检测

攻击检测是通过分析安全设备和系统日志，识别和发现网络攻击行为，如针对密码猜测攻击、WEB攻击、恶意扫描、恶意程序、APT攻击、病毒攻击等常见攻击类型。

恶意操作检测

通过对系统和应用日志的检测发现相应的恶意行为，针对操作系统(Windows、Linux等)审核日志清除、访问权限修改、已过期的账号登录企图行为进行检测、并对错误日志进行分析。

异常流量检测

通过安全设备日志分析和流量数据的基线检测方法对DOS/DDOS攻击和其他异常流量进行检测。

基于安全设备的DOS/DDOS的攻击告警日志，识别网络DOS/DDOS攻击事件，并进行流量数据的统计分析和归并。

基于基线的流量异常检测，通过长时间的大数据学习刻画重要资产应用系统的流量基线，一旦当前流量与基线发送严重背离，识别流量异常事件。按照系统定义的时间窗口进行统计，对象包括目标应用系统、源地址及其地理信息(国家、省份、地市)或组织结构、协议、上行流量大小、下行流量大小等。

漏洞利用分析

本场景通过资产漏洞扫描结果和安全设备检测结果的关联分析，发现真实的漏洞利用情况，为威胁预警和系统漏洞态势的综合分析提供支撑。

威胁情报分析

对获取的威胁情报进行筛选和提炼，识别出业务支撑网可能存在外部和内部攻击行为，定位出与此攻击的相关资产信息和漏洞。

趋势分析与预测

分析呈现历史安全概况，结合本地的活动日历，使用回归分析对未来一段时间内出现的攻击类型和数量进行预测。

攻击画像分析

攻击画像主要是围绕两个维度进行，分别为资产角度和攻击角度对攻击进行画像。以资产维度分析，识别并深入分析资产受到的攻击、安全现状等。以攻击维度分析，识别攻击者的历史攻击事件、攻击链、攻击方式偏好、攻击时间偏好、攻击威胁源等。

平台包含综合安全态势呈现、安全策略可视化、流量可视化以及网络安全可视化四大功能模块。

(1)综合安全态势

平台综合安全态势分为态势感知仪表盘和安全域路径视角两种态势呈现方式。

态势感知仪表盘是从攻防的视角，通过安全策略态势、攻击态势、异常流量态势、恶意操作态势、脆弱性态势、趋势分析与预测和资产安全态势来呈现内外部安全威胁和自身的脆弱性等情况。用户可自定义每个区域显示内容，通过每个小的概览图可导航到该类信息的详情页面，以便做进一步的分析和查阅。

安全域路径视角综合安全态势试图以业务安全为导向，以安全域、核心业务的路径地图为基础，在此基础上叠加网络流量、威胁告警、脆弱性等信息。为安全威胁的分析和发现提供一种全新视角。

(2)安全策略可视化

安全策略可视化旨在通过提高网络自身的免疫力来增强对各种内外部威胁的防御能力，从而能够全面清晰的帮助各行业用户打造网络安全防御体系的作战全景图，将对各种威胁的被动防御上升为主动部署，做到路径可视、策略可视、流量可视、风险可视、威胁可视以及变更可视。

1)安全域基础架构可视化

实现网络防火墙、路由器、交换机等设备安全策略信息的自动提取与解析管理，其中包括对数据安全产生影响的路由信息、访问控制、NAT策略，并运用可视化技术，实现网络安全域基础架构的可视化展示。

2)安全合规路径可视化

可以结合各行业业务流程、应用架构、数据架构等现状，分析各核心业务系统关键数据的合规基线策略，实现在安全域基础架构图层查询与展示基于业务的合规路径，预警网络风险，实现核心业务威胁面的可视化分析。

3)安全基线矩阵可视化

通过针对性对行业用户网络安全策略体系与业务系统分析，能够建立安全域间的安全策略矩阵、系统间的安全策略矩阵、用户与系统间的安全策略矩阵，实现安全策略合规矩阵的可视化展示，并通对基线持续监测，实现违反策略基线行为的自动可视化告警。

4)安全策略管理可视化

能够对全网安全策略进行管理和变更可视化，能够分析相关设备的冗余、冲突、无效策略，帮助用户排除用户配置风险。结合工作流与用户权限，实现策略变更申请、分析、审批全流程可视化。

(3)流量安全可视分析

流量安全可视分析模块通过对节点镜像流量进行多维度、深层次的应用协议识别与内容解析并结合大数据智能分析，最终以丰富的图形化方式对网络整体运行状况、网络质量以及业务服务质量、网络访问行为等方面进行呈现，同时结合安全威胁分析模型和异常告警通知协助企业主动发现潜在未知网络威胁，从而实现企业网络流量可视，行为可知，威胁可控。

1)应用协议解析

平台采用DPI(Deep Packet Inspection)深度包检测技术进行应用层协议解析，可准确高效识别1500余种预定义应用，500种自定义应用，充分分析网络流量构成、性能、流速等；支持对HTTP、FTP、MYSQL、MAIL、OA等具体的内部业务应用进行识别和解析，辅助大数据分析平台建立用户与业务的正常访问基准模型，为用户异常访问与异常用户访问检测提供有力数据支撑。

2)流量全景呈现

平台对网络流量实现OSI 7层流量监控分析，可显示全双工接口的收、发和全部的流量、数据包信息；提供对主机、协议、会话等维度的分析内容呈现，并支持关联分析、智能排序、模糊查询、多级钻取等功能；针对用户、业务应用及服务器对象，即可呈现历史数据统计分析结果，也可提供实时流量、会话信息的呈现与条件检索，让用户对网络流量、业务状态一目了然。

3)网络行为分析

针对内部用户访问内部资源与外部资源以及外部用户访问内部资源的多种用户行为进行画像分析和数据关联分析，准确识别异常用户访问和用户异常访问；针对用户各种访问资源和行为进行细粒度日志审计，并根据日志信息与用户正常访问基准进行比对，实现用户访问合规性分析与安全趋势分析。

4)安全威胁分析

通过对流量数据异常检测，快速发现网络攻击、蠕虫、木马、异常连接、敏感数据外发、违规操作等危害网络安全的异常行为；快速发现高级定向攻击行为，准确获取攻击痕迹与证据，及时阻止进一步扩散和渗透。

(4)网络安全可视化

网络安全可视化模块面向企业核心资源与业务，以大数据、机器学习、深度分析、可视化为技术基础，融合威胁情报、网络流量解析、日志深度挖掘和安全事件响应等多种功能，实现对整体网络安全态势的监控、评估、预警、可视化和集中响应。

1)多维度安全信息可视化

全面的实现了风险和安全态势可视化、资产和拓扑可视化、告警可视化、事件可视化、弱点可视化、攻击路径可视化、访问关系可视化、流量可视化、合规性可视化，帮助用户全方位的了解整个网络的运行情况和安全状况。

2)网络行为画像和隐秘通信挖掘

通过对网络中特定对象网络访问情况的长期监测和流量采集，采用机器学习技术自动归纳出针对该对象的访问关系模型，将实时访问数据与访问关系模型进行匹配，识别偏离访问关系模型的异常访问，并结合内部资产信息和外部威胁情报信息进行发散关联分析和溯源计算，找到隐藏在海量网络通信中的木马回传、可疑程序下载、资源嗅探、C&C控制指令等隐秘通信。

访问关系模型以网络访问的时间、数据包头信息、数据内容指纹等因素通过机器学习技术自动建立，同时采用滑动时间窗口技术不断引入实时访问信息对模型进行自动校正计算，无需人工干预便可以使访问关系模型更加趋近于实际情况。通过访问关系模型的自我修正很好的解决了传统技术中对于特征和规则的依赖，不仅可以大幅度释放网络管理员的工作时间，而且可以避免规则配置不合理导致的误报和规则更新不及时导致的漏报问题。

3)安全审计和溯源分析

通常攻击者在攻击行为结束时都会清理受影响系统中的日志，以便清除攻击的痕迹。平台会实时采集各类网络设备、安全设备和信息系统的日志信息，将日志以数据方式进行固化保存，即使被攻击系统的日志遭到清理也可提供完整的日志记录，为后续事件调查提供有力依据。

平台通过对异构网络环境下各系统日志信息的集中保存，能够很好的满足安全审计要求。同时依托于大数据分析和检索技术可以对海量数据进行任何关键字的全文检索，实现秒级呈现。同时可以在搜索结果基础上进行筛选、并通过可视化功能对筛选的内容实现进一步的关联，帮助用户高效的对海量数据进行挖掘和分析。

攻击溯源一直以来都是网络安全事件分析中重要的一个环节，平台一方面对采集到的各类设备和信息系统的日志从时间、空间等多种维度进行深度关联分析和数据挖掘，梳理出安全事件发生的脉络和攻击的路径。另一方面通过集成威胁情报接口可以对攻击者进行实时的定性分析，通过威胁情报库中各类信息的关联查询和分析，帮助用户全面的了解攻击者的来源、手段和以往的攻击行为等。

4)集成化运维管理

网络安全可视化可对全网安全事件集中存储和分析，同时也可以作为网络安全的集中运维管理平台。平台不但能以海量数据为基础进行事件的挖掘和分析，而且提供必要的网络监控、设备管理和运维流程管理等功能，同时还支持与外部运维方式进行联动，可以针对分析结果进行及时的响应和处理，使整个运维工作形成闭环。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于网络安全的大数据安全分析平台系统，其包括统一采集平台、基础数据存储和处理能力中心、上层应用数据中心和大数据清单查询中心，所述统一采集平台通过Kafka作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集，提供灵活、可配置的数据采集能力，所述基础数据存储和处理能力中心利用spark和hadoop技术，提供强大的数据处理能力，所述上层应用数据中心通过RDBMS/ES，提供企业高度汇总的统计数据，所述大数据清单查询中心通过构建HBase集群，提供大数据快速查询能力。

2.如权利要求1所述的一种基于网络安全的大数据安全分析平台系统，所述基础数据存储和处理能力中心完成对安全数据中心的各类日志和数据源信息进行智能分析，对网络中的安全攻击进行分析检测，包括网络攻击检测、恶意操作检测、异常流量检测及漏洞四大类网络安全攻击。

3.如权利要求1所述的一种基于网络安全的大数据安全分析平台系统，所述上层应用数据中心和大数据清单查询中心采用可视化方式向用户反馈数据，包括综合安全态势呈现、安全策略可视化、流量安全可视化以及网络安全可视化四大功能模块。

4.如权利要求3所述的一种基于网络安全的大数据安全分析平台系统，所述综合安全态势呈现模块分为态势感知仪表盘和安全域路径视角两种态势呈现方式，所述态势感知仪表盘从攻防的视角，通过安全策略态势、攻击态势、异常流量态势、恶意操作态势、脆弱性态势、趋势分析与预测和资产安全态势来呈现内外部安全威胁和自身的脆弱性情况，所述安全域路径视角以业务安全为导向，以安全域、核心业务的路径地图为基础，在此基础上叠加网络流量、威胁告警、脆弱性信息。

5.如权利要求3所述的一种基于网络安全的大数据安全分析平台系统，所述安全策略可视化模块进一步包括安全域基础架构可视化、安全合规路径可视化、安全基线矩阵可视化和安全策略管理可视化四个子模块，所述安全域基础架构可视化子模块实现网络防火墙、路由器、交换机设备安全策略信息的自动提取与解析管理，其中包括对数据安全产生影响的路由信息、访问控制、NAT策略，并运用可视化技术，实现网络安全域基础架构的可视化展示，所述安全合规路径可视化子模块结合各行业业务流程、应用架构、数据架构等现状，分析各核心业务系统关键数据的合规基线策略，实现在安全域基础架构图层查询与展示基于业务的合规路径，预警网络风险，实现核心业务威胁面的可视化分析，所述安全基线矩阵可视化子模块针对性对行业用户网络安全策略体系与业务系统分析，建立安全域间的安全策略矩阵、系统间的安全策略矩阵、用户与系统间的安全策略矩阵，实现安全策略合规矩阵的可视化展示，并通对基线持续监测，实现违反策略基线行为的自动可视化告警，所述安全策略管理可视化子模块对全网安全策略进行管理和变更可视化，分析相关设备的冗余、冲突、无效策略，帮助用户排除用户配置风险，结合工作流与用户权限，实现策略变更申请、分析、审批全流程可视化。

6.如权利要求3所述的一种基于网络安全的大数据安全分析平台系统，所述流量安全可视化模块通过对节点镜像流量进行多维度、深层次的应用协议识别与内容解析并结合大数据智能分析，以图形化方式对网络整体运行状况、网络质量以及业务服务质量、网络访问行为进行呈现，同时结合安全威胁分析模型和异常告警通知协助企业主动发现潜在未知网络威胁，从而实现企业网络流量可视，行为可知，威胁可控。

7.如权利要求3所述的一种基于网络安全的大数据安全分析平台系统，所述流量安全可视化模块平台采用DPI深度包检测技术进行应用层协议解析。

8.如权利要求3所述的一种基于网络安全的大数据安全分析平台系统，所述网络安全可视化模块以大数据、机器学习、深度分析、可视化为技术基础，融合威胁情报、网络流量解析、日志深度挖掘和安全事件响应等多种功能，对整体网络安全态势的监控、评估、预警、可视化和集中响应。