CN109861995A - 一种网络空间安全大数据智能分析方法、计算机可读介质 - Google Patents

Abstract

本发明提供了一种网络空间安全大数据智能分析方法、计算机可读介质。所述方法包括获取网络安全相关数据的步骤；还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作的步骤；提取预处理后的数据进行分析，实现网络安全监测的步骤；将网络安全监测结果进行展示的步骤。本发明基于大数据技术基础，解决安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。

Description

一种网络空间安全大数据智能分析方法、计算机可读介质

技术领域

本发明涉及网络安全领域，尤其涉及一种网络空间安全大数据智能分析方法、计算机可读介质。

背景技术

2016年，国家发布了《新型智慧城市评价指标》，网络安全作为一级指标被写入评价指标中，体现了网络安全的重要性和战略地位。在新型智慧城市的规划设计和建设过程中，网络空间安全成为制约城市发展的重要因素，是新型智慧城市建设的重要组成。

但是，城市网络空间安全事件层出不穷；信息资源整合云平台安全防护问题突出；行业数据共享融合引发数据安全；网络空间安全责任边界划分不清晰。物联网、移动互联网、云计算、大数据等新兴信息技术带来了模糊的网络边界、全面互联的网络特性、威胁发生的连锁效应、个人信息与隐私数据泄漏、政府部门敏感信息泄露等安全威胁。随着现实世界和网络世界深度连接，网络安全和物理安全边界已经消失，网络威胁延伸到现实世界，大量隐私、敏感和高价值的信息数据和资产，必然引起不法分子和黑客等恶意攻击者的觊觎，从早期极客为核心的黑客黄金年代，到现在利益链驱动的庞大黑色产业，信息安全已经成为任何个人、企业、组织和国家所必须面对的重要问题。

网络安全具有很强的隐蔽性，一个技术漏洞、安全风险可能隐藏几年都发现不了，结果是“谁进来了不知道、是敌是友不知道、干了什么不知道”，长期“潜伏”在里面，一旦有事就发作了。

传统大数据分析以业务应用大数据分析居多，缺乏对网络空间安全大数据的采集、分析、呈现及应用。如何高效整合城市、区域的多源网络空间安全大数据信息资源，解决城市网络空间安全大数据来源单一，大数据安全智能分析有效性和精准性低下，大数据安全平台网络威胁情报信息共享匮乏，大数据安全业务呈现和监测预警形式不足等问题，是城市网络空间安全大数据治理面临的重要课题。

发明内容

为解决上述问题，本发明提供一种网络空间安全大数据智能分析方法，包括如下步骤：

获取网络安全相关数据；所述网络安全相关数据包括指定行政区域内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息。

还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储归一化、归档。

提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析。

将网络安全监测结果进行展示。

进一步的，日志信息的来源包括安全设备，和/或网络设备、和/或主机设备，和/或虚拟机，和/或操作系统、和/或应用系统，和/或中间件，和/或数据库，和/或终端设备，工控设备，和/或公共摄像头、和/或智能设备。

所述流量信息，包括网络边界区域，和/或网络关键路径节点，和/或网络交互出入口的网络流量信息。

所述云端数据信息，包括自由云端数据和/或第三方云端数据信息。

进一步的，获取日志信息是对Syslog、NetFlow、自定义日志数据进行采集，对暴露在公网网络的威胁资产进行主动扫描，对内网进行扫描以获得内部资产数据。

获取流量信息是通过部署流量分光器探索设备，和/或采用零拷贝技术获取镜像流量，以获取网络边界区域、网络关键路径节点、网络交互出入口的网络流量。

获取情报信息是通过包括第三方共享信息源在内的情报源，获取包括最新0day漏洞，特征木马、黑白名单在内的威胁情报信息。

进一步的，对日志信息，进行清洗、过滤和缓存；对流量数据，实现过滤、还原和解析；对情报数据进行数据查询和存储；对部分格式化、持久化数据进行提取和分布式存储。

进一步的，对预处理后的数据进行分析所采用的分析方法包括事件关联和/或样本关联。

其中，事件关联是通过对事件特征的搜索，实现对指定时间内已发生所有安全事件相关特征的统计；所述事件特征包括基本特征、通讯特征。

所述样本关联是基于样本特征的搜索，通过动态特征关联不同样本，追踪样本产生的源头。

进一步的，事件关联方法包括基于规则的事件关联、单事件关联、多事件关联、事件搜索、事件攻击过程还原、事件建模。

基于规则的事件关联是通过基于逻辑表达式和统计条件的关联规则将事件进行关联。

单事件关联是对符合单一规则的事件流进行规则匹配。

多事件关联是对符合至少两个规则的事件流进行规则匹配。

事件搜索是根据事件的基本特征或事件通讯特征，进行字段搜索，匹配相关事件。

事件攻击过程还原是基于保存的搜索轨迹，进行数据关联，以还原完整的事件攻击过程。

事件建模是通过对攻击行为进行建模，形成若干个特征规则，然后对网络流量进行匹配检测。

进一步的，样本关联方法包括样本关联与样本搜索；

所述样本搜索是根据样本特征进行单一条件搜索、组合搜索、二次搜索；所述样本特征包括基本特征、动态特征；

所述样本关联是根据样本特征关联的数据发现若干个样本之间的联系，经过分析归纳后提取共有特征，为潜在的受害者提供有效的情报信息。

进一步的，将网络安全监测结果进行展示的步骤能够进行整体态势、云安全态势、网站应用安全态势、工控安全态势展示。

进一步的，所述方法还包括通过编辑器预先编制关联规则的步骤。

本发明还公开了一种计算机可读介质，所述计算机可读介质具有记录在其上的能够由计算机执行的计算机程序，所述计算机程序在执行时使得所述计算机进行如上述的网络空间安全大数据智能分析方法的步骤。

本发明的有益效果是：

本发明基于大数据技术基础，解决了安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。本发明融合各种网络安全要素的基础上从宏观的角度实时评估网络的安全态势，并在发现威胁之后实现安全联动，及时阻断，为企业信息化管理部门的决策分析提供依据，保护客户核心资产。可以广泛应用于政府、金融、科研院校、能源、电信等行业的企事业内部网络安全威胁检测。

附图说明

图1是本方法的流程图。

图2为本方法所应用系统的结构示意图。

具体实施方式：

在下文中，将参考附图1、2给出对实施例的详细描述，应当理解可以对实施例做出各种修改。具体来说，一个或者更多个实施例的一个或者更多个元素可以互相隔离，并且可以组合和/或用在其他实施例中以形成新的实施例。

本发明的设计构思为：基于大数据技术基础，解决安全分析中数据持续增长、类型复杂、来源多样等数据特性，同时使用用户及实体行为分析技术，能实现高级持续性恶意攻击以及内部违规行为等企业威胁有效检测。本发明融合各种网络安全要素的基础上从宏观的角度实时评估网络的安全态势，并在发现威胁之后实现安全联动，及时阻断，为企业信息化管理部门的决策分析提供依据，保护客户核心资产。可以广泛应用于政府、金融、科研院校、能源、电信等行业的企事业内部网络安全威胁检测。需要说明的是，作为对现有技术的贡献，实现本方法的各个模块所组成的系统（如图2所示）可以为平台的形式，可采用集中部署、云端部署等多种方式，安全数据信息采集采用旁路部署方式，被部署在网络安全专网内部，互联网端通过防火墙与互联网进行网络连接，且互联网端通过单向关闸等边界接入设备将采集数据传输到网络安全专网端。无需改变网络拓扑，部署实施简单且安全可靠。

下面对本发明进行详细说明。

首先对所述方法进行说明，包括如下步骤：

步骤一：获取网络安全相关数据。所述网络安全相关数据包括指定行政区域（一般为城市区划，但是不排除省级或者区县级）内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息。

实现本步骤，可以设置一个接口模块和一个数据采集模块。

所述接口模块包括如下接口：对接相同或者不同行政区划内（包括国家级、省级、市级、区县级）部署的本发明所述系统的级联对接口；对接其余平台的业务接口和数据接口；对接第三方威胁情报服务的业务接口和数据接口。

其中，其他平台包括但不限于辖区各态势感知平台，所述的业务接口包括其他平台的通报预警、快速处置、侦查调查业务流程流转接口；数据接口包括知识库、基础信息库、威胁情报库等数据。设置上述业务接口和数据接口可以整合辖区各态势感知平台的数据资源。

统一接口模块需要获取如下数据：

1.日志信息：为本系统进行网络风险监测对象的网络组件日志信息，来源有安全设备，和/或网络设备、和/或主机设备，和/或虚拟机，和/或操作系统、和/或应用系统，和/或中间件，和/或数据库，和/或终端设备，工控设备，和/或公共摄像头，和/或智能设备。日志信息内容主要以日志源设备主动传送日志，用户授权或自定义日志信息，日志源设备被动传送日志内容，平台扫描引擎与日志源设备协议通信记录日志等。

2.流量信息：主要是以获取网络边界区域、网络关键路径节点、网络交互出入口的网络流量。获取流量源是通过部署流量分光器探索设备或零拷贝技术获取镜像流量，提供给本系统解析，以识别网络流量中异常行为。

3.情报信息：所述情报源主要为第三方共享信息源，非安全防护对象数据源。获取情报源信息是为了解决城市网络空间安全大数据智能分析系统自身威胁情报库滞后，及时获取最新0day漏洞，特征木马、黑白名单等威胁情报信息。情报源以第三方各类共享威胁情报为主，通过固定的情报接入格式提供查询、分析和获取业务。

4.云端数据信息：以自由云端数据和第三方云端数据为主，也可归纳为日志源。获取云端数据的好处是：一方面本系统可获取更为海量、丰富的移动互联网、物联网等云平台数据共享资源，另一方面可对云平台租户、平台用户、平台审计、平台运维等安全监管信息进行采集获取。

以上4个数据源并不是需要完全包括，也就是说，统一接口模块需要获取的数据包括日志信息，和/或流量信息，和/或情报信息，和/或云端数据信息。

所述数据采集模块，被配置为通过统一接口模块，以采集或者查询或者主动扫描、探测或者被授权获取网络空间安全相关数据。更具体的说，本模块是立足于公共互联网数据，向关键基础设施辐射，既能够从现有网综平台等业务平台获得镜像数据，同时又具备向互联网网络主动探测、检查的能力。

所述数据采集模块包括日志采集单元、流量采集处理单元和情报查询单元。下面分别说明。

1.日志采集单元，被配置为通过统一接口模块主动或者被动获取被网络风险监测对象的网络组件日志信息。具体技术手段是通过分布式扫描、自动扫描工具等对Syslog（syslog是Linux系统默认的日志守护进程）、NetFlow、自定义日志数据的采集，对暴露在公网网络的威胁资产进行主动扫描，对内网进行扫描以获得内部资产数据。对于联网工控设备需要主动探测扫描引擎。

2.流量采集处理单元，被配置为通过统一接口模块采集流量信息后进行对包括流量信息进行宝库还原，和/或解析，和/或流量包深度检测分析，和/或深度动态流检测分析在内的一系列操作。流量采集处理以还原和解析网络安全异常行为事件为核心，不涉及流量包传输内容。

3.情报查询单元，被配置为通过统一接口模块，实现与外部情报源的信息共享、查询和结果反馈等功能，并通过外部情报及时更新本系统的情报库。更具体说，能够实现IP情报、漏洞情报、文件情报、域名情报、舆情情报的交互，并向外部情报源提交IP/URL/漏洞/域名/文件等可疑查询信息，获取外部最新情报查询结果。

作为对现有技术的贡献，本方法可以通过定制化服务的方式定期获取或联网上的威胁情报、恶意样本、恶意URL、恶意IP、Whois、DNS解析、DDoS攻击、僵、木、蠕、毒等网络安全态势信息和威胁情报信息。本系统还可以根据需要配置重点监控网络中所部署的安全设备，将安全设备产生的行为与告警日志通过syslog/beats协议进行发送。

作为对现有技术的贡献，实现本步骤，可以通过工控设备扫描引擎在互联网上扫描工控联网设备，针对IP、工控协议、端口、工控协议指纹进行工控设备指纹识别、工控设备深度扫描分析、网络威胁风险呈现等工控安全数据的采集。

步骤二：还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储、归一化、归档。

实现本步骤，需要一个数据处理模块，该模块被配置为基于es大数据搜索框架，对所采集数据进行还原后进行预处理，所述预处理操作包括清洗、缓存、提取、归一化和归档。根据数据源不同，预处理的手段不同。对日志数据，进行清洗、过滤和缓存；对流量数据，实现过滤、还原和解析；对情报数据实现威胁情报信息查询和存储；对部分格式化、持久化数据进行提取和分布式存储。本模块还支持用户数据搜索自定义，实现数据归一化、数据共享交换、数据治理，为数据分析和数据的交互呈现提供数据源。

数据清洗过程为：数据通过主动发送和被动采集的方式发送给本系统后，采用logstash（一种开源的日志收集管理工具）对接syslog、beats两种协议的日志源和还原后的流量数据，通过任务控制、心跳检测、运行状态，对海量、繁杂的数据按照预定的清洗规则机芯清洗，清洗日志中大量自动化工具产生的数据，包括垃圾过滤、数据去重、格式清洗。

数据缓存过程为：将清洗后的数据（包括原始数据日志、镜像流量）分类型存入到kafka消息队列不同的topic中进行缓存（数据缓存在是在分布式存储单元），进行性能优化和数据类型扩充，提高平台的吞吐量。

数据提取过程为：从数据采集模块获取的原始数据中提取用户感兴趣的数据，即根据用户预设规则提取信息，包括日志数据、网络数据的提取。

数据归一化过程为：采用归一化处理工具将数据进行归一化处理，根据数据的指纹、指标、关键字、阈值等信息，将数据转换为统一格式后进行存储。本实施例使用logstash进行归一化处理。

数据归档过程为：数据进行归一化之后进行存储，建立索引，供实时分析使用，同时将泛化后的数据复制一份进行存储，供离线分析、深度分析使用及机器学习使用。本实施例是将数据进行归一化后存入到es (ElasticSearch)系统中，将泛化后的数据复制一份存入hive或hbase中，

其中数据提取、解析、泛化、预处理任务及处理规则，和归档数据的元数据、kafka缓存数据存储在数据库管理系统中，本实施例采用的是mysql数据库管理系统。

步骤三：提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析。

实现本步骤，需要设置一个数据分析模块，该模块配置为对数据处理模块输出的、分布式存储模块存储的数据（包括各种网络数据、环境数据、主机数据及威胁情报数据）进行提取和关联分析，并将分析结果传输给交互呈现应用模块。

该模块实现分析功能主要是利用微服务、分析模型，进行关联分析、互联分析、聚类融合分析及自定义分析，细粒度的自动化攻击行为透视，准确定位攻击。更具体而言，是基于网络安全事件风险进行关联分析、统计分析、搜索分析、情报分析和威胁分析，构建大数据安全威胁分析模型，利用网络攻击样本平台机器学习和深度分析能力，配合自研网络安全设备或第三方授权网络安全设备，实现网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析，实现网络安全风险信息联动共享和安全事件溯源分析。

大数据关联分析的目的是为了从海量数据中发掘隐藏的相关性。实现海量安全事件的抽取、降噪，剥离无用信息，并通过数据处理、数据建模、机器学习等技术，进行长时间、大范围的关联分析，挖掘出高分新的关键安全事件，引导安全管理人员发现外部入侵和内部违规行为,提升后续安全管理工作的效率，降低安全管理工作的复杂性。进行关联分析所采用的技术手段是：借助关联分析引擎，通过对日志数据进行索引、分类、关联，采用日志和事件的初级处理，事件链关联，日志泛化等手段，关联有效事件进行事件关联分析，关联分析的结果导出的关联事件可以提升为威胁，从而参与风险计算，并且实现风险计算自动化、定量化。关键安全事件可以被安全监测、预警通报、威胁态势分析和报表统计等模块使用。

为了提高关联分析的能力，本实施例提供多种关联分析方法和内置可视化规则编辑器。

下面对关联分析方法中的事件关联、样本关联进行举例说明：

例1：事件关联

事件关联支持对事件特征搜索，能够保存、可视化展示搜索轨迹，帮助还原事件攻击过程，并发现攻击源头，同时实现对特定时间内已发生所有安全事件相关特征的统计。所述事件特征包括基本特征（如：跨站点脚本（XSS）攻击、SQL注入攻击、自动化威胁）、通讯特征（如：http、https、ftp等各类通信协议）。事件关联可以分为基于规则的事件关联、单事件关联、多事件关联、事件搜索、事件攻击过程还原等。下面分别予以介绍。

a.基于规则的事件关联：

系统内置可视化的规则编辑器，用户可以定义基于逻辑表达式和统计条件的关联规则，所有R志字段都可参与关联。规则的逻辑表达式支持等于、不等于、大于、小于、不大于、不小于、位于……之间、属于、包含、等运算符和关键字。统计关联可以统计某安全事件在一段时间内发生多少次，即通过统计次数触发告警。

b.单事件关联

通过单事件关联，系统能够对符合单一规则的事件流进行规则匹配。

c.多事件关联

通过多事件关联，系统能够对符合多个规则（称作组合规则）的事件流进行复杂事件规则匹配。

d.事件搜索

可供搜索的数据项分为事件基本特征与事件通讯特征两类，具体可搜索的字段包括恶意代码名称、威胁类型、威胁攻击平台、事件发生时间、事件检测时间；五元组、URL、域名等。

用户可以输入符合条件的任一字段值进行直接搜索，也可以根据提示进行指定字段名称的搜索；针对存在逻辑关系的多个搜索条件，提供组合搜索功能；基于上一步的搜索结果，支持对感兴趣的内容进行框选后进行直接二次搜索。另外，对于时间和数值字段，支持大于、小于、等于的运算符；对于字符字段，支持包含、等于的运算符。

支持用户自主选择展示结果字段与搜索结果导出功能，导出格式包含PDF、Excel、Word等格式。

e.事件攻击过程还原

根据用户需求保存搜索轨迹，包括搜索项与重点关注的结果，基于搜索轨迹，可手动或者自动产生可视化图像。参考用户历史搜索轨迹与安全分析人员的知识经验，进行数据关联分析，以还原完整的事件攻击过程。最终提供如邮箱、主机名等可直接确定攻击源头的信息，以及潜在受害者的信息。

对于存在威胁的URL，支持检测其是否仍然具有活性；对于攻击IP，支持检测其关联主机是否发生变化。

f.事件统计

提供对于特定时间范围内，威胁事件相关信息的统计，具体包括：

1.不同平台威胁事件排名、威胁类型排名

2.具体威胁事件使用域名、IP统计；受害地区统计

3.不同威胁在不同时间点攻击次数、攻击范围对比统计

g:事件模型

对于网络中存在的入侵攻击行为，以及部分僵尸、木马、蠕虫工具的传播、通信等恶意流量，仅使用单包的网络特征模式匹配技术是无法准确检测的，而需要分析一条流，甚至是多条流之间的多个报文进行关联分析才能准确检测。本实施例中，首先通过对攻击行为进行建模，形成多个特征规则。然后对网络流量进行检测，检测攻击行为符合度，这些特征可能是某个协议字段的特征，比如长度、值和内容等，也可能是协议中多个关键位置的顺序，特征出现的个数，或者几个特征之间的某种关系。根据恶意流量的多个特征规则综合检测，使得检测的结果更加准确。

例2：样本关联

样本关联支持对样本特征。的搜索，通过动态特征关联不同样本，追踪样本产生的源头，并提供相应的样本分析报告，支持部分样本的下载。所述样本特征包括基本特征（比如：异常访问、特种木马、威胁漏洞）及其动态特征（比如：攻击流量、威胁情报）。样本关联采用的技术手段包括样本关联、样本搜索。

a.样本搜索

可供搜索的数据项分为样本基本特征与动态特征两类，具体可搜索的字段包括样本哈希值、恶意代码名称、威胁类型；网络通讯特征、操作文件全路径或者子路径、运行命令名称、操作服务名称、注册表键值、互斥量、动态链接等。

与事件搜索类似，支持单一条件搜索、组合搜索以及在前一次搜索结果基础上的二次搜索，同时支持搜索结果的导出与搜索轨迹的保存。对于系统判黑的样本，提供相应的样本分析报告，并支持部分样本的下载。

b.样本关联

通过样本的静态与动态特征，可关联到的数据内容包括：哈希值、文件类型、文件大小、病毒名称、网络监控行为、文件操作行为、进程操作行为、服务操作行为、注册表操作行为、所关联的URL、所关联的域名、所关联的IP、所关联的主机等。

通过样本关联到的数据，可以发现多个样本之间的联系，经过人工分析归纳，提取显著共有的特征，为潜在的受害者提供有效的情报信息，比如某威胁产生的样本都具有创建某个文件的行为，那么一旦发现该文件被创建，则可根据该情报发出提示信息；再比如某威胁产生的样本都关联同一顶级域名，则该域名下的主机可能是此威胁的远程控制机群，则可根据该情报对该域名下发起的网络请求进行阻断提示等。

样本的信息和样本的存储信息，以及围绕样本的发布者、受害者信息，形成线索追踪业务流程里的部分证据信息。

步骤四：将网络安全监测结果进行展示。

本步骤是综合呈现本系统监管对象的网络安全威胁态势，并进行平台管理。网络安全威胁态势包括整体态势、云安全态势、网站应用安全态势、工控安全态势。平台管理包括资产安全管理、任务管理、监测预警管理、统计报表管理、知识库管理、系统管理。

为了实现本步骤，可以设置交互呈现应用模块。该模块设置了分态势概览、整体态势、监测预警、统计报表、协同处置、任务管理、知识库、平台管理等8个一级交互界面。8个界面对应的业务模块之间既相互独立又彼此协作，通过标准接口进行数据交互与业务协作。

实现本模块所采用的技术手段是：采用zkoss框架与echarts框架来实现数据可视化与前端交互的开发。用户的行为会直接向服务端发送请求，服务端根据请求获取结果数据展现或调用微服务的任务通过ES系统获取实时分析数据。

网络安全威胁态势呈现实现功能具体如下：

通过整体态势可以提供外部攻击排行、安全事件类型、资产安全状况排行、整体安全状态、请求来源地域排行分布、云平台状况等统计信息。

通过云安全态势可以提供云平台拓扑、云主机详细信息，安全事件排行、安全事件统计、安全事件分布、安全事件列表等信息。

通过网站应用安全态势可以查看网站访问热力图、网站应用排行、网站访问分布、机构应用统计的等信息。

通过工控安全态势可以查看工控设备扫描热力图、工控设备协议占比、工控设备类型排行、工控设备品牌、漏洞类型占比分布等信息。

平台管理实现功能具体如下：

进行资产安全管理。资产安全包括对设备的操作系统，安全状态，所属区域，设备数量，风险分数，被攻击次数等相关资产进行检测，及时反馈保护设备安全。

进行任务管理。任务管理主要是为用户对扫描任务进行管理，支持多扫描引擎的调度，功能包含新建任务、复制任务、删除任务配置查看、任务查询、生成报表、报告下载、对比分析，自定义任务等操作。全隐患事件、入侵攻击事件、信息破坏事件、恶意程序传播事件、突发性网络安全事件、网络犯罪案件等进行及时或定期的通报到管理责任单位和个人。

进行检测预警管理。检测预警是实现对检测和监测到的重大网络安全隐患事件、入侵攻击事件、信息破坏事件、恶意程序传播事件、突发性网络安全事件、网络犯罪案件等进行及时或定期的通报到管理责任单位和个人。

进行统计报表管理。用户预先定义报表模板内容包括（报表模块、页眉、页脚、封面等），方便用户定期生成扫描报表。

进行知识库管理。知识包含IP名单、域名单、设备指纹统计等可以用来对威胁进行特征识别，同时可以用来对外共享，帮助提高危险预防能力。

进行系统管理。系统管理包括对日志管理，权限管理，用户管理，菜单管理，公告管理等能够帮助管理者们提高工作效率，操作简单，方便管理。

应当理解，本发明必然具有数据存储过程，本实施例使用分布式存储模块实现分布式存储。

分布式存储模块包括分布式存储单元、本地情报库、数据库、知识库。本模块被配置为支持数据采集模块、数据处理模块、数据分析模块和交互呈现模块的数据相关处理，所述数据相关处理包括数据缓存、数据存储、数据提取、数据搜索、数据格式化等操作。

知识库包含本发明所述系统累积的共享信息。所述共享信息包括威胁知识库、漏洞知识库、事件知识库、黑白名单、IP、URL、域名、高级威胁情报、域名单、设备指纹等。

数据库包含关系型和非关系型数据库，数据库用于存放数据格式化、归一化的数据。

分布式存储单元被配置为存放数据采集、处理和分析等环节的数据，进行数据缓存、数据格式化存储、数据归档等。本系统以kafka实现数据日志搜集、流数据处理、在线和离线分析。采用hive和Hbase实现数据仓库存储。

本地情报库是被配置为存储平台自身分析出的情报，以及对外获取的情报。

为了保证数据查询存储的快速有效性，本实施例使用了impala的查询系统，ElasticSearch的搜索模式，最终的整体数据使用hdfs方式存储。

Claims (10)

1.一种网络空间安全大数据智能分析方法，其特征在于，包括：

获取网络安全相关数据；所述网络安全相关数据包括指定行政区域内的网络安全数据、其余行政区域内和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息；

还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、分布式存储归一化、归档；

提取预处理后的数据进行分析，实现网络安全监测；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析；以及

将网络安全监测结果进行展示。

2.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，日志信息的来源包括安全设备，和/或网络设备、和/或主机设备，和/或虚拟机，和/或操作系统、和/或应用系统，和/或中间件，和/或数据库，和/或终端设备，工控设备，和/或公共摄像头、和/或智能设备；

所述流量信息，包括网络边界区域，和/或网络关键路径节点，和/或网络交互出入口的网络流量信息；

所述云端数据信息，包括自由云端数据和/或第三方云端数据信息。

3.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，获取日志信息是对Syslog、NetFlow、自定义日志数据进行采集，对暴露在公网网络的威胁资产进行主动扫描，对内网进行扫描以获得内部资产数据；

获取流量信息是通过部署流量分光器探索设备，和/或采用零拷贝技术获取镜像流量，以获取网络边界区域、网络关键路径节点、网络交互出入口的网络流量；

获取情报信息是通过包括第三方共享信息源在内的情报源，获取包括最新0day漏洞，特征木马、黑白名单在内的威胁情报信息。

4.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，对日志信息，进行清洗、过滤和缓存；对流量数据，实现过滤、还原和解析；对情报数据进行数据查询和存储；对部分格式化、持久化数据进行提取和分布式存储。

5.如权利要求1所述的网络空间安全大数据智能分析方法，其特征在于，对预处理后的数据进行分析所采用的分析方法包括事件关联和/或样本关联；

其中，事件关联是通过对事件特征的搜索，实现对指定时间内已发生所有安全事件相关特征的统计；所述事件特征包括基本特征、通讯特征；

所述样本关联是基于样本特征的搜索，通过动态特征关联不同样本，追踪样本产生的源头。

6.如权利要求5所述的网络空间安全大数据智能分析方法，其特征在于，事件关联方法包括基于规则的事件关联、单事件关联、多事件关联、事件搜索、事件攻击过程还原、事件建模；

基于规则的事件关联是通过基于逻辑表达式和统计条件的关联规则将事件进行关联；

单事件关联是对符合单一规则的事件流进行规则匹配；

多事件关联是对符合至少两个规则的事件流进行规则匹配；

事件搜索是根据事件的基本特征或事件通讯特征，进行字段搜索，匹配相关事件；

事件攻击过程还原是基于保存的搜索轨迹，进行数据关联，以还原完整的事件攻击过程；

事件建模是通过对攻击行为进行建模，形成若干个特征规则，然后对网络流量进行匹配检测。

7.如权利要求5所述的网络空间安全大数据智能分析方法，其特征在于，样本关联方法包括样本关联与样本搜索；

所述样本搜索是根据样本特征进行单一条件搜索、组合搜索、二次搜索；所述样本特征包括基本特征、动态特征；

所述样本关联是根据样本特征关联的数据发现若干个样本之间的联系，经过分析归纳后提取共有特征，为潜在的受害者提供有效的情报信息。

8.如权利要求5所述的网络空间安全大数据智能分析方法，其特征在于，将网络安全监测结果进行展示的步骤能够进行整体态势、云安全态势、网站应用安全态势、工控安全态势展示。

9.如权利要求5所述的网络空间安全大数据智能分析方法，其特征在于，所述方法还包括通过编辑器预先编制关联规则的步骤。

10.一种计算机可读介质，所述计算机可读介质具有记录在其上的能够由计算机执行的计算机程序，所述计算机程序在执行时使得所述计算机进行如在权利要求1~9任一项所述的网络空间安全大数据智能分析方法的步骤。