CN110572379B

CN110572379B - 面向网络安全的可视化大数据态势感知分析系统关键技术

Info

Publication number: CN110572379B
Application number: CN201910806853.7A
Authority: CN
Inventors: 赵春燕
Original assignee: Shenzhen Netdomain Technology Co Ltd
Current assignee: Zhao Chunyan
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2020-09-18
Anticipated expiration: 2039-08-29
Also published as: CN110572379A

Abstract

本发明涉及一种面向网络安全的可视化大数据态势感知分析系统，包括：数据层、分析层和应用与显示层三个层次；其中，数据层包括数据采集模块、数据处理模块、数据存储模块；分析层包括：监控分析模块、反馈分析模块；应用与显示层包括显示界面。

Description

面向网络安全的可视化大数据态势感知分析系统关键技术

技术领域

本发明涉及网络安全领域，特别涉及一种面向网络安全的可视化大数据态势感知分析系统。

背景技术

近年来，网络安全事件频发，国际网络环境异常严峻。例如：2017年7月，勒索病毒“必加”（Petya）新变种在乌克兰、俄罗斯等国家大规模爆发，造成严重损失；2017年5月，勒索病毒导致我国部分加油站、公安、出入境系统业务中断，影响巨大；2016年我国公开纰漏的数据泄露事件多达36起，其中不乏一些政府、金融、教育等重要敏感数据信息；NSA黑客团队方程式组织逐渐漏出水面，组织拥有极为强大的“网络攻击军火库”；2015年12月，乌克兰电力部门遭受到恶意代码攻击，导致80000用户断电。

在“互联网+传统行业”的大趋势下，各类全新的信息安全问题逐渐浮出水面，一方面新的信息安全威胁层出不穷，利用特种木马、0day漏洞、水坑攻击、钓鱼攻击甚至威胁更大的APT攻击已是传统防火墙、IPS、杀毒软件等安全防护设备无法发现和阻止的。另一方面随着企业信息系统产生的海量数据无法被有效收集、整理并加以利用，导致信息安全管理员无法通过数据分析发现隐藏在其中的安全威胁。

随着网络安全重要性的凸显，态势感知开始在网络安全领域展露头角。2009年，美国白宫在公布的网络空间安全战略文件中明确提出要构建态势感知能力，并梳理出具备态势感知能力和职责的国家级网络安全中心或机构，包含了国家网络安全中心（NCSC）、情报部门、司法与反间谍部门、US-CERT、网络作战部门的网络安全中心（CybersecurityCenter）等，覆盖了国家安全、情报、司法、公私合作等各个领域。

现阶段面对传统安全防御体系失效的风险，态势感知能够全面感知网络安全威胁态势、洞悉网络及应用运行健康状态、通过全流量分析技术实现完整的网络攻击溯源取证，帮助安全人员采取针对性响应处置措施。

所以态势感知系统应该具备网络空间安全持续监控能力，能够及时发现各种攻击威胁与异常；具备威胁调查分析及可视化能力，可以对威胁相关的影响范围、攻击路径、目的、手段进行快速判别，从而支撑有效的安全决策和响应；能够建立安全预警机制，来完善风险控制、应急响应和整体安全防护的水平。随着《网络安全法》和《国家网络安全战略》的相继出台，态势感知被提升到了战略高度，众多大行业、大型企业都开始倡导、建设和积极应用态势感知系统，以应对网络空间安全严峻挑战。

如今，“态势感知”已经成为信息安全领域聚焦的热点，也成为网络安全技术、产品、方案不断创新、发展、演进的汇集体现，更代表了当前网络安全攻防对抗的最新趋势。

目前的态势感知系统主要基于大数据的计算，因此会占用大量的设备和网络资源进行计算，不仅造成了大量的资源浪费，而且由于计算方式过于复杂，对于被监控系统的异常情况相应速度也不高。因此需要提出一种能够及时发现各种攻击威胁与异常，占用资源小的态势感知系统。

发明内容

本发明所要解决的技术问题是：能够提出一种能够及时发现各种攻击威胁与异常，占用资源小的态势感知系统。

本发明解决其技术问题所采取的技术方案是：

一种面向网络安全的可视化大数据态势感知分析系统，该系统包括：数据层、分析层和应用与显示层三个层次；其中，数据层包括数据采集模块、数据处理模块、数据存储模块；分析层包括：监控分析模块、反馈分析模块；应用与显示层包括显示界面。

进一步地，监控分析模块包括流量安全初级分析子模块、行为感知初级分析子模块以及设备运营管理子模块。

进一步地，反馈分析模块包括流量安全反馈分析子模块、行为感知反馈分析子模块以及设备运营反馈子模块

进一步地，应用与显示层至少包括显示界面。

进一步地，应用与显示层还包括：I/O接口模块、通讯模块、交互设备。

基于所述的一种面向网络安全的可视化大数据态势感知分析系统的态势感知分析方法，该方法包括：

S1. 通过数据采集模块，分别采集被监控系统的流量数据、网络行为数据以及设备端口通讯数据进行采集；

S2. 数据采集模块将采集的各类数据传送给数据处理模块，该数据处理模块在接收到数据采集模块采集的数据之后，进行分类和数据处理；

S3. 数据存储模块接收数据处理模块发送的数据，并将其分类存储于数据存储模块中；

S4. 监控分析模块对数据存储模块中存储的数据进行数据流量、网络行为和设备安全的三项常规监控；当常规监控判定结果中存在两项以上的异常时，判定为需要预警的情况，执行S5；当常规监控判定结果中部存在异常则继续监控；当常规监控判定结果中存在一项异常时，启动反馈分析模块,进行反馈分析；如果反馈分析结果中仍然存在异常，则判定为需要预警的情况；

S5. 显示数据和监控结果。

本发明提供的态势分析系统能够提出一种能够及时发现各种攻击威胁与异常，占用资源小。

附图说明

图1为本发明提供的可视化大数据态势感知分析系统的结构示意图。

图2为本发明提供的可视化大数据态势感知分析系统执行的感知分析方法的流程图。

具体实施方式

下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须作出大量实施细节以实现开发者的特定目标。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用一方便、清晰地辅助说明本发明实施例的目的。

参见图1，图1为本发明提供的可视化大数据态势感知分析系统的结构示意图。该面向网络安全的可视化大数据态势感知分析系统的模型依照功能划分，可以分为数据层、分析层和应用与显示层三个层次。并且包含数据采集模块、数据处理模块、数据存储模块、监控分析模块、反馈分析模块和显示界面。其中，数据层包括数据采集模块、数据处理模块、数据存储模块；分析层包括：监控分析模块、反馈分析模块；应用与显示层包括显示界面。

其中，数据采集模块用于采集各个监控数据，包括目标设备的 CPU 使用率、内存占用率、网络传输速率和网络时延、网络攻击、蠕虫、木马、异常连接、敏感数据外发、违规操作等危害网络安全的异常行为以及各个设备端口的数据等。数据处理模块用于接收数据采集模块收集的监控数据，并进行必要的数据处理，上述数据处理包括本领域公知的去噪、分类、优化等处理。数据存储模块用于接收数据处理模块的数据，并将其分类保存，方便分析层的功能模块读取，调取各类所需数据。数据存储模块包括：存储子模块、创建子模块和读取子模块。所述存储子模块，用于将用户配置的数据信息存储于模拟的结构体文件中，将结构体文件传送于创建组件。创建子模块，接收结构体文件，创建模拟共享内存，用于将所述结构体文件存储于其中，将结构体文件传送给读取组件。读取子模块，用于接收结构体文件的存储信息，进行读取、解析结构体文件，创建多个模拟测试进程，将模拟测试进程信息发送给数据分析模块。数据存储模块还存储了DNS和HTTP黑名单，用于在后续的监控过程中进行设备安全状态的判断。

监控分析模块用于在通常状态下对于系统的流量安全、网络行为以及设备安全进行监控，并在系统的流量安全、网络行为以及设备安全之中至少两项以上被判断为异常时，提示系统异常；当系统的流量安全、网络行为以及设备安全之中仅有一项被判断为异常时，启动反馈分析模块进行进一步分析。监控分析模块根据从数据存储模块中读取的数据进行分析，来判断流量安全、网络行为以及设备安全是否出现异常。监控分析模块包括流量安全初级分析子模块、行为感知初级分析子模块以及设备运营管理子模块。其中，流量安全初级分析子模块用于监控系统的流量情况是否出现异常，行为感知初级子模块用于监控系统的网络行为是否出现异常，设备运营管理子模块用于监控系统中各个设备是否出现异常。

反馈分析模块用于系统的流量安全、网络行为以及设备安全之中仅有一项被判断为异常的情况下进一步对流量安全、网络行为以及设备安全情况进行更大数据量的分析，从而最终确定系统的异常情况。反馈分析模块根据从数据存储模块中读取的数据进行分析。反馈分析模块包括流量安全反馈分析子模块、行为感知反馈分析子模块以及设备运营反馈子模块。上述三个子系统用于数据存储模块中存储的数据进行数据量更大、更为精细的计算分析。

监控分析模块和反馈分析模块的具体计算方式将在下文中进行介绍，此处不再赘述。

应用与显示层用于对上述分析结果进行展示和显示。应用与显示层至少包括显示界面。此外，应用与显示层还可以包括：I/O接口模块、通讯模块、交互设备等。

下面详细介绍该面向网络安全的可视化大数据态势感知分析系统执行的感知分析方法。

参见图2所示，本发明提供的面向网络安全的可视化大数据态势感知分析系统执行的感知分析方法包括：

S1. 通过数据采集模块，分别采集被监控系统的流量数据、网络行为数据以及设备端口通讯数据进行采集。

上述数据流量数据包括：实时下载流量、实时上传流量、带宽利用率、连接成功率、数据重传率、网络答复往返时间等、网络行为数据包括：网络环境中的安全事件数据，即网络攻击和防御过程中的攻击者数量、攻击者策略集合、被监控系统防御策略集合、攻击/防御效率、攻击\防御成本、攻击\防御收益等；设备安全数据包括：各级设备通讯端口数据、设备离线次数、设备离线时间、设备连接响应时间等。

数据采集模块将采集的各类数据传送给数据处理模块，该数据处理模块在接收到数据采集模块采集的数据之后，首先将数据进行分类，即将相应地数据分类保存在相应的路径中；随后对于数据进行基本的去噪处理。

具体的去噪方式可以为：小波分解与重构法、非线性小波变换阈值法、平移不变量小波法以及小波变换模极大值法等方式。

数据存储模块接收数据处理模块发送的数据，并将其分类存储于数据存储模块中。

监控分析模块对数据存储模块中存储的数据进行监控，该监控分析模块的监控为系统不存在异常时进行的常规监控。

在常规监控下，步骤S4依次包括以下步骤S41-S43：

S41. 流量安全初级分析模块实时监控被监控系统的网络流量安全，具体可以包括：

（1）监控实时下载流量、实时上传流量、带宽利用率、连接成功率、数据重传率、网络答复往返时间的数据值是否超过预设阈值；该阈值可以根据被监控系统的长期监控数据得到，通常的阈值取值范围在该数据平均值加或减方差。

（2）当超过阈值时，记录超过阈值的连续时间跨度和累计时间；

（3）当连续时间跨度和累计时间均超过标准值时（其中连续时间跨度标准值取值为2-5分钟，累计时间标准值取值为20-30分钟），则判定流量安全异常，未超过标准值则判定位流量安全正常。

行为感知初级分析模块实时监控被监控系统的网络行为安全，具体可以包括：

计算攻击/防御安全比S，

，其中

为截止至第n次测量检测到的攻击数量，

为截止至第n次测量检测到的防御次数。当S大于阈值时，则判定网络行为安全异常，当S 小于等于阈值时，判定网络行为安全正常。该阈值通常为2.5-5。

设备运营管理子模块实时监控被监控系统的设备安全，具体可以包括：实时检测设备端口连接和通讯情况，当设备出现端口异常时，判定为设备安全异常，无端口出现异常，则判定为设备安全在正常。

统计数据流量安全、网络行为安全和设备安全三个初步判断结果中异常的数量，如果上述是三个初步判断结果中异常的数量大于等于两个，则判定为预警情况，如果三个初步判断结果中异常的数量为一个，则启动反馈分析模块，从而执行S43，如果三个初步判断结果中异常的数量为零，则判定为正常，继续由监控分析模块继续监控，执行S42。

通过监控分析模块的利用较小数据的初步判断，如果存在多项异常的情况则进行报警，如果仅出现未能确定危险情况的一项异常，在利用大数据进行详尽的分析，这样不仅能够迅速响应还节约了数据和计算资源的浪费。

启动反馈分析模块，从而进一步确定异常情况是否需要预警。

当流量安全初级分析结果为异常时，启动行为感知反馈分析子模块和设备运营反馈子模块进行反馈分析，如果感知反馈分析子模块和设备运营反馈子模块的判定结果至少之一存在异常，则判断为需要预警的情况,执行S51；当行为感知初级分析结果为异常时，其从流量安全反馈分析子模块和设备运行反馈子模块进行反馈分析，当流量安全反馈分析子模块和设备运行反馈子模块的判定结果至少之一存在异常，则判断为需要预警的情况,执行S51；当设备运营管理子模块分析结果为异常时，启动流量安全反馈分析子模块和行为感知反馈分析子模块进行反馈分析，当启动流量安全反馈分析子模块和行为感知反馈分析子模块的判定结果至少之一存在异常时，则判断为需要预警的情况,执行S51。

如果监控分析模块的判断结果为一项异常，而进一步启动的反馈分析模块的分析结果不存在异常时，则判断系统不需要预警，返回执行S41。

具体地，流量安全反馈分析模块的分析方法为：计算监测参数

F(ΔT)表示第n次测量和第n+1次测量的数据之间的监测参数，ΔQ表示第n次测量和第n+1次测量的数据之间的参数测量值差，M1为所有测量数据的均方，M2为测量数据中除去第n次测量和第n+1次测量的测量数据均方，n表示本次测量的次数。当然对于流量安全数据的判断可以采用多个不同的数据种类，采用多个种类时，F(ΔT)的最终值可以通过平均值的形式来实现。

当F(ΔT)小于1时，判定流量安全测量数据的反馈分析出现异常，当F(ΔT)大于等于1时，判定流量安全测量数据的反馈分析正常。

行为感知反馈分析子模块的分析方法，包括：

针对各个端口进行如下计算：

（1）根据攻击方的收益与成本之间的差值可得到攻击方效用U ^a

式中：AR 为攻击方采取策略得到的收益，AC 为攻击方采取策略产生的成本，DC为防御方采取策略产生的成本。

（2）根据零和博弈中博弈双方的对立关系，防御方的效用U ^d

（3）该端口的权重占比，引入端口的相对权重

（4）攻击策略收益 AR 在网络攻防中，攻击者的目的主要为对目标系统的破坏和控制，与之对应，攻击行为的收益主要表现在对目标系统可用性的影响，以及对系统资源控制权两方面，系统资源控制权由攻击方获取的目标系统权限决定，高级别的权限会造成更严重的危害程度。为应对攻击者的攻击策略，防御方会采取相应的防御策略，攻防策略共同决定了攻击方达到目的的可能性。

计算安全态势，

可得该端口的安全态势S。

的大小反映了该端口的安全状态或危险状态的程度。当 S 〉1时，网络处于安全状态， S 越大，网络越安全。当 S 〈 1时，网络处于危险状态，则判断需要预警。

设备运营反馈子模块的分析方法为：检测各个端口登录的DNS地址和访问的HTTP网址是否存在与数据存储模块的黑名单中，如果存在于黑名单中则为异常，判定为需要预警的情况。

在显示界面上显示态势感知的分析结果和过程，步骤S5进一步包括以下步骤S51-S52:

S51. 当系统判断为预警状态时，在显示界面上显示预警状态、预警位置和异常数据/状态指标。

当系统判断为正常状态时，在显示界面上显示实时数据和状态。

上述网络流量、网络行为和设备安全的具体监控方法仅为优选示例，本领域技术人员根据其掌握的知识可以进行适当的替换。

本发明通过监控分析模块的利用较小数据的初步判断，如果存在多项异常的情况则进行报警，如果仅出现未能确定危险情况的一项异常，在利用大数据进行详尽的分析，这样不仅能够迅速响应还节约了数据和计算资源的浪费，进而提供了一种能够及时发现各种攻击威胁与异常，占用资源小的态势分析系统。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种基于面向网络安全的可视化大数据态势感知分析系统的态势感知分析方法，其特征在于：该基于面向网络安全的可视化大数据态势感知分析系统包括：数据层、分析层和应用与显示层三个层次；其中，数据层包括数据采集模块、数据处理模块、数据存储模块；分析层包括：监控分析模块、反馈分析模块；应用与显示层包括显示界面；监控分析模块包括流量安全初级分析子模块、行为感知初级分析子模块以及设备运营管理子模块；反馈分析模块包括流量安全反馈分析子模块、行为感知反馈分析子模块以及设备运营反馈子模块；

上述基于面向网络安全的可视化大数据态势感知分析系统的态势感知分析方法包括：

S1.通过数据采集模块，分别采集被监控系统的流量数据、网络行为数据以及设备端口通讯数据进行采集；上述数据流量数据包括：实时下载流量、实时上传流量、带宽利用率、连接成功率、数据重传率、网络答复往返时间；网络行为数据包括：网络环境中的安全事件数据，即网络攻击和防御过程中的攻击者数量、攻击者策略集合、被监控系统防御策略集合、攻击/防御效率、攻击\防御成本、攻击\防御收益；设备安全数据包括：各级设备通讯端口数据、设备离线次数、设备离线时间、设备连接响应时间；

S2.数据采集模块将采集的各类数据传送给数据处理模块，该数据处理模块在接收到数据采集模块采集的数据之后，首先将数据进行分类，将相应地数据分类保存在相应的路径中；随后对于数据进行去噪处理；

S3.数据存储模块接收数据处理模块发送的数据，并将其分类存储于数据存储模块中；

S4.监控分析模块对数据存储模块中存储的数据进行监控，该监控分析模块的监控为系统不存在异常时进行的常规监控；

在常规监控下，步骤S4依次包括以下步骤S41-S43：

S41.流量安全初级分析模块实时监控被监控系统的网络流量安全，具体包括：

(1)监控实时下载流量、实时上传流量、带宽利用率、连接成功率、数据重传率、网络答复往返时间的数据值是否超过预设阈值；该阈值取值范围在该数据平均值加或减方差；

(2)当超过阈值时，记录超过阈值的连续时间跨度和累计时间；

(3)当连续时间跨度和累计时间均超过标准值时，则判定流量安全异常，未超过标准值则判定位流量安全正常；

行为感知初级分析模块实时监控被监控系统的网络行为安全，具体包括：

计算攻击/防御安全比S，

其中

为截止至第n次测量检测到的攻击数量，

为截止至第n次测量检测到的防御次数；当S大于阈值时，则判定网络行为安全异常，当S小于等于阈值时，判定网络行为安全正常，该阈值为2.5-5；

设备运营管理子模块实时监控被监控系统的设备安全，具体包括：实时检测设备端口连接和通讯情况，当设备出现端口异常时，判定为设备安全异常，无端口出现异常，则判定为设备安全在正常；

S42.统计数据流量安全、网络行为安全和设备安全三个初步判断结果中异常的数量，如果上述是三个初步判断结果中异常的数量大于等于两个，则判定为预警情况，如果三个初步判断结果中异常的数量为一个，则启动反馈分析模块，从而执行S43，如果三个初步判断结果中异常的数量为零，则判定为正常，继续由监控分析模块继续监控，执行S42；

S43.启动反馈分析模块，从而进一步确定异常情况是否需要预警；

当流量安全初级分析结果为异常时，启动行为感知反馈分析子模块和设备运营反馈子模块进行反馈分析，如果感知反馈分析子模块和设备运营反馈子模块的判定结果至少之一存在异常，则判断为需要预警的情况，执行S51；当行为感知初级分析结果为异常时，其从流量安全反馈分析子模块和设备运行反馈子模块进行反馈分析，当流量安全反馈分析子模块和设备运行反馈子模块的判定结果至少之一存在异常，则判断为需要预警的情况，执行S51；当设备运营管理子模块分析结果为异常时，启动流量安全反馈分析子模块和行为感知反馈分析子模块进行反馈分析，当启动流量安全反馈分析子模块和行为感知反馈分析子模块的判定结果至少之一存在异常时，则判断为需要预警的情况，执行S51；

如果监控分析模块的判断结果为一项异常，而进一步启动的反馈分析模块的分析结果不存在异常时，则判断系统不需要预警，返回执行S41；

F(ΔT)表示第n次测量和第n+1次测量的数据之间的监测参数，ΔQ表示第n次测量和第n+1次测量的数据之间的参数测量值差，M1为所有测量数据的均方，M2为测量数据中除去第n次测量和第n+1次测量的测量数据均方，n表示本次测量的次数；

当F(ΔT)小于1时，判定流量安全测量数据的反馈分析出现异常，当F(ΔT)大于等于1时，判定流量安全测量数据的反馈分析正常；

行为感知反馈分析子模块的分析方法，包括：

针对各个端口进行如下计算：

(1)根据攻击方的收益与成本之间的差值可得到攻击方效用U^a

U^a＝AR-AC+DC

式中：AR为攻击方采取策略得到的收益，AC为攻击方采取策略产生的成本，DC为防御方采取策略产生的成本；

(2)根据零和博弈中博弈双方的对立关系，防御方的效用U^d

U^d＝AC-AR-DC

S5.在显示界面上显示态势感知的分析结果和过程，步骤S5进一步包括以下步骤S51-S52:

S51.当系统判断为预警状态时，在显示界面上显示预警状态、预警位置和异常数据/状态指标；

S52.当系统判断为正常状态时，在显示界面上显示实时数据和状态。

2.根据权利要求1所述的态势感知分析方法，其特征在于：应用与显示层至少包括显示界面。

3.根据权利要求1所述的态势感知分析方法，其特征在于：应用与显示层还包括：I/O接口模块、通讯模块、交互设备。