CN108234419A - 一种基于大数据的网络攻击监测方法和装置 - Google Patents

Abstract

本发明公开了一种基于大数据的网络攻击监测方法，包括：采集信息系统超大时空范围的安全相关数据；根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。公开了一种基于大数据的网络攻击监测装置，包括主机资源数据采集、网络数据采集、威胁数据搜索和威胁识别等四个模块。通过本发明，能够采集超大时间空间范围的数据，并利用大数据平台进行数据的预处理、传输、融合和分析，从而能够发现攻击持续时间长、隐蔽性好的高级可持续性威胁，克服了当前安全监测手段仅能发现APT攻击离散线索的局限性。

Description

一种基于大数据的网络攻击监测方法和装置

技术领域

本发明属于大数据技术领域，涉及大数据安全分析，特别涉及如何采集数据并利用大数据手段来解决高级网络安全威胁(如APT攻击)的监测与识别问题。

背景技术

随着网络空间安全攻防对抗逐步上升到国家或地区的层次，有组织、有国家或地区背景支持的网络攻击越来越多，并且这些攻击都明确指向了一个国家的关键信息基础设施和重要信息系统，企业级网络信息系统成为高级可持续性威胁(APT攻击)的首要目标。近年来，APT攻击呈现出时间跨度长、隐蔽程度高、攻击能力和支撑资源强等特点，现有的网络安全监测或态势感知系统由于数据采集资源的限制和分析能力的不足，通常对其无能为力。

APT攻击本质上是一个攻击链，多种不同的网络攻击手段在时间和空间上的组合，所以APT攻击的检测过程对安全事件关联分析效果的要求尤其高。目前，现有安全监测手段难以发现不同位置、不同时间段内的各个安全事件之间的潜在关联关系，仅能发现APT攻击的离散或局部线索，需要大量人工分析介入，因而无法高效率地描绘APT攻击的全貌。

只有依靠大数据才能改变当前安全防护的不利局面，使网络安全监测或态势感知真正感知高等级的网络安全威胁。数据采集方面，不但需要能够进行常规的主机资源数据、安全审计数据和网络数据采集，还能够根据策略对被删除的数据进行恢复，从中找到网络攻击隐藏的痕迹；数据分析方面，以基于攻击线索的关联分析为基础，根据APT威胁模型，强化在云端的大数据安全分析，通过超长时空范围的历史数据和真实可控的沙箱网络环境，来分析网络攻击行为，从而具备强大的网络安全态势感知能力。

发明内容

有鉴于此，本发明提供一种基于大数据的网络攻击监测方法，通过采集超大时空范围的数据，根据基于大数据的关联分析和威胁模型进行安全分析，来解决高级网络安全威胁(如APT攻击)的监测与识别问题，从而提高自动化高级威胁监测能力，帮助构建安全高效的网络主动防御体系。还提供一种基于大数据的网络攻击监测装置，通过与大数据平台的紧密融合，实现对高级网络安全威胁的有效监测和防御。

本发明提供了一种基于大数据的网络攻击监测方法，用于高级网络安全威胁的识别，其特征在于，分为如下步骤：

S1：采集信息系统超大时空范围的安全相关数据；

S2：根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；

S3：基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。

如所述的网络攻击监测方法，其特征在于，在所述“S1：采集信息系统超大时空范围的安全相关数据”之前，能够制定数据采集的时间策略和空间策略；所述时间策略可指定数据采集的开始时间点和结束时间点，所述时间点可设置为从信息系统开始运行的时间至当前时间中的任意时间点；所述空间策略可指定数据采集的网络地址范围，可设置为采集一个网络地址至信息系统全部的网络地址中的任意数量。

如所述的网络攻击监测方法，其特征在于，在所述“S1：采集信息系统超大时空范围的安全相关数据”之后，所述安全相关数据通过大数据平台进行预处理、传输汇聚和融合，并存储到数据库。

如所述的网络攻击监测方法，其特征在于，在所述“S2：根据网络安全威胁线索”之前，应利用信息系统中常规的病毒检测、恶意代码检测和网络入侵检测等安全防护产品的威胁检测结果，获得所述网络安全威胁线索。

如所述的网络攻击监测方法，其特征在于，所述“在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据”，具体包括：

S201：以所述网络安全威胁线索中的域名，在所述安全相关数据中搜索与该域名所指向的网络地址相关的所有威胁基础数据；

S202：以所述网络安全威胁线索中的网络地址，在所述安全相关数据中搜索与该网络地址相关的所有威胁基础数据。

S203：以所述网络安全威胁线索中的威胁特征，在所述安全相关数据中搜索包含所述威胁特征的所有威胁基础数据。

如所述的网络攻击监测方法，其特征在于，在所述“S203：以所述网络安全威胁线索中的威胁特征，在所述安全相关数据中搜索包含所述威胁特征的所有威胁基础数据”中，如果搜索得到的威胁基础数据还包含域名或网络地址信息，则继续重复S201和S202步骤。

如所述的网络攻击监测方法，其特征在于，所述“S3：基于所述威胁基础数据，根据关联分析模型和威胁模型识别并描述高级网络安全威胁”，具体包括：

获得高级网络安全威胁的特征、动态域名、控制端网络地址、传播方式、传播途径和作者等自身属性信息；

获得高级网络安全威胁对信息系统产生的安全事件和危害后果；

获得信息系统曾经对高级网络安全威胁所采取的安全防护行为和效果。

本发明提供了一种基于大数据的网络攻击监测装置，用于高级网络安全威胁的识别，其特征在于，包括：

主机资源数据采集模块，用于采集信息系统超大时空范围的安全相关数据，运行在终端主机上，采集操作系统配置、进程启动与停止、文件访问行为、审计日志和安全软件告警信息等主机资源数据；

网络数据采集模块，用于采集信息系统超大时空范围的安全相关数据，作为独立设备或运行在专门的服务器上，采集网络数据；

威胁数据搜索模块，用于根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；

威胁识别模块，用于基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。

如所述的网络攻击监测装置，其特征在于，所述安全相关数据在采集之后，通过大数据平台进行预处理、传输汇聚和融合，并存储到数据库中，以备威胁数据搜索模块进行处理。

如所述的网络攻击监测装置，其特征在于，所述识别并描述高级网络安全威胁包括：

获得网络安全威胁的特征、动态域名、控制端网络地址、传播方式、传播途径和作者等自身属性信息；

获得网络安全威胁对信息系统产生的安全事件和危害后果；

获得信息系统曾经对网络安全威胁采取的安全防护行为和效果。

通过本发明，能够采集超大时间空间范围的数据，并利用大数据平台进行数据的预处理、传输、融合和分析，从而能够发现攻击持续时间长、隐蔽性好的高级可持续性威胁，克服了当前安全监测手段仅能发现APT攻击离散线索以及需要大量人工分析的局限性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种基于大数据的网络攻击监测方法的流程图。

图2示出了本发明实施例提供的一种于安全相关数据中搜索与网络安全威胁线索相关的威胁基础数据的流程图。

图3示出了本发明实施例提供的一种基于大数据的网络攻击监测装置的组成示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明，然而应当理解，本发明可以以各种形式实现而不应该被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本发明公开的范围完整地传达给本领域的技术人员。

本发明实施例提供一种基于大数据的网络攻击监测方法，如图1所示，该方法包括：

S1：采集信息系统超大时空范围的安全相关数据；

当需要对一定超大时空范围内的安全相关数据进行采集时，首先需要指定数据采集的方案，包括时间策略和空间策略。

所述时间策略可指定数据采集的开始时间点和结束时间点，所述时间点可设置为从信息系统开始运行的时间至当前时间中的任意时间点；所述空间策略可指定数据采集的网络地址范围，可设置为采集一个网络地址至信息系统全部的网络地址中的任意数量。

例如，需要采集**商业银行信息系统的安全相关数据，可指定数据采集的时间区间(time1，time2)为(2016/5/1，2016/10/31)；通常，在具有大数据平台支撑时，有足够的存储空间支持，数据采集时间可以从所述装置和大数据平台部署后开始，并一直持续采集，这样能够获得完整的在时间轴上的安全相关数据。在空间策略上，可指定该**商业银行信息系统的所有IP地址，这样可采集该信息系统在空间轴上的全数据，也可指定一定的IP地址范围，比如市级以上**银行信息系统的IP地址的安全相关数据。

这些被采集的安全相关数据，会利用大数据平台进行预处理、安全传输、汇聚和融合，存储到**商业银行数据中心的专门数据库中，作为大数据安全分析的基础数据源。

S2：根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；

通常，信息系统都会部署安全防护措施，例如防病毒检测软件、恶意代码检测软件、异常流量监测设备和网络入侵检测系统等，这些安全防护措施会发现一些网络异常、恶意代码或安全事件，这就是所述的网络安全威胁线索。根据这样的网络安全威胁线索，在信息系统安全相关数据的数据库中，就可以进一步搜索与该线索相关的数据，搜索得到的数据称为威胁基础数据，即与该威胁线索密切相关的数据。例如，我们通过某台主机上的恶意代码检测软件，发现了一种恶意代码，然后提取该恶意代码的特征作为网络安全威胁线索，在信息系统的安全相关数据中搜索，发现了更多的与该恶意代码相关的数据，这些数据就是威胁相关数据；从这些数据，我们可以看到，该恶意代码可能对信息系统有着较大面积或较长时间的攻击危害。

S3：基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。

基于搜索得到的威胁基础数据，利用关联方分析模型和威胁模型，就能够得到所述威胁的完整信息。这些信息通常包括三个部分：(1)高级网络安全威胁的特征、动态域名、控制端网络地址、传播方式、传播途径和作者等自身属性信息；(2)获得高级网络安全威胁对信息系统产生的安全事件和危害后果；(3)获得信息系统曾经对高级网络安全威胁所采取的安全防护行为和效果。

继续方法S2中的例子，我们得到了该恶意代码在信息系统中活动的所有数据(即威胁基础数据)，接着基于恶意代码威胁模型，例如，恶意代码会以什么方式运行(进程注入)，运行后会在内存的什么地址，会在文件系统中释放什么文件及存放位置，使用什么动态域名，访问什么IP地址，侵入了多少主机，传走了多少文件等等，我们会得到关于该恶意代码属性的绝大部分信息甚至全部信息，基于这些信息就可以得到网络安全威胁的全貌。

进一步的，在执行S2在安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据时，其可以采用但不局限于以下的方法实现，如图2所示，该方法包括：

S201：以所述网络安全威胁线索中的域名，在所述安全相关数据中搜索与该域名所指向的网络地址相关的所有威胁基础数据。

通常，恶意代码为了隐藏自己的行踪和控制端的网络地址，会采用动态域名来动态设置控制端的IP地址。通过逆向分析或捕捉活体样本运行的网络连接，会得到恶意代码使用的动态域名，有的是一个动态域名，有的可能是一组动态域名。利用这些动态域名，能够得到他们对应的IP地址，进而把这些IP地址与信息系统的网络连接产生的网络数据，以及与这些IP地址连接的信息系统的主机和服务器的安全相关数据都搜索出来，就构成了与该恶意代码相关的威胁基础数据；这些威胁基础数据都是通过该恶意代码的动态域名得到的，这里，动态域名就是网络安全威胁线索。

例如，从IP地址为(192.168.0.6)的监测主机上发现恶意代码M1，运用逆向分析法，或捕获它的网络连接行为，可分析得出该恶意代码M1的动态域名XXX.abc.org，这就是网络安全威胁线索。进一步通过Whois查询或抓包等工具分析出该恶意动态域名指向的IP地址(比如202.168.1.16)，通常就是恶意代码M1的控制端地址。随后，从网络安全相关数据中搜索得到与恶意代码M1的控制端IP相关的网络会话,在这些网络会话中搜索、匹配，可发现信息系统中的其他主机IP(比如192.168.0.7)与该恶意代码控制端有过会话记录，可以判断主机IP(192.168.0.7)已遭受恶意代码M1攻击。这样，主机IP(192.168.0.7)的安全相关数据也成为威胁基础数据。

S202：以所述网络安全威胁线索中的网络地址，在所述安全相关数据中搜索与该网络地址相关的所有威胁基础数据。

如果网络安全威胁线索为网络地址，就以网络地址来搜索安全相关数据，获取所有与该网络地址有过网络连接的IP的安全相关数据，作为威胁基础数据。例如，如果我们确认某个IP地址为可疑的地址，或者是共享的威胁情报所提供的恶意IP地址，那么，我们就可以在安全相关数据中搜索信息系统是否有主机与该恶意IP地址有过网络连接。如果存在网络连接，那么与该恶意IP地址有过网络连接的信息系统中的所有主机的安全相关数据，都会成为威胁基础数据。而该恶意IP地址，就是所述网络安全威胁线索。

S203：以所述网络安全威胁线索中的威胁特征，在所述安全相关数据中搜索包含所述威胁特征的所有威胁基础数据。

网络安全威胁线索中的威胁特征，可用来搜索信息系统中与威胁线索相关的数据，通常，这种搜索会更加耗时，因为是基于数据内容的搜索。例如，我们获得了一个最新的恶意代码样本特征，接着，利用该特征在安全相关数据中进行搜索，得到信息系统中有若干台主机的安全相关数据包含该恶意代码特征，这样，这些主机的安全相关数据会成为威胁基础数据；接着，我们会分析这些主机的网络连接，获取与其进行网络连接的其他IP地址，或者监测这些主机的网络连接，尝试发现异常的动态域名；这样，这些新发现的动态域名和IP地址，又会成为新的威胁线索，进而重复S201和S202步骤，又会获得更多的威胁基础数据。

本发明实施例还提供一种基于大数据的网络攻击监测装置，如图3所示，该基于大数据的网络攻击监测装置包括：

主机资源数据采集模块301，

用于采集信息系统终端主机上的安全相关数据。该模块可以以硬件或者软件的形式运行在终端主机上，信息系统的每一台主机都应该安装此模块。该模块可基于策略采集包括但不限于主机上的操作系统配置、进程启动与停止、文件访问行为、审计日志和安全软件告警信息等主机资源数据，并将数据传送到大数据平台。

网络数据采集模块302，

用于基于策略采集信息系统的网络数据包，策略可以指定网络地址、子网和整个信息系统。该模块可以作为独立设备或运行在专门的服务器上，可采集所有的网络数据包，也可根据安全策略，仅采集特定协议、特定子网或网络地址的网络数据。该模块与交换机的镜像端口连接，以获得流经交换机的所有网络数据包。采集的网络数据包会传输汇聚到大数据平台。

威胁数据搜索模块303，

用于根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据。网络安全威胁线索来自于信息系统中的安全防护设备，比如防病毒软件、恶意代码检测软件和物理入侵检测系统等，也可源于威胁情报共享得到的威胁线索。利用威胁线索在大数据平台中的安全相关数据中进行搜索，得到与该线索相关的所有威胁基础数据。

威胁识别模块304，

用于基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。例如，该模块基于上述搜索得到的威胁基础数据，会根据网络安全威胁模型，来关联分析这些威胁基础数据，如果相关的恶意或攻击行为和代码特征与某个特定的威胁模型相匹配，就能够确定具体的网络安全威胁，进而再分析出该威胁对信息系统所产生的攻击行为和侵害后果，以及信息系统曾经对该威胁所做出的安全防护动作。

基于大数据存储分析能力的提升，可以实现对多源异构数据的挖掘分析、大规模时空范围内的安全威胁关联挖掘。所述基于大数据的网络攻击监测装置，具有根据威胁线索，就能在海量的历史数据中挖掘出与该威胁线索相关的数据的能力。例如检测到某个主机存在漏洞或者遭受攻击时，可进一步关联系统中其他主机是否存在相同漏洞或攻击，是否存在跳板主机进行内网渗透行为等。

例如，当新发现一个具有强隐蔽性、持续性、针对性的新型病毒A入侵到信息系统时，我们会很想知道，病毒A是刚感染进信息系统？还是已经感染进入很长时间了？过去，由于没有大数据平台的支撑，历史的安全相关数据通常不会存储，我们也就无从得知。而在具有大数据平台支撑的条件下，我们会将病毒A的相关特征作为威胁线索，在大数据平台的安全相关数据中进行搜索。这时，我们可以发现，病毒A也许半年以前就已经感染进入信息系统了，只不过当时我们的防病毒检测能力还不能检测。这得益于大数据方法和平台对历史数据的采集和存储，以及后端的大数据安全分析。利用本发明，我们能够通过采集更大时空范围的安全相关数据进行关联分析，来发现一种网络安全威胁对信息系统进行攻击的全过程，从而提高网络安全态势感知能力，提升计算机安全事件取证能力。

图3中，主机资源数据采集模块301和网络数据采集模块302采集的安全相关数据，首先传输到大数据平台；大数据平台随后对这些数据进行预处理、传输汇聚到数据中心，数据中心对数据进行融合，存储到数据库中以备使用；威胁数据搜索模块303会根据得到的网络安全威胁线索，在数据库中搜索与该线索相关的威胁基础数据；最后，威胁识别模块304根据网络安全威胁模型和关联分析模型，基于威胁基础数据，识别网络安全威胁，获得该威胁的所有属性信息和行为信息，以及信息系统安全防护措施的防御信息。

本实施例方法所述的功能如果能以软件功能单元的形式实现并作为独立的产品销售或使用时，可以储存在一个计算机可读取存储介质中。故本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来。前述的存储介质包括且不限于：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中的各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或者相似的部分相互参见即可。

以上公开的实施例仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的网络攻击监测方法，用于高级网络安全威胁的识别，其特征在于，分为如下步骤：

S1：采集信息系统超大时空范围的安全相关数据；

S2：根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；

S3：基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。

2.根据权利要求1所述的网络攻击监测方法，其特征在于，在所述“S1：采集信息系统超大时空范围的安全相关数据”之前，能够制定数据采集的时间策略和空间策略；所述时间策略可指定数据采集的开始时间点和结束时间点，所述时间点可设置为从信息系统开始运行的时间至当前时间中的任意时间点；所述空间策略可指定数据采集的网络地址范围，可设置为采集一个网络地址至信息系统全部的网络地址中的任意数量。

3.根据权利要求1所述的网络攻击监测方法，其特征在于，在所述“S1：采集信息系统超大时空范围的安全相关数据”之后，所述安全相关数据通过大数据平台进行预处理、传输汇聚和融合，并存储到数据库。

4.根据权利要求1所述的网络攻击监测方法，其特征在于，在所述“S2：根据网络安全威胁线索”之前，应利用信息系统中常规的病毒检测、恶意代码检测和网络入侵检测等安全防护产品的威胁检测结果，获得所述网络安全威胁线索。

5.根据权利要求1所述的网络攻击监测方法，其特征在于，所述“在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据”，具体包括：

S201：以所述网络安全威胁线索中的域名，在所述安全相关数据中搜索与该域名所指向的网络地址相关的所有威胁基础数据；

S202：以所述网络安全威胁线索中的网络地址，在所述安全相关数据中搜索与该网络地址相关的所有威胁基础数据；

S203：以所述网络安全威胁线索中的威胁特征，在所述安全相关数据中搜索包含所述威胁特征的所有威胁基础数据。

6.根据权利要求5所述的网络攻击监测方法，其特征在于，在所述“S203：以所述网络安全威胁线索中的威胁特征，在所述安全相关数据中搜索包含所述威胁特征的所有威胁基础数据”中，如果搜索得到的威胁基础数据还包含域名或网络地址信息，则继续重复S201和S202步骤。

7.根据权利要求1所述的网络攻击监测方法，其特征在于，所述“S3：基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁”，具体包括：

获得高级网络安全威胁的特征、动态域名、控制端网络地址、传播方式、传播途径和作者等自身属性信息；

获得高级网络安全威胁对信息系统产生的安全事件和危害后果；

获得信息系统曾经对高级网络安全威胁所采取的安全防护行为和效果。

8.一种基于大数据的网络攻击监测装置，用于高级网络安全威胁的识别，其特征在于，包括：

主机资源数据采集模块，用于采集信息系统超大时空范围的安全相关数据，运行在终端主机上，采集操作系统配置、进程启动与停止、文件访问行为、审计日志和安全软件告警信息等主机资源数据；

网络数据采集模块，用于采集信息系统超大时空范围的安全相关数据，作为独立设备或运行在专门的服务器上，采集网络数据；

威胁数据搜索模块，用于根据网络安全威胁线索，在所述安全相关数据中搜索与所述网络安全威胁线索相关的威胁基础数据；

威胁识别模块，用于基于所述威胁基础数据，根据威胁模型和关联分析模型识别并描述高级网络安全威胁。

9.根据权利要求8所述的网络攻击监测装置，其特征在于，所述安全相关数据在采集之后，通过大数据平台进行预处理、传输汇聚和融合，并存储到数据库中，以备威胁数据搜索模块进行处理。

10.根据权利要求8所述的网络攻击监测装置，其特征在于，所述识别并描述高级网络安全威胁包括：

获得网络安全威胁的特征、动态域名、控制端网络地址、传播方式、传播途径和作者等自身属性信息；

获得网络安全威胁对信息系统产生的安全事件和危害后果；

获得信息系统曾经对网络安全威胁采取的安全防护行为和效果。