CN112583846A

CN112583846A - 一种面向中小企业网络安全事件复杂分析系统

Info

Publication number: CN112583846A
Application number: CN202011559119.4A
Authority: CN
Inventors: 不公告发明人
Original assignee: Nanjing Liancheng Technology Development Co ltd
Current assignee: Nanjing Liancheng Technology Development Co ltd
Priority date: 2020-12-25
Filing date: 2020-12-25
Publication date: 2021-03-30

Abstract

本发明公开了一种面向中小企业网络安全事件复杂分析系统，其特征在于，异常检测与签名检测和查询分析结合使用，而不是完全替代签名检测和查询分析，大多数攻击将通过签名检测和查询分析来捕获，而异常检测将着重在未知的可疑行为或攻击；所述系统，还包括：企业网络、分布式存储、内存数据库、异常检测模块和核心模块。通过本发明，解决了中小企业网络安全事件复杂分析架构的可扩展性、大数据量和系统性能的问题。

Description

一种面向中小企业网络安全事件复杂分析系统

技术领域

本发明涉及计算机、网络安全、分布式系统、人工智能、网络管理和自动控制的技术领域，尤其涉及到一种面向中小企业网络安全事件复杂分析系统。

背景技术

SIEM（Security Information and Event Management安全信息和事件管理）系统出现于上世纪90年代后期，被用于规范和集中管理企业网络中的安全数据流。该系统的使用与当时新的安全技术紧密地结合在一起；例如，当时的IDS（Intrusion DetectionSystems入侵检测系统）能够识别网络（基于网络的IDS）或工作站（基于主机的IDS）中的入侵或攻击；又如，当时的日志管理软件已经用于收集和分析来自所有系统和网络节点的日志消息；又如，SIM（Security Information Management安全信息管理）产品专门负责将与安全相关的数据收集到中央信息存储器中；又如，使用SEM（Security Event Managers安全事件管理器）的工具来处理和分析所有这些数据，并为安全运维服务人员生成告警通知，即使是在下班时间，实现了7 ×24无人值守。因此，SIEM系统源于SIM和SEM方法，以及安全事件的统一集中收集、处理和报告。“SIEM技术提供实时事件管理和对来自各种异构源的安全数据的历史分析”，在当时应该算是较为全面的一个定义。

目前，SIEM技术已经成为中小企业市场安全管理和运维过程中必不可少的一部分。然而，尽管市场快速增长和技术不断进步，已有SIEM仍存在诸多的缺陷和问题。例如，存在架构的可扩展性问题，以及在收集、存储、分析和可视化方面的挑战；又如，存在处理异构大数据量的问题；又如，存在网络入侵相关大数据的机器学习分析问题；又如，存在深度包分析的解决方案的不可扩展和不适用于产生大量数据的大网络；又如，大量的数据的异常检测问题等。

发明内容

为了解决上述技术问题，本发明提供了一种面向中小企业网络安全事件复杂分析系统。

一种面向中小企业网络安全事件复杂分析系统，其特征在于，异常检测与签名检测和查询分析结合使用，而不是完全替代签名检测和查询分析，大多数攻击将通过签名检测和查询分析来捕获，而异常检测将着重在未知的可疑行为或攻击；

所述系统，还包括：企业网络、分布式存储、内存数据库、异常检测模块和核心模块；

所述企业网络，提供原始的日志数据，包括数据源模块；

所述分布式存储，接收来自中小企业网络的数据源模块发送过来的日志数据，提供原始的日志数据的缓存、索引、存储、查询和签名分析，包括转发模块、索引模块、数据存储模块和签名分析模块；

所述内存数据库，用于增强系统性能，包括预测分析库和集成模块；

所述核心模块，提供可疑事件检测和可视化功能，包括仪表盘、日志浏览器、攻击图、统计、基于签名检测、基于查询分析和异常检测。

进一步地，进一步地，所述签名分析模块，直接与转发模块相连接，转发模块直接转发原始的日志数据到签名分析模块中，在经转发模块之后立即被签名分析模块应用于恶意活动的实时分析与检测。

进一步地，所述索引模块，其数量多少，由日志数据量的大小和系统性能要求所决定。

本发明的技术效果在于：

在本发明中，提供了一种面向中小企业网络安全事件复杂分析系统，其特征在于，异常检测与签名检测和查询分析结合使用，而不是完全替代签名检测和查询分析，大多数攻击将通过签名检测和查询分析来捕获，而异常检测将着重在未知的可疑行为或攻击；所述系统，还包括：企业网络、分布式存储、内存数据库、异常检测模块和核心模块。通过本发明，解决了中小企业网络安全事件复杂分析架构的可扩展性、大数据量和系统性能的问题。

附图说明

图1是一种面向中小企业网络安全事件复杂分析系统的框架示意图。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

现代SIEM系统面临着几个挑战，主要如下：

首先，数据的异构性给SIEM系统的开发人员带来了许多问题，因为SIEM系统应该能够从所有可能的日志消息格式中提取和处理信息。处理不同格式的一种方法是分别为每种格式开发类似的分析技术（签名和过滤器）。例如Snort，一个开源的网络入侵预防和检测系统，对每个支持的应用程序都有唯一的签名，这就产生了3000多条规则。解决不同格式问题的另一种方法是将日志消息转换为一种常见格式，如CEF（Common Executable Format通用可执行格式）或IODEF（Incident Object Description and Exchange Format,安全事件描述交换格式）。在这种情况下，主要的挑战是培育一种方便的通用日志格式，它一方面能够存储来自所有可能数据来源的所有信息，另一方面又足够紧凑以进行高速安全分析，再者，这种通用日志格式转换不至于丢失原始日志数据。

其次，大数据量（大数据）问题。在跨国公司/或大公司，甚至在广大的中小企业中，每天都会生成数以十亿个与安全相关的日志。因此，现代SIEM系统应该能够近实时地采集和分析这些数据。但是，许多SIEM安全运维服务人员都会遇到来自SIEM系统仪表盘的查询数据时间长和反应缓慢的问题，迫使他们等待系统响应。又如，“速度慢，超出了可承受的范围”。

最后，市场上的大多数SIEM系统都只实现IDS的基于签名的检测方法，而基于异常的技术由于处理速度慢和误报率高而却很少被使用。然而，需要这样的技术，因为签名对于已知的攻击非常有效，但是在为每一种新类型攻击的此类活动创建新的签名之前，这种基于签名的方法则无法在日志文件中检测到新的恶意活动。

在过去的几十年里，许多不同的异常检测算法被开发出来，被用于安全分析。然而，在SIEM系统中，只有少数算法被应用于日志消息的分析。

下面将回顾最新的几种方法，并讨论它们在异构大安全数据高速处理方面的优缺点：

1、基于k-means聚类的异常检测，是一种无监督的算法。正如本申请所提到的，该方法的主要限制因素是算法的计算复杂性。这使得它应用于相对较小的数据集变得很困难；

2、基于kNN的异常检测算法，这个方法的优点是简单。使用数据视图可以显著减少用于异常值检测的数据量，特别是在用户和工作站数量有限的情况下；但是，该算法和数据视图只能适用于windows事件，如果不重新设计这些数据视图，则不能用于其它数据源；

3、还有一些的异常检测算法，这些算法的优点是将聚类和单类支持向量机（one-class-SVM）相结合，使得分析过程能够并行化，但不对检测结果进行排序，例如，不能按照告警的严重级别从高到低进行排序。

总而言之，要将异常检测算法应用于安全事件，需要为许多具有挑战性的工作找到解决方案，例如：处理大量数据（或者说大数据）、计算日志消息之间的距离、高效聚类等。本申请提供了一种面向中小企业网络安全事件复杂分析系统，能够解决上述问题。

图1是一种面向中小企业网络安全事件复杂分析系统的框架示意图100。包括了查询分析、签名检测和异常检测三种算法，并且，异常检测与签名检测和查询分析是结合使用的，而不是完全替代签名检测和查询分析，大多数攻击将通过签名检测和查询分析来捕获，而异常检测将着重在未知的可疑行为或攻击；

所述企业网络，提供原始的日志数据，包括数据源模块；

所述核心模块，提供可视化和可疑事件检测功能，包括仪表盘、日志浏览器、攻击图、统计、基于签名检测、基于查询分析和异常检测。

进一步地，所述签名分析模块，直接与转发模块相连接，转发模块直接转发原始的日志数据到签名分析模块中，在经转发模块之后立即被签名分析模块应用于恶意活动的实时分析与检测。

如图1所示，本申请支持从任何数据来源收集安全事件112、114、116、118、…，包括企业网络中的安全设备、网络设备、服务器、存储设备、光纤、操作系统、应用服务器、数据库、虚拟机等，以及其它的SIEM和日志管理系统。要采集这些数据，要么借助本申请提供的插件pluin，要么直接通过本申请提供的采集代理，由本申请的日志采集模块负责接收这些数据。

如图1所示，分布式存储模块120中的转发模块122接收所采集的日志数据，并访问索引模块124，根据索引模块将所述采集数据发送到数据存储126设备上进行存储，转发模块122也能够直接转发日志数据到签名分析模块128上，便于基于签名检测155的及时运行和实时地检测。本申请对所采集的数据，不做任何预处理，直接存储所采集的原始数据在本申请所提供的数据存储设备上，因为这种预处理会导致日志信息的丢失。也就是说，转发模块122不做任何预处理，就直接转发到相应的模块中。

索引模块124，其数量多少，由日志数据量的大小和系统性能要求所决定。也就是说，本申请所提供的一种面向中小企业网络安全事件复杂分析系统，能够存储大数据量的日志，具有可扩展性；另一方面，系统性能也是有保障的。

当需要异常检测/和或查询分析而需要所存储的日志数据时，索引模块124是一边查询一边预处理所需要的日志数据；也就是说，索引模块124根据需要仅对所涉及的日志数据进行预处理。换句话说，按需处理日志数据，并将来自不同系统、网络设备、安全设备、数据库和主机等的日志数据被标准化为一种通用格式，即OLF（Object Log Format对象日志格式）。这一步非常重要，因为所有异构的日志消息都被转换成相同的单一格式，这使得来自不同来源和不同原始格式的消息能够相互关联。因此，由于转发模块122与签名分析模块128直接相连接，用于检测恶意活动的签名分析模块128一经转发模块之后立即被应用、分析与检测。然后，将数据推送到内存数据库130中，在那里使用基于查询分析156或异常检测157进一步处理这些数据。基于查询分析156是通过基于预定义的SQL查询来实现的（也可以采用预定义的MML（Man-Machine Language命令行）来实现），而对于异常检测157，内存数据库130提供了两个选项。首先，可以应用机器学习算法，包括预测分析库132的异常检测。在这种情况下，数据将直接就地分析（即在内存数据库130实例的内存中），但分析选项将仅限于预测分析库132中的预测分析算法。另一个选项是通过内存数据库130支持的功能提供的。在这种情况下，只有处理所需的数据被发送到一种二进制的异常检测模块140中，在那里可以使用任何现有集成模块134的封装库和使用自定义代码对它们进行分析。

最后，用户界面允许操作员查看日志和检测到的网络攻击，以及对历史数据运行不同的分析类型，用户界面由两个主要模块所组成：仪表盘151和日志浏览器152。

仪表盘151提供正在处理的日志文件的各种统计信息，显示基于签名的检测的告警，并在检测到多步恶意场景时绘制攻击图153。该仪表盘允许查询数据，以及选择或筛选存储在数据库中的日志消息。对于选定的事件，安全运维服务人员可以重新运行任何签名或应用内存数据库中提供的异常检测算法。

日志浏览器152提供日志查询功能。

通过本申请，不仅能够实时处理日志数据，而且还提供了签名检测155、基于查询分析156，特别是异常检测157方法。

本申请结合了不同的数据分析方法。首先，在将数据持久化到数据库之前应用签名分析模块128。然后，在异常检测157和基于查询分析156的过程中，一边标准化日志，一边实施查询分析156和异常检测157。

日志数据中已知的攻击模式通过基于签名检测155的分析进行检测。该方法源于传统的入侵检测系统IDS，在检测攻击时具有较高的准确性。在本申请中，支持单步和多步攻击的检测。所有的签名均采用EDL（Event Description Language事件描述语言）表示。

基于SQL查询分析主要用于获取正在处理的日志数据的统计信息。此类查询的示例包括：

（1）用户每天的登录活动

（2）每天的事件数

（3）不同类型的事件

（4）登录失败事件的百分比

（5）用户、主机、域控制器的事件总数，等。

使用定制的签名引擎，创建了一个用于检测任何类型应用程序的登录暴力攻击的示例性签名。此签名以EDL编写，并检查以下列出的条件：

（1）一行中至少有10次登录失败，每次登录最多10秒；

（2）如果只有失败的登录出现，则攻击被标记为失败；

（3）如果至少有一次成功登录，则攻击标记为成功；

（4）执行登录尝试的主机的源IPv4地址必须相同；

（5）被攻击的应用程序必须是相同的。

在一个实施例中，这个签名被加载到本申请中，所有可用的windows事件都被推送给它。结果，发现了2808起“暴力袭击”案件，其中24个案例，包含一行失败的登录事件之后是一个成功的登录，这看起来更加可疑，也表明是真正的密码暴力攻击。

除了统计目的外，还可以使用查询分析来关联事件和检测攻击，因为所有数据都可以转换为通用的日志格式，即对象日志格式。在标准化步骤中，从所有类型的事件中提取元数据，例如执行的操作的类型（文件访问、登录等）或状态（失败/成功）。因此，不必单独查询失败的文件访问、登录失败和Kerberos预身份验证失败，而只需查询对象日志格式的一个字段（其中包含事件的状态），就可以选择所有这样的失败。有关详细信息，请参见表1。

表1显示了一个来自内存数据库130的SQLScript，用于选择所有失败的事件。由于标准化，任何Windows事件的状态都被提取并存储在相同的表单和相同的字段中，这样就可以通过简单的查询来捕获所有类型的失败事件。

另一种查询类型是自定义查询，为特定的数据集。表2中给出了这样的查询示例。

由于格式标准化，日志消息中包含的每一条信息都被提取并存储在对象日志格式的单独字段中。因此，很容易在事件之间建立关联。表2显示了这种关联的一个示例，在其中选择访问其他用户的网络共享的用户帐户。表2的第5行和第6行过滤掉了计算机帐户，因为所有常规用户（非计算机帐户）都存储名字、姓氏，除了通过其他方法识别（签名和查询）。在这种策略下，本申请将集中讨论两种异常检测算法，但是，对于“非常特殊的用户，首先要进行的是非常特殊的用户类型的检测”。第二种异常检测算法——本申请关注的是——能够在任何通用数据（包括文本字段）上发现异常，因此不需要为机器学习分析定义任何定制特征。这种类型的算法还应该返回排名结果（例如，按照异常的严重级别排序），允许安全运维服务人员关注一些标记为最可疑的异常事件（或事件簇），而不是低声下气地浏览未排序异常的完整列表。

综上所知，本申请所述的转发模块122，其主要工作是将从远程采集的数据转发到数据存储模块126和/或索引模块124和/或签名分析模块128和/或其它的转发模块和/或第三方。它具有如下优点：

1、会自动在远程位置缓冲数据，当系统由于任何原因而宕机时，这很有用；

2、支持使用插件Plugin技术来采集远程不同的数据源；

3、可以远程管理；

4、支持通过压缩和数据确认安全地发送远程数据；

5、提供了负载平衡的支持，并且更适合于可扩展性和性能；

6、安全，转发模块和接收方之间的整个数据流可以使用SSL进行加密。

本申请的索引模块124，主要功能如下：

1、负责监视已有目录的变动；

2、为新存入的日志数据创建关键词索引，以便实现基于关键字的快速查询；

3、为新存入的日志数据创建关键词索引，以便实现基于时间的快速查询；

4、提供已有索引的日志数据位置的查询功能；

5、提供对原始日志数据的解析功能；

6、实现并行查询，例如采用Map-Reduce技术。

本申请的数据存储模块126，主要功能如下：

1、支持分片存储或bucket存储；

2、支持基于时间戳的分片存储或bucket存储，以便实现基于时间的快速查询；

3、支持跨索引模块的多副本存储和高可用性；

4、支持文本和数字的存储，支持非结构数据和结构数据的存储。

从技术上讲，本申请还有如下功能：

1、数据采集：可以对静态数据进行采集，例如，通过实时监控文件或目录的变化来采集数据；也可以从网络端口或直接从程序或脚本中采集数据。此外，也可以连接到关系数据库中采集、插入或更新数据；

2、数据索引和分布式存储：数据索引是指向存储的数据，分布式存储支持P2P（peer to peer）存储等；

3、查询分析：基于预定义的SQL语言或MML语言，可以查询数据并对其进行操作以获得所需的结果；

4、基于签名检测：基于特征，检测已知的可疑行为或攻击；

5、异常检测：着重检测未知的可疑行为或攻击；

6、内存数据库：增强和改善系统性能。

另外，关于上述提到的用户登录的异常检测，在一个实施例中，为此建立了异常检测算法，将使用数据集的一部分来为每个{group，workstation}和{user，workstation}元组建立一系列具有泊松分布的登录事件模型。创建的模型将应用于数据集的第二部分。使用泊松Poisson模型，能够根据下列公式找到每个这样的元组在每个时间间隔内的概率。

然后，本申请应用了两步概率检查，首先对{group，workstation}元组，然后对{user，workstation}元组进行概率检查。只有当计算出的{group，workstation}元组的时间间隔内事件数的概率太低，将检查来自该用户组的{user，workstation}的概率。一方面，这一措施允许本申请将用户执行其组未预料到的操作的情况标记为异常，另一方面，避免在用户访问以前从未访问过的系统，但该组中的其他用户定期访问该系统时出现误报结果。

为了在实际数据上使用这种方法，需要稍作修改。

首先，实际数据源描述了一个更大的网络，使用更多的参数进行分析是合理的，而不是仅仅使用{group，workstation}和{user，workstation}。例如，考虑到一天中的时间和星期几，可以捕捉到用户在不寻常的时间（午夜）连接到系统的情况，而包含源IP地址则允许本申请捕获来自不同位置的登录。因此，本申请将元组扩展到{source，user，day，hour，destination}，并为每个这样的元组计算每个时间间隔内的事件数；

其次，实际数据源通常不遵循泊松分布。例如，在本申请的数据集中，{source，user，day，hour，destination}元组中有63%的登录事件的方差大于平均值（σ²>1.5μ），而对于36%，登录事件的数量遵循泊松分布，因为方差取0.9μ和μ之间的值，即平均值大约等于方差（λ=μ=σ²）。为了解决63%元组的这个问题，应用了一个负二项模型——泊松分布的一般情况，覆盖了分散的登录事件。因此，了解每个{source，user，day，hour，destination}元组的登录事件数的平均值和方差，然后根据下面的负二项分布计算概率，但前提是σ²>μ；

*

*

最后，拥有的数据集不包含有关用户组的信息。因此，对于这个特定的分析案例，被迫将本申请的算法限制为仅针对{source，user，day，hour，destination}元组的单步概率检查。在查看分析结果之前，本申请提出了一种更通用的异常检测方法。第二类异常检测的一个例子是基于k均值的经典方法。在这种方法下，使用k均值对数据集进行聚类。之后聚类完成后，远离相应聚类质心或远离所有聚类质心的点被标记为异常。

与Poisson/负二项模型相比，这种方法不需要创建定制的特性或指标，例如{source，user，day，hour，destination}元组在一个时间间隔内的登录事件数。相反，它基于事件之间的距离来工作，每个事件由不同的字段组成。这些字段或特征应始终具有相同的度量（以应用欧几里德距离），或至少为正态分布（然后，即使特征具有不同的度量，也可以应用马氏距离Mahalanobis distance。然而，对于不遵循正态分布的文本字段，即使它们被转换成数字，这种基于聚类的异常检测不能直接应用于数据。

将这种异常检测用于大数据分析也带来了其他挑战，特别是在广大的中小企业。例如，k均值函数的复杂性，使得该算法几乎不可能应用于大数据。在前面的工作中，改进了经典的基于k-均值的异常检测方法，使用了如下三种测量：

（1）将数据（包括文本字段）转换为向量空间模型。这使得本申请可以利用余弦相似性作为两个事件之间的距离函数；

（2）在聚类之前，将数据划分为相同大小的子集；这样可以并行执行k-means和减少处理时间；

（3）将距离所有聚类中心的距离高于距离分布的第n个百分位的所有事件标记为异常。这个观测允许本申请根据距离的分布来选择异常值，而不是强制算法在实现时返回固定数量的异常作为在内存数据库的中执行异常检测的结果。

以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。

Claims

1.一种面向中小企业网络安全事件复杂分析系统，其特征在于，异常检测与签名检测和查询分析结合使用，而不是完全替代签名检测和查询分析，大多数攻击将通过签名检测和查询分析来捕获，而异常检测将着重在未知的可疑行为或攻击；

所述企业网络，提供原始的日志数据，包括数据源模块；

2.如权利要求1所述的一种面向中小企业网络安全事件复杂分析系统，进一步地，所述签名分析模块，直接与转发模块相连接，转发模块直接转发原始的日志数据到签名分析模块中，在经转发模块之后立即被签名分析模块应用于恶意活动的实时分析与检测。

3.如权利要求1所述的一种面向中小企业网络安全事件复杂分析系统，所述索引模块，其数量多少，由日志数据量的大小和系统性能要求所决定。