CN112688956B

CN112688956B - 一种基于关联规则的实时安全检测方法及系统

Info

Publication number: CN112688956B
Application number: CN202011592639.5A
Authority: CN
Inventors: 陈龙; 李元雄
Original assignee: Kelai Network Technology Co ltd
Current assignee: Kelai Network Technology Co ltd
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2023-04-28
Anticipated expiration: 2040-12-29
Also published as: CN112688956A

Abstract

本发明提供了一种基于关联规则的实时安全检测方法，从用户侧接收配置文件，对配置文件中关联规则进行解析生成数据结构与分析器；接收到会话时将会话中的每个事件分别与数据结构、分析器进行匹配，若匹配成功，生成对应新的匹配事件；对所有生成的匹配事件进行模式匹配或统计匹配，当匹配事件满足模式匹配或统计匹配的声明条件，产生警报。本发明支持网络流量分析中的各种复杂场景，使用动态加载的方法，可支持灵活变更检测规则；支持多事件关联匹配，使用事件组装模块，支持多事件进行复杂关联后告警；系统简洁易扩展，降低了维护成本；可复用，降低了开发成本。

Description

一种基于关联规则的实时安全检测方法及系统

技术领域

本发明涉及安全检测领域，特别涉及一种基于关联规则的实时安全检测方法及系统。

背景技术

随着计算机技术和网络技术的发展，网络安全问题越来越受到重视。不同种类的网络安全设备都被部署在网络中，它们包括防火墙、入侵检测系统、WAF、IPS、用户行为日志审计系统等。针对攻击检测的安全设备，如入侵检测系统、APT攻击检测系统，WAF等安全系统，都具有流量获取、数据包解析、元数据提取、特征匹配等典型网络攻击检测方法。

在Snort等开源网络安全系统或者其他网络安全检测系统中，其针对攻击的检测方式都以一个事件为单位，而事件的产生都来源于单一会话，例如一个HTTP的请求及应答，或者一个TCP的会话。这些安全检测系统以这些事件为独立的检测单元，将研究所得的攻击特征，针对该事件进行攻击特征匹配，从而生成产生攻击告警。

其次，攻击检测特征的复杂度会影响系统的稳定性与性能，复杂的攻击检测特征需要系统做大量的运算，从而会消耗系统的CPU、内存、硬盘等计算资源，当计算资源达到上限时，系统运行的稳定性和性能就会受到影响。当系统运行的性能和稳定性受到影响时，就会导致系统遗漏网络中的数据，从而造成漏报，使安全防御策略失效。故大多数安全检测系统不支持通过灵活变更安全检测规则，以避免系统漏报。但真实网络环境中，又因为网络业务场景各不相同，会有大量正常的业务拥有攻击特征，或者攻击者使用编码，绕过，隐藏等方式将攻击特征进行隐藏，从而造成安全系统产生大量误报或漏报，当安全系统产生大量误报时，就会导致安全运营人员无法从大量误报中找出真正的攻击行为或者当攻击者使用了隐藏、绕过等技术避开了固定的安全检测特征，也会使安全防御策略失效。

网络攻击行为随着攻击技术的发展，越来越多安全检测绕过技术以及低特征或者0特征-0DAY漏洞利用被攻击者利用在攻击过程中，高级攻击行为往往需要结合多个事件综合判断才能发现其攻击特征，基于单事件或者固定特征的检测方法无法适配复杂多变的网络环境，根据网络现场进行攻击检测策略调整，从而无法发现较为高级的攻击行为。

大多数传统安全检测系统基于固定特征匹配，无法根据现场网络情况灵活变更其检测模型。Snort开源网络安全检测系统支持以脚本语言输入检测模型，但其脚本语言在实施上过于复杂，增加了工程成本。Snort脚本语言并不是完全基于事件设计的。Snort并没有抽象地看待输入的各种数据类型。Snort基于单会话匹配，无法满足多事件多会话实时关联匹配的需求。在Snort中，会话是规则的基本单位。当会话到来时，一条规则最多产生一条警报。在匹配时，不能把不同会话的数据关联到一起，产生新的警报。

发明内容

针对现有技术中存在的问题，提供了一种基于关联规则的实时安全检测方法及系统，够使用简洁易扩展的表达式语言快速灵活定义检测模型；同时拥有能够对多事件多会话进行模式匹配、关联匹配和统计匹配的能力。

本发明采用的技术方案如下：一种基于关联规则的实时安全检测方法，从用户侧接收配置文件，对配置文件中关联规则进行解析生成数据结构与分析器；接收到会话时将会话中的每个事件分别与数据结构、分析器进行匹配，若匹配成功，生成对应新的匹配事件；对所有生成的匹配事件进行模式匹配或统计匹配，当匹配事件满足模式匹配或统计匹配的声明条件，产生警报。

进一步的，所述配置文件包含若干关联规则，每条关联规则包含事件检测部分和事件组装部分；所述事件检测部分包括IP会话、端口、协议、过滤器表达式、自定义字段表达式声明，所述自定义字段表达式声明由名称和表达式两部分组成；事件检测部分声明当且仅当某一网络事件的IP地址、端口、协议都满足条件，并且对于该事件相关属性的过滤器表达式计算结果为真时，会生成新的匹配事件；所述事件组装部分为组装类型的声明，包括模式匹配声明以及统计匹配声明；模式匹配用于对不同时间不同类型的事件顺序进行匹配；统计匹配用于对不同时间不同类型的事件数目进行匹配。

进一步的，匹配模式声明包含一个或多个事件检测声明，并声明了事件检测之间的顺序关系、时间关系以及逻辑关系；统计匹配声明包含一个事件检测声明，并声明了匹配的时间窗口、不同事件按某特征进行计数的方式以及计数总数的范围，该特征是事件属性的任意组合；所述计数的方式包括：

(1)未指定任何属性，直接对事件进行计数；

(2)计算一种属性或多种属性同时出现的次数；

(3)计算一种属性或多种属性同时出现时，另一种属性或多种属性互不相同的数目。

进一步的，解析过程包括：所有规则的IP会话、端口、协议在解析时被加入到一个用于高速匹配的数据结构中，通过对过滤器表达式、自定义字段表示式进行表达式解析生成分析器。

进一步的，表达式解析流程包括：

步骤1.1、采用词法分析器、语法分析器生成的解析器解析表达式字符串，得到表达式语法树；

步骤1.2、按照逻辑运算符号拆分表达式语法树，得到多个子表达式；每个子表达式仅对某一特定事件属性进行计算；

步骤1.3、为每个表达式按照计算结果的类型从存储器申请存储ID；按照事件种类聚合表达式，相同结构的子表达式共用同一存储ID；

步骤1.4、每个子表达式生成一个子分析器，用于分析特定事件，并将分析结果存储到存储ID指向的内存空间；

步骤1.5、总的表达式生成一个会话分析器，并为其分配存储ID，会话分析器在会话结束时对其他分析器的结果做一次计算，并把计算结果存储到存储ID指向的内存空间内。

进一步的，所述步骤1.3中存储区为用于维护存储ID以及存储ID所表示的存储类型信息的数据结构，是哈希表或者其它用来存储key-value数据的数据结构。

进一步的，生成新的匹配事件过程为：

步骤2.1、判断各个关联规则是否匹配该会话的IP、端口、协议基础信息；

步骤2.2、若会话基础信息匹配，创建分析上下文；所述分析上下文为一块内存空间，存放存储区以及由配置文件解析生成的分析器；

步骤2.3、子分析器分析会话持续过程中产生的所有事件，生成结果并存储到分析器对应的存储空间中；

步骤2.4、分析结束时，通知会话分析器对子分析器结果进行计算，判断计算结果是否为真，若为真，表示检测成功，将自定义字段表达式的计算结果赋值到存储ID指向的存储中；

步骤2.5、若会话分析器计算结果为真，则产生新的匹配事件；所述匹配事件包含IP地址、端口、协议基础信息以及自定义字段表达式的计算结果。

进一步的，所述模式匹配中通过状态机实现当前匹配状态的转移；假设有匹配事件a、b，具体流程如下：

步骤3.1、若事件a到来，转移状态为等待匹配事件b到来，并将事件a输入到子分析器执行计算；

步骤3.2、检查当前等待是否超时，若超时，表示当前匹配失败，跳转到步骤3.1；若事件b到来，输入事件b到子分析器中执行计算；

步骤3.3、通知会话分析器结束事件匹配，会话分析器执行表达式计算，并返回计算结果；

步骤3.4、检测表达式计算结果是否为真，若为真，则表示匹配成功，输出警报。

进一步的，所述统计匹配过程为：根据统计匹配声明，采用所声明的计数方式进行计数，在规定时间窗口内，当计数结果不在统计匹配声明的范围内时，触发警报。

本发明还提供了一种基于关联规则的实时安全检测系统，包括配置加载模块、检测模块及组装模块；

配置加载模块，加载用户通过网络或本地文件修改的配置，并将解析得到的用于匹配的数据结构与分析器应用至检测模块与组装模块；

检测模块，接收外部输入的事件，基于配置模块的解析得到的数据结构与分析器对事件进行事件关联，产生新的匹配事件并输出；

组装模块，持续接收检测模块输出的匹配事件，对接收到的匹配事件进行模式匹配和统计匹配，当多个事件匹配后，产生警报。

与现有技术相比，采用上述技术方案的有益效果为：

1.支持网络流量分析中的各种复杂场景，使用动态加载的方法，可支持灵活变更检测规则。

2.支持多事件关联匹配，使用事件组装模块，支持多事件进行复杂关联后告警。

3.系统简洁易扩展，降低了维护成本。

4.可复用，降低了开发成本。

附图说明

图1为本发明提出的基于关联规则的实时安全检测方法流程图。

图2为本发明提出的基于关联规则的实时安全检测系统示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

事件是在网络流量分析过程中产生的信息实体，具有一定的结构特征。在本发明方案中，事件包括但不限于网络协议日志、文件日志、会话日志；每一种事件包含一个时间戳和若干属性。每一属性有名称和值，值有不同类型。每一个会话在流量分析阶段可能会产生不同的事件类型，比如协议、文件等。本发明中的事件可以在系统启动时动态注册，实现了在不同产品中的灵活可复用。换句话说，本发明中不和具体的事件种类绑定。

实施例1

本发明提供了一种基于关联规则的实时安全检测方法，从用户侧接收配置文件，对配置文件中关联规则进行解析生成数据结构与分析器；接收到会话时将会话中的每个事件分别与数据结构、分析器进行匹配，若匹配成功，生成对应新的匹配事件；对所有生成的匹配事件进行模式匹配或统计匹配，当匹配事件满足模式匹配或统计匹配的声明条件，产生警报。

其中，所述配置文件包含若干关联规则，每条关联规则包含事件检测部分和事件组装部分；所述事件检测部分包括IP会话、端口、协议、过滤器表达式、自定义字段表达式声明，所述自定义字段表达式声明由名称和表达式两部分组成；事件检测部分声明当且仅当某一网络事件的IP地址、端口、协议都满足条件，并且对于该事件相关属性的过滤器表达式计算结果为真时，会生成新的匹配事件；所述事件组装部分为组装类型的声明，包括模式匹配声明以及统计匹配声明；模式匹配用于对不同时间不同类型的事件顺序进行匹配；统计匹配用于对不同时间不同类型的事件数目进行匹配。在一个优选实施例中，IP会话支持范围、掩码、单个IP输；端口支持范围、单个端口输入。

在一个优选实施例中，匹配模式声明包含一个或多个事件检测声明，并声明了事件检测之间的顺序关系、时间关系以及逻辑关系；统计匹配声明包含一个事件检测声明，并声明了匹配的时间窗口、不同事件按某特征进行计数的方式(在下述三种计数方式任选一种)以及计数总数的范围，该特征是事件属性的任意组合，如IP地址、端口等；所述计数的方式包括：

(1)未指定任何属性，直接对事件进行计数；

(2)计算一种属性或多种属性同时出现的次数；

所述解析过程包括：所有规则的IP会话、端口、协议在解析时被加入到一个用于高速匹配的数据结构中，通过对过滤器表达式、自定义字段表示式进行表达式解析生成分析器。

本发明中过滤器表达式和自定义字段表达式所使用的表达式语法如下：

表达式解析流程包括：

步骤1.2、按照‘&&’和‘||’、‘！’等逻辑运算符号拆分表达式语法树，得到多个子表达式；每个子表达式仅对某一特定事件属性进行计算，不涉及两种不同种类事件的关联。

步骤1.3、为每个表达式按照计算结果的类型从存储器申请存储ID；按照事件种类聚合表达式，相同结构的子表达式共用同一存储ID；使用正则表达式或者模式匹配时，聚合相同事件的模式字符串。在Hyperscan正则表达式匹配库里面，这些模式字符串位于同一个Database中。

所述步骤1.3中存储区为用于维护存储ID以及存储ID所表示的存储类型信息的数据结构，是哈希表或者其它用来存储key-value数据的数据结构。本实施例中，自定义字段由名称和表达式两部分组成，其中表达式计算结果的类型可以是任意支持的类型，不一定必须像过滤器表达式那样是布尔值。本实施例中，词法分析器采用flex，语法分析器采用bison实现。

所述生成新的匹配事件过程为：

本实施例中，模式匹配过程为：匹配过程中通过状态机实现当前匹配状态的转移；假设有匹配事件a、b，具体流程如下：

步骤3.4、检测表达式计算结果是否为真，若为真，则表示匹配成功，输出警报。每一个事件a的到来会生成一个新的状态机进行匹配。因此，产生警报的数目不会多于事件a的数目。

本实施例中，统计匹配过程为：根据统计匹配声明，采用所声明的计数方式进行计数，在规定时间窗口内，当计数结果不在统计匹配声明的范围内时，触发警报。

安全检测的目的在于检测出网络中的异常行为。在本发明中，可以声明IP地址、端口作为过滤条件，通过表达式语言来检测同一会话中各事件是否出现异常，或者事件之间的组合是否出现异常。在组装阶段，可以判断会话之间的事件组合是否出现异常。例如，可以使用本发明的统计匹配功能实现对端口扫描攻击的检测，可以使用本发明的模式匹配功能来关联多次攻击以判断攻击是否成功。

实施例2

在实施例1的基础上，如图2所示，提供了一种基于关联规则的实时安全检测系统，包括配置加载模块、检测模块及组装模块；

检测模块，接收外部输入的事件，基于配置模块的解析得到的数据结构与分析器对事件进行事件关联，产生新的匹配事件并输出；检测模块用于单会话多事件的匹配和关联，每一个事件的匹配使用表达式中的一个子表达式来表示，多个事件的关联使用子表达式之间的逻辑关系来表示；

组装模块，持续接收检测模块输出的匹配事件，对接收到的匹配事件进行模式匹配和统计匹配，当多个事件匹配后，产生警报。组装模块实现对检测模块生成事件的关联功能。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims

1.一种基于关联规则的实时安全检测方法，其特征在于，从用户侧接收配置文件，对配置文件中关联规则进行解析生成数据结构与分析器；接收到会话时将会话中的每个事件分别与数据结构、分析器进行匹配，若匹配成功，生成对应新的匹配事件；对所有生成的匹配事件进行模式匹配或统计匹配，当匹配事件满足模式匹配或统计匹配的声明条件，产生警报；

所述配置文件包含若干关联规则，每条关联规则包含事件检测部分和事件组装部分；所述事件检测部分包括IP会话、端口、协议、过滤器表达式、自定义字段表达式声明，所述自定义字段表达式声明由名称和表达式两部分组成；事件检测部分声明当且仅当某一网络事件的IP地址、端口、协议都满足条件，并且对于该事件相关属性的过滤器表达式计算结果为真时，会生成新的匹配事件；所述事件组装部分为组装类型的声明，包括模式匹配声明以及统计匹配声明；模式匹配用于对不同时间不同类型的事件顺序进行匹配；统计匹配用于对不同时间不同类型的事件数目进行匹配。

2.根据权利要求1所述的基于关联规则的实时安全检测方法，其特征在于，模式匹配声明包含一个或多个事件检测声明，并声明了事件检测之间的顺序关系、时间关系以及逻辑关系；统计匹配声明包含一个事件检测声明，并声明了匹配的时间窗口、不同事件按某特征进行计数的方式以及计数总数的范围，该特征是事件属性的任意组合；所述计数的方式声明为下述任意一种：

(1)未指定任何属性，直接对事件进行计数；

(2)计算一种属性或多种属性同时出现的次数；

3.根据权利要求2所述的基于关联规则的实时安全检测方法，其特征在于，解析过程包括：所有规则的IP会话、端口、协议在解析时被加入到一个用于高速匹配的数据结构中，通过对过滤器表达式、自定义字段表示式进行表达式解析生成分析器。

4.根据权利要求3所述的基于关联规则的实时安全检测方法，其特征在于，表达式解析流程包括：

步骤1.3、为每个表达式按照计算结果的类型从存储区申请存储ID；按照事件种类聚合表达式，相同结构的子表达式共用同一存储ID；

5.根据权利要求4所述的基于关联规则的实时安全检测方法，其特征在于，所述步骤1.3中存储区为用于维护存储ID以及存储ID所表示的存储类型信息的数据结构，是哈希表或者用来存储key-value数据的数据结构。

6.根据权利要求5所述的基于关联规则的实时安全检测方法，其特征在于，所述生成新的匹配事件过程为：

步骤2.4、分析结束时，通知会话分析器对子分析器结果进行计算，判断计算结果是否为真，若为真，表示检测成功，将自定义字段表达式的计算结果赋值到存储ID指向的内存空间内；

7.根据权利要求4-6任一所述的基于关联规则的实时安全检测方法，其特征在于，所述模式匹配包括：假设有匹配事件a、b，具体流程如下：

8.根据权利要求7所述的基于关联规则的实时安全检测方法，其特征在于，所述统计匹配过程为：根据统计匹配声明，采用所声明的计数方式进行计数，在规定时间窗口内，当计数结果不在统计匹配声明的范围内时，触发警报。

9.一种基于关联规则的实时安全检测系统，其特征在于，包括配置加载模块、检测模块及组装模块；

组装模块，持续接收检测模块输出的匹配事件，对接收到的匹配事件进行模式匹配和统计匹配，当多个事件匹配后，产生警报；

所述配置包含若干关联规则，每条关联规则包含事件检测部分和事件组装部分；所述事件检测部分包括IP会话、端口、协议、过滤器表达式、自定义字段表达式声明，所述自定义字段表达式声明由名称和表达式两部分组成；事件检测部分声明当且仅当某一网络事件的IP地址、端口、协议都满足条件，并且对于该事件相关属性的过滤器表达式计算结果为真时，会生成新的匹配事件；所述事件组装部分为组装类型的声明，包括模式匹配声明以及统计匹配声明；模式匹配用于对不同时间不同类型的事件顺序进行匹配；统计匹配用于对不同时间不同类型的事件数目进行匹配。