CN110445793A - 一种拥有节点线程级别无冗余计算的分析引擎的分析方法 - Google Patents

Abstract

本发明公开了一种拥有节点线程级别无冗余计算的分析引擎的分析方法，属于信息网络安全分析技术领域。本发明分析引擎工作原理是策略解析部分将不同外置视角、不同外置过滤特征条件的策略进行解析加载，加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块，在单个节点中，引擎视角归类处理逻辑算法将根据自定义策略中的不同视角字段进行独立逻辑处理，然后对策略中特征过滤条件逻辑处理，分析引擎将该节点分配到的策略的所有群体及个体统计算法和过滤条件、研判条件进行去重处理，保证单节点中的过滤条件、特征统计、研判条件只处理1次，其中计算的特征值并存入已计算特征值集合中。

Description

一种拥有节点线程级别无冗余计算的分析引擎的分析方法

技术领域

本发明属于信息网络安全分析技术领域，具体涉及一种拥有节点线程级别无冗余计算的分析引擎的分析方法。

背景技术

企业所辖业务、系统产生的日志对企业来说，至关重要，不仅可以分析业务系统业务需求问题，还可以借助这些日志数据，来分析业务系统的可能存在的安全问题。分析的业务需求问题可以改进系统的相关功能，提升系统的稳定性和可靠性；通过分析业务系统安全问题，加强业务系统安全级别，即在保证用户体验良好的同时保障用户信息数据与资产的安全可靠。

目前市面上有许多的日志分析产品，从技术角度上看大多是基于大数据策略规则分析引擎和机器学习引擎相结合进行分析。

策略规则分析引擎，是指分析引擎中具备核心安全分析能力的可独立工作的功能模块和框架。传统规则分析引擎的工作原理是，策略规则经解析加载，通过分发策略将策略规则分发至可并发计算分析的多个节点或线程；结构化数据先后经过群体特征值统计模块、策略分析模块处理，其中策略分析模块先计算个体策略特征值，然后再进行不等式条件研判。具体的日志流数据特征统计分析过程：群体特征统计模块将时间窗口内所有的群体的策略进行增量统计出群体特征值，连同原日志数据分发给多个节点的分析模块，分析模块先按单个分析视角的视角特征值进行归类后进行策略分析。策略分析先按内设的特征过滤条件进行处理，将得到的特征按既定的时间窗口进行增量统计出该策略视角的所有特征值，然后通过群体的特征值和单个视角的特征值按照既定的研判分析不等式条件进行判断，当策略规则中的多个不等式条件均成立时，根据得到的权重值是否处于威胁区间进行判定告警。

名词定义：

单一性日志：如包括apache访问日志、nginx访问日志等的web中间件访问日志与ssh登录日志、数据库登录日志等日志格式统一及固定的日志，分析条件固化单一。

行为日志：如分析实际业务账户行为操作的访问日志、业务账户审计日志，格式可能固定，但是分析条件随业务场景复杂多变。

1、已有的分析引擎特征处理流程上，群体特征统计模块是单节点设计，将所有的群体特征统计完毕后才将特征值数据分发给并发的多节点分析模块进行各个模块内的策略分析，随着分析日志由传统单一性日志到行为日志的账户行为分析，业务的复杂性急剧增加，所需分析统计的特征值颗粒度(条件限定)更细，特征过滤条件更复杂，势必导致统计模块的计算量急剧增加。因统计模块是单节点处理，随着统计特征线性增加，则计算量、分析耗时线性增加，实时性将线性下降。因分析引擎将特征统计分析部分拆分为群体特征统计模块和个体策略分析模块设计，群体特征统计模块未采用多节点并发的原因主要是群体特征统计耗时不一致，最终将导致各群体特征统计节点之间的时间差差距越来越大，同时需要加入群体特征统计合并节点，合并节点等待时间不确定及合并逻辑复杂。

2、因现有分析引擎解析的实现方式上在个体特征统计模块视角归类处理逻辑只实现了全局单一的视角的处理，特征统计的过滤条件作为内置逻辑处理，区别于传统单一性日志，随着业务的复杂性急剧增加，分析引擎无法通过内置穷举的方式来统计与分析行为日志不同场景下所需的群体特征值和个体特征值，同时行为日志分析场景下所需的分析视角往往不止1个，因此策略特征过滤分析条件缺失导致分析结果出现误报，视角覆盖不全将导致分析结果出现漏报。

发明内容

本发明的目的在于提供一种拥有节点线程级别无冗余计算的分析引擎的分析方法，本专利采用多视角、自定义过滤特征、归并群体统计模块与个体分析模块进行多节点并发统计分析的设计和实现方式，解决了现有的规则分析引擎只能分析单一视角、统计分析特征简单而不能应用于复杂的业务应用场景的缺陷。

为了实现上述目的，本发明采用以下技术方案：

一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：

步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；

步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1-1，匹配则进入步骤3；

步骤1-1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；

步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1-1；

步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；

步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1-1，若未被计算过，则进入步骤S2；

步骤S1-1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；

步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1-1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；

步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤A1使用；

步骤A1:特征分析处理，通过查询节点特征统计值集合，根据不等式分析条件组进行研判分析，条件成立则进入步骤A2，否则进入步骤A1-1；

步骤A1-1:未研判的条件检测，若存在，则进入步骤A1，否则进行权重判断，权重位于告警区间则进入步骤A3，否则进入步骤1-1；

步骤A2：权重累计，对权重进行累计处理，进入步骤A1-1；

步骤A3:策略告警处理，对告警需要记录的视角特征、视角值、统计特征值、触发时间、策略id及描述等信息数据进行组装，通过API或直接存入数据库。

进一步的，所述统计分析模块包含群体特征统计和个体策略分析，个体策略分析包括个体特征统计和策略研判条件，统计分析模块可在多节点并行特征计算和分析。

策略解析部分将不同外置视角、不同外置过滤特征条件的策略进行解析加载，加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块在单个节点中，引擎视角归类处理逻辑算法将根据自定义策略中的不同视角字段进行独立逻辑处理，然后对策略中特征过滤条件逻辑处理，分析引擎将该节点分配到的策略的所有群体及个体统计算法和过滤条件、研判条件进行去重处理，保证单节点中的过滤条件、特征统计、研判条件只处理1次，其中计算的特征值并存入已计算特征值集合中，最后分析时从已计算的特征值集合中取出分析条件所需的所有特征值，研判分析条件，即1个分析条件含多个不等式，中所有不等式成立与否，成立则累计权重，直到所有的研判分析完成，最终根据权重值是否处理风险区间进行告警。

进一步的，在所述步骤2中，所述特征过滤条件的条件格式为“值函数:特征字段符号值[or值函数:特征字段符号值]”。

进一步的，在所述步骤2中，过滤条件的条件格式中支持逻辑运算符“and、or”、常用的关系运算符“+、-、*、/”及优先级运算符“(、)”，整条语句判断为true时，才表示匹配成功。

进一步的，在所述步骤A1中，所述研判条件的条件格式为“特征算法:字段1符号值[or特征算法:字段2]”或“视角特征算法:字段1:特征算法:字段2符号值[or特征算法:字段3符号特征算法:字段4]”。

本发明与现有技术相比具有的有益效果是：

有益的效果主要体现在基于通过多视角分析、特征过滤条件的灵活配置，增强了分析结果准确性，降低漏报；通过将策略统计和分析模块独立，巧妙的特征过滤条件、特征分析条件、统计算法逻辑处理，单节点只需要进行计算1次，支持多节点并发统计分析，提升了水平扩张性能。

第一，高度抽象化通用型分析引擎的技术特征，同一风险类型可设置不同视角、不同过滤条件、不同统计特征分析，多个策略进行风险分析，提升风险分析结果准确性，降低误报，不同类别的日志均可通过设置外置的特征过滤条件和特征分析条件、特征统计算法进行分析，即分析引擎支持多类别的日志数据分析，更具通用性。

第二，基于节点线程级别无冗余计算的技术特征，与其他分析引擎相比，水平横向扩展能力强，策略响应更及时。在策略级别，已有的技术方案存在冗余计算即某些策略实际是用不到所有的特征计算结果也被计算了，分析存在滞后，本技术方案只会统计策略使用到的特征数据；在业务级别，本方法提出的策略可能存在冗余计算即当拥有相同特征统计的两个策略被分发到了不同的线程中进行处理时，每个节点都会计算1次该特征值。在单节点线程级别，特征值不存在冗余计算，水平扩展性计算和响应速度更优。

本分析引擎具备以上两个显著的技术特征，该分析引擎是一种高性能的通用型多视角分析引擎。该分析引擎是对规则分析引擎的一种升级优化，优化支持了多视角分析、灵活可配日志解析和特征扩展、过滤条件，提升了分析结果准确性，降低误报率；分析引擎所需的分析条件均可自定义配置过滤条件、特征统计、策略分析条件，适用场景更广，新风险类型可快速通过配置新策略上线进行分析，无需修改源码，降低了运营成本。

该分析引擎特别适用对现有上线的业务和即将上线的业务，企业根据业务或系统实际情况制定分析策略，保证分析策略的安全可靠性，做到真正的安全可控。

附图说明

图1是本发明的一种拥有节点线程级别无冗余计算的分析引擎的分析方法的数据处理流程图。

具体实施方式

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。

实施例1：

如图1所示，一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：

步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；

步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1-1，匹配则进入步骤3；

步骤1-1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；

步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1-1；

步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；

步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1-1，若未被计算过，则进入步骤S2；

步骤S1-1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；

步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1-1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；

步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤A1使用；

步骤A1:特征分析处理，通过查询节点特征统计值集合，根据不等式分析条件组进行研判分析，条件成立则进入步骤A2，否则进入步骤A1-1；

步骤A1-1:未研判的条件检测，若存在，则进入步骤A1，否则进行权重判断，权重位于告警区间则进入步骤A3，否则进入步骤1-1；

步骤A2：权重累计，对权重进行累计处理，进入步骤A1-1；

步骤A3:策略告警处理，对告警需要记录的视角特征、视角值、统计特征值、触发时间、策略id及描述等信息数据进行组装，通过API或直接存入数据库。

本发明分析引擎工作原理是策略解析部分将不同外置视角、不同外置过滤特征条件的策略进行解析加载，加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块(统计分析模块包含群体特征统计和个体策略分析，个体策略分析包括个体特征统计和策略研判条件，统计分析模块可在多节点并行特征计算和分析)，在单个节点中，引擎视角归类处理逻辑算法将根据自定义策略中的不同视角字段进行独立逻辑处理，然后对策略中特征过滤条件逻辑处理，分析引擎将该节点分配到的策略的所有群体及个体统计算法和过滤条件、研判条件进行去重处理，保证单节点中的过滤条件、特征统计、研判条件只处理1次，其中计算的特征值并存入已计算特征值集合中，最后分析时从已计算的特征值集合(在相同节点下个策略中也存在相同的特征值需要计算时，直接从该集合中取出，不再重复计算)中取出分析条件所需的所有特征值，研判分析条件(1个分析条件含多个不等式)中所有不等式成立与否，成立则累计权重，直到所有的研判分析完成，最终根据权重值是否处理风险区间进行告警。

本技术方案的分析引擎核心在于分析策略的设计解析及策略统计分析模块对数据的逻辑流程处理。上述将统计分析逻辑进行描述，以下将对策略设计结构进行描述。分析引擎策略设计基于数据时间窗口所需不同策略分析视角、自定义过滤条件、自定义统计特征、自定义分析特征，策略结构如下：

·policy配置策略。策略中包括时间窗口配置windowSize、windowUnit、策略描述description、切换开关switch、告警策略alert、args模版变量、过滤条件filter、特征feature，filter条件和特征feature都属于可自定义配置部分。

·id策略id。策略id标定策略的唯一性，同一个configId下策略id必须不同，不同configId下策略id可以相同。

·args配置的模版变量。后续policy中的过滤条件或者研判条件可以设置模版变量进行取值。

·filter特征过滤条件。特征过滤条件根据表达式进行分析判断，满足过滤条件的数据将用于后续的feature处理。

Filter条件格式：

定义格式如：“值函数:特征字段符号值[or值函数:特征字段符号值]”

示例：value:money>50or value:money<100

Filter条件表达式中支持逻辑运算符“and、or”、常用的关系运算符“+、-、*、/”及优先级运算符“(、)”，整条语句判断为true时，才表示匹配成功

其中value为值算法函数，money为特征字段，filter条件加入了部分类sql语句处理和开发语言相关的字符串操作符，用以进行数值和字符串数据的过滤，更加方便进行过滤处理，更加利于数据分析。

相对于研判条件来说，值算法为简单的匹配条件算法，处理和分析占用资源少，不同策略的filter条件不同，每个特征feature中也包含该filter特征过滤条件，是更深一层的过滤条件，这样的设计处理便于分析复杂的行为日志。

·alert告警策略。告警策略可以根据配置对视角值进行告警处理，如告警间隔时间、告警截止时间配置。

·feature特征定义。Feature中含有特征处理算法algorithm、算法作用的特征字段field、特征字段别名alias、过滤条件filter。最外层的视角分类特征categoryFeature中包含研判条件justifier，且可以嵌套子feature，视角分类特征可以根据处理数据进行视角值分类进行算法algorithm的特征统计处理，每个策略有且仅有一个视角，不同策略可以设置不同的视角，feature中包含。

·justifier研判条件。即特征分析条件。与过滤条件filter类似进行不等式条件判断，满足研判条件的视角数据将作为威胁权重分值计算，当权重分值超过预期值时，将进行告警上报，同一个策略中支持多个justifier组成特征分析条件组，同一条策略通过对不同维度的分析来进行综合决策。

justifier条件格式：

定义格式如：“特征算法:字段1符号值[or特征算法:字段2]”或“视角特征算法:字段1:特征算法:字段2符号值[or特征算法:字段3符号特征算法:字段4]”

示例：

count:money>500and(category:username:count:money>500or

category:username:count:money>3*(count:money–50))

其中category则是特征视角算法，对应的username的值为视角值，count为特征算法，对应的字段值是需要count处理的。表达式中支持逻辑运算符“and、or”、常用的关系运算符“+、-、*、/”及优先级运算符“(、)”。其中category:username:count:money为个体特征值，count:money为群体特征值。

Justifier研判条件如同filter条件一样，也是类sql语句，但其主要应用是数值类型的比较，因为基于实时时间窗口设计，在计算过程中可能存在时间窗口数据集合计算，因此每条策略的设计是占用一定的内存资源，内存占用的大小跟时间窗口大小和QPS有关，同时可能会与实现算法的方式有关，因此研判条件中特征算法为复杂算法。

这样的策略设计支持更复杂的不同策略不同视角、相同策略不同分析维度的行为日志分析，灵活的外置视角和特征过滤条件设计扩展性也更好，即使不同类别的日志数据也能通过该分析引擎进行分析，通用型也更强。

在业务级别，本方法提出的策略可能存在冗余计算即当拥有相同特征统计的两个策略被分发到了不同的线程中进行处理时，每个线程都会计算1次该特征值。在线程级别，特征值不存在冗余计算。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，包括如下步骤：

步骤1：节点策略分析，数据进入节点策略管理中心进行处理，将遍历策略对数据进行统计分析；加载后的策略经过策略分发模块将策略分发给各个并发统计分析模块；

步骤2：策略特征过滤，数据经过节点策略分析中的特征过滤条件进行判断，若该数据特征不匹配，则直接进入步骤1-1，匹配则进入步骤3；

步骤1-1:未分析策略检测，分析判断是否还有节点策略未被分析，若有则进入步骤1继续遍历，若无则直接退出数据分析，该条数据分析完毕；

步骤3:视角feature特征过滤，分析视角级别的特征过滤条件并进行判断，若匹配进入步骤4，否则进入步骤1-1；

步骤4：视角分类，根据视角特征字段，从数据中取出视角值，当有视角值时则进行对应该视角的统计特征进行统计，若无视角值，则从加载到节点的策略统计特征集合中复制一份统计特征给该视角进行统计，进入步骤S1；

步骤S1:统计特征计算处理，首先判断该统计特征是否已经在节点所有策略中被计算过，若被计算过，则进入步骤S1-1，若未被计算过，则进入步骤S2；

步骤S1-1:未统计特征检测，若还有，则进入步骤S1，否则进入步骤A1；

步骤S2：统计特征过滤处理，若特征值不满足过滤条件，则进入步骤1-1，满足则进行子feature判断，若有子feature则进行子feature处理，若无则直接进入步骤S1；当全部特征过滤条件满足，且为最后的子feature时，则进入步骤S3；

步骤S3:时间窗口算法增量统计，对策略统计特征时间窗口内的桶数据特征或桶特征值进行增量计算，将以统计特征作为key，统计值作为value存入到节点策略统计特征集合中，供步骤A1使用；

步骤A1:特征分析处理，通过查询节点特征统计值集合，根据不等式分析条件组进行研判分析，条件成立则进入步骤A2，否则进入步骤A1-1；

步骤A1-1:未研判的条件检测，若存在，则进入步骤A1，否则进行权重判断，权重位于告警区间则进入步骤A3，否则进入步骤1-1；

步骤A2：权重累计，对权重进行累计处理，进入步骤A1-1；

步骤A3:策略告警处理，对告警需要记录的视角特征、视角值、统计特征值、触发时间、策略id及描述等信息数据进行组装，通过API或直接存入数据库。

2.根据权利要求1所述的一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，在所述步骤1中，所述统计分析模块包含群体特征统计和个体策略分析，个体策略分析包括个体特征统计和策略研判条件，统计分析模块可在多节点并行特征计算和分析。

3.根据权利要求1所述的一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，在所述步骤2中，所述特征过滤条件的条件格式为“值函数:特征字段符号值[or值函数:特征字段符号值]”。

4.根据权利要求3所述的一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，在所述步骤2中，过滤条件的条件格式中支持逻辑运算符“and、or”、常用的关系运算符“+、-、*、/”及优先级运算符“(、)”，整条语句判断为true时，才表示匹配成功。

5.根据权利要求1所述的一种拥有节点线程级别无冗余计算的分析引擎的分析方法，其特征在于，在所述步骤A1中，所述研判条件的条件格式为“特征算法:字段1符号值[or特征算法:字段2]”或“视角特征算法:字段1:特征算法:字段2符号值[or特征算法:字段3符号特征算法:字段4]”。