CN107423205A - 一种用于数据防泄漏系统的系统故障预警方法及系统 - Google Patents

Abstract

本发明公开一种用于数据防泄漏系统的系统故障预警方法，该方法包括以下步骤：对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据；如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新条件概率表。通过本发明的方案，显著提高预警准确度，明显降低故障事件报告率。

Description

一种用于数据防泄漏系统的系统故障预警方法及系统

技术领域

本发明涉及数据安全领域，具体涉及一种用于数据防泄漏系统的系统故障预警方法及系统。

背景技术

随着信息科学与互联网技术的飞跃发展，安全问题愈演愈烈，网络与信息安全已获得到前所未有的关注。其中，数据防泄漏系统作为数据安全的终端防护手段，需要对数据进行安全管控。对此，北京明朝万达科技股份有限公司提出一种针对数据防泄漏系统的终端运行状态智能分析与故障预警方法。

目前，数据防泄漏系统的终端实时产生大量的运行日志以及终端操作日志，这些日志的作用仅停留在用于异常处理和出现事故后的责任追溯。而不能在事故发生前做出预警，起到防微杜渐的作用，所以在根本上不能防止数据泄露事件以及重大系统故障。

而在大数据时代的今天，我们知道数据中蕴含了很多有用的信息。我们需要做的就是制定合理的算法将从大量杂乱的数据中获得有意义的信息。终端日志记录了系统运行以及用户的操作。这些操作及运行状况可以反映用户的行为目的以及系统的运行趋势。

发明内容

为解决上述技术问题，本发明提供了一种用于数据防泄漏系统的系统故障预警方法，该方法包括以下步骤：

(S2)对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；

(S4)如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据，跳转到步骤(S10)；

(S6)如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；

(S8)管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表；

(S10)结束。

根据本发明的实施例，优选的，在所述步骤(S2)之前还包括：

(S1.1)通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性；

(S1.2)通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

根据本发明的实施例，优选的，该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

根据本发明的实施例，优选的，所述步骤(S8)中所述管理员对该“异常事件”进行人工判定处理后，根据判定处理结果给对应的日志数据打上标签。

根据本发明的实施例，优选的，在步骤(S4)中跳转到步骤(S10)之前还包括：

(S5.1)如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

为解决上述技术问题，本发明提供了一种用于数据防泄漏系统的系统故障预警系统，该系统包括：

系统日志收集模块，对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；

正常日志判定模块，如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据；

异常日志判定模块，如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；

条件概率表更新模块，管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表。

根据本发明的实施例，优选的，该系统还包括：

网络可靠性评估模块，通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性；

分类器生成模块，通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

根据本发明的实施例，优选的，该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

根据本发明的实施例，优选的，该系统还包括：

意外异常日志处理模块，如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

为解决上述技术问题，本发明提供了一种计算机存储介质，其包括计算机程序指令，当执行该计算机程序指令时，执行上述方法之一。

本发明的技术方案取得了以下技术效果：

显著提高预警准确度，明显降低故障事件报告率。

附图说明

图1是本发明的系统总体框架图

图2是本发明具体实施例的模型流程图

具体实施方式

为解决上述技术问题，本发明提供了一种基于状态反馈的智能升级方法，该方法的主要内容包括：

1.清晰划分终端功能模块，添加模块使用统计功能，并强化模块化升级能力，尽量避免模块强关联的发生；

2.在高模块化基础上，生成用户行为模型，计算获得用户行为产生的模块使用习惯与逻辑；

3.在终端升级时，结合既定策略模式与用户行为模式生成综合策略，包括分区与跨区、非常用模块与常用模块升级等，建立以模块为基础的分层升级过程；

4.建立分层升级状态反馈机制，在每层升级完成后，利用终端产生的运行状态日志与用户使用日志，实时在线判断升级效果，从而调整既定升级策略，实现自动化程度较高的升级过程，也避免升级出现问题的扩散。

<业务处理方法>

本发明提供了一种用于数据防泄漏系统的系统故障预警方法，该方法包括以下步骤：

(S2)对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常。

(S4)如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据，跳转到步骤(S10)。

(S6)如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理。

(S8)管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表。

所述步骤(S2)之前还包括：

(S1.1)通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性。

(S1.2)通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

所述管理员对该“异常事件”进行人工判定处理后，根据判定处理结果给对应的日志数据打上标签。

如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

<业务处理系统>

本发明提供了一种用于数据防泄漏系统的系统故障预警系统，该系统包括：

系统日志收集模块，对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；

正常日志判定模块，如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据；

异常日志判定模块，如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；

条件概率表更新模块，管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表。

所述系统还包括：

网络可靠性评估模块，通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性；

分类器生成模块，通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

该系统还包括：

意外异常日志处理模块，如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

<具体实施例>

为解决系统异常情况提前预知的问题，本方法提供了一种针对数据防泄漏系统的终端运行状态智能分析与故障预警方法，该方法具体的功能实现流程如图1。

该系统通过日志收集模块自动对系统日志进行收集并处理，将需要的日志属性值收集并输入贝叶斯网络分类器，由贝叶斯网络分类器自动进行判断该日志是否有异常。

所谓日志属性值就是字段值。比如用户表里的“年龄”、部门表里的“部门人数”、策略表里的“策略编号”作为分析的属性值，把这些字段值收集出来，作为贝叶斯网络分类器的输入值。

正常情况下，如果分类器判定该系统日志为正常日志，该日志属性将会存储在系统数据库中进行存储，作为历史数据。如果分类器判定该系统日志为异常日志，则会生成一个“异常事件”给管理员处理，管理员对该“异常事件”进行人工判定处理，系统根据将该判定结果给对应的系统标签历史数据打上标签，并触发一次训练贝叶斯网络的任务，训练结束后会更新属性之间的条件概率表，该条件概率表也存储在数据库中。

贝叶斯网络要计算一组“属性集合”结果的依据就是先前计算好的各个属性之间的条件概率，所谓条件概率就是“在A发生的情况下B发生的概率”，很多属性之间的这种概率关系就形成了一张表。每新确定一组“属性值集合”都会更新条件概率表，以保证“到目前为止，概率最准确”的效果。

由于大多数情况下，系统判断出为正常日志，系统并不会频繁进行贝叶斯网络训练的计算任务。所以该系统中还存在有一个定时触发训练任务的触发器。

贝叶斯网络作为一个依托概率的预判方法，并不能保证一定可以判断出异常情况，此时如果发生了未捕获的异常事件，管理员需要手动添加一个“异常事件”，并输入事件发生的时间，系统根据该时间将对应的历史数据进行重新更改标记，然后触发一次重新训练贝叶斯网络的任务。

具体实施时，首先需要行业专家对系统应用所在机构进行调研。确定各个属性的逻辑拓扑关系，形成DAG(Directed Acyclical Graphs)。

由于特征属性通常不是相互独立的，而是有一定的相关性。比如分析“内存占用量”、“时间”、“部门”来判断系统是否处于正常运行状态。不能把所有属性值出现异常的概率进行简单相乘，因为“时间”属性不同也会影响“内存占用量”，比如晚上工作的人少了，内存一般就比较低，所以除了三个属性值和“系统异常”有关联外，属性值之间也有关联，这就形成了一个以“判断结果”为根节点的“有向无环拓扑图”DAG。

然后通过历史数据，训练贝叶斯网络。

评估该贝叶斯网络的可靠性。

多次迭代以上步骤形成一个可以初步应用于生产使用的贝叶斯网络分类器。将该系统部署在生产环境中，连接上各个系统数据源。

日志收集模块收集关键属性，处理成所需要的值，输入贝叶斯分类器，分类器依据“条件概率表”对该属性集合进行计算，判断出是异常事件的概率，如果判断为异常数据，系统自动生成一个异常事件，并给管理员提示处理。

管理员依据告警说明，进行有针对的校验排查。

管理员将排查结果反馈系统，系统根据该反馈解决修改历史数据的标签，并进行一次训练。

某银行防泄漏管理系统实现了该方法。通过收集终端运行日志，通过调研，将安全预警事件分为四个等级：危险、紧急、异常、可疑。并由系统管理员处理日常安全事件。当出现紧急事件，除了在控制台进行显示外，系统还会以短信息方式发送给管理员。

经过近一年的运行，该系统的预警准确度已高达95％，终端上报故障事件显著下降。通过研究该系统不断自我更新的“条件概率表”，为该银行的另外4个系统也提供了宝贵的内部优化建议。如应用管理系统时常出现的内存泄露问题，如图2所示。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。

Claims (10)

1.一种用于数据防泄漏系统的系统故障预警方法，该方法包括以下步骤：

(S2)对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；

(S4)如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据，跳转到步骤(S10)；

(S6)如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；

(S8)管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表；

(S10)结束。

2.根据权利要求1所述的方法，在所述步骤(S2)之前还包括：

(S1.1)通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性；

(S1.2)通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

3.根据权利要求1所述的方法，该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

4.根据权利要求1所述的方法，所述步骤(S8)中所述管理员对该“异常事件”进行人工判定处理后，根据判定处理结果给对应的日志数据打上标签。

5.根据权利要求1所述的方法，在步骤(S4)中跳转到步骤(S10)之前还包括：

(S5.1)如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

6.一种用于数据防泄漏系统的系统故障预警系统，该系统包括：

系统日志收集模块，对系统日志进行收集并处理，收集相应的日志属性值并输入贝叶斯网络分类器，由该贝叶斯网络分类器判断该日志是否存在异常；

正常日志判定模块，如果该分类器该判定该日志为正常日志，该日志属性值将会存储在系统数据库中，作为历史日志数据；

异常日志判定模块，如果分类器判定该日志为异常日志，则会生成一个“异常事件”给管理员处理；

条件概率表更新模块，管理员对该“异常事件”进行人工判定处理，并触发一次贝叶斯网络训练任务，训练结束后更新属性之间的条件概率表。

7.根据权利要求6所述的系统，所述系统还包括：

网络可靠性评估模块，通过历史日志数据，训练所述贝叶斯网络，评估该贝叶斯网络的可靠性；

分类器生成模块，通过多次迭代训练形成一个可供使用的贝叶斯网络分类器。

8.根据权利要求6所述的系统，该系统中有一个用于定时触发贝叶斯网络训练任务的定时触发器。

9.根据权利要求6所述的系统，该系统还包括：

意外异常日志处理模块，如果发生了未捕获的异常日志，管理员手动添加一个“异常事件”，并输入事件发生时间，根据该发生时间将对应的日志数据重新更改标签，并触发一次重新训练贝叶斯网络的任务。

10.一种计算机存储介质，其包括计算机程序指令，当执行该计算机程序指令时，执行权利要求1-5之一的所述方法。