CN110213207B - 一种基于日志分析的网络安全防御方法及设备 - Google Patents

Abstract

本申请实施例公开了一种基于日志分析的网络安全防御方法及设备。本发明实施例方法包括：获取待分析的日志数据；获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件；将日志数据与元数据的集合进行匹配处理；若日志数据中包括与元数据相匹配的目标数据，且相匹配的目标数据满足日志规则信息中对应的规则，则将目标数据发送至第二虚拟机，以使第二虚拟机根据目标数据进行对应的防御处理。本申请实施例中还提供了一种基于日志分析的网络安全防御设备，用于提高执行效率，同时提高告警收敛避免误报骚扰。

Description

一种基于日志分析的网络安全防御方法及设备

技术领域

本发明涉及计算机领域，尤其涉及一种基于日志分析的网络安全防御方法及设备。

背景技术

随着互联网技术的飞速发展，网络攻击方式呈现多样化发展的势头，网络安全的重要性不言而喻。如企业办公环境的互联网化，移动化，无边界化，就会面对如网络渗透、木马病毒入侵、信息泄露及更隐蔽的高级持续威胁(advanced persistent threat，缩写：APT)等涉及网络安全的问题，为了提高纵深防御能力，可以通过对百亿至千亿海量安全日志数据进行分析，以尽可能早的发现这些涉及网络安全的问题，进而保障网络环境的安全。

安全日志可以将操作系统、应用程序、系统发生的所有事件及用户的一切行为按照特定的规则记录下来，对安全日志分析可以找出网络攻击来源和攻击的目的，进而进行对应的防御处理。

在规则解析执行方面，现有的对日志分析方法，主要是通过一套通用的日志规则配置系统和解析执行系统，联合各个业务安全的元数据系统实时交互计算对日志进行分析。

传统的日志分析方法，每次执行都会对日志规则配置文件遍历，在日志进行分析的过程和防御动作同步耦合执行，通常规则数据量是动作数据量的很多倍，规则执行和防御动作同步耦合执行增加了处理延迟，执行效率低。

发明内容

本发明实施例提供了一种基于日志分析的网络安全防御方法及设备，用于提高执行效率，同时提高告警避免误报骚扰。

第一方面，本申请实施例提供了一种基于日志分析的网络安全防御方法，包括：

获取日志规则配置文件，所述日志规则配置文件包括树形结构的配置文本；

对所述树形结构的配置文本进行解析，得到树形结构的规则对象信息；

对所述树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的日志规则信息；

获取待分析的日志数据；

获取元数据的集合，所述元数据包括对网络安全造成威胁的威胁事件；

将所述日志数据与所述元数据的集合进行匹配处理；

若所述日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述日志规则信息中对应的规则，则将所述目标数据发送至第二虚拟机，以使所述第二虚拟机根据防御配置文件和所述目标数据进行对应的收敛防御处理。

第二方面，本发明实施例提供了一种基于日志分析的网络安全防御方法，包括：

接收第一虚拟机发送的目标数据，所述目标数据为第一虚拟机根据日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述日志规则信息中对应的规则，所述日志规则信息为平面结构；

根据防御配置文件对所述目标数据进行归并处理，生成告警信息，所述告警信息包括第一告警信息；

发送满足消息策略的第一告警信息。

第三方面，本申请实施例提供了一种基于日志分析的网络安全防御设备，所述网络安全防御设备上运行有第一虚拟机，所述第一虚拟机包括：

规则获取模块，用于获取日志规则配置文件，所述日志规则配置文件包括树形结构的配置文本，对所述树形结构的配置文本进行解析，得到树形结构的规则对象信息；对所述树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的日志规则信息；

日志获取模块，用于获取待分析的日志数据；

元数据获取模块，用于获取元数据的集合，所述元数据包括对网络安全造成威胁的威胁事件；

匹配模块，用于将所述日志获取模块获取的所述日志数据与所述元数据获取模块获取的所述元数据的集合进行匹配处理；

发送模块，用于当所述日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述规则获取模块获取的所述日志规则信息中对应的规则时，将所述目标数据发送至第二虚拟机，以使所述第二虚拟机根据防御配置文件和所述目标数据进行对应的收敛防御处理。

第四方面，本申请实施例提供了一种基于日志分析的网络安全防御设备，所述网络安全防御设备上运行有第二虚拟机，所述第二虚拟机包括：

接收模块，用于接收第一虚拟机发送的目标数据，所述目标数据为第一虚拟机根据日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述日志规则信息中对应的规则，所述日志规则信息为平面结构；

生成模块，用于根据消息策略对所述接收模块接收的所述目标数据进行归并处理，生成告警信息，所述告警信息包括第一告警信息；

发送模块，发送满足消息策略的生成的所述第一告警信息。

第五方面，本发明实施例提供了一种基于日志分析的网络安全防御设备，包括：

存储器，用于存储计算机可执行程序代码；

网络接口，以及

处理器，与所述存储器和所述网络接口耦合；

其中所述程序代码包括指令，当所述处理器执行所述指令时，所述指令使所述基于日志分析的网络安全防御设备执行上述第一方面所述的方法，或者，执行上述第二方面所述的方法。

第六方面，本发明实施例提供了一种计算机存储介质，用于储存计算机软件指令，其包含用于执行上述第一方面或第二方面所设计的程序。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，第一虚拟机获取平面结构的日志规则信息，该平面结构的日志规则信息中的每各数据至多有一个前驱数据和一个后继数据，而传统方式中的树形结构中每个数据除了根以外，有一个前驱数据，但是后续数据的个数是没有限制的，也就是说后继数据的数量为0到多个均可，因此，平面结构相对于传统方式中的树形结构的日志规则信息不需要逐节点遍历，提高了执行效率；然后，第一虚拟机获取待分析的日志数据；获取元数据的集合，所述元数据包括对网络安全造成威胁的威胁事件；该第一虚拟机根据所述日志数据检索所述元数据的集合，将所述日志数据与所述元数据的集合进行匹配处理；若所述日志数据中包括与所述元数据相匹配的数据，表明第一虚拟机可以确定攻击对应的威胁事件，也就是对日志中的威胁事件进行定性分析，当所述相匹配的目标数据满足所述日志规则信息中对应的规则时，例如，该规则可以是对某个威胁事件特征的定性分析，也可为对该威胁事件发生次数的定量分析，当确定了该威胁事件已经满足了规则，则将所述目标数据发送至第二虚拟机，以使所述第二虚拟机根据防御配置文件和所述目标数据进行对应的防御处理。例如，该防御处理可以为报警等，本实施例中，第一虚拟机对日志数据进行分析，而第二虚拟机进行防御动作处理，也就是说第一虚拟机和第二虚拟机并行处理，避免了传统方法中对日志数据的分析和防御动作处理相耦合在一个流程中的串联的处理的方式，提高了执行效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的防御系统架构示意图；

图2为本申请实施例中提供的一种基于日志分析的网络安全防御方法的一个实施例的步骤示意图；

图3为本申请实施例中树形结构的规则对象信息的结构示意图；

图4为本申请实施例中元数据存储示意图；

图5为本申请实施例中提供的一种基于日志分析的网络安全防御方法的另一个实施例的步骤示意图；

图6为本申请实施例中基于日志分析的网络安全防御方法的场景示意图；

图7为本申请实施例中一种基于日志分析的网络安全防御设备的一个实施例的结构示意图；

图8为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图；

图9为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图；

图10为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图；

图11为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图；

图12为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图；

图13为本申请实施例中一种基于日志分析的网络安全防御设备的另一个实施例的结构示意图。

具体实施方式

本发明实施例提供了一种基于日志分析的网络安全防御方法及设备，用于提高执行效率。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

日志可以反映网络中某台设备所受到的安全攻击、存在的安全隐患或者所处的安全状态，表明网络局部的状态信息。同时相同的安全事件发生在不同的设备上所产生的影响也不一定相同，需要对威胁事件对设备的影响进行分析，该设备是否被威胁事件所威胁，且被威胁的程度，不同的设备需要满足对应的规则，才能确定该设备存在安全隐患，确定安全隐患后，需要对应的防御处理来保证设备的安全。

本发明实施例提供了一种基于日志分析的网络安全防御方法，该方法应用于第一虚拟机和第二虚拟机，该第一虚拟机和第二虚拟机可以集成在同一个物理主机，或者，该第一虚拟机和第二虚拟机也可以分别部署在不同的物理主机中。例如，该第一虚拟机部署在第一物理主机内，而第二物理主机部署在第二物理主机内，在实际应用中，对于第一虚拟机和第二虚拟机的部署形态本发明实施中并不限定。在本实施例中，第一物理机和第二物理机均可以以服务器的形态存在，且以第一虚拟机部署于第一物理机，而第二虚拟机部署于第二物理机为例进行说明。

请参阅图1进行理解，图1为本发明实施例中提供的防御系统架构示意图，该防御系统包括：第一设备(第一物理机)110，第二设备(第二物理机)120、元数据库130、规则配置数据库140和数据队列存储设备150。

需要说明的是，上述防御系统中所包括的每一个设备均可以为一个独立的服务器形态，也可以为一个服务器集群。在实际应用中，并不限定实际的部署形态。

第一设备110，用于对客户端送检的待分析的日志数据进行定性分析(是否包括威胁事件，是哪类的威胁事件)，并对该日志数据进行定量分析(如，确定威胁事件的发生次数)。

第二设备120，用于对威胁事件的数据进行对应的防御处理。例如，该防御处理包括但不限定于告警、断网等。

元数据库130，用于存储名单类数据，该名单类数据包括威胁事件，URL信息，人机关系，设备信息，组织信息，网段信息，员工信息，地理位置信息，工位分布信息等。该威胁事件包括但不限定于病毒木马蠕虫的MD5值，漏洞信息等。该元数据库中存储的数据不断更新，以提高安全审计分析的准确性，降低误报率。元数据库的数据量在百万级别，该元数据库定位为写多读少落地数据库。数据增量同步第三方的威胁情报系统数据。

规则配置数据库140，用于存储规则配置的数据库，其中，该规则可以以表结构按树形结构存放，和业务人员使用的配置管理UI结构对应。

需要说明的是，该规则配置数据库140可以为一个独立的服务器，或者，可以与第一设备集成部署，或者，也可以与第二设备集成部署，在实际的应用中，并不限定该规则配置数据库140的部署形态。

数据队列存储设备150，用于存储第一设备与第二设备之间交互的中间数据，由于面对海量的数据，可以使用kafka磁盘型分布式存储，降低设备成本，数据落地可靠性好，支持多分区多消费模式，可以并行操作，扩容方便性能高使用灵活。

具体的，该第一设备110从规则配置数据库140获取树形结构的规则对象信息，对树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的规则对象信息。第一设备110从客户端获取待分析的日志数据；第一设备110从元数据库130获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件；然后，第一设备110将日志数据与元数据的集合进行匹配处理；当日志数据中包括与元数据相匹配的目标数据，且相匹配的目标数据满足日志规则信息中对应的规则，则将目标数据发送至第二设备，以使该第二设备根据防御配置文件和目标数据进行对应的防御处理。

本发明实施例中，第一虚拟机获取平面结构的日志规则信息，该平面结构的日志规则信息中的每各数据至多有一个前驱数据和一个后继数据，而传统方式中的树形结构中每个数据除了根以外，有一个前驱数据，但是后续数据的个数是没有限制的，也就是说后继数据的数量为0到多个均可，因此，平面结构相对于传统方式中的树形结构的日志规则信息不需要逐节点遍历，提高了执行效率；然后，第一虚拟机获取待分析的日志数据；获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件；该第一虚拟机根据日志数据检索元数据的集合，将日志数据与元数据的集合进行匹配处理；若日志数据中包括与元数据相匹配的数据，表明第一虚拟机可以确定攻击对应的威胁事件，也就是对日志中的威胁事件进行定性分析，当相匹配的目标数据满足日志规则信息中对应的规则时，例如，该规则可以是对某个威胁事件特征的定性分析，也可为对该威胁事件发生次数的定量分析，当确定了该威胁事件已经满足了规则，则将目标数据发送至第二虚拟机，以使第二虚拟机根据防御配置文件和目标数据进行对应的防御处理。例如，该防御处理可以为报警等，本实施例中，第一虚拟机对日志数据进行分析，而第二虚拟机进行防御动作处理，也就是说第一虚拟机和第二虚拟机并行处理，避免了传统方法中对日志数据的分析和防御动作处理相耦合在一个流程中的串联的处理的方式，提高了执行效率。

请结合图2进行理解，图2为本发明实施例中提供的一种基于日志分析的网络安全防御方法的步骤示意图。

步骤201、第一虚拟机获取平面结构的日志规则信息。

从规则配置数据库获取日志规则配置文件，日志规则配置文件包括树形结构的规则对象信息，请结合图3进行理解，该图3为树形结构的规则对象信息的结构示意图。日志种类不同，生成的日志记录的格式也不尽相同。为了保证系统的一致性，必须制定标准，对日志记录的格式进行统一。将每条记录分为不同的字段，例如不同类型的日志记录可在字段中填入不同的类型码，例如字段的属性还包括内容、时间、网络主机的IP等。在图3中，树形结构为：类“A”包括字段“a”和字段“b”，字段“a”的字段值包括“a1”和“a2”，字段“b”的字段值可以包括“b1”和“b2”。

第一虚拟机对树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的规则对象信息。

例如，该平面结构为：A-a-a1【and】A-a-a2【and】(A-b-b1【or】A-b-b2)，或者A-a-a1【or】A-a-a2【and】(A-b-b1【or】A-b-b2)；或者(A-a-a1【or】A-a-a2)【and】(A-b-b1【or】A-b-b2)等等，此处不一一举例，需要说明的是，该平面结构为为了方便说明进行了示例说明，并不造成对本发明的限定性说明。

该平面结构的日志规则信息中的每个数据至多有一个前驱数据和一个后继数据，而传统方式中的树形结构中每个数据除了根以外，有一个前驱数据，但是后续数据的个数是没有限制的，也就是说后继数据的数量为0到多个均可，因此，平面结构相对于传统方式中的树形结构的日志规则信息不需要逐节点遍历，提高了执行效率。

需要说明的是，本实施例中对于树形结构的规则信息与平面结构的规则信息只是为了方便说明而举的例子，并不造成对本发明的限行性说明。

步骤202、将日志规则信息翻译成脚本语言格式，得到脚本语言格式的日志规则信息。

脚本语言又被称为扩建的语言，或者动态语言，是一种编程语言，用来控制软件应用程序，脚本通常以文本(如ASCII)保存，只在被调用时进行解释或编译。将该日志规则信息翻译成lua脚本，lua是一个小巧的脚本语言，LuaJIT为采用C语言写的lua代码的解释器。所有的函数缺省会被即时编译器(just-in-time，缩写：JIT)编译到本地机器码。

本实施例中，把lua脚本规则和其依赖库加载到luaJIT实例，由即时编译器(JIT)编译为机器码，省去了大量重复解释性运算，提高了执行效率。由于基于脚本语言，业务规则扩展便利，也能映射多种复杂的规则，不局限于预置方法。需要说明的是，依赖库是指调用一个动态库C时，C又需要调用动态库D。则D是C的依赖库。本实施例中，若lua脚本规则具有依赖库可以将该依赖库加载到luaJIT实例，若该lua脚本规则无依赖库，则无需加载。

本实施例中，对于lua脚本只是脚本语言格式的一个示例说明，并不造成对本发明的限定性说明。

需要说明的是，步骤202为可选步骤，可以不执行，而直接执行步骤203。

步骤203、第一虚拟机获取待分析的日志数据。

第一虚拟机获取客户端的待分析的日志数据。

步骤204、第一虚拟机获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件。

可选的，请结合图4进行理解，图4为元数据存储示意图。元数据进行本地化，并将存储元数据的存储区分为3个级别，分别为第一级别(L1)、第二级别(L2)和第三级别(L3)。

其中，第一虚拟机包括第一进程缓存区，按照预设条件从分布式缓存获取元数据的集合，并将元数据的集合缓存至第一进程缓存区。该第一进程缓存区对应该第二级别(L2)。具体的，在启动时，第一虚拟机可以以数据的时间、数据量或者重要度为指标，部分加载第三级别(L3)存储区中的元数据，不需要全量加载元数据库中的数据，降低了98％访问元数据库的I/O消耗。

该第三级别的元数据库对应的全量只读存储，该第三级别可以为分布式缓存，例如，该第三级别可以为redis类nosql数据库，能快速的响应查询，和第一设备进行交互。

第一虚拟机还包括第二进程缓存区，该第二进程缓存区对应第一级别(L1)，在日志规则执行时按需求执行写入，例如，将第二进程缓存区中被查询次数大于阈值的目标元数据缓存至第二进程缓存区。具体的，基于近期最少使用算法(least recently used，缩写：LRU)算法，从第一进程缓存区(第二级别)的元数据中将高热点且重复执行匹配操作的规则对象，记录在LRU内存中。按配置的时长、量级或检索到的概率，自动淘汰超出预置范围的结果，把未超出预置范围的结果缓存在第二进程缓存区，平衡性能和成本。

综上所述，从每个级别对应缓存的数量的大小来区别三个缓存级别，该第二进程缓存区(对应第一级别)缓存的数据量最少，且第二进程缓存区缓存的元数据为高热点数据，而第一进程缓存区(对应第二级别)缓存的数据量大于第二进程缓存区内缓存的数据；第三级别对应的缓存为分布式存储，元数据库的全量数据，因此，第三级别对应的分布式存储的数据量最大，本发明实施例中，通过将元数据进行分级别存储，其中，第一级别和第二级别在第一设备内进程缓存，查询迅速，提高执行效率；且将元数据库中的数据同步缓存至第三级别对应的分布式存储内，减小了对元数据库的依赖，避免该元数据库出现问题，影响整个防御系统的工作，可控性良好。

步骤204也可以在步骤203之前，步骤203和步骤204没有时序上的限定。

步骤205、将日志数据与元数据的集合进行匹配处理。

执行日志规则，结合元数据检测日志数据合规性，若在第二进程缓存区中未检索到与日志数据相匹配的数据，则对第一进程缓存区中缓存的元数据的集合进行检索。

若第一进程缓存中缓存的元数据的集合未检索到与日志数据相匹配的数据，则对分布式缓存中缓存的元数据进行检索，将日志数据与分布式缓存的元数据进行匹配处理。

需要说明的是，对于第一进程缓存中未搜索到的数据，会降级至分布式缓存(L3级别)进行全量搜索。如果未匹配的数据量变大，将未匹配的数据提前过滤，不再花费额外资源。

若日志数据与元数据的集合进行匹配处理，得到了相匹配的目标数据，则该目标数据包括威胁事件。

规则包括每个威胁事件对应的阈值，进一步判断目标数据包括的威胁事件的发生次数是否满足对应的阈值；若目标数据包括的威胁事件的发生次数超过阈值，则目标数据满足日志规则信息中对应的规则。

进一步的，可以对元数据本地化分类，建立索引，进一步加速检索元数据，提高匹配的速率。

步骤206、若日志数据中包括与元数据相匹配的目标数据，且相匹配的目标数据满足日志规则信息中对应的规则，即若日志数据满足日志规则中对应的规则，则将目标数据发送至第二虚拟机，以使第二虚拟机根据防御配置文件和目标数据进行对应的防御处理。例如，威胁事件为漏洞信息，若该漏洞的数量大于阈值(如，5)，则该目标数据满足对应的规则，将该漏洞信息及阈值发送至第二虚拟机，第二虚拟机根据防御配置文件，确定该漏洞信息及对应的规则对应的防御方法为发出警报。

本发明实施例中，由于将元数据本地化，将元数据库中的数据本地化分为三个级别，并分别分布式缓存和第一设备内进程缓存，第一设备将待分析的日志数据与元数据进行匹配，无需直接与元数据库进行交互，减少了大量了输入和输出消耗，执行高效。由于减少了大量的输入和输出的消耗，因此比传统的方式中减少服务器的数量，本实施例使用的服务器数量下降为原来的三分之一，极大的节省了运行成本。例如，本实施例中设备的数量可以为：第一虚拟机8台，第二虚拟机8台，共16台vd-6(8核32G内存)虚拟机，日处理300亿安全日志，cpu使用率65％，内存占用30％，服务可用性99.99％，数据完整性99.9％，峰值数据45万每秒。

本申请实施例中还提供了另一个实施例，该实施例以第二虚拟机为执行主体进行说明。

请结合图5进行理解，图5为第二虚拟机进行告警的步骤示意图。

步骤501、第二虚拟机接收第一虚拟机发送的目标数据。

第二虚拟机接收第一虚拟机发送的目标数据，将目标数据送入待处理队列，对目标数据的时间戳的合法性进行检验，例如，若符合当日的时间戳为合法的时间戳，按照时间戳，非当日的目标数据为非法目标数据，当日的目标数据为合法的目标数据，“合法”是指需要进一步进行处理的数据，“非法”是指不需要进行进一步处理的数据，而是可以直接过滤掉的数据。

步骤502、根据消息策略对所述目标数据进行归并处理，生成告警信息，所述告警信息包括第一告警信息。

第二虚拟机对所述目标数据中的多个数据进行一级归并，确定所述目标数据是否为需要告警的问题数据。

例如，磁盘的故障特性是1个小时累计报警大于或者等于20次，如果低于这个此处就属于误报，可能只是偶发异常的自动回复。

本示例中，通过对目标数据中的多个数据，如磁盘的异常数据进行归并，若归并后的异常数据在一个小时内的次数小于20次，则表明该目标数据只是误报的数据，并非真正需要处理的报警数据。若归并后的异常数据在一个小时内的次数大于或者等于20次，则表明该目标数据为故障数据。

若所述目标数据为需要告警的故障数据，则对所述目标数据进行二级并归，确定所述目标数据中的各个数据按照类别进行划分，得到至少一个类别的数据。

根据所述至少一个类别的数据，生成所述告警信息。

步骤503、发送满足消息策略的第一告警信息。

将告警信息按照消息策略进行处理，该消息策略包括但不限定于白名单，每天每个告警类别的用户限额，每天向每个用户发送的最高数量。白名单为可以发送消息的用户名单，每天每个告警类别的消息限额指每天每个告警类别的消息发送的最高数量(以每个用户计)。

将满足消息策略的第一告警信息以短信、微信、邮件等形式向用户设备发送。

可选的，第二虚拟机将不满足所述消息策略的告警信息中的第二告警信息进行熔断处理。

例如，若硬盘故障了，每个小时会产生一个故障数据，例如，每天只需要通知一次管理员，则在第一个故障数据后，当天其余的都是重复问题，对每个故障数据进行二级并归，并配置将重复的故障数据进行过滤，则将超过限额次数的第二告警信息进行熔断处理，即不向用户发送超过次数的告警信息。

在另一个实施例中，第二虚拟机中还可以扩展消息加工插件，该消息加工插件可以通过自定义函数对所述告警信息进行处理，提取所述第一告警信息的指定信息；该指定信息为当前用户的上级用户的信息，或者操作敏感的文件名，或者特征字符等，然后将指定信息添加到目标模板，得到目标告警信息；本示例中，不仅能够获取告警信息中的基本信息，自定义函数还具有加工逻辑，即可以获取第一告警信息的指定信息，然后将指定信息添加到预置的目标模板，得到目标告警信息。本申请实施例中，目标模板可以动态添加内容，动态按需即时丰富发送内容。

第二虚拟机向用户设备发送所述目标告警信息。

在另一个实施例中，若第二虚拟机接收目标数据时，若该目标数据本身出现异常，则直接将异常的目标数据送入已处理队列；异常扫描服务定时扫描已处理队列，发现处理失败的，重新激活送入待处理队列，重试处理。从而提高数据处理的可靠性。在告警发送方面，传统的告警缺少熔断机制，告警模型错误、设备服务变动或系统异常对用户发送大量无用告警，造成告警轰炸，本申请实施例中，采用熔断机制，避免告警轰炸；本申请实施例中，采用至少二级归并，即可以触发告警，又避免产生重复告警。

需要说明的是，本实例中，第二虚拟机对目标数据进行对应的防御处理，该防御处理可以是收敛防御处理，例如，对目标数据进行归并处理，该归并处理包括一级归并，二级归并，或更多级别的归并，此处并不限定归并的次数，并配置将重复的故障数据进行过滤，则将超过限额次数的第二告警信息进行熔断处理，即不向用户发送超过次数的告警信息。

下面为了方便理解，请结合图6所示，图6为本发明实施例中基于日志分析的网络安全防御方法的场景示意图。在图6中包括第一虚拟机，第二虚拟机及元数据库的数据处理流程。

第一虚拟机处理流程：

500、服务进入初始化，从元数据库加载符合以时间、数据量，重要度为标准的部分元数据至本进程第一进程缓存区(L2)存储，第一进程缓存区的元数据从第三级别的分布式存储区(L3)加载。

501a、从规则配置数据库加载日志规则配置文件。

501b、平面化规则，得到平面结构的规则对象信息，并将规则对象信息转为lua脚本格式。

501c、以执行方式加载到luaJIT实例，编译为机器码，成为静态化规则。

502、从数据队列获取送检的待分析的日志数据。

503、如果有数据，继续执行，否则跳到步骤507。

504、获取的日志数据送入luaJIT实例，带入规则脚本执行。

在本地化第二进程缓存区中搜索，元数据与规则匹配，如果匹配则返回结果；不匹配则在本地化的第一进程缓存区搜索，把查询结果写入第二进程缓存区中，返回。

505、如果符合规则，继续执行，否则跳转至步骤507。

506、发送符合规则的本条数据至数据队列存储设备。

507、距上次更新的时长大于配置值，检测配置(元数据或规则等)的状态(变更或者未变更)。元数据、规则等需要不断更新，因此需要检测配置是否已经更新。

508、如果发生变更，继续执行，否则跳转至步骤502。

509、如果退出标记为真，继续执行，否则跳至步骤500。

510、释放脚本，第二进程缓存区和第一进程缓存区存储所占用的资源。

511、退出。

第二虚拟机处理流程：

601、初始化。

602、从规则配置数据库加载防御配置文件。

603、从数据队列存储设备获取符合规则的数据。

604、如果有数据，则继续执行，否则跳转至步骤606。

605、根据防御配置文件和该符合规则的数据执行防御动作。

606、检测防御配置文件是否有变更。

607、如果有变更，则继续执行，否则跳转至步骤603。

608、如果退出标记为真，继续执行，否则跳转至步骤601。

609、释放资源。

610、服务退出。

元数据处理流程：

701、周期性获取元数据。

702、比较元数据的时间戳，获取时间戳差异的元数据，时间戳产生差异的元数据为发生变更的目标元数据(例如，新增、更新或者删除)。将目标元数据写入第三级别的分布式存储区。

上面对本发明实施中提供的一种基于日志分析的网络安全防御方法进行了描述，下面对网络安全防御方法应用的设备进行描述，本申请实施例提供了一种基于日志分析的网络安全防御设备700的一个实施例包括：

请结合图7所示，图7为本发明实施例中一种基于日志分析的网络安全防御设备700的一个实施例的结构示意图。

网络安全防御设备上运行有第一虚拟机，第一虚拟机包括：

规则获取模块601，用于获取日志规则配置文件，所述日志规则配置文件包括树形结构的配置文本；对所述树形结构的配置文本进行解析，得到树形结构的规则对象信息；对所述树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的日志规则信息；

日志获取模块602，用于获取待分析的日志数据；

元数据获取模块603，用于获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件；

匹配模块604，用于将日志获取模块602获取的日志数据与元数据获取模块603获取的元数据的集合进行匹配处理；

发送模块605，用于当日志数据中包括与元数据相匹配的目标数据，且相匹配的目标数据满足规则获取模块601获取的日志规则信息中对应的规则，则将目标数据发送至第二虚拟机，以使第二虚拟机根据防御配置文件和目标数据进行对应的收敛防御处理。

请参阅图8所示，在图6对应的实施例的基础上，本发明实施例还提供了一种基于日志分析的网络安全防御设备800的另一个实施例：

第一虚拟机还包括：语言格式翻译模块606；

语言格式翻译模块606，用于将规则获取模块601获取的日志规则信息翻译成脚本语言格式，得到脚本语言格式的日志规则信息，所述脚本语言格式包括即时编译器；将所述脚本语言格式的日志规则编译为机器码。

可选的，第一虚拟机包括第一进程缓存区，元数据获取模块603，还用于按照预设条件从分布式缓存获取元数据的集合，并将元数据的集合缓存至第一进程缓存区。

请参阅图9所示，在图6对应的实施例的基础上，本发明实施例还提供了一种基于日志分析的网络安全防御设备900的另一个实施例：

第一虚拟机还包括第二进程缓存区，第一虚拟机还包括查询模块607；

查询模块607，还用于将第二进程缓存区中被查询次数大于阈值的目标元数据缓存至第二进程缓存区。

可选的，匹配模块604，还用于根据日志数据检索第二进程缓存区中的目标元数据，将日志数据与目标元数据进行匹配处理。

可选的，匹配模块604，还用于当在第二进程缓存区中未检索到与日志数据相匹配的数据时，则对第二进程缓存区中缓存的元数据的集合进行检索；当第二进程缓存中缓存的元数据的集合未检索到与日志数据相匹配的数据时，则对分布式缓存中缓存的元数据进行检索，将日志数据与分布式缓存的元数据进行匹配处理。

请参阅图10所示，在图6对应的实施例的基础上，本发明实施例还提供了一种基于日志分析的网络安全防御设备1000的另一个实施例：

规则包括每个威胁事件对应的阈值，第一虚拟机还包括判断模块608和确定模块609；

判断模块608，用于判断匹配模块604确定的目标数据包括的威胁事件的发生次数是否满足对应的阈值；

确定模块609，用于当判断模块608判定的目标数据包括的威胁事件的发生次数超过阈值，则确定目标数据满足日志规则信息中对应的规则。

请参阅图11所示，本申请实施例提供了一种基于日志分析的网络安全防御设备1100的一个实施例，该基于日志分析的网络安全防御设备上运行有第二虚拟机，该第二虚拟机包括：

接收模块1101，用于接收第一虚拟机发送的目标数据，所述目标数据为第一虚拟机根据日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述日志规则信息中对应的规则，所述日志规则信息为平面结构；

生成模块1102，用于根据防御配置文件对所述接收模块1101接收的所述目标数据进行归并处理，生成告警信息，所述告警信息包括第一告警信息；

发送模块1103，发送满足消息策略的生成的所述第一告警信息。

在图11对应的实施例的基础上，请参阅图12所示，所述告警信息还包括第二告警信息，第二虚拟机还包括熔断处理模块1104和消息解析处理模块1105；

熔断处理模块1104，还用于将不满足所述消息策略的接收模块接收1101的告警信息中的第二告警信息进行熔断处理。

消息解析处理模块1105，用于基于函数对所述告警信息进行处理，提取所述生成模块1102生成的第一告警信息的指定信息；将所述指定信息添加到目标模板，得到目标告警信息；

所述发送模块1103，还用于发送所述消息解析处理模块1105处理之后得到的目标告警信息。

生成模块1102，还用于按照所述消息策略对所述目标数据中的多个数据进行一级归并，确定所述目标数据是否为需要告警的问题数据；若所述目标数据为需要告警的问题数据，则对所述目标数据进行二级并归，确定所述目标数据中的各个数据按照类别进行划分，得到至少一个类别的数据；根据所述至少一个类别的数据，生成所述告警信息。

进一步的，图7至图12中的设备是以功能模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，图7至图12中的设备可以采用图13所示的形式。

图13是本发明实施例提供了一种基于日志分析的网络安全防御设备另一个实施例的结构示意图，该设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器1322和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对设备中的一系列指令操作。更进一步地，处理器1322可以设置为与存储介质1330通信，在设备1300上执行存储介质1330中的一系列指令操作。

设备1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由设备所执行的步骤可以基于该图13所示的设备结构。

本实施例中，可以以第一虚拟机和第二虚拟机集成于该服务器中为例进行说明，则处理器1322用于使该基于日志分析的网络安全防御设备执行上述方法实施例中第一虚拟机和第二虚拟机所执行的步骤。

具体的，处理器1322，用于获取平面结构的日志规则信息；

网络接口1350，用于获取待分析的日志数据；

网络接口1350，用于获取元数据的集合，元数据包括对网络安全造成威胁的威胁事件；

处理器1322，用于将日志数据与元数据的集合进行匹配处理；

输入输出接口1358，用于当日志数据中包括与元数据相匹配的目标数据，且相匹配的目标数据满足日志规则信息中对应的规则，则将目标数据发送至第二虚拟机，

处理器1322，用于根据防御配置文件和目标数据进行对应的防御处理。

可选的，

网络接口1350，用于获取日志规则配置文件，日志规则配置文件包括树形结构的规则对象信息；

处理器1322，用于对树形结构的规则对象信息按照日志的类别进行分类处理，得到平面结构的规则对象信息。

可选的，处理器1322，还用于将日志规则信息翻译成脚本语言格式，得到脚本语言格式的日志规则信息。

可选的，第一虚拟机包括第一进程缓存区，

处理器1322，还用于按照预设条件从分布式缓存获取元数据的集合，并将元数据的集合缓存至第一进程缓存区。

可选的，第一虚拟机还包括第二进程缓存区，

处理器1322，还用于将第一进程缓存区中被查询次数大于阈值的目标元数据缓存至第二进程缓存区。

可选的，处理器1322，还用于根据日志数据检索第二进程缓存区中的目标元数据，将日志数据与目标元数据进行匹配处理。

可选的，处理器1322，还用于当在第二进程缓存区中未检索到与日志数据相匹配的数据，对第一进程缓存区中缓存的元数据的集合进行检索；当第一进程缓存中缓存的元数据的集合未检索到与日志数据相匹配的数据，则对分布式缓存中缓存的元数据进行检索，将日志数据与分布式缓存的元数据进行匹配处理。

可选的，规则包括每个威胁事件对应的阈值，判断目标数据包括的威胁事件的发生次数是否满足对应的阈值；

处理器1322，还用于当目标数据包括的威胁事件的发生次数超过阈值时，确定目标数据满足日志规则信息中对应的规则。

本发明实施例还提供了一种计算机存储介质，用于储存为上述图13所示的设备所用的计算机软件指令，其包含用于执行上述方法实施例所设计的程序。通过执行存储的程序，可以实现网络安全防御。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种基于日志分析的网络安全防御方法，其特征在于，应用于第一虚拟机，所述第一虚拟机包括第一进程缓存区和第二进程缓存区，所述方法包括：

获取日志规则配置文件，所述日志规则配置文件包括树形结构的配置文本；

对所述树形结构的配置文本进行解析，得到树形结构的规则对象信息；

对所述树形结构的规则对象信息按照日志的类型进行分类处理，得到平面结构的日志规则信息，所述平面结构的日志规则信息中每个数据至多有一个前驱数据和一个后继数据；

获取待分析的日志数据；

按照预设条件从分布式缓存获取元数据的集合，并将所述元数据的集合缓存至所述第一进程缓存区，所述元数据包括对网络安全造成威胁的威胁事件；

将所述第一进程缓存区中被查询次数大于阈值的目标元数据缓存至所述第二进程缓存区；

根据所述日志数据检索所述第二进程缓存区中的目标元数据，将所述日志数据与所述目标元数据进行匹配处理；

若所述日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述日志规则信息中对应的规则，则将所述目标数据发送至第二虚拟机，以使所述第二虚拟机根据防御配置文件和所述目标数据进行对应的防御处理。

2.根据权利要求1所述的基于日志分析的网络安全防御方法，其特征在于，所述获取平面结构的日志规则信息之后，所述通过所述日志数据与所述元数据进行匹配之前，所述方法还包括：

将所述日志规则信息翻译成脚本语言格式，得到脚本语言格式的日志规则信息，所述脚本语言格式包括即时编译器；

将所述脚本语言格式的日志规则编译为机器码。

3.根据权利要求1所述的基于日志分析的网络安全防御方法，其特征在于，所述方法还包括：

若在所述第二进程缓存区中未检索到与所述日志数据相匹配的数据，则对所述第一进程缓存区中缓存的元数据的集合进行检索；

若所述第一进程缓存中缓存的元数据的集合未检索到与所述日志数据相匹配的数据，则对所述分布式缓存中缓存的元数据进行检索，将所述日志数据与所述分布式缓存的元数据进行匹配处理。

4.一种基于日志分析的网络安全防御方法，其特征在于，所述方法还包括：

接收第一虚拟机发送的目标数据，所述目标数据为第一虚拟机根据日志数据中包括与元数据相匹配的目标数据，且所述相匹配的目标数据满足日志规则信息中对应的规则，所述日志规则信息为平面结构，平面结构的日志规则信息中每个数据至多有一个前驱数据和一个后继数据，所述平面结构的日志规则信息为对树形结构的规则对象信息按照日志的类型进行分类处理得到平面结构的日志规则信息，所述第一虚拟机包括第一进程缓存区和第二进程缓存区，所述第一虚拟机将日志数据与元数据的集合进行匹配处理的过程为：按照预设条件从分布式缓存获取元数据的集合，并将所述元数据的集合缓存至所述第一进程缓存区，所述元数据包括对网络安全造成威胁的威胁事件；将所述第一进程缓存区中被查询次数大于阈值的目标元数据缓存至所述第二进程缓存区；根据获取待分析的日志数据检索所述第二进程缓存区中的目标元数据，将所述日志数据与所述目标元数据进行匹配处理；

根据防御配置文件对所述目标数据进行归并处理，生成告警信息，所述告警信息包括满足消息策略的第一告警信息；

发送所述第一告警信息。

5.根据权利要求4所述的基于日志分析的网络安全防御方法，其特征在于，所述告警信息还包括第二告警信息，所述方法还包括：

将不满足所述消息策略的第二告警信息进行熔断处理。

6.根据权利要求4所述的基于日志分析的网络安全防御方法，其特征在于，所述方法还包括：

基于函数对所述告警信息进行处理，提取所述第一告警信息的指定信息；

将所述指定信息添加到目标模板，得到目标告警信息；

发送所述目标告警信息。

7.根据权利要求4所述的基于日志分析的网络安全防御方法，其特征在于，所述按照防御配置文件对所述目标数据进行归并处理，包括：

按照所述防御配置文件对所述目标数据中的多个数据进行一级归并，确定所述目标数据是否为需要告警的问题数据；

若所述目标数据为需要告警的问题数据，则对所述目标数据进行二级并归，确定所述目标数据中的各个数据按照类别进行划分，得到至少一个类别的数据；

根据所述至少一个类别的数据，生成所述告警信息。

8.一种基于日志分析的网络安全防御设备，其特征在于，所述网络安全防御设备上运行有第一虚拟机，所述第一虚拟机包括第一进程缓存区和第二进程缓存区，所述第一虚拟机包括：

规则获取模块，用于获取日志规则配置文件，所述日志规则配置文件包括树形结构的配置文本，对所述树形结构的配置文本进行解析，得到树形结构的规则对象信息；对所述树形结构的规则对象信息按照日志的类型进行分类处理，得到平面结构的日志规则信息，所述平面结构的日志规则信息中每个数据至多有一个前驱数据和一个后继数据；

日志获取模块，用于获取待分析的日志数据；

元数据获取模块，用于按照预设条件从分布式缓存获取元数据的集合，并将所述元数据的集合缓存至所述第一进程缓存，所述元数据包括对网络安全造成威胁的威胁事件；

查询模块，用于将所述第一进程缓存区中被查询次数大于阈值的目标元数据缓存至所述第二进程缓存区；

匹配模块，用于根据所述日志数据检索所述第二进程缓存区中的目标元数据，将所述日志数据与所述目标元数据进行匹配处理；

发送模块，用于当所述日志数据中包括与所述元数据相匹配的目标数据，且所述相匹配的目标数据满足所述规则获取模块获取的所述日志规则信息中对应的规则时，将所述目标数据发送至第二虚拟机，以使所述第二虚拟机根据防御配置文件和所述目标数据进行对应的防御处理。

9.一种基于日志分析的网络安全防御设备，其特征在于，包括：

接收模块，用于接收第一虚拟机发送的目标数据，所述目标数据为第一虚拟机根据日志数据中包括与元数据相匹配的目标数据，且所述相匹配的目标数据满足日志规则信息中对应的规则，所述日志规则信息为平面结构，平面结构的日志规则信息中每个数据至多有一个前驱数据和一个后继数据，所述平面结构的日志规则信息为对树形结构的规则对象信息按照日志的类型进行分类处理得到平面结构的日志规则信息，所述第一虚拟机包括第一进程缓存区和第二进程缓存区，所述第一虚拟机将日志数据与元数据的集合进行匹配处理的过程为：按照预设条件从分布式缓存获取元数据的集合，并将所述元数据的集合缓存至所述第一进程缓存区，所述元数据包括对网络安全造成威胁的威胁事件；将所述第一进程缓存区中被查询次数大于阈值的目标元数据缓存至所述第二进程缓存区；根据获取待分析的日志数据检索所述第二进程缓存区中的目标元数据，将所述日志数据与所述目标元数据进行匹配处理；

生成模块，用于根据防御配置文件对所述接收模块接收的所述目标数据进行归并处理，生成告警信息，所述告警信息包括第一告警信息；

发送模块，发送满足消息策略的生成的所述第一告警信息。

10.一种基于日志分析的网络安全防御设备，其特征在于，包括：

存储器，用于存储计算机可执行程序代码；

网络接口，以及

处理器，与所述存储器和所述网络接口耦合；

其中所述程序代码包括指令，当所述处理器执行所述指令时，所述指令使所述基于日志分析的网络安全防御设备执行如权利要求1至3任一项所述的方法，或者，执行如权利要求4至7中任一项所述的方法。

11.一种计算机存储介质，其特征在于，用于储存计算机软件指令，其包含用于执行上述权利要求1至3任一项所述的方法，或者，执行如权利要求4至7中任一项所述的方法。

Images