CN115858581A - SOAR联动flink提升剧本运行速度的方法及系统 - Google Patents

Abstract

本发明提出了一种SOAR联动flink提升剧本运行速度的方法及系统，涉及网络安全技术领域。包括用户在SOAR自动化编排系统上进行编排，将需要使用flink节点的规则信息同步到flink集群的数据库中；数据流先发送到flink节点，根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已处理过则直接进行下一个节点，依次类推；如果未处理则由SOAR编排自己处理。能够在处理海量数据时加快处理速度，提高剧本自动化编排的效率。

Description

SOAR联动flink提升剧本运行速度的方法及系统

技术领域

本发明涉及网络安全技术领域，具体而言，涉及一种SOAR联动flink提升剧本运行速度的方法及系统。

背景技术

安全运营是网络安全保障体系的一部分，随着安全体系的不断深化，大部分企业已从建设期转换为运营期，一家企业在日常安全运维过程中，存在多人、多个异构系统和多个操作界面的安全运营协作工作，安全处置效率较长，运营效率低下。工作流引擎作为平台系统的一部分，将系统各个动作拼接成“动作集”，定义顺序、转换条件和传递数据；应用包，封装第三方系统、应用或服务的接口，形成应用业务逻辑的动作库，一个应用可包含多个动作的集合，简称为应用包。其可供SOAR子系统在剧本可视化编排时，根据实际剧本的处置述求，结合形成工作流环节的一部分。综上，现有技术中，SOAR自动化编排系统用于进行事件处置，同时具有针对海量数据进行特征分析和判断的能力。但是，在处理海量数据时由于增大了数据处理压力，造成数据处理时间较长，造成剧本自动化编排效率低的问题。

发明内容

本发明的目的在于提供一种SOAR联动flink提升剧本运行速度的方法，其能够在处理海量数据时加快处理速度，提高剧本自动化编排的效率。

本发明的另一目的在于提供SOAR联动flink提升剧本运行速度的系统，其能够在处理海量数据时加快处理速度，提高剧本自动化编排的效率。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种SOAR联动flink提升剧本运行速度的方法，其包括如下步骤，SOAR联动flink的交互：S1用户配置，供用户在SOAR自动化编排系统上进行编排，上述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；S2数据流向设置，S2-1.数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；S2-2.将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；S2-3.剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理。

在本发明的一些实施例中，在上述SOAR联动flink的交互后，还包括如下步骤，数据结构设计：通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。

在本发明的一些实施例中，上述有向图的构建根据多个关键词的至少一项重要属性设置。

在本发明的一些实施例中，上述关键词包括分析规则、分析规则名称、剧名名称、采集器名称、剧本名称和规则名称中的任意一项或多项。

在本发明的一些实施例中，上述重要属性包括分析规则名称、剧本名称、采集器名称、规则名称、输出方向和判断正确/错误中的一种或多种。

在本发明的一些实施例中，上述SOAR自动化编排配置的规则信息包括，根据剧本制作过程的内容热度、作者热度和编辑热度对各项数据源进行数据清洗，根据数据清洗后的剧本的内容热度、作者热度和编辑热度分析各剧本版本的喜爱度，将低于喜爱度阈值的剧本进行过滤。

第二方面，本申请实施例提供一种SOAR联动flink提升剧本运行速度的系统，其包括SOAR联动flink的交互单元和数据结构设计单元；上述SOAR联动flink的交互单元包括用户配置模块和数据流向设置模块；上述用户配置模块供用户在SOAR自动化编排系统上进行编排，上述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；上述数据流向设置模块供数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理；上述数据结构设计单元供通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

本发明在SOAR自动化编排系统中实现了对海量数据进行特征判断和统计分析，并且利用分布式处理引擎flink可以让计算能力横向扩容，调度能力随集群线性增长，提供了良好性能。让编排的流程不仅仅只执行简单动作，还可以利用flink实时流处理进行海量数据处理，同时还能执行更高级的处理方式。在自动化处置时通过规则信息将特征判断和统计分析参与到处理流程中，从而进行数据清洗和分析过滤，还可以让事件处置的效果更精准。通过自动化编排中结合flink进行高性能的实时流处理，提高了处理速度；利用flink对海量数据进行压降，降低了SOAR的压力；在引入了flink组件的同时，不影响SOAR自动化编排的易用性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1的SOAR联动flink提升剧本运行速度的方法的原理图；

图2为本发明实施例1的SOAR联动flink提升剧本运行速度的方法的流程图；

图3为本发明实施例1的数据清洗和分析过滤的示例图；

图4为本发明实施例2的SOAR联动flink提升剧本运行速度的系统的原理图；

图5为本发明实施例3的电子设备的原理图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1～图3，图1～图3所示为本申请实施例提供的SOAR联动flink提升剧本运行速度的方法的示意图。SOAR联动flink提升剧本运行速度的方法，其包括如下步骤，SOAR联动flink的交互：S1用户配置，供用户在SOAR自动化编排系统上进行编排，上述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；S2数据流向设置，S2-1.数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；S2-2.将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；S2-3.剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理。

SOAR联动flink的交互分为两部分，一部分是用户配置，一部分是数据流向。因为flink是高性能实时流处理，数据先由flink进行数据清洗及分析过滤，将数据压降下来再发送给SOAR，这样能明显降低SOAR的压力。本发明在SOAR自动化编排系统中实现了对海量数据进行特征判断和统计分析，并且利用分布式处理引擎flink可以让计算能力横向扩容，调度能力随集群线性增长，提供了良好性能。让编排的流程不仅仅只执行简单动作，还可以利用flink实时流处理进行海量数据处理，同时还能执行更高级的处理方式。在自动化处置时通过规则信息将特征判断和统计分析参与到处理流程中，从而进行数据清洗和分析过滤，还可以让事件处置的效果更精准。通过自动化编排中结合flink进行高性能的实时流处理，提高了处理速度；利用flink对海量数据进行压降，降低了SOAR的压力；在引入了flink组件的同时，不影响SOAR自动化编排的易用性。

在本发明的一些实施例中，在上述SOAR联动flink的交互后，还包括如下步骤，数据结构设计：通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。通过设计数据结构体，可以将SOAR与flink相关连的节点按照SOAR的有向图进行构建，让flink按照有向图按序执行，实现soar和flink间联动。

在本发明的一些实施例中，上述有向图的构建根据多个关键词的至少一项重要属性设置。

在本发明的一些实施例中，上述关键词包括分析规则、分析规则名称、剧名名称、采集器名称、剧本名称和规则名称中的任意一项或多项。

在本发明的一些实施例中，上述重要属性包括分析规则名称、剧本名称、采集器名称、规则名称、输出方向和判断正确/错误中的一种或多种。

数据结构体用于设计SOAR的有向图，根据本申请实施例上述方案设计得到以下数据结构体，所涉及到联通相关的重要属性均已列出，如下表所示：

在本发明的一些实施例中，上述SOAR自动化编排配置的规则信息包括，根据剧本制作过程的内容热度、作者热度和编辑热度对各项数据源进行数据清洗，根据数据清洗后的剧本的内容热度、作者热度和编辑热度分析各剧本版本的喜爱度，将低于喜爱度阈值的剧本进行过滤。

根据内容、作者和二次编辑的热度，从而从多角度获得剧本源数据的受欢迎程度，进而对剧本的初创内容不完善、作者活跃程度低和二次修改无影响的数据源进行初筛清洗。并且将清洗后的数据进一步分析剧本喜爱度，从而挖掘出优秀剧本吸引观众的关注点，提高剧本有效编辑的精准度，对喜爱度低的剧本版本再次进行精确过滤，提高剧本编辑质量和自动化编辑的效率。其中，内容热度可以根据剧本的浏览量、下载次数、分享次数和点赞数得到；作者热度可以根据作者发表数量、作者关注人数、作者分享人数、以及发表作品浏览量、下载次数、分享次数和点赞次数得到；编辑热度可以根据剧本内容的创建时间、更新时间、编辑时间、编辑次数、编辑人数和编辑程度得到。

实施例2

请参阅图4，SOAR联动flink提升剧本运行速度的系统，其包括SOAR联动flink的交互单元和数据结构设计单元；上述SOAR联动flink的交互单元包括用户配置模块和数据流向设置模块；上述用户配置模块供用户在SOAR自动化编排系统上进行编排，上述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；上述数据流向设置模块供数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理；上述数据结构设计单元供通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。

本申请实施例与实施例1的原理相同，在此不做重复描述。可以理解，图4所示的结构仅为示意，SOAR联动flink提升剧本运行速度的系统还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

实施例3

请参阅图5，图5为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例2所提供的SOAR联动flink提升剧本运行速度的系统对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种SOAR联动flink提升剧本运行速度的方法及系统：本发明在SOAR自动化编排系统中实现了对海量数据进行特征判断和统计分析，并且利用分布式处理引擎flink可以让计算能力横向扩容，调度能力随集群线性增长，提供了良好性能。让编排的流程不仅仅只执行简单动作，还可以利用flink实时流处理进行海量数据处理，同时还能执行更高级的处理方式。在自动化处置时通过规则信息将特征判断和统计分析参与到处理流程中，从而进行数据清洗和分析过滤，还可以让事件处置的效果更精准。通过自动化编排中结合flink进行高性能的实时流处理，提高了处理速度；利用flink对海量数据进行压降，降低了SOAR的压力；在引入了flink组件的同时，不影响SOAR自动化编排的易用性。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.SOAR联动flink提升剧本运行速度的方法，其特征在于，包括如下步骤，

SOAR联动flink的交互：

S1用户配置，供用户在SOAR自动化编排系统上进行编排，所述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；

S2数据流向设置，

S2-1.数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；

S2-2.将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；

S2-3.剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理。

2.如权利要求1所述的SOAR联动flink提升剧本运行速度的方法，其特征在于，在SOAR联动flink的交互后，还包括如下步骤，数据结构设计：通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。

3.如权利要求2所述的SOAR联动flink提升剧本运行速度的方法，其特征在于，所述有向图的构建根据多个关键词的至少一项重要属性设置。

4.如权利要求3所述的SOAR联动flink提升剧本运行速度的方法，其特征在于，所述关键词包括分析规则、分析规则名称、剧名名称、采集器名称、剧本名称和规则名称中的任意一项或多项。

5.如权利要求4所述的SOAR联动flink提升剧本运行速度的方法，其特征在于，所述重要属性包括分析规则名称、剧本名称、采集器名称、规则名称、输出方向和判断正确/错误中的一种或多种。

6.如权利要求1所述的SOAR联动flink提升剧本运行速度的方法，其特征在于，所述SOAR自动化编排配置的规则信息包括，根据剧本制作过程的内容热度、作者热度和编辑热度对各项数据源进行数据清洗，根据数据清洗后的剧本的内容热度、作者热度和编辑热度分析各剧本版本的喜爱度，将低于喜爱度阈值的剧本进行过滤。

7.SOAR联动flink提升剧本运行速度的系统，其特征在于，包括SOAR联动flink的交互单元和数据结构设计单元；所述SOAR联动flink的交互单元包括用户配置模块和数据流向设置模块；

所述用户配置模块供用户在SOAR自动化编排系统上进行编排，所述自动化编排系统将需要使用flink节点的规则信息同步到flink集群的数据库中；

所述数据流向设置模块供数据流先发送到flink节点，flink节点根据SOAR自动化编排配置的规则信息针对数据进行数据清洗和分析过滤；将压降后的数据发送给SOAR触发器，SOAR触发器接收到数据后进行剧本节点处理；剧本节点中碰到与flink相关的节点信息时，判断其是否进行过处理，如果已由flink节点处理过则直接进行下一个节点，依次类推；如果未使用flink节点处理的则由SOAR编排自己处理；

所述数据结构设计单元供通过设计数据结构体，将SOAR与flink相关联的节点按照SOAR的有向图进行构建。

Images