CN115022243B - 数据流量控制方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请公开了数据流量控制方法、装置、系统、电子设备及存储介质，该方法为：数据接入模块若确定超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；若批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据待处理数据流量的数量和批处理缓存模块中缓存的数据流量的数量确定待处理数据流量的目标数量，将目标数量的待处理数据流量发送至批处理缓存模块进行缓存，若存在剩余的待处理数据流量，将剩余的待处理流量缓存至超量缓存模块；若批处理缓存模块中缓存的数据流量的数量等于设定数量，则将待处理数据流量存储至超量缓存模块，待批处理缓存模块中的数据被处理完毕后，将待处理数据流量发送至批处理缓存模块中进行缓存。

Description

数据流量控制方法、装置、系统、电子设备及存储介质

技术领域

本申请涉及网络安全技术领域，尤其涉及一种数据流量控制方法、装置、系统、电子设备及存储介质。

背景技术

SOAR(Security Orchestration,Automation and Response，安全编排、自动化和响应)是一系列技术的合集，它能够帮助企业和组织收集安全运维人员监控到的各种信息(包括各种安全系统产生的告警)，并对这些信息进行事件分析和告警管理，在标准工作流程的指引下帮助安全运维人员定义、排序和驱动标准化的事件响应活动。SOAR系统使得企业和组织能够对事件分析与响应流程进行形式化的描述，可对现有的安全处理能力进行灵活编排并形成剧本，通过解析与执行能力完成安全威胁事件的自动化响应。然而威胁事件的产生往往可能在短期内集中爆发，因此如何对数据流量进行控制以确保SOAR系统在大数据量的情况下稳定运行尤为重要。

SOAR系统主要包括数据接入模块、剧本处理模块与动作执行模块，现有技术中，SOAR系统针对数据流量的控制方式通常是在数据接入模块以设定的速率接入待分析处理的数据流量，数据接入模块将接入的数据流量发送至剧本处理模块，剧本处理模块按照数据流量的类型使用相应的剧本对数据流量进行处理分析，再将针对需要进行处置的数据流量(如威胁攻击流量)发送至动作执行模块执行相应的动作(如对威胁攻击流量进行封堵等)。然而由于剧本处理模块对数据流量采用微批处理，而数据接入模块周期获取的数据量不固定，很难控制达到剧本处理模块微批处理的批大小，无法保证在大数据量场景下SOAR系统运行的稳定性及吞吐率。

发明内容

为了解决SOAR系统中现有的针对数据流量的控制方式无法保证在大数据量场景下SOAR系统运行的稳定性及吞吐率的问题，本申请实施例提供了一种数据流量控制方法、装置、系统、电子设备及存储介质。

第一方面，本申请实施例提供了一种数据流量控制方法，应用于SOAR系统，所述SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，所述数据接入模块中包含超量缓存模块，所述数据接入模块与所述剧本处理模块之间连接有批处理缓存模块，所述方法，包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；

若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；

若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述方法，还包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量。

在一种可能的实施方式中，确定所述超量缓存模块中缓存的数据量满足数据获取条件，具体包括：

若确定所述超量缓存模块中缓存的数据量为空时，则确定所述超量缓存模块中缓存的数据量满足数据获取条件；以及

确定所述超量缓存模块中缓存的数据量不满足数据获取条件，具体包括：

若确定所述超量缓存模块中缓存的数据量为非空时，则确定所述超量缓存模块中缓存的数据量不满足数据获取条件。

在一种可能的实施方式中，若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，具体包括：

若确定所述批处理缓存模块中不存在数据，则向所述批处理缓存模块发送所述设定数量的待处理数据流量，并将剩余的待处理数据流量存储至所述超量缓存模块；

若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和小于或等于所述设定数量，则将所述待处理数据流量的数量确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存；

若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和大于所述设定数量，则将所述设定数量与所述批处理缓存模块中缓存的数据流量的数量的差值确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述设定数量等于所述剧本处理模块的微批处理数据量的阈值。

在一种可能的实施方式中，所述数据接入模块包括数据接入开关；

所述数据接入模块若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量，具体包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量为空时，则将设置的信号量置为零以开启所述数据接入开关，获取待处理数据流量；以及

所述数据接入模块若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量，具体包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量为非空时，则将设置的信号量置为所述超量缓存模块中缓存的数据流量的数量以关闭所述数据接入开关，不获取待处理数据流量。

第二方面，本申请实施例提供了一种数据流量控制装置，应用于SOAR系统，所述SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，所述数据接入模块中包含超量缓存模块，所述数据接入模块与所述剧本处理模块之间连接有批处理缓存模块，所述装置，包括：

获取单元，用于若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；

第一缓存单元，用于若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；

第二缓存单元，用于若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述获取单元，还用于若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量。

在一种可能的实施方式中，所述获取单元，具体用于若确定所述超量缓存模块中缓存的数据量为空时，则确定所述超量缓存模块中缓存的数据量满足数据获取条件；以及若确定所述超量缓存模块中缓存的数据量为非空时，则确定所述超量缓存模块中缓存的数据量不满足数据获取条件。

在一种可能的实施方式中，所述第一缓存单元，具体用于若确定所述批处理缓存模块中不存在数据，则向所述批处理缓存模块发送所述设定数量的待处理数据流量，并将剩余的待处理数据流量存储至所述超量缓存模块；若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和小于或等于所述设定数量，则将所述待处理数据流量的数量确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存；若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和大于所述设定数量，则将所述设定数量与所述批处理缓存模块中缓存的数据流量的数量的差值确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述设定数量等于所述剧本处理模块的微批处理数据量的阈值。

在一种可能的实施方式中，所述数据接入模块包括数据接入开关；

所述获取单元，具体用于若确定所述超量缓存模块中缓存的数据量为空时，则将设置的信号量置为零以开启所述数据接入开关，获取待处理数据流量；以及若确定所述超量缓存模块中缓存的数据量为非空时，则将设置的信号量置为所述超量缓存模块中缓存的数据流量的数量以关闭所述数据接入开关，不获取待处理数据流量。

第三方面，本申请实施例提供了一种数据流量控制系统，包括N个处理节点，第1～N-1个处理节点中分别包含超量缓存模块，每两个相邻处理节点之间分别连接有批处理缓存模块，其中：

所述处理节点，用于若确定自身的超量缓存模块中缓存的数据量满足数据获取条件时，从上一节点获取待处理数据流量；若确定与下一节点相连的批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待下一节点将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请所述的数据流量控制方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请所述的数据流量控制方法中的步骤。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

本申请实施例的有益效果如下：

本申请实施例提供的数据流量控制方法，可应用于SOAR系统，SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，数据接入模块中包含超量缓存模块，数据接入模块与剧本处理模块之间连接有批处理缓存模块。数据接入模块若确定超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；数据接入模块若确定批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据待处理数据流量的数量和批处理缓存模块中缓存的数据流量的数量确定向批处理缓存模块发送待处理数据流量的目标数量，将目标数量的待处理数据流量发送至批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将剩余的待处理流量缓存至超量缓存模块；若确定批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将待处理数据流量存储至超量缓存模块，以待剧本处理模块将批处理缓存模块中的数据处理完毕后，将待处理数据流量发送至批处理缓存模块中进行缓存。本申请实施例提供的数据流量控制方法，在SOAR系统中设置批处理缓存模块和超量缓存模块，当数据接入模块确定超量缓存模块缓存的数据量满足数据获取条件时获取待处理数据流量，并优先将待处理数据流量缓存入批处理缓存模块，若批处理缓存模块已无剩余空间，则将待处理数据流量缓存入超量缓存模块中，待剧本处理模块将批处理缓存模块中缓存的数据流量处理完毕后，再将超量缓存模块中缓存的待处理数据流量发送至批处理缓存模块中进行缓存，由于数据接入模块向剧本处理模块推送数据的速度快于剧本处理模块的处理速度，这样，超量缓存模块和批处理缓存模块可以起到数据流量的汇聚作用，在剧本处理模块有空闲处理资源之前，尽可能地将数据流量汇聚到靠近剧本处理模块设置的微批处理数据量的阈值，从而提升SOAR系统运行的稳定性及吞吐率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的SOAR系统的结构示意图；

图2为本申请实施例提供的包含多个处理节点的数据流量控制系统示意图；

图3为本申请实施例提供的数据流量控制方法的流程示意图；

图4为本申请实施例提供的数据流量控制装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

具体实施方式

现有技术中，SOAR系统针对数据流量的控制方式通常是在数据接入模块以设定的速率接入待分析处理的数据流量，数据接入模块将接入的数据流量发送至剧本处理模块，剧本处理模块按照数据流量的类型使用相应的剧本对数据流量进行处理分析，再将针对需要进行处置的数据流量发送至动作执行模块执行相应的动作。例如，在一些威胁攻击场景中，客户端可能遭遇密集型的威胁攻击事件，威胁攻击事件产生的速率可能超过日常情况下SOAR系统配置的性能指标，剧本处理模块的剧本常采用网络侧安全设备的全局封堵功能，即使将攻击IP进行封堵，然而不同的安全设备所需处理时长常在秒级，剧本处理模块对数据流量采用微批处理，一个进程从开始执行到资源释放通常在分钟级，现有的数据流量控制方法通过定期固定数量的待处理数据流量接入方式来进行数据流量控制，但是由于下游安全设备处理速度的巨大差异性，会导致此种数据流量控制方式失效，使得大量数据积压在SOAR系统内无法被处理，甚至会造成系统崩溃，而且，由于剧本处理模块对数据流量采用微批处理，而数据接入模块周期获取的数据量不固定，很难控制达到剧本处理模块微批处理的批大小，无法保证在大数据量场景下SOAR系统运行的稳定性及吞吐率。

为了解决上述SOAR系统中现有的针对数据流量的控制方式无法保证在大数据量场景下SOAR系统运行的稳定性及吞吐率的问题，本申请实施例提供了一种数据流量控制方法、装置、系统、电子设备及存储介质。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

首先参考图1，其为本申请实施例提供的数据流量控制方法的应用场景示意图，也即本申请实施提供的SOAR系统的结构示意图，SOAR系统100包括数据接入模块101、剧本处理模块102和动作执行模块103，在数据接入模块101中设置超量缓存模块104，在数据接入模块101与剧本处理模块102之间设置批处理缓存模块105，批处理缓存模块105分别连接数据接入模块101和剧本处理模块102。数据接入模块101可以从Kafka数据源获取待处理数据流量，其中，Kafka数据源中的数据流量是从各种网络平台中收集的告警事件数据、威胁情报数据等，批处理缓存模块105用于缓存待剧本处理模块102处理的数据流量，超量缓存模块104用于缓存批处理缓存模块105无存储空间时剩余的数据流量，剧本处理模块102从批处理缓存模块105中获取待处理的数据流量，根据数据流量的类型将不同类型的数据流量对应到不同的剧本上，启动相应的剧本子进程对不同类型的数据流量进行处理分析，再将处理结果发送至动作执行模块103，由动作执行模块103执行相应的动作。本申请实施例中，可将批处理缓存模块105的可缓存的数据流量的数量设置为剧本处理模块102设置的微批处理数据量的阈值，这样，可以有效控制每一批次待处理的数据流量尽量达到剧本处理模块102微批处理的批大小，有效发挥剧本处理模块微批处理的效率，提升系统资源利用率和吞吐量，并且，可设置超量缓存模块104的缓存空间大于批处理缓存模块105的缓存空间，数据接入模块101在超量缓存模块104中缓存的数据量不为空时，主动关闭数据接入开关，不从Kafka数据源中获取待处理数据流量，数据接入模块101在超量缓存模块104中缓存的数据量为空时，即数据接入模块101将超量缓存模块104中缓存的数据流量都发送至批处理缓存模块105后，开启数据接入开关，从Kafka数据源中获取待处理数据流量，超量缓存模块104缓存批处理缓存模块105无存储空间时剩余的数据流量，进一步提升了系统稳定性和吞吐率。

在另一种可能的通用的应用场景中，本申请实施例提供的数据流量控制方法还可以应用于包含多个处理节点的数据流量控制系统(或称数据处理系统)中，如图2所示，数据流量控制系统200包括N个处理节点201(201-1～201-N)，每一处理节点201可将数据处理结果传送至下一处理节点201进行后续处理，可在除第N个处理节点201-N之外的每一处理节点(201-1～201-N-1)中设置超量缓存模块202(202-1～202-N-1)，每两个相邻处理节点201之间设置批处理缓存模块203(203-1～203-N-1)进行连接，处理节点1中的超量缓存模块缓存从数据源获取的待处理数据流量，处理节点2～处理节点N-1(201-2～201-N-1)各自的超量缓存模块缓存各自上一处理节点201的数据处理结果，各个批处理缓存模块203分别缓存各自的上一处理节点201推送的数据处理结果，处理节点1(201-1)在其超量缓存模块为空时，可通过将设置的信号量置为0，以控制打开其数据接入开关，从数据源获取待处理数据流量，在其超量缓存模块为非空时，可通过将设置的信号量置为其超量缓存模块202-1中缓存的数据流量的数量以控制关闭数据接入开关，停止从数据源获取待处理数据流量，处理节点1(201-1)可对超量缓存模块202-1中缓存的待处理数据流量进行处理获得数据处理结果并在超量缓存模块202-1中进行缓存，将数据处理结果推送至与处理节点2(201-2)之间连接的批处理缓存模块(203-1)，直至其超量缓存模块202-1为空，再重新打开数据接入开关从数据源获取待处理数据流量，同理，处理节点2(201-2)～处理节点N-1(201-N-1)在各自的超量缓存模块202-2～202-N-1缓存的上一处理节点201的数据处理结果为空时，可通过将其信号量设置为0，以打开数据接入开关，从与上一处理节点201相连接的批处理缓存模块203中提取缓存的上一处理节点201的数据处理结果，并对上一处理节点201的数据处理结果进行处理获得当前处理节点201的数据处理结果，将数据处理结果推送至与下一处理节点201之间连接的批处理缓存模块203中进行缓存，当当前处理节点201的超量缓存模块202为非空时，则通过将其信号量设置为其超量缓存模块中缓存的数据流量的数量，以控制关闭其数据接入开关，不再从与上一处理节点201相连接的批处理缓存模块203中提取数据。这种多级缓存数据流量控制方式中，每个处理节点的超量缓存模块202中缓存的数据流量的数量既可表示信号量，又可控制数据接入开关的开启与关闭，同时还存储实际的待处理数据流量，简化了包含有多个处理节点的数据流量控制系统对数据流量控制的复杂度。本申请实施例信号量的设置是通过数据反压传递的，当前某一处理节点下游的处理节点由于性能等因素处理缓慢时，可能会来不及将该当前处理节点的超量缓存模块中缓存的数据处理结果推送到其下游的处理节点，则可使该当前处理节点上游的处理节点的数据推送暂停，这样各处理节点的超量缓存模块中的数据逐级累积，直至反向传递至处理节点1，处理节点1停止继续接入待处理数据流量，直至当前处理节点的下游处理节点释放了各自的超量缓存模块的空间，信号量重新置为0以控制打开数据接入开关，逐级传递，以使整个数据传输过程重新运转起来。通过多级缓存数据流量控制机制，能够动态控制各处理节点的数据接入，且数据接入开关的控制可与下游处理节点的数据处理能力相匹配，无需对下游处理节点的数据处理能力实时进行主动监测，不会因为下游处理节点的执行时长的差异性而导致数据流量控制失效，可最大化资源利用率，提升了数据流量控制系统的稳定性和吞吐量，并且，通过多级缓存和信号量的配合，能够将各处理节点的数据接入开关与下游处理节点的实际处理速度进行同步，确保了数据流量的有效控制。

基于上述应用场景，下面将参照附图3更详细地描述本申请的示例性实施例，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。本申请实施例仅以SOAR系统为例进行说明。

如图3所示，其为本申请实施例提供的数据流量控制方法的实施流程示意图，可以应用于如图1所示的SOAR系统，SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，数据接入模块中包含超量缓存模块，数据接入模块与剧本处理模块之间连接有批处理缓存模块，该方法可包括以下步骤：

S31、数据接入模块若确定超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量。

具体实施时，可通过以下方式确定超量缓存模块中缓存的数据量满足数据获取条件：数据接入模块若确定超量缓存模块中缓存的数据量为空时，则确定超量缓存模块中缓存的数据量满足数据获取条件。

数据接入模块若确定超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量。

可通过以下方式确定超量缓存模块中缓存的数据量不满足数据获取条件：数据接入模块若确定超量缓存模块中缓存的数据量为非空时，则确定超量缓存模块中缓存的数据量不满足数据获取条件。

具体地，数据接入模块包括数据接入开关，可通过设置一个信号量控制开启或关闭数据接入开关，信号量的值可根据超量缓存模块中缓存的数据量进行标识。当超量缓存模块中缓存的数据量为空时，说明数据接入模块已将超量缓存模块中缓存的所有数据流量已按批次推送到了批处理缓存模块中，当前接入未处理的待处理数据流量的数量不会超过设定数量，即：不会超过剧本处理模块预先设置的微批处理数据量的阈值，剧本处理模块将当前批处理缓存模块中缓存的数据流量处理完毕后，会主动清理掉批处理缓存模块中当前缓存的数据流量，剧本处理模块将会有新的空闲处理资源处理新的待处理数据流量，因此，数据接入模块若确定超量缓存模块中缓存的数据量为空时，则可将设置的信号量置为零以开启数据接入开关，从其上一节点(Kafka数据源)获取待处理数据流量。当超量缓存模块中缓存的数据量为非空时，说明批处理缓存模块中的数据流量已满，无多余缓存空间，剧本处理模块已无空闲处理资源，可将信号量置为超量缓存模块中缓存的数据流量的数量以关闭数据接入开关，不获取待处理数据流量，主动停止Kafka数据源中的数据流量的接入，确保SOAR系统的正常负荷运转。相比于现有技术中通过数据接入模块不断主动探测剧本处理模块是否剧本多余的数据处理能力，本申请实施例信号量的设置是通过数据反压传递的，当剧本处理模块无空闲处理能力时，可以主动停止上游待处理数据流量的接入，有效地节约了SOAR系统的计算资源。

其中，超量缓存模块与批处理缓存模块可以但不限于使用Redis(RemoteDictionary Server，远程字典服务)数据库，本申请实施例对此不作限定。由于Redis数据库具备持久化的能力，可确保SOAR系统异常或重启的情况下不丢失数据。

S32、若确定批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据待处理数据流量的数量和批处理缓存模块中缓存的数据流量的数量确定向批处理缓存模块发送待处理数据流量的目标数量，将目标数量的待处理数据流量发送至批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将剩余的待处理流量缓存至超量缓存模块。

具体实施时，数据接入模块从Kafka获取待处理数据流量后的进一步处理可包括以下至少三种情况：

情况一、若确定批处理缓存模块中不存在数据，则向批处理缓存模块发送设定数量的待处理数据流量，并将剩余的待处理数据流量存储至超量缓存模块。

具体实施时，数据接入模块若确定批处理缓存模块中不存在数据，则可向批处理缓存模块发送设定数量的待处理数据流量，即：可向批处理缓存模块发送与剧本处理模块的微批处理数据量的阈值相同数量的待处理数据流量，将剩余的待处理数据流量缓存至超量缓存模块。例如，数据接入模块获取了100条待处理数据流量，剧本处理模块的微批处理数据量的阈值为10条，即剧本处理模块按批次每次最多可处理10条数据流量，那么这种情况下，数据接入模块可将10条待处理数据发送至批处理缓存模块中进行缓存，将剩余的90条待处理数据流量缓存至超量缓存模块中，并向剧本处理模块发送携带该10条待处理数据流量标识及数据类型信息的通知消息，剧本处理模块接收到该通知消息后，提取各待处理数据流量标识及数据类型信息，根据各条待处理数据流量的数据类型确定对应的剧本，建立剧本标识与待处理数据流量标识的对应关系，分别从批处理缓存模块中获取各剧本标识对应的待处理数据流量标识相应的待处理数据流量，分别按照各剧本标识对应的剧本执行各剧本标识对应的待处理数据流量标识相应的待处理数据流量，获得处理结果，并清楚批处理缓存模块中当前的该10条待处理数据流量，剧本处理模块将处理结果发送至动作执行模块，动作执行模块根据处理结果执行相应的动作，获得执行结果。进而，数据接入模块将超量缓存模块当前缓存的90条待处理数据流量中的10条待处理数据流量继续发送至批处理缓存模块，依次类推，直至超量缓存模块中缓存的所有待处理数据流量处理完毕。如果超量缓存模块中缓存的剩余待处理数据流量的数量小于剧本处理模块的微批处理数据量的阈值，则可将剩余的所有待处理数据流量发送至批处理缓存模块。

情况二、若确定批处理缓存模块中存在数据、批处理缓存模块中缓存的数据流量的数量小于设定数量，且待处理数据流量的数量与批处理缓存模块中缓存的数据流量的数量之和小于或等于设定数量，则将待处理数据流量的数量确定为目标数量，并将目标数量的待处理数据流量发送至批处理缓存模块中进行缓存。

具体实施时，数据接入模块若确定批处理缓存模块中当前存在数据，且批处理缓存模块中缓存的数据流量小于剧本处理模块的微批处理数据量的阈值，并且获取的待处理数据流量的数量与批处理缓存模块中缓存的数据流量的数量之和小于或等于剧本处理模块的微批处理数据量的阈值，则将获取的待处理数据流量的数量确定为需发送至批处理缓存模块的待处理数据流量的目标数量，将获取的所有待处理数据流量发送至批处理缓存模块中进行缓存。例如，数据接入模块获取了8条待处理数据流量，剧本处理模块的微批处理数据量的阈值为10条，批处理缓存模块当前缓存的数据流量的数量为2条，则数据接入模块可将获取的8条待处理数据流量全部发送至批处理缓存模块，后续剧本处理模块与动作执行模块的处理过程不再赘述。

情况三、若确定批处理缓存模块中存在数据、批处理缓存模块中缓存的数据流量的数量小于设定数量，且待处理数据流量的数量与批处理缓存模块中缓存的数据流量的数量之和大于设定数量，则将设定数量与批处理缓存模块中缓存的数据流量的数量的差值确定为目标数量，并将目标数量的待处理数据流量发送至批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至超量缓存模块，以待剧本处理模块将批处理缓存模块中的数据处理完毕后，将待处理数据流量发送至批处理缓存模块中进行缓存。

具体实施时，数据接入模块若确定批处理缓存模块中当前存在数据，且批处理缓存模块中缓存的数据流量小于剧本处理模块的微批处理数据量的阈值，并且获取的待处理数据流量的数量与批处理缓存模块中缓存的数据流量的数量之和大于剧本处理模块的微批处理数据量的阈值，则可将剧本处理模块的微批处理数据量的阈值与当前批处理缓存模块中缓存的数据流量的数量的差值确定为需发送至批处理缓存模块的待处理数据流量的目标数量，数据接入模块则将目标数量的待处理数据流量发送至批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至超量缓存模块，待剧本处理模块将批处理缓存模块中的数据处理完毕后，数据接入模块再将超量缓存模块中缓存的剩余的待处理数据流量按照批次发送至批处理缓存模块中进行缓存。

S33、若确定批处理缓存模块中缓存的数据流量的数量等于设定数量，则将待处理数据流量存储至超量缓存模块，以待剧本处理模块将批处理缓存模块中的数据处理完毕后，将待处理数据流量发送至批处理缓存模块中进行缓存。

具体实施时，数据接入模块若确定当前批处理缓存模块中缓存的数据流量的数量等于剧本处理模块的微批处理数据量的阈值，数据接入模块则可直接将获取的待处理数据流量缓存至超量缓存模块，待剧本处理模块将批处理缓存模块中的数据处理完毕后，数据接入模块再将超量缓存模块中缓存的待处理数据流量按照批次发送至批处理缓存模块中进行缓存。

本申请实施例提供的数据流量控制方法，在SOAR系统中设置批处理缓存模块和超量缓存模块，当数据接入模块确定超量缓存模块缓存的数据量为空时，将设置的信号量置为0，以控制开启数据接入开关获取待处理数据流量，并优先将待处理数据流量缓存入批处理缓存模块，若批处理缓存模块已无剩余空间，则将待处理数据流量缓存入超量缓存模块中，待剧本处理模块将批处理缓存模块中缓存的数据流量处理完毕后，再将超量缓存模块中缓存的待处理数据流量发送至批处理缓存模块中进行缓存，当数据接入模块确定超量缓存模块缓存的数据量为非空时，则将设置的信号量置为当前超量缓存模块缓存的数据流量的数量，以控制关闭数据接入开关。由于数据接入模块向剧本处理模块推送数据的速度快于剧本处理模块的处理速度，这样，超量缓存模块和批处理缓存模块可以起到数据流量的汇聚作用，在剧本处理模块有空闲处理资源之前，尽可能地将数据流量汇聚到靠近剧本处理模块设置的微批处理数据量的阈值，从而提升SOAR系统运行的稳定性及吞吐率。并且，通过超量缓存模块、批处理缓存模块和信号量的配合，能够将数据接入模块的数据接入开关与下游剧本处理模块的实际处理速度进行同步，确保了数据流量的有效控制。

基于同一发明构思，本申请实施例还提供了一种数据流量控制装置，由于上述数据流量控制装置解决问题的原理与数据流量控制方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图4所示，其为本申请实施例提供的数据流量控制装置的结构示意图，所述数据流量控制装置，应用于SOAR系统，所述SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，所述数据接入模块中包含超量缓存模块，所述数据接入模块与所述剧本处理模块之间连接有批处理缓存模块，所述装置，可以包括：

获取单元41，用于若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；

第一缓存单元42，用于若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；

第二缓存单元43，用于若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述获取单元41，还用于若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量。

在一种可能的实施方式中，所述获取单元41，具体用于若确定所述超量缓存模块中缓存的数据量为空时，则确定所述超量缓存模块中缓存的数据量满足数据获取条件；以及若确定所述超量缓存模块中缓存的数据量为非空时，则确定所述超量缓存模块中缓存的数据量不满足数据获取条件。

在一种可能的实施方式中，所述第一缓存单元42，具体用于若确定所述批处理缓存模块中不存在数据，则向所述批处理缓存模块发送所述设定数量的待处理数据流量，并将剩余的待处理数据流量存储至所述超量缓存模块；若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和小于或等于所述设定数量，则将所述待处理数据流量的数量确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存；若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和大于所述设定数量，则将所述设定数量与所述批处理缓存模块中缓存的数据流量的数量的差值确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

在一种可能的实施方式中，所述设定数量等于所述剧本处理模块的微批处理数据量的阈值。

在一种可能的实施方式中，所述数据接入模块包括数据接入开关；

所述获取单元41，具体用于若确定所述超量缓存模块中缓存的数据量为空时，则将设置的信号量置为零以开启所述数据接入开关，获取待处理数据流量；以及若确定所述超量缓存模块中缓存的数据量为非空时，则将设置的信号量置为所述超量缓存模块中缓存的数据流量的数量以关闭所述数据接入开关，不获取待处理数据流量。

基于同一发明构思，本申请实施例还提供了一种SOAR系统，由于上述SOAR系统解决问题的原理与数据流量控制方法相似，因此上述SOAR系统的实施可以参见方法的实施，重复之处不再赘述。

本申请实施例提供的SOAR系统的结构示意图如图1所示，所述SOAR系统100可以包括：数据接入模块101、剧本处理模块102和动作执行模块103，所述数据接入模块101中包含超量缓存模块104，所述数据接入模块101与所述剧本处理模块之间102连接有批处理缓存模块105，其中：

所述数据接入模块101，用于若确定所述超量缓存模块104中缓存的数据量满足数据获取条件时，获取待处理数据流量；若确定所述批处理缓存模块105中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块105发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块105进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块104；若确定所述批处理缓存模块105中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块104，以待所述剧本处理模块102将所述批处理缓存模块105中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块105中进行缓存；

所述剧本处理模块102，用于从所述批处理缓存模块105中获取目标待处理数据流量，对所述目标待处理数据流量按照相应的剧本进行数据分析与处理，获得处理结果，并将所述处理结果发送至所述动作执行模块103；

所述动作执行模块103，用于根据所述剧本处理模块102的所述处理结果执行相应的动作，获得执行结果。

基于同一发明构思，本申请实施例还提供了一种数据流量控制系统，由于上述数据流量控制系统解决问题的原理与数据流量控制方法相似，因此上述数据流量控制系统的实施可以参见方法的实施，重复之处不再赘述。

本申请实施例提供的数据流量控制系统的结构示意图如图2所示，数据流量控制系统200，包括N个处理节点201，第1～N-1个处理节点201-1～201-N-1中分别包含超量缓存模块202(202-1～202-N-1)，每两个相邻处理节点201之间分别连接有批处理缓存模块203(203-1～203-N-1)，其中：

所述处理节点201，用于若确定自身的超量缓存模块202中缓存的数据量满足数据获取条件时，从上一节点获取待处理数据流量；若确定与下一节点相连的批处理缓存模块203中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块203中缓存的数据流量的数量确定向所述批处理缓存模块203发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块203进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块202；若确定所述批处理缓存模块203中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块203，以待下一节点将所述批处理缓存模块203中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块203中进行缓存。

基于同一技术构思，本申请实施例还提供了一种电子设备500，参照图5所示，电子设备500用于实施上述方法实施例记载的数据流量控制方法，该实施例的电子设备500可以包括：存储器501、处理器502以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如数据流量控制程序。所述处理器执行所述计算机程序时实现上述各个数据流量控制方法实施例中的步骤，例如图3所示的步骤S31。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如41。

本申请实施例中不限定上述存储器501、处理器502之间的具体连接介质。本申请实施例在图5中以存储器501、处理器502之间通过总线503连接，总线503在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线503可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。

处理器502，用于实现如图3所示的一种数据流量控制方法，包括：

所述处理器502，用于调用所述存储器501中存储的计算机程序执行如图3中所示的步骤S31～步骤S33。

本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本申请提供的数据流量控制方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据流量控制方法中的步骤，例如，所述电子设备可以执行如图3中所示的步骤S31～步骤S33。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据流量控制方法，其特征在于，应用于安全编排、自动化和响应SOAR系统，所述SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，所述数据接入模块中包含超量缓存模块，所述数据接入模块与所述剧本处理模块之间连接有批处理缓存模块，所述方法，包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；

若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；

若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

2.如权利要求1所述的方法，其特征在于，还包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量。

3.如权利要求2所述的方法，其特征在于，确定所述超量缓存模块中缓存的数据量满足数据获取条件，具体包括：

若确定所述超量缓存模块中缓存的数据量为空时，则确定所述超量缓存模块中缓存的数据量满足数据获取条件；以及

确定所述超量缓存模块中缓存的数据量不满足数据获取条件，具体包括：

若确定所述超量缓存模块中缓存的数据量为非空时，则确定所述超量缓存模块中缓存的数据量不满足数据获取条件。

4.如权利要求1～3任一项所述的方法，其特征在于，若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，具体包括：

若确定所述批处理缓存模块中不存在数据，则向所述批处理缓存模块发送所述设定数量的待处理数据流量，并将剩余的待处理数据流量存储至所述超量缓存模块；

若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和小于或等于所述设定数量，则将所述待处理数据流量的数量确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存；

若确定所述批处理缓存模块中存在数据、所述批处理缓存模块中缓存的数据流量的数量小于所述设定数量，且所述待处理数据流量的数量与所述批处理缓存模块中缓存的数据流量的数量之和大于所述设定数量，则将所述设定数量与所述批处理缓存模块中缓存的数据流量的数量的差值确定为所述目标数量，并将所述目标数量的待处理数据流量发送至所述批处理缓存模块中进行缓存，将剩余的待处理数流量缓存至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

5.如权利要求1所述的方法，其特征在于，所述设定数量等于所述剧本处理模块的微批处理数据量的阈值。

6.如权利要求3所述的方法，其特征在于，所述数据接入模块包括数据接入开关；

所述数据接入模块若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量，具体包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量为空时，则将设置的信号量置为零以开启所述数据接入开关，获取待处理数据流量；以及

所述数据接入模块若确定所述超量缓存模块中缓存的数据量不满足数据获取条件时，则不获取待处理数据流量，具体包括：

所述数据接入模块若确定所述超量缓存模块中缓存的数据量为非空时，则将设置的信号量置为所述超量缓存模块中缓存的数据流量的数量以关闭所述数据接入开关，不获取待处理数据流量。

7.一种数据流量控制系统，其特征在于，包括N个处理节点，第1～N个处理节点中分别包含超量缓存模块，每两个相邻处理节点之间分别连接有批处理缓存模块，其中：

所述处理节点，用于若确定自身的超量缓存模块中缓存的数据量满足数据获取条件时，从上一节点获取待处理数据流量；若确定与下一节点相连的批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待下一节点将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

8.一种数据流量控制装置，其特征在于，应用于安全编排、自动化和响应SOAR系统，所述SOAR系统包括数据接入模块、剧本处理模块和动作执行模块，所述数据接入模块中包含超量缓存模块，所述数据接入模块与所述剧本处理模块之间连接有批处理缓存模块，所述装置，包括：

获取单元，用于若确定所述超量缓存模块中缓存的数据量满足数据获取条件时，获取待处理数据流量；

第一缓存单元，用于若确定所述批处理缓存模块中缓存的数据流量的数量小于设定数量，则根据所述待处理数据流量的数量和所述批处理缓存模块中缓存的数据流量的数量确定向所述批处理缓存模块发送待处理数据流量的目标数量，将所述目标数量的待处理数据流量发送至所述批处理缓存模块进行缓存，若确定存在剩余的待处理数据流量，将所述剩余的待处理流量缓存至所述超量缓存模块；

第二缓存单元，用于若确定所述批处理缓存模块中缓存的数据流量的数量等于所述设定数量，则将所述待处理数据流量存储至所述超量缓存模块，以待所述剧本处理模块将所述批处理缓存模块中的数据处理完毕后，将所述待处理数据流量发送至所述批处理缓存模块中进行缓存。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6任一项所述的数据流量控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6任一项所述的数据流量控制方法中的步骤。

Images