CN109587008A - 检测异常流量数据的方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种检测异常流量数据的方法、装置及存储介质，属于网络技术领域。在本申请中，在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型从多个流量数据集合中检测候选流量数据集合，若检测到多个流量数据集合中存在候选流量数据集合，则可以通过甄别模型对每个候选流量数据集合中的第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。由于本申请中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，降低了漏检的概率。并且，在获取到第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

Description

检测异常流量数据的方法、装置及存储介质

技术领域

本申请涉及网络技术领域，特别涉及一种检测异常流量数据的方法、装置及存储介质。

背景技术

当前，监控终端可以实时获取网络接入设备的多个端口的流量数据，并从获取的流量数据中检测是否存在异常流量数据，以此来实现对网络性能的监控。

相关技术中，监控终端中存储有用户根据经验设置的流量阈值范围，当获取到流量数据之后，监控终端可以检测获取的流量数据是否处于该流量阈值范围之内，若获取的流量数据不处于该流量阈值范围之内，则可以确定该流量数据为异常流量数据。

然而，由于端口的流量数据的波动范围比较大，因此，若该流量阈值范围设置的较小，则某些正常流量数据可能会被误检为异常流量数据。若该流量值范围设置的较大，则某些异常流量数据将无法检测出来，容易造成漏检。

发明内容

本申请提供了一种检测异常流量数据的方法、装置及存储介质，可以用于解决相关技术中容易误检或漏检的问题。所述技术方案如下：

第一方面，提供了一种检测异常流量数据的方法，所述方法包括：获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

在本申请实施例中，在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型对相应端口的流量数据集合中的流量数据进行初步筛选，若相应端口的流量数据集合中包含有至少一个第一候选流量数据，则可以将相应端口的流量数据集合确定为候选流量数据集合。之后，通过甄别模型对候选流量数据集合中至少一个第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。其中，由于本申请实施例中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，相较于仅仅通过一种算法模型进行检测，本申请实施例中得到的第一候选流量数据更加全面，降低了漏检的概率。并且，在获取得到至少一个第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

可选地，从多种筛查模型中确定每个端口对应的至少一种筛查模型的实现过程可以为：获取每个端口的端口标识；从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。

其中，每个端口标识可以对应有至少两个模型标识。

可选地，通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据的实现过程可以为：获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，所述第一候选流量数据集合是指所述至少一个候选流量数据集合中的任一个，所述第一端口是指所述第一候选流量数据集合对应的端口；根据所述第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；通过所述甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，所述异常概率用于指示相应第一候选流量数据为异常流量数据的概率；根据所述第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定所述第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

其中，甄别模型是预先通过历史流量数据集合训练得到。由于甄别模型学习了异常流量数据的特征，因此，通过该甄别模型对第一候选流量数据进行甄别，相对于单纯的通过数学算法来进行甄别，具备更高的准确性。

可选地，在从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应至少一个模型标识之前，该方法还可以包括：获取所述多个端口中每个端口的历史流量数据集合，所述历史流量数据集合中包括多个历史流量数据；根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；当所述强周期分组内包括至少两个历史流量数据集合时，根据所述强周期分组内的至少两个历史流量数据集合之间的互相关性，对所述强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在所述映射关系中；当所述弱周期分组内包括至少一个历史流量数据集合时，将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中，所述剩余筛查模型是指所述多种筛查模型中除所述RNN和孤立森林模型之外的筛查模型。

在本申请实施例中，可以预先通过历史流量数据集合对多种筛查模型中的RNN和孤立森林模型进行训练。在训练时，可以按照历史流量数据集合之间的相似性进行分类的，并按照每类历史流量数据集合训练得到一个训练模型，相对于根据每个历史流量数据集合训练得到一个模型，大大减少了模型训练的工作量。

可选地，根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组的实现过程可以为：确定每个历史流量数据集合的周期性系数，所述周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；若所述多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；若所述多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，将所述周期性系数不大于所述第二阈值的历史流量数据集合划分为一组，得到所述弱周期分组。

可选地，所述历史流量数据集合中还包括每个历史流量数据对应的采集时间；

在根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组之前，该方法还可以包括：基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，所述第一端口是指所述多个端口中的任一端口，所述第一历史流量数据集合是指所述第一端口的历史流量数据集合；基于所述第一历史流量数据集合中每个历史流量数据对应的采集时间，对所述第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于所述采集步长。

可选地，在将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中之后，该方法还可以包括：获取第二历史流量数据集合中的至少一个第二候选流量数据；获取所述第二历史流量数据集合中每个第二候选流量数据的标注信息，每个第二候选流量数据的标注信息用于指示相应第二候选流量数据是否为异常流量数据；获取所述第二历史流量数据集合的每个第二候选流量数据的关联数据，每个第二候选流量数据的关联数据包括第二端口在采集相应第二候选流量数据之前采集的多个流量数据，所述第二端口是指所述第二历史流量数据集合对应的端口；根据所述第二历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对所述甄别模型进行训练。

第二方面，提供了一种检测异常流量数据的装置，所述检测异常流量数据的装置具有实现上述第一方面中检测异常流量数据的方法行为的功能。所述检测异常流量数据的装置包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的检测异常流量数据的方法。

第三方面，提供了一种检测异常流量数据的装置，所述检测异常流量的装置的结构中包括处理器和存储器，所述存储器用于存储支持检测异常流量数据的装置执行上述第一方面所提供的检测异常流量数据的方法的程序，以及存储用于实现上述第一方面所提供的检测异常流量数据的方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述存储设备的操作装置还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的检测异常流量数据的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的检测异常流量数据的方法。

上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

本申请提供的技术方案带来的有益效果至少包括：

本申请实施例在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，若检测到多个流量数据集合中存在至少一个候选流量数据集合，则可以通过甄别模型对每个候选流量数据集合中的至少一个第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。其中，由于本申请实施例中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，相较于仅仅通过一种算法模型进行检测，本申请实施例中得到的第一候选流量数据更加全面，降低了漏检的概率。并且，在获取得到至少一个第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

附图说明

图1是本申请实施例提供的检测异常流量数据的方法的实施环境图；

图2是本申请实施例提供的一种计算机设备的结构示意图；

图3是本申请实施例提供的一种检测异常流量数据之前的模型训练方法的流程图；

图4是本申请实施例提供的一种检测异常流量数据的方法流程图；

图5是本申请实施例提供的一种检测异常流量数据的装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例的应用场景进行介绍。

网络性能监控是网络操作中心的监控业务中的一个常见业务。其中，网络性能监控包括对多个网络接入设备的多个端口的流量的监控。所谓对多个网络接入设备的多个端口的流量的监控，实际上是指监控终端从多个端口的流量数据中检测异常流量数据，以此来判断各个端口是否存在异常。需要说明的是，由于每个网络接入设备可能包括多个端口，而监控终端通常需要同时实时监控多个网络接入设备，在这种情况下，监控终端需要处理的流量数据的数量将非常巨大。而本申请实施例提供的检测异常流量数据的方法即可以应用于上述从大量流量数据中检测异常流量数据的场景中。

值得注意的是，对于其他场景中按照时间先后顺序产生的数据点序列，也可以参考本申请实施例提供的检测异常流量数据的方法来从该数据点序列中检测异常数据，只是在这种情况下，上述检测异常流量数据的方法中的处理对象将相应地变换为该数据点序列。换句话说，本申请实施例中仅是以流量数据为例来对检测异常的方法进行说明，但这并不构成对本申请的限制，对于将本申请中的流量数据替换为其他数据点序列来进行异常检测的情况，也应包含在本申请的保护范围之内。

图1是本申请实施例提供的一种检测异常流量数据的方法的实施环境图。如图1所示，该实施环境中包括监控终端101、多个网络接入设备102。其中，监控终端101可以与多个网络接入设备102进行通信。

需要说明的是，每个网络接入设备102可以包括至少一个端口，且每个网络接入设备102可以实时检测自身包括的每个端口的流量数据，并将检测到的流量数据发送至监控终端101。

监控终端101可以接收每个网络接入设备102发送的其自身每个端口的流量数据，并通过本申请实施例提供的检测异常流量数据的方法来检测每个端口的流量数据中是否存在异常流量数据。

其中，监控终端101可以为台式机、便携式电脑、网络服务器等设备，网络接入设备102可以为交换机、路由器或者是客户端设备等，本申请实施例对此不做具体限定。

图2是本申请实施例提供的一种计算机设备的结构示意图。图1中的监控终端可以通过图2所示的计算机设备来实现。参见图2，该计算机设备包括至少一个处理器201，通信总线202，存储器203以及至少一个通信接口204。

处理器201可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信总线202可包括一通路，在上述组件之间传送信息。

存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器203可以是独立存在，通过通信总线202与处理器201相连接。存储器203也可以和处理器201集成在一起。

通信接口204，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。

在具体实现中，作为一种实施例，处理器201可以包括一个或多个CPU，例如图3中所示的CPU0和CPU1。

在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，例如图3中所示的处理器201和处理器205。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，计算机设备还可以包括输出设备206和输入设备207。输出设备206和处理器201通信，可以以多种方式来显示信息。例如，输出设备206可以是液晶显示器(liquid crystal display，LCD),发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备207和处理器201通信，可以以多种方式接收用户的输入。例如，输入设备207可以是鼠标、键盘、触摸屏设备或传感设备等。

上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(PersonalDigital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本发明实施例不限定计算机设备的类型。

其中，存储器203用于存储执行本申请方案的程序代码，并由处理器201来控制执行。处理器201用于执行存储器203中存储的程序代码208。程序代码208中可以包括一个或多个软件模块。图1中所示的监控终端可以通过处理器201以及存储器203中的程序代码208中的一个或多个软件模块，来对每个端口的流量数据进行检测。

接下来对本申请实施例提供的检测异常流量数据的方法进行介绍。

在本申请实施例中，监控终端中存储有多种筛查模型和甄别模型，在通过该多种筛查模型和甄别模型对流量数据进行处理之前，可以先采用各个端口的历史流量数据对该多种筛查模型中的部分模型以及甄别模型进行训练，以便后续根据训练结果对实时获取的流量数据进行检测。基于此，本申请实施例将首先结合附图3对检测异常流量数据过程中的模型训练过程来进行解释说明。

图3是本申请实施例提供的检测异常流量数据之前的模型训练方法的流程示意图。该方法可以应用于图1和图2所介绍的监控终端中，如图3所示，该方法包括以下步骤：

步骤301：获取多个端口中每个端口的历史流量数据集合，历史流量数据集合中包括多个历史流量数据。

其中，监控终端中可以存储有每个端口已检测过的多个历史流量数据，在这种情况下，监控终端可以从存储区域读取每个端口的历史流量数据集合，其中，该历史流量数据集合中包括多个历史流量数据。另外，该历史流量数据集合中还包括每个历史流量数据对应的采集时间。

可选地，每个端口的已检测过的多个历史流量数据也可以存储在其他设备上。在这种情况下，监控终端可以从其他设备中获取每个端口的历史流量数据集合。

在获取到每个端口的历史流量数据集合之后，考虑到历史流量数据集合中每个历史流量数据对应的时间点可能会存在错误，因此，监控终端可以对每个历史流量数据集合包括的多个历史流量数据进行处理。

示例性的，以多个端口中的任一端口为例，为了方便说明，将该端口称为第一端口，该端口的历史流量数据集合称为第一历史流量数据集合。监控终端可以获取第一端口的流量数据的采集步长，并基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，基于第一历史流量数据集合中每个历史流量数据对应的采集时间，对第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于第一端口的采集步长。

具体地，监控终端可以将第一历史流量数据集合中的第一个数据对应的采集时间格式化为整点。之后，监控终端可以以第一个数据的采集时间为准，对第二个数据的采集时间进行校验。示例性的，监控终端可以确定第二个数据的采集时间与第一个数据的采集时间之间的时间差值，并对第二个数据的采集时间与第一个数据的采集时间之间的时间差值与第一端口的采集步长进行比较。若该时间差值小于采集步长的二分之一，则可以将第二个数据的采集时间修改为第一个数据对应的采集时间。若该时间差值大于采集步长的二分之一且小于该采集步长，则可以将第二个数据的采集时间修改为第一个数据的采集时间加上该采集步长后的时间。若该时间差值等于该采集步长，则保持第二个数据的采集时间不变。若该时间差值大于该采集步长且小于二倍采集步长，则说明第一个数据和第二个数据之间存在数据遗失，此时，可以根据该时间差值与二倍采集步长之间的大小关系来确定第二个数据的采集时间。

在确定第二个数据的采集时间之后，可以以确定的第二个数据的采集时间为准，参照上述方法来校验第三个数据的采集时间，以此类推。

例如，采集步长为10分钟，第一个数据的采集时间为2018-12-25 12:01:30，将第一个数据的采集时间格式化为整点，从而得到第一个数据的采集时间为2018-12-25 12:00:00。假设第二个数据的采集时间为2018-12-25 12:03:00，此时，第二个数据的采集时间与第一个数据的采集时间之间的时间差值为3分钟，小于采集步长的一半，因此，可以将第二个数据的采集时间修改为2018-12-25 12:00:00。

假设第二个数据的采集时间为2018-12-25 12:08:00，此时，第二个数据的采集时间与第一个数据的采集时间之间的时间差值为8分钟，大于采集步长的一半且小于采集步长，因此，可以将第二个数据的采集时间修改为2018-12-25 12:10:00。

假设第二个数据的采集时间为2018-12-25 12:10:00，此时，由于第二个数据的采集时间与第一个数据的采集时间之间的时间差值等于采集步长，因此，保持第二个数据的采集时间不变。

假设第二个数据的采集时间为2018-12-25 12:13:00，此时，第二个数据的采集时间与第一个数据的采集时间的时间差值大于采集步长且小于采集步长的2倍，且该时间差值与采集步长的2倍之间的差值小于采集步长的一半，因此，可以将第二个数据的采集时间修改为2018-12-25 12:10:00。

假设第二个数据的采集时间为2018-12-25 12:18:00，此时，第二个数据的采集时间与第一个数据的采集时间的时间差值大于采集步长且小于采集步长的2倍，且该时间差值与采集步长的2倍之间的差值大于采集步长的一半，因此，可以将第二个数据的采集时间修改为2018-12-25 12:20:00。

通过上述方法，监控终端可以对第一历史流量数据集合中的多个历史流量数据的采集时间依次进行校验。并且，由上述校验过程可以看出，校验之后，有可能同一个采集时间上对应有多个数据，或者是相邻的两个数据的采集时间之间的差值大于采集步长。基于此，在对每个历史流量数据的采集时间校验完成之后，监控终端还可以根据每个历史流量数据的采集时间，对多个历史流量数据中存在上述情况的历史流量数据进行处理，从而使得处理后得到的多个历史流量数据中每相邻的两个数据之间的时间差值等于第一端口的采集步长。

具体的，对于同一个采集时间对应有多个数据的情况，监控终端可以从该多个数据中选择一个数据保留，而将其他数据进行删除。例如，监控终端可以选择该多个数据的中位数保留，而将其余数据进行删除。或者，监控终端可以计算该多个数据的平均值，并将计算得到的平均值作为该采集时间对应的历史流量数据。

对于相邻的两个数据的采集时间之间的差值大于采集步长的情况，也即，存在数据缺失的情况，监控终端可以在这两个采集时间之间添加一个采集时间，并根据添加的采集时间之前的至少两个数据以及添加的采集时间之后的至少两个数据来估计该采集时间对应的历史流量数据。例如，当采集步长为10分钟时，校验之后，多个历史流量数据中某相邻的两个数据的采集时间的差值为20分钟，此时，则说明这两个数据之间缺失了数据，此时，则可以通过上述方法在这两个数据之间补充一个数据。

对于监控终端监控的多个端口中的每个端口的历史流量数据集合，均可以参考上述对第一历史流量数据集合进行处理的方式来进行处理，本申请实施例对此不再赘述。

步骤302：根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组。

在本步骤中，监控终端可以确定每个历史流量数据集合的周期性系数，周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性，若多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将周期性系数大于第二阈值的历史流量数据集合划分为一组，得到强周期分组；若多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，将周期性系数不大于第二阈值的历史流量数据集合划分为一组，得到弱周期分组。

示例性的，仍以第一历史流量数据集合为例来对确定每个历史流量数据集合的周期性系数的实现过程进行说明。其中，监控终端可以确定第一历史流量数据集合中的第一个数据与其自身的自相关系数，得到第一个自相关系数。由于自相关系数可以体现了两个数据之间的相似性，两个数据越相似，相应地自相关系数越大，因此，第一个自相关系数将为1。之后，监控终端确定第一个数据与第二个数据之间的自相关系数，得到第二个自相关系数，确定第一个数据与第三个数据之间的自相关系数，得到第三个自相关系数，以此类推，直到得到最后一个自相关系数为止。按照得到的多个自相关系数的顺序生成自相关系数曲线，并计算该自相关系数曲线中的前n个峰值的平均值，将该平均值确定为第一历史流量数据集合的周期性系数。

需要说明的是，在本申请实施例中，监控终端可以通过numpy库中的np.corrcoef方法，来计算多个自相关系数，本申请实施例对此不再赘述。

对于多个端口中每个端口的历史流量数据集合，监控终端均可以按照上述确定第一历史流量数据集合的周期性系数的方法来确定其他历史流量数据集合的周期性系数，本申请实施例在此不再赘述。

在确定每个历史流量数据集合的周期性系数之后，监控终端可以将每个历史流量数据集合的周期性系数与第一阈值进行比较，并将周期性系数大于第一阈值的历史流量数据集合划分到强周期分组，而将周期性系数不大于第一阈值的历史流量数据集合划分到弱周期分组中。其中，第一阈值可以为0.5或者是其他数值。需要说明的是，多个端口的历史流量数据集合中可能不存在周期性系数不大于第一阈值的历史流量数据集合，在这种情况下，将不存在弱周期分组或者说弱周期分组内将不包括任何历史流量数据集合。或者，多个端口的历史流量数据集合中可能不存在周期性系数大于第一阈值，在这种情况下，将不存在强周期分组或者说强周期分组内将不包括任何历史流量数据集合。

可选地，在一种可能的实现方式中，监控终端还可以按照周期性系数将多个历史流量数据集合进行更为细致的划分。例如，监控终端可以将周期性系数处于[0.8,1]的历史流量数据集合划分到强周期分组，将周期性系数处于[0.5,0.8]的历史流量数据集合划分到中等周期分组，将周期性系数处于[0.3,0.5]的历史流量数据集合划分到弱周期分组，将周期性系数处于[0,0.3]的历史流量数据集合划分到无周期分组。

步骤303：当强周期分组内包括至少两个历史流量数据集合时，根据强周期分组内的至少两个历史流量数据集合之间的互相关性，对强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组。

在将多个历史流量数据集合进行分组之后，若分组得到的强周期分组内包括至少两个历史流量数据集合，则监控终端可以继续对该至少两个历史流量数据集合进行分类，从而得到至少一个子分组。

具体地，监控终端可以确定强周期分组内每个历史流量数据集合中包括的多个流量数据的平均值，并从中选择平均值最大的一个流量数据集合。之后，监控终端可以计算强周期分组内剩余的历史流量数据集合中每个历史流量数据集合与选择的历史流量数据集合之间的互相关性系数，并将互相关性系数大于第二阈值的历史流量数据集合与选择的历史流量数据集合划分为一个子分组，得到第一个子分组。之后，监控终端可以从除第一个子分组之外的剩余历史流量数据集合中再选择一个平均值最大流量数据集合，并按照前述的方法以再次选择的历史流量数据集合为准，确定第二个子分组，以此类推，直到将强周期分组内的至少两个历史流量数据集合划分为多个子分组为止。其中，互相关性系数可以用于指示两个历史流量数据集合的相似性，且两个历史流量数据集合之间的互相关性系数越大，则说明这两个历史流量数据集合越相似。另外，还需要说明的是，第二阈值可以为0.9-0.95之间的数值，本申请实施例对此不做具体限定。

其中，每两个历史流量数据集合之间的互相关性系数可以是指这两个历史流量数据集合之间的皮尔逊相关系数。

步骤304：根据每个子分组包括的历史流量数据集合分别对RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型。

在对强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组之后，监控终端可以根据每个子分组包括的历史流量数据集合分别对循环神经网络(recurrent neural network，RNN)中的一个子网络以及孤立森林模型中的一个子模型进行训练，从而得到每个子分组对应的两个训练模型。

具体地，监控终端中可以存储有多种筛查模型。其中，该多种筛查模型中包括RNN和孤立森林模型。在本申请实施例中，监控终端可以将每个子分组内的历史流量数据集合作为一个样本，对RNN中的一个子网络和孤立森林模型中的一个子模型进行训练，训练得到的RNN子网络和孤立森林模型中的子模型即为该子分组对应的两个训练模型。

其中，在对RNN的子网络进行训练时，以任一子分组中的任一历史流量数据集合为例，监控终端可以根据该历史流量数据集合中的多个历史流量数据和每个历史流量数据的采集时间生成流量曲线，将该流量曲线作为RNN中一个子网络的输入，RNN的子网络可以对该流量曲线进行处理，得到每个采集时间对应的预测值，根据每个采集时间对应的预测值和相应采集时间对应的历史流量数据确定预测误差，当该预测误差大于第三阈值时，即可以将相应采集时间对应的历史流量数据作为一个第二候选流量数据输出。其中，该第二候选流量数据实际上就是通过RNN子网络初步筛选出来的可能为异常流量数据的数据。另外，需要说明的是，在本申请实施例中，第三阈值可以根据子分组来进行设置，也即，不同的子分组，第三阈值的取值可以不同。并且，根据从每个子分组内筛选出的第二候选流量数据的数量的多少，可以动态的修改第三阈值的取值。示例性的，第三阈值可以采用3Sigma原则或4Sigma原则或5Sigma原则来设置，本申请实施例对此不做具体限定。

对于每个子分组内的每个历史流量数据集合，监控终端均可以参照上述方法来对RNN的子网络进行训练，从而得到每个子分组对应的RNN子网络，与此同时，监控终端还可以将每个子分组内包含有第二候选流量数据的历史流量数据集合筛选出来。当然，在一种可能的情况中，该子分组内中的每个历史流量数据集合也可能均不包含有第二候选流量数据。

在对孤立森林模型中的子模型进行训练时，仍以任一子分组中的任一历史流量数据集合为例，监控终端可以将该历史流量数据集合作为子模型的输入值，并获取子模型输出的从该历史流量数据集合中筛选出的至少一个第二候选流量。对于该子分组的每个历史流量数据集合均可以参照上述方法进行处理，当对该子分组内的每个历史流量数据集合均进行处理之后，该子模型即为通过该子分组内的历史流量数据集合训练得到的子模型。

需要说明的是，由于每个子分组是按照历史流量数据集合之间的相似性进行分类的，而同一子分组内包括的历史流量数据集合的相似性较高，也即，同一子分组内的历史流量数据集合对应的端口的流量特征相似。因此，将同一分组内的历史流量数据集合作为一个样本集来对RNN中的子网络和孤立森林模型中的子模型进行训练，得到的每个子分组对应的两个训练模型实际上就是这一类端口对应的训练模型，这样，相对于根据每个端口的历史流量数据集合训练得到一个模型，大大减少了模型训练量。

步骤305：将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在映射关系中。

当通过步骤304得到每个子分组对应的两个训练模型之后，监控终端可以将每个子分组内包括的每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储。例如，第一子分组内包括的历史流量数据集合对应的端口标识分别为port1、port2、port4，第一子分组对应的两个训练模型的模型标识分别为RNN-1和IF-1，第二子分组内包括的历史流量数据集合对应的端口标识分别为port3、port5、port8，第二子分组对应的两个训练模型的模型标识分别为RNN-2和IF-2，则可以按照下表1中所示将端口标识和模型标识对应存储。

表1

需要说明的是，若通过步骤302对多个历史流量数据集合进行分组之后没有得到强周期分组，则可以不执行步骤303-305，若得到的强周期分组内仅包括一个历史流量数据集合，则可以不执行步骤303，且在步骤304中，可以仅通过这个历史流量数据集合对RNN和孤立森林模型进行训练。

步骤306：当弱周期分组内包括至少一个历史流量数据集合时，将弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在映射关系中。

在通过步骤304对多个历史流量数据集合进行分组之后，当弱周期分组内包含有至少一个历史流量数据集合时，由于这些历史流量数据集合中的数据没有呈现出明显的周期性，因此，可以直接通过监控终端中存储的其他筛查模型来对每个历史流量数据集合进行筛查，以便从这些历史流量数据集合中筛查出包含有第二候选流量数据的集合。其中，其他筛查模型是指诸如箱线图算法模型、周同比算法模型、一阶差分算法模型等无需训练的算法模型。由于弱周期分组内的每个历史流量数据集合可以直接通过上述这些无需训练的算法模型来进行筛查，因此，可以将弱周期分组内的每个历史流量数据集合对应的端口的端口标识和上述筛查模型的模型标识对应存储。

可选地，在一种可能的实现方式中，监控终端可以从存储的其他筛查模型中任选两个模型，并将选择的模型的标识与弱周期分组内的每个历史流量数据集合对应的端口的端口标识对应存储。或者，监控终端可以直接将其他筛查模型的模型标识与弱周期分组内的每个历史流量数据集合对应的端口的端口标识对应存储。

可选地，考虑到对于强周期分组内的每个历史流量数据集合而言也可以通过这些无需训练的算法模型来进行筛查，只是可能筛查的结果相对于通过训练模型筛查得到的结果的准确性相对较低，因此，在上述表1所示的映射关系中，每个端口的端口标识还可以对应有这些无需训练的算法模型的模型标识。

另外，还需要说明的是，本步骤可以在步骤302之后步骤303之前执行，也可以与步骤303-306同时执行，本申请对此不做具体限定。值得注意的是，若通过步骤302对多个历史流量数据集合进行分组之后未得到弱周期分组，则可以不执行本步骤。

步骤307：获取第二历史流量数据集合中的至少一个第二候选流量数据。

由步骤304和步骤305中的介绍可知，通过强周期分组内的每个历史流量数据集合对RNN中的子网络和孤立森林模型中的子模型进行训练的同时，可以将子分组包括的历史流量数据集合中包含有第二候选流量数据的集合筛选出来。同样的，对于弱周期分组内的历史流量数据集合，通过其他无需训练的算法模型也可以将其中包含有第二候选流量数据的筛选出来。基于此，监控终端可以获取筛选出来的每个历史流量数据集合中的至少一个第二候选流量数据，并根据至少一个第二候选流量数据对甄别模型进行训练。

在本申请实施例中，将以筛选出来的历史流量数据集合中的任一历史流量数据集合为例来说明对甄别模型进行训练的具体实现过程，其中，为了方便说明，将该历史流量数据集合称为第二历史流量数据集合。在此基础上，在本步骤中，监控终端可以获取第二历史流量数据集合中的至少一个第二候选流量数据。

步骤308：获取第二历史流量数据集合中每个第二候选流量数据的标注信息。

在本申请实施例中，在获取到第二历史流量数据集合中的第二候选流量数据之后，监控终端可以显示获取的第二候选流量数据。用户可以根据先验经验判断显示的每个第二候选流量数据是否为异常流量数据，并对属于异常流量数据的第二候选数据进行标注。监控终端可以根据用户的标注生成用于至少每个第二候选流量数据是否为异常流量数据的标注信息。

步骤309：获取第二历史流量数据集合的每个第二候选流量数据的关联数据。

在获取到每个第二候选流量数据的标注信息之后，监控终端可以获取每个第二候选流量数据的关联数据。

示例性的，以任一第二候选流量数据A为例，该第二候选流量数据A的关联数据可以包括第二候选流量数据A对应的采集时间之前的三个小时内的流量数据、第二候选流量数据A对应的采集时间的前一天的同一时间点的前后三个小时内的流量数据以及第二候选流量数据A对应的采集时间的前七天的同一时间点的前后三个小时内的流量数据。需要说明的是，第二候选流量数据A的关联数据与该第二候选流量数据A均是第二端口的流量数据。其中，该第二端口是指第二历史流量数据集合对应的端口。

例如，假设第二候选流量数据A对应的采集时间为2018-12-25，12:00，则第二候选流量数据A的关联数据可以包括2018-12-25，[9:00,12:00)之间的流量数据、2018-12-24，[9:00，12:00)以及[12:00,15:00]之间的流量数据以及2018-12-18，[9:00,12:00)以及[12:00,15:00]之间的流量数据。

步骤310：根据第二历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对甄别模型进行训练。

在获取到每个第二候选流量数据的关联数据之后，监控终端可以按照每个关联数据以及相应第二候选流量数据的时间先后顺序，生成相应第二候选流量数据对应的曲线，将每个第二候选流量数据的标注信息以及相应候选流量数据对应的曲线作为甄别模型的输入值，对所述甄别模型进行训练。

具体的，任一第二候选流量数据A为例进行说明。监控终端可以按照第二候选流量数据A的关联数据和第二候选流量数据时间先后顺序绘制曲线，将绘制得到的曲线与第二候选流量数据的标注信息作为甄别模型的输入值。其中，甄别模型可以为卷积神经网络模型或者是RNN，通过该甄别模型可以对曲线进行特征提取，并根据提取的特征以及标注信息对该甄别模型进行训练。可选地，在本申请实施例中，该甄别模型也可以是一个分类器，在这种情况下，监控终端可以通过python包中的tsfresh包来对该曲线进行特征提取，并将提取的特征和标注信息输入到分类器中，以对分类器进行训练。

需要说明的是，上述步骤301-309可以在开始检测异常流量数据之前，由监控终端执行，以得到训练好的模型以及映射关系。可选地，在一种可能的实现方式，上述训练过程也可以由其他设备离线完成，之后，由其他设备将训练好的模型和映射关系传输至该监控终端，本申请实施例对此不做具体限定。

在通过上述方法对多种筛查模型中的部分模型以及甄别模型进行训练之后，接下来，可以利用模型训练过程中得到的映射关系以及训练后的模型来对实时获取的各个端口的流量数据进行检测。

图4示出了本申请实施例提供的一种检测异常流量数据的方法的流程图。该方法可以应用于图1和图2所示的监控终端中，如图4所示，该方法包括以下步骤：

步骤401：获取多个端口中每个端口的流量数据集合，流量数据集合中包括多个流量数据。

监控终端可以实时接收每个端口的流量数据接，其中，每个端口的流量数据集合可以包括该端口在当前时刻之前采集的多个未经检测的流量数据。

在获取到每个端口的流量数据集合之后，监控终端还可以参照前述步骤301中介绍的对每个历史流量数据集合中的历史流量数据的采集时间进行校验的方法，来对每个端口的流量数据集合中的流量数据的采集时间进行校验，并参照前述实施例中介绍的相关方法，根据每个流量数据的采集时间对多个流量数据进行处理，本申请实施例在此不再赘述。

步骤402：从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，该候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合。

在获取到每个端口的流量数据集合之后，监控终端可以根据每个端口的端口标识，从多种筛查模型中确定每个端口对应的至少一种筛查模型。

其中，由前述实施例可知，监控终端通过利用多种筛查模型对每个端口的历史流量数据集合进行处理，得到了端口标识与模型标识的映射关系。基于此，在本步骤中，监控终端可以从存储的端口标识与模型标识的映射关系中获取每个端口的端口标识对应的模型标识，并根据获取的每个端口的端口标识来确定每个端口对应的至少一种筛查模型。

例如，假设某个端口的端口标识为port1，根据表1可知，该端口标识对应的模型标识为RNN-1和IF-1，因此，可以确定该端口对应的筛查模型为RNN-1和IF-1。

可选地，若端口标识和模型标识的映射关系中每个端口的端口标识均对应有多种筛查模型中无需训练的筛查模型的模型标识，则在本申请实施例中，监控终端在获取到每个端口对应的筛查模型之后，还可以显示筛查模型选择界面，用户可以在显示的筛查模型选择界面中选择感兴趣的筛查模型来对流量数据集合中的多个流量数据进行筛查。

在确定了每个端口对应的至少一种筛查模型之后，监控终端可以通过每个端口对应的至少一种筛查模型从相应端口的流量数据集合中的多个流量数据中筛查第一候选流量数据，若筛查出第一候选流量数据，则可以将相应端口的流量数据集合确定为候选流量数据集合。

例如，假设某个端口对应的筛查模型为RNN-1和IF-1，则监控终端可以分别通过RNN-1和IF-1对该端口的流量数据集合进行筛查，若筛查得到至少一个第一候选流量数据，则可以将端口的流量数据集合确定为候选流量数据集合。其中，每个第一候选流量数据实际上均是检测出的可能为异常流量数据的数据。

需要说明的是，在通过至少两种筛查模型对相应端口的流量数据集合进行筛查之后，监控终端可以将每种筛查模型筛查出的第一候选流量数据均进行保存，从而得到相应候选流量数据集合中的至少一个第一候选流量数据。这样，当某个筛查模型对流量数据集合的检测结果中存在漏检时，通过其他筛查模型则可能将漏检的数据检测出来，降低了漏检的概率。

可选地，在一种可能的实现方式中，若至少两种筛查模型筛查出的第一候选流量数据中存在相同的候选流量数据，则监控终端可以仅保存这部分同时由至少两种筛查模型筛查出的候选流量数据，从而得到相应候选流量数据集合中的至少一个候选流量数据。这样，由于该第一候选流量数据是由多种筛除模型同时检测得到的，因此，该第一候选流量数据为异常流量数据的概率更大，提高了检测的准确性，同时减少了后续甄别模型的检测量。

步骤403：若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

若通过上述步骤402从多个端口的流量数据集合中筛查出了候选流量数据集合，则监控终端可以通过甄别模型对每个候选流量数据集合包含的至少一个第一候选流量数据进行检测，以判断每个第一候选流量数据是否为异常流量数据。具体的，本申请实施例以至少一个候选流量数据集合中的任一候选流量数据集合为例来对本步骤的实现过程进行说明。其中，为了方便说明，将该候选流量数据集合称为第一候选流量数据集合。

示例性的，监控终端可以获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，其中，第一端口是指第一候选流量数据集合对应的端口；根据第一流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；通过甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，异常概率用于指示相应第一候选流量数据为异常流量数据的概率；根据第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

其中，第一候选流量数据的关联数据可以参照第二候选流量数据的关联数据的组成。示例性的，第一候选流量数据的关联数据可以包括第一候选流量数据对应的采集时间之前的三个小时内的流量数据、第一候选流量数据对应的采集时间的前一天的同一时间点的前后三个小时内的流量数据以及第一候选流量数据对应的采集时间的前七天的同一时间点的前后三个小时内的流量数据。本申请实施例对此不再赘述。

监控终端在获取到第一候选流量数据集合中每个第一候选流量数据的关联数据之后，对于任一第一候选流量数据A，监控终端可以按照第一候选流量数据A和第一候选流量数据A的关联数据的实现先后顺序，生成时序曲线A，将该时序曲线A作为甄别模型的输入值，甄别模型可以提取该时序曲线A的曲线特征，并根据该时序曲线A的曲线特征输出第一候选流量数据A的异常概率。监控终端可以将第一候选流量数据A的异常概率与第四阈值进行比较，若大于第四阈值，则监控终端可以将第一候选流量数据A确定为异常流量数据，否则，则可以将第一候选流量数据A确定为正常流量数据。

对于第一候选流量数据集合中的每个第一候选流量数据，监控终端均可以参照上述对第一候选流量数据A的处理方法来进行处理，从而判断每个第一候选流量数据是否为异常流量数据，进而得到第一流量数据集合中的异常流量数据。

对于至少一个候选流量数据集合中的每个候选流量数据集合，监控终端均可以参照上述对第一候选流量数据集合的处理方法来进行处理，从而检测出每个候选流量数据集合中的异常流量数据。

可选地，在本申请实施例中，当检测出异常流量数据之后，监控终端还可以对该异常流量数据进行显示，用户可以根据先验经验对显示的异常流量数据进行标注，监控终端可以根据用户的标注生成标注信息，并将该标注信息、该异常流量数据以及该异常流量数据所属的流量数据集合进行存储，作为后续进一步训练甄别模型的样本。

可选地，在检测出每个端口的流量数据集合中的异常流量数据之后，监控终端可以根据检测出的异常流量数据生成告警信息，并将该告警信息发送至第三方告警处理平台，或者直接显示该告警信息。

可选地，在本申请实施例中，监控终端可以同时显示多个端口的异常流量数据。具体地，监控终端可以通过九宫格展示各个端口的端口标识以及对应的异常流量数据。并且，监控终端可以根据用户的选择操作来展示与异常流量数据相关的其他详细信息。另外，用户在对异常流量数据进行标注，可以批量选择多个异常流量数据同时进行标注，也可以单独选择某个进行标注，本申请实施例对此不做具体限定。

在本申请实施例中，监控终端在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，其中，候选流量数据集合包括至少一个第一候选流量数据。若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型对每个候选流量数据集合中的至少一个第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。其中，由于本申请实施例中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，相较于仅仅通过一种算法模型进行检测，本申请实施例中得到的第一候选流量数据更加全面，降低了漏检的概率。并且，在获取得到至少一个第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

另外，在本申请实施例中，由于甄别模型是通过第二候选流量数据以及第二候选流量数据的关联数据训练得到，也即，甄别模型学习了异常流量数据的特征，因此，通过该甄别模型对第一候选流量数据进行甄别，相对于单纯的通过数学算法来进行甄别，具备更高的准确性。

最后，在本申请实施例中，在训练多种筛查模型中的RNN和孤立森林模型时，可以将多个历史流量数据集合进行分类，并按照每类历史流量数据集合训练得到一个训练模型，相对于根据每个历史流量数据集合训练得到一个模型，大大减少了模型训练的工作量。

接下来对本申请实施例提供的检测异常流量数据的装置进行介绍。

图5是本申请实施例提供的一种检测异常流量数据的装置500的示意图，如图5所示，该装置500包括：

获取模块501，用于执行前述实施例中的步骤501；

确定模块502，用于执行前述实施例中的步骤502；

检测模块503，用于执行前述实施例中的步骤503。

可选地，确定模块502包括：

第一获取子模块，用于获取每个端口的端口标识；

第二获取子模块，用于从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；

第一确定子模块，用于根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。

可选地，检测模块503包括：

第三获取子模块，用于获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，第一候选流量数据集合是指至少一个候选流量数据集合中的任一个，第一端口是指第一候选流量数据集合对应的端口；

生成子模块，用于根据第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；

甄别子模块，用于通过甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，异常概率用于指示相应第一候选流量数据为异常流量数据的概率；

第二确定子模块，用于根据第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

可选地，确定模块502还包括：

第四获取子模块，用于获取多个端口中每个端口的历史流量数据集合，历史流量数据集合中包括多个历史流量数据；

分组子模块，用于根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；

分类子模块，用于当强周期分组内包括至少两个历史流量数据集合时，根据强周期分组内的至少两个历史流量数据集合之间的互相关性，对强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；

训练子模块，用于根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；

存储子模块，用于将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在映射关系中；

存储子模块，还用于当弱周期分组内包括至少一个历史流量数据集合时，将弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在映射关系中，剩余筛查模型是指多种筛查模型中除RNN和孤立森林模型之外的筛查模型。

可选地，分组子模块具体用于：

确定每个历史流量数据集合的周期性系数，周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；

若多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；

若多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，则将周期性系数不大于第二阈值的历史流量数据集合划分为一组，得到弱周期分组。

可选地，历史流量数据集合中还包括每个历史流量数据对应的采集时间；

确定模块502还包括：

校验子模块，用于基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，第一端口是指多个端口中的任一端口，第一历史流量数据集合是指第一端口的历史流量数据集合；

处理子模块，用于基于第一历史流量数据集合中每个历史流量数据对应的接收时间，对第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于采集步长。

可选地，该装置500还用于：

获取第二历史流量数据集合中的至少一个第二候选流量数据；

获取第二历史流量数据集合中每个第二候选流量数据的标注信息，每个第二候选流量数据的标注信息用于指示相应第二候选流量数据是否为异常流量数据；

获取第二历史流量数据集合的每个第二候选流量数据的关联数据，每个第二候选流量数据的关联数据包括第二端口在采集相应第二候选流量数据之前采集的多个流量数据，第二端口是指第二历史流量数据集合对应的端口；

根据第一历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对甄别模型进行训练。

在本申请实施例中，监控终端在获取到每个端口的流量数据集合之后，可以从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合中是否为候选流量数据集合，其中，候选流量数据集合中包括至少一个第一候选流量数据。若多个流量数据集合中包括候选流量数据集合，则可以通过甄别模型对每个候选流量数据集合中的至少一个第一候选流量数据进行进一步的甄别，以此来确定每个第一候选流量数据是否为异常流量数据。其中，由于本申请实施例中可以通过不止一种筛查模型来对流量数据集合进行处理，因此，相较于仅仅通过一种算法模型进行检测，本申请实施例中得到的第一候选流量数据更加全面，降低了漏检的概率。并且，在获取得到至少一个第一候选流量数据之后，再次通过甄别模型进行甄别，降低了误检的概率。

需要说明的是：上述实施例提供的检测异常流量数据的装置在检测异常流量数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检测异常流量数据的装置与检测异常流量数据的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))、或者半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种检测异常流量数据的方法，其特征在于，所述方法包括：

获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；

从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；

若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

2.如权利要求1所述的方法，其特征在于，所述从多种筛查模型中确定每个端口对应的至少一种筛查模型，包括：

获取每个端口的端口标识；

从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；

根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。

3.如权利要求2所述的方法，其特征在于，所述通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据，包括：

获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，所述第一候选流量数据集合是指所述至少一个候选流量数据集合中的任一个，所述第一端口是指所述第一候选流量数据集合对应的端口；

根据所述第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；

通过所述甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，所述异常概率用于指示相应第一候选流量数据为异常流量数据的概率；

根据所述第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定所述第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

4.如权利要求2或3所述的方法，其特征在于，所述从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应至少一个模型标识之前，还包括：

获取所述多个端口中每个端口的历史流量数据集合，所述历史流量数据集合中包括多个历史流量数据；

根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；

当所述强周期分组内包括至少两个历史流量数据集合时，根据所述强周期分组内的至少两个历史流量数据集合之间的互相关性，对所述强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；

根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；

将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在所述映射关系中；

当所述弱周期分组内包括至少一个历史流量数据集合时，将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中，所述剩余筛查模型是指所述多种筛查模型中除所述RNN和孤立森林模型之外的筛查模型。

5.如权利要求4所述的方法，其特征在于，所述根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组，包括：

确定每个历史流量数据集合的周期性系数，所述周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；

若多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；

若所述多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，将所述周期性系数不大于所述第二阈值的历史流量数据集合划分为一组，得到所述弱周期分组。

6.如权利要求4所述的方法，其特征在于，所述历史流量数据集合中还包括每个历史流量数据对应的采集时间；

所述根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组之前，还包括：

基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，所述第一端口是指所述多个端口中的任一端口，所述第一历史流量数据集合是指所述第一端口的历史流量数据集合；

基于所述第一历史流量数据集合中每个历史流量数据对应的采集时间，对所述第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于所述采集步长。

7.如权利要求4所述的方法，其特征在于，所述将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中之后，还包括：

获取第二历史流量数据集合中的至少一个第二候选流量数据；

获取所述第二历史流量数据集合中每个第二候选流量数据的标注信息，每个第二候选流量数据的标注信息用于指示相应第二候选流量数据是否为异常流量数据；

获取所述第二历史流量数据集合的每个第二候选流量数据的关联数据，每个第二候选流量数据的关联数据包括第二端口在采集相应第二候选流量数据之前采集的多个流量数据，所述第二端口是指所述第二历史流量数据集合对应的端口；

根据所述第二历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对所述甄别模型进行训练。

8.一种检测异常流量数据的装置，其特征在于，所述装置包括：

获取模块，用于获取多个端口中每个端口的流量数据集合，所述流量数据集合中包括多个流量数据；

确定模块，用于从多种筛查模型中确定每个端口对应的至少一种筛查模型，并通过每个端口对应的至少一种筛查模型检测相应端口的流量数据集合是否为候选流量数据集合，所述候选流量数据集合是指包含有至少一个第一候选流量数据的流量数据集合；

检测模块，用于若检测到多个流量数据集合中包括至少一个候选流量数据集合，则通过甄别模型检测每个候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

9.如权利要求8所述的装置，其特征在于，所述确定模块包括：

第一获取子模块，用于获取每个端口的端口标识；

第二获取子模块，用于从存储的端口标识和模型标识之间的映射关系中获取每个端口的端口标识对应的至少一个模型标识；

第一确定子模块，用于根据每个端口的端口标识对应的至少一个模型标识确定相应端口对应的至少一种筛查模型。

10.如权利要求9所述的装置，其特征在于，所述检测模块包括：

第三获取子模块，用于获取第一候选流量数据集合中每个第一候选流量数据的关联数据，每个第一候选流量数据的关联数据包括第一端口在采集到相应第一候选流量数据之前采集的多个流量数据，所述第一候选流量数据集合是指所述至少一个候选流量数据集合中的任一个，所述第一端口是指所述第一候选流量数据集合对应的端口；

生成子模块，用于根据所述第一候选流量数据集合中每个第一候选流量数据的关联数据以及相应第一候选流量数据，生成相应第一候选流量数据对应的时序曲线；

甄别子模块，用于通过所述甄别模型提取每个第一候选流量数据对应的时序曲线的曲线特征，并根据每个第一候选流量数据对应的时序曲线的曲线特征确定相应第一候选流量数据对应的异常概率，所述异常概率用于指示相应第一候选流量数据为异常流量数据的概率；

第二确定子模块，用于根据所述第一候选流量数据集合中每个第一候选流量数据对应的异常概率，确定所述第一候选流量数据集合中的至少一个第一候选流量数据中的异常流量数据。

11.如权利要求9或10所述的装置，其特征在于，所述确定模块还包括：

第四获取子模块，用于获取所述多个端口中每个端口的历史流量数据集合，所述历史流量数据集合中包括多个历史流量数据；

分组子模块，用于根据每个历史流量数据集合包括的多个历史流量数据之间的周期特性，对所述多个端口的历史流量数据集合进行分组，得到强周期分组和弱周期分组；

分类子模块，用于当所述强周期分组内包括至少两个历史流量数据集合时，根据所述强周期分组内的至少两个历史流量数据集合之间的互相关性，对所述强周期分组内的至少两个历史流量数据集合进行分类，得到至少一个子分组，每个子分组内任意两个历史流量数据集合之间的互相关性系数大于第一阈值；

训练子模块，用于根据每个子分组包括的历史流量数据集合分别对循环神经网络RNN中的一个子网络以及孤立森林模型中的一个子模型进行训练，得到每个子分组对应的两个训练模型；

存储子模块，用于将每个子分组内每个历史流量数据集合对应的端口的端口标识和每个子分组对应的两个训练模型的模型标识对应存储在所述映射关系中；

所述存储子模块，还用于当所述弱周期分组内包括至少一个历史流量数据集合时，将所述弱周期分组内每个历史流量数据集合对应的端口的端口标识与剩余筛查模型的模型标识对应存储在所述映射关系中，所述剩余筛查模型是指所述多种筛查模型中除所述RNN和孤立森林模型之外的筛查模型。

12.如权利要求11所述的装置，其特征在于，所述分组子模块具体用于：

确定每个历史流量数据集合的周期性系数，所述周期性系数用于指示相应历史流量数据集合包括的多个历史流量数据的周期特性；

若多个历史流量数据集合中存在周期性系数大于第二阈值的历史流量数据集合，则将所述周期性系数大于所述第二阈值的历史流量数据集合划分为一组，得到所述强周期分组；

若所述多个历史流量数据集合中存在周期性系数不大于第二阈值的历史流量数据集合，则将所述周期性系数不大于所述第二阈值的历史流量数据集合划分为一组，得到所述弱周期分组。

13.如权利要求11所述的装置，其特征在于，所述历史流量数据集合中还包括每个历史流量数据对应的采集时间；

所述确定模块还包括：

校验子模块，用于基于第一端口的流量数据的采集步长，对第一历史流量数据集合中每个历史流量数据对应的采集时间进行校验，所述第一端口是指所述多个端口中的任一端口，所述第一历史流量数据集合是指所述第一端口的历史流量数据集合；

处理子模块，用于基于所述第一历史流量数据集合中每个历史流量数据对应的接收时间，对所述第一历史流量数据集合中的多个历史流量数据进行处理，处理后的多个历史流量数据中每相邻的两个历史流量数据对应的采集时间之间的差值等于所述采集步长。

14.如权利要求11所述的装置，其特征在于，所述装置还用于：

获取第二历史流量数据集合中的至少一个第二候选流量数据；

获取所述第二历史流量数据集合中每个第二候选流量数据的标注信息，每个第二候选流量数据的标注信息用于指示相应第二候选流量数据是否为异常流量数据；

获取所述第二历史流量数据集合的每个第二候选流量数据的关联数据，每个第二候选流量数据的关联数据包括第二端口在采集相应第二候选流量数据之前采集的多个流量数据，所述第二端口是指所述第二历史流量数据集合对应的端口；

根据所述第二历史流量数据集合中的每个第二候选流量数据、每个第二候选流量数据的关联数据以及每个第二候选流量数据的标注信息，对所述甄别模型进行训练。

15.一种检测异常流量数据的装置，其特征在于，所述装置包括处理器和存储器；

所述存储器用于存储支持所述装置执行权利要求1-7任一项所述的方法的程序，以及存储用于实现权利要求1-7任一项所述的方法所涉及的数据；

所述处理器被配置为用于执行所述存储器中存储的程序。

16.一种计算机可读存储介质，其特征在于，包括指令，所述指令在计算机上运行时，使得计算机执行权利要求1-7任一项所述的方法。