CN113452657B - 大流量数据流的检测方法以及检测装置 - Google Patents

Abstract

本申请公开了一种大流量数据流的检测方法以及检测装置，该检测方法包括：控制设备获取多个数据采集设备中的二维数据结构，该二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；该控制设备对该多个数据采集设备中的二维数据结构进行合并处理，得到合并处理后的二维数据结构；该控制设备根据该合并处理后的二维数据结构检测大流量数据流，该大流量数据流是指该网络中全网级别的大流量数据流。基于本申请的技术方案，能够检测出全网级别的大流量数据流，从而提高大流量数据检测的准确性。

Description

大流量数据流的检测方法以及检测装置

技术领域

本申请涉及信息技术领域，更具体地，涉及大流量数据流的检测方法以及检测装置。

背景技术

随着移动网络的快速发展，网络中的流量呈现爆破式增长，从而导致网络中的异常频发；进一步带来了网络维护成本的增加。如何快速、无遗漏检测出网络中的异常流量变的尤为重要。

在网络异常流量检测中，有两种类型的异常流量尤为值得关注。一种是流量的大小巨大的数据流，也称为大流量对象(heavy hitter)；另一种是在一定时间内流量大小变化很大的数据流，也称为大变化对象(heavy changer)；两种数据流统称为大流量数据流(heavy flow)。

目前，大流量数据流检测大多是通过在网络中的某个数据采集设备中部署多个二维表，通过二维表存储该数据采集设备获取的所有数据流的信息，进而对单个数据采集设备进行异常数据流的检测。但是，网络中的数据流可能会分布在多个数据采集设备，只通过单个数据采集设备进行异常数据流的检测可能会遗漏某些大流量数据流，比如，通过单个数据采集设备的检测发现的数据流可能很小，但是许多个数据采集设备中的数据流合并起来可能会是全网级别的大流量数据流；因此，如何针对全网级别的大流量数据流进行检测成为一个亟需解决的问题。

发明内容

本申请提供一种大流量数据流的检测方法以及检测装置，能够检测出全网级别的大流量数据流，从而提高大流量数据流检测的准确性。

第一方面，提供了一种大流量数据流的检测方法，包括：控制设备获取多个数据采集设备中的二维数据结构，其中，所述二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；所述控制设备对所述多个数据采集设备中的二维数据结构进行合并处理，得到合并处理后的二维数据结构；所述控制设备根据所述合并处理后的二维数据结构检测大流量数据流，其中，所述大流量数据流是指所述网络中全网级别的大流量数据流。

其中，上述多个数据采集设备中的二维数据结构中的任意一个二维数据结构可以用于存储多个数据采集设备中一个数据采集设备获取的网络的数据流的信息；比如，数据流的信息可以包括获取的网络中的数据流的键值、数据流的大小等信息。

需要说明的是，多个数据采集设备中任意一个数据采集设备中的二维数据结构用于存储该数据采集设备获取的网络中的数据流的信息，即数据采集设备中的二维数据结构可以用于检测单点设备级别的大流量数据流，即流经单个数据采集设备的大流量数据流；而合并处理得到的合并处理后的二维数据结构可以用于检测网络中全网级别的大流量数据流，即通过数据采集设备的检测可能并非大流量数据流，但是许多个数据采集设备中的某一数据流合并起来检测为大流量数据流，则该大流量数据流为全网级别的大流量数据流。

其中，大流量数据流是大流量对象(heavy hitter)与大变化对象(heavychanger)的数据流的总称，其中，大流量对象是指网络数据流在以包数量、字节数或者连接数等为单位的数值超过预期，即超过一定的阈值的数据流；大变化对象是指网络数据流在一个较短的时间段内，在以包数量、字节数或者连接数等为单位的数值大小产生了非常剧烈的变化的数据流。

应理解，上述各个数据采集设备上的二维数据结构可以用来记录数据采集设备即单点设备获取的数据流的信息；但是，对于全网级别的数据流，即流经多个单点设备的数据流无法进行检测；在本申请的实施例中，通过对多个数据采集设备中的数据结构进行合并处理得到的合并后的数据结构可以用于检测全网级别的数据流，从而避免对于全网级别的大流量数据流的漏检的问题。

可选地，控制设备可以根据给定的数据流的键值与合并处理后的二维数据结构检测网络中的大流量数据流，从而估计该给定键值的数据流的总流量大小或者变化量大小。

可选地，控制设备可以根据合合并处理后的二维数据结构中各个桶中的键值对数据流依次进行轮询，查询各个数据流的总流量大小或者各个数据流的变化量大小。

基于本申请的技术方案，通过控制设备获取多个数据采集设备中的二维数据结构，其中，任意一个二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；控制设备可以对多个数据采集设备中的二维数据结构进行合并处理，得到合并处理后的二维数据结构；控制设备可以根据合并处理后的二维数据结构检测大流量数据流，该大流量数据流是指网络中的全网级别的大流量数据流；即通过本申请实施例提供的大流量数据流的检测方法避免了遗漏对全网级别的大流量数据流的检测，能够检测出全网级别的大流量数据流，从而提高大流量数据流检测的准确性。

在一种可能的实现方式中，所述二维数据结构是由多个桶组成的数据结构，所述控制设备对所述多个数据采集设备中的二维数据结构进行合并处理，得到合并处理后的二维数据结构，包括：

所述控制设备对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构。

需要说明的是，二维数据结构可以包括d行，每一行包括w个桶；上述多个二维数据结构可以具有相同的结构，即多个二维数据结构中各个二维数据结构具有相同的行数，并且每行包括相同数量的桶。对多个二维数据结构进行合并处理可以是指对多个数据结构中相同位置的桶进行合并处理；其中，相同位置可以是指位于多个二维数据结构中第i行第j列的桶。

在一种可能的实现方式中，所述多个数据采集设备中的二维数据数据结构中的任意一个桶包括当前桶中的数据流量总和、所述当前桶中的主要数据流的键值以及所述主要数据流的计数器值；所述合并处理后的二维数据结构中的任意一个桶包括更新后的数据流量总和、更新后的主要数据流的键值以及所述更新后的主要数据流的计数器值，所述任意一个桶包括在第一位置的桶。

所述控制设备对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构，包括：

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；

通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

基于本申请实施的技术方案，对多个数据采集设备中的二维数据结构的合并处理并非简单的对多个二维数据结构的桶中的特征值进行叠加；在更新某个桶中存储的数据流信息时，需要对其他二维数据结构中相同位置的桶中存储的数据流进行比较，然后进行合理的估计确定合并处理后的每个桶中的主要数据流；通过本申请实施例的多个数据采集设备中的二维数据结构的合并处理方法能够减小对内存的需求低，节省资源。

在一种可能的实现方式中，所述多个数据采集设备中的二维数据结构为N个二维数据结构，所述N个二维数据结构在所述第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；

所述通过对所述多个数据采集设备中的二维数据结构在所述第一位置的桶中的主要数据流的总流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值，包括：

确定所述N个二维数据结构在所述第一位置的桶中的所述主要数据流为所述X个键值中任意一个键值对应的数据流的总流量大小的估计值；

确定所述X个键值中任意一个键值对应的数据流的总流量大小中流量最大的数据流为所述更新后的主要数据流。

在一种可能的实现方式中，第一键值为所述X个键值中的任意一个，所述N个二维数据结构中第i个二维数据结构在所述第一位置的桶中的主要数据流的流量大小的估计值是根据以下公式得到的：

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值不是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，S_i(x)表示所述第一键值对应的数据流的流量大小的估计值；x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

在一种可能的实现方式中，所述控制设备获取多个数据采集设备中的二维数据结构，包括：

所述控制设备在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；

所述控制设备根据所述合并处理后的二维数据结构检测所述大流量数据流，包括：

若所述控制设备根据所述合并处理后的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定所述第一数据流为所述大流量数据流。

可选地，控制设备可以周期性地获取多个数据采集设备中的二维数据结构；即数据采集设备可以周期性地向控制设备发送用于记录数据流信息的数据结构；该周期的大小可以是预设的时间间隔。

在一种可能的实现方式中，所述控制设备根据所述合并处理后的二维数据结构检测所述大流量数据流，包括：

若所述控制设备根据所述合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定所述第一数据流为所述大流量数据流。

在一种可能的实现方式中，所述二维数据结构包括多数投票数据结构MV-Sketch。

可选地，二维数据数据结构可以为MV-Sketch，则在MV-Sketch中的每个桶中可以包括三个特征值，分别是存储到当前桶中的总数据流的大小即V_i,j；当前桶中的majority数据流的键值即K_i,j，键值可以表示majority数据流的标识，其中，majority数据流是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流；当前桶中的majority数据流的计数器值即C_i,j。

第二方面，提供了一种大流量数据流的检测装置，包括：获取单元，用于获取多个数据采集设备中的二维数据结构，其中，其中，所述二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；处理单元，用于对所述数据采集设备中的多个二维数据结构进行合并处理，得到合并处理后的二维数据结构；根据所述合并处理后的二维数据结构检测大流量数据流，其中，所述大流量数据流是指所述网络中全网级别的大流量数据流。

其中，上述多个数据采集设备中的二维数据结构中的任意一个二维数据结构可以用于存储多个数据采集设备中一个数据采集设备获取的网络的数据流的信息；比如，数据流的信息可以包括获取的网络中的数据流的键值、数据流的大小等信息。

需要说明的是，多个数据采集设备中任意一个数据采集设备中的二维数据结构用于存储该数据采集设备获取的网络中的数据流的信息，即数据采集设备中的二维数据结构可以用于检测单点设备级别的大流量数据流，即流经单个数据采集设备的大流量数据流；而合并处理得到的合并处理后的二维数据结构可以用于检测网络中全网级别的大流量数据流，通过数据采集设备的检测可能并非大流量数据流，但是许多个数据采集设备中的某一数据流合并起来检测为大流量数据流，则该大流量数据流为全网级别的大流量数据流。

其中，大流量数据流是大流量对象(heavy hitter)与大变化对象(heavychanger)的数据流的总称，其中，大流量对象是指网络数据流在以包数量、字节数或者连接数等为单位的数值超过预期，即超过一定的阈值的数据流；大变化对象是指网络数据流在一个较短的时间段内，在以包数量、字节数或者连接数等为单位的数值大小产生了非常剧烈的变化的数据流。

应理解，上述各个数据采集设备上的二维数据结构可以用来记录数据采集设备即单点设备获取的数据流的信息；但是，对于全网级的数据流，即流经多个单点设备的数据流无法进行检测；在本申请的实施例中，通过对多个数据采集设备中的数据结构进行合并处理得到的合并后的数据结构可以用于检测全网级的数据流，从而避免对于全网级别的大流量数据流的漏检的问题。

可选地，检测装置可以根据给定的数据流的键值与合并处理后的二维数据结构检测大流量数据流，从而估计该给定键值的数据流的总流量大小或者变化量大小。

可选地，检测装置可以根据合合并处理后的二维数据结构中各个桶中的键值对数据流依次进行轮询，查询各个数据流的总流量大小或者各个数据流的变化量大小。

基于本申请的技术方案，通过检测装置可以获取多个数据采集设备中的二维数据结构，其中，任意一个二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；检测装置可以对多个数据采集设备中的二维数据结构进行合并处理，得到合并处理后的二维数据结构；控制设备可以根据合并处理后的二维数据结构检测大流量数据流，该大流量数据流可以是指网络中全网级别的大流量数据流；即通过本申请实施例提供的大流量数据的检测方法避免了遗漏对全网级别的大流量数据流的检测，能够检测出全网级别的大流量数据流，从而提高大流量数据流检测的准确性。

在一种可能的实现方式中，所述二维数据结构是由多个桶组成的数据结构，所述处理单元具体用于：

所述控制设备对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构。

需要说明的是，二维数据结构可以包括d行，每一行包括w个桶；上述多个二维数据结构可以具有相同的结构，即多个二维数据结构中各个二维数据结构具有相同的行数，并且每行包括相同数量的桶。对多个二维数据结构进行合并处理可以是指对多个数据结构中相同位置的桶进行合并处理；其中，相同位置可以是指位于多个二维数据结构中第i行第j列的桶。

在一种可能的实现方式中，所述多个数据采集设备中的二维数据数据结构中的任意一个桶包括当前桶中的数据流量总和、所述当前桶中的主要数据流的键值以及所述主要数据流的计数器值；所述合并处理后的二维数据结构中的任意一个桶包括更新后的数据流量总和、更新后的主要数据流的键值以及所述更新后的主要数据流的计数器值，所述任意一个桶包括在第一位置的桶，所述处理单元具体用于：

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；

通过对所述多个二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；

通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

基于本申请实施的技术方案，对多个数据采集设备中的二维数据结构的合并处理并非简单的对多个二维数据结构的桶中的特征值进行叠加；在更新某个桶中存储的数据流信息时，需要对其他二维数据结构中相同位置的桶中存储的数据流进行比较，然后进行合理的估计确定合并处理后的每个桶中的主要数据流；通过本申请实施例的多个二维数据结构的合并处理方法能够减小检测装置对内存的需求低，节省资源。

在一种可能的实现方式中，所述多个数据采集设备中的二维数据结构为N个二维数据结构，所述N个二维数据结构在所述第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；

所述处理单元具体用于：

确定所述N个二维数据结构在所述第一位置的桶中的所述主要数据流为所述X个键值中任意一个键值对应的数据流的流量大小的估计值；

确定所述X个键值中任意一个键值对应的数据流的流量大小中流量最大的数据流为所述更新后的主要数据流。

在一种可能的实现方式中，第一键值为所述X个键值中的任意一个，所述N个二维数据结构中第i个二维数据结构在所述第一位置的桶中的主要数据流的流量大小的估计值是根据以下公式得到的：

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值不是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，S_i(x)表示所述第一键值对应的数据流的流量大小的估计值；x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

在一种可能的实现方式中，所述获取单元具体用于：在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；

所述处理单元具体用于：

若根据所述合并处理后的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定所述第一数据流为所述大流量数据流。

可选地，检测装置可以周期性地获取多个数据采集设备中的二维数据结构；即多个数据采集设备可以周期性地向控制设备发送用于记录数据流信息的数据结构；该周期的大小可以是预设的时间间隔。

在一种可能的实现方式中，所述处理单元具体用于：若根据所述合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定所述第一数据流为所述大流量数据流。

在一种可能的实现方式中，所述二维数据结构包括多数投票数据结构MV-Sketch。

可选地，二维数据数据结构可以为MV-Sketch，则在MV-Sketch中的每个桶中可以包括三个特征值，分别是存储到当前桶中的总数据流的大小即V_i,j；当前桶中的majority数据流的键值即K_i,j，键值可以表示majority数据流的标识，其中，majority数据流是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流；当前桶中的majority数据流的计数器值即C_i,j。

第三方面，提供了一种大流量数据流的检测装置，该检测装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述第一方面以及第一方面的任意一种实现方式中的检测方法。

应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第三方面中相同的内容。

第四方面，提供一种计算机存储介质，该计算机存储介质存储有程序代码，该程序代码包括用于执行第一方面以及第一方面中的任意一种实现方式中的检测方法中的步骤的指令。

上述存储介质具体可以是非易失性存储介质。

第五方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面以及第一方面的任意一种实现方式中的检测方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面以及第一方面中的任意一种实现方式中的检测方法。

上述芯片具体可以是现场可编程门阵列FPGA或者专用集成电路ASIC。

附图说明

图1是本申请实施例提供的二维数据结构的示意图；

图2是本申请实施例提供的应用场景的示意图；

图3是本申请实施例提供的系统架构的示意图；

图4是本申请实施例提供的大流量数据流的检测方法的示意性流程图；

图5是本申请一个实施例提供的大流量数据流的检测方法的示意性流程图；

图6是本申请实施例提供的多个二维数据结构进行合并处理的示意图；

图7是本申请实施例提供的在公开网络流量数据集上的检测结果的示意图；

图8是本申请实施例提供的在公开网络流量数据集上的检测结果的示意图；

图9是本申请实施例提供的检测装置的示意性框图；

图10是本申请实施例提供的检测装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，在本申请的各实施例中，“第一”、“第二”、“第三”等仅是为了指代不同的对象，并不表示对指代的对象有其它限定。

为了更好地理解本申请实施例的数据流的测量方法，下面先对相关的一些基本概念进行简单说明。

1、大流量数据流(heavy flow)

大流量数据流是大流量对象(heavy hitter)与大变化对象(heavy changer)的数据流的总称，其中，大流量对象是指网络数据流在以包数量、字节数或者连接数等为单位的数值超过预期，即超过一定的阈值的数据流；大变化对象是指网络数据流在一个较短的时间段内，在以包数量、字节数或者连接数等为单位的数值大小产生了非常剧烈的变化的数据流。

2、数据结构(Sketch)

通常Sketch是指一种二维表的数据结构，由若干行组成，每行由若干个桶(bucket)构成。

例如，在MV-Sketch中，每个桶中包括可以三个元素，分别是当前桶中的总流量、当前桶中majority flow的键值以及当前桶中majority flow的总流量计数器；其中，Majority flow是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流。

示例性地，如图1所示为MV-Sketch的示意图。如图1所示是一个d×w的二维数据结构；该二维数据结构中包括d行，每行包括w个桶(bucket)，每个桶中包括三个元素。

例如，以第i行的第j个桶B(i,j)举例说明；B(i,j)中包括V_i,j、K_i,j以及C_i,j；V_i,j表示当前桶中的所有数据流的总流量；K_i,j表示当前桶中majority数据流的键值，即majority数据流的标识，其中，majority数据流是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流；计数器C_i,j用于对该桶中majority数据流进行计数。

例如，在LD-Sketch中，每个桶中可以包括四个元素，分别为当前桶中的总流量、当前桶流量估计的最大误差、附属队列(记录了该桶中部分对象的流量估计值)、附属队列的长度。

目前，随着通信网络的快速发展，网络中的数据流呈现爆破式增长，从而导致网络的异常频发；在网络异常流量检测中，有两种类型的异常流量尤为值得关注，一种是流量的大小巨大的数据流，也称为大流量对象(heavy hitter)；另一种是在一定时间内，流量大小变化很大的数据流，也称为大变化对象(heavy changer)；这两种合称为大流量数据流(heavy flow)。目前的大流量数据流检测算法大多是在网络中的某个设备节点部署多个二维表，用二维表存储所有数据流的信息，进而做异常数据流检测。但是，网络中的数据流可能分布在多个设备上，通过单个设备进行异常数据流的检测可能只能检测出单设备上的大流量数据流；而对于单设备上较小的数据流，许多单设备合并起来看可能是一个大流量数据流可能会存在遗漏检测的问题。

有鉴于此，本申请提出了一种大数据流量的检测方法通过控制设备获取多个数据采集设备中的二维数据结构，其中，任意一个二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；控制设备可以对多个数据采集设备中二维数据结构进行合并处理，得到合并处理后的二维数据结构控制设备可以根据合并处理后的二维数据结构检测大流量数据流，该大流量数据流是指网络中全网级别的大流量数据流；即通过本申请实施例提供的大流量数据流的检测方法避免了遗漏对全网级别的大流量数据流的检测，能够检测出全网级别的大流量数据流，从而提高大流量数据流检测的准确性。

下面将结合具体的例子详细描述本申请实施例。应注意，这只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

图2是根据本申请的实施例的应用场景的示意图。

如图2所示，系统100中可以包括控制设备101和多个数据采集设备(例如，数据流流经的单节点设备)102；控制设备101可以用于在预设的时间周期末，获取系统中的多个数据采集设备102中的二维数据结构，并进行数据流的检测，从而实现全网级数据流的大流量的数据检测。

数据采集设备102可以为任意获取数据流的设备，例如，网关处或者其他采集网络数据流的设备，可以包括当前技术已知的任何计算设备，如服务器、台式计算机等等。

数据采集设备102中可以包括存储器和处理器。存储器可以用于存储程序代码，例如，操作系统以及其他应用程序。处理器可以用于调用存储器存储的程序代码，以实现节点的相应功能。节点中包括的处理器和存储器可以通过芯片实现，此处不作具体的限定。

控制设备101可以周期性地获取数据采集设备102中的用于记录数据流的二维数据结构，从而确定网络中流经各个数据采集设备102的数据流的流量大小。

图3是本申请实施例提供的系统架构的示意图。

例如，本申请实施例提供的数据流的检测方法的系统架构中可以包括数据流采集模块210、数据流处理模块220以及数据流异常检测模块230，其中，数据流处理模块220又可以包括局部更新模块221、全局合并模块222以及数据流量估计模块223。

其中，数据流采集模块210用于从网关处或者其他采集网络数据流的设备处采集流量，提取数据流五元组特征(源地址、源端口、目的地址、目的端口、协议)以及数据流的大小，其中五元组特征用来唯一标识数据流。

数据流处理模块220用于在每个网关(例如，数据采集设备)处部署二维数据结构，将采集到的数据流映射存储到二维数据结构中，例如，通过采用多数投票算法将数据流映射存储到二维数据结构中；然后，将多个数据采集设备的二维数据结构进行合并，得到估计表中待查询的数据流流量和，用于后续检测某个数据流在全网的异常情况。

示例性地，数据流处理模块220中还可以包括局部更新模块221、全局合并模块222以及数据流量估计模块223。

其中，局部更新模块221用于在每个数据采集设备处部署的二维数据结构，通过哈希函数将数据流映射到二维数据结构中，对数据流建立哈希索引；二维数据结构中的每个格子(桶)可以包括数据流的标识值，映射到该格子的所有数据流的大小总和以及一个计数器。

全局合并模块222用于对所有数据采集设备处的二维数据结构做合并处理，以便于统计全网数据流的情况。

需要说明的是，由于对于同一流经不同数据采集设备的数据流而言，该数据流在不同的数据采集设备处的二维数据结构中的映射位置可能不同，因此，在对不同数据采集设备处的二维数据结构进行合并处理时不是直接把所有相同位置格子的数据流简单相加；对某个格子的数据流，需要进行更新键值、映射到该格子的所有数据流大小的总和、计数器时，需要比较其他数据采集设备处二维数据结构中格子的情况，然后进行合理的估计。

数据流大小估计模块223用于对全网数据级数据流进行检测，其中，二维数据结构大小一般是估计的，所以会存在多个数据流映射到相同格子的情况；通过比较所有格子中的键值，估计某个数据流在全网的总大小值，以便于做下一步的异常检测。

数据流异常检测模块230用于在每个时间周期末，基于数据流的估计值做异常检测，判断某个数据流是否是异常值。其中，时间周期可以是预设的时间间隔。

下面将结合图4，具体介绍本申请的实施例中在包括控制设备和数据采集设备的系统中的数据流的检测方法。

图4是根据本申请一个实施例的大流量数据流的检测方法的示意性流程图。其中，数据采集设备可以是系统中多个数据采集设备中的任意一个，例如，可以是图2中的任意一个数据采集设备。

在本申请的实施例中，系统中可以包括多个数据采集设备和一个控制设备，控制设备对多个数据采集设备提供的映射数据流的二维数据结构进行处理，从而可以得到全网级的数据流的检测结果。

步骤310、控制设备可以获取多个数据采集设备中的二维数据结构。

其中，二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息。

应理解，上述多个数据采集设备中的二维数据结构中的任意一个二维数据结构可以用于存储多个数据采集设备中一个数据采集设备获取的网络的数据流的信息；比如，数据流的信息可以包括获取的网络中的数据流的键值、数据流的大小等信息。

还应理解，上述网络可以是指任意被检测的对象，网络可以是由一个或者多个设备组成的网络。

可选地，在一种可能的实现方式中，控制设备可以周期性地获取多个数据采集设备中二维数据结构。

例如，在每个时间周期结束时刻，多个数据采集设备可以向控制设备发送该数据采集设备中的二维数据结构，其中，该时间周期可以是预设的时间间隔。

步骤320、控制设备对多个数据采集设备中二维数据结构进行合并处理，得到合并处理后的二维数据结构。

其中，上述合并处理后的二维表结构可以用于存储网络中的数据流的信息。

可选地，在一种可能的实现方式中，二维数据结构是由多个桶组成的数据结构，控制设备对多个数据采集设备中二维数据结构进行合并处理，得到合并处理后的二维数据结构，可以包括：控制设备对多个数据采集设备中二维数据结构中相同位置的桶进行合并处理，得到合并处理后的二维数据结构。

示例性地，二维数据结构可以如图1所示，图1所示的二维数据结构包括d行，每一行包括w个桶；上述多个二维数据结构可以具有相同的结构，即多个二维数据结构中各个二维数据结构具有相同的行数，并且每行包括相同数量的桶。对多个二维数据结构进行合并处理可以是指对多个数据结构中相同位置的桶进行合并处理。

例如，如图1所示，二维数据数据结构可以为MV-Sketch，则在MV-Sketch中的每个桶中可以包括三个特征值，分别是存储到当前桶中的总数据流的大小即V_i,j；当前桶中的majority数据流的键值即K_i,j，键值可以表示majority数据流的标识，其中，majority数据流是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流；当前桶中的majority数据流的计数器值即C_i,j。对多个二维数据结构进行合并处理，则需要更新每个桶中的特征值，即对于合并处理后的二维数据结构中的任意一个桶，包括的三个特征值分别为：更新后的数据流量总和、更新后的主要数据流的键值以及更新后的主要数据流的计数器值。

可选地，在一种可能的实现方式中，对多个数据采集设备中二维数据结构中第一位置的桶进行合并处理的过程可以包括：通过对所述多个数据采集设备中二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；通过对所述多个数据采集设备中二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

应理解，在本申请的实施例中上述合并处理算法并非简单的对多个数据采集设备中二维数据结构的桶中的特征值进行叠加；在更新某个桶中存储的数据流信息时，需要对其他二维数据结构中相同位置的桶中存储的数据流进行比较，然后进行合理的估计确定合并处理后的每个桶中的主要数据流；通过本申请实施例提供的多个数据采集设备中二维数据结构的合并处理方法能够减小控制设备对内存的需求低，节省资源。

可选地，在一种可能的实现方式中，多个数据采集设备中的二维数据结构为N个二维数据结构，N个二维数据结构在第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；通过对多个数据采集设备中二维数据结构在第一位置的桶中的主要数据流的流量大小进行比较，所述第一位置的桶中的所述更新后的主要数据流的键值，包括：确定N个二维数据结构在第一位置的桶中的主要数据流为X个键值中任意一个键值对应的数据流的流量大小的估计值；确定X个键值中任意一个键值对应的数据流的流量大小中流量最大的数据流为更新后的主要数据流。

示例性地，第一键值为X个键值中的任意一个，N个二维数据结构中第i个二维数据结构在第一位置的桶中的主要数据流的流量大小的估计值可以是根据以下公式得到的：

若第i个二维数据结构在第一位置的桶的主要数据流的键值是第一键值，则第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若第i个二维数据结构在第一位置的桶的主要数据流的键值不是第一键值，则第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，S_i(x)表示所述第一键值对应的数据流的流量大小的估计值；x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

需要说明的是，二维数据结构中的第一位置的桶可以是指位于二维数据结构中的第i行第j列的桶B(i,j)。

例如，若其他位置桶中的K值与当前桶中的K值一致，则合并处理后映射到当前位置桶中的majority数据流大小总和的估计值为：

其中，/>

表示q个二维表中第M个二维表中桶B(i,j)的所有数据流的总和；/>

表示q个二维表中第M个二维表中桶B(i,j)的majority数据流的计数器；若其他位置桶中的K值与当前桶中的K值不一致，则合并处理后映射到当前位置桶中的majority数据流大小的估计值为：

步骤330、控制设备根据合并处理后的二维数据结构检测大流量数据流。

其中，通过合并处理后的二维数据结构检测的大流量数据流可以是指网络中全网级别的大流量数据流。比如，全网级别的大流量数据流可以是指通过单个数据采集设备检测某一数据流可能并非大流量数据流，但是许多个数据采集设备中的某一数据流合并起来检测为大流量数据流，则该大流量数据流为全网级别的大流量数据流。

在一种可能的实现方式中，可以根据给定的数据流的键值在合并后的二维表中进行查询，从而估计该给定键值的数据流的总流量大小或者变化量大小。

在一种可能的实现方式中，可以根据合并后的二维表中各个桶中的键值对数据流依次进行轮询，查询各个数据流的总流量大小或者各个数据流的变化量大小。

可选地，在一种可能的实现方式中，所述控制设备在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；控制设备根据合并处理后的二维数据结构检测大流量数据流，包括：

若控制设备根据合并处理后络的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定第一数据流为所述大流量数据流；即可以确定第一数据流为网络中全网级别的大流量数据流。

可选地，在一种可能的实现方式中，控制设备根据合并处理后的二维数据结构检测大流量数据流，包括：

若控制设备根据合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定第一数据流所述大流量数据流；即可以确定第一数据流为网络中全网级别的大流量数据流。

示例性地，上述二维数据结构可以是指MV-Sketch，或者，LD-Sketch，或者其他Sketch结构，本申请对此不作任何限定。

本申请提供的大数据流量的检测方法，通过控制设备获取多个数据采集设备中的二维数据结构，其中，任意一个二维数据结构可以用于存储相应的数据采集设备获取的网络中的数据流的信息；控制设备可以对多个数据采集设备中二维数据结构进行合并处理，得到合并处理后的二维数据结构；控制设备可以根据合并处理后的二维数据结构检测大流量数据流，该大流量数据流是指网络中全网级别的大流量数据流；即通过本申请实施例提供的大流量数据流的检测方法避免了遗漏对全网级别的大流量数据流的检测，能够检测出全网级别的大流量数据流，从而提高大流量数据流检测的准确性。

图5是本申请一个实施例的数据流的检测方法的示意性流程图。其中，图5所示的检测方法包括步骤401至步骤407，下面对步骤401至步骤407进行详细的描述。

步骤401、开始。

步骤402、数据采集设备获取网络中的数据流。

应理解，上述网络可以是指任意被检测的对象，网络可以是由一个或者多个设备组成的网络。

其中，数据采集设备可以是指图2所示的网络中的任意一个数据采集设备，数据采集设备用于获取网络中的数据流。

步骤403、数据采集设备通过局部更新算法将获取的数据流的信息记录到数据结构中。

示例性地，上述数据表结构可以是指MV-Sketch，或者LD-Sketch或者其他二维数据结构。

例如，以数据表结构为MV-Sketch举例来说，假设MV-Sketch由r行构成，每行包括w个桶；当数据采集设备获取网络中的数据流(或者，数据包)可以利用r个独立的哈希函数，将数据流分别映射到1至r行，所映射的序列j由哈希值hi(x)决定；通过哈希函数将数据流映射到二维数据结构中每个的一个桶中，根据多数投票算法来更新majority数据流。

举例说明，majority数据流是指在当前桶中的总流量50％以上的数据流；假设有三个候选数据流A、B、C，并假设按照以下顺序对数据流进行投票：AAACCBBCCCBCC；记录完第3张投票后，数据流C以3票领先；在处理接下来的三张投票时，将三张投给数据流的A的票与三张其他票(CCB)抵消；最终，记录所有选片后，数据流C成为，majority数据流。

进一步，在一个数据采集设备重新获取网络中的数据流后，需要对该数据采集设备处之前的二维数据结构进行更新；更新过程在接收到每个数据流(对象X，值V_X)时均被调用，以(X，V_X)为输入，对二维数据结构中的更新过程进行说明。

例如，对于二维数据结构中的每一行，该行对应的哈希函数将X映射到该行中的某个桶中；从而更新该桶中的信息，即更新桶中的三个元素V_ij、K_ij以及C_ij；参见图1所示。

示例性地，以第i行的第j个桶B(i,j)进行举例说明；B(i,j)中更新前包括V_i,j、K_i,j以及C_i,j；V_i,j表示当前桶中的所有数据流的总流量；K_i,j表示当前桶中majority数据流的键值，即majority数据流的标识，其中，majority数据流是指数据流的大小超过映射到当前桶中的总流量50％以上的数据流；计数器C_i,j表示该桶中majority数据流的总流量，假设，桶B(i,j)更新后包括的三个元素分别为V1_i,j、K1_i,j以及C1_i,j；采用局部更新算法进行更新的过程如下：

步骤1：桶B(i,j)更新后的所有数据流的总流量等于更新前该桶中所有数据流的总流量与V_X的总和；即V1_i,j＝V_i,j+V_X。

步骤2：若对数据流X是桶B(i,j)中的majority数据流并且X更新前在当前桶中，则执行步骤3；若X不是桶B(i,j)中的majority数据流或者X之前在当前桶中不存在，则执行步骤4。

步骤3：更新majority数据流的总流量C1_i,j＝C_i,j+V_X；返回。

步骤4：更新majority数据流的总流量C1_i,j＝C_i,j-V_X；若执行步骤4后，C1_i,j小于0则执行步骤5，否则返回。

步骤5：更新当前桶中majority数据流的键值以及总流量值K1_i,j＝X，C1_i,j＝-C1_i,j，返回。

通过上述局部更新算法，当数据采集设备获取新的数据流后可以对该数据采集设备上的用于映射存储数据流信息的数据结构进行更新。

在一个示例中，在数据采集设备中可以通过MV-Sketch记录获取的数据流的信息，则在数据采集设备获取新的数据流后可以通过上述局部更新算法对数据采集设备上的MV-Sketch进行更新。

在一个示例中，在数据采集设备中可以通过LD-Sketch记录获取的数据流的信息，则在数据采集设备获取新的数据流后可以通过局部更新算法对数据采集设备上的LD-Sketch进行更新。

步骤404、控制设备获取各个数据采集设备上的数据结构并进行数据结构的合并处理，得到合并后的数据结构。

应理解，上述各个数据采集设备上的数据结构可以用来记录单点设备采集的数据流的信息，但是对于全网级的数据流，即流经多个单点设备的数据流无法进行检测；在本申请的实施例中，通过对多个数据采集设备中的数据结构进行合并处理得到的合并后的数据结构可以用于检测全网级的数据流，从而避免对于全网级别的大流量数据流的漏检的问题。

示例性地，控制设备可以周期性地获取数据采集设备中的数据结构；即数据采集设备可以周期性地向控制设备发送用于记录数据流信息的数据结构；该周期的大小可以是预设的时间间隔。

下面对控制设备获取的多个数据采集设备的数据结构进行合并处理的过程进行详细的描述，即控制设备需要将获取的各个单点设备上的数据结构合并成一个用于记录全网级数据流即流经各个单点设备的数据流的数据结构。

例如，在本申请的实施例中，控制设备可以通过全局合并算法对获取的多个数据采集设备中的数据结构进行合并处理。其中，合并处理是指对多个数据结构中的相同位置的桶进行合并，即更新相同位置的桶中记录的数据流的信息。比如，对于MV-Sketch而言，需要更新合并后的每个桶中包括的V_i,j、K_i,j以及C_i,j。

示例性地，以控制设备获取q个数据结构进行举例说明；控制设备可以对q个数据结构中的相同位置进行合并处理，从而更新数据结构中的信息，得到合并处理后的数据结构；例如，采用全局合并算法对q个MV-Sketch二维表进行合并处理的过程如下：

步骤1：更新桶中数据流的总和，即将q个二维表中映射到当前桶中所有数据流量求和。

例如，对所有q个二维表中相同位置的桶B(i,j)的V进行相加，得到合并处理后的二维表中桶B(i,j)的V值；即

其中，/>

表示q个二维表中第M个二维表中桶B(i,j)的所有数据流的总和，M为整数。

步骤2：更新桶中majority数据流的键值，比较当前桶中的键值与其他二维表中的相同位置桶中的键值，更新当前桶中的键值。

例如，若其他位置桶中的K值与当前桶中的K值一致，则合并处理后映射到当前位置桶中的majority数据流大小的估计值为：

其中，

表示q个二维表中第M个二维表中桶B(i,j)的所有数据流的总和；/>

表示q个二维表中第M个二维表中桶B(i,j)的majority数据流的计数器；若其他位置桶中的K值与当前桶中的K值不一致，则合并处理后映射到当前位置桶中的majority数据流大小的估计值为：

步骤3：比较q个二维表在桶B(i,j)中的可能的majority数据流的估计值，当前桶B(i,j)的K_i,j取其中最大的估计值对应的数据流的键值。

步骤4：更新合并处理后的二维表中桶B(i,j)的K值。

步骤5：更新合并处理后的二维表中桶B(i,j)的C_i,j，即桶B(i,j)中majority数据流的计数器值；其中，C_i,j＝Max{2est(K_i,j)-V_i,j,0}。

通过上述全局合并算法，控制设备可以将获取的多个数据采集设备的q个二维表进行合并，得到用于记录全网级数据流即流经各个单点设备的数据流的二维表。

下面以q个二维表通过上述全局合并算法得到一个合并处理后的二维表的过程进行举例说明。假设，通过上述全局合并算法对三个二维表中的桶(1,1)进行合并，对于三个二维表桶(1,1)中的键值最多可能存在三种可能X、Y以及Z，即三个二维表中桶(1,1)中的键值中的键值均不相同，或者也可以是三个二维表中桶(1,1)中的键值部分相同或者完全相同；例如，若第一个二维表桶(1,1)中的键值为X，则第一个二维表中键值X对应的数据流的大小的估计值为

若第一个二维表桶(1,1)中的键值不是X，则第一个二维表中键值X对应的数据流的大小的估计值为/>

进而，继续判断第二个二维表中桶(1,1)中的键值是否为X；若第二个二维表中桶(1,1)中的键值为X，则第一个二维表与第二个二维表桶(1,1)位置进行合并操作，得到键值X对应的数据流大小的估计值为：/>

若第二个二维表中桶(1,1)中的键值不是X，则第一个二维表与第二个二维表桶(1,1)位置进行合并操作，得到键值X对应的数据流大小总和的估计值为：/>

进而，继续判断第三个二维表中桶(1,1)中的键值是否为X；若第三个二维表中桶(1,1)中的键值为X，则第一个二维表、第二个二维表以及第三个二维表中桶(1,1)位置进行合并操作，得到键值X对应的数据流大小总和的估计值为：

若第三个二维表中桶(1,1)中的键值不是X，则第一个二维表、第二个二维表以及第三个二维表中桶(1,1)位置进行合并操作，得到键值X对应的数据流大小的估计值为：/>

同理，分别计算第一个二维表桶(1,1)中的键值为Y或者Z对应的数据流大小总和的估计值，最终合并后二维表桶(1,1)为数据流大小总和的估计值中最大的估计值对应的数据流的键值；合并后桶(1,1)中的C_1,1选取Max{2*e3(K)-V_i,j,0}，其中，e3(K)表示e3(X)、e3(Y)以及e3(Z)中最大的；V_i,j表示三个二维表中桶(1,1)中所有数据流叠加的总和；合并后二维表桶(1,1)中的/>

即三个二维表中桶(1,1)中所有数据流叠加的总和。

在一个可能的实现方式中，一个数据采集设备中可以部署一个二维表，通过步骤403中的局部更新算法可以实现数据采集设备在二维表中记录数据流的信息。

例如，如图6所示，每个数据采集设备在获取数据流之后可以将数据流的信息记录在二维数据结构中；控制设备可以获取多个数据采集设备中的二维数据结构并通过上述全局合并算法对多个二维数据结构进行合并处理，得到合并后的用于记录全网级数据流的二维数据结构。其中，上述各个数据采集设备可以是同一网络中的多个数据采集设备，或者，也可以是不同网络中的多个数据采集设备。

在一个可能的实现方式中，一个数据采集设备中也可以部署多个二维表，数据采集设备均匀的将获取的数据流的信息记录在多个二维表中，进而可以将数据采集设备上部署的多个二维表通过上述全局合并算法合并成一个二维表；控制设备获取每个数据采集设备中合并后的二维表再进行合并处理，最终得到用于记录全网级数据流即流经各个单点设备的数据流的二维表。

示例性地，上述二维表可以是指MV-Sketch，或者，LD-Sketch，或者其他Sketch结构，本申请对此不作任何限定。

步骤405、数据流大小估计。

例如，可以根据上述步骤404得到的合并处理后的二维表进行某个数据流大小的估计。

在一种可能的实现方式中，可以根据给定的数据流的键值在合并后的二维表中进行查询，从而估计该给定键值的数据流的总流量大小或者变化量大小。

在一种可能的实现方式中，可以根据合并后的二维表中各个桶中的键值对数据流依次进行轮询，查询各个数据流的总流量大小或者各个数据流的变化量大小。

示例性地，利用合并后的二维数据结构，可以估计某个数据流的总流量，数据流X会被映射到合并后的二维数据结构的第1行至d行中每行的某个桶中，可以采用如下所述的估计算法对数据流大小进行估算：

步骤一、假设查询数据流X的流量大小，若合并后的二维表中当前桶中的键值与数据流X的键值相同，则数据流X在当前桶B(i,j)中的总流量大小的估计值为S_i(x)＝(V_i,j+C_i,j)/2；其中，V_i,j表示合并后的二维表中当前桶B(i,j)中所有数据流的总流量大小；C_i,j表示合并后的二维表中当前桶B(i,j)中majority数据流的计数器值。若合并后的二维表中当前桶中的键值与数据流X的键值不相同，则数据流X在当前桶B(i,j)中的总流量大小的估计值为S_i(x)＝(V_i,j-C_i,j)/2。

步骤二：数据流X的总流量大小的估计值为S(x)＝min{S_i(x),1≤i≤d}。

步骤406、异常数据流检测。

其中，异常数据流检测可以是判断上述步骤405中数据流X是否为大流量对象或者大变化对象，即判断数据流X是否为大流量数据流。

示意性地，给定阈值

S可以表示一个时期内所有数据流的容量总和；D可以表示两个时间周期内所有数据流量容量总和的差异，即变化值；可以根据以下流程判断数据流X是否为大流量对象或者大变化对象：

1、若

则表示数据流X是大流量对象；

2、若

则表示数据流X是大变化对象，其中，D(x)表示数据流X在两个时间周期内S(x)的差异，即在两个时间周期内数据流X的变化量。

当数据流X满足上述1或2，则可以确定数据流X为全网级别的大流量数据流，从而对数据流X可以进行后续的监测。

步骤407、结束。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

图7是本申请实施例提供在公开网络流量数据集上对大流量对象的检测结果的示意图；图8是本申请实施例提供的在公开数据流量数据集上对大变化对象的检测结果的示意图。

其中，图7与图8所示的检测结果的示意图中数据集的采集时长是5分钟，每1分钟为一个时间周期；每个周期内包括大约29M的数据包，1M数据流，内存大小从64KB到4MB。测试指标包括：准确率(precision)：用于预估的检测结果中大流量数据流占所有数据流的比例；召回率(recall)：用于预估的检测结果中大流量数据流占所有大流量数据流的比例；F1值(F1 Score):用于对准确率和召回率进行整体评价；相对误差(relative error)：测试周期内，数据流估计的误差比例。其中，检测结果的数据结构包括亚线性空间数据结构(Count-min，CM)；多数投票数据结构(Majority vote，MV)；局部分布式数据结构(Local-distributed，LD)；Deltoid数据结构(Del)；以及快速数据结构(FAST)。

从图7与图8所示的检测结果中可以看出，本申请实施例提供的检测方法取得效果要比其他方法要好；其中，召回率都是1，当内存超过128KB，准确率都能达到95％以上，相对误差率在0.01以下。

上文结合图1至图8详细描述了本申请实施例提供的大数据流量的检测方法，下面将结合图9和图10，详细描述本申请的装置实施例。应理解，本申请实施例中的检测装置可以执行前述本申请实施例的各种大数据流量的检测方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图9是本申请实施例提供的大流量数据流的检测装置500的示意性框图。应理解，检测装置500能够执行图4或图5的检测方法中的各个步骤，为了避免重复，此处不再详述。检测装置500包括：获取单元510和处理单元520。

其中，获取单元510用于获取多个数据采集设备中二维数据结构，其中，所述二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息；处理单元520用于对所述多个数据采集设备中二维数据结构进行合并处理，得到合并处理后的二维数据结构；根据所述合并处理后的二维数据结构检测大流量数据流，所述大流量数据流是指所述网络中全网级别的大流量数据流。

可选地，作为一个实施例，所述二维数据结构是由多个桶组成的数据结构，所述处理单元520具体用于：

对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构。

可选地，作为一个实施例，所述多个数据采集设备中的二维数据数据结构中的任意一个桶包括当前桶中的数据流量总和、所述当前桶中的主要数据流的键值以及所述主要数据流的计数器值；所述合并处理后的二维数据结构中的任意一个桶包括更新后的数据流量总和、更新后的主要数据流的键值以及所述更新后的主要数据流的计数器值，所述任意一个桶包括在第一位置的桶，所述处理单元520具体用于：

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；

通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

可选地，作为一个实施例，所述多个数据采集设备中的二维数据结构为N个二维数据结构，所述N个二维数据结构在所述第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；所述处理单元520具体用于：

确定所述N个二维数据结构在所述第一位置的桶中的所述主要数据流为所述X个键值中任意一个键值对应的数据流的流量大小的估计值；

确定所述X个键值中任意一个键值对应的数据流的流量大小中流量最大的数据流为所述更新后的主要数据流。

可选地，作为一个实施例，所述处理单元520具体用于：

所述N个二维数据结构中第i个二维数据结构在所述第一位置的桶中的主要数据流的流量大小的估计值是根据以下公式得到的：

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值是第一键值，则第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值不是第一键值，则第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，S_i(x)表示所述第一键值对应的数据流的流量大小的估计值；x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

可选地，作为一个实施例，所述获取单元510具体用于在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；

所述处理单元520具体用于：

若根据所述合并处理后的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定所述第一数据流为所述大流量数据流。

可选地，作为一个实施例，所述处理单元520具体用于：

若根据所述合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定所述第一数据流为所述大流量数据流。

可选地，作为一个实施例，所述二维数据结构包括多数投票数据结构MV-Sketch。

应理解，这里的检测装置500以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图10是本申请实施例的大流量数据流的检测装置的硬件结构示意图。

图10所示的检测装置600包括存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。

存储器601可以是只读存储器(read-only memory，ROM)，静态存储设备和随机存取存储器(random access memory，RAM)。存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602和通信接口603用于执行本申请实施例的大流量数据流的检测方法的各个步骤，例如，可以执行图4或图5所示的大流量数据流的检测方法的各个步骤。

处理器602可以采用通用的CPU、微处理器、ASIC、GPU或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的图9所示的检测装置中的单元所需执行的功能，或者执行本申请方法实施例的大流量数据流的检测方法。

处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的大流量数据流的检测方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器602还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例的检测装置中包括的单元所需执行的功能，或者执行本申请方法实施例的大流量数据流的检测方法。

例如，处理器602可以与图9所示的检测装置中的处理单元520对应。

通信接口603使用例如但不限于收发器一类的收发装置，来实现检测装置600与其他设备或通信网络之间的通信。

例如，所示通信接口603可以与图9所示的检测装置中的获取单元510对应，可以通过通信接口603获取多个数据采集设备中的二维数据结构。

总线604可包括在检测装置600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。

应注意，尽管上述检测装置600仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，检测装置600还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，上述检测装置600还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，上述检测装置600也可仅仅包括实现本申请实施例所必须的器件，而不必包括图10中所示的全部器件。

本申请实施例还提供一种系统，该系统中包括上述检测装置与多个数据采集设备；该检测装置可以执行上述方法实施例中的大流量数据流的检测方法。

本申请实施例还提供一种芯片，该芯片包括收发单元和处理单元。其中，收发单元可以是输入输出电路、通信接口；处理单元为该芯片上集成的处理器或者微处理器或者集成电路；该芯片可以执行上述方法实施例中的大流量数据流的检测方法。

本申请实施例还提供一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的大流量数据流的检测方法。

本申请实施例还提供一种包含指令的计算机程序产品，该指令被执行时执行上述方法实施例中的大流量数据流的检测方法。

应理解，本申请实施例中，该处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中，该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。处理器的一部分还可以包括非易失性随机存取存储器。例如，处理器还可以存储设备类型的信息。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种大流量数据流的检测方法，其特征在于，包括：

控制设备获取多个数据采集设备中的二维数据结构，其中，所述二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息，所述二维数据结构是由多个桶组成的数据结构，所述多个数据采集设备中的二维数据结构中的任意一个桶包括当前桶中的数据流量总和、所述当前桶中的主要数据流的键值以及所述主要数据流的计数器值；

所述控制设备对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构，所述合并处理后的二维数据结构中的任意一个桶包括更新后的数据流量总和、更新后的主要数据流的键值以及所述更新后的主要数据流的计数器值，所述任意一个桶包括在第一位置的桶；

所述控制设备根据所述合并处理后的二维数据结构检测大流量数据流，其中，所述大流量数据流是指所述网络中全网级别的大流量数据流；

其中，所述控制设备对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构，包括：

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；

通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；

通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

2.如权利要求1所述的检测方法，其特征在于，所述多个数据采集设备中的二维数据结构为N个二维数据结构，所述N个二维数据结构在所述第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；

所述通过对所述多个数据采集设备中的二维数据结构在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值，包括：

确定所述N个二维数据结构在所述第一位置的桶中的所述主要数据流为所述X个键值中任意一个键值对应的数据流的流量大小的估计值；

确定所述X个键值中任意一个键值对应的数据流的流量大小中流量最大的数据流为所述更新后的主要数据流。

3.如权利要求2所述的检测方法，其特征在于，第一键值为所述X个键值中的任意一个，所述N个二维数据结构中第i个二维数据结构在所述第一位置的桶中的主要数据流的流量大小的估计值是根据以下公式得到的：

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值不是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

4.如权利要求1至3中任一项所述的检测方法，其特征在于，所述控制设备获取多个数据采集设备中的二维数据结构，包括：

所述控制设备在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；

所述控制设备根据所述合并处理后的二维数据结构检测所述大流量数据流，包括：

若所述控制设备根据所述合并处理后的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定所述第一数据流为大流量数据流。

5.如权利要求1至3中任一项所述的检测方法，其特征在于，所述控制设备根据所述合并处理后的二维数据结构检测所述大流量数据流，包括：

若所述控制设备根据所述合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定所述第一数据流为所述大流量数据流。

6.如权利要求1至3中任一项所述的检测方法，其特征在于，所述二维数据结构包括多数投票数据结构MV-Sketch。

7.一种大流量数据流的检测装置，其特征在于，包括：

获取单元，用于获取多个数据采集设备中的二维数据结构，其中，所述二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息，所述二维数据结构是由多个桶组成的数据结构，所述多个数据采集设备中的二维数据结构中的任意一个桶包括当前桶中的数据流量总和、所述当前桶中的主要数据流的键值以及所述主要数据流的计数器值；

处理单元，用于对所述多个数据采集设备中的二维数据结构中相同位置的桶进行合并处理，得到所述合并处理后的二维数据结构，所述合并处理后的二维数据结构中的任意一个桶包括更新后的数据流量总和、更新后的主要数据流的键值以及所述更新后的主要数据流的计数器值，所述任意一个桶包括在第一位置的桶；

所述处理单元，还用于根据所述合并处理后的二维数据结构检测大流量数据流，其中，所述大流量数据流是指所述网络中全网级别的大流量数据流；

所述处理单元具体用于：通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的数据流量总和进行叠加，得到所述第一位置的桶中的所述更新后的数据流量总和；通过对所述多个数据采集设备中的二维数据结构中在所述第一位置的桶中的主要数据流的流量大小进行比较，得到所述第一位置的桶中的所述更新后的主要数据流的键值；通过所述更新后的主要数据流的键值以及所述主要数据流的流量大小，得到所述第一位置的桶中的所述更新后的主要数据流的计数器值。

8.如权利要求7所述的检测装置，其特征在于，所述多个数据采集设备中的二维数据结构为N个二维数据结构，所述N个二维数据结构在所述第一位置的桶中对应的主要数据流的键值为X个键值，X为小于或者等于N的正整数；

所述处理单元具体用于：

确定所述N个二维数据结构在所述第一位置的桶中的所述主要数据流为所述X个键值中任意一个键值对应的数据流的流量大小的估计值；

确定所述X个键值中任意一个键值对应的数据流的流量大小中流量最大的数据流为所述更新后的主要数据流。

9.如权利要求8所述的检测装置，其特征在于，第一键值为所述X个键值中的任意一个，所述N个二维数据结构中第i个二维数据结构在所述第一位置的桶中的主要数据流的流量大小的估计值是根据以下公式得到的：

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i+C_i)/2；

若所述第i个二维数据结构在所述第一位置的桶的主要数据流的键值不是所述第一键值，则所述第一键值对应的数据流的流量大小的估计值为：S_i(x)＝(V_i-C_i)/2；

其中，x表示所述第一键值，V_i表示所述第i个二维数据结构在所述第一位置的桶中所有数据流的流量总和；C_i表示所述第i个二维数据结构在所述第一位置的桶中主要流量的计数器值。

10.如权利要求7至9中任一项所述的检测装置，其特征在于，所述获取单元具体用于：

在每个时间周期结束时刻，获取所述多个数据采集设备中的二维数据结构；

所述处理单元具体用于：

若根据所述合并处理后的二维数据结构检测第一数据流在任意两个时间周期的变化值大于第一阈值，则确定所述第一数据流为所述大流量数据流。

11.如权利要求7至9中任一项所述的检测装置，其特征在于，所述处理单元具体用于：

若根据所述合并处理后的二维数据结构检测第一数据流的总流量大小大于第二阈值，则确定所述第一数据流为所述大流量数据流。

12.如权利要求7至9中任一项所述的检测装置，其特征在于，所述二维数据结构包括多数投票数据结构MV-Sketch。

13.一种大流量数据流的检测装置，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1至6中任一项所述的检测方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序代码，所述程序代码包括用于执行如权利要求1至6中任一项所述的检测方法中的步骤的指令。

Images