CN114095386B - 一种数据流统计方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据流统计方法、设备及存储介质。在本申请实施例中，利用第一存储组件和第二存储组件进行数据流统计，对于流量满足预设条件的数据流，可将这类数据流的统计工作自适应地搬移至第一存储组件中执行。这样，一方面可卸载掉第二存储组件的一部分处理压力；另一方面，可充分利用第一存储组件的高速存取能力，从而更加快速、更加准确地对这类数据流进行统计。据此，本实施例中，可充分利用第一存储组件的高速存取能力，从而有效减少数据流统计过程中对第二存储组件的访问次数，进而大幅提升对数据流的统计性能。

Description

一种数据流统计方法、设备及存储介质

技术领域

本申请涉及网络技术领域，尤其涉及一种数据流统计方法、设备及存储介质。

背景技术

在网络通信过程中，经常需要对数据流进行统计，数据流统计的结果，可广泛应用于流量监控、访问控制等多方面。

随着互联网技术的发展，网络通信过程中的数据流量激增，传统的数据流统计方案已经无法满足日益提高的统计要求。

因此，如何提升对数据流的统计性能成为亟待解决的问题。

发明内容

本申请的多个方面提供一种数据流统计方法、设备及存储介质，用以提升对数据流的统计性能。

本申请实施例提供一种数据流统计方法，包括：

监控目标数据流的流量；

若所述目标数据流的流量满足第一预设条件，则在第一存储组件中维护所述目标数据流对应的第一统计记录，以基于所述第一统计记录对所述目标数据流进行统计；

根据所述第一统计记录更新所述目标数据流对应的第二统计记录，所述第二统计记录配置于第二存储组件中；

其中，所述第一存储组件的存取速度高于所述第二存储组件。

本申请实施例还提供一种计算设备，包括第一存储组件、第二存储组件和处理器，所述处理器与所述第一存储组件和所述第二存储组件耦合，所述第一存储组件的存取速度高于所述第二存储组件；

所述处理器，用于监控目标数据流的流量；若所述目标数据流的流量满足第一预设条件，则在第一存储组件中维护所述目标数据流对应的第一统计记录，以基于所述第一统计记录对所述目标数据流进行统计；根据所述第一统计记录更新所述目标数据流对应的第二统计记录，所述第二统计记录配置于第二存储组件中；

所述第一存储组件，用于存储所述目标数据流对应的第一统计记录；

所述第二存储组件，用于存储所述目标数据流对应的第二统计记录。

本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的数据流统计方法。

在本申请实施例中，利用第一存储组件和第二存储组件进行数据流统计，对于流量满足预设条件的数据流，可将这类数据流的统计工作自适应地搬移至第一存储组件中执行。这样，一方面可卸载掉第二存储组件的一部分处理压力；另一方面，可充分利用第一存储组件的高速存取能力，从而更加快速、更加准确地对这类数据流进行统计。据此，本实施例中，可充分利用第一存储组件的高速存取能力，从而有效减少数据流统计过程中对第二存储组件的访问次数，进而大幅提升对数据流的统计性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种计算设备的结构示意图；

图2为本申请一示例性实施例提供的一种数据流统计方案的逻辑示意图；

图3为本申请一示例性实施例提供的一种自适应选择利用第一存储组件或第二存储组件对目标数据流进行统计的逻辑示意图；

图4为本申请一示例性实施例提供的一种数据流统计方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，传统的数据流统计方案已经无法满足日益提高的统计要求。为改善该技术问题，本申请实施例的一些实施例中：利用第一存储组件和第二存储组件进行数据流统计，对于流量满足预设条件的数据流，可将这类数据流的统计工作动态搬移至第一存储组件中执行。这样，一方面可卸载掉第二存储组件的一部分处理压力；另一方面，可充分利用第一存储组件的高速存取能力，从而更加快速、更加准确地对这类数据流进行统计。据此，本实施例中，可充分利用第一存储组件的高速存取能力，从而有效减少数据流统计过程中对第二存储组件的访问次数，进而大幅提升对数据流的统计性能。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种计算设备的结构示意图。图2为本申请一示例性实施例提供的一种数据流统计方案的逻辑示意图。如图1所示，该计算设备包括：第一存储组件20、第二存储组件30和处理器10，处理器10与第一存储组件20和第二存储组件30耦合。

本实施例提供的计算设备可应用于各种需要对数据流进行统计的场景中。例如，流量监控、网络计费、访问控制、网络安全监控与防范、网络资源优化建设等应用场景。在产品应用方面，本实施例提供的计算设备可布设在网卡、路由器、交换机等各类网关产品中，以提供数据流统计功能，当然，本实施例并不限于此。

本实施例中，第一存储组件20的存取速度高于第二存储组件30的存取速度。其中，第一存储组件20可采用内部存储组件，例如，内存、缓存或硬盘等，第二存储组件30则可采用外部存储组件，例如，DDR等。这里的内部存储组件和外部存储组件是从存储速度的维度进行定义的，而非从物理结构的维度进行定义。从物理结构维度来看，内部存储组件和外部存储组件可均位于计算设备内部，也可均位于计算设备外部，或者内部存储组件位于计算设备内部而外部存储组件位于计算设备外部等等。

另外，值得说明的是，本实施例中的第一存储组件20和第二存储组件30的组件形式并不限于此，只是从存取速度上区分了两个存取组件。本实施例中，利用第一存储组件20辅助第二存储组件30对数据流进行统计，可有效提高数据流的统计效率和准确度。

在技术实现上，本实施例中，可基于FPGA(field programmable gate array，现场可编程门阵列)实现处理器10的功能，这种情况下，第二存储组件30可以是DDR(DoubleData Rate，双倍速率同步动态随机存储器)，第一存储组件20则可以是RAM(random accessmemory，随机存取存储器)。当然，本实施例并不限于此，还可基于单片机、CPU等技术实现处理器10的功能。以FPGA技术为例，其第一存储组件20可支持并行处理功能，也即是，处理器10可对第一存储组件20发起并行访问操作，因此，访问速度更高；而受限于第二存储组件30的访问带宽及访问形式，处理器10对第二存储组件30的访问速度则较慢。

在上述设备结构的基础上，本实施例中，可基于计算设备对数据流进行统计。由于对不同数据流的统计方案类似，为便于描述，本文中将以目标数据流为例进行统计方案的说明，但应当理解的是，本实施例提供的统计方案适用于计算设备所需统计的所有数据流。

处理器10可监控目标数据流的流量；若目标数据流的流量满足第一预设条件，则在第一存储组件20中维护目标数据流对应的第一统计记录，以基于第一统计记录对目标数据流进行统计。

其中，第一统计记录中包括但不限于已转发包数pass-packets、已转发字节数pass-bytes、已丢包数drop-packets、已丢字节数drop-bytes等统计项。对于处理器10来说，在任意一种统计项发生变化的情况，就需要更新一次统计记录。例如，网关设备对目标数据流进行转发的过程中，每转发一个数据包packet，处理器10需要访问一次目标数据流对应的统计记录，并对统计记录中的已转发包数这一统计项下的统计值执行累加操作。

参考图2，在这种统计方式下，本实施例中，可预先配置第一预设条件，第一预设条件可作为特定类数据流的识别条件。因此，基于第一预设条件，可识别出特定类数据流，并在第一存储组件20中对特定类数据流进行统计。

若目标数据流的流量满足第一预设条件，处理器10可在第一存储组件20中维护目标数据流对应的第一统计记录，以利用第一存储组件20对目标数据流进行统计。正如前文提及的，第一存储组件20可支持并行处理功能，因此，处理器10可对第一存储组件20中的第一统计记录进行并行访问，以及时、准确地更新第一统计记录中的各统计项，这可有效提高对目标数据流的统计效率和准确率，避免漏记或错记问题。

实际应用中，可在第一存储组件20中配置一第一统计表，第一统计表中可包含若干统计记录。处理器10可对第一统计表中的统计记录进行动态增减，因此，处理器10可将前述的特定类数据流的统计记录优先配置到第一统计表中，以优先利用第一存储组件20对特定类数据流进行统计。

本实施例中，可在第二存储组件30存储全部数据流对应的统计记录，这其中可包含目标数据流对应的第二统计记录。基于此，处理器10可根据第一存储组件20中的第一统计记录更新第二存储组件30中的第二统计记录。

本实施例中，在基于第一统计记录对目标数据流进行统计的过程中，处理器10无需再访问第二存储组件30中的第二统计记录，这可将第二存储组件30的一部分负载卸载至第一存储组件20上；而第一存储组件20则可将其对目标数据流的统计结果更新至第二存储组件30。这样，在对目标数据流进行统计的过程中，可大幅降低对第二存储组件30的访问次数。

例如，网关设备对目标数据流中的50个数据包进行转发，处理器10可对第一存储组件20执行50次访问，以将第一统计记录中的pass-pakets更新为50，之后，可根据第一统计记录更新第二统计记录。这个过程中，处理器10对第一存储组件20访问50次，而仅对第二存储组件30访问1次。

据此，本实施例中，利用第一存储组件20和第二存储组件30进行数据流统计，对于流量满足预设条件的数据流，可将这类数据流的统计工作动态搬移至第一存储组件20中执行。这样，一方面可卸载掉第二存储组件30的一部分处理压力；另一方面，可充分利用第一存储组件20的高速存取能力，从而更加快速、更加准确地对这类数据流进行统计。据此，本实施例中，可充分利用第一存储组件20的高速存取能力，从而有效减少数据流统计过程中对第二存储组件30的访问次数，进而大幅提升对数据流的统计性能。

图3为本申请一示例性实施例提供的一种自适应选择利用第一存储组件20或第二存储组件30对目标数据流进行统计的逻辑示意图。

参考图3，在上述或下述实施例中，第一存储组件20的存储空间有限，因此，第一统计记录中各统计项下的统计门限较低。例如，pass-packets这一统计项下的统计门限可能只能达到1000。

为此，本实施例中，处理器10可在第一统计记录发生溢出的情况下，根据第一统计记录更新目标数据流对应的第二统计记录。其中，溢出可以是指任一统计项下的统计值达到该统计项下的统计门限。实际应用中，可按需设定各统计项下的统计门限。

当然，本实施例中，根据第一统计记录更新第二统计记录的执行时机可以是多种多样的。除了可将第一统计记录发生溢出作为执行时机外，还可周期地或者在达到对第一统计记录的访问次数阈值的情况下，执行根据第一统计记录更新第二统计记录的操作，等。本实施例并不限于此。

处理器10在根据第一统计记录更新第二统计记录的过程中，可将第一统计记录包含的各统计值累加至第二统计记录中相应的统计值；对第一统计记录包含的各统计值进行清零，并继续基于第一统计记录对目标数据流进行统计。

例如，第一统计记录包括：pass-packets＝1000、pass-bytes＝956378、drop-packets＝20、drop-bytes＝2530。第二统计记录包括：pass-packets＝52361、pass-bytes＝6953332、drop-packets＝562、drop-bytes＝6325。则执行根据第一统计记录更新第二统计记录操作后，第一统计记录包括：pass-packets＝0、pass-bytes＝0、drop-packets＝0、drop-bytes＝0，第二统计记录包括：pass-packets＝53361、pass-bytes＝7909710、drop-packets＝582、drop-bytes＝8855。之后，在第一统计记录中各统计项下，从0开始计数，以继续对目标数据流进行统计。

据此，本实施例中，处理器10可将利用第一存储组件20对目标数据流进行统计的统计结果，阶段性地搬运至第二存储组件30中，以保证第一存储组件20对目标数据流的准确统计，避免因第一存储组件20的存储空间的局限性而导致漏记或错记等问题，并可为下一阶段继续利用第一存储组件20对目标数据流进行统计而提供存储空间基础。

在上述或下述实施例中，处理器10可采用多种实现方式确定目标数据流的流量是否满足第一预设条件。

在一种可选地实现方式中，处理器10可根据目标数据流的流量，计算对目标数据流的转发速率；若转发速率超过第一阈值，则确定目标数据流的流量满足第一预设条件。

在该实现方式中，第一预设条件配置为转发速率超过第一阈值。基于此，处理器10可从所需统计的多个数据流中，识别出转发速率超过第一阈值的特定类数据流。

为了计算出对目标数据流的转发速率，在该实现方式中，处理器10可为目标数据流维护一记录内容，记录内容包括时间戳以及时间戳下的累积转发量；以预设的时间戳间隔或累计转发量增量作为触发条件，更新记录内容。例如，记录内容可表示为(timestamp，packets)。其中，处理器10可从目标数据流对应的记录内容中，获取累积转发量，作为目标数据流的流量。

其中，若以时间戳间隔作为触发条件，则处理器10可在目标数据流被处理的时段内，设定若干时间戳，并在达到任意时间戳时，根据该时间戳和该时间戳下的累积转发量，更新目标数据流对应的记录内容。这样，从当前时刻来看，目标数据流对应的记录内容中包含的可以是当前时刻之前的最后一个时间戳及该时间戳下的累积转发量。当然，记录内容中，还可包含其它时间戳及时间戳下的累积转发量，在此不做限定。

其中，若以累积转发量增量作为触发条件，则处理器10可在目标数据流对应的累积转发量的增量达到预设增量门限时，将累积转发量的增量达到预设增量门限的时刻作为时间戳，根据该时间戳和该时间戳下的累积转发量，更新目标数据流对应的记录内容。

基于此，处理器10可根据当前时间戳及当前时间戳下的累积转发量和记录内容中的时间戳以及时间戳下的累积转发量，计算对目标数据流的转发速率。

实际应用中，可在目标数据流的记录内容发生更新的情况下，执行计算对目标数据流的转发速率的操作，这样，当前时间戳可以是达到预设的时间戳间隔或累计转发量增量的时刻。

例如，目标数据流的记录内容C0＝(第100ms，100K)，则计算目标数据流的转发速率的时机可以是第200ms(其中，预设的时间戳间隔为100ms)，此时的时间戳为200ms，累积转发量为180K。则目标数据流的转发速率PPS可记为：(180K-100K)/(200ms-100ms)＝800Kpps，也即，每秒转发800K个数据包。

又例如，计算目标数据流的转发速率的时机也可以是第300ms(第300ms时，累积转发量为200K，达到预设增量门限100K)。则目标数据流的转发速率PPS可记为：(200K-100K)/(300ms-100ms)＝500Kpps，也即，每秒转发500K个数据包。

在计算出目标数据流的转发速率的同时，还可根据当前时间戳及当前时间戳下的累积转发量更新目标数据流的记录内容。

承接上例，可将C1＝(第200ms，180K)更新至记录内容，或者将C1＝(第300ms，200K)更新至记录内容。

相应地，计算目标数据流的转发速率的时机，还可作为判断目标数据流的流量是否满足第一预设条件的时机，也即，作为确定是否在内部处理器10中对目标数据流进行统计的判断时机。当然，各操作的执行时机也可不完全相同，本实施例并不限于此。

另外，在该实现方式中，可在统计记录中增加一统计项，以承载前述的记录内容。基于此，目标数据流对应的记录内容可配置于第一统计记录中，也可配置于第二统计记录中。当然，也可将记录内容配置于其它处理器10可访问的存储位置而不必须配置到统计记录中，在此不做限定。

除了可根据转发速率确定是否利用第一存储组件20对目标数据流进行统计外，在其它实现方式中，还可根据目标数据流对网络带宽的占比等其它指标来确定是否利用第一存储组件20对目标数据流进行统计，本实施例并不限于此。

据此，本实施例中，可及时地发现目标数据流的流量是否满足第一预设条件，从而可在目标数据流的流量满足第一预设条件的情况下，尽早地利用第一存储组件20度目标数据流进行统计，进而有效提高数据流的统计性能。

在上述或下述实施例中，处理器10还可监听针对目标数据流的转发请求。例如，处理器10可监听网关设备中用于接收转发请求的接口，以监听针对目标数据流的转发请求。

在监听到针对目标数据流的转发请求的情况下，处理器10可查询第一存储组件20中的第一统计表。

若第一统计表未满且第一统计表中未包含与目标数据流对应的统计记录，则在第一统计表中创建目标数据流对应的统计记录，并基于在第一统计表中创建的统计记录，对目标数据流进行统计；

若第一统计表已满，则在第二存储组件30中的第二统计表中创建目标数据流对应的统计记录；并基于在第二统计表中创建的统计记录，对目标数据流进行统计。

本实施例中，在监听到针对目标数据流的转发请求的情况下，处理器10优先在第一存储组件20中为目标数据流创建统计记录。但由于第一存储组件20中所能容纳的统计记录的数量有限，有可能出现第一存储组件20中的第一统计表已满的情况，这种情况下，处理器10可在第二存储组件30中的第二统计表中为目标数据流创建统计记录。

但是，上述目标数据流对应的统计记录的首次创建位置，并不一定会作为统计工作的处理位置，而是可由处理器10根据目标数据流的流量变化情况，动态地调整统计工作的处理位置。也即是，处理器10可根据目标数据流的流量变化情况，动态地选择利用第一存储组件20或第二存储组件30对目标数据流进行统计。

参考图3，处理器10可通过监控目标数据流的流量，判断目标数据流的流量是否满足第一预设条件。

在一种情况下，若目标数据流的流量满足第一预设条件，则处理器10可查询第一存储组件20中的第一统计表；若在第一统计表中查询到目标数据流对应的统计记录，则将查询到的统计记录作为第一统计记录；若在第一统计表中未查询到目标数据流对应的统计记录，则在第一统计表中创建第一统计记录。

其中，在第一统计表中查询到目标数据流对应的统计记录，则可表征此前处理器10是利用第一存储组件20对目标数据流进行统计，这种情况下，处理器10可保持利用第一存储组件20对目标数据流进行统计；而在第一统计表中未查询到目标数据流对应的统计记录，则可表征此前处理器10是利用第二存储组件30对目标数据流进行统计，在这种情况下，处理器10可停止利用第二存储组件30进行统计，而切换至利用第一存储组件20对目标数据流进行统计。

另外，处理器10在第一统计表中创建第一统计记录的过程中，可判断第一统计表是否已满。若未满，则可在第一统计表中创建第一统计记录。若第一统计表已满，则确定第一统计表中各数据流对应的转发速率；选择转发速率低于第二阈值的一数据流对应的目标统计记录；从第一统计表中删除目标统计记录，并将目标统计记录累加至第二存储组件30中选择出的数据流对应的统计记录；在第一统计表中创建第一统计记录。其中，确定第一统计表中各数据流对应的转发速率的过程可参考前述实施例中的描述，将目标统计记录累加至第二存储组件30中选择出的数据流对应的统计记录的过程也可参考前述实施例中根据第一统计记录更新第二统计记录的过程，在此不再赘述。

在此基础上，处理器10可基于第一统计记录对目标数据流进行统计。据此，若目标数据流的流量满足第一预设条件，处理器10可利用第一存储组件20对目标数据流进行统计，以卸载第二存储组件30的处理压力，并提高对目标数据流的统计效率。

在另一种情况下，若目标数据流的流量不满足第一预设条件，则处理器10可判断目标数据流的流量是否满足第二预设条件；若目标数据流的流量满足第二预设条件，则处理器10可查询第一存储组件20中的第一统计表；若在第一统计表中查询到目标数据流对应的第一统计记录，则根据第一统计记录更新第二统计记录，并停止基于第一统计记录对目标数据了进行统计；基于第二统计记录对目标数据流进行统计，并继续执行判断目标数据流的流量是否满足第一预设条件的操作。

其中，在第一统计表中查询到目标数据流对应的第一统计记录，则可表征此前处理器10是利用第一存储组件20对目标数据流进行统计，在这种情况下，处理器10可停止利用第一存储组件20进行统计，而切换至利用第二存储组件30对目标数据流进行统计。而在第一统计表中未查询到目标数据流对应的统计记录，则可表征此前处理器10是利用第二存储组件30对目标数据流进行统计，这种情况下，处理器10可保持利用第二存储组件30对目标数据流进行统计。

另外，处理器10还可根据目标数据流的流量，计算对目标数据流的转发速率；若转发速率低于第二阈值，则确定目标数据流的流量满足第二预设条件。其中，第二阈值可小于前述实施例中的第一阈值。计算对目标数据流的转发速率的过程可参考前述实施例中的描述，在此不再赘述。

在这种情况下，处理器10可在目标数据流的流量不满足第一预设条件时，继续判断目标数据流是否满足第二预设条件，若目标数据流满足第二预设条件，则可利用第二存储组件30对目标数据流进行统计，以释放第一存储组件20中的存储空间。这可及时老化内部存储空间中满足第二预设条件的数据流对应的统计记录，为满足第一预设条件的其它数据流腾出空间，从而保证利用第一存储组件20优先对满足第一预设条件的数据流进行统计。

以下，以对数据流A的统计过程为例，进行技术方案的详细说明。

发明人在研究过程中发现，网络流量模型通常遵循这28法则，也就是：20％的数据流占用80％的网络带宽，为便于描述，我们可将这类数据流称为大象流；80％的数据流占用20％的网络带宽，为便于描述，我们可将这类数据流称为长尾流。

本实施例提出了一种自适应地统计方案。可采用FPGA芯片实现统计功能，例如，STAT等统计模块可提供的统计功能，FPGA芯片可作为本实施例提供的统计方案中的处理器。与传统的统计方案不同的是，本实施例中，为FPGA芯片配置了第二存储组件DDR和第一存储组件RAM，其中，RAM支持并行访问功能，但存储空间有限，DDR受限于访问带宽及访问形式，访问速度比较慢，但存储空间较大。基于DDR和RAM，本实施例中，可在RAM中构建以第一统计表，该第一统计表为自适应变化的；在DDR中构建第二统计表，该第二统计表可覆盖所需统计的全部数据流。另外，与传统的统计方案不同的还有，额外增加了意向记录内容(timestamp，packets)，记录内容用于记录数据流在不同时间戳下的累积转发量。

其中，FPGA芯片及为其配置的第一存储组件和第二存储组件，可部署在网关设备或其它需要进行数据流统计的设备上。

在此基础上，可监听这些设备接收到的数据流的处理请求，例如，若监听到针对数据流A的处理请求，则可优先在第一统计表中为数据流A创建统计记录。若第一统计表已满，也可在第二统计表中为数据流A创建统计记录。

之后，可基于前述的记录内容，监控数据流A的流量，并可以预设的时间戳间隔或累积转发量增量作为触发条件，计算数据流A对应的转发速率。

若数据流A的转发速率超过第一阈值，则可确定数据流A为大象流。而若数据流A的赚翻速率低于第二阈值，则可确定数据流A为长尾流。据此，可有效地识别出大象流。

本实施例中，可优先利用第一存储组件对大象流进行统计，优先利用第二存储组件对长尾流进行统计。

为此，一方面，可尽可能设计大的第一统计表，以容纳更多的大象流，并可在识别到大象流时，利用第一存储组件对大象流进行统计，在利用第一存储组件对大象流进行统计的过程中，不再需要对第二存储组件进行访问，这可卸载第二存储组件的一部分处理压力，而且第一存储组件的访问速度更快，因此，可提高对大象流的统计效率。另一方面，对于第一统计表中的统计记录进行及时老化。及时地识别出第一统计表中的长尾流，并将长尾流对应的统计记录搬运至第二统计表中，之后可利用第二存储组件对长尾流进行统计，从而可在第一统计表中为其它大象流腾出存储空间。

通过这两方面，可有效识别出大象流，并可有效提高第二存储组件中大象流的卸载比例，因此，可充分利用FPGA芯片的并行处理能力，有效提高对大象流的统计效率。数据流的流量通常有一定的突发特性，往往一个大的数据流的存续时间比较短，比如网页数据的上传下载，第一统计表的空间有限的情况下，及时地老化回收第一统计表的资源，可有效提升利用第一存储组件对大象流进行统计的概率，从而可进一步提升统计性能。

另外，为了减少利用第一统计表对第二统计表的更新次数，对于转发速率低于第二阈值或者高于第二阈值但低于第一阈值的数据流，也可不主动切换至利用第二存储组件进行统计，也即保存此前的处理位置不变。而是可采用末尾淘汰等方式，在识别到大象流且第一统计表已满的情况下，在从第一统计表中选择任一长尾流，并将选出的长尾流对应的统计记录搬运至第二存储组件中，从而为大象流腾出存储空间。这样，可极大程度地利用第一存储组件执行数据流的统计工作，进一步提高统计性能。

图4为本申请一示例性实施例提供的一种数据流统计方法的流程示意图。本实施例提供的数据流统计方法可以由一数据流统计装置来执行，该数据流统计装置可以实现为软件或实现为软件和硬件的组合，该数据流统计装置可集成设置在计算设备中。如图3所示，该方法包括：

步骤400、监控目标数据流的流量；

步骤401、若目标数据流的流量满足第一预设条件，则在第一存储组件中维护目标数据流对应的第一统计记录，以基于第一统计记录对目标数据流进行统计；

步骤402、根据第一统计记录更新目标数据流对应的第二统计记录，第二统计记录配置于第二存储组件中；

其中，第一存储组件的存取速度高于第二存储组件。

在一可选实施例中，步骤根据第一统计记录更新目标数据流对应的第二统计记录，包括：

在第一统计记录发生溢出的情况下，根据第一统计记录更新目标数据流对应的第二统计记录。

在一可选实施例中，步骤根据第一统计记录更新目标数据流对应的第二统计记录，包括：

将第一统计记录包含的各统计值累加至第二统计记录中相应的统计值；

对第一统计记录包含的各统计值进行清零，并继续基于第一统计记录对目标数据流进行统计。

在一可选实施例中，该方法还包括：

根据目标数据流的流量，计算对目标数据流的转发速率；

若转发速率超过第一阈值，则确定目标数据流的流量满足第一预设条件。

在一可选实施例中，该方法还包括：

为目标数据流维护一记录内容，记录内容包括时间戳以及时间戳下的累积转发量；

以预设的时间戳间隔或累计转发量增量作为触发条件，更新记录内容；

监控目标数据流的流量，包括：

从目标数据流对应的记录内容中，获取累积转发量，作为流量。

在一可选实施例中，记录内容配置于第一统计记录中或第二统计记录中。

在一可选实施例中，步骤根据目标数据流的流量，计算对目标数据流的转发速率，包括：

根据当前时间戳及当前时间戳下的累积转发量和记录内容中的时间戳以及时间戳下的累积转发量，计算对目标数据流的转发速率。

在一可选实施例中，步骤若目标数据流的流量满足第一预设条件，则在第一存储组件中维护目标数据流对应的第一统计记录，包括：

若目标数据流的流量满足第一预设条件，则查询第一存储组件中的第一统计表；

若在第一统计表中查询到目标数据流对应的统计记录，则将查询到的统计记录作为第一统计记录；

若在第一统计表中未查询到目标数据流对应的统计记录，则在第一统计表中创建第一统计记录。

在一可选实施例中，步骤在第一统计表中创建第一统计记录，包括：

若第一统计表已满，则确定第一统计表中各数据流对应的转发速率；

选择转发速率低于第二阈值的一数据流对应的目标统计记录；

从第一统计表中删除目标统计记录，并将目标统计记录累加至第二存储组件中选择出的数据流对应的统计记录；

在第一统计表中创建第一统计记录。

在一可选实施例中，该方法还包括：

若目标数据流的流量不满足第一预设条件，判断目标数据流的流量是否满足第二预设条件；

若目标数据流的流量满足第二预设条件，则查询第一存储组件中的第一统计表；若在第一统计表中查询到目标数据流对应的第一统计记录，则根据第一统计记录更新第二统计记录，并停止基于第一统计记录对目标数据了进行统计；

基于第二统计记录对目标数据流进行统计，并继续执行判断目标数据流的流量是否满足第一预设条件的操作。

在一可选实施例中，该方法还包括：

根据目标数据流的流量，计算对目标数据流的转发速率；

若转发速率低于第二阈值，则确定目标数据流的流量满足第二预设条件。

在一可选实施例中，步骤在监控目标数据流的流量之前，还包括：

在监听到针对目标数据流的转发请求的情况下，若第一存储组件中的第一统计表未满且第一统计表中未包含与目标数据流对应的统计记录，则在第一统计表中创建目标数据流对应的统计记录，并基于在第一统计表中创建的统计记录，对目标数据流进行统计；

若第一统计表已满，则在第二存储组件中的第二统计表中创建目标数据流对应的统计记录；并基于在第二统计表中创建的统计记录，对目标数据流进行统计。

在一可选实施例中，第一存储组件采用内存、缓存或硬盘，第二存储组件采用双倍速率同步动态随机存储器DDR。

值得说明的是，上述关于数据流统计方法的各实施例中的技术细节可参考前述计算设备的各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

另外，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤301至步骤302的执行主体可以为设备A；又比如，步骤301和302的执行主体可以为设备A，步骤300的执行主体可以为设备B；等等。而且，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如301、302等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的统计记录、阈值、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (25)

1.一种数据流统计方法，其特征在于，包括：

监控目标数据流的流量；

若所述目标数据流的流量满足第一预设条件，则查询第一存储组件中的第一统计表；

若在所述第一统计表中未查询到所述目标数据流对应的统计记录，则在所述第一统计表已满的情况下，确定所述第一统计表中各数据流对应的转发速率；

选择转发速率低于第二阈值的一数据流对应的目标统计记录；

从所述第一统计表中删除所述目标统计记录，并将所述目标统计记录累加至第二存储组件中所述选择出的数据流对应的统计记录；

在所述第一统计表中创建第一统计记录，以基于所述第一统计记录对所述目标数据流进行统计；

根据所述第一统计记录更新所述目标数据流对应的第二统计记录，所述第二统计记录配置于第二存储组件中；

其中，所述第一存储组件的存取速度高于所述第二存储组件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一统计记录更新所述目标数据流对应的第二统计记录，包括：

在所述第一统计记录发生溢出的情况下，根据所述第一统计记录更新所述目标数据流对应的第二统计记录。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一统计记录更新所述目标数据流对应的第二统计记录，包括：

将所述第一统计记录包含的各统计值累加至所述第二统计记录中相应的统计值；

对所述第一统计记录包含的各统计值进行清零，并继续基于所述第一统计记录对所述目标数据流进行统计。

4.根据权利要求1所述的方法，其特征在于，还包括：

根据所述目标数据流的流量，计算对所述目标数据流的转发速率；

若所述转发速率超过第一阈值，则确定所述目标数据流的流量满足第一预设条件。

5.根据权利要求4所述的方法，其特征在于，还包括：

为所述目标数据流维护一记录内容，所述记录内容包括时间戳以及所述时间戳下的累积转发量；

以预设的时间戳间隔或累计转发量增量作为触发条件，更新所述记录内容；

所述监控目标数据流的流量，包括：

从所述目标数据流对应的记录内容中，获取所述累积转发量，作为所述流量。

6.根据权利要求5所述的方法，其特征在于，所述记录内容配置于所述第一统计记录中或所述第二统计记录中。

7.根据权利要求5所述的方法，其特征在于，所述根据所述目标数据流的流量，计算对所述目标数据流的转发速率，包括：

根据当前时间戳及当前时间戳下的累积转发量和所述记录内容中的时间戳以及所述时间戳下的累积转发量，计算对所述目标数据流的转发速率。

8.根据权利要求1所述的方法，其特征在于，还包括：

若在所述第一统计表中查询到所述目标数据流对应的统计记录，则将查询到的统计记录作为所述第一统计记录。

9.根据权利要求1所述的方法，其特征在于，还包括：

若所述目标数据流的流量不满足所述第一预设条件，判断所述目标数据流的流量是否满足第二预设条件；

若所述目标数据流的流量满足所述第二预设条件，则查询所述第一存储组件中的第一统计表；若在第一统计表中查询到目标数据流对应的第一统计记录，则根据所述第一统计记录更新所述第二统计记录，并停止基于所述第一统计记录对所述目标数据进行统计；

基于所述第二统计记录对所述目标数据流进行统计，并继续执行所述判断所述目标数据流的流量是否满足所述第一预设条件的操作。

10.根据权利要求9所述的方法，其特征在于，还包括：

根据所述目标数据流的流量，计算对所述目标数据流的转发速率；

若所述转发速率低于第二阈值，则确定所述目标数据流的流量满足所述第二预设条件。

11.根据权利要求1所述的方法，其特征在于，在监控目标数据流的流量之前，还包括：

在监听到针对目标数据流的转发请求的情况下，若所述第一存储组件中的第一统计表未满且所述第一统计表中未包含与所述目标数据流对应的统计记录，则在所述第一统计表中创建所述目标数据流对应的统计记录，并基于在所述第一统计表中创建的所述统计记录，对所述目标数据流进行统计；

若所述第一统计表已满，则在所述第二存储组件中的第二统计表中创建所述目标数据流对应的统计记录；并基于在所述第二统计表中创建的所述统计记录，对所述目标数据流进行统计。

12.根据权利要求1所述的方法，其特征在于，所述第一存储组件采用内存、缓存或硬盘，所述第二存储组件采用双倍速率同步动态随机存储器DDR。

13.一种计算设备，其特征在于，包括第一存储组件、第二存储组件和处理器，所述处理器与所述第一存储组件和所述第二存储组件耦合，所述第一存储组件的存取速度高于所述第二存储组件；

所述处理器，用于监控目标数据流的流量；若所述目标数据流的流量满足第一预设条件，则查询所述第一存储组件中的第一统计表；若在所述第一统计表中未查询到所述目标数据流对应的统计记录，则在所述第一统计表已满的情况下，确定所述第一统计表中各数据流对应的转发速率；选择转发速率低于第二阈值的一数据流对应的目标统计记录；从所述第一统计表中删除所述目标统计记录，并将所述目标统计记录累加至所述第二存储组件中所述选择出的数据流对应的统计记录；在所述第一统计表中创建第一统计记录，以基于所述第一统计记录对所述目标数据流进行统计；根据所述第一统计记录更新所述目标数据流对应的第二统计记录，所述第二统计记录配置于第二存储组件中；

所述第一存储组件，用于存储所述目标数据流对应的第一统计记录；

所述第二存储组件，用于存储所述目标数据流对应的第二统计记录。

14.根据权利要求13所述的设备，其特征在于，所述处理器在根据所述第一统计记录更新所述目标数据流对应的第二统计记录时，用于：

在所述第一统计记录发生溢出的情况下，根据所述第一统计记录更新所述目标数据流对应的第二统计记录。

15.根据权利要求14所述的设备，其特征在于，所述处理器在根据所述第一统计记录更新所述目标数据流对应的第二统计记录时，用于：

将所述第一统计记录包含的各统计值累加至所述第二统计记录中相应的统计值；

对所述第一统计记录包含的各统计值进行清零，并继续基于所述第一统计记录对所述目标数据流进行统计。

16.根据权利要求13所述的设备，其特征在于，所述处理器还用于：

根据所述目标数据流的流量，计算对所述目标数据流的转发速率；

若所述转发速率超过第一阈值，则确定所述目标数据流的流量满足第一预设条件。

17.根据权利要求16所述的设备，其特征在于，所述处理器还用于：

为所述目标数据流维护一记录内容，所述记录内容包括时间戳以及所述时间戳下的累积转发量；

以预设的时间戳间隔或累计转发量增量作为触发条件，更新所述记录内容；

所述处理器在监控目标数据流的流量时，用于：

从所述目标数据流对应的记录内容中，获取所述累积转发量，作为所述流量。

18.根据权利要求17所述的设备，其特征在于，所述记录内容配置于所述第一统计记录中或所述第二统计记录中。

19.根据权利要求17所述的设备，其特征在于，所述处理器在根据所述目标数据流的流量，计算对所述目标数据流的转发速率时，用于：

根据当前时间戳及当前时间戳下的累积转发量和所述记录内容中的时间戳以及所述时间戳下的累积转发量，计算对所述目标数据流的转发速率。

20.根据权利要求14所述的设备，其特征在于，所述处理器还用于：

若在所述第一统计表中查询到所述目标数据流对应的统计记录，则将查询到的统计记录作为所述第一统计记录。

21.根据权利要求13所述的设备，其特征在于，所述处理器还用于：

若所述目标数据流的流量不满足所述第一预设条件，判断所述目标数据流的流量是否满足第二预设条件；

若所述目标数据流的流量满足所述第二预设条件，则查询所述第一存储组件中的第一统计表；若在第一统计表中查询到目标数据流对应的第一统计记录，则根据所述第一统计记录更新所述第二统计记录，并停止基于所述第一统计记录对所述目标数据进行统计；

基于所述第二统计记录对所述目标数据流进行统计，并继续执行所述判断所述目标数据流的流量是否满足所述第一预设条件的操作。

22.根据权利要求21所述的设备，其特征在于，所述处理器还用于：

根据所述目标数据流的流量，计算对所述目标数据流的转发速率；

若所述转发速率低于第二阈值，则确定所述目标数据流的流量满足所述第二预设条件。

23.根据权利要求13所述的设备，其特征在于，在监控目标数据流的流量之前，所述处理器还用于：

在监听到针对目标数据流的转发请求的情况下，若所述第一存储组件中的第一统计表未满且所述第一统计表中未包含与所述目标数据流对应的统计记录，则在所述第一统计表中创建所述目标数据流对应的统计记录，并基于在所述第一统计表中创建的所述统计记录，对所述目标数据流进行统计；

若所述第一统计表已满，则在所述第二存储组件中的第二统计表中创建所述目标数据流对应的统计记录；并基于在所述第二统计表中创建的所述统计记录，对所述目标数据流进行统计。

24.根据权利要求13所述的设备，其特征在于，所述第一存储组件采用内存、缓存或硬盘，所述第二存储组件采用双倍速率同步动态随机存储器DDR。

25.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-12任一项所述的数据流统计方法。