CN110166318B - 一种数据统计方法及装置 - Google Patents

Abstract

公开了一种数据统计方法及装置。一种数据统计方法，其特征在于，所述方法应用于网络设备的内部缓存，该方法包括：接收目标报文，并提取所述目标报文需要进行统计的目标特征值；根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；在已存储的情况下，将所述目标报文添加至所述目标编码对应的报文集合；在未存储的情况下，在编码表中新建所述目标编码与报文集合的对应关系；向外部缓存发送统计值读取指令；在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值。

Description

一种数据统计方法及装置

技术领域

本说明书实施例涉及网络通信技术领域，尤其涉及一种数据统计方法及装置。

背景技术

网络设备进行数据统计，例如统计接收到的报文的流量、字节数等数据时，通常需要使用存储空间更大的外部缓存进行存储。但是，数据统计时内部缓存首先需要向外部缓存进行读操作，读取旧统计值，根据新接收到的数据及旧统计值计算新统计值，再将信通机制写入外部缓存。因此，内部缓存对外部缓存的频繁访问将消耗较多的计算资源，且存在较大的延时。

现有技术中，一般是利用内部缓存已发送读取指令，而外部缓存还未返回旧统计值的时间内，首先在内部缓存中对待统计数据进行预处理。例如，如果需要统计各IP地址发送至本端的报文流量，则可以将同一IP地址发来的报文流量进行合并，即在接收到一个报文后，根据查找本地是否已存在IP地址相同该的报文，若是则将IP地址相同的报文一同计算统计值。

但是，现有技术的方案中，每接收到一个报文便需要进行一次遍历查询，效率较低。基于现有技术，需要一种更高效的数据统计方法。

发明内容

有鉴于此，本说明书实施例提供一种数据统计方法及装置，技术方案如下：

一种数据统计方法，其特征在于，所述方法应用于网络设备的内部缓存，该方法包括：

接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合；

在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

一种数据统计装置，其特征在于，所述装置应用于网络设备的内部缓存，该装置包括：

接收模块，用于接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

编码模块，用于根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

存表模块，用于在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合；以及，在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

读取模块，用于向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

计算模块，用于在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

写入模块，用于向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

本说明书实施例所提供的技术方案，通过预先设定编码规则，并建立编码表存储报文集合与编码的对应关系，当接收到报文后，计算该报文的特征值的编码，从而直接根据编码表的对应关系进行查询，而不需要每接收到一个报文便需要进行一次遍历查询，提高相同报文的查询效率，从而提高数据统计效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书实施例数据统计方法的流程示意图；

图2是本说明书实施例数据统计装置的一种结构示意图；

图3是本说明书实施例编码模块的一种结构示意图；

图4是本说明书实施例编码模块的另一种结构示意图；

图5是本说明书实施例数据统计装置的另一种结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

在网络设备中，可以使用外部缓存(如SRAM、DRAM等)存储数据统计结果，例如，统计报文的流量大小、字节数等。

在进行统计时，内部缓存在接收到数据后，首先需要读取之前所统计的结果，即需要从外部缓存中读取旧统计值，然后根据所接收到的数据与旧统计值，计算得到新统计值，再将新统计值写入外部缓存。

但是，由于同一数据的统计过程需要对外部缓存进行两次操作，分别是读取旧统计值与写入新统计值，使得对外部缓存的访问次数翻倍增加，并且针对同一数据的两次操作为读写命令交织进行，使得响应操作命令的时延增大，降低了命令处理能力。

因此现有技术中，内部缓存在接收到数据后，通常利用读取命令发出与被响应之间的时延，对接收到的数据进行预处理，即对相同数据进行合并操作，并在读取到旧统计值后一同计算新统计值。

具体地，以需要统计各IP地址发来的报文流量为例，内部缓存在接收到数据后，首先顺序查找当前已存储的各缓存块，所缓存的各IP地址中是否存在与该数据的发送端相同的IP地址，若存在，则将该数据存入查找到的缓存块中；若不存在，则将该数据存入下一缓存块中。

然后，在读取到旧统计值后，便可以以缓存块为单元进行统计值的计算得到新统计值，写入到外部缓存中。

但是，由于内部缓存在接收到数据后，需要顺序地在内部缓存中查找是否存在相同数据的缓存块。假设内部缓存接收到n个数据，则最少需要查找n次，即在n个均相同数据的情况下，每个数据仅需要查找一次；而最多需要查找(1+n)*n/2次，即在n个均不同数据的情况下，第i个数据需要查找i-1次。而每次查找均需消耗1个时钟周期，使得这一处理方式降低了内部缓存的工作效率，占用了较多的计算资源。

针对现有技术存在的问题，本说明书提供一种数据统计方法，应用于网络设备的内部缓存，参见图1所示，该方法可以包括以下步骤：

S101，接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

本说明书实施例中并不限定所统计的特征值的具体形式，例如，可以是报文的源IP地址、可以是报文的字节数、等等，本领域技术人员可以根据实际需求灵活地设置。

S102，根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

本说明书实施例并不限定根据预设的编码规则，确定所述目标特征值对应的目标编码的具体实现方式，本领域技术人员可以根据实际需求灵活地设置。

在本说明书实施例的一种具体实施方式中，可以首先确定位数N；所述N为预先设定的自然数；然后确定当前的编码分配顺序n；所述n为小于N的自然数；从而根据所确定的编码分配顺序，为所述目标特征值分配对应的目标编码；所述目标编码为：N位二进制数的第n位为1且其他位为0。

例如，可以预设自然数N作为位数，内部缓存需要确定目标编码时，首先确定N的值，然后采用一个N位的数据对接收到的报文进行重新编码。接收到的每个报文按照编码分配顺序获取到相应位为1，其他位为0的编码。

假设N为5，而某一目标特征值当前的编码分配顺序为3，即n＝3，则该目标特征值的目标编码则可以为第3位置1而其他为置0的二进制数值00100。

此外，对于目标特征值相同的情况，可以不重复进行编码分配。

在本说明书实施例的另一种具体实施方式中，还可以首先确定所述目标特征值的数据大小是否大于预设切分阈值，在所述目标特征值的数据大小大于预设切分阈值的情况下，根据预设切分阈值对应的数据大小，将所述目标特征值切分为至少2个子特征值；然后，根据预设的编码规则，确定所述至少2个子特征值对应的子编码；从而根据所述编码规则及所述至少2个子编码，得到所述目标特征值对应的目标编码。

例如，假设目标特征值为报文的源IP地址，并以32bit位宽IP地址为例，对应的编码可以为：

0x01020304：0x0000_0001

0x02020305：0x0000_0002

0x03020405：0x0000_0004

0x04020506：0x0000_0008

……

而按照每8bit切分一次的原则进行切分存储可以如下表所示：

块一存储	块二存储	块三存储	块四存储
				0x01:0x0000_0001	0x2:0x0000_000f	0x03:0x0000_0003	0x04:0x0000_0001
0x02:0x0000_0002		0x04:0x0000_0004	0x05:0x0000_0006
				0x03:0x0000_0004		0x05:0x0000_0008	0x06:0x0000_0008
0x04:0x0000_0008

则对应地，在编码表中查找是否已存储所述目标编码时，查找方法可以为每个块查找的编码按位与：

0x01020304：0x0000_0001&0x0000_000f&0x0000_0003&0x0000_0001＝0x0000_0001

0x02020305：0x0000_0002&0x0000_000f&0x0000_0003&0x0000_0006＝0x0000_0002

0x03020405：0x0000_0004&0x0000_000f&0x0000_0004&0x0000_0006＝0x0000_0004

0x04020506：0x0000_0008&0x0000_000f&0x0000_0008&0x0000_0008＝0x0000_0008

S103，在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合；

如果经查找确定编码表中已存储所述目标编码，则可以将接收到的目标报文与其他特征值相同的编码一同存储，从而进行冗余合并，以便后续一同计算特征值，减少计算量。

S104，在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

如果经查找确定编码表中未存储所述目标编码，则可以新建对应关系。本说明书实施例中并不限定目标编码与报文集合的对应关系的具体形式，本领域技术人员可以根据需求灵活地设置。

在本说明书实施例的一种具体实施方式中，可以为每一组对应关系分配一块缓存空间，用于存储报文或特征值。因而具体地，如果经查找确定编码表中未存储所述目标编码，则可以申请缓存空间新建目标编码与报文集合的对应关系。此外，如上面所述，可以将目标特征值切分后存储，从而节省缓存空间。

S105，向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

具体地，可以通知外部缓存中的回读数据处理流程启动回读检查处理操作，检查读取指令所对应的原统计值。

S106，在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

S107，向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

此外，还可以进一步地确定所述外部缓存是否根据所述统计值写入指令更新所缓存的统计值；若是，则删除所更新统计值在所述编码表中对应的报文集合。

可见，本说明书实施例提供的方案，利用内部缓存向外部缓存读取原统计值的延时，对报文进行更高效的合并处理，即通过对报文进行唯一编码，提高查找效率。此外，批量处理对外部缓存的读操作与写操作，减少读写操作的交织，减少资源开销。

相应于上述方法实施例，本说明书实施例还提供一种数据统计装置，应用于网络设备的内部缓存，参见图2所示，该装置可以包括：

接收模块110，用于接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

编码模块120，用于根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

存表模块130，用于在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合；以及，在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

读取模块140，用于向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

计算模块150，用于在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

写入模块160，用于向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

在本说明书实施例的一种具体实施方式中，参见图3所示，所述编码模块120，可以包括：

位数确定子模块121，用于确定位数N；所述N为预先设定的自然数；

顺序确定子模块122，用于确定当前的编码分配顺序n；所述n为小于N的自然数；

编码子模块123，用于根据所确定的编码分配顺序，为所述目标特征值分配对应的目标编码；所述目标编码为：N位二进制数的第n位为1且其他位为0。

在本说明书实施例的一种具体实施方式中，参见图4所示，所述编码模块120，可以包括：

大小确定子模块124，用于确定所述目标特征值的数据大小是否大于预设切分阈值；

切分子模块125，用于在所述目标特征值的数据大小大于预设切分阈值的情况下，根据预设切分阈值对应的数据大小，将所述目标特征值切分为至少2个子特征值；

子编码确定子模块126，用于根据预设的编码规则，确定所述至少2个子特征值对应的子编码；

编码确定子模块127，用于根据所述编码规则及所述至少2个子编码，得到所述目标特征值对应的目标编码。

在本说明书实施例的一种具体实施方式中，所述编码确定子模块127，可以具体用于：

对所述至少2个子编码进行按位与，得到所述目标特征值对应的目标编码。

在本说明书实施例的一种具体实施方式中，参见图5所示，所述装置还可以包括更新模块170，可以具体用于：

确定所述外部缓存是否根据所述统计值写入指令更新所缓存的统计值；

若是，则删除所更新统计值在所述编码表中对应的报文集合。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本说明书实施例的较佳实施例而已，并不用以限制本说明书实施例，凡在本说明书实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书实施例保护的范围之内。

Claims (10)

1.一种数据统计方法，其特征在于，所述方法应用于网络设备的内部缓存，该方法包括：

接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合，该报文集合中包括与所述目标特征值相同的其他编码对应的若干报文；

在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的编码规则，确定所述目标特征值对应的目标编码，包括：

确定位数N；所述N为预先设定的自然数；

确定当前的编码分配顺序n；所述n为小于N的自然数；

根据所确定的编码分配顺序，为所述目标特征值分配对应的目标编码；所述目标编码为：N位二进制数的第n位为1且其他位为0。

3.根据权利要求1所述的方法，其特征在于，所述根据预设的编码规则，确定所述目标特征值对应的目标编码，包括：

确定所述目标特征值的数据大小是否大于预设切分阈值；

在所述目标特征值的数据大小大于预设切分阈值的情况下，根据预设切分阈值对应的数据大小，将所述目标特征值切分为至少2个子特征值；

根据预设的编码规则，确定所述至少2个子特征值对应的子编码；

根据所述编码规则及所述至少2个子编码，得到所述目标特征值对应的目标编码。

4.根据权利要求3所述的方法，其特征在于，所述根据所述编码规则及所述至少2个子编码，得到所述目标特征值对应的编码，包括：

对所述至少2个子编码进行按位与，得到所述目标特征值对应的目标编码。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定所述外部缓存是否根据所述统计值写入指令更新所缓存的统计值；

若是，则删除所更新统计值在所述编码表中对应的报文集合。

6.一种数据统计装置，其特征在于，所述装置应用于网络设备的内部缓存，该装置包括：

接收模块，用于接收目标报文，并提取所述目标报文需要进行统计的目标特征值；

编码模块，用于根据预设的编码规则，确定所述目标特征值对应的目标编码，并在编码表中查找是否已存储所述目标编码；所述编码表为：预先建立的用于存储报文集合与编码对应关系的表项，所述报文集合中包括特征值与编码对应的若干报文；

存表模块，用于在编码表中已存储所述目标编码的情况下，将所述目标报文添加至所述目标编码对应的报文集合，该报文集合中包括与所述目标特征值相同的其他编码对应的若干报文；以及，在编码表中未存储所述目标编码的情况下，在编码表中新建所述目标编码与报文集合的对应关系，该报文集合中包括所述目标报文；

读取模块，用于向外部缓存发送统计值读取指令，以使外部缓存返回需要进行统计的特征值的原统计值；

计算模块，用于在接收到外部缓存返回的原统计值后，根据编码表中各报文的各特征值与原统计值，计算得到新统计值；

写入模块，用于向外部缓存发送统计值写入指令，该指令中携带所计算的新统计值，以使外部缓存根据该指令更新所缓存的统计值。

7.根据权利要求6所述的装置，其特征在于，所述编码模块，包括：

位数确定子模块，用于确定位数N；所述N为预先设定的自然数；

顺序确定子模块，用于确定当前的编码分配顺序n；所述n为小于N的自然数；

编码子模块，用于根据所确定的编码分配顺序，为所述目标特征值分配对应的目标编码；所述目标编码为：N位二进制数的第n位为1且其他位为0。

8.根据权利要求6所述的装置，其特征在于，所述编码模块，包括：

大小确定子模块，用于确定所述目标特征值的数据大小是否大于预设切分阈值；

切分子模块，用于在所述目标特征值的数据大小大于预设切分阈值的情况下，根据预设切分阈值对应的数据大小，将所述目标特征值切分为至少2个子特征值；

子编码确定子模块，用于根据预设的编码规则，确定所述至少2个子特征值对应的子编码；

编码确定子模块，用于根据所述编码规则及所述至少2个子编码，得到所述目标特征值对应的目标编码。

9.根据权利要求8所述的装置，其特征在于，所述编码确定子模块，具体用于：

对所述至少2个子编码进行按位与，得到所述目标特征值对应的目标编码。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括更新模块，具体用于：

确定所述外部缓存是否根据所述统计值写入指令更新所缓存的统计值；

若是，则删除所更新统计值在所述编码表中对应的报文集合。

Images