CN113360532A - 基于略图结构的网络流基数在线实时估算方法 - Google Patents

基于略图结构的网络流基数在线实时估算方法 Download PDF

Info

Publication number
CN113360532A
CN113360532A CN202110633705.7A CN202110633705A CN113360532A CN 113360532 A CN113360532 A CN 113360532A CN 202110633705 A CN202110633705 A CN 202110633705A CN 113360532 A CN113360532 A CN 113360532A
Authority
CN
China
Prior art keywords
iuu
flow
register
stage
cardinality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110633705.7A
Other languages
English (en)
Other versions
CN113360532B (zh
Inventor
肖卿俊
胡雄钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110633705.7A priority Critical patent/CN113360532B/zh
Publication of CN113360532A publication Critical patent/CN113360532A/zh
Application granted granted Critical
Publication of CN113360532B publication Critical patent/CN113360532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了基于略图结构的网络流基数在线估算方法，实现逐流基数估算，即统计网络流的元素数量时可过滤重复元素。该方法将流基数的查询时间降低到O(1)，所以每个网络事件到达时可在线估算流基数。本方法设计了略图摘要结构，并融合四种查询加速技术，包括增量更新单元、多stage查询结果聚合、快速查询路径和整数运算近似浮点运算。若干略图stages分别统计网络流基数；每个stage可在O(1)时间提供流基数查询结果，因其借助灰色块代表的增量更新单元。本方法处理每个网络事件只需少于5次访存。与传统方法相比查询时间减少数百倍，同时不影响top‑k超点识别精度，可应用于实时超点检测和top‑k持久流实时检测等。

Description

基于略图结构的网络流基数在线实时估算方法
技术领域
本发明属于网络技术领域，涉及一种面向高速网络的基于略图结构的网络流基数在线实时估算方法。
背景技术
在骨干网中，路由器常常需要接收并转发千万级的IP报文流，维护每一个流的状态是许多高级网络功能(负载均衡，异常检测)的基础。通常有两类比较重要的流状态：流长(比如逐流的通讯报文长度)和流基数(比如某一个源IP与多少个不同的目的IP有连接)。我们关注的是第二个问题，即流基数问题。流基数问题通常比流长问题更加难，主要难点在于流基数问题需要对重复出现的报文进行去重，通常使用略图sketch类算法，如HyperLogLog。然而，HyperLogLog算法通常需要几千个字节，才能给单个网络流提供准确的基数估算。骨干网络中并发的网络流常常达到百万、千万级别。同时为所有网络流运行独立的HyperLogLog估算结构，要消耗大量昂贵的存储空间。近些年，为了减少流基数估算的内存空间消耗，研究者提出了Virtual HyperLogLog(vHLL)算法，仅给每个网络流创建虚拟的HyperLogLog结构。所有流的虚拟结构共享一个空间紧凑的大型物理HyperLogLog结构，极大减小了所有流总和的空间消耗。
已有算法的不足之处在于，针对流基数的查询操作计算复杂度很高，导致算法的查询速度太慢，无法在数据面上大量执行查询操作。数据面不得不把所有网络流标识记在一个大的集合中，随后以离线的方式在控制面检测大流超点。我们认为把流基数的查询复杂度降低到O(1)复杂度非常重要，即支持在线查询(online query)是一个非常重要的功能。该功能可以实现更多的数据面的增值应用，比如在线检测遭受DDoS攻击的有大量源IP连接的宿IP超点，或者在线检测通信持续时间超长的<源IP、宿IP>对。比如，在僵尸网络节点Bot和C&C控制节点之间，以及在慢速的分布式拒绝服务攻击中，常常可以观测到有长时间通信行为的IP二元组。现有技术尚无法做到网络数据面上的网络流实时在线基数估算。
发明内容
为解决上述问题，本发明针对路由交换设备的数据面提出一种有较低查询时间复杂度的基数估计算法，能够实现在线估算每一个到达的流基数，提高了基数测量算法的吞吐率，和响应时间。
为了达到上述目的，本发明提供如下技术方案：
基于略图结构的网络流基数在线实时估算方法，包括如下步骤：
步骤1，当一个流元组<flow id,element id>进入可编程交换设备，首先查找快表，如果快表命中，则这个流是个superspreaders超点，直接转发通过，反之进入后续步骤；快表是基于前一时刻的先验结果保存的大基数节点的哈希表；当无法利用先验知识构建快表时则直接跳过步骤1执行后续步骤；
步骤2，流元组没有被快表命中则会同时进入多个并联的stage中，多个stage并联，每个stage包括一个寄存器矩阵M，一个增量更新单元队列Q，一个全局增量更新单元N，若干哈希函数，流元组会同时进入每一个stage被处理，最后每个stage都会输出一个估算结果；
步骤2.1，当流元组进入stage之后，先对flow id进行哈希计算，选择此stage映射到的列，然后对element id进行哈希计算，选择对应的行，这样这个元组在这个stage就唯一映射到该寄存器上；
步骤2.2，对整个流元组进行哈希计算，得到哈希值，然后计算前导0个数，再加1，与选择的寄存器所记录的值进行比较，若大于寄存器当前保存的值，则更新为此值，反之不更新。
步骤2.3，如果步骤2.2发生了更新，则更新该列对应的增量更新单元IUU，以及全局增量更新单元IUU；全局增量更新单元IUU用于记录全局流基数，每一列都有一个属于自己的增量更新单元IUU用于维护该列的寄存器状态；
步骤2.4，查询该列IUU和全局IUU，带入估算公式，得出此stage中的估算结果，具体如下：
步骤2.4.1，当环境支持浮点运算时，估算公式如下：
Figure BDA0003104595770000021
Figure BDA0003104595770000022
其中N(l)为该矩阵全局IUU，
Figure BDA0003104595770000023
为流f在为该stage上映射的列对应的IUU，αwd和αd为修偏常数，
Figure BDA0003104595770000024
为估算的当前流基数，
Figure BDA0003104595770000025
为当前stage的全局流基数，w为寄存器矩阵的列数，d为矩阵的行数，v是前面求和符号的迭代变量，v∈[0，31]；
步骤2.4.2，当环境不支持浮点运算时，估算公式如下：
Figure BDA0003104595770000031
Figure BDA0003104595770000032
其中βwd是修偏常数，对于公式中的
Figure BDA0003104595770000033
项和
Figure BDA0003104595770000034
项可以等价换元为
Figure BDA0003104595770000035
并使用下面的公式：
Figure BDA0003104595770000036
(4)对各个stage估算结果进行聚合，最终得到最终结果并输出。
进一步的，所述步骤2.3中，增量更新单元IUU包括以下两种结构：
(i)IUU为一个柱状图，即一个数组，IUU的更新方式为：初始状态时，stage中寄存器矩阵全部为0，数量为w*d，d为行数，w为列数，全局IUU也被初始化为全0，但下标为0的位置被初始化为w*d，代表了整个矩阵中，值等于0的寄存器个数为w*d个；当某一个寄存器被更新，那么全局IUU中下标为0的值减1，下标为该寄存器更新后值的值加1；
(ii)全局IUU为一个寄存器，用于记录整个寄存器矩阵的和，每一列所对应的IUU也是一个寄存器，用于记录该列的和；IUU的更新方式为：加上寄存器变化前后的增量。
进一步的，所述步骤(i)中IUU结构在环境支持浮点运算时应用，所述步骤(ii)中IUU结构在环境不支持浮点运算时应用。
进一步的，所述步骤2.4.1中估算公式在环境支持浮点运算时应用，步骤2.4.2中估算公式在环境不支持浮点运算时应用。
进一步的，所述步骤2中，初始时stage寄存器矩阵全部初始化为0，不同stage之间初始化的哈希种子不同。
进一步的，所述步骤3中，聚合方式使用中位数或者平均数聚合方式。
与现有技术相比，本发明具有如下优点和有益效果：
本发明方法基于增量更新单元(IUUs)、多stage结果聚合、整数算法逼近和具有先验知识的快速路径几种技术相结合，在计算流元素的数量时有过滤重复元素的能力，能够以较低的时间成本在每个包的基础上估计每个流的基数，吞吐量显著改进。本发明将时间复杂度降低到O(1)，且避免浮点数计算。经过实验证明，本发明方法处理每个报文只需要少于5个内存访问即可实现更新和查询，与vHLL相比，本发明查询操作的时间成本减少了数百倍，同时不影响top-k超点的识别精度。我们的sketch算法可以支持可合并，这在分布式多点部署中非常重要。本发明方法可应用于海量网络流的实时超点检测，以及持久流的实时在线发现。
附图说明
图1为单个stage执行过程。
图2为多个stage执行过程。
图3为各算法的精度评估结果。
图4为各算法的访存次数和吞吐率的评估结果。
图5为各Top-k识别的准确率。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提出的基于略图结构的网络流基数在线实时估算方法，实际上包括两个名为On-vHLL和On-vLLC的新sketch算法，它们具有O(1)的查询事件复杂度。本发明的查询加速技术有三个方面。首先，我们重新设计了传统的vHLL和vLLC的数据结构，并增加了新的数据结构“增量更新单元(IUU)”。当查询流的基数时，这些单元可以避免扫描整个数据结构，并将时间复杂度降低到O(1)。其次，我们使用LogLogCount估计公式来避免浮点数计算。第三，我们在相对较慢的On-vHLL或On-vLLC sketch的旁边添加一个基于哈希表的快速路径。它可以记录在前一个时间间隔内检测到的属于超点的流。
本发明提供的基于略图结构的网络流基数在线实时估算方法，包括如下步骤：
(1)当一个流元组<flow id,element id>进入可编程交换设备，首先会查找快表，如果快表命中，则这个流是个superspreaders(又称之为超点，即流基数非常大的点)，直接转发通过，反之会进入后续的算法。快表是基于前一时刻的先验结果保存的大基数节点的哈希表，这个表存在的意义是可以让已经被判定为大流的流快速通过，而不是去查询sketch，以达到加速的目的。
(2)流元组没有被快表命中则会同时进入多个并联的stage中。stage是算法执行的过程以及所使用的数据结构和函数的总和，其结构如图1所示，里面包括一个寄存器矩阵M，一个增量更新单元(IUU)队列Q，一个全局增量更新单元N，若干哈希函数。算法开始时寄存器矩阵全部初始化为0。在实际算法中，stage都是并联的，如图2所示，流元组会同时进入每一个stage被处理，最后每个stage都会输出一个估算结果。每个stage的处理过程的算法都是一样的，只是不同stage之间初始化的哈希种子不同，因此处理结果也不相同。
(2.1)当流元组进入stage之后，先对flow id进行哈希计算，选择此stage映射到的列，然后对element id进行哈希计算，选择对应的行，这样这个元组在这个stage就唯一映射到该寄存器上；
(2.2)对整个流元组进行哈希计算，得到哈希值，然后计算前导0个数，再加1，与选择的寄存器所记录的值进行比较，若大于寄存器当前保存的值，则更新为此值，反之不更新。
(2.3)如果第(2.2)步发生了更新，则更新该列对应的IUU，以及全局IUU。除了全局IUU用于记录全局流基数之外，每一列都有一个属于自己的IUU，用于维护该列的寄存器状态。
本步骤中，IUU的结构详细如下：
对于On-vHLL而言，IUU就是一个柱状图。柱状图就是一个数组。以全局IUU为例子，刚开始时候，stage中寄存器矩阵全部为0，假设数量为w*d(d为行数，w为列数)，那么全局IUU也被初始化为全0，但下标为0的位置被初始化为w*d，代表了整个矩阵中，值等于0的寄存器个数为w*d个。当步骤(3)中某一个寄存器被更新，如某个寄存器从0变到了2，那么全局IUU下标为0的值减1，下标为2的值加1。On-vHLL的查询步骤主要瓶颈在于调和平均数的计算，而IUU的大小通常远小于矩阵的大小，通常设为32，查询时候只需要查询IUU就可以高效计算调和平均数。
对于On-vLLC，其查询算法主要使用算数平均数，全局IUU就是一个寄存器，用于记录整个寄存器矩阵的和，每一列所对应的IUU也是一个寄存器，用于记录该列的和。因此在On-vLLC算法下，IUU的更新非常简单，只需要加上寄存器变化前后的增量即可。
(2.4)查询该列IUU和全局IUU，带入估算公式，得出此stage中的估算结果。查询操作都是紧跟着插入操作进行的，即每一个流元组到达都会在最终输出一个当前流基数的结果，如果结合预设的阈值，就可以实现超点的发现。On-vHLL和On-vLLC算法的流程是一样的，只是估算公式不同，具体如下：
(2.4.1)对于On-vHLL(环境支持浮点运算时)，估算公式如下：
Figure BDA0003104595770000051
Figure BDA0003104595770000052
其中N(l)为该矩阵全局IUU，
Figure BDA0003104595770000053
为流f在为该stage上映射的列对应的IUU。αwd和αd为修偏常数
Figure BDA0003104595770000054
为估算的当前流基数，
Figure BDA0003104595770000055
为当前stage的全局流基数，w为寄存器矩阵的列数，d为矩阵的行数，v是前面求和符号的迭代变量，v∈[0，31]。
(2.4.2)对于On-vLLC算法(环境不支持浮点运算时)，估算公式如下
Figure BDA0003104595770000056
Figure BDA0003104595770000057
其中βwd是修偏常数，对于公式中的
Figure BDA0003104595770000061
项和
Figure BDA0003104595770000062
项可以等价换元为
Figure BDA0003104595770000063
并使用下面的公式，
Figure BDA0003104595770000064
从达到无浮点数运算的目的。
(3)对各个stage估算结果进行聚合，最终得到最终结果，并输出，聚合方式通常可以使用中位数或者平均数聚合。
实际上有些场景无法利用先验知识构建快表，算法会直接跳过步骤(1)，执行后面的步骤，为了对这种情况的实验结果做出区分，我们定义使用快表的算法为On-vHLL-fp和On-vLLC-fp，没有使用快表的算法为On-vHLL和On-vLLC。
我们在CAIDA数据集的基础上通过实验来评估本发明方法。为了在sketch之间进行公平的比较，它们将被配置相同数量的内存，并为一个流配置相同数量的虚拟寄存器。例如，假设我们的On-vHLL和On-vLLC配置s＝4个stage，每个stage有一个由5位寄存器组成的矩阵，w＝28行和d＝27列。然后，给出了一个总计s·w·d＝217寄存器的sketch，每个流在s阶段中合并有s·d＝210虚拟寄存器。对于vHLL sketch，我们分配了相同数量的内存。因此，在它的共享寄存器池中配置了s·w·d＝217个寄存器。每个流配置了s·d＝210虚拟寄存器，这些寄存器是从寄存器池中随机抽取的。我们通过公开数据集仿真评估不同方法。我们的pcap文件是从CAIDA下载的，每个文件都包含10亿个UDP/TCP和ICMP数据包的混合。我们通过运行2000次实验并计算其平均值来获得每个数据点。我们比较了不同算法的内存访问次数。vHLL需要访问数千个内存单元来进行查询。相比之下，我们的On-vHLL、On-vLLC、将这个数字减少到不到10个。这种显著的改进是由于使用了IUU(增量更新单元)来缓存中间查询结果。On-vHLL和On-vLLC有相同的内存访问次数，因为它们的IUU都可以压缩到一条缓存线中。对于On-vHLL，它的每列IUU是一个包含32个整数的数组，每个整数占用一个或两个字节。对于On-vLLC，它的每列IUU
Figure BDA0003104595770000065
只是一个16位整数，出于类似的原因，On-vLLC和On-vLLC-fp具有相同的内存访问次数。图4还显示On-vLLC-fp比On-vLLC少18.3％的内存访问，On-vHLL-fp比On-vHLL少18.3％的内存访问。这归功于块表的加速。
图4比较了不同算法的吞吐率。On-vHLL和On-vLLC比vHLL快数百倍，因为在查询期间，它们需要的内存访问次数比vHLL少得多。On-vLLC的吞吐量是On-vHLL的三倍，这是因为它的IUU的大小要小得多，而且使用它的IUU来估计流基数所需的cpu周期也少得多。On-vHLL使用调和平均值，需要浮点计算来估计基数，而On-vLLC草图使用算术平均值，不需要浮点计算。图4也显示On-vLLC-fp的吞吐率比On-vLLC高11.8％，On-vHLL-fp的吞吐率比On-vHLL高16.1％。这是得益于块表的加速。
图3表明On-vHLL和On-vLLC算法与vHLL的估计结果一样，是无偏的。
图5中，三个sketch都有相似的FNRs，都低于8％。对所有算法，top-k的FNR(假阴性)随着k的增长而下降。当k>200时，FNR小于2％。这表明，虽然On-vHLL和On-vLLC估计误差要大20％，但它们识别superspeaders的误差并没有明显增加。这是因为在核心网络中，每个流的基数通常遵循幂律分布。我们只需要保证基数估计误差足够小且足以区分分散在top-k边界附近的流。我们提出的具有查询加速功能的算法，在一定程度上降低了基数估计的精度，但是确并没有影响top-k superspreaders识别的准确率。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.基于略图结构的网络流基数在线实时估算方法，其特征在于，包括如下步骤：
步骤1，当一个流元组<flowid，elementid>进入可编程交换设备，首先查找快表，如果快表命中，则这个流是个superspreaders超点，直接转发通过，反之进入后续步骤；快表是基于前一时刻的先验结果保存的大基数节点的哈希表；当无法利用先验知识构建快表时则直接跳过步骤1执行后续步骤；
步骤2，流元组没有被快表命中则会同时进入多个并联的stage中，多个stage并联，每个stage包括一个寄存器矩阵M，一个增量更新单元队列Q，一个全局增量更新单元N，若干哈希函数，流元组会同时进入每一个stage被处理，最后每个stage都会输出一个估算结果；
步骤2.1，当流元组进入stage之后，先对flowid进行哈希计算，选择此stage映射到的列，然后对elementid进行哈希计算，选择对应的行，这样这个元组在这个stage就唯一映射到该寄存器上；
步骤2.2，对整个流元组进行哈希计算，得到哈希值，然后计算前导0个数，再加1，与选择的寄存器所记录的值进行比较，若大于寄存器当前保存的值，则更新为此值，反之不更新；
步骤2.3，如果步骤2.2发生了更新，则更新该列对应的增量更新单元IUU，以及全局增量更新单元IUU；全局增量更新单元IUU用于记录全局流基数，每一列都有一个属于自己的增量更新单元IUU用于维护该列的寄存器状态；
步骤2.4，查询该列IUU和全局IUU，带入估算公式，得出此stage中的估算结果，具体如下：
步骤2.4.1，当环境支持浮点运算时，估算公式如下：
Figure FDA0003104595760000011
Figure FDA0003104595760000012
其中N(l)为该矩阵全局IUU，
Figure FDA0003104595760000013
为流f在为该stage上映射的列对应的IUU，αwd和αd为修偏常数，
Figure FDA0003104595760000014
为估算的当前流基数，
Figure FDA0003104595760000015
为当前stage的全局流基数，w为寄存器矩阵的列数，d为矩阵的行数，v是前面求和符号的迭代变量，v∈[0，31]；
步骤2.4.2，当环境不支持浮点运算时，估算公式如下：
Figure FDA0003104595760000016
Figure FDA0003104595760000017
其中βωd是修偏常数，对于公式中的
Figure FDA0003104595760000021
项和
Figure FDA0003104595760000022
项可以等价换元为
Figure FDA0003104595760000023
并使用下面的公式：
Figure FDA0003104595760000024
(3)对各个stage估算结果进行聚合，最终得到最终结果并输出。
2.根据权利要求1所述的基于略图结构的网络流基数在线实时估算方法，其特征在于，所述步骤2.3中，增量更新单元IUU包括以下两种结构：
(i)IUU为一个柱状图，即一个数组，IUU的更新方式为：初始状态时，stage中寄存器矩阵全部为0，数量为w*d，d为行数，w为列数，全局IUU也被初始化为全0，但下标为0的位置被初始化为w*d，代表了整个矩阵中，值等于0的寄存器个数为w*d个；当某一个寄存器被更新，那么全局IUU中下标为0的值减1，下标为该寄存器更新后值的值加1；
(ii)全局IUU为一个寄存器，用于记录整个寄存器矩阵的和，每一列所对应的IUU也是一个寄存器，用于记录该列的和；IUU的更新方式为：加上寄存器变化前后的增量。
3.根据权利要求2所述的基于略图结构的网络流基数在线实时估算方法，其特征在于，所述步骤(i)中IUU结构在环境支持浮点运算时应用，所述步骤(ii)中IUU结构在环境不支持浮点运算时应用。
4.根据权利要求1所述的基于略图结构的网络流基数在线实时估算方法，其特征在于，所述步骤2.4.1中估算公式在环境支持浮点运算时应用，步骤2.4.2中估算公式在环境不支持浮点运算时应用。
5.根据权利要求1所述的基于略图结构的网络流基数在线实时估算方法，其特征在于，所述步骤2中，初始时stage寄存器矩阵全部初始化为0，不同stage之间初始化的哈希种子不同。
6.根据权利要求1所述的基于略图结构的网络流基数在线实时估算方法，其特征在于，所述步骤3中，聚合方式使用中位数或者平均数聚合方式。
CN202110633705.7A 2021-06-07 2021-06-07 基于略图结构的网络流基数在线实时估算方法 Active CN113360532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110633705.7A CN113360532B (zh) 2021-06-07 2021-06-07 基于略图结构的网络流基数在线实时估算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110633705.7A CN113360532B (zh) 2021-06-07 2021-06-07 基于略图结构的网络流基数在线实时估算方法

Publications (2)

Publication Number Publication Date
CN113360532A true CN113360532A (zh) 2021-09-07
CN113360532B CN113360532B (zh) 2022-11-15

Family

ID=77532886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110633705.7A Active CN113360532B (zh) 2021-06-07 2021-06-07 基于略图结构的网络流基数在线实时估算方法

Country Status (1)

Country Link
CN (1) CN113360532B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115085985A (zh) * 2022-06-06 2022-09-20 西安电子科技大学 一种用于网络安全监测的内存高效范围基数测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191918A1 (en) * 2014-12-31 2016-06-30 Chung Yuan Christian University Methods and Systems for Estimating Entropy
CN106709001A (zh) * 2016-12-22 2017-05-24 西安电子科技大学 一种面向流式大数据的基数估计方法
CN110830322A (zh) * 2019-09-16 2020-02-21 北京大学 一种基于近似零误差的概率测量数据结构Sketch的网络流量测量方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191918A1 (en) * 2014-12-31 2016-06-30 Chung Yuan Christian University Methods and Systems for Estimating Entropy
CN106709001A (zh) * 2016-12-22 2017-05-24 西安电子科技大学 一种面向流式大数据的基数估计方法
CN110830322A (zh) * 2019-09-16 2020-02-21 北京大学 一种基于近似零误差的概率测量数据结构Sketch的网络流量测量方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白磊等: "基于流抽样和LRU的高速网络大流检测算法", 《计算机应用与软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115085985A (zh) * 2022-06-06 2022-09-20 西安电子科技大学 一种用于网络安全监测的内存高效范围基数测量方法

Also Published As

Publication number Publication date
CN113360532B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN109921996B (zh) 一种高性能的OpenFlow虚拟流表查找方法
Zhao et al. {LightGuardian}: A {full-visibility}, lightweight, in-band telemetry system using sketchlets
Xiao et al. Hyper-compact virtual estimators for big network data based on register sharing
CN106657038B (zh) 一种基于对称度Sketch的网络流量异常检测与定位方法
Lieven et al. High-speed per-flow traffic measurement with probabilistic multiplicity counting
CN106452868A (zh) 一种支持多维度聚合分类的网络流量统计实现方法
Zhou et al. Highly compact virtual active counters for per-flow traffic measurement
Xiao et al. Universal online sketch for tracking heavy hitters and estimating moments of data streams
CN113360532B (zh) 基于略图结构的网络流基数在线实时估算方法
Gou et al. Single hash: Use one hash function to build faster hash based data structures
Soto et al. A high-throughput hardware accelerator for network entropy estimation using sketches
Gou et al. Graph stream sketch: Summarizing graph streams with high speed and accuracy
Huang et al. ChainSketch: An efficient and accurate sketch for heavy flow detection
Głabowski et al. Efficiency evaluation of shortest path algorithms
CN112783644B (zh) 一种基于高频键值计数的分布式倾斜流处理方法和系统
Li et al. Pyramid family: Generic frameworks for accurate and fast flow size measurement
Sivaraman et al. Smoking out the heavy-hitter flows with hashpipe
Hao et al. Fast multiset membership testing using combinatorial bloom filters
Tang et al. A high-performance invertible sketch for network-wide superspreader detection
Jin et al. DH-SVRF: A reconfigurable unicast/multicast forwarding for high-performance packet forwarding engines
Chang et al. Hash-based OpenFlow packet classification on heterogeneous system architecture
Zhang et al. NetSHa: In-network acceleration of LSH-based distributed search
Xiao et al. Supporting flow-cardinality queries with O (1) time complexity in high-speed networks
Gao et al. FT-INDEX: A distributed indexing scheme for switch-centric cloud storage system
Ahmadi et al. A memory-optimized Bloom filter using an additional hashing function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant