CN112202645A - 基于拟态防御和Sketch算法的测量系统及异常流量检测方法 - Google Patents

基于拟态防御和Sketch算法的测量系统及异常流量检测方法 Download PDF

Info

Publication number
CN112202645A
CN112202645A CN202011261239.6A CN202011261239A CN112202645A CN 112202645 A CN112202645 A CN 112202645A CN 202011261239 A CN202011261239 A CN 202011261239A CN 112202645 A CN112202645 A CN 112202645A
Authority
CN
China
Prior art keywords
micro
sketch
algorithm
execution body
mimicry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011261239.6A
Other languages
English (en)
Other versions
CN112202645B (zh
Inventor
张栋
陈翰泽
朱龙隆
程灵飞
朱丹红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011261239.6A priority Critical patent/CN112202645B/zh
Publication of CN112202645A publication Critical patent/CN112202645A/zh
Application granted granted Critical
Publication of CN112202645B publication Critical patent/CN112202645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于拟态防御和Sketch算法的测量系统，包括输入代理器、微执行体集单元、输出裁决器和反馈控制器；所述输入代理器、微执行体集单元、输出裁决器依次连接；所述反馈控制器与微执行体集单元、输出裁决器分别连接。本发明在提高了网络测量鲁棒性的同时，减小粗粒度Sketch算法拟态化构造带来的多执行体串行计算开销，在减小执行体粒度的同时增大异构程度，大大提高了测量系统的效率。

Description

基于拟态防御和Sketch算法的测量系统及异常流量检测方法
技术领域
本发明拟态防御领域与网络测量领域，具体涉及一种基于拟态防御和Sketch算法的测量系统及异常流量检测方法。
背景技术
随着互联网的普及与发展，网络环境愈加复杂化、多样化，随之而来的是网络攻击手段层出不穷，网络空间安全形势十分严峻。为避免网络防御失守带来的巨大损失，需及时发现潜在安全威胁。以Sketch算法为代表的网络测量技术能够实时监测网络，统计流量信息，并准确反馈网络状态，为网络管理员提供网络的实时信息以及潜在的异常流量信息，因而越来越受到人们重视。此外，当部署网络测量功能的主体（例如数据中心的交换机或服务器）遭受网络攻击或流量分布超出网络测量系统预先配置的模型时，网络测量的效果难以得到保证。拟态防御概念为如何提高网络测量系统适应更多极端情况提供了一种新方案。
拟态防御主要用于网络领域的防御，例如拟态路由器、拟态交换机、拟态DNS服务器等。拟态防御从异构冗余的原则出发，引入动态性、随机性，提出了一种异构、冗余、动态的防御架构。拟态防御架构主要由输入代理器、可重构异构执行体集、输出裁决器、反馈控制器、输出代理器五部分组成。通过可重构异构执行体集的设计，增大系统异构性，从而增大系统有效性；通过输出裁决器提供准确的输出；通过反馈控制器支撑闭环的执行体集反馈控制。因此，拟态防御架构可以更有效应对网络空间当中的“未知风险”，将拟态防御引入网络测量，可以解决异常场景下网络测量对复杂网络环境适应能力不足的问题。然而，传统拟态防御架构会产生巨大的额外时空开销，无法满足网络测量实时、高效的要求。
发明内容
有鉴于此，本发明的目的在于提供一种基于拟态防御和Sketch算法的测量系统及异常流量检测方法，在提高了网络测量鲁棒性的同时，减小粗粒度Sketch算法拟态化构造带来的多执行体串行计算开销，在减小执行体粒度的同时增大异构程度，大大提高了测量系统的效率。
为实现上述目的，本发明采用如下技术方案：
一种基于拟态防御和Sketch算法的测量系统，包括输入代理器、微执行体集单元、输出裁决器和反馈控制器；所述输入代理器、微执行体集单元、输出裁决器依次连接；所述反馈控制器与微执行体集单元、输出裁决器分别连接。
进一步的，所述微执行体集单元包括若干拟态微执行体集；所述拟态微执行体集由若干不同微执行体组合成。
进一步的，所述微执行体为能够完成部分网络数据记录统计功能，且相互之间功能相同，原理相异的最小单位，由Sketch算法的数据结构拆分得到。
进一步的，所述微执行体集单元在任何时候每个拟态微执行体集只有一个微执行体正在运行，其余处于等待状态。
进一步的，当插入数据包时，先通过输入代理器决定数据包分发次数，其次，通过各行之间相互独立的哈希函数对数据包的标识符做多次哈希运算，得到与行数相同数量的列位置，据此进行行列位置的选择，然后调用桶相应Sketch算法的插入函数完成插入操作。
一种基于拟态防御和Sketch算法的网络异常流量检测方法，包括以下步骤:
步骤S1:从备选Sketch算法中选取预设数量的Sketch算法；
步骤S2:将Sketch算法的数据结构拆分为微执行体，并将不同微执行体组合成为拟态微执行体集，集成后作为桶结构，每个桶随机选择一个微执行体作为初始微执行体；
步骤S3:根据管理员所分配的内存资源信息，计算比桶更高维度的度量尺度；
步骤S4:有数据包需要插入时，每一行都调用不同的哈希函数计算数据包标识符的哈希值，并调用对应Sketch的插入函数将数据包相关的信息记录在哈希值对应位置桶的数据结构中；
步骤S5:每个测量周期结束时，遍历所有桶，将异常流量提取出来组成异常流表，反馈给网络管理员，并在每个桶运行裁决反馈算法，判断是否需要切换微执行体。
进一步的，所述Sketch算法选择基于优缺点互补的原则。
进一步的，所述步骤S4具体为：将根据数据包标识符于多个执行体建立一对多的映射关系，即一个数据包对应多个执行体，且每行执行体有且仅有一个被映射的微执行体，并直接调用对应的Sketch的插入算法，将数据包相关信息以微执行体自身的方式记录。
进一步的，所述异常流提取包括直接在桶内保持异常流量候选或在额外的数据结构内保持异常流量候选。
本发明与现有技术相比具有以下有益效果：
本发明通过将Sketch算法的数据结构细粒度化作为微执行体，并将多种微执行体组建为微执行体集，提高了网络测量鲁棒性，并大大减小拟态架构带来的串行计算开销，有效提高了系统运行效率。
附图说明
图1是本发明的整体架构；
图2是本发明一实施例中微执行体集架构；
图3是本发明一实施例中微执行体集反馈控制替换微执行体的说明。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于拟态防御和Sketch算法的测量系统，包括输入代理器、微执行体集单元、输出裁决器和反馈控制器；所述输入代理器、微执行体集单元、输出裁决器依次连接；所述反馈控制器与微执行体集单元、输出裁决器分别连接。
在本实施例中，所述微执行体集单元包括若干拟态微执行体集及桶结构；优选的，将Sketch算法的数据结构按照功能相同，原理相异的原则，将其拆分为微执行体，多个微执行体进一步组合为微执行体集，集成插入算法、提取算法、查询算法后作为桶结构。例如，CM-Heap最小只需要一个桶就能完成网络测量功能，从而我们将CM-Heap桶内的堆结构提取出来作为一个微执行体。而GroupTesting单个桶内的二进制数组也可以完成网络测量功能，所以将GroupTesting的二进制数组也作为一个微执行体。需要注意的是，这里依据理论推导和实验来确定不同Sketch算法能够完成网络测量功能的最小数据结构单位。
在本实施例中，如图2所示的测量方案单桶的内部结构所示，任何时候每个桶都只有一个微执行体正在运行，其余处于等待状态。在具体使用时，应尽可能使得不同微执行体共享某些共有结构以减小内存开销。
在本实施例中，首先，如图1所示，当插入数据包时，先通过输入代理器决定数据包分发次数，其次，通过各行之间相互独立的哈希函数对数据包的标识符做多次哈希运算，分别得到一个列位置，据此进行行列位置的选择，然后调用桶相应Sketch的插入函数完成插入操作。例如，图1中某个插入数据包经过运算后选中第二行第二列的桶，此桶正在运行的微执行体为LD-Sketch，则调用LD-Sketch相应的插入函数将数据包信息记录下来。
一种基于拟态防御和Sketch算法的网络异常流量检测方法，包括以下步骤:
步骤S1:从备选Sketch算法中选取预设数量的Sketch算法；
步骤S2:将Sketch算法的数据结构拆分为微执行体，并将不同微执行体组合成为拟态微执行体集，集成后作为桶结构，每个桶随机选择一个微执行体作为初始微执行体；
步骤S3:根据管理员所分配的内存资源信息，计算比桶更高维度的度量尺度；
步骤S4:有数据包需要插入时，每一行都调用不同的哈希函数计算数据包标识符的哈希值，并调用对应Sketch的插入函数将数据包相关的信息记录在哈希值对应位置桶的数据结构中；
步骤S5:每个测量周期结束时，遍历所有桶，将异常流量提取出来组成异常流表，反馈给网络管理员，并在每个桶运行裁决反馈算法，判断是否需要切换微执行体。
在本实施例中，查询流值时，使用与插入时相同的哈希函数进行定位，读取桶内的统计值，并与各行的统计值交叉对比，选择出最优结果。
在本实施例中，优选的，所述Sketch算法选择基于优缺点互补的原则，使选择的Sketch算法能够适应更多的极端环境。
在本实施例中，微执行体定义为能够完成部分网络数据记录统计功能，且相互之间功能相同，原理相异的最小单位；比如GroupTesting中的二进制数组、LD-Sketch中的变长数组。将传统的Sketch算法的数据结构降维，可以从微执行体的角度开始构建理论模型，能够更好的分析各种微执行体的结合效果。
在本实施例中，优选的，所述步骤S4具体为：将根据数据包标识符于多个执行体建立一对多的映射关系，即一个数据包对应多个执行体，且每行执行体有且仅有一个被映射的微执行体，并直接调用对应的Sketch的插入算法，将数据包相关信息以微执行体自身的方式记录。
在本实施例中，执行提取异常流操作具体为：由于Sketch算法分为两类：一类是可以直接在桶内保持异常流量候选，一类是在额外的数据结构内保持异常流量候选。当提取异常流量时，对于前者只需返回桶内异常流量候选，对于后者，则需要进行额外的访存操作，以获得异常流量候选。这两类查询方式过程中所用到的函数称为提取函数。一般情况下，前者的提取函数较为简单、快速，后者的提取函数较复杂。
在本实施例中优选的，执行体替换操作：如图3，当反馈控制器检测到问题执行体时，需要进行执行体替换操作。假设在某个桶内，LD-Sketch为正在运行的微执行体，且被反馈控制器认定为问题执行体，并需要用SpaceSaving替换LD-Sketch。则需要在桶内关闭LD-Sketch微执行体，并激活SpaceSaving微执行体，修改桶内相关的插入、提取、查询函数。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种基于拟态防御和Sketch算法的测量系统，其特征在于，包括输入代理器、微执行体集单元、输出裁决器和反馈控制器；所述输入代理器、微执行体集单元、输出裁决器依次连接；所述反馈控制器与微执行体集单元、输出裁决器分别连接。
2.根据权利要求1所述的基于拟态防御和Sketch算法的测量系统，其特征在于，所述微执行体集单元包括若干拟态微执行体集；所述拟态微执行体集由若干不同微执行体组合成。
3.根据权利要求2所述的基于拟态防御和Sketch算法的测量系统，其特征在于，所述微执行体为能够完成部分网络数据记录统计功能，且相互之间功能相同，原理相异的最小单位，由Sketch算法的数据结构拆分得到。
4.根据权利要求2所述的基于拟态防御和Sketch算法的测量系统，其特征在于，所述微执行体集单元在任何时候每个拟态微执行体集只有一个微执行体正在运行，其余处于等待状态。
5.根据权利要求1所述的基于拟态防御和Sketch算法的测量系统，其特征在于，当插入数据包时，先通过输入代理器决定数据包分发次数，其次，通过各行之间相互独立的哈希函数对数据包的标识符做多次哈希运算，得到与行数相同数量的列位置，据此进行行列位置的选择，然后调用桶相应Sketch算法的插入函数完成插入操作。
6.一种基于拟态防御和Sketch算法的网络异常流量检测方法，其特征在于，包括以下步骤:
步骤S1:从备选Sketch算法中选取预设数量的Sketch算法；
步骤S2:将Sketch算法的数据结构拆分为微执行体，并将不同微执行体组合成为拟态微执行体集，集成后作为桶结构，每个桶随机选择一个微执行体作为初始微执行体；
步骤S3:根据管理员所分配的内存资源信息，计算比桶更高维度的度量尺度；
步骤S4:有数据包需要插入时，每一行都调用不同的哈希函数计算数据包标识符的哈希值，并调用对应Sketch的插入函数将数据包相关的信息记录在哈希值对应位置桶的数据结构中；
步骤S5:每个测量周期结束时，遍历所有桶，将异常流量提取出来组成异常流表，反馈给网络管理员，并在每个桶运行裁决反馈算法，判断是否需要切换微执行体。
7.根据权利要求1所述的基于拟态防御和Sketch算法的网络异常流量检测方法，其特征在于，所述Sketch算法选择基于优缺点互补的原则。
8.根据权利要求1所述的基于拟态防御和Sketch算法的网络异常流量检测方法，其特征在于，所述步骤S4具体为：将根据数据包标识符于多个执行体建立一对多的映射关系，即一个数据包对应多个执行体，且每行执行体有且仅有一个被映射的微执行体，并直接调用对应的Sketch的插入算法，将数据包相关信息以微执行体自身的方式记录。
9.根据权利要求1所述的基于拟态防御和Sketch算法的网络异常流量检测方法，其特征在于，所述异常流提取包括直接在桶内保持异常流量候选或在额外的数据结构内保持异常流量候选。
CN202011261239.6A 2020-11-12 2020-11-12 基于拟态防御和Sketch算法的测量系统及异常流量检测方法 Active CN112202645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011261239.6A CN112202645B (zh) 2020-11-12 2020-11-12 基于拟态防御和Sketch算法的测量系统及异常流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011261239.6A CN112202645B (zh) 2020-11-12 2020-11-12 基于拟态防御和Sketch算法的测量系统及异常流量检测方法

Publications (2)

Publication Number Publication Date
CN112202645A true CN112202645A (zh) 2021-01-08
CN112202645B CN112202645B (zh) 2022-05-03

Family

ID=74034566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011261239.6A Active CN112202645B (zh) 2020-11-12 2020-11-12 基于拟态防御和Sketch算法的测量系统及异常流量检测方法

Country Status (1)

Country Link
CN (1) CN112202645B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363051A (zh) * 2021-12-31 2022-04-15 河南信大网御科技有限公司 一种拟态开关以及拟态系统内部单向通信方法
CN114422235A (zh) * 2022-01-18 2022-04-29 福州大学 基于p4的工业互联网隐蔽攻击防御方法
CN115426133A (zh) * 2022-08-11 2022-12-02 中国人民解放军战略支援部队信息工程大学 基于异构特征簇的深度学习网络异常检测模型构建方法、检测方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110149745A1 (en) * 2009-12-17 2011-06-23 Thomson Licensing Detecting and classifying anomalies in communication networks
CN106411937A (zh) * 2016-11-15 2017-02-15 中国人民解放军信息工程大学 基于拟态防御架构的零日攻击检测、分析和响应系统及其方法
CN110581845A (zh) * 2019-08-21 2019-12-17 浙江大学 拟态控制器执行体的潜在威胁程度的量化表征方法
CN110750802A (zh) * 2019-10-14 2020-02-04 创元网络技术股份有限公司 基于拟态防御针对关键数据进行保护的架构
CN110995409A (zh) * 2020-02-27 2020-04-10 南京红阵网络安全技术研究院有限公司 基于部分同态加密算法的拟态防御裁决方法和系统
US20200244673A1 (en) * 2019-01-24 2020-07-30 Darktrace Limited Multivariate network structure anomaly detector
US20200278683A1 (en) * 2017-08-10 2020-09-03 Patroness, LLC Systems and Methods For Crowd Navigation In Support of Collision Avoidance For a Motorized Mobile System

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110149745A1 (en) * 2009-12-17 2011-06-23 Thomson Licensing Detecting and classifying anomalies in communication networks
CN106411937A (zh) * 2016-11-15 2017-02-15 中国人民解放军信息工程大学 基于拟态防御架构的零日攻击检测、分析和响应系统及其方法
US20200278683A1 (en) * 2017-08-10 2020-09-03 Patroness, LLC Systems and Methods For Crowd Navigation In Support of Collision Avoidance For a Motorized Mobile System
US20200244673A1 (en) * 2019-01-24 2020-07-30 Darktrace Limited Multivariate network structure anomaly detector
CN110581845A (zh) * 2019-08-21 2019-12-17 浙江大学 拟态控制器执行体的潜在威胁程度的量化表征方法
CN110750802A (zh) * 2019-10-14 2020-02-04 创元网络技术股份有限公司 基于拟态防御针对关键数据进行保护的架构
CN110995409A (zh) * 2020-02-27 2020-04-10 南京红阵网络安全技术研究院有限公司 基于部分同态加密算法的拟态防御裁决方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGYAN ZHOU: "RL-Sketch: Scaling Reinforcement Learning for Adaptive and Automate Anomaly Detection in Network Data Streams", 《2019 IEEE 44TH CONFERENCE ON LOCAL COMPUTER NETWORKS (LCN)》 *
洪海诚: "基于数据层的动态攻击面防御技术", 《中国优秀博硕士学位论文全文数据库(硕士)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363051A (zh) * 2021-12-31 2022-04-15 河南信大网御科技有限公司 一种拟态开关以及拟态系统内部单向通信方法
CN114363051B (zh) * 2021-12-31 2023-07-21 河南信大网御科技有限公司 一种拟态开关以及拟态系统内部单向通信方法
CN114422235A (zh) * 2022-01-18 2022-04-29 福州大学 基于p4的工业互联网隐蔽攻击防御方法
CN114422235B (zh) * 2022-01-18 2023-03-24 福州大学 基于p4的工业互联网隐蔽攻击防御方法
CN115426133A (zh) * 2022-08-11 2022-12-02 中国人民解放军战略支援部队信息工程大学 基于异构特征簇的深度学习网络异常检测模型构建方法、检测方法和系统
CN115426133B (zh) * 2022-08-11 2024-07-05 中国人民解放军战略支援部队信息工程大学 基于异构特征簇的深度学习网络异常检测模型构建方法、检测方法和系统

Also Published As

Publication number Publication date
CN112202645B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN112202645B (zh) 基于拟态防御和Sketch算法的测量系统及异常流量检测方法
EP3554051B1 (en) Data processing method and device
Isaila et al. Collective I/O tuning using analytical and machine learning models
Liu et al. Fattreesim: Modeling large-scale fat-tree networks for hpc systems and data centers using parallel and discrete event simulation
CN110798517A (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
CN102929613A (zh) 操作系统的调优装置和方法
KR20160056944A (ko) 캐싱된 플로우들에 기초한 가속
WO2018036256A1 (zh) 生成acl表的方法和装置
CN110784336A (zh) 基于物联网的多设备智能定时延时场景设置方法及系统
Bhowmik et al. Distributed control plane for software-defined networks: A case study using event-based middleware
CN105574032A (zh) 规则匹配运算方法及装置
CN114217920A (zh) 作业调度方法和装置、计算机机群、计算机可读存储介质
CN111858656A (zh) 一种基于分布式架构的静态数据的查询方法和设备
US10769153B2 (en) Computer system and method for setting a stream data processing system
US10375164B1 (en) Parallel storage system with burst buffer appliance for storage of partitioned key-value store across a plurality of storage tiers
Doerr et al. Island models meet rumor spreading
CN111045959B (zh) 一种基于存储优化的复杂算法变量映射方法
Qiao et al. Adaptable switch: a heterogeneous switch architecture for network-centric computing
JP7390088B1 (ja) データ処理方法、装置、デバイス及び媒体
Ueno et al. VCSN: Virtual circuit-switching network for flexible and simple-to-operate communication in HPC FPGA cluster
CN112235356B (zh) 一种基于集群的分布式pb级cfd仿真数据管理系统
CN110310138A (zh) 一种确定用户关系的方法及装置
TW202315360A (zh) 微服務分配方法、電子設備及儲存介質
Liu et al. Modeling and simulation of extreme-scale fat-tree networks for hpc systems and data centers
CN112764935A (zh) 大数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant