CN117596010A - 一种用于网络异常检测的高效高精度基数测量方法及系统 - Google Patents

一种用于网络异常检测的高效高精度基数测量方法及系统 Download PDF

Info

Publication number
CN117596010A
CN117596010A CN202311303242.3A CN202311303242A CN117596010A CN 117596010 A CN117596010 A CN 117596010A CN 202311303242 A CN202311303242 A CN 202311303242A CN 117596010 A CN117596010 A CN 117596010A
Authority
CN
China
Prior art keywords
deformable
network
summary structure
radix
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311303242.3A
Other languages
English (en)
Inventor
宋首友
王普
姜伟
李阳春
孟庆顺
赵高华
林浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy Of Cyberspace Research
Original Assignee
China Academy Of Cyberspace Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy Of Cyberspace Research filed Critical China Academy Of Cyberspace Research
Priority to CN202311303242.3A priority Critical patent/CN117596010A/zh
Publication of CN117596010A publication Critical patent/CN117596010A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络安全监测领域，公开了一种用于网络异常检测的高效高精度基数测量方法及系统，所述系统包括功能模块、运算模块；所述方法包括网络流采集；将哈希技术和采样相结合，将网络流基数信息存储到可变形概要结构中；网络基数查询；返回查询流的基数信息，用于检测超级传播者；超级传播者检测；为了检测可变形概要结构中的超级扩传播者，首先遍历可变形概要结构中的所有桶，找到计数器深度超过预定阈值的可疑桶；其次，执行可变形概要结构的查询操作来估算可疑桶中记录ID的基数；如果一个可疑流的估计基数大于预定义阈值，那么将该可疑流报告为超级传播者。

Description

一种用于网络异常检测的高效高精度基数测量方法及系统
技术领域
本发明属于网络安全监测技术领域，尤其涉及一种用于网络异常检测的高效高精度基数测量方法及系统。
背景技术
网络异常检测是保证网络安全性的重要手段。其中，超级传播者识别是网络异常检测的核心任务，目的是识别具有高基数的网络流。因此，基数估计是准确识别超级传播者的前提。与流大小估计相比，基数估计侧重计算网络流中的不同数据包，具有不可累加性，需要在估计过程中删除重复数据包。随着网络流速和网络规模的不断增加，监控每个网络流中不同数据包的成本变得越来越大。概要结构常被用于监控高速网络环境中网络流的信息。该方法使用随机哈希技术将大量网络流映射到一个紧凑且内存固定的结构中，可以实时估计网络流的基数。与传统逐个监控网络流的方法相比，概要结构占用较小内存并提供误差可控的基数估计，适合实际应用。
目前超级传播者检测的研究工作分为三种。第一种是基于位图的概要结构，但该方法存在由哈希冲突引起的精度问题以及高内存占用的低效率问题。第二种是基于概率计数的概要结构，但这种方法对小基数主机估计精度较低，并且无法实现超级传播者的溯源。第三种是基于计数器共享的概要结构，但大基数和小基数主机共享内存的过程会引起估计误差，且不支持超级主机地址的重建。综上所述，超级传播者检测仍存在无法平衡检测准确性和效率的问题。通过在概要结构中分配大计数器可以获得较高的检测精度，但在监控小基数主机时会造成内存的浪费。在概要结构中设置小计数器可以实现内存效率，但无法准确测量大基数主机。
为了实现准确和高效的超级传播者检测，应解决以下问题：
1)流基数测量需要记录已经被处理的数据包，这种特性需要增加比特位来实现重复数据消除，加剧了监控大基数主时的内存消耗。
2)真实网络流量主机基数分布高度不均匀，大基数主机只占一小部分，无法合理设置适当的计数器大小来实现准确主机测量。
3)大多数概要结构通过哈希方法来处理流量信息，无法一一存储主机的ID信息。但在一些网络测量任务中，需要溯源超级传播者的来执行进一步的安全性分析。
综上所述，需要设计一种可以同时实现准确的基数估计、内存效率、高吞吐量和可逆性的概要结构在高速率网络环境中检测超级传播者。
发明内容
针对现有技术存在的问题，本发明提供了一种用于网络异常检测的高效高精度基数测量方法及系统。
本发明是这样实现的，一种用于网络异常检测的高效高精度基数测量系统，该系统通过结合哈希和采样技术动态地扩展网络流量测量上限，可以实现准确且内存高效地同时监控大基数流和小基数流，并且利用网络异常的特点，在网络流量采集过程中自动筛选出潜在潜在异常，提高网络异常检测效率高。
所述系统包括功能模块、运算模块；
所述功能模块包括可变形概要结构；
所述可变形概要结构，有w个数组和s桶；第i个数组和第j个桶表示为M(i，j)，其中1≤i≤w和1≤j≤s；每个桶M(i，j)包含五个字段；
所述运算模块包括：
(1)哈希函数hi(k)(1≤i≤w)和H(v)；可变形概要结构的每一行都与hi(k)相关联，将流的ID映射到每一行的桶s中M(i，hi(k))；H(v)用于查找映射元素v在Cij中的位置M(i，hi(k))；
(2)哈希函数G(v)；所有行共享全局哈希函数G(v)，该函数将元素哈希为位满足几何分布的二进制比特表示；指示器函数ρ(G(v))用于返回来自G(v)最小有效位的前导0的数量。
进一步，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
所述可变形概要结构能够根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率；通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
进一步，所述可变形概要结构中每个桶M(i，j)包含五个字段分别为：
(1)用于记录基数信息的大小为m比特的自变形位图计数器Cij；该计数器根据监测的基数信息自适应地构建逻辑位图来扩大估计上限；
(2)用于记录计数器Cij变化程度的指示器Tij；该指示器表示当前位图更新的次数；
(3)记录逻辑位图深度的指示器Rij；位图越深，其估计的上界就越高；Rij也用于计算当前位图深度的采样概率，即
(4)记录计数器触发更新次数的指示器Uij；增加或减少Uij取决于到达数据包ID与Iij的比较结果和Cij的状态变化情况；
(5)存储候选超级传播者ID的记录器Iij。
进一步，所述存储候选超级传播者ID的记录器Iij，如果Uij变为零，Iij也会产生变化；因此，对于触发计数器Cij大量更新的超级传播者，它们的ID将被存储在它们所在的桶中。
本发明的另一目的在于提供一种实施所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，所述方法包括如下步骤：
S1：网络流采集；将哈希技术和采样相结合，将网络流基数信息存储到可变形概要结构中，哈希技术用于在高速网络环境下对数据包进行高效处理，采样技术用于提高大基数主机的更新吞吐量和估计精度；
S2：网络基数查询；返回查询流的基数信息，用于检测超级传播者；
S3：超级传播者检测；为了检测可变形概要结构中的超级扩传播者，首先遍历可变形概要结构中的所有桶，找到计数器深度超过预定阈值的可疑桶；其次，执行可变形概要结构的查询操作来估算可疑桶中记录ID的基数；如果一个可疑流的估计基数大于预定义阈值，那么将该可疑流报告为超级传播者。
进一步，所述S1的网络流采集具体为将每个桶中的功能模块都设置为零；当数据包<k，v>到达时，通过计算hi(k)(1≤i≤w)定位桶M(i，hi(k))并执行哈希计算G(v)得到v的二进制；给定一个用于测量变化程度Cij的阈值T，更新M(i，hi(k))。
进一步，所述更新M(i，hi(k))需要以下四个步骤：
步骤1：如果进入下一步，否则不采样；
步骤2：如果不更新；否则，设置/>并将/>加1，进入下一步；
步骤3：如果设置/>否则，将Uij减小/>如果Uij≤0，那么将替换成k，设置/>转到下一步；
步骤4：如果Tij≥T，设置Rij+＝1并将Tij初始化为0。
进一步，所述S2返回查询流的基数信息，用于检测超级传播者具体为：
为了估计网络流k的基数信息，首先计算hi(k)(1≤i≤w)来找到每一行中所在的桶；其次，检查每个桶中的字段；假设Tij＝t和Rij＝r(≠0)，基于可变形概要结构计算网络流k的基数为：
其中Sr为桶M(i，j)中不同深度的位图所记录的累积基数信息；其计算方法为：
其中mi为深度为i的计数器中可用的比特数，即mi＝m-iT；如果r＝0，设置Sr＝0；计算公式中的第二项由深度为r的计数器所得，其采样概率为1/2r；
最后，利用可变形概要结构查询操作返回的估计基数是w个估计结果的最小值，即
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述用于网络异常检测的高效高精度基数测量方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述用于网络异常检测的高效高精度基数测量系统。
结合上述的所有技术方案，本发明旨在实现高效高精度网络异常检测，本发明所具备的优点及积极效果为：
本发明通过使用可变形概要结构可以在有限的内存使用下同时准确测量大基数网络流和小基数网络流，保证网络异常检测的精度。利用哈希和采样技术采集高速网络流量，可以部署在大规模网络环境中。利用超级传播者的特点，在网络流量采集过程中自动筛选出潜在超级传播者，在检测阶段无需统计全部流量信息，检测效率高。
与现有技术相比，本发明具有以下优点：
高精度：本发明可以根据网络流量信息自适应调整计数器估计上限，同时确保对大基数流估计的准确性和小基数流的内存高效性。
高效率：本发明采用哈希和采样技术采集网络流量，可以根据网络流量信息自适应调整采样率，确保对高速网络流量采集的效率。
经济性：本发明使用较小内存可以同时对大基数和小基数进行准确测量，易于部署在内存受限的传感器中，具有较高的经济性。
本发明提出了一种可变形概要结构来解决网络异常检测中主机基数测量精度和效率问题。可变形概要结构采用自适应采样位图，可实现高精度、内存效率、高吞吐量和可逆性。在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录，以此来提高吞吐量。为了实现同时对大基数主机和小基数主机的准确估计，可变形概要结构可以根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率。通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
网络流采集的每一步都可以实现不同的功能。步骤1只在每个数据包第一次出现时处理，可以减少大量哈希计算来提高采集速度。步骤2利用概要结构高估计精度和高效率的优势提高可变形概要结构性能。步骤3可以自动筛选出大基数流来检测超级传播者超级扩展器。步骤4可以在有限的内存自适应地扩大概要结构的估计上限，确保了大基数流的估计精度。
本发明的技术可被应用于大多数网络场景实现高效高精度网络异常检测，可以在内存资源受限并且时间要求高的场景中完成对海量数据的快速处理和分析，具有较高的实用价值。本发明的系统可支持多平台部署，实现多方位的网络测量。
附图说明
图1是本发明实施例提供的用于网络异常检测的高效高精度基数测量系统图；
图2是本发明实施例提供的用于网络异常检测的高效高精度基数测量方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的目的在于提供了一种用于网络异常检测的高效高精度基数测量方法，解决了网络异常检测中低精度和低效率基数测量的问题，同时可以溯源网络中的异常主机。
为了达到上述目的，本发明采取的技术方案为：
本发明提出了一种可变形概要结构来解决网络异常检测中主机基数测量精度和效率问题。可变形概要结构采用自适应采样位图，可实现高精度、内存效率、高吞吐量和可逆性。在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录，以此来提高吞吐量。为了实现同时对大基数主机和小基数主机的准确估计，可变形概要结构可以根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率。通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
如图1所示，一种用于网络异常检测的高效高精度基数测量系统，所述系统包括功能模块、运算模块；
所述功能模块包括可变形概要结构；
所述可变形概要结构，有w个数组和s桶；第i个数组和第j个桶表示为M(i，j)，其中1≤i≤w和1≤j≤s；每个桶M(i，j)包含五个字段；
所述运算模块包括：
(1)哈希函数hi(k)(1≤i≤w)和H(v)；可变形概要结构的每一行都与hi(k)相关联，将流的ID映射到每一行的桶s中M(i，hi(k))；H(v)用于查找映射元素v在Cij中的位置M(i，hi(k))；
(2)哈希函数G(v)；所有行共享全局哈希函数G(v)，该函数将元素哈希为位满足几何分布的二进制比特表示；指示器函数ρ(G(v))用于返回来自G(v)最小有效位的前导0的数量。
进一步，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
所述可变形概要结构能够根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率；通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
进一步，所述可变形概要结构中每个桶M（i，j)包含五个字段分别为：
(1)用于记录基数信息的大小为m比特的自变形位图计数器Cij；该计数器根据监测的基数信息自适应地构建逻辑位图来扩大估计上限；
(2)用于记录计数器Cij变化程度的指示器Tij；该指示器表示当前位图更新的次数；
(3)记录逻辑位图深度的指示器Rij；位图越深，其估计的上界就越高；Rij也用于计算当前位图深度的采样概率，即
(4)记录计数器触发更新次数的指示器Uij；增加或减少Uij取决于到达数据包ID与Iij的比较结果和Cij的状态变化情况；
(5)存储候选超级传播者ID的记录器Iij。
进一步，所述存储候选超级传播者ID的记录器Iij，如果Uij变为零，Iij也会产生变化；因此，对于触发计数器Cij大量更新的超级传播者，它们的ID将被存储在它们所在的桶中。
如图2所示，本发明的另一目的在于提供一种实施所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，所述方法包括如下步骤：
S1：网络流采集；将哈希技术和采样相结合，将网络流基数信息存储到可变形概要结构中，哈希技术用于在高速网络环境下对数据包进行高效处理，采样技术用于提高大基数主机的更新吞吐量和估计精度；
S2：网络基数查询；返回查询流的基数信息，用于检测超级传播者；
S3：超级传播者检测；为了检测可变形概要结构中的超级扩传播者，首先遍历可变形概要结构中的所有桶，找到计数器深度超过预定阈值的可疑桶；其次，执行可变形概要结构的查询操作来估算可疑桶中记录ID的基数；如果一个可疑流的估计基数大于预定义阈值，那么将该可疑流报告为超级传播者。
进一步，所述S1的网络流采集具体为将每个桶中的功能模块都设置为零；当数据包<k，v>到达时，通过计算hi(k)(1≤i≤w)定位桶M(i，hi(k))并执行哈希计算C(v)得到v的二进制；给定一个用于测量变化程度Cij的阈值T，更新T(i，hi(k))。
进一步，所述更新M(i，hi(k))需要以下四个步骤：
步骤1：如果进入下一步，否则不采样；
步骤2：如果不更新；否则，设置/>并将/>加1，进入下一步；
步骤3：如果设置/>否则，将Uij减小/>如果Uij≤0，那么将替换成k，设置/>转到下一步；
步骤4：如果Tij≥T，设置Rij+＝1并将Tij初始化为0。
进一步，所述S2返回查询流的基数信息，用于检测超级传播者具体为：
为了估计网络流k的基数信息，首先计算hi(k)(1≤i≤w)来找到每一行中所在的桶；其次，检查每个桶中的字段；假设Tij＝t和Rij＝r(≠0)，基于可变形概要结构计算网络流k的基数为：
其中Sr为桶M(i，j)中不同深度的位图所记录的累积基数信息；其计算方法为：
其中mi为深度为i的计数器中可用的比特数，即mi＝m-iT；如果r＝0，设置Sr＝0；计算公式中的第二项由深度为r的计数器所得，其采样概率为1/2r；
最后，利用可变形概要结构查询操作返回的估计基数是w个估计结果的最小值，即
将本发明应用实施例提供的用于网络异常检测的高效高精度基数测量方法应用于计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述用于网络异常检测的高效高精度基数测量方法的步骤。
将本发明应用实施例提供的用于网络异常检测的高效高精度基数测量方法应用于信息数据处理终端，所述信息数据处理终端用于实现所述用于网络异常检测的高效高精度基数测量系统。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
与现有技术相比，本发明通过利用哈希和采样技术动态监控网络流量，可实现网络流量准确测量、高效处理，提高网络异常检测精度和效率。此外，本发明技术内存利用率较高，具有较高的经济性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种用于网络异常检测的高效高精度基数测量系统其特征在于，所述系统包括功能模块、运算模块；
所述功能模块包括可变形概要结构；
所述可变形概要结构，有w个数组和s桶；第i个数组和第j个桶表示为M(i，j)，其中1≤j≤w和1≤j≤s；每个桶M(i，j)包含五个字段；
所述运算模块包括：
(1)哈希函数hi(k)(1≤i≤w)和H(v)；可变形概要结构的每一行都与hi(k)相关联，将流的ID映射到每一行的桶s中M(i，hi(k))；H(u)用于查找映射元素v在Cij中的位置M(i，hi(k))；
(2)哈希函数G(u)；所有行共享全局哈希函数G(u)，该函数将元素哈希为位满足几何分布的二进制比特表示；指示器函数ρ(G(v))用于返回来自G(u)最小有效位的前导0的数量。
2.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构采用自适应采样位图，在数据采集过程中，可变形概要结构使用均匀哈希技术和自适应采样来记录数据，确保每个数据包只有在第一次出现时才被记录；
所述可变形概要结构能够根据基数分布变化构建逻辑位图，自适应地扩大估计上界，保证了在有限内存源下的基数测量准确性和存储效率；通过比较到达的不同数据包数量，挑选基数最大异常流来检测超级传播者。
3.如权利要求1所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述可变形概要结构中每个桶M(i，j)包含五个字段分别为：
(1)用于记录基数信息的大小为m比特的自变形位图计数器Cij；该计数器根据监测的基数信息自适应地构建逻辑位图来扩大估计上限；
(2)用于记录计数器Cij变化程度的指示器Tij；该指示器表示当前位图更新的次数；
(3)记录逻辑位图深度的指示器Rij；位图越深，其估计的上界就越高；Rij也用于计算当前位图深度的采样概率，即
(4)记录计数器触发更新次数的指示器Uij；增加或减少Uij取决于到达数据包ID与Iij的比较结果和Cij的状态变化情况；
(5)存储候选超级传播者ID的记录器Iij。
4.如权利要求3所述用于网络异常检测的高效高精度基数测量系统，其特征在于，所述存储候选超级传播者ID的记录器Iij，如果Uij变为零，Iij也会产生变化；因此，对于触发计数器Cij大量更新的超级传播者，它们的ID将被存储在它们所在的桶中。
5.一种实施如权利要求1-4所述用于网络异常检测的高效高精度基数测量系统的用于网络异常检测的高效高精度基数测量方法，其特征在于，所述方法包括如下步骤：
S1：网络流采集；将哈希技术和采样相结合，将网络流基数信息存储到可变形概要结构中，哈希技术用于在高速网络环境下对数据包进行高效处理，采样技术用于提高大基数主机的更新吞吐量和估计精度；
S2：网络基数查询；返回查询流的基数信息，用于检测超级传播者；
S3：超级传播者检测；为了检测可变形概要结构中的超级扩传播者，首先遍历可变形概要结构中的所有桶，找到计数器深度超过预定阈值的可疑桶；其次，执行可变形概要结构的查询操作来估算可疑桶中记录ID的基数；如果一个可疑流的估计基数大于预定义阈值，那么将该可疑流报告为超级传播者。
6.如权利要求5所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述S1的网络流采集具体为将每个桶中的功能模块都设置为零；当数据包<k，v>到达时，通过计算hi(k)(1≤i≤ω)定位桶M(i，hi(k))并执行哈希计算G(v)得到v的二进制；给定一个用于测量变化程度Cij的阈值T，更新M(i，hi(k))。
7.如权利要求6所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述更新M(i，hi(k))需要以下四个步骤：
步骤1：如果进入下一步，否则不采样；
步骤2：如果不更新；否则，设置/>并将/>加1，进入下一步；
步骤3：如果发置/>否则，将Uij减小/>如果Uij≤0，那么将/>替换成k，设置/>转到下一步；
步骤4：如果Tij≥T，设置Rij+＝1并将Tij初始化为0。
8.如权利要求5所述用于网络异常检测的高效高精度基数测量方法，其特征在于，所述S2返回查询流的基数信息，用于检测超级传播者具体为：
为了估计网络流k的基数信息，首先计算hi(k)(1≤i≤ω)来找到每一行中所在的桶；其次，检查每个桶中的字段；假设Tij＝t和Rij＝r(≠0)，基于可变形概要结构计算网络流k的基数为：
其中Sr为桶M(i，j)中不同深度的位图所记录的累积基数信息；其计算方法为：
其中mi为深度为i的计数器中可用的比特数，即mi＝m-iT；如果r＝0，设置Sr＝0；计算公式中的第二项由深度为r的计数器所得，其采样概率为1/2r；
最后，利用可变形概要结构查询操作返回的估计基数是w个估计结果的最小值，即
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求5-8任意一项所述用于网络异常检测的高效高精度基数测量方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-4任意一项所述用于网络异常检测的高效高精度基数测量系统。
CN202311303242.3A 2023-10-10 2023-10-10 一种用于网络异常检测的高效高精度基数测量方法及系统 Pending CN117596010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311303242.3A CN117596010A (zh) 2023-10-10 2023-10-10 一种用于网络异常检测的高效高精度基数测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311303242.3A CN117596010A (zh) 2023-10-10 2023-10-10 一种用于网络异常检测的高效高精度基数测量方法及系统

Publications (1)

Publication Number Publication Date
CN117596010A true CN117596010A (zh) 2024-02-23

Family

ID=89914026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311303242.3A Pending CN117596010A (zh) 2023-10-10 2023-10-10 一种用于网络异常检测的高效高精度基数测量方法及系统

Country Status (1)

Country Link
CN (1) CN117596010A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117827851A (zh) * 2024-03-06 2024-04-05 苏州元澄科技股份有限公司 一种用于流基数测量的数据处理结构及其应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117827851A (zh) * 2024-03-06 2024-04-05 苏州元澄科技股份有限公司 一种用于流基数测量的数据处理结构及其应用
CN117827851B (zh) * 2024-03-06 2024-05-10 苏州元澄科技股份有限公司 一种用于流基数测量的数据处理结构及其应用

Similar Documents

Publication Publication Date Title
WO2018121157A1 (zh) 一种网络流量异常检测方法及装置
CN110991311B (zh) 一种基于密集连接深度网络的目标检测方法
CN102884512B (zh) 基于对数据存储设备的访问的空间分布的高速缓存
CN117596010A (zh) 一种用于网络异常检测的高效高精度基数测量方法及系统
EP3282643B1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
CN1750021A (zh) 用于管理及预测自动分类器性能的方法和装置
CN110505114B (zh) 一种云计算环境下节点异常判断方法
CN1749987A (zh) 用于管理及预测自动分类器性能的方法和装置
CN110210067B (zh) 一种基于测量轨迹的阈值直线确定方法、装置
US20130326056A1 (en) Network flow abnormality detection system and a method of the same
CN110113368B (zh) 一种基于子轨迹模式的网络行为异常检测方法
US20220244070A1 (en) Method for calculating operation acres of agricultural machinery, and electronic device using the same
US20090182994A1 (en) Two-level representative workload phase detection method, apparatus, and computer usable program code
CN107274679A (zh) 车辆识别方法、装置、设备及计算机可读存储介质
CN109492047A (zh) 一种基于差分隐私的精确直方图的发布方法
CN109871870A (zh) 一种大数据流中的基于最近邻的时间敏感性异常检测方法
US10411983B2 (en) Latency monitoring for network devices
CN114584377A (zh) 流量异常检测方法、模型的训练方法、装置、设备及介质
CN111540202B (zh) 一种相似卡口确定方法、装置、电子设备及可读存储介质
CN111610428B (zh) 一种基于响应混叠性度量小波包分解算法的参数优化方法
Zheng et al. A data streaming algorithm for detection of superpoints with small memory consumption
CN110909804B (zh) 基站异常数据的检测方法、装置、服务器和存储介质
CN115085985B (zh) 一种用于网络安全监测的内存高效范围基数测量方法
CN113079168B (zh) 一种网络异常检测方法、装置及存储介质
CN115904857A (zh) 一种瓶颈节点的筛选方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination