CN112860378B - 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质 - Google Patents

一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112860378B
CN112860378B CN202110200693.9A CN202110200693A CN112860378B CN 112860378 B CN112860378 B CN 112860378B CN 202110200693 A CN202110200693 A CN 202110200693A CN 112860378 B CN112860378 B CN 112860378B
Authority
CN
China
Prior art keywords
data
data stream
virtual
minimum
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200693.9A
Other languages
English (en)
Other versions
CN112860378A (zh
Inventor
刘扬
刘红日
辛国栋
王巍
孙浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202110200693.9A priority Critical patent/CN112860378B/zh
Publication of CN112860378A publication Critical patent/CN112860378A/zh
Application granted granted Critical
Publication of CN112860378B publication Critical patent/CN112860378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质，包括：(1)数据预处理：对回放流量进行分析，收集IP地址数量、数据包大小分布等信息，提取出数据流，即在一段时间内源IP和目的IP以时间顺序单向发送数据包的序列；(2)最小虚拟资源计算：分析虚拟机的性能(CPU、内存和网卡等)，综合流量信息和虚拟机资源信息，将数据流合理划分，计算出最少虚拟的虚拟数量。本发明提出的计算回放流量所需最少虚拟资源的方法可以实现回放流量过程中对最小资源需求量的计算，并生成基于最小资源的流量划分，划分完毕后，得出每个虚拟资源需要回放的流量，以完成流量回放的功能。

Description

一种计算回放流量所需最少虚拟资源的方法、系统、设备及存 储介质
技术领域
本发明涉及一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质，属于移动通信技术领域。
背景技术
网络靶场(Cyber Range)是一类网络系统的仿真平台，服务于网络攻防、训练、网络攻防产品评测和网络新技术验证，用以提升和加强网络系统的安全性、稳定性和性能。网络靶场可以提供安全且被隔离的虚拟网络环境，制造出各种可能遭遇的网络攻击场景及模拟基本的用户行为来还原真实的网络环境，从而达到检验新型网络技术和进行网络攻防演练的目的。
为了检测网络入侵系统的有效性，首先需要在网络靶场中构建逼真环境和各种攻击流量来进行检验。对于含有未知攻击的流量，需要在靶场中进行回放以发现未知的攻击类型。由此引出需要解决问题——虚拟资源计算，通常在虚拟环境下进行流量回放时，需要创建过量的虚拟机以保证流量能够正常地回放，由此也难免导致一些虚拟资源的浪费。
目前，已有技术将虚拟资源计算方法应用于云平台管理中，但是，在网络靶场流量回放领域，仍然没有可用的计算最小虚拟资源需求量的方法。
发明内容
针对现有技术的不足，本发明提供了一种计算回放流量所需最少虚拟资源的方法；
本发明还提供了一种计算回放流量所需最少虚拟资源的系统、设备及存储介质；
术语解释：
网络靶场，也称之为国家网络靶场。国家网络靶场(National Cyber Range，NCR)是指通过虚拟环境与真实设备相结合，模拟仿真出真实赛博网络空间攻防作战环境，能够支撑赛博作战能力研究和赛博武器装备验证试验平台。
pps，package/s，是作为衡量网络吞吐量的单位；
本发明的技术方案为：
一种计算回放流量所需最少虚拟资源的方法，包括：
(1)数据预处理：对回放流量即流量文件进行分析，收集IP地址数量、数据包大小分布等信息，提取出数据流，即在一段时间内源IP和目的IP以时间顺序单向发送数据包的序列；
(2)最小虚拟资源计算：分析虚拟机的性能(CPU、内存和网卡等)，综合流量信息和虚拟机资源信息，将数据流合理划分，计算出最小的虚拟机数量N以及对应每台虚拟机的数据流集合，即所需最少虚拟资源。
根据本发明优选的，步骤(1)，包括步骤如下：
A、数据采集：读取流量文件，流量文件是指待回放的可能具有攻击行为的数据包；
受单机存储限制，将流量输出以2GB大小分隔为多个文件，按生成时间为文件名存储。
B、数据清洗：去除非主机设备生成的流量；例如，路由器之间交换路由表的流量、非以太网协议生成的流量等。
C、数据流提取：提取步骤B数据清洗后的数据中的数据包。
将源IP和目的IP作为数据流的唯一ID，数据流的提取是为了方便计算该流在某时刻与其他数据流共同作用下的最大吞吐率。同时保证了在虚拟环境下回放时同一个数据流不被划分到不同虚拟机上需要先对其进行提取。为了加快对数据流的提取，可以使用hadoop分布式架构来提高运算速度。
D、将步骤C得到的数据流信息存入到hive数据库中。
进一步优选的，步骤B中，数据清洗，是指：
设置IP-设备映射表，所述IP-设备映射表记录源IP地址和目的IP地址与设备的对应关系，设备包括主机设备和非主机设备；
数据清洗：解析流量文件中的数据包，获取该数据包的源IP地址和目的IP地址，从而判断其是主机设备生成的流量还是非主机设备生成的流量，如果是非主机设备生成的流量，则去除，否则，不予处理。
进一步优选的，步骤(1)中，对每个从节点依次进行数据采集、数据清洗、数据流提取，将得到的每个从节点的数据流信息进行整合，得到数据流集合；根据源IP地址将数据流集合划分为客户的数据流集合和服务的数据流集合；客户的数据流集合和服务的数据流集合的存储格式都为Key：List，Key是＜源IP地址，目的IP地址＞，List中存储的信息包括属于该数据流的五元组、时间戳和发送的数据，五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议。
根据本发明优选的，步骤(2)中，最小虚拟资源计算，是指：为计算虚拟资源的最少需求量，需要对虚拟机的性能进行评估，对数据流进行划分，计算最小虚拟资源；具体是指：
对虚拟机的性能进行评估，即需要考虑虚拟机的CPU、内存、网卡、主存和核数等，分析哪些因素能够影响到虚拟机发包的上限，从而得出一个合理的配置与发包上限之间的关系。这里假设可用的虚拟机配置相同，计算的最小虚拟资源即使用最少的虚拟机数量：
虚拟机数量N的计算公式如式(I)所示：
N＝Sendn+Recen+n (I)
式(I)中，N是指使用的虚拟机个数，Sendn是指数据流集合中单位发包个数超过虚拟机最大发包上限的个数，Recen是指数据流集合中单位发包个数超过虚拟机最大收包上限的个数，n除去Sendn和Recen对应数据流后的数据流集合要使用的虚拟机个数；
根据分析可得该问题是一个最小最大值问题。为了使N最小，只能使n最小，因此在满足上述条件下，合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
进一步优选的，采用贪心算法合理划分数据流使得VPi(t)→MAX，具体包括：
D、使用第一台虚拟机模拟回放第一条数据流，判断是否达到第一台虚拟机最大发包上限和最大收包上限，如果达到，则申请配置更高的虚拟机来回放第一条数据流，否则，加入第二条数据流；如此循环所有待回放的数据流，得出第一组划分；
E、将待回放的数据流去除第一组划分后，在重复所述步骤D，得到所有数据流的划分。
进一步优选的，给定网络靶场中的虚拟资源指标，如式(II)、式(III)、式(IV)、式(V)所示：如下所示：
VCi≤90％ (II)
VMi≤80％ (III)
VPi(t)≤10000 (IV)
VRi(t)≤10000 (V)
式(II)、式(III)、式(IV)、式(V)中，VCi是指第i台虚拟机CPU利用率；i∈[1，2，3，4，5...N]，VMi是指第i台虚拟机内存利用率；VPi(t)是指第i台虚拟机t时刻发包个数；VRi(t)是指第i台虚拟机t时刻收包个数；startt是指原始数据流开始时间，t≥startt；endt是指原始数据流结束时间，t≤endt，t∈[startt，endt]；
在式(II)、式(III)、式(IV)、式(V)的约束条件下，合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
一种计算回放流量所需最少虚拟资源的系统，包括依次连接的数据预处理模块、最小虚拟资源计算模块；所述数据预处理模块用于实现上述步骤(1)；所述最小虚拟资源计算模块用于实现上述步骤(2)。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现计算回放流量所需最少虚拟资源的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现计算回放流量所需最少虚拟资源的方法的步骤。
本发明的有益效果为：
1、本发明提出的计算回放流量所需最少虚拟资源的方法可以实现回放流量过程中对最小资源需求量的计算，并生成基于最小资源的流量划分，划分完毕后，得出每个虚拟资源需要回放的流量，以完成流量回放的功能。本发明不仅可以为网络靶场中的流量回放所需资源提供一种有效的计算方法。也可以用于类似场景中求解最小资源需求量。
2、本发明实用范围包括网络服务提供商，网络安全研发人员的软件研发、网络靶场、攻防实验及其流量回放等模拟仿真化实验与软件商品研发活动，并将其用于任何时间、任何地点的最小化资源计算。应用前景比较广泛。
附图说明
图1为本发明计算回放流量所需最少虚拟资源的方法的流程框图；
图2为本发明计算回放流量所需最少虚拟资源的方法中数据预处理的过程示意图；
图3为本发明计算回放流量所需最少虚拟资源的方法中最小虚拟资源计算的过程示意图；
图4为本发明计算回放流量所需最少虚拟资源的系统的结构框图；
图5为网络靶场中一段待回放流量的每个数据流1-20秒的pps示意图；
图6(a)为采用传统方法对图5中的IP1toIP2进行数据流提取得到的数据流1-20秒的pps示意图；
图6(b)为采用传统方法对图5中的IP2toIP3进行数据流提取得到的数据流1-20秒的pps示意图；
图6(c)为采用传统方法对图5中的IP3toIP1进行数据流提取得到的数据流1-20秒的pps示意图；
图6(d)为采用传统方法对图5中的IP2toIP4进行数据流提取得到的数据流1-20秒的pps示意图；
图6(e)为采用传统方法对图5中的IP4toIP2进行数据流提取得到的数据流1-20秒的pps示意图；
图7(a)为采用本发明计算回放流量所需最少虚拟资源的方法将数据流重新划分的对图5中的IP1toIP2、IP2toIP3、IP3toIP1、IP4toIP2进行数据流提取得到的数据流1-20秒的pps示意图；
图7(b)为采用本发明计算回放流量所需最少虚拟资源的方法将数据流重新划分的对图5中的IP2toIP4进行数据流提取得到的数据流1-20秒的pps示意图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种计算回放流量所需最少虚拟资源的方法，如图1所示，包括：
(1)数据预处理：对回放流量即流量文件进行分析，收集IP地址数量、数据包大小分布等信息，提取出数据流，即在一段时间内源IP和目的IP以时间顺序单向发送数据包的序列；
(2)最小虚拟资源计算：分析虚拟机的性能(CPU、内存和网卡等)，综合流量信息和虚拟机资源信息，将数据流合理划分，计算出最小的虚拟机数量N以及对应每台虚拟机的数据流集合，即所需最少虚拟资源。
实施例2
根据实施例1所述的一种计算回放流量所需最少虚拟资源的方法，其区别在于：
如图2所示，步骤(1)，包括步骤如下：
A、数据采集：读取流量文件，流量文件是指待回放的可能具有攻击行为的数据包；
受单机存储限制，将流量输出以2GB大小分隔为多个文件，按生成时间为文件名存储。
B、数据清洗：去除非主机设备生成的流量；例如，路由器之间交换路由表的流量、非以太网协议生成的流量等。
C、数据流提取：提取步骤B数据清洗后的数据中的数据包。就是根据某种协议例如ip协议格式，提取出对应数据流中的信息，例如，源IP和目的IP，以及操作行为数据等等。
将源IP和目的IP作为数据流的唯一ID，数据流的提取是为了方便计算该流在某时刻与其他数据流共同作用下的最大吞吐率。同时保证了在虚拟环境下回放时同一个数据流不被划分到不同虚拟机上需要先对其进行提取。为了加快对数据流的提取，可以使用hadoop分布式架构来提高运算速度。
D、将步骤C得到的数据流信息存入到hive数据库中。
步骤B中，数据清洗，是指：
设置IP-设备映射表，IP-设备映射表记录源IP地址和目的IP地址与设备的对应关系，设备包括主机设备和非主机设备；
数据清洗：解析流量文件中的数据包，获取该数据包的源IP地址和目的IP地址，从而判断其是主机设备生成的流量还是非主机设备生成的流量，如果是非主机设备生成的流量，则去除，否则，不予处理。
如表1所示，规定设备类别：0-主机，1-路由器等等；
表1
IP地址 设别类别
1.1.1.1 0
2.2.2.2 1
3.3.3.3 0
实时使用n-map或其他网络扫描工具扫描网络中存在的设备，并更新维护ip-设备映射表，实现动态监控，从而达到有效比对的目的。
步骤(1)中，对每个从节点依次进行数据采集、数据清洗、数据流提取，将得到的每个从节点的数据流信息进行整合，得到数据流集合；数据流集合是以源IP地址和目的IP地址作为数据流的唯一ID，以及每个ID所对应的数据流的，待回放的操作。根据源IP地址将数据流集合划分为客户的数据流集合和服务的数据流集合；客户的数据流集合和服务的数据流集合的存储格式都为Key：List，Key是＜源IP地址，目的IP地址＞，List中存储的信息包括属于该数据流的五元组、时间戳和发送的数据，五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议。
实施例3
根据实施例1所述的一种计算回放流量所需最少虚拟资源的方法，其区别在于：
步骤(2)中，最小虚拟资源计算，是指：为计算虚拟资源的最少需求量，需要对虚拟机的性能进行评估，对数据流进行划分，计算最小虚拟资源；具体是指：
对虚拟机的性能进行评估，即需要考虑虚拟机的CPU、内存、网卡、主存和核数等，分析哪些因素能够影响到虚拟机发包的上限，从而得出一个合理的配置与发包上限之间的关系。这里假设可用的虚拟机配置相同，计算的最小虚拟资源即使用最少的虚拟机数量：
虚拟机数量N的计算公式如式(I)所示：
N＝Sendn+Recen+n (I)
式(I)中，N是指使用的虚拟机个数，Sendn是指数据流集合中单位发包个数超过虚拟机最大发包上限的个数，Recen是指数据流集合中单位发包个数超过虚拟机最大收包上限的个数，n除去Sendn和Recen对应数据流后的数据流集合要使用的虚拟机个数；
根据分析可得该问题是一个最小最大值问题。为了使N最小，只能使n最小，因此在满足上述条件下，合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
采用贪心算法合理划分数据流使得VPi(t)→MAX，如图3所示，具体包括：
D、使用第一台虚拟机模拟回放第一条数据流，判断是否达到第一台虚拟机虚拟机最大发包上限和最大收包上限，如果达到，则申请配置更高的虚拟机来回放第一条数据流，否则，加入第二条数据流；如此循环所有待回放的数据流，得出第一组划分；
E、将待回放的数据流去除第一组划分后，在重复步骤D，得到所有数据流的划分。全部计算完成后即得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
实施例4
根据实施例3所述的一种计算回放流量所需最少虚拟资源的方法，其区别在于：
给定网络靶场中的虚拟资源指标，如式(II)、式(III)、式(IV)、式(V)所示：如下所示：
VCi≤90％ (II)
VMi≤80％ (III)
VPi(t)≤10000 (IV)
VRi(t)≤10000 (V)
式(II)、式(III)、式(IV)、式(V)中，VCi是指第i台虚拟机CPU利用率；i∈[1，2，3，4，5...N]，VMi是指第i台虚拟机内存利用率；VPi(t)是指第i台虚拟机t时刻发包个数；VRi(t)是指第i台虚拟机t时刻收包个数；startt是指原始数据流开始时间，t≥startt；endt是指原始数据流结束时间，t≤endt，t∈[startt，endt]；
在式(II)、式(III)、式(IV)、式(V)的约束条件下，合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
图5为网络靶场中一段待回放流量的每个数据流1-20秒的pps示意图；传统方法对于每条流量都需要申请一台虚拟机进行流量回放，如图6(a)、图6(b)、图6(c)、图6(d)、图6(e)所示；通过采用本发明计算回放流量所需最少虚拟资源的方法的计算，可将数据流重新划分为如图7(a)、图7(b)所示两个划分，即只需要，且最少需要两台虚拟设备即可完成流量回放。大大减少虚拟资源成本。其中，图5、图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、7(a)、图7(b)中，横坐标time表示时间，单位为s。
实施例5
一种计算回放流量所需最少虚拟资源的系统，如图4所示，用于实现实施例1-4任一所述的一种计算回放流量所需最少虚拟资源的方法，包括依次连接的数据预处理模块、最小虚拟资源计算模块；数据预处理模块用于实现上述步骤(1)；最小虚拟资源计算模块用于实现上述步骤(2)。
实施例6
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-4任一所述计算回放流量所需最少虚拟资源的方法的步骤。
实施例7
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1-4任一所述计算回放流量所需最少虚拟资源的方法的步骤。

Claims (8)

1.一种计算回放流量所需最少虚拟资源的方法，其特征在于，包括：
(1)数据预处理：对回放流量即流量文件进行分析，收集IP地址数量、数据包大小分布信息，提取出数据流，即在一段时间内源IP和目的IP以时间顺序单向发送数据包的序列；
(2)最小虚拟资源计算：分析虚拟机的性能，综合流量信息和虚拟机资源信息，将数据流合理划分，计算出最小的虚拟机数量N以及对应每台虚拟机的数据流集合，即所需最少虚拟资源；
步骤(2)中，最小虚拟资源计算，是指：对虚拟机的性能进行评估，对数据流进行划分，计算最小虚拟资源；具体是指：
假设可用的虚拟机配置相同，计算的最小虚拟资源即使用最少的虚拟机数量：
虚拟机数量N的计算公式如式(I)所示：
N＝Sendn+Recen+n (I)
式(I)中，N是指使用的虚拟机个数，Sendn是指数据流集合中单位发包个数超过虚拟机最大发包上限的个数，Recen是指数据流集合中单位发包个数超过虚拟机最大收包上限的个数，n除去Sendn和Recen对应数据流后的数据流集合要使用的虚拟机个数；
合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合；
给定网络靶场中的虚拟资源指标，如式(II)、式(III)、式(IV)、式(V)所示：如下所示：
VCi≤90％ (II)
VMi≤80％ (III)
VPi(t)≤10000 (IV)
VRi(t)≤10000 (V)
式(II)、式(III)、式(IV)、式(V)中，VCi是指第i台虚拟机CPU利用率；i∈[1，2，3，4，5...N]，VMi是指第i台虚拟机内存利用率；VPi(t)是指第i台虚拟机t时刻发包个数；VRi(t)是指第i台虚拟机t时刻收包个数；startt是指原始数据流开始时间，t≥startt；endt是指原始数据流结束时间，t≤endt，t∈[startt，endt]；
在式(II)、式(III)、式(IV)、式(V)的约束条件下，合理划分数据流使得VPi(t)→MAX；VPi(t)是指第i台虚拟机t时刻发包个数；合理划分数据流后，得到最小的虚拟机数量N以及对应每台虚拟机的数据流集合。
2.根据权利要求1所述的一种计算回放流量所需最少虚拟资源的方法，其特征在于，步骤(1)，包括步骤如下：
A、数据采集：读取流量文件，流量文件是指待回放的可能具有攻击行为的数据包；
B、数据清洗：去除非主机设备生成的流量；
C、数据流提取：提取步骤B数据清洗后的数据中的数据包；
D、将步骤C得到的数据流信息存入到hive数据库中。
3.根据权利要求2所述的一种计算回放流量所需最少虚拟资源的方法，其特征在于，步骤B中，数据清洗，是指：
设置IP-设备映射表，所述IP-设备映射表记录源IP地址和目的IP地址与设备的对应关系，设备包括主机设备和非主机设备；
数据清洗：解析流量文件中的数据包，获取该数据包的源IP地址和目的IP地址，从而判断其是主机设备生成的流量还是非主机设备生成的流量，如果是非主机设备生成的流量，则去除，否则，不予处理。
4.根据权利要求1所述的一种计算回放流量所需最少虚拟资源的方法，其特征在于，步骤(1)中，对每个从节点依次进行数据采集、数据清洗、数据流提取，将得到的每个从节点的数据流信息进行整合，得到数据流集合；根据源IP地址将数据流集合划分为客户的数据流集合和服务的数据流集合；客户的数据流集合和服务的数据流集合的存储格式都为Key：List，Key是<源IP地址，目的IP地址>，List中存储的信息包括属于该数据流的五元组、时间戳和发送的数据，五元组包括源IP地址、源端口、目的IP地址、目的端口和传输层协议。
5.根据权利要求1所述的一种计算回放流量所需最少虚拟资源的方法，其特征在于，采用贪心算法合理划分数据流使得VPi(t)→MAX，具体包括：
D、使用第一台虚拟机模拟回放第一条数据流，判断是否达到第一台虚拟机虚拟机最大发包上限和最大收包上限，如果达到，则申请配置更高的虚拟机来回放第一条数据流，否则，加入第二条数据流；如此循环所有待回放的数据流，得出第一组划分；
E、将待回放的数据流去除第一组划分后，在重复所述步骤D，得到所有数据流的划分。
6.一种计算回放流量所需最少虚拟资源的系统，用于执行权利要求1-5任一所述的一种计算回放流量所需最少虚拟资源的方法，其特征在于，包括依次连接的数据预处理模块、最小虚拟资源计算模块；所述数据预处理模块用于实现上述步骤(1)；所述最小虚拟资源计算模块用于实现上述步骤(2)。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任一所述的计算回放流量所需最少虚拟资源的方法的步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的计算回放流量所需最少虚拟资源的方法的步骤。
CN202110200693.9A 2021-02-23 2021-02-23 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质 Active CN112860378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110200693.9A CN112860378B (zh) 2021-02-23 2021-02-23 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200693.9A CN112860378B (zh) 2021-02-23 2021-02-23 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112860378A CN112860378A (zh) 2021-05-28
CN112860378B true CN112860378B (zh) 2022-07-29

Family

ID=75990013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200693.9A Active CN112860378B (zh) 2021-02-23 2021-02-23 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112860378B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124555A (zh) * 2021-11-29 2022-03-01 杭州迪普科技股份有限公司 报文回放方法、装置、电子设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281213A (zh) * 2013-04-18 2013-09-04 西安交通大学 一种网络流量内容提取和分析检索方法
CN106375118A (zh) * 2016-08-31 2017-02-01 哈尔滨工业大学（威海） 一种多视角的流量混杂回放方法与装置
CN106878074A (zh) * 2017-02-17 2017-06-20 杭州迪普科技股份有限公司 流量过滤方法及装置
CN108900360A (zh) * 2018-08-10 2018-11-27 哈尔滨工业大学（威海） 一种基于多节点流量回放的网络背景生成系统及方法
CN110362380A (zh) * 2019-06-17 2019-10-22 东南大学 一种面向网络靶场的多目标优化虚拟机部署方法
CN111182087A (zh) * 2019-12-18 2020-05-19 哈尔滨工业大学（威海） 一种基于单网卡绑定多ip的流量回放方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475399B (zh) * 2020-03-11 2023-04-14 平安科技（深圳）有限公司 虚拟测试方法及装置
CN112187825B (zh) * 2020-10-13 2022-08-02 网络通信与安全紫金山实验室 一种基于拟态防御的蜜罐防御方法、系统、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281213A (zh) * 2013-04-18 2013-09-04 西安交通大学 一种网络流量内容提取和分析检索方法
CN106375118A (zh) * 2016-08-31 2017-02-01 哈尔滨工业大学（威海） 一种多视角的流量混杂回放方法与装置
CN106878074A (zh) * 2017-02-17 2017-06-20 杭州迪普科技股份有限公司 流量过滤方法及装置
CN108900360A (zh) * 2018-08-10 2018-11-27 哈尔滨工业大学（威海） 一种基于多节点流量回放的网络背景生成系统及方法
CN110362380A (zh) * 2019-06-17 2019-10-22 东南大学 一种面向网络靶场的多目标优化虚拟机部署方法
CN111182087A (zh) * 2019-12-18 2020-05-19 哈尔滨工业大学（威海） 一种基于单网卡绑定多ip的流量回放方法

Also Published As

Publication number Publication date
CN112860378A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN111901327B (zh) 云网络漏洞挖掘方法、装置、电子设备及介质
CN108446692B (zh) 人脸比对方法、装置和系统
CN107040405B (zh) 网络环境下被动式多维度主机指纹模型构建方法及其装置
CN104965695B (zh) 模拟用户实时操作的方法和装置
CN103326900A (zh) 一种面向虚拟网络的流量回放方法及系统
CN108965248A (zh) 一种基于流量分析的p2p僵尸网络检测系统及方法
CN111028085A (zh) 一种基于主被动结合的网络靶场资产信息采集方法及装置
CN110768875A (zh) 一种基于dns学习的应用识别方法及系统
CN113660273B (zh) 超融合架构下基于深度学习的入侵检测方法及装置
CN112860378B (zh) 一种计算回放流量所需最少虚拟资源的方法、系统、设备及存储介质
CN106878314A (zh) 基于可信度的网络恶意行为检测方法
CN111181800A (zh) 测试数据处理方法、装置、电子设备及存储介质
Ennert et al. Testing of IDS model using several intrusion detection tools
CN106067879A (zh) 信息的检测方法及装置
CN113706100B (zh) 配电网物联终端设备实时探测识别方法与系统
CN109978547A (zh) 风险行为控制方法及系统、设备和存储介质
CN113518073B (zh) 一种比特币挖矿僵尸网络流量的快速识别方法
CN112235254B (zh) 一种高速主干网中Tor网桥的快速识别方法
CN115119197B (zh) 基于大数据的无线网络风险分析方法、装置、设备及介质
Akhlaq et al. Implementation and evaluation of network intrusion detection systems
EP3826242B1 (en) Cyber attack information analyzing program, cyber attack information analyzing method, and information processing device
CN108073803A (zh) 用于检测恶意应用的方法及装置
CN113794732B (zh) 一种部署仿真网络环境的方法、装置、设备及存储介质
CN115225347A (zh) 靶场资源监控的方法和装置
CN113065126B (zh) 基于分布式数据沙盒的个人信息合规的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Yang

Inventor after: Liu Hongri

Inventor after: Xin Guodong

Inventor after: Wang Wei

Inventor after: Sun Haoran

Inventor before: Sun Haoran

Inventor before: Liu Yang

Inventor before: Liu Hongri

Inventor before: Xin Guodong

Inventor before: Wang Wei

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant