CN112866267B - 一种网络业务动态识别与划分的系统、方法、设备及存储介质 - Google Patents

一种网络业务动态识别与划分的系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN112866267B
CN112866267B CN202110122729.6A CN202110122729A CN112866267B CN 112866267 B CN112866267 B CN 112866267B CN 202110122729 A CN202110122729 A CN 202110122729A CN 112866267 B CN112866267 B CN 112866267B
Authority
CN
China
Prior art keywords
network
service
information
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110122729.6A
Other languages
English (en)
Other versions
CN112866267A (zh
Inventor
王佰玲
刘红日
刘祚捷
黄俊恒
辛国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202110122729.6A priority Critical patent/CN112866267B/zh
Publication of CN112866267A publication Critical patent/CN112866267A/zh
Application granted granted Critical
Publication of CN112866267B publication Critical patent/CN112866267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种网络业务动态识别与划分的系统、方法、设备及存储介质，包括网络特征提取模块、网络拓扑发现模块和业务识别及划分模块；网络特征提取模块获取实时流量数据，对获取的实时流量数据进行预处理，预处理操作后进行结构化特征提取与量化特征计算，将特征计算的结果进行持久化处理，存入结构化特征库；网络拓扑发现模块进行网络拓扑的发现，构建出网络拓扑信息；业务识别及划分模块进行网络业务的识别和划分。本发明解决了在只有流量数据作为单一数据源的情况下，传统的网络业务识别与划分方法在云数据中心内部环境下不适用的问题，并且进一步满足了进行快速、动态、实时网络识别划分的需求。

Description

一种网络业务动态识别与划分的系统、方法、设备及存储介质
技术领域
本发明涉及一种网络业务动态识别与划分的系统、方法、设备及存储介质，属于互联网安全技术领域。
背景技术
随着云数据中心平台的不断发展，其对安全性的需求也越来越大。面对日益严峻的安全问题，现有的安全防护措施比如防火墙、入侵检测、身份认证等等往往集中在网络边界，目的是防止外部的安全威胁进入到云数据中心内部，关注点聚焦在云边界的安全上。然而，在云环境下，一旦攻击者攻破了云边界防御，那么攻击者就可以在内部随意移动，造成更大的安全隐患。因此，仅仅将安全防护措施部署在云数据中心网络的边界是远远不够的，需要对云的内部实施一定的安全措施，以提高云的安全性。通过分析现有的云数据中心网络安全策略可以得知，在不同种类的策略中，现有的方案多为针对应用、虚拟机级别的安全防护，缺少对业务级别的安全防护策略的研究。
目前，关于云数据中心网络下的业务识别的相关研究较少，同时对于云数据中心内部不同业务的划分存在着空白。针对云数据中心内部业务分类的尚处于初期阶段，没有相对稳定、可靠的实现。对云数据中心网络内东西向流量防护的业务识别与划分技术进行深入研究是云数据中心安全防护的切实需求，许多业务层面的网络防护产品的不断诞生也证明了它的价值。
发明内容
针对现有技术的不足，本发明提供了一种网络业务动态识别与划分的系统；
本发明还提供了一种网络业务动态识别与划分方法、计算机设备及存储介质；
本发明通过对基于业务识别与划分的相关技术进行研究，可以有效加强云技术平台的内部防御，增强访问控制，减少云数据中心内部的攻击面，降低网络攻击对内部的影响，为安全技术人员提供更有价值的云数据中心内部的业务信息，对业务进行及时调整，提高云的安全性。有效地为云数据中心平台安全技术人员制定安全防护策略提供支持。
本发明提出了一种网络业务动态识别与划分的系统与方法。通过对流量数据进行特征序列的计算，并考虑到不同类型的网络业务在当前窗口内的特征序列存在着某种模式，从而采用多分类的思想进行网络业务识别。在网络业务识别的基础上，结合对流量的分析所得到的虚拟机之间的连通关系，将当前网络划分成不同的业务组。
术语解释：
1、云数据中心网络，指建立在可编程的基础设施之上，基于统一的运行管理平台，按需分配资源的网络架构，可以满足虚拟机大范围动态的迁移和调度，能够按需、实时、动态地把物理网络变成多个虚拟网络，满足云计算的动态要求。
2、数据清洗，是发现并纠正数据文件中可识别的错误的一道程序，包括检查数据一致性，处理无效值和缺失值等。
3、去重，消去重复项。
4、去空，消去空项。
5、类型转换，将获取到的数据的类型转换为系统中定义的数据类型，从而使数据符合本系统的规范，便于后续处理。
6、多分类器模型，使用基于高斯混合模型的期望最大化聚类构建的多分类器，是现有的。
7、时序特征，带有时间信息及流量元组信息(包含TCP/IP七元组信息及MAC地址信息)的特征。
8、业务组划分系统，根据业务组的定义将云数据中心中符合不同业务分类的节点正确划分为对应分类的系统。
9、业务组，云数据中心网络中实现同一类网络业务的节点的集合。
10、网络业务，为实现一共同目标通过信息交换实现的一系列过程，其中每个过程都有明确的目的，并延续一段时间。
本发明的技术方案为：
一种网络业务动态识别与划分的系统，包括网络特征提取模块、网络拓扑发现模块和业务识别及划分模块；所述网络特征提取模块用于：获取实时流量数据，对获取的实时流量数据进行预处理，预处理操作后进行结构化特征提取与量化特征计算，将特征计算的结果进行持久化处理，存入结构化特征库；所述网络拓扑发现模块用于：进行网络拓扑的发现，构建出网络拓扑信息；所述业务识别及划分模块用于：进行网络业务的识别和划分。
本发明网络业务动态识别与划分的系统整体设计思路为首先利用嗅探工具获取实时数据流量，对流量进行预处理得到结构化信息；然后提取并计算结构化特征；之后进行网络拓扑发现并同时进行网络业务的识别，得到虚拟机之间的联通关系及业务类型分类结果；将上一步得到的数据作为输入进行业务组划分，从而得到实时划分结果并动态更新。
根据本发明优选的，所述网络特征提取模块包括依次连接的数据获取模块、预处理模块、结构化特征提取模块、量化特征计算模块、特征存储模块；
所述数据获取模块用于获取实时流量数据，实时流量数据即为网络元数据，网络元数据指在网络流量中提取到的数据帧；在得到数据之后交给预处理模块进行处理；
所述预处理模块用于对获取的实时流量数据依次进行数据清洗、去重、去空、类型转换操作；
所述结构化特征提取模块用于对所述预处理模块预处理后的数据进行结构化特征提取；
所述量化特征计算模块用于对提取到的结构化特征进行量化特征计算；
所述特征存储模块用于将计算得到的量化特征存储在结构化特征库中。
进一步优选的，从云数据中心网络中采用镜像端口的方式获取实时流量数据。
进一步优选的，进行结构化特征提取，是指：将预处理后的网络元数据按照时间顺序进行解析，逐层提取出MAC信息及TCP/IP七元组信息，MAC信息是指MAC地址，TCP/IP七元组信息包括源IP地址、目的IP地址、协议号、源IP端口、目的IP端口，服务类型以及接口索引；
进一步优选的，进行量化特征计算，是指：
对提取到的结构化特征进行统计，包括：以太网数据帧个数及载荷个数、UDP/TCP数据包个数及载荷个数、不同类型的TCP数据包个数及载荷个数；
计算香农熵，包括：源IP地址与目的IP地址的香农熵、源IP端口与目的IP端口的香农熵。统计到的信息及香农熵用于业务识别和业务组划分。
根据本发明优选的，所述网络拓扑发现模块用于进行网络拓扑的发现，具体实现过程如下：
首先，解析当前流量数据包即所述预处理模块预处理后的数据中的关键信息，关键信息包括MAC信息及TCP/IP七元组信息；
然后，结合云数据中心网络中的虚拟机信息及各种配置信息进行虚拟机节点探测：从云数据中心网络获取网络拓扑信息，网络拓扑信息包括拓扑图、虚拟机对应的IP；根据网络配置信息构建出网络拓扑图，并实时监测网络拓扑图中各个虚拟节点的状态，包括是否存活、能否联通、是否能够正常通信；
定时发送激活信息，确认虚拟机的状态；网络配置信息中包括各个节点的网卡信息，包括但不限于IP地址、MAC地址、端口信息、数据包发送及接收数目。
最后，根据确认的虚拟节点的状态更新网络拓扑信息，并将结果存入网络及业务信息库中。就是把上一段得到的网络拓扑图和当前时刻监测到的虚拟节点保存到数据库中，为后面业务识别及业务组划分提供所需的信息，通过对虚拟机节点探测结果的分析实现对整体虚拟机集群网络架构的感知，构建出网络拓扑信息，并将结果存入网络及业务信息库中。
根据本发明优选的，所述业务识别及划分模块用于进行网络业务的识别和划分，具体实现过程如下：
(1)将实时流量特征序列即量化特征输入多分类器模型进行业务识别，得到网络业务识别结果；网络业务识别结果包括业务编号、IP及端口协议的元组；所述多分类器模型的生成方法是指：通过具有时序特征的训练数据进行训练得到所述多分类器模型；
(2)将步骤(1)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分；
(3)将步骤(2)得到的划分结果存入业务划分结果库中。同时对日志信息进行按照格式进行规范的记录，自动记录错误、异常等有关信息，便于安全操作人员监控系统运行状况。
进一步优选的，通过具有时序特征的训练数据进行训练得到所述多分类器模型，具体是指：
将获取到的时间序列即按照时间顺序输入的量化特征放入基于高斯混合模型的期望最大化聚类构建的多分类器中，基于期望最大化聚类学习算法进行训练，得到所述多分类器模型。使用所述多分类器模型对后续采集到的流量进行业务的分类。
进一步优选的，在网络业务的识别的过程中，根据网络业务识别结果及网络拓扑信息的改变动态更新所述多分类器模型。网络业务识别系统结合网络业务识别结果进行自学习，动态更新多分类器模型参数。
进一步优选的，将步骤(1)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分，是指：将网络业务识别结果和网络拓扑信息(网络拓扑发现结果)作为时间序列输入业务组划分系统，业务组划分系统根据网络业务识别结果将虚拟机与业务组对应，得到业务组划分结果。
虚拟机拥有固定IP地址及MAC地址，由该地址产生的实时流量数据被数据获取模块采集后由业务识别及划分模块分类后即可将此虚拟机归到对应的业务组内，根据业务需求可灵活制定规则，可将虚拟机节点与多个业务组对应，也可根据量化特征计算模块得到的计数信息采用投票方式确定业务组与虚拟机的一对一关系，使用香农熵信息可衡量虚拟机节点间的重要程度，可用来确定主从关系及中心节点。业务组划分系统通过划分结果进行自我迭代，实现业务组划分的动态更新。
一种网络业务动态识别与划分的方法，包括以下步骤：
1)通过当前网络采集实时流量数据；
2)对采集到的实时流量数据进行预处理；
3)进行网络业务识别的同时并发进行网络拓扑的发现，网络业务识别得到网络业务的动态识别的结果，网络拓扑的发现得到网络拓扑信息；
4)将网络业务的动态识别的结果与网络拓扑信息作为输入，进行业务组的划分；
5)将得到的划分结果存入业务划分结果库中；
6)记录并打印日志。
根据本发明优选的，网络业务识别，包括步骤如下：
7)根据当前网络业务所需要的信息对预处理后的流量元数据进行结构化特征提取；
8)对提取出的结构化特征进行特征序列量化特征计算，得到流量特征序列，并存入结构化特征库中；
9)将实时流量特征序列输入多分类器模型进行业务识别，得到网络业务识别结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现网络业务动态识别与划分的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现网络业务动态识别与划分的方法的步骤。
本发明的有益效果为：
本发明提出的网络业务动态识别与划分的系统可以在当前网络环境下对于云数据中心内部所承载的业务进行识别与划分，解决了在只有流量数据作为单一数据源的情况下，传统的网络业务识别与划分方法在云数据中心内部环境下不适用的问题，并且进一步满足了进行快速、动态、实时网络识别划分的需求。具体包括，1)本发明对云数据中心内部虚拟机之间的流量数据进行结构化特征计算，从而提取出重要信息；2)将不规则的流量数据通过算法迭代获得时间流特征序列，从而将不可量化的业务识别问题形式化为基于序列分析的多分类问题；3)随着时间跨度增加，能够获取到更多流量数据，网络业务动态识别模块及业务组实时划分模块可以进行动态更新，从而得到进一步完善，识别与划分结果也会更加准确。本发明实用范围包括实现云数据中心网络环境中通过流量数据对网络业务进行识别、划分业务组的功能，并达到较高准确度。应用前景十分广泛。
附图说明
图1为本发明网络业务动态识别与划分的系统的架构图；
图2为本发明网络业务动态识别与划分的系统的结构框图；
图3为本发明网络业务识别过程示意图；
图4为本发明业务组实时划分过程示意图；
图5为本发明网络业务动态识别与划分的方法流程图
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种网络业务动态识别与划分的系统，如图1、图2所示，包括网络特征提取模块、网络拓扑发现模块和业务识别及划分模块；网络特征提取模块用于：获取实时流量数据，对获取的实时流量数据进行预处理，预处理操作后进行结构化特征提取与量化特征计算，将特征计算的结果进行持久化处理，存入结构化特征库；网络拓扑发现模块用于：进行网络拓扑的发现，构建出网络拓扑信息；业务识别及划分模块用于：进行网络业务的识别和划分。
本发明网络业务动态识别与划分的系统整体设计思路为首先利用嗅探工具获取实时数据流量，对流量进行预处理得到结构化信息；然后提取并计算结构化特征；之后进行网络拓扑发现并同时进行网络业务的识别，得到虚拟机之间的联通关系及业务类型分类结果；将上一步得到的数据作为输入进行业务组划分，从而得到实时划分结果并动态更新。
实施例2
根据实施例1所述的一种网络业务动态识别与划分的系统，其区别在于：
网络特征提取模块包括依次连接的数据获取模块、预处理模块、结构化特征提取模块、量化特征计算模块、特征存储模块；
数据获取模块用于获取实时流量数据，实时流量数据即为网络元数据，网络元数据指在网络流量中提取到的数据帧；在得到数据之后交给预处理模块进行处理；预处理模块用于对获取的实时流量数据依次进行数据清洗、去重、去空、类型转换操作；结构化特征提取模块用于对预处理模块预处理后的数据进行结构化特征提取；量化特征计算模块用于对提取到的结构化特征进行量化特征计算；特征存储模块用于将计算得到的量化特征存储在结构化特征库中。
从云数据中心网络中采用镜像端口的方式获取实时流量数据。
进行结构化特征提取，是指：将预处理后的网络元数据按照时间顺序进行解析，逐层提取出MAC信息及TCP/IP七元组信息，MAC信息是指MAC地址，TCP/IP七元组信息包括源IP地址、目的IP地址、协议号、源IP端口、目的IP端口，服务类型以及接口索引；
进行量化特征计算，是指：
对提取到的结构化特征进行统计，包括：以太网数据帧个数及载荷个数、UDP/TCP数据包个数及载荷个数、不同类型的TCP数据包个数及载荷个数；
计算香农熵，包括：源IP地址与目的IP地址的香农熵、源IP端口与目的IP端口的香农熵。统计到的信息及香农熵用于业务识别和业务组划分。
网络拓扑发现模块用于进行网络拓扑的发现，具体实现过程如下：
首先，解析当前流量数据包即预处理模块预处理后的数据中的关键信息，关键信息包括MAC信息及TCP/IP七元组信息；
然后，结合云数据中心网络中的虚拟机信息及各种配置信息进行虚拟机节点探测：从云数据中心网络获取网络拓扑信息，网络拓扑信息包括拓扑图、虚拟机对应的IP；根据网络配置信息构建出网络拓扑图，并实时监测网络拓扑图中各个虚拟节点的状态，包括是否存活、能否联通、是否能够正常通信；
定时发送激活信息，确认虚拟机的状态；网络配置信息中包括各个节点的网卡信息，包括但不限于IP地址、MAC地址、端口信息、数据包发送及接收数目。
最后，根据确认的虚拟节点的状态更新网络拓扑信息，并将结果存入网络及业务信息库中。就是把上一段得到的网络拓扑图和当前时刻监测到的虚拟节点保存到数据库中，为后面业务识别及业务组划分提供所需的信息，通过对虚拟机节点探测结果的分析实现对整体虚拟机集群网络架构的感知，构建出网络拓扑信息，并将结果存入网络及业务信息库中。
如图3所示，业务识别及划分模块用于进行网络业务的识别和划分，具体实现过程如下：
(1)将实时流量特征序列即量化特征输入多分类器模型进行业务识别，得到网络业务识别结果；网络业务识别结果包括业务编号、IP及端口协议的元组；多分类器模型的生成方法是指：通过具有时序特征的训练数据进行训练得到多分类器模型；
(2)将步骤(1)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分；
(3)将步骤(2)得到的划分结果存入业务划分结果库中。同时对日志信息进行按照格式进行规范的记录，自动记录错误、异常等有关信息，便于安全操作人员监控系统运行状况。
通过具有时序特征的训练数据进行训练得到多分类器模型，具体是指：
将获取到的时间序列即按照时间顺序输入的量化特征放入基于高斯混合模型的期望最大化聚类构建的多分类器中，基于期望最大化聚类学习算法进行训练，得到多分类器模型。使用多分类器模型对后续采集到的流量进行业务的分类。
在网络业务的识别的过程中，根据网络业务识别结果及网络拓扑信息的改变动态更新多分类器模型。网络业务识别系统结合网络业务识别结果进行自学习，动态更新多分类器模型参数。
将步骤(1)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分，如图4所示，是指：将网络业务识别结果和网络拓扑信息(网络拓扑发现结果)作为时间序列输入业务组划分系统，业务组划分系统根据网络业务识别结果将虚拟机与业务组对应，得到业务组划分结果。
虚拟机拥有固定IP地址及MAC地址，由该地址产生的实时流量数据被数据获取模块采集后由业务识别及划分模块分类后即可将此虚拟机归到对应的业务组内，根据业务需求可灵活制定规则，可将虚拟机节点与多个业务组对应，也可根据量化特征计算模块得到的计数信息采用投票方式确定业务组与虚拟机的一对一关系，使用香农熵信息可衡量虚拟机节点间的重要程度，可用来确定主从关系及中心节点。业务组划分系统通过划分结果进行自我迭代，实现业务组划分的动态更新。
特征存储模块通过统一接口与其他模块连接，特征存储模块包含多种不同的数据库。装置的硬件系统由中央处理器(CPU，central processing unit)，存储器和网络通信模块组成。CPU作为装置的运算和控制核心，是信息处理、程序运行的最终执行单元；具体型号可以采用Broadcom BCM4709A等处理器。存储器包括随机访问存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)和闪存(Flash Memory)，并且存储支持扩展；具体规格RAM采用512MB，DDR3；ROM采用1G；闪存采用256MB。
实施例3
一种网络业务动态识别与划分的方法，如图5所示，包括以下步骤：
1)通过当前网络采集实时流量数据；
2)对采集到的实时流量数据进行预处理；
3)进行网络业务识别的同时并发进行网络拓扑的发现，网络业务识别得到网络业务的动态识别的结果，网络拓扑的发现得到网络拓扑信息；
4)将网络业务的动态识别的结果与网络拓扑信息作为输入，进行业务组的划分；
5)将得到的划分结果存入业务划分结果库中；
6)记录并打印日志。
实施例4
根据实施例3所述的一种网络业务动态识别与划分的方法，其区别在于：
网络业务识别，包括步骤如下：
7)根据当前网络业务所需要的信息对预处理后的流量元数据进行结构化特征提取；
8)对提取出的结构化特征进行特征序列量化特征计算，得到流量特征序列，并存入结构化特征库中；
9)将实时流量特征序列输入多分类器模型进行业务识别，得到网络业务识别结果。
通过日志记录模块记录步骤1)-9)运行期间的数据，并将日志信息存储到数据存储模块。
实施例5
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行所计算机程序时实现实施例3或4所述的网络业务动态识别与划分的方法的步骤。
实施例6
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例3或4所述的网络业务动态识别与划分的方法的步骤。

Claims (9)

1.一种网络业务动态识别与划分的系统，其特征在于，包括网络特征提取模块、网络拓扑发现模块和业务识别及划分模块；所述网络特征提取模块用于：获取实时流量数据，对获取的实时流量数据进行预处理，预处理操作后进行结构化特征提取与量化特征计算，将特征计算的结果进行持久化处理，存入结构化特征库；所述网络拓扑发现模块用于：进行网络拓扑的发现，构建出网络拓扑信息；所述业务识别及划分模块用于：进行网络业务的识别和划分；
所述业务识别及划分模块用于进行网络业务的识别和划分，具体实现过程如下：
（1）将实时流量特征序列即量化特征输入多分类器模型进行业务识别，得到网络业务识别结果；网络业务识别结果包括业务编号、IP及端口协议的元组；所述多分类器模型的生成方法是指：通过具有时序特征的训练数据进行训练得到所述多分类器模型；
（2）将步骤（1）得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分；
（3）将步骤（2）得到的划分结果存入业务划分结果库中；
通过具有时序特征的训练数据进行训练得到所述多分类器模型，具体是指：
将获取到的时间序列即按照时间顺序输入的量化特征放入基于高斯混合模型的期望最大化聚类构建的多分类器中，基于期望最大化聚类学习算法进行训练，得到所述多分类器模型；
在网络业务的识别的过程中，根据网络业务识别结果及网络拓扑信息的改变动态更新所述多分类器模型；
将步骤(1)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分，是指：将网络业务识别结果和网络拓扑信息作为时间序列输入业务组划分系统，业务组划分系统根据网络业务识别结果将虚拟机与业务组对应，得到业务组划分结果；
其中，进行结构化特征提取，是指：将预处理后的网络元数据按照时间顺序进行解析，逐层提取出MAC信息及TCP/IP七元组信息；
进行量化特征计算，是指：对提取到的结构化特征进行统计。
2.根据权利要求1所述的一种网络业务动态识别与划分的系统，其特征在于，所述网络特征提取模块包括依次连接的数据获取模块、预处理模块、结构化特征提取模块、量化特征计算模块、特征存储模块；
所述数据获取模块用于获取实时流量数据，实时流量数据即为网络元数据，网络元数据指在网络流量中提取到的数据帧；所述预处理模块用于对获取的实时流量数据依次进行数据清洗、去重、去空、类型转换操作；所述结构化特征提取模块用于对所述预处理模块预处理后的数据进行结构化特征提取；所述量化特征计算模块用于对提取到的结构化特征进行量化特征计算；所述特征存储模块用于将计算得到的量化特征存储在结构化特征库中。
3.根据权利要求2所述的一种网络业务动态识别与划分的系统，其特征在于，从云数据中心网络中获取实时流量数据。
4.根据权利要求1所述的一种网络业务动态识别与划分的系统，其特征在于，MAC信息是指MAC地址，TCP/IP七元组信息包括源IP地址、目的IP地址、协议号、源IP端口、目的IP端口，服务类型以及接口索引。
5.根据权利要求1所述的一种网络业务动态识别与划分的系统，其特征在于，进行量化特征计算，是指：
对提取到的结构化特征进行统计，包括：以太网数据帧个数及载荷个数、UDP/TCP 数据包个数及载荷个数、不同类型的TCP数据包个数及载荷个数；
计算香农熵，包括：源IP地址与目的IP地址的香农熵、源IP端口与目的IP端口的香农熵。
6.根据权利要求1所述的一种网络业务动态识别与划分的系统，其特征在于，所述网络拓扑发现模块用于进行网络拓扑的发现，具体实现过程如下：
首先，解析当前流量数据包即所述预处理模块预处理后的数据中的关键信息，关键信息包括MAC信息及TCP/IP七元组信息；
然后，结合云数据中心网络中的虚拟机信息及各种配置信息进行虚拟机节点探测：从云数据中心网络获取网络拓扑信息，网络拓扑信息包括拓扑图、虚拟机对应的IP；根据网络配置信息构建出网络拓扑图，并实时监测网络拓扑图中各个虚拟节点的状态，包括是否存活、能否联通、是否能够正常通信；
最后，根据确认的虚拟节点的状态更新网络拓扑信息，并将结果存入网络及业务信息库中。
7.一种网络业务动态识别与划分的方法，其特征在于，包括以下步骤：
1）通过当前网络采集实时流量数据；
2）对采集到的实时流量数据进行预处理；
3）进行网络业务识别的同时并发进行网络拓扑的发现，网络业务识别得到网络业务的动态识别的结果，网络拓扑的发现得到网络拓扑信息；
4）将网络业务的动态识别的结果与网络拓扑信息作为输入，进行业务组的划分；
5）将得到的划分结果存入业务划分结果库中；
6）记录并打印日志；
网络业务识别进一步包括步骤如下：
(a)根据当前网络业务所需要的信息对预处理后的流量元数据进行结构化特征提取；
(b)对提取出的结构化特征进行特征序列量化特征计算，得到流量特征序列，并存入结构化特 征库中；
(c)将实时流量特征序列输入多分类器模型进行业务识别，得到网络业务识别结果；
其中，进行网络业务的识别和划分还进一步包括如下实现过程：
(d)将实时流量特征序列即量化特征输入多分类器模型进行业务识别，得到网络业务识别结果；网络业务识别结果包括业务编号、IP及端口协议的元组；所述多分类器模型的生成方法是指：通过具有时序特征的训练数据进行训练得到所述多分类器模型；
(e)将步骤(d)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分；
(f)将步骤(e)得到的划分结果存入业务划分结果库中；
通过具有时序特征的训练数据进行训练得到所述多分类器模型，具体是指：将获取到的时间序列即按照时间顺序输入的量化特征放入基于高斯混合模型的期望最大化聚类构建的多分类器中，基于期望最大化聚类学习算法进行训练，得到所述多分类器模型；
在网络业务的识别的过程中，根据网络业务识别结果及网络拓扑信息的改变动态更新所述多分类器模型；
将步骤(d)得到的网络业务识别结果与网络拓扑信息作为输入，进行业务组的划分，是指：将网络业务识别结果和网络拓扑信息作为时间序列输入业务组划分系统，业务组划分系统根据网络业务识别结果将虚拟机与业务组对应，得到业务组划分结果；
其中，进行结构化特征提取，是指：将预处理后的网络元数据按照时间顺序进行解析，逐层提取出MAC信息及TCP/IP七元组信息；
进行量化特征计算，是指：对提取到的结构化特征进行统计。
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行权利要求7所述计算机程序时实现网络业务动态识别与划分的方法的步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7网络业务动态识别与划分的方法的步骤。
CN202110122729.6A 2021-01-29 2021-01-29 一种网络业务动态识别与划分的系统、方法、设备及存储介质 Active CN112866267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110122729.6A CN112866267B (zh) 2021-01-29 2021-01-29 一种网络业务动态识别与划分的系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110122729.6A CN112866267B (zh) 2021-01-29 2021-01-29 一种网络业务动态识别与划分的系统、方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112866267A CN112866267A (zh) 2021-05-28
CN112866267B true CN112866267B (zh) 2022-12-30

Family

ID=75987883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110122729.6A Active CN112866267B (zh) 2021-01-29 2021-01-29 一种网络业务动态识别与划分的系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112866267B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992718B (zh) * 2021-10-28 2022-10-04 安徽农业大学 一种基于动态宽度图神经网络的群体传感器异常数据检测方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061895A1 (en) * 2015-10-09 2017-04-13 Huawei Technologies Co., Ltd. Method and system for automatic online identification of network traffic patterns

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200133A (zh) * 2013-03-21 2013-07-10 南京邮电大学 一种基于网络流引力聚类的流量识别方法
CN103338150B (zh) * 2013-07-19 2016-06-15 中国人民解放军信息工程大学 信息通信网络体系结构建立方法、装置、服务器和路由器
US10511485B2 (en) * 2015-08-11 2019-12-17 At&T Intellectual Property I, L.P. Dynamic virtual network topology discovery engine
CN111431820A (zh) * 2020-03-09 2020-07-17 上海交通大学 基于业务类型的在线数据流QoS识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061895A1 (en) * 2015-10-09 2017-04-13 Huawei Technologies Co., Ltd. Method and system for automatic online identification of network traffic patterns

Also Published As

Publication number Publication date
CN112866267A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN111565205B (zh) 网络攻击识别方法、装置、计算机设备和存储介质
CN111510433A (zh) 一种基于雾计算平台的物联网恶意流量检测方法
CN113468071B (zh) 模糊测试用例生成方法、系统、计算机设备及存储介质
CN113206860A (zh) 一种基于机器学习和特征选择的DRDoS攻击检测方法
CN113660273B (zh) 超融合架构下基于深度学习的入侵检测方法及装置
CN107483451B (zh) 基于串并行结构网络安全数据处理方法及系统、社交网络
CN103532969A (zh) 一种僵尸网络检测方法、装置及处理器
CN113706100B (zh) 配电网物联终端设备实时探测识别方法与系统
CN111935185B (zh) 基于云计算构建大规模诱捕场景的方法及系统
CN115277102B (zh) 网络攻击检测方法、装置、电子设备及存储介质
CN112202718B (zh) 一种基于XGBoost算法的操作系统识别方法、存储介质及设备
CN113328985A (zh) 一种被动物联网设备识别方法、系统、介质及设备
CN112866267B (zh) 一种网络业务动态识别与划分的系统、方法、设备及存储介质
CN115277113A (zh) 一种基于集成学习的电网网络入侵事件检测识别方法
CN113205134A (zh) 一种网络安全态势预测方法及系统
CN113705604A (zh) 僵尸网络流量分类检测方法、装置、电子设备及存储介质
CN112788065B (zh) 一种基于蜜罐和沙箱的物联网僵尸网络追踪方法及装置
CN114401516A (zh) 一种基于虚拟网络流量分析的5g切片网络异常检测方法
CN111669396B (zh) 一种软件定义物联网自学习安全防御方法及系统
CN112291213A (zh) 一种基于智能终端的异常流量分析方法及装置
CN117336033A (zh) 流量的拦截方法、装置、存储介质及电子设备
Sun et al. Deep learning-based anomaly detection in LAN from raw network traffic measurement
Kousar et al. DDoS attack detection system using Apache spark
CN116155581A (zh) 一种基于图神经网络的网络入侵检测方法与装置
CN115065592A (zh) 信息处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Bailing

Inventor after: Liu Hongri

Inventor after: Liu Zuojie

Inventor after: Huang Junheng

Inventor after: Xin Guodong

Inventor before: Liu Zuojie

Inventor before: Wang Bailing

Inventor before: Liu Hongri

Inventor before: Huang Junheng

Inventor before: Xin Guodong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant