CN116155581A - 一种基于图神经网络的网络入侵检测方法与装置 - Google Patents

一种基于图神经网络的网络入侵检测方法与装置 Download PDF

Info

Publication number
CN116155581A
CN116155581A CN202310074762.5A CN202310074762A CN116155581A CN 116155581 A CN116155581 A CN 116155581A CN 202310074762 A CN202310074762 A CN 202310074762A CN 116155581 A CN116155581 A CN 116155581A
Authority
CN
China
Prior art keywords
information
network
host
data
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310074762.5A
Other languages
English (en)
Inventor
王新宇
庄永真
罗进开
万志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310074762.5A priority Critical patent/CN116155581A/zh
Publication of CN116155581A publication Critical patent/CN116155581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于图神经网络的网络入侵检测方法与装置。本发明通过监听交换机镜像端口，拉取网络流量数据，将网络主机信息、网络流量信息收集起来，利用收集的信息构建主机与流量的特征。随后利用图神经网络，同时聚合边信息和节点信息，学习到流量和节点的模式结构。将定期收集好的数据，输入到训练好的图神经网络模型中，通过衡量待检测流量与正常流量模式之间的偏移，检测出异常流量信息，并将异常流量信息存储并推送给运维人员。本发明还构建了实现该方法的装置，提供了高效的数据收集手段，选出了关键的特征信息，并同时考虑到了节点和边两种维度的特征，可以有效识别出不断变化的异常流量，并及时发出告警。

Description

一种基于图神经网络的网络入侵检测方法与装置
技术领域
本发明涉及网络入侵检测领域，尤其涉及一种基于图神经网络的网络入侵检测方法与装置。
背景技术
在过去的几年中，随着互联网技术的不断普及与迭代，互联网场景下的网络攻击现象变得越来越常见。大多数企业都拥有自己的门户网站，以便发布信息、给用户提供服务，以及对外宣传等。为了实现这些功能，门户网站需要调用内部或者外部的服务，企业内部构成了连接不同应用的服务网络，在这这种情况下，网络攻击的防范变得异常重要。网络攻击者可以窃取网络信息，导致用户隐私泄露，也可以利用僵尸网络进行DDoS攻击，使得关键设备服务可用性降低。此外，一些大型企业或者国有企业存储了非常敏感的信息，如果遭遇攻击，导致信息泄露或者状态异常，不仅会导致严重的经济损失，还很有可能对国家安全或者公共安全造成威胁。网络入侵检测，可以监控网络流量信息，是探测和预防网络攻击的重要手段，其目的是监控网络内的流量，给出异常的提示，使得系统运维人员可以及时处置。
大多数的网络入侵检测，往往都是采用的基于签名的方法，也就是采用预先定义好的攻击签名，与被监控的网络流量进行比较，这在对网络攻击有较好先验知识的情况下，可以达到比较高的准确率。然而，网络攻击技术总在不断发展，在出现新的攻击类型以及发生变化的攻击类型时，基于签名的方法效果非常不理想。还有一些基于机器学习的网络入侵检测方法，其手段是评估监控流量与网络中正常流量的偏移，来探测网络中的异常流量，但是，目前的方法具有下列不足：
1)往往只考虑了单独的流量记录，没有考虑到这些流量因为网络拓扑关系，而存在隐含的相互影响。
2)往往只考虑到了流量的特征，而没有同时考虑到网络中节点(主机)的特征，对异常情况的建模过于片面。
发明内容
针对现有方法无法有效应用变化的、新颖的攻击类型，以及建模过于片面、不能同时考虑到设备主机信息和网络结构信息的缺陷，本发明提出了一种基于图神经网络的网络入侵检测方法。
本方法选出了合理的流量特征以及主机特征，分别对应了图中的边和节点特征，提出了新颖的图神经网络方法，将图中节点的(主机)信息和图中边(流量)的信息进行充分结合，充分考虑到网络结构对流量特征的影响，能够有效应对复杂多变的异常网络流量，因而可以有效定位异常流量，实现网络入侵检测。
本发明是利用以下技术手段进行实现的：根据说明书的第一方面，提供了一种基于图神经网络的网络入侵检测方法，方法包含以下步骤：
S1、重定向数据，对需要监听网络的交换机，配置端口镜像，非侵入式的将需要监听的网络流量数据重定向；
S2、收集数据，通过监听重定向数据步骤中对交换机配置的镜像端口，收集所有的TCP流量包；
S3、数据预处理，从每条TCP包中获取TCP包关联的信息，并记录每个主机的信息，包含静态的数据信息，以及实时更新的动态实时数据信息，这些信息将被存储在本地部署的数据库中；
S4、构建网络图结构数据，将每个主机号和端口号对作为一个节点，每个节点的特征向量包含多个类别的特征，包括静态的主机软件配置类特征、主机硬件配置类特征，以及动态的主机软硬件统计信息类特征、主机网络流量相关统计信息类特征和主机异常情况类统计信息特征；
由两个节点唯一标识一个边，边也具有多个类别的特征，包括静态的网络拓扑结构类特征，动态的TCP包统计信息类特征和异常历史情况统计类特征；
S5、模型构建与模型训练，构建模型，具体为利用图神经网络，将网络流量信息作为图中的边，与图节点特征相结合，最终共同构建出高层节点表示，利用高层节点表示进行重构原始边信息，并计算重构信息与原始数据的重构误差；模型训练部分，模型训练的优化目标是最小化重构误差损失函数，最终训练出网络参数；
S6、攻击在线推理预测，具体步骤如下：当模型训练完成后，持续收集数据，以固定的时间间隔，将网络中该间隔内出现的流量信息提取为网络图结构数据，以所述S5中重构误差的方式计算每一条边的误差损失函数值，该损失函数值越大，代表正在检测的流量与正常流量偏移程度越高，也就意味着是异常流量的可能更大；
S7、异常预警：将异常流量信息存储并推送给运维人员，以便及时发现异常、定位异常并进行后续的数据分析。
进一步地，收集的TCP流量包以PCAP格式用POSIX方式存储在分布式文件系统中。
进一步地，所述数据预处理中：通过周期性地微批式的方式处理收集下来的TCP流量包。
进一步地，所述数据预处理中，在存储数据时，在内存中进行收集信息的缓存。
进一步地，所述构建网络图结构数据中每个节点多个类别的特征包括：
静态的主机软件配置类特征，包含：主机操作系统版本、主机安全软件版本和主机网络端口驱动版本；
静态的主机硬件配置类特征，包含：主机网络端口带宽、主机CPU参数、主机内存大小、主机内存读写速度和主机磁盘读写速度；
动态的主机软硬件统计信息，包含：主机启动时长、主机CPU占用率、主机内存占用率、主机磁盘占用率、主机当前运行的线程数量和主机过去一段时间内发生的错误次数；
动态的主机网络流量统计信息，包含：主机当前的网络带宽占用量、主机过去一段时间内发送和接收的TCP包数、主机过去一段时间发送和接收的TCP包总字节数和主机过去一段时间内收到的非正常网络包数量；
动态的主机异常情况统计信息，包含：主机历史关联异常流量的数量、主机上一次关联异常流量至今的时间和主机关联异常流量异常级别的加权平均；
进一步地，所述构建网络图结构数据中每个边的多个类别的特征包含：
静态的网络配置与拓扑结构类特征，包括：两端节点所关联的边数量和两个对应节点间的带宽；
动态的TCP包统计信息类特征，包括：两个节点间过去一段时间内发送的TCP包数量、两个节点间过去一段时间内发送的TCP包总字节数、该边当前的网络延时情况和该边包含的IP地址相关信息；
动态的异常历史信息统计类特征，包括：该边过去出现异常流量的数量、该边最近一次出现异常流量至今的时间、该边出现过的异常流量级别的加权平均和该边过去一段时间内出现的IP地址曾经关联异常流量的信息。
进一步地，所述S4构建网络图结构数据中，特征的具体值根据收集的信息，经过特征筛选后得到。
进一步地，所述S7异常预警中发送给运维人员的数据包含异常流量具体细节、异常流量关联的节点信息、根据异常分数进行划分的异常流量异常等级和异常发生的时间。
根据说明书的第二方面，提供了一种基于图神经网络的网络入侵检测装置，该装置包括：数据收集服务器、存储模块、模型训练服务器和监控屏；
所述数据收集服务器用于S2-S3中的收集数据和数据预处理，通过监听重定向数据步骤中对交换机配置的镜像端口，收集所有的TCP流量包；从每条TCP包中获取TCP包关联的信息，并记录每个主机的信息，包含静态的数据信息，以及实时更新的动态实时数据信息，这些信息将被存储在本地部署的数据库中；
所述存储模块用于存储网络中的边节点信息；
所述模型训练服务器用于S5-S6中的模型构建与模型训练和攻击在线推理预测，具体为利用图神经网络，将网络流量信息作为图中的边，与图节点特征相结合，最终共同构建出高层节点表示，利用高层节点表示进行重构原始边信息，并计算重构信息与原始数据的重构误差；模型训练的优化目标是最小化重构误差损失函数，最终训练出网络参数；
当模型训练完成后，持续收集数据，以固定的时间间隔，将网络中该间隔内出现的流量信息提取为网络图结构数据，以所述S5中重构误差的方式计算每一条边的误差损失函数值，该损失函数值越大，代表正在检测的流量与正常流量偏移程度越高，也就意味着是异常流量的可能更大；
所述监控屏用于S7中的异常预警，将运维人员的数据包含异常流量具体细节、异常流量关联的节点信息、根据异常分数进行划分的异常流量异常等级和异常发生的时间推送给运维人员，以便及时发现异常、定位异常并进行后续的数据分析。
进一步地，所述数据收集服务器在步骤S6中，模型训练完成后，数据收集服务器会持续收集数据，以固定的时间间隔，将网络中过去一个时间间隔内出现的流量信息提取为图结构信息，随后将该图结构下来，并发起预测请求。
本发明的有益效果是：本发明提供了完整的数据收集、模型训练、模型预测、异常预警流程，部署结构清晰，效果明显。本发明利用异常流量与正常模式的偏离来探测异常，解决了传统基于签名的入侵检测不能有效应对未预先录入的新型、变化的异常流量的缺陷。此外，本发明充分考虑到了节点和边两个维度的信息，对流量的建模更加完整，效果更加突出。最后，本发明提供实时监控大屏，及时输出异常流量信息，以及相关主要信息，可以帮助系统运维人员迅速定位到异常，及时采取有效措施。
附图说明
图1为本发明实施例提供的一种基于图神经网络的网络入侵检测装置部署架构图；
图2为本发明实施例提供的一种基于图神经网络的网络入侵检测方法实施流程图；
图3为本发明实施例提供的一种基于图神经网络的网络入侵检测方法中模型特征聚合示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明提供一种基于图神经网络的网络入侵检测方法，如图2所示，其基本包括以下步骤：
S1首先进行定位数据，对需要监听网络的交换机，配置端口镜像(PortMirroring)，并配置监听方式为镜像所有流量，配置源端口(source port)为需要监听的端口号，配置镜像端口(mirror port)为连接数据收集服务器的端口号；非侵入式的将需要监听的网络流量数据重定向。
S2数据定位完成后需要收集数据，数据收集服务器运行一个单独的进程，监听第(1)步配置中的交换机镜像端口(mirror port)，收集所有的TCP包，以PCAP文件格式以POSIX方式存储在分布式文件系统中。
S3对收集的原始数据，进行数据预处理，主要实施手段是：数据收集服务器运行一个单独的进程，周期性地微批式扫描由数据收集进程存储的文件，获取静态的信息与动态的实时信息。从每条TCP包中获取目的主机IP地址、源主机IP地址、目的主机端口号、源主机端口号、TCP包大小等诸多信息。数据收集服务器会记录每个主机的信息，包含主机的操作系统版本、通信软件版本、安全软件版本等静态信息，以及主机过去一段时间发出的TCP包数量、总的字节数，以及主机曾经关联过的异常流量、主机当前的CPU占用率、网络带宽占有率等动态实时更新的信息。数据收集服务器会将这些信息存储在本地部署的数据库中，并且利用分布式内存数据库进行维护每个主机的相关状态的缓存。
S4构建网络图结构数据：数据收集服务器会将每个(主机号，端口号)对作为一个节点，每个节点的特征向量包含多个维度：
静态的主机软件配置类特征，包含：主机操作系统版本、主机安全软件版本、主机网络端口驱动版本等，对应信息会输入本地部署的知识图谱平台，将输出评分作为特征值。
静态的主机硬件配置类特征，包含：主机网络端口带宽、主机CPU参数、主机内存大小、主机内存读写速度、主机磁盘读写速度等信息，与软件配置特征类似，进行生成特征值。
动态的主机软硬件统计信息，包含：主机启动时长、主机CPU占用率、主机内存占用率、主机磁盘占用率、主机当前运行的线程数量、主机过去一段时间内发生的错误次数等信息。
动态的主机网络流量统计信息，包含：主机当前的网络带宽占用量、主机过去一段时间内发送和接收的TCP包数、主机过去一段时间发送和接收的TCP包总字节数、主机过去一段时间内收到的非正常网络包数量等信息。
动态的主机异常情况统计信息，包含：主机历史关联异常流量的数量、主机上一次关联异常流量至今的时间、主机关联异常流量异常级别的加权平均等信息。
除了节点信息以外，还会提取边信息，由两个节点唯一标识一个边，形如(主机号1端口号80，主机号2端口号8080)的对标识一个边，边也具有多维的特征：
静态的网络配置与拓扑结构类特征，包括：两端节点所关联的边数量、两个对应节点间的带宽等信息。
动态的TCP包统计信息类特征，包括：两个节点间过去一段时间内发送的TCP包数量、两个节点间过去一段时间内发送的TCP包总字节数、该边当前的网络延时情况、该边包含的IP地址相关信息等。
动态的异常历史信息统计类特征，包括：该边过去出现异常流量的数量、该边最近一次出现异常流量至今的时间、该边出现过的异常流量级别的加权平均、该边过去一段时间内出现的IP地址曾经关联异常流量的信息等。
最后，为了方便训练和表示，将所有的N个节点表示为0到N-1的整数，并利用内存映射数据结构维护从(主机名，端口号)对到表示该节点的整数的映射，边的表示也做相应简化。所有生成的图信息，为了效率和容错考虑，均存储在本地部署的分布式内存数据库中。
S5模型构建与模型训练，主要手段如下：第(4)步中提取出的所有主机信息构成了图结构的节点集合以及相应原始特征，而提取出的所有流量信息，构成了图结构的边集合以及相应原始特征，每个流量信息与其两端主机信息的关联，对应了图结构中的边与两个节点的关联关系。以vi表示节点i，其特征为
Figure SMS_1
其中，F表示节点特征的维度，其构造方法如第(4)步所述。以ei,j表示节点i和节点j之间相连的边，其特征为/>
Figure SMS_2
其中E表示边特征维度，其构造方法如第(4)步所述。节点集合、边集合分别表示为/>
Figure SMS_3
ε。/>
Figure SMS_4
表示第l层的节点嵌入，0≤l≤L，L表示总的图神经网络层数，第0层的节点嵌入就是原始节点特征。
Figure SMS_5
分别表示两个可学习的矩阵参数，其中F、E的含义前面已给出
如图3所示，邻居节点之间的分数经过加权聚合形成下一层节点的表示；
本实施例中，为了根据
Figure SMS_6
得到/>
Figure SMS_7
其计算方法如下：
对节点vi的所有邻居节点(有边相连的节点)vj，计算vj与vi相关的分数为：
Figure SMS_8
其中，βi,j＝LeakyReLU(aT[((Wvhi)⊙(tanh(Weki,j)))||((Wvhi)⊙(tanh(Weki,j)))，exp表示指数函数，LeakyReLU表示LeakyReLU函数，tanh表示双曲正切函数，⊙表示哈达玛积，a为可学习的参数向量，T表示转置，||表示连接操作，∑表示求和运算符，
Figure SMS_9
表示节点i的邻居节点集合。最终，/>
Figure SMS_10
计算方式为：
Figure SMS_11
其中，σ表示sigmoid函数。
上述过程重复多轮，得到最终输出的每个节点学习到的特征，最终的误差损失函数为：
Figure SMS_12
其中，Wz为可训练的参数，∥表示连接操作，T表示转置，σ表示sigmoid函数。本方法采用了Adam优化器，学习率设置为0.001，dropout概率设置为0.32，并采用了L2正则化手段。模型训练服务器会从本地部署的分布式内存数据库中拉取第(4)步生成的网络数据，利用上述阐述的方法进行训练，得到训练好的模型。
S6攻击在线推理预测，主要实施手段如下：当训练好模型后，数据收集服务器会持续收集数据，以10分钟的时间间隔，将网络中过去10分钟出现的流量信息提取为图结构信息，其具体步骤如本方法第(S1)、(S2)、(S3)、(S4)步所示，随后将该图结构存储在本地部署的分布式内存数据库中，并向模型训练服务器发起预测请求。
模型训练服务器收到预测请求后，从内存数据库拉取需要预测的网络数据，以第(5)步所描述的方式计算每一条边的误差损失函数值，并计算其中90％分位数，记该分位数为Anomaly_threshold，也就是异常分数，随后将所有误差损失函数值高于Anomaly_threshold的流量认定为异常流量。
S7异常预警：为了更好分析异常信息，会立即将异常流量描述、异常流量关联的两个节点的标识符、时间戳等信息存储到本地搭建的OLTP数据库中，以便后续进行数据分析。此外，为了及时预警，本方法还会将异常数据推送到监控大屏中，包含异常流量具体细节、异常流量关联的节点信息、异常流量的异常等级(按照前述计算出的异常分数进行划分)、异常发生的时间等关键信息。
如表1所示，本发明实施例提供的本地数据集上测试结果为：618活动期间数据，F1为1.00，准确率为99.96％；日常数据5月采样为F1分数值0.98，准确率96.48％；日常数据6月采样为F1分数值0.99，准确率98.03％；国庆期间数据F1分数值0.95，准确率92.91％；由此可见，本发明提供的方法在企业流量数据集中准确率可以达到90％以上，F1分数值可以达到0.9以上。
表1
数据集 F1分数值 准确率
618活动期间数据 1.00 99.96％
日常数据5月采样 0.98 96.48％
日常数据6月采样 0.99 98.03％
国庆期间数据 0.95 92.91％
如图1所示：本发明实施例提供的一种基于图神经网络的网络入侵检测装置，该装置包括：数据收集服务器、存储模块、模型训练服务器和监控屏；
所述数据收集服务器用于S2-S3中的收集数据和数据预处理，通过监听重定向数据步骤中对交换机配置的镜像端口，收集所有的TCP流量包；从每条TCP包中获取TCP包关联的信息，并记录每个主机的信息，包含静态的数据信息，以及实时更新的动态实时数据信息，这些信息将被存储在本地部署的数据库中；
所述存储模块用于存储网络中的边节点信息；
所述模型训练服务器用于S5-S6中的模型构建与模型训练和攻击在线推理预测，具体为利用图神经网络，将网络流量信息作为图中的边，与图节点特征相结合，最终共同构建出高层节点表示，利用高层节点表示进行重构原始边信息，并计算重构信息与原始数据的重构误差；模型训练的优化目标是最小化重构误差损失函数，最终训练出网络参数；
当模型训练完成后，持续收集数据，以固定的时间间隔，将网络中该间隔内出现的流量信息提取为网络图结构数据，以所述S5中重构误差的方式计算每一条边的误差损失函数值，该损失函数值越大，代表正在检测的流量与正常流量偏移程度越高，也就意味着是异常流量的可能更大；
所述监控屏用于S7中的异常预警，将运维人员的数据包含异常流量具体细节、异常流量关联的节点信息、根据异常分数进行划分的异常流量异常等级和异常发生的时间推送给运维人员，以便及时发现异常、定位异常并进行后续的数据分析。
所述数据收集服务器在步骤S6中，模型训练完成后，数据收集服务器会持续收集数据，以固定的时间间隔，将网络中过去一个时间间隔内出现的流量信息提取为图结构信息，随后将该图结构下来，并发起预测请求。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于图神经网络的网络入侵检测方法，其特征在于，该方法包含以下步骤：
S1、重定向数据：对需要监听网络的交换机配置端口镜像，非侵入式的将需要监听的网络流量数据重定向；
S2、收集数据：通过监听S1中对交换机配置的镜像端口，收集所有的TCP流量包；
S3、数据预处理：从每条TCP流量包中获取TCP流量包关联的信息，并记录每个主机的信息，包含静态的数据信息，以及实时更新的动态实时数据信息，这些信息将被存储在本地部署的数据库中；
S4、构建网络图结构数据：将每个主机号和端口号对作为一个节点，每个节点的特征向量包含多个类别的特征，包括静态的主机软件配置类特征、主机硬件配置类特征，以及动态的主机软硬件统计信息类特征、主机网络流量相关统计信息类特征和主机异常情况类统计信息特征；由两个节点唯一标识一个边，边也具有多个类别的特征，包括静态的网络拓扑结构类特征，动态的TCP流量包统计信息类特征和异常历史情况统计类特征；
S5、模型构建与训练：模型构建具体为，利用图神经网络，将网络流量信息作为图中的边，与图节点特征相结合，最终共同构建出高层节点表示，利用高层节点表示进行重构原始边信息，并计算重构信息与原始数据的重构误差；模型训练的优化目标是最小化重构误差损失函数，最终训练出网络参数；
S6、攻击在线推理预测：当模型训练完成后，持续收集数据，以固定的时间间隔，将网络中该间隔内出现的流量信息提取为网络图结构数据，以S5中重构误差的方式计算每一条边的误差损失函数值，该损失函数值越大，代表正在检测的流量与正常流量偏移程度越高，也就意味着是异常流量的可能更大；
S7、异常预警：将异常流量信息存储并推送给运维人员，以便及时发现异常、定位异常并进行后续的数据分析。
2.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，收集的TCP流量包以PCAP格式用POSIX方式存储在分布式文件系统中。
3.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述数据预处理中，通过周期性地微批式的方式处理收集的TCP流量包。
4.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述数据预处理中，在存储数据时，在内存中进行收集信息的缓存。
5.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述构建网络图结构数据的过程中，每个节点的多个类别的特征包括：
静态的主机软件配置类特征，包含：主机操作系统版本、主机安全软件版本和主机网络端口驱动版本；
静态的主机硬件配置类特征，包含：主机网络端口带宽、主机CPU参数、主机内存大小、主机内存读写速度和主机磁盘读写速度；
动态的主机软硬件统计信息，包含：主机启动时长、主机CPU占用率、主机内存占用率、主机磁盘占用率、主机当前运行的线程数量和主机过去一段时间内发生的错误次数；
动态的主机网络流量统计信息，包含：主机当前的网络带宽占用量、主机过去一段时间内发送和接收的TCP包数、主机过去一段时间发送和接收的TCP包总字节数和主机过去一段时间内收到的非正常网络包数量；
动态的主机异常情况统计信息，包含：主机历史关联异常流量的数量、主机上一次关联异常流量至今的时间和主机关联异常流量异常级别的加权平均。
6.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述构建网络图结构数据的过程中，每个边的多个类别的特征包括：
静态的网络配置与拓扑结构类特征，包括：两端节点所关联的边数量和两个对应节点间的带宽；
动态的TCP包统计信息类特征，包括：两个节点间过去一段时间内发送的TCP包数量、两个节点间过去一段时间内发送的TCP包总字节数、该边当前的网络延时情况和该边包含的IP地址相关信息；
动态的异常历史信息统计类特征，包括：该边过去出现异常流量的数量、该边最近一次出现异常流量至今的时间、该边出现过的异常流量级别的加权平均和该边过去一段时间内出现的IP地址曾经关联异常流量的信息。
7.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述构建网络图结构数据的过程中，特征的具体值根据收集的信息经过特征筛选后得到。
8.根据权利要求1所述的基于图神经网络的网络入侵检测方法，其特征在于，所述异常预警中，发送给运维人员的数据包含异常流量具体细节、异常流量关联的节点信息，选取重构误差损失函数的90％分位数作为异常分数，根据异常分数进行划分的异常流量异常等级和异常发生的时间。
9.一种用于实现权利要求1-8任一项所述方法的基于图神经网络的网络入侵检测装置，其特征在于，该装置包括：数据收集服务器、存储模块、模型训练服务器和监控屏；
所述数据收集服务器用于S2-S3中的收集数据和数据预处理，通过监听重定向数据步骤中对交换机配置的镜像端口，收集所有的TCP流量包；从每条TCP包中获取TCP包关联的信息，并记录每个主机的信息，包含静态的数据信息，以及实时更新的动态实时数据信息，这些信息将被存储在本地部署的数据库中；
所述存储模块用于存储网络中的边节点信息；
所述模型训练服务器用于S5-S6中的模型构建与模型训练和攻击在线推理预测，具体为利用图神经网络，将网络流量信息作为图中的边，与图节点特征相结合，最终共同构建出高层节点表示，利用高层节点表示进行重构原始边信息，并计算重构信息与原始数据的重构误差；模型训练的优化目标是最小化重构误差损失函数，最终训练出网络参数；
当模型训练完成后，持续收集数据，以固定的时间间隔，将网络中该间隔内出现的流量信息提取为网络图结构数据，以所述S5中重构误差的方式计算每一条边的误差损失函数值，该损失函数值越大，代表正在检测的流量与正常流量偏移程度越高，也就意味着是异常流量的可能更大；
所述监控屏用于S7中的异常预警，将运维人员的数据包含异常流量具体细节、异常流量关联的节点信息、根据异常分数进行划分的异常流量异常等级和异常发生的时间推送给运维人员，以便及时发现异常、定位异常并进行后续的数据分析。
10.根据权利要求9所述的基于图神经网络的网络入侵检测装置，其特征在于，所述数据收集服务器在步骤S6中，模型训练完成后，数据收集服务器会持续收集数据，以固定的时间间隔，将网络中过去一个时间间隔内出现的流量信息提取为图结构信息，随后将该图结构下来，并发起预测请求。
CN202310074762.5A 2023-02-07 2023-02-07 一种基于图神经网络的网络入侵检测方法与装置 Pending CN116155581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310074762.5A CN116155581A (zh) 2023-02-07 2023-02-07 一种基于图神经网络的网络入侵检测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310074762.5A CN116155581A (zh) 2023-02-07 2023-02-07 一种基于图神经网络的网络入侵检测方法与装置

Publications (1)

Publication Number Publication Date
CN116155581A true CN116155581A (zh) 2023-05-23

Family

ID=86338584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310074762.5A Pending CN116155581A (zh) 2023-02-07 2023-02-07 一种基于图神经网络的网络入侵检测方法与装置

Country Status (1)

Country Link
CN (1) CN116155581A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117172413A (zh) * 2023-09-07 2023-12-05 中国科学院合肥物质科学研究院 基于多模态数据联合表征和动态权重学习的电网设备运行状态监测方法
CN118611997A (zh) * 2024-08-09 2024-09-06 国网浙江省电力有限公司杭州供电公司 一种基于网口防护装置的感知安全防护方法、系统及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117172413A (zh) * 2023-09-07 2023-12-05 中国科学院合肥物质科学研究院 基于多模态数据联合表征和动态权重学习的电网设备运行状态监测方法
CN117172413B (zh) * 2023-09-07 2024-05-14 中国科学院合肥物质科学研究院 基于多模态数据联合表征和动态权重学习的电网设备运行状态监测方法
CN118611997A (zh) * 2024-08-09 2024-09-06 国网浙江省电力有限公司杭州供电公司 一种基于网口防护装置的感知安全防护方法、系统及设备

Similar Documents

Publication Publication Date Title
CN107683586B (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
WO2020077672A1 (zh) 一种服务质量评估模型的训练方法及装置
Bivens et al. Network-based intrusion detection using neural networks
CN116155581A (zh) 一种基于图神经网络的网络入侵检测方法与装置
CN111541661A (zh) 基于因果知识的电力信息网络攻击场景重构方法及系统
CN107770132B (zh) 一种对算法生成域名进行检测的方法及装置
CN111309565B (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
CN104660464B (zh) 一种基于非广延熵的网络异常检测方法
EP3465515B1 (en) Classifying transactions at network accessible storage
CN108809974A (zh) 一种网络异常识别检测方法及装置
CN113206860B (zh) 一种基于机器学习和特征选择的DRDoS攻击检测方法
CN110602105B (zh) 一种基于k-means的大规模并行化网络入侵检测方法
CN110162445A (zh) 基于主机日志及性能指标的主机健康评价方法及装置
CN112671767B (zh) 一种基于告警数据分析的安全事件预警方法及装置
CN112039906A (zh) 一种面向云计算的网络流量异常检测系统及方法
Al-Sanjary et al. Comparison and detection analysis of network traffic datasets using K-means clustering algorithm
CN116823233A (zh) 一种基于全周期运维的用户数据处理方法及系统
CN117061249B (zh) 基于网络流量的入侵监控方法及系统
CN113645215A (zh) 异常网络流量数据的检测方法、装置、设备及存储介质
CN118018229A (zh) 基于大数据的网络威胁检测方法
CN114785617B (zh) 一种5g网络应用层异常检测方法及系统
WO2024066331A1 (zh) 网络异常检测方法、装置、电子设备及存储介质
WO2024007565A1 (en) Network analysis using optical quantum computing
Hu et al. Classification of Abnormal Traffic in Smart Grids Based on GACNN and Data Statistical Analysis
Sun et al. Visual analytics for anomaly classification in LAN based on deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination