CN112637165B - 模型训练方法、网络攻击检测方法、装置、设备及介质 - Google Patents

模型训练方法、网络攻击检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN112637165B
CN112637165B CN202011474685.5A CN202011474685A CN112637165B CN 112637165 B CN112637165 B CN 112637165B CN 202011474685 A CN202011474685 A CN 202011474685A CN 112637165 B CN112637165 B CN 112637165B
Authority
CN
China
Prior art keywords
network
data
neural network
data set
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011474685.5A
Other languages
English (en)
Other versions
CN112637165A (zh
Inventor
邹晓明
叶明武
刘楚群
钟超逸
张璐娟
郑兴月
曾夏叶
谭翠容
黄青平
雷雨
王曦彤
何溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Heyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Heyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Heyuan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202011474685.5A priority Critical patent/CN112637165B/zh
Publication of CN112637165A publication Critical patent/CN112637165A/zh
Application granted granted Critical
Publication of CN112637165B publication Critical patent/CN112637165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种模型训练方法、网络攻击检测方法、装置、设备及介质，包括：对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集；根据源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；根据源域卷积神经网络，生成初始目标域卷积神经网络；根据目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络，其中，目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。该模型训练方法的训练效率较高，并且，基于该目标域卷积神经网络可以实现准确、高效地检测出网络攻击类型。

Description

模型训练方法、网络攻击检测方法、装置、设备及介质
技术领域
本发明实施例涉及网络安全领域，尤其涉及一种模型训练方法、网络攻击检测方法、装置、设备及介质。
背景技术
随着互联网大数据技术的不断演进，电力企业越来越依赖于信息技术。信息技术可以帮助人们提高工作效率和质量，减轻工作负担，同时也帮助企业改变生产方式、降低运营成本。但网络信息安全问题也随之而来，电力行业需要构建安全体系架构来应对安全威胁。所以解决电力通信网络安全问题成为一项挑战。网络攻击检测技术可以改善电力通信网络的安全问题，可以用于抵制网络的内部攻击和外部攻击，在网络受到攻击之前就将这些攻击阻拦。
目前，关于网络攻击检测的方法有很多，包括常用的机器学习算法和神经网络方法等。但是，电力通信网络数据量庞大，网络属性之间也具有关联性，传统的反向传播(BackPropagation，BP)神经网络的收敛慢，并且，无法提取关键特征，导致模型训练的效率较低。
发明内容
本发明提供一种模型训练方法、网络攻击检测方法、装置、设备及介质，以解决目前模型训练的效率较低的技术问题。
第一方面，本发明实施例提供一种模型训练方法，包括：
对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集；其中，所述原始目标域数据集包括的网络攻击类型的数量大于所述原始源域数据集包括的网络攻击类型的数量，所述源域数据集包括对所述原始源域数据集中的各高维网络数据降维后的低维网络数据，所述目标域数据集包括对所述原始目标域数据集中的各高维网络数据降维后的低维网络数据；
根据所述源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；
根据所述源域卷积神经网络，生成初始目标域卷积神经网络；
根据所述目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络；其中，所述目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。
第二方面，本发明实施例提供一种网络攻击检测方法，包括：
将高维待检测数据进行降维处理，得到降维后的低维待检测数据；
将所述低维待检测数据输入至目标域卷积神经网络，得到所述高维待检测数据所属的网络攻击类型；其中，所述目标域卷积神经网络采用如第一方面所述的模型训练方法得到。
第三方面，本发明实施例提供一种模型训练装置，包括：
第一降维模块，用于对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集；其中，所述原始目标域数据集包括的网络攻击类型的数量大于所述原始源域数据集包括的网络攻击类型的数量，所述源域数据集包括对所述原始源域数据集中的各高维网络数据降维后的低维网络数据，所述目标域数据集包括对所述原始目标域数据集中的各高维网络数据降维后的低维网络数据；
第一训练模块，用于根据所述源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；
生成模块，用于根据所述源域卷积神经网络，生成初始目标域卷积神经网络；
第二训练模块，用于根据所述目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络；其中，所述目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。
第四方面，本发明实施例提供一种网络攻击检测装置，包括：
第二降维模块，用于将高维待检测数据进行降维处理，得到降维后的低维待检测数据；
确定模块，用于将所述低维待检测数据输入至目标域卷积神经网络，得到所述高维待检测数据所属的网络攻击类型；其中，所述目标域卷积神经网络采用如第一方面所述的模型训练方法得到。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的模型训练方法或者如第二方面提供的网络攻击检测方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的模型训练方法或者如第二方面提供的网络攻击检测方法。
本发明实施例提供一种模型训练方法、网络攻击检测方法、装置、设备及介质，该方法包括：对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集，其中，原始目标域数据集包括的网络攻击类型的数量大于原始源域数据集包括的网络攻击类型的数量，源域数据集包括对原始源域数据集中的各高维网络数据降维后的低维网络数据，目标域数据集包括对原始目标域数据集中的各高维网络数据降维后的低维网络数据；根据源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；根据源域卷积神经网络，生成初始目标域卷积神经网络；根据目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络，其中，目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。该模型训练方法，一方面，可以对高维网络数据进行降维，提取出高维网络数据中的数据特征，减少了训练过程中的计算量，提高了后续模型训练的效率以及训练出的模型的检测准确性；另一方面，采用迁移学习的方法进行模型训练，克服了高维网络数据大而繁多的问题，避免了模型收敛速度慢的问题，进一步提高了模型训练的效率；再一方面，基于该目标域卷积神经网络可以实现准确、高效地检测出网络攻击类型。
附图说明
图1为本发明一个实施例提供的模型训练方法的流程示意图；
图2为迁移学习的总体流程示意图；
图3为根据源域卷积神经网络生成初始目标域卷积神经网络的流程示意图；
图4为源域卷积神经网络与目标域卷积神经网络的结构示意图；
图5为将源域数据集中的低维网络数据转换为源域二维图像的示意图；
图6为本发明一个实施例提供的网络攻击检测方法的流程示意图；
图7为本发明一个实施例提供的模型训练装置的结构示意图；
图8为本发明一个实施例提供的网络攻击检测装置的结构示意图；
图9为本发明一个实施例提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一个实施例提供的模型训练方法的流程示意图。本实施例适用于训练能够识别网络攻击类型的模型的场景中。本实施例可以由模型训练装置来执行，该模型训练装置可以由软件和/或硬件的方式实现，该模型训练装置可以集成于计算机设备中。如图1所示，本实施例提供的模型训练方法包括如下步骤：
步骤101：对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集。
其中，原始目标域数据集包括的网络攻击类型的数量大于原始源域数据集包括的网络攻击类型的数量。源域数据集包括对原始源域数据集中的各高维网络数据降维后的低维网络数据。目标域数据集包括对原始目标域数据集中的各高维网络数据降维后的低维网络数据。
具体地，本实施例中的采用迁移学习的方式进行模型训练。迁移学习指的是给定一源域及其学习任务，以及一目标域及其学习任务，将在源域学习到的知识迁移到目标域的学习过程中。
图2为迁移学习的总体流程示意图。如图2所示，源域的学习任务为学习任务A，目标域的学习任务为学习任务B。将在源域学习到的知识迁移到目标域的学习过程中，实现迁移学习。
因此，本实施例中的数据集包括原始源域数据集以及原始目标域数据集。这两个数据集中的数据均为高维网络数据。本实施例中可以根据原始数据，生成高维网络数据。可选地，原始数据包括以下至少一项：网络连接属性、主机属性、网际互连协议(InternetProtocol，IP)属性以及网络威胁信息。本实施例中的原始数据可以包括公开的异常检测NSL-数据挖掘与知识发现(Data Mining and Knowledge Discovery，KDD)数据集中的原始数据以及从电力通信网络中收集的原始数据。
其中，网络连接属性包括：网络连接时间以及网络通信协议中的至少一种。主机属性包括：主机与网络之间的传输内容以及主机在网络连接时间段内获取到的数据的大小中的至少一种。IP属性包括：源主机的IP地址以及目的IP地址中的至少一种。网络威胁信息包括攻击类型。示例性地，本实施例中的攻击类型可以包括：拒绝服务攻击，来自远程主机的未授权访问，未授权的本地超级用户特权访问，以及，端口监视或扫描等。
一种实现方式中，原始源域数据集可以包括根据NSL-KDD数据集中的原始数据生成的高维网络数据。该NSL-KDD数据集包含四类攻击和正常数据，可以分为五大类数据。其中训练集包含24种攻击，测试集包含38种攻击，即有14种攻击未在训练集中出现过。原始目标域数据集可以包括从电力通信网络中收集的原始数据生成的高维网络数据。
另一种实现方式中，原始源域数据集可以包括根据NSL-KDD数据集中的一部分原始数据生成的高维网络数据。原始目标域数据集可以包括：根据NSL-KDD数据集中的另一部分原始数据生成的高维网络数据以及根据从电力通信网络中收集的原始数据生成的高维网络数据。
再一种实现方式中，原始源域数据集可以包括根据从电力通信网络中收集的原始数据生成的高维网络数据。原始目标域数据集可以包括根据NSL-KDD数据集中的原始数据生成的高维网络数据。
本实施例中对原始源域数据集及原始目标域数据集的具体来源的实现方式不作限定，只要原始目标域数据集包括的网络攻击类型的数量大于原始源域数据集包括的网络攻击类型的数量即可。也即，原始目标域数据集包括的网络攻击类型较原始源域数据集包括的网络攻击类型更为多样化。
可选地，在获取到原始数据后，可以对原始数据进行初步处理，例如，删除残缺数据、错误数据、重复数据以及不相关数据，将初步处理后的原始数据再进行标准化处理，将标准化处理后的数据作为原始源域数据集或者原始目标域数据集中的高维网络数据。
可选地，标准化处理的过程为：对于字符型和文字型数据，进行独热编码使其转变为数值型数据；对于数值型数据，采用0-1标准化使其归一化至区间[0,1]。0-1标准化的表达式如下：
Figure BDA0002834896960000081
其中，x为标准化处理前的数值型数据，xmin为样本中的最小值，xmax为样本中的最大值，x'为标准化后的数据。举例来说，假设初步处理后的数据有3条，第一条数据中的主机在网络连接时间段内获取到的数据的大小为1000比特，第二条数据中的主机在网络连接时间段内获取到的数据的大小为2000比特，第三条数据中的主机在网络连接时间段内获取到的数据的大小为3000比特。则xmin＝1000，xmax＝3000，第一条数据中的标准化后的主机在网络连接时间段内获取到的数据为：
Figure BDA0002834896960000082
第二条数据中的标准化后的主机在网络连接时间段内获取到的数据为：
Figure BDA0002834896960000083
第三条数据中的标准化后的主机在网络连接时间段内获取到的数据为：
Figure BDA0002834896960000084
针对每一条初步处理后的原始数据，根据初步处理后的原始数据中的每个数据的类型，对初步处理后的原始数据中的每个数据进行上述标准化处理，再将同一条初步处理的原始数据的标准化后的数值进行组合，形成该初步处理后的原始数据对应的高维网络数据。
为了减少各高维数据中的冗余信息，提高后续训练的效率，在步骤101中可以对各高维网络数据进行降维处理，得到对应的低维网络数据。其中，将原始源域数据集中的各高维网络数据降维后的低维网络数据组成的数据集称为源域数据集。将原始目标域数据集中的各高维网络数据降维后的低维网络数据组成的数据集称为目标域数据集。
一种实现方式中，可以根据主成分分析方法(Principal Component Analysis，PCA)对各高维网络数据进行降维。
另一种实现方式中，可以根据t-分布式随机邻域嵌入(t-distributedstochastic neighbor embedding，t-SNE)算法，对各高维网络数据进行降维处理，得到源域数据集以及目标域数据集。t-SNE算法通过基于具有多个特征的数据点的相似性识别观察到的模式来找到数据中的规律。t-SNE算法定义了数据的局部和全局结构之间的软边界，可以保证低维网络数据的分布与原始特征空间的分布高度相似，其降维的性能优于其他降维算法。
以下详细描述t-SNE算法的降维过程。
以X表示由各高维网络数据组成的高维网络数据矩阵：
Figure BDA0002834896960000091
其中，N为高维网络数据的个数，M为每条高维网络数据的维度，xi为第i个高维网络数据。i大于或者等于1，小于或者等于N。
对于高维网络数据矩阵X，将欧几里得距离转换成条件概率pj|i来计算点与点之间的距离，即
Figure BDA0002834896960000092
其中，σi为以数据点xi为中心的高斯均方差。这里的点指的是高维网络数据。计算困惑度(perplexity)，即
Figure BDA0002834896960000093
将采用t-SNE算法得到的目标数据，即低维网络数据组成的低维网络数据矩阵Y表示为：
Figure BDA0002834896960000094
其中，yi为第i个低维网络数据，M'为经过t-SNE降维后的数据维度，也即，M'为低维网络数据的维度。引入t分布，低维网络数据的条件概率qij表示为：
Figure BDA0002834896960000101
损失函数表示为：
Figure BDA0002834896960000102
其中，
Figure BDA0002834896960000103
Figure BDA0002834896960000104
σj为以数据点xj为中心的高斯均方差。
t-SNE算法的优化过程为：
步骤1、初始化Y；
步骤2、计算qij；
步骤3、计算梯度
Figure BDA0002834896960000105
步骤4、更新迭代k次的解Yk：
Figure BDA0002834896960000106
其中，Yk表示迭代k次后输出的低维网络数据矩阵，Yk-1表示迭代k-1次后输出的低维网络数据矩阵，Yk-2表示迭代k-2次后输出的低维网络数据矩阵，
Figure BDA0002834896960000107
η为预设的学习速率，αk表示预设的迭代k次的动量；
步骤5、重复步骤2至步骤4，直到迭代预设次数T次为止；
步骤6、输出降维后的低维网络数据矩阵Y。
需要说明的是，针对原始源域数据集中的各高维网络数据，按照以上描述的t-SNE算法的降维过程进行降维，可以得到原始源域数据集对应的低维网络数据矩阵，基于该低维网络数据矩阵可以得到原始源域数据集中的各高维网络数据降维后的低维网络数据，将这些低维网络数据组成的数据集称为源域数据集。针对原始目标域数据集中的各高维网络数据，按照以上描述的t-SNE算法的降维过程进行降维，可以得到原始目标域数据集对应的低维网络数据矩阵，基于该低维网络数据矩阵可以得到原始目标域数据集中的各高维网络数据降维后的低维网络数据，将这些低维网络数据组成的数据集称为目标域数据集。
对高维网络数据进行降维处理，可以提取出高维网络数据中的数据特征，减少后续训练过程中的计算量，提高了模型训练的效率以及训练出的模型的检测准确性。更具体地，使用t-SNE算法进行降维，可以有效提取影响网络状况的关键特征，在进行降维的同时更大程度地保证特征的质量，在保证高效建模的基础上，进一步提高了训练出的模型的检测准确性。
步骤102：根据源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络。
具体地，在步骤102中，可以采用已有的卷积神经网络训练方法对初始源域卷积神经网络进行训练，得到源域卷积神经网络。源域卷积神经网络的输出类别数为网络攻击类型的数量加1。
可选地，步骤102的具体实现过程可以为：将源域数据集中的低维网络数据转换为源域二维图像；根据源域二维图像，对初始源域卷积神经网络进行训练，得到源域卷积神经网络。其中，源域数据集中的低维网络数据的维度为M'，源域二维图像的尺寸为H*H，H为对
Figure BDA0002834896960000111
向上取整后的值。
以上实现方式中，首先将源域数据集中的低维网络数据转换为源域二维图像，以便于对初始源域卷积神经网络进行训练，进一步提高了模型训练效率。
更具体地，在将源域数据集中的低维网络数据转换为源域二维图像时，可以将源域数据集中的低维网络数据按照从上至下、从左至右的顺序依次排列，多余位置取0填充，转换为对应的源域二维图像。
以下以一个具体的例子说明上述转换过程。图5为将源域数据集中的低维网络数据转换为源域二维图像的示意图。假设源域数据集中的低维网络数据的维度M'为11，某个低维网络数据具体为：(1,0,3,5,6,7,8,2,4,5,6)，H为：4，源域二维图像的尺寸为4*4，则转换后的源域二维图像如图5所示。
根据源域二维图像，对初始源域卷积神经网络进行训练，得到源域卷积神经网络的具体过程可以为：将源域二维图像输入初始源域卷积神经网络中进行训练，得到源域输出结果；根据源域输出结果以及对应的源域二维图像的标注结果，确定源域损失参数；根据源域损失参数，对初始源域卷积神经网络进行反向传播更新，直至训练结束，将训练结束时的初始源域卷积神经网络，确定为源域卷积神经网络。本实施例中的损失参数可以为数值、矢量或者矩阵。更进一步地，在训练的过程中，可以采用自适应矩估计(Adaptive momentestimation，Adam)优化器进行优化，学习率为0.001，使得源域卷积神经网络的分类性能达到最优。
示例性地，本实施例中的源域卷积神经网络可以为VGG16网络。
步骤103：根据源域卷积神经网络，生成初始目标域卷积神经网络。
可选地，源域卷积神经网络包括至少一层第一全连接层。示例性地，最后一层第一全连接层的激活函数可以为softmax函数。这里的最后一层第一全连接层指的是距离源域卷积神经网络的输出端最近的第一全连接层。
图3为根据源域卷积神经网络生成初始目标域卷积神经网络的流程示意图。可选地，如图3所示，根据源域卷积神经网络生成初始目标域卷积神经网络包括如下步骤：步骤1031以及步骤1032。
步骤1031：去除源域卷积神经网络中的第一全连接层。
步骤1032：在源域卷积神经网络去除第一全连接层后剩余的网络主体的输出端添加依次连接的至少一层第二全连接层以及一层第三全连接层，形成初始目标域卷积神经网络。
示例性地，第二全连接层的数量为3层，并且，第二全连接层的激活函数为Relu函数。更具体地，第二全连接层的长度按照连接顺序分别为：1024、512以及256。这里的连接顺序指的是距离初始目标域卷积神经网络的输出端从远至近的顺序。第二全连接层的激活函数可以为ReLu函数。
可选地，第三全连接层的长度根据网络攻击类型的数量确定。更具体地，第三全连接层的长度为网络攻击类型的数量加1。例如，假设网络攻击类型为4，则第三全连接层的长度可以为5。表示该第三全连接层可以识别出输出的数据为是正常数据还是网络攻击，如果是网络攻击，是4类网络攻击类型中的哪一类。可选地，第三全连接层的激活函数可以为softmax函数。
更进一步地，为了防止目标域卷积神经网络过拟合，可以在每个第二全连接层的后面添加参数为0.5的随机失活(Dropout)层。
步骤104：根据目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络。
其中，目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。
可选地，步骤104的具体实现过程可以为：将目标域数据集中的低维网络数据转换为目标域二维图像；根据目标域二维图像，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络。其中，目标域数据集中的低维网络数据的维度为M'，目标域二维图像的尺寸为H*H，H为对
Figure BDA0002834896960000131
向上取整后的值。
更具体地，在将目标域数据集中的低维网络数据转换为目标域二维图像时，可以将目标域数据集中的低维网络数据按照从上至下、从左至右的顺序依次排列，多余位置取0填充，转换为对应的目标域二维图像。
根据目标域二维图像，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络的具体过程可以为：将目标域二维图像输入初始目标域卷积神经网络中进行训练，得到目标域输出结果；根据目标域输出结果以及对应的目标域二维图像的标注结果，确定目标域损失参数；根据目标域损失参数，对初始目标域卷积神经网络进行反向传播更新，直至训练结束，将训练结束时的初始目标域卷积神经网络，确定为目标域卷积神经网络。本实施例中的损失参数可以为数值、矢量或者矩阵。更进一步地，在训练的过程中，同样可以采用Adam优化器进行优化，学习率为0.001，使得目标域卷积神经网络的分类性能达到最优。
需要说明的是，在对初始目标域卷积神经网络进行反向传播更新的过程中，源域卷积神经网络去除第一全连接层后剩余的网络主体的参数被冻结，即，该网络主体的参数不会参与更新，只对第二全连接层以及第三全连接层进行微调，训练效率较高。此种训练方式克服了异常数据的数据量大而繁多的问题，训练出一个深度迁移模型，对模型最后的全连接层进行微调，可以用于处理源域和目标域数据不一致问题。
图4为源域卷积神经网络与目标域卷积神经网络的结构示意图。如图4所示，源域卷积神经网络包括网络主体以及与网络主体的输出端连接的第一全连接层。目标域卷积神经网络包括源域卷积神经网络中的网络主体、与网络主体的输出端依次连接的3层第二全连接层以及一层第三全连接层。每个第二全连接层后还连接有Dropout层。
本实施例提供的模型训练方法训练出的目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。在目标域卷积神经网络内部，可以输出高维待检测网络数据是各个网络攻击类型以及是正常数据的概率，将这些概率中，最大的概率对应的分类确定为该高维待检测网络数据的类型。
利用本实施例提供的模型训练方法，能够提高电力通信网络中异常数据识别的准确率，针对电力通信网络数据量的繁多和复杂性，可以更加高效、准确地预测网络的安全状况。
本实施例提供一种模型训练方法，包括：对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集，其中，原始目标域数据集包括的网络攻击类型的数量大于原始源域数据集包括的网络攻击类型的数量，源域数据集包括对原始源域数据集中的各高维网络数据降维后的低维网络数据，目标域数据集包括对原始目标域数据集中的各高维网络数据降维后的低维网络数据；根据源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；根据源域卷积神经网络，生成初始目标域卷积神经网络；根据目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络，其中，目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。该模型训练方法，一方面，可以对高维网络数据进行降维，提取出高维网络数据中的数据特征，减少了训练过程中的计算量，提高了后续模型训练的效率以及训练出的模型的准确性；另一方面，采用迁移学习的方法进行模型训练，克服了高维网络数据大而繁多的问题，避免了模型收敛速度慢的问题，进一步提高了模型训练的效率；再一方面，基于该目标域卷积神经网络可以实现准确、高效地检测出网络攻击类型。
图6为本发明一个实施例提供的网络攻击检测方法的流程示意图。本实施例适用于识别网络攻击类型的场景中。本实施例可以由网络攻击检测装置来执行，该网络攻击检测装置可以由软件和/或硬件的方式实现，该网络攻击检测装置可以集成于计算机设备中。如图6所示，本实施例提供的网络攻击检测方法包括如下步骤：
步骤601：将高维待检测数据进行降维处理，得到降维后的低维待检测数据。
一种实现方式中，本实施例中在对高维待检测数据进行降维处理时，可以采用PCA对高维待检测数据进行降维处理，得到降维后的低维待检测数据。
另一种实现方式中，可以根据t-SNE算法，对高维待检测数据进行降维处理，得到降维后的低维待检测数据。
步骤602：将低维待检测数据输入至目标域卷积神经网络，得到高维待检测数据所属的网络攻击类型。
其中，目标域卷积神经网络采用如图1所示实施例及各种可选的实现方式中的模型训练方法得到。
具体地，在执行步骤601后得到低维待检测数据，将低维待检测数据输入至采用图1所示实施例及各种可选的实现方式中的模型训练方法得到的目标域卷积神经网络，可以得到高维待检测数据所属的网络攻击类型，实现高效及准确地检测网络攻击。
本发明实施例提供一种网络攻击检测方法，包括：将高维待检测数据进行降维处理，得到降维后的低维待检测数据，将低维待检测数据输入至目标域卷积神经网络，得到高维待检测数据所属的网络攻击类型。该网络攻击检测方法可以实现准确、高效地检测出网络攻击类型。
图7为本发明一个实施例提供的模型训练装置的结构示意图。如图7所示，本实施例提供的模型训练装置包括如下模块：第一降维模块71、第一训练模块72、生成模块73以及第二训练模块74。
第一降维模块71，用于对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集。
其中，原始目标域数据集包括的网络攻击类型的数量大于原始源域数据集包括的网络攻击类型的数量。源域数据集包括对原始源域数据集中的各高维网络数据降维后的低维网络数据。目标域数据集包括对原始目标域数据集中的各高维网络数据降维后的低维网络数据。
可选地，第一降维模块71具体用于：根据t-SNE算法，对各高维网络数据进行降维处理，得到源域数据集以及目标域数据集。
第一训练模块72，用于根据源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络。
可选地，第一训练模块72具体用于：将源域数据集中的低维网络数据转换为源域二维图像；根据源域二维图像，对初始源域卷积神经网络进行训练，得到源域卷积神经网络。其中，源域数据集中的低维网络数据的维度为M'，源域二维图像的尺寸为H*H，H为对
Figure BDA0002834896960000171
向上取整后的值。
生成模块73，用于根据源域卷积神经网络，生成初始目标域卷积神经网络。
可选地，源域卷积神经网络包括至少一层第一全连接层。生成模块73具体用于：去除源域卷积神经网络中的第一全连接层；在源域卷积神经网络去除第一全连接层后剩余的网络主体的输出端添加依次连接的至少一层第二全连接层以及一层第三全连接层，形成初始目标域卷积神经网络。
可选地，第二全连接层的数量为3层，并且，第二全连接层的激活函数为Relu函数。
可选地，第二全连接层的长度按照连接顺序分别为：1024、512以及256。
可选地，第三全连接层的长度根据网络攻击类型的数量确定。
第二训练模块74，用于根据目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络。
其中，目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。
本发明实施例所提供的模型训练装置可执行本发明任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。
图8为本发明一个实施例提供的网络攻击检测装置的结构示意图。如图8所示，本实施例提供的网络攻击检测装置包括如下模块：第二降维模块81以及确定模块82。
第二降维模块81，用于将高维待检测数据进行降维处理，得到降维后的低维待检测数据。
确定模块82，用于将低维待检测数据输入至目标域卷积神经网络，得到高维待检测数据所属的网络攻击类型。
其中，目标域卷积神经网络采用如图1所示实施例及各种可选的实现方式中的模型训练方法得到。
本发明实施例所提供的网络攻击检测装置可执行本发明任意实施例所提供的网络攻击检测方法，具备执行方法相应的功能模块和有益效果。
图9为本发明一个实施例提供的计算机设备的结构示意图。如图9所示，该计算机设备包括处理器90和存储器91。该计算机设备中处理器90的数量可以是一个或多个，图9中以一个处理器90为例；该计算机设备的处理器90和存储器91可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器91作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型训练方法对应的程序指令以及模块(例如，模型训练装置中的第一降维模块71、第一训练模块72、生成模块73以及第二训练模块74，或者，网络攻击检测装置中的第二降维模块81以及确定模块82)。处理器90通过运行存储在存储器91中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及模型训练方法，即实现上述的模型训练方法或者网络攻击检测方法。
存储器91可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器91可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器91可进一步包括相对于处理器90远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型训练方法，该方法包括：
对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集；其中，所述原始目标域数据集包括的网络攻击类型的数量大于所述原始源域数据集包括的网络攻击类型的数量，所述源域数据集包括对所述原始源域数据集中的各高维网络数据降维后的低维网络数据，所述目标域数据集包括对所述原始目标域数据集中的各高维网络数据降维后的低维网络数据；
根据所述源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；
根据所述源域卷积神经网络，生成初始目标域卷积神经网络；
根据所述目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络；其中，所述目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型训练方法中的相关操作。
本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种网络攻击检测方法，该方法包括：
将高维待检测数据进行降维处理，得到降维后的低维待检测数据；
将所述低维待检测数据输入至目标域卷积神经网络，得到所述高维待检测数据所属的网络攻击类型；其中，所述目标域卷积神经网络采用如图1所示实施例及可选的方式提供的所述的模型训练方法得到。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的网络攻击检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)执行本发明各个实施例所述的模型训练方法。
值得注意的是，上述模型训练装置或者网络攻击检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种模型训练方法，其特征在于，包括：
对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集；其中，所述原始目标域数据集包括的网络攻击类型的数量大于所述原始源域数据集包括的网络攻击类型的数量，所述源域数据集包括对所述原始源域数据集中的各高维网络数据降维后的低维网络数据，所述目标域数据集包括对所述原始目标域数据集中的各高维网络数据降维后的低维网络数据；
根据所述源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络；
根据所述源域卷积神经网络，生成初始目标域卷积神经网络；
根据所述目标域数据集中的低维网络数据，对初始目标域卷积神经网络进行训练，得到目标域卷积神经网络；其中，所述目标域卷积神经网络用于检测高维待检测网络数据的网络攻击类型；
其中，所述源域卷积神经网络包括至少一层第一全连接层；
所述根据所述源域卷积神经网络，生成初始目标域卷积神经网络，包括：
去除所述源域卷积神经网络中的第一全连接层；
在所述源域卷积神经网络去除所述第一全连接层后剩余的网络主体的输出端添加依次连接的至少一层第二全连接层以及一层第三全连接层，形成所述初始目标域卷积神经网络；其中，在对所述初始目标域卷积神经网络进行训练的过程中，所述源域卷积神经网络去除所述第一全连接层后剩余的网络主体的参数被冻结，只对第二全连接层以及第三全连接层进行微调。
2.根据权利要求1所述的方法，其特征在于，所述第二全连接层的数量为3层，并且，所述第二全连接层的激活函数为Relu函数。
3.根据权利要求2所述的方法，其特征在于，所述第二全连接层的长度按照连接顺序分别为：1024、512以及256。
4.根据权利要求1所述的方法，其特征在于，所述第三全连接层的长度根据网络攻击类型的数量确定。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对原始源域数据集以及原始目标域数据集中的各高维网络数据均进行降维处理，得到源域数据集以及目标域数据集，包括：
根据t-分布式随机邻域嵌入t-SNE算法，对所述各高维网络数据进行降维处理，得到所述源域数据集以及所述目标域数据集。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述源域数据集中的低维网络数据，对初始源域卷积神经网络进行训练，得到源域卷积神经网络，包括：
将所述源域数据集中的低维网络数据转换为源域二维图像；其中，所述源域数据集中的低维网络数据的维度为M'，所述源域二维图像的尺寸为H*H，H为对
Figure FDA0003661939840000021
向上取整后的值；
根据所述源域二维图像，对初始源域卷积神经网络进行训练，得到所述源域卷积神经网络。
7.一种网络攻击检测方法，其特征在于，包括：
将高维待检测数据进行降维处理，得到降维后的低维待检测数据；
将所述低维待检测数据输入至目标域卷积神经网络，得到所述高维待检测数据所属的网络攻击类型；其中，所述目标域卷积神经网络采用如权利要求1至6任一所述的模型训练方法得到。
8.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的方法。
CN202011474685.5A 2020-12-14 2020-12-14 模型训练方法、网络攻击检测方法、装置、设备及介质 Active CN112637165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474685.5A CN112637165B (zh) 2020-12-14 2020-12-14 模型训练方法、网络攻击检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474685.5A CN112637165B (zh) 2020-12-14 2020-12-14 模型训练方法、网络攻击检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112637165A CN112637165A (zh) 2021-04-09
CN112637165B true CN112637165B (zh) 2022-08-30

Family

ID=75314100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474685.5A Active CN112637165B (zh) 2020-12-14 2020-12-14 模型训练方法、网络攻击检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112637165B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021075A1 (zh) * 2022-07-29 2024-02-01 Oppo广东移动通信有限公司 训练方法、使用模型的方法、无线通信的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805137A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 牲畜特征向量的提取方法、装置、计算机设备和存储介质
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN110825068A (zh) * 2019-09-29 2020-02-21 惠州蓄能发电有限公司 一种基于pca-cnn的工业控制系统异常检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909101B (zh) * 2017-11-10 2019-07-12 清华大学 基于卷积神经网络的半监督迁移学习字符识别方法及系统
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805137A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 牲畜特征向量的提取方法、装置、计算机设备和存储介质
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN110825068A (zh) * 2019-09-29 2020-02-21 惠州蓄能发电有限公司 一种基于pca-cnn的工业控制系统异常检测方法

Also Published As

Publication number Publication date
CN112637165A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Chen Research on internet security situation awareness prediction technology based on improved RBF neural network algorithm
WO2021258348A1 (zh) 异常流量检测方法和系统、及计算机存储介质
US11777957B2 (en) Method for detecting malicious attacks based on deep learning in traffic cyber physical system
CN111191767A (zh) 一种基于向量化的恶意流量攻击类型的判断方法
CN113612767B (zh) 基于多任务学习增强的加密恶意流量检测方法及系统
JP2019102960A (ja) サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム
CN116192523A (zh) 一种基于神经网络的工控异常流量监测方法和系统
CN113378160A (zh) 一种基于生成式对抗网络的图神经网络模型防御方法及装置
CN112804253A (zh) 一种网络流量分类检测方法、系统及存储介质
CN112637165B (zh) 模型训练方法、网络攻击检测方法、装置、设备及介质
CN111291810B (zh) 基于目标属性解耦的信息处理模型生成方法及相关设备
CN111224984A (zh) 一种基于数据挖掘算法的Snort改进方法
Lim et al. Future of Generative Adversarial Networks (GAN) for Anomaly Detection in Network Security: A Review
CN117521066A (zh) 面向工业互联网的语义增强型恶意软件检测方法
CN116628524A (zh) 一种基于自适应图注意力编码器的社区发现方法
CN115277065B (zh) 一种物联网异常流量检测中的对抗攻击方法及装置
CN111291078A (zh) 一种域名匹配检测方法及装置
Xin et al. Research on feature selection of intrusion detection based on deep learning
CN117082118A (zh) 基于数据推导及端口预测的网络连接方法
CN114726634B (zh) 一种基于知识图谱的黑客攻击场景构建方法和设备
Du et al. A Few-Shot Class-Incremental Learning Method for Network Intrusion Detection
CN115766140A (zh) 分布式拒绝服务DDoS攻击检测方法及装置
CN115277178A (zh) 基于企业网网络流量的异常监测方法、装置及存储介质
CN114726753A (zh) 一种基于多任务学习的网络加密流量识别方法
CN112861913A (zh) 一种基于图卷积网络的入侵警报消息的关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant