CN112200254A - 一种网络入侵检测模型生成方法、检测方法及电子设备 - Google Patents

一种网络入侵检测模型生成方法、检测方法及电子设备 Download PDF

Info

Publication number
CN112200254A
CN112200254A CN202011108684.9A CN202011108684A CN112200254A CN 112200254 A CN112200254 A CN 112200254A CN 202011108684 A CN202011108684 A CN 202011108684A CN 112200254 A CN112200254 A CN 112200254A
Authority
CN
China
Prior art keywords
data set
model
target
training
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011108684.9A
Other languages
English (en)
Inventor
王汉凌
段经璞
汪漪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Peng Cheng Laboratory
Southern University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology, Peng Cheng Laboratory filed Critical Southwest University of Science and Technology
Priority to CN202011108684.9A priority Critical patent/CN112200254A/zh
Publication of CN112200254A publication Critical patent/CN112200254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络入侵检测模型生成方法、检测方法及电子设备，所述生成方法获取公开数据集和私有数据集；通过公开数据集中的流量数据对公开数据集和私有数据集进行标准化，得到第一训练数据集和第二训练数据集；根据第一训练数据集对父模型进行训练，以及根据第二训练数据集和第一隐含变量对若干子模型进行训练，得到网络入侵检测模型。本发明通过公开数据集和私有数据集分别训练父模型和若干子模型，并通过父模型指导若干子模型的学习，在保证若干子模型学习私有数据集分布的同时提升训练效果，无需在目标网络环境收集异常流量即可检测攻击类型未知的流量数据，降低了数据量收集的需求，提升了异常流量检测的准确性和鲁棒性。

Description

一种网络入侵检测模型生成方法、检测方法及电子设备
技术领域
本发明涉及互联网技术领域，具体涉及一种网络入侵检测模型生成方法、检测方法及电子设备。
背景技术
随着信息技术的飞速发展，互联网应用渗透到了我们生活的方方面面，与此同时，互联网环境面临的安全问题也日益显著。网络入侵方式如拒绝服务(DoS)攻击、僵尸网络(Botnet)攻击、渗透(Infiltration)攻击等层出不穷，这些攻击轻则会造成系统宕机、影响系统运行的稳定性，重则会导致用户隐私数据、商业机密等关键信息被窃取。
为了将这些入侵行为检测出来，已有的入侵检测方法通常是通过提取网络上的流量数据，然后构建机器学习分类模型来进行检测。然而，这些方法存在以下缺点：第一，无法对新型攻击进行有效检测。网络中新型攻击手段层出不穷，从一种新的攻击手段出现到它被用于攻击目标系统之前，已有的检测系统无法获取这种攻击手段的信息，因此也被称为“零日攻击”。由于训练数据集中无法包含“零日攻击”的样本，因此不能使用分类模型进行有效地检测；第二，数据集获取困难。公开数据集通常不包含最新产生的攻击类型，或者数据被匿名化导致可用性降低，而制作攻击类型全面的大规模私有数据集需要进行复杂的入侵测试和标注，工作量庞大。
因此，现有技术还有待于改进和发展。
发明内容
针对现有技术的上述缺陷，本发明提供一种网络入侵检测模型生成方法、检测方法及电子设备，旨在解决现有网络入侵检测方法由于攻击手段未知和数据获取困难，导致检测结果不理想的问题。
本发明解决技术问题所采用的技术方案如下：
一种网络入侵检测模型生成方法，其中，包括：
获取网络入侵检测的公开数据集和目标网络的私有数据集；其中，所述公开数据集中包含若干正常流量数据和若干异常流量数据，所述私有数据集中包含若干正常流量数据；
通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集；
根据所述第一训练数据集对预设神经网络模型的父模型进行训练，以及根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练，得到网络入侵检测模型；其中，所述第一隐含变量为所述父模型的第M层输出的特征向量，M为正整数。
所述的网络入侵检测模型生成方法，其中，所述通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集的步骤包括：
获取所述公开数据集中若干流量数据的均值和方差；
根据所述均值和所述方差对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。
所述的网络入侵检测模型生成方法，其中，所述根据所述第一训练数据集对预设神经网络模型的父模型进行训练的步骤包括：
将所述第一训练数据集输入预设神经网络模型的父模型中，获取所述父模型输出的所述第一训练数据集的预测流量标签；
根据所述预测流量标签和所述第一训练数据集的真实流量标签对所述父模型的模型参数进行更新，直至所述父模型的训练情况满足预设条件。
所述的网络入侵检测模型生成方法，其中，所述根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练的步骤包括：
将所述第二训练数据集输入预设神经网络模型的若干子模型中，获取所述若干子模型输出的所述第二训练数据集的预测流量值以及所述若干子模型的第二隐含变量；其中，所述第二隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述预测流量值和所述第二训练数据集的真实流量值以及所述第一隐含变量和所述第二隐含变量对所述若干子模型的模型参数进行更新，直至所述若干子模型的训练情况满足预设条件。
一种网络入侵检测方法，其中，应用于所述的网络入侵检测模型生成方法生成的网络入侵检测模型，包括：
通过所述公开数据集中的流量数据对第一目标流量数据样本进行标准化，得到第二目标流量数据样本；
将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数；
根据所述目标异常指数以及预设指数阈值，确定所述第一目标流量数据样本是否遭受入侵。
所述的网络入侵检测方法，其中，所述将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数的步骤包括：
将所述第二目标流量数据样本输入所述网络入侵检测模型的父模型中，获取所述父模型输出的目标分类结果和所述父模型的第三隐含变量；其中，所述第三隐含变量为所述父模型的第M层输出的特征向量；
将所述第二目标流量数据样本输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的目标流量值和所述若干子模型的若干第四隐含变量；其中，所述若干第四隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数。
所述的网络入侵检测方法，其中，所述根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数的步骤包括：
根据所述目标分类结果，确定第一异常指数；
根据所述若干第四隐含变量和所述第三隐含变量，确定第二异常指数；
根据所述若干第四隐含变量，确定第三异常指数；
根据所述目标流量值和所述第一目标流量数据样本的真实流量值，确定第四异常指数；
根据所述第一异常指数、所述第二异常指数、所述第三异常指数和所述第四异常指数，确定所述第一目标流量数据样本的目标异常指数。
所述的网络入侵检测方法，其中，所述指数阈值的获取步骤包括：
将所述第二训练数据集输入所述网络入侵检测模型的父模型中，获取所述父模型输出的私有数据分类结果和所述父模型的第五隐含变量；其中，所述第五隐含变量为所述父模型的第M层输出的特征向量；
将所述第二训练数据集输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的私有数据流量值和所述若干子模型输出的若干第六隐含变量；其中，所述第六隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述私有数据分类结果、所述私有数据流量值、所述第五隐含变量和所述若干第六隐含变量，确定所述私有数据集的若干私有数据异常指数；
从所述若干私有数据异常指数中选择一个私有数据异常指数作为所述指数阈值。
一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的网络入侵检测模型生成方法中的步骤，或者所述的网络入侵检测方法中的步骤。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述所述的网络入侵检测模型生成方法中的步骤，或者所述的网络入侵检测方法中的步骤。
本发明的有益效果：本发明通过公开数据集和私有数据集分别训练父模型和若干子模型，并使用父模型指导若干子模型的学习，在保证若干子模型学习私有数据集分布的同时提升训练效果，无需在目标网络环境收集异常流量即可检测攻击类型未知的流量数据，降低了数据量收集的需求，提升了异常流量检测的准确性和鲁棒性。
附图说明
图1是本发明实施例一中提供的一种网络入侵检测模型生成方法的一个实施例流程图；
图2是本发明实施例一中提供的一种网络入侵检测模型生成方法的结构示意图；
图3是本发明实施例二中提供的一种网络入侵检测方法的一个实施例流程图；
图4是本发明实施例三中提供的一种终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的网络入侵检测模型生成方法及网络入侵检测方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
实施例一
现有网络入侵检测方法是通过提取网络上的流量数据，构建机器学习分类模型来进行检测。但由于训练数据集获取困难，公开数据集通常不包含最新产生的攻击类型，或者数据被匿名化导致分类模型的检测效果不理想，而制作攻击类型全面的大规模私有数据集需要进行复杂的入侵测试和标注，工作量庞大。
为了解决上述问题，本发明实施例一中提供了一种网络入侵检测模型生成方法，请参照图1，图1是本发明提供的一种网络入侵检测模型生成方法的一个实施例的流程图。
在本发明的一个实施例中，所述网络入侵检测模型生成方法有三个步骤：
S100、获取网络入侵检测的公开数据集和目标网络的私有数据集；其中，所述公开数据集中包含若干正常流量数据和若干异常流量数据，所述私有数据集中包含若干正常流量数据。
由于公开数据集通常不包含最新产生的攻击类型，而制作攻击类型全面的大规模私有数据集工作量庞大，本实施例中对预设网络模型进行训练前，获取网络上现有用于网络入侵检测的公开数据集，例如，CICIDS2017数据集、CSE-CIC-IDS2018数据集等，其中，所述公开数据集中包含若干正常数据流量和若干异常数据流量。由于公开数据集通常不包含最新产生的攻击类型，本实施例中还进一步在目标网络环境下利用现有的Wireshark等工具采集并解析若干正常流量数据作为私有数据集。本实施例中在模型训练时，同时使用公开数据集和私有数据集，采用迁移学习的方法，借助公开数据集的使用，无需在目标网络环境收集异常流量数据，即可检测攻击类型未知的流量数据，抵抗“零日攻击”，同时降低了私有数据集数据量收集和标注的需求，提高了网络入侵检测模型的实用性。
S200、通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。
由于公开数据集中包含若干正常流量和若干异常流量，本实施例中获取到公开数据集后，对公开数据集中的每个流量数据所属类别进行标注，以便后续步骤中利用公开数据集训练预设网络模型对流量数据进行分类。标注完成后，利用CICFlowMeter等工具对公开数据集进行特征提取，获取公开数据集中的流量数据，并利用公开数据集中的流量数据对公开数据集进行标准化。然后对前面标注的公开数据集的标签进行转换，将正常流量数据的标签转换为0，将异常流量数据的标签转换为1。
获取到私有数据集后，采用与公开数据集相同的处理方式，即利用CICFlowMeter等工具对私有数据集进行特征提取，获取私有数据集中的流量数据，并利用公开数据集中的流量数据对私有数据集进行标准化。然后对私有数据集的标签进行转换，由于私有数据集中不包含异常流量数据，则其流量数据标签经过转换后均为0。
在一具体实施方式中，所述步骤S200具体包括：
S210、获取所述公开数据集中若干流量数据的均值和方差；
S220、根据所述均值和所述方差对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。
为了对预设神经网络模型进行训练时，能够加快神经网络模型收敛，本实施例中获取公开数据集中的流量数据后，计算公开数据集中若干流量数据的均值和方差，假设公开数据集中包含NF个流量数据，第i个流量数据的特征向量为vi，则均值
Figure BDA0002727838470000101
方差
Figure BDA0002727838470000102
获取到公开数据集中若干流量数据的均值和方差后，根据所述均值μ和所述方差δ2对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。其中，所述公开数据集标准化公式为：
Figure BDA0002727838470000103
其中，xraw1为公开数据集，μ为公开数据集中若干流量数据的均值，σ2为公开数据集中若干流量数据的方差，x1为第一训练数据集。与公开数据集标准化公式类似，所述私有数据集标准化公式为：
Figure BDA0002727838470000104
其中，xraw2为私有数据集，μ为公开数据集中若干流量数据的均值，σ2为公开数据集中若干流量数据的方差，x2为第二训练数据集。
S300、根据所述第一训练数据集对预设神经网络模型的父模型进行训练，以及根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练，得到网络入侵检测模型；其中，所述第一隐含变量为所述父模型的第M层输出的特征向量，M为正整数。
如图2所示，本实施例中预先构建一个神经网络模型，该神经网络模型包括父模型和若干子模型。获取到第一训练数据集和第二训练数据集后，通过第一训练数据集对父模型进行训练，使父模型对正常流量数据和异常流量数据进行分类，通过第二训练数据集对子模型进行训练以去除正常流量数据中的噪声，使子模型学习低维特征。
由于私有数据集的获取工作量较大，为了尽可能地降低数据量的需求同时保证子模型的学习质量，本实施例中在训练子模型时，不仅利用第二训练数据集，还利用父模型的第一隐含变量对子模型进行训练，采用迁移学习和知识蒸馏的方法使子模型学习父模型的参数。
在一具体实施方式中，步骤S300中根据所述第一训练数据集对预设神经网络模型的父模型进行训练的步骤具体包括：
S310、将所述第一训练数据集输入预设神经网络模型的父模型中，获取所述父模型输出的所述第一训练数据集的预测流量标签；
S320、根据所述预测流量标签和所述第一训练数据集的真实流量标签对所述父模型的模型参数进行更新，直至所述父模型的训练情况满足预设条件。
本实施例中父模型采用全连接神经网络结构，如下表1所示，其包括一个输入层和若干全连接层。其中，NF为输入父模型的样本数量，f为特征维数。
表1 父模型网络结构
Figure BDA0002727838470000111
Figure BDA0002727838470000121
采用第一训练数据集对父模型进行训练时，是将第一训练数据集输入父模型中，父模型是一个流量数据分类模型，其会输出第一训练数据集的预测流量标签。然后将父模型输出的预测流量标签与第一训练数据集的真实流量标签进行对比，根据预测流量标签和第一训练数据集的真实流量标签对父模型的模型参数进行更新，直至父模型的训练情况满足预设条件。
在判断父模型的训练是否满足预设条件时，利用损失函数计算预测流量标签和真实流量标签之间的损失值，一般损失值越小，则表明父模型的性能越优，获得损失值后，判断损失值是否小于预设阈值；若是，则表明父模型的训练情况满足预设条件；若否，则说明父模型的训练情况不满足预设条件，则根据预设参数学习率对父模型的模型参数进行更新，并继续执行将第一训练数据集输入父模型中，获取预测流量标签的步骤，直至损失值小于预设阈值。其中，损失函数可以根据实际需要进行选择，在一具体实施例中，假设输入样本为x1，样本数量为NF，特征维数为f，预测流量标签为
Figure BDA0002727838470000122
真实标签为y，训练父模型使用的损失函数为
Figure BDA0002727838470000123
Figure BDA0002727838470000131
在一具体实施方式中，步骤S300中根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练的步骤具体包括：
R310、将所述第二训练数据集输入预设神经网络模型的若干子模型中，获取所述若干子模型输出的所述第二训练数据集的预测流量值以及所述若干子模型的第二隐含变量；其中，所述第二隐含变量为所述若干子模型的第M层输出的特征向量；
R320、根据所述预测流量值和所述第二训练数据集的真实流量值以及所述第一隐含变量和所述第二隐含变量对所述若干子模型的模型参数进行更新，直至所述若干子模型的训练情况满足预设条件。
本实施例中若干子模型的结构相同，均采用采用自编码器的结构，如表2所示，其编码器和解码器均为全连接神经网络，子模型编码器的结构与父模型的结构相似。假设输入样本为x2，样本数量为NC，特征维数为f(与父模型相同)，则子模型输出样本
Figure BDA0002727838470000132
可以表示为
Figure BDA0002727838470000133
其中，E为编码器，D为解码器。
表2 子模型网络结构
Figure BDA0002727838470000134
Figure BDA0002727838470000141
采用第二训练数据集和第一隐含变量对若干子模型进行训练时，是将第一训练数据集分别输入若干子模型中，子模型是为了去除流量数据中的噪声，学习低维特征，其会输出第二训练数据集的预测流量值。由于私有数据集的获取工作量较大，为了尽可能地降低数据量的需求并同时保证子模型的学习质量，本实施例中对若干子模型进行训练时，还获取若干子模型的第二隐含变量，即若干子模型的第M层输出的特征向量。然后将预测流量值和第二训练数据集的真实流量值进行对比，以及将第二隐含变量与第一隐含变量进行对比，根据预测流量值和第二训练数据集的真实流量值以及第一隐含变量和第二隐含变量对若干子模型的模型参数进行更新，直至若干子模型的训练情况满足预设条件。
考虑到子模型编码之后输出的特征向量与父模型相同层输出的特征向量相似，M值取子模型的编码器最后一层的层数。在一具体实施例中，当子模型网络结构如表2所示时，M值取5，即第一隐含变量为父模型第5层输出的特征向量，第二隐含变量为若干子模型的编码器最后一层即模型第5层输出的特征向量。
在判断若干子模型的训练情况满足预设条件时，利用损失函数计算预测流量值和真实流量值以及第一隐含变量和第二隐含变量之间的损失值，一般损失值越小，则表明若干子模型的性能越优，获得损失值后，判断损失值是否小于预设阈值；若是，则表明若干子模型的训练情况满足预设条件；若否，则说明若干子模型的训练情况不满足预设条件，则根据预设参数学习率对若干子模型的模型参数进行更新，并继续执行将第二训练数据集输入父模型中，获取预测流量值以及第二隐含变量的步骤，直至损失值小于预设阈值。其中，损失函数可以根据实际需要进行选择，在一具体实施例中，假设预测流量值为
Figure BDA0002727838470000158
真实流量值为x2，第一隐含变量为
Figure BDA0002727838470000151
第二隐含变量为
Figure BDA0002727838470000152
训练子模型使用的损失函数为
Figure BDA0002727838470000153
其中，λ1和λ2为权重系数，λ1,λ2∈[0,1]，λ1+λ2＝1，
Figure BDA0002727838470000154
Figure BDA0002727838470000155
本实施例中训练子模型时最小化其重建误差，即
Figure BDA0002727838470000156
通过训练自编码器来进行重建可以去除正常流量数据中的噪声，学习到低维特征；训练子模型时最小化父模型和子模型的隐含变量之间的误差，即
Figure BDA0002727838470000157
使子模型学习父模型的参数，降低了私有数据集数据量的需求并保证了子模型的学习质量。
实施例二
基于上述网络入侵检测模型生成方法生成的网络入侵检测模型，本实施例中还提供了一种网络入侵检测方法，如图3所示，所述网络入侵检测方法包括：
M100、通过所述公开数据集中的流量数据对第一目标流量数据样本进行标准化，得到第二目标流量数据样本。
具体地，所述第一目标流量数据样本为需要进行网络入侵检测的数据流量样本，其可以通过与私有数据集相同的方式进行采集，例如，Wireshark等工具。然后利用与公开数据集和私有数据集相同的处理方式对第一目标流量数据样本进行标准化，即利用公开数据集中若干流量数据的均值和方差对第一目标流量数据样本进行标准化，得到第二目标流量数据样本。其中，第一目标流量数据样本标准化公式为：
Figure BDA0002727838470000161
其中，xraw3为第一目标流量数据样本，μ为公开数据集中若干流量数据的均值，σ2为公开数据集中若干流量数据的方差，x3为第二目标流量数据样本。
M200、将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数。
具体地，获取到第二目标流量数据样本后，将第二目标流量数据样本输入前面训练好的网络入侵检测模型中，根据网络入侵检测模型的输出结果确定第一目标流量数据样本的目标异常指数，以便后续步骤中根据目标异常指数判断第一目标流量数据是否遭受入侵。
在一具体实施方式中，所述步骤M200具体包括：
M210、将所述第二目标流量数据样本输入所述网络入侵检测模型的父模型中，获取所述父模型输出的目标分类结果和所述父模型的第三隐含变量；其中，所述第三隐含变量为所述父模型的第M层输出的特征向量；
M220、将所述第二目标流量数据样本输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的目标流量值和所述若干子模型的若干第四隐含变量；其中，所述若干第四隐含变量为所述若干子模型的第M层输出的特征向量；
M230、根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数。
本实施例中采用集成学习的方法，使用多个模型的预测结果来确定所述第一目标流量数据样本的目标异常指数。具体地，将第二目标流量数据样本输入网络入侵检测模型的父模型中，获得父模型输出的目标分类结果和父模型的第三隐含变量，即将第二目标流量数据输入父模型后，父模型的第M层输出的特征向量。将第二目标流量数据样本输入网络入侵检测模型的若干子模型中，获得若干子模型输出的目标流量值和若干子模型的若干第四隐含变量，即将第二目标流量数据样本输入若干子模型后，若干子模型的第M层输出的特征向量。然后根据目标分类结果、目标流量值、第三隐含变量和第四隐含变量，确定所述第一目标流量数据样本的目标异常指数。
在一具体实施例中，步骤M230具体包括：
M231、根据所述目标分类结果，确定第一异常指数；
M232、根据所述若干第四隐含变量和所述第三隐含变量，确定第二异常指数；
M233、根据所述若干第四隐含变量，确定第三异常指数；
M234、根据所述目标流量值和所述第一目标流量数据样本的真实流量值，确定第四异常指数；
M235、根据所述第一异常指数、所述第二异常指数、所述第三异常指数和所述第四异常指数，确定所述第一目标流量数据样本的目标异常指数。
具体地，目标异常指数由四部分组成，即第一异常指数、第二异常指数、第三异常指数以及第四异常指数。其中，第一异常指数根据父模型输出的分类结果确定，假设第二目标流量数据样本为x3，将第二目标流量数据样本输入父模型中进行前向传播得到父模型输出的分类结果
Figure BDA0002727838470000181
Figure BDA0002727838470000182
越大，表示第一目标流量数据样本为异常流量的可能性越高，则第一异常指数I1＝F(x3)。第二异常指数根据若干第四隐含变量和第三隐含变量确定，假设每个子模型的第四隐含变量为
Figure BDA0002727838470000183
父模型的第三隐含变量为
Figure BDA0002727838470000184
则若干第四隐含变量的均值向量为
Figure BDA0002727838470000185
若干第四隐含变量的均值向量与第三隐含变量之间的误差即为第二异常指数，第二异常指数可表示为
Figure BDA0002727838470000186
当第一目标流量数据样本为正常流量样本时，第三隐含变量和若干第四隐含变量相似，反之，当第一目标流量数据样本为异常流量样本时，第三隐含变量和若干第四隐含变量差异较大。因此，I2越大，表示第一目标流量数据样本为异常流量的可能性越高。第三异常指数根据若干第四隐含变量，假设每个子模型的第四隐含变量为
Figure BDA0002727838470000191
若干第四隐含变量之间的方差向量
Figure BDA0002727838470000192
即为第三异常指数I3，即
Figure BDA0002727838470000193
当第一目标流量数据样本为正常流量样本时，各个子模型的第四隐含变量相似，反之，当第一目标流量数据样本为异常流量样本时，各个子模型的第四隐含变量差异较大，即I3越大，表示第一目标流量数据样本为异常流量的可能性越高。第四异常指数根据目标流量值和第一目标流量数据样本的真实流量值确定，假设目标流量值为
Figure BDA0002727838470000194
第一目标流量数据样本的真实流量值为x，则第四异常指数I4为各个子模块的重构结果差异，即
Figure BDA0002727838470000195
当第一目标流量数据样本为正常流量样本时，各个子模型的重建结果相似，反之，当第一目标流量数据样本为异常流量样本时，各个子模型的重建结果差异较大，即I4越大，表示该样本为异常流量的可能性越高。
获取到第一异常指数、第二异常指数、第三异常指数和第四异常指数后，即可根据第一异常指数、第二异常指数、第三异常指数和第四异常指数确定第一目标流量数据样本的目标异常指数。目标异常指数的计算公式为：Ix＝λ1·I1+λ2·I2+λ3·I3+λ4·I4，其中，λ1、λ2、λ3和λ4为权重系数，
Figure BDA0002727838470000196
M300、根据所述目标异常指数以及预设指数阈值，确定所述第一目标流量数据样本是否遭受入侵。
本实施例中预先设置指数阈值λp，确定第一目标流量数据样本的目标异常指数后，将第一目标流量数据样本的目标异常指数与预设指数阈值进行对比，当目标异常指数大于预设指数阈值时，判断第一目标流量数据样本遭受入侵；当目标异常指数小于或者等于预设指数阈值时，判断第一目标流量数据样本没有遭受入侵。
在一具体实施例中，步骤M300中指数阈值的获取步骤包括：
M310、将所述第二训练数据集输入所述网络入侵检测模型的父模型中，获取所述父模型输出的私有数据分类结果和所述父模型的第五隐含变量；其中，所述第五隐含变量为所述父模型的第M层输出的特征向量；
M320、将所述第二训练数据集输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的私有数据流量值和所述若干子模型输出的若干第六隐含变量；其中，所述第六隐含变量为所述若干子模型的第M层输出的特征向量；
M330、根据所述私有数据分类结果、所述私有数据流量值、所述第五隐含变量和所述若干第六隐含变量，确定所述私有数据集的若干私有数据异常指数；
M340、从所述若干私有数据异常指数中选择一个私有数据异常指数作为所述指数阈值。
指数阈值的获取方式与目标异常指数的获取方式类似，在生成网络入侵检测的父模型后，将第二训练数据集输入网络入侵检测模型的父模型中，获取父模型输出的私有数据分类结果和父模型的第五隐含变量，即将第二训练数据集输入父模型后，父模型的第M层输出的特征向量。将第二训练数据集输入网络入侵检测模型的若干子模型中，获得若干子模型输出的私有数据流量值和若干子模型的若干第六隐含变量，即将第二训练数据集输入若干子模型后，若干子模型的第M层输出的特征向量。然后根据私有数据分类结果、私有数据流量值、第五隐含变量和若干第六隐含变量，确定私有数据集的若干私有数据异常指数。其中，确定私有数据集的若干私有数据异常指数的方法与前述步骤中确定目标异常指数的步骤类似，即根据父模型输出的私有数据分类结果确定第五异常指数，根据若干第六隐含变量和第五隐含变量确定第六异常指数，根据若干第六隐含变量之间的方差向量确定第七异常指数，根据私有数据流量值和第二训练数据集中数据流量的真实值确定第八异常指数，根据第五异常指数、第六异常指数、第七异常指数和第八异常指数确定私有数据集的若干私有数据异常指数。
获取到私有数据集的若干私有数据异常指数后，将若干私有数据异常指数从小到大排序，取其p分位数的值作为预设指数阈值λp，其中0<p<1，p越大，则阈值越高，判断为异常流量的可能性越小。
实施例三
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏和温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络入侵检测模型生成方法及一种网络入侵检测方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在装置内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
获取网络入侵检测的公开数据集和目标网络的私有数据集；其中，所述公开数据集中包含若干正常流量数据和若干异常流量数据，所述私有数据集中包含若干正常流量数据；
通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集；
根据所述第一训练数据集对预设神经网络模型的父模型进行训练，以及根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练，得到网络入侵检测模型；其中，所述第一隐含变量为所述父模型的第M层输出的特征向量，M为正整数。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：获取所述公开数据集中若干流量数据的均值和方差；根据所述均值和所述方差对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述第一训练数据集输入预设神经网络模型的父模型中，获取所述父模型输出的所述第一训练数据集的预测流量标签；根据所述预测流量标签和所述第一训练数据集的真实流量标签对所述父模型的模型参数进行更新，直至所述父模型的训练情况满足预设条件。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述第二训练数据集输入预设神经网络模型的若干子模型中，获取所述若干子模型输出的所述第二训练数据集的预测流量值以及所述若干子模型的第二隐含变量；其中，所述第二隐含变量为所述若干子模型的第M层输出的特征向量；根据所述预测流量值和所述第二训练数据集的真实流量值以及所述第一隐含变量和所述第二隐含变量对所述若干子模型的模型参数进行更新，直至所述若干子模型的训练情况满足预设条件。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：通过所述公开数据集中的流量数据对第一目标流量数据样本进行标准化，得到第二目标流量数据样本；将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数；根据所述目标异常指数以及预设指数阈值，确定所述第一目标流量数据样本是否遭受入侵。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述第二目标流量数据样本输入所述网络入侵检测模型的父模型中，获取所述父模型输出的目标分类结果和所述父模型的第三隐含变量；其中，所述第三隐含变量为所述父模型的第M层输出的特征向量；将所述第二目标流量数据样本输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的目标流量值和所述若干子模型的若干第四隐含变量；其中，所述若干第四隐含变量为所述若干子模型的第M层输出的特征向量；根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：根据所述目标分类结果，确定第一异常指数；根据所述若干第四隐含变量和所述第三隐含变量，确定第二异常指数；根据所述若干第四隐含变量，确定第三异常指数；根据所述目标流量值和所述第一目标流量数据样本的真实流量值，确定第四异常指数；根据所述第一异常指数、所述第二异常指数、所述第三异常指数和所述第四异常指数，确定所述第一目标流量数据样本的目标异常指数。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将所述第二训练数据集输入所述网络入侵检测模型的父模型中，获取所述父模型输出的私有数据分类结果和所述父模型的第五隐含变量；其中，所述第五隐含变量为所述父模型的第M层输出的特征向量；将所述第二训练数据集输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的私有数据流量值和所述若干子模型输出的若干第六隐含变量；其中，所述第六隐含变量为所述若干子模型的第M层输出的特征向量；根据所述私有数据分类结果、所述私有数据流量值、所述第五隐含变量和所述若干第六隐含变量，确定所述私有数据集的若干私有数据异常指数；从所述若干私有数据异常指数中选择一个私有数据异常指数作为所述指数阈值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种网络入侵检测模型生成方法、检测方法及电子设备，所述生成方法获取网络入侵检测的公开数据集和目标网络的私有数据集；通过公开数据集中的流量数据对公开数据集和私有数据集进行标准化，得到第一训练数据集和第二训练数据集；根据第一训练数据集对预设神经网络模型的父模型进行训练，以及根据第二训练数据集和第一隐含变量对预设神经网络模型的若干子模型进行训练，得到网络入侵检测模型。本发明通过公开数据集和私有数据集分别训练父模型和若干子模型，并使用父模型指导若干子模型的学习，在保证若干子模型学习私有数据集分布的同时提升训练效果，无需在目标网络环境收集异常流量即可检测攻击类型未知的流量数据，降低了数据量收集的需求，提升了异常流量检测的准确性和鲁棒性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种网络入侵检测模型生成方法，其特征在于，包括：
获取网络入侵检测的公开数据集和目标网络的私有数据集；其中，所述公开数据集中包含若干正常流量数据和若干异常流量数据，所述私有数据集中包含若干正常流量数据；
通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集；
根据所述第一训练数据集对预设神经网络模型的父模型进行训练，以及根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练，得到网络入侵检测模型；其中，所述第一隐含变量为所述父模型的第M层输出的特征向量，M为正整数。
2.根据权利要求1所述的网络入侵检测模型生成方法，其特征在于，所述通过所述公开数据集中的流量数据对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集的步骤包括：
获取所述公开数据集中若干流量数据的均值和方差；
根据所述均值和所述方差对所述公开数据集和所述私有数据集进行标准化，得到第一训练数据集和第二训练数据集。
3.根据权利要求1所述的网络入侵检测模型生成方法，其特征在于，所述根据所述第一训练数据集对预设神经网络模型的父模型进行训练的步骤包括：
将所述第一训练数据集输入预设神经网络模型的父模型中，获取所述父模型输出的所述第一训练数据集的预测流量标签；
根据所述预测流量标签和所述第一训练数据集的真实流量标签对所述父模型的模型参数进行更新，直至所述父模型的训练情况满足预设条件。
4.根据权利要求1所述的网络入侵检测模型生成方法，其特征在于，所述根据所述第二训练数据集和所述父模型的第一隐含变量对预设神经网络模型的若干子模型进行训练的步骤包括：
将所述第二训练数据集输入预设神经网络模型的若干子模型中，获取所述若干子模型输出的所述第二训练数据集的预测流量值以及所述若干子模型的第二隐含变量；其中，所述第二隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述预测流量值和所述第二训练数据集的真实流量值以及所述第一隐含变量和所述第二隐含变量对所述若干子模型的模型参数进行更新，直至所述若干子模型的训练情况满足预设条件。
5.一种网络入侵检测方法，其特征在于，应用于如权利要求1-4任一项所述的网络入侵检测模型生成方法生成的网络入侵检测模型，包括：
通过所述公开数据集中的流量数据对第一目标流量数据样本进行标准化，得到第二目标流量数据样本；
将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数；
根据所述目标异常指数以及预设指数阈值，确定所述第一目标流量数据样本是否遭受入侵。
6.根据权利要求5所述的网络入侵检测方法，其特征在于，所述将所述第二目标流量数据样本输入所述网络入侵检测模型中，确定所述第一目标流量数据样本的目标异常指数的步骤包括：
将所述第二目标流量数据样本输入所述网络入侵检测模型的父模型中，获取所述父模型输出的目标分类结果和所述父模型的第三隐含变量；其中，所述第三隐含变量为所述父模型的第M层输出的特征向量；
将所述第二目标流量数据样本输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的目标流量值和所述若干子模型的若干第四隐含变量；其中，所述若干第四隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数。
7.根据权利要求6所述的网络入侵检测方法，其特征在于，所述根据所述目标分类结果、所述目标流量值、所述第三隐含变量和所述若干第四隐含变量，确定所述第一目标流量数据样本的目标异常指数的步骤包括：
根据所述目标分类结果，确定第一异常指数；
根据所述若干第四隐含变量和所述第三隐含变量，确定第二异常指数；
根据所述若干第四隐含变量，确定第三异常指数；
根据所述目标流量值和所述第一目标流量数据样本的真实流量值，确定第四异常指数；
根据所述第一异常指数、所述第二异常指数、所述第三异常指数和所述第四异常指数，确定所述第一目标流量数据样本的目标异常指数。
8.根据权利要求6所述的网络入侵检测方法，其特征在于，所述指数阈值的获取步骤包括：
将所述第二训练数据集输入所述网络入侵检测模型的父模型中，获取所述父模型输出的私有数据分类结果和所述父模型的第五隐含变量；其中，所述第五隐含变量为所述父模型的第M层输出的特征向量；
将所述第二训练数据集输入所述网络入侵检测模型的若干子模型中，获取所述若干子模型输出的私有数据流量值和所述若干子模型输出的若干第六隐含变量；其中，所述第六隐含变量为所述若干子模型的第M层输出的特征向量；
根据所述私有数据分类结果、所述私有数据流量值、所述第五隐含变量和所述若干第六隐含变量，确定所述私有数据集的若干私有数据异常指数；
从所述若干私有数据异常指数中选择一个私有数据异常指数作为所述指数阈值。
9.一种终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-4任一项所述的网络入侵检测模型生成方法中的步骤，或者5-8任一项所述的网络入侵检测方法中的步骤。
10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-4任一项所述的网络入侵检测模型生成方法中的步骤，或者5-8任一项所述的网络入侵检测方法中的步骤。
CN202011108684.9A 2020-10-16 2020-10-16 一种网络入侵检测模型生成方法、检测方法及电子设备 Pending CN112200254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011108684.9A CN112200254A (zh) 2020-10-16 2020-10-16 一种网络入侵检测模型生成方法、检测方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011108684.9A CN112200254A (zh) 2020-10-16 2020-10-16 一种网络入侵检测模型生成方法、检测方法及电子设备

Publications (1)

Publication Number Publication Date
CN112200254A true CN112200254A (zh) 2021-01-08

Family

ID=74009176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011108684.9A Pending CN112200254A (zh) 2020-10-16 2020-10-16 一种网络入侵检测模型生成方法、检测方法及电子设备

Country Status (1)

Country Link
CN (1) CN112200254A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116232776A (zh) * 2023-05-09 2023-06-06 鹏城实验室 跳板攻击检测方法、装置、终端设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116232776A (zh) * 2023-05-09 2023-06-06 鹏城实验室 跳板攻击检测方法、装置、终端设备及计算机存储介质
CN116232776B (zh) * 2023-05-09 2023-08-25 鹏城实验室 跳板攻击检测方法、装置、终端设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN109873812B (zh) 异常检测方法、装置及计算机设备
CN109891508B (zh) 单细胞类型检测方法、装置、设备和存储介质
CN113596007B (zh) 一种基于深度学习的漏洞攻击检测方法和设备
CN107249000B (zh) 一种移动用户异常行为检测方法
CN112671985A (zh) 基于深度学习的坐席质检方法、装置、设备及存储介质
US20230385597A1 (en) Multi-granularity perception integrated learning method, device, computer equipment and medium
CN114036531A (zh) 一种基于多尺度代码度量的软件安全漏洞检测方法
CN115630298A (zh) 基于自注意力机制的网络流量异常检测方法及系统
Lawrence et al. Explaining neural matrix factorization with gradient rollback
Deng et al. Incipient fault detection of nonlinear chemical processes based on probability-related randomized slow feature analysis
CN114389843A (zh) 一种基于变分自编码器的网络异常入侵检测系统和方法
CN114298345A (zh) 回收估价输出模型训练方法及回收估价输出方法
CN112200254A (zh) 一种网络入侵检测模型生成方法、检测方法及电子设备
CN114118526A (zh) 一种企业风险预测方法、装置、设备及存储介质
CN108920958A (zh) 检测pe文件异常行为的方法、装置、介质及设备
CN117034273A (zh) 基于图卷积网络的安卓恶意软件检测方法及系统
CN111008673A (zh) 配电网信息物理系统中恶性数据链采集提取方法
CN112667754B (zh) 大数据处理方法、装置、计算机设备及存储介质
Huo et al. Traffic anomaly detection method based on improved GRU and EFMS-Kmeans clustering
CN114528908A (zh) 网络请求数据分类模型训练方法、分类方法及存储介质
CN113469816A (zh) 基于多组学技术的数字货币识别方法、系统和存储介质
CN113887609A (zh) 设备屏幕老化检测模型训练方法及设备屏幕老化检测方法
Wang et al. Has Approximate Machine Unlearning been evaluated properly? From Auditing to Side Effects
CN116723083B (zh) 一种云服务器在线故障诊断方法及装置
CN116860635A (zh) 性能检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination