CN114422241A - 一种入侵检测方法、装置及系统 - Google Patents

一种入侵检测方法、装置及系统 Download PDF

Info

Publication number
CN114422241A
CN114422241A CN202210058096.1A CN202210058096A CN114422241A CN 114422241 A CN114422241 A CN 114422241A CN 202210058096 A CN202210058096 A CN 202210058096A CN 114422241 A CN114422241 A CN 114422241A
Authority
CN
China
Prior art keywords
data set
intrusion detection
intrusion
factor
turing machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210058096.1A
Other languages
English (en)
Other versions
CN114422241B (zh
Inventor
王海凤
杜辉
刘迎喜
贾颜妃
王再平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202210058096.1A priority Critical patent/CN114422241B/zh
Publication of CN114422241A publication Critical patent/CN114422241A/zh
Application granted granted Critical
Publication of CN114422241B publication Critical patent/CN114422241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明公开了一种入侵检测方法、装置及系统，涉及网络安全技术领域，在精简数据数量的同时，降低了数据的维度，保障了入侵检测的时效性；将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。方案要点为：对入侵数据集进行预处理；计算变量间的相关系数矩阵；计算特征根和特征向量；选取主成分变量，并获取因子载荷矩阵；计算各因子的方差贡献，并累计所有因子的方差贡献率；选取公共因子并表示入侵数据集；获取因子分析神经图灵机入侵检测模型；进行检测，获取数据分类结果，完成入侵检测。本发明用于网络安全维护中。

Description

一种入侵检测方法、装置及系统
技术领域
本发明涉及网络安全技术领域，尤其涉及一种入侵检测方法、装置及系统。
背景技术
网络安全是指通过各种技术和管理工具，使网络系统正常运行，从而确保网络数据的可用性、完整性和保密性。在当今互联网如此发达的信息时代，若网络安全得不到保障，将会直接影响国家信息以及个人财产安全。在众多网络安全管理工具中，入侵检测系统是一个非常重要的网络安全检测工具，其主要作用是识别可能存在安全隐患的异常入侵信号，以确保当前网络的安全及正常运行。
现有入侵检测系统一般是：先通过正常行为数据建立检测模型；再将待检测行为输入到该检测模型中进行检测，即识别与正常行为存在明显差异的异常行为，从而实现保障网络安全的目的。
因为目前网络数据维度高、数量大，并且存在着较多的冗余数据，所以致使上述现有入侵检测系统在实现入侵检测时，出现了检测时间长、响应慢的问题；与此同时，由于在庞大的数据中存在着噪声数据，噪声数据在通过现有入侵检测系统时，常常会被误检为异常行为数据，因此，现有入侵检测系统会出现误检的情况，检测准确度低。
发明内容
本发明提供一种入侵检测方法、装置及系统，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现待检测数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
为达到上述目的，本发明采用如下技术方案：
本发明第一方面提供一种入侵检测方法，包括：
对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
计算所述相关系数矩阵的特征根和特征向量；
在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵，所述因子载荷矩阵为p×m的矩阵；其中，m为小于p的整数；
计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
进一步的，所述的一种入侵检测方法，在将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型之后；还包括：
对所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测方法，对所述因子分析神经图灵机入侵检测模型进行迭代优化，包括：
将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播。
根据所述误差项计算每个权重的梯度。
根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测方法，在根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集之后，还包括：
判断所述公共因子的典型代表变量是否突出，获取判断结果。
若所述判断结果为不突出，则对所述公共因子进行因子旋转。
进一步的，所述的一种入侵检测方法，对入侵数据集进行预处理，包括：
对所述入侵数据集中各数据的字符型特征进行数值化。
对所述入侵数据集中各数据的特征进行归一化。
7、进一步的，所述的一种入侵检测方法，将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型包括：
将所述降维简化后的测试数据集通过擦除操作和添加操作输入到所述因子分析神经图灵机入侵检测模型。：
本发明第二方面提供一种入侵检测装置，包括：
预处理单元，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
第一计算单元，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
第二计算单元，用于计算所述相关系数矩阵的特征根和特征向量；
第一选取单元，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数；
第三计算单元，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
第二选取单元，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
训练单元，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
检测单元，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
进一步的，所述的一种入侵检测装置，还包括：
优化单元，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块、第二计算模块和筛选模块组成，其中，第一计算模块，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块，用于根据所述误差项计算每个权重的梯度；筛选模块，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测装置，还包括：
判断单元，用于判断所述公共因子的典型代表变量是否突出，获取判断结果。
旋转单元，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
本发明第三方面提供一种入侵检测系统，包括：
输入装置，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集；
公共因子选取装置，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；
训练装置，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后的训练数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型；
检测装置，所述检测装置分别与所述输入装置、训练装置相连，用于将所述降维简化后的测试数据集输送到所述因子分析神经图灵机入侵检测模型中，进行入侵检测，获取数据分类结果，以便完成对所述测试数据集的入侵检测。
本发明提供一种入侵检测方法、装置及系统，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，以下将对实施例描述中所需要使用的附图作简单地介绍，附图仅用于示出实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例1中一种入侵检测方法流程示意图；
图2为本发明实施例1中一种神经图灵机组成结构示意图；
图3为本发明实施例1中一种长短期记忆网络组成结构示意图；
图4为本发明实施例2中一种入侵检测方法流程示意图；
图5为本发明实施例3中一种入侵检测装置组成结构示意图；
图6为本发明实施例4中一种入侵检测系统组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明术领域的技术人员通常理解的含义相同；本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本发明实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本发明实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在本发明实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本发明实施例的描述中，术语“多个”指的是两个以上(包括两个)，同理，“多组”指的是两组以上(包括两组)，“多片”指的是两片以上(包括两片)。
在本发明实施例的描述中，技术术语“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。
在本发明实施例的描述中，除非另有明确的规定和限定，技术术语“安装”“相连”“连接”“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；也可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明例中的具体含义。
实施例1
本实施例提供一种入侵检测方法，如图1所示，包括：
101、对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
本实施例对入侵数据集的具体类型不作限制，实施者可根据实际需要在DARPA98、DARPA99、DARPA00、DARPA2000、KDD99、NSL-KDD和IDS2018中任选一种或多种。本实施例对入侵数据集进行预处理包括：对入侵数据集中的各数据进行缺失值处理和归一化处理。
102、计算各入侵检测数据变量间的相关系数矩阵；各入侵检测数据包含于预处理后的入侵数据集中，所述各入侵检测数据中每条入侵检测数据由p个变量组成，其中，p为大于3的整数。
变量来源于数学，是计算机语言中能储存计算结果或能表示值的抽象概念，一个数据中可包含多个变量，本实施例所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数。
相关系数矩阵也称相关矩阵，是由矩阵各列间的相关系数构成的。
103、计算相关系数矩阵的特征根和特征向量。
此处将对特征根和特征向量进行简单的介绍：
从定义出发Ax＝cx：A为矩阵，c为特征根，x为特征向量。矩阵A乘以x表示对向量x进行一次转换，而该转换的效果为常数c乘以向量x。一般的，求特征根和特征向量即为求出该矩阵能使哪些向量只发生拉伸，使其发生拉伸的程度如何，旨在确定当前矩阵在哪些方面产生了最大的效果，并根据所产生的各特征向量进行相关分类、研究。
104、在入侵检测数据变量中选取m个主成分变量，并根据特征根和特征向量获取因子载荷矩阵；其中，m为小于p的整数。
因子载荷的统计意义就是第i个变量与第j个公共因子的相关系数即表示X(i)依赖F(j)的比重，统计学术语称作“权”，心理学家将它叫做“载荷”，即表示第i个变量在第j个公共因子上的负荷，它反映了第i个变量在第j个公共因子上的相对重要性。本发明将心理学中的因子分析法改进并应用于入侵检测中，即在诸多入侵检测变量中找出隐藏的具有代表性的因子，在入侵检测中将入侵检测的众多网络特征融合成精简的综合特征，在实现对网络入侵数据的降维的同时降低了数据之间的相关性。
105、计算各因子的方差贡献，并累计所有因子的方差贡献率；各因子为因子载荷矩阵中的元素。
方差(Variance)，应用数学里的专有名词。在概率论和统计学中，一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。方法贡献率表示同一公共因子对各变量所提供的方差贡献的总和，是用来衡量各公共因子相对重要性的参数。
106、根据预设贡献率阈值，在因子载荷矩阵中选取前K个因子为公共因子，并使用公共因子的线性组合表示入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
此处需要说明的是：本实施例中预设贡献率阈值可根据实际需求进行调整确定，此处不作具体限制。
107、将降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
如图2所示，神经图灵机(Neural Turing Machine，NTM)由外部存储器和神经网络控制器两部分组成。神经网络控制器通过输入输出向量与外界交互，通过使用读操作和写操作和外部存储器进行交互。在NTM中将记忆信息与神经网络解耦，并且每次只更新其中一部分记忆，因此记忆信息可以保存足够久的时间，使得神经网络控制器可以提取入侵检测数据深层特征，提高入侵检测的准确率和降低误报率。
其中，本实施例选用长短期记忆网络(Long Short-Term Memory，LSTM)作为NTM的控制器，如图3所示，LSTM是为了解决循环神经网络(Recurrent Neural Network,RNN)存在梯度消失和梯度爆炸的问题而提出的。与RNN相比，LSTM在隐藏层中使用了记忆单元，记忆单元主要由遗忘门、输入门、输出门和自连接的记忆细胞组成。LSTM遗忘门、输入门、输出门和记忆细胞的公式如下：
遗忘门：ft＝σ(wf·[ht-1,xt]+bf)
输入门：it＝σ(wi·[ht-1,xt]+bi)
候选记忆细胞：
Figure BDA0003477214730000091
记忆细胞：
Figure BDA0003477214730000092
输出门：ot＝σ(wo·[ht-1,xt]+bo)
输出：ht＝ot*tanh(Ct)
式中，f、i、o和c分别代表遗忘门、输入门、输出门和记忆细胞的输出，wf、wi、wc、wo是权重矩阵，bf、bi、bc、bo是偏置向量，σ是sigmoid函数。
NTM的外部存储器是存储一个N*M的矩阵，其中，N表示记忆条数，M表示每条记忆的长度。外部存储器能够进行读取和写入操作。控制器通过对输入和输出向量的读写，使用两个读头和写头有选择地对存储器进行读写操作，从而实现存储器中记忆内容的更新和拾取。
108、将降维简化后的测试数据集输入到因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对入侵数据集的入侵检测。
本发明提供一种入侵检测方法，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
实施例2
本发明实施例提供一种入侵检测方法，如图4所示，包括：
201、对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
本实施例选用NSL-KDD数据集为入侵数据集，相比于其它数据集(例如KDD99)NSL-KDD数据集具有以下优势:
(一)、NSL-KDD数据集的训练数据集中不包含冗余记录，所以分类器不会偏向更频繁的记录。
(二)、NSL-KDD数据集的测试数据集中没有重复的记录，使得检测率更为准确。
(三)、来自每个难度级别组的所选记录的数量与原始KDD数据集中的记录的百分比成反比。结果，不同机器学习方法的分类率在更宽的范围内变化，这使得对不同学习技术的准确评估更有效。
(四)、训练和测试中的记录数量设置是合理的，这使得在整套实验上运行实验成本低廉而无需随机选择一小部分。因此，不同研究工作的评估结果将是一致的和可比较的。
2011、对所述入侵数据集中各数据的字符型特征进行数值化。
具体地，对NSL-KDD数据集中各数据的第2列特征protocol_type、第3列特征service和第4列特征flag进行字符型特征数值化：
首先，统计对应字符型特征包含的所有取值情况；其次，将相应字符型数据与数值型向量一一映射，例如：第二列特征protocol_type的取值类型有三种，分别为TCP,UDP,ICMP,采用one-hot编码方式获取的映射结果如表一所示：
Figure BDA0003477214730000101
表一 protocol_type编码表
2012、对所述入侵数据集中各数据的特征进行归一化。
具体地，对各数据的特征进行归一化,即将数据特征缩放到0和1之间，本实施例使用min-max归一化来完成线性缩放，如公式(1)所示：
Figure BDA0003477214730000102
式中，f表示特征的原始值，f′表示归一化后的特征值，maxj和minj是第j个特征的最大值和最小值。
202、计算各入侵检测数据变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，各所述入侵检测数据由p个变量组成，其中，p为大于3的整数。
具体地，若各入侵检测数据由p个变量组成，分别用{x1,x2,…,xp}来表示，且每个变量的均值为0，标准差是1，现将每一个变量用K(K<p)个因子{f1,f2,…,fk}的线性组合来表示，如公式(2)所示：
X＝AF+ε (2)
式中，X＝(x1,x2,…,xp)T，F＝(f1,f2,…,fk)T，ε＝(ε1,ε2,…,εp)T,A为因子载荷矩阵。
因为X＝(x1,x2,…,xp)T是可观测随机向量，且均值向量E(x)＝0，协方差矩阵Cov(x)＝∑且协方差矩阵∑与相关矩阵R相等，所以可求得相关系数矩阵R。
203、计算所述相关系数矩阵的特征根和特征向量。
具体地，记相关系数矩阵的特征根为λ＝λ1,λ2,…,λp，并按照大小排序，使得λ1≥λ2≥…≥λp，对应的特征向量记为η＝η1,η2,…,ηp。
204、在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数。
具体地，在入侵检测数据变量中选取m个主成分变量，其中，m为小于p的整数，并根据上述特征根和特征向量计算因子载荷矩阵A，如公式(3)所示：
Figure BDA0003477214730000111
式中，λ1,λ2,…,λk为相关系数矩阵的特征根，η1,η2,…,ηk为相关系数矩阵的特征向量，p为入侵检测数据变量的个数，m为入侵检测数据主成分变量的个数。
205、计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素。
其中，各因子的方差贡献是因子载荷矩阵中第j列元素的平方和，反映了第j个因子对原有变量总方差的解释能力。
具体地，计算各因子的方差贡献，如公式(4)所示：
Figure BDA0003477214730000112
式中，i表示因子载荷矩阵中当前行，j表示因子载荷矩阵中当前列，p为入侵检测数据变量的个数。
累计方差贡献率，如公式(5)所示：
Figure BDA0003477214730000113
式中，i表示因子载荷矩阵中当前行，p为入侵检测数据变量的个数，K表示公共因子个数。
206、根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后入侵数据集,也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
此处需要说明的是：本实施例对预设贡献率阈值不作具体限制，实施者可根据实际情况进行调整确定。在选取出前K个公共因子之后，即使用{f1,f2,…,fk}的线性组合来表示原有数据，从而获取降维简化后入侵数据集：
Figure BDA0003477214730000121
207、判断所述公共因子的典型代表变量是否突出，获取判断结果。
208、若所述判断结果为不突出，则对所述公共因子进行因子旋转。
其中，因子旋转的目的为使因子载荷矩阵中因子载荷的平均值尽量向0和1两个极值转化，大的载荷更大，小的载荷更小，让每个变量在尽可能少的因子上有比较高的载荷，从而分辨出各个因子的重要性。
现有因子旋转的方法众多，比如:方差最大旋转法、四次方最大旋转法、等量最大旋转法、斜交旋转法和正交旋转法，实施者可根据实际需求进行选择，此处不再赘述。
209、将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
具体地，将降维简化后的训练数据集输入到神经图灵机模型中包括擦除操作和添加操作两部分：
(一)擦除操作：神经图灵机入侵检测模型通过擦除操作将前一时刻的记忆向量Mt-1改写为：
Figure BDA0003477214730000122
式中，wt(i)表示权重向量，Mt-1表示前一时刻的记忆向量表示，et表示擦除向量。
只有当第i个位置存储的wt(i)和擦除向量et都为1时，存储器单元中的元素才会被复位到0。如果权值wt(i)或者擦除向量et为0时，那么存储器中的记忆向量保持不变。
(二)添加操作：神经图灵机入侵检测模型在t时刻添加到存储器的记忆为：
Figure BDA0003477214730000131
式中，at表示写头产生的维数为M的附加向量。
在t时刻，所有写头的擦除操作和添加操作运算结果即为存储器最后存储的内容，控制器从存储器中读取入侵检测数据信息，读取记忆的过程是生成一个定位权值向量wt，该向量长度为N，表示在N个位置对应的记忆权值大小，得出记忆向量：
Figure BDA0003477214730000132
式中，wt为定位权值向量，N为向量长度。
210、对所述因子分析神经图灵机入侵检测模型进行迭代优化。
2101、将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播。
2102、根据所述误差项计算每个权重的梯度。
2103、根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
211、将降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
本发明提供一种入侵检测方法，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集内待检测数据的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
实施例3
本发明实施例提供一种入侵检测装置，如图5所示，包括：
预处理单元31，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
第一计算单元32，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数。
第二计算单元33，用于计算所述相关系数矩阵的特征根和特征向量。
第一选取单元34，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数。
第三计算单元35，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素。
第二选取单元36，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
判断单元37，用于判断所述公共因子的典型代表变量是否突出，获取判断结果。
旋转单元38，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
训练单元39，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
检测单元310，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
优化单元311，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块3111、第二计算模块3112和筛选模块3113组成，其中，第一计算模块3111，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块3112，用于根据所述误差项计算每个权重的梯度；筛选模块3113，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
此处需要说明的是:本实施例中各组成单元或模块的详细介绍在其它实施例中均有阐述，此处不再赘述，实施者在实施时可自行对应查找。
本发明提供一种入侵检测装置，从入侵数据集中选取公共因子，所述入侵数据集分为测试数据集和训练数据集，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，也即获得降维简化后的测试数据集和训练数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后训练数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
实施例4
本发明实施例提供一种入侵检测系统，如图6所示，包括：
输入装置41，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集。
公共因子选取装置42，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集。
训练装置43，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后入侵数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型。
检测装置44，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后的训练数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型。
此处需要说明的是:本实施例中各装置的详细介绍在其它实施例中均有阐述，此处不再赘述，实施者在实施时可自行对应查找。
本发明提供一种入侵检测系统，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后训练数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现待检测数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
最后应说明的是：以上各实施例仅用以说明本发明技术方案，非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (10)

1.一种入侵检测方法，其特征在于，包括：
对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
计算所述相关系数矩阵的特征根和特征向量；
在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵，所述因子载荷矩阵为p×m的矩阵；其中，m为小于p的整数；
计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
2.根据权利要求1所述的一种入侵检测方法，其特征在于，在将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型之后；还包括：
对所述因子分析神经图灵机入侵检测模型进行迭代优化。
3.根据权利要求2所述的一种入侵检测方法，其特征在于，对所述因子分析神经图灵机入侵检测模型进行迭代优化，包括：
将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；
根据所述误差项计算每个权重的梯度；
根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
4.根据权利要求1所述的一种入侵检测方法，其特征在于，在根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集之后，还包括：
判断所述公共因子的典型代表变量是否突出，获取判断结果；
若所述判断结果为不突出，则对所述公共因子进行因子旋转。
5.根据权利要求1所述的一种入侵检测方法，其特征在于，对入侵数据集进行预处理，包括：
对所述入侵数据集中各数据的字符型特征进行数值化；
对所述入侵数据集中各数据的特征进行归一化。
6.根据权利要求1所述的一种入侵检测方法，其特征在于，将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型包括：
将所述降维简化后的测试数据集通过擦除操作和添加操作输入到所述因子分析神经图灵机入侵检测模型。
7.一种入侵检测装置，其特征在于，包括：
预处理单元，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
第一计算单元，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
第二计算单元，用于计算所述相关系数矩阵的特征根和特征向量；
第一选取单元，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数；
第三计算单元，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
第二选取单元，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
训练单元，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
检测单元，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
8.根据权利要求7所述的一种入侵检测装置，其特征在于，还包括：
优化单元，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块、第二计算模块和筛选模块组成，其中，第一计算模块，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块，用于根据所述误差项计算每个权重的梯度；筛选模块，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
9.根据权利要求7所述的一种入侵检测装置，其特征在于，还包括：
判断单元，用于判断所述公共因子的典型代表变量是否突出，获取判断结果；
旋转单元，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
10.一种入侵检测系统，其特征在于，包括：
输入装置，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集；
公共因子选取装置，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；
训练装置，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后的训练数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型；
检测装置，所述检测装置分别与所述输入装置、训练装置相连，用于将所述降维简化后的测试数据集输送到所述因子分析神经图灵机入侵检测模型中，进行入侵检测，获取数据分类结果，以便完成对所述测试数据集的入侵检测。
CN202210058096.1A 2022-01-19 2022-01-19 一种入侵检测方法、装置及系统 Active CN114422241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058096.1A CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058096.1A CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN114422241A true CN114422241A (zh) 2022-04-29
CN114422241B CN114422241B (zh) 2023-07-07

Family

ID=81273831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058096.1A Active CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN114422241B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102891A (zh) * 2022-05-18 2022-09-23 中国第一汽车股份有限公司 一种车辆网络入侵检测测试方法和测试系统
CN117336097A (zh) * 2023-11-16 2024-01-02 国网江苏省电力有限公司信息通信分公司 一种基于大数据的网络信息安全管理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484602A (zh) * 2014-12-09 2015-04-01 中国科学院深圳先进技术研究院 一种入侵检测方法、装置
CN109379379A (zh) * 2018-12-06 2019-02-22 中国民航大学 基于改进卷积神经网络的网络入侵检测方法
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
CN110825068A (zh) * 2019-09-29 2020-02-21 惠州蓄能发电有限公司 一种基于pca-cnn的工业控制系统异常检测方法
CN112019529A (zh) * 2020-08-14 2020-12-01 山东中瑞电气有限公司 新能源电力网络入侵检测系统
CN112488145A (zh) * 2019-11-26 2021-03-12 大唐环境产业集团股份有限公司 一种基于智能化方法的NOx在线预测方法及系统
US20210185086A1 (en) * 2019-05-30 2021-06-17 Morgan State University Method and system for intrusion detection
US11218502B1 (en) * 2020-09-23 2022-01-04 Sichuan University Few-shot learning based intrusion detection method of industrial control system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484602A (zh) * 2014-12-09 2015-04-01 中国科学院深圳先进技术研究院 一种入侵检测方法、装置
CN109379379A (zh) * 2018-12-06 2019-02-22 中国民航大学 基于改进卷积神经网络的网络入侵检测方法
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
US20210185086A1 (en) * 2019-05-30 2021-06-17 Morgan State University Method and system for intrusion detection
CN110825068A (zh) * 2019-09-29 2020-02-21 惠州蓄能发电有限公司 一种基于pca-cnn的工业控制系统异常检测方法
CN112488145A (zh) * 2019-11-26 2021-03-12 大唐环境产业集团股份有限公司 一种基于智能化方法的NOx在线预测方法及系统
CN112019529A (zh) * 2020-08-14 2020-12-01 山东中瑞电气有限公司 新能源电力网络入侵检测系统
US11218502B1 (en) * 2020-09-23 2022-01-04 Sichuan University Few-shot learning based intrusion detection method of industrial control system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李兆峰;: "基于主成分分析和卷积神经网络的入侵检测方法研究", 现代信息科技, no. 10 *
杨云峰;: "主成分分析在入侵检测中的应用研究", 河池学院学报, no. 05 *
杨宏宇;李春林;: "采用FA和SVDFRM的SVM入侵检测分类模型", 电子科技大学学报, no. 02 *
王海凤 等: "内蒙古工业大学学报(自然科学版)", 《内蒙古工业大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102891A (zh) * 2022-05-18 2022-09-23 中国第一汽车股份有限公司 一种车辆网络入侵检测测试方法和测试系统
CN117336097A (zh) * 2023-11-16 2024-01-02 国网江苏省电力有限公司信息通信分公司 一种基于大数据的网络信息安全管理方法及系统
CN117336097B (zh) * 2023-11-16 2024-04-26 国网江苏省电力有限公司信息通信分公司 一种基于大数据的网络信息安全管理方法及系统

Also Published As

Publication number Publication date
CN114422241B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
Lin et al. Identification of corporate distress in UK industrials: a conditional probability analysis approach
CN114422241A (zh) 一种入侵检测方法、装置及系统
CN112215702A (zh) 信用风险的评估方法、移动终端及计算机存储介质
CN112990386B (zh) 用户价值聚类方法、装置、计算机设备和存储介质
CN113177700B (zh) 一种风险评估方法、系统、电子设备及存储介质
CN111340086A (zh) 无标签数据的处理方法、系统、介质及终端
CN113313538A (zh) 用户消费能力预测方法、装置、电子设备和存储介质
CN114819777A (zh) 一种基于数字孪生技术的企业销售业务分析管理系统
CN112818162A (zh) 图像检索方法、装置、存储介质和电子设备
US8364614B2 (en) Method for building predictive models with incomplete data
Liu et al. A gradient-boosting decision-tree approach for firm failure prediction: an empirical model evaluation of Chinese listed companies
CN115858785A (zh) 一种基于大数据的敏感数据识别方法及系统
CN114118526A (zh) 一种企业风险预测方法、装置、设备及存储介质
CN117349160A (zh) 一种软件质量评估方法、装置及计算机可读存储介质
CN112330442A (zh) 基于超长行为序列的建模方法及装置、终端、存储介质
Araújo et al. The seismography of crashes in financial markets
Plíhal et al. Comparative analysis of credit risk models in relation to SME segment
Beyeler et al. Reduced‐form factor augmented VAR—Exploiting sparsity to include meaningful factors
Lin et al. The identification of corporate distress: a conditional probability analysis approach
CN115455142A (zh) 文本检索方法、计算机设备和存储介质
CN112927719A (zh) 风险信息评估方法、装置、设备及存储介质
CN112884028A (zh) 一种系统资源调整方法、装置及设备
CN111581068A (zh) 终端的工作量计算方法及其装置、存储介质、终端、云服务系统
Ishmah et al. Multiple Discriminant Analysis Altman Z-Score, Multiple Discriminant Analysis Stepwise and K-Means Cluster for Classification of Financial Distress Status in Manufacturing Companies Listed on the Indonesia Stock Exchange in 2019
Karaleu “Slice-Of-Life” customization of bankruptcy models: Belarusian experience and future development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant