CN117061255A - 电力信息系统的入侵检测方法、模型训练方法及装置 - Google Patents
电力信息系统的入侵检测方法、模型训练方法及装置 Download PDFInfo
- Publication number
- CN117061255A CN117061255A CN202311319558.1A CN202311319558A CN117061255A CN 117061255 A CN117061255 A CN 117061255A CN 202311319558 A CN202311319558 A CN 202311319558A CN 117061255 A CN117061255 A CN 117061255A
- Authority
- CN
- China
- Prior art keywords
- intrusion detection
- data
- network connection
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种电力信息系统的入侵检测方法、模型训练方法及装置,入侵检测方法包括以下步骤:将一优化后的入侵检测网络模型接入一电力信息系统中;采集所述电力信息系统的网络连接状态数据,并按照预设的格式要求进行特征描述和预处理,得到网络连接特征数据;将所述网络连接特征数据输入至所述入侵检测网络模型,以得到该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常。本发明提供的入侵检测方法、模型训练方法及装置突破了循环神经网络模型不能并行计算的限制,与卷积神经网络的结合使用进一步提升了网络模型的检测性能。
Description
技术领域
本发明涉及网络安全技术领域,尤其涉及一种电力信息系统的入侵检测方法、模型训练方法及装置。
背景技术
目前,在电力系统的各业务部门均部署运行着各种电力信息系统,管理着电力系统的各主要领域,涉及生产、配送、控制和用户数据收集等。这些电力信息系统一般都联网,其存储的数据和提供的服务不可避免的成为各种潜在攻击的目标。一旦电力信息系统被攻破,很可能会影响电力系统的正常运行,产生灾难性的后果,因此,保障这些电力信息系统的安全性显得尤为重要和迫切。虽然现在已经有不少电力信息系统安全相关的软件和工具,但是近年来针对电力信息系统的攻击越来越频繁、攻击方法种类也层出不穷,使电力信息系统随时面临着各类安全问题。这就对保障电力信息系统安全提出了更高的要求。
入侵检测是一种帮助系统应对攻击的有效方式,入侵检测系统是用来检测企图对信息系统进行攻击的工具,并且能够识别旨在干扰系统正常运作的异常活动和行为;它通过收集和分析网络行为、安全日志等其它网络上可以获得的信息以及计算机系统中若干关键点的信息,检测出内部或外部人员对计算机网络的未经授权的使用、误用和签名问题。与其它安全策略不同的是,入侵检测是一种主动的安全防护技术,在不影响网络和主机性能的情况下进行监测,从而提供对内部攻击、外部攻击和误操作的实时保护。
现有的不少入侵检测方法需要收集系统可能经历的历史攻击数据,这些数据用于后续的入侵检测判断。但是,所收集的数据巨大,处理数据费时耗力。为解决此问题,出现了基于传统机器学习的入侵检测系统,如基于K-means、隐马尔可夫模型、决策树、支持向量机等方法的入侵检测系统,但是其检测速度慢、准确率低,故而难以适应实际需求。
并行计算能同时执行多个程序,设计支持并行计算的入侵检测方法,不仅可以提高入侵检测速度,而且还可以扩大问题求解规模,解决大型而复杂的计算问题。因此,亟需研发一种新的入侵检测方法以提高检测效率。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,也不必然会给出技术教导;在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了克服现有技术存在的不足,本发明提供一种电力信息系统的入侵检测方法、模型训练方法及装置,具体技术方案如下:
一方面,提供了一种电力信息系统的入侵检测方法,其包括以下步骤:
将一优化后的入侵检测网络模型接入一电力信息系统中;
采集所述电力信息系统的网络连接状态数据,并按照预设的格式要求进行特征描述和预处理,得到网络连接特征数据;
将所述网络连接特征数据输入至所述入侵检测网络模型,以得到该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
其中,所述入侵检测网络模型通过以下步骤进行建立:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
进一步地,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习包括:
每个隐藏层被配置有多个Transformer块和CBL块,且Transformer块与CBL块交替排列;
每个隐藏层中最后一个Transformer块的输出侧与输出层连接,其余Transformer块的输出侧与同一隐藏层中的相邻CBL块连接,每个CBL块的输出侧与各个隐藏层中相邻的Transformer块连接以形成交错网络;
每个隐藏层对各个预处理数据进行学习,得到正常或异常的初步分类结果,进而使所述输出层根据各个预处理数据的初步分类结果输出对应网络连接为正常或异常的预测结果。
进一步地,在特征描述中,用n个字符型特征来描述每个网络连接的状态;在预处理中,将所述字符型特征对应转换成数值型特征,并进行标准化和归一化处理,以作为所述输入层的输入。
进一步地,所述学习样本集为KDD CUP 99数据集;
一个网络连接状态数据被定义为在某个时间段内从开始到结束的TCP数据包序列,并且在该时间段内,数据在预定义的协议下从源IP地址到目的IP地址的传递;
所述网络连接特征数据包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征的相关数据。
进一步地,根据自定义的转换规则,将字符型特征转换为数值型特征,得到集合,并对数值型特征进行标准化,对应标准化的计算公式如下所示:
;
其中,为平均值,/>为平均绝对偏差,n为特征数量,i和j为集合内元素的行列标记序号。
进一步地,在所述Transformer块中,假设其输入数据记作,则对应输出结果记作/>,相应的计算方式如下公式所示:
;
其中,LN代表层归一化处理,WMSA与SWMSA均为基于窗口的注意力计算,WMSA是在每个窗口内计算注意力,SWMSA是将注意力聚焦于各个窗口之间,用于实现窗口间特征的融合;为计算中间值,/>为/>的预测值,/>为/>的预测值。
进一步地,基于窗口的注意力计算公式如下:
式中,Q为查询向量,K为匹配向量,V为值向量,B为特征偏差,T为转置操作,d为特征维度。
进一步地,在计算Softmax函数时,需要进行正则化处理,并采用标签平滑和随机删减策略。
进一步地,所述入侵检测网络模型采用基于逻辑回归的二分类方法进行损失函数的设计。
进一步地,所述入侵检测网络模型采用是对数似然损失函数,单个样本的损失函数描述为:
式中,表示样本,/>为入侵检测网络模型计算,/>表示根据入侵检测网络模型得到的预测类别的概率值,其属于0至1之间;/>表示目标类别的预设值,目标类别为{正常,异常}中的一个,/>表示目标类别为正常时的预设值,/>表示目标类别为异常时的预设值;不同目标类别对应不同的预设数值,比如/>为0和/>为1。
又一方面,提供了一种入侵检测网络模型训练方法,包括以下步骤:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
又一方面,提供了一种电力信息系统的入侵检测装置,其包括入侵检测网络模型及以下模块:
接入模块,其被配置为将所述入侵检测网络模型接入一电力信息系统中;
数据采集模块,其被配置为采集所述电力信息系统的网络连接状态数据;
预处理模块,其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理,得到网络连接特征数据;
输入模块,其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型;
输出模块,其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
所述入侵检测网络模型通过以下步骤进行建立:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
又一方面,提供了一种电力信息系统的入侵检测系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的入侵检测方法。
还一方面,提供了一种计算机可读存储介质,用于存储程序指令,所述程序指令被配置为调用而执行上述的入侵检测方法的步骤。
与现有技术相比,本发明具有下列优点:为了提升入侵检测的识别准确率,本发明提出使用Transformer网络和卷积神经网络来搭建入侵检测系统,与其他深度学习方法不同,本发明所设计的Transformer网络突破了循环神经网络模型不能并行计算的限制,且计算两个位置之间的关联所需的操作次数不随距离增长,同时其自注意力机制的运用可以产生更具可解释性的模型;它能根据模型中设置注意力分布的不同,使各个注意头学会执行不同的任务;Transformer网络与卷积神经网络的结合使用可以进一步提升网络模型的检测性能,提升其应对数据集之外数据的预测能力。
附图说明
图1是本发明实施例提供的电力信息系统的入侵检测方法中的流程示意图;
图2是本发明实施例提供的电力信息系统的入侵检测方法中网络模型网络结构示意图;
图3是本发明实施例提供的电力信息系统的Transformer网络配合运算流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
目前,深度学习已经彻底改变了众多领域,并在计算机视觉和自然语言处理等领域提供了最先进的性能。由于其深度结构,深度神经网络方法有能力学习复杂的数据模式,使它成为学习位于网络流量数据中的复杂模式的理想选择。本发明提供的电力信息系统的入侵检测方法及系统采用Transformer网络和卷积神经网络来训练深度网络模型,使其具备识别危险活动的能力,在发现潜在攻击时发出警报,更好的提升网络系统的安全性。
在本发明的一个实施例中,提供了一种电力信息系统的入侵检测方法,其包括以下步骤:
将一优化后的入侵检测网络模型接入一电力信息系统中;
采集所述电力信息系统的网络连接状态数据,并按照预设的格式要求进行特征描述和预处理,得到网络连接特征数据;
将所述网络连接特征数据输入至所述入侵检测网络模型,以得到该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
其中,所述入侵检测网络模型通过以下步骤进行建立:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层,其为深度网络模型;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
具体地,所述入侵检测网络模型通过以下步骤进行建立:
利用预设的格式要求对网络连接的状态进行特征描述,以得到多个字符型特征,对所述字符型特征进行预处理后分别对应输入至所述输入层;每个输入层将输入的数据分别传输至不同的隐藏层进行处理,其中,每个隐藏层包含Transformer块和CBL块,Transformer块是基于Transformer网络的模型;CBL块是由卷积层Convolutional Layer、批归一化层Batch Normalization Layer、激活函数Leaky Relu这三个网络层组成的卷积神经网络;所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习,以通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;利用所述入侵检测网络模型的损失函数进行训练,以得到优化后的网络模型;参见图1,将某一时刻的网络连接状态按照预设的格式要求进行特征描述后,经预处理输入至所述优化后的入侵检测网络模型,以得到该网络连接对应的预测结果。
在本发明的一个实施例中,在特征描述中,用n个字符型特征来描述每个网络连接的状态;在预处理中,将所述字符型特征对应转换成数值型特征,并进行标准化和归一化处理,以作为所述输入层的输入。
具体地,所述预设的格式要求依据KDD CUP 99入侵检测数据集进行设置,根据KDDCUP 99入侵检测数据集的要求标注每个网络连接的判断结果,以作为训练时所述预测结果的比较对象。
下面以KDD CUP 99入侵检测数据为例进行具体说明,其含有多个网络连接的数据样本,并分成训练集和测试集,以配合所述入侵检测网络模型进行训练;一个网络连接定义为在某个时间内从开始到结束的TCP数据包序列,并且在这段时间内,数据在预定义的协议下从源IP地址到目的IP地址的传递。每个网络连接被标记为正常或异常,KDD CUP 99入侵检测数据集中每个连接用41个特征来描述,特征包括了TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征以及基于主机的网络流量统计特征。在训练集中共出现了22个攻击类型,而剩下的17种攻击类型只在测试集中出现,这样设计的目的是检验分类器模型的泛化能力,对未知攻击类型的检测能力是评价入侵检测系统好坏的重要指标。
在数据预处理过程中,将数据集中的字符型特征根据自定义的转换规则转换为数值型特征,得到集合,接着将数值型特征标准化,对应计算公式如下所示:
其中,为平均值,/>为平均绝对偏差,其比标准差/>,在对于孤立点上,具有更好的鲁棒性;其中,/>为/>的平均值。
接着将标准化后的每个数值归一到 [0,1] 区间,假设结果值为,计算公式如下所示:
此时得到的包含了数据集中标注的41个数值特征。
在入侵检测网络模型设计过程中,参见图2,入侵检测网络模型包含了41个输入层、4个隐藏层、2个输出层。其中,每个隐藏层又包含了一个Transformer块和一个CBL块。一个CBL块是由卷积层Convolutional Layer、批归一化层Batch Normalization Layer、激活函数Leaky Relu函数这三个网络层组成的卷积神经网络。Transformer模型是用于解决sequence to sequence问题的模型,它用全注意力的结构代替了双向循环神经网络,抛弃了之前传统的编码器-解码器模型必须结合卷积神经网或者循环神经网的固有模式,只使用注意力,具备优秀的特征学习能力,被广泛应用于自然语言处理、计算机视觉等众多研究领域。本实施例中的Transformer块的详细设计如图3所示,经过多次窗口注意力机制WMSA和SWMSA,以及残差特征连接,对复杂数据中存在的规则模式进行学习,参见图3,假设其特征输入为,则对应输出/>的计算方式如下公式所示:
;
式中,LN代表层归一化处理,WMSA与SWMSA均为基于窗口的注意力计算,WMSA是在每个窗口内计算注意力,SWMSA是将注意力聚焦于各个窗口之间,用于实现窗口间特征的融合;为计算中间值,/>为/>的预测值,/>为/>的预测值。
其中,LN代表层归一化,是对一个模型中间层的所有神经元进行归一化,计算公式如下:
该式中,和/>分别是均值和方差,/>和/>代表缩放和平移的参数向量,/>为预设参数,/>和/>分别对应归一化前后的神经元计算。
WMSA与SWMSA均为基于窗口的注意力计算,计算公式如下:
其中,Q为查询向量,K为匹配向量,V为值向量,B为特征偏差,窗口长度均设置为64,T 为转置操作,d为特征维度;与传统的注意力计算方式不同,本实施例中采用的Transformer则将注意力的计算限制在每个规定的窗口大小内,进而减少了计算量。WMSA是在每个窗口内计算注意力的,SWMSA则是将注意力聚焦于各个窗口之间,实现窗口间特征的融合。
另外,在一个实施例中,在计算Softmax时,为了防止过拟合,需要进行正则化,本实施例采用标签平滑和随机删减策略。假设目标类别为,任意类别为/>,真实分布为,模型预测分布为/>。显然,当/>时,/>;当/>时,。为了让模型的输出不要过于贴合单点分布,选择在真实分布中加入噪声,削弱/>的概率,并整体叠加一个独立于训练样例的均匀分布/>,转化后的真实分布表示如下所示:
其中,是噪声比例因子,权重设置为0.1,K是softmax函数的类别数。所有类别的概率仍然是归一的。经过调整后的交叉熵也随之改变,如下所示:
其中,和/>分别对应调整前后的交叉熵,/>为预设正则项;对于两个完全一致的分布,其交叉熵为0。该策略可以看作是在优化模型预测分布时加入正则项,在模型输出偏离均匀分布时加以惩罚。
在训练损失函数设计中,由于输出层只需要对两种情况做出判断,一种是正常行为,一种是异常行为。基于此,本实施例采用基于逻辑回归的二分类方法进行训练损失函数的设计。其中,sigmoid函数如下所示:
该式中, 为样本;其输入范围刚好是归一化后的(0,1),正好满足概率分布为(0,1)的要求,使用概率去描述分类器,比单纯的某个阈值要方便很多,此外它是一个单调上升的函数,具有良好的连续性,不存在不连续点。在Sigmoid函数的基础上,采用的是对数似然损失函数,单个样本的损失函数可以描述为:
即为最终的逻辑回归的损失函数,利用该损失函数以及设计好的网络模型进行迭代训练,直到获得符合精度需求的入侵检测网络模型;在该式中,表示样本,/>为入侵检测网络模型计算,/>表示根据入侵检测网络模型得到的预测类别的概率值,其属于0至1之间;/>表示目标类别的预设值,目标类别为{正常,异常}中的一个,/>表示目标类别为正常时的预设值,/>表示目标类别为异常时的预设值;不同目标类别对应不同的预设数值,比如/>为0和/>为1。
在推理应用阶段中,按照网络连接状态的定义,将某一时刻的网络连接状态按照入侵检测数据集KDD CUP 99的格式进行编码标注,然后进行数据的预处理操作,将得到的特征值作为网络模型的输入,经过模型的推理计算输出该连接状态是否异常,以此实现入侵检测的要求。
在本发明的一个实施例中,提供了一种入侵检测网络模型训练方法,包括以下步骤:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
在本发明的一个实施例中,提供了一种电力信息系统的入侵检测装置,其包括入侵检测网络模型及以下模块:
接入模块,其被配置为将所述入侵检测网络模型接入一电力信息系统中;
数据采集模块,其被配置为采集所述电力信息系统的网络连接状态数据;
预处理模块,其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理,得到网络连接特征数据;
输入模块,其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型;
输出模块,其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
所述入侵检测网络模型通过以下步骤进行建立:选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
在本发明的一个实施例中,提供了一种电力信息系统的入侵检测系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述入侵检测方法。本系统实施例的思想与上述实施例中入侵检测方法的工作过程属于同一思想,通过全文引用的方式将上述检测方法实施例的全部内容并入本系统实施例,不再赘述。
在本发明的一个实施例中,提供了一种计算机可读存储介质,用于存储程序指令,所述程序指令被配置为调用而执行上述的入侵检测方法的步骤。本计算机可读存储介质实施例的思想与上述实施例中入侵检测方法的工作过程属于同一思想,通过全文引用的方式将上述检测方法实施例的全部内容并入本计算机可读存储介质实施例,不再赘述。
本发明提出使用Transformer网络和卷积神经网络来搭建入侵检测系统,与其他深度学习方法不同,本发明所设计的Transformer网络突破了循环神经网络模型不能并行计算的限制,且计算两个位置之间的关联所需的操作次数不随距离增长,同时其自注意力机制的运用可以产生更具可解释性的模型。它能根据模型中设置注意力分布的不同,使各个注意头学会执行不同的任务;Transformer网络与卷积神经网络的结合使用可以进一步提升网络模型的检测性能,提升其应对数据集之外数据的预测能力。
以上所述仅为本发明的优选实施例,并非因此限制其专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种电力信息系统的入侵检测方法,其特征在于,其包括以下步骤:
将一优化后的入侵检测网络模型接入一电力信息系统中;
采集所述电力信息系统的网络连接状态数据,并按照预设的格式要求进行特征描述和预处理,得到网络连接特征数据;
将所述网络连接特征数据输入至所述入侵检测网络模型,以得到该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
其中,所述入侵检测网络模型通过以下步骤进行建立:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
2.根据权利要求1所述的入侵检测方法,其特征在于,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习包括:
每个隐藏层被配置有多个Transformer块和CBL块,且Transformer块与CBL块交替排列;
每个隐藏层中最后一个Transformer块的输出侧与输出层连接,其余Transformer块的输出侧与同一隐藏层中的相邻CBL块连接,每个CBL块的输出侧与各个隐藏层中相邻的Transformer块连接以形成交错网络;
每个隐藏层对各个预处理数据进行学习,得到正常或异常的初步分类结果,进而使所述输出层根据各个预处理数据的初步分类结果输出对应网络连接为正常或异常的预测结果。
3.根据权利要求1所述的入侵检测方法,其特征在于,在特征描述中,用n个字符型特征来描述每个网络连接的状态;在预处理中,将所述字符型特征对应转换成数值型特征,并进行标准化和归一化处理,以作为所述输入层的输入。
4. 根据权利要求3所述的入侵检测方法,其特征在于,所述学习样本集为KDD CUP 99数据集;
一个网络连接状态数据被定义为在某个时间段内从开始到结束的TCP数据包序列,并且在该时间段内,数据在预定义的协议下从源IP地址到目的IP地址的传递;
所述网络连接特征数据包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征的相关数据。
5.根据权利要求3所述的入侵检测方法,其特征在于,根据自定义的转换规则,将字符型特征转换为数值型特征,得到集合,并对数值型特征进行标准化,对应标准化的计算公式如下所示:
;
其中,为平均值,/>为平均绝对偏差,n为特征数量。
6.根据权利要求1所述的入侵检测方法,其特征在于,在所述Transformer块中,假设其输入数据记作,则对应输出结果记作/>,相应的计算方式如下公式所示:
;
其中,LN代表层归一化处理,WMSA与SWMSA均为基于窗口的注意力计算,WMSA是在每个窗口内计算注意力,SWMSA是将注意力聚焦于各个窗口之间,用于实现窗口间特征的融合;为计算中间值,/>为/>的预测值,/>为/>的预测值。
7.根据权利要求1所述的入侵检测方法,其特征在于,基于窗口的注意力计算公式如下:
;
式中,Q为查询向量,K为匹配向量,V为值向量,B为特征偏差,T为转置操作,d为特征维度。
8.根据权利要求7所述的入侵检测方法,其特征在于,在计算Softmax函数时,需要进行正则化处理,并采用标签平滑和随机删减策略。
9.根据权利要求1所述的入侵检测方法,其特征在于,所述入侵检测网络模型采用基于逻辑回归的二分类方法进行损失函数的设计。
10.根据权利要求1所述的入侵检测方法,其特征在于,所述入侵检测网络模型采用是对数似然损失函数,单个样本的损失函数描述为:
;
式中,表示样本,/>表示根据入侵检测网络模型得到的预测类别的概率值,/>表示目标类别的预设值,/>表示目标类别为正常时的预设值,/>表示目标类别为异常时的预设值。
11.一种入侵检测网络模型训练方法,其特征在于,包括以下步骤:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
12.一种电力信息系统的入侵检测装置,其特征在于,其包括入侵检测网络模型及以下模块:
接入模块,其被配置为将所述入侵检测网络模型接入一电力信息系统中;
数据采集模块,其被配置为采集所述电力信息系统的网络连接状态数据;
预处理模块,其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理,得到网络连接特征数据;
输入模块,其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型;
输出模块,其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果,所述预测结果为网络连接正常或网络连接异常;
所述入侵检测网络模型通过以下步骤进行建立:
选取基于Transformer网络和卷积神经网络的基础模型,所述基础模型包括多个输入层、多个隐藏层和多个输出层;
获取网络连接状态数据的学习样本集,所述学习样本集包括多个网络连接状态数据及其对应的标签;
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述,以得到多个字符型特征;并对所述字符型特征分别进行预处理,得到多个预处理数据;
将各个预处理数据分别输入不同的输入层;每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理,每个隐藏层包含Transformer块和CBL块,所述Transformer块通过多次窗口注意力机制以及残差特征连接,结合CBL块处理,对数据中存在的规则模式进行学习;
通过所述输出层输出对应网络连接为正常和异常的概率,进而得到预测结果;
利用预设的损失函数对所述基础模型进行训练,以得到优化后的入侵检测网络模型。
13.一种电力信息系统的入侵检测系统,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的入侵检测方法。
14.一种计算机可读存储介质,用于存储程序指令,其特征在于,所述程序指令被配置为调用而执行如权利要求1至10中任一项所述的入侵检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311319558.1A CN117061255B (zh) | 2023-10-12 | 2023-10-12 | 电力信息系统的入侵检测方法、模型训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311319558.1A CN117061255B (zh) | 2023-10-12 | 2023-10-12 | 电力信息系统的入侵检测方法、模型训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117061255A true CN117061255A (zh) | 2023-11-14 |
CN117061255B CN117061255B (zh) | 2024-01-19 |
Family
ID=88659450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311319558.1A Active CN117061255B (zh) | 2023-10-12 | 2023-10-12 | 电力信息系统的入侵检测方法、模型训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117061255B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
CN113657520A (zh) * | 2021-08-23 | 2021-11-16 | 昆明理工大学 | 一种基于深度置信网络和长短时记忆网络的入侵检测方法 |
CN114697096A (zh) * | 2022-03-23 | 2022-07-01 | 重庆邮电大学 | 基于空时特征和注意力机制的入侵检测方法 |
CN115908772A (zh) * | 2022-11-23 | 2023-04-04 | 山东省计算中心(国家超级计算济南中心) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 |
-
2023
- 2023-10-12 CN CN202311319558.1A patent/CN117061255B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
CN113657520A (zh) * | 2021-08-23 | 2021-11-16 | 昆明理工大学 | 一种基于深度置信网络和长短时记忆网络的入侵检测方法 |
CN114697096A (zh) * | 2022-03-23 | 2022-07-01 | 重庆邮电大学 | 基于空时特征和注意力机制的入侵检测方法 |
CN115908772A (zh) * | 2022-11-23 | 2023-04-04 | 山东省计算中心(国家超级计算济南中心) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117061255B (zh) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111832647A (zh) | 异常流量检测系统及方法 | |
CN112765896A (zh) | 一种基于lstm的水处理时序数据异常检测方法 | |
CN110636066B (zh) | 基于无监督生成推理的网络安全威胁态势评估方法 | |
CN111222638B (zh) | 一种基于神经网络的网络异常检测方法及装置 | |
CN107025468A (zh) | 基于pca‑ga‑svm算法的高速公路拥堵识别方法 | |
CN111447217A (zh) | 一种稀疏编码下的基于htm的流数据异常检测方法及系统 | |
CN112738014A (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
CN106682835A (zh) | 一种数据驱动的复杂机电系统服役质量状态评估方法 | |
Yang et al. | Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning | |
CN114500004A (zh) | 一种基于条件扩散概率生成模型的异常检测方法 | |
Manimaran et al. | A comprehensive novel model for network speech anomaly detection system using deep learning approach | |
Kumar et al. | An adaptive transformer model for anomaly detection in wireless sensor networks in real-time | |
CN114448657B (zh) | 一种配电通信网络安全态势感知与异常入侵检测方法 | |
CN110650124A (zh) | 一种基于多层回声状态网络的网络流量异常检测方法 | |
Liu et al. | Air Pollutant Concentration Forecasting Using Long Short‐Term Memory Based on Wavelet Transform and Information Gain: A Case Study of Beijing | |
Cottrell et al. | Neural networks for complex data | |
CN117061255B (zh) | 电力信息系统的入侵检测方法、模型训练方法及装置 | |
Xu et al. | Bearing Fault Diagnosis in the Mixed Domain Based on Crossover‐Mutation Chaotic Particle Swarm | |
Wang et al. | Uncertain texture features fusion based method for performance condition evaluation of complex electromechanical systems | |
CN116545679A (zh) | 一种工业情境安全基础框架及网络攻击行为特征分析方法 | |
Huang et al. | A deep learning approach for predicting critical events using event logs | |
CN114638379A (zh) | 边缘侧多智能体opc ua信息解析和决策方法 | |
Wang et al. | Stock price forecasting based on wavelet filtering and ensembled machine learning model | |
CN117688504B (zh) | 基于图结构学习的物联网异常检测方法及装置 | |
CN114584350B (zh) | 基于流形的网络数据包特征的降维及聚类的攻击识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |