CN117061255B - 电力信息系统的入侵检测方法、模型训练方法及装置 - Google Patents

电力信息系统的入侵检测方法、模型训练方法及装置 Download PDF

Info

Publication number
CN117061255B
CN117061255B CN202311319558.1A CN202311319558A CN117061255B CN 117061255 B CN117061255 B CN 117061255B CN 202311319558 A CN202311319558 A CN 202311319558A CN 117061255 B CN117061255 B CN 117061255B
Authority
CN
China
Prior art keywords
data
intrusion detection
network connection
network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311319558.1A
Other languages
English (en)
Other versions
CN117061255A (zh
Inventor
王震宇
刘思雨
吉志远
潘伟
冯仁君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202311319558.1A priority Critical patent/CN117061255B/zh
Publication of CN117061255A publication Critical patent/CN117061255A/zh
Application granted granted Critical
Publication of CN117061255B publication Critical patent/CN117061255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电力信息系统的入侵检测方法、模型训练方法及装置，入侵检测方法包括以下步骤：将一优化后的入侵检测网络模型接入一电力信息系统中；采集所述电力信息系统的网络连接状态数据，并按照预设的格式要求进行特征描述和预处理，得到网络连接特征数据；将所述网络连接特征数据输入至所述入侵检测网络模型，以得到该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常。本发明提供的入侵检测方法、模型训练方法及装置突破了循环神经网络模型不能并行计算的限制，与卷积神经网络的结合使用进一步提升了网络模型的检测性能。

Description

电力信息系统的入侵检测方法、模型训练方法及装置
技术领域
本发明涉及网络安全技术领域，尤其涉及一种电力信息系统的入侵检测方法、模型训练方法及装置。
背景技术
目前，在电力系统的各业务部门均部署运行着各种电力信息系统，管理着电力系统的各主要领域，涉及生产、配送、控制和用户数据收集等。这些电力信息系统一般都联网，其存储的数据和提供的服务不可避免的成为各种潜在攻击的目标。一旦电力信息系统被攻破，很可能会影响电力系统的正常运行，产生灾难性的后果，因此，保障这些电力信息系统的安全性显得尤为重要和迫切。虽然现在已经有不少电力信息系统安全相关的软件和工具，但是近年来针对电力信息系统的攻击越来越频繁、攻击方法种类也层出不穷，使电力信息系统随时面临着各类安全问题。这就对保障电力信息系统安全提出了更高的要求。
入侵检测是一种帮助系统应对攻击的有效方式，入侵检测系统是用来检测企图对信息系统进行攻击的工具，并且能够识别旨在干扰系统正常运作的异常活动和行为；它通过收集和分析网络行为、安全日志等其它网络上可以获得的信息以及计算机系统中若干关键点的信息，检测出内部或外部人员对计算机网络的未经授权的使用、误用和签名问题。与其它安全策略不同的是，入侵检测是一种主动的安全防护技术，在不影响网络和主机性能的情况下进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。
现有的不少入侵检测方法需要收集系统可能经历的历史攻击数据，这些数据用于后续的入侵检测判断。但是，所收集的数据巨大，处理数据费时耗力。为解决此问题，出现了基于传统机器学习的入侵检测系统，如基于K-means、隐马尔可夫模型、决策树、支持向量机等方法的入侵检测系统，但是其检测速度慢、准确率低，故而难以适应实际需求。
并行计算能同时执行多个程序，设计支持并行计算的入侵检测方法，不仅可以提高入侵检测速度，而且还可以扩大问题求解规模，解决大型而复杂的计算问题。因此，亟需研发一种新的入侵检测方法以提高检测效率。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了克服现有技术存在的不足，本发明提供一种电力信息系统的入侵检测方法、模型训练方法及装置，具体技术方案如下：
一方面，提供了一种电力信息系统的入侵检测方法，其包括以下步骤：
将一优化后的入侵检测网络模型接入一电力信息系统中；
采集所述电力信息系统的网络连接状态数据，并按照预设的格式要求进行特征描述和预处理，得到网络连接特征数据；
将所述网络连接特征数据输入至所述入侵检测网络模型，以得到该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
其中，所述入侵检测网络模型通过以下步骤进行建立：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
进一步地，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习包括：
每个隐藏层被配置有多个Transformer块和CBL块，且Transformer块与CBL块交替排列；
每个隐藏层中最后一个Transformer块的输出侧与输出层连接，其余Transformer块的输出侧与同一隐藏层中的相邻CBL块连接，每个CBL块的输出侧与各个隐藏层中相邻的Transformer块连接以形成交错网络；
每个隐藏层对各个预处理数据进行学习，得到正常或异常的初步分类结果，进而使所述输出层根据各个预处理数据的初步分类结果输出对应网络连接为正常或异常的预测结果。
进一步地，在特征描述中，用n个字符型特征来描述每个网络连接的状态；在预处理中，将所述字符型特征对应转换成数值型特征，并进行标准化和归一化处理，以作为所述输入层的输入。
进一步地，所述学习样本集为KDD CUP 99数据集；
一个网络连接状态数据被定义为在某个时间段内从开始到结束的TCP数据包序列，并且在该时间段内，数据在预定义的协议下从源IP地址到目的IP地址的传递；
所述网络连接特征数据包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征的相关数据。
进一步地，根据自定义的转换规则，将字符型特征转换为数值型特征，得到集合，并对数值型特征进行标准化，对应标准化的计算公式如下所示：
；
其中，为平均值，/>为平均绝对偏差，n为特征数量，i和j为集合内元素的行列标记序号。
进一步地，在所述Transformer块中，假设其输入数据记作，则对应输出结果记作/>，相应的计算方式如下公式所示：
；
其中，LN代表层归一化处理，WMSA与SWMSA均为基于窗口的注意力计算，WMSA是在每个窗口内计算注意力，SWMSA是将注意力聚焦于各个窗口之间，用于实现窗口间特征的融合；为计算中间值，/>为/>的预测值，/>为/>的预测值。
进一步地，基于窗口的注意力计算公式如下：
式中，Q为查询向量，K为匹配向量，V为值向量，B为特征偏差，T为转置操作，d为特征维度。
进一步地，在计算Softmax函数时，需要进行正则化处理，并采用标签平滑和随机删减策略。
进一步地，所述入侵检测网络模型采用基于逻辑回归的二分类方法进行损失函数的设计。
进一步地，所述入侵检测网络模型采用是对数似然损失函数，单个样本的损失函数描述为：
式中，表示样本，/>为入侵检测网络模型计算，/>表示根据入侵检测网络模型得到的预测类别的概率值，其属于0至1之间；/>表示目标类别的预设值，目标类别为｛正常，异常｝中的一个，/>表示目标类别为正常时的预设值，/>表示目标类别为异常时的预设值；不同目标类别对应不同的预设数值，比如/>为0和/>为1。
又一方面，提供了一种入侵检测网络模型训练方法，包括以下步骤：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
又一方面，提供了一种电力信息系统的入侵检测装置，其包括入侵检测网络模型及以下模块：
接入模块，其被配置为将所述入侵检测网络模型接入一电力信息系统中；
数据采集模块，其被配置为采集所述电力信息系统的网络连接状态数据；
预处理模块，其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理，得到网络连接特征数据；
输入模块，其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型；
输出模块，其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
所述入侵检测网络模型通过以下步骤进行建立：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
又一方面，提供了一种电力信息系统的入侵检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的入侵检测方法。
还一方面，提供了一种计算机可读存储介质，用于存储程序指令，所述程序指令被配置为调用而执行上述的入侵检测方法的步骤。
与现有技术相比，本发明具有下列优点：为了提升入侵检测的识别准确率，本发明提出使用Transformer网络和卷积神经网络来搭建入侵检测系统，与其他深度学习方法不同，本发明所设计的Transformer网络突破了循环神经网络模型不能并行计算的限制，且计算两个位置之间的关联所需的操作次数不随距离增长，同时其自注意力机制的运用可以产生更具可解释性的模型；它能根据模型中设置注意力分布的不同，使各个注意头学会执行不同的任务；Transformer网络与卷积神经网络的结合使用可以进一步提升网络模型的检测性能，提升其应对数据集之外数据的预测能力。
附图说明
图1是本发明实施例提供的电力信息系统的入侵检测方法中的流程示意图；
图2是本发明实施例提供的电力信息系统的入侵检测方法中网络模型网络结构示意图；
图3是本发明实施例提供的电力信息系统的Transformer网络配合运算流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
目前，深度学习已经彻底改变了众多领域，并在计算机视觉和自然语言处理等领域提供了最先进的性能。由于其深度结构，深度神经网络方法有能力学习复杂的数据模式，使它成为学习位于网络流量数据中的复杂模式的理想选择。本发明提供的电力信息系统的入侵检测方法及系统采用Transformer网络和卷积神经网络来训练深度网络模型，使其具备识别危险活动的能力，在发现潜在攻击时发出警报，更好的提升网络系统的安全性。
在本发明的一个实施例中，提供了一种电力信息系统的入侵检测方法，其包括以下步骤：
将一优化后的入侵检测网络模型接入一电力信息系统中；
采集所述电力信息系统的网络连接状态数据，并按照预设的格式要求进行特征描述和预处理，得到网络连接特征数据；
将所述网络连接特征数据输入至所述入侵检测网络模型，以得到该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
其中，所述入侵检测网络模型通过以下步骤进行建立：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层，其为深度网络模型；
获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
具体地，所述入侵检测网络模型通过以下步骤进行建立：
利用预设的格式要求对网络连接的状态进行特征描述，以得到多个字符型特征，对所述字符型特征进行预处理后分别对应输入至所述输入层；每个输入层将输入的数据分别传输至不同的隐藏层进行处理，其中，每个隐藏层包含Transformer块和CBL块，Transformer块是基于Transformer网络的模型；CBL块是由卷积层Convolutional Layer、批归一化层Batch Normalization Layer、激活函数Leaky Relu这三个网络层组成的卷积神经网络；所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习，以通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；利用所述入侵检测网络模型的损失函数进行训练，以得到优化后的网络模型；参见图1，将某一时刻的网络连接状态按照预设的格式要求进行特征描述后，经预处理输入至所述优化后的入侵检测网络模型，以得到该网络连接对应的预测结果。
在本发明的一个实施例中，在特征描述中，用n个字符型特征来描述每个网络连接的状态；在预处理中，将所述字符型特征对应转换成数值型特征，并进行标准化和归一化处理，以作为所述输入层的输入。
具体地，所述预设的格式要求依据KDD CUP 99入侵检测数据集进行设置，根据KDDCUP 99入侵检测数据集的要求标注每个网络连接的判断结果，以作为训练时所述预测结果的比较对象。
下面以KDD CUP 99入侵检测数据为例进行具体说明，其含有多个网络连接的数据样本，并分成训练集和测试集，以配合所述入侵检测网络模型进行训练；一个网络连接定义为在某个时间内从开始到结束的TCP数据包序列，并且在这段时间内，数据在预定义的协议下从源IP地址到目的IP地址的传递。每个网络连接被标记为正常或异常，KDD CUP 99入侵检测数据集中每个连接用41个特征来描述，特征包括了TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征以及基于主机的网络流量统计特征。在训练集中共出现了22个攻击类型，而剩下的17种攻击类型只在测试集中出现，这样设计的目的是检验分类器模型的泛化能力，对未知攻击类型的检测能力是评价入侵检测系统好坏的重要指标。
在数据预处理过程中，将数据集中的字符型特征根据自定义的转换规则转换为数值型特征，得到集合，接着将数值型特征标准化，对应计算公式如下所示：
其中，为平均值，/>为平均绝对偏差，其比标准差/>，在对于孤立点上，具有更好的鲁棒性；其中，/>为/>的平均值。
接着将标准化后的每个数值归一到 [0,1] 区间，假设结果值为，计算公式如下所示：
此时得到的包含了数据集中标注的41个数值特征。
在入侵检测网络模型设计过程中，参见图2，入侵检测网络模型包含了41个输入层、4个隐藏层、2个输出层。其中，每个隐藏层又包含了一个Transformer块和一个CBL块。一个CBL块是由卷积层Convolutional Layer、批归一化层Batch Normalization Layer、激活函数Leaky Relu函数这三个网络层组成的卷积神经网络。Transformer模型是用于解决sequence to sequence问题的模型，它用全注意力的结构代替了双向循环神经网络，抛弃了之前传统的编码器-解码器模型必须结合卷积神经网或者循环神经网的固有模式，只使用注意力，具备优秀的特征学习能力，被广泛应用于自然语言处理、计算机视觉等众多研究领域。本实施例中的Transformer块的详细设计如图3所示，经过多次窗口注意力机制WMSA和SWMSA，以及残差特征连接，对复杂数据中存在的规则模式进行学习，参见图3，假设其特征输入为,则对应输出/>的计算方式如下公式所示：
；
式中，LN代表层归一化处理，WMSA与SWMSA均为基于窗口的注意力计算，WMSA是在每个窗口内计算注意力，SWMSA是将注意力聚焦于各个窗口之间，用于实现窗口间特征的融合；为计算中间值，/>为/>的预测值，/>为/>的预测值。
其中，LN代表层归一化，是对一个模型中间层的所有神经元进行归一化，计算公式如下：
该式中，和/>分别是均值和方差，/>和/>代表缩放和平移的参数向量，/>为预设参数，/>和/>分别对应归一化前后的神经元计算。
WMSA与SWMSA均为基于窗口的注意力计算，计算公式如下：
其中，Q为查询向量，K为匹配向量，V为值向量，B为特征偏差，窗口长度均设置为64，T 为转置操作，d为特征维度；与传统的注意力计算方式不同，本实施例中采用的Transformer则将注意力的计算限制在每个规定的窗口大小内，进而减少了计算量。WMSA是在每个窗口内计算注意力的，SWMSA则是将注意力聚焦于各个窗口之间，实现窗口间特征的融合。
另外，在一个实施例中，在计算Softmax时，为了防止过拟合，需要进行正则化，本实施例采用标签平滑和随机删减策略。假设目标类别为，任意类别为/>，真实分布为/>，模型预测分布为/>。显然，当/>时，/>；当/>时，/>。为了让模型的输出不要过于贴合单点分布，选择在真实分布中加入噪声，削弱/>的概率，并整体叠加一个独立于训练样例的均匀分布/>，转化后的真实分布/>表示如下所示：
其中，是噪声比例因子，权重设置为0.1，K是softmax函数的类别数。所有类别的概率仍然是归一的。经过调整后的交叉熵也随之改变，如下所示：
其中，和/>分别对应调整前后的交叉熵，/>为预设正则项；对于两个完全一致的分布，其交叉熵为0。该策略可以看作是在优化模型预测分布时加入正则项/>，在模型输出偏离均匀分布时加以惩罚。
在训练损失函数设计中，由于输出层只需要对两种情况做出判断，一种是正常行为，一种是异常行为。基于此，本实施例采用基于逻辑回归的二分类方法进行训练损失函数的设计。其中，sigmoid函数如下所示：
该式中， 为样本；其输入范围刚好是归一化后的（0，1），正好满足概率分布为（0，1）的要求，使用概率去描述分类器，比单纯的某个阈值要方便很多，此外它是一个单调上升的函数，具有良好的连续性，不存在不连续点。在Sigmoid函数的基础上，采用的是对数似然损失函数，单个样本的损失函数可以描述为：
即为最终的逻辑回归的损失函数，利用该损失函数以及设计好的网络模型进行迭代训练，直到获得符合精度需求的入侵检测网络模型；在该式中，表示样本，/>为入侵检测网络模型计算，/>表示根据入侵检测网络模型得到的预测类别的概率值，其属于0至1之间；/>表示目标类别的预设值，目标类别为｛正常，异常｝中的一个，/>表示目标类别为正常时的预设值，/>表示目标类别为异常时的预设值；不同目标类别对应不同的预设数值，比如/>为0和/>为1。
在推理应用阶段中，按照网络连接状态的定义，将某一时刻的网络连接状态按照入侵检测数据集KDD CUP 99的格式进行编码标注，然后进行数据的预处理操作，将得到的特征值作为网络模型的输入，经过模型的推理计算输出该连接状态是否异常，以此实现入侵检测的要求。
在本发明的一个实施例中，提供了一种入侵检测网络模型训练方法，包括以下步骤：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
在本发明的一个实施例中，提供了一种电力信息系统的入侵检测装置，其包括入侵检测网络模型及以下模块：
接入模块，其被配置为将所述入侵检测网络模型接入一电力信息系统中；
数据采集模块，其被配置为采集所述电力信息系统的网络连接状态数据；
预处理模块，其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理，得到网络连接特征数据；
输入模块，其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型；
输出模块，其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
所述入侵检测网络模型通过以下步骤进行建立：选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；获取网络连接状态数据的学习样本集，所述学习样本集包括多个网络连接状态数据及其对应的标签；利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到多个字符型特征；并对所述字符型特征分别进行预处理，得到多个预处理数据；将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
在本发明的一个实施例中，提供了一种电力信息系统的入侵检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述入侵检测方法。本系统实施例的思想与上述实施例中入侵检测方法的工作过程属于同一思想，通过全文引用的方式将上述检测方法实施例的全部内容并入本系统实施例，不再赘述。
在本发明的一个实施例中，提供了一种计算机可读存储介质，用于存储程序指令，所述程序指令被配置为调用而执行上述的入侵检测方法的步骤。本计算机可读存储介质实施例的思想与上述实施例中入侵检测方法的工作过程属于同一思想，通过全文引用的方式将上述检测方法实施例的全部内容并入本计算机可读存储介质实施例，不再赘述。
本发明提出使用Transformer网络和卷积神经网络来搭建入侵检测系统，与其他深度学习方法不同，本发明所设计的Transformer网络突破了循环神经网络模型不能并行计算的限制，且计算两个位置之间的关联所需的操作次数不随距离增长，同时其自注意力机制的运用可以产生更具可解释性的模型。它能根据模型中设置注意力分布的不同，使各个注意头学会执行不同的任务；Transformer网络与卷积神经网络的结合使用可以进一步提升网络模型的检测性能，提升其应对数据集之外数据的预测能力。
以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种电力信息系统的入侵检测方法，其特征在于，其包括以下步骤：
将一优化后的入侵检测网络模型接入一电力信息系统中；
采集所述电力信息系统的网络连接状态数据，并按照预设的格式要求进行特征描述和预处理，得到网络连接特征数据；
将所述网络连接特征数据输入至所述入侵检测网络模型，以得到该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
其中，所述入侵检测网络模型通过以下步骤进行建立：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到字符型特征；并对所述字符型特征分别进行预处理，得到预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；在所述Transformer块中，其输入数据记作fl-1，对应输出结果记作fl+1，相应的计算方式如下公式所示：
其中，LN代表层归一化处理，WMSA与SWMSA均为基于窗口的注意力计算，WMSA是在每个窗口内计算注意力，SWMSA是将注意力聚焦于各个窗口之间，用于实现窗口间特征的融合，fl为计算中间值，为fl的预测值，/>为fl+1的预测值；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
2.根据权利要求1所述的入侵检测方法，其特征在于，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习包括：
每个隐藏层被配置有多个Transformer块和多个CBL块，且Transformer块与CBL块交替排列；
每个隐藏层中最后一个Transformer块的输出侧与输出层连接，其余Transformer块的输出侧与同一隐藏层中的相邻CBL块连接，每个CBL块的输出侧与各个隐藏层中相邻的Transformer块连接以形成交错网络；
每个隐藏层对各个预处理数据进行学习，得到正常或异常的初步分类结果，进而使所述输出层根据各个预处理数据的初步分类结果输出对应网络连接为正常或异常的预测结果。
3.根据权利要求1所述的入侵检测方法，其特征在于，在特征描述中，用n个字符型特征来描述每个网络连接的状态；在预处理中，将所述字符型特征对应转换成数值型特征，并进行标准化和归一化处理，以作为所述输入层的输入。
4.根据权利要求3所述的入侵检测方法，其特征在于，所述学习样本集为KDD CUP 99数据集；
一个网络连接状态数据被定义为在某个时间段内从开始到结束的TCP数据包序列，并且在该时间段内，数据在预定义的协议下从源IP地址到目的IP地址的传递；
所述网络连接特征数据包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征的相关数据。
5.根据权利要求3所述的入侵检测方法，其特征在于，根据自定义的转换规则，将字符型特征转换为数值型特征，得到集合Ft＝{f11，...，fij}，并对数值型特征进行标准化，对应标准化的计算公式如下所示：
其中，AGj为平均值，STADj为平均绝对偏差，n为特征数量。
6.根据权利要求1所述的入侵检测方法，其特征在于，基于窗口的注意力计算公式如下：
式中，Q为查询向量，K为匹配向量，V为值向量，B为特征偏差，T为转置操作，d为特征维度。
7.根据权利要求6所述的入侵检测方法，其特征在于，在计算Softmax函数时，需要进行正则化处理，并采用标签平滑和随机删减策略。
8.根据权利要求1所述的入侵检测方法，其特征在于，所述入侵检测网络模型采用基于逻辑回归的二分类方法进行损失函数的设计。
9.根据权利要求1所述的入侵检测方法，其特征在于，所述入侵检测网络模型采用对数似然损失函数，单个样本的损失函数描述为：
式中，α表示样本，Sθ(α)表示根据入侵检测网络模型得到的预测类别的概率值，β表示目标类别的预设值，β1表示目标类别为正常时的预设值，β2表示目标类别为异常时的预设值。
10.一种入侵检测网络模型训练方法，其特征在于，包括以下步骤：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到字符型特征；并对所述字符型特征分别进行预处理，得到预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；在所述Transformer块中，其输入数据记作fl-1，对应输出结果记作fl+1，相应的计算方式如下公式所示：
其中，LN代表层归一化处理，WMSA与SWMSA均为基于窗口的注意力计算，WMSA是在每个窗口内计算注意力，SWMSA是将注意力聚焦于各个窗口之间，用于实现窗口间特征的融合，fl为计算中间值，为fl的预测值，/>为fl+1的预测值；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
11.一种电力信息系统的入侵检测装置，其特征在于，其包括入侵检测网络模型及以下模块：
接入模块，其被配置为将所述入侵检测网络模型接入一电力信息系统中；
数据采集模块，其被配置为采集所述电力信息系统的网络连接状态数据；
预处理模块，其被配置为按照预设的格式要求对所述数据采集模块采集的数据进行特征描述和预处理，得到网络连接特征数据；
输入模块，其被配置为将所述网络连接特征数据输入至所述入侵检测网络模型；
输出模块，其被配置为用于所述入侵检测网络模型输出该网络连接状态数据对应的预测结果，所述预测结果为网络连接正常或网络连接异常；
所述入侵检测网络模型通过以下步骤进行建立：
选取基于Transformer网络和卷积神经网络的基础模型，所述基础模型包括多个输入层、多个隐藏层和多个输出层；
获取网络连接状态数据的学习样本集，所述学习样本集包括网络连接状态数据及其对应的标签；
利用预设的格式要求对所述学习样本集中的网络连接状态数据进行特征描述，以得到字符型特征；并对所述字符型特征分别进行预处理，得到预处理数据；
将各个预处理数据分别输入不同的输入层；每个输入层将输入的预处理数据分别传输至不同的隐藏层进行处理，每个隐藏层包含Transformer块和CBL块，所述Transformer块通过多次窗口注意力机制以及残差特征连接，结合CBL块处理，对数据中存在的规则模式进行学习；在所述Transformer块中，其输入数据记作fl-1，对应输出结果记作fl+1，相应的计算方式如下公式所示：
其中，LN代表层归一化处理，WMSA与SWMSA均为基于窗口的注意力计算，WMSA是在每个窗口内计算注意力，SWMSA是将注意力聚焦于各个窗口之间，用于实现窗口间特征的融合，fl为计算中间值，为fl的预测值，/>为fl+1的预测值；
通过所述输出层输出对应网络连接为正常和异常的概率，进而得到预测结果；
利用预设的损失函数对所述基础模型进行训练，以得到优化后的入侵检测网络模型。
12.一种电力信息系统的入侵检测系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的入侵检测方法。
13.一种计算机可读存储介质，用于存储程序指令，其特征在于，所述程序指令被配置为被处理器调用而执行如权利要求1至9中任一项所述的入侵检测方法的步骤。
CN202311319558.1A 2023-10-12 2023-10-12 电力信息系统的入侵检测方法、模型训练方法及装置 Active CN117061255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311319558.1A CN117061255B (zh) 2023-10-12 2023-10-12 电力信息系统的入侵检测方法、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311319558.1A CN117061255B (zh) 2023-10-12 2023-10-12 电力信息系统的入侵检测方法、模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN117061255A CN117061255A (zh) 2023-11-14
CN117061255B true CN117061255B (zh) 2024-01-19

Family

ID=88659450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311319558.1A Active CN117061255B (zh) 2023-10-12 2023-10-12 电力信息系统的入侵检测方法、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN117061255B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698836A (zh) * 2019-02-01 2019-04-30 重庆邮电大学 一种基于深度学习的无线局域网入侵检测方法和系统
CN113657520A (zh) * 2021-08-23 2021-11-16 昆明理工大学 一种基于深度置信网络和长短时记忆网络的入侵检测方法
CN114697096A (zh) * 2022-03-23 2022-07-01 重庆邮电大学 基于空时特征和注意力机制的入侵检测方法
CN115908772A (zh) * 2022-11-23 2023-04-04 山东省计算中心（国家超级计算济南中心） 一种基于Transformer和融合注意力机制的目标检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698836A (zh) * 2019-02-01 2019-04-30 重庆邮电大学 一种基于深度学习的无线局域网入侵检测方法和系统
CN113657520A (zh) * 2021-08-23 2021-11-16 昆明理工大学 一种基于深度置信网络和长短时记忆网络的入侵检测方法
CN114697096A (zh) * 2022-03-23 2022-07-01 重庆邮电大学 基于空时特征和注意力机制的入侵检测方法
CN115908772A (zh) * 2022-11-23 2023-04-04 山东省计算中心（国家超级计算济南中心） 一种基于Transformer和融合注意力机制的目标检测方法及系统

Also Published As

Publication number Publication date
CN117061255A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN111832647A (zh) 异常流量检测系统及方法
CN112765896A (zh) 一种基于lstm的水处理时序数据异常检测方法
Du et al. GAN-based anomaly detection for multivariate time series using polluted training set
CN109948649B (zh) 面向数据开放共享的软件访问行为数据特征表示方法
CN107025468A (zh) 基于pca‑ga‑svm算法的高速公路拥堵识别方法
CN111447217A (zh) 一种稀疏编码下的基于htm的流数据异常检测方法及系统
CN106682835A (zh) 一种数据驱动的复杂机电系统服役质量状态评估方法
Yang et al. Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning
Manimaran et al. A comprehensive novel model for network speech anomaly detection system using deep learning approach
CN114448657B (zh) 一种配电通信网络安全态势感知与异常入侵检测方法
Kumar et al. An adaptive transformer model for anomaly detection in wireless sensor networks in real-time
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN114500004A (zh) 一种基于条件扩散概率生成模型的异常检测方法
Cottrell et al. Neural networks for complex data
CN117061255B (zh) 电力信息系统的入侵检测方法、模型训练方法及装置
Wang et al. Uncertain texture features fusion based method for performance condition evaluation of complex electromechanical systems
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Huang et al. A deep learning approach for predicting critical events using event logs
CN110650130B (zh) 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法
CN114169433A (zh) 一种基于联邦学习+图学习+cnn的工业故障预测方法
CN114638379A (zh) 边缘侧多智能体opc ua信息解析和决策方法
Lee et al. Uncertainty-aware hierarchical segment-channel attention mechanism for reliable and interpretable multichannel signal classification
Parri et al. A hybrid GAN based autoencoder approach with attention mechanism for wind speed prediction
CN117688504B (zh) 基于图结构学习的物联网异常检测方法及装置
CN114584350B (zh) 基于流形的网络数据包特征的降维及聚类的攻击识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant