CN111614665A - 一种基于深度残差哈希网络的入侵检测方法 - Google Patents
一种基于深度残差哈希网络的入侵检测方法 Download PDFInfo
- Publication number
- CN111614665A CN111614665A CN202010429732.8A CN202010429732A CN111614665A CN 111614665 A CN111614665 A CN 111614665A CN 202010429732 A CN202010429732 A CN 202010429732A CN 111614665 A CN111614665 A CN 111614665A
- Authority
- CN
- China
- Prior art keywords
- residual
- data
- layer
- hash
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及网络安全领域的入侵检测技术,特别涉及一种基于深度残差哈希网络的入侵检测方法,包括对原始数据进行预处理,原始数据包括历史数据和待检测数据;根据预处理之后的原始数据构建属性特征图;构建深度残差哈希网络,并将原始数据输入该网络,分别得到历史数据的哈希值和待检测数据的哈希值;计算待检测数据与历史数据哈希值之间的汉明距离,将与待检测数据距离最近的历史数据的检查结果作为待检测数据的检测结果;本发明不仅可以更准确直观地分析特征之间的关系,还降低了属性提取的误差,提高了检测准确率和效率。
Description
技术领域
本发明涉及网络安全领域的入侵检测技术,特别涉及一种基于深度残差哈希网络的入侵检测方法。
背景技术
入侵检测系统是网络系统重要的安全保障之一,可分为误用检测和异常检测。误用检测是根据已知攻击类型,将访问数据与其进行匹配来检测入侵。异常检测是用来检测非传统入侵类型的用户行为。入侵检测在现今的互联网中扮演了极其重要的角色。误用检测的IDS系统,大多数基于数据挖掘和机器学习。异常检测的方法是搜集用户信息,建立正常行为模式模型,检测是否同正常模型相似,以此判断入侵检测的结果。
近年来互联网发展迅速,随着深度学习相关研究的深入与普及,基于深度学习的入侵检测研究逐渐起到了重要的作用。但是由于计算机硬件、软件技术的不断发展,网络时时刻刻都在产生数据,现有的入侵检测方法所需时间长、效率不高,仍难以应对日益增多的攻击检测需求。
发明内容
为了提高攻击检测的效率,本发明提出一种基于深度残差哈希网络的入侵检测方法,包括以下步骤:
S1、对原始数据进行预处理,原始数据包括历史数据和待检测数据;
S2、根据预处理之后的原始数据构建属性特征图;
S3、构建深度残差哈希网络,并将原始数据输入该网络,分别得到历史数据的哈希值和待检测数据的哈希值;
S4、计算待检测数据与历史数据哈希值之间的汉明距离,将与待检测数据距离最近的历史数据的检查结果作为待检测数据的检测结果。
进一步的,对原始数据进行预处理包括:
S11、采用独热编码将原始数据中的符号特征转换为数值特征;
S12、对数值特征进行标准归一化,将每个数值归一到[0,1]区间;
S13、利用PCA降维方法对数值特征进行降维。
进一步的,构建属性特征图:
S21、使用三角形面积映射方法提取流量特征及属性间的相关性信息;
S22、根据三角形面积映射方法得到的数据构建关于流量特征及属性的矩阵;
S23、计算构建的矩阵的协方差矩阵,将该矩阵作为流量数据的属性特征图。
进一步的,使用三角形面积映射方法提取流量特征及属性间的相关性信息的过程包括:
若待检测数据为X={x1,x2,…,xn},若第i个待检测数据xi包括m维流量,则xi表示为:其中表示第i个流量记录中的第j个属性特征,将待检测数据xi投影到二维空间中,构造三角形,表示为O为投影的二维坐标系原点。
进一步的,获取三角形面积矩阵的过程包括:
进一步的,属性特征图表示为:
其中,Cij=Cov(ci,cj),i,j=1,2,…n.Cij为xi基于三角形面积映射方法获取的矩阵中任意两个元素ci与cj的协方差。
进一步的,深度残差哈希网络的构建方式为:
S31、构建残差模块,用于计算神经网络分类的损失和量化误差损失;
S32、构建哈希函数层,由全连接层、激活层、阈值化层构成,将输入的属性特征进行二值化变换;
S33、将残差模块、哈希函数层、池化层以及全连接层进行级联,构建深度残差哈希网络;
S33、输入历史数据对深度残差哈希网络进行训练,训练过程中计算神经网络分类的损失和量化误差损失,并优化深度残差哈希网络的网络参数。
进一步的,残差模块包括第一残差子模块、第二残差子模块,第一残差子模块包括两个层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第二残差子模块包括三层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第一残差子模块与第二残差子模块的由多个层结构级联,第一残差模子模块和第二残差模子模块的输出均为该残差子模块中多个层结构级联的输出与该残差模块的输入之和,且第二残差子模块的输入为第一残差子模块的输出,残差模块的输出为第一残差子模块的输出、第二残差子模块的输出和第一残差子模块的输入经过零填充之后的累加和。
本发明针对目前入侵检测空间存储和计算开销的要求,构造了流量的属性特征图,将一维的特征转化到二维空间,可以更准确直观地分析特征之间的关系;构建了一个残差哈希模块,降低了属性提取的误差,提高了检测准确率和效率。
附图说明
图1属性特征之间的三角形面积;
图2为本发明中残差哈希模块构造图;
图3为本发明基于深度残差哈希网络的入侵检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种基于深度残差哈希网络的入侵检测方法,如图1,包括以下步骤:
S1、对原始数据进行预处理,原始数据包括历史数据和待检测数据;
S2、根据预处理之后的原始数据构建属性特征图;
S3、构建深度残差哈希网络,并将原始数据输入该网络,分别得到历史数据的哈希值和待检测数据的哈希值;
S4、计算待检测数据与历史数据哈希值之间的汉明距离,将与待检测数据距离最近的历史数据的检查结果作为待检测数据的检测结果。
现有的利用流量特征图的入侵检测方法,步骤是先构建流量特征图,再通过图像感知哈希技术对图像特征进行学习,构建正常流量和异常流量哈希摘要库,提取入侵检测规则集;本发明提出的方法相对于已有的方法进行了改进,属性特征图在流量特征图的基础上用协方差矩阵构造特征图,更能体现数据之间的关系;使用残差模块进行特征的处理,比感知哈希方法快速精准,可以更快捷地得到检测结果。
图3为本发明的基于深度残差哈希网络入侵检测方法流程图,如图所示,对训练集数据,即历史数据主要包括数据预处理、计算属性特征图以及构建深度残差哈希网络,具体包括:
(一)、数据预处理
对历史数据的预处理包括:
S11、采用独热编码将原始数据中的符号特征转换为数值特征;
S12、对数值特征进行标准归一化,将每个数值归一到[0,1]区间;
S13、利用PCA降维方法对数值特征进行降维。
(二)、计算属性特征图
计算预处理之后的属性特征图包括:
S21、使用三角形面积映射方法提取流量特征及属性间的相关性信息,若待检测数据为X={x1,x2,…,xn},若第i个待检测数据xi包括m维流量,则xi表示为:其中表示第i个流量记录中的第j个属性特征,如图1,将待检测数据xi投影到二维空间中,构造三角形,表示为O为投影的二维坐标系原点;
S23、计算构建的矩阵的协方差矩阵,将该矩阵作为流量数据的属性特征图,该特征图表示为:
其中,Cij=Cov(ci,cj),i,j=1,2,…n.Cij为xi基于三角形面积映射方法获取的矩阵中任意两个元素ci与cj的协方差。
(三)、构建深度残差哈希网络
本发明构建深度残差哈希网络的过程包括:
S31、构建残差模块,用于计算神经网络分类的损失和量化误差损失;
S32、构建哈希函数层,由全连接层、激活层、阈值化层构成,将输入的属性特征进行二值化变换;
S33、将残差模块、哈希函数层、池化层以及全连接层进行级联,构建深度残差哈希网络;
S33、输入历史数据对深度残差哈希网络进行训练,训练过程中计算神经网络分类的损失和量化误差损失,并优化深度残差哈希网络的网络参数。
本发明中深度残差哈希网络是在神经网络的基础上进行改进,改进包括残差模块和哈希函数模块,初始化时,通过随机初始化神经网络的网络权值与偏置等网络参数,再输入历史数据进行训练,训练过程中通过残差模块反馈训练时的神经网络分类的损失和量化误差损失,对神经网络的权值和偏置等网络参数进行优化,在进行分类判断时,是判断待检测数据通过哈希函数层得到的哈希值与历史数据的哈希值之间的关系判断入侵类型。
在本实施例中,残差模块包括第一残差子模块、第二残差子模块,第一残差子模块包括两个层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第二残差子模块包括三层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第一残差子模块与第二残差子模块的由多个层结构级联,第一残差模子模块和第二残差模子模块的输出均为该残差子模块中多个层结构级联的输出与该残差模块的输入之和,且第二残差子模块的输入为第一残差子模块的输出,残差模块的输出为第一残差子模块的输出、第二残差子模块的输出和第一残差子模块的输入经过零填充之后的累加和。
本发明中残差哈希模块构造图如图2所示,由残差块、池化层、全连接层与哈希函数层组成,第一残差块由两个64维的3x3的卷积层构成,输出为y1,第二残差块分别由64维的1×1、3×3的卷积层和一个256维的1×1的卷积层构成,输出为y2,总输出y3为原始输入、y1与y2的叠加。
通过以上步骤得到训练好的深度残差哈希网络之后,输入待检测的数据,待检测的数据同样需要经过数据预处理和计算属性特征之后输入深度残差哈希网络,深度残差哈希网络输出该待检测数据的哈希值之后,计算该待检测数据与历史网络数据之间的汉明距离,若与该待检测数据距离最近的历史数据为异常数据,则该待检测数据属于入侵行为,若与该待检测数据距离最近的历史数据为正常数据,则该待检测数据为正常数据。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于深度残差哈希网络的入侵检测方法,其特征在于,包括以下步骤:
S1、对原始数据进行预处理,原始数据包括历史数据和待检测数据;
S2、根据预处理之后的原始数据构建属性特征图;
S3、构建深度残差哈希网络,并将原始数据输入该网络,分别得到历史数据的哈希值和待检测数据的哈希值;
S4、计算待检测数据与历史数据哈希值之间的汉明距离,将与待检测数据距离最近的历史数据的检查结果作为待检测数据的检测结果。
2.根据权利要求1所述的一种基于深度残差哈希网络的入侵检测方法,其特征在于,对原始数据进行预处理包括:
S11、采用独热编码将原始数据中的符号特征转换为数值特征;
S12、对数值特征进行标准归一化,将每个数值归一到[0,1]区间;
S13、利用PCA降维方法对数值特征进行降维。
3.根据权利要求1所述的一种基于深度残差哈希网络的入侵检测方法,其特征在于,构建属性特征图:
S21、使用三角形面积映射方法提取流量特征及属性间的相关性信息;
S22、根据三角形面积映射方法得到的数据构建关于流量特征及属性的矩阵;
S23、计算构建的矩阵的协方差矩阵,将该矩阵作为流量数据的属性特征图。
7.根据权利要求1所述的一种基于深度残差哈希网络的入侵检测方法,其特征在于,深度残差哈希网络的构建方式为:
S31、构建残差模块,用于计算神经网络分类的损失和量化误差损失;
S32、构建哈希函数层,由全连接层、激活层、阈值化层构成,将输入的属性特征进行二值化变换;
S33、将残差模块、哈希函数层、池化层以及全连接层进行级联,构建深度残差哈希网络;
S34、输入历史数据对深度残差哈希网络进行训练,训练过程中计算神经网络分类的损失和量化误差损失,并优化深度残差哈希网络的网络参数。
8.根据权利要求8所述的一种基于深度残差哈希网络的入侵检测方法,其特征在于,残差模块包括第一残差子模块、第二残差子模块,第一残差子模块包括两个层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第二残差子模块包括三层结构,每层结构依次包括归一化层、卷积层和ReLu激活层;第一残差子模块与第二残差子模块的由多个层结构级联,第一残差模子模块和第二残差模子模块的输出均为该残差子模块中多个层结构级联的输出与该残差模块的输入之和,且第二残差子模块的输入为第一残差子模块的输出,残差模块的输出为第一残差子模块的输出、第二残差子模块的输出和第一残差子模块的输入经过零填充之后的累加和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429732.8A CN111614665A (zh) | 2020-05-20 | 2020-05-20 | 一种基于深度残差哈希网络的入侵检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010429732.8A CN111614665A (zh) | 2020-05-20 | 2020-05-20 | 一种基于深度残差哈希网络的入侵检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111614665A true CN111614665A (zh) | 2020-09-01 |
Family
ID=72202188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010429732.8A Pending CN111614665A (zh) | 2020-05-20 | 2020-05-20 | 一种基于深度残差哈希网络的入侵检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614665A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267964A1 (en) * | 2008-12-31 | 2011-11-03 | Telecom Italia S.P.A. | Anomaly detection for packet-based networks |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
US20180165597A1 (en) * | 2016-12-08 | 2018-06-14 | Resurgo, Llc | Machine Learning Model Evaluation in Cyber Defense |
CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
CN110300127A (zh) * | 2019-07-31 | 2019-10-01 | 广东电网有限责任公司 | 一种基于深度学习的网络入侵检测方法、装置以及设备 |
CN110875912A (zh) * | 2018-09-03 | 2020-03-10 | 中移(杭州)信息技术有限公司 | 一种基于深度学习的网络入侵检测方法、装置和存储介质 |
-
2020
- 2020-05-20 CN CN202010429732.8A patent/CN111614665A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267964A1 (en) * | 2008-12-31 | 2011-11-03 | Telecom Italia S.P.A. | Anomaly detection for packet-based networks |
US20180165597A1 (en) * | 2016-12-08 | 2018-06-14 | Resurgo, Llc | Machine Learning Model Evaluation in Cyber Defense |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
CN110875912A (zh) * | 2018-09-03 | 2020-03-10 | 中移(杭州)信息技术有限公司 | 一种基于深度学习的网络入侵检测方法、装置和存储介质 |
CN110300127A (zh) * | 2019-07-31 | 2019-10-01 | 广东电网有限责任公司 | 一种基于深度学习的网络入侵检测方法、装置以及设备 |
Non-Patent Citations (2)
Title |
---|
ZHIYUAN TAN ETAL: "《A system for denial-of-service attack detection based on multivariate correlation analysis》", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》 * |
张波: "《基于深度卷积神经网络的入侵检测算法研究与实现》", 《中国优秀硕士学位论文全文库 信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zois et al. | Offline signature verification and quality characterization using poset-oriented grid features | |
CN107070943B (zh) | 基于流量特征图和感知哈希的工业互联网入侵检测方法 | |
Macé et al. | A system to detect rooms in architectural floor plan images | |
CN108108657A (zh) | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
CN111385602B (zh) | 基于多层级多模型的视频审核方法、介质及计算机设备 | |
CN107622489B (zh) | 一种图像篡改检测方法及装置 | |
CN112597867B (zh) | 戴口罩人脸识别方法、系统、计算机设备及存储介质 | |
CN109190698B (zh) | 一种网络数字虚拟资产的分类识别系统及方法 | |
Li et al. | Shilling attack detection in recommender systems via selecting patterns analysis | |
US9014458B2 (en) | Valuable document identification method and system | |
Pal et al. | Off-line signature verification systems: a survey | |
Vellasques et al. | Filtering segmentation cuts for digit string recognition | |
Kessentini et al. | Evidential combination of SVM classifiers for writer recognition | |
CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
US20230147685A1 (en) | Generalized anomaly detection | |
CN115240178A (zh) | 一种票据图像的结构化信息提取方法及系统 | |
CN115392937A (zh) | 一种用户欺诈风险识别方法、装置、电子设备及存储介质 | |
CN111178203B (zh) | 签名审核方法、装置、计算机设备和存储介质 | |
CN113486983A (zh) | 一种用于反欺诈处理的大数据办公信息分析方法及系统 | |
CN117593752B (zh) | 一种pdf文档录入方法、系统、存储介质及电子设备 | |
US11281714B2 (en) | Image retrieval | |
CN113438239B (zh) | 一种基于深度k近邻的网络攻击检测方法及装置 | |
Obaidullah et al. | Comparison of different classifiers for script identification from handwritten document | |
CN117176433A (zh) | 网络数据的异常行为检测系统及方法 | |
CN111614665A (zh) | 一种基于深度残差哈希网络的入侵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |