CN113746869B - 一种基于多层次卷积的运维系统资产入侵探测方法 - Google Patents
一种基于多层次卷积的运维系统资产入侵探测方法 Download PDFInfo
- Publication number
- CN113746869B CN113746869B CN202111302681.3A CN202111302681A CN113746869B CN 113746869 B CN113746869 B CN 113746869B CN 202111302681 A CN202111302681 A CN 202111302681A CN 113746869 B CN113746869 B CN 113746869B
- Authority
- CN
- China
- Prior art keywords
- session
- data packet
- level
- encrypted
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于多层次卷积的运维系统资产入侵探测方法,包括:(1)、提取资产交互过程中加密流量的可用原始数据:在确定检测粒度层级后,确认加密流量的可用原始字节,用于后续的表示学习与入侵检测;(2)、通过一维卷积神经网络获得数据包层级的特征表示;(3)、对属于同一条加密会话的数据包表示通过一维卷积神经网络获得会话层级的特征表示;(4)、将单条加密会话的特征表示输入前馈神经网络实现加密流量中的入侵检测。本发明的有益效果为:实现了加密场景下的运维系统资产的入侵检测;充分利用流量原始数据特征;分层卷积神经网络分别在数据包层级与会话层级对加密流量进行表示,实现更好的检测效果。
Description
技术领域
本发明涉及IT运维系统中的入侵检测技术领域,主要是一种基于多层次卷积的运维系统资产入侵探测方法。
背景技术
随着数字化经济的快速发展与数据中心基础设施的不断扩张,IT环境变得越来越复杂。由此也引发了一系列安全问题。传统的基于边界的安全防护,静态的安全策略配置等安全措施已经无法满足业务发展的实际安全需求,网络安全走向实战化、体系化和常态化,企业亟需建设开放兼容、高效实战的智能安全运维架构。
现如今,传统的安全防护策略难以应对高度动态与充满对抗的网络空间安全环境中。此外,随着各种加密协议如SSL(安全套接字协议)及其改进协议TLS(传输层安全协议)的普及,网络通信的机密性与安全性得以保证。但同时也为网络监管带来了问题。加密流量传输的有效payload不透明,使得攻击者可以利用加密流量隐蔽其恶意行为与威胁活动,例如恶意负载传递、C&C通道以及数据回传等。
IT安全运维中的入侵检测即对恶意流量进行检测识别,从而及早的响应,发现威胁,避免数据泄露以及经济损失。虽然传统的基于规则的各种入侵检测技术已经非常成熟,但由于加密协议的普及以及网络攻击升级日新月异,传统的检测技术难以应对。因此基于人工智能的应对加密流量的资产入侵检测研究十分重要。
专利CN108494810A提出了一种面向攻击的网络安全态势预测方法,通过检测并收集网络对抗环境下的报警数据与网络环境运维信息,评估攻击方能力与防御方水平,建立动态贝叶斯攻击图,结合漏洞平稳标准与资产信息,从时空维度量化网络安全态势值。然而此研究方法是从宏观的角度对IT系统的安全态势进行评估,虽然要收集网络对抗环境下的报警数据,但对于网络中最直接的流量数据并没有进行深入地分析,并且无法应对隐藏在加密流量中的网络威胁,因而难以取得理想的安全态势感知效果。
专利CN107347057B基于原始流量报文分析,与检测规则集合进行规则匹配。其优势在于对规则的匹配与生成进行了更细粒度地划分,具体到产生网络报文的特定文件类型,以及网络报文发送目的地址的外部网络信息,此外还引入了恶意文件的静态检测与沙箱动态运行技术。然而此类方法虽然对原始流量进行了分析,但仍属于规则匹配无法应对未知的网络威胁。
目前有一些专利试图引入人工智能算法来进行网络入侵检测,比如专利CN108650274B提出了一种基于机器学习的网络入侵检测方法,其主要是通过获取大量的网络访问请求记录,并提出了一个完备的访问请求记录的特征集,使用机器学习的方法训练辨别正常记录与入侵记录的分类器,实现智能检测。但是此类方法提取特征需要专家知识,也没有抓住最重要的原始流量内容信息,同时对于加密流量的分析也是缺失的。
发明内容
针对IT系统中网络威胁动态进化以及通过加密协议隐藏难以识别等问题,本发明提出了一种基于多层次卷积的运维系统资产入侵探测方法。
本发明的目的是通过如下技术方案来完成的。一种基于多层次卷积的运维系统资产入侵探测方法,首先分析加密流量中的可用数据信息,对数据包层级的可用原始字节进行卷积。再进一步在会话层级上对各个数据包表示进行卷积,构建加密会话的表示。基于该表示实现针对加密流量的入侵检测;具体步骤包括:
(1)、提取资产交互过程中加密流量的可用原始数据:在确定检测粒度层级后,确认加密流量的可用原始字节,用于后续的表示学习与入侵检测;
(2)、基于步骤(1)中提出加密流量在握手阶段明文传输的数据包可用字节,通过一维卷积神经网络获得数据包层级特征表示;
(3)、在步骤(2)得到数据包层级特征表示的基础上,对属于同一条加密会话的数据包层级特征表示通过一维卷积神经网络获得会话层级的特征表示;
(4)、将步骤(3)中得到的单条加密会话的会话层级的特征表示输入前馈神经网络实现加密流量中的入侵检测。
更进一步的,在步骤(1)中,在进行加密流量的可用原始数据提取时,首先定义检测粒度为单条加密会话sessioni,针对单条加密会话sessioni提取加密连接建立时的数据包集合HandshakeMessagei;
(2.1)、加密恶意流量检测的粒度为单条加密会话,加密会话的定义为双向加密网络流,即共享<IPS,IPD,PORTS,PORTD,Protocol>的单次连接的数据包集合,其中S代表源端,D代表目的端,能够互换;在单条双向加密网络流中,IPS为源IP,IPD为目的IP,PORTS为源端口,PORTD为目的端口,Protocol为传输协议。双向加密网络流为加密恶意流量检测中常用的检测粒度层级。
(2.2)、握手信息HandshakeMessagei为SSL/TLS连接建立之前的握手阶段传输的数据包集合,包含Client Hello,Server Hello,Certificate信息,而每个数据包packeti为对应的可用字节集合;握手阶段传输的信息可以有效地反映访问加密会话的可信度。是加密恶意流量检测中常用的特征。
更进一步的,在步骤(2)中,首先对数据包层级的原始字节进行预处理,基于一维卷积神经网络处理预处理后的原始字节,学得数据包层级的原始字节数据表示Representationpacket;
Representationpacket=1DCNN(packet)
=1DCNN(byte1,byte2,...,bytem,...,byteM)。
其中,1DCNN为一维卷积神经网络操作,packet为单个数据包,bytem为单个数据包中的第m个原始字节。
更进一步的,在步骤(2)得到加密会话数据包层级特征表示的基础上,通过一维卷积神经网络处理单条会话的所有数据包层级特征表示Representationpacket,学得会话层级的特征表示Representationsession;
更进一步的,在步骤(3)中获得了单条加密会话的会话层级的特征表示Representationsession,输入多层感知器训练实现网络威胁活动的检测与识别,
Label=MLP(Representationsession)。
其中Label为最终预测的标签,MLP为多层感知器模型。
本发明的有益效果为:
1、实现了加密场景下的运维系统资产的入侵检测。
2、应用表示学习方法进行流量分析,充分利用流量原始数据特征。
3、分层卷积神经网络分别在数据包层级与会话层级对加密流量进行表示,可以实现更好的检测效果。
附图说明
图1为本发明流程示意图。
图2为数据包原始字节转化为编码的示意图。
图3为加密会话数据包原始字节转化为数据包层级的特征表示的示意图。
图4为网络流构建示意图。
图5为单条加密会话的特征表示输入前馈神经网络实现加密流量中的入侵检测示意图。
具体实施方式
下面将结合附图和实施例对本发明做详细的介绍:
针对目前IT安全运维资产入侵检测系统中缺乏对原始网络流量的分析,需要大量的专家知识以及无法应对加密恶意流量等缺点,本发明提出了一种基于多层次卷积的运维系统资产入侵探测方法,并基于该算法构建了一套入侵检测系统,在多个公开数据集上验证了其有效性。本算法基于加密流量的原始字节,具体分析加密会话握手阶段时明文协商的各种数据,并通过分层的端到端卷积神经网络,分别在数据包与加密会话的层级上获得加密会话的表示,并输入前馈神经网络进行威胁识别。在威胁识别的基础上,对加密恶意流量进行更细粒度的威胁类别划分,具体支持Bruteforce、Web Attack、Infiltration、Bot、DDoS、PortScan、Heartbleed共计7种网络威胁的细粒度划分。
本发明提出的一种基于多层次卷积的运维系统资产入侵探测方法,具体步骤包括:
(1)、提取资产交互过程中加密流量的可用原始数据:在确定检测粒度层级后,确认加密流量的可用原始字节,用于后续的表示学习与入侵检测;
(2)、基于步骤(1)中提出加密流量在握手阶段明文传输的数据包可用字节,通过一维卷积神经网络获得数据包层级特征表示;
(3)、在步骤(2)得到数据包层级特征表示的基础上,对属于同一条加密会话的数据包层级特征表示通过一维卷积神经网络获得会话层级的特征表示;
(4)、将步骤(3)中得到的单条加密会话的会话层级的特征表示输入前馈神经网络实现加密流量中的入侵检测。
基于专家知识提取加密流量的可用原始数据:
(1)检测粒度层级确定,在进行加密流量的可用数据提取时,首先需要确定检测的粒度层级。本发明定义检测粒度为单条加密会话,加密会话的定义为双向加密网络流,即共享<IPS,IPD,PORTS,PORTD,Protocol>的单次连接的数据包集合,其中S代表源端,D代表目的端,源IP、源端口与目的IP、目的端口能够互换。通过对原始流量捕获进行拆分、重组,可以还原单条加密会话Sessioni。
(2)加密流量的可用特征提取,针对单条加密会话sessioni只保留加密连接建立前握手阶段的数据包,其中握手信息HandshakeMessagei为SSL/TLS连接建立之前的握手阶段传输的数据包集合,包含Client Hello,Server Hello,Certificate等信息,而每个数据包packeti为对应的可用字节集合,这里需要对无用的原始字节进行删除。握手阶段传输的信息可以有效地反映访问加密会话的可信度。是加密恶意流量检测中常用的特征。
对每个数据包的原始字节,将对会话层以下的如IP、端口、MAC地址等信息进行匿名化,并转成0-255的编码,如图2所示。
加密会话具有层次结构,从byte到packet再到session,即一个数据包由原始字节组成,一个加密会话又由数据包组成,类似于NLP中短语-句子-文章的文本层次结构。首先,基于每个数据包预处理后的原始字节,通过一维卷积神经网络,堆叠多个卷积池化模块,数据包的字节中提取特征,以完成从字节向量到数据包向量的转换。得到数据包层级的特征表示,如图3所示。
如图4所示,基于得到的数据包层级的特征表示,通过一维卷积神经网络学习会话层级的特征表示。这里由于可用的加密会话数据包仅仅属于握手阶段,数量较少,不需要使用堆叠结构处理数据包。因此,仅使用一层包含多个不同过滤器的卷积池模块来学习来自数据包向量的表示来构建网络流,这样可以提高处理效率。
如图5所示,在获得了单条加密会话的会话层级的特征表示后,送入前馈神经网络,得到流样本的预测类别。实现加密流量的入侵检测。
可以理解的是,对本领域技术人员来说,对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。
Claims (2)
1.一种基于多层次卷积的运维系统资产入侵探测方法,其特征在于:包括步骤如下:
(1)、提取资产交互过程中加密流量的可用原始数据:在确定检测粒度层级后,确认加密流量的可用原始字节,用于后续的表示学习与入侵检测;
(2)、基于步骤(1)中提出加密流量在握手阶段明文传输的数据包可用字节,通过一维卷积神经网络获得数据包层级特征表示;
(3)、在步骤(2)得到数据包层级特征表示的基础上,对属于同一条加密会话的数据包层级特征表示通过一维卷积神经网络获得会话层级的特征表示;
(4)、将步骤(3)中得到的单条加密会话的会话层级的特征表示输入前馈神经网络实现加密流量中的入侵检测;
在步骤(1)中,在进行加密流量的可用原始数据提取时,首先定义检测粒度为单条加密会话sessioni,针对单条加密会话sessioni提取加密连接建立时的数据包集合HandshakeMessagei;
(2.1)、加密恶意流量检测的粒度为单条加密会话,加密会话的定义为双向加密网络流,即共享<IPS,IPD,PORTS,PORTD,Protocol>的单次连接的数据包集合,其中S代表源端,D代表目的端,能够互换;在单条双向加密网络流中,IPS为源IP,IPD为目的IP,PORTS为源端口,PORTD为目的端口,Protocol为传输协议;
(2.2)、握手信息HandshakeMessagei为SSL/TLS连接建立之前的握手阶段传输的数据包集合,包含Client Hello,Server Hello,Certificate信息,而每个数据包packeti为对应的可用字节集合;
在步骤(2)中,首先对数据包层级的原始字节进行预处理,基于一维卷积神经网络处理预处理后的原始字节,学得数据包层级的原始字节数据表示Representationpacket;
Representationpacket=1DCNN(packet)
=1DCNN(byte1,byte2,...,bytem,...,byteM);
其中,1DCNN为一维卷积神经网络操作,packet为单个数据包,bytem为单个数据包中的第m个原始字节;
在步骤(2)得到加密会话数据包层级特征表示的基础上,通过一维卷积神经网络处理单条会话的所有数据包层级特征表示Representationpacket,学得会话层级的特征表示Representationsession;
2.根据权利要求1所述的基于多层次卷积的运维系统资产入侵探测方法,其特征在于:在步骤(3)中获得了单条加密会话的会话层级的特征表示,输入多层感知器训练实现网络威胁活动的检测与识别,
Label=MLP(Representationsession);
其中Label为最终预测的标签,MLP为多层感知器模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111302681.3A CN113746869B (zh) | 2021-11-05 | 2021-11-05 | 一种基于多层次卷积的运维系统资产入侵探测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111302681.3A CN113746869B (zh) | 2021-11-05 | 2021-11-05 | 一种基于多层次卷积的运维系统资产入侵探测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113746869A CN113746869A (zh) | 2021-12-03 |
CN113746869B true CN113746869B (zh) | 2022-03-08 |
Family
ID=78727464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111302681.3A Active CN113746869B (zh) | 2021-11-05 | 2021-11-05 | 一种基于多层次卷积的运维系统资产入侵探测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113746869B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509661B2 (en) * | 2014-10-29 | 2016-11-29 | Aruba Networks, Inc. | Method and apparatus for displaying HTTPS block page without SSL inspection |
CN110247930A (zh) * | 2019-07-01 | 2019-09-17 | 北京理工大学 | 一种基于深度神经网络的加密网络流量识别方法 |
CN112104570A (zh) * | 2020-09-11 | 2020-12-18 | 南方电网科学研究院有限责任公司 | 流量分类方法、装置、计算机设备和存储介质 |
CN112311814A (zh) * | 2020-12-23 | 2021-02-02 | 中国航空油料集团有限公司 | 基于深度学习的恶意加密流量识别方法、系统及电子设备 |
CN113162908A (zh) * | 2021-03-04 | 2021-07-23 | 中国科学院信息工程研究所 | 一种基于深度学习的加密流量检测方法及系统 |
CN113259313A (zh) * | 2021-03-30 | 2021-08-13 | 浙江工业大学 | 一种基于在线训练算法的恶意https流量智能分析方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197234B (zh) * | 2019-06-13 | 2020-05-19 | 四川大学 | 一种基于双通道卷积神经网络的加密流量分类方法 |
CN113179223B (zh) * | 2021-04-23 | 2022-08-26 | 中山大学 | 一种基于深度学习和序列化特征的网络应用识别方法及系统 |
-
2021
- 2021-11-05 CN CN202111302681.3A patent/CN113746869B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509661B2 (en) * | 2014-10-29 | 2016-11-29 | Aruba Networks, Inc. | Method and apparatus for displaying HTTPS block page without SSL inspection |
CN110247930A (zh) * | 2019-07-01 | 2019-09-17 | 北京理工大学 | 一种基于深度神经网络的加密网络流量识别方法 |
CN112104570A (zh) * | 2020-09-11 | 2020-12-18 | 南方电网科学研究院有限责任公司 | 流量分类方法、装置、计算机设备和存储介质 |
CN112311814A (zh) * | 2020-12-23 | 2021-02-02 | 中国航空油料集团有限公司 | 基于深度学习的恶意加密流量识别方法、系统及电子设备 |
CN113162908A (zh) * | 2021-03-04 | 2021-07-23 | 中国科学院信息工程研究所 | 一种基于深度学习的加密流量检测方法及系统 |
CN113259313A (zh) * | 2021-03-30 | 2021-08-13 | 浙江工业大学 | 一种基于在线训练算法的恶意https流量智能分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113746869A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lotfollahi et al. | Deep packet: A novel approach for encrypted traffic classification using deep learning | |
Lin et al. | TSCRNN: A novel classification scheme of encrypted traffic based on flow spatiotemporal features for efficient management of IIoT | |
Wang et al. | Machine learning for encrypted malicious traffic detection: Approaches, datasets and comparative study | |
Dong et al. | CETAnalytics: Comprehensive effective traffic information analytics for encrypted traffic classification | |
CN111464485A (zh) | 一种加密代理流量检测方法和装置 | |
Strecker et al. | An analysis of IoT cyber security driven by machine learning | |
CN113949531B (zh) | 一种恶意加密流量检测方法及装置 | |
Soleimani et al. | Real-time identification of three Tor pluggable transports using machine learning techniques | |
Puthal et al. | Decision tree based user-centric security solution for critical IoT infrastructure | |
Dong et al. | BotDetector: An extreme learning machine‐based Internet of Things botnet detection model | |
Srinivasan et al. | Enhancing the security in cyber-world by detecting the botnets using ensemble classification based machine learning | |
Sagu et al. | Hybrid deep neural network model for detection of security attacks in IoT enabled environment | |
Pradeepa et al. | A hybrid OpenFlow with intelligent detection and prediction models for preventing BGP path hijack on SDN | |
Fadhilla et al. | Lightweight meta-learning BotNet attack detection | |
Oakley et al. | Protocol proxy: An fte-based covert channel | |
CN113746869B (zh) | 一种基于多层次卷积的运维系统资产入侵探测方法 | |
CN114172715B (zh) | 一种基于安全多方计算的工控入侵检测系统及方法 | |
Vo et al. | AI-powered intrusion detection in large-scale traffic networks based on flow sensing strategy and parallel deep analysis | |
Guo et al. | MGEL: a robust malware encrypted traffic detection method based on ensemble learning with multi-grained features | |
Arbaoui et al. | Towards secure and reliable aggregation for Federated Learning protocols in healthcare applications | |
CN115174240A (zh) | 一种铁路加密流量监测系统及方法 | |
Alshammari | Automatically generating robust signatures using a machine learning approach to unveil encrypted voip traffic without using port numbers, ip addresses and payload inspection | |
CN113810385A (zh) | 一种自适应干扰的网络恶意流量检测防御方法 | |
Meyer et al. | Federated Self-Supervised Learning for Intrusion Detection | |
CN114372585A (zh) | 一种基于联合学习的物联网系统及服务方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |