CN112232436B - 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法 - Google Patents

一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法 Download PDF

Info

Publication number
CN112232436B
CN112232436B CN202011217582.0A CN202011217582A CN112232436B CN 112232436 B CN112232436 B CN 112232436B CN 202011217582 A CN202011217582 A CN 202011217582A CN 112232436 B CN112232436 B CN 112232436B
Authority
CN
China
Prior art keywords
interpretation
decision tree
item
attack detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011217582.0A
Other languages
English (en)
Other versions
CN112232436A (zh
Inventor
吕明琪
王琦晖
邢顺华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Smart Strategy Technology Co ltd
Original Assignee
Hangzhou Smart Strategy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Smart Strategy Technology Co ltd filed Critical Hangzhou Smart Strategy Technology Co ltd
Priority to CN202011217582.0A priority Critical patent/CN112232436B/zh
Publication of CN112232436A publication Critical patent/CN112232436A/zh
Application granted granted Critical
Publication of CN112232436B publication Critical patent/CN112232436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，所述方法包括以下步骤：1)解释项抽取：采用集成决策树模型从原始网络流量数据中抽取并构造解释项；2)解释项加权：采用层次注意力机制学习在不同场景下解释项的权重参数；3)实时检测和解释：采用训练好的模型对实时样本进行攻击检测和解释。本发明提供了一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，融合决策树模型与注意力模型，使得检测模型能够同时具备较强的泛化能力和较好的可解释性；通过集成决策树模型抽取特征组合作为解释项，相比于现有的直接采用特征作为解释项的方法，具有更好的可解释性。

Description

一种融合集成决策树与层次注意力机制的可解释网络攻击检 测方法
技术领域
本发明涉及深度学习和网络安全技术，具体涉及一种网络攻击检测方法。
背景技术
随着计算机网络的发展和扩张，针对计算机网络的攻击越来越多。网络攻击的形式包括拒绝服务攻击、恶意软件攻击、APT网络攻击等，给网络安全带来了巨大的威胁。网络攻击检测系统旨在通过监测网络系统数据以发现网络攻击行为，在此基础上对响应组件或网络管理员提供预警。
随着网络流量、网络日志等网络数据的积累，基于机器学习的网络攻击检测方法受到了广泛的重视。用于网络攻击检测的机器学习技术包括传统的浅层学习技术和深度学习技术。其中，深度学习技术由于能够自动学习到复杂的非线性隐藏特征，通常具有更高的准确率和泛化能力。常用于网络攻击检测的深度学习模型包括MLP(多层感知机)、CNN(卷积神经网络)、LSTM(长短期记忆网络)、自动编码机等。
虽然深度学习在网络攻击检测方面已经取得了显著的进展，但由于深度学习模型的非线性运行机制无法被人类理解，因此其本质上是一种黑盒系统，无法为其运行结果提供解释。缺乏可解释性为基于深度学习的网络攻击检测系统的实用造成了很大的阻碍。例如，由于误报是不可避免的，因此网络管理员需要理解网络攻击检测系统的判断依据，在此基础上选择是否相信系统的检测结果。此外，网络管理员需要理解网络攻击检测结果的原因，才能更好地制定防御和应对策略。
发明内容
针对现有技术的不足，本发明提供了一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，融合决策树模型与注意力模型，使得检测模型能够同时具备较强的泛化能力和较好的可解释性；通过集成决策树模型抽取特征组合作为解释项，相比于现有的直接采用特征作为解释项的方法，具有更好的可解释性。
本发明解决其技术问题所采用的技术方案是：
一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，所述方法包括以下步骤：
1)解释项抽取：采用集成决策树模型从原始网络流量数据中抽取并构造解释项；
2)解释项加权：采用层次注意力机制学习在不同场景下解释项的权重参数；
3)实时检测和解释：采用训练好的模型对实时样本进行攻击检测和解释。
进一步，所述步骤1)中，给定原始网络流量数据集D，解释项抽取的步骤如下：
(1-1)特征抽取：对D中每条数据，抽取各类网络流量特征，形成训练样本集S；
(1-2)集成决策树模型训练：基于S训练一个包含N颗决策树的集成决策树模型TM，则TM的每颗决策树的每条分枝均代表一个特征组合，可看成一个解释项；
(1-3)解释项抽取：给定一个样本si，首先将其输入TM的每颗决策树，si会根据其流量特征到达每颗决策树的某个叶子节点，则该叶子节点对应的分枝为si的一个解释项；
再进一步，所述步骤2)中，解释项加权的步骤如下：
(2-1)解释项嵌入：可将每颗决策树看成一个类别型特征，每个解释项看成类别型特征的一种取值；然后，采用特征嵌入技术将每一个解释项ei表示成一个d维的稠密向量xi；
(2-2)自注意力加权：首先，设置可训练的权重矩阵WQ、WK和WV，计算每一个解释项ei的查询向量qi＝xi·WQ、键向量ki＝xi·WK和值向量vi＝xi·WV；然后，对每一对解释项ei和ej，基于公式(1)计算其自注意力权重αij；最后，基于公式(2)计算每一个解释项ei的语义向量yi。
Figure BDA0002760932860000021
Figure BDA0002760932860000022
(2-3)软注意力加权：设置可训练的权重矩阵WS、偏移向量bS和映射向量hS，基于公式(3)计算解释项ei的软注意力权重βi，其中，σ()为激活函数；
Figure BDA0002760932860000023
(2-4)样本分类：首先，基于公式(4)计算所有解释项的最终表征向量z。然后，在z上采用一个多层感知机作为分类器，输出检测结果，即正常样本或攻击样本；
Figure BDA0002760932860000024
更进一步，所述步骤3)中，给定样本si，网络攻击实时检测和解释的步骤如下：
(3-1)攻击检测：将si输入训练好的解释项抽取和加权模型，基于步骤(2-4)输出攻击检测结果；
(3-2)攻击检测结果解释：若检测到网络攻击，首先基于步骤(2-2)和步骤(2-3)输出所有注意力权重，并基于公式(5)计算解释项ei的总体注意力权重wi,；然后，选择总体注意力权重最高的若干个解释项，作为攻击检测结果原因的解释；
Figure BDA0002760932860000031
本发明的有益效果主要表现在：1、融合决策树模型与注意力模型，使得检测模型能够同时具备较强的泛化能力和较好的可解释性。2、通过集成决策树模型抽取特征组合作为解释项，相比于现有的直接采用特征作为解释项的方法，具有更好的可解释性。
附图说明
图1为一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法流程图；
图2为基于集成决策树的解释项抽取示意图；
图3为基于注意力机制的解释项加权示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，所述方法包括以下步骤：
1)解释项抽取：采用集成决策树模型从原始网络流量数据中抽取并构造解释项；
所述步骤1)中，给定原始网络流量数据集D，解释项抽取的步骤如下：
(1-1)特征抽取：对D中每条数据，抽取各类网络流量特征，形成训练样本集S；
(1-2)集成决策树模型训练：基于S训练一个包含N颗决策树的集成决策树模型TM，则TM的每颗决策树的每条分枝均代表一个特征组合，可看成一个解释项；
(1-3)解释项抽取：给定一个样本si，首先将其输入TM的每颗决策树，si会根据其流量特征到达每颗决策树的某个叶子节点，则该叶子节点对应的分枝为si的一个解释项；如图2所示，假设N＝3，si到达了决策树A的叶子节点3、决策树B的叶子节点2、及决策树C的叶子节点4，则si的解释项集为{e1＝(1,2,3),e2＝(4,5,6),e3＝(7,8,9)}。
2)解释项加权：采用层次注意力机制学习在不同场景下解释项的权重参数；
所述步骤2)中，参照图3，解释项加权的步骤如下：
(2-1)解释项嵌入：可将每颗决策树看成一个类别型特征，每个解释项看成类别型特征的一种取值；如图2所示，可将样本si的三个类别型特征表示为三个one-hot编码向量，即<0,0,1,0>、<0,1,0,0>、<0,0,0,1>；然后，采用特征嵌入技术将每一个解释项ei表示成一个d维的稠密向量xi；
(2-2)自注意力加权：首先，设置可训练的权重矩阵WQ、WK和WV，计算每一个解释项ei的查询向量qi＝xi·WQ、键向量ki＝xi·WK和值向量vi＝xi·WV；然后，对每一对解释项ei和ej，基于公式(1)计算其自注意力权重αij；最后，基于公式(2)计算每一个解释项ei的语义向量yi。
Figure BDA0002760932860000041
Figure BDA0002760932860000042
(2-3)软注意力加权：设置可训练的权重矩阵WS、偏移向量bS和映射向量hS，基于公式(3)计算解释项ei的软注意力权重βi，其中，σ()为激活函数；
Figure BDA0002760932860000043
(2-4)样本分类：首先，基于公式(4)计算所有解释项的最终表征向量z。然后，在z上采用一个多层感知机作为分类器，输出检测结果，即正常样本或攻击样本；
Figure BDA0002760932860000044
3)实时检测和解释：采用训练好的模型对实时样本进行攻击检测和解释；
所述步骤3)中，给定样本si，网络攻击实时检测和解释的步骤如下：
(3-1)攻击检测：将si输入训练好的解释项抽取和加权模型，基于步骤(2-4)输出攻击检测结果；
(3-2)攻击检测结果解释：若检测到网络攻击，首先基于步骤(2-2)和步骤(2-3)输出所有注意力权重，并基于公式(5)计算解释项ei的总体注意力权重wi,；然后，选择总体注意力权重最高的若干个解释项，作为攻击检测结果原因的解释；
Figure BDA0002760932860000045
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法，其特征在于，所述方法包括以下步骤：
1)解释项抽取：采用集成决策树模型从原始网络流量数据中抽取并构造解释项；
2)解释项加权：采用层次注意力机制学习在不同场景下解释项的权重参数；
3)实时检测和解释：采用训练好的模型对实时样本进行攻击检测和解释；
所述步骤1)中，给定原始网络流量数据集D，解释项抽取的步骤如下：
(1-1)特征抽取：对D中每条数据，抽取各类网络流量特征，形成训练样本集S；
(1-2)集成决策树模型训练：基于S训练一个包含N颗决策树的集成决策树模型TM，则TM的每颗决策树的每条分枝均代表一个特征组合，可看成一个解释项；
(1-3)解释项抽取：给定一个样本si，首先将其输入TM的每颗决策树，si会根据其流量特征到达每颗决策树的某个叶子节点，则该叶子节点对应的分枝为si的一个解释项；
所述步骤2)中，解释项加权的步骤如下：
(2-1)解释项嵌入：可将每颗决策树看成一个类别型特征，每个解释项看成类别型特征的一种取值；然后，采用特征嵌入技术将每一个解释项ei表示成一个d维的稠密向量xi；
(2-2)自注意力加权：首先，设置可训练的权重矩阵WQ、WK和WV，计算每一个解释项ei的查询向量qi＝xi·WQ、键向量ki＝xi·WK和值向量vi＝xi·WV；然后，对每一对解释项ei和ej，基于公式(1)计算其自注意力权重αij；最后，基于公式(2)计算每一个解释项ei的语义向量yi；
Figure FDA0003679817170000011
Figure FDA0003679817170000012
(2-3)软注意力加权：设置可训练的权重矩阵WS、偏移向量bS和映射向量hS，基于公式(3)计算解释项ei的软注意力权重βi，其中，
Figure FDA0003679817170000013
为激活函数；
Figure FDA0003679817170000014
(2-4)样本分类：首先，基于公式(4)计算所有解释项的最终表征向量z；然后，在z上采用一个多层感知机作为分类器，输出检测结果，即正常样本或攻击样本；
Figure FDA0003679817170000021
所述步骤3)中，给定样本si，网络攻击实时检测和解释的步骤如下：
(3-1)攻击检测：将si输入训练好的解释项抽取和加权模型，基于步骤(2-4)输出攻击检测结果；
(3-2)攻击检测结果解释：若检测到网络攻击，首先基于步骤(2-2)和步骤(2-3)输出所有注意力权重，并基于公式(5)计算解释项ei的总体注意力权重wi；然后，选择总体注意力权重最高的若干个解释项，作为攻击检测结果原因的解释；
Figure FDA0003679817170000022
CN202011217582.0A 2020-11-04 2020-11-04 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法 Active CN112232436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217582.0A CN112232436B (zh) 2020-11-04 2020-11-04 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217582.0A CN112232436B (zh) 2020-11-04 2020-11-04 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法

Publications (2)

Publication Number Publication Date
CN112232436A CN112232436A (zh) 2021-01-15
CN112232436B true CN112232436B (zh) 2022-08-05

Family

ID=74121983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217582.0A Active CN112232436B (zh) 2020-11-04 2020-11-04 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法

Country Status (1)

Country Link
CN (1) CN112232436B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012116208A2 (en) * 2011-02-23 2012-08-30 New York University Apparatus, method, and computer-accessible medium for explaining classifications of documents
CN109492678B (zh) * 2018-10-24 2021-11-23 浙江工业大学 一种集成浅层和深度学习的App分类方法
US11475277B2 (en) * 2019-05-16 2022-10-18 Google Llc Accurate and interpretable classification with hard attention
CN110414219B (zh) * 2019-07-24 2021-07-23 长沙市智为信息技术有限公司 基于门控循环单元与注意力机制的注入攻击检测方法
CN111581980B (zh) * 2020-05-06 2022-08-16 西安交通大学 基于决策树与共同注意力协作的假新闻检测系统及方法
CN111859978B (zh) * 2020-06-11 2023-06-20 南京邮电大学 一种基于深度学习的情感文本生成方法

Also Published As

Publication number Publication date
CN112232436A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN110647918B (zh) 面向深度学习模型对抗攻击的拟态防御方法
CN108898015B (zh) 基于人工智能的应用层动态入侵检测系统及检测方法
CN110191103B (zh) 一种dga域名检测分类方法
KR102093275B1 (ko) 악성코드 감염 유도정보 판별 시스템, 프로그램이 기록된 저장매체 및 방법
CN111600919B (zh) 智能网络应用防护系统模型的构建方法和装置
CN113242259A (zh) 网络异常流量检测方法及装置
CN109977118A (zh) 一种基于词嵌入技术和lstm的异常域名检测方法
CN113094707B (zh) 一种基于异质图网络的横向移动攻击检测方法及系统
CN112087442A (zh) 基于注意力机制的时序相关网络入侵检测方法
CN114697096A (zh) 基于空时特征和注意力机制的入侵检测方法
Vani Towards efficient intrusion detection using deep learning techniques: a review
CN116318928A (zh) 一种基于数据增强和特征融合的恶意流量识别方法及系统
Agrawal et al. Autoencoder for Design of Mitigation Model for DDOS Attacks via M‐DBNN
CN115277189A (zh) 基于生成式对抗网络的无监督式入侵流量检测识别方法
CN112232436B (zh) 一种融合集成决策树与层次注意力机制的可解释网络攻击检测方法
CN117176433A (zh) 网络数据的异常行为检测系统及方法
Shahin et al. Implementation of a novel fully convolutional network approach to detect and classify cyber-attacks on IoT devices in smart manufacturing systems
KR102021138B1 (ko) 인공지능 기반 악성 도메인 분류 방법 및 프로그램
Lim et al. MIMO Lyapunov Theory‐Based RBF Neural Classifier for Traffic Sign Recognition
CN114915496B (zh) 基于时间权重和深度神经网络的网络入侵检测方法和装置
Zhang et al. Research on unknown threat detection method of information system based on deep learning
Zhang et al. An intrusion detection method based on changes of antibody concentration in immune response
Pavate et al. Machine learning under attack: literature survey
Wen et al. Research on Automated Classification Method of Network Attacking Based on Gradient Boosting Decision Tree
Nandhini et al. IoT Based Smart Home Security System with Face Recognition and Weapon Detection Using Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230816

Address after: 4th Floor, Building 1, No. 508 Yingxi North Road, Fuxi Street, Deqing County, Huzhou City, Zhejiang Province, 313200

Patentee after: Zhejiang love news Medical Technology Co.,Ltd.

Address before: Room 506-2, Block E, building 1, 1378 Wenyi West Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou smart strategy Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: Room 506-2, Block E, Building 1, No. 1378 Wenyi West Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Patentee after: Hangzhou smart strategy Technology Co.,Ltd.

Country or region after: China

Address before: 4th Floor, Building 1, No. 508 Yingxi North Road, Fuxi Street, Deqing County, Huzhou City, Zhejiang Province, 313200

Patentee before: Zhejiang love news Medical Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right