CN112311733A - 一种基于强化学习优化xss检测模型防御对抗攻击的方法 - Google Patents

一种基于强化学习优化xss检测模型防御对抗攻击的方法 Download PDF

Info

Publication number
CN112311733A
CN112311733A CN201910692878.9A CN201910692878A CN112311733A CN 112311733 A CN112311733 A CN 112311733A CN 201910692878 A CN201910692878 A CN 201910692878A CN 112311733 A CN112311733 A CN 112311733A
Authority
CN
China
Prior art keywords
detection
model
xss
reinforcement learning
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910692878.9A
Other languages
English (en)
Inventor
方勇
黄诚
李杨
许益家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910692878.9A priority Critical patent/CN112311733A/zh
Publication of CN112311733A publication Critical patent/CN112311733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法，以用于提升基于人工智能的检测模型防御对抗攻击的能力。该方法主要构建了基于强化学习的XSS对抗攻击模型和检测‑对抗交替训练模型。通过基于强化学习的XSS对抗攻击模型挖掘检测模型的对抗样本，将每一轮新挖掘的对抗样本标记为恶意样本之后，对检测模型进行重新训练，从而提高检测模型防御对抗攻击的能力。

Description

一种基于强化学习优化XSS检测模型防御对抗攻击的方法
技术领域
本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法，其主要用于提升基于人工智能的检测模型防御对抗攻击的能力。该方法的主要思想在于构建基于强化学习的XSS对抗攻击模型和检测-对抗交替训练模型。本技术主要涉及网络空间安全领域以及人工智能领域。其首先采集基于强化学习的XSS对抗攻击模型挖掘检测模型的对抗样本，然后将每一轮新挖掘的对抗样本标记为恶意样本，最后对检测模型进行重新训练，从而提高检测模型防御对抗攻击的能力。
背景技术
Web应用是目前网络上被使用最为频繁的应用，网民们享受着Web服务带来的便利与娱乐。但随着互联网普及率不断提高以及Web应用服务的不断丰富，逐步涌现出各种网络安全问题，层出不穷的Web攻击事件对人们的日常工作和生活造成严重的影响。
跨站脚本攻击（XSS）作为Web攻击中最常见的类型之一，常常被用作信息窃取和身份假冒。跨站脚本漏洞的本质是浏览器漏洞，其将恶意的script代码注入到用户所浏览的页面中。当用户使用浏览器阅读包含XSS代码的网页时，恶意代码就会在浏览器端执行，将个人信息，登录凭证等私密信息传递给攻击者布置好的接收端（XSS服务器）。因此，跨站脚本攻击能够直接威胁到用户隐私安全和服务器安全，导致信息泄露、命令执行等严重危害。
为了避免XSS攻击所引发的严重后果，各种XSS防御技术被提出。最为常见的是基于关键字的正则匹配技术，其将script标签和代码执行函数等可能触发XSS漏洞的字符串设置为关键字，如果按一定的规则进行正则匹配。但是这种技术存在很大的缺陷，很容易被攻击者绕过，且误报率相对较高。因此，基于机器学习的XSS检测技术被提出，其使用指定的机器学习算法，训练大量的XSS样本，最后将得到的模型用到漏洞的识别中去。
但是，随着攻击检测技术的不断提升，涌现出对检测模型实施对抗攻击的技术。攻击者企图通过生成具有混淆特征且保留攻击性的对抗样本对检测模型进行对抗攻击，误导模型将恶意攻击类型分类到良性类型，从而逃逸检测模型的攻击检测。然而，当前缺乏针对XSS攻击检测模型防御对抗攻击的研究。设计一种能够有效提高检测模型防御对抗攻击能力的方法具有极其重要的意义。
生成式对抗网络（Generative Adversarial Networks，GAN）是当前最新的研究技术，其可以通过在熊猫的图片上添加肉眼不可察觉的扰动，扰动后肉眼观看仍然明显是熊猫，然而GoogLeNet分类模型以99.3%的置信度判别该扰动后的图片为长臂猿。单像素对抗攻击（One Pixel Attack），在只能修改一个像素点的极端限制场景下，通过基于差分进化生成单像素对抗扰动，从而改变深度神经网络的分类输出结果。其性质可以被用于XSS攻击检测。
发明内容
为了提高XSS检测模型自身的安全性，本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法。该方法能够不断优化XSS检测模型，提升其检测的准确率以及性能。其基本思想在于利用强化学习的自主强化能力，挖掘出有效的XSS攻击样本。然后将强化学习所挖掘的样本投入检测-对抗交替训练模型中进行模型优化。
首先，利用基于强化学习的对抗攻击模型挖掘检测模型的对抗样本，模型所挖掘的样本都具备实际攻击效果，能够为后续的模型优化提供帮助；其次，基于检测-对抗交替训练模型不断交替训练检测模型与对抗模型，将每一轮新挖掘的对抗样本标记为恶意样本之后，对检测模型进行重新训练。
本发明设计的两种模型能够互相协作，具有极强的调节能力。基于强化学习的对抗攻击模型能够挖掘高质量的学习样本，而检测-对抗交替模型能够衔接上一个模型所得到的样本，使用奖励机制来不断提升自身模型的能力。
基于强化学习的对抗攻击模型，该模型将XSS逃逸对抗攻击问题转换成逃逸策略的选择问题，并根据环境状态选择最优的逃逸策略。模型基于编码混淆、敏感词替换、位置形态变换、添加特殊字符四类XSS攻击逃逸技术，并通过逃逸策略变换攻击向量并使用该样本对抗攻击检测工具或模型，从而挖掘保留攻击性的逃逸对抗样本。四种XSS攻击逃逸技术的描述如下。
（1）编码混淆，由于浏览器处理部分特殊标签的内容之前会进行相应的解码，因此攻击者借助该特性对攻击向量进行编码混淆，隐藏攻击向量在传输过程中原有的攻击特征信息。比如对特殊标签或属性进行HTML，Unicode，UTF-7等编码。
（2）敏感词替换，许多标签和关键字都被各种XSS检测软件打入黑名单，因此想获得更好的攻击样本，就需要对敏感词进行替换。本发明设计了事件敏感词替换，Alert弹窗敏感词替换，空白符替换，括号替换以及通用时间的标签替换。
（3）位置形态变化，正则匹配及检测模型往往具有顺序性，且通常是从左到右读取字符串。因此可以在script标签允许的规则内进行属性位置调换或属性状态改变，以达到躲避检测的目的。那么发明设计了属性表达式与事件表达式位置变换，关键字大小写形态变换，Alert等弹框字符串形态变化。
（4）添加特殊字符，向构造的XSS代码中添加一些不影响代码执行的字符，以达到扰乱检测器的作用。本发明设计了事件之前添加赋值表达式，事件与触发代码之间添加空白符，标间内添加任意字母或数字，函数名之间添加任意计算表达式，函数名与括号之间添加注释，攻击向量前后添加任意字符。
检测-对抗交替训练模型，该模型不断交替训练检测模型与对抗模型，将每一轮新挖掘的对抗样本标记为恶意样本之后，对检测模型进行重新训练，不断压缩对抗样本空间，提高检测模型防御对抗攻击的能力。
附图说明
图 1 是本发明的基于强化学习的对抗攻击模型系统流程图。
图 2 是本发明的检测-对抗交替训练模型系统流程图。
具体实施方式
现结合附图和具体实施方式对本发明进一步说明。本发明一种基于强化学习优化XSS检测模型防御对抗攻击的方法是由基于强化学习的对抗攻击模型系统流程图，检测-对抗交替训练模型构成。图1是本发明的基于强化学习的对抗攻击模型系统流程图，图2是本发明的检测-对抗交替训练模型系统流程图。
基于强化学习的对抗攻击模型：首先，将训练样本数据和测试样本数据输入到黑白盒检测环境，根据检测模型的输出作为状态信息传递给基于DDQN的智能体；其次，智能体根据状态选择相应的逃逸技术，根据选择动作对样本进行变换后，再次传递给检测环境进行检测，获取检测的结果状态并反馈对应的奖励值。对抗模型基于环境状态选择动作空间内的逃逸动作，对恶意样本进行变换后再次输入到黑盒或白盒XSS检测工具进行检测，根据是否逃逸的结果反馈奖励，如果逃逸成功或者超出最多尝试次数则结束，否则继续尝试寻找最优的逃逸策略。
在具体实施的模型框架中，一共包含四个功能模块：数据预处理模块、对抗环境模块、智能体模块和样本操纵模块。数据预处理模块通过调用对抗环境的接口对初试恶意样本库进行筛选，获取被检测工具或模型检测拦截的样本，样本去重后根据不同检测模型或工具保存为相应的对抗数据集。对抗环境模块，封装黑盒检测工具的检测过程为黑盒检测工具接口，根据输入测试样本反馈拦截或逃逸成功的结果；封装白盒检测模型的检测过程为白盒检测模型接口，根据测试样本反馈检测为XSS样本的置信度。智能体模块，通过特征提取将检测样本向量化，通过构造DDQN模型评估最优逃逸变换策略，然后根据当前状态智能选择对应的逃逸空间。样本操纵模块，根据XSS逃逸技术定义逃逸动作空间，根据逃逸动作选择器选择的动作策略对样本进行逃逸变换操纵。
检测-对抗交替训练模型：首先通过数据预处理模块筛选出检测模型拦截的恶意样本，基于对抗攻击模型对拦截的恶意样本进行逃逸变换，挖掘成功逃逸检测的对抗样本，将其标记为恶意样本后，对检测模型进行重新训练。通过交替训练检测模型与对抗攻击模型，不断压缩对抗样本空间，从而检测模型防御对抗攻击的能力。

Claims (3)

1.一种基于强化学习优化XSS检测模型防御对抗攻击的方法，其特征在于：
A、基于强化学习的XSS对抗攻击模型；
B、检测-对抗交替训练模型。
2.根据权利要求1所述的一种基于强化学习优化XSS检测模型防御对抗攻击的方法，其所述的特征A主要包括：
A1、将训练样本数据和测试样本数据输入到黑白盒检测环境根据检测模型的输出作为状态信息传递给基于DDQN的智能体；
A2、智能体根据状态选择相应的逃逸技术，根据选择动作对样本进行变换后，再次传递给检测环境进行检测，获取检测的结果状态并反馈对应的奖励值。
3.跟据权利要求1所述的一种基于强化学习优化XSS检测模型防御对抗攻击的方法，其所述的特征B主要包括：
B1、首先通过数据预处理模块筛选出检测模型拦截的恶意样本；
B2、基于对抗攻击模型对拦截的恶意样本进行逃逸变换，挖掘成功逃逸检测的对抗样本；
B3、通过Vulners Audit API接口检测Docker镜像存在的漏洞信息以及对应的漏洞详情；
B4、将对抗样本标记为恶意样本后，对检测模型进行重新训练。
CN201910692878.9A 2019-07-30 2019-07-30 一种基于强化学习优化xss检测模型防御对抗攻击的方法 Pending CN112311733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910692878.9A CN112311733A (zh) 2019-07-30 2019-07-30 一种基于强化学习优化xss检测模型防御对抗攻击的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910692878.9A CN112311733A (zh) 2019-07-30 2019-07-30 一种基于强化学习优化xss检测模型防御对抗攻击的方法

Publications (1)

Publication Number Publication Date
CN112311733A true CN112311733A (zh) 2021-02-02

Family

ID=74330208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910692878.9A Pending CN112311733A (zh) 2019-07-30 2019-07-30 一种基于强化学习优化xss检测模型防御对抗攻击的方法

Country Status (1)

Country Link
CN (1) CN112311733A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065132A (zh) * 2021-03-25 2021-07-02 深信服科技股份有限公司 一种宏程序的混淆检测方法、装置、电子设备和存储介质
CN114139631A (zh) * 2021-12-03 2022-03-04 华北电力大学 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
WO2022218188A1 (zh) * 2021-04-16 2022-10-20 华为技术有限公司 攻击样本管理的方法以及设备
CN116738429A (zh) * 2023-08-15 2023-09-12 之江实验室 基于生成对抗的目标检测引擎优化方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899595A (zh) * 2017-02-28 2017-06-27 中国人民解放军空军装备研究院雷达与电子对抗研究所 基于强化学习的不完全信息网络安全分析方法及装置
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
WO2018184102A1 (en) * 2017-04-03 2018-10-11 Royal Bank Of Canada Systems and methods for malicious code detection
CN108734276A (zh) * 2018-04-28 2018-11-02 同济大学 一种基于对抗生成网络的模仿学习对话生成方法
WO2018206504A1 (en) * 2017-05-10 2018-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Pre-training system for self-learning agent in virtualized environment
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
CN109902709A (zh) * 2019-01-07 2019-06-18 浙江大学 一种基于对抗学习的工业控制系统恶意样本生成方法
CN109951484A (zh) * 2019-03-20 2019-06-28 四川长虹电器股份有限公司 针对机器学习产品进行攻击的测试方法及系统
CN111310915A (zh) * 2020-01-21 2020-06-19 浙江工业大学 一种面向强化学习的数据异常检测防御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899595A (zh) * 2017-02-28 2017-06-27 中国人民解放军空军装备研究院雷达与电子对抗研究所 基于强化学习的不完全信息网络安全分析方法及装置
WO2018184102A1 (en) * 2017-04-03 2018-10-11 Royal Bank Of Canada Systems and methods for malicious code detection
WO2018206504A1 (en) * 2017-05-10 2018-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Pre-training system for self-learning agent in virtualized environment
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108734276A (zh) * 2018-04-28 2018-11-02 同济大学 一种基于对抗生成网络的模仿学习对话生成方法
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
CN109902709A (zh) * 2019-01-07 2019-06-18 浙江大学 一种基于对抗学习的工业控制系统恶意样本生成方法
CN109951484A (zh) * 2019-03-20 2019-06-28 四川长虹电器股份有限公司 针对机器学习产品进行攻击的测试方法及系统
CN111310915A (zh) * 2020-01-21 2020-06-19 浙江工业大学 一种面向强化学习的数据异常检测防御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LERREL PINTO: "Robust Adversarial Reinforcement Learning", 《PROCEEDINGS OF THE 34TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
XIAOLONG CHEN: "A Comparison of Machine Learning Algorithms for Detecting XSS Attacks", 《INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND SECURITY ICAIS 2019: ARTIFICIAL INTELLIGENCE AND SECURITY》 *
张嘉楠: "深度学习的对抗攻击方法综述", 《网络空间安全》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065132A (zh) * 2021-03-25 2021-07-02 深信服科技股份有限公司 一种宏程序的混淆检测方法、装置、电子设备和存储介质
CN113065132B (zh) * 2021-03-25 2023-11-03 深信服科技股份有限公司 一种宏程序的混淆检测方法、装置、电子设备和存储介质
WO2022218188A1 (zh) * 2021-04-16 2022-10-20 华为技术有限公司 攻击样本管理的方法以及设备
CN114139631A (zh) * 2021-12-03 2022-03-04 华北电力大学 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN116738429A (zh) * 2023-08-15 2023-09-12 之江实验室 基于生成对抗的目标检测引擎优化方法、装置及系统
CN116738429B (zh) * 2023-08-15 2023-11-14 之江实验室 基于生成对抗的目标检测引擎优化方法、装置及系统

Similar Documents

Publication Publication Date Title
CN112311733A (zh) 一种基于强化学习优化xss检测模型防御对抗攻击的方法
Li et al. Invisible backdoor attacks on deep neural networks via steganography and regularization
CN108259494B (zh) 一种网络攻击检测方法及装置
CN109308494B (zh) Lstm模型及基于该模型的网络攻击识别方法及系统
CN106789888A (zh) 一种多特征融合的钓鱼网页检测方法
Wang et al. Machine learning based cross-site scripting detection in online social network
CN108171059A (zh) 基于软件基因的恶意代码检测与识别方法及装置
CN108718306B (zh) 一种异常流量行为判别方法和装置
Ndichu et al. A machine learning approach to malicious JavaScript detection using fixed length vector representation
CN112182614B (zh) 一种动态Web应用防护系统
CN110247916B (zh) 恶意域名检测方法
Barlow et al. A novel approach to detect phishing attacks using binary visualisation and machine learning
Neupane et al. Impacts and risk of generative AI technology on cyber defense
CN113992623B (zh) 一种基于内容与源码的网页邮件跨站脚本攻击检测方法
CN113268990B (zh) 一种基于对抗攻击的用户人格隐私保护方法
CN110086788A (zh) 基于云WAF的深度学习WebShell防护方法
CN113268991B (zh) 一种基于cgan模型的用户人格隐私保护方法
CN114638356B (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
Pawar et al. Secure QR Code Scanner to Detect Malicious URL using Machine Learning
CN109309677A (zh) 一种基于语义协同的Web应用动态防御方法
Merugula et al. Stop Phishing: Master Anti-Phishing Techniques
Sen et al. Malicious url classification using deep neural network
Ramprasath et al. Identification and mitigation of phishing email attacks using deep learning
Sajedi An ensemble algorithm for discovery of malicious web pages
Abhijith et al. Detection of Malicious URLs in Twitter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210202