CN111444516B - 一种基于敏感度的深度强化学习智能体攻击方法 - Google Patents
一种基于敏感度的深度强化学习智能体攻击方法 Download PDFInfo
- Publication number
- CN111444516B CN111444516B CN202010206848.5A CN202010206848A CN111444516B CN 111444516 B CN111444516 B CN 111444516B CN 202010206848 A CN202010206848 A CN 202010206848A CN 111444516 B CN111444516 B CN 111444516B
- Authority
- CN
- China
- Prior art keywords
- reinforcement learning
- pixel points
- sliding window
- deep reinforcement
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于敏感度的深度强化学习智能体攻击方法,包括步骤:1)将滑动窗口在输入图像上滑动;2)分析滑动窗口内的像素点对深度强化学习智能体输出的累积奖励的影响,并计算像素点的敏感度;3)根据像素点的敏感度和攻击成本,在输入图像上挑选最敏感的像素点,构造敏感点集合;4)对敏感点集合中的像素点,利用梯度进行攻击。本发明提出用敏感度衡量像素点对深度强化学习智能体输出的累积奖励的影响,同时考虑即时奖励和累积奖励对攻击的影响,从而构造有效的深度强化学习智能体攻击方法,从而深入研究深度强化学习智能体存在的安全漏洞。
Description
技术领域
本发明涉及人工智能的技术领域,尤其是指一种基于敏感度的深度强化学习智能体攻击方法。
背景技术
深度强化学习是人工智能领域的一个重要方法。2014年以来,人工智能领域,包括其中深度强化学习方法,不断发展,在社会生活各个领域均有着广泛的应用。人工智能是新一轮产业变革的核心驱动力,必将成为我国将来的重要发展方向。深度强化学习方法越来越广泛的应用使得对深度强化学习方法的安全性研究成为必须解决的一个课题。
深度强化学习系统通常也被称为深度强化学习智能体,深度强化学习智能体基于当前时刻环境所处的状态做出决策。对深度强化学习方法的安全性研究包括攻击方法和防御方法两个方面。针对深度强化学习的攻击方法能够深入研究深度强化学习智能体存在的安全漏洞,从而为防御方法提供信息以及思路,因此深度强化学习的攻击方法的研究存在其重要意义。目前对深度强化学习的攻击方法基本沿用监督学习中的攻击算法,仅仅考虑即时奖励对攻击的影响,而没有考虑到累积奖励对攻击的影响,欠缺有效性和针对性。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于敏感度的深度强化学习智能体攻击方法,突破现有攻击方法仅考虑即时奖励对攻击的影响的不足,提出用敏感度衡量像素点对深度强化学习智能体输出的累积奖励的影响,同时考虑即时奖励和累积奖励对攻击的影响,从而构造有效的深度强化学习智能体攻击方法,深入研究深度强化学习智能体存在的安全漏洞。
为实现上述目的,本发明所提供的技术方案为:一种基于敏感度的深度强化学习智能体攻击方法,包括以下步骤:
1)在初始位置构造滑动窗口,每隔一个回合将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动,直至滑动窗口到达最终位置;
2)分析滑动窗口内的像素点对深度强化学习智能体输出的累积奖励的影响,并计算像素点的敏感度;
3)根据像素点的敏感度和攻击成本,在输入图像上挑选最敏感的像素点,构造敏感点集合;
4)对敏感点集合中的像素点,利用梯度进行攻击。
在步骤1)中,每个滑动窗口内包含相同数目的像素点:
Wi+1=slide(Wi,dx,dy),i=1,2,...,N
Wi={f(x1,y1),f(x2,y2),...,f(xM,yM)}
式中,Wi表示第i个滑动窗口,slide()表示滑动函数,dx和dy分别表示在横坐标轴和纵坐标轴上的滑动步伐;f(xj,yj),j=1,2,...,M表示输入图像上横坐标为xj纵坐标为yj的像素点,M为一个滑动窗口中包含的像素点的数目。
在步骤2)中,对滑动窗口内的像素点进行扰动,分析扰动对深度强化学习智能体输出的累积奖励的影响,计算像素点的敏感度,包括以下步骤:
2.1)在滑动窗口内的像素点上叠加扰动,即由原始状态生成干扰状态:
式中,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点;Wi,i=1,2,...,N表示第i个滑动窗口;α表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数;
2.2)叠加扰动后,深度强化学习智能体与环境进行交互:将状态输入智能体,智能体输出动作决策,并从环境中获取当前状态和即时奖励,将即时奖励输入累积奖励计算器,一个回合结束后累积奖励计算器输出累积奖励;在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为:
RI(Wi)=R-R(Wi)
式中,R表示不存在扰动时深度强化学习智能体输出的累积奖励,R(Wi)表示对滑动窗口Wi内的像素点进行扰动时深度强化学习智能体输出的累积奖励;
2.3)获得像素点的敏感度为:
S(f(x,y))=E([RI(Wi)|f(x,y)∈Wi,Wi∈{W1,W2,...,WN}])
式中,E()表示期望计算公式。
在步骤3)中,在输入图像上挑选最敏感的像素点,构造敏感点集合为:
FA={f(x1,y1),f(x2,y2),...,f(xC,yC)},s.t.S(f(x1,y1))≥S(f(x2,y2))≥...≥S(f(xC,yC))
式中,C为攻击成本;f(xi,yi),i=1,2,...,C表示输入图像上横坐标为xi纵坐标为yi的像素点;S(f(xi,yi)),i=1,2,...,C表示像素点f(xi,yi)的敏感度。
在步骤4)中,对敏感点集合中的像素点,利用梯度进行攻击,如下式所示:
式中,FA为敏感点集合,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点;Wi,i=1,2,...,N表示第i个滑动窗口;ε表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明首次实现了同时考虑即时奖励和累积奖励的攻击方法,突破传统攻击方法仅考虑即时奖励的不足。
2、本发明首次实现了用敏感度衡量像素点对累积奖励的影响,并且通过滑动窗口的方式计算像素点的敏感度,一方面降低计算成本,另一方面计算考虑到了像素点周边像素点对它的影响,因此能够更为全面的分析深度强化学习智能体的安全漏洞。
3、本发明方法提出的敏感度无需在攻击中实时计算,而是能够在攻击开始前提前计算,以降低攻击的实时计算量,从而降低深度强化学习智能体安全漏洞的分析成本。
4、本发明方法提出的像素点的敏感度,在相同应用的不同深度强化学习智能体上具有一致性,体现了深度强化学习智能体的安全漏洞在相同应用的不同强化学习智能体上的一致性。
5、本发明方法在深度强化学习智能体中具有广泛的使用空间,操作简单、适应性强,在分析深度强化学习智能体的安全漏洞上有广阔前景。
附图说明
图1为本发明逻辑流程示意图。
图2为本发明使用的滑动窗口示意图。
图3为本发明提出的敏感度计算示意图。
图4为本发明与其它方法相比的效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示,本实施例所提供的基于敏感度的深度强化学习智能体攻击方法,包括以下步骤:
1)如图2所示,首先在初始位置构造滑动窗口,每隔一个回合(episode)将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动,直至滑动窗口到达最终位置。
Wi+1=slide(Wi,dx,dy),i=1,2,...,N
式中,Wi(i=1,2,...,N)表示第i个滑动窗口,slide()表示滑动函数,dx和dy分别表示在横坐标轴和纵坐标轴上的滑动步伐。
每个滑动窗口内包含相同数目的像素点为:
Wi={f(x1,y1),f(x2,y2),...,f(xM,yM)}
式中,f(xj,yj)(j=1,2,...,M)表示输入图像上横坐标为xj纵坐标为yj的像素点,M为一个滑动窗口中包含的像素点的数目。
2)如图3所示,通过对每个滑动窗口内的像素点进行扰动,分析扰动对深度强化学习智能体输出的累积奖励的影响,计算像素点的敏感度,包括以下步骤:
2.1)在滑动窗口内的像素点上叠加扰动,即由原始状态(Original State)生成干扰状态(Perturbed State):
式中,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点,Wi(i=1,2,...,N)表示第i个滑动窗口,α表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数。
2.2)叠加扰动后,深度强化学习智能体(Agent)与环境(Environment)进行交互:将状态(State)输入智能体,智能体输出动作决策(action),并从环境中获取当前状态和即时奖励(Reward),将即时奖励输入累积奖励计算器(Cumulative Reward Calculation)。一个回合(episode)结束后累积奖励计算器输出累积奖励。在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为:
RI(Wi)=R-R(Wi)
式中,R表示不存在扰动时深度强化学习智能体输出的累积奖励,R(Wi)表示对滑动窗口Wi内的像素点进行扰动时深度强化学习智能体输出的累积奖励。
2.3)获得像素点的敏感度为:
S(f(x,y))=E([RI(Wi)|f(x,y)∈Wi,Wi∈{W1,W2,...,WN}])
式中,E()表示期望计算公式。
3)根据像素点的敏感度和攻击成本,在输入图像上挑选最敏感的像素点,构造敏感点集合:
FA={f(x1,y1),f(x2,y2),...,f(xC,yC)},s.t.S(f(x1,y1))≥S(f(x2,y2))≥...≥S(f(xC,yC))
式中,C为攻击成本,f(xi,yi)(i=1,2,...,C)表示输入图像上横坐标为xi纵坐标为yi的像素点,S(f(xi,yi))(i=1,2,...,C)表示像素点f(xi,yi)的敏感度。
4)对敏感点集合中的像素点,利用梯度进行攻击:
式中,FA为敏感点集合,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点,Wi(i=1,2,...,N)表示第i个滑动窗口,ε表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数。
如图4所示,在三种不同的攻击设定下,即DQN的白盒设定(White-box Settingwith DQN)、DQN的黑盒设定(Black-box Setting with DQN)、PPO的黑盒设定(Black-boxSetting with PPO),本发明(our method)与其它方法(other methods)相比,能实现更有效的攻击,能够更好地展示深度强化学习智能体的安全漏洞,具有实际应用价值,值得推广。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (1)
1.一种基于敏感度的深度强化学习智能体攻击方法,其特征在于,包括以下步骤:
1)在初始位置构造滑动窗口,每隔一个回合将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动,直至滑动窗口到达最终位置;
每个滑动窗口内包含相同数目的像素点:
Wi+1=slide(Wi,dx,dy),i=1,2,...,N
Wi={f(x1,y1),f(x2,y2),...,f(xM,yM)}
式中,Wi表示第i个滑动窗口,slide()表示滑动函数,dx和dy分别表示在横坐标轴和纵坐标轴上的滑动步伐;f(xj,yj),j=1,2,...,M表示输入图像上横坐标为xj纵坐标为yj的像素点,M为一个滑动窗口中包含的像素点的数目;
2)对滑动窗口内的像素点进行扰动,分析扰动对深度强化学习智能体输出的累积奖励的影响,计算像素点的敏感度,包括以下步骤:
2.1)在滑动窗口内的像素点上叠加扰动,即由原始状态生成干扰状态:
式中,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点;Wi,i=1,2,...,N表示第i个滑动窗口;α表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数;
2.2)叠加扰动后,深度强化学习智能体与环境进行交互:将状态输入智能体,智能体输出动作决策,并从环境中获取当前状态和即时奖励,将即时奖励输入累积奖励计算器,一个回合结束后累积奖励计算器输出累积奖励;在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为:
RI(Wi)=R-R(Wi)
式中,R表示不存在扰动时深度强化学习智能体输出的累积奖励,R(Wi)表示对滑动窗口Wi内的像素点进行扰动时深度强化学习智能体输出的累积奖励;
2.3)获得像素点的敏感度为:
S(f(x,y))=E([RI(Wi)|f(x,y)∈Wi,Wi∈{W1,W2,...,WN}])
式中,E()表示期望计算公式;
3)根据像素点的敏感度和攻击成本,在输入图像上挑选最敏感的像素点,构造敏感点集合;
在输入图像上挑选最敏感的像素点,构造敏感点集合为:
FA={f(x1,y1),f(x2,y2),...,f(xC,yC)},s.t.S(f(x1,y1))≥S(f(x2,y2))≥...≥S(f(xC,yC))
式中,C为攻击成本;f(xi,yi),i=1,2,...,C表示输入图像上横坐标为xi纵坐标为yi的像素点;S(f(xi,yi)),i=1,2,...,C表示像素点f(xi,yi)的敏感度;
4)对敏感点集合中的像素点,利用梯度进行攻击,如下式所示:
式中,FA为敏感点集合,f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点;Wi,i=1,2,...,N表示第i个滑动窗口;ε表示干扰的程度,sign()表示符号函数,Loss表示深度强化学习智能体的损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206848.5A CN111444516B (zh) | 2020-03-23 | 2020-03-23 | 一种基于敏感度的深度强化学习智能体攻击方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010206848.5A CN111444516B (zh) | 2020-03-23 | 2020-03-23 | 一种基于敏感度的深度强化学习智能体攻击方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444516A CN111444516A (zh) | 2020-07-24 |
CN111444516B true CN111444516B (zh) | 2023-03-24 |
Family
ID=71629384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010206848.5A Active CN111444516B (zh) | 2020-03-23 | 2020-03-23 | 一种基于敏感度的深度强化学习智能体攻击方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444516B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115995104A (zh) * | 2022-08-23 | 2023-04-21 | 京东方科技集团股份有限公司 | 人脸识别对抗样本的生成方法及装置、存储介质 |
CN117409557B (zh) * | 2023-12-14 | 2024-02-20 | 成都格理特电子技术有限公司 | 基于动态分析的检测高温报警方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492416A (zh) * | 2019-01-07 | 2019-03-19 | 南京信息工程大学 | 一种基于安全区域的大数据图像保护方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360214B2 (en) * | 2017-10-19 | 2019-07-23 | Pure Storage, Inc. | Ensuring reproducibility in an artificial intelligence infrastructure |
US10922409B2 (en) * | 2018-04-10 | 2021-02-16 | Microsoft Technology Licensing, Llc | Deep reinforcement learning technologies for detecting malware |
-
2020
- 2020-03-23 CN CN202010206848.5A patent/CN111444516B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492416A (zh) * | 2019-01-07 | 2019-03-19 | 南京信息工程大学 | 一种基于安全区域的大数据图像保护方法和系统 |
Non-Patent Citations (2)
Title |
---|
SDN环境下基于条件熵的DDoS攻击检测研究;舒远仲等;《无线互联科技》;20160310(第05期);全文 * |
深度学习中的对抗性攻击和防御;任奎等;《Engineering》;20200315(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111444516A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lv et al. | Artificial intelligence for securing industrial-based cyber–physical systems | |
Dilokthanakul et al. | Feature control as intrinsic motivation for hierarchical reinforcement learning | |
CN111444516B (zh) | 一种基于敏感度的深度强化学习智能体攻击方法 | |
Xie et al. | Image de-noising algorithm based on Gaussian mixture model and adaptive threshold modeling | |
CN112257063A (zh) | 一种基于合作博弈论的联邦学习中后门攻击的检测方法 | |
CN110383298A (zh) | 用于连续控制任务的数据高效强化学习 | |
CN106097320B (zh) | 水下海参图像自动分割方法及装置 | |
He et al. | A new wavelet thresholding function based on hyperbolic tangent function | |
CN115560983A (zh) | 一种基于联邦特征迁移学习的不同工况下滚动轴承故障诊断方法及系统 | |
CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 | |
CN112819096A (zh) | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 | |
Peng et al. | Learning to communicate via supervised attentional message processing | |
Li et al. | A new underwater acoustic signal denoising method based on modified uniform phase empirical mode decomposition, hierarchical amplitude-aware permutation entropy, and optimized improved wavelet threshold denoising | |
Sun et al. | Intelligent fault diagnosis scheme for rolling bearing based on domain adaptation in one dimensional feature matching | |
CN111104976B (zh) | 一种基于时间序列图像的蓝藻覆盖率计算方法 | |
CN117408991A (zh) | 基于对抗重构的图像异常检测方法、装置及存储介质 | |
CN111898746A (zh) | 一种中断航迹接续关联深度学习方法 | |
Xu et al. | A progressive fault diagnosis method for rolling bearings based on VMD energy entropy and a deep adversarial transfer network | |
Mo et al. | Exponential stability of the Euler-Maruyama method for neutral stochastic functional differential equations with jumps | |
Pan et al. | A SENet-TSCNN model developed for fault diagnosis considering squeeze-excitation networks and two-stream feature fusion | |
Shao et al. | Based on total variation regularization iterative blind image restoration algorithm | |
Zou et al. | EDCNN: a novel network for image denoising | |
CN113781513A (zh) | 一种电厂供水管道泄漏检测方法及系统 | |
CN107085832A (zh) | 一种数字图像非局部平均去噪的快速实现方法 | |
CN109945075A (zh) | 一种供水管道泄漏程度检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |