CN111444516A - 一种基于敏感度的深度强化学习智能体攻击方法 - Google Patents

Abstract

本发明公开了一种基于敏感度的深度强化学习智能体攻击方法，包括步骤：1)将滑动窗口在输入图像上滑动；2)分析滑动窗口内的像素点对深度强化学习智能体输出的累积奖励的影响，并计算像素点的敏感度；3)根据像素点的敏感度和攻击成本，在输入图像上挑选最敏感的像素点，构造敏感点集合；4)对敏感点集合中的像素点，利用梯度进行攻击。本发明提出用敏感度衡量像素点对深度强化学习智能体输出的累积奖励的影响，同时考虑即时奖励和累积奖励对攻击的影响，从而构造有效的深度强化学习智能体攻击方法，从而深入研究深度强化学习智能体存在的安全漏洞。

Description

一种基于敏感度的深度强化学习智能体攻击方法

技术领域

本发明涉及人工智能的技术领域，尤其是指一种基于敏感度的深度强化学习智能体攻击方法。

背景技术

深度强化学习是人工智能领域的一个重要方法。2014年以来，人工智能领域，包括其中深度强化学习方法，不断发展，在社会生活各个领域均有着广泛的应用。人工智能是新一轮产业变革的核心驱动力，必将成为我国将来的重要发展方向。深度强化学习方法越来越广泛的应用使得对深度强化学习方法的安全性研究成为必须解决的一个课题。

深度强化学习系统通常也被称为深度强化学习智能体，深度强化学习智能体基于当前时刻环境所处的状态做出决策。对深度强化学习方法的安全性研究包括攻击方法和防御方法两个方面。针对深度强化学习的攻击方法能够深入研究深度强化学习智能体存在的安全漏洞，从而为防御方法提供信息以及思路，因此深度强化学习的攻击方法的研究存在其重要意义。目前对深度强化学习的攻击方法基本沿用监督学习中的攻击算法，仅仅考虑即时奖励对攻击的影响，而没有考虑到累积奖励对攻击的影响，欠缺有效性和针对性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于敏感度的深度强化学习智能体攻击方法，突破现有攻击方法仅考虑即时奖励对攻击的影响的不足，提出用敏感度衡量像素点对深度强化学习智能体输出的累积奖励的影响，同时考虑即时奖励和累积奖励对攻击的影响，从而构造有效的深度强化学习智能体攻击方法，深入研究深度强化学习智能体存在的安全漏洞。

为实现上述目的，本发明所提供的技术方案为：一种基于敏感度的深度强化学习智能体攻击方法，包括以下步骤：

1)在初始位置构造滑动窗口，每隔一个回合将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动，直至滑动窗口到达最终位置；

2)分析滑动窗口内的像素点对深度强化学习智能体输出的累积奖励的影响，并计算像素点的敏感度；

3)根据像素点的敏感度和攻击成本，在输入图像上挑选最敏感的像素点，构造敏感点集合；

4)对敏感点集合中的像素点，利用梯度进行攻击。

在步骤1)中，每个滑动窗口内包含相同数目的像素点：

W_i+1＝slide(W_i,d_x,d_y),i＝1,2,...,N

W_i＝{f(x₁,y₁),f(x₂,y₂),...,f(x_M,y_M)}

式中，W_i表示第i个滑动窗口，slide()表示滑动函数，d_x和d_y分别表示在横坐标轴和纵坐标轴上的滑动步伐；f(x_j,y_j)，j＝1,2,...,M表示输入图像上横坐标为x_j纵坐标为y_j的像素点，M为一个滑动窗口中包含的像素点的数目。

在步骤2)中，对滑动窗口内的像素点进行扰动，分析扰动对深度强化学习智能体输出的累积奖励的影响，计算像素点的敏感度，包括以下步骤：

2.1)在滑动窗口内的像素点上叠加扰动，即由原始状态生成干扰状态：

式中，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点；W_i，i＝1,2,...,N表示第i个滑动窗口；α表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数；

2.2)叠加扰动后，深度强化学习智能体与环境进行交互：将状态输入智能体，智能体输出动作决策，并从环境中获取当前状态和即时奖励，将即时奖励输入累积奖励计算器，一个回合结束后累积奖励计算器输出累积奖励；在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为：

RI(W_i)＝R-R(W_i)

式中，R表示不存在扰动时深度强化学习智能体输出的累积奖励，R(W_i)表示对滑动窗口W_i内的像素点进行扰动时深度强化学习智能体输出的累积奖励；

2.3)获得像素点的敏感度为：

S(f(x,y))＝E([RI(W_i)|f(x,y)∈W_i,W_i∈{W₁,W₂,...,W_N}])

式中，E()表示期望计算公式。

在步骤3)中，在输入图像上挑选最敏感的像素点，构造敏感点集合为：

F_A＝{f(x₁,y₁),f(x₂,y₂),...,f(x_C,y_C)},s.t.S(f(x₁,y₁))≥S(f(x₂,y₂))≥...≥S(f(x_C,y_C))

式中，C为攻击成本；f(x_i,y_i)，i＝1,2,...,C表示输入图像上横坐标为x_i纵坐标为y_i的像素点；S(f(x_i,y_i))，i＝1,2,...,C表示像素点f(x_i,y_i)的敏感度。

在步骤4)中，对敏感点集合中的像素点，利用梯度进行攻击，如下式所示：

式中，F_A为敏感点集合，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点；W_i，i＝1,2,...,N表示第i个滑动窗口；ε表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次实现了同时考虑即时奖励和累积奖励的攻击方法，突破传统攻击方法仅考虑即时奖励的不足。

2、本发明首次实现了用敏感度衡量像素点对累积奖励的影响，并且通过滑动窗口的方式计算像素点的敏感度，一方面降低计算成本，另一方面计算考虑到了像素点周边像素点对它的影响，因此能够更为全面的分析深度强化学习智能体的安全漏洞。

3、本发明方法提出的敏感度无需在攻击中实时计算，而是能够在攻击开始前提前计算，以降低攻击的实时计算量，从而降低深度强化学习智能体安全漏洞的分析成本。

4、本发明方法提出的像素点的敏感度，在相同应用的不同深度强化学习智能体上具有一致性，体现了深度强化学习智能体的安全漏洞在相同应用的不同强化学习智能体上的一致性。

5、本发明方法在深度强化学习智能体中具有广泛的使用空间，操作简单、适应性强，在分析深度强化学习智能体的安全漏洞上有广阔前景。

附图说明

图1为本发明逻辑流程示意图。

图2为本发明使用的滑动窗口示意图。

图3为本发明提出的敏感度计算示意图。

图4为本发明与其它方法相比的效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于敏感度的深度强化学习智能体攻击方法，包括以下步骤：

1)如图2所示，首先在初始位置构造滑动窗口，每隔一个回合(episode)将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动，直至滑动窗口到达最终位置。

W_i+1＝slide(W_i,d_x,d_y),i＝1,2,...,N

式中，W_i(i＝1,2,...,N)表示第i个滑动窗口，slide()表示滑动函数，d_x和d_y分别表示在横坐标轴和纵坐标轴上的滑动步伐。

每个滑动窗口内包含相同数目的像素点为：

W_i＝{f(x₁,y₁),f(x₂,y₂),...,f(x_M,y_M)}

式中，f(x_j,y_j)(j＝1,2,...,M)表示输入图像上横坐标为x_j纵坐标为y_j的像素点，M为一个滑动窗口中包含的像素点的数目。

2)如图3所示，通过对每个滑动窗口内的像素点进行扰动，分析扰动对深度强化学习智能体输出的累积奖励的影响，计算像素点的敏感度，包括以下步骤：

2.1)在滑动窗口内的像素点上叠加扰动，即由原始状态(Original State)生成干扰状态(Perturbed State)：

式中，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点，W_i(i＝1,2,...,N)表示第i个滑动窗口，α表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数。

2.2)叠加扰动后，深度强化学习智能体(Agent)与环境(Environment)进行交互：将状态(State)输入智能体，智能体输出动作决策(action)，并从环境中获取当前状态和即时奖励(Reward)，将即时奖励输入累积奖励计算器(Cumulative Reward Calculation)。一个回合(episode)结束后累积奖励计算器输出累积奖励。在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为：

RI(W_i)＝R-R(W_i)

式中，R表示不存在扰动时深度强化学习智能体输出的累积奖励，R(W_i)表示对滑动窗口W_i内的像素点进行扰动时深度强化学习智能体输出的累积奖励。

2.3)获得像素点的敏感度为：

S(f(x,y))＝E([RI(W_i)|f(x,y)∈W_i,W_i∈{W₁,W₂,...,W_N}])

式中，E()表示期望计算公式。

3)根据像素点的敏感度和攻击成本，在输入图像上挑选最敏感的像素点，构造敏感点集合：

F_A＝{f(x₁,y₁),f(x₂,y₂),...,f(x_C,y_C)},s.t.S(f(x₁,y₁))≥S(f(x₂,y₂))≥...≥S(f(x_C,y_C))

式中，C为攻击成本，f(x_i,y_i)(i＝1,2,...,C)表示输入图像上横坐标为x_i纵坐标为y_i的像素点，S(f(x_i,y_i))(i＝1,2,...,C)表示像素点f(x_i,y_i)的敏感度。

4)对敏感点集合中的像素点，利用梯度进行攻击：

式中，F_A为敏感点集合，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点，W_i(i＝1,2,...,N)表示第i个滑动窗口，ε表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数。

如图4所示，在三种不同的攻击设定下，即DQN的白盒设定(White-box Settingwith DQN)、DQN的黑盒设定(Black-box Setting with DQN)、PPO的黑盒设定(Black-boxSetting with PPO)，本发明(our method)与其它方法(other methods)相比，能实现更有效的攻击，能够更好地展示深度强化学习智能体的安全漏洞，具有实际应用价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于敏感度的深度强化学习智能体攻击方法，其特征在于，包括以下步骤：

1)在初始位置构造滑动窗口，每隔一个回合将滑动窗口在输入图像上分别沿着横坐标轴和纵坐标轴根据滑动步伐滑动，直至滑动窗口到达最终位置；

2)分析滑动窗口内的像素点对深度强化学习智能体输出的累积奖励的影响，并计算像素点的敏感度；

3)根据像素点的敏感度和攻击成本，在输入图像上挑选最敏感的像素点，构造敏感点集合；

4)对敏感点集合中的像素点，利用梯度进行攻击。

2.根据权利要求1所述的一种基于敏感度的深度强化学习智能体攻击方法，其特征在于：在步骤1)中，每个滑动窗口内包含相同数目的像素点：

W_i+1＝slide(W_i,d_x,d_y),i＝1,2,...,N

W_i＝{f(x₁,y₁),f(x₂,y₂),...,f(x_M,y_M)}

式中，W_i表示第i个滑动窗口，slide()表示滑动函数，d_x和d_y分别表示在横坐标轴和纵坐标轴上的滑动步伐；f(x_j,y_j)，j＝1,2,...,M表示输入图像上横坐标为x_j纵坐标为y_j的像素点，M为一个滑动窗口中包含的像素点的数目。

3.根据权利要求1所述的一种基于敏感度的深度强化学习智能体攻击方法，其特征在于：在步骤2)中，对滑动窗口内的像素点进行扰动，分析扰动对深度强化学习智能体输出的累积奖励的影响，计算像素点的敏感度，包括以下步骤：

2.1)在滑动窗口内的像素点上叠加扰动，即由原始状态生成干扰状态：

式中，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点；W_i，i＝1,2,...,N表示第i个滑动窗口；α表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数；

2.2)叠加扰动后，深度强化学习智能体与环境进行交互：将状态输入智能体，智能体输出动作决策，并从环境中获取当前状态和即时奖励，将即时奖励输入累积奖励计算器，一个回合结束后累积奖励计算器输出累积奖励；在滑动窗口内的像素点上叠加的扰动对深度强化学习智能体输出的影响为：

RI(W_i)＝R-R(W_i)

式中，R表示不存在扰动时深度强化学习智能体输出的累积奖励，R(W_i)表示对滑动窗口W_i内的像素点进行扰动时深度强化学习智能体输出的累积奖励；

2.3)获得像素点的敏感度为：

S(f(x,y))＝E([RI(W_i)|f(x,y)∈W_i,W_i∈{W₁,W₂,...,W_N}])

式中，E()表示期望计算公式。

4.根据权利要求1所述的一种基于敏感度的深度强化学习智能体攻击方法，其特征在于：在步骤3)中，在输入图像上挑选最敏感的像素点，构造敏感点集合为：

F_A＝{f(x₁,y₁),f(x₂,y₂),...,f(x_C,y_C)},s.t.S(f(x₁,y₁))≥S(f(x₂,y₂))≥...≥S(f(x_C,y_C))

式中，C为攻击成本；f(x_i,y_i)，i＝1,2,...,C表示输入图像上横坐标为x_i纵坐标为y_i的像素点；S(f(x_i,y_i))，i＝1,2,...,C表示像素点f(x_i,y_i)的敏感度。

5.根据权利要求1所述的一种基于敏感度的深度强化学习智能体攻击方法，其特征在于：在步骤4)中，对敏感点集合中的像素点，利用梯度进行攻击，如下式所示：

式中，F_A为敏感点集合，f(x,y)表示输入图像上横坐标为x纵坐标为y的像素点；W_i，i＝1,2,...,N表示第i个滑动窗口；ε表示干扰的程度，sign()表示符号函数，Loss表示深度强化学习智能体的损失函数。

Images