CN115311521B - 基于强化学习的黑盒视频对抗样本生成方法及评价方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的黑盒视频对抗样本生成方法，包括获取原始视频数据并分割得到视频块集合；对视频块集合插入位置信息得到带有位置信息的视频块集合；进行视觉特征提取得到视频块的特征；对带有位置信息的视频块集合进行提取得到关键视频块集合；对关键视频块集合进行迭代得到估计梯度；生成对抗样本值并构建对应的损失函数；将对抗样本值输入到目标视频模型中获取返回值，根据返回值和损失函数值得到最终构建的对抗样本。本发明还公开了一种包括所述基于强化学习的黑盒视频对抗样本生成方法的评价方法。本发明提高了添加的扰动的精准性，减少了对抗样本的复杂性，而且成本较低，可靠性高，效率较高。

Description

基于强化学习的黑盒视频对抗样本生成方法及评价方法

技术领域

本发明属于人工智能安全技术领域，具体涉及一种基于强化学习的黑盒视频对抗样本生成方法及评价方法。

背景技术

随着经济技术的发展和人们生活水平的提高，深度学习技术在许多基于视频数据的人工智能任务中有着广泛的应用，比如网络摄像机可以连接外部传感器，对监控的异常视频数据(例如偷盗、火灾)进行联动报警，从而预防可能发生的灾害等。因此，在诸多涉及安全的场景下，对深度学习技术进行充分的测试以保证其安全性和鲁棒性，就显得至关重要。

对抗样本是指一批经过加工处理的数据样本，其通过在原始数据的基础上添加一些微小的、难以察觉的对抗性扰动，从而使原神经网络模型产生错误的结果。因此，采用对抗样本对基于视频的深度学习技术进行测试，是现今非常重要的测试过程。

目前的对抗样本生成方法，一般是对视频的每一个视频帧进行梯度估计，并添加对抗性扰动。但是，由于连续的视频帧会引入额外的时间维度，因此对抗样本生成的过程需要大量的迭代请求来估算对抗性扰动的梯度。但是，这种大量的迭代请求过程将耗费大量的成本，复杂度较高，而且对抗样本的生成效率也相对较低。

发明内容

本发明的目的之一在于提供一种成本较低、可靠性高且效率较高的基于强化学习的黑盒视频对抗样本生成方法。

本发明的目的之二在于提供一种包括了所述基于强化学习的黑盒视频对抗样本生成方法的评价方法。

本发明提供的这种基于强化学习的黑盒视频对抗样本生成方法，包括如下步骤：

S1.获取原始视频数据；

S2.对步骤S1获取的原始视频数据，采用滑动窗口进行分割，得到包括若干个视频块的视频块集合；

S3.对步骤S2得到的视频块集合插入位置信息，得到带有位置信息的视频块集合；

S4.对步骤S3得到的带有位置信息的视频块集合，采用自注意力机制进行视觉特征提取，得到各个视频块的特征；

S5.根据步骤S4得到的各个视频块的特征，对带有位置信息的视频块集合进行提取，得到关键视频块集合；

S6.对步骤S5得到的关键视频块集合进行迭代处理，从而得到估计梯度；

S7.根据步骤S6得到的估计梯度，生成对抗样本值，并构建对应的损失函数；

S8.将对抗样本值输入到目标视频模型中获取目标视频模型的返回值，并根据返回值和损失函数的值，得到最终构建的对抗样本。

步骤S2所述的对步骤S1获取的原始视频数据，采用滑动窗口进行分割，得到包括若干个视频块的视频块集合，具体包括如下步骤：

原始视频数据为V₀，V₀∈R^T×W×L×C，其中R为实数域，T为视频数据的帧数，W为视频帧的宽，L为视频帧的长，C为视频帧的颜色通道数；

采用采用滑动窗口M对原始视频数据V₀进行分割，

W_m为滑动窗口的宽，L_m为滑动窗口的长，H_m为滑动窗口的高；滑动窗口M将原始视频数据V₀切割成n个视频块，从而得到视频块集合V为V＝{v₁,v₂,...,v_n}，其中

步骤S3所述的对步骤S2得到的视频块集合插入位置信息，得到带有位置信息的视频块集合，具体包括如下步骤：

将步骤S2得到的视频块集合V＝{v₁,v₂,...,v_n}，输入到特征编码函数中，得到对应的视频块特征向量F为F＝{f₁,f₂,...,f_n}；

在每个视频块特征向量中，在视频块的特征向量F上注入位置信息；其中，注入的位置信息PI(p,i)为

其中p为每个视频块的索引，i为位置信息编码向量中的第i个元素，d_model为视频块特征向量的长度；将位置信息PI(p,i)与视频块特征向量F相加，得到带有位置信息的视频块集合F^*为

步骤S4所述的对步骤S3得到的带有位置信息的视频块集合，采用自注意力机制进行视觉特征提取，得到各个视频块的特征，具体包括如下步骤：

将步骤S3得到的带有位置信息的视频块集合F^*，输入到带有自注意力机制的视觉特征提取器中，生成请求向量Q、关键向量K和值向量V；其中，生成请求向量Q的计算式为Q＝W_Q·F^*，生成请求向量K的计算式为K＝W_K·F^*，生成请求向量V的计算式为V＝W_F·F^*；

对每一个视频块

通过查询Q、K、V矩阵可得到对应的Q_a、K_a和V_a；将请求向量Q_a与其他所有视频块的关键向量的转置K^T进行点积运算，并采用softmax函数处理点积运算结果，得到自注意力权重W_a为

其中d^k为视频块特征向量的维度；

将自注意力权重W_a与对应的视频块的值向量V_a相乘，得到包含自注意力的向量Z_a为Z_a＝W_a·V_a；包含自注意力的向量Z_a就是视频块v_a的特征。

步骤S5所述的根据步骤S4得到的各个视频块的特征，对带有位置信息的视频块集合进行提取，得到关键视频块集合，具体包括如下步骤：

将得到的各个视频块的特征Z_a，通过输出维度为n维的全连接层进行降维，然后再将得到的n维向量输入到sigmoid函数，得到判别分数集合P为P＝{p₁,p₂,...,p_n}，其中p_a为第a个视频块的关键性分数；

对判别分数集合P中的元素进行降序排序，并提取排序后的前m个元素所对应的视频块作为关键视频块集合V_c为V_c＝{v_c1,v_c2,...,v_cm}。

步骤S6所述的对步骤S5得到的关键视频块集合进行迭代处理，从而得到估计梯度，具体包括如下步骤：

设定对步骤S5得到的关键视频块集合V_c＝{v_c1,v_c2,...,v_cm}添加的对抗性扰动为g；设定能够使得目标视频系统误判的有效对抗性扰动为g^*；其中，g＝{g₁,g₂,...,g_m}，

将对抗性扰动g和有效对抗性扰动g^*之间的差异，表示为l(g)＝-＜g,g^*＞，其中＜a,b＞定义为a和b的余弦相似度，计算式为

通过l(g,g^*)中的梯度下降来使得g不断接近g^*，表示为g'＝g-ηΔ，其中g'为更新后的对抗性扰动g，g为更新前的对抗性扰动，η为梯度下降的步长，Δ为下降方向；

通过对称采样并迭代目标视频系统，实现对g进行梯度估计；下降方向Δ的表达式为

其中δ为估计下降方向时，采样过程中调整对抗性扰动g变化幅度的参数；π为随机的候选方向，且π∈R^T×W×H×C；经过两次迭代计算得到下降方向Δ，并采用得到的下降方向Δ更新对抗性扰动，得到估计梯度。

步骤S7所述的根据步骤S6得到的估计梯度，生成对抗样本值，并构建对应的损失函数，具体包括如下步骤：

步骤S6得到的第i轮的估计梯度后，将估计梯度g叠加到第i-1轮迭代中的对抗样本

中，生成第i轮的对抗样本

为

其中clip()为剪裁函数，用于将括号内的值限定在设定的值域范围内；h为对抗样本梯度下降的步长；sign()为符号函数，用于获取估计梯度的方向；

将生成的第i轮的对抗样本

输入到目标视频系统，得到目标视频系统的返回值，通过返回值得到第i轮的对抗样本

所对应的标签y_p；采用交叉损失熵函数表示本次对抗样本标签与目标标签之间的损失L_target：

式中y_t为预期的目标标签；

为条件输入下得到真实标签的概率，表示为

为条件输入下得到预期标签的概率，表示为

采用如下算式作为整体损失函数R_total，从而对迭代过程进行整体优化：

R_total＝R_att+R_per

式中R_att为对关键视频块对抗性扰动和所有视频块对抗性扰动产生的对抗损失奖励，且

为对关键视频块添加对抗性扰动的对抗损失，

为对所有视频块添加对抗性扰动的对抗损失；R_per为对抗性扰动增量奖励，且R_per＝Per^full-Per^part，Per^full为对所有视频块扰动生成的对抗性扰动增量，Per^part为对关键视频块扰动生成的对抗性扰动增量。

步骤S8所述的将对抗样本值输入到目标视频模型中获取目标视频模型的返回值，并根据返回值和损失函数的值，得到最终构建的对抗样本，具体包括如下步骤：

将得到的对抗样本输入到目标视频模型并获取对应的返回值，得到返回值对应的标签，并进行判定：

若返回值对应的标签与目标生成标签一致，则认为迭代成功，将当前的对抗样本作为最终构建的对抗样本；

若返回值对应的标签与目标生成标签不一致，则继续进行迭代，直至满足迭代终止的条件。

本发明还公开了一种包括了所述基于强化学习的黑盒视频对抗样本生成方法的评价方法，具体包括如下步骤：

A.获取待评价的目标视频模型和原始视频数据；

B.采用所述的基于强化学习的黑盒视频对抗样本生成方法，生成对应的对抗样本；

C.将步骤B得到的对抗样本和原始视频数据，分别输入到待评价的目标视频模型，得到对抗样本输出结果和理论输出结果；

D.根据得到的对抗样本输出结果和理论输出结果，完成对待评价的目标视频模型的评价。

本发明提供的这种基于强化学习的黑盒视频对抗样本生成方法及评价方法，通过对视频数据分割成块，选择部分视频块添加扰动，并最终形成对抗样本的方式，优化了现有的对抗样本的生成技术方案，提高了添加的扰动的精准性，减少了对抗样本的复杂性，而且成本较低，可靠性高，效率较高。

附图说明

图1为本发明的生成方法的方法流程示意图。

图2为本发明的评价方法的方法流程示意图。

具体实施方式

如图1所示为本发明的生成方法的方法流程示意图：本发明提供的这种基于强化学习的黑盒视频对抗样本生成方法，包括如下步骤：

S1.获取原始视频数据；

S2.对步骤S1获取的原始视频数据，采用滑动窗口进行分割，得到包括若干个视频块的视频块集合；具体包括如下步骤：

原始视频数据为V₀，V₀∈R^T×W×L×C，其中R为实数域，T为视频数据的帧数，W为视频帧的宽，L为视频帧的长，C为视频帧的颜色通道数；

采用采用滑动窗口M对原始视频数据V₀进行分割，

W_m为滑动窗口的宽，L_m为滑动窗口的长，H_m为滑动窗口的高；滑动窗口M将原始视频数据V₀切割成n个视频块，从而得到视频块集合V为V＝{v₁,v₂,...,v_n}，其中

S3.对步骤S2得到的视频块集合插入位置信息，得到带有位置信息的视频块集合；具体包括如下步骤：

将步骤S2得到的视频块集合V＝{v₁,v₂,...,v_n}，输入到特征编码函数中，得到对应的视频块特征向量F为F＝{f₁,f₂,...,f_n}；

在每个视频块特征向量中，在视频块的特征向量F上注入位置信息；其中，注入的位置信息PI(p,i)为

其中p为每个视频块的索引，i为位置信息编码向量中的第i个元素，d_model为视频块特征向量的长度；将位置信息PI(p,i)与视频块特征向量F相加，得到带有位置信息的视频块集合F^*为

S4.对步骤S3得到的带有位置信息的视频块集合，采用自注意力机制进行视觉特征提取，得到各个视频块的特征；具体包括如下步骤：

将步骤S3得到的带有位置信息的视频块集合F^*，输入到带有自注意力机制的视觉特征提取器中，生成请求向量Q、关键向量K和值向量V；其中，生成请求向量Q的计算式为Q＝W_Q·F^*，生成请求向量K的计算式为K＝W_K·F^*，生成请求向量V的计算式为V＝W_F·F^*；

对每一个视频块

通过查询Q、K、V矩阵可得到对应的Q_a、K_a和V_a；将请求向量Q_a与其他所有视频块的关键向量的转置K^T进行点积运算，并采用softmax函数处理点积运算结果，得到自注意力权重W_a为

其中d^k为视频块特征向量的维度；

将自注意力权重W_a与对应的视频块的值向量V_a相乘，得到包含自注意力的向量Z_a为Z_a＝W_a·V_a；包含自注意力的向量Z_a就是视频块v_a的特征；

S5.根据步骤S4得到的各个视频块的特征，对带有位置信息的视频块集合进行提取，得到关键视频块集合；具体包括如下步骤：

将得到的各个视频块的特征Z_a，通过输出维度为n维的全连接层进行降维，然后再将得到的n维向量输入到sigmoid函数，得到判别分数集合P为P＝{p₁,p₂,...,p_n}，其中p_a为第a个视频块的关键性分数；

对判别分数集合P中的元素进行降序排序，并提取排序后的前m个元素所对应的视频块作为关键视频块集合V_c为V_c＝{v_c1,v_c2,...,v_cm}；

S6.对步骤S5得到的关键视频块集合进行迭代处理，从而得到估计梯度；具体包括如下步骤：

设定对步骤S5得到的关键视频块集合V_c＝{v_c1,v_c2,...,v_cm}添加的对抗性扰动为g；设定能够使得目标视频系统误判的有效对抗性扰动为g^*；其中，g＝{g₁,g₂,...,g_m}，

将对抗性扰动g和有效对抗性扰动g^*之间的差异，表示为l(g)＝-＜g,g^*＞，其中＜a,b＞定义为a和b的余弦相似度，计算式为

通过l(g,g^*)中的梯度下降来使得g不断接近g^*，表示为g'＝g-ηΔ，其中g'为更新后的对抗性扰动g，g为更新前的对抗性扰动，η为梯度下降的步长，Δ为下降方向；

通过对称采样并迭代目标视频系统，实现对g进行梯度估计；下降方向Δ的表达式为

其中δ为估计下降方向时，采样过程中调整对抗性扰动g变化幅度的参数；π为随机的候选方向，且π∈R^T×W×H×C；经过两次迭代计算得到下降方向Δ，并采用得到的下降方向Δ更新对抗性扰动，得到估计梯度；

S7.根据步骤S6得到的估计梯度，生成对抗样本值，并构建对应的损失函数；具体包括如下步骤：

步骤S6得到的第i轮的估计梯度后，将估计梯度g叠加到第i-1轮迭代中的对抗样本

中，生成第i轮的对抗样本

为

其中clip()为剪裁函数，用于将括号内的值限定在设定的值域范围内(防止生成的对抗性扰动过大)；h为对抗样本梯度下降的步长；sign()为符号函数，用于获取估计梯度的方向；

将生成的第i轮的对抗样本

输入到目标视频系统，得到目标视频系统的返回值，通过返回值得到第i轮的对抗样本

所对应的标签y_p；采用交叉损失熵函数表示本次对抗样本标签与目标标签之间的损失L_target：

式中y_t为预期的目标标签；

为条件输入下得到真实标签的概率，表示为

为条件输入下得到预期标签的概率，表示为

采用如下算式作为整体损失函数R_total，从而对迭代过程进行整体优化：

R_total＝R_att+R_per

式中R_att为对关键视频块对抗性扰动和所有视频块对抗性扰动产生的对抗损失奖励，且

为对关键视频块添加对抗性扰动的对抗损失，

为对所有视频块添加对抗性扰动的对抗损失；R_per为对抗性扰动增量奖励，且R_per＝Per^full-Per^part，Per^full为对所有视频块扰动生成的对抗性扰动增量，Per^part为对关键视频块扰动生成的对抗性扰动增量；

S8.将对抗样本值输入到目标视频模型中获取目标视频模型的返回值，并根据返回值和损失函数的值，得到最终构建的对抗样本；具体包括如下步骤：

将得到的对抗样本输入到目标视频模型并获取对应的返回值，得到返回值对应的标签，并进行判定：

若返回值对应的标签与目标生成标签一致，则认为迭代成功，将当前的对抗样本作为最终构建的对抗样本；

若返回值对应的标签与目标生成标签不一致，则继续进行迭代，直至满足迭代终止的条件。

如图2所示为本发明的评价方法的方法流程示意图：本发明提供的这种包括了所述基于强化学习的黑盒视频对抗样本生成方法的评价方法，具体包括如下步骤：

A.获取待评价的目标视频模型和原始视频数据；

B.采用所述的基于强化学习的黑盒视频对抗样本生成方法，生成对应的对抗样本；

C.将步骤B得到的对抗样本和原始视频数据，分别输入到待评价的目标视频模型，得到对抗样本输出结果和理论输出结果；

D.根据得到的对抗样本输出结果和理论输出结果，完成对待评价的目标视频模型的评价；具体实施时，可以采用对抗样本输出结果和理论输出结果之间的距离，来完成对待评价的目标视频模型的评价：距离越远，则表明待评价的目标视频模型的抗干扰能力越差；距离越近，则表明待评价的目标视频模型的抗干扰能力越强。

Claims (4)

1.一种基于强化学习的黑盒视频对抗样本生成方法，包括如下步骤：

S1.获取原始视频数据；

S2.对步骤S1获取的原始视频数据，采用滑动窗口进行分割，得到包括若干个视频块的视频块集合；

S3.对步骤S2得到的视频块集合插入位置信息，得到带有位置信息的视频块集合；

S4.对步骤S3得到的带有位置信息的视频块集合，采用自注意力机制进行视觉特征提取，得到各个视频块的特征；具体包括如下步骤：

将步骤S3得到的带有位置信息的视频块集合F^*，输入到带有自注意力机制的视觉特征提取器中，生成请求向量Q、关键向量K和值向量V；其中，生成请求向量Q的计算式为Q＝W_Q·F^*，生成请求向量K的计算式为K＝W_K·F^*，生成请求向量V的计算式为V＝W_F·F^*；

对每一个视频块

通过查询Q、K、V矩阵可得到对应的Q_a、K_a和V_a；将请求向量Q_a与其他所有视频块的关键向量的转置K^T进行点积运算，并采用softmax函数处理点积运算结果，得到自注意力权重W_a为

其中d^k为视频块特征向量的维度；

将自注意力权重W_a与对应的视频块的值向量V_a相乘，得到包含自注意力的向量Z_a为Z_a＝W_a·V_a；包含自注意力的向量Z_a就是视频块v_a的特征；

S5.根据步骤S4得到的各个视频块的特征，对带有位置信息的视频块集合进行提取，得到关键视频块集合；具体包括如下步骤：

将得到的各个视频块的特征Z_a，通过输出维度为n维的全连接层进行降维，然后再将得到的n维向量输入到sigmoid函数，得到判别分数集合P为P＝{p₁,p₂,...,p_n}，其中p_a为第a个视频块的关键性分数；

对判别分数集合P中的元素进行降序排序，并提取排序后的前m个元素所对应的视频块作为关键视频块集合V_c为V_c＝{v_c1,v_c2,...,v_cm}；

S6.对步骤S5得到的关键视频块集合进行迭代处理，从而得到估计梯度；具体包括如下步骤：

设定对步骤S5得到的关键视频块集合V_c＝{v_c1,v_c2,...,v_cm}添加的对抗性扰动为g；设定能够使得目标视频系统误判的有效对抗性扰动为g^*；其中，g＝{g₁,g₂,...,g_m}，

将对抗性扰动g和有效对抗性扰动g^*之间的差异，表示为l(g)＝-＜g,g^*＞，将对抗性扰动g和有效对抗性扰动g^*之间的差异，表示为l(g)＝-＜g,g^*＞，其中＜a,b＞定义为a和b的余弦相似度，计算式为

通过l(g,g^*)中的梯度下降来使得g不断接近g^*，表示为g'＝g-ηΔ，其中g'为更新后的对抗性扰动g，g为更新前的对抗性扰动，η为梯度下降的步长，Δ为下降方向；

通过对称采样并迭代目标视频系统，实现对g进行梯度估计；下降方向Δ的表达式为

其中δ为估计下降方向时，采样过程中调整对抗性扰动g变化幅度的参数；π为随机的候选方向，且π∈R^T×W×H×C；经过两次迭代计算得到下降方向Δ，并采用得到的下降方向Δ更新对抗性扰动，得到估计梯度；

S7.根据步骤S6得到的估计梯度，生成对抗样本值，并构建对应的损失函数；具体包括如下步骤：

步骤S6得到的第i轮的估计梯度后，将估计梯度g叠加到第i-1轮迭代中的对抗样本

中，生成第i轮的对抗样本

为

其中clip()为剪裁函数，用于将括号内的值限定在设定的值域范围内；h为对抗样本梯度下降的步长；sign()为符号函数，用于获取估计梯度的方向；

将生成的第i轮的对抗样本

输入到目标视频系统，得到目标视频系统的返回值，通过返回值得到第i轮的对抗样本

所对应的标签y_p；采用交叉损失熵函数表示本次对抗样本标签与目标标签之间的损失L_target：

式中y_t为预期的目标标签；

为条件输入下得到真实标签的概率，表示为

为条件输入下得到预期标签的概率，表示为

采用如下算式作为整体损失函数R_total，从而对迭代过程进行整体优化：

R_total＝R_att+R_per

式中R_att为对关键视频块对抗性扰动和所有视频块对抗性扰动产生的对抗损失奖励，且

为对关键视频块添加对抗性扰动的对抗损失，

为对所有视频块添加对抗性扰动的对抗损失；R_per为对抗性扰动增量奖励，且R_per＝Per^full-Per^part，Per^full为对所有视频块扰动生成的对抗性扰动增量，Per^part为对关键视频块扰动生成的对抗性扰动增量；

S8.将对抗样本值输入到目标视频模型中获取目标视频模型的返回值，并根据返回值和损失函数的值，得到最终构建的对抗样本；具体包括如下步骤：

将得到的对抗样本输入到目标视频模型并获取对应的返回值，得到返回值对应的标签，并进行判定：

若返回值对应的标签与目标生成标签一致，则认为迭代成功，将当前的对抗样本作为最终构建的对抗样本；

若返回值对应的标签与目标生成标签不一致，则继续进行迭代，直至满足迭代终止的条件。

2.根据权利要求1所述的基于强化学习的黑盒视频对抗样本生成方法，其特征在于步骤S2所述的对步骤S1获取的原始视频数据，采用滑动窗口进行分割，得到包括若干个视频块的视频块集合，具体包括如下步骤：

原始视频数据为V₀，V₀∈R^T×W×L×C，其中R为实数域，T为视频数据的帧数，W为视频帧的宽，L为视频帧的长，C为视频帧的颜色通道数；

采用采用滑动窗口M对原始视频数据V₀进行分割，

W_m为滑动窗口的宽，L_m为滑动窗口的长，H_m为滑动窗口的高；滑动窗口M将原始视频数据V₀切割成n个视频块，从而得到视频块集合V为V＝{v₁,v₂,...,v_n}，其中

3.根据权利要求2所述的基于强化学习的黑盒视频对抗样本生成方法，其特征在于步骤S3所述的对步骤S2得到的视频块集合插入位置信息，得到带有位置信息的视频块集合，具体包括如下步骤：

将步骤S2得到的视频块集合V＝{v₁,v₂,...,v_n}，输入到特征编码函数中，得到对应的视频块特征向量F为F＝{f₁,f₂,...,f_n}；

在每个视频块特征向量中，在视频块的特征向量F上注入位置信息；其中，注入的位置信息PI(p,i)为

其中p为每个视频块的索引，i为位置信息编码向量中的第i个元素，d_model为视频块特征向量的长度；将位置信息PI(p,i)与视频块特征向量F相加，得到带有位置信息的视频块集合F^*为

4.一种包括了权利要求1～3之一所述的基于强化学习的黑盒视频对抗样本生成方法的评价方法，其特征在于具体包括如下步骤：

A.获取待评价的目标视频模型和原始视频数据；

B.采用权利要求1～3之一所述的基于强化学习的黑盒视频对抗样本生成方法，生成对应的对抗样本；

C.将步骤B得到的对抗样本和原始视频数据，分别输入到待评价的目标视频模型，得到对抗样本输出结果和理论输出结果；

D.根据得到的对抗样本输出结果和理论输出结果，完成对待评价的目标视频模型的评价。

Images