CN114511593A - 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 - Google Patents
一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 Download PDFInfo
- Publication number
- CN114511593A CN114511593A CN202210084771.8A CN202210084771A CN114511593A CN 114511593 A CN114511593 A CN 114511593A CN 202210084771 A CN202210084771 A CN 202210084771A CN 114511593 A CN114511593 A CN 114511593A
- Authority
- CN
- China
- Prior art keywords
- visual target
- loss function
- frame
- attack
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,通过对特征中与跟踪目标高度相关而不受源模型影响的重要特征进行攻击,将其重要程度降低,同时增强不重要的特征以实现具有可转移性的攻击;即通过反向传播获得的所对应的梯度来体现其特征的重要程度,随后通过梯度得到的加权特征以进行攻击。此外,本发明使用视频相邻两帧之间相似这一时序信息,提出特征相似下降损失函数,通过减小相邻帧之间的特征相似度以进行攻击。本发明能够在不可知目标跟踪模型以及不进行大量查询的情况下,通过生成的具有强可转移性的对抗样本,对目标跟踪器实现有效的黑盒攻击。
Description
技术领域
本发明涉及一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,属于视觉目标跟踪对抗攻击技术。
背景技术
视觉目标跟踪是计算机视觉的基本问题之一,在自动驾驶等领域都有着广泛的应用。随着卷积神经网络的发展,其在计算机视觉领域展现出极为优越的性能并广泛应用。同样,随着卷积神经网络的应用到视觉目标跟踪,视觉目标跟踪领域的也有了极大的发展。自从Szegedy等人首次提出对抗性攻击,大量的研究表明CNN极易受到对抗攻击的影响,视觉目标跟踪领域也一样受到对抗攻击的潜在威胁。
许多工作都针对视觉目标跟踪领域的对抗攻击进行了研究,但是目前大多数的攻击方法都是白盒攻击,即在得知跟踪模型的内部信息的情况进行攻击。而只有少量的研究针对更加具有挑战性的黑盒攻击。在目前的视觉目标跟踪黑盒攻击研究中,大多为基于查询的黑盒攻击方法,该方法通过在视频中施加强噪声,输入到跟踪器中得到跟踪结果,通过查询得到的结果以生成对抗样本。但是基于查询的攻击在现实中往往是不能实现,因为现实中的模型不可能进行大量的查询。并且这种方法获取的对抗样本往往较为拟合特定攻击的模型,当应用于其它模型时则攻击效果较差。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,通过对特征中与跟踪目标高度相关而不受源模型影响的重要特征进行攻击,将其重要程度降低,同时增强不重要的特征以实现具有可转移性的攻击;即通过反向传播获得的所对应的梯度来体现其特征的重要程度,随后通过梯度得到的加权特征以进行攻击。此外,本发明使用视频相邻两帧之间相似这一时序信息,提出特征相似下降损失函数,通过减小相邻帧之间的特征相似度以进行攻击。
一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,包括如下步骤:
(1)从需要攻击的视觉目标跟踪数据集中获取需要攻击的视频样本X={x0,x1,x2,…,xn};将视频样本的第一帧x0作为模板帧z,使用模板帧z对目标进行初始化;将视频样本的后续帧{x1,x2,…,xn}作为搜索帧,即需要攻击的帧,n为搜索帧的数量;
(2)计算重要特征下降损失函数L1;
(3)计算特征相似下降损失函数L2;
(4)结合重要特征下降损失函数L1和特征相似下降损失函数L2,计算最终需要优化的总损失函数L=α1L1+α2L2;其中,α1和α2分别为L1和L2的权重;
(5)通过动量迭代法最小化总损失函数L生成对抗样本;
(6)将对抗样本输入到其他未知内部信息的、需要攻击的视觉目标跟踪器f',获取视觉目标跟踪器f'被攻击后所得的预测目标位置。
优选的,所述步骤(2)中,计算重要特征下降损失函数L1,包括如下步骤:
(21)将模板帧和搜索帧输入到已知内部信息的视觉目标跟踪器f中得到模板帧特征图和搜索帧特征图;同时,根据视觉目标跟踪器f上的反向传播得到搜索帧特征图对应的梯度;
(22)通过搜索帧特征图及其对应的梯度,计算搜索帧的加权特征图;
其中:xi为第i帧搜索帧,i=1,2,…,n,feat(xi)为xi的搜索帧特征图,Δi为feat(xi)对应的梯度,⊙表示点乘,||·||2表示L2范数;对Δi进行正则化后与feat(xi)相乘得到xi的加权特征图feati;
(23)计算重要特征下降损失函数L1=∑feati。
优选的,所述步骤(3)中,计算特征相似下降损失函数L2,包括如下步骤:
(31)计算特征相似图:
优选的,所述步骤(5)中,通过动量迭代法最小化总损失函数L生成对抗样本,包括如下步骤:
(51)将视觉目标跟踪器f对xi的跟踪结果表示为f(z,xi),本发明的对抗攻击方法即要在添加较小的扰动的条件下生成对抗样本使得视觉目标跟踪器f的预测位置出现错误,要求:
其中:表示位置和位置bi之间的交并比分数,表示视觉目标跟踪器f对的跟踪结果,为xi的对抗样本,||·||p表示Lp距离,bi为xi的目标真实标注位置,εmax为添加的最大扰动值;结合上面两个公式,则有:
(52)采用动量迭代法求解最终的对抗样本:
其中:表示第t次迭代后得到的xi的对抗样本,||·||1表示L1距离,为总损失函数L在视觉目标跟踪器f上的反向传播得到的搜索帧xi对应的梯度,gt为迭代t次所叠加得到的经过正则化的梯度,μ为控制迭代的控制权重,sign(·)为符号函数,ε=εmax/T为每次迭代添加的扰动大小,T为总迭代次数,为对添加了对抗扰动ε·sign(gt+1)的进行修剪,经过T次迭代得到最终的对抗样本对搜索帧的每一帧进行以上操作,得到完整对抗样本。
有益效果:本发明提供的基于重要特征的视觉目标跟踪可转移黑盒攻击方法,能够实现在不可知目标跟踪模型以及不进行大量查询的情况下,通过对特征中与跟踪目标高度相关而不受源模型影响的重要特征进行攻击,将其重要程度降低,同时使用视频相邻两帧之间相似这一时序信息,提出特征相似下降损失函数,通过减小相邻帧之间的特征相似度以具有强可转移性的对抗攻击样本,对其他目标跟踪器实现有效的黑盒攻击。
附图说明
图1为本发明方法的实施流程图;
图2为计算视觉目标跟踪器和重要特征下降函数的流程图;
图3为计算重要特征下降损失函数和特征相似下降损失函数的流程图;
图4为为采用本发明方法获得的原始图像的对抗样本图像。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明提出一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,是针对深度学习目标跟踪模型的基于转移的黑盒攻击方法,通过在源模型上进行白盒攻击生成对抗样本,利用对抗样本的强可转移性,对其他内部信息未知模型进行黑盒攻击。本发明通过深度网络跟踪器提取到的特征入手,由于特征的重要部分与跟踪目标相关,所以在攻击时针对具有普遍性、不受源模型影响的重要特征进行攻击。并且利用视频所具有的时序信息,根据视频在相邻帧之间的相似性,通过降低相邻帧之间的特征相似性进行攻击,从而充分利用到视频空间和时间的信息,以取得高效且具有强转移性的对抗样本。本发明方法的实施流程如图1所示,包括如下步骤:
步骤S1:从需要攻击的视觉目标跟踪数据集中获取需要攻击的视频样本X={x0,x1,x2,…,xn};将视频样本的第一帧x0作为模板帧z,使用模板帧z对目标进行初始化;将视频样本的后续帧{x1,x2,…,xn}作为搜索帧,即需要攻击的帧,n为搜索帧的数量。
步骤S2:计算重要特征下降损失函数,如图2所示为计算视觉目标跟踪器f和重要特征下降函数的流程图;包括如下步骤:
(21)将模板帧和搜索帧输入到已知内部信息的视觉目标跟踪器f中得到模板帧特征图和搜索帧特征图;同时,根据视觉目标跟踪器f上的反向传播得到搜索帧特征图对应的梯度;
(22)通过搜索帧特征图及其对应的梯度,计算搜索帧的加权特征图;
其中:xi为第i帧搜索帧,i=1,2,…,n,feat(xi)为xi的搜索帧特征图,Δi为feat(xi)对应的梯度,⊙表示点乘,||·||2表示L2范数;对Δi进行正则化后与feat(xi)相乘得到xi的加权特征图feati;
(23)计算重要特征下降损失函数L1=∑feati;
步骤S3:计算特征相似下降损失函数,如图3所示为计算重要特征下降损失函数和特征相似下降损失函数的流程图,包括如下步骤:
(31)计算特征相似图:
步骤S4:结合重要特征下降损失函数L1和特征相似下降损失函数L2,计算最终需要优化的总损失函数L=α1L1+α2L2;其中,α1和α2分别为L1和L2的权重;
步骤S5:通过动量迭代法最小化总损失函数L生成对抗样本;
(51)将视觉目标跟踪器f对xi的跟踪结果表示为f(z,xi),本发明的对抗攻击方法即要在添加较小的扰动的条件下生成对抗样本使得视觉目标跟踪器f的预测位置出现错误,要求:
其中:表示位置和位置bi之间的交并比(Intersection over Union)分数,表示视觉目标跟踪器f对的跟踪结果,为xi的对抗样本,||·||p表示Lp距离,bi为xi的目标真实标注位置,εmax为添加的最大扰动值;结合上面两个公式,则有:
(52)采用动量迭代法求解最终的对抗样本:
其中:表示第t次迭代后得到的xi的对抗样本,||·||1表示L1距离,为总损失函数L在视觉目标跟踪器f上的反向传播得到的搜索帧xi对应的梯度,gt为迭代t次所叠加得到的经过正则化的梯度,μ为控制迭代的控制权重,sign(·)为符号函数,ε=εmax/T为每次迭代添加的扰动大小,T为总迭代次数,为对添加了对抗扰动ε·sign(gt+1)的进行修剪,经过T次迭代得到最终的对抗样本对搜索帧的每一帧进行以上操作,得到完整对抗样本;
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图4所示为采用本发明方法获得的原始图像的对抗样本图像。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (4)
1.一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法,其特征在于:包括如下步骤:
(1)从需要攻击的视觉目标跟踪数据集中获取需要攻击的视频样本X={x0,x1,x2,…,xn};将视频样本的第一帧x0作为模板帧z,使用模板帧z对目标进行初始化;将视频样本的后续帧{x1,x2,…,xn}作为搜索帧,即需要攻击的帧,n为搜索帧的数量;
(2)计算重要特征下降损失函数L1;
(3)计算特征相似下降损失函数L2;
(4)结合重要特征下降损失函数L1和特征相似下降损失函数L2,计算最终需要优化的总损失函数L=α1L1+α2L2;其中,α1和α2分别为L1和L2的权重;
(5)通过动量迭代法最小化总损失函数L生成对抗样本;
(6)将对抗样本输入到其他未知内部信息的、需要攻击的视觉目标跟踪器f',获取视觉目标跟踪器f'被攻击后所得的预测目标位置。
2.根据权利要求1所述的基于重要特征的视觉目标跟踪可转移黑盒攻击方法,其特征在于:所述步骤(2)中,计算重要特征下降损失函数L1,包括如下步骤:
(21)将模板帧和搜索帧输入到已知内部信息的视觉目标跟踪器f中得到模板帧特征图和搜索帧特征图;同时,根据视觉目标跟踪器f上的反向传播得到搜索帧特征图对应的梯度;
(22)通过搜索帧特征图及其对应的梯度,计算搜索帧的加权特征图;
其中:xi为第i帧搜索帧,i=1,2,…,n,feat(xi)为xi的搜索帧特征图,Δi为feat(xi)对应的梯度,⊙表示点乘,||·||2表示L2范数;对Δi进行正则化后与feat(xi)相乘得到xi的加权特征图feati;
(23)计算重要特征下降损失函数L1=∑feati。
4.根据权利要求1所述的基于重要特征的视觉目标跟踪可转移黑盒攻击方法,其特征在于:所述步骤(5)中,通过动量迭代法最小化总损失函数L生成对抗样本,包括如下步骤:
(51)将视觉目标跟踪器f对xi的跟踪结果表示为f(z,xi),要求:
(52)采用动量迭代法求解最终的对抗样本:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210084771.8A CN114511593A (zh) | 2022-01-25 | 2022-01-25 | 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210084771.8A CN114511593A (zh) | 2022-01-25 | 2022-01-25 | 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114511593A true CN114511593A (zh) | 2022-05-17 |
Family
ID=81549028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210084771.8A Pending CN114511593A (zh) | 2022-01-25 | 2022-01-25 | 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114511593A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115311521A (zh) * | 2022-09-13 | 2022-11-08 | 中南大学 | 基于强化学习的黑盒视频对抗样本生成方法及评价方法 |
CN115511910A (zh) * | 2022-08-22 | 2022-12-23 | 电子科技大学长三角研究院(湖州) | 面向视频跟踪的对抗攻击方法、系统、介质、设备及终端 |
CN116011558A (zh) * | 2023-01-31 | 2023-04-25 | 南京航空航天大学 | 一种高迁移性的对抗样本生成方法和系统 |
-
2022
- 2022-01-25 CN CN202210084771.8A patent/CN114511593A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115511910A (zh) * | 2022-08-22 | 2022-12-23 | 电子科技大学长三角研究院(湖州) | 面向视频跟踪的对抗攻击方法、系统、介质、设备及终端 |
CN115511910B (zh) * | 2022-08-22 | 2024-01-12 | 电子科技大学长三角研究院(湖州) | 面向视频跟踪的对抗攻击方法、系统、介质、设备及终端 |
CN115311521A (zh) * | 2022-09-13 | 2022-11-08 | 中南大学 | 基于强化学习的黑盒视频对抗样本生成方法及评价方法 |
CN116011558A (zh) * | 2023-01-31 | 2023-04-25 | 南京航空航天大学 | 一种高迁移性的对抗样本生成方法和系统 |
CN116011558B (zh) * | 2023-01-31 | 2023-10-27 | 南京航空航天大学 | 一种高迁移性的对抗样本生成方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114511593A (zh) | 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法 | |
CN109639710B (zh) | 一种基于对抗训练的网络攻击防御方法 | |
CN105243398B (zh) | 基于线性判别分析准则的改进卷积神经网络性能的方法 | |
WO2021169157A1 (zh) | 一种基于特征重映射的对抗样本防御方法和应用 | |
CN109376556B (zh) | 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法 | |
CN112085055B (zh) | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 | |
CN114240951B (zh) | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 | |
CN109940614B (zh) | 一种融合记忆机制的机械臂多场景快速运动规划方法 | |
CN112085050A (zh) | 基于pid控制器的对抗性攻击与防御方法及系统 | |
CN111967006A (zh) | 基于神经网络模型的自适应黑盒对抗攻击方法 | |
CN105701504A (zh) | 用于零样本学习的多模态流形嵌入方法 | |
CN113111963A (zh) | 一种黑盒攻击行人重识别系统的方法 | |
CN112131403B (zh) | 一种动态环境下的知识图谱表示学习方法 | |
CN103679715B (zh) | 一种基于非负矩阵分解的手机图像特征提取方法 | |
CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 | |
CN114708479B (zh) | 一种基于图结构和特征的自适应防御方法 | |
CN116824216A (zh) | 一种无源无监督域适应图像分类方法 | |
CN117153260A (zh) | 基于对比学习的空间转录组数据聚类方法、装置及介质 | |
CN115019102A (zh) | 一种对抗样本生成模型的构建方法及应用 | |
Li et al. | Sa-es: Subspace activation evolution strategy for black-box adversarial attacks | |
CN113420289B (zh) | 面向深度学习模型的隐蔽中毒攻击防御方法及其装置 | |
CN114444690A (zh) | 一种基于任务扩增的迁移攻击方法 | |
CN110647917B (zh) | 一种模型复用方法与系统 | |
CN115909027B (zh) | 一种态势估计方法及装置 | |
Hu et al. | Few-Shot Hyperspectral Image Classification with Spectral-Spatial Feature Fusion Based on Fuzzy Broad Learning System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |