CN113688781A - 一种遮挡弹性的行人重识别对抗攻击方法 - Google Patents

一种遮挡弹性的行人重识别对抗攻击方法 Download PDF

Info

Publication number
CN113688781A
CN113688781A CN202111048797.9A CN202111048797A CN113688781A CN 113688781 A CN113688781 A CN 113688781A CN 202111048797 A CN202111048797 A CN 202111048797A CN 113688781 A CN113688781 A CN 113688781A
Authority
CN
China
Prior art keywords
attack
pedestrian
identification
delta
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111048797.9A
Other languages
English (en)
Other versions
CN113688781B (zh
Inventor
郑霄龙
刘亮
马华东
王欣宇
朱玉鹏
周东青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Original Assignee
32802 Troops Of People's Liberation Army Of China
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 32802 Troops Of People's Liberation Army Of China, Beijing University of Posts and Telecommunications filed Critical 32802 Troops Of People's Liberation Army Of China
Priority to CN202111048797.9A priority Critical patent/CN113688781B/zh
Publication of CN113688781A publication Critical patent/CN113688781A/zh
Application granted granted Critical
Publication of CN113688781B publication Critical patent/CN113688781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遮挡弹性的行人重识别对抗攻击方法,采用二阶段的训练方式生成攻击图案,并将图像迁移领域的上下文损失应用于攻击图案生成的损失函数中,增强了在应用遮挡模板分区域训练时子攻击模块的攻击效果,保证了攻击图案在完整情况下的攻击性能,又使生成的攻击图案在部分遮挡的情况下仍具有较好的攻击效果。

Description

一种遮挡弹性的行人重识别对抗攻击方法
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种遮挡弹性的行人重识 别对抗攻击方法。
背景技术
近年来,基于深度学习的计算机视觉技术取得了令人瞩目的成就,为 智慧城市的发展提供了强有力的支持。基于深度学习的计算机视觉系统在 实现智能城市的目标检测、人脸识别、行人检测与识别、图像分割等基础 任务方面展现出了良好的前景。智能城市系统可以利用这些技术帮助我们 发现可疑车辆,分析交通状况,为智能交通,改善城市管理,打击犯罪, 和许多其他智能服务。
其中,行人重识别(Re-ID)是智慧城市的重要任务之一,具有广泛的应 用前景。行人重识别是利用多个摄像头捕捉行人的外观或姿态特征,实现 跨摄像头行人识别。我们可以利用目标图像查询监控数据库,然后行人重 识别系统将返回许多与查询目标相似的结果图像。结果由监控数据库中图 片的排序组成,与查询的目标图像相似度越高排序就越靠前。由于行人重 识别系统具有连续识别同一目标的能力,因此可以将其与人脸识别相结合, 应用于系统中,以协助人员在各种场景下,如追踪罪犯、社区内外人员进 出管理等。
早期的行人重识别技术通常与多摄像头跟踪技术相结合,利用动态贝 叶斯网络生成的标签与行人特征之间的概率关系,得到识别结果。最近的 基于深度学习的方法通过比较行人之间的相似性,提高了从大量输入行人 数据中提取行人特征的能力。虽然现有的行人重识别方法已经在准确率上 已有了显著提高,但其鲁棒性的问题尚未得到充分的研究。
最近对抗攻击的相关研究表明,一些难以察觉的对抗性扰动可能会导 致最先进的深度神经网络输出的错误结果。对抗性攻击可以发现深层神经 网络的弱点,我们通过攻击的方式评估基于深度学习的行人重识别任务的 鲁棒性。
AdvPattern是一种针对行人重识别系统的攻击手段。AdvPattern的攻击 方法生成了T恤上的攻击图案实现了对物理世界的攻击。数据库中图像是 由多个不同角度的相机拍摄的,该方法通过拉远不同摄像头下同一行人的 相似度和拉近相同摄像头下同一行人的相似度的训练方法生成攻击图案。 应用此方法数据库中与查询目标为同一个行人的图片在行人重识别系统输 出的排列顺序相对靠后,实现了对行人重识别系统的攻击效果。
AdvPattern可以成功地欺骗行人重识别模型,并破坏行人重识别应用 程序。但是,AdvPattern没有考虑到攻击图案由于行人的行为而被部分遮 挡的情况。例如,在行走过程中,摆动的手臂可以阻挡攻击图案的底部部 分。经观察发现被遮挡的像素会导致攻击图案失去攻击能力。因此,为了 进一步评价现实世界中的行人重识别系统,需要进一步提高攻击图案对遮 挡的鲁棒性。
发明内容
本发明针对以上技术缺点,目的是提供一种遮挡弹性的行人重识别对 抗攻击方法。
为了实现上述目的,本发明提供如下技术方案:
一种遮挡弹性的行人重识别对抗攻击方法,包括以下步骤:
S1、攻击块分区:将攻击图案划分为两个区域,分别为四角部分和中 心部分,对这两个区域分别进行训练,命名为δcentral和δcorner,将初始化 δcentral和δcorner的对抗样本分别放入预先训练好的行人重识别网络中,提取 样本的深度特征;
S2、相似度计算:来自不同摄像机的行人图像的特征组成特征集合, 通过引导损失函数向相反的方向变化来实现攻击,得到了具有一定攻击效 果的两个子攻击图案δcentral和δcorner,两个子攻击图案没有攻击能力的区域 的像素值为0;
S3、微调:将两个子攻击图案拼接,并将其像素相加,利用其经过透 视变换覆盖在行人图像形成新的对抗样本,同步更新以上两个子攻击图案, 经过数次微调,找到攻击块的整体攻击性能和子攻击块的攻击性能之间的 相对平衡点。
进一步地,步骤S1中的两个区域分别采用梯度引导训练。
进一步地,步骤S1中针对不同的视角的行人图片,将透视变换应用到 攻击图案中,攻击样本集合可以表示为:
X′i={qj+T(δi)} (1)
其中Xi′代表了行人Xi的对抗样本集合,qj是Xi集合中在不同的摄像机下 的图片。
进一步地,步骤S1中,在图片中标出行人将附着的攻击图案的区域, 该标记将攻击图案映射到行人的空间平面上,表示为T(δi),δi属于δ的集合, δ包含集合X的所有攻击图案。
进一步地,步骤S1中的行人重识别网络由特征提取器和分类器组成, 特征提取器用于提取样本的深度特征,分类器用于得到一组向量V,分别 对应于不同相机下行人图像的特征。
进一步地,通过公式(2)计算两个目标之间的相似度,来衡量两幅图 片是否相似:
Sim(qj,qk)=∑vj×vk,j≠k (2)
其中vj和vk属于V,表示分类器qj和qk的输出向量,vj是1×t的向量。
进一步地,步骤S2中采用的损失函数为上下文损失。
进一步地,步骤S2中采用的损失函数具体方法为,将来自不同摄像机 的行人图像的特征
Figure BDA0003252056570000031
表示为
Figure BDA0003252056570000032
其中i表示行人的标签,fp表 示图像j的局部特征p;形式上,定义图像深度特征间的上下文相似度为:
Figure BDA0003252056570000033
Figure BDA0003252056570000034
Figure BDA0003252056570000035
Figure BDA0003252056570000036
之间的Cosine距离,记作
Figure BDA0003252056570000037
m1和m2在p的范 围之内;
Figure BDA0003252056570000041
Figure BDA0003252056570000042
被式(7)子归一化:
Figure BDA0003252056570000043
最终,上下文损失可由式(8)表示:
Figure BDA0003252056570000044
Figure BDA0003252056570000045
与分区训练部分的优化目标相结合,训练攻击图案的总损失函数 为:
Figure BDA0003252056570000046
其中α、β是
Figure BDA0003252056570000047
的参数。
进一步地,步骤S3中将δcentral和δcorner拼接起来记作δ,利用其经过透 视变换覆盖在行人图像形成新的对抗样本,此过程使用的损失函数可以表 示为:
Figure BDA0003252056570000048
其中γ,η,α,θ和β是以上式子中损失函数的参数,
Figure BDA0003252056570000049
附加完整攻击 图案的不同摄像机下的对抗样本间的相似度,
Figure BDA00032520565700000410
Figure BDA00032520565700000411
分别表示样 本叠加δcentral和δcorner时的特征相似度。
进一步地,所述的损失函数用于梯度计算,梯度沿网络反向传播,更 新攻击块的像素值。
与现有技术相比,本发明的有益效果为:
本发明提供的遮挡弹性的行人重识别对抗攻击方法,通过观察行人日常行 走行为,分析其对攻击区域造成的遮挡的规律映射出相应的遮挡模板,应 用遮挡模板,采用二阶段的训练方式生成攻击图案,并将图像迁移领域的 上下文损失应用于攻击图案生成的损失函数中,增强了在应用遮挡模板分 区域训练时子攻击模块的攻击效果,保证了攻击图案在完整情况下的攻击 性能,又使生成的攻击图案在部分遮挡的情况下仍具有较好的攻击效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对 实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附 图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可 以根据这些附图获得其他的附图。
图1为不同视角的行人在真实世界的实验中对攻击图案的遮挡。其中, 图1(1)为遮挡攻击图案的左上部正视图,图1(2)为遮挡攻击图案的左 上部侧视图,图1(3)为遮挡攻击图案的右上部侧视图,图1(4)为遮挡 攻击图案的左上和右上正视图,图1(5)为遮挡攻击图案的左下部侧视图, 图1(6)为遮挡攻击图案的左上和右下部正视图。
图2为行人遮挡模式的分析实例。其中,图2(a)为遮挡左上和右上 部,图2(b)为遮挡左下部,图2(c)为遮挡左上部,图2(d)为遮挡右 下部,图2(e)为遮挡左上部。
图3为本发明实施例提供的遮挡模型和模板。其中,图3(0)为遮挡 区域2,图3(1)为遮挡区域3,图3(2)为遮挡区域5,图3(3)为遮 挡区域4,图3(4)为遮挡区域2和3,图3(5)为遮挡区域3和5,图3 (6)为遮挡区域2和4,图3(7)为无遮挡。
图4为本发明实施例提供的两阶段生成遮挡弹性攻击块的工作流程图。
具体实施方式
为了更好地理解本技术方案,下面结合附图对本发明的方法做详细的 说明。
一、行人重识别攻击块对遮挡的鲁棒性探究
发明人首先分析行人的遮挡行为,以理解可能的遮挡模式。然后研究 了遮挡对攻击图案攻击性能的影响。
1、行人遮挡行为分析
我们首先探讨行人不确定行走行为引起的遮挡的共性。图1显示了现 实世界中行人对攻击图案的遮挡情况。
我们可以发现,打印的图案被行人的行走行为遮挡是非常常见的,这 导致攻击图案攻击性能的显著下降。通过我们对各种环境下的监控视频的 分析,我们可以发现行人在行走过程中常见的行为包括:摆动手臂、双手 或单手使用手机、单手触摸头部、提包等。
针对以上分析,我们进行了现场实验,让六名志愿者四处走动,摄像 机从三个不同的角度捕捉他们的行走行为。志愿者们身上佩戴有黑白格子 的纸。黑白格子纸与白纸相比更便于对行人动作造成的遮挡区域的标记。 每个格子由一个4 4像素块组成。为了方便地标记遮挡区域,我们指定, 如果该格子有超过二分之一的部分被行人遮挡,则将该格子对应的四个像 素点的值设为1,否则设为0。志愿者按照自己的行走习惯,做出行走中可 能发生的行为。然后我们对视频进行裁剪,提取不同的帧,再根据黑白格 子纸的遮挡情况进行标记。我们共记录了100个志愿者的视频,提取了大 约500幅图像来分析行人的遮挡模式。
图2给出了一些行人的遮挡行为。通过测量和分析,我们将攻击图案 划分为5个区域,如图3左图所示。本发明中设计的遮挡模板的样式由图 3中的攻击图案分区组成,其中仅使用了删去完整图案部分区域的七种样 式,经观察发现应用的七种样式最为常见,但是也可将更多可能的模板加 入遮挡模板中,例如:删去图中标记为3和4的区域、删去图中标记为2 和5的区域等。
然后,我们通过遮挡一个或多个区域来建模遮挡模式。但中心菱形(区 域1)总是可见的,因为我们的测量显示日常行为很少对这部分造成遮挡。 我们发现行人遮挡主要发生在攻击图案的四个角落,即图3中的2-5区域。 例如,操作手机经常遮盖左上角或/和右上角,而摆动手臂遮盖左下角或右 下角。
2、遮挡对攻击效果的影响
以往的对行人重识别模型攻击的研究只考虑了行人对攻击图案没有遮 挡的攻击,没有考虑行人行为对攻击图案遮挡的情况。因此,在分析了遮 挡模式的基础上,我们探究了部分遮挡对攻击图案攻击效果的影响。
本发明将图3中的遮挡模板应用到攻击图案中,记录不同遮挡模式下 的攻击效果。对在行人重识别领域中常作为基线的行人重识别模型使用 AdvPattern攻击方法生成攻击图案进行攻击。我们从Market1501数据集中 随机选取n组行人数据,X={X0,…,Xn}。Xi由不同摄像头下相同ID的 行人图像组成,表示为Xi={q0,…,qm}。对于每个Xi,我们生成相应的 对抗图案,并将图案覆盖在行人身上。
为了模拟行人在行走过程中偶尔的遮挡行为,我们应用遮挡模板随机 去除了攻击图案的部分区域。如图3右图所示,缺失的部分为遮挡部分, 我们定义了8个遮挡模板。遮挡模板集记为C={c0,c1,…,c7},ci分 别表示遮盖左上角、遮盖右上角、遮盖左下角、遮盖右下角、遮盖上两个 角、遮盖左下右上、遮盖左上右下、未遮盖。
我们对Xi中的每个行人图像qj从C中随机选择一个遮挡模板,并将遮 挡模板应用到攻击图案中。以上过程通过为Xi产生一组范围在0到7的随 机数组,每个随机数代表了相应的遮挡模板。为了排除随机数引起的实验 结果的随机性,我们进行了10次随机实验,每一次都有不同的遮挡条件。 生成的每一组随机数都是一轮随机实验。
表1为无遮挡和遮挡情况下的攻击结果。从该结果可以看出现有的攻 击方法(未遮挡攻击)可以使行人重识别模型的Rank正确率平均降低约 83.5%,mAP降低约71%。相比之下,遮挡攻击下的Rank正确率平均下降 约58%,比原始的攻击方法降低了25.5%。Rank@1的攻击成功率甚至从 82.4%下降到65.5%。上述结果表明,遮挡对攻击图案的攻击性能确实有负 面影响,揭示了现有攻击方法对遮挡的不鲁棒性。因此,设计有效的遮挡 弹性的攻击方法是必要的。
表1行人重识别在有/无遮挡情况的识别准确率
Figure BDA0003252056570000081
二、遮挡弹性的攻击图案生成方案设计
1、概述
经过对攻击块遮挡情况下的攻击效果的探索表明,在遮挡条件下,整 个攻击块产生的攻击效果明显减弱。因此,我们的目标是通过对攻击图案 进行分区训练,提高攻击图案对遮挡的鲁棒性。虽然行人在行走过程中对 攻击图案存在遮挡现象,但并不是整个攻击块都被遮挡。我们将攻击块划 分为两部分,如图3所示一个是在中心位置标注1的部分,另一个是其余 部分,我们将两部分分别训练。我们设计了两阶段训练法。攻击块的训练 流程如图4所示。
第一阶段:攻击块的四个角落更容易被行人遮挡,所以我们将这五个 区域划分为四角部分和中心部分。对这两个区域分别进行梯度引导的训练。 中间部分更不容易被行人的行为遮挡。单独提取中心区域进行训练的目的 是为了在行人遮挡四角区域的一部分后,中心区域的攻击块仍然可以发挥 相应的攻击效果,具有独立的攻击性能。经过训练后的四角部分和中心部 分分别附着在行人身上时,都具有一定的攻击能力。
第二阶段:第二阶段的目标是在保持两个子部分各自攻击效果的同时, 提高整个攻击块的攻击性能。与第一阶段不同,此阶段我们更关注完整攻 击块的攻击效果。第一阶段的对攻击图案的分区训练,将两个区域分别作 为攻击行人重识别模型的图案使用时,能够达到一定的攻击效果。但是, 由于两个子攻击图案的面积有限,第一阶段的训练方法会导致两个子攻击 图案拼接后的完整攻击图案的攻击性能下降。考虑到行人在行走过程中出 现遮挡行为的概率低于未遮挡的情况,因此完整攻击块的攻击效果也很重 要。
二阶段式的训练方法每个阶段训练的轮数需要根据实际情况制定,当 训练损失值趋于稳定时则算该阶段训练完成。
2、具体步骤
1)攻击块分区:
我们首先初始化一个完整的灰色攻击块,将攻击块划分为两部分。将 两个子攻击块分别训练,命名为δcentral和δcorner
行人在不同的摄像头下会有不同的角度,而攻击块的形状也会因为视 角的变化而产生透视效果。因此,为了在透视图中模拟这种变化,针对不 同的视角的行人图片我们将透视变换应用到攻击图案中,攻击样本集合可 以表示为:
X′i={qj+T(δi)} (1)
Xi′代表了行人Xi的对抗样本集合。qj是Xi集合中在不同的摄像机下的图 片。
我们在图片中标出行人将附着的攻击图案的区域。该标记将攻击图案 映射到行人的空间平面上,表示为T(δi)。δi属于δ的集合,δ包含集合X的 所有攻击图案。
我们的目标是通过输入带有攻击图案的行人作为查询来欺骗行人重识 别模型,使模型输出的与查询ID对应的行人的排名靠后,其他不相关的行 人排名靠前。这样攻击对象就能隐藏在人群中。
将初始化δcentral和δcorner的对抗样本分别放入预先训练好的行人重识 别网络中,提取样本的深度特征。该网络由特征提取器和分类器组成。我 们可以从网络分类器中得到一组向量V,分别对应于不同相机下行人图像 的特征。通过如下公式来计算两个目标之间的相似度,来衡量两幅图片是 否相似:
Sim(qj,qk)=∑vj×vk,j≠k (2)
vj和vk属于V,表示分类器qj和qk的输出向量。vj是1×t的向量。
两个目标越相似其值越大。为了误导行人重识别模型,我们以优化 以下问题为目标:
Figure BDA0003252056570000101
Figure BDA0003252056570000102
Simcentral(qj,qk)和Simcorner(qj,qk)是qj和qk附加子攻击图案δcentral或 δcorner后的两者间的相似度。α是
Figure BDA0003252056570000103
的参数。附加了攻击图案δcentral或 δcorner的qj的特征结合了图片与攻击图案的特征。
我们将集合Xi中的不同摄像头下的图片两两作为一组,记作<qj,qk>。 <qa,qb>代表了相同摄像头下同一行人的不同图片组。difmun和samenum 分别代表以上两个图片组的数目。
Figure BDA0003252056570000104
Figure BDA0003252056570000105
分别表示不同和相同摄 像机下相似度的损失函数。
分区后的攻击块的面积变小,增加了训练难度。仅通过式子(3)和式 子(4)优化出的攻击图案的攻击性能较差。物理层面的攻击限制性比较强, 所以我们从损失函数入手,寻找可以改进的部分。
2)相似度计算:
在训练攻击图案的过程中,我们可以得到网络的特征向量和网络各层 的输出。我们利用行人重识别网络分类器的输出来计算相似度。
我们通过拉远两张图片的相似性来实施攻击。Re-ID网络可以通过考 虑到每张图片的不同特征,同一行人的特征具有一定的共性,网络可以从 复杂的特征中找到他们之间的共性进而得到最终的判断。为了使行人在不 同摄像头下添加攻击图案后不被识别,我们也可以削弱其共同性来实施攻 击。
我们从神经网络最后一个卷积层的输出中提取图像深度特征
Figure BDA0003252056570000106
该特 征没有经过行人重识别网络的分类器处理。来自不同摄像机的行人图像的 特征
Figure BDA0003252056570000111
组成特征集合Fi,i表示行人的标签。
在现有的研究中,特征相似性度量在语义风格迁移任务和超分辨率任 务等任务中得到了广泛的应用。部分图像生成任务的图片是从零开始生成 的,这意味着它一开始就不存在,因此损失函数的结果非常小。在该类任 务中损失函数的目标是期望生成的图像与目标图像更相似。
而在我们的任务中,两个物体的图像在任务开始时具有一定的相似性。 我们期望的是两个目标的特征相似度变得不同,通过引导损失函数向相反 的方向来实现攻击。常用的具有相似特征的比较损失函数有MSE损失、感 知损失、Gram损失、上下文损失等。
我们在行人重识别模型中输入的行人数据是跨摄像头的数据,是非对 齐的。感知损失是一个像素到像素级的损失函数,多用于空间对齐的数据。 上下文损失定义了一种特征之间的相似性算法,它整合了全局上下文,消 除了特征空间错位的影响。该损失函数比较了局部和全局特征。因此,我 们选择使用在风格迁移任务中的上下文损失。我们将
Figure BDA0003252056570000112
表示为
Figure BDA0003252056570000113
Figure BDA0003252056570000114
i表示行人的标签。fp表示图像j的局部特征p。形式上,定义图像深度特征间的上下文相似度为:
Figure BDA0003252056570000115
Figure BDA0003252056570000116
Figure BDA0003252056570000117
Figure BDA0003252056570000118
之间的Cosine距离,记作
Figure BDA0003252056570000119
m1和m2在p的范 围之内。
Figure BDA00032520565700001110
Figure BDA00032520565700001111
可以被以下式子归一化:
Figure BDA00032520565700001112
最终,上下文损失可由下式表示:
Figure BDA00032520565700001113
我们将
Figure BDA0003252056570000121
与分区训练部分的优化目标相结合,第一阶段训练攻击图案 的总损失函数为:
Figure BDA0003252056570000122
α、β是
Figure BDA0003252056570000123
的参数。
3)微调:
通过第一阶段的训练,我们得到了具有一定攻击效果的两个子攻击图 案δcentral和δcorner。两个子攻击图案没有攻击能力的区域的像素值为0。我 们将两个子攻击图案的像素相加,将它们拼接在一起。由于这两部分具有 独立的攻击能力,当将它们组合成一个完整的攻击图案时攻击效果远远低 于原始训练整块的方法和采用分别采用子攻击图案,这样的结果与此研究 的目标不相符。我们将δcentral和δcorner拼接起来记作δ,利用其经过透视变 换覆盖在行人图像形成新的对抗样本。此过程使用的损失函数可以表示为:
Figure BDA0003252056570000124
其中γ,η,α,θ和β是以上式子中损失函数的参数。
Figure BDA0003252056570000125
由公式(2)计算 出的附加完整攻击图案的不同摄像机下的对抗样本间的相似度。
Figure BDA0003252056570000126
Figure BDA0003252056570000127
分别表示样本叠加δcentral和δcorner时的特征相似度。
在此阶段,我们同步更新以上两个子攻击图案。在总损失函数中加入 这两部分,可以在提高完整攻击图案的攻击性能的同时,保持两个子攻击 图案的攻击效果。
Figure BDA0003252056570000128
确保了不同摄像头下的行人图片的特征被推远,同一相机下的 行人图片的特征被拉近,从而保持同一视角下行人特征的一致性。
Figure BDA0003252056570000129
利用卷积层提取的特征信息,比较在附加完整攻击图案的对抗样本 的特征相似度,在特征空间上扩大二者之间的距离。
上述损失函数用于梯度计算,梯度沿网络反向传播,更新攻击块的像 素值。经过数次微调,攻击块的整体攻击性能和子攻击块的攻击性能之间 找到了一个相对平衡的点。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照 前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解: 其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分 技术特征进行等同替换,但这些修改或者替换,并不使相应技术方案的本 质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种遮挡弹性的行人重识别对抗攻击方法,其特征在于,包括以下步骤:
S1、攻击块分区:将攻击图案划分为两个区域,分别为四角部分和中心部分,对这两个区域分别进行训练,命名为δcentral和δcorner,将初始化δcentral和δcorner的对抗样本分别放入预先训练好的行人重识别网络中,提取样本的深度特征;
S2、相似度计算:来自不同摄像机的行人图像的特征组成特征集合,通过引导损失函数向相反的方向变化来实现攻击,得到了具有一定攻击效果的两个子攻击图案δcentral和δcorner,两个子攻击图案没有攻击能力的区域的像素值为0;
S3、微调:将两个子攻击图案拼接,并将其像素相加,利用其经过透视变换覆盖在行人图像形成新的对抗样本,同步更新以上两个子攻击图案,经过数次微调,找到攻击块的整体攻击性能和子攻击块的攻击性能之间的相对平衡点。
2.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S1中的两个区域分别采用梯度引导训练。
3.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S1中针对不同的视角的行人图片,将透视变换应用到攻击图案中,攻击样本集合可以表示为:
X′i={qj+T(δi)} (1)
其中Xi′代表了行人Xi的对抗样本集合,qj是Xi集合中在不同的摄像机下的图片。
4.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S1中,在图片中标出行人将附着的攻击图案的区域,该标记将攻击图案映射到行人的空间平面上,表示为T(δi),δi属于δ的集合,δ包含集合X的所有攻击图案。
5.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S1中的行人重识别网络由特征提取器和分类器组成,特征提取器用于提取样本的深度特征,分类器用于得到一组向量V,分别对应于不同相机下行人图像的特征。
6.根据权利要求5所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,通过公式(2)计算两个目标之间的相似度,来衡量两幅图片是否相似:
Sim(qj,qk)=∑vj×vk,j≠k (2)
其中vj和vk属于V,表示分类器qj和qk的输出向量,vj是1×t的向量。
7.根据权利要求1所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S2中采用的损失函数为上下文损失。
8.根据权利要求7所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S2中采用的损失函数具体方法为,将来自不同摄像机的行人图像的特征
Figure FDA0003252056560000021
表示为
Figure FDA0003252056560000022
其中i表示行人的标签,fp表示图像j的局部特征p;形式上,定义图像深度特征间的上下文相似度为:
Figure FDA0003252056560000023
Figure FDA0003252056560000024
Figure FDA0003252056560000025
Figure FDA0003252056560000026
之间的Cosine距离,记作
Figure FDA0003252056560000027
m1和m2在p的范围之内;
Figure FDA0003252056560000028
Figure FDA0003252056560000029
被式(7)子归一化:
Figure FDA00032520565600000210
最终,上下文损失可由式(8)表示:
Figure FDA00032520565600000211
Figure FDA00032520565600000212
与分区训练部分的优化目标相结合,训练攻击图案的总损失函数为:
Figure FDA0003252056560000031
其中α、β是
Figure FDA0003252056560000032
的参数。
9.根据权利要求8所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,步骤S3中将δcentral和δcorner拼接起来记作δ,利用其经过透视变换覆盖在行人图像形成新的对抗样本,此过程使用的损失函数可以表示为:
Figure FDA0003252056560000033
其中γ,η,α,θ和β是以上式子中损失函数的参数,
Figure FDA0003252056560000034
附加完整攻击图案的不同摄像机下的对抗样本间的相似度,
Figure FDA0003252056560000035
Figure FDA0003252056560000036
分别表示样本叠加δcentral和δcorner时的特征相似度。
10.根据权利要求9所述的遮挡弹性的行人重识别对抗攻击方法,其特征在于,所述的损失函数用于梯度计算,梯度沿网络反向传播,更新攻击块的像素值。
CN202111048797.9A 2021-09-08 2021-09-08 一种遮挡弹性的行人重识别对抗攻击方法 Active CN113688781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111048797.9A CN113688781B (zh) 2021-09-08 2021-09-08 一种遮挡弹性的行人重识别对抗攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111048797.9A CN113688781B (zh) 2021-09-08 2021-09-08 一种遮挡弹性的行人重识别对抗攻击方法

Publications (2)

Publication Number Publication Date
CN113688781A true CN113688781A (zh) 2021-11-23
CN113688781B CN113688781B (zh) 2023-09-15

Family

ID=78585633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111048797.9A Active CN113688781B (zh) 2021-09-08 2021-09-08 一种遮挡弹性的行人重识别对抗攻击方法

Country Status (1)

Country Link
CN (1) CN113688781B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395997A (zh) * 2020-11-19 2021-02-23 中山大学 一种基于可微图学习的行人重识别模型的弱监督训练方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别系统的方法
CN113205030A (zh) * 2021-04-27 2021-08-03 武汉大学 一种防御对抗性攻击的行人重识别方法
WO2021169157A1 (zh) * 2020-02-25 2021-09-02 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169157A1 (zh) * 2020-02-25 2021-09-02 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
CN112395997A (zh) * 2020-11-19 2021-02-23 中山大学 一种基于可微图学习的行人重识别模型的弱监督训练方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别系统的方法
CN113205030A (zh) * 2021-04-27 2021-08-03 武汉大学 一种防御对抗性攻击的行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张加胜;刘建明;韩磊;纪飞;刘煌;: "对抗样本生成在人脸识别中的研究与应用", 计算机应用与软件, no. 05 *

Also Published As

Publication number Publication date
CN113688781B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110717414B (zh) 一种目标检测追踪方法、装置及设备
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN106709436A (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN109657533A (zh) 行人重识别方法及相关产品
CN103020985B (zh) 一种基于场量分析的视频图像显著性检测方法
CN112597941A (zh) 一种人脸识别方法、装置及电子设备
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN113793382B (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN111382613B (zh) 图像处理方法、装置、设备和介质
CN104598883A (zh) 一种多摄像机监控网络中目标再识别的方法
CN102332095A (zh) 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
JP2004185611A (ja) 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
Liu et al. Stereo video object segmentation using stereoscopic foreground trajectories
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
Zhang et al. Boosting transferability of physical attack against detectors by redistributing separable attention
Schneider Visual hull
CN115908493A (zh) 一种小区人员轨迹管理与展示方法及其系统
CN113688781B (zh) 一种遮挡弹性的行人重识别对抗攻击方法
Wang et al. Occlusion resilient adversarial attack for person re-identification
Anusiya et al. Density map based estimation of crowd counting using Vgg-16 neural network
Goldlücke Variational Analysis
CN118072352B (zh) 一种高质量轨迹生成的多行人跟踪方法及系统
CN111899281B (zh) 一种基于行为树的辅助监控系统控制策略实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant