CN113111963A - 一种黑盒攻击行人重识别系统的方法 - Google Patents

一种黑盒攻击行人重识别系统的方法 Download PDF

Info

Publication number
CN113111963A
CN113111963A CN202110463342.7A CN202110463342A CN113111963A CN 113111963 A CN113111963 A CN 113111963A CN 202110463342 A CN202110463342 A CN 202110463342A CN 113111963 A CN113111963 A CN 113111963A
Authority
CN
China
Prior art keywords
pedestrian
target
query
model
identification system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110463342.7A
Other languages
English (en)
Other versions
CN113111963B (zh
Inventor
王好谦
陈炜欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110463342.7A priority Critical patent/CN113111963B/zh
Publication of CN113111963A publication Critical patent/CN113111963A/zh
Application granted granted Critical
Publication of CN113111963B publication Critical patent/CN113111963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种攻击行人重识别系统的方法，包括如下步骤：使用训练数据集训练行人重识别系统；使用攻击前的查询图像测试行人重识别系统；基于替代模型与目标模型之间的可迁移性和对所述目标模型的可查询性，采用黑盒攻击对所述行人重识别系统产生对抗样本，所述对抗样本由被攻击者的所有查询图像增加扰动产生；使用攻击后的查询图像测试行人重识别系统，其与查询库图像的匹配度下降。通过给被攻击者的所有图像增加同一扰动，从而产生相应的对抗样本，形成一种新的黑盒攻击方式，更符合实际；且省时省力，攻击效果好。

Description

一种黑盒攻击行人重识别系统的方法
技术领域
本发明涉及计算机视觉中对抗攻击和目标追踪技术领域，尤其涉及一种黑盒攻击行人重识别系统的方法。
背景技术
近年来，随着社会的进步和人民生活水平的提高，人们越来越重视公共安全问题。另一方面，随着智慧城市、物联网的到来，摄像头已经无处不在，它们组成了大规模的摄像头网络。以这个网络为基础的视频监控系统为人们提供了大量的视频和图像数据。利用这些数据，人们可以获得许多有用的信息，从而有效地解决公共安全问题。由于数据量巨大，如何快速且准确地在这些海量数据中检索出关于特定行人的信息，从而成功锁定目标人物的行踪，成为一个亟待解决的问题。行人重识别作为主要技术之一，引起了学者们的重视。行人重识别，是一项基于计算机视觉领域的相关算法来进行跨摄像头追踪特定行人的技术。具体地，如图1所示，给出目标行人的一张查询图像(Query)，行人重识别系统将从不同摄像头下得到的查询库图像(Galley)中检索该行人图像。随着深度学习(Deep learning)的进步与发展，深度学习类方法逐渐占据行人重识别领域的主要地位。与传统方法相比，深度学习类方法可以通过使用训练数据集训练神经网络，让神经网络自动学习出更合适的行人特征表示，用于检索目标行人。
深度学习已经在不少领域中都取得较大的成功，然而，它被证实对于来自对抗样本的攻击仍是非常脆弱的。对抗样本，指与原样本相似，但是可以使深度学习模型出错的样本，通常由在原样本上增加扰动产生。基于对抗样本的攻击给基于深度学习的模型带来了巨大的威胁，特别是行人重识别等安防领域的应用。因此，为了保障深度学习模型的安全性，关于对抗样本的研究显得非常必要。
现有的对行人重识别模型的攻击方式各种各样，有的给查询库图像增加扰动，有的给被攻击者的查询图像和查询库图像增加扰动。而且，现有的扰动往往是根据特定图像产生的，即每给出一张图像，都需经过重新的训练过程以得到其扰动，这样的步骤耗时耗力。
根据攻击目标的不同，基于对抗样本的攻击可以分为无目标攻击与有目标攻击。对于行人重识别，无目标攻击旨在使目标模型所返回的排名表中，被攻击者的查询库图像尽量靠后，而有目标攻击旨在使目标行人的查询库图像尽量靠前。然而，现有的有目标攻击都是根据一个特定的目标行人标签训练扰动。当有新的目标行人标签出现时，需重新训练以得到新扰动。
此外，现有的黑盒攻击一般基于计算机视觉模型的可迁移性，即适用于替代模型的对抗样本通常也适用于目标模型。由于视觉模型之间的相似性，基于可迁移性的黑盒攻击已经能够取得一定的攻击效果。然而，不可否认，替代模型与目标模型之间仍存在差异性，这种差异性的存在一定程度上影响了攻击效果的增强。
现有技术中缺乏一种黑盒条件下有目标攻击行人重识别模型的方法。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种黑盒攻击行人重识别系统的方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种攻击行人重识别系统的方法，包括如下步骤：S1：使用训练数据集训练行人重识别系统；S2：使用攻击前的查询图像测试行人重识别系统；S3：基于替代模型与目标模型之间的可迁移性和对所述目标模型的可查询性，采用黑盒攻击对所述行人重识别系统产生对抗样本，所述对抗样本由被攻击者的所有查询图像增加扰动产生；S4：使用攻击后的查询图像测试行人重识别系统，其与查询库图像的匹配度下降。
优选地，所述对抗样本是对所有查询图像同时增加同一扰动产生。
优选地，通过条件生成器产生据噪声输入不同而多样的扰动。
优选地，所述条件生成器结构包括：9层结构，分别是输入层，5个反卷积层，3个全连接层。其中，反卷积层和前两层全连接层的输出要经过批量归一化处理和非线性函数激活。
优选地，产生所述对抗样本包括如下步骤：训练阶段：使用训练数据集训练所述条件生成器生成使被攻击者被成功攻击为目标行人的扰动产生所述对抗样本；测试阶段：使用测试数据集测试所述对抗样本。
优选地，所述训练阶段包括如下步骤：T1：将高斯噪声与目标行人的标签输入到所述条件生成器；T2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的所述对抗样本；T3：将所述对抗样本与目标行人的查询库图像输入到行人重识别替代模型；T4：根据所述行人重识别替代模型所输出的特征向量计算所述对抗样本与目标行人的查询库图像之间的距离；T5：结合对行人重识别目标模型查询得到损失函数；T6：将所述损失函数关于条件生成器参数的梯度反向传播给条件生成器以更新其参数；重复上述步骤直到所述条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
优选地，根据所述行人重识别替代模型所输出的特征向量计算所述对抗样本与目标行人的查询库图像之间的距离包括：将所述条件生成器生成的扰动修剪后加到被攻击者的查询图像X上，得到相应的对抗样本Xadv，即：Xadv＝X+δ，其中δ是被修剪后的扰动；选取所述目标行人的查询库图像Y，将所述被攻击者的对抗样本Xadv和目标行人的查询库图像Y输入到所述行人重识别替代模型fθ，所述行人重识别替代模型会输出被攻击者的对抗样本Xadv和目标行人的查询库图像Y的特征向量fθ(Xadv)，fθ(Y)，其中，θ表示替代模型的参数中；使用欧式距离公式，计算出被攻击者的对抗样本Xadv的特征向量fθ(Xadv)和目标行人的查询库图像Y的特征向量fθ(Y)之间的距离：
dist(fθ(Xadv)，fθ(Y))＝||fθ(Xadv)-fθ(Y)||2
其中，||·||2表示l2范数。
优选地，所述条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动包括：将所述被攻击者的对抗样本Xadv输入到所述行人重识别目标模型
Figure BDA0003034752880000031
中，所述行人重识别目标模型会输出被攻击者的排名表，其中，
Figure BDA0003034752880000032
表示替代模型的参数；根据所述被攻击者的排名表中目标行人的排序，给所述距离dist(fθ(Xadv)，fθ(Y))加以权重α，所述权重是目标行人的序号/查询库图像总数；最终的损失函数L为被攻击者的对抗样本与目标行人的查询库图像之间的加权距离，即：
L＝α·||fθ(Xadv)-fθ(y)||2
选用Adam优化器得到损失函数L关于生成器参数μ的梯度
Figure BDA0003034752880000042
使用反向梯度传播方法，根据梯度更新生成器的参数μ；重复以上训练步骤，直至条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
优选地，所述测试阶段包括如下步骤：Q1：将高斯噪声与预先指定的目标行人的标签输入到条件生成器；Q2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的对抗样本；Q3：将对抗样本作为查询图像输入到目标模型进行查询，目标模型将返回错误的排名表。
优选地，将对抗样本输入到行人重识别目标模型中，所述行人重识别目标模型将输出所述错误的排名表；根据所述排名表中目标行人的排序，计算出关于目标行人的平均精度AP：
Figure BDA0003034752880000041
其中，Dt表示目标行人的查询库，|Dt|表示目标行人的查询库内图像数量，1[·]表示示性函数，xk表示查询库图像。
本发明的有益效果为：提供一种黑盒攻击行人重识别系统的方法，通过给被攻击者的所有图像增加扰动，从而产生相应的对抗样本，形成一种新的黑盒攻击方式，更符合实际。
进一步地，本发明产生一种普适的扰动，即对所有查询图像都同时适用的扰动。现有的扰动往往是根据特定图像产生的，即每给出一张图像，都需经过重新的训练过程以得到其扰动，这样的步骤耗时耗力。本发明将实现对所有查询图像同时适用的扰动，从而减少了为所有查询图像都进行一遍训练这样繁冗的步骤。
再进一步地，实现一种“指哪打哪”的攻击模式。现有的有目标攻击都是根据一个特定的目标行人标签训练扰动。当有新的目标行人标签出现时，需重新训练以得到新扰动。本发明训练条件生成器以实现“指哪打哪”的多目标攻击，即给定任一目标行人的标签，条件生成器能直接由噪声生成相应的扰动，无需重新训练，更省时省力。
基于替代模型与目标模型之间的可迁移性与对目标模型的可查询性设计攻击模型。由于视觉模型之间的相似性，基于可迁移性的黑盒攻击已经能够取得一定的攻击效果。然而，替代模型与目标模型之间仍存在差异性。改善这种差异性一定程度上有助于增强攻击效果。在黑盒的前提下，虽然对目标模型的内部结构与参数未知，但是可以通过查询目标模型的结果来间接了解目标模型的内部情况，从而弥补这种差异性。
附图说明
图1是本发明实施例中一种攻击行人重识别系统的方法的示意图。
图2是本发明实施例中一种条件生成器的结构示意图。
图3是本发明实施例中一种行人重识别系统的流程示意图。
图4是本发明实施例中训练阶段的方法示意图。
图5是本发明实施例中测试阶段的方法示意图。
图6(a)和图6(b)是本发明实施例中在黑盒与有目标的条件针对行人重识别模型的攻击方法产生的效果示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本发明从实际出发，考虑到攻击方通常只能获得被攻击者的查询图像，定义对行人重识别模型的攻击方式为仅给被攻击者有的查询图像增加扰动。在这种新的攻击方式下，需要重新考虑攻击的实现。对行人重识别系统进行基于对抗样本的攻击。行人重识别系统是安防领域的重要技术之一，相关模型安全性的研究至关重要。产生针对行人重识别系统的对抗样本一定程度上有助于从攻击者的角度了解该系统，从而为防御系统、提高相关模型的鲁棒性提供先验知识。
如图1所示，本发明提供一种攻击行人重识别系统的方法，包括如下步骤：
S1：使用训练数据集训练行人重识别系统；
S2：使用攻击前的查询图像测试行人重识别系统；
S3：基于替代模型与目标模型之间的可迁移性和对所述目标模型的可查询性，采用黑盒攻击对所述行人重识别系统产生对抗样本，所述对抗样本由被攻击者的所有查询图像增加扰动产生；
S4：使用攻击后的查询图像测试行人重识别系统，其与查询库图像的匹配度下降。
本发明将实现对所有查询图像同时适用的扰动，从而减少了为所有查询图像都进行一遍训练这样繁冗的步骤。
在本发明的一种实施例中，所有步骤都使用清华大学采集的行人重识别数据集Market1501。特别地，在训练阶段使用训练集，在测试阶段使用测试集，两个集合都包括各自的查询图像和查询库图像。
在本发明的一种实施例中，对抗样本是对所有查询图像同时增加同一扰动产生，进一步地，为了避免产生单一的扰动，本发明将结合生成器产生扰动，根据不同的噪声输入能够得到不同的扰动，从而保证了扰动的多样性。
可以理解的是，本发明将同样一个扰动同时加在所有的图像上，但是这个扰动不是单一的，具有多样性，每次使用时是选一种然后同时加在所有图像上。
因为所使用的条件生成器始终是为某类行人图像所生成扰动，反过来说，这个条件生成器所生成的扰动是能够应用在某类行人的所有图像上的，也就意味着可以实现“同时”增加。
在一种具体的实施例中，条件生成器结构包括：9层结构，分别是输入层，5个反卷积层，3个全连接层。其中，反卷积层和前两层全连接层的输出要经过批量归一化处理和非线性函数激活。
如图2所示，是本发明中一种条件生成器的结构示意图。
本发明将训练条件生成器以实现“指哪打哪”的多目标攻击，即给定任一目标行人的标签，条件生成器能直接由噪声生成相应的扰动，无需重新训练，更省时省力。
如图3所示，是本发明一种行人重识别系统的流程示意图。
本发明涉及一种攻击行人重识别模型(Person Re-identification,ReID)的解决方案。在未知目标模型内部结构和参数的黑盒条件下，基于替代模型与目标模型之间的可迁移性和对目标模型的可查询性，使用条件生成器给被攻击者的所有查询图像增加同一扰动，以有目标的方式研究攻击目标模型的问题。可以分为训练阶段和测试阶段。
具体的，产生所述对抗样本包括如下步骤：
训练阶段：使用训练数据集训练所述条件生成器生成使被攻击者被成功攻击为目标行人的扰动产生所述对抗样本；
测试阶段：使用测试数据集测试所述对抗样本。
如图4所示，所述训练阶段包括如下步骤：
T1：将高斯噪声与目标行人的标签输入到所述条件生成器；
在本发明的一种实施例中，高斯噪声由均值为0，方差为1的高斯分布随机生成的。
T2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的所述对抗样本；
T3：将所述对抗样本与目标行人的查询库图像输入到行人重识别替代模型；
T4：根据所述行人重识别替代模型所输出的特征向量计算所述对抗样本与目标行人的查询库图像之间的距离；
T5：结合对行人重识别目标模型查询得到损失函数；
T6：将所述损失函数关于条件生成器参数的梯度反向传播给条件生成器以更新其参数；重复上述步骤直到所述条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
具体地，market1501数据集中有1501个行人的图像，那每个行人都会有相应的标签也就是0-1500。在训练阶段，为了保证输入的平滑性，使用一个字典将行人标签(0-1500)映射到[0，1]区间内。给定目标行人标签，将随机生成的100维高斯噪声和映射后的1维标签作为101维向量输入到参数为μ的条件生成器G中。条件生成器会输出尺寸为3*128*64的扰动，考虑到扰动的大小有限，否则会在视觉上引起监督者的注意，需对生成的扰动进行适当的修剪，得到被修剪后的扰动δ。
根据行人重识别替代模型所输出的特征向量计算对抗样本与目标行人的查询库图像之间的距离包括：
将条件生成器生成的扰动修剪后加到被攻击者的查询图像X上，得到相应的对抗样本Xaav，即：Xadv＝X+δ，其中δ是被修剪后的扰动；
选取目标行人的查询库图像Y，将被攻击者的对抗样本Xadv和目标行人的查询库图像Y输入到所述行人重识别替代模型fθ，行人重识别替代模型会输出被攻击者的对抗样本Xadv和目标行人的查询库图像Y的特征向量fθ(Xadv)，fθ(Y)，其中，θ表示替代模型的参数中；
使用欧式距离公式，计算出被攻击者的对抗样本Xadv的特征向量fθ(Xadv)和目标行人的查询库图像Y的特征向量fθ(Y)之间的距离：
dist(fθ(Xadv)，fθ(Y))＝||fθ(Xadv)-fθ(Y)||2
其中，||·||2表示l2范数。
另一方面，基于对目标模型的可查询性，将上述的被攻击者的对抗样本Xaav也输入到行人重识别目标模型
Figure BDA0003034752880000081
中，模型会输出被攻击者的排名表。根据排名表中目标行人的排序，给上述计算出的距离加以适当的权重α。特别地，使用的权重为目标行人的序号/查询库图像总数。这是因为，当目标行人排序靠后时，需要更大的权重来惩罚距离项，使得目标行人排序前进。
具体地，条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动包括：
将所述被攻击者的对抗样本Xadv输入到所述行人重识别目标模型
Figure BDA0003034752880000091
中，所述行人重识别目标模型会输出被攻击者的排名表，其中，
Figure BDA0003034752880000092
表示替代模型的参数；
根据所述被攻击者的排名表中目标行人的排序，给所述距离dist(fθ(Xadv)，fθ(Y))加以权重α，所述权重是目标行人的序号/查询库图像总数；
最终的损失函数L为被攻击者的对抗样本与目标行人的查询库图像之间的加权距离，即：
L＝α·||fθ(Xadv)-fθ(Y)||2
选用Adam优化器得到损失函数L关于生成器参数μ的梯度
Figure BDA0003034752880000093
使用反向梯度传播方法，根据梯度更新生成器的参数μ；
重复以上训练步骤，直至条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
如图5所示，所述测试阶段包括如下步骤：
Q1：将高斯噪声与预先指定的目标行人的标签输入到条件生成器；
Q2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的对抗样本；
Q3：将对抗样本作为查询图像输入到目标模型进行查询，目标模型将返回错误的排名表。
具体地，指定目标行人的标签，将随机生成的100维高斯噪声与标签同时输入到训练完毕的条件生成器中，生成器将输出尺寸为3*128*64的扰动。对扰动进行适当修剪，并加到被攻击者的查询图像上，以产生相应的对抗样本。将对抗样本输入到行人重识别目标模型中，所述行人重识别目标模型将输出所述错误的排名表；根据所述排名表中目标行人的排序，计算出关于目标行人的平均精度AP：
Figure BDA0003034752880000094
其中，Dt表示目标行人的查询库，|Dt|表示目标行人的查询库内图像数量，1[·]表示示性函数，xk表示查询库图像。
如图6(a)和图6(b)所示，在黑盒与有目标的条件针对行人重识别模型的攻击方法产生的效果示意图。图6(a)为攻击前的效果示意图；图6(b)为攻击后的效果示意图，其目标标签为b。攻击前后的两张图在视觉上几乎一样，但是却在目标模型下得到完全不同的排名表。
在一种更为具体的实施例中，本发明先在cifar10数据集上对上述思路进行一个简单的复现。当以ResNet-101作为分类模型，限制扰动大小为0.04时，列举部分结果如表所示：
表1结果列表
被攻击类别 目标类别 攻击率
0 3 87.0％
3 8 76.0％
4 2 88.2％
5 3 98.8％
可以发现，条件生成器所生成的扰动能以87％左右的攻击率将被攻击类别攻击为目标类别。证明了本发明方法的有效性。
接下来，本发明选择Market1501作为数据集，AlignedReID作为模型在行人重识别领域展开攻击。首先，使用Market1501的训练集部分来训练模型，训练完成的模型可以达到71.38％的平均精度均值。接着，指定被攻击行人的标签为0，目标行人的标签为1501，取出被攻击行人的查询图像q1与查询库图像g1，以及目标行人的查询库图像g2。将q1，g1，g2分别输入模型中，可以得到相应的特征向量f(q1)，f(g1)，f(g2)。通过欧式距离公式，计算得f(q1)与f(g1)之间的平均距离为3.25，而f(q1)与f(g2)之间的平均距离为5.03。当生成器训练完成后，以任一高斯噪声作为输入，使用条件生成器生成形状为(6,128,64)的扰动。这里的6代表查询图像总数。将生成器所产生的扰动乘以0.00075之后加在q1上，得到其对抗样本
Figure BDA0003034752880000101
将
Figure BDA0003034752880000102
输入到模型中，可以得到对抗样本的特征向量
Figure BDA0003034752880000103
通过欧式距离公式，计算得
Figure BDA0003034752880000111
与f(g1)之间的平均距离变为4.99，而
Figure BDA0003034752880000112
与f(g2)之间的平均距离变为3.75。由此可见，对抗样本与目标行人的距离已经小于它与被攻击者的距离。因此，被攻击行人所返回的排名表错误，攻击成功。本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种攻击行人重识别系统的方法，其特征在于，包括如下步骤：
S1：使用训练数据集训练行人重识别系统；
S2：使用攻击前的查询图像测试行人重识别系统；
S3：基于替代模型与目标模型之间的可迁移性和对所述目标模型的可查询性，采用黑盒攻击对所述行人重识别系统产生对抗样本，所述对抗样本由被攻击者的所有查询图像增加扰动产生；
S4：使用攻击后的查询图像测试行人重识别系统，其与查询库图像的匹配度下降。
2.如权利要求1所述的黑盒攻击行人重识别系统的方法，其特征在于，所述对抗样本是对所有查询图像同时增加同一扰动产生。
3.如权利要求2所述的黑盒攻击行人重识别系统的方法，其特征在于，通过条件生成器产生据噪声输入不同而多样的扰动。
4.如权利要求3所述的黑盒攻击行人重识别系统的方法，其特征在于，所述条件生成器结构包括：9层结构，分别是输入层，5个反卷积层，3个全连接层。其中，反卷积层和前两层全连接层的输出要经过批量归一化处理和非线性函数激活。
5.如权利要求4所述的黑盒攻击行人重识别系统的方法，其特征在于，产生所述对抗样本包括如下步骤：
训练阶段：使用训练数据集训练所述条件生成器生成使被攻击者被成功攻击为目标行人的扰动产生所述对抗样本；
测试阶段：使用测试数据集测试所述对抗样本。
6.如权利要求5所述的黑盒攻击行人重识别系统的方法，其特征在于，所述训练阶段包括如下步骤：
T1：将高斯噪声与目标行人的标签输入到所述条件生成器；
T2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的所述对抗样本；
T3：将所述对抗样本与目标行人的查询库图像输入到行人重识别替代模型；
T4：根据所述行人重识别替代模型所输出的特征向量计算所述对抗样本与目标行人的查询库图像之间的距离；
T5：结合对行人重识别目标模型查询得到损失函数；
T6：将所述损失函数关于条件生成器参数的梯度反向传播给条件生成器以更新其参数；重复上述步骤直到所述条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
7.如权利要求6所述的黑盒攻击行人重识别系统的方法，其特征在于，根据所述行人重识别替代模型所输出的特征向量计算所述对抗样本与目标行人的查询库图像之间的距离包括：
将所述条件生成器生成的扰动修剪后加到被攻击者的查询图像X上，得到相应的对抗样本Xadv，即：Xadv＝X+δ，其中δ是被修剪后的扰动；
选取所述目标行人的查询库图像Y，将所述被攻击者的对抗样本Xadv和目标行人的查询库图像Y输入到所述行人重识别替代模型fθ，所述行人重识别替代模型会输出被攻击者的对抗样本Xadv和目标行人的查询库图像Y的特征向量fθ(Xadv)，fθ(Y)，其中，θ表示替代模型的参数中；
使用欧式距离公式，计算出被攻击者的对抗样本Xadv的特征向量fθ(Xadv)和目标行人的查询库图像Y的特征向量fθ(Y)之间的距离：
dist(fθ(Xadv)，fθ(Y))＝||fθ(Xadv)-fθ(Y)||2
其中，||·||2表示l2范数。
8.如权利要求7所述的黑盒攻击行人重识别系统的方法，其特征在于，所述条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动包括：
将所述被攻击者的对抗样本Xadv输入到所述行人重识别目标模型
Figure FDA0003034752870000021
中，所述行人重识别目标模型会输出被攻击者的排名表，其中，
Figure FDA0003034752870000022
表示替代模型的参数；
根据所述被攻击者的排名表中目标行人的排序，给所述距离dist(fθ(Xadv)，fθ(Y))加以权重α，所述权重是目标行人的序号/查询库图像总数；
最终的损失函数L为被攻击者的对抗样本与目标行人的查询库图像之间的加权距离，即：
L＝α·||fθ(Xadv)-fθ(Y)||2
选用Adam优化器得到损失函数L关于生成器参数μ的梯度
Figure FDA0003034752870000032
使用反向梯度传播方法，根据梯度更新生成器的参数μ；
重复以上训练步骤，直至条件生成器能够生成使被攻击者被成功攻击为目标行人的扰动。
9.如权利要求8所述的黑盒攻击行人重识别系统的方法，其特征在于，所述测试阶段包括如下步骤：
Q1：将高斯噪声与预先指定的目标行人的标签输入到条件生成器；
Q2：将所述条件生成器生成的扰动加到被攻击者的查询图像上，从而产生相应的对抗样本；
Q3：将对抗样本作为查询图像输入到目标模型进行查询，目标模型将返回错误的排名表。
10.如权利要求9所述的黑盒攻击行人重识别系统的方法，其特征在于，将对抗样本输入到行人重识别目标模型中，所述行人重识别目标模型将输出所述错误的排名表；根据所述排名表中目标行人的排序，计算出关于目标行人的平均精度AP：
Figure FDA0003034752870000031
其中，Dt表示目标行人的查询库，|Dt|表示目标行人的查询库内图像数量，1[·]表示示性函数，xk表示查询库图像。
CN202110463342.7A 2021-04-23 2021-04-23 一种黑盒攻击行人重识别系统的方法 Active CN113111963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463342.7A CN113111963B (zh) 2021-04-23 2021-04-23 一种黑盒攻击行人重识别系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463342.7A CN113111963B (zh) 2021-04-23 2021-04-23 一种黑盒攻击行人重识别系统的方法

Publications (2)

Publication Number Publication Date
CN113111963A true CN113111963A (zh) 2021-07-13
CN113111963B CN113111963B (zh) 2023-06-02

Family

ID=76721838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463342.7A Active CN113111963B (zh) 2021-04-23 2021-04-23 一种黑盒攻击行人重识别系统的方法

Country Status (1)

Country Link
CN (1) CN113111963B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688781A (zh) * 2021-09-08 2021-11-23 北京邮电大学 一种遮挡弹性的行人重识别对抗攻击方法
CN113869233A (zh) * 2021-09-30 2021-12-31 湖南大学 一种基于上下文特征不一致性的多专家对抗攻击检测方法
CN116501649A (zh) * 2023-06-26 2023-07-28 鹏城实验室 一种基于先验信息的跟踪器黑盒攻击方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647645A (zh) * 2019-08-06 2020-01-03 厦门大学 一种基于通用扰动的攻击图像检索方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111461307A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于生成对抗网络的通用扰动生成方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别系统中防御图像噪声攻击的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647645A (zh) * 2019-08-06 2020-01-03 厦门大学 一种基于通用扰动的攻击图像检索方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111461307A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于生成对抗网络的通用扰动生成方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别系统中防御图像噪声攻击的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAMIE HAYES ET.AL: "Learning Universal Adversarial Perturbations with Generative Models", 《ARXIV:1708.05207V3 [CS.CR]》 *
WENJIE DING ET.AL: "Universal Adversarial Perturbations Against Person Re-Identification", 《INAPPROARXIV: 1910.14184V1 [CS.CV]》 *
郑宏毅: "针对深度学习的通用对抗扰动研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688781A (zh) * 2021-09-08 2021-11-23 北京邮电大学 一种遮挡弹性的行人重识别对抗攻击方法
CN113688781B (zh) * 2021-09-08 2023-09-15 北京邮电大学 一种遮挡弹性的行人重识别对抗攻击方法
CN113869233A (zh) * 2021-09-30 2021-12-31 湖南大学 一种基于上下文特征不一致性的多专家对抗攻击检测方法
CN116501649A (zh) * 2023-06-26 2023-07-28 鹏城实验室 一种基于先验信息的跟踪器黑盒攻击方法及系统
CN116501649B (zh) * 2023-06-26 2023-10-03 鹏城实验室 一种基于先验信息的跟踪器黑盒攻击方法及系统

Also Published As

Publication number Publication date
CN113111963B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Wang et al. Daedalus: Breaking nonmaximum suppression in object detection via adversarial examples
Liu et al. Learning dual-level deep representation for thermal infrared tracking
CN113111963A (zh) 一种黑盒攻击行人重识别系统的方法
CN110222831A (zh) 深度学习模型的鲁棒性评估方法、装置及存储介质
WO2021169157A1 (zh) 一种基于特征重映射的对抗样本防御方法和应用
Liu et al. Incdet: In defense of elastic weight consolidation for incremental object detection
Liu et al. A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching
CN112396027A (zh) 基于图卷积神经网络的车辆重识别方法
CN109858368B (zh) 一种基于Rosenbrock-PSO的人脸识别攻击防御方法
CN113222960B (zh) 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备
Li et al. DLEP: A deep learning model for earthquake prediction
CN112241554B (zh) 基于差分隐私指数机制的模型窃取防御方法和装置
CN110705652A (zh) 对抗样本及其生成方法、介质、装置和计算设备
CN113988312A (zh) 一种面向机器学习模型的成员推理隐私攻击方法及系统
CN109685830A (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
Jain et al. LogoNet: Layer-aggregated attention centernet for logo detection
Li et al. SA-ES: Subspace activation evolution strategy for black-box adversarial attacks
Fan et al. MP-LN: motion state prediction and localization network for visual object tracking
Naderi et al. Generating unrestricted adversarial examples via three parameteres
Zhou et al. MSFlow: Multiscale Flow-Based Framework for Unsupervised Anomaly Detection
Gupta et al. Normalization free Siamese network for object tracking
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
Chen et al. Act-detector: Adaptive channel transformation-based light-weighted detector for adversarial attacks
CN115758337A (zh) 基于时序图卷积网络的后门实时监测方法、电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant