CN111160217A - 一种行人重识别系统对抗样本生成方法及系统 - Google Patents

一种行人重识别系统对抗样本生成方法及系统 Download PDF

Info

Publication number
CN111160217A
CN111160217A CN201911360046.3A CN201911360046A CN111160217A CN 111160217 A CN111160217 A CN 111160217A CN 201911360046 A CN201911360046 A CN 201911360046A CN 111160217 A CN111160217 A CN 111160217A
Authority
CN
China
Prior art keywords
stage
confrontation
disturbance
pedestrian
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911360046.3A
Other languages
English (en)
Other versions
CN111160217B (zh
Inventor
林倞
王弘焌
王广润
张冬雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911360046.3A priority Critical patent/CN111160217B/zh
Publication of CN111160217A publication Critical patent/CN111160217A/zh
Application granted granted Critical
Publication of CN111160217B publication Critical patent/CN111160217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人重识别系统对抗样本生成方法及系统，该方法包括：S1，将原始图片输入至基于残差网络的生成器中，生成对抗扰动；S2，将对抗扰动按位加至原始图片，生成粗对抗样本I′，并将其与原始图片作特征连接，输入多阶段判别器以生成可控制对抗扰动点数量的二元掩模图；S3，将二元掩模图与对抗扰动按位乘法，并添加到原始图片中，生成扰动点数量可控的对抗样本
Figure DDA0002336945180000011
S4，将对抗样本
Figure DDA0002336945180000013
输入至待攻击的行人重识别模型
Figure DDA0002336945180000012
将模型的返回值作为特征混淆损失函数、对抗学习损失函数、经平滑的分类混淆函数及多尺度结构相似损失函数的输入；S5，多次迭代式地进行S1‑S4的训练过程，更新生成器与多阶段判别器的参数。

Description

一种行人重识别系统对抗样本生成方法及系统
技术领域
本发明涉及基于深度学习的计算机视觉领域，特别是涉及一种基于特征混淆及多阶段对抗生成网络的行人重识别系统对抗样本生成方法及系统。
背景技术
近年来，深度神经网络在计算机视觉任务中取得了广泛的成功。作为最重要的计算机视觉任务之一，行人重识别是通过从成对的图像中提取和测量可区分的特征来实现对摄像机中的各个个体的匹配。由于近年来先进方法的优异性能(如Sun等人于2018年的研究工作“Beyond part models:Person retrieval with refined part pooling and astrong convolutional baseline(ECCV)”)，行人重识别在公安视频监控或刑事鉴定中开始广泛应用开来。
然而，尽管深度学习在各种应用中取得了巨大成功和广泛应用，但最近的研究发现神经网络是极其脆弱的(如Su等人于2019年的研究工作“One pixel attack forfooling deep neural networks(TEVC)”)。具体来说，网络的分类能力会因为对图像产生较小但具有欺骗性噪声的对抗样本而被破坏。近两年来，对抗样本在欺骗视觉分类系统方面取得了显著的成功。不难想象，目前的行人重识别模型也容易受到对抗样本的影响，因为这些方法大多数都是基于深层神经网络。
但将欺骗视觉分类系统的方法简单地移植到行人重识别是不可行的，因为严格来说行人重识别是一个匹配的任务而非分类任务。在视觉分类中，对象类别是固定的。因此，攻击视觉分类系统的对抗样本仅需在一组紧密的类别中对象进行错误分类即可，然而视觉匹配系统里的对象是处于类别可看作无穷多的开放集合中的。因此，对象类别数的爆发增长是欺骗视觉分类系统类方法无法有效迁移的根本挑战。为了将攻击者推广到未知类别，必须考虑测量任意两个给定图像之间的视觉相似性，这就需要提出一种新的基于视觉相似性的攻击范式。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种行人重识别系统对抗样本生成方法及系统，通过利用多阶段对抗生成网络中生成器与多阶段判别器之间的交互，通过多阶段判别器逐步提升分辨对抗样本与普通样本的能力，而生成器也因此能逐步生成更好欺骗判别器的对抗扰动，同时多阶段判别器可发掘图像的重要区域，使得能最小化扰动点的数量。
为达上述及其它目的，本发明提出一种行人重识别系统对抗样本生成方法，包括如下步骤：
步骤S1，将原始输入图片I输入至基于残差网络的生成器
Figure BDA0002336945160000021
中，生成对抗扰动
Figure BDA0002336945160000028
步骤S2，将步骤S1中生成的对抗扰动
Figure BDA0002336945160000023
按位加至原始输入图片I，生成粗对抗样本I′，并将其与原始输入作特征连接，输入至多阶段判别器
Figure BDA0002336945160000022
以生成可控制对抗扰动点数量的二元掩模图
Figure BDA0002336945160000024
步骤S3，将所述二元掩模图
Figure BDA0002336945160000025
与所述对抗扰动
Figure BDA0002336945160000026
施以按位乘法，并添加到原始输入图片I中，生成扰动点数量可控的对抗样本
Figure BDA0002336945160000027
步骤S4，将步骤S3中生成的对抗样本
Figure BDA0002336945160000029
输入至待攻击的行人重识别模型
Figure BDA00023369451600000217
将模型的返回值作为特征混淆损失函数
Figure BDA00023369451600000210
对抗学习损失函数
Figure BDA00023369451600000216
经平滑的分类混淆函数
Figure BDA00023369451600000211
及多尺度结构相似损失函数
Figure BDA00023369451600000214
的输入；
步骤S5，多次迭代式地进行步骤S1-S4的训练过程，更新所述生成器
Figure BDA00023369451600000215
与多阶段判别器
Figure BDA00023369451600000212
的参数，步骤S3中最后生成的对抗样本
Figure BDA00023369451600000213
即为经过优化的可欺骗行人重识别系统的对抗样本。
优选地，步骤S1进一步包括：
步骤S100，选择含有类别标注的数据集作为模型监督学习的训练样本；
步骤S101，将原始输入图片I输入由六个基本残差单元构建的残差网络生成对抗扰动
Figure BDA0002336945160000031
每个基本残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元之间间隔两次降采样，后三个单元之间间隔两次升采样。
优选地，于步骤S2中，所述多阶段判别器
Figure BDA0002336945160000032
由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集
Figure BDA00023369451600000312
在阶段金字塔阶段，根据图像金字塔阶段的特征图集
Figure BDA0002336945160000033
生成可控制对抗扰动点数量的二元掩模图
Figure BDA0002336945160000034
优选地，步骤S2进一步包括：
步骤S200,在图像金字塔阶段，采用并列、结构相同但互不共享参数的三个卷积神经网络将步骤S1中生成的对抗扰动拷贝三份，每一个子网络接收不同尺度的图像输入，经过五次卷积及三次降采样后，分别输出三张具有不同感受野的高维特征图
Figure BDA0002336945160000035
每个特征特图再以均方误差作为损失函数监督；
步骤S201，在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图
Figure BDA00023369451600000311
步骤S202，以所述预掩模图
Figure BDA00023369451600000310
作为Gumbel softmax的输入，使得所述预掩模图
Figure BDA0002336945160000036
二值化，并通过一个超参数τ控制掩模图中置1的数量，从而生成最终的掩模图
Figure BDA0002336945160000037
优选地，于步骤S200中，将步骤S1中生成的对抗扰动拷贝三份，分别将其降采样为
Figure BDA0002336945160000038
倍于原图的大小得到
Figure BDA0002336945160000039
将其按位加到经过同样处理的原图{I1,I2,I3}上，得到三份分辨率大小不同的对抗样本{I′1,I′2,I′3}，将其与原图做特征连接后，每一个并列子网络分别接收对应分辨率的图像，经过五次卷积和三次降采样后，分别输出三张具有不同感受野的高维特征图
Figure BDA00023369451600000414
Figure BDA0002336945160000041
每个特征特图再以均方误差作为损失函数监督。
优选地，于步骤S3中，将步骤S1中生成的对抗扰动
Figure BDA00023369451600000411
与步骤S2中生成的二元掩模图
Figure BDA0002336945160000042
作按位乘积，得到新的对抗扰动
Figure BDA00023369451600000410
将新的对抗扰动
Figure BDA00023369451600000412
加到原始输入图片I上，得到扰动点数量可控的对抗样本
Figure BDA0002336945160000049
优选地，于步骤S5中，每一轮经迭代生成的对抗样本
Figure BDA00023369451600000413
都不作为下一轮迭代的输入，而是重新根据当前多阶段对抗生成网络的参数生成。
优选地，于步骤S5后，还包括如下步骤：
在每个训练样本迭代完成后，根据最后对抗样本生成的优劣，对训练样本进行带权的重采样，其权值由估计值与行人重识别模型的返回值成正比。
为达到上述目的，本发明还提供一种行人重识别系统对抗样本生成系统，包括：
对抗扰动生成单元，利用基于深度卷积网络的生成器
Figure BDA00023369451600000415
将原始的输入图片I输入至基于深度卷积网络的生成器
Figure BDA00023369451600000423
中，生成对抗扰动
Figure BDA00023369451600000416
多阶段判别单元，用于将所述对抗扰动生成单元产生的对抗扰动
Figure BDA00023369451600000417
按位加至原始输入图片I，生成粗对抗样本I′，将其与原始输入作特征连接，输入至多阶段判别器
Figure BDA0002336945160000043
生成可控制对抗扰动点数量的二元掩模图
Figure BDA00023369451600000418
掩模整合单元，将所述多阶段判别单元生成的二元掩模图
Figure BDA00023369451600000419
与所述对抗扰动生成单元生成的对抗扰动
Figure BDA0002336945160000044
施以按位乘法，将其按位添加到原始输入图片I中，生成扰动点数量可控的对抗样本
Figure BDA0002336945160000045
混淆监督单元，用于江所述掩模整合单元生成的对抗样本
Figure BDA00023369451600000420
输入至待攻击的行人重识别模型
Figure BDA0002336945160000047
模型的返回值作为特征混淆损失函数
Figure BDA00023369451600000421
对抗学习损失函数
Figure BDA0002336945160000048
经平滑的分类混淆函数
Figure BDA0002336945160000046
及多尺度结构相似损失函数
Figure BDA00023369451600000422
的输入；
迭代训练单元，多次迭代式地进行对抗扰动生成单元、多阶段判别单元、掩模整合单元以及混淆监督单元的训练过程，更新生成器
Figure BDA0002336945160000052
与多阶段判别器
Figure BDA0002336945160000058
的参数，所述掩模整合单元最后生成的对抗样本
Figure BDA0002336945160000051
即为经过优化的可欺骗行人重识别系统的对抗样本。
优选地，于所述多阶段判别单元中，所述多阶段判别器
Figure BDA0002336945160000053
由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集
Figure BDA0002336945160000057
在阶段金字塔阶段，根据图像金字塔阶段的特征图集
Figure BDA0002336945160000054
生成可控制对抗扰动点数量的二元掩模图
Figure BDA0002336945160000055
与现有技术相比，本发明一种行人重识别系统对抗样本生成方法通过将原始的输入图片输入至多阶段对抗生成网络，利用多阶段对抗生成网络中生成器与多阶段判别器之间的交互，生成器逐步生成能更好欺骗判别器的对抗扰动，多阶段判别器逐步提升分辨对抗样本与普通样本的能力，该方法中的多阶段判别器模型能够学到对抗样本中最为重要的位置信息，因此在多阶段判别器模型的基础上，增加了像素采样器，用以辅助生成器控制对抗扰动所需的像素点，以进一步减少对原始样本的视觉影响。本发明将像素采样器生成的二元掩模图与生成器生成的扰动施以按位乘法，则可生成数量可控的扰动点，并将其添加到原始样本中，并以特征混淆损失函数、对抗学习损失函数、经平滑的分类混淆函数及多尺度结构相似损失函数作为监督，更新该扰动；多次迭代式地进行前述训练过程，获得经过优化的极易欺骗各类行人重识别系统的对抗样本。
附图说明
图1为本发明一种行人重识别系统对抗样本生成方法的步骤流程图；
图2为本发明具体实施例中多阶段判别器
Figure BDA0002336945160000056
的结构图；
图3为本发明具体实施例中迭代式训练过程的示意图；
图4为本发明一种行人重识别系统对抗样本生成系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种行人重识别系统对抗样本生成方法的步骤流程图。如图1所示，本发明一种行人重识别系统对抗样本生成方法，包括如下步骤：
步骤S1，将原始的输入图片I输入至卷积神经网络的生成器
Figure BDA0002336945160000061
中，生成对抗扰动
Figure BDA0002336945160000062
在本发明具体实施例中，于步骤S1中，采用基于残差网络的生成器
Figure BDA0002336945160000065
将原始的输入图片I输入至该生成器
Figure BDA0002336945160000063
生成对抗扰动
Figure BDA0002336945160000064
具体地，步骤S1进一步包括如下步骤：
步骤S100，选择含有类别标注的数据集作为模型监督学习的训练数据，同时等量地选取同类别的行人样本以及与其不同类别的行人样本；
步骤S101，采用六个基本残差单元构建的残差网络生成对抗扰动
Figure BDA0002336945160000066
每个残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元间隔着两次降采样，后三个单元间隔着两次升采样。
步骤S2，将步骤S1中生成的扰动
Figure BDA0002336945160000067
按位加至原始输入图片I，生成粗对抗样本I′，将其与原始输入作特征连接，输入至多阶段判别器
Figure BDA0002336945160000068
利用所述多阶段判别器
Figure BDA00023369451600000614
生成可控制对抗扰动点数量的二元掩模图
Figure BDA0002336945160000069
具体地，在多阶段判别器
Figure BDA00023369451600000615
的图像金字塔阶段生成多种分辨率的特征图集
Figure BDA00023369451600000610
在阶段金字塔阶段，多阶段判别器
Figure BDA00023369451600000613
根据图像金字塔阶段的特征图集
Figure BDA00023369451600000611
生成可控制对抗扰动点数量的二元掩模图
Figure BDA00023369451600000612
图2为本发明具体实施例中多阶段判别器
Figure BDA00023369451600000616
的结构图。在本发明具体实施例中，该多阶段判别器
Figure BDA00023369451600000711
由两个阶段构成：图像金字塔阶段及阶段金字塔阶段。
具体地，步骤S2进一步包括：
步骤S200,在图像金字塔阶段，三个并列的卷积神经网络结构相同，但互不共享参数，将步骤S1中生成的对抗扰动拷贝三份，分别将其降采样为
Figure BDA0002336945160000071
倍于原图的大小得到
Figure BDA0002336945160000072
将其按位加到经过同样处理的原图{I1,I2,I3}上，得到三份分辨率大小不同的对抗样本{I′1,I′2,I′3}，将其原图做特征连接后，每一个并列子网络分别接收对应分辨率的图像，经过五次卷积(其中前三个卷积层包含卷积、批归一化、谱规范化、带泄漏的线性修正单元及步长为2的降采样(滑动步长＝2的卷积)，第四个卷积层仅包含卷积、谱规范化、带泄漏的线性修正单元，第五个卷积层仅有卷积操作)，分别输出三张具有不同感受野的高维特征图
Figure BDA0002336945160000073
每个特征特图再以均方误差作为损失函数监督。
步骤S201，以步骤S200中图像金字塔阶段的三个并列的卷积神经网络结构产生多种分辨率的特征图集
Figure BDA0002336945160000074
在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图
Figure BDA0002336945160000075
步骤S202，以步骤S201中生成的预掩模图
Figure BDA0002336945160000076
作为Gumbel softmax(即图示采样器)的输入，其公式可通过下述公式概述：
Figure BDA0002336945160000077
其中，i∈(0,H),j∈(0,W)代表了尺寸为H×W的特征图中的各个像素。概率值pi,j由预掩模图
Figure BDA0002336945160000078
各个位置的值λi,j参数化，
Figure BDA0002336945160000079
其中U为(0,1)之间的均匀分布。
Gumbel softmax使得预掩模图
Figure BDA00023369451600000710
二值化，并通过一个超参数τ控制掩模图中置1的数量，当τ→0时，Gumbel softmax分布趋于独热分布(即只有一个位置置1，其他位置置0)，从而生成最终的掩模图
Figure BDA0002336945160000081
由于Gumbel softmax的软化，二元掩模图可以通过反向传播的方式进行更新。
步骤S3，将步骤S1中生成的对抗扰动
Figure BDA0002336945160000082
与步骤S2中生成的二元掩模图
Figure BDA0002336945160000083
作按位乘积，得到新的对抗扰动
Figure BDA0002336945160000084
并将新的对抗扰动
Figure BDA0002336945160000085
加到原始输入图像上，得到扰动点数量可控的对抗样本
Figure BDA0002336945160000086
步骤S4，将步骤S3中生成的对抗样本
Figure BDA0002336945160000087
输入至待攻击的行人重识别模型
Figure BDA0002336945160000088
模型的返回值作为特征混淆损失函数
Figure BDA0002336945160000089
对抗学习损失函数
Figure BDA00023369451600000810
经平滑的分类混淆函数
Figure BDA00023369451600000811
及多尺度结构相似损失函数
Figure BDA00023369451600000812
的输入。
具体地，如图3所示，特征混淆损失函数
Figure BDA00023369451600000813
将攻击目标的特征与在{Ics}中的样本(即同类别的样本)的特征推开，并将攻击目标与在{Icd}中的样本(即不同类别的样本)的特征拉近，从而达到最终的混淆目的，{Ics}代表与攻击目标同类别的其他样本，{Icd}代表与攻击目标不同类别的其他样本，具体地，特征混淆损失函数
Figure BDA00023369451600000814
可以通过下式表达：
Figure BDA00023369451600000815
其中，Ck是训练时采样样本的类别数量，cs和cd时来自同类/不同类的呀根本，dist(·)代表度量函数，Δ为边界阈值。
对抗学习损失函数
Figure BDA00023369451600000816
可以通过下式表达：
Figure BDA00023369451600000817
其中，I+,I-均为原始的输入图像，满足I＝I+∪I-，
Figure BDA00023369451600000818
经平滑的分类混淆函数
Figure BDA00023369451600000819
可以通过下式表达：
Figure BDA00023369451600000820
其中，S代表log-softmax函数，K是行人身份类别的总数，
Figure BDA0002336945160000091
Figure BDA0002336945160000092
为平滑正则项，vk则代表除了真实标签k以外的类别概率均为
Figure BDA0002336945160000093
其他为0。argmin(·)给出行人重识别模型
Figure BDA0002336945160000098
返回中可能性最小类别的下标。
Figure BDA0002336945160000094
相比于不添加平滑正则项的分类混淆函数，其使得训练过程更加稳定。
多尺度结构相似损失函数
Figure BDA0002336945160000095
可以通过下式表达：
Figure BDA0002336945160000096
其中，L代表缩放尺度的等级，αL,βj,γj代表对于各个成分的贡献度配比，lL,cj,sj可参考Wang等人的论文“Multiscale structural similarity for image qualityassessment”(ACSSC,volume2,1398–1402.Ieee,2003)。该损失函数能够较好地模拟人类视觉系统的主观感知，训练时添加该损失函数可使得对抗扰动在变化很大时，依然可以不被人察觉。
最后，综合上述的所有损失函数，整个网络训练的监督损失函数可用下式表示：
Figure BDA0002336945160000097
其中，μ和ξ分别为权重因子，用以平衡特征混淆与视觉质量之间的占比度。
步骤S5，多次迭代式地进行步骤S1-S4的训练过程，最终获得经过精细化后的人群密度图，其中每一轮经迭代细化后的密度图Mi都将作为可迭代的空间感知细化模块的下一轮迭代的输入，根据长短期记忆模块的策略进一步进行细化。
图3为本发明具体实施例中迭代式训练过程的示意图，具体地，交替地进行步骤S1、S2、S3、S4，直到满足设定的停止条件时停止整个模型的训练。
较佳地，于步骤S5后，本发明之基于特征混淆及多阶段对抗生成网络的行人重识别系统对抗样本生成方法还包括如下步骤：
在每个训练样本迭代完成后，根据最后对抗样本生成的优劣，对训练样本进行带权的重采样，其权值由估计值与行人重识别模型的返回值成正比。
图4为本发明一种行人重识别系统对抗样本生成系统的系统架构图。如图4所示，本发明一种行人重识别系统对抗样本生成系统，包括：
对抗扰动生成单元401，利用基于深度卷积网络的生成器
Figure BDA0002336945160000101
将原始的输入图片I输入至基于深度卷积网络的生成器
Figure BDA0002336945160000102
中，生成对抗扰动
Figure BDA0002336945160000103
在本发明具体实施例中，对抗扰动生成单元401将原始的输入图片I输入至基于残差网络的生成器
Figure BDA0002336945160000104
中，生成对抗扰动
Figure BDA0002336945160000105
具体地，对抗扰动生成单元401进一步包括：
训练数据选择单元，选择含有类别标注的数据集作为模型监督学习的训练数据，同时等量地选取同类别的行人样本以及与其不同类别的行人样本；
特征抽取单元，利用六个基本残差单元构建的残差网络对输入图片I生成对抗扰动
Figure BDA0002336945160000106
每个残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元间隔着两次降采样，后三个单元则间隔着两次升采样。
多阶段判别单元402，用于将对抗扰动生成单元401产生的对抗扰动
Figure BDA0002336945160000107
按位加至原始输入图片I，生成粗对抗样本I′，将其与原始输入作特征连接，输入至多阶段判别器
Figure BDA0002336945160000108
在图像金字塔阶段生成多种分辨率的特征图集
Figure BDA0002336945160000109
在阶段金字塔阶段，多阶段判别器
Figure BDA00023369451600001010
根据图像金字塔阶段的特征图集
Figure BDA00023369451600001011
生成可控制对抗扰动点数量的二元掩模图
Figure BDA00023369451600001012
具体地，多阶段判别单元402进一步包括：
图像金字塔单元,用于将对抗扰动生成单元401中生成的对抗扰动拷贝三份，分别将其降采样为
Figure BDA00023369451600001013
倍于原图的大小得到
Figure BDA00023369451600001014
将其按位加到经过同样处理的原图{I1,I2,I3}上，得到三份分辨率大小不同的对抗样本{I′1,I′2,I′3}。将其原图做特征连接后，每一个并列子网络分别接收对应分辨率的图像，经过五次卷积(及批归一化、谱规范化、带泄漏的线性修正单元)和三次降采样后，分别输出三张具有不同感受野的高维特征图
Figure BDA00023369451600001015
每个特征特图再以均方误差作为损失函数监督。
阶段金字塔单元，用于接收以图像金字塔单元中图像金字塔阶段的三个并列的卷积神经网络结构产生多种分辨率的特征图集
Figure BDA0002336945160000111
在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图
Figure BDA0002336945160000112
掩模生成单元，以阶段金字塔单元中生成的预掩模图
Figure BDA0002336945160000113
作为Gumbel softmax的输入，其公式可通过下述公式概述：
Figure BDA0002336945160000114
其中，i∈(0,H),j∈(0,W)代表了尺寸为H×W的特征图中的各个像素。概率值pi,j由预掩模图
Figure BDA0002336945160000115
各个位置的值λi,j参数化，
Figure BDA0002336945160000116
其中U为(0,1)之间的均匀分布。Gumbel softmax使得预掩模图
Figure BDA0002336945160000117
二值化，并通过一个超参数τ控制掩模图中置1的数量，当τ→0时，Gumbel softmax分布趋于独热分布(即只有一个位置置1，其他位置置0)，从而生成最终的掩模图
Figure BDA0002336945160000118
由于Gumbel softmax的软化，二元掩模图可以通过反向传播的方式进行更新。
掩模整合单元403，将多阶段判别单元402中生成的二元掩模图
Figure BDA0002336945160000119
与对抗扰动生成单元401中生成器
Figure BDA00023369451600001110
生成的扰动
Figure BDA00023369451600001111
施以按位乘法，将其按位添加到原始样本I中，生成扰动点数量可控的对抗样本
Figure BDA00023369451600001112
混淆监督单元404，用将掩模整合单元403中生成的对抗样本
Figure BDA00023369451600001113
输入至待攻击的行人重识别模型
Figure BDA00023369451600001114
模型的返回值作为特征混淆损失函数
Figure BDA00023369451600001115
对抗学习损失函数
Figure BDA00023369451600001116
经平滑的分类混淆函数
Figure BDA00023369451600001117
及多尺度结构相似损失函数
Figure BDA00023369451600001118
的输入。
迭代训练单元405，多次迭代式地进行对抗扰动生成单元401、多阶段判别单元402、掩模整合单元403以及混淆监督单元404的训练过程，更新生成器
Figure BDA00023369451600001119
与多阶段判别器
Figure BDA00023369451600001120
的参数，掩模整合单元403中最后生成的样本
Figure BDA00023369451600001121
即为经过优化的可欺骗行人重识别系统的对抗样本。
较佳地，迭代训练单元405在每个训练样本迭代完成后，对训练样本进行带权的重采样，其权值由估计值与行人重识别模型的返回值成正比。
综上所述，本发明一种行人重识别系统对抗样本生成方法通过将原始的输入图片输入至多阶段对抗生成网络，利用多阶段对抗生成网络中生成器与多阶段判别器之间的交互，生成器逐步生成能更好欺骗判别器的对抗扰动，多阶段判别器逐步提升分辨对抗样本与普通样本的能力，该方法中的多阶段判别器模型能够学到对抗样本中最为重要的位置信息，因此在多阶段判别器模型的基础上，增加了像素采样器，用以辅助生成器控制对抗扰动所需的像素点，以进一步减少对原始样本的视觉影响。本发明将像素采样器生成的二元掩模图与生成器生成的扰动施以按位乘法，则可生成数量可控的扰动点，并将其添加到原始样本中，并以特征混淆损失函数、对抗学习损失函数、经平滑的分类混淆函数及多尺度结构相似损失函数作为监督，更新该扰动；多次迭代式地进行前述训练过程，获得经过优化的极易欺骗各类行人重识别系统的对抗样本。本发明有效地捕捉了图片中各位置的特征，同时在迭代优化过程中可根据任意两个给定图像之间的视觉相似性生成欺骗性噪声，而无需限定其必须落于给定的类别中，使得最终的性能及实用范围超过了现有的基于欺骗视觉分类系统的方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种行人重识别系统对抗样本生成方法，包括如下步骤：
步骤S1，将原始输入图片I输入至基于残差网络的生成器
Figure FDA0002336945150000011
中，生成对抗扰动
Figure FDA0002336945150000012
步骤S2，将步骤S1中生成的对抗扰动
Figure FDA0002336945150000013
按位加至原始输入图片I，生成粗对抗样本I′，并将其与原始输入作特征连接，输入至多阶段判别器
Figure FDA0002336945150000014
以生成可控制对抗扰动点数量的二元掩模图
Figure FDA0002336945150000015
步骤S3，将所述二元掩模图
Figure FDA0002336945150000016
与所述对抗扰动
Figure FDA0002336945150000017
施以按位乘法，并添加到原始输入图片I中，生成扰动点数量可控的对抗样本
Figure FDA0002336945150000018
步骤S4，将步骤S3中生成的对抗样本
Figure FDA0002336945150000019
输入至待攻击的行人重识别模型
Figure FDA00023369451500000110
将模型的返回值作为特征混淆损失函数
Figure FDA00023369451500000111
对抗学习损失函数
Figure FDA00023369451500000112
经平滑的分类混淆函数
Figure FDA00023369451500000113
及多尺度结构相似损失函数
Figure FDA00023369451500000114
的输入；
步骤S5，多次迭代式地进行步骤S1-S4的训练过程，更新所述生成器
Figure FDA00023369451500000115
与多阶段判别器
Figure FDA00023369451500000116
的参数，步骤S3中最后生成的对抗样本
Figure FDA00023369451500000117
即为经过优化的可欺骗行人重识别系统的对抗样本。
2.如权利要求1所述的一种行人重识别系统对抗样本生成方法，其特征在于，步骤S1进一步包括：
步骤S100，选择含有类别标注的数据集作为模型监督学习的训练样本；
步骤S101，将原始输入图片I输入由六个基本残差单元构建的残差网络生成对抗扰动
Figure FDA00023369451500000118
每个基本残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元之间间隔两次降采样，后三个单元之间间隔两次升采样。
3.如权利要求1所述的一种行人重识别系统对抗样本生成方法，其特征在于：于步骤S2中，所述多阶段判别器
Figure FDA00023369451500000119
由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集
Figure FDA00023369451500000120
在阶段金字塔阶段，根据图像金字塔阶段的特征图集
Figure FDA00023369451500000121
生成可控制对抗扰动点数量的二元掩模图
Figure FDA0002336945150000021
4.如权利要求3所述的一种行人重识别系统对抗样本生成方法，其特征在于，步骤S2进一步包括：
步骤S200,在图像金字塔阶段，采用并列、结构相同但互不共享参数的三个卷积神经网络将步骤S1中生成的对抗扰动拷贝三份，每一个子网络接收不同尺度的图像输入，经过五次卷积及三次降采样后，分别输出三张具有不同感受野的高维特征图
Figure FDA0002336945150000022
每个特征特图再以均方误差作为损失函数监督；
步骤S201，在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图
Figure FDA0002336945150000023
步骤S202，以所述预掩模图
Figure FDA0002336945150000024
作为Gumbel softmax的输入，使得所述预掩模图
Figure FDA0002336945150000025
二值化，并通过一个超参数τ控制掩模图中置1的数量，从而生成最终的掩模图
Figure FDA0002336945150000026
5.如权利要求4所述的一种行人重识别系统对抗样本生成方法，其特征在于：于步骤S200中，将步骤S1中生成的对抗扰动拷贝三份，分别将其降采样为
Figure FDA0002336945150000027
倍于原图的大小得到
Figure FDA0002336945150000028
将其按位加到经过同样处理的原图{I1,I2,I3}上，得到三份分辨率大小不同的对抗样本{I′1,I′2,I′3}，将其与原图做特征连接后，每一个并列子网络分别接收对应分辨率的图像，经过五次卷积和三次降采样后，分别输出三张具有不同感受野的高维特征图
Figure FDA0002336945150000029
每个特征特图再以均方误差作为损失函数监督。
6.如权利要求1所述的一种行人重识别系统对抗样本生成方法，其特征在于：于步骤S3中，将步骤S1中生成的对抗扰动
Figure FDA00023369451500000210
与步骤S2中生成的二元掩模图
Figure FDA00023369451500000211
作按位乘积，得到新的对抗扰动
Figure FDA00023369451500000212
将新的对抗扰动
Figure FDA00023369451500000213
加到原始输入图片I上，得到扰动点数量可控的对抗样本
Figure FDA00023369451500000214
7.如权利要求1所述的一种基于特征混淆及多阶段对抗生成网络的行人重识别系统对抗样本生成方法，其特征在于：于步骤S5中，每一轮经迭代生成的对抗样本
Figure FDA0002336945150000031
都不作为下一轮迭代的输入，而是重新根据当前多阶段对抗生成网络的参数生成。
8.如权利要求1所述的一种基于特征混淆及多阶段对抗生成网络的行人重识别系统对抗样本生成方法，其特征在于：于步骤S5后，还包括如下步骤：
在每个训练样本迭代完成后，根据最后对抗样本生成的优劣，对训练样本进行带权的重采样，其权值由估计值与行人重识别模型的返回值成正比。
9.一种行人重识别系统对抗样本生成系统，包括：
对抗扰动生成单元，利用基于深度卷积网络的生成器
Figure FDA0002336945150000032
将原始的输入图片I输入至基于深度卷积网络的生成器
Figure FDA0002336945150000033
中，生成对抗扰动
Figure FDA0002336945150000034
多阶段判别单元，用于将所述对抗扰动生成单元产生的对抗扰动
Figure FDA0002336945150000035
按位加至原始输入图片I，生成粗对抗样本I′，将其与原始输入作特征连接，输入至多阶段判别器
Figure FDA0002336945150000036
生成可控制对抗扰动点数量的二元掩模图
Figure FDA0002336945150000037
掩模整合单元，将所述多阶段判别单元生成的二元掩模图
Figure FDA0002336945150000038
与所述对抗扰动生成单元生成的对抗扰动
Figure FDA0002336945150000039
施以按位乘法，将其按位添加到原始输入图片I中，生成扰动点数量可控的对抗样本
Figure FDA00023369451500000310
混淆监督单元，用于江所述掩模整合单元生成的对抗样本
Figure FDA00023369451500000311
输入至待攻击的行人重识别模型
Figure FDA00023369451500000312
模型的返回值作为特征混淆损失函数
Figure FDA00023369451500000313
对抗学习损失函数
Figure FDA00023369451500000314
经平滑的分类混淆函数
Figure FDA00023369451500000315
及多尺度结构相似损失函数
Figure FDA00023369451500000316
的输入；
迭代训练单元，多次迭代式地进行对抗扰动生成单元、多阶段判别单元、掩模整合单元以及混淆监督单元的训练过程，更新生成器
Figure FDA00023369451500000317
与多阶段判别器
Figure FDA00023369451500000318
的参数，所述掩模整合单元最后生成的对抗样本
Figure FDA00023369451500000319
即为经过优化的可欺骗行人重识别系统的对抗样本。
10.如权利要求9所述的一种行人重识别系统对抗样本生成系统，其特征在于，于所述多阶段判别单元中，所述多阶段判别器
Figure FDA00023369451500000320
由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集
Figure FDA0002336945150000041
在阶段金字塔阶段，根据图像金字塔阶段的特征图集
Figure FDA0002336945150000042
生成可控制对抗扰动点数量的二元掩模图
Figure FDA0002336945150000043
CN201911360046.3A 2019-12-25 2019-12-25 一种行人重识别系统对抗样本生成方法及系统 Active CN111160217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911360046.3A CN111160217B (zh) 2019-12-25 2019-12-25 一种行人重识别系统对抗样本生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911360046.3A CN111160217B (zh) 2019-12-25 2019-12-25 一种行人重识别系统对抗样本生成方法及系统

Publications (2)

Publication Number Publication Date
CN111160217A true CN111160217A (zh) 2020-05-15
CN111160217B CN111160217B (zh) 2023-06-23

Family

ID=70558003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911360046.3A Active CN111160217B (zh) 2019-12-25 2019-12-25 一种行人重识别系统对抗样本生成方法及系统

Country Status (1)

Country Link
CN (1) CN111160217B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115781A (zh) * 2020-08-11 2020-12-22 西安交通大学 基于对抗攻击样本和多视图聚类的无监督行人重识别方法
CN112232241A (zh) * 2020-10-22 2021-01-15 华中科技大学 一种行人重识别方法、装置、电子设备和可读存储介质
CN112364641A (zh) * 2020-11-12 2021-02-12 北京中科闻歌科技股份有限公司 一种面向文本审核的中文对抗样本生成方法及装置
CN112949822A (zh) * 2021-02-02 2021-06-11 中国人民解放军陆军工程大学 一种基于双重注意力机制的低感知性对抗样本构成方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别系统的方法
CN113450271A (zh) * 2021-06-10 2021-09-28 南京信息工程大学 一种基于人类视觉模型的鲁棒自适应对抗样本生成方法
CN113869233A (zh) * 2021-09-30 2021-12-31 湖南大学 一种基于上下文特征不一致性的多专家对抗攻击检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110163117A (zh) * 2019-04-28 2019-08-23 浙江大学 一种基于自激励判别性特征学习的行人重识别方法
CN110334806A (zh) * 2019-05-29 2019-10-15 广东技术师范大学 一种基于生成式对抗网络的对抗样本生成方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163117A (zh) * 2019-04-28 2019-08-23 浙江大学 一种基于自激励判别性特征学习的行人重识别方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110334806A (zh) * 2019-05-29 2019-10-15 广东技术师范大学 一种基于生成式对抗网络的对抗样本生成方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115781A (zh) * 2020-08-11 2020-12-22 西安交通大学 基于对抗攻击样本和多视图聚类的无监督行人重识别方法
CN112232241A (zh) * 2020-10-22 2021-01-15 华中科技大学 一种行人重识别方法、装置、电子设备和可读存储介质
CN112232241B (zh) * 2020-10-22 2022-03-25 华中科技大学 一种行人重识别方法、装置、电子设备和可读存储介质
CN112364641A (zh) * 2020-11-12 2021-02-12 北京中科闻歌科技股份有限公司 一种面向文本审核的中文对抗样本生成方法及装置
CN112949822A (zh) * 2021-02-02 2021-06-11 中国人民解放军陆军工程大学 一种基于双重注意力机制的低感知性对抗样本构成方法
CN112949822B (zh) * 2021-02-02 2023-08-04 中国人民解放军陆军工程大学 一种基于双重注意力机制的低感知性对抗样本构成方法
CN113111963A (zh) * 2021-04-23 2021-07-13 清华大学深圳国际研究生院 一种黑盒攻击行人重识别系统的方法
CN113111963B (zh) * 2021-04-23 2023-06-02 清华大学深圳国际研究生院 一种黑盒攻击行人重识别系统的方法
CN113450271A (zh) * 2021-06-10 2021-09-28 南京信息工程大学 一种基于人类视觉模型的鲁棒自适应对抗样本生成方法
CN113450271B (zh) * 2021-06-10 2024-02-27 南京信息工程大学 一种基于人类视觉模型的鲁棒自适应对抗样本生成方法
CN113869233A (zh) * 2021-09-30 2021-12-31 湖南大学 一种基于上下文特征不一致性的多专家对抗攻击检测方法

Also Published As

Publication number Publication date
CN111160217B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111160217A (zh) 一种行人重识别系统对抗样本生成方法及系统
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
Blum et al. Fishyscapes: A benchmark for safe semantic segmentation in autonomous driving
CN107529650B (zh) 闭环检测方法、装置及计算机设备
Kang et al. SAR image classification based on the multi-layer network and transfer learning of mid-level representations
CN111598182B (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
JP6867054B2 (ja) マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110569971B (zh) 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法
WO2021144943A1 (ja) 制御方法、情報処理装置および制御プログラム
Ganesan et al. A novel feature descriptor based coral image classification using extreme learning machine with ameliorated chimp optimization algorithm
KR20220167824A (ko) 인공지능 기반의 노이즈 제거에 따른 이미지 구축을 통한 불량 검출 시스템 및 방법
Choi et al. Content recapture detection based on convolutional neural networks
Kadim et al. Deep-learning based single object tracker for night surveillance.
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法
CN110263808B (zh) 一种基于lstm网络和注意力机制的图像情感分类方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN116844032A (zh) 一种海洋环境下目标检测识别方法、装置、设备及介质
CN115439708A (zh) 一种图像数据处理方法和装置
CN112529025A (zh) 一种数据处理方法及装置
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN115358952B (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN115346125B (zh) 一种基于深度学习的目标检测方法
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant