CN113255526A - 基于动量的对人群计数模型的对抗样本生成方法及系统 - Google Patents

基于动量的对人群计数模型的对抗样本生成方法及系统 Download PDF

Info

Publication number
CN113255526A
CN113255526A CN202110588717.2A CN202110588717A CN113255526A CN 113255526 A CN113255526 A CN 113255526A CN 202110588717 A CN202110588717 A CN 202110588717A CN 113255526 A CN113255526 A CN 113255526A
Authority
CN
China
Prior art keywords
countermeasure
sample
image
loss
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110588717.2A
Other languages
English (en)
Other versions
CN113255526B (zh
Inventor
周潘
张红婷
吴启铭
徐子川
付才
丁晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110588717.2A priority Critical patent/CN113255526B/zh
Publication of CN113255526A publication Critical patent/CN113255526A/zh
Application granted granted Critical
Publication of CN113255526B publication Critical patent/CN113255526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于动量的对人群计数模型的对抗样本生成方法，该方法包括：插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本；将对抗样本输入人群计数模型中，输出预测人群密度图；计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，执行输出预测人群密度图的步骤，直至得到损失值不超过阈值时对应的对抗样本。对抗补丁在高密度的背景下使人眼难以察觉到；还将动量整合到了对抗补丁的优化过程中，克服了在高维空间中搜索最佳对抗样本点时会被困在较差的局部最小值或最大值中的问题，可以有效评估人群计数模型对于对抗补丁攻击和认证防御的鲁棒性。

Description

基于动量的对人群计数模型的对抗样本生成方法及系统
技术领域
本发明涉及机器学习技术领域，尤其涉及一种基于动量的对人群计数模型的对抗样本生成方法及系统。
背景技术
深度神经网络容易受到对抗攻击，即正常的图像在人类无法察觉的干扰下可能误导深度神经网络做出错误的预测。
由于COVID-19病毒的全球爆发，大量公共场所要求人们保持社交距离。因此，基于深度神经网络的人群计数在公共监控摄像头和交通控制系统等关键安全应用中得到了广泛的应用。现有的研究主要集中在提高人群计数模型在非对抗性场景中的表现。然而，最近的研究表明，DNNs容易受到对抗攻击，也就是说，正常的图像在人类无法察觉的干扰下可能误导DNNs做出错误的预测。考虑到潜在的攻击者可能会利用基于深度神经网络的人群计数模型进行对抗样本攻击这一漏洞，使人群计数模型无法准确统计人群，从而增加造成公共安全事故（如病毒感染、踩踏和交通事故）的可能性，因此，一种高效的针对人群计数模型的对抗样本生成方法将成为研究和应用的重点。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于动量的对人群计数模型的对抗样本生成方法，通过设计一个健壮的敌对攻击框架动量对抗补丁攻击，该对抗补丁在高密度的背景下使人眼难以察觉到；另外还将动量整合到了对抗补丁的优化过程中，克服了在高维空间中搜索最佳对抗样本点时会被困在较差的局部最小值或最大值中的问题。提供对于主流基于CNN的人群计数模型在数字化和物理空间都有效的扰动，且可以有效评估人群计数模型对于对抗补丁攻击和认证防御的鲁棒性。
根据本发明的第一方面，一种基于动量的对人群计数模型的对抗样本生成方法，包括：
步骤1，通过插入张量生成对抗补丁，在原始图像上添加所述对抗补丁生成初始化的对抗样本；
步骤2，将所述对抗样本输入人群计数模型中，所述人群计数模型输出预测人群密度图；
步骤3，计算所述预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的所述对抗样本进行基于动量的对抗补丁优化后，执行所述步骤2，直至得到损失值不超过阈值时对应的所述对抗样本在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，步骤1包括：
步骤101，在纯黑图片的设定区域中绘制掩码得到第一图像；
步骤102，用随机种子生成器生成所述噪声图；
步骤103，将所述第一图像与所述噪声图相乘得到第二图像；
步骤104，用待人群计数的原始图像乘以所述第一图像的掩码补集图得到第三图像；
步骤105，将所述第二图像和第三图像相加得到初始化的对抗样本；
其中，原始图片、纯黑图片和噪声图的大小和图片的通道数均相同。
可选的，初始化的对抗样本的计算公式为：
Figure 357891DEST_PATH_IMAGE001
；
其中，
Figure 71769DEST_PATH_IMAGE002
；
Figure 648244DEST_PATH_IMAGE003
表示初始化的对抗样本，
Figure 823879DEST_PATH_IMAGE004
表示第二图像，
Figure 700569DEST_PATH_IMAGE005
表示第一图像，
Figure 319769DEST_PATH_IMAGE006
表示原始图像，
Figure 134272DEST_PATH_IMAGE007
表示噪声图，
Figure 129910DEST_PATH_IMAGE008
为与所述张量相关的插值函数，
Figure 844794DEST_PATH_IMAGE009
表示旋转，
Figure 634895DEST_PATH_IMAGE010
表示对对抗补丁做旋转
Figure 185962DEST_PATH_IMAGE009
操作后再做
Figure 470444DEST_PATH_IMAGE008
插值操作。
可选的，所述步骤2包括：
步骤201，将一张或多张所述对抗样本的图片经过由一系列卷积神经网络构成的前端网络，输出中间特征；
步骤202，中间特征经过由一系列空洞卷积神经网络构成的后端网络，输出所述预测人群密度图。
可选的，所述步骤3中计算所述预测人群密度图与目标人群密度图的损失值的方法为：
获取所述原始图像对应的真实人群密度图，对所述真实人群密度图的每个像素值乘以设定倍数，得到所述目标人群密度图；
将所述预测人群密度图与目标人群密度图输入到损失函数中，计算损失值；
所述损失函数为：
Figure 790567DEST_PATH_IMAGE011
；
Figure 17149DEST_PATH_IMAGE012
（）表示对抗损失函数，
Figure 304780DEST_PATH_IMAGE013
表示初始化的对抗样本
Figure 111062DEST_PATH_IMAGE003
的预测人群密度图，
Figure 551271DEST_PATH_IMAGE014
表示初始化的对抗样本
Figure 433907DEST_PATH_IMAGE003
的目标密度图，β表示插入的张量，
Figure 959566DEST_PATH_IMAGE015
表示平滑损失，
Figure 78527DEST_PATH_IMAGE016
是 平衡对抗损失和平滑损失的超参数。
可选的，张量
Figure 373242DEST_PATH_IMAGE017
的平滑损失为：
Figure 676047DEST_PATH_IMAGE018
；
其中，
Figure 174156DEST_PATH_IMAGE019
和
Figure 587820DEST_PATH_IMAGE020
分别为原始图片、纯黑图片和噪声图的高度和宽度，h和w分别为张 量β的高度和宽度的索引变量。
可选的，所述步骤3中对所述对抗样本进行基于动量的对抗补丁优化的公式为：
Figure 737041DEST_PATH_IMAGE021
；
其中，
Figure 725595DEST_PATH_IMAGE022
；
Figure 694688DEST_PATH_IMAGE023
；
Figure 177622DEST_PATH_IMAGE024
和
Figure 932082DEST_PATH_IMAGE025
分别表示优化前后的对抗补丁，
Figure 842269DEST_PATH_IMAGE026
表示控制步长的学习率，
Figure 298658DEST_PATH_IMAGE027
表示变 化步长，
Figure 568972DEST_PATH_IMAGE028
表示控制指数加权平均值，
Figure 161627DEST_PATH_IMAGE029
表示优化后的加入对抗补丁的对抗样本，
Figure 242715DEST_PATH_IMAGE006
表 示原始图像，
Figure 186401DEST_PATH_IMAGE030
表示将变量剪切限制为在下限值与上限值之间的值，
Figure 761870DEST_PATH_IMAGE031
表示损失函数对
Figure 740190DEST_PATH_IMAGE006
求导，
Figure 461021DEST_PATH_IMAGE032
表示掩码，
Figure 406849DEST_PATH_IMAGE012
（）表示对抗损失函数。
根据本发明的第二方面，提供一种基于动量的对人群计数模型的对抗样本生成系统，包括：对抗样本初始化模块、预测人群密度图输出模块和对抗样本确定模块；
所述抗样本初始化模块，用于通过插入张量生成对抗补丁，在原始图像上添加所述对抗补丁生成初始化的对抗样本；
所述预测人群密度图输出模块，用于将所述对抗样本输入人群计数模型中，所述人群计数模型输出预测人群密度图；
所述对抗样本确定模块，计算所述预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的所述对抗样本进行基于动量的对抗补丁优化后，输入所述预测人群密度图输出模块，直至得到损失值不超过阈值时对应的所述对抗样本。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于动量的对人群计数模型的对抗样本生成方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于动量的对人群计数模型的对抗样本生成方法的步骤。
本发明提供的一种基于动量的对人群计数模型的对抗样本生成方法、系统、电子设备及存储介质，通过动量增强传统的对抗补丁攻击和去除Lp norm约束来提高攻击效率，成功地加速了补丁优化过程，生成了具有鲁棒性的对抗补丁，充分探索物理空间确定对抗样本，对抗性补丁可以在物理上欺骗CNN模型。
附图说明
图1为本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成方法的流程图；
图2为本发明实施例提供的得到初始化的对抗样本的方法的流程图；
图3为本发明实施例提供的得到初始化的对抗样本的方法的实例图；
图4为本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成系统结构图；
图5为本发明实施例提供的电子设备的实施例示意图；
图6为本发明提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
对于一个含有N张带标签图片的集合
Figure 769698DEST_PATH_IMAGE033
，其中
Figure 602524DEST_PATH_IMAGE034
，
Figure 510569DEST_PATH_IMAGE019
，
Figure 694425DEST_PATH_IMAGE020
和
Figure 381671DEST_PATH_IMAGE035
分别是高度、宽度和图片的通道数。
Figure 69004DEST_PATH_IMAGE036
是图片
Figure 397217DEST_PATH_IMAGE037
的真实密度图。
人群计数模型旨在于学习一个模型
Figure 553523DEST_PATH_IMAGE038
，通过用这些带标签的图片解决以下的优化 问题：
Figure 523753DEST_PATH_IMAGE039
（1）
学到的模型
Figure 65593DEST_PATH_IMAGE038
可以用来预测一张测试图片
Figure 79554DEST_PATH_IMAGE006
中的人群计数。具体地，
Figure 706845DEST_PATH_IMAGE038
把
Figure 215186DEST_PATH_IMAGE006
当作 输入并输出预测的密度图
Figure 627844DEST_PATH_IMAGE040
。接着，通过将密度图中所有的值相加就得到对于
Figure 297860DEST_PATH_IMAGE006
的人 群计数。
本发明提供的一种基于动量的对人群计数模型的对抗样本生成方法，包括：步骤1，通过插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本。
步骤2，将对抗样本输入人群计数模型中，人群计数模型输出预测人群密度图。
输入人群计数模型中的对抗样本包括初始化的对抗样本和对抗补丁优化后的对抗样本，初始化的对抗样本也即第一次迭代的对抗样本。
步骤3，计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，执行步骤2，直至得到损失值不超过阈值时对应的对抗样本。
判断计算出的损失值是否小于等于设定的阈值，例如0.01，如果是，则此迭代的输入图像即为最终要求的对抗样本；如果不是，则先进行对输入图像的更新，再重复步骤2至步骤3。
通过加一些扰动
Figure 678026DEST_PATH_IMAGE041
在测试图片x以使模型
Figure 973747DEST_PATH_IMAGE038
将这张测试图片x预测为攻击者想要 的结果。由于人群计数是由密度图的所有值的和计算而来，修改人群计数的预测等效于修 改密度图。假设攻击者旨在学习到一个带有扰动
Figure 21337DEST_PATH_IMAGE041
的目标密度图
Figure 878566DEST_PATH_IMAGE042
。然后，我们的攻击可以 被定义为如下：
Figure 480449DEST_PATH_IMAGE043
, （2）
其中
Figure 330593DEST_PATH_IMAGE044
是一个距离函数。
直接解决上式是有挑战性的由于等式约束涉及一个高度非线性的模型
Figure 216378DEST_PATH_IMAGE038
。一种替 代的方式是将约束放到目标函数中。具体如下：
Figure 228197DEST_PATH_IMAGE045
, （3）
其中
Figure 317375DEST_PATH_IMAGE046
是预算约束，
Figure 721943DEST_PATH_IMAGE047
是一个损失函数（例如交叉熵损失）
本发明公开了一种基于动量的对抗补丁攻击的方法，通过设计一个健壮的敌对攻击框架动量对抗补丁攻击，该对抗补丁在高密度的背景下使人眼难以察觉到；另外还将动量整合到了对抗补丁的优化过程中，克服了在高维空间中搜索最佳对抗样本点时会被困在较差的局部最小值或最大值中的问题。提供对于主流基于CNN的人群计数模型在数字化和物理空间都有效的扰动，且可以有效评估人群计数模型对于对抗补丁攻击和认证防御的鲁棒性。
实施例1
本发明提供的实施例1为本发明提供的一种基于动量的对人群计数模型的对抗样本生成方法的实施例，如图1所示为本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成方法的流程图，结合图1可知，该实施例包括：
步骤1，通过插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本。
优选的，该步骤1包括：
步骤101，在纯黑图片的设定区域中绘制掩码得到第一图像。
步骤102，用随机种子生成器生成噪声图。
步骤103，将第一图像与噪声图相乘得到第二图像。
步骤104，用待人群计数的原始图像乘以第一图像的掩码补集图得到第三图像。
步骤105，将第二图像和第三图像相加得到初始化的对抗样本。
其中，原始图片、纯黑图片和噪声图的大小和图片的通道数均相同。
如图2和图3所示为分别为本发明实施例提供的得到初始化的对抗样本的方法的流程图和实例图，结合图2和图3可知，处理得到初始化的对抗样本的一个实例，对于一张人群集会的图片，让圆形掩码与噪声相乘的结果和图片与掩码补集图相乘的结果相加，得到最右端的初始化的对抗样本。
补丁初始化过程包括两步：图像转换和插入平滑。
1）图像转换：物理系统可以破坏仅使用输在算法制作的扰动，物理空间的扰动可能会收到环境因素（包括视角）的影响。为了解决这个问题，操作图像变化，通过式子（4）和式子（5）使补丁更鲁棒。图像变换函数中黑色像素的值为0，白色像素的值为1。
提出用一个张量
Figure 947388DEST_PATH_IMAGE017
来插入生成对抗补丁。
Figure 395687DEST_PATH_IMAGE048
是图像空间的一个张 量，
Figure 82666DEST_PATH_IMAGE049
，其中
Figure 9033DEST_PATH_IMAGE050
，
Figure 354564DEST_PATH_IMAGE051
，
Figure 724497DEST_PATH_IMAGE052
。
2）插入平滑：因为插入张量
Figure 788268DEST_PATH_IMAGE017
包含许多参数，通过对
Figure 783906DEST_PATH_IMAGE017
设置了一个平滑度约束将 这个问题简化。
具体的，初始化的对抗样本的计算公式为：
Figure 967631DEST_PATH_IMAGE001
（4）
其中，
Figure 23312DEST_PATH_IMAGE002
（5）
Figure 308800DEST_PATH_IMAGE003
表示初始化的对抗样本，
Figure 593282DEST_PATH_IMAGE004
表示第二图像，
Figure 647825DEST_PATH_IMAGE005
表示第一图像，
Figure 874407DEST_PATH_IMAGE006
表示原始图像，
Figure 381612DEST_PATH_IMAGE007
表示噪声图，
Figure 968320DEST_PATH_IMAGE008
为与张量β相关的插值函数，即张量β是插值函数
Figure 142949DEST_PATH_IMAGE008
中的一个关键参数，
Figure 274853DEST_PATH_IMAGE009
表示旋转；
Figure 551245DEST_PATH_IMAGE010
表示对对抗补丁做旋转
Figure 161218DEST_PATH_IMAGE009
操作后再做
Figure 455933DEST_PATH_IMAGE008
插 值操作。
张量
Figure 742427DEST_PATH_IMAGE017
的平滑损失为：
Figure 755382DEST_PATH_IMAGE053
（6）
其中，
Figure 434625DEST_PATH_IMAGE019
、
Figure 69000DEST_PATH_IMAGE020
和
Figure 808286DEST_PATH_IMAGE035
分别为原始图片、纯黑图片和噪声图的高度、宽度和图片的通道 数，h、w和c分别为张量β的高度、宽度和图片的通道数的索引变量。
步骤2，将对抗样本输入人群计数模型中，人群计数模型输出预测人群密度图。
优选的，步骤2包括：
步骤201，将一张或多张对抗样本的图片经过由一系列卷积神经网络构成的前端网络，输出中间特征。
步骤202，中间特征经过由一系列空洞卷积神经网络构成的后端网络，输出预测人群密度图。
步骤3，计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，执行步骤2，直至得到损失值不超过阈值时对应的对抗样本。
优选的，步骤3中计算预测人群密度图与目标人群密度图的损失值的方法为：
获取原始图像对应的真实人群密度图，对该真实人群密度图的每个像素值乘以设定倍数，得到目标人群密度图。该设定倍数远大于1，例如可以为10倍。
将预测人群密度图与目标人群密度图输入到损失函数中，计算损失值。
损失函数为：
Figure 777379DEST_PATH_IMAGE011
（7）
Figure 249861DEST_PATH_IMAGE012
（）表示对抗损失函数，
Figure 519168DEST_PATH_IMAGE013
表示初始化的对抗样本
Figure 898197DEST_PATH_IMAGE003
的预测人群密度图，
Figure 370897DEST_PATH_IMAGE014
是攻击者定下的攻击目标，即表示初始化的对抗样本
Figure 391943DEST_PATH_IMAGE003
的目标密度图，
Figure 250178DEST_PATH_IMAGE015
表示平滑损 失，
Figure 580534DEST_PATH_IMAGE016
是平衡对抗损失和平滑损失的超参数。
初始化对抗样本
Figure 524219DEST_PATH_IMAGE003
去最小化式子（8）中的目标
Figure 83376DEST_PATH_IMAGE054
得到最终的对抗补丁
Figure 812429DEST_PATH_IMAGE055
。 目标函数
Figure 798839DEST_PATH_IMAGE054
有两部分：对抗损失
Figure 495400DEST_PATH_IMAGE012
和平滑损失
Figure 841937DEST_PATH_IMAGE015
。为了使最终生成的对抗补丁更 鲁棒，我们提议最小化下面的目标函数：
Figure 674763DEST_PATH_IMAGE056
（8）
损失函数可以由交叉熵损失和插值平滑损失函数两项构成。
具体的，对对抗样本进行基于动量的对抗补丁优化的公式为：
Figure 832075DEST_PATH_IMAGE021
（9）
其中，
Figure 766664DEST_PATH_IMAGE022
（10）
Figure 402045DEST_PATH_IMAGE057
（11）
Figure 354958DEST_PATH_IMAGE024
和
Figure 198017DEST_PATH_IMAGE025
分别表示优化前后的对抗补丁，
Figure 338012DEST_PATH_IMAGE026
表示控制步长的学习率，
Figure 308242DEST_PATH_IMAGE027
表示 变化步长，
Figure 866393DEST_PATH_IMAGE028
表示控制指数加权平均值，
Figure 365508DEST_PATH_IMAGE029
表示优化后的加入对抗补丁的对抗样本，
Figure 258377DEST_PATH_IMAGE006
表示原始图像，
Figure 235561DEST_PATH_IMAGE030
表示将变量剪切限制为在下限值与上限值之间的值，
Figure 672053DEST_PATH_IMAGE031
表示损失 函数对
Figure 607648DEST_PATH_IMAGE006
求导，
Figure 472967DEST_PATH_IMAGE032
表示掩码mask。
动量法通常用于梯度下降算法中，以借助先前梯度的记忆来加速优化过程。当攻击者在高维空间中搜索最佳对抗样本时，极有可能被困在小驼峰、狭窄的山谷和较差的局部最小值或最大值中。为了打破困境，将动量整合到对抗补丁的优化中，以便更稳定地更新并进一步增强攻击者的潜在能力。
用动量扩展了对抗补丁的优化过程。通过添加变量来控制指数加权平均值，可以使优化过程变得平滑和加速。因此，生成的对抗补丁能够在各种模型之间传递，并且其攻击能力同时保持强劲，从而证明了强大的对抗扰动。
实施例2
本发明提供的实施例2为本发明提供的一种基于动量的对人群计数模型的对抗样本生成方法的具体应用实施例，其利用对抗攻击算法对人群计数模型进行白盒攻击，将攻击问题转化为优化问题，并通过带有动量增强的优化算法，有效地解决了这一问题，在数字领域和物理真实世界中都展示出了有力的攻击，并且生成对抗样本速度快，极大地推进了相关鲁棒学习算法的研究。在实验方面，在最流行的五种人群计数模型上都成功攻击：
基于本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成方法的攻击方法在五个受欢迎的人群计数模型上的表现展示在表1中，采用的评估指标是MAE(mean absolute error，平均绝对误差)和RMSE(root mean squared error，均方根误差),计算方式如下：
Figure 519420DEST_PATH_IMAGE058
。
其中，N为数据集图片数量，
Figure 301431DEST_PATH_IMAGE059
是对应图片的真实计数值，
Figure 391616DEST_PATH_IMAGE060
是对抗样本的计数 值，i是代表第i张图片。
表1：攻击方法在五个人群计数模型上的表现展示表
Figure 259078DEST_PATH_IMAGE061
表中为对抗补丁攻击方法在人群计数模型上的表现，其中第一行括号中的0、20、40代表对抗补丁的大小分别为0*0,20*20,40*40，可以看到当对抗补丁大小不为0时，模型误差变大，且对抗补丁越大，误差越大。
图4为本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成系统结构图，如图4所示，一种基于动量的对人群计数模型的对抗样本生成系统，包括对抗样本初始化模块、预测人群密度图输出模块和对抗样本确定模块。
对抗样本初始化模块，用于通过插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本。
预测人群密度图输出模块，用于将对抗样本输入人群计数模型中，人群计数模型输出预测人群密度图。
对抗样本确定模块，计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，输入预测人群密度图输出模块，直至得到损失值不超过阈值时对应的对抗样本。
可以理解的是，本发明提供的一种基于动量的对人群计数模型的对抗样本生成系统与前述各实施例提供的基于动量的对人群计数模型的对抗样本生成方法相对应，基于动量的对人群计数模型的对抗样本生成系统的相关技术特征可参考基于动量的对人群计数模型的对抗样本生成方法的相关技术特征，在此不再赘述。
请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1320上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：
步骤1，通过插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本。
步骤2，将对抗样本输入人群计数模型中，人群计数模型输出预测人群密度图。
步骤3，计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，执行步骤2，直至得到损失值不超过阈值时对应的对抗样本。
请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：
步骤1，通过插入张量生成对抗补丁，在原始图像上添加对抗补丁生成初始化的对抗样本。
步骤2，将对抗样本输入人群计数模型中，人群计数模型输出预测人群密度图。
步骤3，计算预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的对抗样本进行基于动量的对抗补丁优化后，执行步骤2，直至得到损失值不超过阈值时对应的对抗样本。
本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成方法、系统及存储介质，通过设计基于动量的对抗补丁攻击算法，生成了对变化的高密度环境具有鲁棒性的对抗补丁。一方面，通过动量增强传统的对抗补丁攻击和去除Lp norm约束来提高攻击效率，成功地加速了补丁优化过程，实现了鲁棒的对抗补丁。另一方面，现有技术主要集中在研究数字领域的对抗样本，而没有充分探索物理空间。与图像分类相比，攻击基于卷积神经网络的人群计数在技术上更具挑战性:1)在人群计数数据集中，高密度的背景信息可能会削弱对抗补丁的有效性。例如，当补丁尺寸较小时，人群计数模型很有可能将补丁视为一个头。2)与分类任务不同，对抗补丁的目标是将受害者模型的预测数量扰乱到特定的值，而不是简单地输出错误的标签。本发明实施例提供的一种基于动量的对人群计数模型的对抗样本生成方法及系统，基于实际实验结果表明，在人群计数应用中，对抗补丁可以在物理世界中欺骗CNN模型。
本发明提出的一种基于动量的对抗补丁攻击的攻击框架，该框架利用了人群图像的背景信息，通过干扰不到6%的图像像素严重降低了人群计数模型的性能。再提出一种高效且易于实现的基于随机消融的认证防御策略，来评估人群计数模型的鲁棒性。通过对随机消融的图像进行再训练，攻击模型在受扰图像和正常图像上的性能都趋于稳定。在5个人群计数模型上的大量实验表明了该方法的有效性和通用性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种基于动量的对人群计数模型的对抗样本生成方法，其特征在于，所述方法包括：
步骤1，通过插入张量生成对抗补丁，在原始图像上添加所述对抗补丁生成初始化的对抗样本；
步骤2，将所述对抗样本输入人群计数模型中，所述人群计数模型输出预测人群密度图；
步骤3，计算所述预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的所述对抗样本进行基于动量的对抗补丁优化后，执行所述步骤2，直至得到损失值不超过阈值时对应的所述对抗样本。
2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：
步骤101，在纯黑图片的设定区域中绘制掩码得到第一图像；
步骤102，用随机种子生成器生成噪声图；
步骤103，将所述第一图像与所述噪声图相乘得到第二图像；
步骤104，用待人群计数的原始图像乘以所述第一图像的掩码补集图得到第三图像；
步骤105，将所述第二图像和第三图像相加得到初始化的对抗样本；
其中，原始图片、纯黑图片和噪声图的大小和图片的通道数均相同。
3.根据权利要求2所述的方法，其特征在于，初始化的对抗样本的计算公式为：
Figure 463406DEST_PATH_IMAGE001
；
其中，
Figure 147590DEST_PATH_IMAGE002
；
Figure 458486DEST_PATH_IMAGE003
表示初始化的对抗样本，
Figure 181591DEST_PATH_IMAGE004
表示第二图像，
Figure 527122DEST_PATH_IMAGE005
表示第一图像，
Figure 615164DEST_PATH_IMAGE006
表 示原始图像，
Figure 413355DEST_PATH_IMAGE008
表示噪声图，
Figure 462124DEST_PATH_IMAGE009
为与所述张量相关的插值函数，
Figure 662162DEST_PATH_IMAGE010
表示旋转，
Figure 921105DEST_PATH_IMAGE011
表示对对抗补丁做旋转
Figure 206592DEST_PATH_IMAGE010
操作后再做
Figure 271500DEST_PATH_IMAGE009
插值操作。
4.根据权利要求1所述的方法，其特征在于，所述步骤2包括：
步骤201，将一张或多张所述对抗样本的图片经过由一系列卷积神经网络构成的前端网络，输出中间特征；
步骤202，中间特征经过由一系列空洞卷积神经网络构成的后端网络，输出所述预测人群密度图。
5.根据权利要求1所述的方法，其特征在于，所述步骤3中计算所述预测人群密度图与目标人群密度图的损失值的方法为：
获取所述原始图像对应的真实人群密度图，对所述真实人群密度图的每个像素值乘以设定倍数，得到所述目标人群密度图；
将所述预测人群密度图与目标人群密度图输入到损失函数中，计算损失值；
所述损失函数为：
Figure 60465DEST_PATH_IMAGE012
；
Figure 21468DEST_PATH_IMAGE013
（）表示对抗损失函数，
Figure 92454DEST_PATH_IMAGE014
表示初始化的对抗样本
Figure 898736DEST_PATH_IMAGE003
的预测人群密度图，
Figure 807786DEST_PATH_IMAGE015
表示初 始化的对抗样本
Figure 674111DEST_PATH_IMAGE003
的目标密度图，β表示插入的张量，
Figure 730929DEST_PATH_IMAGE016
表示平滑损失，
Figure 340902DEST_PATH_IMAGE017
是平衡对 抗损失和平滑损失的超参数。
6.根据权利要求5所述的方法，其特征在于，张量β的平滑损失为：
Figure 602993DEST_PATH_IMAGE018
；
其中，
Figure 905799DEST_PATH_IMAGE019
和
Figure 184333DEST_PATH_IMAGE020
分别为原始图片、纯黑图片和噪声图的高度和宽度，h和w 分别为张量
Figure 597997DEST_PATH_IMAGE021
的高度和宽度的索引变量。
7.根据权利要求1所述的方法，其特征在于，所述步骤3中对所述对抗样本进行基于动量的对抗补丁优化的公式为：
Figure 481640DEST_PATH_IMAGE022
；
其中，
Figure 689767DEST_PATH_IMAGE023
；
Figure 658860DEST_PATH_IMAGE024
；
Figure 908838DEST_PATH_IMAGE025
和
Figure 912566DEST_PATH_IMAGE026
分别表示优化前后的对抗补丁，
Figure 291595DEST_PATH_IMAGE027
表示控制步长的学习率，
Figure 747984DEST_PATH_IMAGE028
表示变化 步长，
Figure 300188DEST_PATH_IMAGE029
表示控制指数加权平均值，
Figure 892843DEST_PATH_IMAGE030
表示优化后的加入对抗补丁的对抗样本，
Figure 941309DEST_PATH_IMAGE006
表示 原始图像，
Figure 884994DEST_PATH_IMAGE031
表示将变量剪切限制为在下限值与上限值之间的值，
Figure 444151DEST_PATH_IMAGE032
表示损失函数对
Figure 953630DEST_PATH_IMAGE006
求导，
Figure 674461DEST_PATH_IMAGE033
表示掩码，
Figure 839863DEST_PATH_IMAGE013
（）表示对抗损失函数。
8.一种基于动量的对人群计数模型的对抗样本生成系统，其特征在于，所述系统包括：对抗样本初始化模块、预测人群密度图输出模块和对抗样本确定模块；
所述抗样本初始化模块，用于通过插入张量生成对抗补丁，在原始图像上添加所述对抗补丁生成初始化的对抗样本；
所述预测人群密度图输出模块，用于将所述对抗样本输入人群计数模型中，所述人群计数模型输出预测人群密度图；
所述对抗样本确定模块，计算所述预测人群密度图与目标人群密度图的损失值；对损失值超过阈值时对应的所述对抗样本进行基于动量的对抗补丁优化后，输入所述预测人群密度图输出模块，直至得到损失值不超过阈值时对应的所述对抗样本。
CN202110588717.2A 2021-05-28 2021-05-28 基于动量的对人群计数模型的对抗样本生成方法及系统 Active CN113255526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588717.2A CN113255526B (zh) 2021-05-28 2021-05-28 基于动量的对人群计数模型的对抗样本生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588717.2A CN113255526B (zh) 2021-05-28 2021-05-28 基于动量的对人群计数模型的对抗样本生成方法及系统

Publications (2)

Publication Number Publication Date
CN113255526A true CN113255526A (zh) 2021-08-13
CN113255526B CN113255526B (zh) 2021-09-21

Family

ID=77185001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588717.2A Active CN113255526B (zh) 2021-05-28 2021-05-28 基于动量的对人群计数模型的对抗样本生成方法及系统

Country Status (1)

Country Link
CN (1) CN113255526B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421192A (zh) * 2021-08-24 2021-09-21 北京金山云网络技术有限公司 对象统计模型的训练方法、目标对象的统计方法和装置
WO2023190644A1 (ja) * 2022-03-31 2023-10-05 ヌヴォトンテクノロジージャパン株式会社 性能指標化装置、性能指標化方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764085A (zh) * 2018-05-17 2018-11-06 上海交通大学 基于生成对抗网络的人群计数方法
CN111275115A (zh) * 2020-01-20 2020-06-12 星汉智能科技股份有限公司 一种基于生成对抗网络的对抗攻击样本的生成方法
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN112199543A (zh) * 2020-10-14 2021-01-08 哈尔滨工程大学 一种基于图像检索模型的对抗样本生成方法
US20210064938A1 (en) * 2019-08-30 2021-03-04 Accenture Global Solutions Limited Adversarial patches including pixel blocks for machine learning
EP3812944A1 (en) * 2019-10-24 2021-04-28 Sony Interactive Entertainment Inc. Encoding and decoding apparatus
CN112818945A (zh) * 2021-03-08 2021-05-18 北方工业大学 适用于地铁车站人群计数的卷积网络构建方法
CN112818849A (zh) * 2021-01-31 2021-05-18 南京工业大学 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764085A (zh) * 2018-05-17 2018-11-06 上海交通大学 基于生成对抗网络的人群计数方法
US20210064938A1 (en) * 2019-08-30 2021-03-04 Accenture Global Solutions Limited Adversarial patches including pixel blocks for machine learning
EP3812944A1 (en) * 2019-10-24 2021-04-28 Sony Interactive Entertainment Inc. Encoding and decoding apparatus
CN111275115A (zh) * 2020-01-20 2020-06-12 星汉智能科技股份有限公司 一种基于生成对抗网络的对抗攻击样本的生成方法
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN112199543A (zh) * 2020-10-14 2021-01-08 哈尔滨工程大学 一种基于图像检索模型的对抗样本生成方法
CN112818849A (zh) * 2021-01-31 2021-05-18 南京工业大学 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN112818945A (zh) * 2021-03-08 2021-05-18 北方工业大学 适用于地铁车站人群计数的卷积网络构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIMING WU ET AL.: "Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting", 《ARXIV》 *
TOM B.BROWN ET AL.: "Adversarial Patch", 《ARXIV》 *
潘文雯 等: "对抗样本生成技术综述", 《软件学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421192A (zh) * 2021-08-24 2021-09-21 北京金山云网络技术有限公司 对象统计模型的训练方法、目标对象的统计方法和装置
CN113421192B (zh) * 2021-08-24 2021-11-19 北京金山云网络技术有限公司 对象统计模型的训练方法、目标对象的统计方法和装置
WO2023190644A1 (ja) * 2022-03-31 2023-10-05 ヌヴォトンテクノロジージャパン株式会社 性能指標化装置、性能指標化方法、及びプログラム

Also Published As

Publication number Publication date
CN113255526B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
Liu et al. Privacy and security issues in deep learning: A survey
Zhong et al. Backdoor embedding in convolutional neural network models via invisible perturbation
CN108549940B (zh) 基于多种对抗样例攻击的智能防御算法推荐方法及系统
Liao et al. Backdoor embedding in convolutional neural network models via invisible perturbation
CN111475797B (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
Kiourti et al. Trojdrl: evaluation of backdoor attacks on deep reinforcement learning
WO2021189364A1 (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN113255526B (zh) 基于动量的对人群计数模型的对抗样本生成方法及系统
CN113255936B (zh) 基于模仿学习和注意力机制的深度强化学习策略保护防御方法和装置
Liu et al. Watermarking Deep Neural Networks with Greedy Residuals.
CN112115469A (zh) 基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法
Ojugo et al. Malware propagation on social time varying networks: a comparative study of machine learning frameworks
CN115860112B (zh) 基于模型反演方法的对抗样本防御方法和设备
Mo et al. MCTSteg: A Monte Carlo tree search-based reinforcement learning framework for universal non-additive steganography
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统
CN112883874A (zh) 针对深度人脸篡改的主动防御方法
Chou et al. Villandiffusion: A unified backdoor attack framework for diffusion models
KR20190028880A (ko) 봇넷 탐지 시스템을 학습하기 위한 학습 데이터를 생성하는 방법 및 그 장치
Zhao et al. Defense against poisoning attack via evaluating training samples using multiple spectral clustering aggregation method
Li et al. Robust moving target defense against unknown attacks: A meta-reinforcement learning approach
Xie et al. Stealthy 3D poisoning attack on video recognition models
Ali et al. A survey on attacks and their countermeasures in deep learning: Applications in deep neural networks, federated, transfer, and deep reinforcement learning
Pillai et al. Strengthening Cybersecurity using a Hybrid Classification Model with SCO Optimization for Enhanced Network Intrusion Detection System
CN115719085B (zh) 一种深度神经网络模型反演攻击防御方法及设备
CN115277065B (zh) 一种物联网异常流量检测中的对抗攻击方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant