CN115878848B - 一种对抗性视频样本生成方法、终端设备及介质 - Google Patents

一种对抗性视频样本生成方法、终端设备及介质 Download PDF

Info

Publication number
CN115878848B
CN115878848B CN202310146219.1A CN202310146219A CN115878848B CN 115878848 B CN115878848 B CN 115878848B CN 202310146219 A CN202310146219 A CN 202310146219A CN 115878848 B CN115878848 B CN 115878848B
Authority
CN
China
Prior art keywords
video
disturbance
initial
representing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310146219.1A
Other languages
English (en)
Other versions
CN115878848A (zh
Inventor
湛誉
姚鑫
李恩浪
王晨阳
唐枫枭
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310146219.1A priority Critical patent/CN115878848B/zh
Publication of CN115878848A publication Critical patent/CN115878848A/zh
Application granted granted Critical
Publication of CN115878848B publication Critical patent/CN115878848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于视频检索安全技术领域，提供了一种对抗性视频样本生成方法、终端设备及介质，通过对查询视频进行切块，得到多个查询视频块；根据初始框架掩码，确定多个初始扰动视频块；根据初始像素扰动参数和初始扰动强度，确定多个初始扰动像素；对多个初始扰动像素添加扰动，得到初始扰动视频；计算初始扰动视频与多个目标视频的初始汉明距离总和；构建汉明距离优化函数，对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频；当满足生成终止条件时，将中间扰动视频作为对抗性视频样本，否则将中间扰动视频作为新的初始扰动视频，返回计算初始汉明距离的步骤。本申请能降低对抗性视频样本的扰动率，提高其隐蔽性。

Description

一种对抗性视频样本生成方法、终端设备及介质
技术领域
本申请属于视频检索安全技术领域，尤其涉及一种对抗性视频样本生成方法、终端设备及介质。
背景技术
随着抖音、优酷、Youtube(优兔，一个视频网站)等以视频为内容的社交网络应用程序的兴起，涵盖娱乐、广告和通信的热门应用每天都在产生大量的视频数据。因此，如何从大型数据库中有效地搜索和检索感兴趣的视频成为一项重要而紧迫的任务。
基于深度神经网络的视频检索系统已广泛用于视频检索。该系统在收到用户查询视频后，将其转换为由时空特征组成的特征空间，并找寻与其特征空间接近的视频，并将其作为检索结果输出。当前，流行的视频检索系统包括反向搜索、视频对比、人脸视频检索等。然而，这些系统已被证明易受对抗性示例 (AE) 攻击，其攻击目标是巧妙地扰乱原始视频，以便生成的视频能够欺骗受害者系统/模型以输出错误的检索结果而不被肉眼察觉。如果输出检索结果为任意非正确目标标签视频，则将其对抗性攻击称为“非目标攻击”，如果输出检索结果是攻击者意愿的特定目标标签视频，则称为“目标攻击”。从长远来看，错误的检索结果会严重损害视频检索系统的性能。如果谷歌和必应等搜索引擎不断返回与用户查询无关的视频，这将大大阻碍用户使用和信任这些服务。
现有的对抗性视频样本生成方法为原始视频的每帧、每个像素点都添加扰动（称之为“密集”攻击），导致对抗性视频样本的生成效率低，扰动率高，隐蔽性差。
发明内容
本申请实施例提供了一种对抗性视频样本生成方法、终端设备及介质，可以解决现有的对抗性视频样本生成方法给查询视频的每帧、每个像素点都添加扰动，导致对抗性视频样本的生成效率低，扰动率高，隐蔽性差问题。
第一方面，本申请实施例提供了一种对抗性视频样本生成方法，包括：
步骤1，对查询视频进行切块处理，得到多个查询视频块；
步骤2，根据预先设置的初始框架掩码，从多个查询视频块中确定多个初始扰动视频块；
步骤3，分别针对每个初始扰动视频块，根据预先设置的初始像素扰动参数和预先设置的初始扰动强度，确定该初始扰动视频块中的多个初始扰动像素；
步骤4，对每个初始扰动视频块的多个初始扰动像素添加扰动，得到初始扰动视频；
步骤5，计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和；多个目标视频为视频检索系统对初始扰动视频进行检索得到的检索结果；
步骤6，根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数，并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频；
步骤7，当中间扰动视频的生成次数满足预设生成终止条件时，则将中间扰动视频作为对抗性视频样本；否则将中间扰动视频作为步骤5中的初始扰动视频，返回执行步骤5。
可选的，步骤1包括：
利用滑动窗口
Figure SMS_4
对所述查询视频
Figure SMS_5
进行切块处理，得到查询视频块集合
Figure SMS_17
，所述查询视频块集合包括多个查询视频块；其中，所述查询视频
Figure SMS_1
被分成
Figure SMS_11
个查询视频块，
Figure SMS_2
，
Figure SMS_14
，
Figure SMS_9
表示所述滑动窗口
Figure SMS_18
的宽，
Figure SMS_6
表示所述滑动窗口
Figure SMS_13
的长，
Figure SMS_3
表示所述滑动窗口
Figure SMS_12
高，
Figure SMS_10
表示所述滑动窗口
Figure SMS_15
的通道数，
Figure SMS_7
表示实数域，
Figure SMS_16
表示第
Figure SMS_8
个查询视频块。
可选的，步骤2包括：
通过计算公式
Figure SMS_19
Figure SMS_20
得到第i个查询视频块的扰动判断参数
Figure SMS_23
，
Figure SMS_24
；其中，
Figure SMS_26
表示对
Figure SMS_22
计算
Figure SMS_25
范数，
Figure SMS_27
表示计算第i个查询视频块的第j个像素值的平方，
Figure SMS_28
表示第i个查询视频块的初始框架掩码；扰动判断参数
Figure SMS_21
用于判断第i个查询视频块是否为一扰动视频块；
若
Figure SMS_29
，则将第i个查询视频块
Figure SMS_30
确定为一初始扰动视频块
Figure SMS_31
；其中，
Figure SMS_32
，
Figure SMS_33
表示所有初始扰动视频块的总数量。
可选的，步骤3包括：
针对初始扰动视频块
Figure SMS_34
，通过计算公式
Figure SMS_35
得到初始扰动像素集合
Figure SMS_38
，所述初始扰动像素集合
Figure SMS_40
包括多个初始扰动像素；其中，
Figure SMS_45
，
Figure SMS_39
表示第
Figure SMS_41
个初始扰动像素，
Figure SMS_44
表示该初始扰动视频块中初始扰动像素的总数量，
Figure SMS_47
，
Figure SMS_36
表示所述初始像素扰动参数，
Figure SMS_43
，
Figure SMS_46
表示所述初始扰动强度，
Figure SMS_48
表示视频帧的帧数，
Figure SMS_37
表示视频帧的高，
Figure SMS_42
表示视频帧的宽。
可选的，目标视频集合
Figure SMS_49
，
Figure SMS_50
表示第
Figure SMS_51
个目标视频，
Figure SMS_52
表示目标视频总数量，
Figure SMS_53
；
可选的，步骤5包括：
步骤51，将初始扰动视频
Figure SMS_54
输入视频哈希检索模型
Figure SMS_55
，得到初始扰动视频哈希码
Figure SMS_56
；
步骤52，分别将所有目标视频输入所述视频哈希检索模型
Figure SMS_57
，得到目标视频哈希码集合
Figure SMS_58
，所述目标视频哈希码集合
Figure SMS_59
包括多个目标视频哈希码；其中，
Figure SMS_60
，
Figure SMS_61
表示第
Figure SMS_62
个目标视频哈希码；
步骤53，通过计算公式
Figure SMS_63
得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和
Figure SMS_64
。
可选的，汉明距离优化函数的表达式如下：
Figure SMS_65
Figure SMS_66
其中，
Figure SMS_68
表示权衡参数，用于平衡两个计算式，
Figure SMS_71
表示正则化项，
Figure SMS_73
和
Figure SMS_69
均为常数，
Figure SMS_72
表示平衡常数，
Figure SMS_75
表示
Figure SMS_76
的过程，
Figure SMS_67
表示对
Figure SMS_70
计算
Figure SMS_74
范数。
可选的，步骤6包括：
步骤61，通过计算公式
Figure SMS_77
Figure SMS_78
得到中间扰动强度
Figure SMS_79
；其中，
Figure SMS_80
表示更新步长，
Figure SMS_81
表示微分符号，
Figure SMS_82
表示期望优化的目标损失函数，
Figure SMS_83
表示对
Figure SMS_84
计算
Figure SMS_85
范数；
步骤62，通过计算公式
Figure SMS_86
Figure SMS_87
Figure SMS_88
Figure SMS_89
得到中间像素扰动参数
Figure SMS_90
；其中，
Figure SMS_91
表示更新步长，
Figure SMS_92
表示期望优化的目标损失函数，
Figure SMS_93
表示惩罚参数1，
Figure SMS_94
表示惩罚参数2，
Figure SMS_95
表示惩罚参数3；
步骤63，通过计算公式
Figure SMS_96
；
Figure SMS_97
；
Figure SMS_98
；
Figure SMS_99
得到中间框架掩码
Figure SMS_100
；其中，
Figure SMS_101
表示
Figure SMS_102
的第
Figure SMS_103
行，
Figure SMS_104
表示指标函数；
步骤64，通过计算公式
Figure SMS_105
得到所述中间扰动视频
Figure SMS_106
。
可选的，在步骤7之前，本申请提供的对抗性视频样本生成方法还包括：
统计中间扰动视频的生成次数；
若中间扰动视频的生成次数达到预设的生成次数，则确定中间扰动视频的生成次数满足预设生成终止条件；否则，确定中间扰动视频的生成次数不满足预设生成终止条件。
第二方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的对抗性视频样本生成方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的对抗性视频样本生成方法。
本申请的上述方案有如下的有益效果：
在本申请的一些实施例中，通过根据初始框架掩码，从查询视频块集合中确定初始扰动视频块集合，再针对每个初始扰动视频块，根据初始像素扰动参数和初始扰动强度，确定多个初始扰动像素，可以减小添加扰动像素的数量，提升隐蔽性，降低扰动率；通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，可以缩小扰动视频和目标视频集之间的汉明距离，提高对抗性视频样本的生成效率。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的对抗性视频样本生成方法的流程图；
图2为本申请一实施例提供的对抗性视频样本生成装置的结构示意图；
图3为本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
针对现有的对抗性视频样本生成方法给查询视频的每帧、每个像素点都添加扰动，导致对抗性视频样本的生成效率低，扰动率高，隐蔽性差问题，本申请通过根据初始框架掩码，从查询视频块集合中确定初始扰动视频块集合，再针对每个初始扰动视频块，根据初始像素扰动参数和初始扰动强度，确定多个初始扰动像素，可以减小添加扰动像素的数量，提升隐蔽性，降低扰动率；通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，可以缩小扰动视频和目标视频集之间的汉明距离，提高对抗性视频样本的生成效率。
如图1所示，本申请提供的对抗性视频样本生成方法主要包括以下步骤：
步骤1，对查询视频进行切块处理，得到多个查询视频块。
在本申请的实施例中，上述查询视频首先由用户发送给视频检索系统，视频检索系统会根据查询视频的时空特征，搜寻与其时空特征相近的视频，并作为结果反馈推送给用户。
具体的，利用滑动窗口
Figure SMS_107
对所述查询视频
Figure SMS_108
进行切块处理，得到查询视频块集合
Figure SMS_109
，查询视频块集合包括多个查询视频块。
其中，查询视频
Figure SMS_111
被分成
Figure SMS_115
个查询视频块，
Figure SMS_121
，
Figure SMS_113
，
Figure SMS_116
表示所述滑动窗口
Figure SMS_119
的宽，
Figure SMS_123
表示所述滑动窗口
Figure SMS_110
的长，
Figure SMS_114
表示所述滑动窗口
Figure SMS_118
高，
Figure SMS_122
表示所述滑动窗口
Figure SMS_112
的通道数，
Figure SMS_117
表示实数域，
Figure SMS_120
表示第
Figure SMS_124
个查询视频块。
对查询视频进行切块处理，便于后续对其中的查询视频块添加扰动，以生成对抗性视频样本。
步骤2，根据预先设置的初始框架掩码，从多个查询视频块中确定多个初始扰动视频块。
在本申请的一些实施例中，初始框架掩码的值被设置为一与查询视频形状一致的0的矩阵。
通过初始框架掩码能够从步骤1得到的多个查询视频块中确定应该被扰动的视频块，即初始扰动视频块。
步骤3，分别针对每个初始扰动视频块，根据预先设置的初始像素扰动参数和预先设置的初始扰动强度，确定该初始扰动视频块中的多个初始扰动像素。
上述初始像素扰动参数
Figure SMS_125
，
Figure SMS_126
表示该初始扰动视频块第
Figure SMS_127
帧中的像素
Figure SMS_128
应该被扰动，初始扰动强度表示应该添加的扰动的强度。
具体的，针对初始扰动视频块
Figure SMS_129
，通过计算公式
Figure SMS_130
得到初始扰动像素集合
Figure SMS_132
，所述初始扰动像素集合
Figure SMS_136
包括多个初始扰动像素；其中，
Figure SMS_141
，
Figure SMS_134
表示第
Figure SMS_137
个初始扰动像素，
Figure SMS_139
表示该初始扰动视频块中初始扰动像素的总数量，
Figure SMS_142
，
Figure SMS_131
表示所述初始像素扰动参数，
Figure SMS_138
，
Figure SMS_140
表示所述初始扰动强度，
Figure SMS_143
表示视频帧的帧数，
Figure SMS_133
表示视频帧的高，
Figure SMS_135
表示视频帧的宽。
步骤4，对每个初始扰动视频块的多个初始扰动像素添加扰动，得到初始扰动视频。
给视频的像素添加扰动为公知常识，在此不再对其进行赘述。
步骤5，计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和。
上述目标视频集合包括视频检索系统对初始扰动视频进行检索后得到的多个目标视频。
在此计算初始扰动视频与目标视频集合中各目标视频之间的初始汉明距离，便于后续提高对抗性视频与目标视频的相似度（缩小二者的汉明距离）。
步骤6，根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数，并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频。
上述汉明距离优化函数的表达式如下：
Figure SMS_144
Figure SMS_145
其中，
Figure SMS_147
表示权衡参数，用于平衡两个计算式，
Figure SMS_151
表示正则化项，
Figure SMS_154
和
Figure SMS_148
均为常数，
Figure SMS_150
表示平衡常数，
Figure SMS_153
表示
Figure SMS_155
的过程，
Figure SMS_146
表示对
Figure SMS_149
计算
Figure SMS_152
范数。
通过构建该汉明距离优化函数，能够便于后续对框架掩码
Figure SMS_156
、像素扰动参数
Figure SMS_157
以及扰动强度
Figure SMS_158
进行更新，并且能够不断缩小对抗性视频与目标视频的汉明距离。
步骤7，当中间扰动视频的生成次数满足预设生成终止条件时，则将中间扰动视频作为对抗性视频样本；否则将中间扰动视频作为步骤5中的初始扰动视频，返回执行步骤5。
需要说明的是，在执行步骤7之前，本申请提供的对抗性视频生成方法还包括：
步骤a，统计中间扰动视频的生成次数。
步骤b，若中间扰动视频的生成次数达到预设的生成次数，则确定中间扰动视频的生成次数满足预设生成终止条件；否则，确定中间扰动视频的生成次数不满足预设生成终止条件。
下面对步骤2（根据预先设置的初始框架掩码，从多个查询视频块中确定多个初始扰动视频块）的具体过程做示例性说明。
步骤21，通过计算公式通过计算公式
Figure SMS_159
Figure SMS_160
得到第i个查询视频块的扰动判断参数
Figure SMS_161
，
Figure SMS_162
；其中，
Figure SMS_163
表示对
Figure SMS_164
计算
Figure SMS_165
范数，
Figure SMS_166
表示计算第i个查询视频块的第j个像素值的平方，
Figure SMS_167
表示第i个查询视频块的初始框架掩码。
上述扰动判断参数
Figure SMS_168
用于判断第i个查询视频块是否为一初始扰动视频块。
步骤22，若
Figure SMS_169
，则将第i个查询视频块
Figure SMS_170
确定为一初始扰动视频块
Figure SMS_171
；其中，
Figure SMS_172
，
Figure SMS_173
表示所有初始扰动视频块的总数量。
若
Figure SMS_174
，表示该查询视频块确定不是一初始扰动视频块。
下面对步骤5（计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和）的具体过程做示例性说明。
步骤51，将初始扰动视频
Figure SMS_175
输入视频哈希检索模型
Figure SMS_176
，得到初始扰动视频哈希码
Figure SMS_177
；
步骤52，分别将所有目标视频输入所述视频哈希检索模型
Figure SMS_178
，得到目标视频哈希码集合
Figure SMS_179
，所述目标视频哈希码集合
Figure SMS_180
包括多个目标视频哈希码；其中，
Figure SMS_181
，
Figure SMS_182
表示第
Figure SMS_183
个目标视频哈希码；
步骤53，通过计算公式
Figure SMS_184
得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和
Figure SMS_185
。
下面对步骤6（根据初始扰动视频和初始汉明距离构建汉明距离优化函数，并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频）的具体过程做示例性说明。
步骤61，通过计算公式
Figure SMS_186
Figure SMS_187
得到中间扰动强度
Figure SMS_188
；其中，
Figure SMS_189
表示更新步长，
Figure SMS_190
表示微分符号，
Figure SMS_191
表示期望优化的目标损失函数，
Figure SMS_192
表示对
Figure SMS_193
计算
Figure SMS_194
范数。
下面对步骤61的推导过程做示例性说明：
步骤61.1，根据构建的汉明距离优化函数，对于给定变量
Figure SMS_195
，
Figure SMS_196
，求解
Figure SMS_197
的子问题可表示为：
Figure SMS_198
步骤61.1，通过梯度下降算法计算上述公式：
Figure SMS_199
步骤62，通过计算公式
Figure SMS_200
Figure SMS_201
Figure SMS_202
Figure SMS_203
得到中间像素扰动参数
Figure SMS_204
；其中，
Figure SMS_205
表示更新步长，
Figure SMS_206
表示期望优化的目标损失函数，
Figure SMS_207
表示惩罚参数1，
Figure SMS_208
表示惩罚参数2，
Figure SMS_209
表示惩罚参数3。
下面对步骤62的推导过程做示例性说明：
步骤62.1，根据构建的汉明距离优化函数，对于给定变量
Figure SMS_210
，
Figure SMS_211
，求解
Figure SMS_212
的子问题可表示为：
Figure SMS_213
Figure SMS_214
步骤62.2，由于
Figure SMS_215
和
Figure SMS_216
分别是连续变量和二进制的掩码变量，因此可以用
Figure SMS_217
与
Figure SMS_218
来替换，得到以下新的子问题：
Figure SMS_219
；
Figure SMS_220
；步骤62.3，将
Figure SMS_221
表示为拉格朗日增强函数：
Figure SMS_224
Figure SMS_229
Figure SMS_232
；其中
Figure SMS_223
，
Figure SMS_227
是对偶变量，
Figure SMS_231
是惩罚参数，
Figure SMS_233
表示关于
Figure SMS_222
的指示函数，
Figure SMS_226
，
Figure SMS_230
表示关于
Figure SMS_234
的指示函数，
Figure SMS_225
表示指示函数，
Figure SMS_228
表示实数域。
指标函数
Figure SMS_235
与
Figure SMS_236
如同
Figure SMS_237
，若
Figure SMS_238
为真时
Figure SMS_239
当
Figure SMS_240
为假时
Figure SMS_241
。
步骤62.4，给定
Figure SMS_242
，
Figure SMS_243
，
Figure SMS_244
，
Figure SMS_245
，并行更新
Figure SMS_246
，
Figure SMS_247
如下：
Figure SMS_248
其中
Figure SMS_251
，其中，
Figure SMS_253
表示是关于
Figure SMS_254
的投影约束函数，
Figure SMS_250
；
Figure SMS_252
，其中，
Figure SMS_255
表示是关于
Figure SMS_256
球体的投影约束函数，
Figure SMS_249
。
步骤62.5，给出
Figure SMS_257
，
Figure SMS_258
，
Figure SMS_259
，
Figure SMS_260
，
Figure SMS_261
，可通过以下梯度下降法的方式更新
Figure SMS_262
：
Figure SMS_263
步骤63，通过计算公式
Figure SMS_264
；
Figure SMS_265
；
Figure SMS_266
；
Figure SMS_267
得到中间框架掩码
Figure SMS_268
；其中，
Figure SMS_269
表示
Figure SMS_270
的第
Figure SMS_271
行，
Figure SMS_272
表示指标函数。
下面对步骤63的推导过程做示例性说明：
步骤63.1，根据构建的汉明距离优化函数，对于给定变量
Figure SMS_273
，
Figure SMS_274
，利用连续变量
Figure SMS_275
来代替
Figure SMS_276
，求解
Figure SMS_277
的子问题可表示为：
Figure SMS_278
；
Figure SMS_279
；其中，
Figure SMS_280
表示对A计算
Figure SMS_281
范数，
Figure SMS_282
表示对A计算
Figure SMS_283
范数的平方和。
步骤63.2，基于梯度下降解决上述优化问题，得到
Figure SMS_284
，则
Figure SMS_285
被更新为：
Figure SMS_286
；
Figure SMS_287
其中，
Figure SMS_290
表示
Figure SMS_291
的第
Figure SMS_293
行，
Figure SMS_289
表示指标函数，使得
Figure SMS_292
，其中
Figure SMS_294
意味着在相同的扰动幅度下，第
Figure SMS_295
个掩码下的视频块比第
Figure SMS_288
个掩码下的视频块更敏感，并且应该以更高的概率被扰动。
步骤64，通过计算公式
Figure SMS_296
得到所述中间扰动视频
Figure SMS_297
。
从上述各个步骤可见，本申请提供的对抗性视频样本生成方法，通过根据初始框架掩码，从查询视频块集合中确定初始扰动视频块集合，再针对每个初始扰动视频块，根据初始像素扰动参数和初始扰动强度，确定多个初始扰动像素，可以减小添加扰动像素的数量，提升隐蔽性，降低扰动率；通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，可以缩小扰动视频和目标视频集之间的汉明距离，提高对抗性视频样本的生成效率。
如图2所示，本申请的一些实施例提供了一种对抗性视频样本生成装置，该对抗性视频样本生成装置200包括：
切块模块201，用于对查询视频进行切块处理，得到多个查询视频块。
初始扰动确定模块202，用于根据预先设置的初始框架掩码，从多个查询视频块中确定多个初始扰动视频块。
初始像素确定模块203，用于分别针对每个初始扰动视频块，根据预先设置的初始像素扰动参数和预先设置的初始扰动强度，确定该初始扰动视频块中的多个初始扰动像素。
扰动模块204，用于对每个初始扰动视频块中的多个初始扰动像素添加扰动，得到初始扰动视频。
汉明距离计算模块205，用于计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和；多个目标视频为视频检索系统对初始扰动视频进行检索得到的检索结果；
汉明距离优化模块206，用于根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数，并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频。
对抗性视频样本生成模块207，用于当中间扰动视频的生成次数满足预设中间扰动视频生成终止条件时，将中间扰动视频作为对抗性视频样本，否则将中间扰动视频作为新的初始扰动视频，返回计算初始汉明距离的步骤。
如图3所示，本申请的实施例提供了一种终端设备，如图3所示，该实施例的终端设备D10包括：至少一个处理器D100（图3中仅示出一个处理器）、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。
具体的，所述处理器D100执行所述计算机程序D102时，通过对查询视频进行切块，得到多个查询视频块；根据初始框架掩码，确定多个初始扰动视频块；根据初始像素扰动参数和初始扰动强度，确定多个初始扰动像素；对多个初始扰动像素添加扰动，得到初始扰动视频；计算初始扰动视频与多个目标视频的初始汉明距离总和；构建汉明距离优化函数，对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新，得到中间扰动视频；当满足生成终止条件时，将中间扰动视频作为对抗性视频样本，否则将中间扰动视频作为新的初始扰动视频，返回计算初始汉明距离的步骤。本申请能降低对抗性视频样本的扰动率，提高其隐蔽性。
所称处理器D100可以是中央处理单元(CPU，Central Processing Unit)，该处理器D100还可以是其他通用处理器、数字信号处理器 (DSP，Digital Signal Processor)、专用集成电路 (ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡（SMC，SmartMedia Card ），安全数字（SD，Secure Digital）卡，闪存卡（Flash Card）等。进一步地，所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到对抗性视频样本生成别装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
本申请提供的对抗性视频样本生成方法具有以下优点：
1，使用了基于块稀疏的视频检索系统的对抗性攻击，重点关注对抗性攻击的隐蔽性和有效性。
2，本申请的攻击方案是白盒设置下的目标攻击，因此在现实世界场景中具有实用性。
3，本申请基于块稀疏扰动的稀疏化有助于提高对抗性攻击的可隐蔽性且不会牺牲攻击性能。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种对抗性视频样本生成方法，其特征在于，包括：
步骤1，对查询视频进行切块处理，得到多个查询视频块；
步骤2，根据预先设置的初始框架掩码，从所述多个查询视频块中确定多个初始扰动视频块；
步骤3，分别针对每个初始扰动视频块，根据预先设置的初始像素扰动参数和预先设置的初始扰动强度，确定该初始扰动视频块中的多个初始扰动像素；
步骤4，对每个初始扰动视频块中的多个初始扰动像素添加扰动，得到初始扰动视频；
步骤5，计算所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和；所述多个目标视频为视频检索系统对所述初始扰动视频进行检索得到的检索结果；
步骤6，根据所述初始扰动视频和所述初始汉明距离总和构建汉明距离优化函数，并利用所述汉明距离优化函数对所述初始框架掩码、所述初始像素扰动参数和所述初始扰动强度进行更新，得到中间扰动视频；
步骤7，当中间扰动视频的生成次数满足预设生成终止条件时，则将所述中间扰动视频作为所述对抗性视频样本；否则将所述中间扰动视频作为步骤5中的初始扰动视频，返回执行步骤5。
2.根据权利要求1所述的生成方法，其特征在于，所述步骤1包括：
利用滑动窗口
Figure QLYQS_5
对所述查询视频
Figure QLYQS_8
进行切块处理，得到查询视频块集合
Figure QLYQS_15
，所述查询视频块集合包括多个查询视频块；其中，所述查询视频
Figure QLYQS_7
被分成
Figure QLYQS_17
个查询视频块，
Figure QLYQS_6
，
Figure QLYQS_13
，
Figure QLYQS_10
表示所述滑动窗口
Figure QLYQS_16
的宽，
Figure QLYQS_3
表示所述滑动窗口
Figure QLYQS_18
的长，
Figure QLYQS_2
表示所述滑动窗口
Figure QLYQS_12
高，
Figure QLYQS_4
表示所述滑动窗口
Figure QLYQS_11
的通道数，
Figure QLYQS_9
表示实数域，
Figure QLYQS_14
表示第
Figure QLYQS_1
个查询视频块。
3.根据权利要求2所述的生成方法，其特征在于，所述步骤2包括：
通过计算公式
Figure QLYQS_19
Figure QLYQS_20
得到第i个查询视频块的扰动判断参数
Figure QLYQS_22
，
Figure QLYQS_24
；其中，
Figure QLYQS_27
表示对
Figure QLYQS_23
计算
Figure QLYQS_25
范数，
Figure QLYQS_26
表示计算第i个查询视频块的第j个像素值的平方，
Figure QLYQS_28
表示第i个查询视频块的初始框架掩码；所述扰动判断参数
Figure QLYQS_21
用于判断第i个查询视频块是否为一扰动视频块；
若
Figure QLYQS_29
，则将第i个查询视频块
Figure QLYQS_30
确定为一初始扰动视频块
Figure QLYQS_31
；其中，
Figure QLYQS_32
，
Figure QLYQS_33
表示所有初始扰动视频块的总数量。
4.根据权利要求3所述的生成方法，其特征在于，所述步骤3包括：
针对初始扰动视频块
Figure QLYQS_34
，通过计算公式
Figure QLYQS_35
得到初始扰动像素集合
Figure QLYQS_36
，所述初始扰动像素集合
Figure QLYQS_40
包括多个初始扰动像素；其中，
Figure QLYQS_46
，
Figure QLYQS_38
表示第
Figure QLYQS_43
个初始扰动像素，
Figure QLYQS_44
表示该初始扰动视频块中初始扰动像素的总数量，
Figure QLYQS_47
，
Figure QLYQS_37
表示所述初始像素扰动参数，
Figure QLYQS_42
，
Figure QLYQS_45
表示所述初始扰动强度，
Figure QLYQS_48
表示视频帧的帧数，
Figure QLYQS_39
表示视频帧的高，
Figure QLYQS_41
表示视频帧的宽。
5.根据权利要求4所述的生成方法，其特征在于，所述目标视频集合
Figure QLYQS_49
，
Figure QLYQS_50
表示第
Figure QLYQS_51
个目标视频，
Figure QLYQS_52
表示目标视频总数量，
Figure QLYQS_53
；
所述步骤5包括：
步骤51，将初始扰动视频
Figure QLYQS_54
输入视频哈希检索模型
Figure QLYQS_55
，得到初始扰动视频哈希码
Figure QLYQS_56
；
步骤52，分别将所有目标视频输入所述视频哈希检索模型
Figure QLYQS_57
，得到目标视频哈希码集合
Figure QLYQS_58
，所述目标视频哈希码集合
Figure QLYQS_59
包括多个目标视频哈希码；其中，
Figure QLYQS_60
，
Figure QLYQS_61
表示第
Figure QLYQS_62
个目标视频哈希码；
步骤53，通过计算公式
Figure QLYQS_63
得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和
Figure QLYQS_64
。
6.根据权利要求5所述的生成方法，其特征在于，步骤6中所述汉明距离优化函数的表达式如下：
Figure QLYQS_65
Figure QLYQS_66
其中，
Figure QLYQS_68
表示权衡参数，用于平衡两个计算式，
Figure QLYQS_71
表示正则化项，
Figure QLYQS_74
和
Figure QLYQS_69
均为常数，
Figure QLYQS_72
表示平衡常数，
Figure QLYQS_75
表示
Figure QLYQS_76
的过程，
Figure QLYQS_67
表示对
Figure QLYQS_70
计算
Figure QLYQS_73
范数。
7.根据权利要求6所述的生成方法，其特征在于，所述步骤6包括：
步骤61，通过计算公式
Figure QLYQS_77
Figure QLYQS_78
得到中间扰动强度
Figure QLYQS_79
；其中，
Figure QLYQS_80
表示更新步长，
Figure QLYQS_81
表示微分符号，
Figure QLYQS_82
表示期望优化的目标损失函数，
Figure QLYQS_83
表示对
Figure QLYQS_84
计算
Figure QLYQS_85
范数；
步骤62，通过计算公式
Figure QLYQS_86
Figure QLYQS_87
Figure QLYQS_88
Figure QLYQS_89
得到中间像素扰动参数
Figure QLYQS_90
；其中，
Figure QLYQS_91
表示更新步长，
Figure QLYQS_92
表示期望优化的目标损失函数，
Figure QLYQS_93
表示惩罚参数1，
Figure QLYQS_94
表示惩罚参数2，
Figure QLYQS_95
表示惩罚参数3；
步骤63，通过计算公式
Figure QLYQS_96
；
Figure QLYQS_97
；
Figure QLYQS_98
；
Figure QLYQS_99
得到中间框架掩码
Figure QLYQS_100
；其中，
Figure QLYQS_101
表示
Figure QLYQS_102
的第
Figure QLYQS_103
行，
Figure QLYQS_104
表示指标函数；
步骤64，通过计算公式
Figure QLYQS_105
得到所述中间扰动视频
Figure QLYQS_106
。
8.根据权利要求7所述的生成方法，其特征在于，在所述步骤7之前，所述生成方法还包括：
统计所述中间扰动视频的生成次数；
若所述中间扰动视频的生成次数达到预设的生成次数，则确定所述中间扰动视频的生成次数满足预设生成终止条件；否则，确定所述中间扰动视频的生成次数不满足预设生成终止条件。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的对抗性视频样本生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的对抗性视频样本生成方法。
CN202310146219.1A 2023-02-22 2023-02-22 一种对抗性视频样本生成方法、终端设备及介质 Active CN115878848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310146219.1A CN115878848B (zh) 2023-02-22 2023-02-22 一种对抗性视频样本生成方法、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310146219.1A CN115878848B (zh) 2023-02-22 2023-02-22 一种对抗性视频样本生成方法、终端设备及介质

Publications (2)

Publication Number Publication Date
CN115878848A CN115878848A (zh) 2023-03-31
CN115878848B true CN115878848B (zh) 2023-05-02

Family

ID=85761498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310146219.1A Active CN115878848B (zh) 2023-02-22 2023-02-22 一种对抗性视频样本生成方法、终端设备及介质

Country Status (1)

Country Link
CN (1) CN115878848B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343025A (zh) * 2021-08-05 2021-09-03 中南大学 基于加权梯度哈希激活热力图的稀疏对抗攻击方法
CN114494959A (zh) * 2022-01-24 2022-05-13 中国矿业大学 一种针对视频目标分割的注意力引导的对抗性攻击方法
CN115393776A (zh) * 2022-09-20 2022-11-25 中国矿业大学 一种面向自监督视频目标分割的黑盒攻击方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272726A1 (en) * 2019-02-25 2020-08-27 Advanced Micro Devices, Inc. Method and apparatus for generating artificial intelligence resistant verification images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343025A (zh) * 2021-08-05 2021-09-03 中南大学 基于加权梯度哈希激活热力图的稀疏对抗攻击方法
CN114494959A (zh) * 2022-01-24 2022-05-13 中国矿业大学 一种针对视频目标分割的注意力引导的对抗性攻击方法
CN115393776A (zh) * 2022-09-20 2022-11-25 中国矿业大学 一种面向自监督视频目标分割的黑盒攻击方法

Also Published As

Publication number Publication date
CN115878848A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN112804196A (zh) 日志数据的处理方法及装置
Sonowal Phishing email detection based on binary search feature selection
CN112333195B (zh) 基于多源日志关联分析的apt攻击场景还原检测方法及系统
EP3201782B1 (en) Protected indexing and querying of large sets of textual data
Liu et al. An efficient multistage phishing website detection model based on the CASE feature framework: Aiming at the real web environment
CN106254314B (zh) 一种位置查询服务信息保护方法及系统
Barlow et al. A novel approach to detect phishing attacks using binary visualisation and machine learning
KR20230045098A (ko) 비디오 검출 방법, 장치, 전자 기기 및 저장 매체
CN113221032A (zh) 链接风险检测方法、装置以及存储介质
CN112232434A (zh) 基于相关性分析的对抗攻击协同防御方法及装置
CN108667678A (zh) 一种基于大数据的运维日志安全检测方法及装置
CN111144274A (zh) 一种面向yolo检测器的社交图片隐私保护方法和装置
CN110855716B (zh) 一种面向仿冒域名的自适应安全威胁分析方法及系统
Harbola et al. Improved intrusion detection in DDoS applying feature selection using rank & score of attributes in KDD-99 data set
CN117540106B (zh) 一种多模态数据隐私保护的社交活动推荐方法及设备
CN105468975A (zh) 恶意代码误报的追踪方法、装置及系统
Natadimadja et al. A survey on phishing website detection using hadoop
Wang et al. An evolutionary computation-based machine learning for network attack detection in big data traffic
CN115878848B (zh) 一种对抗性视频样本生成方法、终端设备及介质
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
Kordestani et al. An entice resistant automatic phishing detection
CN116668045A (zh) 一种多维度的网络安全综合预警方法和系统
CN110197066B (zh) 一种云计算环境下的虚拟机监控方法及监控系统
Park et al. HMLET: Hunt malware using wavelet transform on cross-platform
Xiao et al. Acnn: arbitrary trace attacks based on leakage area detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant