CN112819109A - 针对黑盒对抗样本攻击的视频分类系统安全性增强方法 - Google Patents
针对黑盒对抗样本攻击的视频分类系统安全性增强方法 Download PDFInfo
- Publication number
- CN112819109A CN112819109A CN202110416397.2A CN202110416397A CN112819109A CN 112819109 A CN112819109 A CN 112819109A CN 202110416397 A CN202110416397 A CN 202110416397A CN 112819109 A CN112819109 A CN 112819109A
- Authority
- CN
- China
- Prior art keywords
- sample
- video
- classification system
- region
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
一种针对黑盒对抗样本攻击的视频分类系统安全性增强方法,用于违规视频检测,属于人工智能安全领域。
背景技术
近年来,随着深度神经网络技术的发展,基于深度神经网络的视频分类技术得到了广泛的应用,这大大提高了违规视频检测的效率,实现了人工检测向自动化检测的转变。然而由于深度神经网络自身的脆弱性,基于深度神经网络的视频分类系统容易受到对抗样本攻击,即经过对抗化处理的视频能够导致深度神经网络的视频系统产生误分类。视频对抗样本指在原始视频样本上添加人眼无法识别的微小扰动,从而使得视频分类系统对添加扰动后的样本分类错误。违规视频传播者可通过生成视频对抗样本绕过现有的视频分类系统,这将导致信息内容安全受到威胁。因此提高基于深度神经网络的视频分类系统对对抗样本攻击的鲁棒性是非常必要的。
发明内容
针对上述研究的问题,本发明的目的在于提供一种针对黑盒对抗样本攻击的视频分类系统安全性增强方法,解决现有深度神经网络对添加了扰动后的违规视频的检测效率低的问题,即解决现有违规视频检测系统针对对抗样本没有抵抗能力的问题。
为了达到上述目的,本发明采用如下技术方案:
一种针对黑盒对抗样本攻击的视频分类系统安全性增强方法,
S1、获取一违规视频作为原始样本,基于已训练好的三种不同架构的白盒视频对抗样本生成模型分别对原始样本进行处理,得到预样本;
S3、利用黑盒梯度估计算法按划分的区域对预样本进行基于梯度的优化,生成对抗样本;
S4、基于生成的对抗样本对目标视频分类系统进行训练,并基于训练后的目标视频分类系统对视频进行分类。
进一步,所述步骤S1的具体步骤为:
S1.1、获取一违规视频作为原始样本,其中,、、、分别表示原始样本的帧数、帧的高度、帧的宽度和帧的颜色通道数,表示原始样本的集合,集合中各原始样本的帧数为、帧的高度为、帧的宽度为和帧的颜色通道数为,为包含于的原始样本;
将违规视频的每一帧均匀划分为K个长宽相等的矩形;
进行时间划分是指:
将进行空间划分后的不同帧的相同部分作为一个整体;
经过空间划分和时间划分后,得到违规视频的K个区域。
进一步,所述步骤S3的具体步骤为:
S3.1、基于自然进化策略对各个区域进行梯度估计;
再将作为输入对黑盒目标模型进行查询,以确定每个可能的梯度方向的质量,最后求其加权平均,加权平均即为第轮对真实梯度的一个近似的估计,即各区域整体的梯度,其中,为给定的一个的参数,K维即指该标准正态分布的维度和划分的K个区域的区域个数相等;
S3.2、基于各区域整体的梯度方向对预样本进行优化,生成对抗样本,即令代表第轮迭代估计得到的梯度,代表第轮迭代估计得到的视频对抗样本,则,其中,为给定的一个的参数,若能使黑盒视频分类系统产生误分类,则结束循环,并得到对抗样本,否则,再将从K维标准正态分布中随机采样个样本继续优化。
本发明同现有技术相比,其有益效果表现在:
一、本发明通过得到预样本进行黑盒梯度优化,具有良好的方向指导性,可以大大降低梯度优化所需迭代的次数,平均可以降低20%所需要迭代的次数;
二、本发明通过区域的划分后,后续基于梯度的优化过程中,将现有技术中针对每一个像素点进行梯度估计转化为对每个区域整体进行梯度估计,使得计算复杂度大大降低,迭代次数降低50%且视频对抗样本生成的成功率提高30%;
三、本发明通过将预样本进行区域划分后进行预样本优化得到对抗样本,再通过对抗样本目标视频分类系统进行训练,可提高目标视频分类系统的鲁棒性,且具有分辨对抗样本的能力;
四、本发明与现有技术中的其它视频对抗样本生成技术相比,具有较大的通用性,可以在不需要威胁模型的详细架构的情况下进行对抗样本的生成(即实现了安全服务提供者在基于保密性考虑无法获取黑盒视频分类系统具体架构的情况下进行视频对抗样本的生成),且将视频的对抗样本优化过程涉及的维度、由针对单个像素点减少到针对划分的K个区域,使对抗样本的生成效率高。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
如图1所示,一种针对黑盒对抗样本攻击的视频分类系统安全性增强方法,
S1、获取一违规视频作为原始样本,基于已训练好的三种不同架构的白盒视频对抗样本生成模型分别对原始样本进行处理,得到预样本;
具体步骤为:
S1.1、获取一违规视频作为原始样本,其中,、、、分别表示原始样本的帧数、帧的高度、帧的宽度和帧的颜色通道数,表示原始样本的集合,集合中各原始样本的帧数为、帧的高度为、帧的宽度为和帧的颜色通道数为,为包含于的原始样本;
具体为:将预样本输入区域划分函数,从空间和时间上均匀划分K个区域,其中,每个区域包含原始样本的每一帧中特定区域的像素点;特定区域即指一个区域包含每一帧中相同位置的多个像素点,如一个16帧,大小为16x16的视频,分成了64个区域,则每个区域包含16帧,每一帧包含16x16/64=4个像素点,当然还可包含5个、6个像素点。
将违规视频的每一帧均匀划分为K个长宽相等的矩形;
进行时间划分是指:
将进行空间划分后的不同帧的相同部分作为一个整体;
经过空间划分和时间划分后,得到违规视频的K个区域。
S3、利用黑盒梯度估计算法按划分的区域对预样本进行基于梯度的优化,生成对抗样本;
具体步骤为:
S3.1、基于自然进化策略对各个区域进行梯度估计;
再将作为输入对黑盒目标模型进行查询,以确定每个可能的梯度方向的质量,最后求其加权平均,加权平均即为第轮对真实梯度的一个近似的估计,即各区域整体的梯度,其中,为给定的一个的参数,K维即指该标准正态分布的维度和划分的K个区域的区域个数相等;
S3.2、基于各区域整体的梯度方向对预样本进行优化,生成对抗样本,即令代表第轮迭代估计得到的梯度,代表第轮迭代估计得到的视频对抗样本,则,其中,为给定的一个的参数,若能使黑盒视频分类系统产生误分类,则结束循环,并得到对抗样本,否则,再将从K维标准正态分布中随机采样个样本继续优化。
S4、基于生成的对抗样本对目标视频分类系统进行训练,并基于训练后的目标视频分类系统对视频进行分类。
实施例
从64维标准正态分布中随机采样100个样本作为可能的梯度方向的估计;将作为输入对黑盒目标模型进行查询,以确定每个可能的梯度方向的质量,最后求其加权平均,加权平均即为对真实梯度的一个近似的估计,即各区域整体的梯度方向,其中,为设定为0.001的超参数;
令代表第轮迭代估计得到的梯度,代表第轮迭代估计得到的视频对抗样本,则,其中,为给定的一个的参数,取值为0.001,当然,还可为其它较小的值。若能使黑盒视频分类系统产生误分类,则结束循环,并得到对抗样本,否则,再将从K维标准正态分布中随机采样个样本继续优化。
基于生成的对抗样本对目标视频分类系统进行训练,并基于训练后的目标视频分类系统对视频进行分类。
以上仅是本发明众多具体应用范围中的代表性实施例,对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案,均落在本发明权利保护范围之内。
Claims (4)
4.根据权利要求3所述的一种针对黑盒对抗样本攻击的视频分类系统安全性增强方法,其特征在于:所述步骤S3的具体步骤为:
S3.1、基于自然进化策略对各个区域进行梯度估计;
再将作为输入对黑盒目标模型进行查询,以确定每个可能的梯度方向的质量,最后求其加权平均,加权平均即为第轮对真实梯度的一个近似的估计,即各区域整体的梯度,其中,为给定的一个的参数,K维即指该标准正态分布的维度和划分的K个区域的区域个数相等;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416397.2A CN112819109B (zh) | 2021-04-19 | 2021-04-19 | 针对黑盒对抗样本攻击的视频分类系统安全性增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110416397.2A CN112819109B (zh) | 2021-04-19 | 2021-04-19 | 针对黑盒对抗样本攻击的视频分类系统安全性增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819109A true CN112819109A (zh) | 2021-05-18 |
CN112819109B CN112819109B (zh) | 2021-06-18 |
Family
ID=75863674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110416397.2A Active CN112819109B (zh) | 2021-04-19 | 2021-04-19 | 针对黑盒对抗样本攻击的视频分类系统安全性增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819109B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033747A (zh) * | 2021-05-26 | 2021-06-25 | 中国工程物理研究院计算机应用研究所 | 一种用于人机识别的图形识别码生成方法 |
CN113673324A (zh) * | 2021-07-13 | 2021-11-19 | 复旦大学 | 一种基于时序移动的视频识别模型攻击方法 |
CN114036296A (zh) * | 2021-11-12 | 2022-02-11 | 北京大学 | 一种生成黑盒循环神经网络对抗样本的方法 |
CN115115905A (zh) * | 2022-06-13 | 2022-09-27 | 苏州大学 | 基于生成模型的高可迁移性图像对抗样本生成方法 |
CN115311521A (zh) * | 2022-09-13 | 2022-11-08 | 中南大学 | 基于强化学习的黑盒视频对抗样本生成方法及评价方法 |
CN115510440A (zh) * | 2022-09-21 | 2022-12-23 | 中国工程物理研究院计算机应用研究所 | 一种基于nes算法的黑盒模型反演攻击方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104301314A (zh) * | 2014-10-31 | 2015-01-21 | 电子科技大学 | 一种基于浏览器标签属性的入侵检测方法及装置 |
CN108446765A (zh) * | 2018-02-11 | 2018-08-24 | 浙江工业大学 | 面向深度学习对抗性攻击的多模型协同防御方法 |
CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
CN109902709A (zh) * | 2019-01-07 | 2019-06-18 | 浙江大学 | 一种基于对抗学习的工业控制系统恶意样本生成方法 |
US20190304104A1 (en) * | 2018-04-03 | 2019-10-03 | Sri International | Applying artificial intelligence to generate motion information |
US20200279155A1 (en) * | 2019-02-28 | 2020-09-03 | International Business Machines Corporation | Efficient and secure gradient-free black box optimization |
CN112200243A (zh) * | 2020-10-09 | 2021-01-08 | 电子科技大学 | 一种基于低问询图像数据的黑盒对抗样本生成方法 |
CN112465015A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法 |
-
2021
- 2021-04-19 CN CN202110416397.2A patent/CN112819109B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104301314A (zh) * | 2014-10-31 | 2015-01-21 | 电子科技大学 | 一种基于浏览器标签属性的入侵检测方法及装置 |
CN108446765A (zh) * | 2018-02-11 | 2018-08-24 | 浙江工业大学 | 面向深度学习对抗性攻击的多模型协同防御方法 |
US20190304104A1 (en) * | 2018-04-03 | 2019-10-03 | Sri International | Applying artificial intelligence to generate motion information |
CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
CN109902709A (zh) * | 2019-01-07 | 2019-06-18 | 浙江大学 | 一种基于对抗学习的工业控制系统恶意样本生成方法 |
US20200279155A1 (en) * | 2019-02-28 | 2020-09-03 | International Business Machines Corporation | Efficient and secure gradient-free black box optimization |
CN112200243A (zh) * | 2020-10-09 | 2021-01-08 | 电子科技大学 | 一种基于低问询图像数据的黑盒对抗样本生成方法 |
CN112465015A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法 |
Non-Patent Citations (5)
Title |
---|
LINXI JIANG 等: "Black-box Adversarial Attacks on Video Recognition Models", 《ARXIV》 * |
XIAOLEI LIU 等: "A Black-Box Attack on Neural Networks Based on Swarm Evolutionary Algorithm", 《AUSTRALASIAN CONFERENCE ON INFORMATION SECURITY AND PRIVACY》 * |
ZHIPENG WEI 等: "Heuristic Black-Box Adversarial Attacks on Video Recognition Models", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
段广晗 等: "深度学习中对抗样本的构造及防御研究", 《网络与信息安全学报》 * |
范铭 等: "安卓恶意软件检测方法综述", 《中国科学:信息科学》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033747A (zh) * | 2021-05-26 | 2021-06-25 | 中国工程物理研究院计算机应用研究所 | 一种用于人机识别的图形识别码生成方法 |
CN113673324A (zh) * | 2021-07-13 | 2021-11-19 | 复旦大学 | 一种基于时序移动的视频识别模型攻击方法 |
CN113673324B (zh) * | 2021-07-13 | 2023-11-28 | 复旦大学 | 一种基于时序移动的视频识别模型攻击方法 |
CN114036296A (zh) * | 2021-11-12 | 2022-02-11 | 北京大学 | 一种生成黑盒循环神经网络对抗样本的方法 |
CN115115905A (zh) * | 2022-06-13 | 2022-09-27 | 苏州大学 | 基于生成模型的高可迁移性图像对抗样本生成方法 |
CN115311521A (zh) * | 2022-09-13 | 2022-11-08 | 中南大学 | 基于强化学习的黑盒视频对抗样本生成方法及评价方法 |
CN115311521B (zh) * | 2022-09-13 | 2023-04-28 | 中南大学 | 基于强化学习的黑盒视频对抗样本生成方法及评价方法 |
CN115510440A (zh) * | 2022-09-21 | 2022-12-23 | 中国工程物理研究院计算机应用研究所 | 一种基于nes算法的黑盒模型反演攻击方法及系统 |
CN115510440B (zh) * | 2022-09-21 | 2023-09-08 | 中国工程物理研究院计算机应用研究所 | 一种基于nes算法的黑盒模型反演攻击方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112819109B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819109B (zh) | 针对黑盒对抗样本攻击的视频分类系统安全性增强方法 | |
Jourabloo et al. | Face de-spoofing: Anti-spoofing via noise modeling | |
Chen et al. | Image manipulation detection by multi-view multi-scale supervision | |
CN109977865B (zh) | 一种基于人脸颜色空间和度量分析的欺诈检测方法 | |
CN113191969A (zh) | 一种基于注意力对抗生成网络的无监督图像除雨方法 | |
Zhou et al. | Infrared image segmentation based on Otsu and genetic algorithm | |
CN118400195B (zh) | 基于掩码自动编码器预训练的恶意流量检测方法 | |
CN112200075A (zh) | 一种基于异常检测的人脸防伪方法 | |
Choi et al. | PIHA: Detection method using perceptual image hashing against query-based adversarial attacks | |
CN112907431B (zh) | 一种对对抗隐写鲁棒的隐写分析方法 | |
CN112561949B (zh) | 一种基于rpca和支持向量机的快速运动目标检测算法 | |
CN117197543A (zh) | 基于GMD图像化与改进ResNeXt的网络异常检测方法及装置 | |
CN117496338A (zh) | 用于防御网站图片篡改和图片马上传的方法、设备及系统 | |
CN114067381A (zh) | 一种基于多特征融合的深度伪造识别方法和装置 | |
CN117131520A (zh) | 基于动态掩膜和生成恢复的两阶段图像隐私保护方法与系统 | |
CN115567239B (zh) | 一种基于生成对抗的加密流量特征隐藏系统以及方法 | |
CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
Xuan et al. | Scalable fine-grained generated image classification based on deep metric learning | |
CN113177599B (zh) | 一种基于gan的强化样本生成方法 | |
CN113283520A (zh) | 面向成员推理攻击的基于特征增强的深度模型隐私保护方法和装置 | |
CN112785613A (zh) | 一种智能炉膛火焰图像识别方法 | |
Jiménez-Cabello et al. | Deep anomaly detection for generalized face anti-spoofing | |
Rao et al. | Impact of computer vision based secure image enrichment techniques on image classification model | |
Holt et al. | Baseline evaluation methodology for adversarial patterns on object detection models | |
Lu et al. | SEM image quality assessment based on texture inpainting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |