CN113076557B - 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 - Google Patents

一种基于对抗攻击的多媒体隐私保护方法、装置及设备 Download PDF

Info

Publication number
CN113076557B
CN113076557B CN202110360515.2A CN202110360515A CN113076557B CN 113076557 B CN113076557 B CN 113076557B CN 202110360515 A CN202110360515 A CN 202110360515A CN 113076557 B CN113076557 B CN 113076557B
Authority
CN
China
Prior art keywords
disturbance
training data
multimedia
loss
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110360515.2A
Other languages
English (en)
Other versions
CN113076557A (zh
Inventor
王勇涛
黄灏
汤帜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110360515.2A priority Critical patent/CN113076557B/zh
Publication of CN113076557A publication Critical patent/CN113076557A/zh
Application granted granted Critical
Publication of CN113076557B publication Critical patent/CN113076557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于对抗攻击的多媒体隐私保护方法、装置及设备，方法包括以下步骤：获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；根据神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；循环将原始训练数据加上第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；将对抗扰动结果作为保护水印叠加到软件端上传或硬件端生成的多媒体内容上，主动保护该多媒体内容不被恶意利用或篡改。

Description

一种基于对抗攻击的多媒体隐私保护方法、装置及设备
技术领域
本发明属于人工智能安全领域，涉及计算机视觉、对抗样本生成及深度学习技术。
背景技术
近年来各种多媒体平台不断涌现，互联网上多媒体内容的规模呈爆发式增长的状态。多媒体内容的隐私保护问题也逐渐被重视起来。目前，侵犯多媒体内容的方式主要有两种：
1、未经许可，私自检测或者识别多媒体内容。例如，某售楼部检测并识别顾客的车辆和顾客的人脸，未经许可采集顾客信息做商业使用。
2、未经许可，私自篡改多媒体内容。例如，某公司私自使用DeepFake技术在某段视频中对某公众人物与其他人物进行“换脸”，刻意损害公众人物的利益。
对于第一种方式，其主要使用了基于深度学习的检测技术和人脸识别技术。考虑到人脸识别需要基于人脸检测技术，因此我们主要考虑检测技术。近年来，随着深度神经网络技术的飞速发展，基于深度学习的检测技术和识别技术取得了重大的突破。基于深度学习的对抗物体检测技术因其网络结构的不同主要分为单阶段检测器(One-stageDetector)例如YOLO(You Only Look Once:Unified,Real-Time Object Detection)系列和两阶段检测器(Two-stage Detector)例如Faster R-CNN(Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks)。对抗物体检测技术可以快速检测出图片或视频中的物体，输出其类别和位置，该技术已广泛运用到自动驾驶、视频监控等领域。
对于第二种方式，其主要使用了基于深度学习的多媒体内容篡改技术。自从GAN(Generative Adversarial Network)被提出以来，深度学习模型可以很好的学习图片到图片的映射，很多图片篡改技术应运而生。Cycle GAN(Unpaired Image-to-ImageTranslation using Cycle-Consistent Adversarial Networks)可以对不同风格的图像进行风格迁移。基于此框架Star GAN(StarGAN:Unified Generative AdversarialNetworks for Multi-Domain Image-to-Image Translation)可以由一张原始人脸图片生成不同面部特征和表情的人脸篡改图像。GANimation(GANimation:Anatomically-awareFacial Animation from a Single Image)可以由一张原始人脸图片生成不同情绪的篡改图像，并且这些情绪的强烈程度可以被量化并在生成时被设定。基于深度学习技术对人体图像合成的技术称之为DeepFake，其在2017年时出现，因其生成的内容过于逼真，使用该技术生成的虚假色情视频、虚假新闻等篡改内容造成了很大的社会危害。政府和业界均对此技术的使用做出了限制，目前主要的限制手段是通过检测器检测出DeepFake视频，并不能主动对多媒体内容进行隐私保护。
发明内容
针对多媒体内容篡改技术带来的隐私问题和社会危害，一方面，本发明提出了一种基于对抗攻击的多媒体隐私保护方法，并提出了具体的实施方式和场景，包括以下步骤：
获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；
根据所述神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；
循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；
在上述过程中，所述对抗扰动的绝对值不超过定值A，以确保其对人眼的不可见性。
将所述对抗扰动结果叠加到多媒体样本上作为保护水印。
所述获得对多媒体样本进行侵犯的神经网络模型和原始训练数据，包括：
获得对多媒体样本进行侵犯的目标检测器或DeepFake生成器；
针对上述目标检测器或DeepFake生成器，将干净多媒体样本作为原始训练数据。
若对多媒体样本进行侵犯的是目标检测器，所述循环将所述原始训练数据加上所述对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到更新对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果，包括：
A1将任意一张干净多媒体样本加上所述对抗扰动后输入到所有目标检测器中得到检测器的输出；
A2将所有检测器输出中物体框的置信度与0做均方误差，算出损失；
A3将损失分别在不同目标检测器上回传，得到在干净多媒体样本上的梯度序列，综合梯度序列得到该干净多媒体样本的扰动；
A4循环A1到A3，直到满足预先设定的终止条件，保存该对抗扰动结果。
若对多媒体样本进行侵犯的是DeepFake生成器，所述循环将所述原始训练数据加上所述对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到更新对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果，包括：
B1将任意一张干净人脸图片和该图片加上所述对抗扰动后的图片，输入到DeepFake生成器网络中，得到对抗样本生成的篡改图片和原始图片的篡改图片；
B2计算两张篡改图片的均方误差，算出损失；
B3将损失在不同的生成器上回传，得到在图片上的梯度序列，综合梯度序列得到该图片的扰动；
循环B1到B3，直到满足预先设定的终止条件，保存该对抗扰动结果。
所述循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动，还包括：
第二次得到的对抗扰动为将第一次对抗扰动乘上系数a加上本次扰动乘上系数b得到。
对抗扰动的无穷范数不超过定值，该定值取值为4。
所述系数a范围是[0.8,1.0)，所述系数b范围是(0,0.2]。
优选地，所述系数a取值为0.99，所述b取值为0.01。
另一方面，本发明提供了一种基于对抗攻击的多媒体隐私保护装置，其特征在于，包括以下模块：
获取模块，用于获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；
扰动生成模块，用于根据所述神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；
扰动保存模块，用于循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；
水印添加模块，用于将所述对抗扰动结果作为保护水印叠加到多媒体样本上。
第三方面，本发明提供了一种基于对抗攻击的多媒体隐私保护设备，其特征在于，包括多媒体内容生成装置及如上所述的多媒体隐私保护装置，所述多媒体隐私保护装置生成保护水印，并将所述保护水印叠加到所述多媒体生成装置生成的多媒体内容上。
本发明的有益效果：
通过本发明的方法，在得到对抗扰动(保护水印)之后，有软件端应用和硬件端应用两种方式将保护水印添加到需要保护的多媒体内容上。软件端可以在用户上传或保存多媒体内容时，将保护水印添加到多媒体内容上；硬件端可以在硬件设备形成多媒体内容时，将保护水印直接结合，形成带有保护水印的多媒体内容。本发明的技术方案可以主动对多媒体内容进行保护，保证用户自己上传的多媒体内容或成像设备产生的多媒体内容不被利用或篡改。
附图说明
图1是本发明保护多媒体内容的方法的流程。
图2是本发明生成通用目标检测中对抗样本的流程。
图3是本发明生产deepfake算法对抗样本的流程。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明使用了对抗攻击生成对抗样本来解决上述问题，主要涉及对抗样本领域。对抗样本于2013年被Intriguing properties of neural networks提出，其指的是将微小但刻意的扰动加在某样本上，其称之为对抗样本。这些样本输入神经网络之后，会诱导神经网络做出定向或者非定向的错误输出，其存在揭示了神经网络的脆弱性。随着研究的不断深入，对抗样本的生成方法可以分为白盒攻击和黑盒攻击。白盒攻击指的是攻击者可以获得网络结构和网络参数信息，并基于这些信息进行的攻击，例如FGSM(Explaining andHarnessing Adversarial Examples)，I-FGSM(Adversarial examples in the physicalworld)；黑盒攻击指的是攻击者不知道其所要攻击的网络结构和参数进行的攻击，例如DaST(DaST:Data-free Substitute Training for Adversarial Attacks)。虽然对抗样本的存在会给深度学习的广泛应用带来潜在威胁，但是对抗样本可以误导神经网络的性质却可以被用来保护多媒体内容不被检测、识别及篡改，保护其归属者的合法权益。
本发明力求使用对抗扰动生成保护水印以防止恶意读取多媒体内容或篡改多媒体内容，需要说明的是，本发明提出的是一种保护多媒体内容的方法，并不仅限于某个具体的任务。本发明最终会针对不同的任务生成该任务的保护水印，该水印肉眼几乎无法察觉。
本发明实施例提供一种生成保护水印的方法如下，流程在图1中亦给出：
一、获得可能对多媒体中隐私造成某种侵犯的神经网络模型、网络模型参数和一定量的原始训练数据。
在本步骤中可能侵犯多媒体的神经网络模型包括针对检测任务的检测器、能生成虚假图片的DeepFake生成器等。在本发明的方法中神经网络模型的参数，比如检测器，是在其他的数据上训练好后得到的模型的参数；比如deepfake生成器也会在某数据集上提前训练，训练好的deepfake生成器才有生成虚假图片的能力，并且会有模型参数得以保存。
二、根据神经网络模型针对的任务类型设计出不同的损失函数，设计与任务相关的损失函数得到对抗扰动(保护水印)，使神经网络模型的输出与原始干净样本(指不添加保护水印的样本)输入模型的输出差距变大，并循环输入训练数据中的样本不断重复该过程，训练对抗扰动(保护水印)。
在本步骤中与检测任务相关的损失函数是让物体的置信度最低；deepfake任务是让原图在deepfake生成器的输出和对抗样本在deepfake生成器上的输出相差最大。
需要说明的是，设计与任务相关的损失函数得到对抗扰动(保护水印)包括：
第一次对抗扰动是利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度得到；将原始训练数据加上第一次对抗扰动后输入到神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果。其中，首次随机扰动可以为随机噪音。
三、循环执行步骤二，当达到指定的训练次数(或其他终止条件)后，停止训练，保存扰动。
在上述过程中对抗扰动的绝对值不超过定值A，以确保其对人眼的不可见性。
四、使用该对抗扰动在软件端或者硬件端叠加任意同类型样本(例如：对于deepfake任务，任意同类型样本为任意含人脸的图片)即可让该侵犯隐私的形式失效(例如：对于deepfake任务，即为生成出人眼能够辨别的明显虚假的生成图片)，从而达到保护多媒体内容隐私的目的。
保护水印的具体利用方式如下所述：
该水印可以在软件端被使用，其具体的方式为在上传或存储多媒体文件时，添加保护水印到多媒体文件上，例如：上传照片到社交媒体时添加该保护水印。该水印也可在硬件端直接使用，其具体方式为在硬件生成多媒体内容时，同时将该保护水印添加到所形成的多媒体内容上，例如：监控设备成像时，直接添加该水印到所成视频中。
针对于检测任务与DeepFake生成模型，本发明给出了具体的结构来进一步解释该方法。
如图2所示，对于检测任务，干净样本输入不同的检测器(例如：YOLO v4,FasterR-CNN等)，将这些检测器预测出的物体置信度与0做均方误差损失，将损失回传到样本图片，得到梯度序列。接着，使用符号函数对这些梯度进行符号化，结合这些扰动产生对抗扰动(Universal Perturbation)，将对抗扰动加在干净样本上得到对抗样本，并将这些对抗样本重复上述操作，不断优化该对抗扰动，使之降低所有检测头预测出的物体置信度。为了保证该对抗扰动肉眼不可见，本发明限制对抗扰动的在RGB空间的绝对值大小(例如扰动的无穷范数不超过4)。经过若干轮迭代优化，对抗扰动会令所有的样本在所有的检测器上均不能有正确的输出，因此来对图片的内容进行保护，本发明称训练好的对抗扰动为该任务的保护水印。具体步骤如下：
1、准备多个检测器、已经训练好的检测器参数以及一定数量的原始训练图片；
2、将任意一张原始训练图片加上对抗扰动后(若为第一次攻击，对抗扰动为随机噪音)输入到所有检测器中得到检测器的输出。
3、将所有检测器输出中物体框的置信度与0做均方误差，算出损失。
4、将损失分别在不同检测器上回传，得到在图片上的梯度序列，综合梯度序列得到该图片的扰动，并对其做范围约束。得到本次攻击的扰动后，将之前的对抗扰动乘上系数a(通常为0.99)加上本次扰动乘上系数b(通常为0.01)得到新的对抗扰动。
5、重复2-4步，直到满足某种预先设定的终止条件或者达到攻击次数上限后，保存扰动，此扰动即为该任务的对抗扰动。
如图3所示，对于DeepFake任务，原始人脸图片输入到不同的DeepFake生成器中(对于视频，按帧取图)，不同的DeepFake生成器产生原图大小的篡改图片，对这些篡改图片，我们使用均方误差损失函数，输入原始图片的DeepFake图片和对抗样本的DeepFake图片，求出损失，最大化其与原始图片的差异。损失函数算出损失之后，在生成器上回传梯度，得到原始人脸图片上的梯度，接着，使用符号函数对这些梯度进行符号化，结合这些扰动产生对抗扰动，将对抗扰动加在原始人脸图片上得到对抗样本，并将这些对抗样本重复上述操作，使对抗扰动可以对生成器产生更大的作用，让其的输出与原图差异更大，从而可以非常明显的用肉眼看出其的篡改痕迹达到防止多媒体内容被恶意篡改的目的。具体步骤如下：
1、准备不同的DeepFake生成器网络、这些网络训练好的参数以及一定数量的原始训练图片；
2、将任意一张原始的训练图片和该图片加上对抗扰动(若为第一次攻击，对抗扰动为随机噪音)后的图片，输入到DeepFake生成器网络中，得到对抗样本生成的篡改图片和原始图片的篡改图片。
3、计算两张篡改图片的均方误差，算出损失。
4、将损失在不同的生成器上回传，得到在图片上的梯度序列，综合梯度序列得到该图片的扰动，并对其做范围约束。得到本次攻击的扰动后，将之前的对抗扰动乘上系数a(通常为0.99)加上本次扰动乘上系数b(通常为0.01)得到新的对抗扰动。
5、重复2-4步，直到满足某种预先设定的终止条件或者达到攻击次数上限后，保存扰动，此扰动即为该任务的对抗扰动。
本发明实施例还提供了一种基于对抗攻击的多媒体隐私保护装置，包括以下模块：获取模块，用于获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；扰动生成模块，用于根据所述神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；扰动保存模块，用于循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；水印添加模块，用于将所述对抗扰动结果作为保护水印叠加到多媒体样本上。
本发明实施例还提供一种基于对抗攻击的多媒体隐私保护设备，包括多媒体内容生成装置及如上所述的多媒体隐私保护装置，由多媒体隐私保护装置生成保护水印，并将保护水印叠加到多媒体生成装置生成的多媒体内容上。
本实施例中的多媒体隐私保护设备可以是相机或者摄像机等多媒体成像设备。
通过本发明的实施例，在得到保护水印之后，可以在软件层面将保护水印加入到对应的多媒体内容中，保护该多媒体内容不被恶意利用或篡改。需要指出的是，保护水印具有极强的泛化能力，不是仅仅针对于特定图片或者视频，对于特定任务(例如：deepfake)下的任意图片都可以进行保护。对于需求更强的场景，可以将保护水印嵌入硬件中，在成像的同时，将水印嵌入其中，从源头主动保护了多媒体内容内的隐私。

Claims (7)

1.一种基于对抗攻击的多媒体隐私保护方法，其特征在于，包括以下步骤：
1)获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；包括：
获得对多媒体样本进行侵犯的目标检测器或DeepFake生成器；
针对所述目标检测器或所述DeepFake生成器，将干净多媒体样本作为原始训练数据；
2)根据所述神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；
若对多媒体样本进行侵犯的是目标检测器，循环将所述原始训练数据加上所述对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到更新对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果，包括：
A1将任意一张干净多媒体样本加上所述对抗扰动后输入到所有目标检测器中得到检测器的输出；
A2将所有检测器输出中物体框的置信度与0做均方误差，算出损失；
A3将损失分别在不同目标检测器上回传，得到在干净多媒体样本上的梯度序列，综合梯度序列得到该干净多媒体样本的扰动；
A4循环A1到A3，直到满足预先设定的终止条件，保存该对抗扰动结果；
若对多媒体样本进行侵犯的是DeepFake生成器，循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；包括：
B1将任意一张干净人脸图片和该图片加上所述对抗扰动后的图片，输入到DeepFake生成器网络中，得到对抗样本生成的篡改图片和原始图片的篡改图片；
B2计算两张篡改图片的均方误差，算出损失；
B3将损失在不同的生成器上回传，得到在图片上的梯度序列，综合梯度序列得到该图片的扰动；
循环B1到B3，直到满足预先设定的终止条件，保存该对抗扰动结果；
3)将所述对抗扰动结果作为保护水印叠加到软件端上传或硬件端生成的多媒体内容上。
2.如权利要求1所述的方法，其特征在于，所述循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动，还包括：第二次得到的对抗扰动为将第一次对抗扰动乘上系数a加上本次扰动乘上系数b得到。
3.如权利要求2所述的方法，其特征在于，对抗扰动的无穷范数不超过定值，该定值取值为4。
4.如权利要求2所述的方法，其特征在于，所述系数a范围是[0.8,1.0)，所述系数b范围是(0,0.2]。
5.如权利要求4所述的方法，其特征在于，所述系数a取值为0.99，所述b取值为0.01。
6.一种实现权利要求1所述的多媒体隐私保护方法的基于对抗攻击的多媒体隐私保护装置，其特征在于，包括以下模块：
获取模块，用于获得对多媒体样本进行侵犯的神经网络模型和原始训练数据；
扰动生成模块，用于根据所述神经网络模型针对的任务类型设计出不同的损失函数，利用损失函数的值对任一原始训练数据加上首次随机扰动求梯度，得到第一次对抗扰动；
扰动保存模块，用于循环将所述原始训练数据加上所述第一次对抗扰动后输入到所述神经网络模型中进行计算，得到输出训练数据，再次利用损失函数计算损失，将损失回传求梯度，得到本次对抗扰动；当得到对应的输出训练数据与输入原始训练数据差距变大时，保存对抗扰动结果；
水印添加模块，用于将所述对抗扰动结果作为保护水印叠加到多媒体样本上。
7.一种基于对抗攻击的多媒体隐私保护设备，其特征在于，包括多媒体内容生成装置及如权利要求6所述的多媒体隐私保护装置，所述多媒体隐私保护装置生成保护水印，并将所述保护水印叠加到所述多媒体生成装置生成的多媒体内容上。
CN202110360515.2A 2021-04-02 2021-04-02 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 Active CN113076557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360515.2A CN113076557B (zh) 2021-04-02 2021-04-02 一种基于对抗攻击的多媒体隐私保护方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360515.2A CN113076557B (zh) 2021-04-02 2021-04-02 一种基于对抗攻击的多媒体隐私保护方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113076557A CN113076557A (zh) 2021-07-06
CN113076557B true CN113076557B (zh) 2022-05-20

Family

ID=76614810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360515.2A Active CN113076557B (zh) 2021-04-02 2021-04-02 一种基于对抗攻击的多媒体隐私保护方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113076557B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506272B (zh) * 2021-07-14 2024-02-13 人民网股份有限公司 一种虚假视频的检测方法及系统
CN113689318B (zh) * 2021-07-30 2023-07-07 南京信息工程大学 一种用于图像认证与对抗样本防御的深度半脆弱水印方法
CN114241268A (zh) * 2021-12-21 2022-03-25 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114095285B (zh) * 2022-01-24 2022-04-22 军事科学院系统工程研究院网络信息研究所 一种利用自适应扰动抵御网络侦察的方法和系统
CN114630130B (zh) * 2022-03-17 2024-05-03 北京影数科技有限公司 一种基于深度学习的换脸视频溯源方法及系统
CN114821823B (zh) * 2022-04-12 2023-07-25 马上消费金融股份有限公司 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN115330579B (zh) * 2022-08-03 2023-06-23 北京百度网讯科技有限公司 模型水印的构建方法、装置、设备及存储介质
CN115631085B (zh) * 2022-12-19 2023-04-11 浙江君同智能科技有限责任公司 一种用于图像保护的主动防御方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598400A (zh) * 2019-08-29 2019-12-20 浙江工业大学 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用
CN111461307A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于生成对抗网络的通用扰动生成方法
CN112561770A (zh) * 2020-12-08 2021-03-26 河海大学 一种基于脆弱水印的对抗样本防御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212020A1 (de) * 2019-08-09 2021-02-11 Volkswagen Aktiengesellschaft Verfahren zum Erkennen einer adversarialen Störung in Eingangsdaten eines Neuronalen Netzes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598400A (zh) * 2019-08-29 2019-12-20 浙江工业大学 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用
CN111461307A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于生成对抗网络的通用扰动生成方法
CN112561770A (zh) * 2020-12-08 2021-03-26 河海大学 一种基于脆弱水印的对抗样本防御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RPATTACK: REFINED PATCH ATTACK ON GENERAL OBJECT DETECTORS;Hao Huang 等;《arXiv:2103.12469v1》;20210323;第1-6页 *
基于生成式对抗网络的通用性对抗扰动生成方法;刘恒 等;《信息网络安全》;20200531;第57-64页 *

Also Published As

Publication number Publication date
CN113076557A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN113076557B (zh) 一种基于对抗攻击的多媒体隐私保护方法、装置及设备
Chinomi et al. PriSurv: Privacy protected video surveillance system using adaptive visual abstraction
Zong et al. Robust histogram shape-based method for image watermarking
CN113515774B (zh) 基于投影梯度下降法生成对抗样本的隐私保护方法
Lodeiro-Santiago et al. Secure UAV-based system to detect small boats using neural networks
Jiang et al. Fawa: Fast adversarial watermark attack
Hwang et al. Just one moment: Structural vulnerability of deep action recognition against one frame attack
Bukharmetov et al. Robust method for protecting electronic document on waterway transport with steganographic means by embedding digital watermarks into images
CN115273247A (zh) 一种针对深度伪造的主动防御方法、系统
CN102956025A (zh) 一种图像水印检测方法及其系统
Kim Secure object detection based on deep learning
Tiwari et al. Leveraging deep learning approaches for deepfake detection: A review
CN113221388A (zh) 一种视觉感知扰动约束的黑盒深度模型对抗样本生成方法
CN116798100A (zh) 人脸视频的检测方法和装置
CN114881838B (zh) 针对深度伪造的双向人脸数据保护方法、系统及设备
CN113505722B (zh) 一种基于多尺度特征融合的活体检测方法、系统及装置
CN115632843A (zh) 基于目标检测的后门攻击防御模型的生成方法
Bashier et al. Graphical password: Pass-images Edge detection
CN113642427A (zh) 一种针对人工智能伪造的图像保护方法
Mao et al. Research on multimodality face antispoofing model based on adversarial attacks
Liu et al. BiFPro: A Bidirectional Facial-data Protection Framework against DeepFake
Dong et al. Private face image generation method based on deidentification in low light
CN116309031B (zh) 人脸伪造主动干扰方法、系统、设备及存储介质
CN116975797B (zh) 一种针对ocr提取攻击的文本内容保护方法
Sreevallabh Chivukula et al. Adversarial Perturbation for Privacy Preservation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant