CN112381149A - 一种基于深度学习用于源相机识别的合理对抗分析方法 - Google Patents

一种基于深度学习用于源相机识别的合理对抗分析方法 Download PDF

Info

Publication number
CN112381149A
CN112381149A CN202011283607.7A CN202011283607A CN112381149A CN 112381149 A CN112381149 A CN 112381149A CN 202011283607 A CN202011283607 A CN 202011283607A CN 112381149 A CN112381149 A CN 112381149A
Authority
CN
China
Prior art keywords
label
attack
learning
camera
att
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011283607.7A
Other languages
English (en)
Other versions
CN112381149B (zh
Inventor
赵梦楠
王波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202011283607.7A priority Critical patent/CN112381149B/zh
Publication of CN112381149A publication Critical patent/CN112381149A/zh
Application granted granted Critical
Publication of CN112381149B publication Critical patent/CN112381149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习用于源相机识别的合理对抗分析方法,属于计算机图像处理技术领域。技术方案：采用耦合性编码的方式训练网络；使用神经网络引入了类似于复制粘贴方法的攻击模式；使用基于特征的联合自动学习攻击；基于噪声再训练方法的关系不匹配防御策略。有益效果：本发明所述的基于深度学习用于源相机识别的合理对抗分析方法采用复制粘贴攻击和联合特征自学习攻击的方法生成具有良好泛化性能的攻击；同时，本发明采用多任务学习的方法生成来源鉴别模型；并采用噪声再训练的方式扩展不同相机类型之间的关系误失配；这种关系误失配的方法可以精确的识别对抗样本。

Description

一种基于深度学习用于源相机识别的合理对抗分析方法
技术领域
本发明属于计算机图像处理技术领域，尤其涉及一种基于深度学习用于源相机识别的合理对抗分析方法。
背景技术
科学技术的飞速发展已在许多方面改变了人们的日常生活。例如，广泛使用的图像编辑应用使得人们难以分辨图像的真实性。攻击者可能会恶意篡改图片，并可能导致一系列问题。相机来源识别是最受欢迎的领域之一，在法律证据和其他类似领域中起着不可或缺的作用。这项任务最有效的方法是基于机器学习和各种特征提取的方法。研究人员从标记的图像中提取特殊特征，然后通过支持向量机(SVM)将它们用于训练分类器。
近年来，深度神经网络(DNN)在分类和识别上表现出了卓越的性能。因此将DNN应用于取证任务也是必须的。Bondi等人选择数据驱动的方法和通用的分类网络来识别相机型号。为了增加有限内存的DNN的深度，研究人员将高分辨率源图像分成较小的块作为输入。因此，有足够的数据来训练更深的网络，而无需担心过度拟合。此外，Ding等人提出了一种多任务训练方法来同时区分相机品牌，型号和个体。然而，无论如何提高正常分类的准确性，网络仍然容易受到对抗攻击。
DNN很容易受到对抗攻击。例如，针对语义分割和目标检测精心制作的对抗+样本，针对图像文本生成的有目标攻击方法，以及旨在欺骗音频系统的黑匣子攻击。与上面提到的方法类似，guera等人提出向相机来源鉴别引入对抗攻击，例如采用FGSM和JSMA攻击方法。这里我们给出几种常见的攻击方法：
基本迭代方法(BIM)：FGSM一步生成对抗样本，不能保证攻击率。BIM反复执行多个小步骤，并在每个步骤之后裁剪像素值以生成对抗样本。
Figure BDA0002781601750000011
Figure BDA0002781601750000012
x′n表示第n次攻击后生成的样本。ξ，ε，l表示最大扰动，单步扰动和预定义的攻击标签。
为了加快对抗攻击期间损失值的下降速度，dong等人将动量引入向后的梯度，该梯度将先前的梯度方向应用于随后的优化过程。
Figure BDA0002781601750000021
Figure BDA0002781601750000022
其中μ用于平衡动量和gn当前梯度值，sign表示符号函数，用于裁剪梯度更新方向。
对抗性攻击不是取证领域的新颖概念。一般而言，对抗攻击和反取证都寻求可以解决优化问题的方法。即，寻找特殊的图像，该图像经过取证网络后的输出结果是错误的标签或某种意义上最接近目标标签。指纹复制移动攻击保持了针对未知样本的攻击效果，这在源相机识别领域是一种合理的攻击方法。生成对抗样本可以用来欺骗训练后的模型，并且可以测量模型的健壮性。此类研究例如采用现有的攻击方法攻击基于CNN的相机来源鉴别网络，从而研究网络的脆弱性是不可取的。因为此类方法没有考虑相机分类的真实依据，即残留的相机痕迹。为了提高图像取证的安全性，Zhao等人添加损失梯度的L2范数来约束网络保持相对平滑，从而保证当输入稍微改变时输出不会改变太多。
理论与实践之间存在差异。众所周知，取证任务旨在提取在制造，生产或加工过程中留下的独特的相机指纹，作为对相机类别进行分类的证据。这些指纹是取证领域在攻击过程中应考虑的特殊痕迹。同时，由于对抗攻击会产生一对一的噪音，因此攻击者每当要生成新的对抗样本时都需要重新攻击样本。因此，利用现有的对抗攻击来生成对抗样本是不切实际的。目前亟需可以简单地产生对抗扰动的通用指纹提取方法。用户只需要准备源相机样本和目标相机样本即可获得可以欺骗取证方法的传输扰动。
此外，仍需注意的是取证任务与识别、检测任务不同的是，当对取证输入的图像加微小噪声时，都会使得取证精度大幅下降。所以，诸如中值滤波器，重置图像尺寸等方法并不能应用于取证任务中检测对抗样本。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于深度学习用于源相机识别的合理对抗分析方法，该方法采用属性复制粘贴以及属性自学习的攻击方法，使得可以方便的生成对抗样本。同时该方法采用了噪声再训练的方式，然后采用相机类别失配检测对抗样本。
技术方案如下：
一种基于深度学习用于源相机识别的合理对抗分析方法，步骤如下：
S1、采用耦合性编码的方式训练网络；
S2、使用神经网络引入了类似于复制粘贴方法的攻击模式；
S3、使用基于特征的联合自动学习攻击；
S4、基于噪声再训练方法的关系不匹配防御策略。
进一步的，步骤S1具体步骤如下：
T1、标记耦合性编码的标签，其中提取各个分类类别标签记为
B_label＝[1,…,1,0,…0,0,…,0]，
M_label＝[1,…,1,1,…1,0,…,0]，
D_label＝[1,…,1,1,…1,1,…,1]。
其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；
T2、通过提取得到的特征使用全连接层生成类别标签：
conv_1,conv_2,conv_3＝Conv(Att)，
Label1＝Softmax[FC(Conv_1)]
Label2＝2×Softmax[FC(Conv_2)]-Label1
Label3＝3×Softmax[FC(Conv_3)]-Label2-Label1
其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类品牌和型号的特征谱，conv_3表示用于分类品牌、型号和设备的特征谱，Att表示相关性特征以及相机属性信息，Label1表示实际分类器分类得到的品牌标签Label2表示型号标签，Label3表示个体标签；
T3、对得到的类别标签构造代价函数：
Classify2(logits,label)＝-Sum(label×log(logits))
L_b＝Classify2[(Label1),Label&B_label]
L_m＝Classify2[(Label2),Label&M_label]
L_d＝Classify2[(Label3),Label&D_label]
其中：L_b，L_m，L_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Label表示实际标签，logits表示逻辑值。
进一步的，步骤S2中，复制粘贴的攻击方法步骤如下：
通过学习模式实施复制移动攻击，检测生成的相机指纹是否可以将性能泛化到到测试集，
min Lt→p＝L{C{xt-N(xt)+N(xp)},p}+β·(||N(xt)||1+||N(xp)||1)
其中N(·)表示通过数据驱动形式优化的指纹学习网络，t和p表示相机类别，β是用于限制摄动程度的超参数，其默认值为0.4；
使用||N(xt)||1+||N(xp)||1来限制扰动程度；
采用批处理的方式提取指纹；
Figure BDA0002781601750000041
N(x*)0表示从输入中获取平均指纹，0表示批次的尺寸。
进一步的，步骤S3中，联合自动学习攻击步骤如下：
将来自不同类别的相机指纹进行串联，然后使用卷积核自动学习组合模式；
U1方式中使用预定义的计算模式查找相机指纹：
attt→p＝attp→t＝[N(xp)]0-[N(xt)]0
引入了基于联合特征的自动学习方法来生成转移指纹：
attt→p＝[Rt{N(xp),N(xt)}]0
attp→t＝[Rp{N(xp),N(xt)}]0
R{*}表示用于学习转移指纹的网络；通过自动学习的攻击方法结合从两类数据中提取得到的特征去学习转移指纹信息，自动学习方法表示为：
min Lt→p＝L{C{xt+attt→p},p}+β·(||attt→p||1)
min Lp→t＝L{C{xp+attp→t},t}+β·(||attp→t||1)
指纹复制粘贴中，对于t转p和p转t采用相同的噪声，自学习攻击方法采用不同的噪声。
进一步的，步骤S4中，噪声再训练步骤如下：
在得到由耦合性编码方式训练得到的分类器后，向用户发布经过设备特征训练得到的分类器，并掩盖经过型号特征和品牌特征训练的分类器；采用来自不同分类器的分类结果之间的不匹配作为判断标准来检测对抗样本，不同的特征空间之间存在重叠，并且特征空间满足以下约束：
BF＝MF∪BCF∪RBFωM＝MF∩BCF
MF＝DCF∪MCF∪RMFωD＝MCF∩DCF
wM和wD测量不同分类器之间的相互作用，DCF表示训练分类器的设备特征；
定义L1n(*)和L2n(*)：
L1n(x)＝||{CD(FD(x))-CB(FB(x))}[:Blen]||1
L2n(x)＝||{CD(FD(x))-CM(FM(x))}[:Blen+Mlen]||1
其中F*表示特征提取网络，FD(x)＝DCF；采用如下公式训练初始的来源识别网络：
Figure BDA0002781601750000051
在训练过程中生成扰动样本x*作为负样本，并对得到的网络进行再训练，在训练过程中，同时约束干净样本以及受扰动样本：
L2J＝LJ(x)-γ·L1n(x*)-Γ·L2n(x*)
采用LJ(x)来维护干净样本网络的分类精度，γ和Γ均设为0.01，通过添加正态分布噪声生成负样本，
x*＝x+noise(μ,σ,x.size)
均值μ＝0，标准偏差δ＝1。
本发明的有益效果是：
本发明所述的基于深度学习用于源相机识别的合理对抗分析方法采用复制粘贴攻击和联合特征自学习攻击的方法生成具有良好泛化性能的攻击；同时，本发明采用多任务学习的方法生成来源鉴别模型；并采用噪声再训练的方式扩展不同相机类型之间的关系误失配；这种关系误失配的方法可以精确的识别对抗样本。
附图说明
图1是通过耦合性编码以及多任务训练的方式得到的整体结构框图；
图2是特征空间的划分；
图3是复制移动攻击方法的结构示意图；
图4是自动学习攻击方法的结构示意图。
具体实施方式
下面结合附图1-4对基于深度学习用于源相机识别的合理对抗分析方法做进一步说明。
实施例1
一种基于深度学习用于源相机识别的合理对抗分析方法，步骤如下：
S1、采用耦合性编码的方式训练网络；
S2、使用神经网络引入了类似于复制粘贴方法的攻击模式；
S3、使用基于特征的联合自动学习攻击；
S4、基于噪声再训练方法的关系不匹配防御策略。
为了防御对抗攻击，我们采用耦合性编码的方式训练网络。即使用单个标签同时对相机的品牌、型号和设备分类。提取设备分类特征(DCF)，以对相机品牌，型号和设备进行分类。同时，采用型号分类特征(MCF)来训练另一个模型和品牌分类模型。研究人员仅将经过DCF训练的分类网络发布给用户，因为它可以同时对相机品牌，型号和设备进行分类。可以使用用户未知的型号分类特征训练的分类网络和品牌分类特征训练的分类网络基于关系不匹配来防御对抗样本。
我们使用神经网络引入了复制粘贴的攻击模式。为了提高攻击能力，我们提出了一种基于特征的联合自动学习攻击。基于特征的联合自动学习攻击解决了复制粘贴攻击模式导致的特征遗失。两种网络的攻击能力都依赖于相机拍摄得到的训练数据以及深度学习过程中的回归性能。
我们提出了噪声再训练模式，以降低伪造样本的相机之间的关联度，扩大正常样本的相机之间的关联度。噪声再训练方法的关系不匹配防御策略基于对特征空间的分析。这种防御方法的合理性在于考虑了相机不同类型之间的相关性。
总而言之，对于源相机拍摄得到的单个图片进行的处理难以考虑相机的类内相关性。
为了防御对抗攻击，我们采用耦合性编码的方式训练网络。即使用单个标签同时对相机的品牌、型号和设备分类。可以仅将经过设备分类特征训练的分类网络发布给用户。因此，可以使用用户未知的型号分类特征训练的分类网络和品牌分类特征训练的分类网络基于关系不匹配来防御对抗样本。我们使用神经网络引入了复制粘贴的攻击模式。为了提高攻击能力，我们提出了一种基于特征的联合自动学习攻击。基于特征的联合自动学习攻击解决了复制粘贴攻击模式导致的特征遗失。噪声再训练模式降低了伪造样本的相机之间的关联度，扩大正常样本的相机之间的关联度。噪声再训练方法的关系不匹配防御策略是基于对特征空间的分析。这种防御方法的合理性在于考虑了相机不同类型之间的相关性
实施例2
由于攻击者容易轻易篡改数字图像，因此源摄像机识别(SCI)是确定给定图像可靠性的强大工具。最近的研究启发了卷积神经网络在对抗攻击中的脆弱性，这使取证方法的可靠性受到质疑。但是，现有的对抗攻击会产生一对一的噪声，这意味着这些方法尚未真正了解指纹信息。因此，我们介绍了基于神经网络的指纹复制移动攻击和基于联合特征的自动学习攻击。两种方法都显示出对未知样本的出色攻击转移能力。为了防御对抗攻击，我们设计了新颖的噪声再训练模式，该模式扩大了同一分类网络中不同分类器之间的特征差异。这种关系不匹配被用作检测对抗实例的检测标准。
一种基于深度学习用于源相机识别的合理对抗分析方法，步骤如下：
所述多任务分类器采用的耦合式编码如下：
T1、耦合性编码的标签，其中提取各个分类类别标签记为
B_label＝[1,…,1,0,…0,0,…,0]，
M_label＝[1,…,1,1,…1,0,…,0]，
D_label＝[1,…,1,1,…1,1,…,1]。
其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；
T2、通过提取得到的特征使用全连接层生成类别标签：
conv_1,conv_2,conv_3＝Conv(Att)，
Label1＝Softmax[FC(Conv_1)]
Label2＝2×Softmax[FC(Conv_2)]-Label1
Label3＝3×Softmax[FC(Conv_3)]-Label2-Label1
其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类品牌和型号的特征谱，conv_3表示用于分类品牌、型号和设备的特征谱，Att表示相关性特征以及相机属性信息，Label1表示实际分类器分类得到的品牌标签Label2表示型号标签，Label3表示个体标签；
T3、对得到的类别标签构造代价函数：
Classify2(logits,label)＝-Sum(label×log(logits))
L_b＝Classify2[(Label1),Label&B_label]
L_m＝Classify2[(Label2),Label&M_label]
L_d＝Classify2[(Label3),Label&D_label]
其中：L_b，L_m，L_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Label表示实际标签，logits代表逻辑值。详细的图形描述在图1给出。
所述复制粘贴方法的攻击和特征的联合自动学习攻击模式如下：
U1、复制粘贴的攻击方法
取证领域的特殊性决定了我们可以提取通用指纹来实现有针对性的攻击。我们可以任意采用两种不同的相机分别作为类别t和p。与用PRNU提取相机指纹的传统方法类似，我们希望通过学习模式实施复制移动攻击。然后，我们可以检测生成的相机指纹是否可以将性能泛化到到测试集，即未知样本。
min Lt→p＝L{C{xt-N(xt)+N(xp)},p}+β·(||N(xt)||1+||N(xp)||1)
N(·)表示通过数据驱动形式优化的指纹学习网络。t和p是相机类别。β是用于限制摄动程度的超参数，其默认值为0.4。当我们为其设置较大的值(例如β＝1)时，该方法的执行率较低。相反，当我们设置较小的值(例如β＝0.1)时，添加到干净样本中的扰动很难减小。详细的图形描述在图3给出。
我们选择使用||N(xt)||1+||N(xp)||1来限制扰动程度，因为||N(xt)+N(xp)||1≤||N(xt)||1+||N(xp)||1。
同一台相机机捕获的图像共享相似的指纹，因此我们也采用批处理的方式提取指纹。
Figure BDA0002781601750000091
N(x*)0表示从输入中获取平均指纹，0表示批次的尺寸。
但实际上，我们发现同一台相机捕获的图像并不共享相同的指纹，而是共享相似的像素点之间的相关性。即无批处理的方式会比批处理方式的结果要好。
U2、特征的联合自动学习攻击模式
为了获得传输扰动，我们将来自不同类别的相机指纹进行串联，然后使用卷积核自动学习组合模式。自动学习方法克服了简单组合模式导致特征缺失的问题，使我们可以获得更好的攻击能力。下表中描述了指纹提取网络和组合模式学习网络，(2)表示采用了两个完全相同的卷积层，但不共享参数。
Figure BDA0002781601750000092
表1
U1方式中使用预定义的计算模式查找相机指纹。
attt→p＝attp→t＝[N(xp)]0-[N(xt)]0
但是，这种形式不是构成扰动的唯一方法。扰动可以将图像从一个类别转移到另一个类别。因此，我们引入了基于联合特征的自动学习方法来生成转移指纹。
attt→p＝[Rt{N(xp),N(xt)}]0
attp→t＝[Rp{N(xp),N(xt)}]0
R{*}是用于学习转移指纹的网络。可以看到，自动学习的攻击方法结合从两类数据中提取得到的特征去学习转移指纹信息。自动学习方法表示为
min Lt→p＝L{C{xt+attt→p},p}+β·(||attt→p||1)
min Lp→t＝L{C{xp+attp→t},t}+β·(||attp→t||1)
指纹复制粘贴的对于t转p和p转t采用相同的噪声，而自学习攻击方法采用不同的噪声。详细的图形描述在图4给出。
所述噪声再训练与关系误失配方法如下：
V1、噪声再训练
在得到由耦合性编码方式训练得到的分类器后，开发人员就可以向用户发布经过设备特征训练得到的分类器，并掩盖经过型号特征和品牌特征训练的分类器。因此，我们可以采用来自不同分类器的分类结果之间的不匹配作为判断标准来检测对抗样本。具体的特征空间表示如附图2所示，RF指示冗余特征，BF表示可以对相机品牌进行分类的特征，其中还包含型号特征和设备特征；BC，MC和DC分别代表相机品牌，型号和设备的分类器。我们注意到，不同的特征空间之间存在重叠，并且特征空间满足以下约束：
BF＝MF∪BCF∪RBFωM＝MF∩BCF
MF＝DCF∪MCF∪RMFωD＝MCF∩DCF
wM和wD测量不同分类器之间的相互作用。当wM＝φ和wD＝φ时，对任何分类器的攻击都不会影响其他分类器的分类精度。即使攻击者成功为设备特征训练的分类器生成了对抗样本，但由型号特征训练和品牌特征训练的分类器也会容易检测到这些样本。DCF表示训练分类器的设备特征。
但是，在实际训练得到的模型中，用于欺骗由型号特征训练分类器的对抗样本也会使由模型特征训练的分类器和品牌特征训练的分类器误分类。同时，来自三种分类器的分类结果满足以下方程式：
CB(BCF)[:Blen]＝＝CD(DCF)[:Blen]
CM(MCF)[:Blen+Mlen]＝＝CD(DCF)[:Blen+Mlen]
从我们的角度来看，这是因为在不同的分类器之间共享了更多相似的分类特征。为了使不同的分类器尽可能学习不同的分类特征，我们额外定义了L1n(*)和L2n(*)。
L1n(x)＝||{CD(FD(x))-CB(FB(x))}[:Blen]||1
L2n(x)＝||{CD(FD(x))-CM(FM(x))}[:Blen+Mlen]||1
其中F*表示特征提取网络，FD(x)＝DCF。我们首先采用如下公式训练初始的来源识别网络。
Figure BDA0002781601750000111
接下来，我们在训练过程中生成扰动样本x*作为负样本，并对得到的网络进行再训练，在训练过程中，同时约束干净样本以及受扰动样本。
L2J＝LJ(x)-γ·L1n(x*)-Γ·L2n(x*)
采用LJ(x)来维护干净样本网络的分类精度。γ和Γ均设为0.01。这些参数不应设置太大的值，因为当我们使用γ＝1和Γ＝1进行实验时，会影响干净样本的分类精度。为方便起见，我们通过添加正态分布噪声生成负样本。
x*＝x+noise(μ,σ,x.size)
均值μ＝0，标准偏差δ＝1。这样，网络可以对置信度好的样本进行高置信度分类，同时很好的检测受干扰样本。
实施例3
一种基于深度学习用于源相机识别的合理对抗分析方法，步骤如下：
所述多任务分类器采用的耦合式编码如下：
S1、采用耦合性编码的方式训练网络；
S2、使用神经网络引入了类似于复制粘贴方法的攻击模式；
取证领域的特殊性决定了我们可以提取通用指纹来实现有针对性的攻击。我们可以任意采用两种不同的相机分别作为类别t和p。与用PRNU提取相机指纹的传统方法类似，我们希望通过学习模式实施复制移动攻击。然后，我们可以检测生成的相机指纹是否可以将性能泛化到到测试集，即未知样本。
min Lt→p＝L{C{xt-N(xt)+N(xp)},p}+β·(||N(xt)||1+||N(xp)||1)
N(·)表示通过数据驱动形式优化的指纹学习网络。t和p是相机类别。β是用于限制摄动程度的超参数，其默认值为0.4。当我们为其设置较大的值(例如β＝1)时，该方法的执行率较低。相反，当我们设置较小的值(例如β＝0.1)时，添加到干净样本中的扰动很难减小。详细的图形描述在图3给出，C代表训练后的源摄像机识别模型，N代表指纹提取网络。t，p是相机类别。xt和xp是输入样本。nt和np表示相机生产过程中剩余的提取轨迹。ct和cp是与摄像机标识无关的摄像机内容。
我们选择使用||N(xt)||1+||N(xp)||1来限制扰动程度，因为||N(xt)+N(xp)||1≤||N(xt)||1+||N(xp)||1。
同一台相机机捕获的图像共享相似的指纹，因此我们也采用批处理的方式提取指纹。
Figure BDA0002781601750000121
N(x*)0表示从输入中获取平均指纹，0表示批次的尺寸。
但实际上，我们发现同一台相机捕获的图像并不共享相同的指纹，而是共享相似的像素点之间的相关性。即无批处理的方式会比批处理方式的结果要好。
S3、使用基于特征的联合自动学习攻击；
为了获得传输扰动，我们将来自不同类别的相机指纹进行串联，然后使用卷积核自动学习组合模式。自动学习方法克服了简单组合模式导致特征缺失的问题，使我们可以获得更好的攻击能力。下表中描述了指纹提取网络和组合模式学习网络，(2)表示采用了两个完全相同的卷积层，但不共享参数。
Figure BDA0002781601750000131
表1
U1方式中使用预定义的计算模式查找相机指纹。
attt→p＝attp→t＝[N(xp)]0-[N(xt)]0
但是，这种形式不是构成扰动的唯一方法。扰动可以将图像从一个类别转移到另一个类别。因此，我们引入了基于联合特征的自动学习方法来生成转移指纹。
attt→p＝[Rt{N(xp),N(xt)}]0
attp→t＝[Rp{N(xp),N(xt)}]0
R{*}是用于学习转移指纹的网络。可以看到，自动学习的攻击方法结合从两类数据中提取得到的特征去学习转移指纹信息。自动学习方法表示为
min Lt→p＝L{C{xt+attt→p},p}+β·(||attt→p||1)
min Lp→t＝L{C{xp+attp→t},t}+β·(||attp→t||1)
指纹复制粘贴的对于t转p和p转t采用相同的噪声，而自学习攻击方法采用不同的噪声。详细的图形描述在图4给出，C代表训练后的源摄像机识别模型。；R代表指纹转移组合的学习网络；N表示指纹提取网络。
S4、基于噪声再训练方法的关系不匹配防御策略。
在得到由耦合性编码方式训练得到的分类器后，开发人员就可以向用户发布经过设备特征训练得到的分类器，并掩盖经过型号特征和品牌特征训练的分类器。因此，我们可以采用来自不同分类器的分类结果之间的不匹配作为判断标准来检测对抗样本。具体的特征空间表示如附图2所示。我们注意到，不同的特征空间之间存在重叠，并且特征空间满足以下约束：
BF＝MF∪BCF∪RBFωM＝MF∩BCF
MF＝DCF∪MCF∪RMFωD＝MCF∩DCF
wM和wD测量不同分类器之间的相互作用。当wM＝φ和wD＝φ时，对任何分类器的攻击都不会影响其他分类器的分类精度。即使攻击者成功为设备特征训练的分类器生成了对抗样本，但由型号特征训练和品牌特征训练的分类器也会容易检测到这些样本。DCF表示训练分类器的设备特征。
但是，在实际训练得到的模型中，用于欺骗由型号特征训练分类器的对抗样本也会使由模型特征训练的分类器和品牌特征训练的分类器误分类。同时，来自三种分类器的分类结果满足以下方程式：
CB(BCF)[:Blen]＝＝CD(DCF)[:Blen]
CM(MCF)[:Blen+Mlen]＝＝CD(DCF)[:Blen+Mlen]
从我们的角度来看，这是因为在不同的分类器之间共享了更多相似的分类特征。为了使不同的分类器尽可能学习不同的分类特征，我们额外定义了L1n(*)和L2n(*)。
L1n(x)＝||{CD(FD(x))-CB(FB(x))}[:Blen]||1
L2n(x)＝||{CD(FD(x))-CM(FM(x))}[:Blen+Mlen]||1
其中F*表示特征提取网络，FD(x)＝DCF。我们首先采用如下公式训练初始的来源识别网络。
Figure BDA0002781601750000141
接下来，我们在训练过程中生成扰动样本x*作为负样本，并对得到的网络进行再训练，在训练过程中，同时约束干净样本以及受扰动样本。
L2J＝LJ(x)-γ·L1n(x*)-Γ·L2n(x*)
采用LJ(x)来维护干净样本网络的分类精度。γ和Γ均设为0.01。这些参数不应设置太大的值，因为当我们使用γ＝1和Γ＝1进行实验时，会影响干净样本的分类精度。为方便起见，我们通过添加正态分布噪声生成负样本。
x*＝x+noise(μ,σ,x.size)
均值μ＝0，标准偏差δ＝1。这样，网络可以对置信度好的样本进行高置信度分类，同时很好的检测受干扰样本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习用于源相机识别的合理对抗分析方法，其特征在于，步骤如下：
S1、采用耦合性编码的方式训练网络；
S2、使用神经网络引入了类似于复制粘贴方法的攻击模式；
S3、使用基于特征的联合自动学习攻击；
S4、基于噪声再训练方法的关系不匹配防御策略。
2.如权利要求1所述的基于深度学习用于源相机识别的合理对抗分析方法，其特征在于，步骤S1具体步骤如下：
T1、标记耦合性编码的标签，其中提取各个分类类别标签记为
B_label＝[1,…,1,0,…0,0,…,0]，
M_label＝[1,…,1,1,…1,0,…,0]，
D_label＝[1,…,1,1,…1,1,…,1]。
其中：B_label表示品牌目标标签，M_label表示型号目标标签，D_label表示个体目标标签；
T2、通过提取得到的特征使用全连接层生成类别标签：
conv_1,conv_2,conv_3＝Conv(Att)，
Label1＝Softmax[FC(Conv_1)]
Label2＝2×Softmax[FC(Conv_2)]-Label1
Label3＝3×Softmax[FC(Conv_3)]-Label2-Label1
其中：conv_1表示神经网络用于分类品牌的特征谱，conv_2表示用于分类品牌和型号的特征谱，conv_3表示用于分类品牌、型号和设备的特征谱，Att表示相关性特征以及相机属性信息，Label1表示实际分类器分类得到的品牌标签Label2表示型号标签，Label3表示个体标签；
T3、对得到的类别标签构造代价函数：
Classify2(logits,label)＝-Sum(label×log(logits))
L_b＝Classify2[(Label1),Label&B_label]
L_m＝Classify2[(Label2),Label&M_label]
L_d＝Classify2[(Label3),Label&D_label]
其中：L_b，L_m，L_d分别表示在实际标签的监督下，优化品牌、型号和个体的代价函数，Label表示实际标签，logits表示逻辑值。
3.如权利要求1所述的基于深度学习用于源相机识别的合理对抗分析方法，其特征在于，步骤S2中，复制粘贴的攻击方法步骤如下：
通过学习模式实施复制移动攻击，检测生成的相机指纹是否可以将性能泛化到到测试集，
min Lt→p＝L{C{xt-N(xt)+N(xp)},p}+β·(||N(xt)||1+||N(xp)||1)
其中N(·)表示通过数据驱动形式优化的指纹学习网络，t和p表示相机类别，β是用于限制摄动程度的超参数，其默认值为0.4；
使用||N(xt)||1+||N(xp)||1来限制扰动程度；
采用批处理的方式提取指纹；
Figure FDA0002781601740000021
N(x*)0表示从输入中获取平均指纹，0表示批次的尺寸。
4.如权利要求3所述的基于深度学习用于源相机识别的合理对抗分析方法，其特征在于，步骤S3中，联合自动学习攻击步骤如下：
将来自不同类别的相机指纹进行串联，然后使用卷积核自动学习组合模式；
U1方式中使用预定义的计算模式查找相机指纹：
attt→p＝attp→t＝[N(xp)]0-[N(xt)]0
引入了基于联合特征的自动学习方法来生成转移指纹：
attt→p＝[Rt{N(xp),N(xt)}]0
attp→t＝[Rp{N(xp),N(xt)}]0
R{*}表示用于学习转移指纹的网络；通过自动学习的攻击方法结合从两类数据中提取得到的特征去学习转移指纹信息，自动学习方法表示为：
min Lt→p＝L{C{xt+attt→p},p}+β·(||attt→p||1)
min Lp→t＝L{C{xp+attp→t},t}+β·(||attp→t||1)
指纹复制粘贴中，对于t转p和p转t采用相同的噪声，自学习攻击方法采用不同的噪声。
5.如权利要求1所述的基于深度学习用于源相机识别的合理对抗分析方法，其特征在于，步骤S4中，噪声再训练步骤如下：
在得到由耦合性编码方式训练得到的分类器后，向用户发布经过设备特征训练得到的分类器，并掩盖经过型号特征和品牌特征训练的分类器；采用来自不同分类器的分类结果之间的不匹配作为判断标准来检测对抗样本，不同的特征空间之间存在重叠，并且特征空间满足以下约束：
BF＝MF∪BCF∪RBF ωM＝MF∩BCF
MF＝DCF∪MCF∪RMF ωD＝MCF∩DCF
wM和wD测量不同分类器之间的相互作用，DCF表示训练分类器的设备特征；定义L1n(*)和L2n(*)：
L1n(x)＝||{CD(FD(x))-CB(FB(x))}[:Blen]||1
L2n(x)＝||{CD(FD(x))-CM(FM(x))}[:Blen+Mlen]||1
其中F*表示特征提取网络，FD(x)＝DCF；采用如下公式训练初始的来源识别网络：
Figure FDA0002781601740000031
在训练过程中生成扰动样本x*作为负样本，并对得到的网络进行再训练，在训练过程中，同时约束干净样本以及受扰动样本：
L2J＝LJ(x)-γ·L1n(x*)-Γ·L2n(x*)
采用LJ(x)来维护干净样本网络的分类精度，γ和Γ均设为0.01，通过添加正态分布噪声生成负样本，
x*＝x+noise(μ,σ,x.size)
均值μ＝0，标准偏差δ＝1。
CN202011283607.7A 2020-11-17 2020-11-17 一种基于深度学习用于源相机识别的合理对抗分析方法 Active CN112381149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283607.7A CN112381149B (zh) 2020-11-17 2020-11-17 一种基于深度学习用于源相机识别的合理对抗分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283607.7A CN112381149B (zh) 2020-11-17 2020-11-17 一种基于深度学习用于源相机识别的合理对抗分析方法

Publications (2)

Publication Number Publication Date
CN112381149A true CN112381149A (zh) 2021-02-19
CN112381149B CN112381149B (zh) 2024-03-29

Family

ID=74585637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283607.7A Active CN112381149B (zh) 2020-11-17 2020-11-17 一种基于深度学习用于源相机识别的合理对抗分析方法

Country Status (1)

Country Link
CN (1) CN112381149B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659679A (zh) * 2019-09-16 2020-01-07 大连理工大学 一种基于自适应滤波与耦合性编码的图像来源鉴别方法
CN110852363A (zh) * 2019-10-31 2020-02-28 大连理工大学 一种基于欺骗攻击者的对抗样本防御方法
CN111753881A (zh) * 2020-05-28 2020-10-09 浙江工业大学 一种基于概念敏感性量化识别对抗攻击的防御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659679A (zh) * 2019-09-16 2020-01-07 大连理工大学 一种基于自适应滤波与耦合性编码的图像来源鉴别方法
CN110852363A (zh) * 2019-10-31 2020-02-28 大连理工大学 一种基于欺骗攻击者的对抗样本防御方法
CN111753881A (zh) * 2020-05-28 2020-10-09 浙江工业大学 一种基于概念敏感性量化识别对抗攻击的防御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENGNAN ZHAO等: "Source Camera Identification Based on Coupling Coding and Adaptive Filter", 《IEEE》 *
严飞;张铭伦;张立强;: "基于边界值不变量的对抗样本检测方法", 网络与信息安全学报, no. 01 *
周文;张世琨;丁勇;陈曦;: "面向低维工控网数据集的对抗样本攻击分析", 计算机研究与发展, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质
CN113627503B (zh) * 2021-07-30 2023-10-24 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112381149B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
Wu et al. Busternet: Detecting copy-move image forgery with source/target localization
Han et al. Object detection in optical remote sensing images based on weakly supervised learning and high-level feature learning
Cozzolino et al. Image forgery detection through residual-based local descriptors and block-matching
Kamboj et al. A comprehensive survey and deep learning-based approach for human recognition using ear biometric
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
WO2021137946A1 (en) Forgery detection of face image
Soni et al. Hybrid meta-heuristic algorithm based deep neural network for face recognition
Sun et al. A face spoofing detection method based on domain adaptation and lossless size adaptation
Wang et al. FFR_FD: Effective and fast detection of DeepFakes via feature point defects
Shelke et al. Multiple forgery detection and localization technique for digital video using PCT and NBAP
Yao et al. R²IPoints: Pursuing Rotation-Insensitive Point Representation for Aerial Object Detection
Masood et al. Classification of Deepfake videos using pre-trained convolutional neural networks
Yang et al. Design of cyber-physical-social systems with forensic-awareness based on deep learning
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Ganapathi et al. Learning to localize image forgery using end-to-end attention network
CN112381149A (zh) 一种基于深度学习用于源相机识别的合理对抗分析方法
Prihasto et al. A survey of deep face recognition in the wild
Akram et al. Weber Law Based Approach forMulti-Class Image Forgery Detection.
Veal et al. Evolutionary algorithm driven explainable adversarial artificial intelligence
Annadani et al. Selfie detection by synergy-constraint based convolutional neural network
Shukla et al. A survey on digital image forensic methods based on blind forgery detection
Qiao et al. Toward intelligent detection modelling for adversarial samples in convolutional neural networks
Aminu et al. General Purpose Image Tampering Detection Using Convolutional Neural Network and Local Optimal Oriented Pattern (LOOP)
Bose et al. Human face and facial parts detection using template matching technique
Kotuliak et al. Synthesizing unrestricted false positive adversarial objects using generative models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant