CN111738274A - 基于局部光滑投影的抗对抗攻击相机源识别方法 - Google Patents

Abstract

本发明公开了一种基于局部光滑投影的抗对抗攻击相机源识别方法，包括步骤：1)相机图像预处理；2)构建相机源识别特征提取网络；3)生成噪声图像分块集合；4)定义局部光滑投影损失函数；5)构建相机源识别前置防御网络；6)应用识别模型。本发明利用了局部光滑投影使相机源识别的特征提取过程有效抑制对抗噪声以提取到具有对抗鲁棒性的特征，从而实现在相机源识别中防御对抗攻击。同时，本发明采用了一种相机源识别前置防御网络，将特征提取过程和防御过程分离，不仅易于训练，而且可以被迁移到不同的相机源识别网络中。本发明兼顾了基于深度神经网络的相机源识别方法的准确性、鲁棒性以及可迁移性。

Description

基于局部光滑投影的抗对抗攻击相机源识别方法

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于局部光滑投影的抗对抗攻击相机源识别方法。

背景技术

相机源识别旨在通过分析拍摄图像中的噪声来识别出相应相机型号。在诸多调查法证问题中，相机源识别问题已经引起了极大的关注，在近两年，IEEE信号处理学会就举办了Kaggle相机源识别大赛，进一步推动这一方向的研究。相机源识别对于刑事调查和审判至关重要，例如解决版权侵权案件，并指出非法图像的作者。相机源识别也为其它和图像篡改检测相关的问题提供了重要的证据。早期常见的相机源识别方法主要是使用图像元数据，将相机型号信息置入图像中，但是这个方法添加的元数据本身就很容易被伪造。后来，研究者提出了基于匹配噪声模式的方法，如使用噪声过滤器——小波滤波器来提取用于识别的噪声或者用一些统计方法获得某些统计量作为特征，如使用彩色的去马赛克图像的最小二乘估计作为分类特征，但是这些方法的准确率也不是非常理想。

近年来，基于得益于深度学习技术尤其是卷积神经网络的发展，相机源识别的准确度较于传统方法有了飞跃性的提高。然而，由于深度神经网络是线性的，因而非常容易遭受到对抗攻击。攻击者只要在图像中加入微小的对抗噪声，就能够让基于深度神经网络的相机源识别方法产生错误的分类，从而带来一系列的安全问题。

由于相机源识别不同于一般图像分类任务，它并不依赖于图像内容而是依赖于图像噪声，通用的防御对抗攻击的方法例如噪声消除很可能在消除噪声的同时破坏图像中用于识别噪声。对于另一类鲁棒性优化方法，如对抗训练，尽管能够一定程度上防御对抗攻击，但是也非常容易降低了识别的准确度。而通常来说，训练神经网络的代价是非常昂贵的，上述的鲁棒性优化的方法难以被迁移到不同的深度神经网络上。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于局部光滑投影的抗对抗攻击相机源识别方法，该方法通过相机图像预处理获得可供网络训练的图像分块。在构建和训练相机源识别特征提取网络后，基于相机源识别的特征提取投影对不同噪声影响的分析，为图像分块建立局部统计坐标，并构建了局部光滑投影目标，减缓特征提取投影在不同噪声下的振荡现象，从而保证网络对对抗噪声的鲁棒性。同时，为了使得网络易于训练且获得迁移特性，该方法采用了一个相机源识别前置防御网络来过滤噪声图像分块，将相机源识别特征提取网络训练过程和防御过程分离，避免了相机源识别特征提取网络的参数更新。

为实现上述目的，本发明所提供的技术方案为：基于局部光滑投影的抗对抗攻击相机源识别方法，包括以下步骤：

1)相机图像预处理

给定相机拍摄图像数据集，将不同相机型号采集的图像切分成不重叠的原始图像分块，筛选原始图像分块并进行归一化处理；

2)构建相机源识别特征提取网络

根据原始图像分块的大小，定义一个相机源识别特征提取网络并进行初始化；使用步骤1)中处理后的原始图像分块训练相机源识别特征提取网络；

3)生成噪声图像分块集合

基于步骤2)中相机源识别特征提取网络的梯度生成含有多个噪声图像分块的噪声图像分块集合，该噪声图像分块集合中的噪声包含对抗噪声和高斯噪声两种噪声，因此，该噪声图像分块集合包含对抗噪声图像分块和高斯噪声图像分块两种噪声图像分块；

4)定义局部光滑投影损失函数

基于步骤1)中的原始图像分块和步骤3)中的噪声图像分块集合构建局部统计坐标，并利用所构建的局部统计坐标定义局部光滑投影损失函数；

5)构建相机源识别前置防御网络

定义并初始化相机源识别前置防御网络；输入步骤1)中的原始图像分块和步骤3)中噪声图像分块集合内的噪声图像分块到相机源识别前置防御网络中，并将相机源识别前置防御网络的输出结果输入到相机源识别特征提取网络中，利用步骤4)中的局部光滑投影损失函数计算损失值，以训练相机源识别前置防御网络；

6)应用识别模型

对给定相机拍摄图像数据集，将原始图像分块或者噪声图像分块输入到相机源识别前置防御网络中并输出结果，将输出结果再输入到相机源识别特征提取网络中后得到特征，对特征分类得到预测结果；将预测结果同预设的相机型号标签比较，判断是否正确，以此评估识别性能。

在步骤1)中，相机图像预处理，包括以下步骤：

1.1)给定相机拍摄图像数据集，数据集中相机型号标签集合为L_s＝{1,2,...,Q}，其中Q表相机型号标签的数量；数据集中图像的大小为c×M×N，c表示图像颜色通道数，M表示图像的长，N表示图像的宽；设定原始图像分块大小为m×n，m为原始图像分块的长，n为原始图像分块的宽；将图像裁剪成

个不重叠的原始图像分块，

表示向下取整的结果；

1.2)随机选择K个原始图像分块，满足

1.3)将选定的原始图像分块的c个颜色通道的像素值都归一化到[-1,1]之间。

在步骤2)中，构建相机源识别特征提取网络，包括以下步骤：

2.1)定义相机源识别特征提取网络为f(·|W_f,b_f),其中，相机源识别特征提取网络的权值矩阵为

偏置项为

L表示相机源识别特征提取网络的层数,在W_f中,W_f ^l表示第l层权值矩阵，W_f ^L表示最后一层权值矩阵，在b_f中，

表示第l层偏置项，

表示最后一层偏置项；定义无偏置线性分类器g(·|W_g)，其中W_g为无偏置线性分类器权值矩阵，层数为1；对相机源识别特征提取网络的各层权值矩阵

和无偏置线性分类器的权值矩阵W_g进行初始化：

其中，W表示

或者W_g，ω为采样自标准正态分布的矩阵，ω的维度与W的维度相同，并且ω的第i行j列元素ω_ij均采样自标准正态分布，D_in为权值矩阵W所在网络层的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布；

2.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，计算原始图像分块特征Y＝f(X|W_f,b_f)；

2.3)对原始图像分块特征Y，用无偏置线性分类器g(·|W_g)评分，并用softmax函数对评分标准化：

g_out＝g(Y|W_g) (2)

其中，g_out表示原始图像分块特征Y在无偏置线性分类器下的评分向量，g_out的维度与相机型号标签的数量相同，大小为Q；用

表示评分向量g_out中第i个相机型号标签的评分值；score_i表示进行softmax标准化后第i个相机型号标签的评分值；

2.4)计算相机源识别特征提取网络的交叉熵损失值

其中，条件概率

表示在第C_X个相机型号标签得分为

的条件下，预测的相机型号标签

和输入的相机型号标签C_X相同的概率；

2.5)计算相机源识别特征提取网络梯度并反向传播：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t次迭代时无偏置线性分类器的权值矩阵；

和

分别代表第t+1次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t+1次迭代时无偏置线性分类器的权值矩阵；

2.6)对相机拍摄图像中预处理好的原始图像分块，重复步骤2.2)到步骤2.4)，直到网络收敛，得到训练好的相机源识别特征提取网络。

在步骤3)中，生成噪声图像分块集合，包括以下步骤：

3.1)生成对抗噪声图像分块：将数据集中预处理后的原始图像分块，输入到相机源识别特征提取网络中，并计算交叉熵损失值

根据公式(8)迭代计算：

其中，X_i表示第i轮迭代生成的对抗噪声图像分块，X_i+1表示第i+1轮迭代生成的对抗噪声图像分块；迭代过程中i＝0时，对抗噪声图像分块的初始值X₀＝X；sign(·)表示符号函数；λ表示每次迭代步长；

为交叉熵损失值

对于对抗噪声图像分块X_i的偏导数；S为噪声强度；clip(·,S)为裁剪函数，对迭代过程中对抗噪声图像分块的像素值裁剪，保证对抗噪声图像分块的像素值和原始图像分块X对应位置像素的差值绝对值不大于S；

重复公式(8)的迭代，直到X_i+1评分预测得到的相机型号标签与X的相机型号标签不同时，得到对抗噪声图像分块X_adv＝X_i+1；

3.2)生成高斯噪声图像分块：从均值为0、标准差为噪声强度S的高斯分布中采样获得高斯噪声σ；将高斯噪声施加到原始图像分块上得到高斯噪声图像分块X_g＝X+σ；

3.3)对数据集中的每个原始图像分块，重复步骤3.1)到步骤3.2)共δ次，直至为每个原始图像分块各生成2δ个噪声图像分块，其中对抗噪声图像分块和高斯噪声图像分块各δ个，构成噪声图像分块集合。

在步骤4)中，定义局部光滑投影损失函数，包括以下步骤：

4.1)定义原始图像分块X的局部统计坐标为

其中，2δ为噪声图像分块的数量,

表示X的局部统计坐标的最后一个坐标值，

中单个坐标值

表示为：

其中，

表示原始图像分块X与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的不相似度，使用欧氏距离来度量；

同理，定义原始图像分块特征Y的局部统计坐标为ξ＝(ξ₁,...,ξ_2δ)，ξ_2δ表示Y的局部统计坐标的最后一个坐标值，ξ中单个坐标值ξ_j表示为：

其中，

表示原始图像分块特征Y与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的特征的不相似度，使用欧氏距离来度量；

4.2)根据局部统计坐标

和ξ，定义局部光滑投影损失函数如公式(11)所示：

其中，局部光滑投影损失值

为

和ξ之间的散度值D_KL。

在步骤5)中，构建相机源识别前置防御网络，包括以下步骤：

5.1)定义相机源识别前置防御网络为f_d(·|W_d,b_d)，其中，相机源识别前置防御网络的权值矩阵为

偏置项为

L_d表示相机源识别前置防御网络的层数，W_d ^l表示相机源识别前置防御网络的第l层权值矩阵，

表示相机源识别前置防御网络的最后一层权值矩阵，

表示相机源识别前置防御网络的第l层偏置项，

表示相机源识别前置防御网络的最后一层偏置项；对相机源识别前置防御网络的每一层权值

进行初始化：

其中，ω表示采样自标准正态分布的矩阵，ω的维度与

的维度相同，且ω的第i行j列元素ω_ij均采样自标准正态分布；D_in为

对应的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布；

5.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，得到原始图像分块特征Y；

5.3)将原始图像分块的2δ个噪声图像分块输入到相机源识别前置防御网络中，输出2δ个防御后的噪声图像分块X_d：

X_d＝f_d(X_noise|W_d,b_d) (13)

其中，X_noise表示对抗噪声图像分块X_adv或高斯噪声图像分块X_g；

5.4)将2δ个防御后的噪声图像分块X_d输入到相机源识别特征提取网络中，输出防御后的噪声图像分块特征Y_d：

Y_d＝f(X_d|W_f,b_f) (14)

5.5)利用步骤5.2)到步骤5.4)的原始图像分块X、原始图像分块特征Y、防御后的噪声图像分块X_d和防御后的噪声图像分块特征Y_d,根据局部光滑投影损失函数的定义计算局部光滑投影损失值

5.6)计算相机源识别前置防御网络和相机源识别特征提取网络的梯度并反向传播，反向传播过程中仅更新相机源识别前置防御网络的参数：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别前置防御网络或相机源识别特征提取网络的权值矩阵和偏置值；

和

分别代表第t次迭代相机源识别前置防御网络的权值矩阵和偏置值；

和

分别代表第t+1次迭代相机源识别前置防御网络的权值矩阵和偏置值；

5.7)对相机拍摄图像数据集中原图像分块，重复步骤5.2)到步骤5.6)，直到相机源识别前置防御网络收敛，得到训练好的相机源识别前置防御网络。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明在基础的相机源识别特征提取网络下，提出了用局部光滑投影来消除对抗攻击带来的影响。光滑投影的作用域在局部充分考虑了相机源识别与场景无关，而与特定噪声有关的特性，从而保证方法的可行性。同时光滑投影使得特征提取过程能够无差别地对待不同的噪声干扰，从而实现特征提取对不同噪声近似的抑制作用，进而保证了相机源识别的识别准确率。

2、本发明从基于统计坐标来实现光滑投影，使得相机源识别的特征提取过程能够充分利用统计信息，与对抗训练基于标签学习和数据拟合的方式相比，更能充分利用图像的信息；最小化散度能够充分保证，图像在特征提取投影后，特征空间中用于识别的特征信息与图像空间的信息的一致性，进而保证了更好的鲁棒性。

3、本发明提出了一种相机源识别前置防御网络，该网络将相机源识别的特征提取过程和对抗攻击防御过程分离开来，降低了识别和防御网络的训练难度，同时，由于深度神经网络具有可迁移的特性，使用相机源识别前置防御网络相比于现有的直接在相机源识别的特征提取网络上优化的方法，具有良好的迁移性。

总之，本发明利用了相机源识别特征提取网络自身对高斯噪声图像分块的鲁棒性，同时利用局部光滑投影对高斯噪声图像分块和对抗噪声图像分块施加相同的抑制，来实现相机源识别特征提取过程对不同噪声的鲁棒性。一方面，本发明考虑了相机源识别与场景无关的特性，将光滑投影限制在图像分块的局部统计坐标内，从而消除了场景带来的影响，能够适应相机源识别的需求。另一方面，本发明利用了深度神经网络易于迁移的特性，提出前置防御网络，从而使得在某一识别网络下训练的防御网络架构能够灵活地迁移到不同网络中。

附图说明

图1是本发明方法的架构图。

图2是本发明的相机源识别前置防御网络训练算法流程图。

图3是实施例中使用的相机源识别前置防御网络结构。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于局部光滑投影的抗对抗攻击相机源识别方法，其采用的网络结构部分主要包含了相机源识别前置防御网络和相机源识别特征提取网络，向网络输入图像分块，此处图像分块包含原始图像分块和噪声图像分块，经过相机源识别前置防御网络后，得到与输入同等大小的处理后的图像分块，然后再输入到相机源识别特征提取网络中，最后，得图像分块特征被分类到对应的相机型号标签上，其具体情况如下；

1)相机图像预处理

1.1)给定相机拍摄图像数据集，相机型号集合为L_s＝{1,2,...,13}，集合大小为13；数据集中某一图像的大小为3×1920×1680；设定原始图像分块大小为224×224，分块大小为相机源识别特征提取网络的输入，则可将图像裁剪成8×7个不重叠的原始图像分块。

1.2)随机选择40个原始图像分块，此处应确保选择的原始图像分块数小于数据集中最小的图像所能切分的图像分块数。

1.3)将选定的图像分块的3个颜色通道的像素值归一化到[-1，1]之间。

2)构建相机源识别特征提取网络

2.1)定义相机源识别特征提取网络为f(·|W_f,b_f),其中，相机源识别特征提取网络的权值矩阵为

偏置项为

L表示相机源识别特征提取网络的层数,在W_f中,W_f ^l表示第l层权值矩阵，W_f ^L表示最后一层权值矩阵，在b_f中，

表示第l层偏置项，

表示最后一层偏置项；此处，实施方案选择了Resnet-18网络作为特征提取网络，输出的特征维度为512。定义无偏置线性分类器g(·|W_g)，其中，W_g为无偏置线性分类器权值矩阵，层数为1；无偏置线性分类器将特征映射到13维，即数据集中相机型号标签的数目；对相机源识别特征提取网络的各层权值矩阵

和无偏置线性分类器的权值矩阵W_g进行初始化：

其中，W表示

或者W_g，ω为采样自标准正态分布的矩阵，ω的维度与W的维度相同，并且ω的第i行j列元素ω_ij均采样自标准正态分布,D_in为权值矩阵W所在网络层的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布。

2.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，计算原始图像分块特征Y＝f(X|W_f,b_f)。

2.3)对原始图像分块特征Y，用无偏置线性分类器g(·|W_g)评分，并用softmax函数对评分标准化：

g_out＝g(Y|W_g) (2)

其中，g_out表示原始图像分块特征Y在无偏置线性分类器下的评分向量，g_out的维度与相机型号标签的数量相同，大小为Q；用

表示评分向量g_out中第i个相机型号标签的评分值；score_i表示进行softmax标准化后第i个相机型号标签的评分值。

2.4)计算相机源识别特征提取网络的交叉熵损失值

其中，条件概率

表示在第C_X个相机型号标签得分为

的条件下，预测的相机型号标签

和输入的相机型号标签C_X相同的概率。

2.5)计算相机源识别特征提取网络梯度并反向传播：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t次迭代时无偏置线性分类器的权值矩阵；

和

分别代表第t+1次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t+1次迭代时无偏置线性分类器的权值矩阵；在具体实施方案中，迭代次数t根据网络的收敛情况确定，学习率η^t初始值被设定为0.001，并以在每轮训练中以0.97指数衰减。

2.6)对相机拍摄图像中预处理好的原始图像分块，重复步骤2.2)到步骤2.4)，直到网络收敛，得到训练好的相机源识别特征提取网络。

3)生成噪声图像分块集合

3.1)生成对抗噪声图像分块：将数据集中预处理后的原始图像分块，输入到相机源识别特征提取网络中，并计算交叉熵损失值

根据公式(8)迭代计算：

其中，X_i表示第i轮迭代生成的对抗噪声图像分块，X_i+1表示第i+1轮迭代生成的对抗噪声图像分块；迭代过程中i＝0时，对抗噪声图像分块的初始值X₀＝X；sign(·)表示符号函数；λ表示每次迭代步长；

为交叉熵损失值

对于对抗噪声图像分块X_i的偏导数；S为噪声强度；clip(·,S)为裁剪函数，对迭代过程中对抗噪声图像分块的像素值裁剪，保证对抗噪声图像分块的像素值和原始图像分块X对应位置像素的差值绝对值不大于S；在具体实施方案中，噪声强度S＝0.01，每次迭代的步长为λ＝0.001。

重复公式(8)的迭代，直到X_i+1评分预测得到的相机型号标签与X的相机型号标签不同时，得到对抗噪声图像分块X_adv＝X_i+1。

3.2)生成高斯噪声图像分块：从均值为0、标准差为噪声强度S的高斯分布中采样获得高斯噪声σ；将高斯噪声施加到原始图像分块上得到高斯噪声图像分块X_g＝X+σ。

3.3)对数据集中的每个原始图像分块，重复步骤3.1)到步骤3.2)共δ次，直至为每个原始图像分块各生成2δ个噪声图像分块，其中对抗噪声图像分块和高斯噪声图像分块各δ个，构成噪声图像分块集合。在具体实施方案中，δ的值取6。

4)定义局部光滑投影损失函数

4.1)定义原始图像分块X的局部统计坐标为

其中，2δ为噪声图像分块的数量,

表示X的局部统计坐标的最后一个坐标值，

中单个坐标值

表示为：

其中，

表示原始图像分块X与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的不相似度，使用欧氏距离来度量。

同理，定义原始图像分块特征Y的局部统计坐标为ξ＝(ξ₁,...,ξ_2δ),ξ_2δ表示Y的局部统计坐标的最后一个坐标值，ξ中单个坐标值ξ_j表示为：

其中，

表示原始图像分块特征Y与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的特征的不相似度，使用欧氏距离来度量。

4.2)根据局部统计坐标

和ξ，定义局部光滑投影损失函数如公式(11)所示：

其中，局部光滑投影损失值

为

和ξ之间的散度值D_KL。

5)构建相机源识别前置防御网络

5.1)定义相机源识别前置防御网络为f_d(·|W_d,b_d)，其中，相机源识别前置防御网络的权值矩阵为

偏置项为

L_d表示相机源识别前置防御网络的层数，W_d ^l表示相机源识别前置防御网络的第l层权值矩阵，

表示相机源识别前置防御网络的最后一层权值矩阵，

表示相机源识别前置防御网络的第l层偏置项，

表示相机源识别前置防御网络的最后一层偏置项；对相机源识别前置防御网络的每一层权值

进行初始化：

其中，ω表示采样自标准正态分布的矩阵，ω的维度与

的维度相同，且ω的第i行j列元素ω_ij均采样自标准正态分布；D_in为

对应的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布。

本实施方案采用了一个带有压缩解压结构的相机源识别前置防御网络，如图2所示，该网络是压缩编码器和解压缩解码器的组合。压缩编码器的模块是一系列卷积核大小为3×3的卷积层，批处理归一化，ReLU激活函数和最大池化层构成。图中，N32表示卷积核数为32个，依此类推。解压缩解码器中的上采样使用双线性插值，卷积核大小，批处理归一化和激活函数和压缩过程一致。

在定义相机源识别前置防御网络后，训练相机源识别前置防御网络的算法流程,如图3所示，输入原始图像分块，通过相机源识别特征提取网络后提取特征，而噪声图像分块则输入到相机源识别前置防御网络中，相机源识别前置防御网络的输出再输入到相机源识别特征提取网络中得到对应噪声图像分块特征，根据局部光滑投影损失函数计算损失，然后反向传播，传播过程只更新相机源识别前置防御网络的参数，直到网络收敛。具体过程描述为步骤5.2)到步骤5.7)。

5.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，得到原始图像分块特征Y。

5.3)将原始图像分块X的2δ个噪声图像分块输入到相机源识别前置防御网络中，输出2δ个防御后的噪声图像分块X_d：

X_d＝f_d(X_noise|W_d,b_d) (13)

其中，X_noise表示对抗噪声图像分块X_adv或高斯噪声图像分块X_g。

5.4)将2δ个防御后的噪声图像分块X_d输入到相机源识别特征提取网络中，输出防御后的噪声图像分块的特征Y_d：

Y_d＝f(X_d|W_f,b_f) (14)

5.5)利用用步骤5.2)到步骤5.4)的原始图像分块X、原始图像分块特征Y、防御后的噪声图像分块X_d和防御后的噪声图像分块特征Y_d,根据局部光滑投影损失函数的定义计算局部光滑投影损失值

5.6)计算相机源识别前置防御网络和相机源识别特征提取网络的梯度并反向传播，反向传播过程中仅更新相机源识别前置防御网络的参数：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别前置防御网络或相机源识别特征提取网络的权值矩阵和偏置值；

和

分别代表第t次迭代相机源识别前置防御网络的权值矩阵和偏置值；

和

分别代表第t+1次迭代相机源识别前置防御网络的权值矩阵和偏置值。

5.7)对相机拍摄图像数据集中原图像分块，重复步骤5.2)到步骤5.6)，直到相机源识别前置防御网络收敛，训练完成得到相机源识别前置防御网络。

6)应用识别模型

对给定相机拍摄图像数据集，将原始图像分块或者噪声图像分块输入到相机源识别前置防御网络中并输出结果，将输出结果再输入到相机源识别特征提取网络中后得到特征，对特征分类得到预测结果；将预测结果同预设的相机型号标签比较，判断是否正确，以此评估识别性能。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于，包括以下步骤：

1)相机图像预处理

给定相机拍摄图像数据集，将不同相机型号采集的图像切分成不重叠的原始图像分块，筛选原始图像分块并进行归一化处理；

2)构建相机源识别特征提取网络

根据原始图像分块的大小，定义一个相机源识别特征提取网络并进行初始化；使用步骤1)中处理后的原始图像分块训练相机源识别特征提取网络；

3)生成噪声图像分块集合

基于步骤2)中相机源识别特征提取网络的梯度生成含有多个噪声图像分块的噪声图像分块集合，该噪声图像分块集合中的噪声包含对抗噪声和高斯噪声两种噪声，因此，该噪声图像分块集合包含对抗噪声图像分块和高斯噪声图像分块两种噪声图像分块；

4)定义局部光滑投影损失函数

基于步骤1)中的原始图像分块和步骤3)中的噪声图像分块集合构建局部统计坐标，并利用所构建的局部统计坐标定义局部光滑投影损失函数；

5)构建相机源识别前置防御网络

定义并初始化相机源识别前置防御网络；输入步骤1)中的原始图像分块和步骤3)中噪声图像分块集合内的噪声图像分块到相机源识别前置防御网络中，并将相机源识别前置防御网络的输出结果输入到相机源识别特征提取网络中，利用步骤4)中的局部光滑投影损失函数计算损失值，以训练相机源识别前置防御网络；

6)应用识别模型

对给定相机拍摄图像数据集，将原始图像分块或者噪声图像分块输入到相机源识别前置防御网络中并输出结果，将输出结果再输入到相机源识别特征提取网络中后得到特征，对特征分类得到预测结果；将预测结果同预设的相机型号标签比较，判断是否正确，以此评估识别性能。

2.根据权利要求1所述的基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于：在步骤1)中，相机图像预处理，包括以下步骤：

1.1)给定相机拍摄图像数据集，数据集中相机型号标签集合为L_s＝{1,2,...,Q}，其中Q表相机型号标签的数量；数据集中图像的大小为c×M×N，c表示图像颜色通道数，M表示图像的长，N表示图像的宽；设定原始图像分块大小为m×n，m为原始图像分块的长，n为原始图像分块的宽；将图像裁剪成

个不重叠的原始图像分块，

表示向下取整的结果；

1.2)随机选择K个原始图像分块，满足

1.3)将选定的原始图像分块的c个颜色通道的像素值都归一化到[-1,1]之间。

3.根据权利要求1所述的基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于：在步骤2)中，构建相机源识别特征提取网络，包括以下步骤：

2.1)定义相机源识别特征提取网络为f(·|W_f,b_f),其中，相机源识别特征提取网络的权值矩阵为

偏置项为

L表示相机源识别特征提取网络的层数,在W_f中,W_f ^l表示第l层权值矩阵，W_f ^L表示最后一层权值矩阵，在b_f中，

表示第l层偏置项，

表示最后一层偏置项；定义无偏置线性分类器g(·|W_g)，其中W_g为无偏置线性分类器权值矩阵，层数为1；对相机源识别特征提取网络的各层权值矩阵

和无偏置线性分类器的权值矩阵W_g进行初始化：

其中，W表示

或者W_g，ω为采样自标准正态分布的矩阵，ω的维度与W的维度相同，并且ω的第i行j列元素ω_ij均采样自标准正态分布，D_in为权值矩阵W所在网络层的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布；

2.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，计算原始图像分块特征Y＝f(X|W_f,b_f)；

2.3)对原始图像分块特征Y，用无偏置线性分类器g(·|W_g)评分，并用softmax函数对评分标准化：

g_out＝g(Y|W_g) (2)

其中，g_out表示原始图像分块特征Y在无偏置线性分类器下的评分向量，g_out的维度与相机型号标签的数量相同，大小为Q；用

表示评分向量g_out中第i个相机型号标签的评分值；score_i表示进行softmax标准化后第i个相机型号标签的评分值；

2.4)计算相机源识别特征提取网络的交叉熵损失值

其中，条件概率

表示在第C_X个相机型号标签得分为

的条件下，预测的相机型号标签

和输入的相机型号标签C_X相同的概率；

2.5)计算相机源识别特征提取网络梯度并反向传播：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t次迭代时无偏置线性分类器的权值矩阵；

和

分别代表第t+1次迭代时相机源识别特征提取网络的权值矩阵和偏置值，

表示第t+1次迭代时无偏置线性分类器的权值矩阵；

2.6)对相机拍摄图像中预处理好的原始图像分块，重复步骤2.2)到步骤2.4)，直到网络收敛，得到训练好的相机源识别特征提取网络。

4.根据权利要求1所述的基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于：在步骤3)中，生成噪声图像分块集合，包括以下步骤：

3.1)生成对抗噪声图像分块：将数据集中预处理后的原始图像分块，输入到相机源识别特征提取网络中，并计算交叉熵损失值

根据公式(8)迭代计算：

其中，X_i表示第i轮迭代生成的对抗噪声图像分块，X_i+1表示第i+1轮迭代生成的对抗噪声图像分块；迭代过程中i＝0时，对抗噪声图像分块的初始值X₀＝X；sign(·)表示符号函数；λ表示每次迭代步长；

为交叉熵损失值

对于对抗噪声图像分块X_i的偏导数；S为噪声强度；clip(·,S)为裁剪函数，对迭代过程中对抗噪声图像分块的像素值裁剪，保证对抗噪声图像分块的像素值和原始图像分块X对应位置像素的差值绝对值不大于S；

重复公式(8)的迭代，直到X_i+1评分预测得到的相机型号标签与X的相机型号标签不同时，得到对抗噪声图像分块X_adv＝X_i+1；

3.2)生成高斯噪声图像分块：从均值为0、标准差为噪声强度S的高斯分布中采样获得高斯噪声σ；将高斯噪声施加到原始图像分块上得到高斯噪声图像分块X_g＝X+σ；

3.3)对数据集中的每个原始图像分块，重复步骤3.1)到步骤3.2)共δ次，直至为每个原始图像分块各生成2δ个噪声图像分块，其中对抗噪声图像分块和高斯噪声图像分块各δ个，构成噪声图像分块集合。

5.根据权利要求1所述的基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于：在步骤4)中，定义局部光滑投影损失函数，包括以下步骤：

4.1)定义原始图像分块X的局部统计坐标为

其中，2δ为噪声图像分块的数量,

表示X的局部统计坐标的最后一个坐标值，

中单个坐标值

表示为：

其中，

表示原始图像分块X与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的不相似度，使用欧氏距离来度量；

同理，定义原始图像分块特征Y的局部统计坐标为ξ＝(ξ₁,...,ξ_2δ)，ξ_2δ表示Y的局部统计坐标的最后一个坐标值，ξ中单个坐标值ξ_j表示为：

其中，

表示原始图像分块特征Y与其任意对抗噪声图像分块X_adv或者高斯噪声图像分块X_g的特征的不相似度，使用欧氏距离来度量；

4.2)根据局部统计坐标

和ξ，定义局部光滑投影损失函数如公式(11)所示：

其中，局部光滑投影损失值

为

和ξ之间的散度值D_KL。

6.根据权利要求1所述的基于局部光滑投影的抗对抗攻击相机源识别方法，其特征在于：在步骤5)中，构建相机源识别前置防御网络，包括以下步骤：

5.1)定义相机源识别前置防御网络为f_d(·|W_d,b_d)，其中，相机源识别前置防御网络的权值矩阵为

偏置项为

L_d表示相机源识别前置防御网络的层数，W_d ^l表示相机源识别前置防御网络的第l层权值矩阵，

表示相机源识别前置防御网络的最后一层权值矩阵，

表示相机源识别前置防御网络的第l层偏置项，

表示相机源识别前置防御网络的最后一层偏置项；对相机源识别前置防御网络的每一层权值

进行初始化：

其中，ω表示采样自标准正态分布的矩阵，ω的维度与

的维度相同，且ω的第i行j列元素ω_ij均采样自标准正态分布；D_in为

对应的输入维度；第l层偏置项

服从均值为0，标准差为0.0001的正态分布；

5.2)输入相机型号标签为C_X的原始图像分块X到相机源识别特征提取网络中，得到原始图像分块特征Y；

5.3)将原始图像分块X的2δ个噪声图像分块输入到相机源识别前置防御网络中，输出2δ个防御后的噪声图像分块X_d：

X_d＝f_d(X_noise|W_d,b_d) (13)

其中，X_noise表示对抗噪声图像分块X_adv或高斯噪声图像分块X_g；

5.4)将2δ个防御后的噪声图像分块X_d输入到相机源识别特征提取网络中，输出防御后的噪声图像分块特征Y_d：

Y_d＝f(X_d|W_f,b_f) (14)

5.5)利用步骤5.2)到步骤5.4)的原始图像分块X、原始图像分块特征Y、防御后的噪声图像分块X_d和防御后的噪声图像分块特征Y_d,根据局部光滑投影损失函数的定义计算局部光滑投影损失值

5.6)计算相机源识别前置防御网络和相机源识别特征提取网络的梯度并反向传播，反向传播过程中仅更新相机源识别前置防御网络的参数：

其中，t表示迭代次数，η^t表示学习率，

和

分别代表第t次迭代时相机源识别前置防御网络或相机源识别特征提取网络的权值矩阵和偏置值；

和

分别代表第t次迭代相机源识别前置防御网络的权值矩阵和偏置值；

和

分别代表第t+1次迭代相机源识别前置防御网络的权值矩阵和偏置值；

5.7)对相机拍摄图像数据集中原图像分块，重复步骤5.2)到步骤5.6)，直到相机源识别前置防御网络收敛，得到训练好的相机源识别前置防御网络。

Images