CN109034230A - 一种基于深度学习的单幅图像相机溯源方法 - Google Patents

一种基于深度学习的单幅图像相机溯源方法 Download PDF

Info

Publication number
CN109034230A
CN109034230A CN201810785332.3A CN201810785332A CN109034230A CN 109034230 A CN109034230 A CN 109034230A CN 201810785332 A CN201810785332 A CN 201810785332A CN 109034230 A CN109034230 A CN 109034230A
Authority
CN
China
Prior art keywords
feature
camera
sent
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810785332.3A
Other languages
English (en)
Other versions
CN109034230B (zh
Inventor
丁兴号
陈云舒
唐圳
黄悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810785332.3A priority Critical patent/CN109034230B/zh
Publication of CN109034230A publication Critical patent/CN109034230A/zh
Application granted granted Critical
Publication of CN109034230B publication Critical patent/CN109034230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的单幅图像相机溯源方法，涉及信息安全领域，包括以下步骤，步骤1、利用多尺度拉普拉斯滤波器提取不同尺度的高频图像，并进行初步特征提取和拼接合并；步骤2、将步骤1中拼接合并后的特征送入基于信噪比增强的特征抽取器进一步进行特征提取；步骤3、将步骤2中进一步提取的特征送入基于层级结构的串联型多任务分类模块，实现对相机品牌、相机型号或个体相机设备的识别；能够自适应地提取相机成像过程的微弱指纹特征，抑制强背景噪声，且准确率高，也可适用于对篡改图像的相机溯源和对手机拍摄图像的溯源，具有更强的鲁棒性。

Description

一种基于深度学习的单幅图像相机溯源方法
技术领域
本发明涉及信息安全领域，具体涉及由单幅图像溯源拍摄该图像相机的方法。
背景技术
在飞速发展的信息时代，数字图像已经渗透到社会生活的每一个角落，人们随时可以使用相机或者手机记录身边的点点滴滴。数字图像的广泛使用也促进了数字图像编辑软件的开发与应用，例如Adobe Photoshop、VSCO、Snapseed等图像处理软件。利用这些编辑工具，用户可以随意对图像进行修改以达到更好的视觉效果。然而方便了用户的同时，也给一些不法分子以可乘之机,不法分子可拍摄一些非法图片并进行传播，更有甚者在未经授权的情况下，对他人拍摄的图像内容进行违规编辑、合成虚假图像等，从而导致篡改图像和盗版行为在社会生活中泛滥成灾。
数字图像获取过程中，来自真实场景的光线利用色彩滤波阵列选择性的通过部分光线进入照相机传感器上的光学镜头，进而生成数字图像信；然后通过色彩插值算法、白平衡矫正、图像锐化、对比度增强、伽马校正等色彩处理算法提高图像质量；最后通过编码算法，将处理后的数字信号存储在相机存储器中[1,2]。而不同相机在硬件设备[3]，色彩插值算法[4,5,6]，图像压缩算法，镜头径向突变[7]等方面都携带着各自的固有信息，这些固有信息称为“相机设备指纹”。因此可利用遗留在图像上的“相机设备指纹”特征识别不同的相机源。对于相机溯源技术而言，由于传统手工提取特征的方法主要依靠统计学来建模相机指纹特征，这需要消耗大量的人力和时间；而利用基础卷积神经网络对单幅图像进行特征提取容易过拟合图像内容或者用户拍摄偏好上。相比于蕴含于单幅图像中的“相机设备指纹”，图像内容和用户拍摄偏好具有更强的信号，这类更强的信号称其为强背景噪声。因此，为了抑制强背景噪声，使得网络能够自适应地提取相机指纹特征，需要寻求新的深度学习方法。
参考文献：
[1]C.-T.Li.Source camera identification using enhanced sensor patternnoise.IEEE Transactions on Information Forensics and Security,5(2):280–287,2010.
[2]A.Piva.An overview on image forensics.ISRN Signal Processing,2013,2013.
[3]A.R.Soobhany,K.P.Lam,P.Fletcher,and D.J.Collins.Mobile CameraSource Identification with SVD.Springer International Publishing,2015.
[4]S.Bayram,H.Sencar,N.Memon,and I.Avcibas.Source cameraidentification based on cfa interpolation.In IEEE International Conference onImage Processing,pages III–69–72,2005.
[5]S.Bayram,H.T.Sencar,and N.Memon.Improvements on source camera-model identification based on cfa interpolation.Proc of Wg,2006.
[6]O.Celiktutan,I.Avcibas,B.Sankur,and N.Memon.Source cellphoneidentification.IEEE Signal Processing and Communications Applications,pages1–3,2005.
[7]K.S.Choi,E.Y.Lam,and K.K.Wong.Automatic source cameraidentification using the intrinsic lens radial distortion.Optics Express,14(24):11551–65,2006[5]14.
发明内容
本发明的目的在于解决现有技术中的问题，针对数字图像中蕴含的相机指纹特征，提供一种基于深度学习的单幅图像相机溯源方法；从原始图像和篡改图像中提取有效指纹信息,并以此对不同相机品牌、相机型号甚至不同个体相机设备进行识别，旨在通过盲分析手段认证图像数据的原始性和真实性、鉴别和分析图像(包括原始图像和篡改图像)的来源，进而解决图像知识版权问题和网络信息安全问题。
为达到上述目的，本发明采用如下技术方案：
一种基于深度学习的单幅图像相机溯源方法，
步骤1、将原图送到多尺度拉普拉斯滤波器提取不同尺度的高频图像，将不同尺度的高频图像和原图分组进行初步特征提取，将提取的初步特征进行拼接合并；
步骤2、构造基于信噪比增强的特征抽取器，将步骤1中拼接合并后的特征送入基于信噪比增强的特征抽取器进一步进行特征提取；
步骤3、根据相机品牌、相机型号和个体相机设备构成的层次关系，构造基于层级结构的串联型多任务分类模块，将步骤2中进一步提取的特征送入分类器，实现对相机品牌、相机型号和个体相机设备的识别。
步骤1中，包括以下步骤：
步骤1.1、将原图送入到多尺度拉普拉斯滤波器提取三种不同尺度的高频图像,获得不同尺度的高频图像H1,H2,H3；
多尺度拉普拉斯滤波器按以下表达式确定：
I＝I-GF1(I)+GF1(I)
＝H1+GF1(I)-GF2(GF1(I))+GF2(GF1(I))
＝H1+H2+GF2(GF1(I))-GF3(GF2(GF1(I)))+GF3(GF2(GF1(I)))
＝H1+H2+H3+GF3(GF2(GF1(I)))
其中,GFi(·)为高斯滤波器，获得的是经过模糊的低频图像，Hi为高频残差图像,I为原图，利用不同尺度的高斯滤波器进行层层滤波，获得不同分辨率的高频图像。
步骤1.2、提取H1,H2,H3和原图I四种模式图像下的初步特征，将三种不同尺度的高频图像和原图称为不同模式的图像，每种模式均包括R、G、B三个通道，将不同模式的图像并行送入各自的卷积模块和残差网络模块，分组进行初步特征提取，学习不同模式下图像中蕴藏的相机指纹特征。
步骤1.3、将步骤1.2中提取的初步特征送入残差网络模块进行拼接合并。
基于信噪比增强的特征抽取器包括2个双路神经网络模块、2个残差网络模块、1个信噪比增强层；
本发明对双路神经网络模块做如下定义：双路神经网络模块由两个卷积层组成，卷积层的输入特征和输出特征按一定规则分别划分为两个部分，一部分输入特征和输出特征进行逐点相加形成残差旁支通路，用于对特征的再利用，另一部分输入特征与输出特征进行逐通道串联形成串联连通支路，用于探索新特征；双路神经网络模块通过两条支路进行不同特征提取操作；
信噪比增强层由串联拼接层和卷积层构成。
步骤2中包括以下步骤：
步骤2.1、将步骤1中拼接合并后的特征送入第一个双路神经网络模块进行特征提取，第一个双路神经网络模块的的残差旁支通路的输出Frb将送入相机品牌分类器进行品牌溯源，串联连接支路的输出Fcb送入信噪比增强层。
步骤2.2、将第一个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第一个残差网络模块提取特征，再送入第二个双路神经网络模块进行特征提取，第二个双路神经网络模块的残差旁支通路的输出Frm将送入相机型号分类器进行相机型号溯源，串联连接支路的输出Fcm送入信噪比增强层。
步骤2.3、将第二个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第二个残差网络模块提取特征，将输出的特征Fd-1送入信噪比增强层，信噪比增强层中的串联拼接层将Fcb,Fcm,Fd-1混合串联后送入信噪比增强层中的卷积层进行最后的特征提取并将输出Fd送入个体相机设备分类器进行个体相机设备溯源，信噪比增强层表达式为：
Fd＝W{Fd-1；Fcm；Fcb}，W{·}表示用卷积层进行特征提取操作。
基于层级结构的串联型多任务分类模块由相机品牌分类器、相机型号分类器和个体相机设备分类器组层一个层级结构，每个分类器均由全局平均池化层(Global AveragePooling)，全连接层(fullconnectedlayer)和分类层(SoftmaxWithLoss)构成。
步骤3中分类器优化的具体步骤为:
步骤3.1、将双路神经网络模块中的残差旁支通路输出的特征进行全局平均池化层操作，即将每一张特征图中的所有像素点求和后取平均，N张特征图则转化为1×1×N的特征向量；
步骤3.2、将1×1×N的特征向量送入全连接层提取特征，其中，输出神经元个数为分类标签个数；
步骤3.3、将全连接层的输出送入分类层计算交叉熵代价函数，交叉熵代价函数的表达形式为：
其中，tki是样本k是属于类别i的概率，yki是模型对样本k预测为属于类别i的概率；
步骤3.4、将三个损失函数联合优化，最终的损失函数形式为：
L＝λ1Lbrand+λ2Lmodelλ3Ldevice
其中，Lbrand,Lmodel,Ldevice分别表示相机品牌分类器、相机型号分类器和个体相机设备分类器的损失函数，λi为损失函数的权重值。
相对于现有技术，本发明技术方案取得的有益效果是：
本发明结合相机成像的特征，采用“分而治之”的方式处理原图数据，以深度神经网络为基础，构建了双路神经网络模块，并创造性地提出基于信噪比增强的特征抽取器和基于层级结构的多任务相机溯源方法，能够自适应地提取相机成像过程的微弱指纹特征，抑制强背景噪声；而传统的相机溯源方法通常是用统计数理方法建模相机指纹特征，相比而言，本发明的方法能够利用神经网络自主提取指纹信息，减少人力物力，且准确率高于传统卷积神将网络和传统手工提取特征的识别方法；本发明不仅适用于针对原始单幅图像的相机溯源，而且适用于对篡改图像的相机溯源，以及对手机拍摄图像的溯源，具有更强的鲁棒性。
附图说明
图1为本发明的工作流程示意图；
图2为本发明在一种实施方式下的网络结构图；
图3为本发明所述的双路神经网络模块在一种实施方式下的结构图；
图4为本发明的验证实例中对14种不同相机品牌识别的混淆矩阵图；
图5为本发明的验证实例中对27种不同相机型号识别的混淆矩阵图；
图6为本发明的验证实例中对10种不同手机品牌识别的混淆矩阵图；
图7为本发明的验证实例中对33种不同手机型号识别的混淆矩阵图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。
为了更加清楚地说明本发明关于单幅图像相机溯源方法，如图1～2所示，构造了三大模块，包括“分而治之”的数据预处理模块、基于信噪比增强的特征抽取器和基于层级结构的串联型多任务分类模块；图1示意了本发明的工作流程；图2示意了本发明在一种实施方式下的具体网络结构图；
本实施例包括以下步骤：
步骤1、构造“分而治之”的数据预处理模块，将原图(即原始图像I)送到多尺度拉普拉斯滤波器提取不同尺度的高频图像，将不同尺度的高频图像和原图分组进行初步特征提取，将提取的初步特征进行拼接合并；
步骤2、构造基于信噪比增强的特征抽取器，将步骤1中拼接合并后的特征送入基于信噪比增强的特征抽取器进一步进行特征提取；
步骤3、根据相机品牌、相机型号和个体相机设备构成的层次关系，构造基于层级结构的串联型多任务分类模块，将步骤2中进一步提取的特征送入分类器，实现对相机品牌、相机型号或个体相机设备的识别。
步骤1中，包括以下步骤：
步骤1.1、将原图送入到多尺度拉普拉斯滤波器提取三种不同尺度的高频图像,获得不同尺度的高频图像H1,H2,H3；
多尺度拉普拉斯滤波器按以下表达式确定：
I＝I-GF1(I)+GF1(I)
＝H1+GF1(I)-GF2(GF1(I))+GF2(GF1(I))
＝H1+H2+GF2(GF1(I))-GF3(GF2(GF1(I)))+GF3(GF2(GF1(I)))
＝H1+H2+H3+GF3(GF2(GF1(I)))
其中,GFi(·)为高斯滤波器，获得的是经过模糊的低频图像，Hi为高频残差图像,I为原图，利用不同尺度的高斯滤波器进行层层滤波，获得不同分辨率的高频图像。
本实施方法中三种高斯滤波器的滤波核分别为(7*7)，(5*5)，(3*3)。具体步骤如下：
步骤1.1.1、用高斯核为7*7的高斯滤波器对输入图像块进行模糊，获得模糊图像GF1(I)，原图减去模糊图像，得到第一种尺度下的高频残差图像H1，
步骤1.1.2、用高斯核为5*5的高斯滤波器对模糊图像GF1(I)再次模糊，获得模糊图像GF2(GF1(I))，GF1(I)和GF2(GF1(I))相减后得到第二种尺度下的高频残差图像H2。依此类推，从而得到H1,H2,H3。
步骤1.2、提取H1,H2,H3和原图I四种模式图像下的初步特征，将三种不同尺度的高频图像和原图称为不同模式的图像，每种模式均包括R、G、B三个通道，将不同模式的图像并行送入各自的卷积模块和残差网络模块，分组进行初步特征提取，学习不同模式下图像中蕴藏的相机指纹特征，特征提取过程互不影响，独立完成，提取不同模式下的特征。高频图像能够一定程度的并保留噪声边缘，剔除图像内容干扰，但是也丢失了一部分图像色彩特征，因此需要加入原始图像保留色彩信息。本实施方法种，每一种模式下的图像将输出16维的特征图，故共得到64个通道的特征图。
步骤1.3、将步骤1.2中提取的初步特征送入残差网络模块进行拼接合并。
本实施例中将64个通道的特征图混合拼接，并输入基于信噪比增强的特征抽取器进行特征提取，既减少无用特征，又学习了不同模式特征间的相关性。
本发明步骤2中所述的基于信噪比增强的特征抽取器包括2个双路神经网络模块、2个残差网络模块、1个信噪比增强层。
2个双路神经网络模块均由两个卷积层组成，卷积层的输入特征和输出特征按一定规则分别划分为两个部分，一部分输入特征和输出特征进行逐点相加形成残差旁支通路，用于对特征的再利用，另一部分输入特征与输出特征进行逐通道串联形成串联连通支路，用于探索新特征；
双路神经网络模块将残差网络(The Residual Network)和密集连接网络(TheDensely Connected Network)的优势相结合，在探索新特征的同时进行特征复用，并一定程度上减少网络冗余。
信噪比增强层由串联拼接层和卷积层构成；信噪比增强层则提高相机设备指纹的信噪比，进而改进个体设备识别的准确率。
本实施例中，如图3所示，双路神经网络模块参数具体实现步骤如下：
1、首先将输入特征图输入卷积模块进行特征提取，本实施方法的卷积模块由两个卷积核为3*3的卷积层构成；
2、再将卷积模块前后的输入输出特征图按照参数“Gate”分为两个部分i1,i2和o1,o2；i1和o1逐点相加，得到残差旁支通路Fr，送入分类模块；i2和o2逐通道串联，输出串联连接支路Fc，送入信噪比增强层；
3、最后将串联连接支路和残差旁支通路的输出混合串联，输入下一个残差模块作进一步特征提取。
本实施例中“C”表示特征混合串联，“+”表示维度相同的特征图逐点相加。
步骤2中包括以下步骤：
步骤2.1、将步骤1中拼接合并后的特征送入第一个双路神经网络模块进行特征提取，第一个双路神经网络模块的的残差旁支通路的输出Frb将送入相机品牌分类器进行品牌溯源，串联连接支路的输出Fcb送入信噪比增强层。
步骤2.2、将第一个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第一个残差网络模块提取特征，再送入第二个双路神经网络模块进行特征提取，第二个双路神经网络模块的残差旁支通路的输出Frm将送入相机型号分类器进行相机型号溯源，串联连接支路的输出Fcm送入信噪比增强层。
步骤2.3、将第二个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第二个残差网络模块提取特征，将输出的特征Fd-1送入信噪比增强层，信噪比增强层中的串联拼接层将Fcb,Fcm,Fd-1混合串联后送入信噪比增强层中的卷积层进行最后的特征提取并将输出Fd送入个体相机设备分类器进行个体相机设备溯源，信噪比增强层表达式为：
Fd＝W{Fd-1；Fcm；Fcb}，W{·}表示用卷积层进行特征提取操作。
本实施例中，信噪比增强层由串联拼接层和一个卷积核为3*3的卷积层构成。双路神经网络模块输出的串联连接支路Fcm,Fcb和最后一个残差模块输出的Fd-1经串联拼接层混合串联后，输入卷积层进行特征提取，以抑制用以识别个体设备的特征中混合的有关于品牌和型号的噪声信息，增强辨识特征。
本发明将不同模式图像的特征进行拼接合并，并送入双路神经网络模块进行特征提取，完成不同模式图像中的“相机设备指纹”合并、增强以及图像内容的抑制，从而有效提高“相机设备指纹”的信噪比。
本发明通过构造基于信噪比增强的特征抽取器，并提出双路神经网络模块，在对单幅图像进行自适应特征提取的同时抑制强背景噪声，提高信噪比，增强弱信号辨识特征。
基于层级结构的串联型多任务分类模块由相机品牌分类器、相机型号分类器和个体相机设备分类器组层一个层级结构，每个分类器均由全局平均池化层、全连接层和分类层构成。
步骤3中分类器优化的具体步骤为:
步骤3.1、将双路神经网络模块中的残差旁支通路输出的特征进行全局平均池化层操作，即将每一张特征图中的所有像素点求和后取平均，N张特征图则可转化为1×1×N的特征向量，本实施方法设置N为512；
步骤3.2、将1×1×N的特征向量送入全连接层提取特征，其中，输出神经元个数为分类标签个数；
步骤3.3、将全连接层的输出送入分类层计算交叉熵代价函数，交叉熵代价函数的表达形式为：
其中，tki是样本k是属于类别i的概率，yki是模型对样本k预测为属于类别i的概率；
步骤3.4、将三个损失函数联合优化，最终的损失函数形式为：
L＝λ1Lbrand+λ2Lmodelλ3Ldevice
其中，Lbrand,Lmodel,Ldevice分别表示相机品牌分类器、相机型号分类器和个体相机设备分类器的损失函数，λi为损失函数的权重值。根据三个任务的难易程度，给三个损失函数赋予不同的权重。本实施例设置λ1＝0.3,λ2＝0.3,λ3＝0.4,训练网络直至损失函数收敛到最小，即可获得最终理想的相机溯源系统。
相机品牌分类器、相机型号分类器和个体相机设备分类器构成了基于层级结构的串联型多任务分类模块。全局池化层输出特征只与输入特征图个数有关，与输入特征图尺寸无关，因此可以使得输入图像可以为任意大小。三个任务层层递进，先易后难，逐步分解。其本质上也是特征预筛选的过程，使得网络更加关注难点，并增加更多正则化约束。
图4为本发明的验证实例中对14种不同相机品牌识别的混淆矩阵图，具体显示了每一个类别的识别准确率和误判为其他类别的概率。该混淆矩阵图显示，Casio,Kodak,Panasonic等相机品牌识别率均可达到100％，14中不同品牌相机的平均识别准确率也可达到99.5％。
图5为本发明的验证实例中对27种不同相机型号识别的混淆矩阵图；图5中除Canon_Ixus70和Canon_Ixus55，Nikon_D70和Nikon_D70s之间有较大误判概率外，其余型号都能较好识别，例如Afga Sensor505x和Afga Sensor530s的识别准确率分别为98.1％和99.1％，误判准确率仅1.9％和0.9％。
图6为本发明的验证实例中对10种不同手机品牌识别的混淆矩阵图，除OPPO和Sony手机以外，其余手机品牌的识别率均可达到80％以上，尤其是HTC和iPhone手机的识别率分别达到了98.3％和98.7％。
图7为本发明的验证实例中对33种不同手机型号识别的混淆矩阵图，33中不同手机型号的平均识别准确率可达到89.9％。
相机品牌识别率(％) 相机型号识别率(％) 个体相机设备识别率(％)
卷积神经网络方法 97.2 91.6 30.5
本发明方法 99.5 97.1 52.7
表1
图像篡改方式 相机品牌识别率(％) 相机型号识别率(％) 个体相机设备识别率(％)
原始图像 98.4 96.2 52.8
模糊图像 98.0 96.0 52.1
增强图像 87.3 90.0 42.0
压缩图像 98.9 96.5 51.7
表2
手机品牌识别率(％) 手机型号识别率(％) 个体手机设备识别率(％)
卷积神经网络方法 95.4 86.7 74.9
本发明方法 92.5 89.9 84.6
表3
表1为本发明的验证实例中基于单幅图像的相机品牌、相机型号和个体相机设备识别的准确率数据，表3为本发明的验证实例中基于单幅图像的手机品牌、手机型号及个体手机设备的识别准确率数据；与卷积神经网络方法相比，本发明方法具有较高的识别率。
表2为本发明的验证实例中基于篡改图像的相机品牌、相机型号和个体相机设备的识别准确率数据，增强后的图像由于色彩信息丢失较多，故识别率有所下降；但是本发明方法对模糊图像和压缩图像仍具有较强鲁棒性。

Claims (10)

1.一种基于深度学习的单幅图像相机溯源方法，其特征在于：
步骤1、将原图送到多尺度拉普拉斯滤波器提取不同尺度的高频图像，将不同尺度的高频图像和原图分组进行初步特征提取，将提取的初步特征进行拼接合并；
步骤2、构造基于信噪比增强的特征抽取器，将步骤1中拼接合并后的特征送入基于信噪比增强的特征抽取器进一步进行特征提取；
步骤3、根据相机品牌、相机型号和个体相机设备构成的层次关系，构造基于层级结构的串联型多任务分类模块，将步骤2中进一步提取的特征送入分类器，实现对相机品牌、相机型号和个体相机设备的识别。
2.如权利要求1所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤1中，包括以下步骤：
步骤1.1、将原图送入到多尺度拉普拉斯滤波器提取三种不同尺度的高频图像,获得不同尺度的高频图像H1,H2,H3；
多尺度拉普拉斯滤波器按以下表达式确定：
I＝I-GF1(I)+GF1(I)
＝H1+GF1(I)-GF2(GF1(I))+GF2(GF1(I))
＝H1+H2+GF2(GF1(I))-GF3(GF2(GF1(I)))+GF3(GF2(GF1(I)))
＝H1+H2+H3+GF3(GF2(GF1(I)))
其中,GFi(·)为高斯滤波器，获得的是经过模糊的低频图像，Hi为高频残差图像,I为原图，利用不同尺度的高斯滤波器进行层层滤波，获得不同分辨率的高频图像。
3.如权利要求2所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤1中，包括以下步骤：
步骤1.2、提取H1,H2,H3和原图I四种模式图像下的初步特征，将三种不同尺度的高频图像和原图称为不同模式的图像，每种模式均包括R、G、B三个通道，将不同模式的图像并行送入各自的卷积模块和残差网络模块，分组进行初步特征提取，学习不同模式下图像中蕴藏的相机指纹特征。
4.如权利要求3所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤1中，包括以下步骤：
步骤1.3、将步骤1.2中提取的初步特征送入残差网络模块进行拼接合并。
5.如权利要求1所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：基于信噪比增强的特征抽取器包括2个双路神经网络模块、2个残差网络模块、1个信噪比增强层；
2个双路神经网络模块均由两个卷积层组成，卷积层的输入特征和输出特征按一定规则分别划分为两个部分，一部分输入特征和输出特征进行逐点相加形成残差旁支通路，用于对特征的再利用，另一部分输入特征与输出特征进行逐通道串联形成串联连通支路，用于探索新特征；
信噪比增强层由串联拼接层和卷积层构成。
6.如权利要求5所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤2中包括以下步骤：
步骤2.1、将步骤1中拼接合并后的特征送入第一个双路神经网络模块进行特征提取，第一个双路神经网络模块的的残差旁支通路的输出Frb将送入相机品牌分类器进行品牌溯源，串联连接支路的输出Fcb送入信噪比增强层。
7.如权利要求6所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤2中包括以下步骤：
步骤2.2、将第一个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第一个残差网络模块提取特征，再送入第二个双路神经网络模块进行特征提取，第二个双路神经网络模块的残差旁支通路的输出Frm将送入相机型号分类器进行相机型号溯源，串联连接支路的输出Fcm送入信噪比增强层。
8.如权利要求7所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤2中包括以下步骤：
步骤2.3、将第二个双路神经网络模块的残差旁支通路和串联连接支路的输出串联，送入第二个残差网络模块提取特征，将输出的特征Fd-1送入信噪比增强层，信噪比增强层中的串联拼接层将Fcb,Fcm,Fd-1混合串联后送入信噪比增强层中的卷积层进行最后的特征提取并将输出Fd送入个体相机设备分类器进行个体相机设备溯源，信噪比增强层表达式为：
Fd＝W{Fd-1；Fcm；Fcb}，W{·}表示用卷积层进行特征提取操作。
9.如权利要求1所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：基于层级结构的串联型多任务分类模块由相机品牌分类器、相机型号分类器和个体相机设备分类器组层一个层级结构，每个分类器均由全局平均池化层，全连接层和分类层构成。
10.如权利要求9所述的一种基于深度学习的单幅图像相机溯源方法，其特征在于：步骤3中分类器优化的具体步骤为:
步骤3.1、将双路神经网络模块中的残差旁支通路输出的特征进行全局平均池化层操作，即将每一张特征图中的所有像素点求和后取平均，N张特征图即可转化为1×1×N的特征向量；
步骤3.2、将1×1×N的特征向量送入全连接层提取特征，其中，输出神经元个数为分类标签个数；
步骤3.3、将全连接层的输出送入分类层计算交叉熵代价函数，交叉熵代价函数的表达形式为：
其中，tki是样本k是属于类别i的概率，yki是模型对样本k预测为属于类别i的概率；
步骤3.4、将三个损失函数联合优化，最终的损失函数形式为：
L＝λ1Lbrand+λ2Lmodelλ3Ldevice
其中，Lbrand,Lmodel,Ldevice分别表示相机品牌分类器、相机型号分类器和个体相机设备分类器的损失函数，λi为损失函数的权重值。
CN201810785332.3A 2018-07-17 2018-07-17 一种基于深度学习的单幅图像相机溯源方法 Active CN109034230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810785332.3A CN109034230B (zh) 2018-07-17 2018-07-17 一种基于深度学习的单幅图像相机溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785332.3A CN109034230B (zh) 2018-07-17 2018-07-17 一种基于深度学习的单幅图像相机溯源方法

Publications (2)

Publication Number Publication Date
CN109034230A true CN109034230A (zh) 2018-12-18
CN109034230B CN109034230B (zh) 2021-03-30

Family

ID=64642950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785332.3A Active CN109034230B (zh) 2018-07-17 2018-07-17 一种基于深度学习的单幅图像相机溯源方法

Country Status (1)

Country Link
CN (1) CN109034230B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754393A (zh) * 2018-12-19 2019-05-14 众安信息技术服务有限公司 一种基于深度学习的篡改图像鉴定方法及装置
CN110349136A (zh) * 2019-06-28 2019-10-18 厦门大学 一种基于深度学习的篡改图像检测方法
CN112288044A (zh) * 2020-12-24 2021-01-29 成都索贝数码科技股份有限公司 基于树型结构的多尺度残差网络的新闻画面属性识别方法
CN114037747A (zh) * 2021-11-25 2022-02-11 佛山技研智联科技有限公司 图像特征提取方法、装置、计算机设备及存储介质
CN114240843A (zh) * 2021-11-18 2022-03-25 支付宝(杭州)信息技术有限公司 图像检测方法、装置以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041007A1 (en) * 2000-05-12 2001-11-15 Hisashi Aoki Video information processing apparatus and transmitter for transmitting informtion to the same
CN101308566A (zh) * 2008-06-02 2008-11-19 西安电子科技大学 基于contourlet变换抗几何攻击数字图像水印方法
CN101477679A (zh) * 2009-01-16 2009-07-08 西安电子科技大学 基于轮廓波Contourlet变换的图像去噪方法
CN105303449A (zh) * 2015-11-09 2016-02-03 北京交通大学 基于相机指纹特征的社交网络用户的识别方法和系统
CN106560841A (zh) * 2016-10-20 2017-04-12 中国计量大学 基于深度学习的武夷岩茶产地鉴别方法
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041007A1 (en) * 2000-05-12 2001-11-15 Hisashi Aoki Video information processing apparatus and transmitter for transmitting informtion to the same
CN101308566A (zh) * 2008-06-02 2008-11-19 西安电子科技大学 基于contourlet变换抗几何攻击数字图像水印方法
CN101477679A (zh) * 2009-01-16 2009-07-08 西安电子科技大学 基于轮廓波Contourlet变换的图像去噪方法
CN105303449A (zh) * 2015-11-09 2016-02-03 北京交通大学 基于相机指纹特征的社交网络用户的识别方法和系统
CN106560841A (zh) * 2016-10-20 2017-04-12 中国计量大学 基于深度学习的武夷岩茶产地鉴别方法
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN108154080A (zh) * 2017-11-27 2018-06-12 北京交通大学 一种视频设备快速溯源的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANG-TSUN LI: "SOURCE CAMERA IDENTIFICATION USING ENAHNCED SENSOR PATTERN NOISE", 《ICIP 2009》 *
周翠娟 等: "基于模式噪声大分量的手机相机来源检测", 《计算机工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754393A (zh) * 2018-12-19 2019-05-14 众安信息技术服务有限公司 一种基于深度学习的篡改图像鉴定方法及装置
CN110349136A (zh) * 2019-06-28 2019-10-18 厦门大学 一种基于深度学习的篡改图像检测方法
CN112288044A (zh) * 2020-12-24 2021-01-29 成都索贝数码科技股份有限公司 基于树型结构的多尺度残差网络的新闻画面属性识别方法
CN114240843A (zh) * 2021-11-18 2022-03-25 支付宝(杭州)信息技术有限公司 图像检测方法、装置以及电子设备
CN114037747A (zh) * 2021-11-25 2022-02-11 佛山技研智联科技有限公司 图像特征提取方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109034230B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
Marra et al. Detection of gan-generated fake images over social networks
Bondi et al. Tampering detection and localization through clustering of camera-based CNN features
CN109034230A (zh) 一种基于深度学习的单幅图像相机溯源方法
Chen et al. Median filtering forensics based on convolutional neural networks
Bayar et al. A deep learning approach to universal image manipulation detection using a new convolutional layer
Ding et al. Camera identification based on domain knowledge-driven deep multi-task learning
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
Liang et al. Image quality assessment using similar scene as reference
CN112818862A (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
Choi et al. Detecting composite image manipulation based on deep neural networks
CN111445454A (zh) 一种图像真伪鉴别方法及其在证照识别中的应用
Shan et al. Robust median filtering forensics using image deblocking and filtered residual fusion
Ding et al. Real-time estimation for the parameters of Gaussian filtering via deep learning
Chen et al. Automated design of neural network architectures with reinforcement learning for detection of global manipulations
Liu et al. Image deblocking detection based on a convolutional neural network
Zhang et al. Underwater image enhancement using improved generative adversarial network
CN115393698A (zh) 一种基于改进dpn网络的数字图像篡改检测方法
Mazumdar et al. Two-stream encoder–decoder network for localizing image forgeries
Xu et al. Document images forgery localization using a two‐stream network
Zhou et al. HCLR-Net: Hybrid Contrastive Learning Regularization with Locally Randomized Perturbation for Underwater Image Enhancement
Li et al. Distinguishing computer graphics from photographic images using a multiresolution approach based on local binary patterns
Zhao et al. Source camera identification based on coupling coding and adaptive filter
Zhang et al. Feature compensation network based on non-uniform quantization of channels for digital image global manipulation forensics
Wu et al. Review of imaging device identification based on machine learning
Wu et al. DHGAN: Generative adversarial network with dark channel prior for single‐image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant