CN109934761B - 基于卷积神经网络的jpeg图像隐写分析方法 - Google Patents

基于卷积神经网络的jpeg图像隐写分析方法 Download PDF

Info

Publication number
CN109934761B
CN109934761B CN201910099232.XA CN201910099232A CN109934761B CN 109934761 B CN109934761 B CN 109934761B CN 201910099232 A CN201910099232 A CN 201910099232A CN 109934761 B CN109934761 B CN 109934761B
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910099232.XA
Other languages
English (en)
Other versions
CN109934761A (zh
Inventor
黄俊文
倪江群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910099232.XA priority Critical patent/CN109934761B/zh
Publication of CN109934761A publication Critical patent/CN109934761A/zh
Application granted granted Critical
Publication of CN109934761B publication Critical patent/CN109934761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于卷积神经网络的JPEG图像隐写分析方法,包括以下步骤:S1.构建针对JPEG图像隐写分析的卷积神经网络;S2.准备数据集;S3.初始化卷积神经网络;S4.训练卷积神经网络;S5.利用训练好的卷积神经网络对待检测图像进行隐写分析,计算出分类概率向量从而判定待检测图像是否为载密图像。本发明通过将JPEG图像隐写分析相关的领域知识内嵌到网络结构中,针对JPEG图像隐写分析设计了卷积神经网络结构及相关的参数配置;同时为网络训练引入参数增量约束机制,提高了卷积神经网络的性能,解决了现有的图像隐写分析技术中分类准确率不够高以及无法在低负载情况下直接训练网络等问题。

Description

基于卷积神经网络的JPEG图像隐写分析方法
技术领域
本发明涉及图像隐写分析领域,更具体地,涉及一种基于卷积神经网络的JPEG图像隐写分析方法。
背景技术
图像隐写技术的目的是在载体图像中埋藏秘密信息,一般通过修改载体图像的像素值或量化DCT系数实现。前者称为空域图像隐写,后者称为JPEG图像隐写。JPEG图像隐写分析实质上是图像二分类问题,目前主流的图像隐写分析方法包括以下几种:
(1)基于特征的JPEG图像隐写分析算法,如GFR、SCA-GFR,其缺点主要是分类准确率不够高。JPEG图像隐写分析的突破口在于图像隐写会破坏图像相邻像素间的相关性,因此对图像相邻像素关系建模是解决问题的有效手段。但是在人工设计隐写分析特征时,由于设计者自身的局限性、算法复杂度等一系列因素,难以全面、有效地实现这样的建模,这就导致了基于特征的JPEG图像隐写分析算法的分类准确率相对较低。
(2)基于卷积神经网络的XuNet,由于在设计网络结构时,没有大量引入与图像隐写分析相关的领域知识,主要依靠引入大量的参数来应对网络训练困难的问题,这使得XuNet的分类准确率没有超越基于特征的算法太多。另外,由于引入了大量的参数,XuNet在使用样本数量较少的数据集训练时容易产生过拟合现象,即XuNet并不适于使用小规模数据集训练。
(3)基于卷积神经网络的YeNet,由于其在设计之时解决的问题是空域图像隐写分析,因此在YeNet网络结构中所引入的领域知识主要针对空域图像隐写分析,使得YeNet网络结构中的很多设计对于JPEG图像隐写分析来说并非最优。另一方面,YeNet网络结构的形式是经典的卷积层堆叠。
(4)另外,现有的图像隐写分析网络在低负载情况下普遍存在训练困难的问题。
综上所述,现有的图像隐写分析技术中存在分类准确率不够高以及无法在低负载情况下直接训练网络的问题。
发明内容
本发明为解决现有的图像隐写分析技术中分类准确率不够高以及无法在低负载情况下直接训练网络等问题,提供了一种基于卷积神经网络的JPEG图像隐写分析方法。
为实现以上发明目的,而采用的技术手段是:
基于卷积神经网络的JPEG图像隐写分析方法,包括以下步骤:
S1.构建针对JPEG图像隐写分析的卷积神经网络:包括预处理部分和深度网络部分;所述预处理部分用于预处理JPEG图像,所述深度网络部分用于提取JPEG图像隐写分析特征并进行隐写分析;其中JPEG的全称是Joint Photographic Experts Group,是常见的一种图像格式;
S2.准备数据集:将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像,并使用隐写算法对所有载体图像进行隐写生成等量的载密图像;根据隐写算法计算所有载体图像的修改概率矩阵β,然后计算所有载体图像与载密图像相应的L1范数嵌入失真矩阵t(β);其中修改概率矩阵
Figure BDA0001965256460000021
矩阵中每个元素都是量化DCT系数矩阵中对应元素的修改概率;由于已知隐写算法及埋藏信息长度,对给定JPEG图像的量化DCT系数矩阵c的修改概率矩阵β是可以计算出来的;然后根据
Figure BDA0001965256460000022
计算相应的L1范数嵌入失真矩阵
Figure BDA0001965256460000023
S3.初始化卷积神经网络:对于卷积神经网络中预处理部分的卷积层,使用高通滤波器对其卷积核进行初始化,并采用截断线性单元作为激活函数;对于除预处理部分的卷积层以外的其他卷积层均使用msra方式进行初始化;其中使用SRM算法中的30个高通滤波器初始化网络第一个卷积层,为卷积神经网络设置一个良好的训练起点;其中采用截断线性单元作为激活函数有两个优势:其一,截断线性单元前面的卷积层输出的噪声残差分布基本符合一个均值为0的正态分布,截断线性单元能够截断过大的残差而保留主体部分的残差;其二,截断线性单元的可导性使得通过梯度下降对第一个卷积层卷积核的学习成为可能,从而进一步提升网络性能;
S4.训练卷积神经网络:使用AdaDelta算法在步骤S2所述的训练集中对卷积神经网络进行训练,通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛;使用测试集测试网络性能;
S5.利用训练好的卷积神经网络对待检测图像进行隐写分析,计算出分类概率向量从而判定待检测图像是否为载密图像。
优选的,步骤S1中所述的预处理部分包括第一支路,所述第一支路包含一个卷积层,用于对JPEG图像像素值进行预处理,其输出的特征图作为深度网络部分的输入;定义对应该预处理部分的卷积神经网络为Plain-CNN。在本优选方案中,第一支路以JPEG图像像素值组成的矩阵为输入,这一支路对于JPEG图像像素值矩阵的处理,完成了从GFR特征提取过程到卷积神经网络结构的迁移,同时为了保持卷积神经网络特征图的图结构,只对GFR特征提取过程的计算噪声残差、量化并截断残差两个步骤进行迁移。
优选的,步骤S1中所述的预处理部分还包括第二支路,第二支路包含一个卷积层,用于对L1范数嵌入失真矩阵t(β)进行预处理;将第一支路和第二支路的输出对应相加得到的特征图作为深度网络部分的输入;定义对应该预处理部分的卷积神经网络为SCA-CNN。在本优选方案中,第一支路以JPEG图像像素值组成的矩阵为输入,这一支路对于JPEG图像像素值矩阵的处理,完成了从GFR特征提取过程到卷积神经网络结构的迁移,同时为了保持卷积神经网络特征图的图结构,只对GFR特征提取过程的计算噪声残差、量化并截断残差两个步骤进行迁移;第二支路的数学计算,引入了SCA-GFR特征中提出的残差失真近似上界的估计量
Figure BDA0001965256460000031
优选的,步骤S1中所述的深度网络部分由卷积层、六个残差块、全局池化层、全连接层、softmax函数依次连接而成,其中卷积层及六个残差块对所述特征图进行深度卷积,其输出的特征图经全局池化层处理并输出图像隐写分析特征,全连接层及softmax函数将图像隐写分析特征映射为分类概率向量。本优选方案中,深度网络部分大量采用ResNet中提出的带有短接结构的残差块进行堆叠,通过改进网络结构形式提升了分类准确率。
优选的,步骤S3中所述的截断线性单元及其导数定义为:
Figure BDA0001965256460000032
其中T>0为截断阈值。
优选的,步骤S4的训练中,通过迭代更新参数具体包括:每次迭代根据反向传播算法与梯度下降算法计算出卷积核参数的增量ΔW(i),按照
Figure BDA0001965256460000041
计算出
Figure BDA0001965256460000042
以对卷积核参数的增量进行约束,最后再执行
Figure BDA0001965256460000043
更新参数,用于使预处理部分的卷积层每个高通滤波器的参数之和为零。其中W(i)表示第i次迭代后卷积层的卷积核参数,ΔW(i)是第i次迭代时根据反向传播算法与梯度下降算法计算得到的参数更新量。
由于在实际训练卷积神经网络时,梯度下降算法无法保证在每次迭代中依然让预处理部分卷积层的卷积核始终保持参数和为零的特性,这造成了低负载情况下图像隐写分析网络训练较为困难。本优选方案通过为卷积神经网络训练时的参数更新引入了参数增量约束机制,以保证在训练中预处理部分的卷积层的卷积核参数之和为零这一特性能始终保持,从而在低负载情况下直接训练JPEG图像隐写分析网络也可以收敛且取得超过现有技术的性能。
优选的,所述的第二支路中卷积层的卷积核在训练过程中不进行更新,卷积核内各元素的取值时刻保持与第一支路中卷积层的卷积核内各元素的绝对值相等,并对第一支路和第二支路中卷积层输出的特征图中所有元素进行一次求算术平方根操作。
优选的,步骤S5具体包括以下步骤:
判断待检测图像是否已知隐写算法,若是则根据已知的隐写算法计算L1范数嵌入失真矩阵t(β),并与待检测图像的图像像素值矩阵一起输入到SCA-CNN,执行前向传播,由SCA-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像;
若否则将待检测图像的图像像素值矩阵输入到Plain-CNN执行前向传播,由Plain-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像。
优选的,所述六个残差块用于保持特征图尺寸以及减小特征图尺寸,其中用于减小特征图尺寸的残差块结构包括两种:第一种是卷积核大小为3×3或2×2、卷积间隔为2的卷积层;第二种是池化大小为3×3或2×2、池化间隔为2的平均池化层,再配合卷积核大小为1×1、卷积间隔为1的卷积层匹配特征图通道数。
优选的,所述高通滤波器使用SRM算法中用到的30个高通滤波器,这些高通滤波器具有参数和为零的特征。
与现有技术相比,本发明技术方案的有益效果是:
一、本发明通过将JPEG图像隐写分析相关的领域知识内嵌到网络结构中,针对JPEG图像隐写分析定制化设计了卷积神经网络结构及相关的参数配置,具体包括:使用已被验证有效的高通滤波器初始化网络第一个卷积层的卷积核;使用专为图像隐写分析问题设计的截断线性单元激活函数;利用了隐写算法的先验知识;采用ResNet中提出的残差块堆叠的形式构建网络,并根据其问题特点对残差块的配置进行定制化设计;从而提高了JPEG图像隐写分析中图像分类的准确率并节省了设计网络结构时所需要的参数数量,使得使用小规模数据集训练网络也不会出现过拟合现象。
二、本发明通过结合JPEG图像隐写分析的领域知识,为网络训练引入参数增量约束机制,该机制在梯度下降算法或类似的优化算法计算用于更新网络第一个卷积层卷积核参数的参数增量后,对参数增量进行约束,约束后的参数增量应用于卷积核参数更新,保证了第一个卷积层卷积核满足图像隐写分析中高通滤波器的特性,从而克服了低负载情况下图像隐写分析网络训练困难的问题,实现在低负载情况下直接训练网络且取得优异性能。
附图说明
图1为本发明方法的总流程图。
图2为本发明针对JPEG图像隐写分析的卷积神经网络结构图。
图3为本发明中深度网络部分的残差块1。
图4为本发明中深度网络部分的残差块2。
图5为本发明中深度网络部分的残差块3。
图6为本发明中深度网络部分的残差块4。
图7为本发明中深度网络部分的残差块5。
图8为本发明中深度网络部分的残差块6。
图9为本发明中步骤S5的流程图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例1提供了一种基于卷积神经网络的JPEG图像隐写分析方法,其应用的卷积神经网络为Plain-CNN。
如图1所示,包括以下步骤:
S1.构建针对JPEG图像隐写分析的卷积神经网络:包括预处理部分和深度网络部分;具体的构建方法和网络的参数配置如下所示:
预处理部分包括第一支路,其中第一支路包含一个卷积层,用于对JPEG图像像素值进行预处理;以JPEG图像像素值组成的矩阵为输入;该卷积层卷积核的尺寸以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示为1×30×(5×5),卷积时在特征图边缘填充0的行(列)数为0。该卷积层的卷积核使用SRM算法中用到的30个高通滤波器来初始化,该卷积层的激活函数为TLU(即truncated linear unit,截断线性单元)。
其中TLU及其导数分别定义为:
Figure BDA0001965256460000061
其中T>0为截断阈值。TLU需要确定的超参数为截断阈值T,本实施例设定T=31。
第一支路的输出是宽为252、高为252、通道数为30的特征图,并输出到深度网络部分。
其中深度网络部分由卷积层、六个残差块、全局池化层、全连接层、softmax函数依次连接而成,其中卷积层及六个残差块对所述特征图进行深度卷积,其输出的特征图经全局池化层处理并输出256维的图像隐写分析特征,全连接层及softmax函数起到简单分类器的作用,将图像隐写分析特征映射为分类概率向量。
其中如图3-8所示,分别对应于六个残差块。六个残差块用于保持特征图尺寸以及减小特征图尺寸,其中用于减小特征图尺寸的残差块结构包括两种:第一种是卷积核大小为3×3或2×2、卷积间隔为2的卷积层,如图4的残差块以及图5-8的残差块的左侧支路所示;第二种是池化大小为3×3或2×2、池化间隔为2的平均池化层,再配合卷积核大小为1×1、卷积间隔为1的卷积层匹配特征图通道数,如图5-8的残差块的右侧支路所示。其中图3-8中的方框内第一行是该层的种类;对于卷积层,余下各行依次为:卷积层卷积核尺寸,以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示;进行一次卷积的间隔;卷积时在特征图边缘填充0的行(列)数;对于平均池化层,余下各行依次为:池化大小,以“高×宽”的格式表示;执行一次池化的间隔。
S2.准备数据集:将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像,并使用隐写算法对所有载体图像进行隐写生成等量的载密图像;
本实施例在测试算法性能时使用的是BOSSBase与BOWS2两个数据集,各包含10000张大小为512×512的pgm格式灰度图。把BOSSBase按照4000、1000、5000张随机划分为训练集、验证集、测试集的载体图像,BOWS2的全部图像均加入训练集,于是训练集、验证集、测试集的载体图像数目依次为14000、1000、5000。对训练集的14000张载体图像,进行顺时针旋转0°、90°、180°、270°以及水平镜像的数据增强操作,最终训练集载体图像数目达到14000×4×2=112000。训练集、验证集、测试集的所有载体图像都使用MATLAB的imresize函数缩放为256×256的大小,再使用imwrite函数以质量因子75压缩为JPEG图像。最后使用J-UNIWARD隐写算法以固定的负载大小对训练集、验证集、测试集的所有载体图像进行隐写,生成等量的载密图像。本实施例在0.4bpAC与0.2bpAC两个负载测试了算法性能,分别对应高负载与低负载两种情况。
S3.初始化卷积神经网络:对于卷积神经网络中预处理部分的卷积层,使用高通滤波器对其卷积核进行初始化,并采用截断线性单元作为激活函数;对于其他卷积层均使用msra方式进行初始化;其中高通滤波器及截断线性单元的具体配置与上述一致;
S4.训练卷积神经网络:使用AdaDelta算法在训练集中对卷积神经网络进行训练,通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛;使用测试集测试网络性能;
其中本实施例使用Caffe实现以上网络结构Plain-CNN,并使用AdaDelta算法训练网络,其中AdaDelta算法的超参数momentum设为0.95,delta设为1×10-8。除了预处理部分的卷积层外,所有卷积层卷积核的初始化均采用Caffe中的msra初始化方法,偏置项初始化为0.2;全连接层权重初始化使用均值为0、标准差为0.01的高斯分布,偏置项初始化为0。损失函数取为交叉熵与权重衰减项为5×10-4的L2正则项之和。在每个迭代中,训练集中的16对载体-载密图像对共32张图像组成一批,输入网络中进行训练。在训练0.4bpAC的网络时,学习率初始化为0.4;在训练0.2bpAC的网络时,学习率初始化为0.1。在训练中,当网络在验证集上的分类准确率或损失函数没有明显变化时,学习率将除以2。如此训练迭代多次直至网络收敛。训练结束后,使用测试集测试网络性能,并以分类准确率的形式表达。用于对比的GFR、SCA-GFR、XuNet均采用相同的数据集划分并按照其原来的配置测试其性能。其中GFR、SCA-GFR为现有的基于特征的JPEG图像隐写分析算法,XuNet为现有的基于卷积神经网络的JPEG图像隐写分析算法。
S5.利用训练好的卷积神经网络对待检测图像进行隐写分析,计算出分类概率向量从而判定待检测图像是否为载密图像。
由于本实施例1应用的卷积神经网络为Plain-CNN,假定待检测图像均未知隐写算法,如图9的未知隐写算法部分所示,具体步骤为:将待检测图像的图像像素值矩阵输入到Plain-CNN执行前向传播,由Plain-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像。
实施例2
本实施例1提供了一种基于卷积神经网络的JPEG图像隐写分析方法,其应用的卷积神经网络为SCA-CNN。
如图1所示,包括以下步骤:
S1.构建针对JPEG图像隐写分析的卷积神经网络:包括预处理部分和深度网络部分;具体的构建方法和网络的参数配置如下所示:
如图2所示,预处理部分包括第一支路和第二支路,其中第一支路包含一个卷积层,用于对JPEG图像像素值进行预处理;以JPEG图像像素值组成的矩阵为输入;该卷积层为卷积层1,其卷积核的尺寸以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示为1×30×(5×5),卷积时在特征图边缘填充0的行(列)数为0。该卷积层的卷积核使用SRM算法中用到的30个高通滤波器来初始化,该卷积层的激活函数为TLU(即truncatedlinear unit,截断线性单元)。
其中TLU及其导数分别定义为:
Figure BDA0001965256460000091
其中T>0为截断阈值。TLU需要确定的超参数为截断阈值T,本实施例设定T=31。
第二支路包含一个卷积层,用于对L1范数嵌入失真矩阵t(β)进行预处理,以L1范数嵌入失真矩阵t(β)为输入;其中L1范数嵌入失真矩阵
Figure BDA0001965256460000092
根据
Figure BDA0001965256460000093
计算;
该卷积层卷积核的尺寸以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示为1×30×(5×5),卷积时在特征图边缘填充0的行(列)数为0。该卷积层名称为ABS(卷积层1),表示其卷积核在训练过程中不进行更新,卷积核内各元素的取值时刻保持与第一支路中卷积层的卷积核内各元素的绝对值相等,并对第一支路和第二支路中卷积层输出的特征图中所有元素进行一次求算术平方根操作。第二支路的计算是为了引入SCA-GFR特征中提出的残差失真近似上界的估计量
Figure BDA0001965256460000094
第一支路及第二支路的输出均是宽为252、高为252、通道数为30的特征图,为了融合来源不同的两组特征图以输出到深度网络部分,本实施例2采用的融合方式是:两个特征图元素对应相加。这种处理方式相比特征图对应元素相乘、特征图串接这些方式的好处是计算量大为减小。
由于待检测图像的隐写算法的信息已知,可计算修改概率矩阵β,和计算相应的L1范数嵌入失真矩阵t(β),此时网络利用选择信道信息。
如图2所示,其中深度网络部分由卷积层、六个残差块、全局池化层、全连接层、softmax函数依次连接而成,其中卷积层及六个残差块对所述特征图进行深度卷积,其输出的特征图经全局池化层处理并输出256维的图像隐写分析特征,全连接层及softmax函数起到简单分类器的作用,将图像隐写分析特征映射为分类概率向量。
其中如图3-8所示,分别对应于六个残差块。六个残差块用于保持特征图尺寸以及减小特征图尺寸,其中用于减小特征图尺寸的残差块结构包括两种:第一种是卷积核大小为3×3或2×2、卷积间隔为2的卷积层,如图4的残差块以及图5-8的残差块的左侧支路所示;第二种是池化大小为3×3或2×2、池化间隔为2的平均池化层,再配合卷积核大小为1×1、卷积间隔为1的卷积层匹配特征图通道数,如图5-8的残差块的右侧支路所示。其中图3-8中的方框内第一行是该层的种类;对于卷积层,余下各行依次为:卷积层卷积核尺寸,以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示;进行一次卷积的间隔;卷积时在特征图边缘填充0的行(列)数;对于平均池化层,余下各行依次为:池化大小,以“高×宽”的格式表示;执行一次池化的间隔。
S2.准备数据集:将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像,并使用隐写算法对所有载体图像进行隐写生成等量的载密图像;根据隐写算法计算所有载体图像的修改概率矩阵β,然后计算所有载体图像与载密图像相应的L1范数嵌入失真矩阵t(β);
本实施例2在测试算法性能时使用的是BOSSBase与BOWS2两个数据集,各包含10000张大小为512×512的pgm格式灰度图。把BOSSBase按照4000、1000、5000张随机划分为训练集、验证集、测试集的载体图像,BOWS2的全部图像均加入训练集,于是训练集、验证集、测试集的载体图像数目依次为14000、1000、5000。对训练集的14000张载体图像,进行顺时针旋转0°、90°、180°、270°以及水平镜像的数据增强操作,最终训练集载体图像数目达到14000×4×2=112000。训练集、验证集、测试集的所有载体图像都使用MATLAB的imresize函数缩放为256×256的大小,再使用imwrite函数以质量因子75压缩为JPEG图像。最后使用J-UNIWARD隐写算法以固定的负载大小对训练集、验证集、测试集的所有载体图像进行隐写,生成等量的载密图像,并计算所有载体图像与载密图像相应的L1范数嵌入失真矩阵t(β)。本实施例在0.4bpAC与0.2bpAC两个负载测试了算法性能,分别对应高负载与低负载两种情况。
S3.初始化卷积神经网络:对于卷积神经网络中预处理部分的卷积层,使用高通滤波器对其卷积核进行初始化,并采用截断线性单元作为激活函数;对于其他卷积层均使用msra方式进行初始化;其中高通滤波器及截断线性单元的具体配置与上述一致;
S4.训练卷积神经网络:使用AdaDelta算法在训练集中对卷积神经网络进行训练,通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛;使用测试集测试网络性能;
其中本实施例使用Caffe实现以上网络结构SCA-CNN,并使用AdaDelta算法训练网络,其中AdaDelta算法的超参数momentum设为0.95,delta设为1×10-8。除了预处理部分的卷积层外,所有卷积层卷积核的初始化均采用Caffe中的msra初始化方法,偏置项初始化为0.2;全连接层权重初始化使用均值为0、标准差为0.01的高斯分布,偏置项初始化为0。损失函数取为交叉熵与权重衰减项为5×10-4的L2正则项之和。在每个迭代中,训练集中的16对载体-载密图像对共32张图像组成一批,输入网络中进行训练。在训练0.4bpAC的网络时,学习率初始化为0.4;在训练0.2bpAC的网络时,学习率初始化为0.1。在训练中,当网络在验证集上的分类准确率或损失函数没有明显变化时,学习率将除以2。如此训练迭代多次直至网络收敛。训练结束后,使用测试集测试网络性能,并以分类准确率的形式表达。用于对比的GFR、SCA-GFR、XuNet均采用相同的数据集划分并按照其原来的配置测试其性能。其中GFR、SCA-GFR为现有的基于特征的JPEG图像隐写分析算法,XuNet为现有的基于卷积神经网络的JPEG图像隐写分析算法。
S5.利用训练好的卷积神经网络对待检测图像进行隐写分析,计算出分类概率向量从而判定待检测图像是否为载密图像。
由于本实施例2应用的卷积神经网络为SCA-CNN,假定待检测图像均已知隐写算法,如图9的已知隐写算法部分所示,具体步骤为:已知隐写算法为J-UNIWARD及可能的负载大小,先利用J-UNIWARD算法计算L1范数嵌入失真矩阵t(β),与图像像素值矩阵一起输入到SCA-CNN,执行前向传播,由SCA-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像;
如表1所示为实施例1和实施例2在0.4bpAC与0.2bpAC两个负载,以及分别在GFR、SCA-GFR、XuNet、SCA-CNN及Plain-CNN测试了图像隐写分析的分类准确率,可以看出在低负载,即0.2bpAC情况下直接训练网络,网络能够收敛,同时分类准确率远高于同样是直接训练的XuNet以及GFR、SCA-GFR这些基于特征的算法。
Figure BDA0001965256460000121
表1
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.基于卷积神经网络的JPEG图像隐写分析方法,其特征在于,包括以下步骤:
S1.构建针对JPEG图像隐写分析的卷积神经网络:包括预处理部分和深度网络部分;所述预处理部分用于预处理JPEG图像,所述深度网络部分用于提取JPEG图像隐写分析特征并进行隐写分析;
S2.准备数据集:将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像,并使用隐写算法对所有载体图像进行隐写生成等量的载密图像;根据隐写算法计算所有载体图像的修改概率矩阵β,然后计算所有载体图像与载密图像相应的L1范数嵌入失真矩阵t(β);
S3.初始化卷积神经网络:对于卷积神经网络中预处理部分的卷积层,使用高通滤波器对其卷积核进行初始化,并采用截断线性单元作为激活函数;对于除预处理部分的卷积层以外的其他卷积层均使用msra方式进行初始化;
S4.训练卷积神经网络:使用AdaDelta算法在步骤S2所述的训练集中对卷积神经网络进行训练,通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛;使用测试集测试网络性能;
S5.利用训练好的卷积神经网络对待检测图像进行隐写分析,计算出分类概率向量从而判定待检测图像是否为载密图像;
步骤S1中所述的预处理部分包括第一支路,所述第一支路包含一个卷积层,用于对JPEG图像像素值进行预处理,其输出的特征图作为深度网络部分的输入;定义对应该预处理部分的卷积神经网络为Plain-CNN;
步骤S1中所述的预处理部分还包括第二支路,第二支路包含一个卷积层,用于对L1范数嵌入失真矩阵t(β)进行预处理;将第一支路和第二支路的输出对应相加得到的特征图作为深度网络部分的输入;定义对应该预处理部分的卷积神经网络为SAC-CNN;
所述的第二支路中卷积层的卷积核在训练过程中不进行更新,卷积核内各元素的取值时刻保持与第一支路中卷积层的卷积核内各元素的绝对值相等,并对第一支路和第二支路中卷积层输出的特征图中所有元素进行一次求算数平方根操作。
2.根据权利要求1所述的JPEG图像隐写分析方法,其特征在于,步骤S1中所述的深度网络部分由卷积层、六个残差块、全局池化层、全连接层、softmax函数依次连接而成,其中卷积层及六个残差块对所述特征图进行深度卷积,全局池化层处理并输出图像隐写分析特征,全连接层及softmax函数将图像隐写分析特征映射为分类概率向量。
3.根据权利要求1所述的JPEG图像隐写分析方法,其特征在于,步骤S3中所述的截断线性单元及其导数定义为:
Figure FDA0003805326310000021
其中T>0为截断阈值。
4.根据权利要求1所述的JPEG图像隐写分析方法,其特征在于,步骤S5具体包括以下步骤:
判断待检测图像是否已知隐写算法,若是则根据已知的隐写算法计算L1范数嵌入失真矩阵t(β),并与待检测图像的图像像素值矩阵一起输入到SCA-CNN,执行前向传播,由SCA-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像;
若否则将待检测图像的图像像素值矩阵输入到Plain-CNN执行前向传播,由Plain-CNN输出分类概率向量,根据分类概率向量判定该图像是否为载密图像。
5.根据权利要求2所述的JPEG图像隐写分析方法,其特征在于,所述六个残差块用于保持特征图尺寸以及减小特征图尺寸,其中用于减小特征图尺寸的残差块结构包括两种:第一种是卷积核大小为3×3或2×2、卷积间隔为2的卷积层;第二种是池化大小为3×3或2×2、池化间隔为2的平均池化层,再配合卷积核大小为1×1、卷积间隔为1的卷积层匹配特征图通道数。
6.根据权利要求1~5任一项所述的JPEG图像隐写分析方法,其特征在于,所述高通滤波器使用SRM算法中用到的30个高通滤波器。
CN201910099232.XA 2019-01-31 2019-01-31 基于卷积神经网络的jpeg图像隐写分析方法 Active CN109934761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910099232.XA CN109934761B (zh) 2019-01-31 2019-01-31 基于卷积神经网络的jpeg图像隐写分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910099232.XA CN109934761B (zh) 2019-01-31 2019-01-31 基于卷积神经网络的jpeg图像隐写分析方法

Publications (2)

Publication Number Publication Date
CN109934761A CN109934761A (zh) 2019-06-25
CN109934761B true CN109934761B (zh) 2022-11-29

Family

ID=66985348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910099232.XA Active CN109934761B (zh) 2019-01-31 2019-01-31 基于卷积神经网络的jpeg图像隐写分析方法

Country Status (1)

Country Link
CN (1) CN109934761B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517227A (zh) * 2019-07-29 2019-11-29 数字广东网络建设有限公司 图像隐藏信息检测的方法、装置、计算机设备和存储介质
CN112446472A (zh) * 2019-08-28 2021-03-05 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
CN110533575B (zh) * 2019-09-05 2022-10-21 贵州师范大学 一种基于异构核的深度残差隐写分析方法
CN113099066B (zh) * 2019-12-23 2022-09-30 浙江工商大学 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法
CN111199507B (zh) * 2019-12-25 2023-05-05 深圳大学 一种图像隐写分析方法、智能终端及存储介质
CN111292221A (zh) * 2020-02-25 2020-06-16 南京信息工程大学 一种安全鲁棒的大容量图像隐写方法
CN111415336B (zh) * 2020-03-12 2023-07-25 泰康保险集团股份有限公司 一种图像篡改识别方法、装置、服务器及存储介质
CN111598762B (zh) * 2020-04-21 2023-09-19 中山大学 一种生成式鲁棒图像隐写方法
CN112199693A (zh) * 2020-09-30 2021-01-08 东南数字经济发展研究院 一种基于卡通化图像的隐写方法
CN112529835A (zh) * 2020-10-22 2021-03-19 浙江大学 一种基于源相机识别的图像拼接篡改检测与定位方法
CN112581345A (zh) * 2020-12-04 2021-03-30 华南理工大学 基于图像块的图像隐写分析方法、系统、装置及介质
CN112529758B (zh) * 2020-12-18 2022-08-09 海南大学 一种基于卷积神经网络的彩色图像隐写方法
CN112785478B (zh) * 2021-01-15 2023-06-23 南京信息工程大学 基于生成嵌入概率图的隐藏信息检测方法和系统
CN112862655B (zh) * 2021-03-08 2024-04-05 中山大学 一种基于通道空间注意力机制的jpeg图像隐写分析方法
CN113034472B (zh) * 2021-03-25 2023-02-07 中山大学 一种基于梯度网络架构搜索的空域隐写分析方法及系统
CN112926607B (zh) * 2021-04-28 2023-02-17 河南大学 基于卷积神经网络的双支网络图像隐写框架及方法
CN113034628B (zh) * 2021-04-29 2023-09-26 南京信息工程大学 一种彩色图像jpeg2000重压缩检测方法
CN113077377B (zh) * 2021-05-13 2022-06-10 海南大学 一种基于生成对抗网络的彩色图像隐写方法
CN113486932B (zh) * 2021-06-21 2023-09-19 北京邮电大学 一种面向卷积神经网络隐写分析的优化方法
CN113298689B (zh) * 2021-06-22 2023-04-18 河南师范大学 一种大容量图像隐写方法
CN114170240B (zh) * 2021-11-12 2024-02-27 杭州电子科技大学 一种基于加权系数残差的jpeg图像负载定位方法
WO2023137710A1 (zh) * 2022-01-21 2023-07-27 深圳市大疆创新科技有限公司 神经网络的训练方法、图像处理方法、装置、系统及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530200A (zh) * 2016-10-23 2017-03-22 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学(保定) 一种基于三级残差网络的人脸图像年龄估计方法
CN107330845A (zh) * 2017-06-26 2017-11-07 中山大学 一种基于卷积神经网络的数字图像隐写分析方法
CN108596818A (zh) * 2017-12-22 2018-09-28 华南理工大学 一种基于多任务学习卷积神经网络的图像隐写分析方法
CN108764270A (zh) * 2018-04-03 2018-11-06 上海大学 一种利用卷积神经网络集成的信息隐藏检测方法
CN108961137A (zh) * 2018-07-12 2018-12-07 中山大学 一种基于卷积神经网络的图像隐写分析方法及系统
CN109118435A (zh) * 2018-06-15 2019-01-01 广东工业大学 一种基于PReLU的深度残差卷积神经网络图像去噪方法
CN109214973A (zh) * 2018-08-24 2019-01-15 中国科学技术大学 针对隐写分析神经网络的对抗安全载体生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165082A1 (zh) * 2015-04-15 2016-10-20 中国科学院自动化研究所 基于深度学习的图像隐写检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530200A (zh) * 2016-10-23 2017-03-22 深圳大学 一种基于深度学习模型的隐写图像检测方法及系统
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学(保定) 一种基于三级残差网络的人脸图像年龄估计方法
CN107330845A (zh) * 2017-06-26 2017-11-07 中山大学 一种基于卷积神经网络的数字图像隐写分析方法
CN108596818A (zh) * 2017-12-22 2018-09-28 华南理工大学 一种基于多任务学习卷积神经网络的图像隐写分析方法
CN108764270A (zh) * 2018-04-03 2018-11-06 上海大学 一种利用卷积神经网络集成的信息隐藏检测方法
CN109118435A (zh) * 2018-06-15 2019-01-01 广东工业大学 一种基于PReLU的深度残差卷积神经网络图像去噪方法
CN108961137A (zh) * 2018-07-12 2018-12-07 中山大学 一种基于卷积神经网络的图像隐写分析方法及系统
CN109214973A (zh) * 2018-08-24 2019-01-15 中国科学技术大学 针对隐写分析神经网络的对抗安全载体生成方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Deep Learning Hierarchical Representations for Image Steganalysis;Ye, Jian et al.;《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》;20171111;第12卷(第11期);第2545-2557页 *
Model-based image steganography using asymmetric embedding scheme;Xianglei Hu et al.;《Journal of Electronic Imaging》;20180726;第27卷(第4期);第043023-1-8页 *
Ye, Jian et al..Deep Learning Hierarchical Representations for Image Steganalysis.《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》.2017,第12卷(第11期),第2545-2557页. *
基于卷积神经网络的图像隐写分析方法;魏立线等;《计算机应用研究》;20180228;第36卷(第1期);第235-238页 *
基于深度残差网络的图像隐写分析方法;高培贤等;《计算机工程与设计》;20181016;第39卷(第10期);第3045-3049,3112页 *
视频帧内帧间编码通用隐写分析卷积神经网络;刘鹏等;《网络新媒体技术》;20181115;第7卷(第6期);第14-15页 *
隐写编码及其在图像隐写术中的应用;韩涛;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20120715;第I139-271页 *

Also Published As

Publication number Publication date
CN109934761A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN109934761B (zh) 基于卷积神经网络的jpeg图像隐写分析方法
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN110188685B (zh) 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN111738942A (zh) 一种融合特征金字塔的生成对抗网络图像去雾方法
CN109377452B (zh) 基于vae和生成式对抗网络的人脸图像修复方法
CN111383173B (zh) 一种基于基线的图像超分辨率重建方法及系统
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN112070687A (zh) 一种基于团队递归反馈机制的图像去雨方法及系统
CN109949200B (zh) 基于滤波器子集选择和cnn的隐写分析框架构建方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN111597932A (zh) 基于卷积神经网络的道路裂缝图像识别方法、装置及系统
CN112233077A (zh) 图像分析方法、装置、设备及存储介质
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
CN112926607A (zh) 基于卷积神经网络的双支网络图像隐写框架及方法
CN110533575B (zh) 一种基于异构核的深度残差隐写分析方法
CN113298689B (zh) 一种大容量图像隐写方法
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant