CN112862655A - 一种基于通道空间注意力机制的jpeg图像隐写分析方法 - Google Patents
一种基于通道空间注意力机制的jpeg图像隐写分析方法 Download PDFInfo
- Publication number
- CN112862655A CN112862655A CN202110251771.8A CN202110251771A CN112862655A CN 112862655 A CN112862655 A CN 112862655A CN 202110251771 A CN202110251771 A CN 202110251771A CN 112862655 A CN112862655 A CN 112862655A
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- steganalysis
- jpeg image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 101150021123 msrA gene Proteins 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于通道空间注意力机制的JPEG图像隐写分析方法，包括以下步骤：对待检测JPEG图像进行解压；构建基于通道空间注意力机制的卷积神经网络并进行训练；将解压后的待检测JPEG图像输入卷积神经网络中进行分类，计算分类概率向量；根据分类概率向量判定待检测JPEG图像是否为载密图像，完成JPEG图像隐写分析。本发明提供一种基于通道空间注意力机制的JPEG图像隐写分析方法，基于通道空间注意力机制，设计了一种JPEG图像隐写分析方法，有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比；同时，本方法可接受任意尺寸JPEG图像的输入，可以更多地保留图像的特征信息，有效提升检测的准确率。
Description
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种基于通道空间注意力机制的JPEG图像隐写分析方法。
背景技术
图像隐写技术的目的是在载体图像中埋藏秘密信息，一般通过修改载体图像的像素值或量化DCT系数实现。前者称为空域图像隐写。由于JPEG文件实际保存的是图像进行DCT变换后的量化DCT系数，因此后者称为JPEG图像隐写。
图像隐写分析的任务是检测图像中是否被埋藏秘密信息。现有的主流技术按照隐写分析对象可分为空域图像隐写分析与JPEG图像隐写分析；按照使用的方法可分为基于特征的图像隐写分析和基于卷积神经网络的图像隐写分析。对于JPEG图像隐写分析，基于特征的有GFR[1]Song X,Liu F,Yang C,et al.Steganalysis of Adaptive JPEGSteganography Using 2D Gabor Filters[C]//the 3rd ACM Workshop.ACM,2015、SCA-GFR[2]
Denemark Denemark,Boroumand M,Fridrich J.Steganalysis Featuresfor Content-Adaptive JPEG Steganography[J].IEEE Transactions on InformationForensics&Security,2017,11(8):1736-1746等算法，基于卷积神经网络的有XuNet、SRNet及SCA-SRNet[3]Boroumand M,Chen M,Fridrich J.Deep residual network forsteganalysis of digital images[J].IEEE Transactions on Information Forensicsand Security,2018,14(5):1181-1193、HuangNet及SCA-HuangNet[4]Huang J,Ni J,WanL,et al.A Customized Convolutional Neural Network with Low Model Complexityfor JPEG Steganalysis[C]//Proceedings of the ACM Workshop on InformationHiding and Multimedia Security.2019:198-203等。目前，图像隐写分析的难点主要集中在对安全性能较好的自适应隐写算法的检测，对自适应隐写算法的检测准确率也成为评判隐写分析算法性能的重要指标。
基于特征的JPEG图像隐写分析算法研究较为深入,其主要分为三个步骤：使用高通滤波器提取残差、基于残差提取特征、训练分类器进行分类。目前最优的是GFR、SCA-GFR等算法，其基本原理是：JPEG图像相邻像素间具有一定的相关性，JPEG图像隐写对JPEG图像保存的量化DCT系数进行修改，将破坏JPEG图像相邻像素间的相关性，因此可使用一系列高通滤波器对图像进行滤波得到图像残差值，基于图像残差值构造图像特征进行分类。
实际应用中，基于特征的隐写分析算法像一般的基于特征的机器学习任务一样，需要构建好数据集并划分为训练集、测试集，提取训练集样本的特征向量，如上述的GFR、SCA-GFR特征，组成训练集的特征集合用于训练一个分类器。由于隐写分析特征一般具有维度高的特点，因此常使用集成分类器(ensemble classifier)，在隐写分析特征中随机抽取子特征训练子分类器，再将子分类器集成。训练好分类器后，按同样的方式提取测试集样本输入分类器，即可得到分类结果并衡量算法性能。
基于卷积神经网络的JPEG图像隐写分析，可以通过卷积神经网络端到端地实现传统基于特征的隐写分析算法中残差提取、提取特征、分类的步骤。目前基于卷积神经网络的JPEG图像隐写分析算法性能已大幅度超过传统基于特征的隐写分析算法。
基于特征的JPEG图像隐写分析算法，如GFR、SCA-GFR，在使用时需要对图像相邻像素关系进行建模，人工设计隐写分析特征时，由于设计者自身的局限性、算法复杂度等一系列因素，难以全面、有效地实现建模，这就导致了该分析算法分类准确率相对较低；而对于HuangNet，网络平等地对待图像中纹理平滑与复杂的区域，忽视了自适应隐写算法在纹理复杂区域嵌入概率更大的特点，导致有意义的残差空间特征不能被有效凸出；同时，HuangNet在预处理层用30个高通滤波器提取出30个通道的残差图，但是没有利用通道中层间信息的关联性，其分类准确率依然有可提升的空间。
利用选择信道信息的SCA-SRNet与SCA-HuangNet，不适用于实际应用场景。在实际应用中，由于隐写算法与嵌入率往往是未知的，选择信道信息无法获得，无法使用SCA-SRNet与SCA-HuangNet算法。基于卷积神经网络的SRNet与HuangNet及其选择信道变体，都是针对256×256尺寸的JPEG图像设计的.而在实际应用中，待检测图片的尺寸往往是不定的，导致算法无法较好地应用于实际场景。若先将图片缩放或裁剪为256×256尺寸图片后再送入到网络去检测，缩放或裁剪操作将导致大量隐写信息的丢失，造成检测性能的大幅度下降。因此，需要研究一种能对任意尺寸JPEG图片进行隐写分析检测的JPEG图像隐写分析算法。
发明内容
本发明为克服现有的JPEG图像隐写分析算法，无论是基于特征还是基于卷积神经网络的算法，均存在分类准确率不高且基于卷积神经网络的算法未能很好处理任意尺寸图片的判别问题的技术缺陷，提供一种基于通道空间注意力机制的JPEG图像隐写分析方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于通道空间注意力机制的JPEG图像隐写分析方法，包括以下步骤：
S1：对待检测JPEG图像进行解压；
S2：构建基于通道空间注意力机制的卷积神经网络并进行训练；
S3：将解压后的待检测JPEG图像输入卷积神经网络中进行分类，计算分类概率向量；
S4：根据分类概率向量判定待检测JPEG图像是否为载密图像，完成JPEG图像隐写分析。
上述方案中，本发明基于通道空间注意力机制，设计了一种JPEG图像隐写分析方法，有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比；同时，本算法可接受任意尺寸JPEG图像的输入，可以更多地保留图像的特征信息，有效提升检测的准确率。
其中，所述步骤S1具体为：设待检测JPEG图像大小为M×N，图像量化DCT系数矩阵为
其中
是量化DCT系数矩阵的第(m,n)个8×8小块的第(k,l)个元素；图像JPEG解压缩后获得未取整像素值
其中
是第(k,l)个DCT基的第(i,j)个元素,qkl是亮度量化表第(k,l)个元素。将未取整像素值作为卷积神经网络的输入。
其中，在所述步骤S2中，所述卷积神经网络的第一个卷积层作为残差提取器，提取待处理图像的残差特征图；第二个、第三个卷积层对残差特征图进行特征提取后，由设置在第三个层输出端的CSA模块对提取的特征进行处理，用于突出对隐写分析有用的通道和空间残差特征和防止梯度消失的发生，并将处理得到的特征图进行输出；CSA模块输出的特征图经过1个卷积层和若干个残差块的深度卷积后，连接空间金字塔池化层和两个全连接层；空间金字塔池化层将最后一个残差块输出的任意尺寸的特征图转换成固定尺寸特征向量，两个全连接层将得到的特征图整合为两个类别的特征信息并进行输出。
其中，所述残差提取器采用SRM特征中30个高通滤波器进行初始化，并使用TLU(truncated linear unit，截断线性单元)作为激活函数。
其中，在所述卷积神经网络中，所述CSA模块包括直连支路和注意力支路，其中，所述注意力支路包括通道注意力模块和空间注意力模块，用于突出对隐写分析有用的通道和空间残差特征；所述直连支路用于防止梯度消失的发生，最后两个支路通过矩阵相加的方式进行融合，作为所述CSA模块的输出。
上述方案中，所述CSA模块作用于第三个卷积层输出的高为H、宽为W、通道数为30的残差特征图。
其中，所述通道注意力模块的具体结构为：
设给定特征图
其中，H，W，C分别代表特征图的高度、宽度与特征图的通道数；首先，通过全局平均池化操作对输入特征图降维，生成降维后的特征图
其中，x(c)(i，j)代表特征图x第c个通道(i，j)处的值，
代表xavg第c个通道的值,c的取值范围为{1，2，3，...，C}；接着，为了充分捕捉通道间关联以及提升网络的收敛速度，将两个卷积层作用于降维后的特征图xavg，生成通道权重向量
其中，第二个卷积层使用Sigmoid为激活函数，使得每个通道的权重都映射到0和1之间；最后，将输入特征图x与通道权重向量
对应元素相乘，获得加权后的特征图
上述方案中，卷积神经网络第一层使用30个高通滤波器从不同角度提取出了30个残差特征图，这些残差特征图分别表示了图像的某一部分特征，因此，通过设计通道注意力模块，赋予每个残差特征图一个权重，筛选出对图像隐写分析更有意义的残差特征图。
上述方案中，使用的是卷积层而不是多层感知机(Multi-Layer Perceptron,MLP)的原因是为了减少模型的复杂度。
其中，所述空间注意力模块的具体结构为：
首先，对输入特征图c取通道平均，生成降维后的特征图
其中c(c)代表特征图c第c个通道的值，c的取值范围为{1，2，3，...，C}；接着，将一个卷积层作用于降维后的特征图cavg，并使用Sigmoid函数激活，生成空间权重向量
上述方案中，鉴于自适应隐写算法倾向于在纹理复杂的区域嵌入更多隐写信息的特点，残差特征图中纹理复杂的区域通常对隐写分析意义更大。因此，通过空间注意力模块，赋予图像中每个像素一个权重。通过网络的学习，赋予对图像隐写分析更重要的区域较大的权重，从而抑制图像中对隐写分析无效的像素。
其中，所述CSA模块采用ReLU函数进行激活。
其中，在所述步骤S2中，所述的训练过程包括以下步骤：
S21:准备数据集：将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像，并使用隐写算法对所有载体图像进行隐写生成等量的载密图像；；
S22.初始化卷积神经网络：对于卷积神经网络中预处理部分的卷积层，使用高通滤波器对其卷积核进行初始化，并采用截断线性单元作为激活函数；对于除预处理部分的卷积层以外的其他卷积层均使用msra方式进行初始化；
S23.训练卷积神经网络：使用AdaDelta算法在步骤S21所述的训练集中对卷积神经网络进行训练，通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛；使用测试集测试网络性能；
S24.利用训练好的卷积神经网络对待检测图像进行隐写分析，计算出分类概率向量从而判定待检测图像是否为载密图像。
其中，在所述步骤S3中，所述卷积神经网络经过softmax函数处理，输出分类概率向量。
上述方案中，所述空间金字塔池化用于将最后一个残差块输出的任意尺寸的特征图转换为固定尺寸特征向量，这使网络可以支持任意尺度JPEG图片的输入；按照1×1、2×2、4×4池化尺寸分别进行平均池化，最后将不同的池化结果合并，即得到为1×5376的特征向量。除了可以解决输入图片尺寸不一致的问题外，空间金字塔池化操作从不同的角度提取一个特征图中的信息并聚合，可以提升网络的鲁棒性和对于低有效嵌入载荷隐写图像检测的网络模型精度。
上述方案中，网络在金字塔池化层后使用了两个全连接层，这是因为如果直接使用1个全连接层将特征图整合为2个类别的特征信息，相当于对特征图整体建模，导致具有类别区分性的局部信息表达不充分。为了解决这一问题，通过增加全连接层的层数，来提高模型的非线性表达能力进而提高模型的学习能力。
上述方案中，本发明的网络结构中设计了残差通道空间注意力(channel-spatialattention,CSA)模块。其中，通道注意力模块给出不同通道间的权重，然后空间注意力模块给出同一通道不同位置信息相应的权重，最后输出加权后的特征图，该特征图可视作对选择信道信息的一种估计。引入残差通道空间注意力模块可以有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比(隐写嵌入信号与图像信号的能量比值)。另外，本发明引入了空间金字塔池化(Spatial Pyramid Pooling，SPP)操作,使得算法可接受任意尺寸JPEG图像的输入。另外，空间金字塔池化操作获得了更多的局部分层特征并从多尺度聚合特征，可以更多地保留图像的特征信息，有效提升了检测准确率。
综上，通过上述一系列措施，本发明解决了上述现有技术的这些缺点：基于特征与基于卷积神经网络的JPEG图像隐写分析算法性能仍有提升空间；SCA-SRNet与SCA-HuangNet使用的选择信道信息在实际应用中无法获得；基于卷积神经网络的JPEG图像隐写分析算法都是针对256×256尺寸的JPEG图像设计的，无法适应多分辨率图像隐写分析检测的需求。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种基于通道空间注意力机制的JPEG图像隐写分析方法，基于通道空间注意力机制，设计了一种JPEG图像隐写分析方法，有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比；同时，本方法可接受任意尺寸JPEG图像的输入，可以更多地保留图像的特征信息，有效提升检测的准确率。
附图说明
图1为本发明所述方法流程示意图；
图2为本发明所述卷积神经网络结构示意图；
图3为本发明所述CSA模块具体结构示意图；
图4为卷积神经网络阶段各个残差块的配置示意图；
图5为卷积神经网络的空间金字塔池化层与全连接层的具体设置图；
图6为本发明所述的JPEG图像隐写分析框架流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于通道空间注意力机制的JPEG图像隐写分析方法，包括以下步骤：
S1：对待检测JPEG图像进行解压；
S2：构建基于通道空间注意力机制的卷积神经网络并进行训练；
S3：将解压后的待检测JPEG图像输入卷积神经网络中进行分类，计算分类概率向量；
S4：根据分类概率向量判定待检测JPEG图像是否为载密图像，完成JPEG图像隐写分析。
在具体实施过程中，本发明基于通道空间注意力机制，设计了一种JPEG图像隐写分析方法，有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比；同时，本算法可接受任意尺寸JPEG图像的输入，可以更多地保留图像的特征信息，有效提升检测的准确率。
更具体的，所述步骤S1具体为：设待检测JPEG图像大小为M×N，图像量化DCT系数矩阵为
其中
是量化DCT系数矩阵的第(m,n)个8×8小块的第(k,l)个元素；图像JPEG解压缩后获得未取整像素值
其中
是第(k,l)个DCT基的第(i,j)个元素,qkl是亮度量化表第(k,l)个元素。将未取整像素值作为卷积神经网络的输入。
更具体的，针对JPEG图像隐写分析定制化设计的卷积神经网络网络结构如图2所示。该网络主要针对任意尺寸的JPEG灰度图像隐写分析，以解压后的未取整像素值为输入，输出分类概率。
在具体实施过程中，图2中方框内卷积层配置依次为：卷积层名称标记；卷积层卷积核尺寸，以“(卷积核高×卷积核宽)×输入通道数×输出通道数”的格式表示；BN表示进行批标准化。箭头上的文字代表激活函数。网络以量化DCT系数解压缩后的未取整像素值为输入，依次堆叠了3个卷积层，1个残差通道空间注意力模块，1个卷积层，6个残差块，1个空间金字塔层，2个全连接层，1个softmax层，最后输出分类概率。
在所述步骤S2中，所述卷积神经网络的第一个卷积层作为残差提取器，提取待处理图像的残差特征图；第二个、第三个卷积层对残差特征图进行特征提取后，由设置在第三个层输出端的CSA模块对提取的特征进行处理，用于突出对隐写分析有用的通道和空间残差特征和防止梯度消失的发生，并将处理得到的特征图进行输出；CSA模块输出的特征图经过1个卷积层和若干个残差块的深度卷积后，连接空间金字塔池化层和两个全连接层；空间金字塔池化层将最后一个残差块输出的任意尺寸的特征图转换成固定尺寸特征向量，两个全连接层将得到的特征图整合为两个类别的特征信息并进行输出。
更具体的，所述残差提取器采用SRM特征中30个高通滤波器进行初始化，并使用TLU(truncated linear unit，截断线性单元)作为激活函数。
更具体的，如图3所示，在所述卷积神经网络中，所述CSA模块包括直连支路和注意力支路，其中，所述注意力支路包括通道注意力模块和空间注意力模块，用于突出对隐写分析有用的通道和空间残差特征；所述直连支路用于防止梯度消失的发生，最后两个支路通过矩阵相加的方式进行融合，作为所述CSA模块的输出。
在具体实施过程中，图3中包括两个支路：左侧直连支路，右侧通道注意力模块和空间注意力模块组成的支路。图中方框内卷积层配置依次为：卷积层名称标记；卷积层卷积核尺寸，以“(卷积核高×卷积核宽)×输入通道数×输出通道数”的格式表示。箭头上的文字代表激活函数。
符号代表矩阵对应元素相乘，⊕符号代表矩阵加法。其中：01表示JPEG图像隐写分析网络的通道注意力模块；02表示JPEG图像隐写分析网络的空间注意力模块。
在具体实施过程中，所述CSA模块作用于第三个卷积层输出的高为H、宽为W、通道数为30的残差特征图。
在具体实施过程中，所述通道注意力模块的具体结构为：设给定特征图
其中，H，W，C分别代表特征图的高度、宽度与特征图的通道数；首先，通过全局平均池化操作对输入特征图降维，生成降维后的特征图
其中，x(c)(i，j)代表特征图x第c个通道(i，j)处的值，
代表xavg第c个通道的值,c的取值范围为{1，2，3，...，C}；接着，为了充分捕捉通道间关联以及提升网络的收敛速度，将两个卷积层作用于降维后的特征图xavg，生成通道权重向量
其中，第二个卷积层使用Sigmoid为激活函数，使得每个通道的权重都映射到0和1之间；最后，将输入特征图x与通道权重向量
对应元素相乘，获得加权后的特征图
在具体实施过程中，卷积神经网络第一层使用30个高通滤波器从不同角度提取出了30个残差特征图，这些残差特征图分别表示了图像的某一部分特征，因此，通过设计通道注意力模块，赋予每个残差特征图一个权重，筛选出对图像隐写分析更有意义的残差特征图。
在具体实施过程中，使用的是卷积层而不是多层感知机(Multi-LayerPerceptron,MLP)的原因是为了减少模型的复杂度。
更具体的，所述空间注意力模块的具体结构为：
首先，对输入特征图c取通道平均，生成降维后的特征图
其中c(c)代表特征图c第c个通道的值，c的取值范围为{1，2，3，...，C}；接着，将一个卷积层作用于降维后的特征图cavg，并使用Sigmoid函数激活，生成空间权重向量
在具体实施过程中，鉴于自适应隐写算法倾向于在纹理复杂的区域嵌入更多隐写信息的特点，残差特征图中纹理复杂的区域通常对隐写分析意义更大。因此，通过空间注意力模块，赋予图像中每个像素一个权重。通过网络的学习，赋予对图像隐写分析更重要的区域较大的权重，从而抑制图像中对隐写分析无效的像素。
更具体的，所述CSA模块采用ReLU函数进行激活。
更具体的，CSA模块输出的特征图经过1个卷积层和6个残差块的深度卷积，残差块的具体设置如图4所示，之后连接了空间金字塔池化层与两个全连接层，如图5所示。
图4中，方框内第一行是该层的种类。对于卷积层，余下各行依次为：卷积层卷积核尺寸，以“(卷积核高×卷积核宽)×输入通道数×输出通道数”的格式表示；进行一次卷积的间隔。对于平均池化层，余下各行依次为：池化大小，以“高×宽”的格式表示；执行一次池化的间隔。其中，03表示残差块1；04表示残差块2；05表示残差块3；06表示残差块4；07表示残差块5；08表示残差块6。
图5中，图中方框内第一行是该层的种类。对于平均池化层，余下各行依次为：池化大小，以“高×宽”的格式表示；执行一次池化的间隔。箭头上的文字是相应部件输出的特征图或特征向量的尺寸，特征图以“特征图高×特征图宽×通道数”的格式表示，特征向量以“1×维度”的格式表示。
在具体实施过程中，所述空间金字塔池化用于将最后一个残差块输出的任意尺寸的特征图转换为固定尺寸特征向量，这使网络可以支持任意尺度JPEG图片的输入；按照1×1、2×2、4×4池化尺寸分别进行平均池化，最后将不同的池化结果合并，即得到为1×5376的特征向量。除了可以解决输入图片尺寸不一致的问题外，空间金字塔池化操作从不同的角度提取一个特征图中的信息并聚合，可以提升网络的鲁棒性和对于低有效嵌入载荷隐写图像检测的网络模型精度。
在具体实施过程中，网络在金字塔池化层后使用了两个全连接层，这是因为如果直接使用1个全连接层将特征图整合为2个类别的特征信息，相当于对特征图整体建模，导致具有类别区分性的局部信息表达不充分。为了解决这一问题，通过增加全连接层的层数，来提高模型的非线性表达能力进而提高模型的学习能力。
更具体的，在所述步骤S2中，所述的训练过程包括以下步骤：
S21:准备数据集：将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像，并使用隐写算法对所有载体图像进行隐写生成等量的载密图像；；
S22.初始化卷积神经网络：对于卷积神经网络中预处理部分的卷积层，使用高通滤波器对其卷积核进行初始化，并采用截断线性单元作为激活函数；对于除预处理部分的卷积层以外的其他卷积层均使用msra方式进行初始化；
S23.训练卷积神经网络：使用AdaDelta算法在步骤S21所述的训练集中对卷积神经网络进行训练，通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛；使用测试集测试网络性能；
S24.利用训练好的卷积神经网络对待检测图像进行隐写分析，计算出分类概率向量从而判定待检测图像是否为载密图像。
更具体的，在所述步骤S3中，所述卷积神经网络经过softmax函数处理，输出分类概率向量。
在具体实施过程中，本发明的网络结构中设计了残差通道空间注意力(channel-spatial attention,CSA)模块。其中，通道注意力模块给出不同通道间的权重，然后空间注意力模块给出同一通道不同位置信息相应的权重，最后输出加权后的特征图，该特征图可视作对选择信道信息的一种估计。引入残差通道空间注意力模块可以有效突出对隐写分析有用的残差特征，提高隐写分析信号的信噪比(隐写嵌入信号与图像信号的能量比值)。另外，本发明引入了空间金字塔池化(Spatial Pyramid Pooling，SPP)操作,使得算法可接受任意尺寸JPEG图像的输入。另外，空间金字塔池化操作获得了更多的局部分层特征并从多尺度聚合特征，可以更多地保留图像的特征信息，有效提升了检测准确率。
综上，通过上述一系列措施，本发明解决了上述现有技术的这些缺点：基于特征与基于卷积神经网络的JPEG图像隐写分析算法性能仍有提升空间；SCA-SRNet与SCA-HuangNet使用的选择信道信息在实际应用中无法获得；基于卷积神经网络的JPEG图像隐写分析算法都是针对256×256尺寸的JPEG图像设计的，无法适应多分辨率图像隐写分析检测的需求。
实施例2
更具体的，在实施例1的基础上，整个基于卷积神经网络的JPEG图像隐写分析框架的实现流程如图6所示。图6中，整体流程可分为构建数据集、训练与测试网络、对待检测图像分类三大步骤。
在具体实施过程中，首先构建数据集。本发明在测试算法性能时使用的是BOSSBase与BOWS2两个数据集，各包含10000张大小为512×512的pgm格式灰度图。把BOSSBase按照4000、1000、5000张随机划分为训练集、验证集、测试集的载体图像，BOWS2的全部图像均加入训练集，于是训练集、验证集、测试集的载体图像数目依次为14000、1000、5000。对训练集的14000张载体图像，进行顺时针旋转0°、90°、180°、270°以及水平镜像这些数据增强操作，最终训练集载体图像数目达到14000×4×2＝112000。训练集、验证集、测试集的所有载体图像都使用MATLAB的imresize函数(默认参数)缩放为256×256的大小，再使用imwrite函数分别以质量因子(quality factor，QF)75、95压缩为JPEG图像。最后使用J-UNIWARD隐写算法以固定的负载大小(0.1bpAC-0.5bpAC)对训练集、验证集、测试集的所有载体图像进行隐写，生成等量的载密图像。
在具体实施过程中，接着训练并测试网络。本发明使用PyTorch实现以上网络结构，并使用Adamax算法训练网络，其中Adamax算法的超参数momentum(动量)设为0.95，delta设为1×10-8。第一个卷积层的卷积层采用SRM中的30个高通滤波器初始化，偏置初始化为0。除了第一个卷积层外，所有卷积层卷积核的初始化均采用MSRA初始化方法。除了第一个卷积层和CSA模块中的卷积层外，其余所有卷积都进行批标准化(Batchnormalization,BN)。CSA模块中的卷积层偏置项初始化为0.2。全连接层权重初始化使用均值为0、标准差为0.01的高斯分布，偏置项初始化为0。损失函数取为交叉熵与权重衰减项为5×10-4的L2正则项之和。在每次迭代中，训练集中的16对载体-载密图像对共32张图像组成一批，输入网络中进行训练。首先训练Q75、0.4bpAC的网络，共训练300轮，学习率初始化为0.001，并在训练到第120、220轮时除以10。接下来用训练好的Q75、0.4bpAC网络作为种子网络，使用Q95、0.4bpAC的训练集进行微调训练。对于其他负载的模型，采用同一质量因子下已训练好的网络模型作为种子网络，进行微调训练，该训练策略可用符号表示为0.1←0.2←0.3←0.4→0.5。进行微调训练时，训练150轮，学习率初始化为0.0005，并在训练到第50、100轮时除以10。训练结束后，使用测试集测试网络性能，并以分类准确率的形式表达。用于对比的GFR、XuNet、SRNet、HuangNet均采用相同的数据计划分按照其原来的配置测试其性能。
在具体实施过程中，最后对待检测图像进行分类，如图6所示，将图像输入到CSA-CNN执行前向传播，由CSA-CNN输出分类概率向量，根据分类概率即可判定该图像是否为载密图像。
在具体实施过程中，本发明针对JPEG图像隐写分析定制化设计的卷积神经网络网络结构，主要比对的现有技术为用于JPEG图像隐写分析的HuangNet及其融入选择信道信息的版本SCA-HuangNet。与HuangNet相比，本发明在网络结构的设计中融入了通道与空间注意力机制和空间金字塔池化，可以突出特征图中对隐写分析有效的残差特征，进一步提升了检测性能，并且可以检测任意尺寸的JPEG图片。而HuangNet平等地对待图像中纹理平滑与复杂的区域以及各通道的残差特征，导致对隐写分析有意义的特征不能被有效凸出。同时，HuangNet是针对256×256尺寸的图像设计的，不能满足检测任意尺寸图片的需求。与SCA-HuangNet相比，本发明在未知隐写算法的前提下，利用通道与空间注意力机制，给出一种对修改概率矩阵的估计，并且使用空间金字塔池化，使网络可以检测任意尺寸的JPEG图片。而SCA-HuangNet需要已知修改概率矩阵作为网络的输入，但在实际应用中，由于隐写算法与嵌入率未知，选择信道信息无法获得，不符合实际应用场景。并且SCA-HuangNet也不能满足检测任意尺寸图片的需求。
实施例3
更具体的，在实施例1和实施例2的基础上，与现有技术比较，本发明具有以下优点：分类准确率更高、能对任意尺寸的JPEG图像进行隐写分析检测。
首先，分类准确率更高。如下表所示为本发明以及其他对比算法在不同负载大小下进行JPEG图像隐写分析的分类准确率表现。JPEG图像隐写分析实质还是一个图像分类问题，分率准确率是其最重要的性能指标。本发明在分类准确率这一点无论负载高低都远远领先于其他现有技术。这是由于本发明在网络结构设计中使用了残差通道-空间注意力模块，以突出对隐写分析有意义的残差特征；使用了空间金字塔池化，提取了更多分层特征并从多角度聚合。
其次，能对任意尺寸的JPEG图像进行隐写分析检测。本发明能检测任意尺寸的JPEG图片，避免因图片裁剪或缩放而损失隐写信息，更符合实际应用的需求。而HuangNet和SCA-HuangNet都是针对256×256尺寸的图像设计的，不能满足检测任意尺寸图片的实际需求。这是由于本发明在网络结构中引入了空间金字塔池化，打破了卷积神经网络对输入图片尺寸的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，包括以下步骤：
S1：对待检测JPEG图像进行解压；
S2：构建基于通道空间注意力机制的卷积神经网络并进行训练；
S3：将解压后的待检测JPEG图像输入卷积神经网络中进行分类，计算分类概率向量；
S4：根据分类概率向量判定待检测JPEG图像是否为载密图像，完成JPEG图像隐写分析。
2.根据权利要求1所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，所述步骤S1具体为：
设待检测JPEG图像大小为M×N，图像量化DCT系数矩阵为
其中
是量化DCT系数矩阵的第(m,n)个8×8小块的第(k,l)个元素；图像JPEG解压缩后获得未取整像素值
其中
是第(k,l)个DCT基的第(i,j)个元素,qkl是亮度量化表第(k,l)个元素。
3.根据权利要求1所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，在所述步骤S2中，所述卷积神经网络的第一个卷积层作为残差提取器，提取待处理图像的残差特征图；第二个、第三个卷积层对残差特征图进行特征提取后，由设置在第三个层输出端的CSA模块对提取的特征进行处理，用于突出对隐写分析有用的通道和空间残差特征和防止梯度消失的发生，并将处理得到的特征图进行输出；CSA模块输出的特征图经过1个卷积层和若干个残差块的深度卷积后，连接空间金字塔池化层和两个全连接层；空间金字塔池化层将最后一个残差块输出的任意尺寸的特征图转换成固定尺寸特征向量，两个全连接层将得到的特征图整合为两个类别的特征信息并进行输出。
4.根据权利要求3所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，所述残差提取器采用SRM特征中30个高通滤波器进行初始化，并使用TLU作为激活函数。
5.根据权利要求3所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，在所述卷积神经网络中，所述CSA模块包括直连支路和注意力支路，其中，所述注意力支路包括通道注意力模块和空间注意力模块，用于突出对隐写分析有用的通道和空间残差特征；所述直连支路用于防止梯度消失的发生，最后两个支路通过矩阵相加的方式进行融合，作为所述CSA模块的输出。
6.根据权利要求5所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，所述通道注意力模块的具体结构为：
设给定特征图
其中，H，W，C分别代表特征图的高度、宽度与特征图的通道数；首先，通过全局平均池化操作对输入特征图降维，生成降维后的特征图
其中，x(c)(i，j)代表特征图x第c个通道(i，j)处的值，
代表xavg第c个通道的值,c的取值范围为{1，2，3，...，C}；接着，为了充分捕捉通道间关联以及提升网络的收敛速度，将两个卷积层作用于降维后的特征图xavg，生成通道权重向量
其中，第二个卷积层使用Sigmoid为激活函数，使得每个通道的权重都映射到0和1之间；最后，将输入特征图x与通道权重向量
对应元素相乘，获得加权后的特征图
7.根据权利要求6所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，所述空间注意力模块的具体结构为：
首先，对输入特征图c取通道平均，生成降维后的特征图
其中c(c)代表特征图c第c个通道的值，c的取值范围为{1，2，3，...，C}；接着，将一个卷积层作用于降维后的特征图cavg，并使用Sigmoid函数激活，生成空间权重向量
8.根据权利要求7所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，所述CSA模块采用ReLU函数进行激活。
9.根据权利要求3～8任一项所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，在所述步骤S2中，所述的训练过程包括以下步骤：
S21:准备数据集：将原始图像按设定比例随机划分为训练集、验证集、测试集的载体图像，并使用隐写算法对所有载体图像进行隐写生成等量的载密图像；；
S22.初始化卷积神经网络：对于卷积神经网络中预处理部分的卷积层，使用高通滤波器对其卷积核进行初始化，并采用截断线性单元作为激活函数；对于除预处理部分的卷积层以外的其他卷积层均使用msra方式进行初始化；
S23.训练卷积神经网络：使用AdaDelta算法在步骤S21所述的训练集中对卷积神经网络进行训练，通过验证集对训练中的网络进行验证并通过迭代更新参数直至网络收敛；使用测试集测试网络性能；
S24.利用训练好的卷积神经网络对待检测图像进行隐写分析，计算出分类概率向量从而判定待检测图像是否为载密图像。
10.根据权利要求1所述的一种基于通道空间注意力机制的JPEG图像隐写分析方法，其特征在于，在所述步骤S3中，所述卷积神经网络经过softmax函数处理，输出分类概率向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110251771.8A CN112862655B (zh) | 2021-03-08 | 2021-03-08 | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110251771.8A CN112862655B (zh) | 2021-03-08 | 2021-03-08 | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862655A true CN112862655A (zh) | 2021-05-28 |
| CN112862655B CN112862655B (zh) | 2024-04-05 |
Family
ID=75994816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110251771.8A Active CN112862655B (zh) | 2021-03-08 | 2021-03-08 | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862655B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170240A (zh) * | 2021-11-12 | 2022-03-11 | 杭州电子科技大学 | 一种基于加权系数残差的jpeg图像负载定位方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109817233A (zh) * | 2019-01-25 | 2019-05-28 | 清华大学 | 基于层次注意力网络模型的语音流隐写分析方法及系统 |
| CN109934761A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 基于卷积神经网络的jpeg图像隐写分析方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
| CN114119334A (zh) * | 2021-12-06 | 2022-03-01 | 广州大学 | 基于注意力机制的自动学习嵌入代价的图像隐写方法 |
-
2021
- 2021-03-08 CN CN202110251771.8A patent/CN112862655B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109817233A (zh) * | 2019-01-25 | 2019-05-28 | 清华大学 | 基于层次注意力网络模型的语音流隐写分析方法及系统 |
| CN109934761A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 基于卷积神经网络的jpeg图像隐写分析方法 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及系统 |
| CN114119334A (zh) * | 2021-12-06 | 2022-03-01 | 广州大学 | 基于注意力机制的自动学习嵌入代价的图像隐写方法 |
Non-Patent Citations (1)
| Title |
|---|
| 付章杰;王帆;孙星明;王彦;: "基于深度学习的图像隐写方法研究", 计算机学报, no. 09, pages 70 - 86 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170240A (zh) * | 2021-11-12 | 2022-03-11 | 杭州电子科技大学 | 一种基于加权系数残差的jpeg图像负载定位方法 |
| CN114170240B (zh) * | 2021-11-12 | 2024-02-27 | 杭州电子科技大学 | 一种基于加权系数残差的jpeg图像负载定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862655B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113962893B (zh) | 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法 | |
| CN109934761B (zh) | 基于卷积神经网络的jpeg图像隐写分析方法 | |
| CN110348487B (zh) | 一种基于深度学习的高光谱图像压缩方法及装置 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
| Pi et al. | A fast and effective model for wavelet subband histograms and its application in texture image retrieval | |
| CN113269224B (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN107679572A (zh) | 一种图像判别方法、存储设备及移动终端 | |
| Fu et al. | Detecting GAN-generated face images via hybrid texture and sensor noise based features | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN114882368A (zh) | 非平衡高光谱图像分类方法 | |
| CN112862655B (zh) | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 | |
| CN112508786B (zh) | 面向卫星图像的任意尺度超分辨率重建方法及系统 | |
| Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
| CN115760670B (zh) | 基于网络隐式先验的无监督高光谱融合方法及装置 | |
| CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
| CN116309221A (zh) | 一种多光谱图像融合模型的构建方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| Jia et al. | Learning rich information for quad bayer remosaicing and denoising | |
| CN112464733A (zh) | 基于双向特征融合的高分辨率光学遥感图像地物分类方法 | |
| CN111223044A (zh) | 基于密集连接网络的全色图像与多光谱图像融合的方法 | |
| CN113538199B (zh) | 一种基于多层感知卷积和通道加权的图像隐写检测方法 | |
| CN111899161A (zh) | 一种超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |