CN113099066A - 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 - Google Patents
基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 Download PDFInfo
- Publication number
- CN113099066A CN113099066A CN201911333509.7A CN201911333509A CN113099066A CN 113099066 A CN113099066 A CN 113099066A CN 201911333509 A CN201911333509 A CN 201911333509A CN 113099066 A CN113099066 A CN 113099066A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- secret
- steganographic
- steganography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
- H04N1/32272—Encryption or ciphering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/44—Secrecy systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度融合空洞卷积残差网络的大容量图像隐写方法，利用改进的ResNet作为骨干网，去掉了ResNet中的所有池化层，在残差模块的残差连接中引入空洞卷积，并采用了多尺度融合的结构。同时为了提高隐写的安全性，隐写网络采用了隐写分析网络进行对抗训练。训练隐写网络和显现网络时均采用了基于卡方距离的损失函数设计，从而能够以良好的透明性在图像中隐写图像，并以较高的保真度从含密图像中提取出秘密图像，同时又有较高的安全性，不易被隐写分析工具检测到。
Description
技术领域
本发明属于信息安全中的信息隐藏技术领域，具体涉及图像隐写。
背景技术
信息隐藏技术在信息安全保障体系的诸多方面发挥着重要作用，应用领域包括数据保密通信、身份认证、数字作品的版权保护与盗版追踪、数字作品完整性与真实性鉴定、内容恢复等。随着Internet和移动互联网的快速发展和普及应用，多媒体信息的交流已达到前所未有的广度和深度，其发布形式也愈加丰富。人们可以通过博客、微信公众号、朋友圈、QQ空间和其他各种网络平台发布自己的数字作品(包括音频、视频、动画、图像等)、传递重要信息和进行网络贸易等。但随之出现的问题也日益突出，如作品侵权更加容易、作品篡改也更加方便。人们可以通过网络轻而易举地得到他人的原始作品，尤其是数字化的图像、音乐、电影等，盗用者不仅可以非法获得这些作品，而且可以进行复制、修改、生产和再传输等，这些不法行为严重侵害了作者的著作权，给版权所有者带来巨大的经济损失，危害社会精神文明的良性循环。因此，如何充分利用Internet的便利，又能有效地保护知识产权，已受到人们的高度重视。在这样的背景下，信息隐藏技术再次引起了人们的关注，多媒体的版权保护和安全问题则给它注入了新的生机与活力，由其发展和演变而来的数字水印技术也成为了当今学术界研究的前沿方向和热点。信息隐藏是将秘密信息以不可见的方式隐藏在一个宿主信号中，并在需要的时候将秘密信息提取出来，以达到隐蔽通信和版权保护等目的。图像隐写将秘密信息隐藏到图像中，该图像可以公开传送，通过约定的算法又可以将秘密信息从含密图像中提取出来，除了发送方和接收方，其他人员无从得知该图像所包含的隐藏信息。1996年5月30日，在英国剑桥牛顿研究所召开了第一届国际图像隐写学术研讨会，图像隐写学科逐渐独立出来；此后出现了一系列成功的隐写方法和隐写工具，最直接的隐写算法是利用图像的最低有效位(LSB)进行图像隐写，然而这类算法易被攻击和检测。为了克服LSB易被攻击的缺点，研究者们提出了变换域信息隐写，常用的变换域隐写技术将秘密信息写入离散余弦变换(DCT，Discrete Cosine Transform)域，离散小波变换域(DWT，Discrete Wavelet Transform)，或离散傅立叶变换域(DFT，Discrete FourierTransform)。为了进一步提高隐写算法的安全性和隐蔽性，研究者们又提出了HUGO、S-UNIWARD、WOW等内容自适应隐写术，使包含秘密信息的含密图像不易被隐写分析算法检测到。
随着深度学习技术的广泛应用，很多研究者使用CNN(Convolutional NeuralNetworks)和GAN(Generative Adversarial Networks)来进行图像隐写，Volkhonskiy在DCGAN的基础上提出了SGAN，在经典GAN的基础上加了一个由CNN实现的判别器网络S对输入给S的图像进行隐写分析，但是在生成含密图像时会出现变形；Haichao Shi等基于WGAN，结合了GNCNN提出了一种名为SSGAN的模型用于隐写术，SSGAN生成的图像用HUGO隐写后更难于检测提出了用于隐写术的GAN，以便为隐写术生成更合适和安全的封面。Hayes和Danezis直接用GAN框架嵌入隐写信息并提取之，可以在32×32大小的图像中隐写100～400位二进制位，取得了优于HUGO,WOW和S-UNIWARD的性能。RuZhang提出了ISGAN，更好地拟合人类视觉系统，引入结构相似性指数(SSIM)及其变体来构建混合损失函数，以生成更逼真的含密图像并更好地还原出秘密图像。Rehman等基于CNN用编码器解码器结构将灰度图像隐藏到相同大小的彩色图像中，取得了高达8bpp的嵌入率，然而用该模型生成的含密图像有明显的色彩失真，隐蔽性不理想。StegNet可以将64×64大小的彩色图像隐藏到相同大小的彩色图像中，进一步将嵌入率提高到了24bpp,然而StegNet生成的含密图像也有严重的色彩失真，容易被觉察而安全性不够。Google公司的Baluja提出的基于深度学习的隐写框架由三个网络组成：准备网络对秘密图像进行预处理，隐藏网络实现隐写，显现网络从含密图像中提取出隐藏的秘密图像，该模型同样可在彩图中隐写彩图，嵌入率最高可以达到24bpp。Duan等用UNet实现在彩色图像中隐藏另一幅彩色图像并从含密图像中提取出秘密图像，展示出比较理想的效果。上述基于深度学习框架的图像隐写模型，其载体图像大小最大为Baluja的300×300，多数为256×256甚至更小，能在其中隐藏的图像则更小，而且在应对隐写检测的安全性方面未加考虑，只有ISGAN提到使用对抗训练增加安全性，但仍未对其模型的安全性加以分析和测试。
发明内容
本发明设计了一种基于多尺度融合空洞卷积残差网络的大容量图像隐写方法，具体包括如下步骤：
(1)获取足够数量的样本图像，并对样本图像进行归一化处理，以512×512大小的输入图像为例，如果样本图像大于该尺寸，则进行随机裁剪得到，如果样本图像大小比该尺寸小，则进行等比例放大后再裁剪得到；将样本图像一半用作封面，一半用作秘密图像；
(2)对所述的基于多尺度融合空洞卷积残差网络的图像隐写模型进行联合训练。
所构造的隐写网络模型由两部分构成，执行密写的隐写网络和从含密图提取秘密信息的显现网络。隐写网络采用生成对抗网络结构，包含一个编码器和一个判别器，引入隐写分析网络作为判别器，编码器与判别器进行生成对抗训练，以提高所生成的含密图像的抗隐写分析能力，编码器接受的输入是封面图像与秘密图像在通道上的连接，输出为含密图像。编码器试图将秘密图像隐藏到封面图像中并生成含密图像，判别器努力对输入图像是否包含密写图像进行正确分类，而编码器则努力让含密图像不被隐写分析网络检测到，两者互相博弈，又彼此促进。显现网络实际上就是解码器，以含密图像作为输入，从含密图像中还原出隐藏的秘密图像。训练的目的是让隐写网络生成的含密图像视觉上与封面图像非常接近并且不易被隐写分析器检测到，同时使显现网络还原的秘密图像与原始的秘密图像尽可能一致。在彩色图像中隐藏彩色图像，隐写网络的输入为6通道，即封面彩色图像与秘密彩色图像的连接，输出为3通道的含密图像，显现网络的输入和输出均为3通道；在彩色图像中隐藏灰度图像，隐写网络的输入为4通道，即封面彩色图像的RGB三个通道与秘密灰度图像的连接，输出为3通道的含密图像，显现网络的输出为单通道，输入仍为3通道；在灰度图像中隐藏灰度图像，隐写网络的输入为2通道，即封面灰度图像与秘密灰度图像的连接，输出为单通道的含密图像，显现网络的输入和输出均为单通道。
编码器和解码器网络都采用了改进的ResNet作为骨干网，ResNet的残差连接可以在训练时加速收敛。改进的ResNet去掉了ResNet中的所有池化层，在残差模块的残差连接(Skip Connection)中引入空洞卷积(Dilated/Atrous Convolution)，并从网络的不同深度引出不同尺度的特征图进行多尺度融合以同时保留全局特征和局部细节特征。采用的ResNet包含12个残差模块，输入首先经过卷积层处理后进入由12个残差模块串接的深度网络，每个残差模块由2个卷积层构成，每个卷积层后由批量归一化(Batch Normalization)和激活层修正线性单元(ReLU)修正，所有残差模块均没有池化层；第9个和第10个残差模块采用系数为3的空洞卷积，第8个和第11个残差模块采用系数为2的空洞卷积，其他残差模块的残差连接采用普通的卷积层处理；网络的第3个和第6个残差模块后对特征图进行了系数为2的下采样以得到不同尺度的特征，并把第5个、第9个和最后一个残差模块的输出引出，用反卷积进行放大因子分别为2、4和4的上采样，使从3个分支引出的特征图与输入图像大小一致后进行通道连接实现多尺度融合，连接后的特征图再经过一个卷积层得到含密图像(隐写网络)或秘密图像(显现网络)。
编码器和解码器网络的损失函数结合了卡方距离和均方误差进行设计，卡方距离反映了两图像的像素值的分布特征差异，均方误差则反映了两图像的像素值的全局统计差异，两者结合训练网络可以使生成的含密图像有好的透明性，提取的秘密图像有较理想的保真度。
隐写网络的编码器损失由三部分组成：编码器生成的含密图像与封面图像之间的差异构成的损失，来自显现网络的损失及来自判别器的损失。含密图像与封面图像之间的差异基于两者间的卡方距离和均方误差计算得到；显现网络的损失由提取的秘密图像和原始秘密图像之间的卡方距离和均方误差计算得到；判别器的损失则根据判别结果和实际标签计算交叉熵损失得到。判别器的损失对于编码器损失的贡献是负加成的，即判别器的损失越大，则编码器损失就越小，从而实现对抗训练。
(3)训练完成后，保存编码器和解码器的网络参数，隐写网络的判别器仅用于协助训练，训练完成后不再需要。
(4)执行图像隐写，将封面图像和秘密图像输入到编码器，编码器的输出便是含密图像；
(5)提取秘密图像，将含密图像输入到解码器，解码器的输出便是提取到秘密图像。
本发明将多尺度融合的空洞卷积残差网络与卡方距离损失及生成对抗训练相结合，能够在图像中以大容量隐写图像，生成的含密图像有非常高的保真度，不仅视觉上难以觉察到含密图像有任何形式的畸变，而且不易被隐写检测工具检测到，有较高的安全性，另一方面，隐藏的秘密图像也能被精确地从含密图像中还原出来。
附图说明
图1为根据本发明一实施例的大容量图像隐写方法的流程图；
图2为根据本发明一实施例的图像隐写模型的总体结构；
图3为根据本发明一实施例的编码器和解码器的具体网络结构。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明，该方法一实施例的流程如图1所示。本发明基于多尺度融合空洞卷积残差网络的大容量图像隐写方法，包括如下步骤：
(1)步骤100获取足够数量的样本图像，图像可以从网络下载，也可以自行拍摄；
(2)步骤101对样本图像进行归一化处理，以512×512大小的输入图像为例，如果样本图像大于该尺寸，则进行随机裁剪得到，如果样本图像大小比该尺寸小，则进行等比例放大后再裁剪得到；
(3)步骤102将样本图像随机等分为两部分，其中一半用作封面，一半用作秘密图像；
(4)步骤103对隐写网络与显现网络进行联合训练，所构造的端到端的隐写模型如图2所示，隐写网络包含一个编码器(203)和一个判别器(204)，编码器接受的输入是封面图像(200)与秘密图像(201)在通道上的连接，输出为含密图像(205)。编码器试图将秘密图像隐藏到封面图像中并生成含密图像，判别器事实上是一个隐写分析网络，与编码器进行对抗训练，判别器力图对输入的图像是否包含秘密信息进行正确分类，而编码器则力图让含密图像难以被判别器正确分类，两者互相博弈，又彼此促进。显现网络实际上就是解码器(206)，以含密图像(205)作为输入，力图从含密图像中还原出隐藏的秘密图像(207)。训练的目的是让隐写网络生成的含密图像(205)视觉上与封面图像(200)非常接近并且不易被隐写分析器检测到，同时使显现网络还原的秘密图像(207)与原始的秘密图像(201)尽可能接近。
(5)当网络损失不再明显减小，则网络收敛，训练结束；
(6)步骤104使用隐写网络的编码器可将秘密图像隐藏在封面中生成含密图像；
(7)步骤105使用使用显现网络从含密图像中提取出隐藏的秘密图像。
上述编码器和解码器网络都采用了如图3所示的结构。编码器和解码器网络均以残差网络ResNet50作为骨干网构建，包含12个残差模块(301)，输入首先经过卷积层(300)处理后进入由12个残差模块串接的深度网络，每个残差模块由2个卷积层构成，每个卷积层后由批量归一化(Batch Normalization)和激活层修正线性单元(ReLU)修正，所有残差模块均没有池化层(302)；残差模块的残差连接(Skip Connection)采用空洞卷积(Dilated/Atrous Convolution)进行处理(303)，第9个(304)和第10个(305)残差模块采用系数为3的空洞卷积，第8个(306)和第11个(307)残差模块采用系数为2的空洞卷积，其他残差模块的残差连接系数为1即普通卷积层处理。编码器和解码器网络采用多尺度融合的策略，网络的第3个和第6个残差模块后对特征图进行系数为2的下采样(308)以得到不同尺度的特征，并把第5个、第9个和最后一个残差模块的输出引出，用反卷积进行放大因子分别为2(309)、4(310)和4(311)的上采样，使从3个分支引出的特征图与输入图像大小一致后进行通道连接(312)实现多尺度融合，连接后的特征图再经过一个卷积层(313)得到含密图像(隐写网络)或秘密图像(显现网络)。编码器和解码器之间的区别仅在于两者输入和输出的通道数不同，在彩色图像中隐藏彩色图像，隐写网络的输入为6通道，即封面彩色图像与秘密彩色图像的连接，输出为3通道的含密图像，显现网络的输入和输出均为3通道；在彩色图像中隐藏灰度图像，隐写网络的输入为4通道，即封面彩色图像的RGB三个通道与秘密灰度图像的连接，输出为3通道的含密图像，显现网络的输出为单通道，输入仍为3通道；在灰度图像中隐藏灰度图像，隐写网络的输入为2通道，即封面灰度图像与秘密灰度图像的连接，输出为单通道的含密图像，显现网络的输入和输出均为单通道。
表1隐写网络的判别器网络结构
隐写网络的判别器结构如表1所示。该网络输入为3通道或单通道，当封面为彩色图像时输入3通道的封面或含密图像，当封面为灰度图像时输入单通道的封面或含密图像，前5个卷积层和其后的空域金字塔池化层对输入大小变化具有适应性，即不同大小的输入图像可形成固定大小(1×2688)的特征图输入至后2个全连接层。
隐写网络的编码器与判别器进行生成对抗训练，以提高所生成的含密图像的抗隐写分析能力，假如用G表示生成网络即编码器，用D表示判别器，x表示原始图像，在其域上服从概率分布p(x),s表示待隐藏信息在其域上服从概率分布p’(s)，D(*)表示判别网络的输出，取值范围为0～1，G(x,s)为生成网络的输出即含密图像，D和G如下式(1)进行最大最小化对抗训练：
minGmaxD{E[log D(x)+E[log(1-D(G(x,s)))]} (1)
其中E表示数学期望。为了提高编码器G的安全性，在训练的同时由D进行隐写分析，隐写的可检测性可以用如式(3)的Jensen-Shannon(JS)分歧来描述，
其中p和q分别是输入原图和生成图的概率分布，GAN的模型设计目标是降低这种分歧，从而使隐写不易被检测，提高隐写模型的安全性；因此在隐写网络训练时，在优化判别器D时以式(4)所示损失函数优化其网络参数：
其中x为D的输入，即封面或含密图像，y为类别标签，当D的输入为原始封面图像时y为1，为含密图像时为0，D(x)为D的输出，介于0～1之间，其值越大表明该图像越有可能不含密写信息。
隐写网络的编码器损失由三部分组成，编码器生成的含密图像与封面图像之间的差异构成的损失，来自显现网络解码器的损失及来自隐写网络判别器的损失。本发明基于卡方距离设计编码器和解码器的损失。假如c,c’,s,s’分别指封面图像、含密图像、原始秘密图像及提取的秘密图像，编码器基于c,c’计算的损失为：
Len(c,c')＝║c-c'║+βCSD(c,c') (5)
其中β是超参数，用于控制公式中各项损失的权重，║A-B║指计算图像A,B之间的均方误差，CSD(A,B)指计算图像A,B之间的卡方距离，计算公式如下：
其中n是直方图柱数，对图像的像素值而言，通常落在0～255之间，如果是[0，1]区间也可以乘255转换到[0,255]，因此可以分为n＝256个柱，每个柱统计对应像素值的像素个数，Ai即图像A的第i个柱的值，e是一个较小的正数，用于避免分母为0产生计算异常。卡方距离CSD可以衡量两图像之间像素分布的差异，因此也可用于输出为图像的深度学习网络的损失函数计算。
解码器基于s,s’计算的损失为：
Lde(s,s')＝║s-s'║+βCSD(s,s') (7)
隐写网络的编码器总体损失如下：
LG＝Len(c,c')+αLde(s,s')-μLd(x,y) (8)
其中α,μ为正的超参数。对式(4)所示的Ld(x,y)，因为编码器输出为含密图像c'，其y标签值为零，所以Ld(x,y)为
将其与式(5)(7)代入式(8)得：
其中γ＝αβ。在模型训练过程中，式(9)所述的损失函数LG在编码器中反向传播，式(7)所述的Lde(s,s')在解码器网络中反向传播，式(4)所述的Ld(x,y)在隐写网络的判别器中反向传播，均采用Adam算法优化。
彩色图像隐藏彩色图像和灰度图像，或灰度图像隐藏灰度图像时的网络结构略有差异，所以训练时应形成三套数据集来分别训练三个不同的系统，分别用于彩色图像隐藏彩色图像和灰度图像，或灰度图像隐藏灰度图像；以下给出了6种不同的具体实施方式：
实施例1
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化512×512大小，归一化的方法如下：对于短边大于512的图像，直接进行随机裁剪得到，对于短边小于512的图像，先将图像等比例放大至短边为512，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将每一对图像在通道方向进行连接，形成6通道的数据输入到隐写网络的编码器，将用作封面的图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器和解码器的输出均为3通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于512×512大小的彩色图像中隐写512×512大小的彩色秘密图像，方法如下：将封面图像截取512×512大小的中心区域，与秘密彩色图像进行通道连接后输入编码器，将编码器的输出替换封面图像512×512大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取512×512大小的中心区域作为解码器的输入，解码器的输出即为提取的512×512大小的彩色秘密图像。
实施例2
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化256×256大小，归一化的方法如下：对于短边大于256的图像，直接进行随机裁剪得到，对于短边小于256的图像，先将图像等比例放大至短边为256，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将每一对图像在通道方向进行连接，形成6通道的数据输入到隐写网络的编码器，将用作封面的图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器和解码器的输出均为3通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于256×256大小的彩色图像中隐写256×256大小的彩色秘密图像，方法如下：将封面图像截取256×256大小的中心区域，与秘密彩色图像进行通道连接后输入编码器，将编码器的输出替换封面图像256×256大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取256×256大小的中心区域作为解码器的输入，解码器的输出即为提取的256×256大小的彩色秘密图像。
实施例3
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化512×512大小，归一化的方法如下：对于短边大于512的图像，直接进行随机裁剪得到，对于短边小于512的图像，先将图像等比例放大至短边为512，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将秘密图像转换成灰度图，然后将封面图像与灰度秘密图像在通道方向进行连接，形成4通道的数据输入到隐写网络的编码器，将用作封面图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器输出为3通道和解码器的输出为单通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于512×512大小的彩色图像中隐写512×512大小的灰度秘密图像，方法如下：将封面图像截取512×512大小的中心区域与秘密灰度图像进行通道连接后输入编码器，将编码器的输出替换封面图像512×512大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取512×512大小的中心区域作为解码器的输入，解码器的输出即为提取的512×512大小的灰度秘密图像。
实施例4
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化256×256大小，归一化的方法如下：对于短边大于256的图像，直接进行随机裁剪得到，对于短边小于256的图像，先将图像等比例放大至短边为256，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将秘密图像转换成灰度图，然后将封面图像与灰度秘密图像在通道方向进行连接，形成4通道的数据输入到隐写网络的编码器，将封面图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器输出为3通道和解码器的输出为单通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于256×256大小的彩色图像中隐写256×256大小的灰度秘密图像，方法如下：将封面图像截取256×256大小的中心区域与秘密灰度图像进行通道连接后输入编码器，将编码器的输出替换封面图像256×256大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取256×256大小的中心区域作为解码器的输入，解码器的输出即为提取的256×256大小的灰度秘密图像。
实施例5
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化512×512大小，归一化的方法如下：对于短边大于512的图像，直接进行随机裁剪得到，对于短边小于512的图像，先将图像等比例放大至短边为512，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将所有图像转换成灰度图，然后将封面图像与灰度秘密图像在通道方向进行连接，形成2通道的数据输入到隐写网络的编码器，将用作封面图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器和解码器的输出均为单通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于512×512大小的灰度图像中隐写512×512大小的灰度秘密图像，方法如下：将封面图像截取512×512大小的中心区域与秘密灰度图像进行通道连接后输入编码器，将编码器的输出替换封面图像512×512大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取512×512大小的中心区域作为解码器的输入，解码器的输出即为提取的512×512大小的灰度秘密图像。
实施例6
(1)准备训练数据。
准备足够数量的训练样本(训练集数据可自己采集创建或从互连网下载一些已公开的图像数据集，如ImageNet,Pascal VOC2012和LFW等)，并对训练样本平分为两个部分，一部分作为封面，一部分作为含密图像，将所有图像归一化256×256大小，归一化的方法如下：对于短边大于256的图像，直接进行随机裁剪得到，对于短边小于256的图像，先将图像等比例放大至短边为256，再进行随机裁剪得到。
(2)联合训练隐写网络和显现网络
将准备好的训练数据两两配对，将所有图像转换成灰度图，然后将封面图像与灰度秘密图像在通道方向进行连接，形成2通道的数据输入到隐写网络的编码器，将封面图像和编码器的输出作为隐写网络判别器的输入，同时将编码器的输出作为显现网络即解码器的输入。此时编码器和解码器的输出均为单通道。以式(9)、式(7)和式(4)描述的损失函数分别作为编码器、解码器及判别器网络的损失对整个网络进行联合训练，直至网络收敛。
(3)用编码器实施图像隐写
将上一步训练完成的网络及参数保存，单独用编码器网络进行图像隐写，该方案可以在大于或等于256×256大小的灰度图像中隐写256×256大小的灰度秘密图像，方法如下：将封面图像截取256×256大小的中心区域与秘密灰度图像进行通道连接后输入编码器，将编码器的输出替换封面图像256×256大小的中心区域得到最终的含密图像。
(4)用解码器提取秘密图像
从含密图像中截取256×256大小的中心区域作为解码器的输入，解码器的输出即为提取的256×256大小的灰度秘密图像。
本公开揭示的基于多尺度融合空洞卷积残差网络的大容量图像隐写方法可以在彩色图像中隐藏尺寸小于或等于该图像的彩色或灰度图像，或在灰度图像中隐藏灰度图像，并以较高的保真度从含密图像中提取出隐藏的秘密图像。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (10)
1.一种基于多尺度融合空洞卷积残差网络的大容量图像隐写方法，包括如下步骤：
1)获取足够数量的样本图像，并将样本图像分为两组，一组用作封面图像，另一组用作待隐藏的秘密图像，秘密图像尺寸最大为512×512；
2)对所述多尺度融合空洞卷积残差网络进行联合训练，该网络包括用于将秘密图像隐写到封面图像中的隐写网络，以及用于从含密图像中提取秘密图像的显现网络；
3)训练完成后，将封面图像和秘密图像输入到隐写网络以生成含密图像，该含密图像外观与封面图像在视觉上没有差异；
4)利用训练得到的显现网络，从含密图像中提取出隐藏的秘密图像，所提取的秘密图像与原始秘密图像一致。
2.根据权利要求1所述的大容量图像隐写方法，其特征在于：彩色图像通过所述大容量图像隐写方法被隐藏在彩色图像中，其中隐写网络的输入为6通道，即封面彩色图像与秘密彩色图像的连接，输出为3通道的含密图像，显现网络的输入和输出均为3通道。
3.根据权利要求1所述的大容量图像隐写方法，其特征在于：灰度图像通过所述大容量图像隐写方法被隐藏在彩色图像中，其中隐写网络的输入为4通道，即封面彩色图像的RGB三个通道与秘密灰度图像的连接，输出为3通道的含密图像，显现网络的输出为单通道，输入仍为3通道。
4.根据权利要求1所述的大容量图像隐写方法，其特征在于：灰度图像通过所述大容量图像隐写方法被隐藏在灰度图像中，其中隐写网络的输入为2通道，即封面灰度图像与秘密灰度图像的连接，输出为单通道的含密图像，显现网络的输入和输出均为单通道。
5.根据权利要求1所述的大容量图像隐写方法，其特征在于：隐写网络和显现网络均以残差网络ResNet50作为骨干网构建，包含12个残差模块，输入首先经过卷积层处理后进入由12个残差模块串接的深度网络，每个残差模块由2个卷积层构成，每个卷积层后由批量归一化(Batch Normalization)和激活层修正线性单元(ReLU) 修正，所有残差模块均没有池化层。
6.根据权利要求5所述的大容量图像隐写方法，其特征在于：残差模块的残差连接(Skip Connection)采用空洞卷积(Dilated/Atrous Convolution)进行处理，第9个和第10个残差模块采用系数为3的空洞卷积，第8个和第11个残差模块采用系数为2的空洞卷积，其他残差模块的残差连接采用普通的卷积层处理。
7.据权利要求3所述的大容量图像隐写方法，其特征在于：所述隐写网络和显现网络采用多尺度融合的策略，网络的第3个和第6个残差模块后对特征图进行系数为2的下采样以得到不同尺度的特征，并把第5个、第9个和最后一个残差模块的输出引出，用反卷积进行放大因子分别为2、4和4的上采样，使从3个分支引出的特征图与输入图像大小一致后进行通道连接实现多尺度融合，连接后的特征图再经过一个卷积层得到含密图像（隐写网络）或秘密图像（显现网络）。
8.根据权利要求1所述的大容量图像隐写方法，其特征在于：所述隐写网络采用生成对抗网络结构，即使用隐写分析网络作为判别器进行生成对抗训练，以提高所生成的含密图像的抗隐写分析能力。
9.根据权利要求8所述的大容量图像隐写方法，其特征在于：所述隐写分析网络采用空域XuNet结构以通过训练该部分网络来对输入图像是否含密进行正确分类，判别器的损失为隐写分析分类误差计算的二元交叉熵损失。
10.根据权利要求1所述的大容量图像隐写方法，其特征在于，对所述多尺度融合空洞卷积残差网络进行联合训练进一步包括：在训练过程中，用Adam算法对网络参数进行优化；显现网络的回归损失不仅在显现网络中反向传播，还在隐写网络中反向传播；隐写网络的回归损失即含密图像与封面图像的差异仅在隐写网络中反向传播；同时判别器的损失也是隐写网络损失的组成部分，其对隐写网络损失的贡献是负加成的，即隐写网络的优化使生成的含密图像能加大判别器的判别误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911333509.7A CN113099066B (zh) | 2019-12-23 | 2019-12-23 | 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911333509.7A CN113099066B (zh) | 2019-12-23 | 2019-12-23 | 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113099066A true CN113099066A (zh) | 2021-07-09 |
| CN113099066B CN113099066B (zh) | 2022-09-30 |
Family
ID=76663815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911333509.7A Expired - Fee Related CN113099066B (zh) | 2019-12-23 | 2019-12-23 | 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113099066B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992810A (zh) * | 2021-10-21 | 2022-01-28 | 浙江工商大学 | 一种基于深度学习的敏捷图像加密方法 |
| CN114257697A (zh) * | 2021-12-21 | 2022-03-29 | 四川大学 | 一种高容量通用图像信息隐藏方法 |
| CN116664599A (zh) * | 2023-06-01 | 2023-08-29 | 云南大学 | 基于隐写区域预测的图像隐写分析方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| US20180068429A1 (en) * | 2015-04-15 | 2018-03-08 | Institute Of Automation Chinese Academy Of Sciences | Image Steganalysis Based on Deep Learning |
| CN109587372A (zh) * | 2018-12-11 | 2019-04-05 | 北京邮电大学 | 一种基于生成对抗网络的不可见图像隐写术 |
| CN109934761A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 基于卷积神经网络的jpeg图像隐写分析方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| US20190287204A1 (en) * | 2018-03-15 | 2019-09-19 | Tata Consultancy Services Limited | Neural network based insertion of watermark into images and tampering detection thereof |
| CN110312138A (zh) * | 2019-01-04 | 2019-10-08 | 北京大学 | 一种基于时序残差卷积建模的高嵌入容量视频隐写方法和系统 |
| CN110490205A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 基于全残差空洞卷积神经网络的道路场景语义分割方法 |
| CN110543884A (zh) * | 2018-05-29 | 2019-12-06 | 国际关系学院 | 一种基于图像的网络攻击组织溯源方法 |
-
2019
- 2019-12-23 CN CN201911333509.7A patent/CN113099066B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068429A1 (en) * | 2015-04-15 | 2018-03-08 | Institute Of Automation Chinese Academy Of Sciences | Image Steganalysis Based on Deep Learning |
| CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| US20190287204A1 (en) * | 2018-03-15 | 2019-09-19 | Tata Consultancy Services Limited | Neural network based insertion of watermark into images and tampering detection thereof |
| CN110543884A (zh) * | 2018-05-29 | 2019-12-06 | 国际关系学院 | 一种基于图像的网络攻击组织溯源方法 |
| CN109587372A (zh) * | 2018-12-11 | 2019-04-05 | 北京邮电大学 | 一种基于生成对抗网络的不可见图像隐写术 |
| CN110312138A (zh) * | 2019-01-04 | 2019-10-08 | 北京大学 | 一种基于时序残差卷积建模的高嵌入容量视频隐写方法和系统 |
| CN109934761A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 基于卷积神经网络的jpeg图像隐写分析方法 |
| CN110490205A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 基于全残差空洞卷积神经网络的道路场景语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曲长波: "空洞卷积的多尺度语义分割网络", 《计算机工程与应用》 * |
| 高培贤: "针对图像隐写分析的卷积神经网络结构设计", 《中国科技论文》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992810A (zh) * | 2021-10-21 | 2022-01-28 | 浙江工商大学 | 一种基于深度学习的敏捷图像加密方法 |
| CN113992810B (zh) * | 2021-10-21 | 2023-06-27 | 浙江工商大学 | 一种基于深度学习的敏捷图像加密方法 |
| CN114257697A (zh) * | 2021-12-21 | 2022-03-29 | 四川大学 | 一种高容量通用图像信息隐藏方法 |
| CN116664599A (zh) * | 2023-06-01 | 2023-08-29 | 云南大学 | 基于隐写区域预测的图像隐写分析方法 |
| CN116664599B (zh) * | 2023-06-01 | 2024-06-11 | 云南大学 | 基于隐写区域预测的图像隐写分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113099066B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Concealed attack for robust watermarking based on generative model and perceptual loss | |
| CN113099066B (zh) | 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 | |
| Ernawan et al. | An improved image watermarking by modifying selected DWT-DCT coefficients | |
| CN104599225A (zh) | 基于奇异值分解和主成分分析的图像水印嵌入与提取方法 | |
| CN104361548A (zh) | 基于bp神经网络数字图像压缩的图像水印嵌入与提取方法 | |
| CN105205778B (zh) | 基于rbf神经网络的图像水印嵌入、提取方法与装置 | |
| CN111292221A (zh) | 一种安全鲁棒的大容量图像隐写方法 | |
| CN115131188A (zh) | 一种基于生成对抗网络的鲁棒图像水印方法 | |
| Wang et al. | HidingGAN: High capacity information hiding with generative adversarial network | |
| Ying et al. | From image to imuge: Immunized image generation | |
| Lu et al. | Steganalysis of content-adaptive steganography based on massive datasets pre-classification and feature selection | |
| CN106454367A (zh) | 一种多媒体文件的标识方法及系统 | |
| CN105898324A (zh) | 视频水印隐藏插入方法及装置 | |
| Yang et al. | ACGIS: Adversarial cover generator for image steganography with noise residuals features-preserving | |
| CN107346528A (zh) | 一种基于双图可逆脆弱水印的图像篡改检测方法 | |
| Heidari et al. | A hybrid DCT-SVD based image watermarking algorithm | |
| CN114255151A (zh) | 一种基于关键点检测和深度学习的高分辨率图像鲁棒数字水印方法 | |
| CN106600516A (zh) | 基于数字指纹的图像嵌入方法 | |
| CN116258867A (zh) | 一种基于关键区域低感知性扰动的对抗样本生成方法 | |
| CN115272039A (zh) | 一种基于gan的水印攻击方法及系统、数字水印嵌入方法 | |
| Fofanah et al. | Watermarking of frequency and steganography for protection of medical images based on bacterial foraging optimization and genetic algorithm | |
| Li et al. | Image Steganography in Color Conversion | |
| Hashemi et al. | Color Image steganography using Deep convolutional Autoencoders based on ResNet architecture | |
| CN117474903B (zh) | 一种图像侵权检测方法、装置、设备及可读存储介质 | |
| CN113034335B (zh) | 水印嵌入方法、系统及含水印图像的水印提取方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220930 |