CN117078517A - 基于可逆神经网络的图像超分辨率隐写方法 - Google Patents
基于可逆神经网络的图像超分辨率隐写方法 Download PDFInfo
- Publication number
- CN117078517A CN117078517A CN202311076746.6A CN202311076746A CN117078517A CN 117078517 A CN117078517 A CN 117078517A CN 202311076746 A CN202311076746 A CN 202311076746A CN 117078517 A CN117078517 A CN 117078517A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- secret
- reversible
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002441 reversible effect Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000009826 distribution Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000011084 recovery Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 32
- 239000010410 layer Substances 0.000 claims description 29
- 230000008878 coupling Effects 0.000 claims description 26
- 238000010168 coupling process Methods 0.000 claims description 26
- 238000005859 coupling reaction Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 239000000654 additive Substances 0.000 claims description 22
- 230000000996 additive effect Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于可逆神经网络的图像超分辨率隐写方法。该方法在可逆神经网络的输出端生成像素数量等于载体图像和秘密图像之和的高分辨率含密图像,从而避免了额外噪声的产生,在提取阶段实现了秘密图像的无损恢复。此外,本发明方法还引入了一种映射模块,该模块利用标准化流对秘密图像进行编码,将差异较大的不同秘密图像映射为同分布的高斯噪声,以提高含密图像的质量及其抗检测能力。
Description
技术领域
本发明涉及一种基于可逆神经网络的图像超分辨率隐写方法。
背景技术
随着互联网技术的飞速发展,人们之间的交流方式逐渐转变为利用互联网技术传播多媒体数据。在多媒体数据中,数字图像以其简洁、直观、高效的信息传输特性,被广泛用作信息交换的通信载体。然而,随着社交平台的不断增加以及应用的多样化,通信信息安全问题日益突出,相关信息安全问题也受到研究人员的持续关注。图像加密技术虽然可以实现安全通信,但由于其破坏了图像的可见性容易引起第三方的怀疑。与图像加密技术不同,图像隐写术是一种将秘密信息隐藏在载体图像中并生成视觉上与载体图像相同的含密图像用于隐蔽通信的技术。
传统的图像隐写技术可以简单地分为三类:空间域隐写方法、变换域隐写方法以及自适应隐写方法。最低有效位(LSB)方法[1]是一种经典的空间域隐写方法,它将秘密信息隐藏在载体图像的n个最低有效位中。然而,该方法很容易破环含密图像的统计信息并在其中留下痕迹,这些痕迹可以通过一些隐写分析方法很容易地检测到。变换域隐写方法在载体图像的频域中嵌入秘密信息,如离散傅立叶变换(DFT)域[2]、离散余弦变换(DCT)域[3]和离散小波变换(DWT)域[4]。一般来说,变换域隐写术方法比空间域隐写方法更加安全,但隐写的有效载荷容量较低。自适应隐写方法通常将秘密信息的嵌入分为嵌入失真最小化和数据编码两个问题。为了减少由修改引起的图像失真,Fridrich等人[5]提出了基于最小化加性失真的自适应隐写框架。具体来说,通过人为启发式地定义一个失真函数,为载体图像的每个像素分配一个嵌入代价,然后通过STC[6]编码以最小化嵌入代价总和的方式嵌入秘密信息。
近年来,研究者们提出了各种基于深度学习的图像隐写方案,这些方案比传统方法取得了更好的性能。Hayes等人[7]首次将生成对抗网络(GAN)应用于信息隐藏任务,表明了对抗性训练方案可以有效提高隐藏安全性。Tang等人提出了ASDL-GAN[8],该算法通过自动学习给定载体图像中每个像素的嵌入概率来找到合适的秘密信息隐藏位置。虽然这些方法通常具有很高的隐藏安全性,即隐写分析工具不太可能检测到秘密信息,但它们只能隐藏少量秘密信息。Baluja等人[9]首先提出了利用深度神经网络将一幅全色图像隐藏在另一幅图像中,该方法使用一个准备网络来提取秘密图像的有用特征,然后使用隐藏网络将秘密图像的特征嵌入到载体图像中,最后使用提取网络对原始秘密图像进行恢复。
受可逆神经网络在图像处理中取得的巨大成功的启发,Jing[10]等人引入可逆神经网络用于图像隐写术任务,将秘密信息的隐藏和恢复视为一对逆问题,借助可逆神经网络优秀的可逆特性显著提高了秘密图像的提取精度。此外,该方法还将秘密图像嵌入到载体图像的小波域中,提高了含密信息的不可见性。然而,由于可逆神经网络的输入和输出维度必需相同的特点,将秘密图像嵌入到载体图像中生成与载体图像大小相同的含密图像时,在输出端会生成一个额外的噪声张量(损失信息)。在现实使用场景中,为了避免第三方的怀疑,生成的额外噪声通常不会发送给接收方,因此接收方需要重新采样一个噪声张量以替换损失信息,这也使得无法无损地从含密图像中提取出秘密图像。
参考文献:
[1]J.Fridrich,M.Goljan,and R.Du.Detecting lsb steganography in color,and gray-scale images.IEEE multimedia,8(4):22–28,2001.
[2]J.Ruanaidh,W.J.Dowling,and F.M.Boland.Phase watermarking ofdigital images.In Proceedings of 3rd IEEE International Conference on ImageProcessing,volume 3,pages 239–242.IEEE,1996.
[3]C.-T.Hsu and J.-L.Wu.Hidden digital watermarks in images.IEEETransactions on image processing,8(1):58–68,1999.
[4]M.Barni,F.Bartolini,andA.Piva.Improved wavelet-based watermarkingthrough pixel-wise masking.IEEE transactions on image processing,10(5):783–791,2001.
[5]FILLER T,JUDAS J,FRIDRICH J.Minimizing additive distortion insteganography using syndrome-trellis codes[J].IEEE Transactions on In-formation Forensics and Security,2011,6(3):920-935.
[6]T.Filler,J.Judas,and J.Fridrich.Minimizing embedding impact insteganography using trellis-coded quantization.In Media forensics andsecurity II,volume 7541,pages 38–51.SPIE,2010.
[7]J.Hayes and G.Danezis.Generating steganographic images viaadversarial training.Advances in neural information processing systems,30,2017.
[8]W.Tang,S.Tan,B.Li,and J.Huang.Automatic steganographic distortionlearning using agenerative adversarial network.IEEE Signal ProcessingLetters,24(10):1547–1551,2017.
[9]S.Baluja.Hiding images in plain sight:Deep steganography.Advancesin neural information processing sys-tems,30,2017.
[10]J.Jing,X.Deng,M.Xu,J.Wang,and Z.Guan.Hinet:Deep image hiding byinvertible network.In Proceedings of the IEEE/CVF International Conference onComputer Vision,pages4733–4742,2021.。
发明内容
本发明的目的在于提供一种基于可逆神经网络的图像超分辨率隐写方法,提出了一种新的基于可逆神经网络的图像隐写框架旨在有效地将秘密图像嵌入到载体图像中,不同于现有的大多数不完全可逆的图像隐写方法,我们的方法在拥有较大隐写容量的同时能够从含密图像中无损地提取出秘密图像。整体框架分为两个模块,第一个模块是标准化映射模块,其作用是对秘密图像进行预处理,将秘密图像映射为标准正态分布,使得差异较大的秘密图像能够更好地嵌入到载体图像中,生成视觉效果良好的高分辨率含密图像。第二个模块是超分隐写模块,在对低分辨率载体图像进行超分辨率处理的同时,将映射为标准高斯噪声的秘密图像隐藏在高分辨率含密图像的高频分量中。由于我们生成的含密图像维度与输入的载体图像和秘密图像维度总和一致,所以在输出端并不会产生一个额外的噪声,从而避免了信息损失,充分利用了可逆神经网络的性质,实现了高质量的秘密信息嵌入和无损的提取。
为实现上述目的,本发明的技术方案是:一种基于可逆神经网络的图像超分辨率隐写方法,构建一基于神经网络的图像隐写框架,该框架以可逆神经网络为基础,在模型训练过程中,实现在载体图像中嵌入秘密图像生成高质量的含密图像,并且在提取阶段实现秘密图像的无损恢复;还引入一种映射模块,该模块利用标准化流对秘密信息进行编码,将具有差异的不同秘密图像映射为同分布的高斯噪声。
在本发明一实施例中,所述基于神经网络的图像隐写框架分为两个模块,第一个模块是标准化映射模块,其作用是对秘密图像进行预处理,将秘密图像映射为标准正态分布,使得具有差异的秘密图像能够更好地嵌入到载体图像中,生成视觉效果良好的高分辨率含密图像;第二个模块是超分隐写模块,在对低分辨率载体图像进行超分辨率处理的同时,将映射为标准高斯噪声的秘密图像隐藏在高分辨率含密图像的高频分量中,由于生成的含密图像维度与输入的载体图像和秘密图像维度总和一致,所以在输出端并不会产生一个额外的噪声,避免了信息损失,实现高质量的秘密信息嵌入和无损的提取。
在本发明一实施例中,所述标准化映射模块使用标准化流将不同秘密图像映射为同分布的高斯噪声,具体实现如下:
步骤1、分布变换,z=f(x)为隐空间变量z和图像空间变量x之间的一个双射函数,根据变量替换公式对z作变量替换,有图像分布和隐变量分布之间的关系为:
其中,pX(x)为秘密图像分布,pZ(z)=pZ(f(x))为隐变量分布,为变换函数z=f(x)的雅可比行列式。
步骤2、为学习隐空间和图像空间之间的双射变换,参数化可逆函数f,使用神经网络来拟合f需要满足结构可逆且雅可比行列式容易计算两个要求,一个简单的可逆变换为加性耦合层,它的雅可比行列式值为1。将输入图像的维度划分为x1、x2两部分,对应的输出分别为z1和z2,加性耦合层的正变换计算如下:
其中m可以是x1的任意函数,通常为一个小型神经网络。根据式(2)易得其逆变换计算公式,如下:
步骤3、由式(2)和式(3)可见加性耦合层定义的可逆变换中的一部分是平凡的,即恒等变换;因此,单层耦合层的表示能力比较弱,需要级联多个耦合层才能达到强非线性,增强拟合能力;根据链式求导法则,级联多个耦合层的雅可比矩阵仍容易计算。根据式(1)对图像分布pX(x)做对数极大似然估计即可求得参数θ:
其中,pZ(z)=pZ(f(x))为隐变量分布,一般取标准正态分布;为变换函数f(x)的雅可比行列式,根据式(2)易得,加性耦合层的雅可比行列式值为1。
在本发明一实施例中,所述超分隐写模块,用于对载体图像进行超分辨率处理,具体实现如下:
步骤1、将高分辨率的载体图像通过下采样的方式生成低分辨率载体图像,在对模型进行训练时,需要分别使用到高分辨率载体图像以及低分辨率载体图像,高分辨率的载体图像用于对模型超分辨率的引导,使得模型输出的含密图像尽量在视觉上接近高分辨率的载体图像,低分辨率的载体图像和秘密图像尺寸大小相同,用作模型的输入,在模型训练好后,使用低分辨率的载体图像,或者将任意尺寸的图像放大或缩小至秘密图像相同的大小作为低分辨率载体图像;
步骤2、将低分辨率载体图像C以及映射为标准噪声的秘密信息Z共同作为超分隐写模块正向过程的输入,超分隐写模块的主干网络使用N个结构完全相同的可逆块,每个可逆块包含一个仿射变换和一个加性变换,可逆块的输入和输出均各包含两个分量,其中,第一可逆块的输入为低分辨率载体图像和由三张尺寸相同的秘密图像映射而成的简单分布噪声,随后每个可逆块的输出再作为下一个可逆块的输入。第i个可逆块的输入为Ci和Zi,输出为Ci+1和Zi+1。最后一个可逆块同样输出两个分量,将最后一个可逆块输出的两个分量视为高分辨率含密图像的低频分量和高频分量,再经过逆离散小波变换生成高分辨率含密图像,即将秘密图像隐藏在高分辨率含密图像小波域的高频分量中,如图1所示,正向隐藏过程中超分隐写网络第i个可逆块的计算公式如下:
其中ρ、φ、η均为5层卷积神经网络,⊙和exp分别表示哈达玛积和指数运算;
步骤3、在逆向提取过程中,数据信息在网络中的流动方向与隐藏过程的顺序完全相反,高分辨率含密图像先通过离散小波变换进行分解,将得到的高频分量和低频分量作为最后一个可逆块逆向过程的输入,随后每个可逆块的输出再作为下一个可逆块的输入。第i个可逆块的输入为Ci+1和Zi+1,输出为Ci和Zi。经过整个逆向提取过程中一系列可逆块的逆运算,输出低分辨率载体图像和秘密图像对应的噪声,最后将相应噪声作为标准化逆映射模块的输入,即可恢复出原始秘密图像;由于整个逆向提取过程是正向隐藏过程严格完全可逆的逆操作,所以能够完全无损地提取出秘密图像。根据式(5)易得,逆向提取过程中超分隐写网络第i个可逆块的计算公式为:
在本发明一实施例中,该方法使用小批量梯度下降对模型进行训练,使用Adam优化器,初始学习率设置为2×10-4,每1000个step衰减20%,损失函数包含分布匹配损失超分辨率损失/>以及重构损失/>三个部分;
为标准映射模块的分布匹配损失,用于将秘密图像映射为简单分布;使用加性耦合层作为标准化流的主干网络,加性耦合层的雅可比行列式为1,选择标准正态分布作为隐变量Z的分布,秘密图像H到隐变量Z的映射为f,即Z=f(H),根据极大似然估计,损失函数为负对数似然损失:
为高分辨率载体图像C和含密图像S间的损失,用于引导网络生成与载体图像视觉效果尽可能接近的含密图像;使用l2距离表示:
为重构损失,即原始秘密图像H和提取过程中模型恢复的秘密图像/>间的距离,用于引导超分隐写模块的逆过程提取正确的秘密图像;使用l2距离表示:
模型的总体损失列为:
λ1、λ2是可调整的超参数,用来平衡各个损失的重要程度。
相较于现有技术,本发明具有以下有益效果:
(1)、本发明提出了一个新的图像隐写框架,通过图像超分辨率技术将可能损失的秘密信息隐藏在含密图像的高频分量中,从而实现了完全可逆的信息隐藏。
(2)、为了进一步提高生成含密图像的视觉效果,本发明首先使用一个映射模块将不同秘密图像映射到统一分布中,再与载体图像同时输入到模型中生成含密图像,尽可能地减小了不同秘密图像对超分辨率的影响。
附图说明
图1为本发明图像超分辨率隐写框架总体架构。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明一种基于可逆神经网络的图像超分辨率隐写方法,构建一基于神经网络的图像隐写框架,该框架以可逆神经网络为基础,在模型训练过程中,实现在载体图像中嵌入秘密图像生成高质量的含密图像,并且在提取阶段实现秘密图像的无损恢复;还引入一种映射模块,该模块利用标准化流对秘密信息进行编码,将具有差异的不同秘密图像映射为同分布的高斯噪声。
以下为本发明具体实施实例。
实施例一:
参见图1,基于可逆神经网络的图像超分辨率隐写框架的结构设计,根据其执行要素我们提出了一个隐蔽通信方案。
其具体实现步骤如下:
(1)、通信的一方需要在安全的计算环境上使用大量图像数据对整体模型进行训练,以此得到符合预期要求的预训模型。训练集样本需要包含尽量多类型的图像,以提高模型的泛化能力。
(2)、模型训练方将模型安全可靠地传输给通信的另一方。
(3)、发送方可以选择任意图像作为载体图像,并与秘密图像输入模型生成含密图像,含密图像可以通过公开信道传输给接收方。
(4)、接收方收到含密图像后通过模型的逆过程提取秘密图像。
实施例二:
假设通信双方没有足够的算力进行训练整个隐写模型。我们的框架可以分离为标准化映射模块和图像超分网络,通信双方只需要自己训练一个较小的标准化映射模块,或者寻求另一种标准化映射方法,只要能将秘密信息可逆地映射为标准高斯噪声,就可以借助公开的超分辨率模型进行隐蔽通行,不会泄露秘密信息。
在实例一中我们对基于可逆神经网络的图像超分辨率隐写方法的基础结构进行了大体的阐述,接着我们便在实例一的基础上进一步阐述具体的实施细节。特别之处体现如下:
(1)、数据预处理和模型初始化:
网络模型训练的好坏很大程度上取决于训练样本和网络模型的初始参数。
步骤1:在网络模型训练之前,首先需要合理设置初始参数。这些初始参数将影响模型的训练效果和收敛速度。通常情况下,可以使用一些常用的初始化方法,如随机初始化或者预训练模型的参数初始化;
步骤2:我们使用DIV2K数据集作为模型的训练数据,该数据集包含900张高辨率的图片。为了能够有效地进行训练,我们将其中的800张图片作为训练集,另外100张作为验证集。由于每张图片的尺寸不同,我们需要对它们进行预处理。为了增强模型的泛化能力,我们采用了随机裁剪和其他一些数据增强方式。在每轮训练中,我们从原始图片中随机选择不同的小尺寸区域作为训练样本的载体图像和秘密图像。通过随机裁剪,可以增加数据的多样性,使得模型能够更好地适应各种类型的图像。此外,数据增强技术还能扩充训练数据的数量和多样性。其中包括图像翻转、旋转、缩放和平移等操作,以生成更多不同变化的训练样本;
步骤3:在对模型进行训练时,方案的总体流程图如图1所示。
(2)、标准化映射模块:
本研究使用的图像超分辨率技术是一种条件生成模型,它通过输入低分辨率图像和一个服从某一简单分布的噪声生成高分辨率图像。由于不同秘密图像的分布差异较大,直接将其当作噪声输入模型可能会影响生成超分辨率图像的效果。为了尽可能地减小不同分布秘密图像对载体图像超分辨率的影响,我们使用标准化流将不同秘密图像映射为同分布的高斯噪声。标准化流是一种基于可逆神经网络的生成模型,生成模型可以学习复杂的数据分布并且生成符合该分布的样本。为了对高维图像空间的复杂分布进行建模,标准化流在具有简单分布的隐空间和具有复杂分布的图像空间之间学习双射映射。标准化流由一系列可逆变换组成,复杂的数据分布经过这些变换可以逐渐标准化为某个给定的简单分布,该过程可以看作是对数据的编码过程。而对简单的分布采样再经由一系列的逆变换可以生成符合复杂数据分布的新数据样本,该过程既对数据的解码过程。
步骤1:分布变换,z=f(x)为隐空间变量z和图像空间变量x之间的一个双射函数,根据变量替换公式对z作变量替换,有图像分布和隐变量分布之间的关系为:
步骤2:为了学习隐空间和图像空间之间的双射变换,参数化可逆函数f,使用神经网络来拟合f需要满足结构可逆且雅可比行列式容易计算两个要求。一个简单的可逆变换为加性耦合层,它的雅可比行列式值为1,其正变换和逆变换的计算如下:
其中m可以是任意函数,通常为一个小型神经网络。
步骤3:由式(2)和式(3)可见加性耦合层定义的可逆变换中的一部分是平凡的,即恒等变换。因此,单层耦合层的表示能力比较弱,需要级联多个耦合层才能达到强非线性,增强拟合能力。根据链式求导法则,级联多个耦合层的雅可比矩阵仍容易计算。根据极大似然估计进行训练:
(3)、超分隐写模块:
超分隐写模块用于对载体图像进行超分辨率处理,在将复杂多样的秘密图像映射为服从同一简单分布的标准噪声之后,我们将其与低分辨率载体图像一同输入超分隐写模块生成高分辨率含密图像用于隐蔽通信。如图1所示,该模块对低分辨率的载体图像进行2倍超分辨率处理,即生成的高分辨率含密图像的长宽都是低分辨率载体图像长宽的两倍,像素总量扩大至4倍。为了满足可逆神经网络输入输出维度一致的特性,我们需要使用维度是低分辨率载体图像三倍的噪声作为输入的另一个分量,因此模型可以在一张载体图像中隐藏三张尺寸与之相同的秘密图像。超分隐写模块模块基于可逆神经网络,可逆神经网络由于其可逆性,自然直观地适用于图像隐写任务。该模块由若干个可逆块构成,每个可逆块包含一个仿射变换和一个加性变换。超分隐写模块分为正向隐藏过程和逆向提取过程,隐藏过程和提取过程具有相同的子模块并且共享相同的参数。可逆块的输入和输出可以相互转换,确保了在正向过程和反向过程中分别实现秘密图像的隐藏和提取。与现有的基于可逆神经网络隐写方法不同的是,该模块的正向过程只输出一个像素数量等于载体图像和秘密图像之和的高分辨率含密图像,不再生成额外的损失信息,因此逆向过程恢复秘密图像时无需重新采样一个噪声作为损失信息,从而可以完全可逆地恢复出秘密信息。
步骤1:将高分辨率的载体图像通过下采样的方式生成低分辨率载体图像,下采样方法可以采用双线性插值法、三次插值法或离散小波变换等。在对模型进行训练时,需要分别使用到高分辨率载体图像以及低分辨率载体图像,高分辨率的载体图像用于对模型超分辨率的引导,使得模型输出的含密图像尽量在视觉上接近高分辨率的载体图像,低分辨率的载体图像和秘密图像尺寸大小相同,用作模型的输入。在模型训练好后,只需要使用低分辨率的载体图像,或者可以将任意尺寸的图像放大或缩小至秘密图像相同的大小作为低分辨率载体图像;
步骤2:将低分辨率载体图像C以及映射为标准噪声的秘密信息Z共同作为超分隐写模块正向过程的输入。如图1所示,超分隐写模块的主干网络使用了N个结构完全相同的可逆块,每个可逆块包含一个仿射变换和一个加性变换,可逆块的输入和输出均各包含两个分量。其中,第一可逆块的输入为低分辨率载体图像和由三张尺寸相同的秘密图像映射而成的简单分布噪声。随后每个可逆块的输出再作为下一个可逆块的输入,最后一个可逆块同样输出两个分量。我们将最后一个可逆块输出的两个分量视为高分辨率含密图像的低频分量和高频分量,再经过逆离散小波变换(IDWT)生成高分辨率含密图像。逆离散小波变换并不包含可学习的参数,使用逆离散小波变换可以认为是将秘密信息隐藏在高分辨率含密图像小波域的高频分量中。正向隐藏过程中超分隐写网络第i个可逆块的变换可表示为:
其中ρ、φ、η均为5层卷积神经网络,⊙和exp分别表示哈达玛积和指数运算。
步骤3:在逆向提取过程中,数据信息在网络中的流动方向与隐藏过程的顺序完全相反,高分辨率含密图像先通过离散小波变换进行分解,将得到的高频分量和低频分量作为最后一个可逆块逆向过程的输入,经过整个逆向提取过程中一系列可逆块的逆运算,输出低分辨率载体图像和秘密图像对应的噪声。最后将该噪声作为标准化逆映射模块的输入,即可恢复出原始秘密图像。由于整个逆向提取过程是正向隐藏过程严格完全可逆的逆操作,所以我们地模型可以完全无损地提取出秘密图像。逆向提取过程中超分隐写网络第i个可逆块的变换如下:
(4)、模型训练:
我们使用小批量梯度下降对模型进行训练,使用Adam优化器,初始学习率设置为2×10-4,每1000个step衰减20%。损失函数包含分布匹配损失超分辨率损失/>以及重构损失/>三个部分。
为标准映射模块的分布匹配损失,用于将秘密图像映射为简单分布。我们使用加性耦合层作为标准化流的主干网络,加性耦合层的雅可比行列式为1。选择标准正态分布作为隐变量Z的分布,秘密图像H到隐变量Z的映射为f,即Z=f(H)。根据极大似然估计,损失函数为负对数似然损失:
为高分辨率载体图像C和含密图像S间的损失,用于引导网络生成与载体图像视觉效果尽可能接近的含密图像。我们使用l2距离表示该损失:
为重构损失,即原始秘密图像H和提取过程中模型恢复的秘密图像/>间的距离,用于引导超分隐写模块的逆过程提取正确的秘密图像。我们使用l2距离表示该损失:
模型的总体损失可以列为:
λ1、λ2是可调整的超参数,用来平衡各个损失的重要程度。
本发明的特色在于:
具有两方面的特色:一是我们提出了一个新的图像超分辨率隐写框架,该框架可以有效地实现信息隐藏,在生成高分辨率含密图像的同时将秘密信息隐藏在其高频分量中,并且在秘密图像提取的过程中实现了完全无损的提取。二是为了消除差异较大的秘密图像对含密图像超分辨率的影响,进一步提高含密图像的视觉效果,我们首先使用一个标准化映射模块将不同秘密图像映射成服从同一分布的噪声,再与载体图像同时输入到模型中生成含密图像,尽可能地减小了不同分布秘密图像对生成高分辨率含密图像的影响。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (5)
1.一种基于可逆神经网络的图像超分辨率隐写方法,其特征在于,构建一基于神经网络的图像隐写框架,该框架以可逆神经网络为基础,在模型训练过程中,实现在载体图像中嵌入秘密图像生成高质量的含密图像,并且在提取阶段实现秘密图像的无损恢复;还引入一种映射模块,该模块利用标准化流对秘密信息进行编码,将具有差异的不同秘密图像映射为同分布的高斯噪声。
2.根据权利要求1所述的基于可逆神经网络的图像超分辨率隐写方法,其特征在于,所述基于神经网络的图像隐写框架分为两个模块,第一个模块是标准化映射模块,其作用是对秘密图像进行预处理,将秘密图像映射为标准正态分布,使得具有差异的秘密图像能够更好地嵌入到载体图像中,生成视觉效果良好的高分辨率含密图像;第二个模块是超分隐写模块,在对低分辨率载体图像进行超分辨率处理的同时,将映射为标准高斯噪声的秘密图像隐藏在高分辨率含密图像的高频分量中,由于生成的含密图像维度与输入的载体图像和秘密图像维度总和一致,所以在输出端并不会产生一个额外的噪声,避免了信息损失,实现高质量的秘密信息嵌入和无损的提取。
3.根据权利要求2所述的基于可逆神经网络的图像超分辨率隐写方法,其特征在于,所述标准化映射模块使用标准化流将不同秘密图像映射为同分布的高斯噪声,具体实现如下:
步骤1、分布变换,z=f(x)为隐空间变量z和图像空间变量x之间的一个双射函数,根据变量替换公式对z作变量替换,有图像分布和隐变量分布之间的关系为:
其中,pX(x)为秘密图像分布,pZ(z)=pZ(f(x))为隐变量分布,为变换函数,z=f(x)的雅可比行列式;
步骤2、为学习隐空间和图像空间之间的双射变换,参数化可逆函数f,使用神经网络来拟合f需要满足结构可逆且雅可比行列式容易计算两个要求,一个简单的可逆变换为加性耦合层,它的雅可比行列式值为1;将输入图像的维度划分为x1、x2两部分,对应的输出分别为z1和z2,加性耦合层的正变换计算如下:
其中m是x1的任意函数,根据式(2)易得其逆变换计算公式,如下:
步骤3、由式(2)和式(3)可见加性耦合层定义的可逆变换中的一部分是平凡的,即恒等变换;因此,单层耦合层的表示能力比较弱,需要级联多个耦合层才能达到强非线性,增强拟合能力;根据链式求导法则,级联多个耦合层的雅可比矩阵仍容易计算;根据式(1)对图像分布pX(x)做对数极大似然估计即可求得参数θ:
其中,pZ(z)=pZ(f(x))为隐变量分布;为变换函数f(x)的雅可比行列式,根据式(2)易得,加性耦合层的雅可比行列式值为1。
4.根据权利要求3所述的基于可逆神经网络的图像超分辨率隐写方法,其特征在于,所述超分隐写模块,用于对载体图像进行超分辨率处理,具体实现如下:
步骤1、将高分辨率的载体图像通过下采样的方式生成低分辨率载体图像,在对模型进行训练时,需要分别使用到高分辨率载体图像以及低分辨率载体图像,高分辨率的载体图像用于对模型超分辨率的引导,使得模型输出的含密图像尽量在视觉上接近高分辨率的载体图像,低分辨率的载体图像和秘密图像尺寸大小相同,用作模型的输入,在模型训练好后,使用低分辨率的载体图像,或者将任意尺寸的图像放大或缩小至秘密图像相同的大小作为低分辨率载体图像;
步骤2、将低分辨率载体图像C以及映射为标准噪声的秘密信息Z共同作为超分隐写模块正向过程的输入,超分隐写模块的主干网络使用N个结构完全相同的可逆块,每个可逆块包含一个仿射变换和一个加性变换,可逆块的输入和输出均各包含两个分量,其中,第一可逆块的输入为低分辨率载体图像和由三张尺寸相同的秘密图像映射而成的简单分布噪声,随后每个可逆块的输出再作为下一个可逆块的输入;第i个可逆块的输入为Ci和Zi,输出为Ci+1和Zi+1;最后一个可逆块同样输出两个分量,将最后一个可逆块输出的两个分量视为高分辨率含密图像的低频分量和高频分量,再经过逆离散小波变换生成高分辨率含密图像,即将秘密图像隐藏在高分辨率含密图像小波域的高频分量中,正向隐藏过程中超分隐写网络第i个可逆块的计算公式如下:
其中ρ、φ、η均为5层卷积神经网络,⊙和exp分别表示哈达玛积和指数运算;
步骤3、在逆向提取过程中,数据信息在网络中的流动方向与隐藏过程的顺序完全相反,高分辨率含密图像先通过离散小波变换进行分解,将得到的高频分量和低频分量作为最后一个可逆块逆向过程的输入,随后每个可逆块的输出再作为下一个可逆块的输入;第i个可逆块的输入为Ci+1和Zi+1,输出为Ci和Zi;经过整个逆向提取过程中一系列可逆块的逆运算,输出低分辨率载体图像和秘密图像对应的噪声,最后将相应噪声作为标准化逆映射模块的输入,即可恢复出原始秘密图像;由于整个逆向提取过程是正向隐藏过程严格完全可逆的逆操作,所以能够完全无损地提取出秘密图像;根据式(5)易得,逆向提取过程中超分隐写网络第i个可逆块的计算公式为:
5.根据权利要求4所述的基于可逆神经网络的图像超分辨率隐写方法,其特征在于,该方法使用小批量梯度下降对模型进行训练,使用Adam优化器,初始学习率设置为2×10-4,每1000个step衰减20%,损失函数包含分布匹配损失超分辨率损失/>以及重构损失三个部分;
为标准映射模块的分布匹配损失,用于将秘密图像映射为简单分布;使用加性耦合层作为标准化流的主干网络,加性耦合层的雅可比行列式为1,选择标准正态分布作为隐变量Z的分布,秘密图像H到隐变量Z的映射为f,即Z=f(H),根据极大似然估计,损失函数为负对数似然损失:
为高分辨率载体图像C和含密图像S间的损失,用于引导网络生成与载体图像视觉效果尽可能接近的含密图像;使用l2距离表示:
为重构损失,即原始秘密图像H和提取过程中模型恢复的秘密图像/>间的距离,用于引导超分隐写模块的逆过程提取正确的秘密图像;使用l2距离表示:
模型的总体损失列为:
λ1、λ2是可调整的超参数,用来平衡各个损失的重要程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311076746.6A CN117078517A (zh) | 2023-08-25 | 2023-08-25 | 基于可逆神经网络的图像超分辨率隐写方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311076746.6A CN117078517A (zh) | 2023-08-25 | 2023-08-25 | 基于可逆神经网络的图像超分辨率隐写方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117078517A true CN117078517A (zh) | 2023-11-17 |
Family
ID=88713076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311076746.6A Pending CN117078517A (zh) | 2023-08-25 | 2023-08-25 | 基于可逆神经网络的图像超分辨率隐写方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078517A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117376484A (zh) * | 2023-12-05 | 2024-01-09 | 北京邮电大学 | 一种面向电子证照防伪的生成式隐写方法 |
CN117876273A (zh) * | 2024-03-11 | 2024-04-12 | 南京信息工程大学 | 一种基于可逆生成对抗网络的鲁棒图像处理方法 |
-
2023
- 2023-08-25 CN CN202311076746.6A patent/CN117078517A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117376484A (zh) * | 2023-12-05 | 2024-01-09 | 北京邮电大学 | 一种面向电子证照防伪的生成式隐写方法 |
CN117876273A (zh) * | 2024-03-11 | 2024-04-12 | 南京信息工程大学 | 一种基于可逆生成对抗网络的鲁棒图像处理方法 |
CN117876273B (zh) * | 2024-03-11 | 2024-06-07 | 南京信息工程大学 | 一种基于可逆生成对抗网络的鲁棒图像处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Duan et al. | A new high capacity image steganography method combined with image elliptic curve cryptography and deep neural network | |
CN111598761B (zh) | 一种基于图像降噪的抗打印拍摄图像数字水印方法 | |
Luo et al. | A multi-scale image watermarking based on integer wavelet transform and singular value decomposition | |
CN117078517A (zh) | 基于可逆神经网络的图像超分辨率隐写方法 | |
Yasmeen et al. | An efficient watermarking approach based on LL and HH edges of DWT–SVD | |
CN107240061B (zh) | 一种基于动态bp神经网络的水印嵌入、提取方法与装置 | |
CN111640444A (zh) | 基于cnn的自适应音频隐写方法和秘密信息提取方法 | |
Pramanik et al. | Application of steganography in symmetric key cryptography with genetic algorithm | |
Prabakaran et al. | Dual transform based steganography using wavelet families and statistical methods | |
Singh et al. | Comprehensive review of watermarking techniques in deep-learning environments | |
CN115170378A (zh) | 一种基于深度学习的视频数字水印嵌入与提取方法及系统 | |
Liu et al. | An image steganography scheme based on ResNet | |
Radharani et al. | Multiple watermarking scheme for image authentication and copyright protection using wavelet based texture properties and visual cryptography | |
Mansour et al. | Steganography-Based Transmission of Medical Images Over Unsecure Network for Telemedicine Applications. | |
Ramanjaneyulu et al. | An oblivious and robust multiple image watermarking scheme using genetic algorithm | |
Rahim et al. | Exploiting de-noising convolutional neural networks DnCNNs for an efficient watermarking scheme: a case for information retrieval | |
Zargar et al. | Robust and imperceptible image watermarking in DWT-BTC domain | |
Sharma et al. | A daubechies DWT based image steganography using smoothing operation. | |
Rana et al. | Image steganography method based on kohonen neural network | |
Singh et al. | Image Steganography Technique based on Singular Value Decomposition and Discrete Wavelet Transform | |
Amsaveni et al. | Use of firefly optimization algorithm for fractional fourier transform based reversible data hiding | |
Muzaffar et al. | Compressed Sensing for Security and Payload Enhancement in Digital Audio Steganography. | |
Chang et al. | A robust DWT-based copyright verification scheme with Fuzzy ART | |
CN114676446A (zh) | 一种基于ls-gan的图像隐写方法 | |
Wang et al. | High visual quality image steganography based on encoder-decoder model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |