CN115829819A - 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质 - Google Patents

基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质 Download PDF

Info

Publication number
CN115829819A
CN115829819A CN202211609945.4A CN202211609945A CN115829819A CN 115829819 A CN115829819 A CN 115829819A CN 202211609945 A CN202211609945 A CN 202211609945A CN 115829819 A CN115829819 A CN 115829819A
Authority
CN
China
Prior art keywords
image
watermark
neural network
reversible
watermark sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211609945.4A
Other languages
English (en)
Inventor
钱阳
刘建荣
周洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Watermark Technology Co ltd
Original Assignee
Jiangsu Watermark Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Watermark Technology Co ltd filed Critical Jiangsu Watermark Technology Co ltd
Priority to CN202211609945.4A priority Critical patent/CN115829819A/zh
Publication of CN115829819A publication Critical patent/CN115829819A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供一种基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质，上述神经网络的图像鲁棒可逆信息隐藏方法包含两个阶段：第一个阶段是利用卷积神经网络嵌入鲁棒水印序列，第二个阶段是利用可逆神经网络嵌入用于恢复原始载体图像的辅助信息，没有受到任何攻击时，原始载体图像可以被完全恢复出来，水印序列也可以被正确提取，当受到攻击时，由于第一阶段具有的强鲁棒性，使得水印序列仍能够被正确地提取出来。通过本发明的方法，可将水印嵌入原始载体图像中得到鲁棒水印图像，再嵌入用于恢复原始载体图像的辅助信息，最后得到水印图像。

Description

基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质
技术领域
本发明属于图像分析技术领域，具体涉及一种基于神经网络的图像鲁棒可逆信息隐藏方法。
背景技术
在卫星图像、医学图像和微型图像等对图像的高保真度和鲁棒性有较高要求的领域，鲁棒水印的不可逆转性丢失和可逆水印的脆弱性都是无法容忍的，这使得研究人员开发了一种全新的水印算法：鲁棒可逆水印算法。在没有攻击的情况下，鲁棒可逆水印算法可以在解码端提取水印和恢复载体图像。然而，当被水印标记的图像遭到恶意攻击时，尽管水印可以被正确地提取，但可逆性被遭到破坏，以致载体图像无法恢复。
De Vleeschouwer等人提出的早期鲁棒可逆水印算法：基于双映射变换的直方图旋转技术，将每个选择的嵌入块随机分成两个像素数目相同的集合，将像素值分别映射到两个圆环上，将圆心和两个圆环中的质心分别连接起来，形成两个向量，在向量之间通过角度嵌入信息（技术文献1）。随后Ni等人对De Vleeschouwer 等人提出的鲁棒可逆水印算法进行了改善，避免了直方图旋转引起的椒盐噪声，但是这种改进不可避免地在解码端引起上溢/下溢块(即像素值小于0或者大于255的块)的错误位，因此Ni等人采用了纠错编码，缺点是该方法的嵌入容量显著降低（技术文献2）。
Coltuc等人提出了一种基于两阶段水印方案的无损鲁棒水印算法（现有技术文献3），Wang等人改进了Coltuc的两阶段水印框架，在整数哈尔小波变换域中将原始载体图像分为两个独立的嵌入域，其中水印序列嵌入低频系数区域，载体图像与鲁棒水印图像的差异值嵌入高频系数区域，但经典的鲁棒可逆水印算法利用的鲁棒特征与像素的位置相关，导致针对几何攻击时解码失败。Jiren Zhu等人首次将神经网络应用于数字图像水印领域，但是该方法无法可逆地恢复原始载体图像（技术文献4）。因此，现有的鲁棒可逆水印算法在鲁棒性方面均具有局限性，本发明考虑使用可逆神经网络完成原始载体图像的恢复，便提出基于神经网络的图像鲁棒可逆信息隐藏方法。
【现有技术文献】
【技术文献1】
De Vleeschouwer C, Macq B. Circular interpretation of bijectivetransformations in lossless watermarking for media asset management[J].Multimedia, IEEE Transactions on, 2003, 5(1): 97-105.
【技术文献2】
Ni Z, Shi Y Q, Ansari N, et al. Robust lossless image data hidingdesigned for semi-fragile image authentication[J]. Circuits and Systems forVideo Technology, IEEE Transactions on, 2008, 18(4): 497-509.
【技术文献3】
Coltuc D, Chassery J M. Distortion-free robust watermarking: a casestudy[C]//Electronic Imaging 2007. International Society for Optics andPhotonics, 2007: 65051N-65051N-8.
【技术文献4】
Jiren Zhu, Russell Kaplan, Justin Johnson, Li Fei-Fei; Proceedings ofthe European Conference on Computer Vision (ECCV), 2018, pp. 657-672。
发明内容
本发明的目的是将水印嵌入原始载体图像中得到鲁棒水印图像，再嵌入用于恢复原始载体图像的辅助信息，最后得到水印图像。该方法包含两个阶段：第一个阶段是利用卷积神经网络嵌入鲁棒水印序列，第二个阶段是利用可逆神经网络嵌入用于恢复原始载体图像的辅助信息。没有受到任何攻击时，原始载体图像可以被完全恢复出来，水印序列也可以被正确提取。当受到攻击时，由于第一阶段具有的强鲁棒性，使得水印序列仍能够被正确地提取出来。
本公开实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开实施例的实践而习得。
第一方面，本发明提供一种基于神经网络的图像鲁棒可逆信息隐藏方法，包括嵌入水印和提取水印，嵌入水印包括以下步骤：
S11：将原始载体图像通过CNN卷积块得到特征图像；
S12：将一维鲁棒水印序列进行扩展得到扩展水印序列
Figure 100002_DEST_PATH_IMAGE002
，便于全面嵌入，将S11得到的特征图像与所述扩展水印序列以及所述原始载体图像
Figure 100002_DEST_PATH_IMAGE004
进行顺序叠加，再通过卷积块得到编码图像加入噪
Figure 100002_DEST_PATH_IMAGE006
声层通过鲁棒可逆模型进行训练，以抵抗各种噪声，从而正确提取鲁棒水印序列；
S13：将所述原始载体图像与所述编码图像相减，进行哈夫曼无损压缩以减少差值图像中的零像素值，将所得差值图像与所述编码图像通过正向映射的可逆神经网络模型，从而将差值图像嵌入编码图像中；
S14：将所述正向映射的可逆神经网络模型的载体图像分支的正向输出作为最终嵌入水印图像，将所述正向映射的可逆神经网络模型的差值图像分支的正向输出规定为一个不包含有效信息的常数矩阵。
如果印标记图像没有受到任何的恶意攻击和信息篡改，提取水印包括以下步骤：
S21：将所述最终嵌入水印图像和所述常数矩阵通过反向映射的可逆神经网络模型；
S22：利用所述可逆神经网络的反向映射，将所述反向映射的可逆神经网络模型的载体图像分支的反向输出设为恢复编码图像，将所述反向映射的可逆神经网络模型的差值图像分支的反向输出设为输出信息，并将所述恢复编码图像与所述输出信息相加得到最终恢复载体图像；
S23：将所述恢复编码图像通过CNN卷积块及所述经训练得到的鲁棒可逆模型得到恢复水印序列
Figure 100002_DEST_PATH_IMAGE008
。
在一实施方式中，如果水印标记图像遭受到了攻击和信息的篡改，提取水印的步骤进一步包括：
S24：将所述恢复编码图像通过卷积神经网络、池化层以及线性层，再次获得恢复水印序列
Figure 100002_DEST_PATH_IMAGE008A
。
在一实施方式中，在本发明的基于神经网络的图像鲁棒可逆信息隐藏方法中，所述S12步骤中的鲁棒可逆模型包括：
编码器
Figure 100002_DEST_PATH_IMAGE010
，
Figure 100002_DEST_PATH_IMAGE012
为训练用参数，该编码器
Figure 567089DEST_PATH_IMAGE010
接收原始载体图像
Figure 421913DEST_PATH_IMAGE004
和水印序列
Figure 123021DEST_PATH_IMAGE002
，原始载体图像的大小为CHW，水印序列为二进制字符串
Figure 100002_DEST_PATH_IMAGE014
，水印序列长度为
Figure 100002_DEST_PATH_IMAGE016
，编码器输出大小为CHW的编码图像
Figure 100002_DEST_PATH_IMAGE018
；
噪声层
Figure 100002_DEST_PATH_IMAGE020
，该噪声层
Figure 439602DEST_PATH_IMAGE020
输入编码图像
Figure 440925DEST_PATH_IMAGE018
，对编码图像进行噪声攻击，输出噪声图像
Figure 100002_DEST_PATH_IMAGE022
；
解码器
Figure 100002_DEST_PATH_IMAGE024
，
Figure 100002_DEST_PATH_IMAGE026
为训练用参数，该解码器
Figure 122442DEST_PATH_IMAGE024
从噪声图像
Figure 576426DEST_PATH_IMAGE022
中提取水印序列
Figure 100002_DEST_PATH_IMAGE028
，对
Figure 899960DEST_PATH_IMAGE012
和
Figure 896735DEST_PATH_IMAGE026
进行随机梯度下降。
在一实施方式中，在本发明的基于神经网络的图像鲁棒可逆信息隐藏方法中，由于人眼无法辨别所述S12步骤中的编码图像
Figure 686836DEST_PATH_IMAGE018
与原始载体图像
Figure 769062DEST_PATH_IMAGE004
的区别，以图像失真损失
Figure 100002_DEST_PATH_IMAGE030
表示原始载体图像
Figure 630708DEST_PATH_IMAGE004
与编码图像
Figure 91776DEST_PATH_IMAGE018
之间的相似度，从而减小差值图像的大小，具体为：
Figure 100002_DEST_PATH_IMAGE032
其中，
Figure 364363DEST_PATH_IMAGE004
为原始载体图像，
Figure 543672DEST_PATH_IMAGE018
为编码图像，
Figure 100002_DEST_PATH_IMAGE033
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure 100002_DEST_PATH_IMAGE035
次方，CHW为原始载体图像的大小。
在一实施方式中，在本发明的基于神经网络的图像鲁棒可逆信息隐藏方法中，将S24步骤中的卷积神经网络的解码器提取出来的水印序列
Figure 723855DEST_PATH_IMAGE028
与所述S12步骤中的扩展水印序列
Figure 305009DEST_PATH_IMAGE002
之间的相似度，以水印信息失真损失
Figure 100002_DEST_PATH_IMAGE037
表示，具体方法为：
Figure 100002_DEST_PATH_IMAGE039
其中，
Figure 155022DEST_PATH_IMAGE002
为扩展水印序列，
Figure 100002_DEST_PATH_IMAGE008AA
为恢复水印序列，
Figure 100002_DEST_PATH_IMAGE040
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure 585741DEST_PATH_IMAGE035
次方，
Figure 336660DEST_PATH_IMAGE016
为水印序列长度。
在一实施方式中，在本发明的基于神经网络的图像鲁棒可逆信息隐藏方法中，对
Figure 21588DEST_PATH_IMAGE012
和
Figure 465339DEST_PATH_IMAGE026
进行随机梯度下降，目的是减小图像失真损失和水印序列失真损失的和
Figure 100002_DEST_PATH_IMAGE042
，所述S12步骤中通过鲁棒可逆模型进行训练时，通过减小图像失真损失和水印序列失真损失的和
Figure 540611DEST_PATH_IMAGE042
的方式进行梯度下降，具体方法为：
Figure 100002_DEST_PATH_IMAGE044
其中，
Figure 344488DEST_PATH_IMAGE030
表示图像失真损失，
Figure 883922DEST_PATH_IMAGE037
表示水印序列失真损失，
Figure 100002_DEST_PATH_IMAGE046
表示控制图像失真损失的相对权重，
Figure 100002_DEST_PATH_IMAGE048
为控制水印序列失真损失的相对权重。
在一实施方式中，在本发明的基于神经网络的图像鲁棒可逆信息隐藏方法中，所述S13步骤和所述S22步骤中的可逆神经网络模型采用同一模型，是由多个包含神经网络的可逆模块级联而成，该模型的双向映射共享所有参数，由此无论水印图像是否遭受攻击，均可恢复出原始载体图像，同时正确地提取出水印序列。
本发明还提供电子设备和计算机可读存储介质，其能够执行实现基于神经网络的图像鲁棒可逆信息隐藏方法的指令或计算机程序。
第二方面，本发明还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述方法的指令。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项所述方法的步骤。
与现有技术相比，本发明的有益效果如下：
本发明的基于神经网络的图像鲁棒可逆信息隐藏方法，通过对鲁棒嵌入阶段与可逆嵌入阶段皆采用神经网络来实现，能够同时实现嵌入水印的鲁棒性和可逆性，具有更好的实际应用效果。本发明可应用于版权保护、图像保护等诸多领域，具有广泛的应用前景。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本公开实施例中的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本公开实施例的内容和这些附图获得其他的附图。
图1为本发明所述的嵌入水印的两阶段总流程图。
图2为本发明的鲁棒水印嵌入阶段的卷积神经网络模型示意图。
图3为本发明的可逆水印嵌入阶段的可逆神经网络模型示意图。
图4为本发明的鲁棒水印提取步骤的卷积神经网络模型示意图。
图5为本发明的可逆水印提取步骤的可逆神经网络模型示意图。
图6为标准测试图像。
图7为原始载体图像与最终嵌入水印图像。
具体实施方式
为使本公开实施例解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本公开实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本公开实施例中的一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
下面结合附图并通过具体实施方式来进一步说明本公开实施例的技术方案。
本申请的基于神经网络的图像鲁棒可逆信息隐藏方法，包括嵌入水印和提取水印，其中提取水印时，可以按照图像是否受到攻击，采用不同的方式进行水印提取。
本发明嵌入水印的总流程图如图1所示，一般步骤为先采用鲁棒水印算法将鲁棒水印序列嵌入进原始载体图像中，得到鲁棒水印图像，再将用于恢复原始载体图像的信息作为辅助信息，采用可逆水印算法嵌入进鲁棒水印图像中，得到最终嵌入水印图像。
本发明的鲁棒水印嵌入阶段的神经网络模型如图2所示，具体步骤如下所示：
S11：将原始载体图像通过CNN卷积块得到特征图像；
S12：将一维鲁棒水印序列进行扩展得到扩展水印序列
Figure 623208DEST_PATH_IMAGE002
，便于全面嵌入，将S11得到的特征图像与所述扩展水印序列以及所述原始载体图像
Figure 982514DEST_PATH_IMAGE004
进行顺序叠加，再通过卷积块得到编码图像加入噪
Figure DEST_PATH_IMAGE006A
声层通过鲁棒可逆模型进行训练，以抵抗各种噪声，从而正确提取鲁棒水印序列。当编码图像
Figure 199869DEST_PATH_IMAGE018
经过噪声层，输出通道数为C，但是高和宽不一定与原始载体图像相同的噪声图像
Figure 882827DEST_PATH_IMAGE022
。
利用端到端的神经网络模型包括编码器
Figure 793014DEST_PATH_IMAGE010
,噪声层
Figure 655928DEST_PATH_IMAGE020
，解码器
Figure 473711DEST_PATH_IMAGE024
，
Figure 722159DEST_PATH_IMAGE012
和
Figure 678613DEST_PATH_IMAGE026
是用来训练的参数。编码器
Figure 278091DEST_PATH_IMAGE010
接收原始载体图像
Figure 102827DEST_PATH_IMAGE004
和水印序列
Figure 222093DEST_PATH_IMAGE002
，原始载体图像的大小为CHW，水印序列为二进制字符串
Figure 598717DEST_PATH_IMAGE014
，水印序列长度为
Figure 436223DEST_PATH_IMAGE016
，编码器输出大小为CHW的编码图像
Figure 189284DEST_PATH_IMAGE018
。噪声层
Figure 428635DEST_PATH_IMAGE020
输入编码图像
Figure 117106DEST_PATH_IMAGE018
，对编码图像进行噪声攻击，输出噪声图像
Figure 691175DEST_PATH_IMAGE022
。解码器
Figure 857714DEST_PATH_IMAGE024
从噪声图像
Figure 685993DEST_PATH_IMAGE022
中提取水印序列
Figure 669999DEST_PATH_IMAGE028
。
由于人眼无法辨别所述S12步骤中的编码图像
Figure 216518DEST_PATH_IMAGE018
与原始载体图像
Figure 576961DEST_PATH_IMAGE004
的区别，以图像失真损失
Figure 525325DEST_PATH_IMAGE030
表示原始载体图像
Figure 680232DEST_PATH_IMAGE004
与编码图像
Figure 714047DEST_PATH_IMAGE018
之间的相似度，从而减小差值图像的大小，具体为：
Figure DEST_PATH_IMAGE032A
其中，
Figure 737235DEST_PATH_IMAGE004
为原始载体图像，
Figure 930319DEST_PATH_IMAGE018
为编码图像，
Figure DEST_PATH_IMAGE033A
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure 131493DEST_PATH_IMAGE035
次方，CHW为原始载体图像的大小。
解码器提取出来的水印序列应该与嵌入的水印序列相同，将S24步骤中的卷积神经网络的解码器提取出来的水印序列
Figure 901872DEST_PATH_IMAGE028
与所述S12步骤中的扩展水印序列
Figure 89271DEST_PATH_IMAGE002
之间的相似度，以水印信息失真损失
Figure 871282DEST_PATH_IMAGE037
表示，具体方法为：
Figure DEST_PATH_IMAGE039A
其中，
Figure 633571DEST_PATH_IMAGE002
为扩展水印序列，
Figure 100002_DEST_PATH_IMAGE008AAA
为恢复水印序列，
Figure DEST_PATH_IMAGE049
表示L2范数，即欧式距离，为x向量各个元素平方和的次方，
Figure 671672DEST_PATH_IMAGE016
为水印序列长度。
所述S12步骤中通过鲁棒可逆模型进行训练时，通过减小图像失真损失和水印序列失真损失的和
Figure 928341DEST_PATH_IMAGE042
的方式进行梯度下降，具体方法为：
Figure DEST_PATH_IMAGE044A
其中，
Figure 486230DEST_PATH_IMAGE030
表示图像失真损失，
Figure 153840DEST_PATH_IMAGE037
表示水印序列失真损失，
Figure 118385DEST_PATH_IMAGE046
表示控制图像失真损失的相对权重，
Figure 162434DEST_PATH_IMAGE048
为控制水印序列失真损失的相对权重。
关于鲁棒可逆模型的编码网络，首先将卷积（Conv）、批量归一化（BN）和激活函数（ReLU）整合成一个Conv-BN-ReLU块，在编码器内设有4个这样的块，每个块的卷积核为3*3，步长为1，填充大小为1，输出滤波器为64，即通道数为64。大小为CHW的原始载体图像通过4个Conv-BN-ReLU块生成大小为64*H*W的原始载体图像过渡表示。由于水印序列的大小为L*1*1，为了将水印序列嵌入到原始载体图像的任意位置，需要将水印序列的维度与原始载体图像过渡表示的维度一致化，因此扩展水印序列为L*H*W，这样可以确保整个水印序列可以被卷积滤波器访问。再将之前生成的原始载体图像过渡表示与复制之后的水印序列以及原始载体图像相叠加，得到（64+L+C）*H*W的联合表示，最后再经过一个Conv-BN-ReLU块以及1个卷积核为1*1，步长为1，输出滤波器数为C的卷积层，输出大小为CHW的编码图像
Figure 794403DEST_PATH_IMAGE018
，也就是第二阶段提到的鲁棒水印过渡图像。当编码图像
Figure 242702DEST_PATH_IMAGE018
经过噪声层，输出通道数为C，但是高和宽不一定与原始载体图像相同的噪声图像
Figure 474969DEST_PATH_IMAGE022
。
本发明中的水印嵌入步骤中的神经网络模型如图3所示，具体步骤如下：
S13：将所述原始载体图像与所述编码图像相减，进行哈夫曼无损压缩以减少差值图像中的零像素值，将所得差值图像与所述编码图像通过正向映射的可逆神经网络模型，从而将差值图像嵌入编码图像中；
S14：将所述正向映射的可逆神经网络模型的载体图像分支的正向输出作为最终嵌入水印图像，将所述正向映射的可逆神经网络模型的差值图像分支的正向输出规定为一个不包含有效信息的常数矩阵。
所述可逆神经网络模型的正向映射是多个可逆模块级联而成，每个模块包含载体图像分支
Figure DEST_PATH_IMAGE051
和差值图像分支
Figure DEST_PATH_IMAGE053
，载体图像分支
Figure 322708DEST_PATH_IMAGE051
和差值图像分支
Figure 809184DEST_PATH_IMAGE053
的通道数量均为C，第n个可逆模块，其正向映射的输入为
Figure DEST_PATH_IMAGE055
，输出为
Figure DEST_PATH_IMAGE057
，正向映射公式如下所示：
Figure DEST_PATH_IMAGE059
Figure DEST_PATH_IMAGE061
其中，
Figure DEST_PATH_IMAGE063
，
Figure DEST_PATH_IMAGE065
，
Figure DEST_PATH_IMAGE067
为任意函数，包括卷积神经网络。训练时将可逆网络编码图像分支
Figure 809412DEST_PATH_IMAGE051
的正向输出作为最终嵌入水印图像
Figure DEST_PATH_IMAGE069
，损失函数为
Figure DEST_PATH_IMAGE071
其中，
Figure 591292DEST_PATH_IMAGE004
为原始载体图像，
Figure 711564DEST_PATH_IMAGE018
为编码图像，
Figure DEST_PATH_IMAGE072
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure 708338DEST_PATH_IMAGE035
次方，CHW为原始载体图像的大小。
把差值图像分支
Figure 888653DEST_PATH_IMAGE053
的正向输出规定为一个不包含有效信息的常数矩阵。
本发明中的鲁棒水印提取步骤的神经网络模型如图4所示， 步骤S31：将受到攻击的水印图像经过卷积神经网络、池化层以及线性层，输出鲁棒水印序列。
将噪声图像
Figure 846245DEST_PATH_IMAGE022
（或者编码图像
Figure 770207DEST_PATH_IMAGE018
）经过7个Conv-BN-ReLU块和1个卷积核为3*3，步长为1，填充为1，输出滤波器数为L的卷积层，得到L*H*W的过渡表示，再将其经过在所有空间维度（H*W）上进行平均池化的全局空域平均池以及最后1个L*L的线性层，提取出L*1*1大小的水印序列
Figure 621489DEST_PATH_IMAGE028
。
本发明的水印提取步骤中的神经网络模型如图5所示，具体步骤如下所示：
S21：将所述最终嵌入水印图像和所述常数矩阵通过反向映射的可逆神经网络模型；
S22：利用所述可逆神经网络的反向映射，将所述反向映射的可逆神经网络模型的载体图像分支的反向输出设为恢复编码图像，将所述反向映射的可逆神经网络模型的差值图像分支的反向输出设为输出信息，并将所述恢复编码图像与所述输出信息相加得到最终恢复载体图像。
具体而言，将噪声图像
Figure 848071DEST_PATH_IMAGE022
（或者编码图像
Figure 761800DEST_PATH_IMAGE018
）经过7个Conv-BN-ReLU块和1个卷积核为3*3，步长为1，填充为1，输出滤波器数为L的卷积层，得到L*H*W的过渡表示，再将其经过在所有空间维度（H*W）上进行平均池化的全局空域平均池以及最后1个L*L的线性层，提取出L*1*1大小的水印序列
Figure 223874DEST_PATH_IMAGE028
。
所述可逆神经网络反向映射是从水印图像中分离编码图像和差值图像的特征，对于第n个可逆模块，反向映射的输入为
Figure 805028DEST_PATH_IMAGE057
，输出为
Figure 592724DEST_PATH_IMAGE055
，反向映射公式如下所示：
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE076
其中，
Figure 508597DEST_PATH_IMAGE063
，
Figure 774362DEST_PATH_IMAGE065
，
Figure 210022DEST_PATH_IMAGE067
为任意函数，包括卷积神经网络。将可逆网络编码图像分支
Figure 903041DEST_PATH_IMAGE051
的反向输出作为恢复编码图像，将差值图像分支
Figure 56942DEST_PATH_IMAGE053
的反向输出作为输出的差值图像信息。
以下，将本发明方法的鲁棒性及可逆性均能较好实现的结果示于表1至表3。实验中，将Jiren Zhu等人发表的“HiDDeN ：Hidding DataWith Deep Networks”（技术文献4）作为对照与本发明的方法进行比较，HiDDeN是利用神经网络实现隐写和鲁棒水印嵌入提取的方法，该方法鲁棒性能较好，但是缺点是无法恢复原始载体图像，这是因为鲁棒水印不具有可逆性。本发明的方法是采用可逆神经网络实现水印的可逆性，从而可以恢复出原始载体图像。本方法与HiDDeN均是在COCO数据集以及六幅标准测试图像上进行测试，测试两种方法的鲁棒性以及本方法的可逆性，测试图像、即原始载体图像如图6所示。鲁棒性采用提取水印时的正确率来表示，可逆性采用PSNR指标客观表示嵌入水印后的图像质量效果。采用本发明方法获得的最终嵌入水印图像与原始载体图像的对照如图7所示。
实验结果
如表1所示，本发明的方法采用六幅标准测试图像时的PSNR指标均高于HiDDeN方法。
如表2所示，在经过攻击后提取水印正确率方面，本发明的方法除在使用crop、cropout、dropout时正确率略高于HiDDeN方法外，在使用gaussian及JPEG时提取水印正确率远高于HiDDeN方法，达到实用水平。
如表3所示，在不同质量因子下的JPEG压缩的正确率方面，本发明方法在q50以上时正确率均超过90%，达到实用水平。
表1 标准测试图像的PSNR(dB)
baboon boat clock lake airplane
HiDDeN 38.33 38.05 37.71 36.58 38.04
本发明方法 38.71 39.57 39.62 37.53 39.73
表2 经过攻击后提取水印正确率(%)
Figure DEST_PATH_IMAGE078
表3 不同质量因子下的JPEG压缩的正确率(%)
q 20 30 40 50 60 70 80 90
正确率 75.34 79.03 89.20 92.49 93.91 95.49 96.74 99.82
本发明实施例中，电子设备可以包括处理装置（例如中央处理器、图形处理器等），其可以根据存储在只读存储器（ROM）中的程序或者从存储装置加载到随机访问存储器（RAM）中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线。本发明实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM 被安装。在该计算机程序被处理装置执行时，执行本发明实施例的方法中限定的上述功能和效果。
需要说明的是，本公开实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将原始载体图像通过CNN卷积块得到特征图像；将一维鲁棒水印序列进行扩展得到扩展水印序列，便于全面嵌入，将得到的特征图像与所述扩展水印序列以及所述原始载体图像进行顺序叠加，再通过卷积块得到编码图像加入噪声层通过鲁棒可逆模型进行训练，以抵抗各种噪声，从而正确提取鲁棒水印序列；将所述原始载体图像与所述编码图像相减，进行哈夫曼无损压缩以减少差值图像中的零像素值，将所得差值图像与所述编码图像通过正向映射的可逆神经网络模型，从而将差值图像嵌入编码图像中；将所述正向映射的可逆神经网络模型的载体图像分支的正向输出作为最终嵌入水印图像，将所述正向映射的可逆神经网络模型的差值图像分支的正向输出规定为一个不包含有效信息的常数矩阵；将所述最终嵌入水印图像和所述常数矩阵通过反向映射的可逆神经网络模型；利用所述可逆神经网络的反向映射，将所述反向映射的可逆神经网络模型的载体图像分支的反向输出设为恢复编码图像，将所述反向映射的可逆神经网络模型的差值图像分支的反向输出设为输出信息，并将所述恢复编码图像与所述输出信息相加得到最终恢复载体图像；将所述恢复编码图像通过CNN卷积块及所述经训练得到的鲁棒可逆模型得到恢复水印序列；如所得的恢复水印序列受到恶意攻击或信息篡改，将所述恢复编码图像通过卷积神经网络、池化层以及线性层，再次获得恢复水印序列。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
以上描述仅为本公开实施例的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于神经网络的图像鲁棒可逆信息隐藏方法，包括嵌入水印及提取水印，
所述嵌入水印包括以下步骤：
S11：将原始载体图像通过CNN卷积块得到特征图像；
S12：将一维鲁棒水印序列进行扩展得到扩展水印序列
Figure DEST_PATH_IMAGE002
，便于全面嵌入，将S11得到的特征图像与所述扩展水印序列以及所述原始载体图像
Figure DEST_PATH_IMAGE004
进行顺序叠加，再通过卷积块得到编码图像加入噪
Figure DEST_PATH_IMAGE006
声层通过鲁棒可逆模型进行训练，以抵抗各种噪声，从而正确提取鲁棒水印序列；
S13：将所述原始载体图像与所述编码图像相减，进行哈夫曼无损压缩以减少差值图像中的零像素值，将所得差值图像与所述编码图像通过正向映射的可逆神经网络模型，从而将差值图像嵌入编码图像中；
S14：将所述正向映射的可逆神经网络模型的载体图像分支的正向输出作为最终嵌入水印图像，将所述正向映射的可逆神经网络模型的差值图像分支的正向输出规定为一个不包含有效信息的常数矩阵；
所述提取水印包括以下步骤：
S21：将所述最终嵌入水印图像和所述常数矩阵通过反向映射的可逆神经网络模型；
S22：利用所述可逆神经网络的反向映射，将所述反向映射的可逆神经网络模型的载体图像分支的反向输出设为恢复编码图像，将所述反向映射的可逆神经网络模型的差值图像分支的反向输出设为输出信息，并将所述恢复编码图像与所述输出信息相加得到最终恢复载体图像；
S23：将所述恢复编码图像通过CNN卷积块及所述经训练得到的鲁棒可逆模型得到恢复水印序列
Figure DEST_PATH_IMAGE008
；
S24：如S23步骤中所得的恢复水印序列
Figure DEST_PATH_IMAGE008A
受到恶意攻击或信息篡改，将所述恢复编码图像通过卷积神经网络、池化层以及线性层，再次获得恢复水印序列
Figure DEST_PATH_IMAGE008AA
。
2.根据权利要求1所述的基于神经网络的图像鲁棒可逆信息隐藏方法，其特征在于：所述S12步骤中的模型包括
编码器
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
为训练用参数，该编码器
Figure 269055DEST_PATH_IMAGE010
接收原始载体图像
Figure 514091DEST_PATH_IMAGE004
和水印序列
Figure 310140DEST_PATH_IMAGE002
，原始载体图像的大小为CHW，水印序列为二进制字符串
Figure DEST_PATH_IMAGE014
，水印序列长度为
Figure DEST_PATH_IMAGE016
，编码器输出大小为CHW的编码图像
Figure DEST_PATH_IMAGE018
；
噪声层
Figure DEST_PATH_IMAGE020
，该噪声层
Figure 220196DEST_PATH_IMAGE020
输入编码图像
Figure 300147DEST_PATH_IMAGE018
，对编码图像进行噪声攻击，输出噪声图像
Figure DEST_PATH_IMAGE022
；
解码器
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
为训练用参数，该解码器
Figure 830267DEST_PATH_IMAGE024
从噪声图像
Figure 910349DEST_PATH_IMAGE022
中提取水印序列
Figure DEST_PATH_IMAGE028
，对
Figure 951993DEST_PATH_IMAGE012
和
Figure 886450DEST_PATH_IMAGE026
进行随机梯度下降。
3.根据权利要求2所述的基于神经网络的图像鲁棒可逆信息隐藏方法，其特征在于：由于人眼无法辨别所述S12步骤中的编码图像
Figure 207710DEST_PATH_IMAGE018
与原始载体图像
Figure 978351DEST_PATH_IMAGE004
的区别，以图像失真损失
Figure DEST_PATH_IMAGE030
表示原始载体图像
Figure 574418DEST_PATH_IMAGE004
与编码图像
Figure 612650DEST_PATH_IMAGE018
之间的相似度，从而减小差值图像的大小，具体为：
Figure DEST_PATH_IMAGE032
其中，
Figure 449019DEST_PATH_IMAGE004
为原始载体图像，
Figure 18540DEST_PATH_IMAGE018
为编码图像，
Figure DEST_PATH_IMAGE033
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure DEST_PATH_IMAGE035
次方，CHW为原始载体图像的大小。
4.根据权利要求2所述的基于神经网络的图像鲁棒可逆信息隐藏方法，其特征在于：将S24步骤中的卷积神经网络的解码器提取出来的水印序列
Figure 215035DEST_PATH_IMAGE028
与所述S12步骤中的扩展水印序列
Figure 186402DEST_PATH_IMAGE002
之间的相似度，以水印信息失真损失
Figure DEST_PATH_IMAGE037
表示，具体方法为：
Figure DEST_PATH_IMAGE039
其中，
Figure 726098DEST_PATH_IMAGE002
为扩展水印序列，
Figure DEST_PATH_IMAGE008AAA
为恢复水印序列，
Figure DEST_PATH_IMAGE040
表示L2范数，即欧式距离，为x向量各个元素平方和的
Figure 704287DEST_PATH_IMAGE035
次方，
Figure 48681DEST_PATH_IMAGE016
为水印序列长度。
5.根据权利要求2所述的基于神经网络的图像鲁棒可逆信息隐藏方法，其特征在于：所述S12步骤中通过鲁棒可逆模型进行训练时，通过减小图像失真损失和水印序列失真损失的和
Figure DEST_PATH_IMAGE042
的方式进行梯度下降，具体方法为：
Figure DEST_PATH_IMAGE044
其中，
Figure 733609DEST_PATH_IMAGE030
表示图像失真损失，
Figure 833152DEST_PATH_IMAGE037
表示水印序列失真损失，
Figure DEST_PATH_IMAGE046
表示控制图像失真损失的相对权重，
Figure DEST_PATH_IMAGE048
为控制水印序列失真损失的相对权重。
6.根据权利要求2所述的基于神经网络的图像鲁棒可逆信息隐藏方法，其特征在于：所述S13步骤和所述S22步骤中的可逆神经网络模型采用同一模型，是由多个包含神经网络的可逆模块级联而成，该模型的双向映射共享所有参数，由此无论水印图像是否遭受攻击，均可恢复出原始载体图像，同时正确地提取出水印序列。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述方法的指令。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
CN202211609945.4A 2022-12-15 2022-12-15 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质 Pending CN115829819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211609945.4A CN115829819A (zh) 2022-12-15 2022-12-15 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211609945.4A CN115829819A (zh) 2022-12-15 2022-12-15 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质

Publications (1)

Publication Number Publication Date
CN115829819A true CN115829819A (zh) 2023-03-21

Family

ID=85547338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211609945.4A Pending CN115829819A (zh) 2022-12-15 2022-12-15 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115829819A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437108A (zh) * 2023-12-21 2024-01-23 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法
CN117876273A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN118114211A (zh) * 2024-04-30 2024-05-31 华侨大学 基于扩展量化索引调制的dnn水印方法、装置、设备及介质
CN118279119A (zh) * 2024-04-03 2024-07-02 北京大学 一种图像水印信息的处理方法、装置及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437108A (zh) * 2023-12-21 2024-01-23 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法
CN117437108B (zh) * 2023-12-21 2024-03-08 武汉圆周率软件科技有限公司 一种针对图像数据的水印嵌入方法
CN117876273A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN117876273B (zh) * 2024-03-11 2024-06-07 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN118279119A (zh) * 2024-04-03 2024-07-02 北京大学 一种图像水印信息的处理方法、装置及设备
CN118279119B (zh) * 2024-04-03 2024-09-17 北京大学 一种图像水印信息的处理方法、装置及设备
CN118114211A (zh) * 2024-04-30 2024-05-31 华侨大学 基于扩展量化索引调制的dnn水印方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Hu et al. Cover-lossless robust image watermarking against geometric deformations
CN115829819A (zh) 基于神经网络的图像鲁棒可逆信息隐藏方法、设备及介质
Abdelwahab et al. A discrete wavelet transform based technique for image data hiding
Roy et al. A hybrid domain color image watermarking based on DWT–SVD
Sari et al. Robust and imperceptible image watermarking by DC coefficients using singular value decomposition
Hu et al. Lossless robust image watermarking by using polar harmonic transform
JPH10145757A (ja) 電子透かしの挿入方法及び抽出方法
Yassin et al. QIM blind video watermarking scheme based on Wavelet transform and principal component analysis
CN118158329A (zh) 图像隐写和提取的待隐写及提取信息处理方法、电子设备
Singh et al. Comprehensive review of watermarking techniques in deep-learning environments
Wu et al. A high capacity reversible data hiding scheme with edge prediction and difference expansion
Yang et al. Adaptive real-time reversible data hiding for JPEG images
Wang et al. Privacy-preserving reversible data hiding based on quad-tree block encoding and integer wavelet transform
CN114827381A (zh) 基于条件标准化流模型的强鲁棒性图像隐写方法及系统
Akhtarkavan et al. Fragile high capacity data hiding in digital images using integer-to-integer DWT and lattice vector quantization
Cao et al. Universal screen-shooting robust image watermarking with channel-attention in DCT domain
EP1118961A2 (en) Apparatus and method for embedding information for tamper detection
JP2007522693A (ja) 整数ウェーブレット表現からの頑強な無損失データ隠蔽および復元のためのシステムおよび方法
Maniriho et al. High quality PVM based reversible data hiding method for digital images
Agarwal et al. Digital watermarking in the singular vector domain
Ghosh et al. Watermark based image authentication using integer wavelet transform
Ling et al. Watermarking for image authentication
Coltuc et al. Simple reversible watermarking schemes: further results
CN116205776A (zh) 一种基于半脆弱可逆水印的篡改定位方法
Naik et al. Joint Encryption and Compression scheme for a multimodal telebiometric system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination