CN114493970A - 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质 - Google Patents

面向图像实例级局部区域的图像鲁棒水印方法、系统及介质 Download PDF

Info

Publication number
CN114493970A
CN114493970A CN202210107992.2A CN202210107992A CN114493970A CN 114493970 A CN114493970 A CN 114493970A CN 202210107992 A CN202210107992 A CN 202210107992A CN 114493970 A CN114493970 A CN 114493970A
Authority
CN
China
Prior art keywords
layer
image
convolution
network
sampling coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210107992.2A
Other languages
English (en)
Inventor
何明锦
冯丙文
刘志全
魏凯敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202210107992.2A priority Critical patent/CN114493970A/zh
Publication of CN114493970A publication Critical patent/CN114493970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种面向图像实例级局部区域的图像鲁棒水印方法、系统及介质。本发明将水印信息嵌入到图像的局部实例语义区域，所生成的局部含密图与原始图像在观感上无显著差异。此外，本发明将图像修复领域的部分卷积运用到局部水印信息的扩散上，提高了模型的鲁棒性，有助于水印提取网络对水印信息的提取。相比较于传统水印方案或使用基于CNN的一般方案，本发明创造适用于图像像素级的一个或多个实例区域的图像水印信息的嵌入和提取，使得一副图像所能承载的水印信息的更为多样。

Description

面向图像实例级局部区域的图像鲁棒水印方法、系统及介质
技术领域
本发明属于图像信息隐藏领域的技术领域，具体涉及一种面向图像实例级局部区域的图像鲁棒水印方法、系统及介质。
背景技术
水印技术被广泛应用于数字图像和视频的知识产权保护。它将水印信息不可见地嵌入到在原始图像上，使得任何用户无法在观感上对含水印图像和原始图像产生明显差别，从而达到不对图像外观造成影响的前提下，提供版权保护等功能。此外，在现实应用场景下，由于图像在经过各种传输信道和物理成像管道时，无可避免的会遭到多种主动或被动的水印攻击，从而造成图像的失真，因此这种模式通常应该是鲁棒性的，能够抵抗水印攻击带来的失真。
随着深度卷积网络(CNN)的快速发展，出现了很多基于CNN的自动嵌入水印的方法，但是目前主流的基于CNN的水印方案，基本都是在整张原始图像进行水印信息的嵌入，然后捕获整张图片后再进行消息的提取，并没有针对图像局部区域的图像实例级局部区域的水印方法，这对于需要在超大型海报(难以捕获整张完整含水印图像)中提取完整的消息或对图像的不同实例级局部区域嵌入不同的消息时，现有的水印方案显然已不能满足这样的需求。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向图像实例级局部区域的图像鲁棒水印方法、系统及介质。
为了达到上述目的，本发明采用以下技术方案：
本发明的一个方面，提供了一种面向图像实例级局部区域的图像鲁棒水印方法，包括下述步骤：
选择需要嵌入的水印信息和原始载体图像Ic；
将载体图像Ic输入实例分割网络1，得到载体图像Ic对应的实例级二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；
将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；
依据二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
对实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
将扭曲形变图Iwarp输入实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；
将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
作为优选的技术方案，所述实例分割网络1和实例分割网络2为maskrcnn_resnet50_fpn预训练模型。
作为优选的技术方案，所述水印嵌入网络包括7层下采样编码卷积层，均采用ReLU激活函数，其中第1层下采样编码卷积层的卷积核数目为3，卷积步长为1，填充数为1，以Ic和Sec的像素级拼接为输入；第2-7层下采样编码卷积层的卷积核数目均为3，卷积步长均为2，填充数为1，且均进行BatchNorm批量归一化操作，每层以上一层下采样编码卷积层的输出作为输入；
所述水印嵌入网络还包括7层上采样编码卷积层，卷积核数目均为3，卷积步长均为1，填充数均为1；其中第1-6层上采样编码卷积层均采用LeakyReLU激活函数，并进行BatchNorm批量归一化操作；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出的像素级拼接作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出Ic以及Sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
作为优选的技术方案，所述鉴别器网络包括5层鉴别器卷积层，每层以上一层鉴别器卷积层的输出作为输入，第1层鉴别器卷积层以水印嵌入网络的输出作为输入；其中第1-3层鉴别器卷积层的卷积核数目均为3，卷积步长均为2，填充数为1；其中第4-5层鉴别器卷积层的卷积核数目均为3，卷积步长均为1，填充数为1；其中第2-4层鉴别器卷积层均进行BatchNorm批量归一化操作；其中第1-4层鉴别器卷积层均采用LeakyReLU激活函数，第5层鉴别器卷积层采用Sigmoid激活函数。
作为优选的技术方案，所述噪声层对放缩、JPEG有损压缩、运动和散焦模糊、色彩偏移、高斯噪声以及扭曲形变进行模拟。
作为优选的技术方案，所述将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取，具体为：
将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络的基于部分卷积的水印信息扩散网络，得到扩散的含密区域的图Iext；
将得到的扩散的含密区域的图Iext输入水印提取网络的基于普通卷积的提取网络，得到最初嵌入的水印信息。
作为优选的技术方案，所述基于部分卷积的水印信息扩散网络包括7层下采样编码卷积层，均采用ReLU激活函数；其中第1层下采样编码卷积层的卷积核数目为7，卷积步长为2，填充数为3，以Ipartial_sec和Im2的像素级拼接为输入；第2-4层下采样编码卷积层的卷积核数目均为5，卷积步长均为2，填充数为2；第5-7层下采样编码卷积层的卷积核数目均为3，卷积步长均为2，填充数为1；第2-7层下采样编码卷积层中每层均以上一层下采样编码卷积层的输出作为输入，且均进行BatchNorm批量归一化操作；
所述基于部分卷积的水印信息扩散网络还包括7层上采样编码卷积层，卷积核数目均为1，卷积步长均为1，填充数均为1；其中第1-6层上采样编码卷积层均采用LeakyReLU激活函数，并进行BatchNorm批量归一化操作；其中第7层上采样编码卷积层采用Tanh激活函数；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出以及Ipartial_sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
作为优选的技术方案，所述基于普通卷积的提取网络包括依次连接的8层卷积层以及2层全连接层；其中第1、3、5、7层卷积层的卷积核数目均为3，卷积步长均为2，填充数为1，第2、4、6、8层卷积层的卷积核数目均为3，卷积步长均为1，填充数为1；其中第2与第3、第4与第5、第6与第7层卷积层之间均进行Dropout随机失活操作，第8层卷积层和第1层全连接层之间进行Flatten拉伸操作；所述8层卷积层与第1层全连接层均采用ReLU激活函数，第2层全连接层采用Sigmoid激活函数。
本发明的另一个方面，提供了一种面向图像实例级局部区域的图像鲁棒水印系统，应用于上述的面向图像实例级局部区域的图像鲁棒水印方法，包括水印嵌入模块、鉴别模块、噪声模拟模块以及水印提取模块；
所述水印嵌入模块用于选择需要嵌入的水印信息和原始载体图像Ic；将载体图像Ic输入实例分割网络1，得到载体图像Ic对应的实例级二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；依据二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
所述鉴别模块用于通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
所述噪声模拟模块用于对实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
所述水印提取模块用于将扭曲形变图Iwarp输入实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
本发明的另一个方面，提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的面向图像实例级局部区域的图像鲁棒水印方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明提供了适用于对图像实例级局部区域进行水印信息的嵌入和提取的网络，在将水印信息嵌入到图像的任意实例级局部区域中，所生成的局部含密图与原始图像在观感上无显著差异。
(2)本发明只把水印信息嵌入图像的一部分区域中，因此可以在一幅图像的不同区域嵌入不同的消息，使得一副图像所能承载的水印信息的更为多样，且受到影响的只是图像嵌入水印信息所对应的局部区域，这扩展了数字水印的应用场景。
(3)与此同时，对于诸如屏幕展示/物理打印-摄像机拍摄等对于鲁棒性要求较高的实际应用场景，本发明的水印提取网络能很好地检测出水印位置并且能以较高的准确率进行水印的提取。产生该效果是本发明先将水印消息在空间上进行复制再连结到原始图像上，进而输入到编码器中，得到的结果再依据实例分割网络得到的掩码与原始图像进行拼接以及水印提取网络先用部分卷积对局部含密信息进行扩散所带来的。将水印消息在空间上进行复制再连结到原始图像上确保了下一层中的每个卷积滤波器在卷积通过的每个空间位置上都能够访问整个消息，使得编码器可以轻松地学习在输出的任何空间位置嵌入消息的一部分，后面的拼接操作使得结果图像局部含密。
(4)本发明将用于图像修复的部分卷积应用在局部含密消息的扩散有助于水印提取网络对水印信息的提取。
附图说明
图1是本发明实施例所述面向图像实例级局部区域的图像鲁棒水印方法的流程图；
图2是本发明实施例所述面向图像实例级局部区域的图像鲁棒水印方法训练阶段的流程图；
图3是本发明实施例所述面向图像实例级局部区域的图像鲁棒水印系统的结构示意图；
图4是本发明实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
本发明提出了一个端到端训练的对图像的一个或多个实例级局部区域进行水印嵌入和提取的深度学习模型。它由6个模块组成：2个Mask R-CNN实例分割网络，水印嵌入网络、噪声层，鉴别器网络、水印提取网络。Mask R-CNN实例分割网络1用来对原始图像进行在像素级上的实例分割，以产生待嵌入区域所对应的掩码，为后续生成的实例级局部区域含密图提供一个必须的标明嵌入区域位置的二进制掩码，编码网络接收待嵌入的水印信息和原始图像，生成全局含密图像，鉴别器网络用于判断原始图像与生成的全局含密图像，用来提升水印嵌入网络生成的图像的质量，再根据之前生成的标明嵌入区域位置的二进制掩码，将全局含密图与原始图像进行拼接以生成实例级局部区域含密图，再将实例级局部区域含密图输入到噪声层中，用于模拟实际应用中的各种攻击以提高网络的鲁棒性，Mask R-CNN实例分割网络2则对经噪声层处理后的局部区域含密图进行含密实例级局部区域的像素级实例分割以得到含密区域图，提取网络则用于对实例级局部区域含密图中的含密区域图进行水印的提取。
如图1所示，本实施例提供了一种面向图像实例级局部区域的图像鲁棒水印方法，包括以下步骤：
步骤1-1：选择需要嵌入的水印信息和原始载体图像Ic；
步骤1-2：将载体图像Ic输入Mask R-CNN实例分割网络1，得到载体图像Ic对应的实例级局部区域二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；
步骤1-3：将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；
步骤1-4：依据步骤1-2得到的二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
步骤1-5：训练阶段，如图2所示，通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
步骤2：对步骤1-4得到的实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；该噪声层模拟实际使用环境中在传输信道的分发和物理成像后捕获图片过程中所产生的噪声和扭曲；
步骤3-1：将扭曲形变图Iwarp输入Mask R-CNN实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；
步骤3-2：将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
步骤3-2-1：将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络的基于部分卷积的水印信息扩散网络，得到扩散的含密区域的图Iext；
步骤3-2-2：将步骤3-2-1得到的扩散的含密区域的图Iext输入水印提取网络的基于普通卷积的提取网络，得到最初嵌入的水印信息。
进一步的，所述Mask R-CNN实例分割网络1和Mask R-CNN实例分割网络2调用了PyTorch官方提供的maskrcnn_resnet50_fpn预训练模型，其中，Mask R-CNN实例分割网络1的输入为Ic，输出为Im1；Mask R-CNN实例分割网络2的输入为Irec，输出为Im2；此外，还可以选用其他实例分割算法实现以达到相近或更好的效果。
进一步的，所述水印嵌入网络的结构如表1所示，所述鉴别器网络的结构如表2所示，所述水印提取网络中包括基于部分卷积的水印信息扩散网络(其结构如表3所示)、基于普通卷积的提取网络(其结构如表4所示)。其中表头的Layer表示网络层，k表示卷积核的数目，s表示卷积的步长，p表示填充数，channel表示经过网络层前/后的特征维度数，N表示使用的归一化操作，AF表示使用的激活函数，Input表示当前网络层的输入。在表格中，空白项表示该项没有使用或不存在。表格中con表示卷积层，Linear表示全连接层，Linear和con后面的数字为网络层的标号，BN表示名为“BatchNorm”的批量归一化操作，Dropout为名为“Dropout”的随机失活操作，Flatten为对卷积生成的特征图进行拉伸的操作，ReLU表示名为“ReLU”的激活函数，LeakyReLU表示名为“LeakyReLU”的激活函数，Ic表示原始载体图像，Sec表示待嵌入的水印信息，Lsec表示水印信息的长度(单位是Bit)，Ipartial_sec表示Mask R-CNN分割出来的实例级局部含密图，Im表示实例级局部含密图所对应的二进制掩码，“+”表示像素级的拼接操作，en表示水印嵌入网络的下采样编码阶段，de表示水印嵌入网络的上采样解码阶段。
Layer k s p channels N A F input
en con1 3 1 1 3+L<sub>sec</sub>/64 ReLU I<sub>c</sub>+Sec
en con2 3 2 1 64/128 BN ReLU en con1
en con3 3 2 1 128/256 BN ReLU en con2
en con4 3 2 1 256/512 BN ReLU en con3
en con5 3 2 1 512/512 BN ReLU en con4
en con6 3 2 1 512/512 BN ReLU en con5
en con7 3 2 1 512/512 BN ReLU en con6
de con1 3 1 1 1024/512 BN LeakyReLU en con7+en con6
de con2 3 1 1 1024/512 BN LeakyReLU de con1+en con5
de con3 3 1 1 1024/512 BN LeakyReLU de con2+en con4
de con4 3 1 1 768/256 BN LeakyReLU de con3+en con3
de con5 3 1 1 384/128 BN LeakyReLU de con4+en con2
de con6 3 1 1 192/64 BN LeakyReLU de con5+en con1+I<sub>c</sub>+Sec
de con7 3 1 1 67/3 de con6
表1.水印嵌入网络的结构
如表1所示，所述水印嵌入网络包括7层下采样编码卷积层，均采用ReLU激活函数，其中第1层下采样编码卷积层的卷积核数目为3，卷积步长为1，填充数为1，以Ic和Sec的像素级拼接为输入；第2-7层下采样编码卷积层的卷积核数目均为3，卷积步长均为2，填充数为1，且均进行BatchNorm批量归一化操作，每层以上一层下采样编码卷积层的输出作为输入；
所述水印嵌入网络还包括7层上采样编码卷积层，卷积核数目均为3，卷积步长均为1，填充数均为1；其中第1-6层上采样编码卷积层均采用LeakyReLU激活函数，并进行BatchNorm批量归一化操作；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出的像素级拼接作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出Ic以及Sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
Layer k s p channels N A F input
con_1 3 2 1 3/64 LeakyReLU de con7
con_2 3 2 1 64/128 BN LeakyReLU con_1
con_3 3 2 1 128/256 BN LeakyReLU con_2
con_4 3 1 1 256/512 BN LeakyReLU con_3
con_5 3 1 1 512/1 Sigmoid con_4
表2.鉴别器网络的结构
如表2所示，所述鉴别器网络包括5层鉴别器卷积层，每层以上一层鉴别器卷积层的输出作为输入，第1层鉴别器卷积层以水印嵌入网络的输出作为输入；其中第1-3层鉴别器卷积层的卷积核数目均为3，卷积步长均为2，填充数为1；其中第4-5层鉴别器卷积层的卷积核数目均为3，卷积步长均为1，填充数为1；其中第2-4层鉴别器卷积层均进行BatchNorm批量归一化操作；其中第1-4层鉴别器卷积层均采用LeakyReLU激活函数，第5层鉴别器卷积层采用Sigmoid激活函数。
Figure BDA0003494016390000121
表3.基于部分卷积的水印信息扩散网络的结构
如表3所示，所述基于部分卷积的水印信息扩散网络包括7层下采样编码卷积层，均采用ReLU激活函数；其中第1层下采样编码卷积层的卷积核数目为7，卷积步长为2，填充数为3，以Ipartial_sec和Im2的像素级拼接为输入；第2-4层下采样编码卷积层的卷积核数目均为5，卷积步长均为2，填充数为2；第5-7层下采样编码卷积层的卷积核数目均为3，卷积步长均为2，填充数为1；第2-7层下采样编码卷积层中每层均以上一层下采样编码卷积层的输出作为输入，且均进行BatchNorm批量归一化操作；
所述基于部分卷积的水印信息扩散网络还包括7层上采样编码卷积层，卷积核数目均为1，卷积步长均为1，填充数均为1；其中第1-6层上采样编码卷积层均采用LeakyReLU激活函数，并进行BatchNorm批量归一化操作；其中第7层上采样编码卷积层采用Tanh激活函数；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出以及Ipartial_sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
Figure BDA0003494016390000131
Figure BDA0003494016390000141
表4.基于普通卷积的提取网络的结构
如图4所示，所述基于普通卷积的提取网络包括依次连接的8层卷积层以及2层全连接层；其中第1、3、5、7层卷积层的卷积核数目均为3，卷积步长均为2，填充数为1，第2、4、6、8层卷积层的卷积核数目均为3，卷积步长均为1，填充数为1；其中第2与第3、第4与第5、第6与第7层卷积层之间均进行Dropout随机失活操作，第8层卷积层和第1层全连接层之间进行Flatten拉伸操作；所述8层卷积层与第1层全连接层均采用ReLU激活函数，第2层全连接层采用Sigmoid激活函数。
进一步的，所述噪声层对放缩、JPEG有损压缩、运动和散焦模糊、色彩偏移、高斯噪声以及扭曲形变进行模拟。
如图3所示，在本申请的另一个实施例中，提供了一种面向图像实例级局部区域的图像鲁棒水印系统，该系统包括水印嵌入模块、鉴别模块、噪声模拟模块以及水印提取模块；
所述水印嵌入模块用于选择需要嵌入的水印信息和原始载体图像Ic；将载体图像Ic输入实例分割网络1，得到载体图像Ic对应的实例级二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；依据二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
所述鉴别模块用于通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
所述噪声模拟模块用于对实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
所述水印提取模块用于将扭曲形变图Iwarp输入实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的一种面向图像实例级局部区域的图像鲁棒水印方法。
如图4所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现一种面向图像实例级局部区域的图像鲁棒水印方法，具体为：
步骤1-1：选择需要嵌入的水印信息和原始载体图像Ic；
步骤1-2：将载体图像Ic输入Mask R-CNN实例分割网络1，得到载体图像Ic对应的实例级局部区域二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；
步骤1-3：将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；
步骤1-4：依据步骤1-2得到的二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
步骤1-5：训练阶段，如图2所示，通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
步骤2：对步骤1-4得到的实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
步骤3-1：将扭曲形变图Iwarp输入Mask R-CNN实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；
步骤3-2：将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
步骤3-2-1：将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络的基于部分卷积的水印信息扩散网络，得到扩散的含密区域的图Iext；
步骤3-2-2：将步骤3-2-1得到的扩散的含密区域的图Iext输入水印提取网络的基于普通卷积的提取网络，得到最初嵌入的水印信息。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，包括下述步骤：
选择需要嵌入的水印信息和原始载体图像Ic；
将载体图像Ic输入实例分割网络1，得到载体图像Ic对应的实例级二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；
将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；
依据二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
对实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
将扭曲形变图Iwarp输入实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；
将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
2.根据权利要求1所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述实例分割网络1和实例分割网络2为maskrcnn_resnet50_fpn预训练模型。
3.根据权利要求1所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述水印嵌入网络包括7层下采样编码卷积层，均采用ReLU激活函数，其中第1层下采样编码卷积层以Ic和Sec的像素级拼接为输入；第2-7层下采样编码卷积层，每层以上一层下采样编码卷积层的输出作为输入；
所述水印嵌入网络还包括7层上采样编码卷积层；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出的像素级拼接作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出Ic以及Sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
4.根据权利要求1所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述鉴别器网络包括5层鉴别器卷积层，每层以上一层鉴别器卷积层的输出作为输入，第1层鉴别器卷积层以水印嵌入网络的输出作为输入。
5.根据权利要求1所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述噪声层对放缩、JPEG有损压缩、运动和散焦模糊、色彩偏移、高斯噪声以及扭曲形变进行模拟。
6.根据权利要求1所述的一种面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取，具体为：
将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络的基于部分卷积的水印信息扩散网络，得到扩散的含密区域的图Iext；
将得到的扩散的含密区域的图Iext输入水印提取网络的基于普通卷积的提取网络，得到最初嵌入的水印信息。
7.根据权利要求6所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述基于部分卷积的水印信息扩散网络包括7层下采样编码卷积层；其中第1层下采样编码卷积层以Ipartial_sec和Im2的像素级拼接为输入；第2-7层下采样编码卷积层中每层均以上一层下采样编码卷积层的输出作为输入，且均进行BatchNorm批量归一化操作；
所述基于部分卷积的水印信息扩散网络还包括7层上采样编码卷积层；其中第1层上采样编码卷积层以第7-6层下采样编码卷积层的输出作为输入，第2层上采样编码卷积层以第1层上采样编码卷积层和第5层下采样编码卷积层的输出的像素级拼接作为输入，第3层上采样编码卷积层以第2层上采样编码卷积层和第4层下采样编码卷积层的输出的像素级拼接作为输入，第4层上采样编码卷积层以第3层上采样编码卷积层和第3层下采样编码卷积层的输出的像素级拼接作为输入，第5层上采样编码卷积层以第4层上采样编码卷积层和第2层下采样编码卷积层的输出的像素级拼接作为输入，第6层上采样编码卷积层以第5层上采样编码卷积层和第1层下采样编码卷积层的输出以及Ipartial_sec的像素级拼接作为输入，第7层上采样编码卷积层以第6层上采样编码卷积层的输出作为输入。
8.根据权利要求6所述的面向图像实例级局部区域的图像鲁棒水印方法，其特征在于，所述基于普通卷积的提取网络包括依次连接的8层卷积层以及2层全连接层；其中第2与第3、第4与第5、第6与第7层卷积层之间均进行Dropout随机失活操作，第8层卷积层和第1层全连接层之间进行Flatten拉伸操作。
9.面向图像实例级局部区域的图像鲁棒水印系统，其特征在于，应用于权利要求1-8中任一项所述的面向图像实例级局部区域的图像鲁棒水印方法，包括水印嵌入模块、鉴别模块、噪声模拟模块以及水印提取模块；
所述水印嵌入模块用于选择需要嵌入的水印信息和原始载体图像Ic；将载体图像Ic输入实例分割网络1，得到载体图像Ic对应的实例级二进制掩码，再从分割到的所有实例对象中根据需要选择一个或多个实例对象，得到对应的二进制掩码Im1；将水印信息在空间上进行复制形成Sec，将Sec与原始载体图像Ic逐像素进行拼接，并输入水印嵌入网络生成全局含密图；依据二进制掩码Im1，掩码为0和掩码为1的部分分别用原始载体图和全局含密图进行填充得到实例级局部含密图Ires；
所述鉴别模块用于通过鉴别器网络判断原始载体图像Ic与实例级局部含密图Ires的真假，提升水印嵌入网络生成的图像的质量；
所述噪声模拟模块用于对实例级局部含密图Ires建立噪声层，进行现实应用场景噪声的模拟，得到对应的扭曲形变图Iwarp；
所述水印提取模块用于将扭曲形变图Iwarp输入实例分割网络2，得到含密区域对应的二进制掩码Im2，将纠正图Irec与二进制掩码Im2相乘，得到只含含密区域的图Ipartial_sec；将二进制掩码Im2和只含含密区域的图Ipartial_sec输入水印提取网络进行水印信息的提取。
10.一种存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-8任一项所述的面向图像实例级局部区域的图像鲁棒水印方法。
CN202210107992.2A 2022-01-28 2022-01-28 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质 Pending CN114493970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210107992.2A CN114493970A (zh) 2022-01-28 2022-01-28 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210107992.2A CN114493970A (zh) 2022-01-28 2022-01-28 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质

Publications (1)

Publication Number Publication Date
CN114493970A true CN114493970A (zh) 2022-05-13

Family

ID=81476386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210107992.2A Pending CN114493970A (zh) 2022-01-28 2022-01-28 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114493970A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984082A (zh) * 2023-03-21 2023-04-18 杭州虎符网络有限公司 暗水印添加和提取方法、装置、存储介质和终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984082A (zh) * 2023-03-21 2023-04-18 杭州虎符网络有限公司 暗水印添加和提取方法、装置、存储介质和终端

Similar Documents

Publication Publication Date Title
CN111681155B (zh) 一种基于深度学习的gif动态图像水印方法
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN111932432B (zh) 盲水印的植入方法、检测方法、装置、设备及存储介质
CN115131188A (zh) 一种基于生成对抗网络的鲁棒图像水印方法
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN114493970A (zh) 面向图像实例级局部区域的图像鲁棒水印方法、系统及介质
CN112950739A (zh) 纹理生成方法、装置、设备及存储介质
CN113034413A (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN115482142A (zh) 暗水印添加方法、提取方法、系统、存储介质及终端
Lu et al. Wavelet-based CNN for robust and high-capacity image watermarking
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
Zeng et al. Deep residual network for halftone image steganalysis with stego-signal diffusion
Jia et al. RIVIE: Robust inherent video information embedding
CN116503277A (zh) 基于注意力机制的低光图像增强和水印嵌入协作网络
Liu et al. Hiding Functions within Functions: Steganography by Implicit Neural Representations
CN111814543B (zh) 深度视频对象修复篡改检测方法
CN108876691B (zh) 自适应可逆水印方法及系统
CN109917906A (zh) 一种基于增强现实技术实现景点互动的方法及系统
CN112016456B (zh) 基于自适应反向投影深度学习的视频超分辨率方法及系统
CN114936996A (zh) 一种图像检测方法、装置、智能设备及存储介质
CN114549270A (zh) 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法
CN114119330A (zh) 一种基于神经网络的鲁棒数字水印嵌入、提取方法
Go et al. An image fusion scheme for single-shot high dynamic range imaging with spatially varying exposures
Shi et al. Perceptual image enhancement by relativistic discriminant learning with cross-scale aggregated representation
CN117611422B (zh) 一种基于摩尔纹生成的图像隐写方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination