CN114841846A - 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法 - Google Patents

一种基于视觉感知的自编码彩色图像鲁棒水印处理方法 Download PDF

Info

Publication number
CN114841846A
CN114841846A CN202210541123.0A CN202210541123A CN114841846A CN 114841846 A CN114841846 A CN 114841846A CN 202210541123 A CN202210541123 A CN 202210541123A CN 114841846 A CN114841846 A CN 114841846A
Authority
CN
China
Prior art keywords
watermark
image
loss
carrier
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210541123.0A
Other languages
English (en)
Inventor
陈北京
常轩铭
吴韵清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210541123.0A priority Critical patent/CN114841846A/zh
Publication of CN114841846A publication Critical patent/CN114841846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，利用载体图像训练集和原始水印图像训练集对AGWNet中水印嵌入模块进行训练，获得含水印图像与载体图像的结构损失和视觉感知损失；将含水印图像输入到AGWNet中噪声攻击模块，生成攻击后的水印图像；将攻击后的水印图像输入AGWNet中水印提取模块进行训练，获得提取的水印与原始水印图像的交叉熵损失；根据结构损失、视觉感知损失和交叉熵损失求取整体损失，当整体损失迭代中出现小于阈值时，获得训练后的AGWNet；利用训练后的AGWNet，完成水印的嵌入或提取。本发明能够在保证含水印图像质量的同时，提高水印的鲁棒性。

Description

一种基于视觉感知的自编码彩色图像鲁棒水印处理方法
技术领域
本发明涉及一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，属于数字图像水印技术领域。
背景技术
含水印图像的质量，即水印不可见性，与被攻击情况下提取水印的精度，即水印对于攻击的鲁棒性，是评估水印方法好坏的两个重要指标。2017年以来，出现许多基于深度学习的彩色图像鲁棒水印方法。2018年，Zhu等提出首先将自编码器结构引入到彩色图像鲁棒水印领域，创造性地将水印嵌入和提取过程看成图像信息的重建，并提出端到端的训练方式，巧妙的让神经网络自适应地寻找不可见性和鲁棒性的平衡点。但是，如何更好地引导网络在这个双任务优化问题中求得更优解并加强网络嵌入的可解释性，依然是学术界的一个难题。
在提升算法鲁棒性的研究方面，针对JPEG压缩攻击进行改进的工作是最多的。在提高含水印图像不可见性的研究方面，随着注意力机制的火热，2020年，Yu等提出首先在水印领域引入注意模型，通过预训练的ResNet50网络生成载体图像的注意力掩模，并将载体、水印和注意力掩膜融合，从而产生更好的含水印图像。然而，该方法仅仅依赖另一个网络生成的特征图作为嵌入的引导，没有充分考虑到每个像素对编码信息的鲁棒性。
Zhang等提出利用载体重建损失的梯度来生成注意力掩膜，根据生成的掩膜提前筛选适合嵌入的位置，因此该方案的水印嵌入容量受限且难以处理二维有意义水印信息，其方案中展示的最大嵌入容量仅支持90比特位，同时，这种方式在网络可解释性上稍有欠缺。
基于上述分析，现有端到端训练的鲁棒水印算法难以在不可见性和鲁棒性上都给出有竞争力的实验结果，其原因在于没有很好地解决以下两个问题：(1)没有在水印嵌入阶段加入先验知识引导，给载体不同位置赋予不同的嵌入强度，水印嵌入方式缺乏可解释性；(2)没有在嵌入和提取阶段重建图像时，解决长距离特征丢失问题，网络在寻找双任务最优点时难以取得高效平衡。
发明内容
目的：为了克服现有技术中存在的难以在端到端训练中同时获得水印不可见性与鲁棒性，本发明提供一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，能够在保证含水印图像质量的同时，提高水印的鲁棒性。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，包括如下步骤：
利用载体图像训练集和原始水印图像训练集对AGWNet中水印嵌入模块进行训练，获得含水印图像与载体图像的结构损失和视觉感知损失。
将含水印图像输入到AGWNet中噪声攻击模块，生成攻击后的水印图像。
将攻击后的水印图像输入AGWNet中水印提取模块进行训练，获得提取的水印与原始水印图像的交叉熵损失。
根据结构损失、视觉感知损失和交叉熵损失求取整体损失，当整体损失迭代中出现小于阈值时，获得训练后的AGWNet。
利用训练后的AGWNet，完成水印的嵌入或提取。
作为优选方案，利用载体图像训练集和原始水印图像训练集对AGWNet中水印嵌入模块进行训练，包括：
1-1：提取出载体图像的B通道输入到水印嵌入模块，将载体图像的R、G通道保留。
1-2：将B通道输入卷积层，卷积层输出尺寸b×32×32×63的特征图。
1-3：随机生成一个32×32大小的二值水印图像，将二值水印图像与特征图在特征通道上进行Concat，Concat层输出1×32×32×64含水印载体特征。
1-4：将含水印载体特征映射到三个新的特征空间Query、Key与Value，对三个新特征空间分别作注意力卷积，Query与Key经过注意力卷积后得到尺寸均为1×32×32×8的输出，而Value经过注意力卷积后得到尺寸为1×32×32×63的输出；将卷积后的Key转置与卷积后的Query进行矩阵乘法，并将结果进行Softmax得到注意力掩膜。将卷积后的Value与原始水印图像在特征通道上进行Concat，将Concat得到的结果与注意力掩膜进行矩阵元素相乘，并乘上嵌入因子得到含水印载体特征。
1-5：将含水印载体特征通过注意力残差连接层进行拼接，得到尺寸为1×32×32×64加权含水印载体特征。
1-6：利用反卷积和卷积层将加权含水印载体特征重建，输出尺寸为1×256×256×1含水印B通道。
1-7：将含水印B通道与载体图像的R、G通道进行拼接，还原为含水印的彩色图像。
作为优选方案，结构损失计算公式如下：
Figure BDA0003649484550000041
其中，I为原始载体图像，Iw为含水印图像，μI和σI分别是原载体像素的均值和方差，
Figure BDA0003649484550000042
和
Figure BDA0003649484550000043
分别是含水印图像的均值和方差，c1和c2是防止分母出现0的平衡常数。
作为优选方案，视觉感知损失计算公式如下：
Figure BDA0003649484550000044
其中，Meye为惩罚权重，Mc、Nc是图像尺寸长、宽，i，j为原始载体图像I和含水印图像Iw像素点的长、宽。
其中，
Figure BDA0003649484550000045
其中，σc为色度权重的比例，σt为纹理权重的比例，Mcolor为色度权重，Mtexture为纹理权重。
作为优选方案，所述将含水印图像输入到AGWNet中噪声攻击模块，生成攻击后的水印图像，包括：
对含水印图像随机选择一种信号处理攻击，生成攻击后的含水印图像。所述信号处理攻击至少包括以下所述其中之一：JPEG有损压缩攻击、高斯白噪声攻击、均值滤波攻击和随机丢弃攻击。
作为优选方案，所述JPEG有损压缩攻击的强度因子为80；均值滤波攻击的均值滤波尺寸为3×3；随机丢弃攻击的丢弃比例为1％。
作为优选方案，所述将攻击后的水印图像输入AGWNet中水印提取模块进行训练，包括：
3-1：将攻击后的含水印图像的B’通道输入卷积层，卷积层输出尺寸为b×64×64×16攻击后的含水印载体特征。
3-3：将攻击后的含水印载体特征映射到三个新的特征空间Query、Key与Value，对三个新特征空间分别进行注意力卷积，Query与Key经过注意力卷积后得到尺寸均为1×64×64×4的输出，而Value经过注意力卷积后得到尺寸为1×64×64×16的输出。将卷积后的Key转置与卷积后的Query作矩阵乘法，并将结果进行Softmax得到注意力掩膜。最后将Value经过注意力卷积后的输出与注意力掩膜进行矩阵元素相乘得到含水印载体特征。
3-4：将含水印载体特征通过注意力残差连接层在特征通道上进行拼接，拼接后的结果输入卷积层，得到提取的水印图像。
作为优选方案，获得提取的水印与原始水印图像的交叉熵损失，包括：
Figure BDA0003649484550000051
其中，w为原始水印，
Figure BDA0003649484550000061
为提取水印，尺寸均为Mw×Nw，Mw、Nw是图像尺寸长、宽，
Figure BDA0003649484550000062
为求取交叉熵。
作为优选方案，根据结构损失、视觉感知损失和交叉熵损失求取整体损失，包括：
Lossall＝α1×Lossstru+α2×Losseye+α3×Losscross
其中：α1、α2、α3为调节各个损失函数权重的超参数；Lossall为整体损失，Lossstru为结构损失，Losseye为视觉感知损失，Losscross为交叉熵损失。
有益效果：本发明提供的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，在保证含水印图像质量的前提下，提升了端到端训练过程中涉及到的攻击的鲁棒性，并通过实验证明了所提方法对常见的如裁剪、压缩等信号处理攻击和本发明未涉及到的信号处理攻击同样具有良好的泛化性能。
附图说明
图1为本发明的方法流程图。
图2为所提模型端到端训练框架图。
图3为攻击效果展示图。
图4为嵌入网络框架图。
图5为提取网络框架图。
图6为本水印方法性能可视化(每1组图从左到右分别为原始载体、含水印载体、原始水印、提取水印)。
图7为原始载体与对应的含水印图像B通道残差分析(每1组图从左到右分别为原始载体、原始载体B通道、含水印载体B通道、残差10倍图)。
图8为不同模型在不同攻击下提取水印图像和比特出错概率值(BER)。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
如图1所示，一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，通过构建一个端到端训练的神经网络来完成彩色图像的水印嵌入与提取，其中神经网络的输入为载体图像与随机生成的二值水印图像，神经网络的输出为含水印图像，下面将本发明中设计的神经网络称为AGWNet。
AGWNet中包括三个模块：水印嵌入模块、噪声攻击模块与水印提取模块，分别对应图2中的水印嵌入算法、水印攻击与水印提取算法。
水印嵌入模块与水印提取模块的设计，解决了现有方案嵌入和提取阶段的图像重建中，长距离特征丢失的问题。
本发明中AGWNet损失函数的设计，解决了现有方案嵌入水印缺乏先验知识引导，从而使得水印信息不能很好利用载体图像的特征进行水印嵌入的问题。水印嵌入、提取模块与损失函数的设计，使得AGWNet生成水印图像的质量优于现有方案。
噪声攻击模块的设计用于提高水印图像的鲁棒性。在本发明中将此模块加入到水印嵌入模块与水印提取模块的中间进行网络训练，使得AGWNet在保证含水印图像质量的同时，提高水印图像的鲁棒性。下面依次说明AGWNet中水印嵌入模块、水印提取模块、噪声攻击模块的构建方式、损失函数设计与训练过程，前三者只描述AGWNet的构建与设计，其作用将会在训练过程的描述中给出。
AGWNet的构建方式
(1)水印嵌入模块网络结构见下表1所示，其中输入、输出尺寸中的b为batchsize，第二、三个参数描述特征图的空间尺寸，最后一个参数为特征图的数量，即特征通道数。卷积核尺寸中的第一个参数为卷积核数量，后两个参数描述卷积核大小，/表示没有。
表1水印嵌入模块网络参数的详细配置
Figure BDA0003649484550000081
(2)水印提取模块网络结构见下表2所示，其中的参数含义与(1)中描述的一致。
表2水印提取模块网络参数的详细配置
Figure BDA0003649484550000091
如图3所示，(3)噪声攻击模块：此模块位于水印嵌入模块与水印提取模块的中间，包括JPEG有损压缩攻击、高斯白噪声攻击、均值滤波攻击和随机丢弃攻击，其中JPEG压缩攻击的强度因子为80，均值滤波尺寸为3×3，Dropout的丢弃比例为1％。
AGWNet损失函数设计
AGWNet中设计了三个损失函数：结构损失函数、视觉感知损失函数与交叉熵损失函数。前两者用于水印嵌入模块中，计算载体图像与含水印图像之间的损失；后者用于水印提取模块中，计算原始输入水印与提取出来的水印之间的损失。
现有工作中没有考虑通过先验知识引导进行水印嵌入，仅仅利用卷积网络将水印信息与载体图像特征融合来得到水印图像，这使得载体中不同位置被嵌入的水印信息量与嵌入强度只能让网络在没有先验知识情况下重新探索与学习，所以对于这种水印嵌入的方式缺乏可解释性。为了使嵌入水印的方法能让水印图像不可见性提高，并具有可解释性，本发明在水印嵌入模块中通过设计结构损失函数与视觉感知损失函数，引入先验知识进行水印的嵌入，下面是详细描述。
在本发明的水印嵌入模块中不仅考虑了含水印图像与载体图像间的结构性衡量指标SSIM，使用结构损失函数；还从人眼的视觉特征出发，对载体图像色度和纹理的分布进行讨论，提出视觉感知损失函数，引导网络向蓝绿色区域、纹理丰富区域嵌入水印，进一步提升含水印图像的质量：
(1)结构损失函数计算步骤：SSIM是衡量两幅图像相似性的普遍使用的指标，两幅图像越相似，SSIM的值越接近1。SSIM相比均方误差(Mean Square Error，MSE)，更能衡量图像结构相似性，同时由于神经网络的损失函数是最小化梯度优化，所以使用1减去原始载体图像I和含水印图像Iw的SSIM值作为水印嵌入模块神经网络的损失函数的一部分，计算过程如下：
Figure BDA0003649484550000101
其中，μI和σI分别是原载体像素的均值和方差，
Figure BDA0003649484550000102
和
Figure BDA0003649484550000103
分别是含水印图像的均值和方差，c1和c2是防止分母出现0的平衡常数。
(2)视觉感知损失函数计算步骤：在MSE的基础上，为每个像素点计算出特定的惩罚权重，惩罚权重的计算规则基于人眼视觉特性。惩罚权重由两部分组成，一部分是色度权重，一部分是纹理权重：
(2-1)色度权重：人眼对红色区域的变化敏感，对蓝色和绿色的敏感度较低。Cr分量大的像素点，应该减少修改，从而引导网络向红色色度低的区域嵌入。由于YCbCr颜色空间将色度和亮度分开，更符合人眼视觉特性，因此在计算色度权重前，需要将载体图像和含水印图像从RGB颜色空间转换到YCbCr颜色空间，转换公式遵守ITU标准：
R＝Min(Max(0,Round(Y+1.402×(Cr-128))),255)
G＝Min(Max(0,Round(Y-0.3441×(Cb-128)-0.7141×(Cr-128))),255)
B＝Min(Max(0,Round(Y-1.772×(Cb-128))),255)
为了训练阶段保持一致的量纲，需要对Cr分量进行归一化处理。因此，用1减去原载体的Cr分量归一化矩阵，得到MSE损失的色度惩罚权重，具体计算方法为：
Figure BDA0003649484550000111
其中，A为全1矩阵，g为归一化函数，用于约束色度信息的取值范围为0到1，ICr为原始载体的Cr分量。
(2-2)纹理权重：人眼对纹理单调区域的变化敏感，对纹理丰富区域不太敏感。因此需要为每个像素点计算纹理度，纹理度数值小的像素点，表示其与周边像素点的差异较小，更可能是平滑区域，应该减少修改，从而引导网络向纹理丰富的区域嵌入。纹理丰富即该点像素值与周边像素值的差异较大，因此对每个像素点，计算其与周边像素的差异值，即可表示为其纹理度，该计算过程类似滑动窗，具体计算方法为：
Figure BDA0003649484550000121
其中，I(i,j)是图像在(i,j)位置的像素值，k为水平滑动距离，l为垂直滑动距离，I(i+k，j+l)是图像在(i+k，j+l)位置的像素值，D为滑动窗宽度，滑动窗尺寸为(2D+1)×(2D+1)，本方法中D的取值为1，g为归一化函数。
视觉感知损失的惩罚权重即上述色度权重和纹理权重的加权和，具体计算方法为：
Figure BDA0003649484550000122
其中，σc为色度权重的比例，σt为纹理权重的比例，本发明中均取1。得到视觉感知损失惩罚权重后，本发明中提出的视觉感知损失可表示为：
Figure BDA0003649484550000123
其中，Mc、Nc是图像尺寸长、宽，i，j为原始载体图像I和含水印图像Iw的像素点长、宽。
(3)交叉熵损失函数计算步骤：水印提取模块的任务是准确地提取出二值水印，可以看作一个二分类问题，交叉熵是分类问题里常用的损失函数，因此使用交叉熵作为提取网络的损失函数：
Figure BDA0003649484550000124
其中，w为原始水印，
Figure BDA0003649484550000131
为提取水印，尺寸均为Mw×Nw，Mw、Nw是图像尺寸长、宽，
Figure BDA0003649484550000132
为求取交叉熵。
(4)AGWNet的总损失为上述三个损失函数的加权和，具体表示为：
Lossall＝α1×Lossstru+α2×Losseye+α3×Losscross
其中α1、α2、α3为调节各个损失函数权重的超参数。AGWNet的训练就是通过减小这个总损失来调整AGWNet网络参数。
AGWNet训练过程
本发明中使用的训练集为256×256的彩色图像，下面将任意取出的一张彩色图像称为载体图像。本发明中为了训练AGWNet能够嵌入任意的二值水印图像，使含水印图像优于现有方案的不可见性与鲁棒性，嵌入的水印设置为随机生成的固定32×32大小的二值图像，下面称此为原始水印图像。
步骤1：从训练集中读取一张载体图像，输入到AGWNet中，即AGWNet的水印嵌入模块中，在此过程中将原始水印图像嵌入到载体图像中，生成含水印图像，并将此与载体图像计算结构损失与视觉感知损失；
步骤2：将含水印图像输入到噪声攻击模块，生成攻击后的水印图像；
步骤3：将攻击后的水印图像输入到水印提取模块，输出提取的水印，并将此与原始水印图像计算交叉熵损失；
步骤4：将步骤1、步骤3中的损失加权求和，得到AGWNet的整体损失，通过减少这个损失，来训练网络中的参数；
进一步地，结合上表1与下图4，说明在步骤1中水印嵌入的具体过程：
1-1：彩色图像的R、G、B通道中，对于B通道的修改不易被人眼察觉，故在本发明中，提取出载体图像的B通道输入到水印嵌入模块，将载体图像的R、G通道保留，用于后续合成含水印图像。
1-2：将B通道输入卷积层1～5，得到63个尺寸为32×32的特征图，即表中卷积层5的输出尺寸b×32×32×63，此处由于描述一张载体图像在AGWNet中的处理过程，故b可以看作为1。这5个卷积层的作用就是提取出载体图像的特征。
1-3：对这一张载体图像随机生成一个32×32大小的二值水印图像，将其与1-2中提取的特征图在特征通道上进行Concat，得到1×32×32×64的输出，在表1中体现在Concat层，在图4中也可以看到与原始水印图像拼接后的含水印载体特征。
1-4：得到含水印图像的过程可以看作是图像生成任务，这里引入自注意力机制帮助网络捕获含水印载体特征中长距离依赖的特征，来更好地提高水印图像的质量。具体做法是：将含水印载体特征映射到三个新的特征空间Query、Key与Value，在图4中分别由绿色、红色和蓝色的方格表示。对三个新特征空间分别作注意力卷积，即表1中的注意力卷积层1～3，Query与Key经过注意力卷积后输出尺寸均为1×32×32×8，而Value经过注意力卷积后输出尺寸为1×32×32×63。将卷积后的Key转置与卷积后的Query作矩阵乘法，并将结果作Softmax得到注意力掩膜。将卷积后的Value与原始水印图像在特征通道上作Concat(让水印信息足够冗余)，将得到的结果与注意力掩膜作矩阵元素相乘，并乘上嵌入因子控制水印嵌入强度。
1-5：将1-4中得到的结果通过注意力残差连接层，与含水印载体特征在特征通道上进行拼接，最后得到加权含水印载体特征，其尺寸为1×32×32×64。
1-6：利用反卷积操作，将加权含水印载体特征重建为含水印B通道。反卷积1～3将特征图的空间尺寸放大，特征通道数量减少。其中穿插三个卷积层6～8，用于解决反卷积操作对特征图产生棋盘伪影的问题。最后输出含水印B通道，输出尺寸为1×256×256×1。
1-7：将含水印B通道与1-1中保留的R、G通道进行拼接，还原为含水印的彩色图像。
进一步地，结合下图3，说明在步骤2中对含水印图像进行噪声攻击的作用与具体流程：
2-1：在对含水印图像进行水印提取前，对其添加一种信号处理攻击，生成攻击后的水印图像，通过训练AGWNet使得其能对这样的图像也能够进行有效地水印提取，来提高AGWNet生成的水印图像可对训练过的攻击鲁棒。同时信号处理攻击都会具有一定的相似性，若AGWNet生成的水印图像可对一种攻击鲁棒，则对另一种相似的攻击也会具有鲁棒性。
2-2：噪声攻击模块中包括JPEG有损压缩攻击、高斯白噪声攻击、均值滤波攻击和随机丢弃攻击，其中JPEG压缩攻击的强度因子为80，均值滤波尺寸为3×3，Dropout的丢弃比例为1％。彩色图像被这四种信号处理攻击后的效果图如图3所示，对于训练集中的每张载体图像，每一次epoch噪声攻击模块都会随机选择一种攻击；
2-3：将含水印图像输入到噪声攻击模块，并随机选择一种信号处理攻击，生成攻击后的含水印图像。
进一步地，结合上表2与下图5，说明在步骤3中水印提取的具体过程：
3-1：在水印嵌入模块中，水印是嵌入在载体图像B通道中的，所以将输入的攻击后的含水印图像的B’通道输入到水印提取模块。
3-2：将B’通道输入卷积层1～3，得到16个尺寸为64×64的特征图，即表中卷积层3的输出尺寸b×64×64×16，此处由于描述一张载体图像在AGWNet中的处理过程，故b可以看作为1。这3个卷积层的作用就是提取出攻击后的水印图像的特征，即图5中的含水印载体特征。
3-3：从含水印图像中提取出水印的过程也可以看作为图像生成任务。由于水印嵌入时使用自注意力机制捕获特征图中长距离依赖的特征，来引导水印信息在特征图中的分布，所以在水印提取模块中，也需要使用自注意力机制，捕获含水印载体特征中的长距离依赖，来提高提取水印图像生成的准确性。具体做法是：将含水印载体特征映射到三个新的特征空间Query、Key与Value，在图5中分别由绿色、红色和蓝色的方格表示。对三个新特征空间分别作注意力卷积，即表2中的注意力卷积层1～3，Query与Key经过注意力卷积后输出尺寸均为1×64×64×4，而Value经过注意力卷积后输出尺寸为1×64×64×16。将卷积后的Key转置与卷积后的Query作矩阵乘法，并将结果作Softmax得到注意力掩膜。最后将Value经过注意力卷积后的结果与注意力掩膜作矩阵元素相乘。
3-4：将3-3中得到的结果通过注意力残差连接层，与含水印载体特征在特征通道上进行拼接，得到的结果输入卷积层4～7，最后得到提取水印图像。
AGWNet测试结果
本发明中设计的水印嵌入网络AGWNet解决了现有方案中难以在端到端训练中同时获得水印不可见性与鲁棒性的问题，故下面主要分析由AGWNet生成水印图像的不可见性与鲁棒性结果。
下面展示不可见性结果与分析：
(1)训练好的AGWNet在两个测试数据集上进行测试，对于ImageNet数据集和BossBase数据集，原始载体图像和含水印图像之间的平均SSIM值分别为0.9918和0.9905，无攻击情况下，原始水印和提取水印之间的平均BER值分别为0.097％和0.196％。下图6给出了两个测试数据集上的原始载体图像和对应的含水印图像、原始水印图像和对应的提取水印图像，并给出了SSIM值和BER值，(a)和(b)组载体图像来自ImageNet数据集，(c)和(d)组载体图像来自BossBase数据集。每一组图像中，第一幅为原始载体，第二幅为含水印图像，第三幅为原始水印图像，第四幅为提取的水印图像。可以看出，无论是在库内测试集还是在跨库测试集，含水印图像中的水印是不可见的，无攻击下可以准确地提取出有意义二值水印的信息。
(2)：本方法在算法设计阶段充分考虑了人眼的视觉特性，因此对含水印图像和原始载体作差，进一步深入地分析含水印图像的修改情况。图7展示了上述图6给出的四组原始载体和含水印图像的残差分析结果。每一排从左到右分别是原始载体、原始载体B通道、含水印图像B通道、原始载体B通道和含水印图像B通道的残差图(为观察方便放大了10倍)。对照原始载体的彩色图像不难得出，含水印图像与原始载体的差异之处集中在纹理丰富的区域，并且在蓝绿色等冷色区域的改动相比红色等暖色区域更多，符合算法设计的初衷，从数值和视觉效果两方面，验证了AGWNet在不可见性上的优越性。
下面展示鲁棒性结果与分析：
(1)为了展现本方法与现有先进鲁棒水印模型的性能差异，选择3个先进的算法作为对照模型，分别是Zhu等、Luo等和Zhang等的模型。这三个模型均在GitHub代码管理平台开源了代码和模型，为公平起见，使用ImageNet训练数据集重新训练了Zhu等、Luo等和Zhang等的模型，设置载体尺寸为256×256，嵌入水印容量为1024比特位，训练涉及到的超参数均遵循其论文的说明。为准确评估鲁棒提升模型的性能，下表3展示了本文所提鲁棒提升模型和上述Zhu等、Luo等和Zhang等的模型，在四种攻击(本方法训练阶段考虑的攻击类型)上的性能结果，表中提取水印图像的BER值为所示不同攻击强度下的平均值。
表3不同模型性能对比表(训练考虑的攻击类型)
Figure BDA0003649484550000191
(2)为了展示本方法所提模型在面对攻击时的泛化性能，从两方面进行了评估：a.对于训练阶段出现过的攻击，使用与训练阶段不同的攻击强度进行测试；b.评估模型能否抵抗一些测试阶段未出现过的未知类型的攻击。
针对同种攻击不同攻击强度的泛化性评估，下表4和表5展示了所提模型和三个对比模型在同种攻击类型不同攻击强度下提取水印的BER值。可以看出，由于本方法提出的模型在训练阶段加入了压缩因子80的JPEG、3×3卷积核尺寸的均值滤波、标准差为1的高斯白噪声、随机丢弃比例为1％的Dropout，所以在测试阶段，面对这四种强度的攻击时鲁棒性能相对更优。
表4不同模型面对不同强度JPEG和均值滤波攻击的BER值
Figure BDA0003649484550000201
表4不同模型面对不同强度Drop和高斯白噪声攻击的BER值
Figure BDA0003649484550000202
针对训练阶段未出现过的攻击的泛化性评估，下表6展示了本方法所提模型和三个对比模型面对训练阶段未出现过的攻击(泊松噪声、高斯模糊)的性能结果。从表中数据可以看出，本方法法所提鲁棒提升模型即使面对训练阶段未出现过的攻击，仍然保持较好的性能，展现了所提模型对未知信号处理攻击的良好泛化性能。
表5不同模型性能对比表(训练未考虑的攻击类型)
Figure BDA0003649484550000203
Figure BDA0003649484550000211
为了更直接感受到本方法所提模型在各种攻击下水印提取相比与三个对比模型的优越性，下图8展示了不同模型在不同攻击下提取水印图像和BER值。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：包括如下步骤：
利用载体图像训练集和原始水印图像训练集对AGWNet中水印嵌入模块进行训练，获得含水印图像与载体图像的结构损失和视觉感知损失；
将含水印图像输入到AGWNet中噪声攻击模块，生成攻击后的水印图像；
将攻击后的水印图像输入AGWNet中水印提取模块进行训练，获得提取的水印与原始水印图像的交叉熵损失；
根据结构损失、视觉感知损失和交叉熵损失求取整体损失，当整体损失迭代中出现小于阈值时，获得训练后的AGWNet；
利用训练后的AGWNet，完成水印的嵌入或提取。
2.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：利用载体图像训练集和原始水印图像训练集对AGWNet中水印嵌入模块进行训练，包括：
1-1：提取出载体图像的B通道输入到水印嵌入模块，将载体图像的R、G通道保留；
1-2：将B通道输入卷积层，卷积层输出尺寸b×32×32×63的特征图；
1-3：随机生成一个32×32大小的二值水印图像，将二值水印图像与特征图在特征通道上进行Concat，Concat层输出1×32×32×64含水印载体特征；
1-4：将含水印载体特征映射到三个新的特征空间Query、Key与Value，对三个新特征空间分别作注意力卷积，Query与Key经过注意力卷积后得到尺寸均为1×32×32×8的输出，而Value经过注意力卷积后得到尺寸为1×32×32×63的输出；将卷积后的Key转置与卷积后的Query进行矩阵乘法，并将结果进行Softmax得到注意力掩膜；将卷积后的Value与原始水印图像在特征通道上进行Concat，将Concat得到的结果与注意力掩膜进行矩阵元素相乘，并乘上嵌入因子得到含水印载体特征；
1-5：将含水印载体特征通过注意力残差连接层进行拼接，得到尺寸为1×32×32×64加权含水印载体特征；
1-6：利用反卷积和卷积层将加权含水印载体特征重建，输出尺寸为1×256×256×1含水印B通道；
1-7：将含水印B通道与载体图像的R、G通道进行拼接，还原为含水印的彩色图像。
3.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：结构损失计算公式如下：
Figure FDA0003649484540000021
其中，I为原始载体图像，Iw为含水印图像，μI和σI分别是原载体像素的均值和方差，
Figure FDA0003649484540000022
和
Figure FDA0003649484540000023
分别是含水印图像的均值和方差，c1和c2是防止分母出现0的平衡常数。
4.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：视觉感知损失计算公式如下：
Figure FDA0003649484540000031
其中，Meye为惩罚权重，Mc、Nc是图像尺寸长、宽，i，j为原始载体图像I和含水印图像Iw像素点的长、宽；
其中，
Figure FDA0003649484540000032
其中，σc为色度权重的比例，σt为纹理权重的比例，Mcolor为色度权重，Mtexture为纹理权重。
5.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：所述将含水印图像输入到AGWNet中噪声攻击模块，生成攻击后的水印图像，包括：
对含水印图像随机选择一种信号处理攻击，生成攻击后的含水印图像。所述信号处理攻击至少包括以下所述其中之一：JPEG有损压缩攻击、高斯白噪声攻击、均值滤波攻击和随机丢弃攻击。
6.根据权利要求5所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：所述JPEG有损压缩攻击的强度因子为80；均值滤波攻击的均值滤波尺寸为3×3；随机丢弃攻击的丢弃比例为1％。
7.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：所述将攻击后的水印图像输入AGWNet中水印提取模块进行训练，包括：
3-1：将攻击后的含水印图像的B’通道输入卷积层，卷积层输出尺寸为b×64×64×16攻击后的含水印载体特征；
3-3：将攻击后的含水印载体特征映射到三个新的特征空间Query、Key与Value，对三个新特征空间分别进行注意力卷积，Query与Key经过注意力卷积后得到尺寸均为1×64×64×4的输出，而Value经过注意力卷积后得到尺寸为1×64×64×16的输出；将卷积后的Key转置与卷积后的Query作矩阵乘法，并将结果进行Softmax得到注意力掩膜；最后将Value经过注意力卷积后的输出与注意力掩膜进行矩阵元素相乘得到含水印载体特征；
3-4：将含水印载体特征通过注意力残差连接层在特征通道上进行拼接，拼接后的结果输入卷积层，得到提取的水印图像。
8.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：获得提取的水印与原始水印图像的交叉熵损失，包括：
Figure FDA0003649484540000041
其中，w为原始水印，
Figure FDA0003649484540000042
为提取水印，尺寸均为Mw×Nw，Mw、Nw是图像尺寸长、宽，
Figure FDA0003649484540000043
为求取交叉熵。
9.根据权利要求1所述的一种基于视觉感知的自编码彩色图像鲁棒水印处理方法，其特征在于：根据结构损失、视觉感知损失和交叉熵损失求取整体损失，包括：
Lossall＝α1×Lossstru+α2×Losseye+α3×Losscross
其中：α1、α2、α3为调节各个损失函数权重的超参数；Lossall为整体损失，Lossstur为结构损失，Losseye为视觉感知损失，Losscross为交叉熵损失。
CN202210541123.0A 2022-05-18 2022-05-18 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法 Pending CN114841846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541123.0A CN114841846A (zh) 2022-05-18 2022-05-18 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541123.0A CN114841846A (zh) 2022-05-18 2022-05-18 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法

Publications (1)

Publication Number Publication Date
CN114841846A true CN114841846A (zh) 2022-08-02

Family

ID=82571264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541123.0A Pending CN114841846A (zh) 2022-05-18 2022-05-18 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法

Country Status (1)

Country Link
CN (1) CN114841846A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880125A (zh) * 2023-03-02 2023-03-31 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法
CN116342362A (zh) * 2023-05-31 2023-06-27 齐鲁工业大学(山东省科学院) 深度学习增强数字水印不可感知性方法
CN117255232A (zh) * 2023-11-14 2023-12-19 南京信息工程大学 基于自注意力机制的dwt域鲁棒视频水印方法及系统
CN117876273A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN118134740A (zh) * 2024-05-07 2024-06-04 浙江大学 一种基于非决策域方法的模型水印方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880125A (zh) * 2023-03-02 2023-03-31 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法
CN115880125B (zh) * 2023-03-02 2023-05-26 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法
CN116342362A (zh) * 2023-05-31 2023-06-27 齐鲁工业大学(山东省科学院) 深度学习增强数字水印不可感知性方法
CN116342362B (zh) * 2023-05-31 2023-07-28 齐鲁工业大学(山东省科学院) 深度学习增强数字水印不可感知性方法
CN117255232A (zh) * 2023-11-14 2023-12-19 南京信息工程大学 基于自注意力机制的dwt域鲁棒视频水印方法及系统
CN117255232B (zh) * 2023-11-14 2024-01-26 南京信息工程大学 基于自注意力机制的dwt域鲁棒视频水印方法及系统
CN117876273A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN117876273B (zh) * 2024-03-11 2024-06-07 南京信息工程大学 一种基于可逆生成对抗网络的鲁棒图像处理方法
CN118134740A (zh) * 2024-05-07 2024-06-04 浙江大学 一种基于非决策域方法的模型水印方法及装置

Similar Documents

Publication Publication Date Title
CN114841846A (zh) 一种基于视觉感知的自编码彩色图像鲁棒水印处理方法
CN106462771A (zh) 一种3d图像的显著性检测方法
CN103345758B (zh) 基于dct统计特征的jpeg图像区域复制篡改盲检测方法
Po et al. A novel patch variance biased convolutional neural network for no-reference image quality assessment
CN110084757A (zh) 一种基于生成对抗网络的红外深度图像增强方法
CN114049335B (zh) 一种基于时空注意力的遥感影像变化检测方法
CN111612708B (zh) 一种基于对抗生成网络的图像修复方法
Wang et al. A new blind image quality framework based on natural color statistic
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN113256494B (zh) 一种文本图像超分辨率方法
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
CN117252936A (zh) 一种适配多种训练策略的红外图像彩色化方法及系统
CN112149662A (zh) 一种基于扩张卷积块的多模态融合显著性检测方法
CN115209119A (zh) 一种基于深度神经网络的视频自动着色方法
CN110910347A (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
Siddiqui et al. Hierarchical color correction for camera cell phone images
CN113643400B (zh) 一种图像生成方法
Yuan et al. Color image quality assessment with multi deep convolutional networks
Osahor et al. Quality map fusion for adversarial learning
JP4243144B2 (ja) 文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination