CN111932431A - 基于水印分解模型的可见水印去除方法和电子设备 - Google Patents

基于水印分解模型的可见水印去除方法和电子设备 Download PDF

Info

Publication number
CN111932431A
CN111932431A CN202010643268.2A CN202010643268A CN111932431A CN 111932431 A CN111932431 A CN 111932431A CN 202010643268 A CN202010643268 A CN 202010643268A CN 111932431 A CN111932431 A CN 111932431A
Authority
CN
China
Prior art keywords
watermark
network
image
decomposition
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010643268.2A
Other languages
English (en)
Other versions
CN111932431B (zh
Inventor
白翔
柳阳
朱臻
王永攀
杨志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010643268.2A priority Critical patent/CN111932431B/zh
Publication of CN111932431A publication Critical patent/CN111932431A/zh
Application granted granted Critical
Publication of CN111932431B publication Critical patent/CN111932431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于水印分解模型的可见水印去除方法，通过结合深度网络和水印分解模型，构造一个新型的网络。首先输入一张水印图片，利用分解网络得到该图片的水印、水印透明度以及用来判断水印区域的二值掩码；然后根据水印分解公式计算间接得到初步无水印图，再将该无水印图放入优化网络，由水印图周边信息直接优化该无水印图；最后利用非水印区域不变的特征和检测得到的二值掩码得到无水印图。本发明结合了水印分解模型和深度学习网络去除水印，进行端到端的训练，在准确度上取得了卓越的效果；此外还能够在去除水印的同时分离水印，从而能够将分离的水印用于数据扩增上，让网络进行终生学习。本发明还提供了相应的电子设备。

Description

基于水印分解模型的可见水印去除方法和电子设备
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于水印分解模型的可见水印去除方法。
背景技术
可见水印广泛应用于广告、摄影图片等在网上共享时，标记并保护他们的数码照片和视频版权。但是，水印同时影响了图片及视频的视觉效果，而且阻碍了图片的重复利用。考虑到这些需要，社会付出了巨大的努力到水印去除任务。
早期的水印去除工作是基于水印图像合成模型。水印图像由无水印图像和水印组成，一种自然的想法是对水印图片进行逆分解。然而，估计正确的解决方案对他们来说是非常重要和耗时的。一些方法甚至需要用户指导或者同意水印的多个图像，使得条件过于苛刻而无法实际应用。
由于近年深度网络在机器视觉任务中已经取得了巨大的成功，以及最近公布的大规模数据集LVW推动了利用深度学习解决这项任务的热潮。一些工作将去除水印视为图像对图像的转化任务。得益于对抗声成网络强大的转化能力，这些方法取得了优异的去除性能。但是与传统方法相比，这些方法的不足之处在于无法从图像中分离出水印，从而使得更容易地利用水印。
发明内容
本发明的目的在于提供一种基于水印分解模型的可见水印去除方法，该网络结合了传统水印图像合成模型与深度学习的生成对抗网络，实现分离水印和无水印图片的功能。
为实现上述目的，按照本发明的一个方面，提供了一种基于水印分解模型的可见水印去除方法，包括：
(1.1)对原始数据集中所有图片进行标注，包括水印图片的透明度、水印、二值掩码，以及对应的无水印图，得到带标注的标准训练数据集；
(1.2)定义基于水印分解模型的可见水印去除网络模型，根据(1.1)带标注的标准训练数据集，计算训练标签，并设计损失函数，利用反向传导方法训练该分解网络，得到分解网络模型；输出包括水印透明度、水印、二值掩码、通道数为64的特征图；
(1.2.1)构建基于水印分解模型的分解网络，所述分解网络包括特征提取模块和回归分支；
特征提取模块由卷积网络组成，它以U-Net为基本网络，其中包括了4个下采样卷积编码层，其中第i层的通道数为2i+5,i∈{1,2,3,4}，和4个上采样卷积解码层，其中第j层的通道数为210-j,j∈{1,2,3,4}，并且第i个下采样层与其对应的第5-i个上采样层得到的特征图要进行深度连接作为下一个上采样层的输入；这种跳跃连接结构将低级的特征和高级的特征结合到一块，使得全局信息和边缘细节信息能够共享。待提取特征层之后接入回归模块，分别输出水印、水印透明度、二值掩码、通道数为64的一个特征图。
(1.2.2)根据水印特征检测识别水印透明度、水印、二值掩码，并以带标注训练数据集CLWD和LVW中的有水印图片作为输入，以对应的标注作为网络期望输出；
(1.3)利用水印分解模型，由有水印图片、水印透明度、水印、二值掩码计算得到初始无水印图片，对应的真实无水印图片作为网络的期望输出；分解模型具体为：
对于一张水印图X,是由水印W叠加到一张自然图片Y上得到的，在水印区域，加水印像素X(p)和无水印像素Y(p)的关系可以表示为:
X(p)＝α(p)W(p)+(1-α(p))Y(p)
其中p＝(i,j)代表像素在图像中的位置，W(p)代表p位置的水印像素值,α(p)是空间变化的不透明度，若在所有位置α(p)＝1，则水印区域图像全是水印，否则若α(p)＝0，则水印区域无水印。我们的任务是根据水印图像X得到其对应的无水印图像Y。结合上述水印图像组合公式，利用检测识别网络得到的水印透明度α及水印W,可以通过每一个像素的操作计算得到无水印图：
Figure BDA0002572196200000031
(1.4)定义优化网络，将有水印图和(1.3)得到的初始无水印图和64通道的特征图作为输入，网络根据无水印区域信息优化初始无水印图，对应的真实无水印图片作为网络期望输出；
优化网络具体为：优化网络模块由卷积网络组成，它是由三个残差块组成，每一个残差块通过将上一个残差块得到的特征图和当前块得到的特征图进行加操作作为下一个残差块的输入，有利于训练和避免信息随时，并且每一个残差块输出的特征图有180个通道。特别地，无水印图像优化模块是以(1.2.1)得到的二值掩码遮掩的无水印图以及64通道特征图合并作为输入，优化的无水印图作为输出。其中64通道特征图提供了额外的高层次语义信息，帮助网络优化无水印图。
(1.5)利用非水印区域不变性，以及(1.2)得到二值掩码，计算得到最终预测的无水印图，对应的真实无水印图片作为网络的期望输出对网络进行训练；
无水印区域不变性具体为：由于在非水印区域，水印图片和其对应的无水印图片像素值相同，所以最终的无水印图Yo(p)可以表示为：
Yo(p)＝M(p)·Y(p)+(1-M(p))·X(p)
其中Y(p)为优化模块优化得到的无水印图片，M(p)代表二值掩码在p位置的像素值。这样减少了网络负担，大大提升了网络的效果。
(1.6)定义一个判别器网络，将有水印图片和(1.5)得到的无水印图和一块输入判别器网络判别为假，对应的真实无水印图片判别为真对其进行训练；
(1.7)针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数；以训练标签gt为网络期望输出，以预测标签
Figure BDA0002572196200000041
为网络预测输出，针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数。
设计期望输出和预测输出之间的目标损失函数，整体目标损失函数为回归损失函数构成，整体目标损失函数表达式如下：
Figure BDA0002572196200000051
其中
Figure BDA0002572196200000052
代表了生成目标
Figure BDA0002572196200000053
和它的真实目标θ之间的L1或者L1感知损失，λ帮助平衡不同损失。在训练期间，生成器G被训练使得生成图像损失最小，而判别器D则被训练为使得生成图像损失最大化。除此之外生成器还有产生二值掩码、水印、水印透明度的任务，所以内容损失也作为损失函数的一部分，为了得到L1感知损失，用预训练VGG-16网络中的relu2_2层去表达无水印图
Figure BDA0002572196200000054
和Y之间的差异。
(2)利用上述训练好的模型对待去除水印图片进行去除水印，包括如下子步骤：
(2.1)对待去除水印图片进行检测识别得到水印透明度、水印、二值掩码；
(2.2)利用水印分解模型计算得到初始无水印图；
(2.3)将初始无水印图放入优化网络，网络根据水印区域周边信息优化无水印图；
(2.4)利用无水印区域不变性，最后令生成的无水印图的非水印区域和输入有水印图一致，得到最终无水印图。
按照本发明的另一方面，还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
通过本发明所构思的以上技术方案，与现有技术相比，具有以下技术效果：
(1)去除效果好：该发明针对水印分解原理，创新性地结合传统水印分解模型和深度学习方法，增强去除水印效果，此外通过分离水印用来扩增水印数据集，进一步增强了水印去除效果；
(2)通用性强：本发明由单张水印图片就可以得到无水印图片，适用范围更广；
(3)鲁棒性强：本发明扩增数据集，由原本的黑白水印扩增为彩色水印数据集，增强模型鲁棒性。
附图说明
图1是本发明基于水印分解模型的可见水印去除方法的整体网络框架；
图2是本发明实施例中使用的水印图分解和组合模型；
图3是本发明一实施例中利用训练好的基于水印分解模型的可见水印去除方法对待水印去除的可视化结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明的技术术语进行解释和说明：
VGG-16：2014年ILSVRC的亚军是VGGNet，包含16个CONV/FC层，具有非常均匀的架构，从开始到结束只执行3x3卷积和2x2池化层，成为经典的卷积神经网络模型。他们的预训练模型可用于Caffe开发框架下的即插即用，通常被现有的多数计算机视觉任务采用为网络模型的基本结构。
LVW：全称为Large-scale Visible Watermark数据集，是2018年XiangLi等提出来的黑白水印数据集，包含80个黑白水印。
CLWD：全称为Colorful Large-scale Watermark Dataset数据集，是2020年YangLiu等提出来的彩色水印数据集，包含200个彩色水印。
残差块(Residual block)：残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛(ImageNet Large ScaleVisual Recognition Challenge,ILSVRC)中获得了图像分类和物体识别的优胜。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
U-Net:2015年Olaf Ronneberger,Philipp Fischer和Thomas Brox提出了U-net网络结构，并用于ISBI比赛中电子显微镜下细胞图像的分割，以较大的优势取得了冠军。U-net是基于全卷积网络拓展和修改而来，网络由两部分组成：一个收缩路径(contractingpath)来获取上下文信息以及一个对称的扩张路径(expanding path)用以精确定位。
如图1所示，本发明基于水印分解模型的可见水印去除方法包括以下步骤：
(1.1)对原始数据集中所有图片进行标注，包括水印图片的透明度、水印、二值掩码，以及对应的无水印图，得到带标注的标准训练数据集；
(1.2)定义基于水印分解模型的可见水印去除网络模型，根据(1.1)带标注的标准训练数据集，计算训练标签，并设计损失函数，利用反向传导方法训练该分解网络，得到分解网络模型；输出包括：水印透明度、水印、二值掩码、通道数为64的特征图；
(1.2.1)构建基于水印分解模型的分解网络，所述分解网络包括特征提取模块和回归分支模块；其中：
特征提取模块由卷积网络组成，它以U-Net为基本网络，包括4个下采样卷积编码层，其中第i层的通道数为2i+5,i∈{1,2,3,4}，和4个上采样卷积解码层，第j层的通道数为210-j，j∈{1,2,3,4}，并且第i个下采样层与其对应的第5-i个上采样层得到的特征图要进行深度连接作为下一个上采样层的输入；这种跳跃连接结构将低级的特征和高级的特征结合到一块，使得全局信息和边缘细节信息能够共享。待提取特征层之后接入回归模块，分别输出水印、水印透明度、二值掩码、通道数为64的一个特征图。
(1.2.2)根据水印特征检测识别水印透明度、水印、二值掩码，并以带标注训练数据集CLWD和LVW中的有水印图片作为输入，以对应的标注作为网络期望输出；
(1.3)如图2所示，利用水印分解模型，由有水印图片、透明度、水印，二值掩码计算得到初始无水印图片，对应的真实无水印图片作为网络的期望输出；
分解模型具体为：对于一张加水印图X,是由水印W叠加到一张自然图片Y上得到的，在水印区域，加水印像素X(p)和无水印像素Y(p)的关系可以表示为:
X(p)＝α(p)W(p)+(1-α(p))Y(p)
其中p＝(i,j)代表像素在图像中的位置，W(p)代表水印在p位置的像素值，α(p)是空间变化的不透明度，若在所有位置α(p)＝1，则水印区域图像全是水印，否则若α(p)＝0，则水印区域无水印。我们的任务是根据水印图像X得到其对应的无水印图像Y。结合上述水印图像组合公式，利用检测识别网络得到的水印透明度α及水印W,可以通过每一个像素的操作计算得到无水印图：
Figure BDA0002572196200000091
(1.4)定义优化网络，将有水印图和(1.3)得到的初始无水印图和64通道的特征图作为输入，优化网络根据无水印区域信息优化初始无水印图，对应的真实无水印图片作为网络期望输出；
优化网络具体为：优化网络由卷积网络组成，它是由三个残差块组成，每一个残差块通过将上一个残差块得到的特征图和当前块得到的特征图进行加操作作为下一个残差块的输入，有利于训练和避免信息随时，并且每一个残差块输出的特征图有180个通道。特别地，优化模块是以(1.2.1)得到的二值掩码遮掩的无水印图以及64通道特征图合并作为输入，优化的无水印图作为输出。其中64通道特征图提供了额外的高层次语义信息，帮助网络优化无水印图。
(1.5)利用非水印区域不变性，以及(1.2)得到的二值掩码，计算得到最终预测的无水印区域图片，对应的真实无水印图片作为网络的期望输出对网络进行训练；无水印区域不变性具体为：由于在非水印区域，水印图片和其对应的无水印图片像素值相同，所以最终的无水印图Yo(p)可以表示为：
Yo(p)＝M(p)·Y(p)+(1-M(p))·X(p)
其中Y(p)为优化模块优化得到的无水印图片，M(p)代表二值掩码在p位置的像素值。这样减少了网络负担，大大提升了网络的效果。
(1.6)定义一个判别器网络，将(1.5)得到的无水印图和有水印图片一块输入判别器网络判别为假，对应的真实无水印图片判别为真对其进行训练；
(1.7)针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数；以训练标签gt为网络期望输出，以预测标签
Figure BDA0002572196200000101
为网络预测输出，针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数。
设计期望输出和预测输出之间的目标损失函数，整体目标损失函数为回归损失函数构成，整体目标损失函数表达式如下：
Figure BDA0002572196200000111
其中
Figure BDA0002572196200000112
代表了生成目标
Figure BDA0002572196200000113
和它的真实目标θ之间的L1或者L1感知损失，λ帮助平衡不同损失。在训练期间，生成器G被训练使得生成图像损失最小，而判别器D则被训练为使得生成图像损失最大化。除此之外生成器还有产生二值掩码、水印、水印透明度的任务，所以内容损失也作为损失函数的一部分，为了得到L1感知损失，用预训练VGG-16网络中的relu2_2层去表达无水印图
Figure BDA0002572196200000114
和Y之间的差异。
(1.8)对于设计好的网络，用标注的数据集对其训练200k次，其中λ1＝50,λ2＝1e-2,λ3＝50,λ4＝10,初始学习率为2e-4。对网络训练得到需要的网络模型。
(2)利用上述训练好的模型对待去除水印图片进行去除水印，包括如下子步骤：
(2.1)对待去除水印图片进行检测识别得到水印透明度、水印、二值掩码；
(2.2)利用水印分解模型计算得到初始无水印图；
(2.3)将初始无水印图放入优化网络，网络根据水印区域周边信息优化无水印图；
(2.4)利用无水印区域不变性，最后令生成的无水印图的非水印区域和输入有水印图一致，得到最终无水印图。图3为本发明实施例中一个最终去除水印效果图。
进一步地，本发明还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明所述的方法。
进一步地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现本发明所述的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于水印分解模型的可见水印去除方法，其特征在于，所述方法包括下述步骤：
(1)训练基于水印分解模型的可见水印去除网络模型，包括如下子步骤：
(1.1)对原始数据集中所有图片进行标注，包括水印透明度、水印、二值掩码，以及对应的无水印图，得到带标注的标准训练数据集；
(1.2)定义基于水印分解模型的可见水印去除网络模型，根据(1.1)带标注的标准训练数据集，计算训练标签，并设计损失函数，利用反向传导方法训练该分解网络，得到分解网络模型，输出包括水印透明度、水印、二值掩码、通道数为64的特征图；
(1.2.1)构建基于水印分解模型的分解网络，所述分解网络包括特征提取模块和回归分支；
(1.2.2)根据水印特征检测识别水印透明度、水印、二值掩码，并以带标注训练数据集CLWD和LVW中的有水印图片作为输入，以对应的标注作为网络期望输出；
(1.3)利用水印分解模型，由有水印图片、水印透明度、水印、二值掩码计算得到初始无水印图片，对应的真实无水印图片作为网络的期望输出；
(1.4)定义优化网络，将有水印图和(1.3)得到的初始无水印图和64通道的特征图作为输入，网络根据无水印区域信息优化初始无水印图，对应的真实无水印图片作为网络期望输出；
(1.5)利用非水印区域不变性，以及(1.2)得到的二值掩码，计算得到最终预测的无水印图，对应的真实无水印图作为网络的期望输出对网络进行训练；
(1.6)定义一个判别器网络，将有水印图和(1.5)生成的无水印图一块输入判别器网络判别为假，对应的真实无水印图片判别为真对其进行训练；
(1.7)针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数；以训练标签gt为网络期望输出，以预测标签
Figure FDA0002572196190000021
为网络预测输出，针对构建的网络模型，设计期望输出和预测输出之间的目标损失函数；
(1.8)对于设计好的网络，用标注的数据集对其训练得到需要的网络模型；
(2)利用上述训练好的模型对待去除水印图片进行去除水印，包括如下子步骤：
(2.1)对待去除水印图片进行检测识别得到水印透明度、水印、二值掩码；
(2.2)利用水印分解模型计算得到初始无水印图；
(2.3)将初始无水印图放入优化网络，网络根据水印区域周边信息优化无水印图；
(2.4)利用无水印区域不变性，最后令生成的无水印图的非水印区域和输入的有水印图一致，得到最终无水印图。
2.根据权利要求1所述的基于水印分解模型的可见水印去除方法，其特征在于，所述步骤(1.2.1)中的分解网络模型具体为：
所述分解网络模型由特征提取模块和回归模块组成，特征提取模块由卷积网络组成，它以U-Net为基本网络，其中包括了4个下采样卷积编码层，其中第i层的通道数为2i+5,i∈{1,2,3,4}，和4个上采样卷积解码层，其中第j层的通道数为210-j,j∈{1,2,3,4}，并且第i个下采样层与其对应的第5-i个上采样层得到的特征图要进行深度连接作为下一个上采样层的输入；待提取特征层之后接入回归模块，分别输出水印、水印透明度、二值掩码、通道数为64的一个特征图。
3.根据权利要求1或2所述的基于水印分解模型的可见水印去除方法，其特征在于，所述步骤(1.3)具体为：
对于一张水印图X,是由水印W叠加到一张自然图片Y上得到的，在水印区域，加水印像素X(p)和无水印像素Y(p)的关系表示为:
X(p)＝α(p)W(p)+(1-α(p))Y(p)
其中p＝(i,j)代表像素在图像中的位置，W(p)代表p位置的水印像素值，α(p)是空间变化的不透明度，若在所有位置α(p)＝1，则水印区域图像全是水印，否则若α(p)＝0，则水印区域无水印，结合上述水印图像组合公式，利用检测识别网络得到的水印透明度α及水印W,可以通过每一个像素的操作计算得到无水印图：
Figure FDA0002572196190000031
4.根据权利要求1或2所述的基于水印分解模型的可见水印去除方法，所述步骤(1.4)具体为：
优化网络模块由卷积网络组成，它是由三个残差块组成，每一个残差块通过将上一个残差块得到的特征图和当前块得到的特征图进行加操作作为下一个残差块的输入，有利于训练和避免信息随时，并且每一个残差块输出的特征图有180个通道，无水印图像优化模块是以(1.2.1)得到的二值掩码遮掩的无水印图以及64通道特征图合并作为输入，优化的无水印图作为输出。
5.根据权利要求3所述的基于水印分解模型的可见水印去除方法，所述(1.5)具体步骤为：
由于在非水印区域，水印图片和其对应的无水印图片像素值相同，所以最终的无水印图Yo(p)可以表示为：
Yo(p)＝M(p)·Y(p)+(1-M(p))·X(p)
其中Y(p)为无水印图像优化网络模块优化得到的无水印图片，M(p)代表二值掩码在p位置的像素值。
6.根据权利要求1或2所述的基于水印分解模型的可见水印去除方法，其特征在于，所述步骤(1.7)具体为：
设计期望输出和预测输出之间的目标损失函数，整体目标损失函数为回归损失函数构成，整体目标损失函数表达式如下：
Figure FDA0002572196190000041
其中
Figure FDA0002572196190000042
代表了生成目标
Figure FDA0002572196190000043
和它的真实目标θ之间的L1或者L1感知损失，λ帮助平衡不同损失。在训练期间，生成器G被训练使得生成图像损失最小，而判别器D则被训练为使得生成图像损失最大化。除此之外生成器还有产生二值掩码、水印、水印透明度的任务，所以内容损失也作为损失函数的一部分，为了得到L1感知损失，用预训练VGG-16网络中的relu2_2层去表达无水印图
Figure FDA0002572196190000051
和Y之间的差异。
7.根据权利要求6所述的基于水印分解模型的可见水印去除方法，其特征在于，所述步骤(1.8)具体为：
对于设计好的网络，用标注的数据集对其训练200k次，其中λ1＝50,λ2＝1e-2,λ3＝50,λ4＝10,初始学习率为2e-4，对网络训练得到需要的网络模型。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。
CN202010643268.2A 2020-07-07 2020-07-07 基于水印分解模型的可见水印去除方法和电子设备 Active CN111932431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010643268.2A CN111932431B (zh) 2020-07-07 2020-07-07 基于水印分解模型的可见水印去除方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010643268.2A CN111932431B (zh) 2020-07-07 2020-07-07 基于水印分解模型的可见水印去除方法和电子设备

Publications (2)

Publication Number Publication Date
CN111932431A true CN111932431A (zh) 2020-11-13
CN111932431B CN111932431B (zh) 2023-07-18

Family

ID=73314017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010643268.2A Active CN111932431B (zh) 2020-07-07 2020-07-07 基于水印分解模型的可见水印去除方法和电子设备

Country Status (1)

Country Link
CN (1) CN111932431B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052745A (zh) * 2021-04-25 2021-06-29 景德镇陶瓷大学 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷
CN113379833A (zh) * 2021-06-25 2021-09-10 合肥工业大学 一种基于神经网络的图像可见水印的定位和分割方法
CN113436050A (zh) * 2021-05-25 2021-09-24 暨南大学 一种基于双输入卷积融合的可见水印检测擦除方法
CN113691885A (zh) * 2021-09-09 2021-11-23 深圳万兴软件有限公司 视频水印的去除方法、装置、计算机设备及存储介质
CN115131252A (zh) * 2022-09-01 2022-09-30 杭州电子科技大学 基于二次编解码结构的金属物体表面高光去除方法
WO2023019682A1 (zh) * 2021-08-19 2023-02-23 广东艾檬电子科技有限公司 水印去除方法、装置、终端设备及可读存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069396A1 (en) * 2006-09-14 2008-03-20 Microsoft Corporation Visual Perception Model For Hi-Fidelity Image Watermarking
CN102890814A (zh) * 2012-11-06 2013-01-23 中国科学院自动化研究所 水印的嵌入和提取方法
CN104951795A (zh) * 2015-05-26 2015-09-30 重庆金山科技（集团）有限公司 图像分类识别判断方法
CN106651805A (zh) * 2016-12-28 2017-05-10 贵州大学 基于机器学习的图像水印去除方法
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术（上海）有限公司 图像水印自动检测方法
CN107993190A (zh) * 2017-11-14 2018-05-04 中国科学院自动化研究所 图像水印去除装置
CN108805789A (zh) * 2018-05-29 2018-11-13 厦门市美亚柏科信息股份有限公司 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质
CN109345441A (zh) * 2018-10-19 2019-02-15 上海唯识律简信息科技有限公司 一种基于生成对抗网络的图像去水印方法和系统
CN110087098A (zh) * 2018-01-26 2019-08-02 优酷网络技术（北京）有限公司 水印处理方法及装置
CN110533607A (zh) * 2019-07-30 2019-12-03 北京威睛光学技术有限公司 一种基于深度学习的图像处理方法、装置及电子设备
CN110599387A (zh) * 2019-08-08 2019-12-20 北京邮电大学 一种自动去除图片水印的方法及装置
CN110619597A (zh) * 2018-11-06 2019-12-27 北京时光荏苒科技有限公司 一种半透明水印去除方法、装置、电子设备及存储介质
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111223034A (zh) * 2019-11-14 2020-06-02 中山大学 基于深度学习的大容量抗打印/拍摄盲水印系统及方法
CN111626912A (zh) * 2020-04-09 2020-09-04 智者四海（北京）技术有限公司 水印去除方法及装置
CN112040241A (zh) * 2019-06-04 2020-12-04 山东华软金盾软件股份有限公司 一种基于深度学习的视频图像透明水印嵌入提取方法
CN112199887A (zh) * 2020-09-30 2021-01-08 山东大学 基于对抗生成网络和伪标注的半监督电阻率反演方法及系统
CN113016005A (zh) * 2018-11-13 2021-06-22 三星电子株式会社 联合无监督对象分割与修复

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069396A1 (en) * 2006-09-14 2008-03-20 Microsoft Corporation Visual Perception Model For Hi-Fidelity Image Watermarking
CN102890814A (zh) * 2012-11-06 2013-01-23 中国科学院自动化研究所 水印的嵌入和提取方法
CN104951795A (zh) * 2015-05-26 2015-09-30 重庆金山科技（集团）有限公司 图像分类识别判断方法
CN106651805A (zh) * 2016-12-28 2017-05-10 贵州大学 基于机器学习的图像水印去除方法
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术（上海）有限公司 图像水印自动检测方法
CN107993190A (zh) * 2017-11-14 2018-05-04 中国科学院自动化研究所 图像水印去除装置
CN110087098A (zh) * 2018-01-26 2019-08-02 优酷网络技术（北京）有限公司 水印处理方法及装置
CN108805789A (zh) * 2018-05-29 2018-11-13 厦门市美亚柏科信息股份有限公司 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质
CN109345441A (zh) * 2018-10-19 2019-02-15 上海唯识律简信息科技有限公司 一种基于生成对抗网络的图像去水印方法和系统
CN110619597A (zh) * 2018-11-06 2019-12-27 北京时光荏苒科技有限公司 一种半透明水印去除方法、装置、电子设备及存储介质
CN113016005A (zh) * 2018-11-13 2021-06-22 三星电子株式会社 联合无监督对象分割与修复
CN112040241A (zh) * 2019-06-04 2020-12-04 山东华软金盾软件股份有限公司 一种基于深度学习的视频图像透明水印嵌入提取方法
CN110533607A (zh) * 2019-07-30 2019-12-03 北京威睛光学技术有限公司 一种基于深度学习的图像处理方法、装置及电子设备
CN110599387A (zh) * 2019-08-08 2019-12-20 北京邮电大学 一种自动去除图片水印的方法及装置
CN111223034A (zh) * 2019-11-14 2020-06-02 中山大学 基于深度学习的大容量抗打印/拍摄盲水印系统及方法
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111626912A (zh) * 2020-04-09 2020-09-04 智者四海（北京）技术有限公司 水印去除方法及装置
CN112199887A (zh) * 2020-09-30 2021-01-08 山东大学 基于对抗生成网络和伪标注的半监督电阻率反演方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINLIN WU 等: "De-Mark GAN: Removing Dense Watermark with Generative Adversarial Network", pages 69 - 74 *
YANG LIU 等: "WDNet: Watermark-Decomposition Network for Visible Watermark Removal", pages 3685 - 3693 *
柳阳: "基于分解模型的可见水印去除网络研究", no. 1, pages 138 - 46 *
董慧: "视频可见水印检测与去除关键技术研究", vol. 30, no. 12, pages 1243 - 1252 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052745A (zh) * 2021-04-25 2021-06-29 景德镇陶瓷大学 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷
CN113436050A (zh) * 2021-05-25 2021-09-24 暨南大学 一种基于双输入卷积融合的可见水印检测擦除方法
CN113436050B (zh) * 2021-05-25 2024-07-12 暨南大学 一种基于双输入卷积融合的可见水印检测擦除方法
CN113379833A (zh) * 2021-06-25 2021-09-10 合肥工业大学 一种基于神经网络的图像可见水印的定位和分割方法
CN113379833B (zh) * 2021-06-25 2022-08-05 合肥工业大学 一种基于神经网络的图像可见水印的定位和分割方法
WO2023019682A1 (zh) * 2021-08-19 2023-02-23 广东艾檬电子科技有限公司 水印去除方法、装置、终端设备及可读存储介质
CN113691885A (zh) * 2021-09-09 2021-11-23 深圳万兴软件有限公司 视频水印的去除方法、装置、计算机设备及存储介质
CN113691885B (zh) * 2021-09-09 2024-01-30 深圳万兴软件有限公司 视频水印的去除方法、装置、计算机设备及存储介质
CN115131252A (zh) * 2022-09-01 2022-09-30 杭州电子科技大学 基于二次编解码结构的金属物体表面高光去除方法

Also Published As

Publication number Publication date
CN111932431B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111932431B (zh) 基于水印分解模型的可见水印去除方法和电子设备
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
US12039766B2 (en) Image processing method, apparatus, and computer product for image segmentation using unseen class obtaining model
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
Li et al. Towards photo-realistic visible watermark removal with conditional generative adversarial networks
CN112084859A (zh) 一种基于稠密边界块和注意力机制的建筑物分割方法
Chang et al. L-CoDer: Language-based colorization with color-object decoupling transformer
CN117370498B (zh) 一种3d开放词汇检测与密集字幕生成统一的建模方法
Li et al. Learning depth via leveraging semantics: Self-supervised monocular depth estimation with both implicit and explicit semantic guidance
CN114663371A (zh) 基于模态独有和共有特征提取的图像显著目标检测方法
CN116091765A (zh) 一种rgb-t图像语义分割方法和装置
CN117237801A (zh) 一种基于自监督学习的多模态遥感图像变化检测方法
Jin et al. Video splicing detection and localization based on multi-level deep feature fusion and reinforcement learning
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
CN117934803A (zh) 一种基于多模态特征对齐的视觉定位方法
Xiao et al. CTNet: hybrid architecture based on CNN and transformer for image inpainting detection
CN114708591B (zh) 基于单字连接的文档图像中文字符检测方法
CN116597339A (zh) 基于掩码引导半密集对比学习的视频目标分割方法
CN115797639A (zh) 一种基于多视图一致性的文本监督语义分割算法
CN115294096A (zh) 基于cnn多尺度特征提取和分层融合的图像篡改检测方法
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
Huang et al. Appearance-Agnostic Representation Learning for Compositional Action Recognition
Lin et al. Spatio-temporal co-attention fusion network for video splicing localization
CN113112454A (zh) 一种基于任务动态学习部分标记的医学图像分割方法
CN112926585A (zh) 一种基于再生核希尔伯特空间的跨域语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant