CN107993190B - 图像水印去除装置 - Google Patents
图像水印去除装置 Download PDFInfo
- Publication number
- CN107993190B CN107993190B CN201711123854.9A CN201711123854A CN107993190B CN 107993190 B CN107993190 B CN 107993190B CN 201711123854 A CN201711123854 A CN 201711123854A CN 107993190 B CN107993190 B CN 107993190B
- Authority
- CN
- China
- Prior art keywords
- residual error
- image
- watermark
- generator
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 47
- 230000006870 function Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明涉及图像处理技术领域，具体提供了一种图像水印去除装置，旨在解决如何提升恢复图像的图片质量和人脸验证准确率的技术问题。为此目的，本发明中的图像水印去除装置可以基于对抗生成网络模型对人脸图像进行去水印处理，其中，对抗生成网络模型中的生成器可以依据人脸图像生成对应的无水印图像，判别器可以判断无水印图像的整体图像和局部图像是否为真实图像，优化模块对生成器和判别器进行优化。进一步地，该装置还可以包括人脸识别模型，以提取无水印原始图像和生成器所生成的无水印图像的人脸特征，进一步优化生成器和判别器。本发明的技术方案，能够在获取高质量无水印图像的同时有效保护图像所包含的信息。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像水印去除 装置。
背景技术
人证比对指的是通过对比人的证件照和现场拍摄的照片，对 人的身份进行验证。在一些场合，出于对用户隐私的考虑，常常会对证 件照加上水印。尽管卷积神经网络在人脸识别上取得了非常大的突破， 但是证件照上的水印，会对人脸造成遮挡，导致人证比对的准确率大幅 度降低。传统的方法是训练全卷积网络，去除证件照的水印。但是这种 方法，在去除水印的同时会丢失掉证件照的部分身份信息，恢复的人脸 接近平均脸，导致人证比对的准确率不高。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提升恢复 图像的图片质量和人脸验证准确率的技术问题，本发明提供了一种图像 水印去除装置。
本发明中的图像水印去除装置，包括对抗生成网络模型，其 配置为对人脸图像进行去水印处理；所述对抗生成网络模型包括生成器、 判别器和优化模块；
所述生成器，配置为依据所述人脸图像生成对应的无水印图 像；
所述判别器，配置为判断所述生成器所生成的无水印图像的 整体图像和局部图像是否为真实图像；
所述优化模块，配置为按照下式所示的对抗损失函数优化所 述生成器和判别器：
其中，所述lossg和lossd分别为所述生成器和判别器的损失 函数，所述x1为带水印人脸图像，所述[G(x1)]+为对生成器G生成的无 水印图像G(x1)进行裁剪后得到的局部图像，所述y1为所述带水印人脸图 像x1对应的无水印原始图像，所述y2为所述无水印原始图像y1中与所述 [G(x1)]+对应的局部图像，所述D1(y1)为判别器中全局判别单元D1的输 出结果，所述D2(y2)为判别器中局部判别单元D2的输出结果，所述λ1和 λ2均为预设的平衡系数。
进一步地，本发明提供的一个优选技术方案为：
所述装置还包括人脸识别模型；
所述人脸识别模型，配置为提取所述无水印原始图像y1和所 述生成器生成的无水印图像G(x1)中的人脸特征；
所述优化模块，进一步配置为按照下式所示的组合损失函数 优化所述生成器和判别器：
其中，所述Gloss和Dloss分别为所述生成器和判别器的组 合损失函数，所述lossfeature为依据所述人脸识别模型所提取的人脸特征 构建的特征损失函数，所述losspixel为依据所述带水印人脸图像x1与无 水印原始图像y1的像素差所构建的像素损失函数，所述γ1、γ2、γ3、γ4和γ5均为预设的平衡系数。
进一步地，本发明提供的一个优选技术方案为：
所述特征损失函数lossfeature如下式所示：
lossfeature＝||φ(y1)-φG(x1)||2
其中，所述φ(y1)为人脸识别模型φ对无水印原始图像y1提取得到的人脸特征，所述φG(x1)为人脸识别模型φ对无水印图像 G(x1)提取得到的人脸特征，所述||||2表示2范数。
进一步地，本发明提供的一个优选技术方案为：
所述像素损失函数losspixel如下式所示：
losspixel＝||y1-x1||2
其中，所述||||2表示2范数。
进一步地，本发明提供的一个优选技术方案为：
所述生成器包括编码器和解码器；
所述编码器包括串联的多个第一残差单元，其中，所述第一 残差单元包括下采样残差块和尺度不变残差块，且所述下采样残差块的 输入侧为第一残差单元的输入侧，所述尺度不变残差块的输出侧为第一 残差单元的输出侧，所述下采样残差块的输出侧与所述尺度不变残差块 的输入侧相连；
所述解码器包括串联的多个第二残差单元，其中，所述第二 残差单元包括上采样残差块和尺度不变残差块，且所述上采样残差块的 输入侧为第二残差单元的输入侧，所述尺度不变残差块的输出侧为第二 残差单元的输出侧，所述上采样残差块的输出侧与所述尺度不变残差块 的输入侧相连。
进一步地，本发明提供的一个优选技术方案为：
所述判别器中的全局判别单元D1包括依次连接的第一卷积 层、第一残差模块、第一池化层和第一线性层，其中，所述第一残差模 块包括多个串联的第三残差单元；
所述第三残差单元包括下采样残差块和上采样残差块，且所 述下采样残差块的输入侧为第三残差单元的输入侧，上采样残差块的输 出侧为第三残差单元的输出侧，所述下采样残差块的输出侧与所述上采 样残差块的输入侧相连。
进一步地，本发明提供的一个优选技术方案为：
所述判别器中的局部判别单元D2包括依次连接的第二卷积 层、第二残差模块、第二池化层和第二线性层，其中，所述第二残差模 块包括多个串联的第三残差单元。
进一步地，本发明提供的一个优选技术方案为：
所述人脸识别模型为基于卷积神经网络的信息识别模型。
与最接近的现有技术相比，上述技术方案至少具有以下有益 效果：
1、本发明中的生成器采用自动编码器结构，能够有效控制 生成器的输出图像，具体地，通过编码器将输入到生成器的带水印图像 编码为一定维度的向量，进而通过解码器对编码器编码得到的向量进行 解码，得到无水印图像。
2、本发明中的判别器包括全局判别单元和局部判别单元， 其中，全局判别单元能够对生成器所生成的无水印图像整体进行真伪判 断，局部判别单元能够对无水印图像中的部分区域，如眼睛进行真伪判 断，基于上述结构能够提高无水印图像的质量和验证准确率。
3、本发明中的人脸识别模型可以提取无水印原始图像和生 成器所生成的无水印图像的人脸特征，进而依据人脸特征进一步地优化 生成器，以降低无水印原始图像与无水印图像的特征差异性。
4、本发明中的对抗生成网络模型采用残差块堆叠网络结构， 其中，残差块主要包括上采样残差块、下采样残差块和尺度不变残差块， 基于上述结构能够有效加强图像的边缘信息，提高生成器所生成的无水 印图像的图像质量，还能够提高判别器的判别能力、鲁棒性和收敛速度。
附图说明
图1是本发明实施例中对抗生成网络模型的主要结构示意 图；
图2是本发明实施例中图像水印去除装置的主要结构示意 图；
图3是本发明实施例中尺度不变残差块的主要结构示意图；
图4是本发明实施例中下采样残差块的主要结构示意图；
图5是本发明实施例中上采样残差块的主要结构示意图；
图6是本发明实施例中生成器的主要结构示意图；
图7是本发明实施例中编码器和解码器的主要结构示意图；
图8是本发明实施例中第一残差模块的主要结构示意图；
图9是本发明实施例中第二残差模块的主要结构示意图；
图10是本发明实施例中全局判别单元的主要结构示意图；
图11是本发明实施例中局部判别单元的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人 员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非 旨在限制本发明的保护范围。
下面结合附图，对本发明实施例中的一种图像水印去除装置 进行说明。具体地，本实施例中图像水印去除装置主要包括对抗生成网 络模型，该模型可以配置为对包含有水印的人脸图像进行去水印处理。
参阅附图1，图1示例性示出了本实施例中对抗生成网络模 型的主要结构。如图1所示，本实施例中对抗生成网络模型可以包括生 成器11、判别器12和优化模块13。其中，生成器11可以配置为依据人 脸图像生成对应的无水印图像。判别器12可以配置为判断生成器11所 生成的无水印图像的整体图像和局部图像是否为真实图像。优化模块13 可以配置为按照下式(1)所示的对抗损失函数优化生成器11和判别器 12。
公式(1)中各参数含义为：
lossg和lossd分别为生成器11和判别器12的损失函数，x1为带水印人脸图像，[G(x1)]+为对生成器G生成的无水印图像G(x1)进行 裁剪后得到的局部图像，y1为带水印人脸图像x1对应的无水印原始图像， y2为无水印原始图像y1中与[G(x1)]+对应的局部图像，D1(y1)为判别器 中全局判别单元D1的输出结果，D2(y2)为判别器中局部判别单元D2的输 出结果，λ1和λ2均为预设的平衡系数，其中，λ1和λ2可以平衡不同损失 函数的相互影响。
本实施例中生成器11可以包括编码器和解码器。编码器 可以包括串联的多个第一残差单元，其中，第一残差单元包括下采样残 差块和尺度不变残差块，且下采样残差块的输入侧为第一残差单元的输 入侧，尺度不变残差块的输出侧为第一残差单元的输出侧，下采样残差 块的输出侧与尺度不变残差块的输入侧相连。解码器可以包括串联的多 个第二残差单元，其中，第二残差单元包括上采样残差块和尺度不变残 差块，且上采样残差块的输入侧为第二残差单元的输入侧，尺度不变残 差块的输出侧为第二残差单元的输出侧，上采样残差块的输出侧与尺度 不变残差块的输入侧相连。
参阅附图3，图3示例性示出了本实施例中尺度不变残差 块的主要结构。如图3所示，本实施例中尺度不变残差块主要包括依次 连接的卷积层1、BatchNorm层、ReLu激活函数层、卷积层2、BatchNorm 层和特征融合层，其中，卷积层1还与特征融合层连接，卷积层1和卷 积层1的卷积核均为1×1。
继续参阅附图4，图4是示例性示出了本实施例中下采样 残差块的主要结构。如图4所示，本实施例中下采样残差块主要包括 卷积层1、卷积层2、卷积层3、BatchNorm层1、BatchNorm层2、BatchNorm 层3、ReLu激活函数层和特征融合层。卷积层1、BatchNorm层1、ReLu 激活函数层、卷积层2、BatchNorm层2和特征融合层依次连接，同时， 卷积层1、卷积层3、BatchNorm层3和特征融合层也依次连接。其中， 卷积层1的卷积核为3×2，卷积层2的卷积核为3×1，卷积层3的卷积 核为3×2。
继续参阅附图5，图5示例性示出了本实施例中上采样残 差块的主要结构。如图5所示，本实施例中上采样残差块主要包括上 采样层1、上采样层2、卷积层1、卷积层2、卷积层3、BatchNorm层 1、BatchNorm层2、BatchNorm层3、ReLu激活函数层和特征融合层。 上采样层1、卷积层1、BatchNorm层1、ReLu激活函数层、卷积层2、 ReLu激活函数层2和特征融合层依次连接。同时，上采样层1、上采样 层2、卷积层3、ReLu激活函数层3和特征融合层也依次连接。其中， 卷积层1、卷积层2和卷积层3的卷积核均为1×1。
在本实施例的一个优选实施方案中，图1所示的生成器11 主要还可以包括编码器、解码器、多个卷积层和多个线性层等结构。
参阅附图6，图6示例性示出了本实施例中另一种生成器 的主要结构。如图6所示，本实施例中生成器包括依次连接的卷积层1、 编码器、线性层1、线性层2、解码器、卷积层2、卷积层3和Tanh 激活函数层，将带水印人脸图像输入至卷积层1后，通过Tanh激活函 数层可以输出无水印人脸图像。其中，卷积层1的卷积核为3×3×16， 卷积层2和卷积层3的卷积核均为1×1×3。本实施例中编码器可以将 带水印图像编码成一定维度的向量，进而解码器可以将该向量解码为 无水印图像。例如，编码器可以将带水印图像编码成512维向量，解码器可以将编码器生成的512维向量解码为无水印图像。
具体地，编码器包括五个串联的第一残差单元，解码器包 括五个串联的第二残差单元。
参阅附图7，图7示例性示出了本实施例中编码器和解码 器的主要结构。如图7所示，本实施例中编码器包括5个串联的第一 残差单元，每个第一残差单元都包括下采样残差块和尺度不变残差块。 解码器包括5个串联的第二残差单元，每个第二残差单元都包括上采样 残差块和尺度不变残差块。本实施例中尺度不变残差块的输入输出特征 的通道数相同，输入输出的空间尺度也相同。下采样残差块中输出空间 尺度的长宽分别是输入空间尺度长宽的一半，输出特征的通道数是输入 特征通道数的一倍。上采样残差块中输出空间尺度的长宽分别是输入空 间尺度长宽的一倍，输出特征的通道数是输入特征通道数的一半。
进一步地，本实施例中图1所示的判别器12可以包括全 局判别单元和局部判别单元。其中，全局判别单元可以包括依次连接的 第一卷积层、第一残差模块、第一池化层和第一线性层，其中，第一残 差模块包括多个串联的第三残差单元。局部判别单元可以包括依次连接 的第二卷积层、第二残差模块、第二池化层和第二线性层，其中，第二 残差模块包括多个串联的第三残差单元。本实施例中局部判别单元可以 对人脸图像中的双眼、鼻子或嘴巴等局部区域进行判别。
具体地，本实施例中第三残差单元可以包括下采样残差块 和尺度不变残差块，且下采样残差块的输入侧为第三残差单元的输入侧， 尺度不变残差块的输出侧为第三残差单元的输出侧，下采样残差块的输 出侧与尺度不变残差块的输入侧相连，并且本实施例中判别器12所包含 的下采样残差块和尺度不变残差块，分别与生成器11中所采用的下采样残差块和尺度不变残差块相同。
参阅附图8和9，图8示例性示出了本实施例中第一残差 模块的主要结构，图9示例性示出了本实施例中第二残差模块的主要 结构。如图8所示，本实施例中第一残差模块包括5个串联的第三残 差单元，每个第三残差单元均包括下采样残差块和尺度不变残差块。如 图9所示，本实施例中第二残差模块包括4个串联的第三残差单元，每 个第三残差单元均包括下采样残差块和尺度不变残差块。
继续参阅附图10，图10示例性示出了本实施例中全局判 别单元的主要结构。如图10所示，本实施例中全局判别单元包括依次 连接的卷积层1、卷积层2、第一残差模块、池化层和线性层。其中， 卷积层1的卷积核为3×3×16，卷积层2的卷积核为3×3×32，并且 输入至卷积层1的带水印图像为整个图像，其图像大小为120×120。
继续参阅附图11，图11示例性示出了本实施例中局部判 别单元的主要结构。如图11所示，本实施例中局部判别单元包括依次 连接的卷积层1、第二残差模块、池化层和线性层。其中，卷积层1的 卷积核为3×3×16，并且输入至卷积层1的带水印图像为部分图像，其图像大小为70×70。
本实施例中基于对抗生成网络模型获取去除水印的人脸 图像，能够在去除水印的同时有效保护人脸图像的身份信息，避免生 成平均脸。
进一步地，本实施例中图像水印去除装置除了可以包括图1 所示的对抗生成网络模型以外，还可以包括人脸识别模型，该人脸识别 模型可以配置为提取无水印原始图像y1和生成器11生成的无水印图像 G(x1)中的人脸特征。
参阅附图2，图2示例性示出了本实施例中图像水印去除 装置的主要结构。如图2所示，本实施例中图像水印去除装置可以包括 生成器、判别器、优化模块和人脸识别模型。具体地，优化模块可以进 一步配置为按照下式(2)所示的组合损失函数优化生成器11和判别器 12：
公式(2)中各参数含义为：
Gloss和Dloss分别为生成器11和判别器12的组合损失函 数，lossg和lossd分别为生成器11和判别器12的损失函数，lossfeature为依据所人脸识别模型所提取的人脸特征构建的特征损失函数， losspixel为依据带水印人脸图像x1与无水印原始图像y1的像素差所构建的像素损失函数，γ1、γ2、γ3、γ4和γ5均为预设的平衡系数，其 中，γ1、γ2、γ3、γ4和γ5可以平衡不同损失函数的相互函数。
本实施例中在公式(1)的基础上增加特征损失函数 lossfeature可以度量带水印图像与无水印图像在特征空间的差异，同时 增加像素损失函数losspixel可以避免图像像素层面上的噪声干扰，提高 生成器11所生成无水印图像的图像质量。
具体地，本实施例中特征损失函数lossfeature如下式(3) 所示：
lossfeature＝||L(y1)-φG(x1)||2 (3)
公式(3)中各参数含义为：
φ(y1)为人脸识别模型φ对无水印原始图像y1提取得到 的人脸特征，φG(x1)为人脸识别模型φ对无水印图像G(x1)提取得到 的人脸特征，||||2表示2范数。本实施例中采用2范数可以促使生成器 保留更多的图像细节信息，使得无水印图像G(x1)在特征空间上与无水印 原始图像y1更加接近。
本实施例中像素损失函数losspixel如下式(4)所示：
losspixel＝||y1-x1||2 (4)
本实施例中人脸识别模型可以为基于卷积神经网络的信息 识别模型，例如人脸识别模型可以为采用46层残差网络结构的信息识别 模型。同时，本实施例中可以采用常规的卷积神经网络训练方法对预先 构建的人脸识别模型进行网络训练，其中，常规的卷积神经网络训练方 法主要包括如下步骤：1、对训练样本图像进行预处理，如采用随机裁剪 和/或旋转等数据增广技术，对训练样本图像进行扩充。2、利用损失函数 更新卷积神经网络中的参数。3、重复执行上述步骤，直至卷积神经网络 收敛。在本实施例的一个优选实施方案中，可以将卷积神经网络中最后 部分的全连接层去掉。
本领域技术人员可以理解，上述图像水印去除装置还包括一 些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括 但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性 存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理 器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为 了不必要地模糊本公开的实施例，这些公知的结构未在附图中示出
应该理解，附图中的各个模块的数量仅仅是示意性的。根据 实际需要，各模块可以具有任意的数量。
本领域技术人员可以理解，可以对实施例中的装置中的模块 进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装 置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组 件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样 的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何 组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特 征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非 另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开 的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实 施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实 施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。 例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可 以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或 者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域 的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器 (DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部 件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产 品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具 有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到， 或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发 明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况 下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参 考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利 要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存 在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及 借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这 些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第 二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技 术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然 不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域 技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换 之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种图像水印去除装置，其特征在于，所述装置包括对抗生成网络模型，其配置为对人脸图像进行去水印处理；所述对抗生成网络模型包括生成器、判别器和优化模块；
所述生成器，配置为依据所述人脸图像生成对应的无水印图像；
所述判别器，配置为判断所述生成器所生成的无水印图像的整体图像和局部图像是否为真实图像；
所述优化模块，配置为按照下式所示的对抗损失函数优化所述生成器和判别器：
其中，所述lossg和lossd分别为所述生成器和判别器的损失函数，所述x1为带水印人脸图像，所述[G(x1)]+为对生成器G生成的无水印图像G(x1)进行裁剪后得到的局部图像，所述y1为所述带水印人脸图像x1对应的无水印原始图像，所述y2为所述无水印原始图像y1中与所述[G(x1)]+对应的局部图像，所述D1(y1)为判别器中全局判别单元D1的输出结果，所述D2(y2)为判别器中局部判别单元D2的输出结果，所述λ1和λ2均为预设的平衡系数。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括人脸识别模型；
所述人脸识别模型，配置为提取所述无水印原始图像y1和所述生成器生成的无水印图像G(x1)中的人脸特征；
所述优化模块，进一步配置为按照下式所示的组合损失函数优化所述生成器和判别器：
其中，所述Gloss和Dloss分别为所述生成器和判别器的组合损失函数，所述lossfeature为依据所述人脸识别模型所提取的人脸特征构建的特征损失函数，所述losspixel为依据所述带水印人脸图像x1与无水印原始图像y1的像素差所构建的像素损失函数，所述γ1、γ2、γ3、γ4和γ5均为预设的平衡系数。
3.根据权利要求2所述的装置，其特征在于，所述特征损失函数lossfeature如式所示：
lossfeature＝||φ(y1)-φG(x1)||2
其中，所述φ(y1)为人脸识别模型φ对无水印原始图像y1提取得到的人脸特征，所述φG(x1)为人脸识别模型φ对无水印图像G(x1)提取得到的人脸特征，所述||||2表示2范数。
4.根据权利要求2所述的装置，其特征在于，所述像素损失函数losspixel如下式所示：
losspixel＝||y1-x1||2
其中，所述||||2表示2范数。
5.根据权利要求2-4任一项所述的装置，其特征在于，所述生成器包括编码器和解码器；
所述编码器包括串联的多个第一残差单元，其中，所述第一残差单元包括下采样残差块和尺度不变残差块，且所述下采样残差块的输入侧为第一残差单元的输入侧，所述尺度不变残差块的输出侧为第一残差单元的输出侧，所述下采样残差块的输出侧与所述尺度不变残差块的输入侧相连；
所述解码器包括串联的多个第二残差单元，其中，所述第二残差单元包括上采样残差块和尺度不变残差块，且所述上采样残差块的输入侧为第二残差单元的输入侧，所述尺度不变残差块的输出侧为第二残差单元的输出侧，所述上采样残差块的输出侧与所述尺度不变残差块的输入侧相连。
6.根据权利要求5所述的装置，其特征在于，
所述判别器中的全局判别单元D1包括依次连接的第一卷积层、第一残差模块、第一池化层和第一线性层，其中，所述第一残差模块包括多个串联的第三残差单元；
所述第三残差单元包括下采样残差块和尺度不变残差块，且所述下采样残差块的输入侧为第三残差单元的输入侧，尺度不变残差块的输出侧为第三残差单元的输出侧，所述下采样残差块的输出侧与所述尺度不变残差块的输入侧相连。
7.根据权利要求6所述的装置，其特征在于，
所述判别器中的局部判别单元D2包括依次连接的第二卷积层、第二残差模块、第二池化层和第二线性层，其中，所述第二残差模块包括多个串联的第三残差单元。
8.根据权利要求2-4任一项所述的装置，其特征在于，
所述人脸识别模型为基于卷积神经网络的信息识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123854.9A CN107993190B (zh) | 2017-11-14 | 2017-11-14 | 图像水印去除装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711123854.9A CN107993190B (zh) | 2017-11-14 | 2017-11-14 | 图像水印去除装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107993190A CN107993190A (zh) | 2018-05-04 |
| CN107993190B true CN107993190B (zh) | 2020-05-19 |
Family
ID=62031495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711123854.9A Active CN107993190B (zh) | 2017-11-14 | 2017-11-14 | 图像水印去除装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993190B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11263525B2 (en) | 2017-10-26 | 2022-03-01 | Nvidia Corporation | Progressive modification of neural networks |
| US11250329B2 (en) | 2017-10-26 | 2022-02-15 | Nvidia Corporation | Progressive modification of generative adversarial neural networks |
| CN109255355A (zh) * | 2018-05-28 | 2019-01-22 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置、终端、电子设备及计算机可读介质 |
| CN108805789B (zh) * | 2018-05-29 | 2022-06-03 | 厦门市美亚柏科信息股份有限公司 | 一种基于对抗神经网络去除水印的方法、装置、设备及可读介质 |
| CN108648135B (zh) * | 2018-06-01 | 2022-05-27 | 深圳大学 | 隐藏模型训练及使用方法、装置和计算机可读存储介质 |
| CN108765295B (zh) * | 2018-06-12 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN109145745B (zh) * | 2018-07-20 | 2022-02-11 | 上海工程技术大学 | 一种遮挡情况下的人脸识别方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| CN111260757A (zh) * | 2018-12-03 | 2020-06-09 | 马上消费金融股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN111274858A (zh) * | 2018-12-04 | 2020-06-12 | 厦门美亚商鼎信息科技有限公司 | 网络交易监管中营业执照识别方法 |
| CN110097185B (zh) * | 2019-03-29 | 2021-03-23 | 北京大学 | 一种基于生成对抗网络的优化模型方法及应用 |
| CN110084216B (zh) * | 2019-05-06 | 2021-11-09 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
| CN111105336A (zh) * | 2019-12-04 | 2020-05-05 | 山东浪潮人工智能研究院有限公司 | 一种基于对抗网络的图像去水印的方法 |
| CN110782385A (zh) * | 2019-12-31 | 2020-02-11 | 杭州知衣科技有限公司 | 一种基于深度学习的图像水印的去除方法 |
| CN111798359A (zh) * | 2020-05-19 | 2020-10-20 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的图像去水印方法 |
| CN111932431B (zh) * | 2020-07-07 | 2023-07-18 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN111918144A (zh) * | 2020-08-12 | 2020-11-10 | 桂林电子科技大学 | 一种基于深度学习的去除视频水印的方法 |
| CN112016315B (zh) * | 2020-10-19 | 2021-02-02 | 北京易真学思教育科技有限公司 | 模型训练、文本识别方法及装置、电子设备、存储介质 |
| CN112330522A (zh) * | 2020-11-09 | 2021-02-05 | 深圳市威富视界有限公司 | 水印去除模型训练方法、装置、计算机设备和存储介质 |
| CN112950458B (zh) * | 2021-03-19 | 2022-06-21 | 润联软件系统(深圳)有限公司 | 基于对抗生成网络的图像印章去除方法、装置及相关设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521786A (zh) * | 2011-12-01 | 2012-06-27 | 中国科学院自动化研究所 | 一种基于颜色检测和快速匹配法的照片水印去除方法 |
| CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
| CN105930797A (zh) * | 2016-04-21 | 2016-09-07 | 腾讯科技（深圳）有限公司 | 一种人脸验证方法及装置 |
| CN106548159A (zh) * | 2016-11-08 | 2017-03-29 | 中国科学院自动化研究所 | 基于全卷积神经网络的网纹人脸图像识别方法与装置 |
| CN107016657A (zh) * | 2017-04-07 | 2017-08-04 | 河北工业大学 | 被网纹覆盖的人脸图片的修复方法 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
-
2017
- 2017-11-14 CN CN201711123854.9A patent/CN107993190B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521786A (zh) * | 2011-12-01 | 2012-06-27 | 中国科学院自动化研究所 | 一种基于颜色检测和快速匹配法的照片水印去除方法 |
| CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
| CN105930797A (zh) * | 2016-04-21 | 2016-09-07 | 腾讯科技（深圳）有限公司 | 一种人脸验证方法及装置 |
| CN106548159A (zh) * | 2016-11-08 | 2017-03-29 | 中国科学院自动化研究所 | 基于全卷积神经网络的网纹人脸图像识别方法与装置 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107016657A (zh) * | 2017-04-07 | 2017-08-04 | 河北工业大学 | 被网纹覆盖的人脸图片的修复方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
Non-Patent Citations (2)
| Title |
|---|
| Compression Artifacts Removal Using Convolutional Neural Networks;Pavel Svoboda 等;《WSCG 2016》;20160502;第1-10页 * |
| Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks;Alec Radford 等;《ICLR 2016》;20160107;第1-16页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107993190A (zh) | 2018-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993190B (zh) | 图像水印去除装置 | |
| US20230215197A1 (en) | Systems and Methods for Detection and Localization of Image and Document Forgery | |
| JP7013077B2 (ja) | 生体検出方法及び装置、機器並びに記憶媒体 | |
| Redi et al. | Digital image forensics: a booklet for beginners | |
| WO2018072102A1 (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN111598761A (zh) | 一种基于图像降噪的抗打印拍摄图像数字水印方法 | |
| US20080007747A1 (en) | Method and apparatus for model based anisotropic diffusion | |
| Feng et al. | An energy-based method for the forensic detection of re-sampled images | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| JP2011150483A (ja) | 画像処理装置 | |
| CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| KR101795952B1 (ko) | 2d 영상에 대한 깊이 영상 생성 방법 및 장치 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN109859090B (zh) | 基于人类视觉系统的可逆水印方法及装置 | |
| Bas | An embedding mechanism for natural steganography after down-sampling | |
| CN111476741A (zh) | 图像的去噪方法、装置、电子设备和计算机可读介质 | |
| CN115393176A (zh) | 一种人像卡通化方法、系统及电子设备 | |
| CN112634126A (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 | |
| Korus et al. | Neural imaging pipelines-the scourge or hope of forensics? | |
| CN112990123A (zh) | 图像处理方法、装置、计算机设备和介质 | |
| Muhammad et al. | Passive detection of copy-move image forgery using undecimated wavelets and zernike moments | |
| CN111524072A (zh) | 超分辨重构网络训练方法和装置、电子设备及存储介质 | |
| Zeng et al. | Exposing Blurred Image Forgeries through Blind Image Restoration | |
| CN111861897A (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |