CN113158583A - 一种端到端的基于深度学习的文本图像水印模型建立方法 - Google Patents

一种端到端的基于深度学习的文本图像水印模型建立方法 Download PDF

Info

Publication number
CN113158583A
CN113158583A CN202110565844.0A CN202110565844A CN113158583A CN 113158583 A CN113158583 A CN 113158583A CN 202110565844 A CN202110565844 A CN 202110565844A CN 113158583 A CN113158583 A CN 113158583A
Authority
CN
China
Prior art keywords
convolution
size
image
watermark
text image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110565844.0A
Other languages
English (en)
Other versions
CN113158583B (zh
Inventor
夏志华
葛苏龙
徐勇
余佩鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110565844.0A priority Critical patent/CN113158583B/zh
Publication of CN113158583A publication Critical patent/CN113158583A/zh
Application granted granted Critical
Publication of CN113158583B publication Critical patent/CN113158583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

一种端到端的基于深度学习的文本图像水印模型建立方法，包括步骤：S1.准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，并进行分批训练数据流程；S2.将训练集放入文本图像水印的嵌入和提取算法框架内，对模型展开训练，利用深度学习训练出文本图像水印模型；S3.将准备好的测试集放入文本图像水印模型中进行测试。本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法具有不可见性高、鲁棒性强、实用性优的特点。在实际使用过程中，成本更低、检测精度更高、耗时更短。

Description

一种端到端的基于深度学习的文本图像水印模型建立方法
技术领域
本发明涉及数字媒体版权保护领域，具体涉及一种端到端的基于深度学习的文本图像水印模型建立方法。
背景技术
随着计算机技术的飞速发展，具有易传播、低成本等特点的电子办公和电子政务得到广泛应用。人们在高效便捷地使用数字化媒体时，也面临着数字媒体内容的泄露和盗版等风险。因此需要对数字媒体内容适当地处理，数字水印技术是一种行之有效的版权保护技术，能够对数字媒体内容进行版权保护，甚至是泄密追踪。以文本图像为载体的数据内容是数字化文本传播的主体部分，其格式有电子文档，电子签名、电子发票、电子合同、电子证明等载体。
传统的文本图像水印算法按照嵌入位置可分为空间域算法和变换域算法。空间域算法主要有利用人眼对微小改变的不可察觉性，通过改变行间距和字间距等方法嵌入水印。还有通过改变词汇，语法或结构等算法嵌入水印。这类算法是将水印信息直接嵌入到文本图像的像素中，操作简单，但大部分算法是非盲提取水印算法，嵌入容量低，对旋转，缩放、添加噪声等攻击抵抗能力差，并不适用于实际使用过程。变换域算法主要是将文本图像像素变换到频域内，然后设计特定的算法，修改频域中频系数或添加强度因子，以达到嵌入水印的目的。这类算法在抗噪声和抗压缩方面性能很好，但比空间域算法的设计更为复杂，但大部分算法是非盲提取水印算法，针对不同格式内容的文本图像，需要单独设计相应的算法，无法抵抗在网络传播过程中受到的噪声攻击，不适合实际应用。
随着深度学习的广泛使用以及深度学习能够自适应的选择嵌入位置的特点，基于深度学习的信息隐藏获得了巨大的发展。因而文本图像水印算法结合深度学习方法，能够自适应学习文本图像的纹理特征，嵌入水印并盲提取水印是目前所需要的。
发明内容
本发明针对现有技术中的不足，即为解决传统的空间域水印算法和变换域水印算法的不可见性、鲁棒性、非盲提取、实用性差的问题，提供一种端到端的基于深度学习的文本图像水印模型建立方法。
为实现上述目的，本发明采用以下技术方案：
一种端到端的基于深度学习的文本图像水印模型建立方法，包括如下步骤：
S1.准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，并进行分批训练数据流程；
S2.将训练集放入文本图像水印的嵌入和提取算法框架内，对模型展开训练，利用深度学习训练出文本图像水印模型；
S3.将准备好的测试集放入文本图像水印模型中进行测试。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，具体为：选取具有代表性且不同期刊的论文集及电子书籍，并截图为各不相同的文本图像，分成训练集和测试集；所述文本图像尺寸为400*400像素，文本图像总数为11万张，其中训练集10万张，测试集1万张。
进一步地，步骤S2中训练文本图像水印模型，具体为：基于分批训练数据，按批次送进文本图像水印模型训练，训练次数为10万批次；
在训练过程中，文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量优化，缩减文本图像与含水印信息的文本图像之间的差异以及水印信息与被恢复的水印信息之间的差异；同时在训练过程中，还引入图像噪声攻击的补偿算法。
进一步地，步骤S3中将准备好的测试集放入文本图像水印模型中进行测试，包括：将测试集按张送入文本图像水印模型中，生成含水印信息的文本图像后，对含水印信息的文本图像进行恢复水印信息的操作，并在无噪声攻击情况下以及有噪声攻击情况下测试水印信息恢复的正确率。
进一步地，所述分批训练数据流程具体如下：
定义一个文本图像集合和一个水印信息集合；
对于文本图像集合，利用随机函数随机从训练集中选择4张文本图像，作为1个批次，转化为RGB格式图像，设置尺寸为400*400，并将其转化为浮点型数据类型，且进行归一化操作，最后存放到文本图像集合；
对于水印信息集合，使用二项式分布原理随机生成4组长度为100bit的一维0、1数组，存放到水印信息集合。
进一步地，所述文本图像水印模型包括水印嵌入网络、图像变换网络、水印提取网络；
水印嵌入网络从分批训练数据流程中获取文本图像集合和水印信息集合并将水印信息嵌入至文本图像，生成含水印信息的文本图像；
图像变换网络对在网络信道传播过程中受到噪声干扰的含水印信息的文本图像进行图像变换，生成含水印的变换图像；
水印提取网络对含水印的变换图像进行水印信息提取。
进一步地，通过水印嵌入网络生成含水印信息的文本图像，包括如下步骤：
S2.1获取到分批训练的文本图像集合和水印信息集合，将水印信息集合中长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50*50*3的特征图；对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400*400*3，与文本图像集合中的文本图像尺寸相同；将扩大8倍后水印信息的特征图与文本图像进行拼接操作，生成尺寸为400*400*6的Input张量图；
S2.2对Input张量图进行卷积操作，其中卷积通道为32，卷积核尺寸为1*1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400*400*32；
S2.3经过卷积层的张量图conv1与扩大8倍后水印信息的特征图进行拼接操作，然后进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400*400*32；
S2.4经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为400*400*32；
S2.5经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为400*400*64；
S2.6经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为400*400*64；
S2.7经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为400*400*64；
S2.8经过卷积层的张量图conv6进行卷积操作，其中卷积通道为3，卷积核尺寸为1*1，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3；
S2.9含水印图像残差图与文本图像原图相加，生成含水印信息的文本图像。
进一步地，通过图像变换网络生成含水印的变换图像，包括如下步骤：
S3.1将在网络信道传播过程中受到噪声干扰的含水印信息的文本图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为200*200*32；
S3.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为100*100*64；
S3.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像大小为50*50*128；
S3.4默认按行的方向降维为1维数组，经过一个全连接层，生成128个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将128个单元与随机变量进行矩阵相乘，然后通过stn_transformer网络，生成含水印的变换图像，尺寸为400*400*3。
进一步地，所述水印提取网络包括如下步骤：
S4.1将含水印的变换图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32；
S4.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；
S4.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；
S4.4经过卷积层的张量图conv4进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；
S4.5经过卷积层的张量图conv5进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；
S4.6默认按行的方向降维为1维数组，经过一个全连接层，生成512个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法；
S4.7默认按行的方向降维为1维数组，经过一个全连接层，生成100个单元，提取并得到水印信息。
本发明的有益效果是：本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法具有不可见性高、鲁棒性强、实用性优的特点。在实际使用过程中，成本更低、检测精度更高、耗时更短。
附图说明
图1为基于深度学习的文本图像水印的嵌入和提取算法框架示意图；
图2为深度神经网络的嵌入水印模型结构示意图；
图3为深度神经网络的中间图像变换层模型结构示意图；
图4为深度神经网络的提取水印模型结构示意图；
图5为深度神经网络的文本图像示意图；
图6为深度神经网络的嵌入水印的文本图像示意图；
图7为深度神经网络的水印图像示意图；
图8为深度神经网络的恢复的水印图像示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
为实现上述发明的目的，本发明所采用的技术方案是一种端到端的基于深度学习的文本图像水印模型建立方法。包括如下步骤：
(1)准备适合深度学习训练和测试的文本图像集，其中要求训练集和测试集互不相同，保证测试集的独立性。
(2)将训练集放入框架内对文本图像水印模型展开训练，利用深度学习训练出一个文本图像水印模型。文本图像水印模型需要使得载体图像(原始图像、文本图像)损失差异不影响使用要求，并保证载密图像(含水印信息的文本图像、含水印图像)在网络信道传播过程中抵抗各种噪声攻击。
(3)将准备好的测试集放入文本图像水印模型中进行测试。测试集与训练集不同，不存在过拟合问题，即在测试集的文本图像中嵌入水印依然能以相当高的准确率提取出水印。
在步骤(1)中，准备训练集与测试集的方法如下：在数字化媒体使用过程中，以文本图像为载体的数据内容是数字化文本传播的主体部分，其格式有电子文档，电子签名、电子发票、电子合同、电子证明等载体。因此选择具有代表性不同期刊的论文集及电子书籍，将其截图为文本图像，文本图像各不相同，文本图像的尺寸为400*400像素，文本图像总数达到11万张，其中训练集10万张，测试集为1万张。
在步骤(2)中，将训练集放入框架内对文本图像水印模型展开训练，深度学习出一个文本图像水印模型：将制作好的含有10万张文本图像的训练集按批次随机分出4张文本图像，同时随机生成4个100bit大小的水印信息，将其作为1个批次送进文本图像水印模型训练，训练次数设置为10万次。在训练过程中，文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量的优化，缩减载体图像与含水印信息的文本图像之间的差异，使人眼无法分辨出文本载体图像与含水印信息的文本图像之间的差异性。同时，缩减水印信息与被恢复的水印信息之间的差异。在训练过程中，引入各种常见图像噪声攻击的补偿算法，使得算法能够适应于实际使用的环境，对所涉及的攻击达到较高的鲁棒性。
在步骤(3)中，将准备好的测试集放入文本图像水印模型中进行测试：将准备好的1万张文本图像的测试集按张送入文本图像水印模型中，生成含水印信息的文本图像后，对含水印信息的文本图像进行恢复水印信息的操作。首先测试含水印信息的文本图像在无噪声攻击情况下的水印信息恢复的正确率，然后测试含水印信息的文本图像在有噪声攻击情况下的水印信息恢复的正确率。若正确率均高于设定值，则文本图像水印模型建立完成，若正确率均低于设定值，则对文本图像水印模型的参数进行优化。
本发明所用的文本图像数据集分为训练集和测试集(见表1)，分别用来训练和测试水印系统。
表1 数据集说明
Figure BDA0003080674210000071
在本发明实现过程中，采用了基于神经网络的AutoEncoder模型架构，使用Python语言进行编程。基于神经网络的AutoEncoder模型架构使用图描述计算过程，通过构建和运行图即可实现对数据的计算。
参考图1，本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法：首先，水印系统在嵌入阶段时，水印信息与载体图像送入水印嵌入网络，生成一张含水印图像。然后，水印系统在提取阶段时，含水印图像经过网络传输信道进行传输，储存等操作时，受到一些噪声攻击，此时的含水印图像中含有一些噪声。含水印图像经过水印提取网络，提取出水印信息。其具体步骤如下：
(1)分批训练数据流程：首先，定义一个文本图像集合和一个水印信息集合。然后，利用随机函数随机从文本图像训练集中选择4张文本图像，转化为RGB格式图像，设置尺寸为400*400，接着将其转化为浮点型数据类型，并进行归一化操作，最后存放到文本图像集合。对于水印信息，使用二项式分布原理随机生成4组长度为100bit的一维0、1数组，存放到水印信息集合。
其中将训练集数据分批次进行训练是常见的图像训练方式，是为了加快训练文本图像水印模型。例如单个3通道图像尺寸为H×W×C＝400×400×3，4张3通道图像尺寸为4×400×400×3。本发明对训练集数据进行分为4张文本图像作为一个批次训练，一方面可以加快训练文本图像水印模型，另一方面可以缩短文本图像水印模型训练时间。
(2)水印嵌入网络(参考图2)：
(2.1)首先，获取到分批训练的文本图像集合和水印信息集合，长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50*50*3的特征图。接下来，对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400*400*3，与文本图像尺寸相同。随后，将扩大8倍后的水印信息特征图与文本图像进行拼接操作，生成尺寸为400*400*6的Input张量图。
(2.2)对Input张量图进行卷积操作，卷积通道为32，卷积核尺寸为1*1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400*400*32。
(2.3)经过卷积层的张量图conv1与扩大8倍后的水印信息特征图进行拼接，尺寸，然后进行卷积操作，卷积通道为32，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400*400*32。
(2.4)经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为400*400*32。
(2.5)经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为400*400*64。
(2.6)经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为400*400*64。
(2.7)经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为400*400*64。
(2.8)经过卷积层的张量图conv6进行卷积操作，卷积通道为3，卷积核尺寸为1*1，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3。
(2.9)含水印图像残差图与文本图像原图相加，生成含水印图像。
其中，水印嵌入网络是为了将水印信息嵌入到文本图像。
(3)图像变换网络(参考图3)：
(3.1)首先，在网络信道传播过程中受到噪声干扰的含水印图像，经过卷积层的张量图conv1进行卷积操作，卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像尺寸大小为200*200*32。
(3.2)经过卷积层的张量图conv2进行卷积操作，卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像尺寸大小为100*100*64。
(3.3)经过卷积层的张量图conv3进行卷积操作，卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3张量图大小为50*50*128。
(3.4)默认按行的方向降维为1维数组，经过一个全连接层，生成128个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将128个单元与随机变量进行矩阵相乘，然后通过stn_transformer网络，生成含水印的变换图像，尺寸为400*400*3。
其中，图像变换网络是为了对嵌入水印的文本图像进行纠正，提升嵌入水印的文本图像抵抗攻击的鲁棒性。
(4)水印提取网络(参考图4)：
(4.1)首先，将经过图像变换网络生成的含水印的变换图像，经过卷积层的张量图conv1进行卷积操作，卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32。
(4.2)经过卷积层的张量图conv2进行卷积操作，卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。
(4.3)经过卷积层的张量图conv3进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。
(4.4)经过卷积层的张量图conv4进行卷积操作，卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。
(4.5)经过卷积层的张量图conv5进行卷积操作，卷积通道为128，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。
(4.6)默认按行的方向降维为1维数组，经过一个全连接层，生成512个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法。
(4.7)默认按行的方向降维为1维数组，经过一个全连接层，生成100个单元，提取出水印信息。
其中，水印提取网络是为了从嵌入水印的文本图像中提取出水印信息。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，包括如下步骤：
S1.准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，并进行分批训练数据流程；
S2.将训练集放入文本图像水印的嵌入和提取算法框架内，对模型展开训练，利用深度学习训练出文本图像水印模型；
S3.将准备好的测试集放入文本图像水印模型中进行测试。
2.根据权利要求1所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，步骤S1中准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，具体为：选取具有代表性且不同期刊的论文集及电子书籍，并截图为各不相同的文本图像，分成训练集和测试集；所述文本图像尺寸为400*400像素，文本图像总数为11万张，其中训练集10万张，测试集1万张。
3.根据权利要求2所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，步骤S2中训练文本图像水印模型，具体为：基于分批训练数据，按批次送进文本图像水印模型训练，训练次数为10万批次；
在训练过程中，文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量优化，缩减文本图像与含水印信息的文本图像之间的差异以及水印信息与被恢复的水印信息之间的差异；同时在训练过程中，还引入图像噪声攻击的补偿算法。
4.根据权利要求3所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，步骤S3中将准备好的测试集放入文本图像水印模型中进行测试，包括：将测试集按张送入文本图像水印模型中，生成含水印信息的文本图像后，对含水印信息的文本图像进行恢复水印信息的操作，并在无噪声攻击情况下以及有噪声攻击情况下测试水印信息恢复的正确率。
5.根据权利要求3所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，所述分批训练数据流程具体如下：
定义一个文本图像集合和一个水印信息集合；
对于文本图像集合，利用随机函数随机从训练集中选择4张文本图像，作为1个批次，转化为RGB格式图像，设置尺寸为400*400，并将其转化为浮点型数据类型，且进行归一化操作，最后存放到文本图像集合；
对于水印信息集合，使用二项式分布原理随机生成4组长度为100bit的一维0、1数组，存放到水印信息集合。
6.根据权利要求5所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，所述文本图像水印模型包括水印嵌入网络、图像变换网络、水印提取网络；
水印嵌入网络从分批训练数据流程中获取文本图像集合和水印信息集合并将水印信息嵌入至文本图像，生成含水印信息的文本图像；
图像变换网络对在网络信道传播过程中受到噪声干扰的含水印信息的文本图像进行图像变换，生成含水印的变换图像；
水印提取网络对含水印的变换图像进行水印信息提取。
7.根据权利要求6所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，通过水印嵌入网络生成含水印信息的文本图像，包括如下步骤：
S2.1获取到分批训练的文本图像集合和水印信息集合，将水印信息集合中长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50*50*3的特征图；对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400*400*3，与文本图像集合中的文本图像尺寸相同；将扩大8倍后水印信息的特征图与文本图像进行拼接操作，生成尺寸为400*400*6的Input张量图；
S2.2对Input张量图进行卷积操作，其中卷积通道为32，卷积核尺寸为1*1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400*400*32；
S2.3经过卷积层的张量图conv1与扩大8倍后水印信息的特征图进行拼接操作，然后进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400*400*32；
S2.4经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为400*400*32；
S2.5经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为400*400*64；
S2.6经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为400*400*64；
S2.7经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为400*400*64；
S2.8经过卷积层的张量图conv6进行卷积操作，其中卷积通道为3，卷积核尺寸为1*1，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3；
S2.9含水印图像残差图与文本图像原图相加，生成含水印信息的文本图像。
8.根据权利要求6所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，通过图像变换网络生成含水印的变换图像，包括如下步骤：
S3.1将在网络信道传播过程中受到噪声干扰的含水印信息的文本图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为200*200*32；
S3.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为100*100*64；
S3.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像大小为50*50*128；
S3.4默认按行的方向降维为1维数组，经过一个全连接层，生成128个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将128个单元与随机变量进行矩阵相乘，然后通过stn_transformer网络，生成含水印的变换图像，尺寸为400*400*3。
9.根据权利要求6所述的一种端到端的基于深度学习的文本图像水印模型建立方法，其特征在于，所述水印提取网络包括如下步骤：
S4.1将含水印的变换图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32；
S4.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；
S4.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；
S4.4经过卷积层的张量图conv4进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；
S4.5经过卷积层的张量图conv5进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；
S4.6默认按行的方向降维为1维数组，经过一个全连接层，生成512个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法；
S4.7默认按行的方向降维为1维数组，经过一个全连接层，生成100个单元，提取并得到水印信息。
CN202110565844.0A 2021-05-24 2021-05-24 一种端到端的基于深度学习的文本图像水印模型建立方法 Active CN113158583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110565844.0A CN113158583B (zh) 2021-05-24 2021-05-24 一种端到端的基于深度学习的文本图像水印模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565844.0A CN113158583B (zh) 2021-05-24 2021-05-24 一种端到端的基于深度学习的文本图像水印模型建立方法

Publications (2)

Publication Number Publication Date
CN113158583A true CN113158583A (zh) 2021-07-23
CN113158583B CN113158583B (zh) 2023-05-16

Family

ID=76877657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565844.0A Active CN113158583B (zh) 2021-05-24 2021-05-24 一种端到端的基于深度学习的文本图像水印模型建立方法

Country Status (1)

Country Link
CN (1) CN113158583B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554545A (zh) * 2021-07-28 2021-10-26 哈尔滨工业大学（深圳） 一种用于图像处理模型版权保护的模型水印方法
CN115880125A (zh) * 2023-03-02 2023-03-31 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法
CN117057969A (zh) * 2023-08-28 2023-11-14 天津大学 跨模态图像-水印联合生成与检测装置及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
CN109815653A (zh) * 2019-01-31 2019-05-28 上海计算机软件技术开发中心 一种基于深度学习的pdf文本水印提取及比对方法
CN111223034A (zh) * 2019-11-14 2020-06-02 中山大学 基于深度学习的大容量抗打印/拍摄盲水印系统及方法
US20200193553A1 (en) * 2016-07-01 2020-06-18 Digimarc Corporation Image-based pose determination
CN111598761A (zh) * 2020-04-17 2020-08-28 中山大学 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN111681155A (zh) * 2020-06-09 2020-09-18 湖南大学 一种基于深度学习的gif动态图像水印方法
CN112308754A (zh) * 2020-10-30 2021-02-02 东南数字经济发展研究院 面向大容量鲁棒水印应用的多解码端并行提取机制设计
CN112634120A (zh) * 2020-12-30 2021-04-09 暨南大学 基于cnn预测的图像可逆水印方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200193553A1 (en) * 2016-07-01 2020-06-18 Digimarc Corporation Image-based pose determination
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
CN109815653A (zh) * 2019-01-31 2019-05-28 上海计算机软件技术开发中心 一种基于深度学习的pdf文本水印提取及比对方法
CN111223034A (zh) * 2019-11-14 2020-06-02 中山大学 基于深度学习的大容量抗打印/拍摄盲水印系统及方法
CN111598761A (zh) * 2020-04-17 2020-08-28 中山大学 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN111681155A (zh) * 2020-06-09 2020-09-18 湖南大学 一种基于深度学习的gif动态图像水印方法
CN112308754A (zh) * 2020-10-30 2021-02-02 东南数字经济发展研究院 面向大容量鲁棒水印应用的多解码端并行提取机制设计
CN112634120A (zh) * 2020-12-30 2021-04-09 暨南大学 基于cnn预测的图像可逆水印方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANWEI FEI等: "Supervised GAN Watermarking for Intellectual Property Protection", 《2022 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS)》 *
QING YANG等: "Watermark Image Reconstruction Based on Deep Learning", 《2019 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL (SDPC)》 *
徐勇: "基于隐私保护的复杂量子安全多方计算研究", 《中国优秀硕士学位论文全文数据库》 *
徐勇等: "发送方可否认图像隐写", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554545A (zh) * 2021-07-28 2021-10-26 哈尔滨工业大学（深圳） 一种用于图像处理模型版权保护的模型水印方法
CN115880125A (zh) * 2023-03-02 2023-03-31 宁波大学科学技术学院 基于Transformer的软融合鲁棒图像水印方法
CN117057969A (zh) * 2023-08-28 2023-11-14 天津大学 跨模态图像-水印联合生成与检测装置及方法
CN117057969B (zh) * 2023-08-28 2024-04-19 天津大学 跨模态图像-水印联合生成与检测装置及方法

Also Published As

Publication number Publication date
CN113158583B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN113158583B (zh) 一种端到端的基于深度学习的文本图像水印模型建立方法
CN111598761B (zh) 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN113077377B (zh) 一种基于生成对抗网络的彩色图像隐写方法
CN107274345A (zh) 一种中文打印字符图像合成方法及装置
CN111340047B (zh) 基于多尺度特征与前背景对比的图像语义分割方法及系统
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
Wei et al. Generative steganography network
CN109102451A (zh) 一种纸媒输出的防伪半色调智能数字水印制作方法
CN111292221A (zh) 一种安全鲁棒的大容量图像隐写方法
CN113222802A (zh) 基于对抗攻击的数字图像水印方法
CN116645260B (zh) 一种基于条件扩散模型的数字水印攻击方法
CN113095992A (zh) 一种新型的条码截图隐写溯源组合算法
Lu et al. Wavelet-based CNN for robust and high-capacity image watermarking
CN114157773B (zh) 基于卷积神经网络和频域注意力的图像隐写方法
Zhu et al. Generative high-capacity image hiding based on residual CNN in wavelet domain
Liao et al. GIFMarking: The robust watermarking for animated GIF based deep learning
Wu et al. Hiding data hiding
CN113628090A (zh) 抗干扰消息隐写与提取方法、系统、计算机设备、终端
Loc et al. Document images watermarking for security issue using fully convolutional networks
CN114648436A (zh) 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法
CN117078517A (zh) 基于可逆神经网络的图像超分辨率隐写方法
CN113989092B (zh) 基于分层对抗性学习的图像隐写方法
CN115358910A (zh) 基于卷积神经网络去噪算法的数字水印攻击方法及系统
Abdollahi et al. Image steganography based on smooth cycle-consistent adversarial learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant