CN113158583B - 一种端到端的基于深度学习的文本图像水印模型建立方法 - Google Patents
一种端到端的基于深度学习的文本图像水印模型建立方法 Download PDFInfo
- Publication number
- CN113158583B CN113158583B CN202110565844.0A CN202110565844A CN113158583B CN 113158583 B CN113158583 B CN 113158583B CN 202110565844 A CN202110565844 A CN 202110565844A CN 113158583 B CN113158583 B CN 113158583B
- Authority
- CN
- China
- Prior art keywords
- convolution
- size
- image
- watermark
- text image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 105
- 230000004913 activation Effects 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 43
- 230000009466 transformation Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
一种端到端的基于深度学习的文本图像水印模型建立方法,包括步骤:S1.准备适合深度学习的文本图像集,分为互不相同的训练集和测试集,并进行分批训练数据流程;S2.将训练集放入文本图像水印的嵌入和提取算法框架内,对模型展开训练,利用深度学习训练出文本图像水印模型;S3.将准备好的测试集放入文本图像水印模型中进行测试。本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法具有不可见性高、鲁棒性强、实用性优的特点。在实际使用过程中,成本更低、检测精度更高、耗时更短。
Description
技术领域
本发明涉及数字媒体版权保护领域,具体涉及一种端到端的基于深度学习的文本图像水印模型建立方法。
背景技术
随着计算机技术的飞速发展,具有易传播、低成本等特点的电子办公和电子政务得到广泛应用。人们在高效便捷地使用数字化媒体时,也面临着数字媒体内容的泄露和盗版等风险。因此需要对数字媒体内容适当地处理,数字水印技术是一种行之有效的版权保护技术,能够对数字媒体内容进行版权保护,甚至是泄密追踪。以文本图像为载体的数据内容是数字化文本传播的主体部分,其格式有电子文档,电子签名、电子发票、电子合同、电子证明等载体。
传统的文本图像水印算法按照嵌入位置可分为空间域算法和变换域算法。空间域算法主要有利用人眼对微小改变的不可察觉性,通过改变行间距和字间距等方法嵌入水印。还有通过改变词汇,语法或结构等算法嵌入水印。这类算法是将水印信息直接嵌入到文本图像的像素中,操作简单,但大部分算法是非盲提取水印算法,嵌入容量低,对旋转,缩放、添加噪声等攻击抵抗能力差,并不适用于实际使用过程。变换域算法主要是将文本图像像素变换到频域内,然后设计特定的算法,修改频域中频系数或添加强度因子,以达到嵌入水印的目的。这类算法在抗噪声和抗压缩方面性能很好,但比空间域算法的设计更为复杂,但大部分算法是非盲提取水印算法,针对不同格式内容的文本图像,需要单独设计相应的算法,无法抵抗在网络传播过程中受到的噪声攻击,不适合实际应用。
随着深度学习的广泛使用以及深度学习能够自适应的选择嵌入位置的特点,基于深度学习的信息隐藏获得了巨大的发展。因而文本图像水印算法结合深度学习方法,能够自适应学习文本图像的纹理特征,嵌入水印并盲提取水印是目前所需要的。
发明内容
本发明针对现有技术中的不足,即为解决传统的空间域水印算法和变换域水印算法的不可见性、鲁棒性、非盲提取、实用性差的问题,提供一种端到端的基于深度学习的文本图像水印模型建立方法。
为实现上述目的,本发明采用以下技术方案:
一种端到端的基于深度学习的文本图像水印模型建立方法,包括如下步骤:
S1.准备适合深度学习的文本图像集,分为互不相同的训练集和测试集,并进行分批训练数据流程;
S2.将训练集放入文本图像水印的嵌入和提取算法框架内,对模型展开训练,利用深度学习训练出文本图像水印模型;
S3.将准备好的测试集放入文本图像水印模型中进行测试。
为优化上述技术方案,采取的具体措施还包括:
进一步地,步骤S1中准备适合深度学习的文本图像集,分为互不相同的训练集和测试集,具体为:选取具有代表性且不同期刊的论文集及电子书籍,并截图为各不相同的文本图像,分成训练集和测试集;所述文本图像尺寸为400*400像素,文本图像总数为11万张,其中训练集10万张,测试集1万张。
进一步地,步骤S2中训练文本图像水印模型,具体为:基于分批训练数据,按批次送进文本图像水印模型训练,训练次数为10万批次;
在训练过程中,文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量优化,缩减文本图像与含水印信息的文本图像之间的差异以及水印信息与被恢复的水印信息之间的差异;同时在训练过程中,还引入图像噪声攻击的补偿算法。
进一步地,步骤S3中将准备好的测试集放入文本图像水印模型中进行测试,包括:将测试集按张送入文本图像水印模型中,生成含水印信息的文本图像后,对含水印信息的文本图像进行恢复水印信息的操作,并在无噪声攻击情况下以及有噪声攻击情况下测试水印信息恢复的正确率。
进一步地,所述分批训练数据流程具体如下:
定义一个文本图像集合和一个水印信息集合;
对于文本图像集合,利用随机函数随机从训练集中选择4张文本图像,作为1个批次,转化为RGB格式图像,设置尺寸为400*400,并将其转化为浮点型数据类型,且进行归一化操作,最后存放到文本图像集合;
对于水印信息集合,使用二项式分布原理随机生成4组长度为100bit的一维0、1数组,存放到水印信息集合。
进一步地,所述文本图像水印模型包括水印嵌入网络、图像变换网络、水印提取网络;
水印嵌入网络从分批训练数据流程中获取文本图像集合和水印信息集合并将水印信息嵌入至文本图像,生成含水印信息的文本图像;
图像变换网络对在网络信道传播过程中受到噪声干扰的含水印信息的文本图像进行图像变换,生成含水印的变换图像;
水印提取网络对含水印的变换图像进行水印信息提取。
进一步地,通过水印嵌入网络生成含水印信息的文本图像,包括如下步骤:
S2.1获取到分批训练的文本图像集合和水印信息集合,将水印信息集合中长度为100bit的水印信息经过一个全连接层,生成7500个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将这7500个单元重定义尺寸为50*50*3的特征图;对卷积结果进行上采样从而将特征图放大8倍,特征图尺寸为400*400*3,与文本图像集合中的文本图像尺寸相同;将扩大8倍后水印信息的特征图与文本图像进行拼接操作,生成尺寸为400*400*6的Input张量图;
S2.2对Input张量图进行卷积操作,其中卷积通道为32,卷积核尺寸为1*1,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv1尺寸大小为400*400*32;
S2.3经过卷积层的张量图conv1与扩大8倍后水印信息的特征图进行拼接操作,然后进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv2尺寸大小为400*400*32;
S2.4经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv3尺寸大小为400*400*32;
S2.5经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv4尺寸大小为400*400*64;
S2.6经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv5尺寸大小为400*400*64;
S2.7经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv6尺寸大小为400*400*64;
S2.8经过卷积层的张量图conv6进行卷积操作,其中卷积通道为3,卷积核尺寸为1*1,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3;
S2.9含水印图像残差图与文本图像原图相加,生成含水印信息的文本图像。
进一步地,通过图像变换网络生成含水印的变换图像,包括如下步骤:
S3.1将在网络信道传播过程中受到噪声干扰的含水印信息的文本图像经过卷积层的张量图conv1进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像尺寸大小为200*200*32;
S3.2经过卷积层的张量图conv2进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像尺寸大小为100*100*64;
S3.3经过卷积层的张量图conv3进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像大小为50*50*128;
S3.4默认按行的方向降维为1维数组,经过一个全连接层,生成128个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将128个单元与随机变量进行矩阵相乘,然后通过stn_transformer网络,生成含水印的变换图像,尺寸为400*400*3。
进一步地,所述水印提取网络包括如下步骤:
S4.1将含水印的变换图像经过卷积层的张量图conv1进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32;
S4.2经过卷积层的张量图conv2进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64;
S4.3经过卷积层的张量图conv3进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64;
S4.4经过卷积层的张量图conv4进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128;
S4.5经过卷积层的张量图conv5进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128;
S4.6默认按行的方向降维为1维数组,经过一个全连接层,生成512个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法;
S4.7默认按行的方向降维为1维数组,经过一个全连接层,生成100个单元,提取并得到水印信息。
本发明的有益效果是:本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法具有不可见性高、鲁棒性强、实用性优的特点。在实际使用过程中,成本更低、检测精度更高、耗时更短。
附图说明
图1为基于深度学习的文本图像水印的嵌入和提取算法框架示意图;
图2为深度神经网络的嵌入水印模型结构示意图;
图3为深度神经网络的中间图像变换层模型结构示意图;
图4为深度神经网络的提取水印模型结构示意图;
图5为深度神经网络的文本图像示意图;
图6为深度神经网络的嵌入水印的文本图像示意图;
图7为深度神经网络的水印图像示意图;
图8为深度神经网络的恢复的水印图像示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
为实现上述发明的目的,本发明所采用的技术方案是一种端到端的基于深度学习的文本图像水印模型建立方法。包括如下步骤:
(1)准备适合深度学习训练和测试的文本图像集,其中要求训练集和测试集互不相同,保证测试集的独立性。
(2)将训练集放入框架内对文本图像水印模型展开训练,利用深度学习训练出一个文本图像水印模型。文本图像水印模型需要使得载体图像(原始图像、文本图像)损失差异不影响使用要求,并保证载密图像(含水印信息的文本图像、含水印图像)在网络信道传播过程中抵抗各种噪声攻击。
(3)将准备好的测试集放入文本图像水印模型中进行测试。测试集与训练集不同,不存在过拟合问题,即在测试集的文本图像中嵌入水印依然能以相当高的准确率提取出水印。
在步骤(1)中,准备训练集与测试集的方法如下:在数字化媒体使用过程中,以文本图像为载体的数据内容是数字化文本传播的主体部分,其格式有电子文档,电子签名、电子发票、电子合同、电子证明等载体。因此选择具有代表性不同期刊的论文集及电子书籍,将其截图为文本图像,文本图像各不相同,文本图像的尺寸为400*400像素,文本图像总数达到11万张,其中训练集10万张,测试集为1万张。
在步骤(2)中,将训练集放入框架内对文本图像水印模型展开训练,深度学习出一个文本图像水印模型:将制作好的含有10万张文本图像的训练集按批次随机分出4张文本图像,同时随机生成4个100bit大小的水印信息,将其作为1个批次送进文本图像水印模型训练,训练次数设置为10万次。在训练过程中,文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量的优化,缩减载体图像与含水印信息的文本图像之间的差异,使人眼无法分辨出文本载体图像与含水印信息的文本图像之间的差异性。同时,缩减水印信息与被恢复的水印信息之间的差异。在训练过程中,引入各种常见图像噪声攻击的补偿算法,使得算法能够适应于实际使用的环境,对所涉及的攻击达到较高的鲁棒性。
在步骤(3)中,将准备好的测试集放入文本图像水印模型中进行测试:将准备好的1万张文本图像的测试集按张送入文本图像水印模型中,生成含水印信息的文本图像后,对含水印信息的文本图像进行恢复水印信息的操作。首先测试含水印信息的文本图像在无噪声攻击情况下的水印信息恢复的正确率,然后测试含水印信息的文本图像在有噪声攻击情况下的水印信息恢复的正确率。若正确率均高于设定值,则文本图像水印模型建立完成,若正确率均低于设定值,则对文本图像水印模型的参数进行优化。
本发明所用的文本图像数据集分为训练集和测试集(见表1),分别用来训练和测试水印系统。
表1 数据集说明
在本发明实现过程中,采用了基于神经网络的AutoEncoder模型架构,使用Python语言进行编程。基于神经网络的AutoEncoder模型架构使用图描述计算过程,通过构建和运行图即可实现对数据的计算。
参考图1,本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法:首先,水印系统在嵌入阶段时,水印信息与载体图像送入水印嵌入网络,生成一张含水印图像。然后,水印系统在提取阶段时,含水印图像经过网络传输信道进行传输,储存等操作时,受到一些噪声攻击,此时的含水印图像中含有一些噪声。含水印图像经过水印提取网络,提取出水印信息。其具体步骤如下:
(1)分批训练数据流程:首先,定义一个文本图像集合和一个水印信息集合。然后,利用随机函数随机从文本图像训练集中选择4张文本图像,转化为RGB格式图像,设置尺寸为400*400,接着将其转化为浮点型数据类型,并进行归一化操作,最后存放到文本图像集合。对于水印信息,使用二项式分布原理随机生成4组长度为100bit的一维0、1数组,存放到水印信息集合。
其中将训练集数据分批次进行训练是常见的图像训练方式,是为了加快训练文本图像水印模型。例如单个3通道图像尺寸为H×W×C=400×400×3,4张3通道图像尺寸为4×400×400×3。本发明对训练集数据进行分为4张文本图像作为一个批次训练,一方面可以加快训练文本图像水印模型,另一方面可以缩短文本图像水印模型训练时间。
(2)水印嵌入网络(参考图2):
(2.1)首先,获取到分批训练的文本图像集合和水印信息集合,长度为100bit的水印信息经过一个全连接层,生成7500个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将这7500个单元重定义尺寸为50*50*3的特征图。接下来,对卷积结果进行上采样从而将特征图放大8倍,特征图尺寸为400*400*3,与文本图像尺寸相同。随后,将扩大8倍后的水印信息特征图与文本图像进行拼接操作,生成尺寸为400*400*6的Input张量图。
(2.2)对Input张量图进行卷积操作,卷积通道为32,卷积核尺寸为1*1,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv1尺寸大小为400*400*32。
(2.3)经过卷积层的张量图conv1与扩大8倍后的水印信息特征图进行拼接,尺寸,然后进行卷积操作,卷积通道为32,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv2尺寸大小为400*400*32。
(2.4)经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv3尺寸大小为400*400*32。
(2.5)经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv4尺寸大小为400*400*64。
(2.6)经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv5尺寸大小为400*400*64。
(2.7)经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv6尺寸大小为400*400*64。
(2.8)经过卷积层的张量图conv6进行卷积操作,卷积通道为3,卷积核尺寸为1*1,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3。
(2.9)含水印图像残差图与文本图像原图相加,生成含水印图像。
其中,水印嵌入网络是为了将水印信息嵌入到文本图像。
(3)图像变换网络(参考图3):
(3.1)首先,在网络信道传播过程中受到噪声干扰的含水印图像,经过卷积层的张量图conv1进行卷积操作,卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印图像尺寸大小为200*200*32。
(3.2)经过卷积层的张量图conv2进行卷积操作,卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印图像尺寸大小为100*100*64。
(3.3)经过卷积层的张量图conv3进行卷积操作,卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv3张量图大小为50*50*128。
(3.4)默认按行的方向降维为1维数组,经过一个全连接层,生成128个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将128个单元与随机变量进行矩阵相乘,然后通过stn_transformer网络,生成含水印的变换图像,尺寸为400*400*3。
其中,图像变换网络是为了对嵌入水印的文本图像进行纠正,提升嵌入水印的文本图像抵抗攻击的鲁棒性。
(4)水印提取网络(参考图4):
(4.1)首先,将经过图像变换网络生成的含水印的变换图像,经过卷积层的张量图conv1进行卷积操作,卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32。
(4.2)经过卷积层的张量图conv2进行卷积操作,卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。
(4.3)经过卷积层的张量图conv3进行卷积操作,卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。
(4.4)经过卷积层的张量图conv4进行卷积操作,卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。
(4.5)经过卷积层的张量图conv5进行卷积操作,卷积通道为128,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。
(4.6)默认按行的方向降维为1维数组,经过一个全连接层,生成512个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法。
(4.7)默认按行的方向降维为1维数组,经过一个全连接层,生成100个单元,提取出水印信息。
其中,水印提取网络是为了从嵌入水印的文本图像中提取出水印信息。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (7)
1.一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,包括如下步骤:
S1.准备深度学习的文本图像集,分为互不相同的训练集和测试集,并进行分批训练数据流程;
S2.将训练集放入文本图像水印的嵌入和提取算法框架内,对模型展开训练,利用深度学习训练出文本图像水印模型;
所述文本图像水印模型包括水印嵌入网络、图像变换网络、水印提取网络;
水印嵌入网络从分批训练数据流程中获取文本图像集合和水印信息集合并将水印信息嵌入至文本图像,生成含水印信息的文本图像;
图像变换网络对在网络信道传播过程中受到噪声干扰的含水印信息的文本图像进行图像变换,生成含水印的变换图像;
水印提取网络对含水印的变换图像进行水印信息提取;
通过水印嵌入网络生成含水印信息的文本图像,包括如下步骤:
S2.1获取到分批训练的文本图像集合和水印信息集合,将水印信息集合中长度为100bit的水印信息经过一个全连接层,生成7500个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将这7500个单元重定义尺寸为50*50*3的特征图;对卷积结果进行上采样从而将特征图放大8倍,特征图尺寸为400*400*3,与文本图像集合中的文本图像尺寸相同;将扩大8倍后水印信息的特征图与文本图像进行拼接操作,生成尺寸为400*400*6的Input张量图;
S2.2对Input张量图进行卷积操作,其中卷积通道为32,卷积核尺寸为1*1,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv1尺寸大小为400*400*32;
S2.3经过卷积层的张量图conv1与扩大8倍后水印信息的特征图进行拼接操作,然后进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv2尺寸大小为400*400*32;
S2.4经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv3尺寸大小为400*400*32;
S2.5经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv4尺寸大小为400*400*64;
S2.6经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv5尺寸大小为400*400*64;
S2.7经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作,然后进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的conv6尺寸大小为400*400*64;
S2.8经过卷积层的张量图conv6进行卷积操作,其中卷积通道为3,卷积核尺寸为1*1,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3;
S2.9含水印图像残差图与文本图像原图相加,生成含水印信息的文本图像;
S3.将准备好的测试集放入文本图像水印模型中进行测试。
2.根据权利要求1所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,步骤S1中准备深度学习的文本图像集,分为互不相同的训练集和测试集,具体为:选取不同期刊的论文集及电子书籍,并截图为各不相同的文本图像,分成训练集和测试集;所述文本图像尺寸为400*400像素,文本图像总数为11万张,其中训练集10万张,测试集1万张。
3.根据权利要求2所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,步骤S2中训练文本图像水印模型,具体为:基于分批训练数据,按批次送进文本图像水印模型训练,训练次数为10万批次;
在训练过程中,文本图像水印模型利用AdamOptimizer优化器对嵌入水印信息的文本图像进行图像质量优化,缩减文本图像与含水印信息的文本图像之间的差异以及水印信息与被恢复的水印信息之间的差异;同时在训练过程中,还引入图像噪声攻击的补偿算法。
4.根据权利要求3所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,步骤S3中将准备好的测试集放入文本图像水印模型中进行测试,包括:将测试集按张送入文本图像水印模型中,生成含水印信息的文本图像后,对含水印信息的文本图像进行恢复水印信息的操作,并在无噪声攻击情况下以及有噪声攻击情况下测试水印信息恢复的正确率。
5.根据权利要求3所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,所述分批训练数据流程具体如下:
定义一个文本图像集合和一个水印信息集合;
对于文本图像集合,利用随机函数随机从训练集中选择4张文本图像,作为1个批次,转化为RGB格式图像,设置尺寸为400*400,并将其转化为浮点型数据类型,且进行归一化操作,最后存放到文本图像集合;
对于水印信息集合,使用二项式分布原理随机生成4组长度为100bit的一维0、1数组,存放到水印信息集合。
6.根据权利要求1所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,通过图像变换网络生成含水印的变换图像,包括如下步骤:
S3.1将在网络信道传播过程中受到噪声干扰的含水印信息的文本图像经过卷积层的张量图conv1进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像尺寸大小为200*200*32;
S3.2经过卷积层的张量图conv2进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像尺寸大小为100*100*64;
S3.3经过卷积层的张量图conv3进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印信息的文本图像大小为50*50*128;
S3.4默认按行的方向降维为1维数组,经过一个全连接层,生成128个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,将128个单元与随机变量进行矩阵相乘,然后通过stn_transformer网络,生成含水印的变换图像,尺寸为400*400*3。
7.根据权利要求1所述的一种端到端的基于深度学习的文本图像水印模型建立方法,其特征在于,所述水印提取网络包括如下步骤:
S4.1将含水印的变换图像经过卷积层的张量图conv1进行卷积操作,其中卷积通道为32,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32;
S4.2经过卷积层的张量图conv2进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64;
S4.3经过卷积层的张量图conv3进行卷积操作,其中卷积通道为64,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64;
S4.4经过卷积层的张量图conv4进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,水平滑动和垂直滑动步长值为2,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128;
S4.5经过卷积层的张量图conv5进行卷积操作,其中卷积通道为128,卷积核尺寸为3*3,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式,保证图像的尺寸不变,经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128;
S4.6默认按行的方向降维为1维数组,经过一个全连接层,生成512个单元,激活函数为“relu”函数,卷积核初始化使用“he_normal”方法;
S4.7默认按行的方向降维为1维数组,经过一个全连接层,生成100个单元,提取并得到水印信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110565844.0A CN113158583B (zh) | 2021-05-24 | 2021-05-24 | 一种端到端的基于深度学习的文本图像水印模型建立方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110565844.0A CN113158583B (zh) | 2021-05-24 | 2021-05-24 | 一种端到端的基于深度学习的文本图像水印模型建立方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113158583A CN113158583A (zh) | 2021-07-23 |
CN113158583B true CN113158583B (zh) | 2023-05-16 |
Family
ID=76877657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110565844.0A Active CN113158583B (zh) | 2021-05-24 | 2021-05-24 | 一种端到端的基于深度学习的文本图像水印模型建立方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158583B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554545A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨工业大学(深圳) | 一种用于图像处理模型版权保护的模型水印方法 |
CN115880125B (zh) * | 2023-03-02 | 2023-05-26 | 宁波大学科学技术学院 | 基于Transformer的软融合鲁棒图像水印方法 |
CN117057969B (zh) * | 2023-08-28 | 2024-04-19 | 天津大学 | 跨模态图像-水印联合生成与检测装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111223034A (zh) * | 2019-11-14 | 2020-06-02 | 中山大学 | 基于深度学习的大容量抗打印/拍摄盲水印系统及方法 |
CN112308754A (zh) * | 2020-10-30 | 2021-02-02 | 东南数字经济发展研究院 | 面向大容量鲁棒水印应用的多解码端并行提取机制设计 |
CN112634120A (zh) * | 2020-12-30 | 2021-04-09 | 暨南大学 | 基于cnn预测的图像可逆水印方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018006095A2 (en) * | 2016-07-01 | 2018-01-04 | Digimarc Corporation | Image-based pose determination |
CN108520225B (zh) * | 2018-03-30 | 2021-07-27 | 南京信息工程大学 | 一种基于空间变换卷积神经网络的指纹检测分类方法 |
CN109815653A (zh) * | 2019-01-31 | 2019-05-28 | 上海计算机软件技术开发中心 | 一种基于深度学习的pdf文本水印提取及比对方法 |
CN111598761B (zh) * | 2020-04-17 | 2023-11-17 | 中山大学 | 一种基于图像降噪的抗打印拍摄图像数字水印方法 |
CN111681155B (zh) * | 2020-06-09 | 2022-05-27 | 湖南大学 | 一种基于深度学习的gif动态图像水印方法 |
-
2021
- 2021-05-24 CN CN202110565844.0A patent/CN113158583B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111223034A (zh) * | 2019-11-14 | 2020-06-02 | 中山大学 | 基于深度学习的大容量抗打印/拍摄盲水印系统及方法 |
CN112308754A (zh) * | 2020-10-30 | 2021-02-02 | 东南数字经济发展研究院 | 面向大容量鲁棒水印应用的多解码端并行提取机制设计 |
CN112634120A (zh) * | 2020-12-30 | 2021-04-09 | 暨南大学 | 基于cnn预测的图像可逆水印方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113158583A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113158583B (zh) | 一种端到端的基于深度学习的文本图像水印模型建立方法 | |
CN111598761B (zh) | 一种基于图像降噪的抗打印拍摄图像数字水印方法 | |
Wu et al. | A steganographic method for images by pixel-value differencing | |
JP4742175B2 (ja) | 透かし情報埋込装置、透かし情報処理システム、透かし情報埋込方法、及びプログラム | |
Hatoum et al. | Using deep learning for image watermarking attack | |
Roy et al. | An SVD based location specific robust color image watermarking scheme using RDWT and Arnold scrambling | |
CN103886545B (zh) | 基于计算全息的变换域抗打印扫描数字水印方法 | |
Malonia et al. | Digital image watermarking using discrete wavelet transform and arithmetic progression technique | |
Fu et al. | Color image watermarking scheme based on linear discriminant analysis | |
Nguyen et al. | A simple ICA-based digital image watermarking scheme | |
CN111292221A (zh) | 一种安全鲁棒的大容量图像隐写方法 | |
Ge et al. | A robust document image watermarking scheme using deep neural network | |
CN104637026B (zh) | 一种基于连续多页文本图像水印嵌入与提取方法 | |
CN113222802A (zh) | 基于对抗攻击的数字图像水印方法 | |
CN111681155A (zh) | 一种基于深度学习的gif动态图像水印方法 | |
Lu et al. | Wavelet-based CNN for robust and high-capacity image watermarking | |
Liao et al. | GIFMarking: The robust watermarking for animated GIF based deep learning | |
CN111445378A (zh) | 一种基于神经网络的图像盲水印嵌入及检测的方法及系统 | |
CN114648436A (zh) | 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 | |
CN113628090A (zh) | 抗干扰消息隐写与提取方法、系统、计算机设备、终端 | |
CN101751655A (zh) | 数字水印的嵌入方法、提取方法及其装置 | |
CN116402668A (zh) | 图像处理方法及装置 | |
CN113726976B (zh) | 一种基于编码-解码网络的大容量以图藏图方法和系统 | |
CN111681152B (zh) | 一种针对印刷图片的抗打印扫描数字水印方法 | |
Wang et al. | A feature-based digital watermarking scheme for halftone image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |