CN114170060A - 基于深度学习的零水印鲁棒算法 - Google Patents
基于深度学习的零水印鲁棒算法 Download PDFInfo
- Publication number
- CN114170060A CN114170060A CN202111391977.7A CN202111391977A CN114170060A CN 114170060 A CN114170060 A CN 114170060A CN 202111391977 A CN202111391977 A CN 202111391977A CN 114170060 A CN114170060 A CN 114170060A
- Authority
- CN
- China
- Prior art keywords
- image
- watermark
- network
- time stamp
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
- G06F21/645—Protecting data integrity, e.g. using checksums, certificates or signatures using a third party
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的零水印鲁棒算法,具体包括如下步骤:步骤1,在知识版权保护中心注册时间以得到时间戳;步骤2,将宿主图像H和带有时间戳的水印图像B一起输入VGG‑19网络中,VGG‑19网络输出一个带有时间戳的图像O,将图像O进行加密,并将加密后的图像O在知识版权保护中心注册为零水印图像;步骤3,采用步骤2所得的图像制作数据集,并将数据集输入到训练完成的RCNN卷积神经网络中,网络输出结果是带有时间戳的水印图像,完成零水印的提取验证过程。本发明解决了目前零水印技术中普遍存在鲁棒性差的问题。
Description
技术领域
本发明属于版权技术领域,涉及一种基于深度学习的零水印鲁棒算法。
背景技术
在这个数字信息时代,图像作为信息传播的有效载体,在人们的生活、工作和通信中发挥着重要的作用。随着计算机的快速发展,每个人都可以从互联网上下载。这使得版权保护面临着巨大的挑战。水印是一种有效的版权保护途径。但是,数字水印技术无法平衡鲁棒性和不可见性之间的矛盾。为了平衡这种矛盾关系,人们提出了零水印技术。现有的零水印算法通过变换域将图像具体的、鲁棒的特征提取出来构造零水印图像。然而事实上,这些特征无法在受到攻击时仍然稳健。
发明内容
本发明的目的是提供一种基于深度学习的零水印鲁棒算法,解决了目前零水印技术中普遍存在鲁棒性差的问题。
本发明所采用的技术方案是,基于深度学习的零水印鲁棒算法,具体包括如下步骤:
步骤1,在知识版权保护中心注册时间以得到时间戳;
步骤2,将宿主图像H和带有时间戳的水印图像B一起输入VGG-19网络中,VGG-19网络输出一个带有时间戳的图像O,将图像O进行加密,并将加密后的图像O在知识版权保护中心注册为零水印图像;
步骤3,采用步骤2所得的图像制作数据集,并将数据集输入到训练完成的RCNN卷积神经网络中,网络输出结果是带有时间戳的水印图像,完成零水印的提取验证过程。
本发明的特点还在于:
步骤1的具体过程为:
步骤1.1,用户将需要加时间戳的文件用Hash编码加密形成摘要;
步骤1.2,用户提出时间戳请求,Hash值被传递给时间戳服务器;
步骤1.3,时间戳服务器采用权威时间源,由国家授时中心负责授时和守时;
步骤1.4,由第三方时间戳服务机构对电子数据摘要和权威时间记录进行数字签名生成时间戳。
步骤2的具体过程为:
步骤2.1,对宿主图像和带有时间戳的水印图像进行预处理;
步骤2.2,对宿主图像和带有时间戳的水印图像进行语义分割得到宿主分割图像HS和水印分割图像BS;
步骤2.3,利用VGG-19网络模型对步骤2.2所得图像进行风格迁移;
步骤2.4,计算内容损失、风格损失和正则化项;
步骤2.5,以网络初始化图像为带有时间戳的水印图像进行训练,输出结果为带有H风格的图像O;
步骤2.6、将风格化图像O通过猫变换算法进行加密,并在知识版权保护中心注册为零水印图像。
步骤2.1的具体过程为:
步骤2.1.1,确定宿主图像为风格图片H,确定带有时间戳的水印图片为内容图片B;
步骤2.1.2,通过下采样将内容图片B和风格图片H大小统一为相同尺寸;
步骤2.1.3,制作一张水印图片,该水印图片是普通彩色图像即可。
步骤3的具体过程为:
步骤3.1,对步骤2所得的零水印图像进行解密;
步骤3.2,制作数据集,将数据集以24:1的比例分为训练集与测试集;
步骤3.3,搭建用于提取水印图像的卷积神经网络RCNN;
步骤3.4,确定损失函数;
步骤3.5,将数据集中的训练集用于RCNN网络的训练,直到损失函数收敛,用测试集测试网络性能。
本发明的有益效果如下:
1.本发明提出提取图像风格、颜色特征和版权信息来构造零水印图像。
2.该算法适用于所有彩色图像,因为其都有风格和颜色特征。
3.零水印生成和提取验证过程均采用卷积神经网络完成,简单、快速、安全。只有经过良好训练的网络才能成功提取水印信息。此外,网络参数、框架和数据集不易被窃取。
附图说明
图1是本发明基于深度学习的零水印鲁棒算法的总体流程图;
图2是本发明基于深度学习的零水印鲁棒算法的零水印构造流程图;
图3是本发明基于深度学习的零水印鲁棒算法的带有时间戳的水印图像B;
图4是本发明基于深度学习的零水印鲁棒算法的零水印提取验证的RCNN网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度学习的零水印鲁棒算法,具体按照图1所示步骤实施:
步骤1、在知识版权保护中心注册时间以得到时间戳;
步骤1具体按照以下步骤实施:
步骤1.1、用户将需要加时间戳的文件用Hash编码加密形成摘要;
步骤1.2、用户提出时间戳请求,Hash值被传递给时间戳服务器;
步骤1.3、时间戳服务器采用权威时间源,由国家授时中心负责授时和守时;
步骤1.4、由可信第三方时间戳服务机构(如:知识产权保护中心)对电子数据摘要和权威时间记录进行数字签名生成时间戳。
步骤2、将宿主图像H(风格图像)和带有时间戳的水印图像B(内容图像)水印图像B如图3所示,一起输入VGG-19网络中,网络输出一个带有时间戳的图像O(风格化图像)。该图像通过置乱算法进行加密,并在知识版权保护中心注册为零水印图像Z,完成零水印的生成过程。生成过程如图2所示;
步骤2具体按照以下步骤实施,如图2所示:
步骤2.1,对宿主图像和水印图像进行预处理;
步骤2.1具体按照以下步骤实施:
步骤2.1.1、确定宿主图像为风格图片H,确定带有时间戳的水印图片为内容图片B;
步骤2.1.2、在输入网络之前,需要对图像进行预处理,通过下采样将内容图片B和风格图片H大小统一为128*128,之后将每一个像素的大小减去整幅图像素的平均数;
步骤2.1.3、制作一张水印图片,该水印图片是普通彩色图像即可;
步骤2.2,对宿主图像和水印图像进行语义分割得到宿主分割图像HS和水印分割图像BS;
步骤2.2具体按照以下步骤实施:
步骤2.2.1、采用resnet101作为骨架网络进行图像特征提取,将H和B先后输入网络中;
步骤2.2.2、采用联合特征金字塔jfp模型将resnet101输出的后三层进行联合;
步骤2.2.3、将jfp模型的输出接入暗黑空间金字塔aspp模型进一步提取图像的空间尺度信息;
步骤2.2.4、应用解码结构将步骤2.2.3的输出图像恢复为原始大小,完成对H图像和B图像的语义分割得到分割图像HS和BS;
步骤2.3,利用VGG-19网络模型进行风格迁移;
步骤2.3具体按照以下步骤实施:
步骤2.3.1、获取VGG-19预训练模型;
步骤2.3.2、删除VGG-19预训练模型的两个全连接层和softmax层;
步骤2.3.3、将提取出来的VGG参数全部作为常量使用;
步骤2.3.4、输入层设置为Variable;
步骤2.4,计算内容损失、风格损失和正则化项;
步骤2.4具体按照以下步骤实施:
步骤2.4.1、将内容图片B输入VGG-19网络,计算内容图片B在VGG-19网络指定层上的输出值Fe[B];
步骤2.4.2、通过最小化内容图像B和输出图像O的指定层特征之间的差异来计算出相应的内容损失函数;
步骤2.4.2建立内容损失函数,具体按照以下步骤实施:
步骤2.4.2.1、先计算内容图像B第e层的卷积特征Fe[B],同时输出图像O用B初始化Fe[O];
步骤2.4.2.2、通过梯度下降法最小化O与B之间的像素值差,逐步更新O,在不断重复循环迭代过程中,内容损失逐步减小;
步骤2.4.2.2中内容损失函数定义为:
式(1)中,C代表内容,e为深度卷积神经网络的第e层卷积层;在每一层,都有N个滤波器,每个滤波器都有尺寸大小为D的矢量化特征图;Fl[·]为特征矩阵,ij为其下标。
步骤2.4.4的风格损失函数定义为:
Fl,r[O]=Fl[O]Ml,r[B] (2a);
Fl,r[H]=Fl[H]Ml,r[H] (2b);
式(2)中,S为风格,R是语义分割掩码中的通道数;式(2a)、(2b)中,Ml,r[·]为l层中分割掩码的通道r,Ge,r[·]为Fl,r[·]对应的Gram矩阵。我们对掩模进行下采样,以匹配卷积神经网络每一层的特征图空间大小;
步骤2.4.5的正则化项定义为:
式(3)中,宿主图像H有N个像素,MH为N×N大小的矩阵,Vr[O]为通道r中输出图像O的失量化矩阵(N×1)。
步骤2.4.3、将风格图片H输入网络,计算风格图片H在VGG-19网络指定层上的输出值Fl[H];
步骤2.4.4、通过最小化风格图像H和输出图像O的Gram矩阵来计算出相应的风格损失函数,某一层的Gram矩阵为该层的特征矩阵与该层的分割掩模通道数r的矩阵的乘积;
步骤2.4.5、正则化项为输出图像O的矢量化转置矩阵(1×N)、内容图像B(N×N)和输出图像O的矢量化矩阵(N×1)这三者的乘积。
步骤2.5,以迭代次数为300次且网络初始化图像为带有时间戳的水印图像进行训练,输出结果为带有H风格的图像O;
步骤2.5具体按照以下步骤实施:
步骤2.5.1、将宿主图像H、带有时间戳的水印图像B、宿主分割图像HS和水印分割图像BS一起输入到VGG-19网络模型中;
步骤2.5.2、建立起输出图像O与内容损失函数、风格损失函数、正则化项三者之间的总损失函数;
步骤2.5.3、宿主分割图像HS和水印分割图像BS控制风格在输出图像O的位置;
步骤2.5.4、根据总损失函数,通过VGG-19连续迭代更新输出图像O,直到图像O同时匹配宿主图像H的风格和水印图像B的内容;
步骤2.5.2中的总损失函数定义为:
式(4)中,L是卷积层的总数,Γ是控制风格损失的权重,αl和βl分别控制内容损失和风格损失的比例,λ是控制正则化的权重。
步骤2.6,风格化图像O通过猫变换算法进行加密,并在知识版权保护中心注册为零水印图像。
步骤2.6具体按照以下步骤实施:
步骤2.6.1、将步骤2.5得到的输出图像O输入猫变换算法中进行加密;
步骤2.6.2、将加密的风格化图像O在知识版权保护中心注册为零水印图像。
步骤3、采用步骤2所得图像制作数据集,并将该数据集输入到训练完成的RCNN卷积神经网络中,网络输出结果是带有时间戳的水印图像,完成零水印的提取验证过程。提取验证过程如图4所示。
步骤3具体按照以下步骤实施:
步骤3.1,对步骤2所得的零水印图像进行解密;
步骤3.2,制作数据集,将数据集以24:1的比例分为训练集与测试集;
步骤3.3,搭建用于提取水印图像的卷积神经网络RCNN;
步骤3.4,确定损失函数;
步骤3.5,将数据集中的训练集用于RCNN网络的训练,直到损失函数收敛,用测试集测试网络性能。
步骤3.1具体按照以下步骤实施:
步骤3.2.1、在Waterloo Exploration数据集中选择49张图像与步骤2所得的图像一起(共50张图像)作为宿主图像,对这些图像进行常见的单次攻击或多次联合攻击,形成5000张大小为128×128的宿主图像;
步骤3.2.2、将这5000张受攻击的宿主图像分别与带有时间戳的水印图像按步骤2生成5000张风格化图像;
步骤3.2.3、每一张宿主图像与其对应的风格化图像组成一对输入数据,形成5000对大小为128×128的数据集,其中4800对用于训练,其余200对用于测试网络;
步骤3.2.1的数据集包含受椒盐噪声、高斯噪声、量化、旋转、JPEG压缩、裁剪等多种单一攻击和组合攻击的宿主图像与其对应的风格化图像。椒盐噪声攻击等级包括0.01,0.02,0.05,1.0,2.0;高斯噪声攻击等级包括0.01,0.02,0.05,1.0,2.0;JPEG压缩攻击压缩因子包括10,20,30,40,50,60,70,80,90,100;旋转攻击角度包括1-360°,旋转角度按1递增;量化攻击等级包括10,20,30,50,80;裁剪攻击等级包括图像左边框裁剪范围从0-120,按10递增,上边框裁剪范围从0-120,按10递增;组合攻击包括噪声攻击加旋转攻击、噪声攻击加JPEG压缩攻击、噪声攻击加裁剪攻击、噪声攻击加选择攻击、量化攻击加裁剪攻击等。
步骤3.3中具体网络模型:
RCNN网络由1个连接层(Concat)、6个卷积层(Conv)、3个残差块(Residual block)组成,残差块由卷积层(Conv)、归一化(BN)和跳跃连接(skip connection)组成,激活函数均采用ReLU;
步骤3.4中的损失函数定义为:
步骤3.5具体按照以下步骤实施:
步骤3.5.1、设置数据集中的训练集用于网络训练,测试集用于网络测试;
步骤3.5.2、设计每批次读取数据的数量大小;
步骤3.5.3、载入RCNN网络模型,损失函数收敛,网络完成训练;
步骤3.5.4、测试集输入训练好的网络,计算输出结果图像与原始水印图像的SSIM和BER值;
步骤3.5.5、查看时间戳,判断是否侵权。
Claims (5)
1.基于深度学习的零水印鲁棒算法,其特征在于:具体包括如下步骤:
步骤1,在知识版权保护中心注册时间以得到时间戳;
步骤2,将宿主图像H和带有时间戳的水印图像B一起输入VGG-19网络中,VGG-19网络输出一个带有时间戳的图像O,将图像O进行加密,并将加密后的图像O在知识版权保护中心注册为零水印图像;
步骤3,采用步骤2所得的图像制作数据集,并将数据集输入到训练完成的RCNN卷积神经网络中,网络输出结果是带有时间戳的水印图像,完成零水印的提取验证过程。
2.根据权利要求1所述的基于深度学习的零水印鲁棒算法,其特征在于:所述步骤1的具体过程为:
步骤1.1,用户将需要加时间戳的文件用Hash编码加密形成摘要;
步骤1.2,用户提出时间戳请求,Hash值被传递给时间戳服务器;
步骤1.3,时间戳服务器采用权威时间源,由国家授时中心负责授时和守时;
步骤1.4,由第三方时间戳服务机构对电子数据摘要和权威时间记录进行数字签名生成时间戳。
3.根据权利要求2所述的基于深度学习的零水印鲁棒算法,其特征在于:所述步骤2的具体过程为:
步骤2.1,对宿主图像和带有时间戳的水印图像进行预处理;
步骤2.2,对宿主图像和带有时间戳的水印图像进行语义分割得到宿主分割图像HS和水印分割图像BS;
步骤2.3,利用VGG-19网络模型对步骤2.2所得图像进行风格迁移;
步骤2.4,计算内容损失、风格损失和正则化项;
步骤2.5,以网络初始化图像为带有时间戳的水印图像进行训练,输出结果为带有H风格的图像O;
步骤2.6、将风格化图像O通过猫变换算法进行加密,并在知识版权保护中心注册为零水印图像。
4.根据权利要求3所述的基于深度学习的零水印鲁棒算法,其特征在于:所述步骤2.1的具体过程为:
步骤2.1.1,确定宿主图像为风格图片H,确定带有时间戳的水印图片为内容图片B;
步骤2.1.2,通过下采样将内容图片B和风格图片H大小统一为相同尺寸;
步骤2.1.3,制作一张水印图片,该水印图片是普通彩色图像即可。
5.根据权利要求1所述的基于深度学习的零水印鲁棒算法,其特征在于:所述步骤3的具体过程为:
步骤3.1,对步骤2所得的零水印图像进行解密;
步骤3.2,制作数据集,将数据集以24:1的比例分为训练集与测试集;
步骤3.3,搭建用于提取水印图像的卷积神经网络RCNN;
步骤3.4,确定损失函数;
步骤3.5,将数据集中的训练集用于RCNN网络的训练,直到损失函数收敛,用测试集测试网络性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111391977.7A CN114170060A (zh) | 2021-11-19 | 2021-11-19 | 基于深度学习的零水印鲁棒算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111391977.7A CN114170060A (zh) | 2021-11-19 | 2021-11-19 | 基于深度学习的零水印鲁棒算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114170060A true CN114170060A (zh) | 2022-03-11 |
Family
ID=80480491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111391977.7A Pending CN114170060A (zh) | 2021-11-19 | 2021-11-19 | 基于深度学习的零水印鲁棒算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114170060A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117635408A (zh) * | 2023-11-22 | 2024-03-01 | 南京财经大学 | 面向版权保护的图像零水印方法、装置及介质 |
-
2021
- 2021-11-19 CN CN202111391977.7A patent/CN114170060A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117635408A (zh) * | 2023-11-22 | 2024-03-01 | 南京财经大学 | 面向版权保护的图像零水印方法、装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Coverless steganography based on image retrieval of DenseNet features and DWT sequence mapping | |
Guan et al. | Reversible watermarking in deep convolutional neural networks for integrity authentication | |
Li et al. | A QDCT-and SVD-based color image watermarking scheme using an optimized encrypted binary computer-generated hologram | |
CN104616244B (zh) | 基于 bp 神经网络压缩域的图像水印嵌入与提取方法 | |
Zhang et al. | Joint JPEG compression and detection resistant performance enhancement for adaptive steganography using feature regions selection | |
Su et al. | An improved color image watermarking scheme based on Schur decomposition | |
Li et al. | Anti-compression JPEG steganography over repetitive compression networks | |
Liu et al. | Robust blind image watermarking based on chaotic mixtures | |
MaungMaung et al. | A protection method of trained CNN model with a secret key from unauthorized access | |
CN104217389B (zh) | 一种基于改进Arnold变换的图像水印嵌入、提取的方法与装置 | |
CN104217387B (zh) | 一种基于量化嵌入的图像水印嵌入、提取的方法与装置 | |
Liu et al. | A robust coverless steganography scheme using camouflage image | |
CN110430334B (zh) | 一种基于扇形构图单元叠加的马赛克拼图伪装及恢复方法 | |
Pal et al. | Robust watermarking scheme for tamper detection and authentication exploiting CA | |
Jana et al. | A new DCT based robust image watermarking scheme using cellular automata | |
CN114170060A (zh) | 基于深度学习的零水印鲁棒算法 | |
Mu et al. | An improved quantum watermarking using quantum Haar wavelet transform and Qsobel edge detection | |
Sanku et al. | Digital image watermarking in RGB host using DWT, SVD, and PSO techniques | |
CN109920014B (zh) | 3d网格模型隐写方法 | |
CN116205776A (zh) | 一种基于半脆弱可逆水印的篡改定位方法 | |
Zhang et al. | Embedding Guided End‐to‐End Framework for Robust Image Watermarking | |
CN112614196B (zh) | 基于四元数卷积神经网络的图像鲁棒性哈希认证方法 | |
Sun et al. | High‐Capacity Data Hiding Method Based on Two Subgroup Pixels‐Value Adjustment Using Encoding Function | |
Abdollahi et al. | Image steganography based on smooth cycle-consistent adversarial learning | |
Shady et al. | Local features-based watermarking for image security in social media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |