CN113379584B - 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置 - Google Patents

一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置 Download PDF

Info

Publication number
CN113379584B
CN113379584B CN202110649809.7A CN202110649809A CN113379584B CN 113379584 B CN113379584 B CN 113379584B CN 202110649809 A CN202110649809 A CN 202110649809A CN 113379584 B CN113379584 B CN 113379584B
Authority
CN
China
Prior art keywords
watermark
image
attack
quaternion
exponent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110649809.7A
Other languages
English (en)
Other versions
CN113379584A (zh
Inventor
王兴元
李琦
王晓雨
咸永锦
高锁
闫晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110649809.7A priority Critical patent/CN113379584B/zh
Publication of CN113379584A publication Critical patent/CN113379584A/zh
Application granted granted Critical
Publication of CN113379584B publication Critical patent/CN113379584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置,本发明方法包括:通过构建基于卷积神经网络的水印攻击模型,在含水印图像和无水印图像之间进行端到端非线性学习,将含水印图像映射到无水印图像,进行水印攻击;根据水印信息的嵌入区域选择合适数目的特征提取块来提取含水印信息的特征图;引入残差学习机制提升水印攻击模型的收敛速度和学习能力,通过减少残差图像与无水印图像之间的差异提升被攻击图像的不可感知性;根据DIV2K2017超分辨率数据集以及基于四元数指数矩的鲁棒彩色图像水印算法构建训练水印攻击模型的数据集。本发明的水印攻击模型能够在不破坏含水印图像视觉质量的前提下以高误码率实现对鲁棒水印算法的攻击。

Description

一种基于残差学习的不可感知水印攻击方法、存储介质及电 子装置
技术领域
本发明涉及数字水印技术领域,具体而言,尤其涉及一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置。
背景技术
随着互联网技术的不断发展,信息获取变得越来越便捷,随之而来的是海量信息不受限制地在网络上进行存储和传输。如何有效地保护信息安全是一个亟待解决的关键问题,也一直是科学研究中最重要的课题之一。数字水印技术是数字图像版权保护的关键技术,通过把一些标识信息(即数字水印)嵌入到需要保护的图像中,以达到确认图像版权归属的目的。目前关于数字水印技术的研究主要集中在两个方面,水印方法和水印攻击方法,扮演“守方”的水印方法通过提高算法的鲁棒性增强对各种水印攻击方法的抵抗能力;而作为“攻方”的水印攻击方法则通过对数字水印系统进行各种攻击,试图让水印方法无法正确提取出嵌入的水印信息。
为了抵抗水印攻击方法,“守方”近些年提出了多种应对策略,例如:为了抵抗信号处理攻击,设计了基于图像空域、变换域和特征空间的水印方法。为了抵抗几何攻击,设计了基于几何不变量、同步校正、局部特征区域方法等策略的水印方法;此外,设计了多种水印方法以抵抗降梯度攻击、敏感性攻击和扰乱攻击。近几年,随着深度学习的发展,研究人员将深度神经网络扩展到了图像水印领域,例如:Haribabu等人于2015年提出了一种基于自编码的神经网络数字图像水印算法,其根本思想是使用标准梯度下降反向传播算法学习给定图像的自动编码网络的权重,基于该思想将水印不可见地嵌入到给定的图像中。2018年,Zhu等人提出了针对水印算法的HiDDeN架构,利用神经网络学习使用细微扰动编码大量有用信息来完成水印嵌入的任务。同年,Ahmadi等人提出了一种深度端到端差分水印框架,该框架能够在嵌入容量和鲁棒性两者之间进行适当的调整和权衡,并具有自适应性和灵活性。2020年,Hao等人提出了一种基于生成对抗网络的图像水印算法,通过该方法得到的含水印图像具有更好的视觉效果,其抗噪声能力也更有优势。同年,Lee等人提出一种基于神经网络的图像盲水印算法,其能够在不使用任何分辨率相关层或组件的情况下执行嵌入网络的操作。
近年来,对数字水印技术的研究主要集中于“守方”,旨在提升现有水印方法的鲁棒性,但是现有的水印攻击体系已无法满足水印方法的需求,含水印图像在被攻击后能以极低的误码率甚至于无损提取水印信息。并且目前的水印攻击方式并没有考虑被攻击后水印图像的视觉质量,这对于很多需要被保护的信息来说是不切实际的。
随着计算机硬件和网络带宽的快速发展,人工智能和深度学习领域引起了研究学者的广泛关注。到目前为止,深度学习和卷积神经网络已为图像识别、语音识别和自然语言处理等多个领域提供了很多完美的解决方案。在深度学习时代,卷积神经网络为改变传统的水印攻击方式提供了契机。2020年,Nam等人提出一种水印攻击网络(watermarkingattack network),他们意识到目前存在的攻击方案仍然不能够作为一个测试水印方案鲁棒性的基准,并且存在很多问题。指出了目前的水印攻击方式仅仅是单一地对水印图像进行干扰,而忽略了目标水印的具体特性。并提出使用一种基于残差密集块(residual denseblocks)的网络架构来用于学习水印图像的局部和全局特征,在尽可能保护水印图像质量不被干扰的前提下使得各类水印方案失效,即提取出正常但是相反的水印信息,对9种较为主流的水印方案都进行了攻击,与传统的攻击方式相比,该攻击方案能够很好地控制水印图像的信息损失,并达到水印信息被破坏的效果。Sharma等人提出一种鲁棒混合水印技术,能够抵抗基于CNN的对抗性攻击;该水印方案首次假想到了基于CNN的攻击方式,并结合了对抗的思想;首先对基于变换域(DWT、DCT和SVD等)的图像水印方案的鲁棒性进行了传统攻击方式的混合测试,然后提出了一种基于深度卷积神经网络的自编码器新型水印攻击,其能通过网络中间层的低维度投影来表示水印图像的内容(空间和结构);在训练环节,CAFAR10数据集被用来作为图像库,目的是为了和传统的水印方案相比,其基于DWT+SVD的水印嵌入方案能抵抗更加现代化的攻击方式,同时具有更好的提取效果,但是其新型攻击方式的提出也是一个很不错的创新。耿等人提出一种基于CNN的对鲁棒水印方案的实时攻击方案,以提升水印方案鲁棒性为前提,并指出现有的攻击方式并不能够很好地平衡图像质量和水印破坏能力,并基于此提出一种以CNN为主的去除攻击方式,主要攻击具有高鲁棒性和不需要宿主图像的盲水印方案,该攻击方案能够在不具备任何先验知识的前提下对水印图像进行预处理操作,进而阻碍水印的提取;甚至在水印方案未知的情况下,仍然能够利用水印图像的一些共同特征来破坏水印。Quiring等人研究了一种基于对抗学习的黑盒攻击方法,专门用于针对数字水印,首先,该方案阐明,尽管机器学习和数字水印都是独立的领域,但是存在着某种共性(易受攻击性),使用神经网络来代替水印检测工具,并利用神经网络来去除水印,并且实现了能够在水印方案未知的前提下完成对嵌入水印的攻击操作。
尽管目前少数的研究成果表明深度学习技术能够作为一种新型的水印攻击方式达到干扰水印提取并同时保证水印的图像质量,但是攻击体系仍然不够成熟,并且目前大多数的水印攻击方案是以提升水印图像的质量(PSNR、SSIM等)为目标,忽略了水印提取(BER,Bit Error Rate)的问题。
发明内容
根据上述提出的技术问题,本发明提供一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置。
本发明采用的技术手段如下:
一种基于残差学习的不可感知水印攻击方法,包括:
基于卷积神经网络,构建水印攻击模型;
基于构建的所述水印攻击模型,设计损失函数;
基于DIV2K2017以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法,构建训练所述水印攻击模型的数据集;
采用所述数据集对所述水印攻击模型进行训练,得到不含水印图像。
进一步地,所述基于卷积神经网络,构建水印攻击模型,包括将含水印图像和不含水印图像作为不可感知水印攻击模型的输入和输出,通过卷积神经网络在含水印图像和无水印图像之间进行端到端非线性学习,使得含水印图像映射到无水印图像,去除水印信息。
进一步地,所述水印攻击模型包括多层卷积层和多个特征提取块;卷积层均进行padding操作,每个特征提取块均包括128个5×5的卷积核和ReLU非线性层。
进一步地,所述基于构建的所述水印攻击模型,设计损失函数,包括根据水印信息的嵌入区域选择合适数目的特征提取块以提取出包含大量水印信息的特征图;引入残差学习机制,通过学习含水印图像和无水印图像之间的差异来提升水印攻击模型的收敛速度以及学习能力。
进一步地,所述基于构建的所述水印攻击模型,设计损失函数,具体包括以下步骤:
步骤1.1、所述水印攻击模型通过特征提取块提取出表示水印信息的低频特征图像,将含水印图像与低频特征图像作差,得到残差图像;即:
IR=IW-IL
其中,IR表示残差图像,IW表示含水印图像,IL表示低频特征图像;
步骤1.2、设计损失函数,减少所述残差图像IR与原始不含水印图像IO之间的差异,损失函数采用均方误差MSE,具体为:
其中,表示损失函数,IR表示残差图像,IO表示原始不含水印图像。
进一步地,所述基于DIV2K2017以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法,构建训练所述水印攻击模型的数据集,包括将指数矩延伸到四元数领域,定义彩色图像的四元数指数矩,假设一个像素点为极坐标系下的彩色图像,根据四元数和指数矩理论定义四元数指数矩。
进一步地,所述基于DIV2K2017以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法,构建训练所述水印攻击模型的数据集,具体包括以下步骤:
步骤2.1、假设大小为M×N的彩色图像的一个像素点使用f(x,y)表示,x和y分别表示该像素点在矩阵中行列的位置信息,四元数的三个虚部分别看作彩色图像的RGB三个通道,将RGB彩色图像表示为无实部的纯虚四元数:
f(x,y)=fR(x,y)i+fG(x,y)j+fB(x,y)k (6)
其中,fR(x,y),fG(x,y)和fB(x,y)分别为彩色图像的RGB分量,i,j和k表示与其对应的虚数单位;
步骤2.2、采用指数矩进行图像的重建,指数矩在极坐标系(r,θ)中,阶数为n,重复度为m,具体为:
其中,图像函数使用f(r,θ)表示,/>表示图像函数的共轭;
步骤2.3、假设图像指数矩的最高阶为nmax,最大重复度为mmax,则重构公式如下:
步骤2.4、假设f(r,θ)为极坐标系下的彩色图像,根据公式(1)和公式(2)对四元数指数矩进行定义,定义的四元数指数矩如下:
其中,μ表示一个单位纯四元数,
步骤2.5、假设彩色图像指数矩的最高阶为nmax,最大重复度为mmax,则彩色图像四元数指数矩的重建公式如下:
进一步地,所述四元数指数矩的鲁棒彩色图像水印算法,具体包括以下步骤:
步骤3.1、输入大小为C×H×W的原始不含水印图像Ic,以及大小为M×N的水印图像Is
步骤3.2、使用Arnold变换对二值水印图像Is进行置乱,并将二值水印图像Is转换为一维序列S={s(k),1≤k≤M×N};
步骤3.3、根据公式(4)计算原始不含水印图像Ic的四元数指数矩E1
步骤3.4、利用密钥K1随机从E1选取M×N个四元数指数矩ER,其中对应的幅值为/>
步骤3.5、使用以下量化规则将水印信息S嵌入到幅值A中:
其中,round(·)表示为四舍五入函数,Δ表示为量化步长,mod(x,y)表示为x除y所得余数;/>表示嵌入水印信息后的幅值,/>表示对应的四元数指数矩;
步骤3.6、使用未修改的四元数指数矩,计算重建图像f*(h,w):
f*(h,w)=fo(h,w)—fs(h,w)
其中,fo(h,w)表示原始不含水印图像,fs(h,w)表示使用ER重建的图像;
步骤3.7、根据以下公式计算得到嵌入水印信息的含水印图像f'(h,w):
f'(h,w)=f*(h,w)+fs'(h,w)
其中,fs'(h,w)表示使用重建的图像。
本发明还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时,执行上述基于残差学习的不可感知水印攻击方法。
本发明还提供了一种存储介质,电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器通过所述计算机程序运行执行上述基于残差学习的不可感知水印攻击方法。
较现有技术相比,本发明具有以下优点:
1、本发明提供的基于残差学习的不可感知水印攻击方法,能够充分利用嵌入水印信息的特征属性,减少对含水印图像的内容改动,从而更好地保证含水印图像的高度不可感知性。
2、本发明提供的基于残差学习的不可感知水印攻击方法,其水印攻击模型的攻击能力远高于大多数的水印攻击方法,其水印信息提取的误码率高达0.35645,仅低于边缘锐化和平移。
3、本发明提供的基于残差学习的不可感知水印攻击方法,其水印攻击模型能够很好地控制含水印图像的信息损失,并有效破坏含水印图像的水印信息。
4、本发明提供的基于残差学习的不可感知水印攻击方法,其水印攻击模型能够根据水印信息的嵌入区域针对性地对其进行破坏,合理选择模型的特征提取块对含水印图像进行攻击,从而达到最优的攻击效果。
基于上述理由本发明可在数字水印等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明实施例提供的深度水印攻击模型整体框架结构图。
图3为本发明实施例提供的深度水印攻击模型的网络架构设计图。
图4为本发明实施例提供的含水印图像小波分解后对应的频域信息。
图5为本发明实施例提供的使用不同层数的特征提取块计算出的误码率。
图6为本发明实施例提供的使用不同攻击方法得到的被攻击含水印图像及残差图像(残差图像放大15倍)。
图7为本发明实施例提供的不同的单一攻击方法得到的被攻击含水印图像以及提取的水印信息。
图8为本发明实施例提供的不同的组合攻击方法得到的被攻击含水印图像以及提取的水印信息。
图9为本发明实施例提供的使用不同的水印攻击方法计算出的误码率。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了一种基于残差学习的不可感知水印攻击方法,包括如下步骤:
S1、基于卷积神经网络,构建水印攻击模型。包括将含水印图像和不含水印图像作为不可感知水印攻击模型的输入和输出,通过卷积神经网络在含水印图像和无水印图像之间进行端到端非线性学习,使得含水印图像映射到无水印图像,去除水印信息。
基于残差学习的深度水印攻击方法将原始不含水印图像作为水印攻击模型的优化目标,并充分利用卷积神经网络的非线性拟合能力,将受攻击的含水印图像映射回原始不含水印图像,以此方式移除含水印图像中嵌入的水印信息,达到攻击的目的,如图2所示,展示了水印攻击模型的整体框架结构。对于绝大多数的数字水印技术而言,水印的不可感知性是重要的评价指标,通过水印技术得到的含水印图像与原始不含水印图像之间并无显著的视觉差异,将原始不含水印图像作为攻击含水印图像的优化目标,让攻击后的含水印图像更加接近原始不含水印图像是一种简单且有效的训练手段,具体有三方面原因:
(1)训练过程无需先验知识,即不需要提前知道水印方法中水印嵌入和提取的具体策略,因此具有普适性和优化过程简单的优点;
(2)训练好的水印攻击模型将含水印图像转化为不含水印图像,移除了含水印图像中由于水印嵌入带来的内容改变,导致水印提取器无法有效提取出水印信息;
(3)训练好的水印攻击模型输出的攻击后含水印图像、原始含水印图像及不含水印图像三者间具有高度视觉相似性,满足对水印攻击的不可感知需求。
对于基于卷积神经网络的深度水印攻击模型,攻击能力与卷积神经网络的学习能力密切相关,如果卷积神经网络能够挖掘出更有效的特征,有利于原始不含水印图像和含水印图像之间映射关系的学习,从而提高模型的攻击能力。目前大多数的数字水印技术都具有较高的不可感知性,即原始不含水印图像和含水印图像之间存在高度相似性,那么模型如果直接在原始不含水印图像和含水印图像上进行特征提取进行训练将很难收敛,受到深度超分辨率技术(Very Deep Super Resolution,VDSR)的启发,本方案将残差学习的思想引入到水印攻击模型的设计之中,水印攻击网络直接对残差图像建模,减少了对图像的大部分冗余信息的处理,以便更快地达到收敛状态。此外,模型采用深层网络结构,合理地加深了特征提取模块,进而提升了模型的攻击能力,模型的设计结构图如图3所示,在本实施例中,通过实验证明了基于四元数指数矩的水印方案将水印信息大部分嵌入到了原始不含水印图像的低频区域以保证其鲁棒性,而理论上卷积神经网络的层数越深,所提取的特征带有高频信息就越多,反而不会对水印信息产生破坏,因此,本实施例中的水印攻击模型由2层卷积层和7个特征提取块构成,每个特征提取块都包含128个5×5的卷积核和ReLU非线性层,以提升模型的非线性拟合能力,为了保证输出的特征图像和含水印图像大小相同,水印模型中的卷积层都采用了padding操作。
S2、基于构建的所述水印攻击模型,设计损失函数;包括根据水印信息的嵌入区域选择合适数目的特征提取块以提取出包含大量水印信息的特征图;引入残差学习机制,通过学习含水印图像和无水印图像之间的差异来提升水印攻击模型的收敛速度以及学习能力。具体实施时,作为本发明优选的实施方式,具体包括以下步骤:
步骤1.1、所述水印攻击模型通过特征提取块提取出表示水印信息的低频特征图像,为了破坏含水印图像中的水印信息,将含水印图像与低频特征图像作差,得到残差图像;即:
IR=IW-IL
其中,IR表示残差图像,IW表示含水印图像,IL表示低频特征图像;
步骤1.2、设计损失函数,减少所述残差图像IR与原始不含水印图像IO之间的差异,损失函数采用均方误差MSE,具体为:
其中,表示损失函数,IR表示残差图像,IO表示原始不含水印图像。
S3、基于DIV2K2017以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法,构建训练所述水印攻击模型的数据集,包括将指数矩延伸到四元数领域,定义彩色图像的四元数指数矩,假设一个像素点为极坐标系下的彩色图像,根据四元数和指数矩理论定义四元数指数矩。具体实施时,作为本发明优选的实施方式,具体包括以下步骤:
步骤2.1、假设大小为M×N的彩色图像的一个像素点使用f(x,y)表示,x和y分别表示该像素点在矩阵中行列的位置信息,四元数的三个虚部分别看作彩色图像的RGB三个通道,将RGB彩色图像表示为无实部的纯虚四元数:
f(x,y)=fR(x,y)i+fG(x,y)j+fB(x,y)k (11)
其中,fR(x,y),fG(x,y)和fB(x,y)分别为彩色图像的RGB分量,i,j和k表示与其对应的虚数单位;
步骤2.2、采用指数矩进行图像的重建,指数矩在极坐标系(r,θ)中,阶数为n,重复度为m,具体为:
其中,图像函数使用f(r,θ)表示,/>表示图像函数的共轭;
步骤2.3、假设图像指数矩的最高阶为nmax,最大重复度为mmax,则重构公式如下:
步骤2.4、假设f(r,θ)为极坐标系下的彩色图像,根据公式(1)和公式(2)对四元数指数矩进行定义,定义的四元数指数矩如下:
其中,μ表示一个单位纯四元数,
步骤2.5、假设彩色图像指数矩的最高阶为nmax,最大重复度为mmax,则彩色图像四元数指数矩的重建公式如下:
具体实施时,作为本发明优选的实施方式,所述四元数指数矩的鲁棒彩色图像水印算法,具体包括以下步骤:
步骤3.1、输入大小为C×H×W的原始不含水印图像Ic,以及大小为M×N的水印图像Is
步骤3.2、使用Arnold变换对二值水印图像Is进行置乱,并将二值水印图像Is转换为一维序列S={s(k),1≤k≤M×N};
步骤3.3、根据公式(4)计算原始不含水印图像Ic的四元数指数矩E1
步骤3.4、利用密钥K1随机从E1选取M×N个四元数指数矩ER,其中对应的幅值为/>
步骤3.5、使用以下量化规则将水印信息S嵌入到幅值A中:
其中,round(·)表示为四舍五入函数,Δ表示为量化步长,mod(x,y)表示为x除y所得余数;/>表示嵌入水印信息后的幅值,/>表示对应的四元数指数矩;
步骤3.6、使用未修改的四元数指数矩,计算重建图像f*(h,w):
f*(h,w)=fo(h,w)-fs(h,w)
其中,fo(h,w)表示原始不含水印图像,fs(h,w)表示使用ER重建的图像;
步骤3.7、根据以下公式计算得到嵌入水印信息的含水印图像f'(h,w):
f'(h,w)=f*(h,w)+fs'(h,w)
其中,fs'(h,w)表示使用重建的图像。
S4、采用所述数据集对所述水印攻击模型进行训练,得到不含水印图像。
具体实施时,作为本发明优选的实施方式,本实施例中的数据集为800幅256×256的彩色图像,其中的750张作为训练数据集,剩下50张作为测试集。本实施例中的非线性模块均采用的ReLU层,因此采用kaiming均匀分布(He initialization)来初始化模型参数,即μ=(-bound,bound),此外,本实施例的实验环境为装有NVIDA Tesla V100 32GB显卡的Windows版服务器,深度学习框架为Python 3.6,Pytorch1.60版本,实验中,训练集的批次大小设置为50,学习率设置为0.005,优化器采用了Adam。
实施例1
为了验证本发明方法的有效性,进行了仿真实验,并给出如下的实验结果,同时对实验结果进行了分析,具体如下:
一、针对水印信息的嵌入区域:
基于四元数指数矩的彩色图像鲁棒水印方法将水印信息嵌入到原始不含水印图像的具体区域决定了水印攻击模型的结构设计。如果水印信息嵌入到了原始不含水印图像的高频区域,那么,水印攻击模型的特征提取模块主要用来提取含水印图像的高频信息即可,残差图像(含水印图像和提取的特征图像做差)的水印信息就会最大限度地被破坏;同理,水印信息嵌入到原始不含水印图像的低频区域也是以上述方式破坏水印信息。因此,首先对水印的嵌入区域进行了分析,利用Haar小波将含水印图像进行频域分解,分别可以得到含水印图像的低频信息,水平高频信息,垂直高频信息以及对角高频信息,如图4所示。
为了验证水印信息存在于含水印图像的具体区域,将含水印图像小波分解后对应的频域信息分别设置为0,然后进行重构,再根据随机选择重构的含水印图像提取水印信息来计算误码率(BER,Bit Error Rate),其实验结果如表1所示:
表1重构的含水印信息对应的误码率
从表1的实验结果可以看出,缺少低频信息重构出的含水印图像提取水印信息得到的误码率远高于缺少其他频域信息,因此得出结论:基于四元数指数矩的水印嵌入方案将水印信息大部分都嵌入到了无水印图像的低频区域。该结论为模型的网络架构提供了思路,即要尽可能提升网络架构提取含水印图像的低频信息的能力。
实施例2
二、针对网络架构深度
为了验证网络架构的深度对模型攻击能力的影响,本实施例的特征提取块分别选取7、11、15以及20,并随机在测试集中挑选了25幅含水印图像来计算提取水印信息的误码率,实验结果如图5所示,从图5的实验结果可以看出,当特征提取块的层数N取2时,水印信息提取的误码率的平均值为0.11716,表示水印攻击模型具有一定的破坏能力;而特征提取块的层数N取7时,水印信息提取的误码率的平均值高达0.13885,可以得出,随着模型深度的增加,水印攻击模型的攻击能力在不断增强,即模型提取的含水印图像的特征包含大部分低频信息,残差图像中的水印信息得到了大幅度地破坏,误码率得到了提升;当特征提取块的层数N取11到15层时,水印信息提取的误码率的平均值分别为0.00860和0.06007,误码率反而降低了,又可以得出,具有更多特征提取块的模型提取的含水印图像特征包含的是大部分高频信息,导致残差图像中包含了大部分的水印信息,因此其误码率不降反增。因此,得出结论:水印攻击模型的网络架构深度需要依据水印信息的嵌入区域来决定,当水印信息嵌入到了低频区域,层数不易过多;反之,则可适当增加水印攻击模型的网络层数。
实施例3
三、高度不可感知性
保证被攻击含水印图像的高度不可感知性是水印攻击模型的一个重要目标,即尽可能降低含水印图像视觉质量的损失。目前的传统水印攻击方法(滤波、锐化以及组合攻击等)没有针对水印信息的特性进行有效地攻击,而是通过对含水印图像的完整性进行破坏,进而对水印提取起到一定的干扰作用,但同时会对含水印图像的视觉质量造成严重的破坏。为此,本实施例使用不同的攻击方法对含水印图像进行了干扰,并计算了被攻击含水印图像和原始含水印图像的残差图像(为了显示效果,残差图像放大15倍),实验结果如图6所示,从图6的实验结果可以看出,与目前传统的水印攻击方法相比,本发明提出的方法能够充分利用嵌入水印信息的特征属性,减少对含水印图像的内容改动,从而更好地保证含水印图像的高度不可感知性。为了更加直观体现被攻击的含水印图像的不可感知性,分别用被攻击图像和原始水印图像的峰值信噪比(PSNR,Peak Signal to Noise Ratio)以及结构相似度(SSIM,Structural Similarity)来衡量,实验结果如表2所示:
表2重构的含水印信息对应的误码率
表2是从50幅测试图像中随机选取的5幅图像,从实验结果可以看出,本发明方法在PSNR和SSIM都优于传统的水印攻击方法。根据50幅测试图像的PSNR和SSIM的平均值的实验数据统计,发明方法的PSNR平均值为33.5796,SSIM平均值为0.9784,而被高斯噪声攻击的含水印图像的PSNR平均值为20.3848,SSIM平均值为0.5679,远远低于本发明提出的攻击方法所得到的被攻击含水印图像的质量;其中,传统水印攻击方法表现最好的是高斯滤波,其PSNR平均值为28.9846,SSIM平均值为0.9241,但是本发明提出的水印攻击模型对含水印图像的水印信息的破坏能力远远优于高斯滤波攻击,从图6以及表2的实验结果可以看出,与传统的水印攻击方法相比,水印攻击模型能够充分利用嵌入水印信息的特征属性,减少对含水印图像的内容改动,更好地保证含水印图像的高度不可感知性。
实施例4
四、攻击能力
传统的水印攻击方法在牺牲图像视觉质量的前提下能够对水印信息提取产生一定的干扰作用,但是由于其没有充分利用水印信息的具体特性,往往攻击效果不佳。本发明提出的水印攻击模型能够根据水印信息的嵌入区域针对性地对其进行破坏,合理选择模型的特征提取块对含水印图像进行攻击,从而达到最优的攻击效果。图7表示的是不同的单一攻击方法得到的被攻击含水印图像以及提取的水印信息,图8则表示的是不同的组合攻击方法得到的被攻击含水印图像以及提取的水印信息。
从图7,8的实验结果可以看出,与传统的水印攻击方法相比,本发明提出的水印攻击模型能够很好地保证含水印图像被攻击后的高度不可感知性。从图7的实验结果分析来看,与单一的传统水印攻击方法相比,水印攻击模型的攻击能力远高于大多数的水印攻击方法,其水印信息提取的误码率高达0.35645,仅低于边缘锐化和平移。从图8的实验结果分析来看,水印攻击模型的攻击能力仍远高于大多数的组合水印攻击方法,仅低于边缘锐化和JPEG70的组合攻击方法。实验结果表明:水印攻击模型能够能很好地控制含水印图像的信息损失,并有效破坏含水印图像的水印信息。为了更加直观地体现水印攻击模型地攻击能力,从50幅测试图像中随机选取了25幅图像,并在不同的攻击方法下对误码率进行了统计,实验结果如图9所示,从图9的实验结果可以看出,50幅测试图像的水印信息提取误码率的平均值为0.1389,而组合攻击(JEPG压缩+椒盐噪声+高斯滤波)的水印信息提取误码率的平均值为0.0762,中值滤波、高斯噪声等单一的水印攻击方法的提取误码率分别为0.0631和0.0437,实验结果表明:水印攻击模型的攻击能力优于目前大多数的水印攻击方法,并且是一种有效的攻击手段。
本申请实施例还公开了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时,执行上文任一实施例提供的基于残差学习的不可感知水印攻击方法。
本申请实施例还公开了一种存储介质,电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器通过所述计算机程序运行执行上文任一实施例提供的基于残差学习的不可感知水印攻击方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于残差学习的不可感知水印攻击方法,其特征在于,包括:
基于卷积神经网络,构建水印攻击模型;
基于构建的所述水印攻击模型,设计损失函数,包括根据水印信息的嵌入区域选择合适数目的特征提取块以提取出包含大量水印信息的特征图;引入残差学习机制,通过学习含水印图像和无水印图像之间的差异来提升水印攻击模型的收敛速度以及学习能力;具体包括以下步骤:
步骤1.1、所述水印攻击模型通过特征提取块提取出表示水印信息的低频特征图像,将含水印图像与低频特征图像作差,得到残差图像;即:
IR=IWIL
其中,IR表示残差图像,IW表示含水印图像,IL表示低频特征图像;
步骤1.2、设计损失函数,减少所述残差图像IR与原始不含水印图像IO之间的差异,损失函数采用均方误差MSE,具体为:
其中,表示损失函数,IR表示残差图像,IO表示原始不含水印图像;
基于DIV2K2017以及所攻击的基于四元数指数矩的鲁棒彩色图像水印算法,构建训练所述水印攻击模型的数据集,包括将指数矩延伸到四元数领域,定义彩色图像的四元数指数矩,假设一个像素点为极坐标系下的彩色图像,根据四元数和指数矩理论定义四元数指数矩;具体包括以下步骤:
步骤2.1、假设大小为M×N的彩色图像的一个像素点使用f(x,y)表示,x和y分别表示该像素点在矩阵中行列的位置信息,四元数的三个虚部分别看作彩色图像的RGB三个通道,将RGB彩色图像表示为无实部的纯虚四元数:
f(x,y)=fR(x,y)i+fG(x,y)j+fB(x,y)k (1)
其中,fR(x,y),fG(x,y)和fB(x,y)分别为彩色图像的RGB分量,i,j和k表示与其对应的虚数单位;
步骤2.2、采用指数矩进行图像的重建,指数矩在极坐标系(r,θ)中,阶数为n,重复度为m,具体为:
其中,图像函数使用f(r,θ)表示,/>表示图像函数的共轭;
步骤2.3、假设图像指数矩的最高阶为nmax,最大重复度为mmax,则重构公式如下:
步骤2.4、假设f(r,θ)为极坐标系下的彩色图像,根据公式(1)和公式(2)对四元数指数矩进行定义,定义的四元数指数矩如下:
其中,μ表示一个单位纯四元数,
步骤2.5、假设彩色图像指数矩的最高阶为nmax,最大重复度为mmax,则彩色图像四元数指数矩的重建公式如下:
所述四元数指数矩的鲁棒彩色图像水印算法,具体包括以下步骤:
步骤3.1、输入大小为C×H×W的原始不含水印图像Ic,以及大小为M×N的水印图像Is
步骤3.2、使用Arnold变换对二值水印图像Is进行置乱,并将二值水印图像Is转换为一维序列S={s(k),1≤k≤M×N};
步骤3.3、根据公式(4)计算原始不含水印图像Ic的四元数指数矩E1
步骤3.4、利用密钥K1随机从E1选取M×N个四元数指数矩ER,其中对应的幅值为/>
步骤3.5、使用以下量化规则将水印信息S嵌入到幅值A中:
其中,round(·)表示为四舍五入函数,Δ表示为量化步长,mod(x,y)表示为x除y所得余数;/>表示嵌入水印信息后的幅值,表示对应的四元数指数矩;
步骤3.6、使用未修改的四元数指数矩,计算重建图像f*(h,w):
f*(h,w)=fo(h,w)-fs(h,w)
其中,fo(h,w)表示原始不含水印图像,fs(h,w)表示使用ER重建的图像;
步骤3.7、根据以下公式计算得到嵌入水印信息的含水印图像f'(h,w):
f'(h,w)=f*(h,w)+fs'(h,w)
其中,fs'(h,w)表示使用重建的图像;
采用所述数据集对所述水印攻击模型进行训练,得到不含水印图像。
2.根据权利要求1所述的基于残差学习的不可感知水印攻击方法,其特征在于,所述基于卷积神经网络,构建水印攻击模型,包括将含水印图像和不含水印图像作为不可感知水印攻击模型的输入和输出,通过卷积神经网络在含水印图像和无水印图像之间进行端到端非线性学习,使得含水印图像映射到无水印图像,去除水印信息。
3.根据权利要求2所述的基于残差学习的不可感知水印攻击方法,其特征在于,所述水印攻击模型包括多层卷积层和多个特征提取块;卷积层均进行padding操作,每个特征提取块均包括128个5×5的卷积核和ReLU非线性层。
4.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时,执行所述权利要求1-3中任意一项权利要求所述的方法。
5.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序运行执行权利要求1-3中任意一项权利要求所述的方法。
CN202110649809.7A 2021-06-10 2021-06-10 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置 Active CN113379584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110649809.7A CN113379584B (zh) 2021-06-10 2021-06-10 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110649809.7A CN113379584B (zh) 2021-06-10 2021-06-10 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN113379584A CN113379584A (zh) 2021-09-10
CN113379584B true CN113379584B (zh) 2023-10-31

Family

ID=77573786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110649809.7A Active CN113379584B (zh) 2021-06-10 2021-06-10 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113379584B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989096B (zh) * 2021-12-27 2022-04-12 山东大学 基于深度学习和注意力网络的鲁棒图像水印方法及系统
CN114363719B (zh) * 2022-01-07 2023-02-24 四川大学 一种基于Bessel-Fourier矩的内容自适应鲁棒性视频水印方法
CN114647824B (zh) * 2022-05-23 2022-09-23 南京信息工程大学 一种神经网络主动保护方法、系统、存储介质及计算设备
CN116308986B (zh) * 2023-05-24 2023-08-04 齐鲁工业大学(山东省科学院) 基于小波变换及注意力机制的隐蔽水印攻击算法
CN116342362B (zh) * 2023-05-31 2023-07-28 齐鲁工业大学(山东省科学院) 深度学习增强数字水印不可感知性方法
CN116402670B (zh) * 2023-06-08 2023-08-18 齐鲁工业大学(山东省科学院) 一种基于生成对抗网络的不可感知水印攻击方法
CN117057969B (zh) * 2023-08-28 2024-04-19 天津大学 跨模态图像-水印联合生成与检测装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761701A (zh) * 2013-12-28 2014-04-30 辽宁师范大学 基于四元数指数矩的彩色图像水印方法
CN104766263A (zh) * 2014-12-20 2015-07-08 辽宁师范大学 基于四元数Legendre矩校正的彩色图像水印嵌入及检测方法
CN111984942A (zh) * 2020-07-23 2020-11-24 西安理工大学 基于极复指数变换和残差神经网络的鲁棒视频零水印方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050446B2 (en) * 2005-07-12 2011-11-01 The Board Of Trustees Of The University Of Arkansas Method and system for digital watermarking of multimedia signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761701A (zh) * 2013-12-28 2014-04-30 辽宁师范大学 基于四元数指数矩的彩色图像水印方法
CN104766263A (zh) * 2014-12-20 2015-07-08 辽宁师范大学 基于四元数Legendre矩校正的彩色图像水印嵌入及检测方法
CN111984942A (zh) * 2020-07-23 2020-11-24 西安理工大学 基于极复指数变换和残差神经网络的鲁棒视频零水印方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于H.264与新一代视频编码标准的压缩域视频水印综述;朱新山;杨璐;;信息安全学报(06);全文 *
基于四元数指数矩的鲁棒彩色图像水印算法;王向阳;杨红颖;牛盼盼;王春鹏;;计算机研究与发展(03);全文 *
基于四元数极谐变换的鲁棒数字水印算法;张博;;计算机与数字工程(06);全文 *

Also Published As

Publication number Publication date
CN113379584A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379584B (zh) 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置
Huang et al. Enhancing image watermarking with adaptive embedding parameter and PSNR guarantee
Jabade et al. Literature review of wavelet based digital image watermarking techniques
CN104616244B (zh) 基于 bp 神经网络压缩域的图像水印嵌入与提取方法
CN106097237B (zh) 图像水印的嵌入方法和提取方法以及相关方法
Geng et al. Real-time attacks on robust watermarking tools in the wild by CNN
Haghighi et al. WSMN: An optimized multipurpose blind watermarking in Shearlet domain using MLP and NSGA-II
Rani et al. A robust watermarking scheme exploiting balanced neural tree for rightful ownership protection
CN115908095A (zh) 一种基于分层注意力特征融合的鲁棒图像水印方法及系统
Kumar et al. WSOmark: An adaptive dual-purpose color image watermarking using white shark optimizer and Levenberg–Marquardt BPNN
Chang et al. Copyright authentication for images with a full counter-propagation neural network
CN113628090A (zh) 抗干扰消息隐写与提取方法、系统、计算机设备、终端
Hoshi et al. A robust watermark algorithm for copyright protection by using 5-level DWT and two logos
CN116308986A (zh) 基于小波变换及注意力机制的隐蔽水印攻击算法
Gao et al. Grayscale watermarking resistant to geometric attacks based on lifting wavelet transform and neural network
CN109584139B (zh) 适用于批自适应隐写的安全嵌入方法
Sharma et al. elm@
Chang et al. A neural-network-based robust watermarking scheme
Huynh-The et al. Robust image watermarking framework powered by convolutional encoder-decoder network
CN115358910A (zh) 基于卷积神经网络去噪算法的数字水印攻击方法及系统
Soualmi et al. A blind watermarking approach based on hybrid Imperialistic Competitive Algorithm and SURF points for color Images’ authentication
Alizadeh et al. Image watermarking by Q learning and matrix factorization
CN113592697A (zh) 基于卷积神经网络去噪思想的数字水印攻击方法及系统
Abdollahi et al. Image steganography based on smooth cycle-consistent adversarial learning
Liu et al. A Larger Capacity Data Hiding Scheme Based on DNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant