CN113095989B - 一种基于图像风格迁移化的零水印版权保护算法 - Google Patents

一种基于图像风格迁移化的零水印版权保护算法 Download PDF

Info

Publication number
CN113095989B
CN113095989B CN202110353176.5A CN202110353176A CN113095989B CN 113095989 B CN113095989 B CN 113095989B CN 202110353176 A CN202110353176 A CN 202110353176A CN 113095989 B CN113095989 B CN 113095989B
Authority
CN
China
Prior art keywords
image
content
style
picture
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110353176.5A
Other languages
English (en)
Other versions
CN113095989A (zh
Inventor
刘晶
马小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110353176.5A priority Critical patent/CN113095989B/zh
Publication of CN113095989A publication Critical patent/CN113095989A/zh
Application granted granted Critical
Publication of CN113095989B publication Critical patent/CN113095989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于图像风格迁移化的零水印版权保护算法，通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程，查看时间戳信息，对照作者信息，判断是否侵权。本发明在深度神经网络与水印技术之间建立联系，有效地利用了神经网络能够完成特征提取的优势，提高了获取零水印构造所需特征信息的效率。时间戳信息和迭代次数之间建立数学关系，使得检测时能够用到的凭据更加充分合理。生成模拟攻击后的图像数据集用于后续检测，使得本发明的抗攻击性能得到了极大地提升。区别于其他零水印算法检测过程提取水印信息的方法，本发明利用深度神经网络能够完成分类识别的优势，快速便捷地完成检测任务。

Description

一种基于图像风格迁移化的零水印版权保护算法
技术领域
本发明属于版权技术领域，涉及一种基于图像风格迁移化的零水印版权保护算法。
背景技术
随着互联网的发展，数字多媒体产品越来越盛行，但是由于数字产品易于复制和修改的原因，使得盗版问题非常严重，为了保护作者、所有者以及合法用户的权利，在数字版权保护方面卓有成效的数字水印也就应用而生了，但是，数字水印的核心问题就是鲁棒性和不可见性之间的平衡矛盾。为了平衡这种矛盾关系，人们提出了零水印技术，在不改变载体图像的情况下实现对载体图像版权的保护。与大多数零水印版权保护算法不同的是，本文通过借助神经网络能够完成特征提取的优势，将在被保护图片中所提取到的纹理结构等特征与风格图片相结合，得到零水印图片，进而通过相似度检测的方法完成版权保护的任务，提出了一种基于图像风格迁移化的零水印版权保护方法。
发明内容
本发明的目的是提供一种基于图像风格迁移化的零水印版权保护算法，解决了目前技术中普遍存在的在水印不可见的情况下，抗攻击性能较差的问题。
本发明所采用的技术方案是，一种基于图像风格迁移化的零水印版权保护算法，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS风格的秘密图像P1，完成零水印的构造过程；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC和WS先进行非几何处理再设计风格迁移化生成图像P2组成的图像数据集M2，范例图片XC是与WC完全不同的图片；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程。
本发明的特点还在于：
步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
步骤1.3、计算内容损失和风格损失；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1；
步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片WC，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，该水印图片是普通彩色图像即可；
步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable；
步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像；
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure GDA0004230964230000031
的卷积特征/>
Figure GDA00042309642300000311
同时随机初始化/>
Figure GDA0004230964230000032
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure GDA0004230964230000033
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure GDA0004230964230000034
是最终期望的根据各种特征还原得到图像；
步骤1.3.2.2中内容损失函数为：
Figure GDA0004230964230000035
式(1)中，
Figure GDA0004230964230000036
为原始内容图像；/>
Figure GDA0004230964230000037
为期望生成的图像，期望生成的图像/>
Figure GDA0004230964230000038
是根据各种特征还原出的图像；/>
Figure GDA0004230964230000039
为内容图像/>
Figure GDA00042309642300000310
在第L层卷积层的特征。
步骤1.3.4的风格损失函数定义为:
Figure GDA0004230964230000041
式(2)中，
Figure GDA0004230964230000042
为原始风格图像，/>
Figure GDA0004230964230000043
为期望还原出的风格图像，/>
Figure GDA0004230964230000044
为风格图像某一卷积层的Gram矩阵，/>
Figure GDA0004230964230000045
为生成图像/>
Figure GDA0004230964230000046
在第L层卷积层的卷积特征，/>
Figure GDA0004230964230000047
为卷积特征对应的Gram矩阵的第i行第j个元素定义；4N2M2是归一化项，通常将单层风格损失进行加权累加作为风格的总损失，即：
Figure GDA0004230964230000048
步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张图片分别为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过一定的迭代次数N进行训练，使之迭代最小化；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
步骤1.4.3中的总体损失函数定义式如下：
Figure GDA0004230964230000049
式(4)中，
Figure GDA00042309642300000410
为原始的内容图像，/>
Figure GDA00042309642300000411
为原始的风格图像，/>
Figure GDA00042309642300000412
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数；
步骤1.4.3中迭代次数N的定义式如下：
N＝f(T)＝Y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y，月份：M，日期：D。
步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理之后，再与风格图片WS进行风格迁移化之后生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理之后，再与风格图片WS进行风格迁移化之后生成模拟常规非几何攻击的数据集M2，；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将数据集里面的图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储在数据集M4；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B。
步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
步骤4.2、训练二分类CNN网络模型；
步骤4.3、设计零水印检测的方法；
步骤4.4、判断版权归属；
步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B的其中一个；
步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集；
步骤4.4按照以下步骤实施：
步骤4.4.1、若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
发明的有益效果是：
1、本发明在深度神经网络与水印技术之间建立联系，有效地利用了神经网络能够完成特征提取的优势，提高了获取零水印构造所需特征信息的效率。
2、时间戳信息和迭代次数之间建立数学关系，使得检测时能够用到的凭据更加充分合理。
2、生成模拟攻击后的图像数据集用于后续检测，使得本发明的抗攻击性能得到了极大地提升。
3、区别于其他零水印算法检测过程提取水印信息的方法，本发明利用深度神经网络能够完成分类识别的优势，快速便捷地完成检测任务。
附图说明
图1是本发明基于图像风格迁移化的零水印版权保护算法的水印构造的方法流程图；
图2是本发明基于图像风格迁移化的零水印版权保护算法的水印检测的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于图像风格迁移化的零水印版权保护算法，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS的风格的秘密图像P1，完成零水印的构造过程；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册，如若遇到版权问题的纠纷，则可以通过由时间戳信息确定的迭代次数N来唯一确定版权归属；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC再和WS先进行非几何处理再设计风格迁移化生成图像P2组成的图像数据集M2，范例图片XC是与WC完全不同的图片；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程。
如图1所示，步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
步骤1.3、计算内容损失和风格损失；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1；
步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，首先通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，比如logo，水印图片是普通彩色图像，以便于在后续通过风格迁移化后得到的秘密图像具有更好的彩色视觉效果；
步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，所述VGG19预训练模型分为5个bloCk，每个所述bloCk都是由若干卷积层及之后的池化层组成，5个bloCk的池化层都是最大池化，只是卷积层的层数不同，第一个bloCk有2层卷积(Conv1_1和Conv1_2)，第二个bloCk也是2层卷积，之后的3个bloCk都是4层卷积，最后是两个全连接层(FC1和FC2)和一个用于分类的softmax层；
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable，后面的损失函数都是根据其进行调整的，当训练结束时，输入层的参数是带有WS风格的秘密图像P1。
步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像，使生成图像在内容、细节上与输入的内容图片相似，更加准确地表示和提取图像的内容；
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure GDA0004230964230000091
的卷积特征/>
Figure GDA0004230964230000092
同时随机初始化/>
Figure GDA0004230964230000093
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure GDA0004230964230000094
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure GDA0004230964230000095
是最终期望的根据各种特征还原得到图像；
步骤1.3.2.2中内容损失函数为：
Figure GDA0004230964230000096
式(1)中，
Figure GDA0004230964230000097
为原始内容图像；/>
Figure GDA0004230964230000098
为期望生成的图像，期望生成的图像/>
Figure GDA0004230964230000099
是根据各种特征还原出的图像；/>
Figure GDA00042309642300000910
为内容图像/>
Figure GDA00042309642300000911
在第L层卷积层的特征。
内容损失函数描述了原始内容图像和生成图像
Figure GDA00042309642300000912
在内容上的差异程度，内容损失描述了原始内容图像和生成图像/>
Figure GDA00042309642300000913
在内容上的差异程度，如果内容损失越小，说明原始内容图像与生成图像在内容结构上越接近；内容损失越大，说明原始内容图像与生成图像在内容上差距也越大。
步骤1.3.4的风格损失函数定义为:
Figure GDA00042309642300000914
式(2)中，
Figure GDA00042309642300000915
为原始风格图像,/>
Figure GDA00042309642300000916
为期望还原出的风格图像，/>
Figure GDA00042309642300000917
为风格图像某一卷积层的Gram矩阵,/>
Figure GDA00042309642300000918
为生成图像/>
Figure GDA00042309642300000919
在第L层卷积层的卷积特征，/>
Figure GDA0004230964230000101
为卷积特征对应的Gram矩阵的第i行第j个元素定义；4N2M2是归一化项，主要是为了防止风格损失的数量级比内容损失的数量级过大，通常将单层风格损失进行加权累加作为风格的总损失，即：
Figure GDA0004230964230000102
步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张图片为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过一定的迭代次数N进行训练，使之迭代最小化；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
步骤1.4.3中的总体损失函数定义式如下：
Figure GDA0004230964230000103
式(4)中，
Figure GDA0004230964230000104
为原始的内容图像，/>
Figure GDA0004230964230000105
为原始的风格图像，/>
Figure GDA0004230964230000106
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数，如果α偏大，还原的图像会更接近/>
Figure GDA0004230964230000107
的风格，如果β偏大，还原的图像会更接近/>
Figure GDA0004230964230000108
的风格。使用总体损失函数可以组合/>
Figure GDA0004230964230000109
的内容和/>
Figure GDA00042309642300001010
的风格。
步骤1.4.3中迭代次数N有固定的设置方式，它因与唯一不变的时间戳建立数字关系而被唯一确定，其定义式如下：
N＝f(T)＝Y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y,月份：M,日期：D。
步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理，生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理生成模拟常规非几何攻击的数据集M2，选择与内容图像WC在纹理，色彩，结构方面完全不同的实例图像XS存入数据集M2，实例图像XS中可以与原图像相似，但是不能是对原图像进行某种处理得到的图像，目的是为了更好地与前面得到的数据集M2进行区分；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储如数据集M4；对数据集M4里面的图像进行几何处理，目的是为了增加数据集的容量，同时可以防止后续训练模型时出现过拟合的现象；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B。
几何处理包括旋转(旋转的角度范围为0°-360°，具体为每5°为一个间隔进行旋转，即分别旋转5°，10°，15°....),剪切(分别在中心，左上，左下，右上，右下等位置分别剪切原图像大小的1/2，1/4，1/8，1/16)，缩放(包括缩放至原图像大小的1/2，1/4，1/8，1/16)；
对WC进行一次几何处理操作，即只对原图像进行上述几何处理中的任何一种对内容图像进行处理，对WC进行两次及以上几何处理操作，即只对原图像先后进行上述几何处理中的两种及以上的几何处理(如可先对原图进行旋转，紧接着再对已经旋转过后的图像进行剪切或者缩放操作)；
具体的非几何处理包括JPEG压缩(压缩因子包括10,20,30,40,50,100),马赛克攻击(参数分别为5,10,15,20,25,30)；添加高斯噪声(参数分别为0.01,0.02,0.05,1.0,2.0)；添加椒盐噪声(参数分别为0.01,0.02,0.05,1.0,2.0)；中值滤波攻击(模板采用3x3,5x5,7x7)；
对WC进行一次非几何处理操作，即只对原图像进行上述非几何处理中的任何一种处理。对WC进行两次及以上非几何处理操作，即只对原图像先后进行上述几何处理中的两种及以上的几何处理(如可先对原图进行旋转，紧接着再对已经旋转过后的图像进行剪切或者缩放操作)；
步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置有两个卷积层，两个池化层，两个全连接层和一个softmax层，激活函数均采用Relu；设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
步骤4.2、训练二分类CNN网络模型；
步骤4.3、设计零水印检测的方法；
步骤4.4、判断版权归属；
如图2所示，步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B的其中一个；
步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集；
步骤4.4按照以下步骤实施：
步骤4.4.1、若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
步骤1.1中确定载体图像为内容图片WC，确定水印图片为风格图片WS，与其他提取被保护图像特征信息方法不同的是，本方法是将深度学习能够提取特征的优势应用在水印领域；
步骤1.4加盖时间戳f(T)的方法，将注册的时间信息和迭代次数联系起来，两者之间建立数学关系，在检测的时候是通过二者同时兼具才判断版权归属的；
步骤3中对内容图像进行(非)几何处理得到数据集的方法，实则模拟图像会经常遇到的(非)几何攻击，使得在后续检测的过程中能够有效地抗攻击，进而增强算法的鲁棒性；
步骤4采用二分类CNN模型，其优点在于：可以减少学习参数量，降低过拟合，使得网络对特征的学习能力更强，这也使得选用VGG网络结构做风格迁移的特征提取工作有着良好的优势。
可视化输入图像在VGG网络不同层中所得到的特征信息，通过不断迭代优化一个白噪声图像，生成一副与原始图像特征信息想匹配的新图像，内容图像的重建结果随着网络深度的加深会变得更加抽象模糊，低层的内容重建结果会更加清晰，纹理会得到最大的保留。

Claims (2)

1.一种基于图像风格迁移化的零水印版权保护方法，其特征在于，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS的风格的秘密图像P1，完成零水印的构造过程；
所述步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
所述步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable；
步骤1.3、计算内容损失和风格损失；
所述步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像；
所述步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure FDA0004260925900000011
的卷积特征/>
Figure FDA0004260925900000012
同时随机初始化/>
Figure FDA0004260925900000013
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure FDA0004260925900000014
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure FDA0004260925900000021
是最终期望的根据各种特征还原得到图像；
所述步骤1.3.2.2中内容损失函数为：
Figure FDA0004260925900000022
式(1)中，
Figure FDA0004260925900000023
为原始内容图像；/>
Figure FDA0004260925900000024
为期望生成的图像，期望生成的图像/>
Figure FDA00042609259000000212
是根据各种特征还原出的图像；
所述步骤1.3.4的风格损失函数定义为:
Figure FDA0004260925900000025
式(2)中，
Figure FDA0004260925900000026
为原始风格图像,/>
Figure FDA0004260925900000027
为期望还原出的风格图像，/>
Figure FDA0004260925900000028
为风格图像某一卷积层的Gram矩阵，/>
Figure FDA0004260925900000029
为卷积特征对应的Gram矩阵的第i行第j个元素定义；/>
Figure FDA00042609259000000210
是归一化项，将单层风格损失进行加权累加作为风格的总损失，即：
Figure FDA00042609259000000211
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1；
步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张所述图片为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过迭代训练，使之迭代最小化，迭代次数为N；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
所述步骤1.4.3中的总体损失函数定义式如下：
Figure FDA0004260925900000031
式(4)中，
Figure FDA0004260925900000032
为原始的内容图像，/>
Figure FDA0004260925900000033
为原始的风格图像，/>
Figure FDA0004260925900000034
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数；
所述步骤1.4.3中迭代次数N的定义式如下：
N＝f(T)＝Y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y,月份：M,日期：D；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC先进行非几何处理，再和WS设计风格迁移化生成图像P2组成图像数据集M2，所述范例图片XC是与WC完全不同的图片；
步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理，生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理生成模拟常规非几何攻击的数据集M2，选择与内容图像WC在纹理，色彩，结构方面完全不同的实例图像XS存入数据集M2；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储如数据集M4；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程；
所述步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
所述步骤4.2、训练二分类CNN网络模型；
所述步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
所述步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集；
步骤4.3、设计零水印检测的方法；
步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B；
步骤4.4、判断版权归属；
所述步骤4.4按照以下步骤实施：
若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
2.根据权利要求1所述的一种基于图像风格迁移化的零水印版权保护方法，其特征在于，所述步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，首先通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，所述水印图片是普通彩色图像。
CN202110353176.5A 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法 Active CN113095989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110353176.5A CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353176.5A CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Publications (2)

Publication Number Publication Date
CN113095989A CN113095989A (zh) 2021-07-09
CN113095989B true CN113095989B (zh) 2023-07-07

Family

ID=76672226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353176.5A Active CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Country Status (1)

Country Link
CN (1) CN113095989B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN110457369A (zh) * 2019-08-07 2019-11-15 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
CN111340964A (zh) * 2020-03-05 2020-06-26 长春中国光学科学技术馆 一种基于迁移学习的3d模型图像的构建方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
CN110457369A (zh) * 2019-08-07 2019-11-15 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN111340964A (zh) * 2020-03-05 2020-06-26 长春中国光学科学技术馆 一种基于迁移学习的3d模型图像的构建方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A secured Transmission of Embedded Hidden Data in Binary Images Using Resolution Variant Visual Cryptography;Koppala K V P Sekhar等;《International Journal of Computer Science and Information Technologies》;20131231;第4卷(第6期);第1-10页 *
一种基于时间戳的DCT域零水印方案;刘会英等;《计算机技术与发展》;20090930;第19卷(第09期);第143-145、172页 *
基于残差网络的快速图像风格迁移研究;薛楠等;《计算机工程与应用》;20201231(第12期);第207-214页 *
深度伪造视频检测技术综述;暴雨轩等;《计算机科学》;20200930;第47卷(第09期);第283-292页 *

Also Published As

Publication number Publication date
CN113095989A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
Guo et al. Fake face detection via adaptive manipulation traces extraction network
Xu et al. Exploring image enhancement for salient object detection in low light images
Zeng et al. Image splicing localization using PCA-based noise level estimation
Tokuda et al. Computer generated images vs. digital photographs: A synergetic feature and classifier combination approach
CN111325687B (zh) 一种基于端对端深度网络的平滑滤波取证方法
Zhang et al. Feature pyramid network for diffusion-based image inpainting detection
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
Fu et al. CCNet: CNN model with channel attention and convolutional pooling mechanism for spatial image steganalysis
Wu et al. Detection of digital doctoring in exemplar-based inpainted images
Zhu et al. PNEN: Pyramid non-local enhanced networks
CN112700363A (zh) 一种基于区域选择的自适应可视水印嵌入方法和装置
Liu et al. Image deblocking detection based on a convolutional neural network
CN110660048B (zh) 一种基于形状特征的皮革表面缺陷检测方法
Rakhimol et al. Restoration of ancient temple murals using cGAN and PConv networks
CN113095989B (zh) 一种基于图像风格迁移化的零水印版权保护算法
Chaitra et al. Digital image forgery: taxonomy, techniques, and tools–a comprehensive study
CN114078132A (zh) 一种基于自相关特征金字塔网络的图像复制-粘贴篡改检测算法
Deng et al. Automatic calibration of crack and flaking diseases in ancient temple murals
Zhang et al. Automatic genaration of sketch-like pencil drawing from image
Wang et al. Damage sensitive and original restoration driven thanka mural inpainting
Deng et al. Relative depth order estimation using multi-scale densely connected convolutional networks
CN107085832A (zh) 一种数字图像非局部平均去噪的快速实现方法
Yang et al. Image Tampering Detection for Splicing based on Rich Feature and Convolution Neural Network
CN114612694B (zh) 基于双通道差分卷积网络的图片隐形水印检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant