CN113095989A - 一种基于图像风格迁移化的零水印版权保护算法 - Google Patents

一种基于图像风格迁移化的零水印版权保护算法 Download PDF

Info

Publication number
CN113095989A
CN113095989A CN202110353176.5A CN202110353176A CN113095989A CN 113095989 A CN113095989 A CN 113095989A CN 202110353176 A CN202110353176 A CN 202110353176A CN 113095989 A CN113095989 A CN 113095989A
Authority
CN
China
Prior art keywords
image
style
content
picture
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110353176.5A
Other languages
English (en)
Other versions
CN113095989B (zh
Inventor
刘晶
马小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110353176.5A priority Critical patent/CN113095989B/zh
Publication of CN113095989A publication Critical patent/CN113095989A/zh
Application granted granted Critical
Publication of CN113095989B publication Critical patent/CN113095989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于图像风格迁移化的零水印版权保护算法，通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程，查看时间戳信息，对照作者信息，判断是否侵权。本发明在深度神经网络与水印技术之间建立联系，有效地利用了神经网络能够完成特征提取的优势，提高了获取零水印构造所需特征信息的效率。时间戳信息和迭代次数之间建立数学关系，使得检测时能够用到的凭据更加充分合理。生成模拟攻击后的图像数据集用于后续检测，使得本发明的抗攻击性能得到了极大地提升。区别于其他零水印算法检测过程提取水印信息的方法，本发明利用深度神经网络能够完成分类识别的优势，快速便捷地完成检测任务。

Description

一种基于图像风格迁移化的零水印版权保护算法
技术领域
本发明属于版权技术领域，涉及一种基于图像风格迁移化的零水印版权保护算法。
背景技术
随着互联网的发展，数字多媒体产品越来越盛行，但是由于数字产品易于复制和修改的原因，使得盗版问题非常严重，为了保护作者、所有者以及合法用户的权利，在数字版权保护方面卓有成效的数字水印也就应用而生了，但是，数字水印的核心问题就是鲁棒性和不可见性之间的平衡矛盾。为了平衡这种矛盾关系，人们提出了零水印技术，在不改变载体图像的情况下实现对载体图像版权的保护。与大多数零水印版权保护算法不同的是，本文通过借助神经网络能够完成特征提取的优势，将在被保护图片中所提取到的纹理结构等特征与风格图片相结合，得到零水印图片，进而通过相似度检测的方法完成版权保护的任务，提出了一种基于图像风格迁移化的零水印版权保护方法。
发明内容
本发明的目的是提供一种基于图像风格迁移化的零水印版权保护算法，解决了目前技术中普遍存在的在水印不可见的情况下，抗攻击性能较差的问题。
本发明所采用的技术方案是，一种基于图像风格迁移化的零水印版权保护算法，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS风格的秘密图像P1，完成零水印的构造过程；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC和WS先进行非几何处理再设计风格迁移化生成图像P2组成的图像数据集M2，范例图片XC是与WC完全不同的图片；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程。
本发明的特点还在于：
步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
步骤1.3、计算内容损失和风格损失；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1；
步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片WC，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，该水印图片是普通彩色图像即可；
步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable；
步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像；
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure BDA0003001098050000031
的卷积特征
Figure BDA0003001098050000032
同时随机初始化
Figure BDA0003001098050000033
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure BDA0003001098050000034
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure BDA0003001098050000035
是最终期望的根据各种特征还原得到图像；
步骤1.3.2.2中内容损失函数为：
Figure BDA0003001098050000036
式(1)中，
Figure BDA0003001098050000037
为原始内容图像；
Figure BDA0003001098050000038
为期望生成的图像，期望生成的图像
Figure BDA0003001098050000039
是根据各种特征还原出的图像；
Figure BDA00030010980500000310
为内容图像
Figure BDA00030010980500000311
在第L层卷积层的特征。
步骤1.3.4的风格损失函数定义为:
Figure BDA00030010980500000312
式(2)中，
Figure BDA0003001098050000041
为原始风格图像,
Figure BDA0003001098050000042
为期望还原出的风格图像，
Figure BDA0003001098050000043
为风格图像某一卷积层的Gram矩阵,
Figure BDA0003001098050000044
为生成图像
Figure BDA0003001098050000045
在第L层卷积层的卷积特征，
Figure BDA0003001098050000046
为卷积特征对应的Gram矩阵的第i行第j个元素定义；4N2M2是归一化项，通常将单层风格损失进行加权累加作为风格的总损失，即：
Figure BDA0003001098050000047
步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张图片分别为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过一定的迭代次数N进行训练，使之迭代最小化；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
步骤1.4.3中的总体损失函数定义式如下：
Figure BDA0003001098050000048
式(4)中，
Figure BDA0003001098050000049
为原始的内容图像，
Figure BDA00030010980500000410
为原始的风格图像，
Figure BDA00030010980500000411
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数；
步骤1.4.3中迭代次数N的定义式如下：
N＝f(T)＝Y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y,月份：M,日期：D。
步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理之后，再与风格图片WS进行风格迁移化之后生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理之后，再与风格图片WS进行风格迁移化之后生成模拟常规非几何攻击的数据集M2，；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将数据集里面的图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储在数据集M4；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B。
步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
步骤4.2、训练二分类CNN网络模型；
步骤4.3、设计零水印检测的方法；
步骤4.4、判断版权归属；
步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B的其中一个；
步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集；
步骤4.4按照以下步骤实施：
步骤4.4.1、若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
发明的有益效果是：
1、本发明在深度神经网络与水印技术之间建立联系，有效地利用了神经网络能够完成特征提取的优势，提高了获取零水印构造所需特征信息的效率。
2、时间戳信息和迭代次数之间建立数学关系，使得检测时能够用到的凭据更加充分合理。
2、生成模拟攻击后的图像数据集用于后续检测，使得本发明的抗攻击性能得到了极大地提升。
3、区别于其他零水印算法检测过程提取水印信息的方法，本发明利用深度神经网络能够完成分类识别的优势，快速便捷地完成检测任务。
附图说明
图1是本发明基于图像风格迁移化的零水印版权保护算法的水印构造的方法流程图；
图2是本发明基于图像风格迁移化的零水印版权保护算法的水印检测的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于图像风格迁移化的零水印版权保护算法，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS的风格的秘密图像P1，完成零水印的构造过程；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册，如若遇到版权问题的纠纷，则可以通过由时间戳信息确定的迭代次数N来唯一确定版权归属；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC再和WS先进行非几何处理再设计风格迁移化生成图像P2组成的图像数据集M2，范例图片XC是与WC完全不同的图片；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程。
如图1所示，步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
步骤1.3、计算内容损失和风格损失；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1；
步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，首先通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，比如logo，水印图片是普通彩色图像，以便于在后续通过风格迁移化后得到的秘密图像具有更好的彩色视觉效果；
步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，所述VGG19预训练模型分为5个bloCk，每个所述bloCk都是由若干卷积层及之后的池化层组成，5个bloCk的池化层都是最大池化，只是卷积层的层数不同，第一个bloCk有2层卷积(Conv1_1和Conv1_2)，第二个bloCk也是2层卷积，之后的3个bloCk都是4层卷积，最后是两个全连接层(FC1和FC2)和一个用于分类的softmax层；
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable，后面的损失函数都是根据其进行调整的，当训练结束时，输入层的参数是带有WS风格的秘密图像P1。
步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像，使生成图像在内容、细节上与输入的内容图片相似，更加准确地表示和提取图像的内容；
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure BDA0003001098050000091
的卷积特征
Figure BDA0003001098050000092
同时随机初始化
Figure BDA0003001098050000093
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure BDA0003001098050000094
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure BDA0003001098050000095
是最终期望的根据各种特征还原得到图像；
步骤1.3.2.2中内容损失函数为：
Figure BDA0003001098050000096
式(1)中，
Figure BDA0003001098050000097
为原始内容图像；
Figure BDA0003001098050000098
为期望生成的图像，期望生成的图像
Figure BDA0003001098050000099
是根据各种特征还原出的图像；
Figure BDA00030010980500000910
为内容图像
Figure BDA00030010980500000911
在第L层卷积层的特征。
内容损失函数描述了原始内容图像和生成图像
Figure BDA00030010980500000912
在内容上的差异程度，内容损失描述了原始内容图像和生成图像
Figure BDA00030010980500000913
在内容上的差异程度，如果内容损失越小，说明原始内容图像与生成图像在内容结构上越接近；内容损失越大，说明原始内容图像与生成图像在内容上差距也越大。
步骤1.3.4的风格损失函数定义为:
Figure BDA00030010980500000914
式(2)中，
Figure BDA00030010980500000915
为原始风格图像,
Figure BDA00030010980500000916
为期望还原出的风格图像，
Figure BDA00030010980500000917
为风格图像某一卷积层的Gram矩阵,
Figure BDA00030010980500000918
为生成图像
Figure BDA00030010980500000919
在第L层卷积层的卷积特征，
Figure BDA00030010980500000920
为卷积特征对应的Gram矩阵的第i行第j个元素定义；4N2M2是归一化项，主要是为了防止风格损失的数量级比内容损失的数量级过大，通常将单层风格损失进行加权累加作为风格的总损失，即：
Figure BDA0003001098050000101
步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张图片为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过一定的迭代次数N进行训练，使之迭代最小化；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
步骤1.4.3中的总体损失函数定义式如下：
Figure BDA0003001098050000102
式(4)中，
Figure BDA0003001098050000103
为原始的内容图像，
Figure BDA0003001098050000104
为原始的风格图像，
Figure BDA0003001098050000105
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数，如果α偏大，还原的图像会更接近
Figure BDA0003001098050000106
的风格，如果β偏大，还原的图像会更接近
Figure BDA0003001098050000107
的风格。使用总体损失函数可以组合
Figure BDA0003001098050000108
的内容和
Figure BDA0003001098050000109
的风格。
步骤1.4.3中迭代次数N有固定的设置方式，它因与唯一不变的时间戳建立数字关系而被唯一确定，其定义式如下：
N＝f(T)＝y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y,月份：M,日期：D。
步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理，生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理生成模拟常规非几何攻击的数据集M2，选择与内容图像WC在纹理，色彩，结构方面完全不同的实例图像XS存入数据集M2，实例图像XS中可以与原图像相似，但是不能是对原图像进行某种处理得到的图像，目的是为了更好地与前面得到的数据集M2进行区分；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储如数据集M4；对数据集M4里面的图像进行几何处理，目的是为了增加数据集的容量，同时可以防止后续训练模型时出现过拟合的现象；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B。
几何处理包括旋转(旋转的角度范围为0°-360°，具体为每5°为一个间隔进行旋转，即分别旋转5°，10°，15°....),剪切(分别在中心，左上，左下，右上，右下等位置分别剪切原图像大小的1/2，1/4，1/8，1/16)，缩放(包括缩放至原图像大小的1/2，1/4，1/8，1/16)；
对WC进行一次几何处理操作，即只对原图像进行上述几何处理中的任何一种对内容图像进行处理，对WC进行两次及以上几何处理操作，即只对原图像先后进行上述几何处理中的两种及以上的几何处理(如可先对原图进行旋转，紧接着再对已经旋转过后的图像进行剪切或者缩放操作)；
具体的非几何处理包括JPEG压缩(压缩因子包括10,20,30,40,50,100),马赛克攻击(参数分别为5,10,15,20,25,30)；添加高斯噪声(参数分别为0.01,0.02,0.05,1.0,2.0)；添加椒盐噪声(参数分别为0.01,0.02,0.05,1.0,2.0)；中值滤波攻击(模板采用3x3,5x5,7x7)；
对WC进行一次非几何处理操作，即只对原图像进行上述非几何处理中的任何一种处理。对WC进行两次及以上非几何处理操作，即只对原图像先后进行上述几何处理中的两种及以上的几何处理(如可先对原图进行旋转，紧接着再对已经旋转过后的图像进行剪切或者缩放操作)；
步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置有两个卷积层，两个池化层，两个全连接层和一个softmax层，激活函数均采用Relu；设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
步骤4.2、训练二分类CNN网络模型；
步骤4.3、设计零水印检测的方法；
步骤4.4、判断版权归属；
如图2所示，步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B的其中一个；
步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集；
步骤4.4按照以下步骤实施：
步骤4.4.1、若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
步骤1.1中确定载体图像为内容图片WC，确定水印图片为风格图片WS，与其他提取被保护图像特征信息方法不同的是，本方法是将深度学习能够提取特征的优势应用在水印领域；
步骤1.4加盖时间戳f(T)的方法，将注册的时间信息和迭代次数联系起来，两者之间建立数学关系，在检测的时候是通过二者同时兼具才判断版权归属的；
步骤3中对内容图像进行(非)几何处理得到数据集的方法，实则模拟图像会经常遇到的(非)几何攻击，使得在后续检测的过程中能够有效地抗攻击，进而增强算法的鲁棒性；
步骤4采用VGG-19预训练模型，其优点在于：可以减少学习参数量，降低过拟合，使得网络对特征的学习能力更强，这也使得选用VGG网络结构做风格迁移的特征提取工作有着良好的优势。
可视化输入图像在VGG网络不同层中所得到的特征信息，通过不断迭代优化一个白噪声图像，生成一副与原始图像特征信息想匹配的新图像，内容图像的重建结果随着网络深度的加深会变得更加抽象模糊，低层的内容重建结果会更加清晰，纹理会得到最大的保留。
步骤4.1与其他将水印直接提取出来的方法不同的是，本算法通过比较待检测图像和水印图像的相似度的来判断归属权，并且还将相似度比较转化为判断待检测图像所属类别，增强了算法的鲁棒性。

Claims (10)

1.一种基于图像风格迁移化的零水印版权保护算法，其特征在于，具体按照以下步骤实施：
步骤1、确定内容图片WC和风格图片WS，通过设计风格迁移化网络，并以与水印注册的时间戳有关的迭代次数N进行训练，将WC风格化为带有风格图片WS的风格的秘密图像P1，完成零水印的构造过程；
步骤2、将通过步骤1得到的秘密图像P1作为零水印秘密图像，将隐含时间戳信息的迭代次数N加盖在秘密图像P1上面，同时在第三方注册机构进行注册；
步骤3、对内容图片WC进行几何处理后再进行设计风格迁移化后生成数据集M1，将范例图片XC再和WS先进行非几何处理再设计风格迁移化生成图像P2组成的图像数据集M2，所述范例图片XC是与WC完全不同的图片；
步骤4、通过二分类CNN模型区分待测图像X和被保护的内容图像WC，完成零水印的检测过程。
2.根据权利要求1所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、对载体图像和水印图像进行预处理；
步骤1.2、设计用来风格迁移化的CNN模型；
步骤1.3、计算内容损失和风格损失；
步骤1.4、以与水印注册时间有关的迭代次数N进行训练，将WC风格化为带有WS风格的图像P1。
3.根据权利要求2所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤1.1具体按照以下步骤实施：
步骤1.1.1、确定载体图像为内容图片，确定水印图片为风格图片WS；
步骤1.1.2、在输入网络之前，需要对内容图像进行预处理，首先通过下采样将内容图片WC和风格图片WS大小统一为600*600，之后将每一个像素的大小减去整幅图像素的平均数；
步骤1.1.3、制定一张水印图片，所述水印图片是普通彩色图像。
4.根据权利要求2所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤1.2具体按照以下步骤实施：
步骤1.2.1、获取VGG19预训练模型，
步骤1.2.2、删除VGG19预训练模型的两个全连接层和softmax层；
步骤1.2.3、将提取出来的VGG参数全部作为常量使用；
步骤1.2.4、输入层设置为Variable。
5.根据权利要求4所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤1.3具体按照以下步骤实施：
步骤1.3.1、将内容图片WC输入风格迁移化网络，计算内容图片WC在风格迁移化网络指定层上的输出值；
步骤1.3.2、利用风格迁移化网络卷积层计算内容图像WC并得到各种卷积层特征，然后根据卷积层的特征，通过梯度下降法对应还原出各种特征的原始图像；
步骤1.3.3、将风格图片WS输入网络，计算风格图片WS在网络指定层上的输出值；
步骤1.3.4、通过风格图像WS和生成图像的Gram矩阵来计算出相应的风格损失函数，比较出风格图片WS和生成秘密图像P1风格之间的差异，当两个图像的特征向量的Gram矩阵中各个位置对应数值的差值不断变小直到不变时，则判定两个图像风格具有高度相近性；
所述步骤1.3.2的梯度下降法建立内容损失函数，具体按照以下步骤实施：
步骤1.3.2.1、先计算内容图像
Figure FDA0003001098040000021
的卷积特征
Figure FDA0003001098040000022
同时随机初始化
Figure FDA0003001098040000023
步骤1.3.2.2、以内容损失为优化目标，通过梯度下降法逐步更新
Figure FDA0003001098040000024
在不断重复循环迭代过程中，内容损失逐步减小；
步骤1.3.2.3、当内容损失趋于收敛时，每一层的内容损失加权和，再对层数取平均，得到最终的内容损失，
Figure FDA0003001098040000031
是最终期望的根据各种特征还原得到图像；
所述步骤1.3.2.2中内容损失函数为：
Figure FDA0003001098040000032
式(1)中，
Figure FDA0003001098040000033
为原始内容图像；
Figure FDA0003001098040000034
为期望生成的图像，期望生成的图像
Figure FDA0003001098040000035
是根据各种特征还原出的图像；
Figure FDA0003001098040000036
为内容图像
Figure FDA0003001098040000037
在第L层卷积层的特征；
所述步骤1.3.4的风格损失函数定义为:
Figure FDA0003001098040000038
式(2)中，
Figure FDA0003001098040000039
为原始风格图像,
Figure FDA00030010980400000310
为期望还原出的风格图像，
Figure FDA00030010980400000311
为风格图像某一卷积层的Gram矩阵,
Figure FDA00030010980400000312
为生成图像
Figure FDA00030010980400000313
在第L层卷积层的卷积特征，
Figure FDA00030010980400000314
为卷积特征对应的Gram矩阵的第i行第j个元素定义；4N2M2是归一化项，通常将单层风格损失进行加权累加作为风格的总损失，即：
Figure FDA00030010980400000315
6.根据权利要求5所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤1.4具体按照以下步骤实施：
步骤1.4.1、往网络模型中同时传入三张图片，三张所述图片为内容图像WC、风格图像WS，添加白噪声的白噪声图像z；
步骤1.4.2、建立起白噪声图像z和内容图像WC之间的内容损失函数，然后不断地根据内容损失和风格损失对内容损失函数进行调整；
步骤1.4.3、将内容损失函数和风格损失函数结合得到总体损失函数，通过迭代训练，使之迭代最小化，迭代次数为N；
步骤1.4.4、总体损失函数训练直到一定迭代次数N后，得到既像风格图像又像内容图像的风格化后秘密图像P1；
所述步骤1.4.3中的总体损失函数定义式如下：
Figure FDA0003001098040000041
式(4)中，
Figure FDA0003001098040000042
为原始的内容图像，
Figure FDA0003001098040000043
为原始的风格图像，
Figure FDA0003001098040000044
为原始的风格图像期待生成的图像，α，β是平衡两个损失的超参数；
所述步骤1.4.3中迭代次数N的定义式如下：
N＝f(T)＝Y+M+D (5)
式(5)中，时间戳信息为T，则T中应包含年、月、日信息，分别对应：年份：Y,月份：M,日期：D。
7.根据权利要求6所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行几何处理，生成模拟常规几何攻击的数据集M1；
步骤3.2、在保证图像语义信息肉眼可辨别的情况下，对内容图片WC进行非几何处理生成模拟常规非几何攻击的数据集M2，选择与内容图像WC在纹理，色彩，结构方面完全不同的实例图像XS存入数据集M2；
步骤3.3、收集相比内容图像的语义信息完全不同的图像XC，得到数据集M3；
步骤3.4、将图像XC与内容图片WS进行风格迁移化，得到数据集M4，对数据集M4里面的已有图像进行几何处理，将得到的图片存储如数据集M4；对数据集M4里面的图像进行几何处理；
步骤3.5、将数据集M1和M2划分为类别A，将M4数据集划分为类别B。
8.根据权利要求7所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1、设计二分类CNN网络模型，设置损失函数不断迭代，将损失降到最低直至不变，则识别的准确率达到了最大值；
所述步骤4.2、训练二分类CNN网络模型；
步骤4.3、设计零水印检测的方法；
步骤4.4、判断版权归属；
步骤4.3具体按照以下步骤实施：
步骤4.3.1、收集待测图像X，统一图像大小为600*600，将待测图像X与风格图像WS结合进行风格迁移化得到图像PX；
步骤4.3.2、把步骤4.3.1得到的图像PX和注册机构存放的图形P1水印信息进行比较，计算相似程度；
步骤4.3.3、运用二分类CNN网络模型判断PX属于类别A或者类别B的其中一个。
9.根据权利要求8所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤4.2具体按照以下步骤实施：
步骤4.2.1、准备图像试验用数据集，预处理；
步骤4.2.2、完成试验用数据集中图片的样本和标签的分类制作；
步骤4.2.3、设计每批次读取数据的数量大小，设置迭代次数N；
步骤4.2.4、载入二分类CNN网络模型，对结构的输出结果进行softmax；
所述步骤4.2.1的试验用数据集设置包括有，训练集：类别A和类别B里面70％的图像；验证集：类别A和类别B里面30％的图像；测试集：由图像X组成的图像数据集。
10.根据权利要求9所述的一种基于图像风格迁移化的零水印版权保护算法，其特征在于，所述步骤4.4按照以下步骤实施：
所述若待测图像X中有95％以上的图片分类后属于类别A，即认为图像PX与秘密图像P1的相似程度高，进行步骤4.4.2；反之，不进行步骤4.4.2；
步骤4.4.2、追溯秘密图像P1与待测图像PX的生成过程，确定待测图像X 与内容图像WC的相似程度；
步骤4.4.3、查看时间戳信息，对照作者信息，判断是否侵权。
CN202110353176.5A 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法 Active CN113095989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110353176.5A CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353176.5A CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Publications (2)

Publication Number Publication Date
CN113095989A true CN113095989A (zh) 2021-07-09
CN113095989B CN113095989B (zh) 2023-07-07

Family

ID=76672226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353176.5A Active CN113095989B (zh) 2021-03-31 2021-03-31 一种基于图像风格迁移化的零水印版权保护算法

Country Status (1)

Country Link
CN (1) CN113095989B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN110457369A (zh) * 2019-08-07 2019-11-15 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
CN111340964A (zh) * 2020-03-05 2020-06-26 长春中国光学科学技术馆 一种基于迁移学习的3d模型图像的构建方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
CN110457369A (zh) * 2019-08-07 2019-11-15 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN111340964A (zh) * 2020-03-05 2020-06-26 长春中国光学科学技术馆 一种基于迁移学习的3d模型图像的构建方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KOPPALA K V P SEKHAR等: "A secured Transmission of Embedded Hidden Data in Binary Images Using Resolution Variant Visual Cryptography", 《INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND INFORMATION TECHNOLOGIES》 *
刘会英等: "一种基于时间戳的DCT域零水印方案", 《计算机技术与发展》 *
暴雨轩等: "深度伪造视频检测技术综述", 《计算机科学》 *
薛楠等: "基于残差网络的快速图像风格迁移研究", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN113095989B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111539316B (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN110427990B (zh) 一种基于卷积神经网络的艺术图像分类方法
CN104063706B (zh) 一种基于surf算法的视频指纹提取方法
CN110457996B (zh) 基于vgg-11卷积神经网络的视频运动对象篡改取证方法
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
Fu et al. CCNet: CNN model with channel attention and convolutional pooling mechanism for spatial image steganalysis
CN113298689B (zh) 一种大容量图像隐写方法
Wang et al. HidingGAN: High capacity information hiding with generative adversarial network
Xiong et al. An adaptive high capacity reversible data hiding algorithm in interpolation domain
Liu et al. Image deblocking detection based on a convolutional neural network
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN113807232B (zh) 基于双流网络的伪造人脸检测方法、系统及存储介质
Ren et al. ESRNet: Efficient search and recognition network for image manipulation detection
Zhang et al. Multi-scale segmentation strategies in PRNU-based image tampering localization
CN110211015B (zh) 一种基于特征对象保护的水印方法
CN101414352B (zh) 信息处理设备和信息处理方法
CN113095989A (zh) 一种基于图像风格迁移化的零水印版权保护算法
CN115936961B (zh) 基于少样本对比学习网络的隐写分析方法、设备及介质
Chaitra et al. Digital image forgery: taxonomy, techniques, and tools–a comprehensive study
Agarwal et al. Forensic analysis of colorized grayscale images using local binary pattern
CN114266703A (zh) 一种图像拼接方法和系统
Zheng et al. Content-adaptive selective steganographer detection via embedding probability estimation deep networks
Yang et al. Image Tampering Detection for Splicing based on Rich Feature and Convolution Neural Network
Agarwal et al. Digital image steganalysis using entropy driven deep neural network
CN114862648B (zh) 采用a、b两种文档进行交叉水印加密的文档

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant