CN114612988A - 基于改进的双向生成对抗网络的图像感知哈希方法及系统 - Google Patents

基于改进的双向生成对抗网络的图像感知哈希方法及系统 Download PDF

Info

Publication number
CN114612988A
CN114612988A CN202210268881.XA CN202210268881A CN114612988A CN 114612988 A CN114612988 A CN 114612988A CN 202210268881 A CN202210268881 A CN 202210268881A CN 114612988 A CN114612988 A CN 114612988A
Authority
CN
China
Prior art keywords
network
image
encoder
generator
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210268881.XA
Other languages
English (en)
Inventor
马宾
王一利
马睿和
徐健
王春鹏
李健
周琳娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210268881.XA priority Critical patent/CN114612988A/zh
Publication of CN114612988A publication Critical patent/CN114612988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于改进的双向生成对抗网络的图像感知哈希方法及系统，获取待处理图像；对待处理图像进行预处理；将处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；改进的双向生成对抗网络中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。

Description

基于改进的双向生成对抗网络的图像感知哈希方法及系统
技术领域
本发明涉及图像感知哈希技术领域，特别是涉及基于改进的双向生成对抗网络的图像感知哈希方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
随着智能移动终端和数字图像处理技术的快速发展，人们获取高精度图像的成本不断下降，互联网中图像呈几何级数增长；与其同时，大量图像编辑软件的出现，使得图像修改简单易行，眼见不一定为实，图像的真实性验证已经成为数字图像领域的研究热点。
近年来，研究人员提出了多种基于数字水印的算法进行图像版权认证，然而，水印嵌入不可避免地破坏了图像内在结构，影响了图像的视觉效果。近些年，感知图像哈希作为新兴的多媒体安全技术，引起了众多学者关注。感知图像哈希的概念来源于密码学哈希，如MD5和SHA-1，它们可以将输入信息转换为固定长度的序列，其对图像内容变化非常敏感，因而传统密码学哈希只适用于比特流级的认证。对于图像而言，经过特定操作(如裁剪，旋转等)修改后的图像，尽管内容感知上并没有发生太大变化，其散列函数值却会产生大幅变动，难以实现图像的版权跟踪和来源保护。感知图像哈希基于图像视觉内容来计算生成哈希序列应具有较强的鲁棒性，即使在原始图像经过轻微改动后仍然能够产生相近的哈希序列，抵抗针对原始图像篡改操作的攻击；另一方面，感知哈希算法还具有较强的脆弱性，对于不同来源的图像，即使未做任何修改，也能生成和原始图像相差很大的散列函数，从而实现原始图像的来源认证和假冒图像攻击的监测。由于鲁棒性与脆弱性之间是相互制约的，一个理想的、性能优良的感知哈希算法应该在二者之间取得良好平衡性。感知图像哈希与图像检索的重要区别在于，后者注重在大规模数据集上查询符合要求的图像；而前者则侧重研究图像内容的一致性验证和对不同图像的区分。
图像感知哈希最早由Schneider和Chang在1996年的国际图像处理会议(ICIP)上提出。该项工作为了获取图像中的空间信息，将图像分成若干子块。提取每个子块强度直方图的均值，将所有子块对应的均值量化为图像的哈希值。此后，针对图像感知哈希的研究大量涌现。感知图像哈希算法一般由三个步骤组成：图像归一化处理；提取关键特征向量；量化特征向量。其中最具挑战性的内容是特征提取，经典的特征提取方法大致可划分为频域变换、矩阵压缩、流形学习。
频域变换方法，包括：离散余弦变换(DCT)、离散小波变换(DWT)和离散傅里叶变换(DFT)。早期，Venkatesan等人通过量化三级DWT系数的均值和方差构造哈希函数，该算法对常见的内容保持操作具有鲁棒性，但是只能应对较低程度的攻击。Lin等人利用不同图像子块之间相同位置DCT系数设计图像哈希算法，该方法对任意程度的JPEG压缩及其多轮JPEG压缩具有强鲁棒性。Tang等人通过把图像划分为多个子块，提取每个子块DCT系数中第一行/列的主要特征值来构造特征矩阵，然后经过量化列距离来进行矩阵压缩进而得到紧凑的哈希码。Huang等人结合灰度共生矩阵与DCT系数生成哈希序列，在鲁棒性与唯一性间取得良好平衡性。此后，Vadlamudi等人提出了一种将特征点与DWT结合的鲁棒哈希方法。该方法首先利用尺度不变特征变换(SIFT)从LAB彩色图像的L分量中计算不变特征点，然后利用多个不同的特征点从L分量中提取图像特征，最后对提取的内容应用DWT并把其结果归一化为二进制哈希码。该算法能有效地抵抗图像的几何失真，在拷贝检测上也具有较好的性能。Swaminathan等人提出了一种基于傅里叶变换的图像哈希方法，该方法首先对归一化的图像进行傅里叶变换并转化为极坐标表示，然后采用随机化方法获取统计特征，利用这些统计特征设计成哈希码。近期，Qin等人从DFT后的二次图像中提取稳健的频率特征，再通过非均匀采样，从频率分量中选取采样点作为图像的显著特征，该方案在抵抗旋转攻击方面表现优秀。总体来讲，大多数基于频域变化的感知图像哈希技术都具有良好的鲁棒性，在拷贝检测方面性能卓越。
另一方面，近年来基于矩阵理论的哈希码生成方案也有很多进展。常用方法为奇异值分解(SVD)、非负矩阵分解(NMF)和QR分解等矩阵分解方法提取特征值或特征向量以生成哈希码。Kozat等人首先提出使用奇异值分解(SVD)的方案生成哈希码，通过SVD奇异值保障哈希算法的鲁棒性，该方案的提出为之后的基于矩阵压缩的图像哈希方案提供了指引。Tang等人利用环形分割技术构造旋转不变的二次图像，并将NMF应用到二次图像，得到NMF系数以生成哈希码，使算法能够抵抗大角度旋转攻击且唯一性良好。Hosny等人通过提取灰度图像的Gauss-Hermite矩及其不变量从而生成高效的哈希码，在安全性和噪声攻击方面表现良好。Ouyang等人使用四元数Zernike矩和SIFT相结合的方式来提取哈希码。其中，利用Zernike矩计算出的全局特征保证模型的识别准确性，SIFT模型保证对内容操作的敏感性。
此外，流形学习的方法可以有效的消除高维特征的冗余信息，进而准确的刻画数据的本质，因此可以与图像哈希紧密的结合。流形学习经常使用的技术有：局部线性嵌入(LLE)、主成分分析(PCA)、多维标度(MDS)、线性判别分析(LDA)、或局部保持投影(LPP)。Tang等人对随机子块组成的图像矩阵表示应用LLE降维操作后，取嵌入向量的方差作为哈希码，该算法对高斯滤波和JPEG压缩等操作有较好的鲁棒性。此后，在此基础又提出了一种DCT与LLE相结合的方式，使得性能进一步提升。Zhu等人提出了一种在PCA域生成哈希码的方法，首先对数据集聚类，然后获取每个数据点概率用于生成局部领域，对其主成分分析再量化得到哈希码，然而，该算法对图像内容变化比较敏感。Tang等人利用对数极坐标和DFT从归一化的图片中提取特征矩阵，再用MDS变换量化提取简短哈希码，该方案可以抵抗大角度的旋转攻击，但是唯一性表现不佳。Zhao等人使用LDA与LPP相结合的方式提取哈希码，该方案同时保留原始图像的局部信息与全局信息使得在多数据集上运行良好。总的来说，基于流形学习的图像哈希算法一般具有较好的分类性能。
除了上述方案外，研究人员还相继提出了一些其他类型的感知哈希算法。Tang等人先计算图像的颜色向量角矩阵，然后提取该特征矩阵内接圆的直方图，最后使用DCT压缩直方图生成哈希码。该算法能够抵抗大角度旋转攻击，但时间复杂度较高。Tang等人将归一化后的图像分成不同的环，从环中提取均值、方差、偏度、峰度四个统计特征向量，最后，利用特征向量之间的不变距离形成紧凑的图像散列。由于统计量与图像像素的位置信息无关，该方案对几何变换攻击具有强鲁棒性。Lefèbvre等人使用Rodon变换的方式设计图像哈希，该算法能够抵抗几何变换攻击，但是脆弱性较差。Lei等人对输入图像做Rodon变换，然后在投影变换域中计算不变矩特征，最后将DFT应用到矩特征生成哈希码。该算法对缩放、滤波等典型数字攻击具有鲁棒性。
上述图像感知哈希方法都需要人工设计并提取图像特征，难以全面描述感知图像内容特征，图像感知哈希算法的性能很大程度上受制于所采用的图像特征信息。近年来，伴随着显卡算力与深度学习理论的发展，许多研究开始使用深度学习网络模型实现图像检索哈希算法，通过深度学习算法寻找图像感知哈希特征，同步提升感知哈希算法的鲁棒性和敏感性。Li等人提出了一种端到端且同时能够优化特征提取与哈希码生成的技术，其中训练集中的数据带有成对的标签用于指示模型学习的方向，实验表明该方案在鲁棒性与脆弱性之间达到了较好的平衡。Deng等人提出了一种基于深度学习的跨模态检索方案，方案中用三元组标签，描述三个模态之间的相对关系作为监督，以提取更有代表性的不同模态间的语义相关性，进而生成哈希码。Liu等人提出了一种基于卷积神经网络(CNN)的拷贝检测模型，将原始图像与43个攻击副本作为一个小组标注同样的标签，以小组为单位作为输入放入V3模型中提取潜在特征来训练拷贝检测模型，最终使得模型具有检测未经授权图像的能力。上述三种算法都需要人工标注标签，由于标签的标注往往依赖于人类的知识和注意力，限制了标注的准确性且费时费力，导致了网络对异常数据敏感且在实际应用中缺乏灵活性。不同于有监督的哈希模型，无监督哈希模型通常用来寻找数据的隐藏结构，不需要标签标记，因而更符合基于内容的感知图像哈希算法。Liong等人设计的神经网络可以完成图像到二进制码的投影，通过对最后一层输出的二进制向量矩阵做量化约束、均匀分布约束、正交性约束来输出高效的哈希码。Lin等人设计的方案中将原始图像与相应的旋转图像视为相似对，并采用相似对产生的哈希码保持这种相似性。Song等人提出了一种基于BGAN的方案。在对抗性训练的过程中通过对抗约束使得编码器能够实现从真实数据分布到潜在表示逆映射的功能。由于没有语义标签的引导，大多数基于无监督学习的深度哈希算法都涉及到了像素级重建。自然图像在重建过程中通常包含很多可变的细节信息，如大小、斑点和形状，像素级重建导致模型对这些细节信息更加敏感，降低了哈希码的鲁棒性能。Li等人提出了一种基于深度学习网络模型的感知图像哈希算法，首先采用堆叠去噪自动编码器(DAE)以期望能够将失真图像恢复到原始状态，然后对网络整体进行微调，以最大限度的平衡感知哈希算法的鲁棒性与敏感性。Qin等人将CNN作为特征提取器用于感知图像哈希算法，构建感知图像哈希网络模型。为了同时保证深度哈希网络的鲁棒性和敏感性，该项工作构造了两对目标函数，并根据损失值的变化动态调整网络结构。总体上来讲，当前利用深度学习网络模型实现感知图像哈希算法的研究相对较少，算法的性能还有较大的提升空间。
从上述文献中，可以看出传统的感知哈希算法是通过人为地提取特征，再进行量化所完成的。在实际操作中往往不够灵活且很难捕获图像的视觉特征。大多数现有的技术都依赖于手工制作的特征提取器与量化器。然而手工提取的特征往往不能很好的表示图像的感知内容，面对复杂的失真方案不能表现出令人满意的稳健性。
发明内容
为了解决现有技术的不足，本发明提供了基于改进的双向生成对抗网络的图像感知哈希方法及系统；多种功能的网络层相互组合赋予哈希框架提取不变视觉特征和区分视觉特征的能力。
第一方面，本发明提供了基于改进的双向生成对抗网络的图像感知哈希方法；
基于改进的双向生成对抗网络的图像感知哈希方法，包括：
获取待处理图像；
对待处理图像进行预处理；
将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
第二方面，本发明提供了基于改进的双向生成对抗网络的图像感知哈希系统；
基于改进的双向生成对抗网络的图像感知哈希系统，包括：
获取模块，其被配置为：获取待处理图像；
预处理模块，其被配置为：对待处理图像进行预处理；
哈希码生成模块，其被配置为：将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
与现有技术相比，本发明的有益效果是：
为了提高哈希码的性能，本发明提出了一种无监督的数据驱动的生成对抗框架来提取图像哈希码。该框架首先对图像归一化处理，并经编码器网络运算产生哈希码；其次，随机生成与哈希码同维度的噪声输入到生成器网络以生成与原始图像尽可能相似的生成图像。最后利用判别器网络分别区分哈希码与噪声生成哈希码，生成图像与原始图像的来源。通过对三个网络的联合训练，编码器可以生成兼备良好感知鲁棒性和识别准确性的图像哈希码。本发明在大型测试数据库上进行的各种实验表明，提出的感知图像哈希算法与最新研究的其他方案相比具有更强的鲁棒性。
基于神经网络提取特征的能力，本发明提出了一种基于双向对抗网络的图像哈希生成框架。多种功能的网络层相互组合赋予哈希框架提取不变视觉特征和区分视觉特征的能力。本发明提出了一种无监督的数据驱动的鲁棒图像哈希解决方案，能够通过训练对抗神经网络自动地学习高鲁棒、高识别率的哈希码。
本发明开发了一种新的编码器网络与哈希解码器组合模式来优化图像哈希的鲁棒性与识别精度。在编码器网络与哈希解码器的特定层之间添加跳接层，用于自由组合不同维度的特征，达到局部特征与全局特征有机结合。保障图像哈希在面对高强度内容保留攻击仍然有效的同时，还保持较高水准的识别率。
在CeleA等数据集上的实验结果表明，与目前最先进的感知哈希算法相比，基于双向对抗生成网络的图像感知哈希算法在高强度攻击下具有更好的平衡性能。
本发明提出了一种基于BiGAN的双向生成对抗网络生成感知哈希码方法，用于不同攻击算法下的图像来源检测。一方面本算法本身采用无监督网络模型既不需要标注标签，也不需要手动地提取特征，显著提高了产生哈希码的效率；另一方面采用较短的哈希码代替庞大的特征数据库，降低了物理存储空间。ROC曲线、PR曲线与现有算法相比，本发明提出的感知哈希算法能够在保证对不同来源图像形成高识别率的同时，兼具有较强的相同来源图像的感知鲁棒性，也即在两种性能之间能够取得良好的平衡性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的GAN架构示意图；
图2为实施例一的BiGAN架构示意图；
图3为实施例一的U-Net网络架构示意图；
图4为实施例一的基于BiGAN的感知图像哈希算法架构图；
图5(a)～图5(d)为实施例一的测试样本；
图6(a)～图6(j)为实施例一的不同内容保持操作下的相关系数结果；
图7为实施例一的Unet跳接层性能增强试验结果；
图8为实施例一的不同算法ROC曲线比较；
图9为实施例一的不同算法P-R曲线比较。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
如图1所示，生成式对抗网络(GAN)作为对抗学习的典型算法，最早由Goodfellow等人首先提出；其在图像合成、对象识别等领域的广泛应用证实了GAN框架拥有生成任意复杂数据分布的能力，架构示意图见图1。一般的GAN网络，为了学习数据空间X的分布，首先定义先验的输入噪声变量pz(z)；然后通过G(z；θg)将其映射到数据空间。其中G表示多层卷积神经网络内含参数θg。其次定义一个输出唯一标量的多层卷积神经网络D(x；θd)。D(x)表示x来自于真实数据空间的概率，取值范围[0,1]。训练D以最大化地分配真实数据与生成数据的概率，与此同时可以通过最小化log(1-D(G(z)))来训练G，即D,G通过价值函数V来完成一个极大极小博弈的过程：
Figure BDA0003553666540000071
具体地讲，GAN网络的训练采用D、G交替训练的方式。首先训练D使得判别器达到局部最优解附近。然后固定判别网络参数θd，D更新后的梯度会引导G生成和真实数据相仿的分布。经过若干次迭代后，D、G达到平衡点，此时生成的数据分布与真实数据分布一致，以达到完成学习任意数据分布的任务。
虽然GAN可以学习任意的数据分布，但该框架不包括从数据到潜在表示的逆映射。Jeff Donahue等人提出了一种双向对抗神经网络(BiGAN)，其架构如图2所示。BiGAN与GAN非常相似但在以下几个方面有所不同：
其生成网络包含两个组件：编码器E(x)将真实数据空间x映射到潜在数据空间z，形成分布PE(z|x)＝δ(z-E(x))；解码器G(z)将噪声变量pz(z)映射到真实数据空间，形成分布PG(x|z)＝δ(x-G(x))。
判别网络不仅在数据空间x，而且在数据潜在表示空间z(元组(x,E(x)),(G(z),z))中对G(z)、E(x)进行联合判断,形成分布PD(R|x,z)。当x来自真实数据时，R＝1；当x来自生成数据G(z)时，R＝0。
BiGAN的价值函数为：
Figure BDA0003553666540000081
与GAN网络训练过程类似，BiGAN也采用交替更新判别网络、生成网络的方法。首先更新判别网络D，要求最大化价值函数V(D,E,G)，使其更加自信地判断数据对的来源。从而一方面引导解码器自动地学习真实数据分布，另一方面指导编码器感知地学习真实数据的关键特征信息。其次固定判别网络D，更新生成网络E、G，要求最小化价值函数V(D,E,G)。根据更新后判别网络梯度的引导，生成网络在双重映射(即：真实数据空间x映射到潜在数据空间z；噪声变量pz(z)映射到真实数据空间)任务中完成的更加出色。循环迭代上述过程直至模型收敛时，BiGAN的编码器具有了反向解码能力，解码器能够生成和原始图像一致的图像分布，从而欺骗鉴别器；也即要求在一对元组中，G(z)数据分布尽可能接近x，E(x)数据分布尽可能接近z。也即：编码器在学习翻转的过程具备了捕捉输入数据潜在特征的能力。
数据的潜在表示是感知哈希码的必要组成部分。基于BiGAN的思想可以通过基于多层卷积神经网络算法，自学习得到原始图像更具有代表性的特征，而这种特征可以实现最大限度的原始图像恢复，因而，采用这种特征作为感知Hash码可以实现原始图像感知哈希在鲁棒性和敏感性间的统一。本发明提出了一种无需像素级重建，同时保留潜在语义信息的双向对抗生成网络来获取鲁棒的图像哈希算法。
U-Net是一个对称的网络结构，包含下采样网络和上采样网络(生成网络)，整体架构如图3所示。图3中数字表示卷积核个数，黑色箭头代表池化层用于降低维度；灰色箭头表示用2x2的卷积核进行上采样运算，用于恢复维度；复合箭头表示跳接层。
UNet中的这一关键步骤没有采用对应像素位置相加的方式而是采用拼接的方式。拼接的方式保留了更多的维度信息，使得接收层可以在深层特征与浅层特征中自由选择。
实施例一
本实施例提供了基于改进的双向生成对抗网络的图像感知哈希方法；
基于改进的双向生成对抗网络的图像感知哈希方法，包括：
S101：获取待处理图像；
S102：对待处理图像进行预处理；
S103：将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
进一步地，所述预处理，具体是指归一化处理。
进一步地，所述编码器网络，包括：10个卷积层、9个归一化层和9个激活函数层。
进一步地，所述编码器网络，包括：依次连接的
卷积层a1、批归一化层b1、激活函数层c1、
卷积层a2、批归一化层b2、激活函数层c2、
卷积层a3、批归一化层b3、激活函数层c3、
卷积层a4、批归一化层b4、激活函数层c4、
卷积层a5、批归一化层b5、激活函数层c5、
卷积层a6、批归一化层b6、激活函数层c6、
卷积层a7、批归一化层b7、激活函数层c7、
卷积层a8、批归一化层b8、激活函数层c8、
卷积层a9、批归一化层b9、激活函数层c9和
卷积层a10。
进一步地，所述编码器网络，工作原理是：
编码器网络用于实现原始图像到潜在表示的映射；
训练阶段，编码器网络的输入值为归一化后的训练集图像，编码器网络的输出值为哈希码；
实际应用阶段，编码器网络的输入值为归一化后的待处理图像，编码器网络的输出值为哈希码。
进一步地，所述生成器网络，包括：8个反卷积层、7个批归一化层和7个激活函数层。
进一步地，所述生成器网络，包括：依次连接的
反卷积层d1、批归一化层e1、激活函数层f1、
反卷积层d2、批归一化层e2、激活函数层f2、
反卷积层d3、批归一化层e3、激活函数层f3、
反卷积层d4、批归一化层e4、激活函数层f4、
反卷积层d5、批归一化层e5、激活函数层f5、
反卷积层d6、批归一化层e6、激活函数层f6、
反卷积层d7、批归一化层e7、激活函数层f7、
反卷积层d8和Tanh函数层。
进一步地，所述生成器网络，工作原理是：
将随机生成的与初始哈希码同维度的符合正态分布的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像。
进一步地，所述编码器网络与生成器网络之间进行跳接。
示例性地，所述跳接是指：
所述激活函数层c5与反卷积层d4连接；
所述激活函数层c6与反卷积层d3连接；
所述激活函数层c7与反卷积层d2连接。
应理解地，跳接的工作原理是：
在编码器网络的编码阶段，通过下采样卷积运算获得的激活函数层c5、激活函数层c6和激活函数层c7不同感受野的各种信息被传递到哈希码生成阶段；
接着，哈希码生成阶段，拼接生成器网络所保存的反卷积层d4、反卷积层d3和反卷积层d2信息与来自本身的输入信息，捕捉到图像的局部特征与全局特征；
最后，在判别器网络反向传播的引导下，编码器网络产生的哈希码能够代表图像本身。且具有较强的鲁棒性。
进一步地，所述判别器网络，包括：13个卷积层、13个LeakyRelu激活函数层、12个Dropout激活函数层和一个Sigmoid激活函数层。
进一步地，所述判别器网络，包括：依次连接的
卷积层g1、LeakyRelu激活函数层h1、Dropout激活函数层j1、
卷积层g2、LeakyRelu激活函数层h2、Dropout激活函数层j2、
卷积层g3、LeakyRelu激活函数层h3、Dropout激活函数层j3、
卷积层g4、LeakyRelu激活函数层h4、Dropout激活函数层j4、
卷积层g5、LeakyRelu激活函数层h5、Dropout激活函数层j5、
卷积层g6、LeakyRelu激活函数层h6、Dropout激活函数层j6、
卷积层g7、LeakyRelu激活函数层h7、Dropout激活函数层j7、
卷积层g8、LeakyRelu激活函数层h8、Dropout激活函数层j8、
卷积层g9、LeakyRelu激活函数层h9、Dropout激活函数层j9、
卷积层g10、LeakyRelu激活函数层h10、Dropout激活函数层j10、
卷积层g11、LeakyRelu激活函数层h11、Dropout激活函数层j11、
卷积层g12、LeakyRelu激活函数层h12、Dropout激活函数层j12、
卷积层g13、LeakyRelu激活函数层h13和Sigmoid激活函数层j13。
进一步地，所述判别器网络，工作原理是：
利用判别器网络对编码器网络生成的初始哈希码与随机生成的噪声进行鉴别，同时，对生成器生成的重建图像与归一化处理后的原始图像进行鉴别。
进一步地，将判别器网络划分为三个映射过程，即：图像映射、语义映射、联合映射。
图像映射通过将输入的原始图像或重建图像将进行多层卷积运算，基于多层卷积网络的特性，随着网络的深入，图像的通道数量变多，图像的尺寸逐渐变小，最后将原始输入图像压缩为1024位特征表示；
语义映射通过将输入的噪声或哈希码将进行多层卷积运算后，提取原始图像特征；
联合映射即是将图像映射与语义映射的输出组合成一条数据(即联合表示)作为输入，经过多层卷积运算后，再通过sigmoid激活判断联合表示真假。
进一步地，所述通过对三个网络合训练得到训练后的改进的双向生成对抗网络，训练结束的标准为：
初始哈希码与噪声的分辨准确率达到50％；且重建图像与原始图像的分辨准确率达到50％。
进一步地，所述通过对三个网络合训练得到训练后的改进的双向生成对抗网络，训练过程包括：
构建训练集；所述训练集，为人脸图像；
将训练集输入到改进的双向生成对抗网络中，对网络进行训练；
先固定编码器网络和生成器网络的网络参数，优化判别器网络的参数；当判别器网络的损失函数达到局部最优时，暂停训练判别器网络；
然后固定判别器网络的参数，优化编码器网络和生成器网络的参数；当编码器网络和生成器网络的损失函数达到局部最优时，暂停训练编码器网络和生成器网络；
交替进行上述两个步骤直至模型收敛；
得到训练后的改进的双向生成对抗网络。
进一步地，在训练改进的双向生成对抗网络的过程中，所使用的损失函数包括：
LossD＝-Mean[log(D(x,E(x)))+log(1-D(G(z),z))] (3)
LossE,G＝-Mean[log(D(G(z),z))+log(1-D(x,E(x)))] (4)
其中，x∈X_real,z∈Z_real；E(·)表示编码器的输出；G(·)表示生成器的输出；D(·)表示判别器的网络的输出；Mean表示对批输入的均值化操作；对于判别网络使用公式(3)来优化。公式(3)取值越低，D(x,E(x))取值越大，D(G(z),z)取值越小，也即判别能力越强；对于编码器网络与生成器网络使用公式(4)来优化。公式(4)取值越小，D(G(z),z)取值越大，D(x,E(x))取值越小，也即生成能力越强。
通过对抗损失对三个网络合训练后，理想情况下编码器与解码器是互逆的，即G(E(x))＝E(G(z))，也即编码器数据对(x,E(x))与生成器数据对(G(z),z)完成了匹配，换句话说此时判别器无法分辨出数据对(X,E(X))与(G(z),z)的区别，此时随机噪声分布经过训练已成为和原始图像编码相一致的数据分布，因而可以利用训练后的网络模型学习哈希码，并将生成的语义分布进行训练后作为原始图像的感知哈希，实现原始图像的一致性判断和不同来源图像鉴别。
应理解地，该框架首先对图像归一化处理，并经编码器网络运算产生哈希码；其次，随机生成与哈希码同维度的噪声输入到生成器网络以生成与原始图像尽可能相似的生成图像。最后利用判别器网络分别区分哈希码与噪声生成哈希码，生成图像与原始图像的来源。通过对三个网络的联合训练，编码器可以生成兼备良好感知鲁棒性和识别准确性的图像哈希码。
感知图像哈希算法的目的是判别原始图像内容一致的图像，同时对内容不同的图像进行识别处理。
基于BiGAN的感知图像哈希算法包含三个子网络：
编码器网络是为原始图像生成哈希码的编码器网络E:X_real→z_fake，编码器网络实现了从原始数据X到潜在表示z的映射，其输入为归一化后的训练集图像，输出为1024位哈希码；
生成器网络是将随机噪声映射为目标数据分布的Hash解码器G:Z_real→X_fake，Z_real服从正态分布；
判别器网络是用来区分图像和潜在表示数据组成的数据对是来自编码器网络还是生成器网络的判别器网络D:(X，Z)→{0,1},(X_fake,X_real∈X and Z_fake,Z_real∈Z)。
其中，编码器网络与生成器网络相应的特定层之间添加了跳接层，增强了模型结合局部特征与全局特征的能力，强化生成哈希码的质量。
总体流程为如图4所示：
首先经过编码器网络对预处理后的原始图像进行学习，得到相应的潜在表示；然后采用随机噪声通过生成器重建编码器输入的原始图像。把编码器输入和输出组成的元组与生成器输出和输入组成的元组投入判别器，以引导模型下一步的训练，直到生成图像和原始图像，图像编码和随机噪声分布一致。
其中Conv2d代表卷积层，BachNorm代表批归一化层，LeakyRelu代表激活函数。
基于BiGAN的算法原理，将BiGAN训练过程中随机噪声分布作为原始图像的感知哈希值，并根据图像感知需求实现感知哈希在相同图像鲁棒性和不同图像敏感性之间的平衡，设计基于BiGAN的感知哈希算法，实现图像的准确分类和一致性检验。设有N张原始图像X_real＝{X_reali|i＝1,…,N}，基于BiGAN训练网络，将原始图像映射为训练后的编码序列，基于BiGAN网络映射函数EN:X_real→{di|i＝1,…,k}产生K位原始图像的哈希码，通过K位感知哈希码实现内容一致图像判定和不同内容图像鉴别。
基于BiGAN的编码器网络的目的是从原始图像提取出紧凑的哈希码。该部分包含N个卷积层(Conv2d)，N个批归一化层(BatchNorm)，N个激活层(LeakRelu)。编码器的初始输入限制为归一化后的训练集图像。同时，为了提高哈希码性能，第五、六、七层卷积层的输出将传递到生成器相应层中作为输入的一部分。最后一层卷积层的卷积核个数设置为与哈希码长度相等。网络架构详细参数如表1所示。每个卷积层的细节由配置一栏中的前两个元素给出，第一个元素表示滤波器的数量，这里采用了倍乘方法增加滤波器数量。整个自学习编码过程中通道数先增广到高纬度，方便在损失函数的引导下自由选择有效的1024维以组建哈希码；第二个元素的第一个值表示感受野的大小，第二个值表示卷积步长，第三个值表示添加到输入的每一侧的行/列数；配置栏最后一个元素表示激活函数LeakRelu的斜率。除最后一层卷积层外，实验中将BatchNorm应用到每一次卷积运算之后，主要目的是为了强制调整层输出分布，使其尽可能符合标准正态分布进而使得激活输入值落在非线性函数对输入比较敏感的区域，从而避免梯度消失，加快模型收敛速度。
考虑到卷积层数量过少，提取的关键信息就不够精准；卷积层数量过多，关键信息就会模糊。实验测得编码器网络使用10个卷积层、9个批归一化层，9个激活层训练效果最为理想。而特定层选取的位置将在实验部分详细讲述。
表1编码器网络详细参数
Figure BDA0003553666540000141
Hash解码器网络的目标是通过预设的随机噪声生成目标图像。本部分网络采用了全卷积神经网络架构，为了对称地翻转编码器网络的过程，本部分包含8个反卷积层，7个BatchNorm层,7个激活层(LeakRelu)。生成器的初始输入限制为符合高斯分布的随机噪声。第二、三、四反卷积层的输入为前一层的输出与来自于编码器响应层输出的叠加，从而增强生成图像的细节信息，进而使得判别器传输给生成器和解码器的梯度信号更加敏感，最终生成性能更高的哈希码。实验中分别才用了Tanh函数和sigmoid函数作为激活函数，并通过实验结果证明在最后一层使用Tanh函数激活生成的哈希码性能要优于sigmoid函数激活。网络架构详细参数如表2所示。反卷积运算与卷积运算相反，它对特征矩阵进行上采样，增大矩阵维度。每个反卷积层的细节由配置一栏中的前两个元素给出，所代表的意义参考表一中卷积层的参数信息。
表2生成器网络详细参数
Figure BDA0003553666540000142
Figure BDA0003553666540000151
判别器网络在模型中用来判断图像与“噪声”组成的数据对是来自于真实数据分布还是生成数据分布。在这一对数据中，必须要有一个元素来自于真实数据分布，另外一个元素来自于生成数据分布。由于该网络的输入由两个元素组成，本发明首先对它们分别做卷积运算，然后区分“真”“假”。
其中，表3显示了判别器网络详细的配置信息，其中LeakyRelu，Dropout2d分别表示激活函数，Dropout层；配置一栏中从左到右分别为该层输出的通道数、卷积核大小、步长、填充大小、LeakyRelu激活层斜率、丢失率。
如表3所示，在保证有效地提取关键信息后，还要考虑平衡训练过程。通过协调生成网络与联合判别网络卷积层个数来消除一方“能力”过强或过弱的情况。因此联合判别网络使用了13层卷积神经网络，其中由于自然图像本身数据分布的复杂性，分配其更多卷积层保障判别器网络的分辨能力。
表3联合判别网络详细参数
Figure BDA0003553666540000152
关于损失函数：
基于BiGAN的感知哈希算法核心是通过训练基于深度卷积运算的编码器网络、Hash解码器网络以及判别器网络，以生成具有良好相同图像鲁棒性和不同图像敏感性的感知哈希码。不同于基于GAN网络的原始图像重建算法，本算法目的是生成根据原始图像特征代表性的感知哈希码。为保证BiGAN深度学习对抗网络生成鲁棒性和敏感性相互平衡的感知哈希码，使得自学习解码器输出图像数据分布与原始图像数据分布特征尽可能一致，本算法设计了可以将原始图像映射为潜在表示的编码器网络E，可以通过随机分布重建输入图像的Hash解码器网络G，以及一个用于指导编码器与生成器产生一致潜在分布的双向判别网络D。为了梯度的稳定传导，为D、(E,G)分别设计了损失函数。
训练和实验设计：
为验证所提出的基于BiGAN双向对抗网络的感知哈希深度学习模型的性能，实验中选择CelebAMask-HQ作为本次实验的验证数据集。CelebAMask-HQ是一个从CelebA大规模的面部数据集数据甄选出来的数据集。它包含3万张像素为1024*1024的彩色人脸图像，每个图像具有对应于CelebA的面部属性的分割蒙版，是目前广泛应用的感知图像哈希算法测试数据集。实验中从数据集中随机选取12000张图像作为训练集，另外18000张作为测试集。
在数据预处理阶段，首先将图像经双线性插值法调整成128*128统一大小，然后对其做灰度化处理。在训练过程中，首先初始化BiGAN双向对抗网络的编码器网络、生成器网络、和判别器网络参数θe，θg，θd。然后，从训练集X_real中抽取m个真实数据样本输入到编码器网络并生成相应的潜在表示：
E(X_reali)＝Z_fakei,{Z_fake1,…,Z_fakem} (5)
在生成器网络中，随机生成m个符合高斯分布的噪声Z_reali,{Z_real1,..,Z_realm}输入生成器网络并生成图像分布：
G(Z_reali)＝X_fakei,{X_fake1,..,X_fakem} (6)
其中，生成器网络原始输入为随机噪声但在第二、三、四反卷积层的输入为前一层的输出与来自于编码器响应层输出的叠加。
由于基于BiGAN的双向对抗网络的目的是通过极大化V，从而得到原始图像的潜在图像语义表示，增强图像感知哈希码的判别能力，因而，实验中利用Adam优化器来更新判别器参数θd即：
Figure BDA0003553666540000171
判别器参数的更新迭代方法为梯度上升迭代：
Figure BDA0003553666540000172
其中，α为学习速率。
训练后的判别器网络对编码器网络和生成器网络的训练过程进行指导，使得原始图像及其语义编码与生成图像和随机序列不断靠近，并最终达成一致。
实验中，在优化E,G时提出采用“逆”对抗损失函数Λ，为E,G提供更强的梯度信号：
Λ(D,E,G)＝∑x～pata(x)[log(1-D(x,E(x)))]+∑x～pz(z)[logD(G(z),z)] (8)
事实上，在模型刚开始训练的过程中G的性能较差，所以D(G(z),z)的值接近于0，log(1-D(G(z),z))产生的梯度就比较小，模型优化起来就比较困难。因此改为θe，θg是在“逆”对抗损失函数ASD的正梯度方向上移动而不是在原始损失函数V的负梯度方向上移动来更新，从而可以保障迭代训练取得的随机分布序列更接近于原始图像的语义分布。即，通过极大化ASD，利用Adam优化器来更新编码器网络参数θe与生成器网络参数θg：
Figure BDA0003553666540000173
生成网络参数更新迭代方法如下：
Figure BDA0003553666540000174
通过上述过程可实现BiGAN双向对抗网络的一轮迭代，通过多轮迭代最终可以实现编码器与生成器互为逆过程，即G(E(x))＝E(G(z))，编码器提取的哈希码能够有效表示输入图像特征，从而提升基于BiGAN双向对抗网络的感知哈希算法性能。
实验研究
对本发明所提出的方法在大型数据集CelebAMask-HQ上进行评估验证，并将试验结果与当前主流的高性能图像感知哈希算法进行比较，以验证本算法的先进性。
实验设置细节：
本发明实验的所有图像均来自于CelebAMask-HQ数据集。CelebAMask-HQ数据集共包含约3万张像素为1024*1024的彩色人脸图像，每个图像具有对应于CelebA的面部属性的分割蒙版。本发明从中随机的选取12000张图像作为训练集，另外18000张作为测试集。
在预处理阶段，首先将图像经双线性插值法调整成128*128统一大小，然后对其做灰度化处理。实验中通过pytroch框架实现了本发明所提出的算法，采用了全卷积(FCN)的架构搭建编码器网络，三个网络模型均采用Adam优化器更新参数，。其中β1为.5，β2为0.999，权重衰减为2.5e-5，最小批量为20，学习速率为1e-4，BiGAN双向对抗网络生成感知哈希的所有的参数都是通过随机初始化开始学习。另外，实验中采用相关系数计算两个哈希码之间的相关性，一般来讲，哈希码相关系数越大，图像对在视觉感知上越相似。
相关性计算公式采用化相关计算方法：
Figure BDA0003553666540000181
h1(k)，h2(k)分别是哈希码H1，H2中的第k个元素。u1，u2分别是哈希码H1，H2的均值。Δs是一个极小数，防止分母为0。由式(10)可知，互相关系数ρ(H1,H2)越大，说明感知哈希码之间相似度越高，所生成的哈希码的图像判别能力越强，越能准确实现相同图像的判断与不同图像的鉴别。
感知鲁棒性分析：
实验中首先随机选择4幅彩色图像作为测试样本，如图5(a)-图5(d)所示。4张彩色样本从左至右复杂程度递增。通过采用亮度调整，对比度修改，高斯滤波、伽马滤波、缩放操作、椒盐噪声、高斯噪声、旋转剪切缩放，jpeg压缩，和水印嵌入的方法对原始图像进行攻击修改，以验证基于BiGAN双向对抗网络的感知哈希生成模型的相同来源图像验证性能，详细攻击参数见表4。实验中首先为每幅测试图像生成67幅视觉上相似的图像。然后，利用基于BiGAN双向对抗网络的感知哈希生成模型分别计算测试图像和重建图像的哈希序列，并根据公式(10)计算相关系数。由互相关的定义可知，对于相同来源的图像间的哈希码，计算出的相关系数应该接近于1，而对于不同来源图像的哈希码，其互相关系数的计算结果应该接近于0。因而，实验过程中可根据不同的攻击类型绘制互相关系数分布图，并通过阈值设定实现基于感知哈希的图像来源取证。
表4不同内容保留操作下的相关系数(用于鲁棒性能测试)
Figure BDA0003553666540000182
Figure BDA0003553666540000191
不同内容保持操作下的相关系数结果由图6(a)～图6(j)给出。其中X轴表示特定攻击的相关参数的变化，Y轴表示此时的相关系数。在图中可以清楚地观察到，相关系数几乎都接近1，这说明本发明提出的模型有相当好的感知鲁棒性。值得一提的是，图6(g)显示的是由旋转，裁剪，缩放三种混合攻击后所计算的相关系数，多次攻击运算必然会导致相关系数降低，即便如此相关系数仍然可以达到0.90以上。在所有的鲁棒性实验中，由第四张测试图计算而来的相关系数都低于前三张图像，这主要是因为第四张图的纹理特征与训练集中的大多数纹理特征有所不同，导致编码提取了与期望目标不同的哈希码，致使求得的相关系数偏低。
值得注意的是，在图6(a)～图6(j)中由单一攻击所计算的相关系数曲线波动都很小，例如高斯低通滤波与缩放所产生的结果基本没有变化。也即，单一攻击不会严重影响相关系数的值，这也说明了本发明所提出的方法具有较强的感知鲁棒性。
为了进一步验证本发明提出方法的感知鲁棒性，实验中从训练集中随机的选取500张图像，经表4所示的拷贝攻击之后工产生33500张副本图像。基于本发明提出的算法提取33500对哈希码并计算其相关系数，由所有相关系数产生的统计信息(最大值，均值，最小值)如表4所示。从表5中本发明可以得知，所有相关系数的均值都接近于1。当相关系数的阈值T＝0.95时(两幅图的相关系数只要大于0.9573则被认为是相似版本)，仅有703张图片的相关系数低于阈值。其中，在未检测出的703张重建图像中有349张是由旋转、裁剪、缩放组合攻击产生的；274张是由高斯噪声攻击所产生，还有78张是由伽马矫正攻击所产生，图像在受到以上各种类型攻击后的来源正确判定率高达95.3％以上。实验结果表明，基于BiGAN双向对抗网络的感知哈希生成网络能够有效判断原始图像的相似副本，具有较强的相同图像判定良好的鲁棒性。
表5不同内容保留操作的统计特征
Figure BDA0003553666540000201
识别能力分析：
为了量化基于BiGAN双向对抗网络的感知哈希生成模型对不同来源图像的判别能力，实验中引入真阳性率(TPR)，伪阳性率(FPR)，最大值，均值和最小值五个指标共同评价本算法的性能。其中，TPR表示实际上是重建图像，也被判定为重建图像的概率；FPR表示实际上不是重建图像但被判定为重建图像的概率。TPR和FPR分别代表了鲁棒性和判别能力。
Figure BDA0003553666540000202
Figure BDA0003553666540000203
其中，ρ代表图像对之间的相关系数，T代表阈值，n1代表被判定为相似对的数量，N1代表重建图像总数量。n2代表被错误判定为重建图像的不同图像的数量。N2代表不同图像的数量。
首先从测试集中随机地选取500张图像，并采用上述10种攻击手段对图像及性攻击和篡改，并基于BiGAN双向对抗网络的感知哈希生成模型提取图像哈希码，开展不同图像间的哈希码判别能力验证。首先计算针对500张始图像哈希码及其相关系数，共得到500×(500-1)/2＝124750个结果。进一步计算其均值、最大值、最小值，分别为0.1745，0.9918，-0.2935。其中均值0.1745远低于重建图像的均值0.9573如表5所示。实验结果充分说明了本发明的方法具有良好的识别性能。实验中还计算了原始图像及其受攻击后的图像感知哈希码，并验证了本算法在不同阈值条件，针对不同来源图像的判别TPR和FPR性能。实验结果如表6所示，由表6可知，当相关系数阈值降低时，更多的重建图像被识别出来，说明此时模型鲁棒性较好；与此同时，被误判为重建图像的概率在增大，说明此时模型识别性能降低了。,实际上，当相关系数阈值T＝0.90时仅有0.7％的概率被误判为重建图像，也即99.3％的概率能够正确识别不同图像，实验结果表明基于BiGAN双向对抗网络的感知哈希生成模型具有良好的不同来源图像鉴别能力。
表6不同阈值下的TPR与FPR
Figure BDA0003553666540000211
U-net跳接层影响分析：
通过接收者操作特征曲线(receiver operating characteristic curve，也即ROC曲线)分析了编码器与生成器之间采用基于Unet的跳接层对实验结果的影响。ROC曲线由一组由不同阈值产生的点对所组成，此处用于寻找哈希码鲁棒性与识别性之间的平衡点。其中X轴代表伪阳性率(PFPR)，Y轴代表真阳性率(PTPR)。靠近左上角的ROC曲线意味着更小的PFPR和更大的PTPR，也即产生该曲线的哈希码具有高鲁棒性与高识别性。实验中首先选取了2000幅图像，采用表7所示的攻击方案，计算了2000*16＝32000对重建图像对相关系数和2000*(2000-1)/2＝1999000对不同图像对相关系数的实验数据。在保持其它参数不变的情况下，通过增减Unet跳接层，根据不同的阈值可以得到最终的ROC曲线，如图7所示。在图7中可以清楚地观察到，具有连接层的曲线更加靠近左上角，这不仅说明了本发明提出的方案具有较高的感知鲁棒性、良好的区分度，而且意味着添加跳接层后本算法可以获得更好的图像哈希性能，模型在相同图像判定和不同图像鉴别两个方面能够取得很好的性能。
由于浅层卷积神经网络提取的都是边缘信息，在此处添加跳接层，哈希解码网络在接收这些信息后直接就生成了逼真的数据分布。导致判别器网络失效，也就无法引导编码器网络准确高效地捕捉关键信息。此外较少的跳接层在传递包含纹理、边缘、物体部件的复杂信息时不够全面，难以保障充分捕捉到图像的局部特征与全局特征的任务；而较多的跳接层会影响计算效率且可能传递重叠感受野信息增加模型复杂性。经多次实验最终选择从编码器网络的第五层开始添加3层跳接层可以达到最优效果。
表7不同内容保留操作下的相关系数(用于敏感性能测试)
Figure BDA0003553666540000221
不同方法间性能的比较：
为了评价基于BiGAN的双向生成对抗网络生成感知哈希码的性能，实验中将本方法与其他热点哈希码算法进行了对比，验证哈希码算法针对相同图像的鲁棒性与不同图像的敏感性。其他热点算法分别选择基于频域变换的DCT_GLCM，该方法结合局部特征与全局特征，使得哈希码具有优秀的识别性能与鲁棒性；基于矩阵压缩的
Figure BDA0003553666540000222
该算法对结合环分割与边缘检测技术，对旋转攻击完全免疫；基于流形学习的DCT_LLE，该算法结合频域变换与局部线性嵌入降维，应用LLE降低了数据复杂度，应用DCT保证了哈希码鲁棒性能；以及基于深度学习的SDAE，该方案首次将深度学习与拷贝检测相结合并在多种复杂攻击下表现良好。这些算法在感知哈希算法领域都取得了很好的效果，具有很好的感知哈希性能。对比算法的实验参数设置与原文一致。所有的实验均在同一台搭载了一块P4000的计算机上进行，其中DCT_GLCM，
Figure BDA0003553666540000223
DCT_LLE由python3.7实现，SDAE由MATLAB2018b实现。该部分将组织三个实验来比较各个算法的复制检测能力：
(a)不同算法间ROC曲线比较。
(b)比较不同算法间的P-R曲线。
(c)各个算法正确检测副本的数量。
在第一个实验中，采用视觉上相似的图像对和不同的图像对来比较鲁棒性与辨别性的平衡性能。实验中采用所介绍的测试集，经过随机擦除、中心裁剪、亮度、Jpeg压缩攻击共产生8000张测试图。首先使用本算法生成哈希码，并利用互相关标准计算每对原图与攻击后图像哈希码之间的相关性，再从0％到100％之间均匀地划分20个阈值用于计算20个TPR,FPR点对，进而生成ROC曲线。最终由图8给出所有比较算法的ROC曲线。从图中可以看出本发明的算法具有更高的ROC取值，说明本发明提出的基于BiGAN的双向生成对抗网络生成感知哈希码算法具有更哈的感知鲁棒性，对相同来源的图像具有很强的判定能力。图5(a)-图5(d)还表明，SDAE、DCT_GLCM比本发明的算法更靠近左上角，这是因为高强度攻击产生的相似图数量较少，本发明方案高鲁棒性无法充分体验出来，这点将由实验三证明。SDAE与本方案平衡性的良好表现说明深度学习的方法能够在拷贝检测领域取得优异的结果。
在第二个实验中，采用查准率与召回率曲线(PR曲线)进一步开展评估不同算法之间的共计检测性能。查准率与召回率的计算公式如下：
Figure BDA0003553666540000231
Figure BDA0003553666540000232
在该实验部分，对于每一种比较算法，利用它们各自度量计算查询图像和测试图像之间的相似度，并进一步生成一组点(查准率、召回率)来构建PR曲线。从图9中可以看出当召回率高于0.92时，本发明提出方案的精准率始终高于其他方案。最好的查全率和查准率表明，基于BiGAN的双向生成对抗网络生成感知哈希码方法对强拷贝攻击具有较强的鲁棒性，能够很好地区分拷贝图像和相似拷贝图像。
通过实验三进一步验证基于BiGAN的双向生成对抗网络生成感知哈希码方法应用于高强度拷贝检测的能力。首先从CelebAMask-HQ测试集中随机选取10张图像，采用亮度调整，对比度修改，高斯滤波、随机擦出、缩放操作、旋转剪切缩放，JPEG压缩，和中心裁剪多种方法对原始图像进行攻击修改后产生160张重建图像。采用统一阈值记录不同哈希生成算法对于特定攻击方式正确检测数量占比。
具体而言，对于每一种攻击本发明采用统一的阈值来记录正确检测到的样本个数，最终结果由表9给出。在阈值取值相对较低时，本发明的方法拥有更强的鲁棒性，同时兼备良好的识别性能。所以当阈值小于0.95时识别准确率高于所有对比的方法。在阈值取值相对较高时本发明提出的算法所产生的哈希码相较于感知鲁棒性拥有更好的识别性能。当阈值高于0.95时本发明的方法相对于SDAE、DCT_GLCM就弱了一些。注意到本发明方案的ROC曲线虽然不如SDAE、DCT_GLCM接近左上角，但是当阈值低于0.96时，表现却优于SDAE、DCT_GLCM算法，这是因为本发明方案在此阈值范围内拥有更高频率的点对出现，证明本发明的方案在实践中更具有应用价值。
表8不同算法产生哈希码所需时间
2016LLE 2016Canny 2018DAE 2020DCT Our
时间(单位秒) 7.22 31.55 0.04 2.56 0.88
表9统一阈值下各个算法成功检测拷贝副本准确率
阈值 2016LLE 2016Canny 2018DAE 2020DCT Our
0.97 4.37％ 37.50％ 66.87％ 62.50％ 75.62％
0.96 17.50％ 43.75％ 69.37％ 62.50％ 76.88％
0.95 17.50％ 46.25％ 70.00％ 63.12％ 80.00％
0.94 17.50％ 48.13％ 70.63％ 66.25％ 81.25％
0.93 31.87％ 50.62％ 70.63％ 68.75％ 81.25％
0.92 31.87％ 52.50％ 71.25％ 70.00％ 81.87％
0.91 32.50％ 55.00％ 73.12％ 71.88％ 82.50％
0.90 41.88％ 58.13％ 74.38％ 73.75％ 83.75％
此外，实验中还比较了不同算法生成哈希的平均时间，具体方法为对于每一种算法分别采用100张图像进行实验，然后计算生成一张图像哈希吗的平均所需时间，结果如表8所示，基于BiGAN的双向生成对抗网络生成感知哈希码大约需要0.88S，与其它算法相比具有更高的哈希吗生成效率；其中DAE算法仅需要0.04S，这是因为DAE通过人工选取固定特征生成哈希码值，虽然这种方法具有更高的哈希码生成效率，但是由于人工的介入，也降低了此算法应用灵活性。传统哈希码生成过程中往往设计多层矩阵遍历操作，这些遍历操作相较于前馈神经网络运算要慢许多，从表8中本发明可以看出基于深度学习方法生成哈希码的平均速度相较于传统方法耗时减少9倍以上。
实施例二
本实施例提供了基于改进的双向生成对抗网络的图像感知哈希系统；
基于改进的双向生成对抗网络的图像感知哈希系统，包括：
获取模块，其被配置为：获取待处理图像；
预处理模块，其被配置为：对待处理图像进行预处理；
哈希码生成模块，其被配置为：将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
此处需要说明的是，上述获取模块、预处理模块和哈希码生成模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，包括：
获取待处理图像；
对待处理图像进行预处理；
将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
2.如权利要求1所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
所述编码器网络，工作原理是：
编码器网络用于实现原始图像到潜在表示的映射；
训练阶段，编码器网络的输入值为归一化后的训练集图像，编码器网络的输出值为哈希码；
实际应用阶段，编码器网络的输入值为归一化后的待处理图像，编码器网络的输出值为哈希码。
3.如权利要求1所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
所述生成器网络，工作原理是：
将随机生成的与初始哈希码同维度的符合正态分布的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像。
4.如权利要求1所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
所述判别器网络，工作原理是：
利用判别器网络对编码器网络生成的初始哈希码与随机生成的噪声进行鉴别，同时，对生成器生成的重建图像与归一化处理后的原始图像进行鉴别。
5.如权利要求4所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
将判别器网络划分为三个映射过程，即：图像映射、语义映射、联合映射；
图像映射通过将输入的原始图像或重建图像将进行多层卷积运算，基于多层卷积网络的特性，随着网络的深入，图像的通道数量变多，图像的尺寸逐渐变小，最后将原始输入图像压缩为1024位特征表示；
语义映射通过将输入的噪声或哈希码将进行多层卷积运算后，提取原始图像特征；
联合映射即是将图像映射与语义映射的输出组合成一条数据作为输入，经过多层卷积运算后，再通过sigmoid激活判断联合表示真假。
6.如权利要求1所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
所述通过对三个网络合训练得到训练后的改进的双向生成对抗网络，训练过程包括：
构建训练集；所述训练集，为人脸图像；
将训练集输入到改进的双向生成对抗网络中，对网络进行训练；
先固定编码器网络和生成器网络的网络参数，优化判别器网络的参数；当判别器网络的损失函数达到局部最优时，暂停训练判别器网络；
然后固定判别器网络的参数，优化编码器网络和生成器网络的参数；当编码器网络和生成器网络的损失函数达到局部最优时，暂停训练编码器网络和生成器网络；
交替进行上述两个步骤直至模型收敛；
得到训练后的改进的双向生成对抗网络。
7.如权利要求1所述的基于改进的双向生成对抗网络的图像感知哈希方法，其特征是，
在训练改进的双向生成对抗网络的过程中，所使用的损失函数包括：
LossD＝-Mean[log(D(x,E(x)))+log(1-D(G(z),z))] (3)
LossE,G＝-Mean[log(D(G(z),z))+log(1-D(x,E(x)))] (4)
其中，x∈X_real,z∈Z_real；E(·)表示编码器的输出；G(·)表示生成器的输出；D(·)表示判别器的网络的输出；Mean表示对批输入的均值化操作；对于判别网络使用公式(3)来优化；公式(3)取值越低，D(x,E(x))取值越大，D(G(z),z)取值越小，也即判别能力越强；对于编码器网络与生成器网络使用公式(4)来优化；公式(4)取值越小，D(G(z),z)取值越大，D(x,E(x))取值越小，也即生成能力越强。
8.基于改进的双向生成对抗网络的图像感知哈希系统，其特征是，包括：
获取模块，其被配置为：获取待处理图像；
预处理模块，其被配置为：对待处理图像进行预处理；
哈希码生成模块，其被配置为：将预处理后的图像输入到训练后的改进的双向生成对抗网络中，得到待处理图像的哈希码；
其中，改进的双向生成对抗网络，包括编码器网络、生成器网络和判别器网络；其中，编码器网络与生成器网络均与判别器网络连接且编码器网络还与生成器网络连接；
其中，在训练改进的双向生成对抗网络的过程中，将归一化的原始图像输入到编码器网络中，编码器网络产生初始哈希码；将随机生成的与初始哈希码同维度的噪声输入到生成器网络中，生成器网络输出原始图像的重建图像；利用判别器网络对初始哈希码与噪声进行鉴别，同时，对重建图像与原始图像进行鉴别，通过对三个网络合训练得到训练后的改进的双向生成对抗网络。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202210268881.XA 2022-03-18 2022-03-18 基于改进的双向生成对抗网络的图像感知哈希方法及系统 Pending CN114612988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210268881.XA CN114612988A (zh) 2022-03-18 2022-03-18 基于改进的双向生成对抗网络的图像感知哈希方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210268881.XA CN114612988A (zh) 2022-03-18 2022-03-18 基于改进的双向生成对抗网络的图像感知哈希方法及系统

Publications (1)

Publication Number Publication Date
CN114612988A true CN114612988A (zh) 2022-06-10

Family

ID=81864585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210268881.XA Pending CN114612988A (zh) 2022-03-18 2022-03-18 基于改进的双向生成对抗网络的图像感知哈希方法及系统

Country Status (1)

Country Link
CN (1) CN114612988A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293244A (zh) * 2022-07-15 2022-11-04 北京航空航天大学 一种基于信号处理及数据约简的智能电网虚假数据注入攻击检测方法
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN115796242A (zh) * 2023-02-10 2023-03-14 南昌大学 一种电子数字信息反取证方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293244A (zh) * 2022-07-15 2022-11-04 北京航空航天大学 一种基于信号处理及数据约简的智能电网虚假数据注入攻击检测方法
CN115293244B (zh) * 2022-07-15 2023-08-15 北京航空航天大学 一种基于信号处理及数据约简的智能电网虚假数据注入攻击检测方法
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN115797216B (zh) * 2022-12-14 2024-05-24 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN115796242A (zh) * 2023-02-10 2023-03-14 南昌大学 一种电子数字信息反取证方法

Similar Documents

Publication Publication Date Title
You et al. A Siamese CNN for image steganalysis
Qin et al. Perceptual image hashing via dual-cross pattern encoding and salient structure detection
CN114612988A (zh) 基于改进的双向生成对抗网络的图像感知哈希方法及系统
Ye et al. Real-time no-reference image quality assessment based on filter learning
EP4085369A1 (en) Forgery detection of face image
US11348364B2 (en) Method and system for neural fingerprint enhancement for fingerprint recognition
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
CN111639558A (zh) 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN104700089A (zh) 一种基于Gabor小波和SB2DLPP的人脸识别方法
Dua et al. Detection and localization of forgery using statistics of DCT and Fourier components
Jiang et al. Perceptual image hashing based on a deep convolution neural network for content authentication
Fonseca-Bustos et al. Robust image hashing for content identification through contrastive self-supervised learning
Shaik et al. A Secure and Robust Autoencoder‐Based Perceptual Image Hashing for Image Authentication
Liu et al. Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation
Paul et al. Robust color image hashing using convolutional stacked denoising auto-encoders for image authentication
Ouyang et al. A semi-fragile watermarking tamper localization method based on QDFT and multi-view fusion
Sabeena et al. Convolutional block attention based network for copy-move image forgery detection
Sujin et al. High-performance image forgery detection via adaptive SIFT feature extraction for low-contrast or small or smooth copy–move region images
Kumar et al. Detection of Copy-Move Forgery Using Euclidean Distance and Texture Features.
CN114743148A (zh) 多尺度特征融合篡改视频检测方法、系统、介质和设备
CN111291223B (zh) 四胞胎卷积神经网络视频指纹方法
Ouyang et al. Robust hashing based on quaternion Gyrator transform for image authentication
Akram et al. Enhanced Steganalysis for Color Images Using Curvelet Features and Support VectorMachine.
Ma et al. Perceptual image hashing with bidirectional generative adversarial networks for copy detection
Rai et al. A Thorough Investigation on Image Forgery Detection.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination