CN110674335B - 一种基于多生成多对抗的哈希码与图像双向转换方法 - Google Patents

一种基于多生成多对抗的哈希码与图像双向转换方法 Download PDF

Info

Publication number
CN110674335B
CN110674335B CN201910870507.5A CN201910870507A CN110674335B CN 110674335 B CN110674335 B CN 110674335B CN 201910870507 A CN201910870507 A CN 201910870507A CN 110674335 B CN110674335 B CN 110674335B
Authority
CN
China
Prior art keywords
hash
hash code
network
image
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910870507.5A
Other languages
English (en)
Other versions
CN110674335A (zh
Inventor
曾宪华
徐黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910870507.5A priority Critical patent/CN110674335B/zh
Publication of CN110674335A publication Critical patent/CN110674335A/zh
Application granted granted Critical
Publication of CN110674335B publication Critical patent/CN110674335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明请求保护一种基于多生成多对抗的哈希码与图像双向转换方法，包括：输入原始图像，通过深度哈希网络将输入图像编码为紧凑的二进制哈希码；输入二进制哈希码，通过逆哈希网络将紧凑的二进制哈希码解码为原始图像；在图像和哈希码之间构建对抗损失，实现哈希码和图像之间的双向转换；深度哈希网络将原始图像编码为二进制哈希码时，利用监督流形相似度来减少相似样本之间的海明距离，同时增大非相似样本之间的海明距离；逆哈希网络将二进制哈希码解码为图像时，引入位平衡项，使得哈希码近似服从泊松分布，进一步拟合真实数据分布；在哈希码和图像之间构建内容保真度量，本发明能够在跨模态图像与哈希码之间进行双向转换，在保证高精度检索率的同时，提高用户主观反馈，进一步减少存储开销。

Description

一种基于多生成多对抗的哈希码与图像双向转换方法
技术领域
本发明属于信息检索领域，结合深度哈希方法、多生成对抗框架、数据空间流形相似性以及多个损失函数实现原始图像与哈希码之间的双向转换。
背景技术
过去的十年中，随着多媒体的爆炸式增长和社交媒体的迅速发展，吸引了越来越多研究者对于大规模数据次近邻检索的研究。在这项研究中，除了传统的基于内容的检索方法之外，哈希检索方法也受到了越来越多学者的关注。哈希算法利用哈希函数将高维数据映射为紧凑二进制哈希码，然后通过计算哈希码之间的海明距离来实现快速、有效的检索。现阶段，已经提出了一系列基于深度学习的哈希方法，该方法通过使用深度神经网络同时学习特征表示和哈希码。此外，也有些学者使用生成对抗机制来进一步提高深度哈希的性能。
现阶段的哈希算法忽略了哈希码带来了存储优势和主观评价，要解决这两个问题，需要解决三个子问题：(1)学习将原始图像编码为紧凑的二进制哈希码的非线性哈希函数；(2)在哈希函数的学习过程中需要保证良好的检索性能和用户反馈；(3)学习将紧凑的二进制哈希码逆向映射为高质量图像的逆向哈希函数。自生成对抗机制提出的这近几年里，哈希学习和对抗性学习在哈希编码和图像合成领域取得了巨大的进展，同时也为本发明解决上述三个问题提供了切实可行的思路。
根据上述讨论和分析，利用多生成多对抗网络实现哈希码与图像之间的双向转换。引入监督流形相似度来减少相似实例之间的海明距离，同时增加不同实例之间的距离，在获得高精度检索结果基础上，进一步提高用户反馈。然后，借助多生成多对抗机制，利用循环一致性策略从哈希码重建原始数据。在逆哈希生成过程中，引入内容保真，避免训练不稳定和模式坍塌的问题，同时利用由大量哈希码构成的泊松分布来初始化生成分布，更好地拟合真实数据分布。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种能够实现原始数据图像和二进制哈希码之间双向转换的方法，同时避免生成对抗机制中的模式坍塌，训练不稳定等问题，在保证较高的检索精度的同时，提高用户的相关反馈，进一步减少存储开销的方法。本发明的技术方案如下：
一种基于多生成多对抗的哈希码与图像双向转换方法，其包括以下步骤：
步骤1、输入原始图像，通过深度哈希网络将输入图像编码为紧凑的(二进制代码中只有-1和+1两种表示)二进制哈希码，所述深度哈希网络将原始图像编码为二进制哈希码时，利用监督流形相似度来减少相似样本之间的海明距离，同时增大非相似样本之间的海明距离；
步骤2、输入二进制哈希码，通过逆哈希网络将紧凑的二进制哈希码解码为原始图像；逆哈希网络将二进制哈希码解码为原始图像时，引入位平衡项，使得哈希码近似服从泊松分布，拟合真实数据分布；
步骤3、在原始图像和哈希码之间构建对抗损失，实现哈希码和图像之间的双向转换。
进一步的，所述步骤1中，通过深度哈希网络将原始图像编码为二进制哈希码，具体表示为：
Figure BDA0002202640070000021
其中，G，D，F和C分别表示生成网络，判别网络，哈希网络和分类网络，
Figure BDA0002202640070000022
表示期望，sij表示数据点之间的监督流形相似度、J(F,G,D,C)表示包含4个网络的目标函数。β是权重系数，x是生成目标，S表示监督流形相似度矩阵。
进一步的，为了简化表达，可以将上式划分为两个部分：哈希编码和哈希解码，引入位平衡项
Figure BDA0002202640070000023
γ表示用于衡量位平衡项在整个目标函数中的权重。在哈希编码过程中使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据，哈希编码表示为：
Figure BDA0002202640070000031
其中，
Figure BDA0002202640070000032
表示位平衡项，用来平衡哈希码中-1和+1的个数，wij表示处理数据不平衡问题的权重、LF表示哈希函数损失、α表示用于衡量位量化损失在整个目标函数中的权重、hi表示第i个哈希码、N分别表示数据样本的大小，<hi,hj>表示哈希码hi和hj之间的内积；
解码过程可以表示为：
Figure BDA0002202640070000033
其中，
Figure BDA0002202640070000034
表示期望，Ph表示哈希分布，Pr表示哈希分布，h表示对应的哈希码。
进一步的，所述步骤1利用监督流形相似度，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，监督流形相似度表示为：
SM＝Spo⊙Spa
其中，Spo和Spa分别表示点对相似度量矩阵和成对相似度量矩阵，⊙表示元素对之间的点乘。
进一步的，所述步骤2构建逆哈希网络具体包括：
构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，
Figure BDA0002202640070000035
θg表示生成网络G的参数，LG表示生成网络的损失。进一步的，在原始图像和哈希码之间构建条件对抗损失，通过计算损失并反向传播梯度(常见表示为：
Figure BDA0002202640070000036
代码实现过程中，通过批处理方法，算出损失，然后将损失输入到优化器中(如：python中的SGD或者Adam优化器)，最后封装好的模型根据自动求导梯度并向前传播。)使得网络的输出与输入的流形空间保持相似，表示为：
Figure BDA0002202640070000041
θd表示判别网络D的参数、LD表示表示判别网络的损失。进一步的，通过循环一致性策略(简单来说，循环一致性策略指的是，网络A将数据A转化为B，网络B将数据B转化为A’，循环一致性策略则保证A和A’之间的差距最小。详情请查阅参考文献[2])，在提出的多生成多对抗框架下，实现哈希码和图像之间的双向转换，具体表示为：
Figure BDA0002202640070000042
本发明的优点及有益效果如下：
本发明创新点：1)提出了哈希码与图像之间的双向转换方法。现有的深度哈希方法多是单向转换，例如从图像数据固定地转换到二进制哈希码。本发明利用多生成多对抗网络来实现哈希码和图像之间的双向转换，在实现快速、有效检索的同时，减少存储成本。2)提出了监督流形相似度。现有深度哈希方法仅仅利用了单一的监督信息，如：点对的标签信息或者成对的近邻信息，故本发明同时考虑点对和成对的监督信息，提出了监督流形相似度，克服单一监督信息的不足。3)内容保真项的提出。内容保真项利用2范数损失项来约束逆哈希网络的输出，使得重建图像与原始图像更加接近。4)本发明为了保持海明空间与原始数据空间之间流形结构的相似性，在多对抗网络中引入分类网络，驱动生成数据的流形结构与原始数据的流形结构相似。5)本发明利用了由大量哈希码组成的泊松分布初始化生成分布，从理论上验证了泊松分布等可加性分布具有拟合真实数据分布的特性。
附图说明
图1是本发明提供优选实施例算法框架图；
图2为本发明的重建实验结果图。
图3为本发明的较少存储容量的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
一种基于多生成多对抗的哈希码与图像双向转换方法，其包括以下步骤：
1)、信息检索领域数据能够以原始图像和哈希码两种状态保存。首先，通过深度哈希网络将原始图像编码为二进制哈希码，然后通过逆哈希网络将对应的二进制哈希码解码为原始图像。在这过程中，通过循环一致性策略实现哈希码和图像之间的双向转换；
2)、哈希编码过程中，深度哈希网络将原始图像数据编码为紧凑的二进制哈希码，以此提高检索效率和存储开销；
3)、哈希编码过程中，提出监督流形度量，对比点对和成对的监督度量方式，所提出的度量能够在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，进而在提高检索性能的同时，提高用户反馈；
4)、哈希解码的过程中，构建哈希码与图像之间的对抗损失，通过逆向哈希网络将哈希码解码为原始图像数据，将储存方式由“存储原始图像数据”改变为“存储哈希码和逆哈希网络”，进一步减少存储开销；
5)、哈希解码过程中，构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，从而避免生成对抗机制中的模式坍塌，训练不稳定等经典问题；
6)、哈希编码过程中，引入位平衡项，使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据。此外，进一步证明，任何满足可加性的分布的数据都能够用来初始化生成分布并拟合真实数据。
进一步的，所述步骤1)中，通过深度哈希网络将原始图像编码为二进制哈希码，然后通过逆哈希网络将对应的二进制哈希码解码为原始图像。在这过程中，通过循环一致性策略实现哈希码和图像之间的双向转换，具体表示为：
Figure BDA0002202640070000061
其中，G，D，F和C分别表示生成网络，判别网络，哈希网络和分类网络。为了简化表达，可以将上式划分为两个部分：哈希编码和哈希解码。哈希编码表示为：
Figure BDA0002202640070000062
其中，
Figure BDA0002202640070000063
表示位平衡项，用来平衡哈希码中-1和+1的个数。<hi,hj>表示哈希码hi和hj之间的内积。
解码过程可以表示为：
Figure BDA0002202640070000064
其中，Ph表示哈希分布，Pr表示哈希分布，β是权重系数。x是生成目标，h表示对应的哈希码。
进一步的，步骤2)中，所述深度哈希网络将原始图像数据编码为紧凑的二进制哈希码，以此提高检索效率和存储开销。将原始图像数据转换为二进制哈希码的具体方法为：将原始图像数据输入由深度神经网络构成的哈希网络中，再保持海明空间和原始空间流行结构相似的条件下，进行非线性映射。所述转换图像数据过程定义为：
H＝F(X|S)
其中，X为原始的图像数据，F为由神经网络构成的哈希网络，S表示样本的相似性度量。
进一步的，在步骤3)中，提出监督流形度量，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，进而在提高检索性能的同时，提高用户反馈。监督流形相似度表示为：
SM＝Spo⊙Spa
其中，Spo和Spa分别表示点对相似度量矩阵和成对相似度量矩阵。⊙表示元素对之间的点乘。
进一步的，步骤4)中，构建哈希码与图像之间的对抗损失，通过逆向哈希网络将哈希码解码为原始图像数据，将储存方式由“存储原始图像数据”改变为“存储哈希码和逆哈希网络”，进一步减少存储开销。具体表示为：
Figure BDA0002202640070000071
其中，S表示监督流形相似度。上式中前两项表示对抗损失，后两项表示分类损失。对抗损失旨在区分重建图像和原始图像之间的真实性，而后者则用于二分类任务，驱动重建图像的流形结构重合与原始图像的流形结构。
进一步的，步骤5)中，构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，从而避免生成对抗机制中的模式坍塌，训练不稳定等经典问题。具体表示为：
Figure BDA0002202640070000072
其中，x是重建目标，h表示哈希码。Ph表示哈希分布，β是权重系数，用于控制保真项和对抗损失之间的比例。
进一步的，步骤6)中，引入位平衡项，使得哈希码服从泊松分布，并验证服从泊松分布的数据能够用来初始化生成分布并拟合真实数据。证明如下：
令
Figure BDA0002202640070000079
为同一类分布，当
Figure BDA0002202640070000077
和
Figure BDA0002202640070000078
相互独立，如果
Figure BDA0002202640070000076
那么Ph可以用来初始化为生成分布。
证明：令Pr和Ph分别为真实分布和哈希分布，假设
Figure BDA0002202640070000073
||g1-1||≤δ1和||g2+1||≤δ2，使得
Figure BDA00022026400700000710
那么：
Figure BDA0002202640070000074
作为GANs的一般情况，当且仅当
Figure BDA0002202640070000075
实现全局最小值。进一步可得：
Figure BDA0002202640070000081
上式则表明：使用哈希分布初始化生成分布，能够拟合真实的数据分布。该结论可以进步扩展为：任何满足可加性的分布的数据都能够用来初始化生成分布并拟合真实数据。
为了在获得较高检索精度的基础上，提高用户的相关反馈，减少数据存储开销，通过深度神经网络实现哈希码和原始图像之间的双向非线性映射，进一步达到哈希码和原始图像之间的相互转换。将原始图像数据输入到有神经网络组成哈希网络中，得到对应的二进制哈希码；类似地，将二进制哈希码输入到由神经网络组成的逆哈希网络中，重建处对应的原始图像。在原始图像和哈希码之间构建条件对抗损失，通过计算损失并反向传播梯度使得网络的输出与输入的流形空间保持相似。利用双向循环一致性损失来对哈希网络和逆哈希网络进行有效性进行验证。利用监督流形度量，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，进而在提高检索性能的同时，提高用户反馈。构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，从而避免生成对抗机制中的模式坍塌，训练不稳定等经典问题。引入位平衡项，在哈希编码过程中使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据。
下面将详细说明本发明的技术方案：一种基于多生成多对抗的哈希码与图像双向转换方法，包括：
为了在获得较高检索精度的基础上，提高用户的相关反馈，减少数据存储开销，通过深度神经网络实现哈希码和原始图像之间的双向非线性映射，进一步达到哈希码和原始图像之间的相互转换。
将原始图像数据输入到有神经网络组成哈希网络中，得到对应的二进制哈希码；类似地，将二进制哈希码输入到由神经网络组成的逆哈希网络中，重建处对应的原始图像。
在原始图像和哈希码之间构建条件对抗损失，通过计算损失并反向传播梯度使得网络的输出与输入的流形空间保持相似。表示为：
Figure BDA0002202640070000091
构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，从而避免生成对抗机制中的模式坍塌，训练不稳定等经典问题。
Figure BDA0002202640070000092
利用监督流形度量，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，进而在提高检索性能的同时，提高用户反馈。监督流形相似度表示为：
SM＝Spo⊙Spa
其中，Spo和Spa分别表示点对相似度量矩阵和成对相似度量矩阵。⊙表示元素对之间的点乘。
引入位平衡项，在哈希编码过程中使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据。具体表示为：
Figure BDA0002202640070000093
具体步骤表示为：
步骤一：构建哈希网络
在哈希编码过程中，利用由神经网络组成的哈希网络将原始数据编码为二进制哈希码。表示为：
Figure BDA0002202640070000094
其中S表示监督流形相似度矩阵。
步骤二：构建监督流形相似度
本发明提出利用监督流形相似度，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，进而在提高检索性能的同时，提高用户反馈。
监督流形相似度表示为：
SM＝Spo⊙Spa
其中，Spo和Spa分别表示点对相似度量矩阵和成对相似度量矩阵。⊙表示元素对之间的点乘。
步骤三：添加位平衡项
引入位平衡项
Figure BDA0002202640070000101
在哈希编码过程中使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据。因此，哈希编码过程可以进一步表示为：
Figure BDA0002202640070000102
步骤四：构建逆哈希网络
构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，从而避免生成对抗机制中的模式坍塌，训练不稳定等经典问题。
Figure BDA0002202640070000103
步骤五：构建对抗损失
在原始图像和哈希码之间构建条件对抗损失，通过计算损失并反向传播梯度使得网络的输出与输入的流形空间保持相似。表示为：
Figure BDA0002202640070000104
步骤六：构建多生成多对抗框架，实现哈希码与原始图像之间的双向转换通过循环一致性策略，在提出的多生成多对抗框架下，实现哈希码和图像之间的双向转换，具体表示为：
Figure BDA0002202640070000105
综上所述，本发明的创新和优势：
本发明提出的哈希码与图像之间的双向转换方法，利用多生成多对抗网络来实现哈希码和图像之间的双向转换，在实现快速、有效检索的同时，减少存储成本。
本发明提出的监督流形相似度，针对现有深度哈希方法仅仅利用了单一的监督信息，如：点对的标签信息或者成对的近邻信息，故本发明同时考虑点对和成对的监督信息，提出了监督流形相似度，克服单一监督信息的不足。
本发明提出内容保真项，利用2范数损失项来约束逆哈希网络的输出，使得重建图像与原始图像更加接近。
本发明在多对抗网络中引入分类网络，驱动生成数据的流形结构与原始数据的流形结构相似，进而保持海明空间与原始数据空间之间流形结构的相似性。
本发明利用了由大量哈希码组成的泊松分布初始化生成分布，从理论上验证了泊松分布等可加性分布具有拟合真实数据分布的特性。
[1]Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[C]//International conference on learningrepresentations,2015:1-14.
[2]J.Zhu,T.Park,P.Isola,A.Efros,Unpaired image-to-image translationusing cycle-consistent adversarial networks[C]//IEEE International Conferenceon Computer Vision,2017:2242–2251.
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于多生成多对抗的哈希码与图像双向转换方法，其特征在于，包括以下步骤：
步骤1、输入原始图像，通过深度哈希网络将输入图像编码为紧凑二进制哈希码，即二进制代码中只有-1和+1两种表示，所述深度哈希网络将原始图像编码为二进制哈希码时，利用监督流形相似度来减少相似样本之间的海明距离，同时增大非相似样本之间的海明距离；
步骤2、输入二进制哈希码，通过逆哈希网络将紧凑的二进制哈希码解码为原始图像；逆哈希网络将二进制哈希码解码为原始图像时，引入位平衡项，使得哈希码近似服从泊松分布，拟合真实数据分布；在逆哈希生成过程中，引入内容保真；
步骤3、在原始图像和哈希码之间构建对抗损失，实现哈希码和图像之间的双向转换；
所述步骤1中，通过深度哈希网络将原始图像编码为二进制哈希码，具体表示为：
Figure FDA0003662481120000011
其中，G，D，F和C分别表示生成网络，判别网络，哈希网络和分类网络，
Figure FDA0003662481120000012
表示期望，sij表示数据点之间的监督流形相似度、J(F,G,D,C)表示包含4个网络的目标函数，β是权重系数，x是生成目标，S表示监督流形相似度矩阵；
为了简化表达，可以将上式划分为两个部分：哈希编码和哈希解码，引入位平衡项
Figure FDA0003662481120000013
γ表示用于衡量位平衡项在整个目标函数中的权重；在哈希编码过程中使得哈希码服从泊松分布，然后通过理论验证，服从泊松分布的数据能够用来初始化生成分布并拟合真实数据，哈希编码表示为：
Figure FDA0003662481120000014
其中，
Figure FDA0003662481120000021
表示位平衡项，用来平衡哈希码中-1和+1的个数，wij表示处理数据不平衡问题的权重、LF表示哈希函数损失、α表示用于衡量位量化损失在整个目标函数中的权重、hi表示第i个哈希码、N分别表示数据样本的大小，<hi,hj>表示哈希码hi和hj之间的内积；
解码过程可以表示为：
Figure FDA0003662481120000022
其中，
Figure FDA0003662481120000023
表示期望，Ph表示哈希分布，Pr表示哈希分布，h表示对应的哈希码；
所述步骤1利用监督流形相似度，在减少相似样本之间海明距离的同时，增加非相似样本之间的海明距离，监督流形相似度表示为：
SM＝Spo⊙Spa
其中，Spo和Spa分别表示点对相似度量矩阵和成对相似度量矩阵，⊙表示元素对之间的点乘。
2.根据权利要求1所述的一种基于多生成多对抗的哈希码与图像双向转换方法，其特征在于，所述步骤2构建逆哈希网络具体包括：
构建哈希码与图像之间的内容保真，并且较少对抗损失在优化过程中的权重，
Figure FDA0003662481120000024
θg表示生成网络G的参数，LG表示生成网络的损失。
3.根据权利要求2所述的一种基于多生成多对抗的哈希码与图像双向转换方法，其特征在于，在原始图像和哈希码之间构建条件对抗损失，通过计算损失并反向传播梯度，表示为：
Figure FDA0003662481120000025
代码实现过程中，通过批处理方法，算出损失，然后将损失输入到优化器中，最后封装好的模型根据自动求导梯度并向前传播，使得网络的输出与输入的流形空间保持相似，表示为：
Figure FDA0003662481120000031
θd表示判别网络D的参数、LD表示判别网络的损失。
4.根据权利要求3所述的一种基于多生成多对抗的哈希码与图像双向转换方法，其特征在于，通过循环一致性策略，在提出的多生成多对抗框架下，实现哈希码和图像之间的双向转换，循环一致性策略指的是，网络A将数据A转化为B，网络B将数据B转化为A’，循环一致性策略则保证A和A’之间的差距最小，具体表示为：
Figure FDA0003662481120000032
CN201910870507.5A 2019-09-16 2019-09-16 一种基于多生成多对抗的哈希码与图像双向转换方法 Active CN110674335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910870507.5A CN110674335B (zh) 2019-09-16 2019-09-16 一种基于多生成多对抗的哈希码与图像双向转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910870507.5A CN110674335B (zh) 2019-09-16 2019-09-16 一种基于多生成多对抗的哈希码与图像双向转换方法

Publications (2)

Publication Number Publication Date
CN110674335A CN110674335A (zh) 2020-01-10
CN110674335B true CN110674335B (zh) 2022-08-23

Family

ID=69078374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910870507.5A Active CN110674335B (zh) 2019-09-16 2019-09-16 一种基于多生成多对抗的哈希码与图像双向转换方法

Country Status (1)

Country Link
CN (1) CN110674335B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048494B (zh) * 2021-11-09 2023-04-07 四川大学 一种基于变换域的加密流量数据集平衡方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN109145132A (zh) * 2018-07-12 2019-01-04 北京奇虎科技有限公司 从图像中提取哈希码的方法、装置及图像检索方法、装置
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109472282A (zh) * 2018-09-10 2019-03-15 中山大学 一种基于极少训练样本的深度图像哈希方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109684797A (zh) * 2018-11-21 2019-04-26 众安信息技术服务有限公司 基于区块链的对抗网络生成图片的虚拟ip保护方法及系统
CN109800730A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN109829549A (zh) * 2019-01-30 2019-05-31 宁波大学 基于演化树的哈希学习方法及其无监督的在线哈希学习方法
CN110069644A (zh) * 2019-04-24 2019-07-30 南京邮电大学 一种基于深度学习的压缩域大规模图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7647331B2 (en) * 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109145132A (zh) * 2018-07-12 2019-01-04 北京奇虎科技有限公司 从图像中提取哈希码的方法、装置及图像检索方法、装置
CN109472282A (zh) * 2018-09-10 2019-03-15 中山大学 一种基于极少训练样本的深度图像哈希方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109684797A (zh) * 2018-11-21 2019-04-26 众安信息技术服务有限公司 基于区块链的对抗网络生成图片的虚拟ip保护方法及系统
CN109800730A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN109829549A (zh) * 2019-01-30 2019-05-31 宁波大学 基于演化树的哈希学习方法及其无监督的在线哈希学习方法
CN110069644A (zh) * 2019-04-24 2019-07-30 南京邮电大学 一种基于深度学习的压缩域大规模图像检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-Pathway Generative Adversarial Hashing for Unsupervised Cross-Model Retrieval;Jian Zhang 等;《IEEE Transactions on Multimedia》;20190611;第22卷(第1期);174-187 *
基于哈希算法及生成对抗网络的图像检索;彭晏飞 等;《激光与光电子学进展》;20180504;第55卷(第10期);104-110 *
基于多特征多核哈希学习的大规模图像检索;曾宪华 等;《中国科学:信息科学》;20170820;第47卷(第08期);1109-1126 *
面向图像认知的多深度神经网络生成对抗机制研究;徐黎明;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20220215(第02期);I138-122 *

Also Published As

Publication number Publication date
CN110674335A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN111291836B (zh) 一种生成学生网络模型的方法
CN109299342B (zh) 一种基于循环生成式对抗网络的跨模态检索方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN109766469B (zh) 一种基于深度哈希学习优化的图像检索方法
CN112241455B (zh) 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN110069644B (zh) 一种基于深度学习的压缩域大规模图像检索方法
WO2022134728A1 (zh) 一种图像检索方法、系统、设备以及介质
CN112561039A (zh) 一种改进的基于超网络的进化神经网络架构搜索方法
CN110457514A (zh) 一种基于深度哈希的多标签图像检索方法
CN113269312B (zh) 一种联合量化与剪枝搜索的模型压缩方法及其系统
CN110020721B (zh) 一种基于参数压缩的目标检测深度学习网络优化方法
CN111008224A (zh) 一种基于深度多任务表示学习的时间序列分类和检索方法
CN114817568B (zh) 联合注意力机制与卷积神经网络的知识超图链接预测方法
CN114745553A (zh) 一种基于大数据的图像数据存储方法
CN111858984A (zh) 一种基于注意力机制哈希检索的图像匹配方法
CN110674335B (zh) 一种基于多生成多对抗的哈希码与图像双向转换方法
CN116204694A (zh) 一种基于深度学习与哈希算法的多模态检索方法
CN114925270A (zh) 一种会话推荐方法和模型
Verma et al. A" Network Pruning Network''Approach to Deep Model Compression
Qi et al. Learning low resource consumption cnn through pruning and quantization
CN116049450A (zh) 一种基于距离聚类的支持多模态的图文检索方法及装置
Sun et al. Efficient vector quantization using genetic algorithm
CN114048799A (zh) 一种基于统计信息和有效载荷编码的零日流量分类方法
CN114936296B (zh) 超大规模知识图谱存储的索引方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant