CN106980641A - 基于卷积神经网络的无监督哈希快速图片检索系统及方法 - Google Patents

基于卷积神经网络的无监督哈希快速图片检索系统及方法 Download PDF

Info

Publication number
CN106980641A
CN106980641A CN201710071669.3A CN201710071669A CN106980641A CN 106980641 A CN106980641 A CN 106980641A CN 201710071669 A CN201710071669 A CN 201710071669A CN 106980641 A CN106980641 A CN 106980641A
Authority
CN
China
Prior art keywords
picture
convolutional neural
neural networks
hash
triple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710071669.3A
Other languages
English (en)
Other versions
CN106980641B (zh
Inventor
王延峰
张娅
黄杉杉
熊意超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Media Intelligence Technology Co., Ltd.
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710071669.3A priority Critical patent/CN106980641B/zh
Publication of CN106980641A publication Critical patent/CN106980641A/zh
Application granted granted Critical
Publication of CN106980641B publication Critical patent/CN106980641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于卷积神经网络的无监督哈希快速图片检索系统及方法。该系统及方法利用现有的哈希算法结构,基于数据增强技术提出了一个高效的无监督哈希模型用于快速图像检索领域。通过数据增强方法,为无标签数据构建三元组训练样本,通过三元组损失函数、最小量化误差损失函数和最大熵损失函数驱使网络充分利用每张图片的信息,学习到一系列更具有表达能力的参数以提高快速图片检索的准确性。本发明是一种能够利用无标签数据学习网络的哈希快速图片检索方法,利用数据增强构建表达能力更强的三元组训练样本训练网络,显著提升了快速图片检索的准确性。

Description

基于卷积神经网络的无监督哈希快速图片检索系统及方法
技术领域
本发明涉及计算机视觉和图像处理领域,具体地,涉及一种基于卷积神经网络的无监督哈希快速图片检索系统及方法。
背景技术
随着现有多媒体内容的爆炸性增长,如何加快图像检索速度受到了广泛的关注。哈希作为一个可以通过多个映射方程将一个高维的特征向量转换为一个紧凑的并且表达能力强的二进制码的算法,在快速图像检索领域取得了不小的成功。近几年来,随着深度卷积神经网络的快速发展,许多的基于卷积神经网络的哈希算法被提出并且展示了巨大的前景。特别地,由于现有的有标签数据的缺乏和以及标记图片所需的人力物力,基于无标签数据的无监督哈希算法得到了广泛的关注。
最早的无监督哈希算法主要是基于限制波尔兹曼机(RBMs)的编码算法。然而,RBMs的训练过程是很复杂的而且需要进行预训练,从而使得RBMs在实际应用中并不是很有效的。最近,数据增强技术也被用来增强深度网络的表达能力,并且实现了至今为止最好的检索效果。在利用数据增强技术中,K.Lin等人通过对训练图片进行不同程度的旋转并且通过最小化参考图片和旋转图片所对应的哈希码的距离来学习一个深度网络用来产生输入图片的哈希码。然而,仅仅优化参考图片和旋转图片之间的旋转不变性意味着对整个网络的学习过程来讲只提供了训练正样本,从而并不能保证学习到的模型可以针对不同的图片产生具有辨识能力的二进制哈希码。
目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
针对现有技术中存在的上述不足,本发明的目的是提供一种基于卷积神经网络的无监督哈希快速图片检索系统及方法,以解决现有方法中训练数据不平衡以及训练不协调的问题。
为实现上述目的,本发明是通过以下技术方案实现的。
根据本发明的一个方面,提供了一种基于卷积神经网络的无监督哈希快速图片检索系统,包括如下模块:
无监督训练数据模块,用于基于无标签训练原始图片,构建三元组训练样本;
构建卷积神经网络模块,用于将三元组训练样本输入至现有的深度卷积神经网络,训练适合图片检索任务的卷积神经网络;
计算图片距离模块:用于计算三元组训练样本内各图片之间的距离;
无监督学习模块,用于优化卷积神经网络以供图片检索,根据计算图片距离模块计算得出的图片距离,通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数;
三元组损失函数模块:用于控制同类图片与不同类图片经过哈希映射后的距离差别;
最小量化误差模块,用于降低图片检索在图片特征向量量化前后的误差值,以便在加快图片检索速度的同时保持图片检索的准确性;
最大信息熵模块,用于增大图片特征向量所携带的信息量,以增强图片特征向量的表达能力,提升图片检索的准确性;
图片特征提取及相似度计算模块,用于把训练好的卷积神经网络投入实际图片检索任务中,通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。
优选地,所述构建卷积神经网络模块通过将现有的深度卷积神经网络的损失层去掉,替换成无监督学习模块、最小量化误差模块和最大信息熵模块,并在损失层前面加入哈希映射模块,将三元组训练样本输入至深度卷积神经网络,训练适合图片检索任务的卷积神经网络。
根据本发明的另一个方面,提供了一种基于卷积神经网络的无监督哈希快速图片检索方法,包括以下步骤:
步骤S1,将训练原始图片p经过不同角度的旋转得到旋转图片p+,再任意选择一张随机匹配图片p-,从而构成一个三元组训练样本(p,p+,p-);
步骤S2,将现有的深度卷积神经网络f转换成图片检索所需的卷积神经网络f″;
步骤S3,将步骤S1中得到的三元组训练样本(p,p+,p-)分别先缩放再裁剪后,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中;
步骤S4,利用三元组损失函数、最小量化误差损失函数和最大熵损失函数对卷积神经网络f″进行反向传播训练更新卷积神经网络f″中的网络参数;
步骤S5,对一张新来的访问图片q,输入至卷积神经网络f″中,并将图片q的图像特征向量输出值进行量化得到对应的二进制哈希码H(q);
步骤S6,计算哈希码H(q)与本地数据库中所有的哈希码的汉明距离并进行排序,认为汉明距离越小的两个二进制码对应的图片越相似,并通过哈希码H(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。
优选地,步骤S1具体包括以下步骤:
对所有给出的无标签训练原始图片p,分别顺时针旋转5°、顺时针旋转10°、逆时针旋转5°和逆时针旋转10°,使得每张训练原始图片p都有四张不同的旋转图片p+,再对每一张训练原始图片p随机匹配一张图片p-,这样就构建了训练所需的三元组训练样本(p,p+,p-)。
优选地,步骤S2包括如下子步骤:
步骤S21,对现有的深度卷积神经网络f进行修改,去掉深度卷积神经网络f最后的损失层,形成初步卷积神经网络f′;
步骤S22,构建哈希映射模块,即在初步卷积神经网络f′的最后按顺序加入一层全连接层和一层激活函数层,构成图片检索所需的卷积神经网络f″。
优选地,步骤S3具体包括如下步骤:
三元组训练样本(p,p+,p-)分别先缩放到256像素×256像素大小,再随机从中裁剪224像素×224像素大小的部分,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中。
优选地,步骤S4具体包括如下子步骤:
步骤S41,将步骤S1中得到的三元组训练样本(p,p+,p-)分别送入到卷积神经网络f″,得到三元组训练样本中的每张图片所对应的图片特征向量f(p),f(p+),f(p-);
步骤S42,计算训练原始图片p与旋转图片p+之间的距离D(p,p+)=‖f(p)-f(p+)‖2;计算训练原始图片p与训练原始图片p-之间的距离D(p,p-)=‖f(p)-f(p-)‖2
步骤S43,利用步骤S42中得到的三元组训练样本中图片之间的距离,整个卷积神经网络f″通过三元损失函数loss(D(p,p+),D(p,p-))、最小量化误差损失函数lossmq和最大信息熵损失函数lossme更新网络参数;其中:
所述三元损失函数loss(D(p,p+),D(p,p-))为:
loss(D(p,p+),D(p,p-))=max{0,m+D(p,p+)2-D(p,p-)2};m表示一个超参数,用来控制同类图片与不同类图片经过哈希映射后的距离差别;
所述最小量化误差损失函数lossmq为:
所述最大信息熵损失函数lossme为:
M是哈希码的长度,N是训练样本的个数,μm是所有训练样本对应的二进制哈希码的第m维的平均值,hn(m)是第n个训练样本对应的二进制哈希码的第m维的值;
步骤S44,通过门槛函数对卷积神经网络f″输出的图片特征向量进行量化,门槛函数的量化规则为:
优选地,步骤S22中,加入的全连接层中神经元的个数等于三元组训练样本中的每张图片所对应的哈希码的比特数。
优选地,在步骤S43中:
利用三元组损失函数,使得训练原始图片p与旋转图片p+映射到哈希空间中的距离尽可能近,而训练原始图片p与随机匹配图片p-映射到哈希空间中的距离尽可能远;
针对量化误差问题,设计最小量化误差损失函数来控制深度卷积神经网络f的输出,使得网络的输出尽可能的分布在0和1的附近,从而保证图片特征量化前后检索效率的一致性;
设计最大熵损失函数,通过促使图片对应的二进制哈希码的每个比特均匀分布,使得哈希码携带最大信息量。
优选地,步骤S5具体包括如下步骤:
将本地数据库的所有图片通过卷积神经网络f″提取出所对应的图像特征向量并经过步骤S44的量化得到每张图片对应的哈希码,将所有图片的哈希码存于本地;对于新来的一张访问图片q,首先将该访问图片q输送至卷积神经网络f″中并用步骤S44中的门槛函数对图片特征进行量化得到所对应的哈希码H(q)。
本发明的原理是:在对卷积神经网网络f″(CNNs)训练过程中,对训练数据存在着平衡性的要求,如果训练样本只有正样本或者只有副样本会让网络学习到一系列不好的参数,从而降低了图像检索的准确性。再而,通过对图片的旋转,可以增强网络对图片特征的学习。网络顶端的三元组损失函数可以保证网网络在训练过程中学习到的每张图片特征更具有辨识力。另外,CNNs是一个端对端的学习网络,在CNNs中相邻的层存在着相互适应的关系。所以在训练网络时,需要通过学习调整整个网络参数,从而学习到更适合于特定任务的深度网络结构。
与现有技术相比,本发明具有如下的有益效果:
1、相比于直接通过减小旋转图片与自身图片之间的距离来训练网络,本发明利用现有的训练样本构建了三元组训练样本,保证了训练数据的平衡性。同时,在训练过程中,让每个层的参数都进行更新,保证了层与层之间的相互适应性。另外,本发明的实验结果表明利用构建的三元组数据训练的网络相比于直接通过减小旋转图片与自身图片之间的距离来训练的网络在快速图片检索的准确度上有明显的提升,证明了本发明的有效性。
2、本发明提出主要建立于K.Lin提出的数据增强的技术,继承的同时解决了现有的方法的漏洞,创新在利用数据增强技术把现有的无标签数据转换为三元组训练数据,使用三元组损失函数来训练网络,从而保证了正负训练样本的平衡性,并且是基于端对端的训练模型,从而学习到一个更具有辨识能力的深度网络。
3、本发明利用无标签的卷积神经网络f,使得学习到的网络更具有辨识能力,可以用一个较短的二进制码,也就是哈希码来表示一张图片,加快图片检索速度的同时保证了检索的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明提供的图片检索方法流程图;
图2为本发明中以对服装图片进行预处理为例的流程图;
图3为本发明中所用的深度卷积神经网络模型图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于卷积神经网络的无监督哈希快速图片检索系统及方法,该系统及方法利用了数据增强技术实现基于卷积神经网络的无监督哈希算法,通过此模型可以将输入图片映射为一个较短的二进制哈希码,在图像检索过程中通过比对汉明距离即可筛选出相似的图片。本发明是一种能够利用无标签的训练数据训练一个用于快速图片检索领域的更具有辨识能力的网络结构,通过利用所添加的三元损失函数、最小量化误差损失函数和最大熵损失函数,显著性地提升了快速图片检索的准确度。
本实施例提供的基于卷积神经网络的无监督哈希快速图片检索系统,包括如下模块:
无监督训练数据模块,用于基于无标签训练原始图片,构建三元组训练样本;
构建卷积神经网络模块,用于将三元组训练样本输入至现有的深度卷积神经网络,训练适合图片检索任务的卷积神经网络;
计算图片距离模块:用于计算三元组训练样本内各图片之间的距离;
无监督学习模块,用于优化卷积神经网络以供图片检索,根据计算图片距离模块计算得出的图片距离,通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数;
三元组损失函数模块:用于控制同类图片与不同类图片经过哈希映射后的距离差别;
最小量化误差模块,用于降低图片检索在图片特征向量量化前后的误差值,以便在加快图片检索速度的同时保持图片检索的准确性;
最大信息熵模块,用于增大图片特征向量所携带的信息量,以增强图片特征向量的表达能力,提升图片检索的准确性;
图片特征提取及相似度计算模块,用于把训练好的卷积神经网络投入实际图片检索任务中,通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。
进一步地,所述构建卷积神经网络模块通过将现有的深度卷积神经网络的损失层去掉,替换成无监督学习模块、最小量化误差模块和最大信息熵模块,并在损失层前面加入哈希映射模块,将三元组训练样本输入至深度卷积神经网络,训练适合图片检索任务的卷积神经网络。
如图1所示,为本实施例提供的检索方法的流程图,该方法包括如下步骤:
步骤S1,如图3所示,将训练原始图片p经过不同角度的旋转得到旋转图片p+,再任意选择一张随机匹配图片p-,从而构成一个三元组训练样本(p,p+,p-);
步骤S2,将现有的深度卷积神经网络f转换成图片检索所需的卷积神经网络f″;
步骤S3,将步骤S1中得到的三元组训练样本(p,p+,p-)分别先缩放再裁剪后,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中;
步骤S4,如图2所示,利用三元组损失函数、最小量化误差损失函数和最大熵损失函数对卷积神经网络f″进行反向传播训练更新卷积神经网络f″中的网络参数;
步骤S5,对一张新来的访问图片q,输入至卷积神经网络f″中,并将图片q的图像特征向量输出值进行量化得到对应的二进制哈希码H(q);
步骤S6,计算哈希码H(q)与本地数据库中所有的哈希码的汉明距离并进行排序,认为汉明距离越小的两个二进制码对应的图片越相似,并通过哈希码H(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。
进一步地,步骤S1具体包括以下步骤:
对所有给出的无标签训练原始图片p,分别顺时针旋转5°、顺时针旋转10°、逆时针旋转5°和逆时针旋转10°,使得每张训练原始图片p都有四张不同的旋转图片p+,再对每一张训练原始图片p随机匹配一张图片p-,这样就构建了训练所需的三元组训练样本(p,p+,p-)。
进一步地,步骤S2包括如下子步骤:
步骤S21,对现有的深度卷积神经网络f进行修改,去掉深度卷积神经网络f最后的损失层,形成初步卷积神经网络f′;
步骤S22,构建哈希映射模块,即在初步卷积神经网络f′的最后按顺序加入一层全连接层和一层激活函数层,构成图片检索所需的卷积神经网络f″。
进一步地,步骤S3具体包括如下步骤:
三元组训练样本(p,p+,p-)分别先缩放到256像素×256像素大小,再随机从中裁剪224像素×224像素大小的部分,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中。
进一步地,步骤S4具体包括如下子步骤:
步骤S41,将步骤S1中得到的三元组训练样本(p,p+,p-)分别送入到卷积神经网络f″,得到三元组训练样本中的每张图片所对应的图片特征向量f(p),f(p+),f(p-);
步骤S42,计算训练原始图片p与旋转图片p+之间的距离D(p,p+)=‖f(p)-f(p+)‖2;计算训练原始图片p与训练原始图片p-之间的距离D(p,p-)=‖f(p)-f(p-)‖2
步骤S43,利用步骤S42中得到的三元组训练样本中图片之间的距离,整个卷积神经网络f″通过三元损失函数loss(D(p,p+),D(p,p-))、最小量化误差损失函数lossmq和最大信息熵损失函数lossme更新网络参数;其中:
所述三元损失函数loss(D(p,p+),D(p,p-))为:
loss(D(p,p+),D(p,p-))=max{0,m+D(p,p+)2-D(p,p-)2};m表示一个超参数,用来控制同类图片与不同类图片经过哈希映射后的距离差别;
所述最小量化误差损失函数lossmq为:
所述最大信息熵损失函数lossme为:
M是哈希码的长度,N是训练样本的个数,μm是所有训练样本对应的二进制哈希码的第m维的平均值,hn(m)是第n个训练样本对应的二进制哈希码的第m维的值;
步骤S44,通过门槛函数对卷积神经网络f″输出的图片特征向量进行量化,门槛函数的量化规则为:
进一步地,步骤S22中,加入的全连接层中神经元的个数等于三元组训练样本中的每张图片所对应的哈希码的比特数。
进一步地,在步骤S43中:
利用三元组损失函数,使得训练原始图片p与旋转图片p+映射到哈希空间中的距离尽可能近,而训练原始图片p与随机匹配图片p-映射到哈希空间中的距离尽可能远;
针对量化误差问题,设计最小量化误差损失函数来控制深度卷积神经网络f的输出,使得网络的输出尽可能的分布在0和1的附近,从而保证图片特征量化前后检索效率的一致性;
设计最大熵损失函数,通过促使图片对应的二进制哈希码的每个比特均匀分布,使得哈希码携带最大信息量。
进一步地,步骤S5具体包括如下步骤:
将本地数据库的所有图片通过卷积神经网络f″提取出所对应的图像特征向量并经过步骤S44的量化得到每张图片对应的哈希码,将所有图片的哈希码存于本地;对于新来的一张访问图片q,首先将该访问图片q输送至卷积神经网络f″中并用步骤S44中的门槛函数对图片特征进行量化得到所对应的哈希码H(q)。
本实施例通过哈希码H(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。
在本实施例中:
1)无监督训练数据模块:对所有给出的无标签训练原始图片p,分别顺时针和逆时针旋转5°和10°,使得每张训练原始图片p都有四张不同的旋转图片p+,再对每一张原始图片p随机匹配一张匹配图片p-,这样就构建了训练所需的三元组训练数据(p,p+,p-)。
2)构建卷积神经网络模块:将1)中得到的(p,p+,p-)分别输入到三路并行的结构完全相同的深度卷积神经网络中,并且三个网络之间的参数共享。
3)哈希映射模块:对2)中设计的卷积神经网络中,在每个现有深度卷积神经网络的后面加入一个全连接层,并在其后加一个激活函数层构成适用于快速图片检索的无监督网络(卷积神经网络)。其中,加入的全连接层中神经元的个数等于每张图片所对应的哈希码的比特数。将1)中得到的三元组训练数据(p,p+,p-)分别送入到网络得到每张图片所对应的特征向量f(p),f(p+),f(p-)。
4)计算图片距离模块:计算图片p与p+的距离D(p,p+)=‖f(p)-f(p+)‖2,p与p-的距离D(p,p-)=‖f(p)-f(p-)‖2
5)无监督学习模块:利用4)中得到的三元组图片之间的距离,整个网络通过三元损失函数
loss(D(p,p+),D(p,p-))=max{0,m+D(p,p+)2-D(p,p-)2}
来学习一个图片表达网络,使得学习到的图片特征更具有辨识能力,更适用于图片检索。利用三元损失函数,使得图片p与图片p+映射到哈希空间中的距离尽可能近,而图片p与图片p-映射到哈希的空间中的距离尽可能远;m是一个超参数,用来控制同类图片与不同类图片经过哈希映射后的距离差别,并在f中加入6)和7)两个损失函数来学习到一个适用于快速图片检索的网络。
6)最小量化误差模块:在快速图像检索过程中,需要通过一个门槛函数对神经网络f输出的图片特征进行量化,量化规则为:
针对量化误差问题,设计了一个最小量化误差损失函数来控制整个网络输出,使得网络的输出尽可能的分布在0和1的附近,从而保证了特征量化前后检索效率的一致性。设计的最小量化误差损失函数为:
7)最大信息熵模块:对于一张图片对应的二进制哈希特征,哈希特征的表达能力越强,检索效果越好。由此设计了一个最大熵损失函数,通过促使哈希码的每个比特均匀分布使得哈希码携带的信息量最大,表达能力更强。设计的最大信息熵损失函数为:
其中,M是哈希码的长度,N是训练样本的个数。
8)将本地数据库的每一张图片通过网络f提取出所对应的图像特征并经过6)中的量化得到每张图片对应的哈希码,将所有图片的哈希码存于本地。对于新来的一张访问图片,首先将其输送至网络f中并用6)中的门槛函数对特征进行量化的到所对应的哈希码H。在相似度计算阶段,通过H与数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。
另外,在上面所述的1)中,包括:
将p,p+,p-三张图片统一裁剪到224*224的尺寸。
将剪裁过后的p,p+,p-输入到三路并行的结构完全相同的深度卷积神经网络中,三条通路的参数共享。
随着现在网络图片的爆炸性增长,基于内容的图片搜索技术得到了广泛的利用。然而,图片的搜索速度随着数据库图片的数量的增长变得越来越慢,哈希作为一个可以将任意长度的向量转换为一个较短的二进制码的算法在快速图片检索领域得到了广泛的应用。另外,有标签数据的缺乏使得先前的哈希技术并不适用与实际应用中。本实施例提出了一种基于卷积神经网络的无监督哈希快速图片检索系统及方法,利用无标签的训练数据学习网络,使得每张图片都可以用一个辨识力很高的紧凑的二进制哈希码表示,从而实现加快图片检索的速度的同时保证检索精度的问题。
本实施例提出的基于卷积神经网络的无监督哈希快速图片检索系统及方法,利用现有的哈希算法结构(哈希算法是一种可以通过多个映射方程将一个高维的特征向量转换为一个紧凑的二进制码的算法),基于数据增强技术提出了一个高效的无监督哈希模型用于快速图像检索领域。通过数据增强方法,为无标签数据构建三元组训练样本,通过三元组损失函数、最小量化误差损失函数和最大熵损失函数驱使网络充分利用每张图片的信息,学习到一系列更具有表达能力的参数以提高快速图片检索的准确性。本实施例是一种能够利用无标签数据学习网络的哈希快速图片检索系统及方法,利用数据增强构建表达能力更强的三元组训练样本训练网络,显著提升了快速图片检索的准确性。
通过本实施例,可以构建一个基于卷积神经网络的无监督哈希快速图片检索系统及方法,利用无标签的数据训练网络f,使得学习到的网络更具有辨识能力,可以用一个较短的二进制码,也就是哈希码来表示一张图片,加快图片检索速度的同时保证了检索的精度。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (10)

1.一种基于卷积神经网络的无监督哈希快速图片检索系统,其特征在于,包括如下模块:
无监督训练数据模块,用于基于无标签训练原始图片,构建三元组训练样本;
构建卷积神经网络模块,用于将三元组训练样本输入至现有的深度卷积神经网络,训练适合图片检索任务的卷积神经网络;
计算图片距离模块:用于计算三元组训练样本内各图片之间的距离;
无监督学习模块,用于优化卷积神经网络以供图片检索,根据计算图片距离模块计算得出的图片距离,通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数;
三元组损失函数模块:用于控制同类图片与不同类图片经过哈希映射后的距离差别;
最小量化误差模块,用于降低图片检索在图片特征向量量化前后的误差值,以便在加快图片检索速度的同时保持图片检索的准确性;
最大信息熵模块,用于增大图片特征向量所携带的信息量,以增强图片特征向量的表达能力,提升图片检索的准确性;
图片特征提取及相似度计算模块,用于把训练好的卷积神经网络投入实际图片检索任务中,通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。
2.根据权利要求1所述的基于卷积神经网络的无监督哈希快速图片检索系统,其特征在于,所述构建卷积神经网络模块通过将现有的深度卷积神经网络的损失层去掉,替换成无监督学习模块、最小量化误差模块和最大信息熵模块,并在损失层前面加入哈希映射模块,将三元组训练样本输入至深度卷积神经网络,训练适合图片检索任务的卷积神经网络。
3.一种基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,包括以下步骤:
步骤S1,将训练原始图片p经过不同角度的旋转得到旋转图片p+,再任意选择一张随机匹配图片p-,从而构成一个三元组训练样本(p,p+,p-);
步骤S2,将现有的深度卷积神经网络f转换成图片检索所需的卷积神经网络f″;
步骤S3,将步骤S1中得到的三元组训练样本(p,p+,p-)分别先缩放再裁剪后,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中;
步骤S4,利用三元组损失函数、最小量化误差损失函数和最大熵损失函数对卷积神经网络f″进行反向传播训练更新卷积神经网络f″中的网络参数;
步骤S5,对一张新来的访问图片q,输入至卷积神经网络f″中,并将图片q的图像特征向量输出值进行量化得到对应的二进制哈希码Η(q);
步骤S6,计算哈希码Η(q)与本地数据库中所有的哈希码的汉明距离并进行排序,认为汉明距离越小的两个二进制码对应的图片越相似,并通过哈希码Η(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。
4.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S1具体包括以下步骤:
对所有给出的无标签训练原始图片p,分别顺时针旋转5°、顺时针旋转10°、逆时针旋转5°和逆时针旋转10°,使得每张训练原始图片p都有四张不同的旋转图片p+,再对每一张训练原始图片p随机匹配一张图片p-,这样就构建了训练所需的三元组训练样本(p,p+,p-)。
5.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S2包括如下子步骤:
步骤S21,对现有的深度卷积神经网络f进行修改,去掉深度卷积神经网络f最后的损失层,形成初步卷积神经网络f′;
步骤S22,构建哈希映射模块,即在初步卷积神经网络f′的最后按顺序加入一层全连接层和一层激活函数层,构成图片检索所需的卷积神经网络f″。
6.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S3具体包括如下步骤:
三元组训练样本(p,p+,p-)分别先缩放到256像素×256像素大小,再随机从中裁剪224像素×224像素大小的部分,输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中。
7.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S4具体包括如下步骤:
步骤S41,将步骤S1中得到的三元组训练样本(p,p+,p-)分别送入到卷积神经网络f″,得到三元组训练样本中的每张图片所对应的图片特征向量f(p),f(p+),f(p-);
步骤S42,计算训练原始图片p与旋转图片p+之间的距离D(p,p+)=‖f(p)-f(p+)‖2;计算训练原始图片p与训练原始图片p-之间的距离D(p,p-)=‖f(p)-f(p-)‖2
步骤S43,利用步骤S42中得到的三元组训练样本中图片之间的距离,整个卷积神经网络f″通过三元损失函数loss(D(p,p+),D(p,p-))、最小量化误差损失函数lossmq和最大信息熵损失函数lossme更新网络参数;其中:
所述三元损失函数loss(D(p,p+),D(p,p-))为:
loss(D(p,p+),D(p,p-))=max{0,m+D(p,p+)2-D(p,p-)2};m表示一个超参数,用来控制同类图片与不同类图片经过哈希映射后的距离差别;
所述最小量化误差损失函数lossmq为:
loss m q = - ( | | f ( p ) - 0.5 | | 2 2 + | | f ( p + ) - 0.5 | | 2 2 + | | f ( p - ) - 0.5 | | 2 2 ) ;
所述最大信息熵损失函数lossme为:
M是哈希码的长度,N是训练样本的个数,μm是所有训练样本对应的二进制哈希码的第m维的平均值,hn(m)是第n个训练样本对应的二进制哈希码的第m维的值;
步骤S44,通过门槛函数对卷积神经网络f″输出的图片特征向量进行量化,门槛函数的量化规则为:
h ( p ) = 1 , f ( p ) > 0.5 0 , f ( p ) ≤ 0.5 .
8.根据权利要求5所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S22中,加入的全连接层中神经元的个数等于三元组训练样本中的每张图片所对应的哈希码的比特数。
9.根据权利要求7所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,在步骤S43中:
利用三元组损失函数,使得训练原始图片p与旋转图片p+映射到哈希空间中的距离尽可能近,而训练原始图片p与随机匹配图片p-映射到哈希空间中的距离尽可能远;
针对量化误差问题,设计最小量化误差损失函数来控制深度卷积神经网络f的输出,使得网络的输出尽可能的分布在0和1的附近,从而保证图片特征量化前后检索效率的一致性;
设计最大熵损失函数,通过促使图片对应的二进制哈希码的每个比特均匀分布,使得哈希码携带最大信息量。
10.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法,其特征在于,步骤S5具体包括如下步骤:
将本地数据库的所有图片通过卷积神经网络f″提取出所对应的图像特征向量并经过步骤S44的量化得到每张图片对应的哈希码,将所有图片的哈希码存于本地;对于新来的一张访问图片q,首先将该访问图片q输送至卷积神经网络f″中并用步骤S44中的门槛函数对图片特征进行量化得到所对应的哈希码Η(q)。
CN201710071669.3A 2017-02-09 2017-02-09 基于卷积神经网络的无监督哈希快速图片检索系统及方法 Active CN106980641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710071669.3A CN106980641B (zh) 2017-02-09 2017-02-09 基于卷积神经网络的无监督哈希快速图片检索系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710071669.3A CN106980641B (zh) 2017-02-09 2017-02-09 基于卷积神经网络的无监督哈希快速图片检索系统及方法

Publications (2)

Publication Number Publication Date
CN106980641A true CN106980641A (zh) 2017-07-25
CN106980641B CN106980641B (zh) 2020-01-21

Family

ID=59339749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710071669.3A Active CN106980641B (zh) 2017-02-09 2017-02-09 基于卷积神经网络的无监督哈希快速图片检索系统及方法

Country Status (1)

Country Link
CN (1) CN106980641B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技(集团)有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN108399428A (zh) * 2018-02-09 2018-08-14 哈尔滨工业大学深圳研究生院 一种基于迹比准则的三元组损失函数设计方法
CN108595596A (zh) * 2018-04-19 2018-09-28 厦门启尚科技有限公司 一种图像相似度检索方法
CN108829692A (zh) * 2018-04-09 2018-11-16 华中科技大学 一种基于卷积神经网络的花卉图像检索方法
CN108830217A (zh) * 2018-06-15 2018-11-16 辽宁工程技术大学 一种基于模糊均值哈希学习的签名自动判别方法
CN108920929A (zh) * 2018-05-07 2018-11-30 深圳壹账通智能科技有限公司 验证图处理方法、装置、计算机设备和存储介质
CN108921850A (zh) * 2018-04-16 2018-11-30 博云视觉(北京)科技有限公司 一种基于图像分割技术的图像局部特征的提取方法
CN108959522A (zh) * 2018-04-26 2018-12-07 浙江工业大学 基于半监督对抗生成网络的迁移检索方法
CN109344845A (zh) * 2018-09-21 2019-02-15 哈尔滨工业大学 一种基于Triplet深度神经网络结构的特征匹配方法
CN109426801A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种车道线实例检测方法和装置
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN109685718A (zh) * 2018-12-17 2019-04-26 中国科学院自动化研究所 图片方形化缩放方法、系统及装置
CN109685121A (zh) * 2018-12-11 2019-04-26 中国科学院苏州纳米技术与纳米仿生研究所 图像检索模型的训练方法、图像检索方法、计算机设备
CN109710793A (zh) * 2018-12-25 2019-05-03 科大讯飞股份有限公司 一种哈希参数确定方法、装置、设备及存储介质
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN109948029A (zh) * 2019-01-25 2019-06-28 南京邮电大学 基于神经网络自适应的深度哈希图像搜索方法
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技(深圳)有限公司 编码器训练及表征信息提取方法和装置
CN110059206A (zh) * 2019-03-29 2019-07-26 银江股份有限公司 一种基于深度表征学习的大规模哈希图像检索方法
CN110059630A (zh) * 2019-04-19 2019-07-26 福州大学 隐私保护的可验证外包监控视频行人再识别方法
CN110196918A (zh) * 2019-05-28 2019-09-03 北京理工大学 一种基于目标检测的无监督深度哈希方法
CN110297931A (zh) * 2019-04-23 2019-10-01 西北大学 一种图像检索方法
CN110321447A (zh) * 2019-07-08 2019-10-11 北京字节跳动网络技术有限公司 重复图像的确定方法、装置、电子设备及存储介质
CN110321451A (zh) * 2019-04-25 2019-10-11 吉林大学 基于分布熵增益损失函数的图像检索算法
CN110413812A (zh) * 2019-08-06 2019-11-05 北京字节跳动网络技术有限公司 神经网络模型的训练方法、装置、电子设备及存储介质
CN110929099A (zh) * 2019-11-28 2020-03-27 杭州趣维科技有限公司 一种基于多任务学习的短视频帧语义提取方法及系统
CN111104555A (zh) * 2019-12-24 2020-05-05 山东建筑大学 基于注意力机制的视频哈希检索方法
CN111160448A (zh) * 2019-12-26 2020-05-15 北京达佳互联信息技术有限公司 一种图像分类模型的训练方法及装置
CN111339342A (zh) * 2019-11-08 2020-06-26 深圳北航新兴产业技术研究院 一种基于角度三元中心损失的三维模型检索方法
CN111401519A (zh) * 2020-03-06 2020-07-10 北京工业大学 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法
CN111476319A (zh) * 2020-05-08 2020-07-31 网易(杭州)网络有限公司 商品推荐方法、装置、存储介质和计算设备
CN111723220A (zh) * 2020-06-18 2020-09-29 中南大学 基于注意力机制和哈希的图像检索方法、装置及存储介质
CN111914109A (zh) * 2020-07-29 2020-11-10 厦门大学 一种基于深度度量学习的服装检索技术
WO2020253692A1 (zh) * 2019-06-17 2020-12-24 浙江大学 一种针对深度学习网络参数的量化方法
CN112766458A (zh) * 2021-01-06 2021-05-07 南京瑞易智能科技有限公司 一种联合分类损失的双流有监督深度哈希图像检索方法
CN112861976A (zh) * 2021-02-11 2021-05-28 温州大学 一种基于孪生图卷积哈希网络的敏感图像识别方法
CN113190699A (zh) * 2021-05-14 2021-07-30 华中科技大学 一种基于类别级语义哈希的遥感图像检索方法及装置
CN113255807A (zh) * 2021-06-03 2021-08-13 北京的卢深视科技有限公司 人脸解析模型训练方法、电子设备及存储介质
CN113405994A (zh) * 2021-06-24 2021-09-17 深圳回收宝科技有限公司 一种缺陷检测方法及缺陷检测系统
CN113704532A (zh) * 2020-11-25 2021-11-26 天翼智慧家庭科技有限公司 一种提升图片检索召回率的方法和系统
CN114863138A (zh) * 2022-07-08 2022-08-05 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质及设备
CN115292532A (zh) * 2022-06-24 2022-11-04 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN115878823A (zh) * 2023-03-03 2023-03-31 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033426A (zh) * 2015-03-11 2016-10-19 中国科学院西安光学精密机械研究所 一种基于潜在语义最小哈希的图像检索方法
CN106250423A (zh) * 2016-07-25 2016-12-21 上海交通大学 基于部分参数共享的深度卷积神经网络跨域服装检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033426A (zh) * 2015-03-11 2016-10-19 中国科学院西安光学精密机械研究所 一种基于潜在语义最小哈希的图像检索方法
CN106250423A (zh) * 2016-07-25 2016-12-21 上海交通大学 基于部分参数共享的深度卷积神经网络跨域服装检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALBERT GORDO ET AL: "Deep Image Retrieval:Learning global representations for image search", 《ECCV 2016:COMPUTER VISION》 *
KEVIN LIN ET AL: "Deep learning of binary hash codes for fast image retrieval", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
XIAOLONG WANG ET AL: "Unsupervised Learning of Visual Representations using Videos", 《THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
刘冶 等: "FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法", 《计算机科学》 *

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技(集团)有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107480261B (zh) * 2017-08-16 2020-06-16 上海荷福人工智能科技(集团)有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN109426801A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种车道线实例检测方法和装置
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN108399428A (zh) * 2018-02-09 2018-08-14 哈尔滨工业大学深圳研究生院 一种基于迹比准则的三元组损失函数设计方法
CN108829692A (zh) * 2018-04-09 2018-11-16 华中科技大学 一种基于卷积神经网络的花卉图像检索方法
CN108829692B (zh) * 2018-04-09 2019-12-20 华中科技大学 一种基于卷积神经网络的花卉图像检索方法
CN108921850A (zh) * 2018-04-16 2018-11-30 博云视觉(北京)科技有限公司 一种基于图像分割技术的图像局部特征的提取方法
CN108921850B (zh) * 2018-04-16 2022-05-17 博云视觉(北京)科技有限公司 一种基于图像分割技术的图像局部特征的提取方法
CN108595596A (zh) * 2018-04-19 2018-09-28 厦门启尚科技有限公司 一种图像相似度检索方法
CN108959522A (zh) * 2018-04-26 2018-12-07 浙江工业大学 基于半监督对抗生成网络的迁移检索方法
CN108959522B (zh) * 2018-04-26 2022-06-17 浙江工业大学 基于半监督对抗生成网络的迁移检索方法
CN108920929B (zh) * 2018-05-07 2022-03-01 深圳壹账通智能科技有限公司 验证图处理方法、装置、计算机设备和存储介质
CN108920929A (zh) * 2018-05-07 2018-11-30 深圳壹账通智能科技有限公司 验证图处理方法、装置、计算机设备和存储介质
CN108830217B (zh) * 2018-06-15 2021-10-26 辽宁工程技术大学 一种基于模糊均值哈希学习的签名自动判别方法
CN108830217A (zh) * 2018-06-15 2018-11-16 辽宁工程技术大学 一种基于模糊均值哈希学习的签名自动判别方法
CN109344845A (zh) * 2018-09-21 2019-02-15 哈尔滨工业大学 一种基于Triplet深度神经网络结构的特征匹配方法
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN109685121A (zh) * 2018-12-11 2019-04-26 中国科学院苏州纳米技术与纳米仿生研究所 图像检索模型的训练方法、图像检索方法、计算机设备
CN109685121B (zh) * 2018-12-11 2023-07-18 中国科学院苏州纳米技术与纳米仿生研究所 图像检索模型的训练方法、图像检索方法、计算机设备
CN109685718A (zh) * 2018-12-17 2019-04-26 中国科学院自动化研究所 图片方形化缩放方法、系统及装置
CN109710793A (zh) * 2018-12-25 2019-05-03 科大讯飞股份有限公司 一种哈希参数确定方法、装置、设备及存储介质
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN109948029B (zh) * 2019-01-25 2022-10-14 南京邮电大学 基于神经网络自适应的深度哈希图像搜索方法
CN109948029A (zh) * 2019-01-25 2019-06-28 南京邮电大学 基于神经网络自适应的深度哈希图像搜索方法
CN110009013A (zh) * 2019-03-21 2019-07-12 腾讯科技(深圳)有限公司 编码器训练及表征信息提取方法和装置
CN110059206A (zh) * 2019-03-29 2019-07-26 银江股份有限公司 一种基于深度表征学习的大规模哈希图像检索方法
CN110059630A (zh) * 2019-04-19 2019-07-26 福州大学 隐私保护的可验证外包监控视频行人再识别方法
CN110059630B (zh) * 2019-04-19 2022-06-14 福州大学 隐私保护的可验证外包监控视频行人再识别方法
CN110297931A (zh) * 2019-04-23 2019-10-01 西北大学 一种图像检索方法
CN110297931B (zh) * 2019-04-23 2021-12-03 西北大学 一种图像检索方法
CN110321451B (zh) * 2019-04-25 2022-08-05 吉林大学 基于分布熵增益损失函数的图像检索算法
CN110321451A (zh) * 2019-04-25 2019-10-11 吉林大学 基于分布熵增益损失函数的图像检索算法
CN110196918A (zh) * 2019-05-28 2019-09-03 北京理工大学 一种基于目标检测的无监督深度哈希方法
CN110196918B (zh) * 2019-05-28 2021-05-04 北京理工大学 一种基于目标检测的无监督深度哈希方法
WO2020253692A1 (zh) * 2019-06-17 2020-12-24 浙江大学 一种针对深度学习网络参数的量化方法
CN110321447A (zh) * 2019-07-08 2019-10-11 北京字节跳动网络技术有限公司 重复图像的确定方法、装置、电子设备及存储介质
CN110413812B (zh) * 2019-08-06 2022-04-26 北京字节跳动网络技术有限公司 神经网络模型的训练方法、装置、电子设备及存储介质
CN110413812A (zh) * 2019-08-06 2019-11-05 北京字节跳动网络技术有限公司 神经网络模型的训练方法、装置、电子设备及存储介质
CN111339342B (zh) * 2019-11-08 2023-05-05 深圳北航新兴产业技术研究院 一种基于角度三元中心损失的三维模型检索方法
CN111339342A (zh) * 2019-11-08 2020-06-26 深圳北航新兴产业技术研究院 一种基于角度三元中心损失的三维模型检索方法
CN110929099A (zh) * 2019-11-28 2020-03-27 杭州趣维科技有限公司 一种基于多任务学习的短视频帧语义提取方法及系统
CN111104555B (zh) * 2019-12-24 2023-07-07 山东建筑大学 基于注意力机制的视频哈希检索方法
CN111104555A (zh) * 2019-12-24 2020-05-05 山东建筑大学 基于注意力机制的视频哈希检索方法
CN111160448B (zh) * 2019-12-26 2023-09-26 北京达佳互联信息技术有限公司 一种图像分类模型的训练方法及装置
CN111160448A (zh) * 2019-12-26 2020-05-15 北京达佳互联信息技术有限公司 一种图像分类模型的训练方法及装置
CN111401519A (zh) * 2020-03-06 2020-07-10 北京工业大学 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法
CN111401519B (zh) * 2020-03-06 2023-07-04 北京工业大学 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法
CN111476319B (zh) * 2020-05-08 2023-07-25 网易(杭州)网络有限公司 商品推荐方法、装置、存储介质和计算设备
CN111476319A (zh) * 2020-05-08 2020-07-31 网易(杭州)网络有限公司 商品推荐方法、装置、存储介质和计算设备
CN111723220B (zh) * 2020-06-18 2023-03-10 中南大学 基于注意力机制和哈希的图像检索方法、装置及存储介质
CN111723220A (zh) * 2020-06-18 2020-09-29 中南大学 基于注意力机制和哈希的图像检索方法、装置及存储介质
CN111914109A (zh) * 2020-07-29 2020-11-10 厦门大学 一种基于深度度量学习的服装检索技术
CN113704532B (zh) * 2020-11-25 2024-04-26 天翼数字生活科技有限公司 一种提升图片检索召回率的方法和系统
CN113704532A (zh) * 2020-11-25 2021-11-26 天翼智慧家庭科技有限公司 一种提升图片检索召回率的方法和系统
CN112766458A (zh) * 2021-01-06 2021-05-07 南京瑞易智能科技有限公司 一种联合分类损失的双流有监督深度哈希图像检索方法
CN112861976A (zh) * 2021-02-11 2021-05-28 温州大学 一种基于孪生图卷积哈希网络的敏感图像识别方法
CN112861976B (zh) * 2021-02-11 2024-01-12 温州大学 一种基于孪生图卷积哈希网络的敏感图像识别方法
CN113190699A (zh) * 2021-05-14 2021-07-30 华中科技大学 一种基于类别级语义哈希的遥感图像检索方法及装置
CN113255807B (zh) * 2021-06-03 2022-03-25 北京的卢深视科技有限公司 人脸解析模型训练方法、电子设备及存储介质
CN113255807A (zh) * 2021-06-03 2021-08-13 北京的卢深视科技有限公司 人脸解析模型训练方法、电子设备及存储介质
CN113405994A (zh) * 2021-06-24 2021-09-17 深圳回收宝科技有限公司 一种缺陷检测方法及缺陷检测系统
CN115292532A (zh) * 2022-06-24 2022-11-04 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN115292532B (zh) * 2022-06-24 2024-03-15 中南大学 基于伪标签一致性学习的遥感图像域适应检索方法
CN114863138A (zh) * 2022-07-08 2022-08-05 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质及设备
CN114863138B (zh) * 2022-07-08 2022-09-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质及设备
CN115878823B (zh) * 2023-03-03 2023-04-28 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法
CN115878823A (zh) * 2023-03-03 2023-03-31 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法

Also Published As

Publication number Publication date
CN106980641B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN106980641A (zh) 基于卷积神经网络的无监督哈希快速图片检索系统及方法
CN107945204A (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN106022363B (zh) 一种适用于自然场景下的中文文字识别方法
Liu et al. Real-time classification of steel strip surface defects based on deep CNNs
Ashiquzzaman et al. An efficient recognition method for handwritten arabic numerals using CNN with data augmentation and dropout
CN106339984A (zh) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN108564166A (zh) 基于带对称跨层连接的卷积神经网络半监督特征学习方法
CN112884045B (zh) 基于多视角的随机删边嵌入模型的分类方法
CN111611949A (zh) 基于cim与区块链的智慧城市水域垃圾密度检测方法
CN108268890A (zh) 一种高光谱图像分类方法
Pérez et al. Deepcoast: Quantifying seagrass distribution in coastal water through deep capsule networks
Han et al. Multi-scale feature network for few-shot learning
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
Li et al. Single image super-resolution reconstruction based on fusion of internal and external features
CN114463340A (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN114170659A (zh) 一种基于注意力机制的面部情感识别方法
Liu et al. Dunhuang mural line drawing based on bi-dexined network and adaptive weight learning
Huynh et al. An efficient model for copy-move image forgery detection
CN117115880A (zh) 一种基于重参数化的轻量级人脸关键点检测的方法
Shen et al. Multipath feedforward network for single image super-resolution
Basrur et al. Food Recognition using Transfer Learning
Wu et al. Supervised Contrastive Representation Embedding Based on Transformer for Few-Shot Classification
Zhu et al. Data augmentation and few-shot change detection in forest remote sensing
Li et al. Improving CoatNet for spatial and JPEG domain steganalysis
Lu et al. Affine transformation capsule net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181017

Address after: 200063 701, 85 Lane 2077 lane, Guangfu West Road, Putuo District, Shanghai.

Applicant after: Wang Yanfeng

Applicant after: Zhang Ya

Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District

Applicant before: Shanghai Jiao Tong University

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181121

Address after: Room 387, Building 333, Hongqiao Road, Xuhui District, Shanghai 200030

Applicant after: Shanghai Media Intelligence Technology Co., Ltd.

Address before: 200063 701, 85 Lane 2077 lane, Guangfu West Road, Putuo District, Shanghai.

Applicant before: Wang Yanfeng

Applicant before: Zhang Ya

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant