CN113377988A - 一种基于深度散列与多特征融合的增量图像检索方法 - Google Patents

一种基于深度散列与多特征融合的增量图像检索方法 Download PDF

Info

Publication number
CN113377988A
CN113377988A CN202110552350.9A CN202110552350A CN113377988A CN 113377988 A CN113377988 A CN 113377988A CN 202110552350 A CN202110552350 A CN 202110552350A CN 113377988 A CN113377988 A CN 113377988A
Authority
CN
China
Prior art keywords
image
images
layer
characteristic
incremental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110552350.9A
Other languages
English (en)
Inventor
廖开阳
范冰
郑元林
章明珠
黄港
姚祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110552350.9A priority Critical patent/CN113377988A/zh
Publication of CN113377988A publication Critical patent/CN113377988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于深度散列与多特征融合的增量图像检索方法，具体为：首先，将CIFAR‑10数据集和NUS‑WIDE数据集按比例划分出查询集图像、原始数据集和增量数据集；使用卷积神经网络VGG‑16将查询图像的每一层特征图像输出；将提取的特征图像从高维图像到低维逐层做双线性插值处理,并且将双线性插值处理过的特征图像逐层上采样得到融合的特征图像；将特征图像输入到五个普通卷积层，输出得到特征图像；之后学习新图像的散列码的同时保持旧图像散列码不变，通过保留训练点之间的相似性来学习查询集的深度散列函数。本发明实现了大规模中出现新的类别图像时不用再次训练模型，从而提高检索效率，节约时间成本。

Description

一种基于深度散列与多特征融合的增量图像检索方法
技术领域
本发明属于图像处理方法技术领域，具体涉及一种基于深度散列 与多特征融合的增量图像检索方法。
背景技术
图像检索是一种视觉搜索任务，即是将给定的一张查询图像在一 个非常大的图像数据库中进行检索，进而得到在该数据库中所有与查 询图像具有相同实例对象的图像。图像检索技术目前已在多个领域有 广泛应用，例如在网络上进行反向传播搜索或者组织个人照片收集。 然而，随着计算机和人工智能等相关技术的高速发展及5G通信时代 的迅速推进，包括图像和视频在内的多媒体数据量每天都呈指数增长， 而最新的图像检索模型并不总是及时可用，一旦出现新的概念，就必 须对检索模型进行更新，从而导致模型训练的时间成本大大增加。因 此，提出一种能够直接提取新图像的特征信息同时不用再次训练旧图 像的增量图像检索方法是图像检索技术领域急需解决的问题。
在ILSVRC-2012比赛中，Krizheysky等人设计了一种深度卷积 神经网络模型AlexNet，该模型将图像分类错误率从26.2％降到15.3％， 远远领先于其他算法(Krizhevsky A,SutskeverI,Hinton G E.ImageNet classification with deepconvolutional neural networks[C]//International Conference on NeuralInformation Processing Systems.Lake Tahoe, Nevada,USA:NIPS Press.2012:1106-1114.)。这使得CNN(卷积神经 网络)在视觉图像领域得到极大的重视，使其一跃成为图像检索基础 模型的首选。随后Babenko等人利用大型卷积神经网络的顶层的激活 作为图像检索的描述符(Babenko A,Slesarev A,Chigorin A,et al. Neural codes for imageretrieval[C]//European conference on computer vision.Switzerland,Zurich:Springer Press,2014:584-599.)。该方法通 过对相似数据上的模型进行重新训练，然后提取神经代码作为描述符， 进一步提升了检索结果。曹等人提出了HashNet深度体系结构，通过 延续方法生成散列码，它学习非平滑的二进制激活，使用延续方法从 不平衡的相似性数据生成二进制散列码(CAO Zhangjie,Long Mingsheng,Wang Jianmin,etal.Hashnet:Deep learning to hash by continuation[C]//Proceedings of the IEEEinternational conference on computer vision.Venice,Italy:IEEE Press,2017:5608-5617.)。白等人 提出了一个深度渐进式哈希(DPH)模型，通过利用逐步扩展的显著区域生成一系列二进制码(BAI Jiale,NI B,WANG M,et al.Deep progressive hashing forimage retrieval[J].IEEE Transactions on Multimedia,2019,21(12):3178-3193.)。王等人提出了一种深度位置感 知哈希(DPAH)模型，它限制了数据样本与类中心之间的距离，以提 高图像检索中二进制散列码的识别能力(WANG Ruikui,Wang Ruiping,QiaoShishi,et al.Deep Position-Aware Hashing for Semantic Continuous Image Retrieval[C]//IEEE Winter Conference on Applications of Computer Vision.Snowmass,CO,USA:IEEE Press, 2020:2493-2502.)。
近年来，基于深度学习的方法已经在图像检索方面取得了巨大的 进步，但在对于大量新图像的出现时导致的模型更新训练时间长，检 索模型的适应性差等问题还没有完全解决，当新的图像出现时，如何 不用再次训练模型就能实现模型的更新是目前图像检索领域的重要 课题。
发明内容
本发明的目的是提供一种基于深度散列与多特征融合的增量图 像检索方法，解决了现有图像检索中新类别图像出现时重新训练模型 困难、耗时长的问题。
本发明所采用的技术方案是，一种基于深度散列与多特征融合的 增量图像检索方法，具体包括以下步骤：
步骤1、将CIFAR-10数据集和NUS-WIDE数据集按比例划分出 查询集图像、原始数据集和增量数据集；
步骤2、使用卷积神经网络VGG-16将查询图像的每一层特征图 像输出；
步骤3、将提取的特征图像从高维图像到低维逐层做双线性插值 处理，以匹配上一层特征图像的尺寸大小,并且将双线性插值处理过 的特征图像逐层上采样得到融合的特征图像；
步骤4、将步骤3的特征图像输入到五个普通卷积层 Conv6-Conv10，尺寸大小都为7×7，维度分别为64，192，384，256 和256维，输出得到特征图像F；
步骤5、经过步骤3和步骤4，将VGG-16改进后得到新的模型， 即为IDFH模型，将步骤4中输出的特征像图F进行散列函数学习， 使用IDFH模型构造散列函数，使特征图像F的最后一个全连接层的 长度输出为k，即是二进制散列码的长度；
步骤6、使用增量损失函数保持查询点和数据库点之间的相似性。
本发明的特点还在于，
步骤1中，在CIFAR-10数据集中随机选取1000张图像作为查 询集图像，每个类100张图像，其余的作为数据集图像；同样的在 NUS-WIDE数据集中随机选择2100张图像作为查询集图像，每个概 念相关的有100张图像，其余的作为数据集图像，形成r张图像的查 询集；然后将数据集图像分为原始数据集和增量数据集两个部分；其 中CIFAR-10数据集图像的原始数据集和增量数据集的类别比例为 7/3，NUS-WIDE数据集的原始数据集和增量数据集的类别比例为 18/3。
步骤2中，具体为：在查询集图像
Figure BDA0003075952420000041
中随机选取一张作为 查询图像di输入到基础卷积神经网络VGG-16中，并输入到基础卷积 神经网络VGG-16中，基础网络VGG-16的每一个大卷积层，即 conv1-2，conv2-2，conv3-3，conv4-3和conv5-3分别提取到的特征 图命名为第一层特征图像f1，第二层特征图像f2，第三层特征图像f3， 第四层特征图像f4，第五层特征图像f5，相邻的最大特征图之间相差 步幅为2的空间分辨率，输出的特征图像的大小依次为224×224、 112×112、56×56、28×28和7×7。
步骤3中，将步骤2中输出的第五层特征图像f5采用双线性插值 扩大长宽为原来的两倍，然后与上采样后得到的第四层特征图像f4融合，得到特征图像F4；再将特征图像F4采用双线性插值扩大长宽 为原来的两倍，然后再与f3进行融合得到特征图像F3；将特征图像 F3采用双线性插值扩大长宽为原来的两倍，然后再与f2进行融合得到 特征图像F2；将特征图像F2采用双线性插值扩大长宽为原来的两倍， 然后再与f1进行融合得到特征图像F1。
步骤5中，深度散列函数的公式如式(2)所示：
Figure BDA0003075952420000051
式中，bSi表示有r张图像的查询图像数据集
Figure BDA0003075952420000052
中的散列码， sign()是符号函数，f(·)表示最后一个全连接层的输出。
步骤6中，具体为：在步骤5之后，将原始数据集图像和增量数 据集图像的索引分别表示为α＝{1，2，3，…，p}和 β＝{1+p,2+p,3+p,…p+q}，将原始数据集和增量数据集采样的查询图 像的索引分别表示为
Figure RE-GDA0003183335020000053
和
Figure RE-GDA0003183335020000054
然后 设计了一个增量损失函数使得现有的原始图像的散列码去训练查询 图像的散列码，同时直接优化增量图像的散列码增量损失函数中使用 成对的标签L去减少或扩大相似或不相似对的二进制码之间的汉明 距离，同时采用L2范数损失来最小化二进制编码对的内部乘积与相 似性之间的差异，并将步骤5中学习到的散列函数整合到损失函数中， 从而保持-1和1在所有查询图像中的数量近似相等从而使得每一位 散列码达到平衡，具体如式(3)所示；
Figure BDA0003075952420000061
式中，B’表示有q张图像的增量图像数据集
Figure BDA0003075952420000062
学习到的 散列码，并且
Figure BDA0003075952420000063
Figure BDA0003075952420000064
是bi的转置，λ和μ是超参数； aj是增量图像数据集中的第i张图像；bj是增量图像数据集中的每一 张图像的散列码；当Gij＝+1表明ai和dj在语义上是相似的，相反的当 Gij＝-1则是不相似的，tanh(·)是连续松弛方法。
本发明的有益效果是：
本发明一种基于深度散列与多特征融合的增量图像检索方法，该 方法对VGG16输出的多个特征图像使用双线性插值处理，再融合到 上层特征层，使得特征获得更加完整和丰富的语义信息；在网络高层 增加五个小卷积层对特征进一步卷积，从而提高特征性能以及模型泛 化能力；此外，该方法直接使用学习新图像的散列码的同时保持旧图 像散列码不变，通过保留训练点之间的相似性来学习查询集的深度散 列函数。本发明实现了大规模中出现新的类别图像时不用再次训练模 型，从而提高检索效率，节约时间成本。
附图说明
图1是本发明一种基于深度散列与多特征融合的增量图像检索 方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于深度散列与多特征融合的增量图像检索方法，如 图1所示，具体包括以下步骤：
步骤1、将CIFAR-10数据集和NUS-WIDE数据集按比例划分出 查询集图像、原始数据集和增量数据集；
CIFAR-10包括10个类中的60000幅彩色图像。NUS-WIDE包含 21个最常见的概念相关图像，其中每个概念图像都至少与5000张图 像关联，共有195834张图像。在CIFAR-10数据集中随机选取1000 张图像作为查询集图像，每个类100张图像，其余的作为数据集图像；同样的在NUS-WIDE数据集中随机选择2100张图像作为查询集图像， 每个概念相关的有100张图像，其余的作为数据集图像，形成r张图 像的查询集；然后将数据集图像分为原始数据集和增量数据集两个部 分。其中CIFAR-10数据集图像的原始数据集和增量数据集的类别比 例为7/3，NUS-WIDE数据集的原始数据集和增量数据集的类别比例 为18/3，原始数据集中的图像最多与18个概念相关，而增量数据集 中的图像与其余3个概念的至少一个概念相关。
步骤2、使用卷积神经网络VGG-16将查询图像的每一层特征图 像输出；
具体为：在r张图像的查询集
Figure BDA0003075952420000071
中随机选取一张作为查询 图像di输入到基础卷积神经网络VGG-16中，并输入到基础卷积神经 网络VGG-16中，基础网络VGG-16的每一个大卷积层，即conv1-2， conv2-2，conv3-3，conv4-3和conv5-3分别提取到的特征图命名为 第一层特征图像f1，第二层特征图像f2，第三层特征图像f3，第四层 特征图像f4，第五层特征图像f5，相邻的最大特征图之间相差步幅为 2的空间分辨率，输出的特征图像的大小依次为224×224、112×112、 56×56、28×28和7×7；
步骤3、将提取的特征图像从高维图像到低维逐层做双线性插值 处理，以匹配上一层特征图像的尺寸大小,并且将双线性插值处理过 的特征图像逐层上采样得到融合的特征图像；
将步骤2中输出的第五层特征图像f5采用双线性插值扩大长宽为 原来的两倍，然后与上采样后得到的第四层特征图像f4融合，得到特 征图像F4；再将特征图像F4采用双线性插值扩大长宽为原来的两倍， 然后再与f3进行融合得到特征图像F3；将特征图像F3采用双线性插 值扩大长宽为原来的两倍，然后再与f2进行融合得到特征图像F2； 将特征图像F2采用双线性插值扩大长宽为原来的两倍，然后再与f1进行融合得到特征图像F1；其具体计算公式如式(1)所示；
Fn＝cat(fn,2×upsamplefn+1)(n＝1,2,3,4)(1)；
式中，cat表示特征融合，fn表示第n层卷积输出的特征图，Fn表示融合后的第n特征图，2×upsample表示2倍上采样。
步骤4、将融合后的特征图像F1中输入五个卷积层进一步卷积增 强特征性能，再使用三个全连接层整合；
将步骤3的特征图像F1输入到五个普通卷积层Conv6-Conv10， 尺寸大小都为7×7，维度分别为64，192，384，256和256维从而增 加特征性能，输出得到特征图像F；
步骤5、首先直接使用深度散列方法对增量数据库图像映射得到 散列码Bi。经过步骤3和步骤4将VGG-16改进后得到新的模型，将 新的模型命名为IDFH模型，将步骤4中输出的特征像图F进行散列 函数学习，使用IDFH模型构造散列函数，使特征图像F的最后一个全连接层的长度输出为k，即是二进制散列码的长度，深度散列函数 的公式如式(2)所示：
Figure BDA0003075952420000091
式中，bSi表示有r张图像的查询图像数据集
Figure BDA0003075952420000092
中的散列码 且
Figure BDA0003075952420000093
θ表示IDFH模型中的参数(批处理数，学习 速率，初始学习率)，sign()是符号函数，f(·)表示最后一个全连接层 的输出。
IDFH模型具体包括的五个大卷积层conv1(conv1-1,conv1-2)， 长和宽为224×224，通道数为64，conv2(conv2-1,conv2-2)，长和宽 为112×112，通道数为128，conv3(conv3-1,conv3-2,conv3-3)，长和 宽为56×56，通道数为256，conv4(conv4-1,conv4-2,conv4-3)，长和 宽为28×28，通道数为512，conv5(conv5-1,conv5-2,conv5-3)，长和 宽为14×14，通道数为512，以及五个普通卷积层Conv6-Conv10，尺 寸大小都为7×7，通道数分别为64，192，384，256和256。
步骤6、使用增量损失函数保持查询点和数据库点之间的相似性。
具体为：在步骤5之后，将原始数据集图像和增量数据集图像的 索引分别表示为α＝{1,2,3,…,p}和β＝{1+p,2+p,3+p,…p+q}，将原始数 据集和增量数据集采样的查询图像的索引分别表示为
Figure BDA0003075952420000094
和
Figure BDA0003075952420000095
然后设计了一个增量损失 函数使得现有的原始图像的散列码去训练查询图像的散列码，同时直 接优化增量图像的散列码增量损失函数中使用成对的标签L去减少 或扩大相似或不相似对的二进制码之间的汉明距离，同时采用L2范 数损失来最小化二进制编码对的内部乘积与相似性之间的差异，并将 步骤4中学习到的散列函数整合到损失函数中，从而保持-1和1在所 有查询图像中的数量近似相等，从而使得每一位散列码达到平衡，具 体如式(3)所示；
Figure BDA0003075952420000101
式中，B’表示有q张图像的增量图像数据集
Figure BDA0003075952420000102
学习到的 散列码，并且
Figure BDA0003075952420000103
Figure BDA0003075952420000104
是bi的转置，λ和μ是超参数； G∈{-1,+1}(p+q)×r表示训练期间成对监督的散列码，aj是增量图像数据 集中的第i张图像；bj是增量图像数据集中的第j张图像的散列码； 当Gij＝+1表明ai和dj在语义上是相似的，相反的当Gij＝-1则是不相似 的，tanh(·)是连续松弛方法。
利用上述步骤完成模型的更新以后，查询图像在包含增量数据集 的两个数据集CIFAR-10和NUS-WIDE中检索，返回出前5000张图 片，并计算平均精度值(mAP)，得到的结果以及与其它方法的比较 如表1所示；
Figure BDA0003075952420000105
式中，TP表示正确的图片数量，FP表示不正确的图片数量。
表1两个数据集上的性能(mAP)对比
Figure BDA0003075952420000111
从表1中可以看出在CIFAR-10数据集上的12bits、24bits、32bits 和48bits散列性能比之前的算法性能都要好，在散列码长度为12bits、 24bits、32bits、48bits时能达到0.8523、0.8700、0.8866、0.8842，比 DSAH的mAP值分别高0.1123、0.084、0.0856、0.0642。在NUS-WIDE 数据集上时散列码长度为12bits、24bits、32bits时能达到0.8015、 0.8354、0.8570，比DPSH的mAP值分别高0.074、0.0105、0.0219。 本文模型在NUS-WIDE上的结果比CIFAR-10要差一些，是因为该数 据集的图像类别距离没有完全明确划分，以及数据集较大导致训练比 较困难。但总的来说当本发明中的方法模型与表中其它算法相比较时， 在两个相同数据集上的性能表现得最好。
本发明一种基于深度散列与多特征融合的增量图像检索方法，对 卷积神经网络输出的特征层进行至下而上的二倍上采样到上一层特 征，使得融合后的特征具有更好的低层位置信息和高层语义信息，从 而更好的描述图像；使用改进后的卷积神经网络直接学习新图像的散 列码同时保持旧图像散列码不变，通过增量损失函数保持查询训练点 和增量训练点之间的一致性。能提高检索精度，缩短大规模图像数据 集模型训练时间和改善模型适应性，实现了快速、高效、准确的目的。

Claims (6)

1.一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，具体包括以下步骤：
步骤1、将CIFAR-10数据集和NUS-WIDE数据集按比例划分出查询集图像、原始数据集和增量数据集；
步骤2、使用卷积神经网络VGG-16将查询图像的每一层特征图像输出；
步骤3、将提取的特征图像从高维图像到低维逐层做双线性插值处理，以匹配上一层特征图像的尺寸大小,并且将双线性插值处理过的特征图像逐层上采样得到融合的特征图像；
步骤4、将步骤3的特征图像输入到五个普通卷积层Conv6-Conv10，尺寸大小都为7×7，维度分别为64，192，384，256和256维，输出得到特征图像F；
步骤5、经过步骤3和步骤4，将VGG-16改进后得到新的模型，即为IDFH模型，将步骤4中输出的特征像图F进行散列函数学习，使用IDFH模型构造散列函数，使特征图像F的最后一个全连接层的长度输出为k，即是二进制散列码的长度；
步骤6、使用增量损失函数保持查询点和数据库点之间的相似性。
2.根据权利要求1所述的一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，所述步骤1中，在CIFAR-10数据集中随机选取1000张图像作为查询集图像，每个类100张图像，其余的作为数据集图像；同样的在NUS-WIDE数据集中随机选择2100张图像作为查询集图像，每个概念相关的有100张图像，其余的作为数据集图像，形成r张图像的查询集；然后将数据集图像分为原始数据集和增量数据集两个部分；其中CIFAR-10数据集图像的原始数据集和增量数据集的类别比例为7/3，NUS-WIDE数据集的原始数据集和增量数据集的类别比例为18/3。
3.根据权利要求1所述的一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，所述步骤2中，具体为：在查询集图像
Figure FDA0003075952410000021
中随机选取一张作为查询图像di输入到基础卷积神经网络VGG-16中，并输入到基础卷积神经网络VGG-16中，基础网络VGG-16的每一个大卷积层，即conv1-2，conv2-2，conv3-3，conv4-3和conv5-3分别提取到的特征图命名为第一层特征图像f1，第二层特征图像f2，第三层特征图像f3，第四层特征图像f4，第五层特征图像f5，相邻的最大特征图之间相差步幅为2的空间分辨率，输出的特征图像的大小依次为224×224、112×112、56×56、28×28和7×7。
4.根据权利要求3所述的一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，所述步骤3中，将步骤2中输出的第五层特征图像f5采用双线性插值扩大长宽为原来的两倍，然后与上采样后得到的第四层特征图像f4融合，得到特征图像F4；再将特征图像F4采用双线性插值扩大长宽为原来的两倍，然后再与f3进行融合得到特征图像F3；将特征图像F3采用双线性插值扩大长宽为原来的两倍，然后再与f2进行融合得到特征图像F2；将特征图像F2采用双线性插值扩大长宽为原来的两倍，然后再与f1进行融合得到特征图像F1。
5.根据权利要求4所述的一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，所述步骤5中，深度散列函数的公式如式(2)所示：
Figure FDA0003075952410000031
式中，bSi表示有r张图像的查询图像数据集
Figure FDA0003075952410000032
中的散列码，sign()是符号函数，f(·)表示最后一个全连接层的输出。
6.根据权利要求4所述的一种基于深度散列与多特征融合的增量图像检索方法，其特征在于，所述步骤6中，具体为：在步骤5之后，将原始数据集图像和增量数据集图像的索引分别表示为α＝{1,2,3,…,p}和β＝{1+p,2+p,3+p,…p+q}，将原始数据集和增量数据集采样的查询图像的索引分别表示为
Figure FDA0003075952410000033
和
Figure FDA0003075952410000034
然后设计了一个增量损失函数使得现有的原始图像的散列码去训练查询图像的散列码，同时直接优化增量图像的散列码增量损失函数中使用成对的标签L去减少或扩大相似或不相似对的二进制码之间的汉明距离，同时采用L2范数损失来最小化二进制编码对的内部乘积与相似性之间的差异，并将步骤5中学习到的散列函数整合到损失函数中，从而保持-1和1在所有查询图像中的数量近似相等从而使得每一位散列码达到平衡，具体如式(3)所示；
Figure FDA0003075952410000035
式中，B’表示有q张图像的增量图像数据集
Figure FDA0003075952410000036
学习到的散列码，并且
Figure FDA0003075952410000041
Figure FDA0003075952410000042
是bi的转置，λ和μ是超参数；aj是增量图像数据集中的第i张图像；bj是增量图像数据集中的第j张图像的散列码；当Gij＝+1表明ai和dj在语义上是相似的，相反的当Gij＝-1则是不相似的，tanh(·)是连续松弛方法。
CN202110552350.9A 2021-05-20 2021-05-20 一种基于深度散列与多特征融合的增量图像检索方法 Pending CN113377988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552350.9A CN113377988A (zh) 2021-05-20 2021-05-20 一种基于深度散列与多特征融合的增量图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552350.9A CN113377988A (zh) 2021-05-20 2021-05-20 一种基于深度散列与多特征融合的增量图像检索方法

Publications (1)

Publication Number Publication Date
CN113377988A true CN113377988A (zh) 2021-09-10

Family

ID=77571459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552350.9A Pending CN113377988A (zh) 2021-05-20 2021-05-20 一种基于深度散列与多特征融合的增量图像检索方法

Country Status (1)

Country Link
CN (1) CN113377988A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060722A1 (en) * 2016-08-30 2018-03-01 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
CN110728192A (zh) * 2019-09-16 2020-01-24 河海大学 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111161217A (zh) * 2019-12-10 2020-05-15 中国民航大学 基于Conv-LSTM多尺度特征融合的模糊检测方法
CN112766083A (zh) * 2020-12-30 2021-05-07 中南民族大学 基于多尺度特征融合的遥感场景分类方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060722A1 (en) * 2016-08-30 2018-03-01 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
CN110728192A (zh) * 2019-09-16 2020-01-24 河海大学 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111161217A (zh) * 2019-12-10 2020-05-15 中国民航大学 基于Conv-LSTM多尺度特征融合的模糊检测方法
CN112766083A (zh) * 2020-12-30 2021-05-07 中南民族大学 基于多尺度特征融合的遥感场景分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAYAN WU等: "Deep Incremental Hashing Network for Efficient Image Retrieval", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Similar Documents

Publication Publication Date Title
Li et al. Recent developments of content-based image retrieval (CBIR)
CN112100404B (zh) 基于结构化上下文信息的知识图谱预训练方法
CN111291212A (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN113971209B (zh) 一种基于注意力机制增强的无监督跨模态检索方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN113076465A (zh) 一种基于深度哈希的通用跨模态检索模型
CN109783691B (zh) 一种深度学习和哈希编码的视频检索方法
CN113064959A (zh) 一种基于深度自监督排序哈希的跨模态检索方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN113779219A (zh) 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法
CN111461175A (zh) 自注意与协同注意机制的标签推荐模型构建方法及装置
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN114168773A (zh) 一种基于伪标签和重排序的半监督草图图像检索方法
CN114596456A (zh) 一种基于聚集哈希学习的图像集分类方法
Cheng et al. A survey on image semantic segmentation using deep learning techniques
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN110674333A (zh) 基于多视图增强深度哈希的大规模图像高速检索方法
Ma et al. Capsule-based object tracking with natural language specification
Yang et al. Learning binary hash codes based on adaptable label representations
CN113377988A (zh) 一种基于深度散列与多特征融合的增量图像检索方法
CN115115966A (zh) 视频场景的分割方法、装置、计算机设备、存储介质
CN114120447A (zh) 一种基于原型对比学习的行为识别方法及系统、存储介质
CN113204522A (zh) 基于结合生成对抗网络的哈希算法的大规模数据检索方法
CN118093907B (zh) 融合相似性的在线哈希多媒体数据跨模态检索方法及系统
Wu et al. Deep Hybrid Neural Network With Attention Mechanism for Video Hash Retrieval Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910