CN114064948A - 基于广义平均池化策略的哈希图像检索方法及装置 - Google Patents

基于广义平均池化策略的哈希图像检索方法及装置 Download PDF

Info

Publication number
CN114064948A
CN114064948A CN202111205417.8A CN202111205417A CN114064948A CN 114064948 A CN114064948 A CN 114064948A CN 202111205417 A CN202111205417 A CN 202111205417A CN 114064948 A CN114064948 A CN 114064948A
Authority
CN
China
Prior art keywords
image
feature
hash
retrieved
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205417.8A
Other languages
English (en)
Inventor
陈海顺
刘娇
田福康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xinxin Information Technology Co ltd
Original Assignee
Xi'an Xinxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xinxin Information Technology Co ltd filed Critical Xi'an Xinxin Information Technology Co ltd
Priority to CN202111205417.8A priority Critical patent/CN114064948A/zh
Publication of CN114064948A publication Critical patent/CN114064948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本发明涉及一种基于广义平均池化策略的哈希图像检索方法及装置，该方法包括：建立图像特征库的特征索引；利用预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；利用局部敏感哈希算法对待检索图像特征向量进行映射，将其映射到哈希桶中；根据特征索引，查找得到该哈希桶对应的图像特征向量；计算待检索图像特征向量与哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。该检索方法能够加快在图像库中检索相似性图像的过程，实现待检索图像的在图像库中的快速匹配。

Description

基于广义平均池化策略的哈希图像检索方法及装置
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于广义平均池化策略的哈希图像检索方法及装置。
背景技术
图像检索技术针对用户感兴趣的图像内容，按照特定的相似度衡量标准，将相关图像以相似度由高到底的方式呈现给用户。其核心问题在于如何浓缩图像的信息，获取图像的特征描述子，充分表达图像的内容信息。近年来，随着互联网技术的快速发展，信息大量过载，如何在庞大的图像库中方便、快速、准确地查询和检索图像数据仍是一个待解决的问题。
大规模图像检索问题，存在着维度高、数据量大、计算耗时等问题。检索问题在本质上可以看做是一种最近邻搜索问题。传统的搜索方式如经典的kd-树、R-树等在海量数据背景下，其获取精确的最近邻搜索结果需要难以想象的时间和空间开销。
在图像检索系统中，有效的图像语义特征提取非常关键。近年来，随着深度学习技术的普及，大量的特征提取算法都逐渐开始利用深度学习进行特征提取，池化操作是在特征提取的基础上对每个特征进行处理，然后将得到的数据进行融合，得到最终的结果。传统的池化策略对提取的局部特征图进行同等对待，不符合人类视觉系统的非线性特点，而且现有的检索方法在大规模数据下会存在图像的有效特征信息缺失和检索速度慢等问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于广义平均池化策略的哈希图像检索方法及装置。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于广义平均池化策略的哈希图像检索方法，包括：
建立图像特征库的特征索引；
利用预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；
利用局部敏感哈希算法对所述待检索图像特征向量进行映射，将其映射到哈希桶中；
根据所述特征索引，查找得到该哈希桶对应的图像特征向量；
计算所述待检索图像特征向量与所述哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
在本发明的一个实施例中，建立图像特征库的特征索引，包括：
利用预先训练完成的特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到所述图像特征库；
利用局部敏感哈希算法对所述图像特征库中的图像特征向量进行映射，将所述图像特征向量映射到哈希桶，建立所述哈希桶与所述图像特征向量之间的索引，作为所述特征索引；
其中，相似的图像特征向量被映射到同一哈希桶。
在本发明的一个实施例中，所述特征提取网络包括级联的特征提取单元和特征融合单元，其中，
所述特征提取单元为ResNet101卷积神经网络，用于对输入的图像进行特征提取，得到若干特征图；
所述特征融合单元为广义平均池化层，用于对若干所述特征图进行特征融合，得到图像特征向量。
在本发明的一个实施例中，利用预先训练完成的特征提取网络对待检索图像进行特征提取，之前还包括：
对所述待检索图像进行预处理，将该图像的尺寸缩放至所述特征提取网络预设的图像尺寸。
在本发明的一个实施例中，所述预先训练完成的特征提取网络通过以下步骤训练获得，包括：
步骤a：获取训练数据集；
步骤b：对所述训练数据集中的每个图像进行预处理，将其尺寸缩放至1024*1024；
步骤c：将预处理后的每个图像输入预设的特征提取网络，以使所述特征提取网络对其进行特征提取以及特征融合，获得其对应的图像特征向量；
步骤d：调整所述预设的特征提取网络的网络参数，并重复步骤c至步骤d直至达到预设的训练截止条件，获得训练完成的特征提取网络。
在本发明的一个实施例中，所述特征提取网络还包括数据增强单元，用于对输入的图像进行数据增强处理。
在本发明的一个实施例中，所述特征提取网络还包括正则化单元，用于防止网络在训练过程中出现过拟合。
本发明提供了一种基于广义平均池化策略的哈希图像检索装置，包括：
获取模块，用于获取待检索图像；
图像特征提取模块，用于根据预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；
映射模块，用于根据局部敏感哈希算法对所述待检索图像特征向量进行映射，将其映射到哈希桶中；
索引模块，用于根据预先建立的图像特征库的特征索引，查找得到该哈希桶对应的图像特征向量；
检索模块，用于计算所述待检索图像特征向量与所述哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
在本发明的一个实施例中，所述基于广义平均池化策略的哈希图像检索装置还包括：
预处理模块，用于对所述待检索图像进行预处理，将该图像的尺寸缩放至特征提取网络预设的图像尺寸。
在本发明的一个实施例中，所述基于广义平均池化策略的哈希图像检索装置还包括：特征索引建立模块，具体用于：
根据所述特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到所述图像特征库；
利用局部敏感哈希算法对所述图像特征库中的图像特征向量进行映射，将所述图像特征向量映射到哈希桶，建立所述哈希桶与所述图像特征向量之间的索引，作为所述特征索引。
与现有技术相比，本发明的有益效果在于：
1.本发明的基于广义平均池化策略的哈希图像检索方法，在特征提取过程中采用广义平均池化策略，可以有效模拟人类视觉系统对图像的认知过程，从而有效地提取图像中丰富的特性信息；
2.本发明的基于广义平均池化策略的哈希图像检索方法，在检索过程中通过局部敏感哈希算法将特征信息映射到哈希桶中，利用预先建立图像特征库的特征索引查询到该哈希桶对应的图像特征向量，并计算其与特征信息的相似度，得到检索结果，加快了在图像库中检索相似性图像的过程，实现了待检索图像的在图像库中的快速匹配。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索方法的流程框图；
图2是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索方法的流程示意图；
图3是本发明实施例提供的一种特征提取网络的结构框图；
图4是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索装置的结构框图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于广义平均池化策略的哈希图像检索方法及装置进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
实施例一
请结合参见图1和图2，图1是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索方法的流程框图，图2是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索方法的流程示意图。如图所示，本实施例的基于广义平均池化策略的哈希图像检索方法，包括：
S1：建立图像特征库的特征索引；
S2：利用预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；
S3：利用局部敏感哈希算法对待检索图像特征向量进行映射，将其映射到哈希桶中；
S4：根据特征索引，查找得到该哈希桶对应的图像特征向量；
S5：计算待检索图像特征向量与哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
进一步地，步骤S1之前还包括：
S0：对待检索图像进行预处理，将该图像的尺寸缩放至特征提取网络预设的图像尺寸。
在本实施例中，特征提取网络的输入分辨率为1024*1024。
具体地，步骤S1包括：
S11：利用预先训练完成的特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到图像特征库；
需要说明的是，在将图像数据集中的图像输入预先训练完成的特征提取网络之前，也需要对其进行预处理，将图像的尺寸缩放至1024*1024。
S12：利用局部敏感哈希算法对图像特征库中的图像特征向量进行映射，将图像特征向量映射到哈希桶，建立哈希桶与图像特征向量之间的索引，作为特征索引。
其中，相似的图像特征向量被映射到同一哈希桶。
请结合参见图3，图3是本发明实施例提供的一种特征提取网络的结构框图。如图所示，本实施例的特征提取网络包括级联的特征提取单元和特征融合单元，其中，特征提取单元用于对输入的图像进行特征提取，得到若干特征图。特征融合单元用于对若干特征图进行特征融合，得到图像特征向量。
在本实施例中，特征提取单元为ResNet101卷积神经网络，特征融合单元为广义平均池化层。
进一步地，本实施例的特征提取网络还包括数据增强单元和正则化单元，以避免网络在训练过程中出现过拟合或欠拟合的问题，在网络训练过程中通过调整学习率以保证模型收敛。
其中，数据增强单元用于对输入的图像进行数据增强处理，数据增强处理包括对输入的图像进行翻转、旋转、缩放比例、裁剪或移位等处理。
需要说明的是，在本实施例中还可以通过在网络中增加dropout层的方式对输入的图像进行数据增强。
在本实施例中，广义平均池化的操作是在整个特征图上进行操作，当一张指定大小的图像(1024*1024)，经过ResNet101卷积神经网络之后，会生成大小为W1*H1*K的特征图，其中K表示输出特征图的通道数。通过上述处理，生成的3维张量可以被视为2维特征图的一个集合，该集合可以用数学式表示为：C＝{Ci},i＝1…K，其中，Ci表示为第i个通道的2维特征图。
一般情况下，Ci都会被平均池化或者最大值池化操作使之变为一维向量f，之后作为图像的特征向量表示。但是上述平均池化在前向或反向传播过程中，往往容易忽略局部信息的重要性；最大池化在前向或反向传播过程中，只保留响应值最大的响应点，这使得特征具有一定的判别性，但是其缺乏了卷积响应之间的相关性。
为了解决这一问题，受广义均值的启发，平均池化和最大值池化作为广义平均池化的一种特例，可以表示为：
Figure BDA0003306645400000081
由上式可知，当α趋于无穷大时，其为最大池化操作，当α＝1时，其为平均池化操作。α作为网络训练参数经由训练得到，故广义平均池化得到的特征保留了最大值池化特征的判别性和平均池化的相关性，从而得到了更有效的特征向量。
本实施例的基于广义平均池化策略的哈希图像检索方法，在特征提取过程中采用广义平均池化策略，可以有效模拟人类视觉系统对图像的认知过程，从而有效地提取图像中丰富的特性信息。
进一步地，本实施例的预先训练完成的特征提取网络通过以下步骤训练获得，包括：
步骤a：获取训练数据集；
步骤b：对训练数据集中的每个图像进行预处理，将其尺寸缩放至1024*1024；
步骤c：将预处理后的每个图像输入预设的特征提取网络，以使特征提取网络对其进行特征提取以及特征融合，获得其对应的图像特征向量；
步骤d：调整预设的特征提取网络的网络参数，并重复步骤c至步骤d直至达到预设的训练截止条件，获得训练完成的特征提取网络。
在本实施例中，训练截止条件为特征提取网络的总损失函数最小或者达到训练次数。
进一步地，哈希算法也叫做散列算法，常规哈希算法指的是构建一个哈希模型，使用该哈希模型，可以将高维度的图片特征映射为低维度的哈希编码，也就是通过哈希模型可以将文本降维成简单数字串，然后通过计算比较两两数字串之间的相似度，确定两个图像是否相似，由于在计算比较相似度过程中只能两两进行比较，对于大规模的数据来说计算量巨大。
局部敏感哈希算法一般用在常规哈希之后，相比于两两比较，局部敏感哈希算法可以实现再降维以及局部寻找匹配对。在本实施例中，局部敏感哈希算法的具体流程包括：
首先，将图像特征库中的图像特征向量组成矩阵；
其次，第一次哈希，利用从任一哈希函数族中选出来的hash functions(包括多个哈希函数)将图像特征向量组成的矩阵哈希成一个“签名矩阵(Signature Matrix)”，该签名矩阵可以直接理解为是降维后的数据，该步骤可以使用simhash、minhash来进行哈希操作，也以使用不同的functions来进行哈希操作；
最后，第二次哈希，是对Signature Matrix进行哈希操作，就得到了最终的哈希结果，即每个图像特征向量最终被哈希到了哪个哈希桶中。
需要说明的是，在局部敏感哈希算法中，原始空间中越相近的数据(图像特征向量)，其经过同样的映射函数之后，落在同一哈希桶中的概率越高。因此，局部敏感哈希算法直接使用随机生成的参数作为哈希函数，能够实现较高的准确率。
具体地，对本实施了的检索过程进行具体说明，在本实施例中，对于需要检索的待检索图像，通过特征提取网络提取得到它的图像特征向量作为待检索图像特征向量，将该待检索图像特征向量作为一个新的数据点，利用局部敏感哈希算法对该待检索图像特征向量进行哈希操作，得到该待检索图像特征向量最终的哈希结果，即，该待检索图像特征向量最终被哈希到了哪个哈希桶中，然后利用建立的哈希桶与图像特征库中图像特征向量之间的索引(也就是特征索引)，索引得到该哈希桶对应的图像特征库中的图像特征向量，最后对该待检索图像特征向量与该哈希桶对应的图像特征库中的图像特征向量，进行两两计算比较其相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成检索。
本实施例的基于广义平均池化策略的哈希图像检索方法，在检索过程中通过局部敏感哈希算法将特征信息映射到哈希桶中，利用预先建立图像特征库的特征索引查询到该哈希桶对应的图像特征向量，并计算其与特征信息的相似度，得到检索结果，加快了在图像库中检索相似性图像的过程，实现了待检索图像的在图像库中的快速匹配。
实施例二
本实施例提供了一种基于广义平均池化策略的哈希图像检索装置，请参见图4，图4是本发明实施例提供的一种基于广义平均池化策略的哈希图像检索装置的结构框图。如图所示，本实施例的基于广义平均池化策略的哈希图像检索装置，包括：获取模块、图像特征提取模块、映射模块、索引模块和检索模块。其中，获取模块用于获取待检索图像；图像特征提取模块用于根据预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；映射模块用于根据局部敏感哈希算法对待检索图像特征向量进行映射，将其映射到哈希桶中；索引模块用于根据预先建立的图像特征库的特征索引，查找得到该哈希桶对应的图像特征向量；检索模块用于计算待检索图像特征向量与哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
进一步地，本实施例的基于广义平均池化策略的哈希图像检索装置，还包括预处理模块和特征索引建立模块。其中，预处理模块用于对待检索图像进行预处理，将该图像的尺寸缩放至特征提取网络预设的图像尺寸。在本实施例中，特征提取网络的输入分辨率为1024*1024。特征索引建立模块，具体用于根据特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到图像特征库；利用局部敏感哈希算法对图像特征库中的图像特征向量进行映射，将图像特征向量映射到哈希桶，建立哈希桶与图像特征向量之间的索引，作为特征索引。
基于同一发明构思，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。存储器用于存放计算机程序；处理器用于执行存储器上所存放的程序时，实现上述任一种基于广义平均池化策略的哈希图像检索方法所述的方法步骤。
在实际应用中，上述的电子设备可以为：监控设备、图像处理设备、台式计算机、便携式计算机、智能移动终端等等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供了一种计算机可读存储介质。在该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现上述任一种基于广义平均池化策略的哈希图像检索方法所述的方法步骤。
可选地，该计算机可读存储介质可以为非易失性存储器(Non-Volatile Memory，NVM)，例如为至少一个磁盘存储器。可选的，该计算机可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
在本发明的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一种基于广义平均池化策略的哈希图像检索方法所述的方法步骤。
对于电子设备/存储介质/计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
应当说明的是，在本文中，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于广义平均池化策略的哈希图像检索方法，其特征在于，包括：
建立图像特征库的特征索引；
利用预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；
利用局部敏感哈希算法对所述待检索图像特征向量进行映射，将其映射到哈希桶中；
根据所述特征索引，查找得到该哈希桶对应的图像特征向量；
计算所述待检索图像特征向量与所述哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
2.根据权利要求1所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，建立图像特征库的特征索引，包括：
利用预先训练完成的特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到所述图像特征库；
利用局部敏感哈希算法对所述图像特征库中的图像特征向量进行映射，将所述图像特征向量映射到哈希桶，建立所述哈希桶与所述图像特征向量之间的索引，作为所述特征索引；
其中，相似的图像特征向量被映射到同一哈希桶。
3.根据权利要求1所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，所述特征提取网络包括级联的特征提取单元和特征融合单元，其中，
所述特征提取单元为ResNet101卷积神经网络，用于对输入的图像进行特征提取，得到若干特征图；
所述特征融合单元为广义平均池化层，用于对若干所述特征图进行特征融合，得到图像特征向量。
4.根据权利要求1所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，利用预先训练完成的特征提取网络对待检索图像进行特征提取，之前还包括：
对所述待检索图像进行预处理，将该图像的尺寸缩放至所述特征提取网络预设的图像尺寸。
5.根据权利要求1所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，所述预先训练完成的特征提取网络通过以下步骤训练获得，包括：
步骤a：获取训练数据集；
步骤b：对所述训练数据集中的每个图像进行预处理，将其尺寸缩放至1024*1024；
步骤c：将预处理后的每个图像输入预设的特征提取网络，以使所述特征提取网络对其进行特征提取以及特征融合，获得其对应的图像特征向量；
步骤d：调整所述预设的特征提取网络的网络参数，并重复步骤c至步骤d直至达到预设的训练截止条件，获得训练完成的特征提取网络。
6.根据权利要求5所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，所述特征提取网络还包括数据增强单元，用于对输入的图像进行数据增强处理。
7.根据权利要求5所述的基于广义平均池化策略的哈希图像检索方法，其特征在于，所述特征提取网络还包括正则化单元，用于防止网络在训练过程中出现过拟合。
8.一种基于广义平均池化策略的哈希图像检索装置，其特征在于，包括：
获取模块，用于获取待检索图像；
图像特征提取模块，用于根据预先训练完成的特征提取网络对待检索图像进行特征提取，得到待检索图像特征向量；
映射模块，用于根据局部敏感哈希算法对所述待检索图像特征向量进行映射，将其映射到哈希桶中；
索引模块，用于根据预先建立的图像特征库的特征索引，查找得到该哈希桶对应的图像特征向量；
检索模块，用于计算所述待检索图像特征向量与所述哈希桶对应的图像特征向量之间的相似度，并按照从小到大的距离排序，输出前k个检索结果，k取值为正整数，完成图像检索。
9.根据权利要求8所述的基于广义平均池化策略的哈希图像检索装置，其特征在于，还包括：
预处理模块，用于对所述待检索图像进行预处理，将该图像的尺寸缩放至特征提取网络预设的图像尺寸。
10.根据权利要求8所述的基于广义平均池化策略的哈希图像检索装置，其特征在于，还包括：特征索引建立模块，具体用于：
根据所述特征提取网络对预设的图像数据集中的图像进行特征提取，构建得到所述图像特征库；
利用局部敏感哈希算法对所述图像特征库中的图像特征向量进行映射，将所述图像特征向量映射到哈希桶，建立所述哈希桶与所述图像特征向量之间的索引，作为所述特征索引。
CN202111205417.8A 2021-10-15 2021-10-15 基于广义平均池化策略的哈希图像检索方法及装置 Pending CN114064948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205417.8A CN114064948A (zh) 2021-10-15 2021-10-15 基于广义平均池化策略的哈希图像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205417.8A CN114064948A (zh) 2021-10-15 2021-10-15 基于广义平均池化策略的哈希图像检索方法及装置

Publications (1)

Publication Number Publication Date
CN114064948A true CN114064948A (zh) 2022-02-18

Family

ID=80234694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205417.8A Pending CN114064948A (zh) 2021-10-15 2021-10-15 基于广义平均池化策略的哈希图像检索方法及装置

Country Status (1)

Country Link
CN (1) CN114064948A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115523A (zh) * 2022-08-26 2022-09-27 中加健康工程研究院(合肥)有限公司 一种融合CNN和Transformer的医学图像深度信息提取方法
CN115733617A (zh) * 2022-10-31 2023-03-03 支付宝(杭州)信息技术有限公司 一种生物特征认证方法和系统
CN116680434A (zh) * 2023-07-28 2023-09-01 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404032A (zh) * 2008-11-11 2009-04-08 清华大学 一种基于内容的视频检索方法及系统
CN105302833A (zh) * 2014-07-24 2016-02-03 上海极誉实业有限公司 一种基于内容的视频检索数学模型建立方法
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN107180079A (zh) * 2017-04-28 2017-09-19 华南理工大学 基于卷积神经网络以及树与哈希结合索引的图像检索方法
CN107577990A (zh) * 2017-08-09 2018-01-12 武汉世纪金桥安全技术有限公司 一种基于gpu加速检索的大规模人脸识别方法
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN113157961A (zh) * 2021-03-11 2021-07-23 深圳大学 一种联合无类别区域建议框生成和图像目标快速检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404032A (zh) * 2008-11-11 2009-04-08 清华大学 一种基于内容的视频检索方法及系统
CN105302833A (zh) * 2014-07-24 2016-02-03 上海极誉实业有限公司 一种基于内容的视频检索数学模型建立方法
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN107180079A (zh) * 2017-04-28 2017-09-19 华南理工大学 基于卷积神经网络以及树与哈希结合索引的图像检索方法
CN107577990A (zh) * 2017-08-09 2018-01-12 武汉世纪金桥安全技术有限公司 一种基于gpu加速检索的大规模人脸识别方法
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN113157961A (zh) * 2021-03-11 2021-07-23 深圳大学 一种联合无类别区域建议框生成和图像目标快速检索方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115523A (zh) * 2022-08-26 2022-09-27 中加健康工程研究院(合肥)有限公司 一种融合CNN和Transformer的医学图像深度信息提取方法
CN115733617A (zh) * 2022-10-31 2023-03-03 支付宝(杭州)信息技术有限公司 一种生物特征认证方法和系统
CN115733617B (zh) * 2022-10-31 2024-01-23 支付宝(杭州)信息技术有限公司 一种生物特征认证方法和系统
CN116680434A (zh) * 2023-07-28 2023-09-01 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法、装置、设备及存储介质
CN116680434B (zh) * 2023-07-28 2023-11-17 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN106682233B (zh) 一种基于深度学习与局部特征融合的哈希图像检索方法
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与系统
US20190108242A1 (en) Search method and processing device
CN114064948A (zh) 基于广义平均池化策略的哈希图像检索方法及装置
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
Liu et al. Cross-indexing of binary SIFT codes for large-scale image search
CN105975459B (zh) 一种词项的权重标注方法和装置
Varish et al. Content based image retrieval using statistical features of color histogram
WO2020114100A1 (zh) 一种信息处理方法、装置和计算机存储介质
WO2023029356A1 (zh) 基于句向量模型的句向量生成方法、装置及计算机设备
CN111274445B (zh) 基于三元组深度学习的相似视频内容检索方法及系统
CN115203421A (zh) 一种长文本的标签生成方法、装置、设备及存储介质
CN113806580B (zh) 基于层次语义结构的跨模态哈希检索方法
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
CN113691542A (zh) 基于HTTP请求文本的Web攻击检测方法及相关设备
CN112632261A (zh) 智能问答方法、装置、设备及存储介质
CN113722512A (zh) 基于语言模型的文本检索方法、装置、设备及存储介质
US11914641B2 (en) Text to color palette generator
Sun et al. Search by detection: Object-level feature for image retrieval
US20200364259A1 (en) Image retrieval
CN113434636A (zh) 基于语义的近似文本搜索方法、装置、计算机设备及介质
CN116861022A (zh) 一种基于深度卷积神经网络和局部敏感哈希算法相结合的图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220218

RJ01 Rejection of invention patent application after publication