CN113449126B - 图像检索方法、装置、电子设备及计算机存储介质 - Google Patents

图像检索方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN113449126B
CN113449126B CN202010211703.4A CN202010211703A CN113449126B CN 113449126 B CN113449126 B CN 113449126B CN 202010211703 A CN202010211703 A CN 202010211703A CN 113449126 B CN113449126 B CN 113449126B
Authority
CN
China
Prior art keywords
image
determining
codeword
codebook
preset codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010211703.4A
Other languages
English (en)
Other versions
CN113449126A (zh
Inventor
曾艳
陈庆勇
桑建
张青松
马飞泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010211703.4A priority Critical patent/CN113449126B/zh
Publication of CN113449126A publication Critical patent/CN113449126A/zh
Application granted granted Critical
Publication of CN113449126B publication Critical patent/CN113449126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种图像检索方法、装置、电子设备及计算机存储介质。该图像检索方法，包括：获取待检索图像的压缩向量；基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离；其中，预设码本为基于样本训练图像，利用梯度下降算法确定的码本；码字表征样本训练图像所属的类别信息；将各个距离中最小距离对应的码字，确定为目标码字；从目标码字对应的数据库中确定待检索图像的目标图像。根据本发明实施例，能够提高图像检索的精确度。

Description

图像检索方法、装置、电子设备及计算机存储介质
技术领域
本发明属于电子数据处理技术领域，尤其涉及一种图像检索方法、装置、电子设备及计算机存储介质。
背景技术
随着互联网的发展，对图像检索的要求也逐日提高。目前，常见的图像检索方法有如下几种：
穷尽搜索：对每一个需要查询的图像，都搜索整个数据集，并一一对比，最终得出搜索结果；乘积量化：对每一个需要查询的图像，先对其进行维度划分，假定其独立，根据划分之后的维度，在对应的维度里面进行穷尽搜索；集束量化(原始加法量化)：对每一个需要查询的图像，相对于乘积量化，取消了维度划分间独立性的要求，降低了约束条件要求，理论上效果更好。但是在集束搜索的过程中，耗费的时间和资源太多。
但是，这些图像检索方法在图像库的数据量提高后就不能短时间响应完成检索，且精度达不到应用的标准。
因此，如何提高图像检索的精确度是本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供一种图像检索方法、装置、电子设备及计算机存储介质，能够提高图像检索的精确度。
第一方面，提供了一种图像检索方法，包括：
获取待检索图像的压缩向量；
基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离；其中，预设码本为基于样本训练图像，利用梯度下降算法确定的码本；码字表征样本训练图像所属的类别信息；
将各个距离中最小距离对应的码字，确定为目标码字；
从目标码字对应的数据库中确定待检索图像的目标图像。
可选地，基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离，包括：
获取预设码本对应的复合索引；
根据复合索引，确定预设码本中各个码字；
基于压缩向量和预设码本，分别确定压缩向量与各个码字之间的距离。
可选地，在获取预设码本对应的复合索引之前，方法还包括：
利用局部禁忌搜索算法，确定预设码本对应的复合索引。
可选地，在利用局部禁忌搜索算法，确定预设码本对应的复合索引之后，方法还包括：
存储预设码本和复合索引；
分别确定预设码本和复合索引的内存消耗信息。
可选地，方法还包括：
基于预设的目标函数，更新预设码本。
可选地，从目标码字对应的数据库中确定待检索图像的目标图像，包括：
基于待检索图像，穷尽搜索目标码字对应的数据库，确定目标图像。
可选地，在从目标码字对应的数据库中确定待检索图像的目标图像之后，方法还包括：
确定待检索图像对应的量化损失和/或召回率和/或准确率。
第二方面，提供了一种图像检索装置，包括：
获取模块，用于获取待检索图像的压缩向量；
第一确定模块，用于基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离；其中，预设码本为基于样本训练图像，利用梯度下降算法确定的码本；码字表征样本训练图像所属的类别信息；
第二确定模块，用于将各个距离中最小距离对应的码字，确定为目标码字；
第三确定模块，用于从目标码字对应的数据库中确定待检索图像的目标图像。
可选地，第一确定模块用于获取预设码本对应的复合索引；根据复合索引，确定预设码本中各个码字；基于压缩向量和预设码本，分别确定压缩向量与各个码字之间的距离。
可选地，第一确定模块还用于利用局部禁忌搜索算法，确定预设码本对应的复合索引。
可选地，第一确定模块还用于存储预设码本和复合索引；分别确定预设码本和复合索引的内存消耗信息。
可选地，第一确定模块还用于基于预设的目标函数，更新预设码本。
可选地，第三确定模块用于基于待检索图像，穷尽搜索目标码字对应的数据库，确定目标图像。
可选地，第三确定模块还用于确定待检索图像对应的量化损失和/或召回率和/或准确率。
第三方面，提供了一种电子设备，电子设备包括：
处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现第一方面或者第一方面任一可选的实现方式中的图像检索方法。
第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一可选的实现方式中的图像检索方法。
本发明实施例的图像检索方法、装置、电子设备及计算机存储介质，能够提高图像检索的精确度。该图像检索方法在获取待检索图像的压缩向量后，基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离。由于预设码本为基于样本训练图像，利用梯度下降算法确定的码本，故该预设码本更加准确，进而预设码本中表征样本训练图像所属的类别信息的码字也更加准确，进而能够更加准确地从目标码字对应的数据库中确定待检索图像的目标图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像检索方法的流程示意图；
图2是本发明实施例提供的一种对称距离计算示意图；
图3是本发明实施例提供的一种非对称距离计算示意图；
图4是本发明实施例提供的一种图像检索装置的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着互联网的发展，对图像检索的要求也逐日提高。但是，目前常见的图像检索方法在图像库的数据量提高后就不能短时间响应完成检索，且精度达不到应用的标准。
为了解决现有技术问题，本发明实施例提供了一种图像检索方法、装置、电子设备及计算机存储介质。下面首先对本发明实施例所提供的图像检索方法进行介绍。
图1是本发明实施例提供的一种图像检索方法的流程示意图。如图1所示，该图像检索方法可以包括：
S101、获取待检索图像的压缩向量。
S102、基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离；其中，预设码本为基于样本训练图像，利用梯度下降算法确定的码本；码字表征样本训练图像所属的类别信息。
为了更加准确地确定压缩向量与预设码本中各个码字之间的距离，在一个实施例中，基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离，可以包括：获取预设码本对应的复合索引；根据复合索引，确定预设码本中各个码字；基于压缩向量和预设码本，分别确定压缩向量与各个码字之间的距离。
在一个实施例中，在获取预设码本对应的复合索引之前，该方法还可以包括：利用局部禁忌搜索算法，确定预设码本对应的复合索引。在一个实施例中，在利用局部禁忌搜索算法，确定预设码本对应的复合索引之后，该方法还可以包括：存储预设码本和复合索引；分别确定预设码本和复合索引的内存消耗信息。
为了满足多场景图像检索的需求，在一个实施例中，该方法还可以包括：基于预设的目标函数，更新预设码本。
S103、将各个距离中最小距离对应的码字，确定为目标码字。
S104、从目标码字对应的数据库中确定待检索图像的目标图像。
为了更加准确地确定目标图像，在一个实施例中，从目标码字对应的数据库中确定待检索图像的目标图像，可以包括：基于待检索图像，穷尽搜索目标码字对应的数据库，确定目标图像。
为了检测图像检索质量，在一个实施例中，在从目标码字对应的数据库中确定待检索图像的目标图像之后，该方法还可以包括：确定待检索图像对应的量化损失和/或召回率和/或准确率。
该图像检索方法在获取待检索图像的压缩向量后，基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离。由于预设码本为基于样本训练图像，利用梯度下降算法确定的码本，故该预设码本更加准确，进而预设码本中表征样本训练图像所属的类别信息的码字也更加准确，进而能够更加准确地从目标码字对应的数据库中确定待检索图像的目标图像。
下面以一个实施例对上述内容进行说明，具体如下：
随着5G、物联网时代的到来以及数据维度的逐渐增加，传统的图像检索技术已经无法满足检索速度快，精度高的需求。随着量化技术到图像检索领域的引入，其对精度的提高非常之大，同时也能做到像哈希算法一样可以降低存储消耗。
乘积量化，从字面理解大概包括了两个过程：特征的分组量化过程和类别的笛卡尔积过程。假设有一个数据集，那么K-means的做法就是给定类别数目K，目标函数是所有样本到类中心的距离和最小，迭代计算优化目标函数，得到K个类中心和每个样本所属的类别。目标函数不变，乘积量化的做法是：
(1)数据集为K个类别，每个样本以一个矢量(vector)的形式表示，维数为d，将vector的各个分量分成m组。
(2)将所有vector的某组分量作为数据集，采用k-means算法得到k1/m个类中心，运行m次k-means算法，则每组都有k1/m个类中心，记这k1/m个类中心为一个集合。
(3)对上述得到的m个集合做笛卡尔积，就得到整个数据集的类中心了。
本实施例提供的图像检索方法与上述基于乘积量化的图像检索方法的不同点在于，上述数据集的类中心是通过做笛卡尔积得到的，乘积量化得到的结果要求vector的各组分量在理论上得线性无关，即正交。本实施例提供的图像检索方法不要求各组分量相互正交，类中心是通过加法实现得到的。因为约束的减弱，得到的类中心与原始数据的符合度差别也减少了，也即保真率上升了，对应的检索成功率也上升了。
对于上文提到的量化，在此对其作如下说明：
在数字信号处理领域，量化是将信号的连续取值(或大量可能的离散取值)近似为有限多个(或较少的)离散值的过程，矢量量化也是这种思想，是将数据集合X{x1,x2,…,xn},xi∈RD，X∈RD×N映射到一个有限集合中的函数，即
q(xi)∈C＝{ci|ci∈RD；i＝1,2,…,K} (1)
上式中映射称为量化编码，记作x→c(i(x))，集合C称为码本(codebook)，集合中的元素ci称为码字(codeword)，在其他文献中也称ci为中心(centroid)，本文涉及多索引量化码书和加法量化码书，为了区分这两个码书，本文用W表示多索引量化码书，C表示加法量化码书。C总共有K个码字，这些码字对空间进行划分，每个码字对应一个泰森多边形(Voronoi)区域。
其中，Voronoi区域定义为：平面上n个不重合种子点，把平面分为n个区域，使得每个区域内的点到它所在区域的种子点的距离比到其他区域种子点的距离近，每个区域称为该种子点的Voronoi区域。
量化器q(·)的质量通常由它产生的量化损失(quantization distortion)进行度量，即
Figure BDA0002423047910000071
映射函数i(·)称为编码器(encoder)，将矢量映射到码字在码书中的索引，c(·)称作解码器(decoder)，根据索引解码出对应的码字，本文使用C(k)表示在码书中第k个码字。distortion_error越小，量化器q(·)的质量越高。最小化量化损失E必须满足劳埃德最优性的两个条件：
1)x必须编码到在码书中与x距离最小的码字。
2)在编码器i(·)固定的情况下，码字c(i)是索引到第i个Voronoi区域的所有矢量的平均值。
常用的矢量量化方法是k-means方法，使用最大期望算法(Expectation-Maximization algorithm,EM)寻找最优的码本。该最大期望算法包括E步骤和M步骤。E步骤：将数据集合X中的矢量映射到码本中最近的码字；M步骤：对映射到同一个码字的矢量求均值来更新码字。
自从乘积量化编码方法出来以后，多码本的编码方法很受青睐，效果提升很大，乘积量化将原来的数据集按照维度划分多个子空间，独立量化每一个子空间，在解码的时候将每个子空间对应的编码码字连接起来，可以近似重构原空间的数据。乘积量化利用码书间笛卡尔乘积运算，可以产生指数级空间的码字。对于第m个码本的编码和解码分别使用下标表示：im(·)，Cm(·)。
本实施例提供的图像检索方法的整体方案设计如下：
该图像检索方法中所使用的加法量化方法，在构造码本(各组分量的中心)时，不再使用k-means聚类，而是通过梯度下降和禁忌搜索方法得到。因此方案架构设计整体方案分为三个阶段：训练(train)阶段、编码(encode)阶段、检索(search)阶段。
train阶段：给定随机初始化的M个子码本
Figure BDA0002423047910000081
目标函数为：
Figure BDA0002423047910000082
再利用EM方法优化目标函数，E步骤:固定
Figure BDA0002423047910000083
优化
Figure BDA0002423047910000084
M步骤：固定/>
Figure BDA0002423047910000085
优化/>
Figure BDA0002423047910000086
在以往的方法中，优化/>
Figure BDA0002423047910000087
是一个最小二乘问题，在每一步迭代都有最优解，但是优化
Figure BDA0002423047910000088
矢量编码，是一个全连接的离散高阶马尔可夫随机场问题，这是一个NP-hard问题。
本文使用的局部禁忌搜索方法来求解该矢量编码的近似最优解，禁忌搜索是一种启发式搜索算法，使用N个组{I1,I2,I3,…,IN}，每个组中存着对应每个编码矢量x的一个可能的分量，其中一个值被更新之后，将该更新值加入禁忌表中，在一定的迭代次数里不再采用禁忌表中的值作为该值的更新值。
初始化及迭代过程：禁忌表设置为空，大小位置为20，可根据码本大小适当调整，禁忌表根据先进先出的原则进行禁忌和解禁，有十分优秀的解(distortion低于所有值一定程度)时也可以提前解禁，码本随机初始化，{I1,I2,I3,…,IN}初始化为1-n的随机值(n为码本中码字的总数量)，在要更新第m个值时，固定其他(除了m)个值，计算
Figure BDA0002423047910000089
Figure BDA00024230479100000810
取不在禁忌表中的最小的一个结果，并将对应的更新取值放入到禁忌表中，更新其他值也一样。如此循环得到最优的索引I。码本C的更新使用mini-batch梯度下降算法，根据目标函数可求得C的导数为C`＝XIT，从而得到更新公式为C＝XIT(IIT+λe)-1，其中e为单位矩阵，λ为预设系数。
encode阶段：根据train阶段得到的码本C及禁忌局部搜索算法，对基本集(base-set)进行编码，区别是不再更新码本C，而是只更新索引I。
search阶段：search阶段总共有对称距离计算和非对称距离计算两种方法。
对称距离计算：如图2所示，直接使用两个压缩向量x，y的索引值所对应的码字q(x)，q(y)之间的距离代替压缩向量x，y之间的距离，q(x)，q(y)之间的距离可以离线计算，在一个实例中，可以把q(x)，q(y)之间的距离制作成查找表，只要按照压缩向量的索引值进行对应的查找即可，而且速度非常快。对称距离计算公式如下：
Figure BDA0002423047910000091
非对称距离计算：如图3所示，使用x，q(y)之间的距离代替两个压缩向量x，y之间的距离，q(y)是压缩向量y的索引值所对应的码字。非对称距离计算公式如下：
Figure BDA0002423047910000092
在检索时，本方法先对量化之后的所有q(y)进行kmeans聚类算法得到类中心，当作对应点的索引(index)(实验中设置为256)，在检索时候就先通过压缩向量与类中心进行距离计算锁定最小距离的一个或几个，最后在该类中进行穷尽搜索，与直接进行穷尽搜索相比，该种方法对计算资源的需求大大减小，从而提高了搜索速度。
该图像检索方法的实验结果及设计如下：
(1)实验参数设置：
与传统的图像检索方法类似，本方法的参数设置参考了近几年近似图像检索，在设置码本大小时，将加法量化每个码本的码字个数K设置为256，这样存储码字索引就只需要一个字节，存储一个矢量的编码需要M个字节。加法量化的码本个数M一般设置为4，8，16，32，对应的存储一个矢量的消耗为32，64，128，256bit。禁忌表一般设置为13(可调)，在搜索时设置r和k为10000，r的取值越大准确率越高，相反搜索时间也就越长。
(2)量化失真(distortion)、召回率、准确率：
加法量化编码为有损压缩，其过程实质上是输入矢量和码字之和的匹配。其匹配的关键问题是重构矢量和输入原始矢量间的差异度量，也就是量化distortion，它反映了量化器的质量，在很大程度上决定了算法在检索时的性能表现。
召回率也叫查全率，是图像检索系统常用的评价标准，在近似近邻检索中常用的召回率标准是recall@r。recall@r是在众多的查询矢量中，最近邻排在返回结果前r个中的查询矢量比率。通过改变r，可以得到不同的recall@r值，recall@1是recall@r最重要的指标，因为recall@1代表的是众多的查询矢量中返回的结果第一个就是最近邻的比率，recal@r越高说明算法效果越好。
准确率(accuracy)，其定义是：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。延伸到图像检索，则是给定一个待检索图像，检索出来的结果中，正确结果占返回结果的比例，比如检索返回了10个结果，其中8个是正样本，则其准确率是80％。
(3)量化内存消耗分析：
本实施例的图像检索方法在检索阶段只需存储码本及其对应的索引。在高纬度大数据集中，存储索引编码内存消耗远远低于存储码本的内存消耗和运算资源消耗，从而提高了计算速度更快，降低了存储消耗。
本实施例的图像检索方法具有如下有益效果：
(1)该图像检索方法使用了梯度下降算法求解码本，使得码本的求解更加高效准确。
(2)该图像检索方法使用了局部禁忌搜索算法求解复合索引，通过坐标上升的方式，使得索引的求解更快，同时禁忌表的使用也让求得的解更不容易陷入局部最优，以得到更好的量化distortion和质量更好的复合索引。
(3)该图像检索方法在最后的search阶段，引入了kmeans算法对量化之后的矢量进行聚类建立索引表，使得最终检索预算量大大减少，运算速度大幅度上升。
下面对本发明实施例提供的一种图像检索装置、电子设备及计算机存储介质进行介绍，下文描述的图像检索装置、电子设备及计算机存储介质与上文描述的图像检索方法可相互对应参照。图4是本发明实施例提供的一种图像检索装置的结构示意图，如图4所示，该图像检索装置包括：
获取模块401，用于获取待检索图像的压缩向量；
第一确定模块402，用于基于压缩向量和预设码本，分别确定压缩向量与预设码本中各个码字之间的距离；其中，预设码本为基于样本训练图像，利用梯度下降算法确定的码本；码字表征样本训练图像所属的类别信息；
第二确定模块403，用于将各个距离中最小距离对应的码字，确定为目标码字；
第三确定模块404，用于从目标码字对应的数据库中确定待检索图像的目标图像。
可选地，在一个实施例中，第一确定模块402用于获取预设码本对应的复合索引；根据复合索引，确定预设码本中各个码字；基于压缩向量和预设码本，分别确定压缩向量与各个码字之间的距离。
可选地，在一个实施例中，第一确定模块402还用于利用局部禁忌搜索算法，确定预设码本对应的复合索引。
可选地，在一个实施例中，第一确定模块402还用于存储预设码本和复合索引；分别确定预设码本和复合索引的内存消耗信息。
可选地，在一个实施例中，第一确定模块402还用于基于预设的目标函数，更新预设码本。
可选地，在一个实施例中，第三确定模块404用于基于待检索图像，穷尽搜索目标码字对应的数据库，确定目标图像。
可选地，在一个实施例中，第三确定模块404还用于确定待检索图像对应的量化损失和/或召回率和/或准确率。
图4提供的图像检索装置中的各个模块具有实现图1所示实例中各个步骤的功能，并达到与图1所示图像检索方法相同的技术效果，为简洁描述，在此不再赘述。
图5是本发明实施例提供的一种电子设备的结构示意图。
电子设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关容灾设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。在特定实施例中，存储器502包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现图1所示图像检索方法。
在一个示例中，电子设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1所示图像检索方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种图像检索方法，其特征在于，包括：
获取待检索图像的压缩向量；
基于所述压缩向量和预设码本，分别确定所述压缩向量与所述预设码本中各个码字之间的距离；其中，所述预设码本为基于样本训练图像，利用梯度下降算法确定的码本；所述码字表征所述样本训练图像所属的类别信息；
将各个所述距离中最小距离对应的码字，确定为目标码字；
从所述目标码字对应的数据库中确定所述待检索图像的目标图像；
其中，所述基于所述压缩向量和预设码本，分别确定所述压缩向量与所述预设码本中各个码字之间的距离，包括：
利用局部禁忌搜索算法，通过坐标上升的方式，确定所述预设码本对应的复合索引；
获取所述预设码本对应的复合索引；
根据所述复合索引，确定所述预设码本中各个所述码字；
基于所述压缩向量和所述预设码本，分别确定所述压缩向量与各个所述码字之间的所述距离。
2.根据权利要求1所述的图像检索方法，其特征在于，在所述利用局部禁忌搜索算法，确定所述预设码本对应的复合索引之后，所述方法还包括：
存储所述预设码本和所述复合索引；
分别确定所述预设码本和所述复合索引的内存消耗信息。
3.根据权利要求1所述的图像检索方法，其特征在于，所述方法还包括：
基于预设的目标函数，更新所述预设码本。
4.根据权利要求1所述的图像检索方法，其特征在于，所述从所述目标码字对应的数据库中确定所述待检索图像的目标图像，包括：
基于所述待检索图像，穷尽搜索所述目标码字对应的数据库，确定所述目标图像。
5.根据权利要求1所述的图像检索方法，其特征在于，在所述从所述目标码字对应的数据库中确定所述待检索图像的目标图像之后，所述方法还包括：
确定所述待检索图像对应的量化损失和/或召回率和/或准确率。
6.一种图像检索装置，其特征在于，包括：
获取模块，用于获取待检索图像的压缩向量；
第一确定模块，用于基于所述压缩向量和预设码本，分别确定所述压缩向量与所述预设码本中各个码字之间的距离；其中，所述预设码本为基于样本训练图像，利用梯度下降算法确定的码本；所述码字表征所述样本训练图像所属的类别信息；
第二确定模块，用于将各个所述距离中最小距离对应的码字，确定为目标码字；
第三确定模块，用于从所述目标码字对应的数据库中确定所述待检索图像的目标图像；
其中，所述第一确定模块，具体用于利用局部禁忌搜索算法，通过坐标上升的方式，确定所述预设码本对应的复合索引；
获取所述预设码本对应的复合索引；
根据所述复合索引，确定所述预设码本中各个所述码字；
基于所述压缩向量和所述预设码本，分别确定所述压缩向量与各个所述码字之间的所述距离。
7.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的图像检索方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的图像检索方法。
CN202010211703.4A 2020-03-24 2020-03-24 图像检索方法、装置、电子设备及计算机存储介质 Active CN113449126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211703.4A CN113449126B (zh) 2020-03-24 2020-03-24 图像检索方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211703.4A CN113449126B (zh) 2020-03-24 2020-03-24 图像检索方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113449126A CN113449126A (zh) 2021-09-28
CN113449126B true CN113449126B (zh) 2023-07-14

Family

ID=77806398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211703.4A Active CN113449126B (zh) 2020-03-24 2020-03-24 图像检索方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113449126B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014176641A1 (en) * 2013-05-03 2014-11-06 National Ict Australia Limited Image clustering for estimation of illumination spectra
CN104391987A (zh) * 2014-12-13 2015-03-04 吉林大学 基于移动平台下大规模目标识别的方法
CN108520500A (zh) * 2018-04-02 2018-09-11 北京交通大学 基于禁忌搜索的图像中天空区域的识别方法
CN109948659A (zh) * 2019-02-23 2019-06-28 天津大学 一种提升矢量图位图分类精确度的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645287B2 (en) * 2010-02-04 2014-02-04 Microsoft Corporation Image tagging based upon cross domain context
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
CN104199922B (zh) * 2014-09-01 2019-05-03 中国科学院自动化研究所 一种基于局部相似哈希算法的大规模图像库检索方法
CN104795074B (zh) * 2015-03-19 2019-01-04 清华大学 多模式多级码本联合优化方法
CN107153670B (zh) * 2017-01-23 2020-08-14 合肥麟图信息科技有限公司 基于多幅图像融合的视频检索方法及系统
CN110609916A (zh) * 2019-09-25 2019-12-24 四川东方网力科技有限公司 视频图像数据检索方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014176641A1 (en) * 2013-05-03 2014-11-06 National Ict Australia Limited Image clustering for estimation of illumination spectra
CN104391987A (zh) * 2014-12-13 2015-03-04 吉林大学 基于移动平台下大规模目标识别的方法
CN108520500A (zh) * 2018-04-02 2018-09-11 北京交通大学 基于禁忌搜索的图像中天空区域的识别方法
CN109948659A (zh) * 2019-02-23 2019-06-28 天津大学 一种提升矢量图位图分类精确度的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A genetic clustering algorithm guided by a descent algorithm;Scott, GP 等;《PROCEEDINGS OF THE 2001 CONGRESS ON EVOLUTIONARY COMPUTATION》;第734-740页 *
Tabu search-based relaxation method for image contextual classification;Chitroub, S.等;《1st IEEE International Symposium on Signal Processing and Information Technology》;第1-5页 *
基于智能计算和PCNN的图像处理与检索识别技术研究;高明俊;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-1295 *

Also Published As

Publication number Publication date
CN113449126A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US11392596B2 (en) Efficient inner product operations
Wei et al. Projected residual vector quantization for ANN search
CN111078639B (zh) 数据标准化方法、装置以及电子设备
CN106777388B (zh) 一种双重补偿的多表哈希图像检索方法
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN109684851A (zh) 软件质量评估方法、装置、设备及计算机存储介质
Ozan et al. K-subspaces quantization for approximate nearest neighbor search
CN117316333B (zh) 基于通用的分子图表示学习模型的逆合成预测方法及装置
JP2020515986A (ja) ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索（ｎｎｓ）方法
CN114817651B (zh) 数据存储方法、数据查询方法、装置和设备
KR20220092776A (ko) 신경망 모델 양자화 장치 및 방법
CN109191443A (zh) 基于序列信息与波段质量的高光谱图像波段选择方法
CN111507297A (zh) 一种基于度量信息矩阵的雷达信号识别方法及系统
KR102615073B1 (ko) 유사도 검색을 위한 신경 해싱
CN113449126B (zh) 图像检索方法、装置、电子设备及计算机存储介质
CN117112979B (zh) 一种光谱测量过程中误差补偿优化方法
CN117540135A (zh) 一种基于下界函数与全局约束的快速自适应动态时间规整方法
WO2023065696A1 (zh) 一种最近邻搜索方法、装置、终端和存储介质
CN109634953A (zh) 一种面向高维大数据集的加权量化哈希检索方法
CN112418298B (zh) 数据检索方法、装置以及计算机可读存储介质
CN110830044B (zh) 基于稀疏最小二乘优化的数据压缩方法
CN107403628A (zh) 一种基于压缩感知的语音信号重构方法
CN115309891A (zh) 一种文本分类方法、装置、设备及计算机存储介质
WO2016110125A1 (zh) 高维向量的哈希方法、向量量化方法及装置
CN116089491B (zh) 基于时序数据库的检索匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant