CN110134804B - 图像检索方法、装置及存储介质 - Google Patents
图像检索方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110134804B CN110134804B CN201910419038.5A CN201910419038A CN110134804B CN 110134804 B CN110134804 B CN 110134804B CN 201910419038 A CN201910419038 A CN 201910419038A CN 110134804 B CN110134804 B CN 110134804B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- low
- candidate
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像检索方法、装置及存储介质，属于数据检索领域。该方法包括：获取图像特征倒排表对应的图索引结构，基于目标图像特征和该图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征，以及获取最近邻图像特征对应的候选图像集；基于残差特征码本，对目标图像特征与最近邻图像特征之间的残差特征进行乘积量化，得到残差特征的编码，残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；基于残差特征的编码，以及候选图像集中候选图像的候选残差特征的编码，从候选图像集中获取候选图像作为图像检索结果。如此，可以在保证图像检索效率的前提下，提高图像检索的准确度。
Description
技术领域
本公开涉及数据检索领域，尤其涉及一种图像检索方法、装置及存储介质。
背景技术
在图像检索领域，通常采用最近邻(NN，Nearest Neighbor)检索方法进行图像检索，最近邻检索是指根据图像的相似性，从图像数据库中寻找与目标图像最相似的图像作为最近邻图像。但是，随着互联网上图像及视频资源的不断增加，面对庞大的数据量以及高维的图像信息，NN检索已无法获得理想的检索效果与可接受的检索时间，基于此，研究人员提出了ANN(Approximate Nearest Neighbor，近似最近邻)检索方法。ANN检索是指利用数据量增大后图像之间会形成簇状聚集分布的特性，通过分析聚类的方法对图像数据库中的图像进行分类或编码，对于目标图像根据其图像特征预测其所属的图像类别，返回类别中的部分或全部作为检索结果。
相关技术中，采用近似最近邻检索方法的图像检索通常包括如下步骤：1，采用暴力计算法，从图像特征倒排表中获取目标图像特征的最近邻图像特征。其中，暴力计算法是指遍历计算目标图像特征与图像特征倒排表中的每个图像特征的相似距离，将相似距离最小的图像特征获取为最近邻图像特征；图像特征倒排表包括多个图像特征以及每个图像特征对应的图像集；目标图像特征是指待检索的目标图像的图像特征。2，从图像特征倒排表中获取最近邻图像特征对应的图像集，作为候选图像集。3，确定目标图像特征与最近邻图像特征之间的残差特征，基于残差特征码本，对残差特征进行乘积量化，得到残差特征的编码，残差特征码本是预先对多个样本图像的样本残差特征进行乘积量化得到。4，基于残差特征的编码，以及候选图像集包括的多个候选图像的候选残差特征的编码，确定残差特征分别与这多个候选图像的候选残差特征的相似距离，然后按照候选残差特征与该残差特征的相似距离从小到大的顺序，从这多个候选图像中获取前N个候选图像作为检索结果。
相关技术中，由于采用暴力计算法查询最近邻图像特征时，需要遍历计算目标图像特征与图像特征倒排表中的每个图像特征的相似距离，因此查询过程耗时较长。而且，在对残差特征进行乘积量化时产生的量化误差也会影响图像检索的准确度，导致图像检索结果的准确度较低。
发明内容
本公开提供了一种图像检索方法、装置及存储介质，属于数据检索领域，能够克服相关技术中存在的查询最近邻图像特征的过程耗时较长，以及图像检索准确度较低的问题。
根据本公开实施例的第一方面，提供一种图像检索方法，包括：
当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是采用最优乘积量化对多个第一样本图像的样本残差特征进行乘积量化得到；
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
可选地，所述获取图像特征倒排表对应的图索引结构，包括：
对于所述多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定所述特征节点所属的索引图的层数；
基于每个特征节点所属的索引图的层数，确定所述多个索引图中每个索引图包括的特征节点；
将每个索引图包括的特征节点，按照参考规则进行连接，得到所述图索引结构，所述参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。
可选地，所述基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，包括：
在所述多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与所述目标图像特征对应的目标特征节点距离最近的特征节点；
将所述表层索引图的下一层索引图作为当前索引图，在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点；
若所述当前索引图不是所述第一层索引图，则将所述当前索引图的下一层索引图作为所述当前索引图，并重复执行在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点的步骤，直至所述当前索引图为所述第一索引图为止；
将在所述第一层索引图中确定出的特征节点所对应的第一图像特征，确定为所述最近邻图像特征。
可选地，所述基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，包括：
对所述残差特征进行降维处理，得到多个低维特征向量；
对于所述多个低维特征向量中的每个低维特征向量，从所述残差特征码本中确定所述每个低维特征向量所属的低维子空间对应的多个第一聚类中心的索引；
从所述低维子空间对应的多个第一聚类中心的索引中，获取与所述每个低维特征向量的相似距离最小的第一聚类中心的索引，作为所述每个低维特征向量的索引；
将所述多个低维特征向量的索引，确定为所述残差特征的编码。
可选地，所述基于残差特征码本，对所述残差特征进行乘积量化之前，还包括：
对所述多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量；
采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量，所述参考正交矩阵是基于所述最优乘积量化法确定得到；
采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心；
对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
可选地，所述基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为检索结果，包括：
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征与所述多个候选图像的候选残差特征的相似距离；
按照候选残差特征与所述残差特征的相似距离从小到大的顺序，从所述多个候选图像中获取前N个候选图像作为检索结果。
可选地，所述残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引；
所述基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征分别与所述多个候选图像的候选残差特征的相似距离，包括：
对于所述多个候选图像中的任一候选图像，基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，所述每个候选低维特征向量对应的低维特征向量是指所述多个低维特征向量中与所述每个候选低维特征向量属于同一低维子空间的低维特征向量；
将所述候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为所述残差特征与所述候选图像的候选残差特征之间的相似距离。
可选地，所述基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，包括：
基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取所述每个候选低维特征向量与对应的低维特征向量之间的相似距离；
其中，所述索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，所述多个索引对包括所述每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对。
可选地，所述获取图像特征倒排表对应的图索引结构之前，还包括：
获取多个第二图像特征，所述多个第二图像特征为多个第二样本图像的图像特征；
采用K均值聚类算法，对所述多个第二图像特征进行聚类，得到K个第二聚类中心，所述K个第二聚类中心为所述多个第一图像特征，所述K大于第一阈值；
对于多个第三图像特征中的每个第三图像特征，从所述K个第二聚类中心中确定与所述每个第三图像特征的相似距离最小的第二聚类中心，将所述每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到所述图像特征倒排表，所述多个第三图像特征为多个第三样本图像的图像特征。
根据本公开实施例的第二方面，提供了一种图像检索装置，所述装置包括：
第一获取模块，用于当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
第二获取模块，用于基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
量化模块，用于确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到，；
第三获取模块，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
可选地，所述第一获取模块用于：
对于所述多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定所述特征节点所属的索引图的层数；
基于每个特征节点所属的索引图的层数，确定所述多个索引图中每个索引图包括的特征节点；
将每个索引图包括的特征节点，按照参考规则进行连接，得到所述图索引结构，所述参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。
可选地，所述第二获取模块用于：
在所述多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与所述目标图像特征对应的目标特征节点距离最近的特征节点；
将所述表层索引图的下一层索引图作为当前索引图，在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点；
若所述当前索引图不是所述第一层索引图，则将所述当前索引图的下一层索引图作为所述当前索引图，并重复执行在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点的步骤，直至所述当前索引图为所述第一索引图为止；
将在所述第一层索引图中确定出的特征节点所对应的第一图像特征，确定为所述最近邻图像特征。
可选地，所述量化模块用于：
对所述残差特征进行降维处理，得到多个低维特征向量；
对于所述多个低维特征向量中的每个低维特征向量，从所述残差特征码本中确定所述每个低维特征向量所属的低维子空间对应的多个第一聚类中心的索引；
从所述低维子空间对应的多个第一聚类中心的索引中，获取与所述每个低维特征向量的相似距离最小的第一聚类中心的索引，作为所述每个低维特征向量的索引；
将所述多个低维特征向量的索引，确定为所述残差特征的编码。
可选地，所述装置还包括码本生成模块，所述码本生成模块用于：
对所述多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量；
采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量，所述参考正交矩阵是基于所述最优乘积量化法确定得到；
采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心；
对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
可选地，所述第三获取模块包括：
确定单元，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征与所述多个候选图像的候选残差特征的相似距离；
获取单元，用于按照候选残差特征与所述残差特征的相似距离从小到大的顺序，从所述多个候选图像中获取前N个候选图像作为检索结果。
可选地，所述残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引，所述确定单元用于：
对于所述多个候选图像中的任一候选图像，基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，所述每个候选低维特征向量对应的低维特征向量是指所述多个低维特征向量中与所述每个候选低维特征向量属于同一低维子空间的低维特征向量；
将所述候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为所述残差特征与所述候选图像的候选残差特征之间的相似距离。
可选地，所述确定单元用于：
基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取所述每个候选低维特征向量与对应的低维特征向量之间的相似距离；
其中，所述索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，所述多个索引对包括所述每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对。
可选地，所述装置还包括倒排表构建模块，所述倒排表构建模块用于：
获取多个第二图像特征，所述多个第二图像特征为多个第二样本图像的图像特征；
采用K均值聚类算法，对所述多个第二图像特征进行聚类，得到K个第二聚类中心，所述K个第二聚类中心为所述多个第一图像特征，所述K大于第一阈值；
对于多个第三图像特征中的每个第三图像特征，从所述K个第二聚类中心中确定与所述每个第三图像特征的相似距离最小的第二聚类中心，将所述每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到所述图像特征倒排表，所述多个第三图像特征为多个第三样本图像的图像特征。
根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行以下图像检索方法：
当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是基于最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行以下图像检索方法：
当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是基于最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
根据本公开实施例的第五方面，提供了一种计算机程序产品，用于执行以下图像检索方法：
当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差码本是基于最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，当基于目标图像接收到图像检索指令时，可以先获取图像特征倒排表对应的图索引结构，然后基于目标图像特征和图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征，由于图索引结构包括与倒排表中的特征对应的且节点数依次递减的多层索引图，因此，在查询最近邻图像特征时可以从节点数最少的表层索引图开始逐层往下定位最近邻图像特征，在此过程中无需遍历计算与图像特征倒排表中每个图像特征的相似距离，大幅缩短了查询时长。而且，在基于残差特征码本，对残差特征进行乘积量化时，由于残差特征码本是预先基于最优乘积量化规则对多个样本残差特征进行乘积量化得到，因此可以保证乘积量化过程中产生的量化误差最小，从而有效减少了量化误差，提高了图像检索结果的准确度。另外，基于图索引结构查询最近邻图像特征缩短的查询时长还能够在一定程度上抵消最优乘积量化耗费的量化时长，使得本公开的检索时长相对于相关技术没有显著增加，因此，在保证图像检索效率的前提下，提高了图像检索准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种实施环境的示意图。
图2是根据一示例性实施例示出的一种图像特征倒排表和残差特征码本的构建方法的流程图。
图3是根据一示例性实施例示出的一种图像检索方法的流程图。
图4是根据一示例性实施例示出的一种图像检索装置的结构框图。
图5是根据一示例性实施例提供的一种终端的结构框图。
图6是根据一示例性实施例示出的一种服务器的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的图像检索方法主要用于从大规模图像数据中检索与目标图像相似度较高的图像，具体可以应用于图像检索或视频检索场景中，或者应用于图像推荐或视频推荐等场景中。示例的，应用于大规模高维图像数据的快速检索场景中。其中，所述图像可以为静态图像或动态图像，在视频检索场景中时，所述图像可以为视频图像。比如，视频应用可以根据用户的视频观看记录，按照本公开实施例提供的图像检索方法，从视频数据库中检索与历史观看视频相似度较高的视频，并将检索出的视频推荐给用户。
本公开实施例涉及的实施环境可以包括终端或服务器。图1是本公开实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括终端10和服务器20，终端10安装有多媒体应用11，多媒体应用11用于为用户提供图像数据或视频数据，服务器20为多媒体应用11的后台服务器。用户使用多媒体应用11的过程中，终端10可以根据用户的操作向后台服务器20发送图像检索请求或视频检索请求，服务器20根据终端10发送的请求，按照本公开实施例提供的图像检索方法检索出检索结果，进一步地，还可以将检索结果返回给终端10，由终端10进行展示。
需要说明的是，图像检索的总体框架通常包括两个部分：1，线下倒排表和特征码本的构建。2，线上查询搜索。其中，线上查询搜索的过程通常需要基于线下构建的倒排表和特征码本实现。为了便于说明，接下来将对线下和线上部分分别进行介绍。
图2是根据一示例性实施例示出的一种图像特征倒排表和残差特征码本的构建方法的流程图，该方法可以应用于终端或服务器中，可以线下执行，为了便于说明，本公开实施例将以应用于服务器中为例进行说明，如图2所示，该方法包括如下步骤：
步骤201：采用K均值聚类算法，对多个第二图像特征进行聚类，根据聚类结果构建图像特征倒排表。
其中，多个第二图像特征是指多个第二样本图像的图像特征。示例的，可以从图像数据库中获取多个样本图像，然后对这多个样本图像分别进行特征提取，得到多个图像特征，这多个图像特征即为多个第二图像特征。
其中，K均值聚类算法(K-means)是指先随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个初始的聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件，终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
通过采用K均值聚类算法，对多个第二图像特征进行聚类，可以得到K个第二聚类中心，之后即可根据这K个第二聚类中心来构建图像特征倒排表。其中，每个第二聚类中心均是一个第二图像特征。
其中，K的值可以由服务器默认设置，也可以由用户根据实际需要设置。作为一个示例，可以将K均值聚类算法的K值设置的较大，以增大图像特征倒排表的字典长度，从而有效减少量化误差，使得索引的召回率得到有效提升。示例的，K大于第一阈值，第一阈值是一个较大的值，比如，第一阈值为256或1000等。
具体地，步骤201可以包括如下步骤2011-2013：
步骤2011：获取多个第二图像特征。
作为一个示例，可以先获取多个而第二样本图像，然后对这多个第二样本图像分别进行特征提取，得到多个第二图像特征。
步骤2012：采用K均值聚类算法，对多个第二图像特征进行聚类，得到K个第二聚类中心。
步骤2013：对于多个第三图像特征中的每个第三图像特征，从K个第二聚类中心中确定与每个第三图像特征的相似距离最小的第二聚类中心，将每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到图像特征倒排表。
其中，多个第三图像特征为多个第三样本图像的图像特征，这多个第三样本图像可以为上述多个第二样本图像，也可以包括上述多个第二样本图像和其他样本图像，或者，也可以为上述多个第二样本图像之外的其他样本图像，本公开实施例对此不做限定。
另外，还可以为K个第二聚类中心中的每个第二聚类中心构建一个对应的图像集，图像集中包括多张图像，该图像集中的图像表示属于该第二聚类中心对应类别的图像。具体地，对于每个第三图像特征，可以从K个第二聚类中心中确定与该第三图像特征的相似距离最小的第二聚类中心，然后将该第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，这样既可将这多个第三样本图像分别归类至这K个聚类中心，得到图像特征倒排表。也即是，最终得到的图像特征倒排表包括K个第二聚类中心以及每个第二聚类中心对应的图像集。
其中，第三图像特征与第二聚类中心的相似距离用于指示该第三图像特征与该第二聚类中心的相似度，相似距离越小，相似度越高。该相似距离可以为欧式距离、马式距离、夹角余弦距离或马哈顿距离等，本公开实施例对此不做限定。
需要说明的是，本公开实施例仅是以通过K均值聚类算法构建图像特征倒排表为例进行说明，而在其他实施例中，还可以通过其他方式构建图像特征倒排表，只要保证图像特征倒排表中包括多个图像特征以及每个图像特征对应的图像集即可。因此，为了便于说明，还可以称图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，该多个第一图像特征可以为上述K个第二聚类中心，也可以为其他图像特征，本公开实施例对此不做限定。
步骤202：构造图像特征倒排表对应的图索引结构。
其中，图索引结构能够对图像特征进行快速索引的索引结构，其包括节点数依次递减的多层索引图，第一层索引图包括图像特征倒排表包括的多个第一图像特征在空间上对应的特征节点。另外，每层索引图包括的各个特征节点还可以按照参考规则进行连接，该参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。进一步地，每个特征节点的连接点数还可以均等于第二阈值。
示例的，上述图索引结构可以为HNSW(Hierarchical Navigable Small World，层次可导小世界)图索引结构。若图索引结构为HNSW图索引结构，则可以基于HNSW算法，构造图像特征倒排表对应的图索引结构。
具体地，步骤202包括如下步骤2021-2023：
步骤2021：对于图像特征倒排表包括的多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定该特征节点所属的索引图的层数。
其中，该特征节点所属的索引图的层数用于指示每个特征节点能够进入到的层数，即该特征节点可以位于哪几层索引图。例如，若确定一个特征节点所属的索引图的层数为3，则表示第1层-第3层索引图中均包括该特征节点。
示例的，该随机函数可以为floor(-in(uniform(0,1))×ml)，其中，×为乘号，floor()的含义是向下取整，uniform(0,1)的含义是在均匀分布中随机取出一个值，in()表示取对数，ml为预先设置的一个常数。
步骤2022：基于每个特征节点所属的索引图的层数，确定多个索引图中每个索引图包括的特征节点。
确定好每个特征节点所属的索引图的层数之后，也就可以获知每个特征节点可以位于哪几层索引图，进而也就能确定出每个索引图包括哪些特征节点。
步骤2023：将每个索引图包括的特征节点，按照参考规则进行连接，得到该图索引结构。
将每个索引图包括的特征节点进行连接，是为了根据连接关系进行快速查找。其中，与一个特征节点连接的其他特征节点可以称为该特征节点的友点。
其中，参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。进一步地，每个连接点数目还可以等于第二阈值。以图索引结构为HNSW图索引结构为例，可以基于HNSW算法对每个索引图包括的特征节点进行连接。
步骤203：采用最优乘积量化法，对多个样本残差特征进行乘积量化，根据量化结果构建残差特征码本。
为了便于在查询过程中快速对待检索图像特征的残差特征进行乘积量化，可以先线下构建残差特征码本，该残差特征码本用于查询任一残差特征的编码。
其中，最优乘积量化法(OPQ，Optimal Product Quantization)是一种优化的乘积量化法，用于在保证量化误差最小的情况下进行乘积量化。采用最优乘积量化法对残差特征进行乘积量化，可以使得量化得到的各个子空间的方差较为接近，比如，量化后的各个子空间的方差的差值可以小于第三阈值，从而提高了聚类效果，有效减少了量化误差。
具体地，步骤203包括如下步骤2031-2034：
步骤2031：对多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量。
样本残差特征通常为高维特征向量，处理过程复杂，通过对样本残差特征进行降维处理，可以将其转换为低维特征向量，从而减小了特征处理的复杂度。对样本残差特征进行降维处理，也即是对高维特征向量按照向量维度进行切分，得到多个第一低维特征向量。比如，若样本残差特征为D维特征向量，则可以将该D维空间切分为M份，得到M个D/M维特征向量。
步骤2032：采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量。
其中，参考正交矩阵是基于最优乘积量化法确定得到。比如，可以对量化误差函数进行最小值求解，得到参考正交矩阵。或者，对量化误差函数进行最小值求解，得到初始正交矩阵后，对初始正交矩阵迭代优化，得到参考正交矩阵。
步骤2033：采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心。
步骤2034：对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
比如，若多个低维子空间的数目为2，对于这2个低维子空间来说，每个低维子空间对应K个第一聚类中心。第1个低维子空间对应的K个第一聚类中心可以按序编号，每个第一聚类中心的编号即可第一聚类中心的索引，比如，K个第一聚类中心的编号依次为1,2,3,..,K。同理，对于第2个低维子空间对应的K个第一聚类中心也可以按序编号，并将编号作为索引。
需要说明的是，本公开实施例仅是以在步骤202之后执行步骤203为例进行说明，而在其他实施例中，步骤202和步骤203还可以并行执行，或者先执行步骤203再执行步骤202，本公开实施例对此不做限定。
还需要说明的是，本公开实施例仅是以线下执行上述步骤201-203为例进行说明，而在其他实施例中，任一步骤可以线上执行，本公开实施例对此不做限定。
图3是根据一示例性实施例示出的一种图像检索方法的流程图，该方法可以应用于终端或服务器中，可以线上执行，为了便于说明，本公开实施例将以应用于服务器中为例进行说明，如图3所示，该方法包括如下步骤：
步骤301：当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构。
其中，该图像检索指令用于触发检索目标图像的相似图像。该图像检索指令可以由用户操作触发，也可以由服务器触发，本申请实施例对此不做限定。
示例的，用户在查看目标图像的过程中，可以通过点击“更多图像”选项触发该图像检索指令。或者，服务器可以在检测到当前信息满足对目标图像的相似图像进行检索的检索条件时，确定接收到该图像检索指令。其中，该检索条件可以为检测到用户对目标图像的查看操作，或者检测用户对目标图像的查看时长大于时长阈值，或用户对目标图像的查看次数大于次数阈值等等。
其中，图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点。
其中，多个第一图像特征是指多个第一图像的图像特征，每个第一图像特征对应的图像集是指具有该第一图像特征或近似图像特征的图像集合，每个图像集包括多张图像。
具体地，可以获取预先构建的图索引结构，也可以按照上述步骤202的方式构建图索引结构，本公开实施例对此不做限定。
步骤302：基于目标图像特征和该图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征。
其中，目标图像特征是指目标图像的图像特征。目标图像特征的最近邻图像特征是指图像特征倒排表包括的多个第一图像特征中与目标图像特征的相似距离最小的第一图像特征，即与目标图像特征最相似的第一图像特征。
具体地，基于目标图像特征和该图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征的操作可以包括如下步骤3021-3024：
步骤3021：在多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与目标图像特征对应的目标特征节点距离最近的特征节点。
其中，该起始节点可以随机选择，或者由服务器默认设置，或者由用户设置，本公开实施例对此不做限定。
步骤3022：将表层索引图的下一层索引图作为当前索引图，在当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与目标特征节点距离最近的特征节点。
步骤3023：若当前索引图不是第一层索引图，则将当前索引图的下一层索引图作为当前索引图，并重复执行在当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与目标特征节点距离最近的特征节点的步骤，直至当前索引图为第一索引图为止。
步骤3024：将在第一层索引图中确定出的特征节点所对应的第一图像特征，确定为最近邻图像特征。
也即是，先从节点数较少的索引图中查找与目标特征节点距离最近的特征节点，再跳转至节点数较多的索引图中，以在上层查找到的节点为起点进行查找，如此，可以建立查找的快速通道，先在上层粗略查找，再在底层进行精细查找，从而大幅提高了查找效率。
步骤303：从图像特征倒排表中，获取最近邻图像特征对应的图像集，得到候选图像集。
也即是，将图像特征倒排表与最近邻图像特征对应的图像集，获取为候选图像集。
步骤304：确定目标图像特征与最近邻图像特征之间的残差特征。
具体地，计算目标图像特征与最近邻图像特征之间的差值，将该差值作为残差特征。
步骤305：基于残差特征码本，对残差特征进行乘积量化，得到残差特征的编码。
其中，残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到。
具体地，可以先对残差特征进行降维处理，得到多个低维特征向量，然后，对于这多个低维特征向量中的每个低维特征向量，从残差特征码本中确定该低维特征向量所属的低维子空间对应的多个第一聚类中心的索引，从该低维子空间对应的多个第一聚类中心的索引中，获取与该低维特征向量的相似距离最小的第一聚类中心的索引，作为该低维特征向量的索引。之后，将多个低维特征向量的索引，确定为残差特征的编码。
比如，假设对残差特征进行降维处理，得到2个低维特征向量，残差特征码本包括2个低维子空间对应的第一聚类中心，每个低维子空间对应有8个第一聚类中心，则若对于第1个低维特征向量，确定第1个低维特征向量与第1个低维子空间对应的第2个第一聚类中心的相似距离最小，即索引为2，对于第2个低维特征向量，确定第2个低维特征向量与第2个低维子空间对应的第3个第一聚类中心的相似距离最小，索引为3，则可以确定该残差特征的编码为“2-3”。
由于残差码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到，因此，基于残差特征码本，对残差特征进行乘积量化，量化后的残差特征与量化前的残差特征之间的量化误差也较小。
步骤306：基于残差特征的编码，以及候选图像集包括的多个候选图像的候选残差特征的编码，从多个候选图像中获取候选图像作为目标图像的图像检索结果。
具体地，可以先基于该残差特征的编码，以及候选图像集包括的多个候选图像的候选残差特征的编码，确定残差特征与多个候选图像的候选残差特征的相似距离，然后，按照候选残差特征与残差特征的相似距离从小到大的顺序，从这多个候选图像中获取前N个候选图像作为目标图像的图像检索结果。
具体地，若残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引，则基于残差特征的编码，以及候选图像集包括的多个候选图像的候选残差特征的编码，确定残差特征分别与多个候选图像的候选残差特征的相似距离的操作包括如下步骤3061-3062：
步骤3061：对于多个候选图像中的任一候选图像，基于候选图像的每个候选低维特征向量的索引，以及每个候选低维特征向量对应的低维特征向量的索引，确定每个候选低维特征向量与对应的低维特征向量之间的相似距离。
其中，每个候选低维特征向量对应的低维特征向量是指多个低维特征向量中与每个候选低维特征向量属于同一低维子空间的低维特征向量。
作为一个示例，可以基于候选图像的每个候选低维特征向量的索引，从残差特征码本中获取该索引对应的聚类中心，并基于该低维特征向量的索引，从残差特征码本中获取该索引对应的聚类中心，然后计算这两个聚类中心的相似距离作为该候选低维特征向量与对应的低维特征向量之间的相似距离。
作为另一示例，还可以基于候选图像的每个候选低维特征向量的索引，以及每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取每个候选低维特征向量与对应的低维特征向量之间的相似距离。其中，该索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，该多个索引对包括每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对。
也即是，可以先基于残差特征码本，构建索引距离表，该索引距离表包括与多个低维子空间对应的索引距离表。具体地，对于每个低维子空间，计算该低维子空间对应的K个第二聚类中心中任意两个第二聚类中心的相似距离，并将该任意两个第二聚类中心的索引组成的索引对以及该相似距离对应存储在该低维子空间对应的索引距离表。
示例的，可以线下构建该索引距离表，则在线上进行查询搜索时，即可根据低维特征向量的索引以及任一候选低维特征向量的索引，通过查表快速获取该低维特征向量与该任一候选低维特征向量之间的相似距离。
步骤3062：将候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为残差特征与所述候选图像的候选残差特征之间的相似距离。
还需要说明的是，本公开实施例仅是以线上执行上述步骤301-306为例进行说明，而在其他实施例中，任一步骤可以线上执行，本公开实施例对此不做限定。
本公开实施例中，当基于目标图像接收到图像检索指令时，可以先获取图像特征倒排表对应的图索引结构，然后基于目标图像特征和图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征，由于图索引结构包括与倒排表中的特征对应的且节点数依次递减的多层索引图，因此，在查询最近邻图像特征时可以从节点数最少的表层索引图开始逐层往下定位最近邻图像特征，在此过程中无需遍历计算与图像特征倒排表中每个图像特征的相似距离，大幅缩短了查询时长。而且，在基于残差特征码本，对残差特征进行乘积量化时，由于残差特征码本是预先基于最优乘积量化规则对多个样本残差特征进行乘积量化得到，因此可以保证乘积量化过程中产生的量化误差最小，从而有效减少了量化误差，提高了图像检索结果的准确度。另外，基于图索引结构查询最近邻图像特征缩短的查询时长还能够在一定程度上抵消最优乘积量化耗费的量化时长，使得本公开的检索时长相对于相关技术没有显著增加，因此，能够在保证图像检索效率的前提下，提高图像检索准确度。
图4是根据一示例性实施例示出的一种图像检索装置的结构框图，该装置可以集成在终端或服务器中。参照图4，该装置包括第一获取模块401，第二获取模块402，量化模块403和第三获取模块404。
第一获取模块401，用于当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
第二获取模块402，用于基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指目标图像的图像特征；
量化模块403，用于确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到，；
第三获取模块404，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
可选地，所述第一获取模块401用于：
对于所述多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定所述特征节点所属的索引图的层数；
基于每个特征节点所属的索引图的层数，确定所述多个索引图中每个索引图包括的特征节点；
将每个索引图包括的特征节点，按照参考规则进行连接，得到所述图索引结构，所述参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。
可选地，所述第二获取模块402用于：
在所述多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与所述目标图像特征对应的目标特征节点距离最近的特征节点；
将所述表层索引图的下一层索引图作为当前索引图，在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点；
若所述当前索引图不是所述第一层索引图，则将所述当前索引图的下一层索引图作为所述当前索引图，并重复执行在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点的步骤，直至所述当前索引图为所述第一索引图为止；
将在所述第一层索引图中确定出的特征节点所对应的第一图像特征，确定为所述最近邻图像特征。
可选地，所述量化模块403用于：
对所述残差特征进行降维处理，得到多个低维特征向量；
对于所述多个低维特征向量中的每个低维特征向量，从所述残差特征码本中确定所述每个低维特征向量所属的低维子空间对应的多个第一聚类中心的索引；
从所述低维子空间对应的多个第一聚类中心的索引中，获取与所述每个低维特征向量的相似距离最小的第一聚类中心的索引，作为所述每个低维特征向量的索引；
将所述多个低维特征向量的索引，确定为所述残差特征的编码。
可选地，所述装置还包括码本生成模块，所述码本生成模块用于：
对所述多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量；
采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量，所述参考正交矩阵是基于所述最优乘积量化法确定得到；
采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心；
对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
可选地，所述第三获取模块404包括：
确定单元，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征与所述多个候选图像的候选残差特征的相似距离；
获取单元，用于按照候选残差特征与所述残差特征的相似距离从小到大的顺序，从所述多个候选图像中获取前N个候选图像作为检索结果。
可选地，所述残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引，所述确定单元用于：
对于所述多个候选图像中的任一候选图像，基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，所述每个候选低维特征向量对应的低维特征向量是指所述多个低维特征向量中与所述每个候选低维特征向量属于同一低维子空间的低维特征向量；
将所述候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为所述残差特征与所述候选图像的候选残差特征之间的相似距离。
可选地，所述确定单元用于：
基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取所述每个候选低维特征向量与对应的低维特征向量之间的相似距离；
其中，所述索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，所述多个索引对包括所述每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对。
可选地，所述装置还包括倒排表构建模块，所述倒排表构建模块用于：
获取多个第二图像特征，所述多个第二图像特征为多个第二样本图像的图像特征；
采用K均值聚类算法，对所述多个第二图像特征进行聚类，得到K个第二聚类中心，所述K个第二聚类中心为所述多个第一图像特征，所述K大于第一阈值；
对于多个第三图像特征中的每个第三图像特征，从所述K个第二聚类中心中确定与所述每个第三图像特征的相似距离最小的第二聚类中心，将所述每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到所述图像特征倒排表，所述多个第三图像特征为多个第三样本图像的图像特征。
本公开实施例中，当基于目标图像接收到图像检索指令时，可以先获取图像特征倒排表对应的图索引结构，然后基于目标图像特征和图索引结构，从图像特征倒排表中获取目标图像特征的最近邻图像特征，由于图索引结构包括与倒排表中的特征对应的且节点数依次递减的多层索引图，因此，在查询最近邻图像特征时可以从节点数最少的表层索引图开始逐层往下定位最近邻图像特征，在此过程中无需遍历计算与图像特征倒排表中每个图像特征的相似距离，大幅缩短了查询时长。而且，在基于残差特征码本，对残差特征进行乘积量化时，由于残差特征码本是预先基于最优乘积量化规则对多个样本残差特征进行乘积量化得到，因此可以保证乘积量化过程中产生的量化误差最小，从而有效减少了量化误差，提高了图像检索结果的准确度。另外，基于图索引结构查询最近邻图像特征缩短的查询时长还能够在一定程度上抵消最优乘积量化耗费的量化时长，使得本公开的检索时长相对于相关技术没有显著增加，因此，在保证图像检索效率的前提下，提高了图像检索准确度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是：上述实施例提供的图像检索装置在进行图像检索时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像检索装置与图像检索方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是根据一示例性实施例提供的一种终端500的结构框图。该终端500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本公开中方法实施例提供的图像检索方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图6是根据一示例性实施例示出的一种服务器600的结构框图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的应用耗电监控方法。当然，该服务器600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器600还可以包括其他用于实现设备功能的部件，在此不做赘述。
另外，本公开实施例中还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行上述图像检索方法。该电子设备可以为终端或服务器。示例的，该电子设备可以为上述图5所述的终端，或者上述图6所述的服务器。
在本公开实施例中，还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行上述图像检索方法。
在本公开实施例中，还提供了一种计算机程序产品，所述计算机程序产品用于执行上述图像检索方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (20)
1.一种图像检索方法，其特征在于，所述方法包括：
当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
2.根据权利要求1所述的方法，其特征在于，所述获取图像特征倒排表对应的图索引结构，包括：
对于所述多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定所述特征节点所属的索引图的层数；
基于每个特征节点所属的索引图的层数，确定所述多个索引图中每个索引图包括的特征节点；
将每个索引图包括的特征节点，按照参考规则进行连接，得到所述图索引结构，所述参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。
3.根据权利要求1所述的方法，其特征在于，所述基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，包括：
在所述多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与所述目标图像特征对应的目标特征节点距离最近的特征节点；
将所述表层索引图的下一层索引图作为当前索引图，在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点；
若所述当前索引图不是所述第一层索引图，则将所述当前索引图的下一层索引图作为所述当前索引图，并重复执行在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点的步骤，直至所述当前索引图为所述第一层索引图为止；
将在所述第一层索引图中确定出的特征节点所对应的第一图像特征，确定为所述最近邻图像特征。
4.根据权利要求1所述的方法，其特征在于，所述基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，包括：
对所述残差特征进行降维处理，得到多个低维特征向量；
对于所述多个低维特征向量中的每个低维特征向量，从所述残差特征码本中确定所述每个低维特征向量所属的低维子空间对应的多个第一聚类中心的索引；
从所述低维子空间对应的多个第一聚类中心的索引中，获取与所述每个低维特征向量的相似距离最小的第一聚类中心的索引，作为所述每个低维特征向量的索引；
将所述多个低维特征向量的索引，确定为所述残差特征的编码。
5.根据权利要求4所述的方法，其特征在于，所述基于残差特征码本，对所述残差特征进行乘积量化之前，还包括：
对所述多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量；
采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量，所述参考正交矩阵是基于所述最优乘积量化法确定得到；
采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心；
对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
6.根据权利要求1所述的方法，其特征在于，所述基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为检索结果，包括：
基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征与所述多个候选图像的候选残差特征的相似距离；
按照候选残差特征与所述残差特征的相似距离从小到大的顺序，从所述多个候选图像中获取前N个候选图像作为检索结果。
7.根据权利要求6所述的方法，其特征在于，所述残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引；
所述基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征分别与所述多个候选图像的候选残差特征的相似距离，包括：
对于所述多个候选图像中的任一候选图像，基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，所述每个候选低维特征向量对应的低维特征向量是指所述多个低维特征向量中与所述每个候选低维特征向量属于同一低维子空间的低维特征向量；
将所述候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为所述残差特征与所述候选图像的候选残差特征之间的相似距离。
8.根据权利要求7所述的方法，其特征在于，所述基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，包括：
基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取所述每个候选低维特征向量与对应的低维特征向量之间的相似距离；
其中，所述索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，所述多个索引对包括所述每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对，所述K个第二聚类中心为所述多个第一图像特征。
9.根据权利要求1-8任一所述的方法，其特征在于，所述获取图像特征倒排表对应的图索引结构之前，还包括：
获取多个第二图像特征，所述多个第二图像特征为多个第二样本图像的图像特征；
采用K均值聚类算法，对所述多个第二图像特征进行聚类，得到K个第二聚类中心，所述K大于第一阈值；
对于多个第三图像特征中的每个第三图像特征，从所述K个第二聚类中心中确定与所述每个第三图像特征的相似距离最小的第二聚类中心，将所述每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到所述图像特征倒排表，所述多个第三图像特征为多个第三样本图像的图像特征。
10.一种图像检索装置，其特征在于，所述装置包括：
第一获取模块，用于当基于目标图像接收到图像检索指令时，获取图像特征倒排表对应的图索引结构，所述图像特征倒排表包括多个第一图像特征以及每个第一图像特征对应的图像集，所述图索引结构包括节点数依次递减的多层索引图，第一层索引图包括所述多个第一图像特征在空间上对应的特征节点；
第二获取模块，用于基于目标图像特征和所述图索引结构，从所述图像特征倒排表中获取所述目标图像特征的最近邻图像特征，以及从所述图像特征倒排表中，获取所述最近邻图像特征对应的图像集，得到候选图像集，所述目标图像特征是指所述目标图像的图像特征；
量化模块，用于确定所述目标图像特征与所述最近邻图像特征之间的残差特征，以及基于残差特征码本，对所述残差特征进行乘积量化，得到所述残差特征的编码，所述残差特征码本是采用最优乘积量化法对多个第一样本图像的样本残差特征进行乘积量化得到；
第三获取模块，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，从所述多个候选图像中获取候选图像作为图像检索结果。
11.根据权利要求10所述的装置，其特征在于，所述第一获取模块用于：
对于所述多个第一图像特征在空间上对应的特征节点中的任一特征节点，基于随机函数，确定所述特征节点所属的索引图的层数；
基于每个特征节点所属的索引图的层数，确定所述多个索引图中每个索引图包括的特征节点；
将每个索引图包括的特征节点，按照参考规则进行连接，得到所述图索引结构，所述参考规则包括索引图中的每个特征节点均具有连接点，以及距离小于参考距离的任意两个特征节点互相连接。
12.根据权利要求10所述的装置，其特征在于，所述第二获取模块用于：
在所述多层索引图包括的节点数最少的表层索引图中，以任一特征节点为起始节点，确定与所述目标图像特征对应的目标特征节点距离最近的特征节点；
将所述表层索引图的下一层索引图作为当前索引图，在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点；
若所述当前索引图不是所述第一层索引图，则将所述当前索引图的下一层索引图作为所述当前索引图，并重复执行在所述当前索引图中以在上一层索引图中确定的特征节点为起始节点，确定与所述目标特征节点距离最近的特征节点的步骤，直至所述当前索引图为所述第一层索引图为止；
将在所述第一层索引图中确定出的特征节点所对应的第一图像特征，确定为所述最近邻图像特征。
13.根据权利要求10所述的装置，其特征在于，所述量化模块用于：
对所述残差特征进行降维处理，得到多个低维特征向量；
对于所述多个低维特征向量中的每个低维特征向量，从所述残差特征码本中确定所述每个低维特征向量所属的低维子空间对应的多个第一聚类中心的索引；
从所述低维子空间对应的多个第一聚类中心的索引中，获取与所述每个低维特征向量的相似距离最小的第一聚类中心的索引，作为所述每个低维特征向量的索引；
将所述多个低维特征向量的索引，确定为所述残差特征的编码。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括码本生成模块，所述码本生成模块用于：
对所述多个第一样本图像的样本残差特征中的每个样本残差特征进行降维处理，得到每个样本残差特征的多个第一低维特征向量；
采用参考正交矩阵对每个样本残差特征的多个第一低维特征向量进行变换，得到每个样本残差特征的多个第二低维特征向量，所述参考正交矩阵是基于所述最优乘积量化法确定得到；
采用K均值聚类算法，对变换后的第二低维特征向量中属于同一低维子空间的第二低维特征向量进行聚类，得到多个低维子空间对应的第一聚类中心，每个低维子空间对应有K个第一聚类中心；
对每个低维子空间对应的K个第一聚类中心进行编号，得到每个低维子空间对应的K个第一聚类中心的索引和所述残差特征码本。
15.根据权利要求10所述的装置，其特征在于，所述第三获取模块包括：
确定单元，用于基于所述残差特征的编码，以及所述候选图像集包括的多个候选图像的候选残差特征的编码，确定所述残差特征与所述多个候选图像的候选残差特征的相似距离；
获取单元，用于按照候选残差特征与所述残差特征的相似距离从小到大的顺序，从所述多个候选图像中获取前N个候选图像作为检索结果。
16.根据权利要求15所述的装置，其特征在于，所述残差特征的编码包括多个低维特征向量的索引，每个候选残差特征的编码包括多个候选低维特征向量的索引，所述确定单元用于：
对于所述多个候选图像中的任一候选图像，基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，确定所述每个候选低维特征向量与对应的低维特征向量之间的相似距离，所述每个候选低维特征向量对应的低维特征向量是指所述多个低维特征向量中与所述每个候选低维特征向量属于同一低维子空间的低维特征向量；
将所述候选图像的多个候选低维特征向量与对应的低维特征向量的相似距离之和，确定为所述残差特征与所述候选图像的候选残差特征之间的相似距离。
17.根据权利要求16所述的装置，其特征在于，所述确定单元用于：
基于所述候选图像的每个候选低维特征向量的索引，以及所述每个候选低维特征向量对应的低维特征向量的索引，通过查询索引距离表，获取所述每个候选低维特征向量与对应的低维特征向量之间的相似距离；
其中，所述索引距离表包括多个索引对以及每个索引对对应的第一聚类中心之间的相似距离，所述多个索引对包括所述每个候选低维特征向量所属的低维子空间对应的K个第二聚类中心的索引中任意两个索引组成的索引对，所述K个第二聚类中心为所述多个第一图像特征。
18.根据权利要求10-17任一所述的装置，其特征在于，所述装置还包括倒排表构建模块，所述倒排表构建模块用于：
获取多个第二图像特征，所述多个第二图像特征为多个第二样本图像的图像特征；
采用K均值聚类算法，对所述多个第二图像特征进行聚类，得到K个第二聚类中心，所述K大于第一阈值；
对于多个第三图像特征中的每个第三图像特征，从所述K个第二聚类中心中确定与所述每个第三图像特征的相似距离最小的第二聚类中心，将所述每个第三图像特征对应的第三样本图像添加到确定的第二聚类中心对应的图像集中，得到所述图像特征倒排表，所述多个第三图像特征为多个第三样本图像的图像特征。
19.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行权利要求1-9任一项所述的图像检索方法。
20.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行权利要求1-9任一项所述的图像检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910419038.5A CN110134804B (zh) | 2019-05-20 | 2019-05-20 | 图像检索方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910419038.5A CN110134804B (zh) | 2019-05-20 | 2019-05-20 | 图像检索方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110134804A CN110134804A (zh) | 2019-08-16 |
| CN110134804B true CN110134804B (zh) | 2021-09-17 |
Family
ID=67571548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910419038.5A Active CN110134804B (zh) | 2019-05-20 | 2019-05-20 | 图像检索方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134804B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114245896A (zh) * | 2019-10-31 | 2022-03-25 | 北京欧珀通信有限公司 | 向量查询方法、装置、电子设备及存储介质 |
| CN110909197A (zh) * | 2019-11-04 | 2020-03-24 | 深圳力维智联技术有限公司 | 一种高维特征的处理方法和装置 |
| CN110888900B (zh) * | 2019-11-22 | 2024-02-06 | 鹏城实验室 | 基于去均值乘积量化的检索方法、存储介质及终端设备 |
| CN110942046B (zh) * | 2019-12-05 | 2023-04-07 | 腾讯云计算（北京）有限责任公司 | 图像检索方法、装置、设备及存储介质 |
| CN111143597B (zh) * | 2019-12-13 | 2023-06-20 | 浙江大华技术股份有限公司 | 图像检索方法、终端及存储装置 |
| CN111241345A (zh) * | 2020-02-18 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 一种视频检索方法、装置、电子设备和存储介质 |
| CN113297264A (zh) * | 2020-04-10 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 用于大规模并行处理数据库的方法及装置 |
| CN112000940B (zh) * | 2020-09-11 | 2022-07-12 | 支付宝(杭州)信息技术有限公司 | 一种隐私保护下的用户识别方法、装置以及设备 |
| CN112200133B (zh) * | 2020-10-28 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 保护隐私的人脸识别方法及装置 |
| CN112767334B (zh) * | 2021-01-08 | 2024-04-09 | 南京中兴力维软件有限公司 | 皮肤问题检测方法、装置、设备及介质 |
| CN113536020B (zh) * | 2021-07-23 | 2022-05-24 | 贝壳找房(北京)科技有限公司 | 数据查询的方法、存储介质和计算机程序产品 |
| EP4160434A4 (en) | 2021-08-16 | 2023-12-13 | Baidu Online Network Technology (Beijing) Co., Ltd | METHOD AND DEVICE FOR CONSTRUCTING A SEARCH DATABASE AND DEVICE AND STORAGE MEDIUM |
| CN113656373A (zh) * | 2021-08-16 | 2021-11-16 | 百度在线网络技术（北京）有限公司 | 构建检索数据库的方法、装置、设备以及存储介质 |
| CN113918598A (zh) * | 2021-10-21 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 一种乘积量化搜索方法、装置、终端和存储介质 |
| CN115052160B (zh) * | 2022-04-22 | 2023-07-07 | 江西中烟工业有限责任公司 | 基于云数据自动下载的图像编码方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129451A (zh) * | 2011-02-17 | 2011-07-20 | 上海交通大学 | 图像检索系统中数据聚类方法 |
| CN102422319A (zh) * | 2009-03-04 | 2012-04-18 | 公立大学法人大阪府立大学 | 图像检索方法、图像检索程序和图像登记方法 |
| CN105550368A (zh) * | 2016-01-22 | 2016-05-04 | 浙江大学 | 一种高维数据的近似最近邻检索方法及检索系统 |
| US9454806B2 (en) * | 2014-01-21 | 2016-09-27 | Nvidia Corporation | Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4883649B2 (ja) * | 2006-08-31 | 2012-02-22 | 公立大学法人大阪府立大学 | 画像認識方法、画像認識装置および画像認識プログラム |
-
2019
- 2019-05-20 CN CN201910419038.5A patent/CN110134804B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102422319A (zh) * | 2009-03-04 | 2012-04-18 | 公立大学法人大阪府立大学 | 图像检索方法、图像检索程序和图像登记方法 |
| CN102129451A (zh) * | 2011-02-17 | 2011-07-20 | 上海交通大学 | 图像检索系统中数据聚类方法 |
| US9454806B2 (en) * | 2014-01-21 | 2016-09-27 | Nvidia Corporation | Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering |
| CN105550368A (zh) * | 2016-01-22 | 2016-05-04 | 浙江大学 | 一种高维数据的近似最近邻检索方法及检索系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于SIFT特征和近似最近邻算法的医学CT图像检索;汪善义等;《生物医学工程学进展》;20110930(第03期);第123-129页 * |
| 基于SURF和快速近似最近邻搜索的图像匹配算法;赵璐璐等;《计算机应用研究》;20130315(第03期);第921-923页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110134804A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134804B (zh) | 图像检索方法、装置及存储介质 | |
| WO2020228519A1 (zh) | 字符识别方法、装置、计算机设备以及存储介质 | |
| CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN111897996B (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
| CN110162604B (zh) | 语句生成方法、装置、设备及存储介质 | |
| CN110942046B (zh) | 图像检索方法、装置、设备及存储介质 | |
| CN110503160B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111782950B (zh) | 样本数据集获取方法、装置、设备及存储介质 | |
| CN111324699A (zh) | 语义匹配的方法、装置、电子设备及存储介质 | |
| CN111428158B (zh) | 推荐位置的方法、装置、电子设备及可读存储介质 | |
| CN112052354A (zh) | 视频推荐方法、视频展示方法、装置及计算机设备 | |
| CN114547428A (zh) | 推荐模型处理方法、装置、电子设备及存储介质 | |
| CN110853124B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN114117206B (zh) | 推荐模型处理方法、装置、电子设备及存储介质 | |
| CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
| CN113032587A (zh) | 多媒体信息推荐方法、系统、装置、终端和服务器 | |
| CN112053360B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN112287070A (zh) | 词语的上下位关系确定方法、装置、计算机设备及介质 | |
| CN111611414B (zh) | 车辆检索方法、装置及存储介质 | |
| CN111563201A (zh) | 内容推送方法、装置、服务器及存储介质 | |
| CN113361376B (zh) | 获取视频封面的方法、装置、计算机设备及可读存储介质 | |
| CN111782767B (zh) | 问答方法、装置、设备及存储介质 | |
| CN114817709A (zh) | 排序方法、装置、设备及计算机可读存储介质 | |
| CN111581481B (zh) | 搜索词推荐方法、装置、电子设备以及存储介质 | |
| CN111368103B (zh) | 多媒体数据播放方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |