CN112800268B - 图像视觉特征的量化与近似最近邻搜索方法 - Google Patents

图像视觉特征的量化与近似最近邻搜索方法 Download PDF

Info

Publication number
CN112800268B
CN112800268B CN202110226508.3A CN202110226508A CN112800268B CN 112800268 B CN112800268 B CN 112800268B CN 202110226508 A CN202110226508 A CN 202110226508A CN 112800268 B CN112800268 B CN 112800268B
Authority
CN
China
Prior art keywords
image
layer
quantization
vector
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110226508.3A
Other languages
English (en)
Other versions
CN112800268A (zh
Inventor
艾列富
程宏俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingming Intelligent Technology Suzhou Co ltd
Original Assignee
Anqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anqing Normal University filed Critical Anqing Normal University
Priority to CN202110226508.3A priority Critical patent/CN112800268B/zh
Publication of CN112800268A publication Critical patent/CN112800268A/zh
Application granted granted Critical
Publication of CN112800268B publication Critical patent/CN112800268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种图像视觉特征的量化与近似最近邻搜索方法，其包括以下步骤：步骤A：码字分配增强型残差量化码书训练；具体包括：步骤A1，初始码书训练；步骤A2，码书优化；步骤B：利用步骤A所得码书对图像视觉特征进行量化与编码；步骤C：图像视觉特征的查询。本发明通过有效地提高图像视觉特征的近似最近邻搜索精度和效率，从而解决海量图像特征库中传统图像特征向量最近邻搜索中效率低的问题。

Description

图像视觉特征的量化与近似最近邻搜索方法
技术领域
本发明属于图像检索技术领域，更具体地，涉及一种图像视觉特征的量化与近似最近邻搜索方法。
背景技术
近年来，随着多媒体技术的飞速发展，各种形式的多媒体数据承指数级增长，其中的图像类数据以各种照片、截图、表情包的形式在互联网中飞速传播，产生了海量的图像库。面对这样大规模的图像数据库，为快速处理目标图像，必须对数据内容进行查询、筛选，因此基于图像视觉特征的多维高效图像检索技术成为关键。
在图像检索领域中，近似最近邻(Approximate Nearest Neighbor, ANN)搜索是一种常用的基础方法。相比精确最近邻搜索，虽然ANN搜索牺牲了一定的准确率，但是有效地提高了对高维图像视觉特征的搜索速度，因此针对高维图像视觉特征的ANN搜索的研究，目的在于如何保证搜索精度的前提下，尽可能地提高搜索速度和降低近似表示特征所需地存储空间。
哈希编码和向量量化是得到较多研究关注的两大类ANN搜索方法。由于欧式距离较汉明距离具有更高地区分度，因此基于量化的ANN搜索通常有着更高的搜索精度。向量量化(Vector Quantization, VQ)作为一种有效的构造工具，采用某种码书训练方法，通过对图像视觉特征训练得到一系列码书，并使用这些码书将图像视觉特征转换到低维空间进行编码。如何高效地对图像视觉特征进行量化编码，在最优化近似误差的同时，设计出能降低图像视觉特征空间维度和加快距离计算过程的向量量化方法是研究重点。
发明内容
有鉴于此，本发明的目的是提出一种图像视觉特征的量化与近似最近邻搜索方法，能够有效提升对图像视觉特征检索的效率。
为实现上述目的，本发明的图像视觉特征的量化与近似最近邻搜索方法，包括以下步骤：
步骤A：码字分配增强型残差量化码书训练；具体包括：步骤A1，初始码书训练；步骤A2，码书优化；
步骤B：利用步骤A所得码书对图像视觉特征进行量化与编码；
步骤C：图像视觉特征的查询。
步骤A1所述的初始码书训练过程为：
步骤A1-1：对图像视觉特征集X进行聚类，将得到的聚类中心作为第一层量化器的码书；
步骤A1-2：利用第一层量化器量化图像视觉特征集X，分别得到X中各特征距离最近的和次近的聚类中心，计算所述各特征距离最近的和次近的聚类中心之间四分之一点作为均值等分向量，所述各特征的均值等分向量与最近聚类中心均为候选码字；
步骤A1-3：计算所述均值等分向量与最近聚类中心的分配系数
Figure DEST_PATH_IMAGE001
，根据所述分配系数
Figure 997814DEST_PATH_IMAGE002
选择候选码字作为近似向量集
Figure 914955DEST_PATH_IMAGE003
，并计算量化误差向量集
Figure DEST_PATH_IMAGE004
作为第二层初始码书训练输入；
步骤A1-4：对量化误差向量集
Figure 570058DEST_PATH_IMAGE004
进行聚类，得到k个中心作为第二层码书，重复所述步骤A1-2、A1-3得到第二层量化误差向量集
Figure 965267DEST_PATH_IMAGE005
；
重复以上步骤，直到最终得到L层初始码书
Figure DEST_PATH_IMAGE006
。
所述步骤A1-3中，分配系数
Figure 655006DEST_PATH_IMAGE001
计算过程为：
分别计算图像视觉特征到均值等分向量的欧式距离
Figure 352835DEST_PATH_IMAGE007
和到距离最近码字的欧式距离
Figure DEST_PATH_IMAGE008
，若
Figure 619868DEST_PATH_IMAGE009
，分配系数值为1，反之分配系数值为0；
所述分配系数
Figure 694134DEST_PATH_IMAGE001
值为1时使用所述均值等分向量作为图像视觉特征的量化结果，反之使用所述最近聚类中心作为图像视觉特征的量化结果。
所述步骤A2包括：
对步骤A1所得L层码书，自第一层至第L层为止，依次重复以下步骤A2-1和步骤A2-2：
步骤A2-1：计算当前层初始码书训练的量化结果和总体训练误差向量集之和
Figure DEST_PATH_IMAGE010
，对U l 重新训练，更新当前层码书；
步骤A2-2：根据所述优化后当前层码书更新该层的量化结果，再次计算总体训练误差向量集；
步骤A2-3：将所述步骤A2-1、A2-2顺序完成从第一层到第L层码书优化视为一次迭代优化过程，多次迭代直到码书精度收敛到预设的阈值时停止优化。
所述步骤B包括：
利用步骤A得到的已训练完成的码书对图像视觉特征
Figure 363013DEST_PATH_IMAGE011
进行量化与编码；
所述对图像视觉特征进行量化和编码包括，利用所述码字分配增强型残差量化码书训练得到的L层码书，逐层量化图像视觉特征，得到L层量化结果，量化过程如下：
步骤B1：在所述训练得到的第一层码书中找到同图像视觉特征
Figure 231743DEST_PATH_IMAGE011
欧式距离最近和次近聚类中心，所述最近和次近聚类中心的ID作为图像视觉特征
Figure 986072DEST_PATH_IMAGE011
在该层的编码；
步骤B2：根据所述步骤A1-3过程得到图像视觉特征
Figure 598450DEST_PATH_IMAGE011
在第一层量化中的量化结果和量化误差向量
Figure DEST_PATH_IMAGE012
；
步骤B3：对所述第一层量化误差向量
Figure 121836DEST_PATH_IMAGE012
重复步骤B1、B2过程得到第二层量化结果和量化误差向量
Figure 427046DEST_PATH_IMAGE012
；
重复上述步骤B1-B3直至最后第L层，直至得到像视觉特征
Figure 668672DEST_PATH_IMAGE011
的第L层量化结果和编码。
所述步骤C中，采用非对称距离计算方式计算查询图像视觉特征同图像视觉特征库中特征的距离后进行排序，得到最近邻搜索结果；所述非对称距离计算方式为：根据步骤B所得量化结果，计算查询视觉图像特征与近似向量的欧式距离，用该距离近似表示查询视觉图像特征到图像视觉特征库中各特征的欧式距离，搜索欧式距离最近的图像视觉特征，所得为最近邻搜索结果。
本发明提出的码字分配增强型残差量化方法通过设计码字分配策略构造误差更小的图像视觉特征近似向量，以得到更精确的码书以及效果更好的量化结果。并且，在对图像视觉特征近似最近邻搜索中，设计能提高搜索速度的距离计算方法。本发明的量化方法，通过有效地量化提高近似最近邻搜索精度，从而解决海量图像特征库中传统图像特征向量检索速度慢、精度低的问题，能够有效提升对图像视觉特征检索的效率。
附图说明
图1是本发明的图像视觉特征的量化与近似最近邻搜索方法的流程示意图。
图2是本发明步骤A中初始码书训练的流程示意图。
图3是本发明步骤B中图像视觉特征量化与编码流程示意图。
图4是本发明步骤C中基于非对称距离计算方法的图像视觉特征查询对应的一层码书二维示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合技术方案、附图和实施例对本发明进行进一步详细说明。其中，以SIFT数据集为例进行说明。
本发明提出一种码字分配增强型残差量化方法，包括三个步骤：码字分配增强型残差量化的码书训练、图像视觉特征的量化与编码以及查询。完整流程如图1所示：首先，在图像视觉特征训练集上学习多层初始码书；然后，对初始码书进行优化；再用优化完的码书对图像视觉特征库进行量化；最后，利用量化结果进行图像视觉特征查询。
更具体地，下面结合图1、图2、图3、图4对本发明的图像视觉特征的量化与近似最近邻搜索方法分三个部分进行详细描述。
步骤A：码字分配增强型残差量化的码书训练
步骤A1：初始码书训练
给定图像视觉特征训练集
Figure 943795DEST_PATH_IMAGE013
，初始码书训练过程如图2所示，码字分配扩展增强型残差量化方法的初始码书训练共分为L层。
步骤A1-1：将X作为第一层码书训练输入，使用K-means算法对训练集进行聚类，得到第1层码书
Figure DEST_PATH_IMAGE014
，其中
Figure 462632DEST_PATH_IMAGE014
有k个聚类中心。
步骤A1-2：用第1层码书
Figure 797799DEST_PATH_IMAGE014
对图像视觉特征进行量化，并计算各特征
Figure 402087DEST_PATH_IMAGE015
欧式距离最近聚类中心
Figure DEST_PATH_IMAGE016
和次近聚类中心
Figure 356267DEST_PATH_IMAGE017
，令l=1，通过下式计算均值等分向量
Figure DEST_PATH_IMAGE018
。
Figure 854245DEST_PATH_IMAGE019
其中，i表示第i个图像视觉特征，l表示第l层训练过程。
步骤A1-3：通过下式计算图像视觉特征的分配系数
Figure 501258DEST_PATH_IMAGE001
。
Figure DEST_PATH_IMAGE020
其中，
Figure 451896DEST_PATH_IMAGE021
表示图像视觉特征到其均值等分向量的欧式距离，
Figure DEST_PATH_IMAGE022
表示图像视觉特征到其最近聚类中心的距离。
令l=1，通过下式计算图像视觉特征
Figure 209768DEST_PATH_IMAGE023
的第一层量化输出
Figure DEST_PATH_IMAGE024
。
Figure 437618DEST_PATH_IMAGE025
其中，i表示第i个图像视觉特征，l表示第l层训练过程。
对该层码书训练的每个输入图像视觉特征
Figure DEST_PATH_IMAGE026
，计算其量化误差向量
Figure 380166DEST_PATH_IMAGE027
。n个误差向量构成量化误差向量集
Figure DEST_PATH_IMAGE028
。
步骤A1-4：将第一层图像视觉特征集的量化误差
Figure 693467DEST_PATH_IMAGE028
作为第二层码书训练的输入，重复步骤A1-1、A1-2、A1-3过程得到第二层码书
Figure 114084DEST_PATH_IMAGE029
和第二层量化误差
Figure DEST_PATH_IMAGE030
。重复以上步骤A1-1、A1-2、A1-3、A1-4，直到最终得到L层初始码书
Figure 462020DEST_PATH_IMAGE031
。
A2：码书优化
对上述过程得到的L层初始码书进一步降低训练误差，提高码书表示能力。一次迭代过程包括L层码书的顺序优化，其中，第l层码书的优化过程如下：
步骤A2-1：对图像视觉特征训练集中每个特征向量，计算其第l层的量化输出
Figure DEST_PATH_IMAGE032
与总体训练误差向量集中对应的向量进行累加求和，得到该层训练输入向量集
Figure 575469DEST_PATH_IMAGE033
;利用该层码书
Figure 100002_DEST_PATH_IMAGE034
量化该输入向量集
Figure 376066DEST_PATH_IMAGE035
得到量化编码
Figure 100002_DEST_PATH_IMAGE036
，并根据下式更新该层码书
Figure 475740DEST_PATH_IMAGE037
中每个中心；
Figure 100002_DEST_PATH_IMAGE038
其中，将
Figure 537237DEST_PATH_IMAGE039
中量化编码相同的
Figure 100002_DEST_PATH_IMAGE040
对应的输入向量集为集合
Figure 696954DEST_PATH_IMAGE041
，
Figure 100002_DEST_PATH_IMAGE042
表示集合
Figure 984847DEST_PATH_IMAGE043
中所有向量的均值向量，m表示集合
Figure 100002_DEST_PATH_IMAGE044
中向量的个数，
Figure 12846DEST_PATH_IMAGE045
表示
Figure 100002_DEST_PATH_IMAGE046
中量化结果为码字
Figure 69795DEST_PATH_IMAGE047
的输入向量集中第h个向量。
步骤A2-2：根据步骤A1-1和步骤A1-3，对该层训练输入向量集
Figure 100002_DEST_PATH_IMAGE048
中每个向量的量化结果和量化误差，其中，量化误差构成的集合作为总体训练误差向量集。
步骤B：图像视觉特征的量化与编码
在图像视觉特征
Figure 134834DEST_PATH_IMAGE049
中，对
Figure 34657DEST_PATH_IMAGE049
量化过程如图3所示，具体步骤包括：
步骤B1：在第一层码书
Figure 1
中找到图像视觉特征
Figure 476134DEST_PATH_IMAGE049
的欧式距离最近码字
Figure 777802DEST_PATH_IMAGE051
和次近码字
Figure 100002_DEST_PATH_IMAGE052
，将码字
Figure 13743DEST_PATH_IMAGE053
和
Figure 100002_DEST_PATH_IMAGE054
的ID作为图像视觉特征
Figure 400862DEST_PATH_IMAGE049
在第一层层的编码；
步骤B2：根据所述步骤A1-2中公式计算
Figure 622592DEST_PATH_IMAGE049
的均值等分向量
Figure 513187DEST_PATH_IMAGE055
，根据所述步骤A1-3中公式计算
Figure 310242DEST_PATH_IMAGE049
的分配系数，特征向量
Figure 794444DEST_PATH_IMAGE049
在第一层的量化输出
Figure 100002_DEST_PATH_IMAGE056
，并将
Figure 967937DEST_PATH_IMAGE049
和
Figure 853984DEST_PATH_IMAGE057
的残差向量
Figure 100002_DEST_PATH_IMAGE058
作为第二层量化的输入向量。
步骤B3：使用第二层码书
Figure 821940DEST_PATH_IMAGE059
对输入向量
Figure 100002_DEST_PATH_IMAGE060
进行量化，重复步骤B1、B2计算量化输出
Figure 793438DEST_PATH_IMAGE061
和第二层量化输入
Figure 100002_DEST_PATH_IMAGE062
的残差向量
Figure 380409DEST_PATH_IMAGE063
作为第三层量化的输入向量。
重复上述步骤B1-B3直至最后第L层，
Figure 100002_DEST_PATH_IMAGE064
的向量量化过程结束。
步骤C：图像视觉特征的查询
图像视觉特征的查询需计算查询图像视觉特征同图像视觉特征库中特征的距离后进行排序，得到最近邻搜索结果。
在图4所示一层码书的二维示意图中，给定查询图像视觉特征q和图像视觉特征库中特征v，v欧式距离最近聚类中心和次近中心为图中的
Figure 245596DEST_PATH_IMAGE065
，
Figure 100002_DEST_PATH_IMAGE066
，均值等分向量为
Figure 259820DEST_PATH_IMAGE067
。为实现以上目的，本发明设计了一种适用于码字分配增强型残差量化的非对称距离计算(Asymmetric Distance Computation, ADC)方法，计算查询图像视觉特征q与v的重构向量
Figure 100002_DEST_PATH_IMAGE068
之间的欧式距离来近似表示q与v的欧式距离，具体如下式所示：
Figure 718614DEST_PATH_IMAGE069
其中
Figure 100002_DEST_PATH_IMAGE070
表示欧式距离，Q表示量化器。
结合所述图像视觉特征的量化与编码部分，图像视觉特征库中特征向量v经过L层量化之后，其重构向量
Figure 968330DEST_PATH_IMAGE071
计算如下：
Figure 100002_DEST_PATH_IMAGE072
其中
Figure 828970DEST_PATH_IMAGE073
表示向量v在第l层选择
Figure 100002_DEST_PATH_IMAGE074
或者
Figure 138728DEST_PATH_IMAGE075
的分配系数。
根据所述重构向量计算，查询图像视觉特征q到特征向量v的距离可以表示为：
Figure DEST_PATH_IMAGE077
其中的第一项
Figure 84819DEST_PATH_IMAGE078
在ANN搜索过程中对于同一个查询向量q值不变，不影响距离比较的结果，可以忽略；第二项
Figure DEST_PATH_IMAGE079
可以在量化阶段提前计算并保存在查找表中；后两项中的
Figure 13592DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE081
，
Figure 853372DEST_PATH_IMAGE082
可以在给定查询图像视觉特征q时，根据码书计算并存入查找表中，在计算距离时查找对应的值。根据查询图像视觉特征q与数据库特征的距离计算，返回待查询数据库中距离最近的特征作为查询结果。
在目前国际公开的SIFT图像特征向量数据集（特征向量数量为1000000，向量维度为128维）上进行实施并且同目前典型的适用于近似最近邻搜索的量化方法：积量化、残差量化、复合量化进行对比。本发明实施例和所列典型方法均采用8字节（64位）二进制编码对所述SIFT数据集中特征向量进行量化并实施近似最近邻搜索，采用返回100个搜索结果得到的召回率衡量搜索精度，各方法得到结果分别是，积量化：92%，残差量化：96%，复合量化97%，本发明实施例：99%。从而说明，本发明在图像特征向量的近似最近邻搜索上具有先进性。
以上所述具体实施例，对本发明的目的和技术方案进行了进一步详细描述说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。

Claims (1)

1.一种图像视觉特征的量化与近似最近邻搜索方法，包括以下步骤：
步骤A：码字分配增强型残差量化码书训练；具体包括：步骤A1，初始码书训练；步骤A2，码书优化；
步骤B：利用步骤A所得码书对图像视觉特征进行量化与编码；
步骤C：图像视觉特征的查询；
所述步骤A1所述的初始码书训练过程为：
步骤A1-1：对图像视觉特征集X进行聚类，将得到的聚类中心作为第一层量化器的码书；
步骤A1-2：利用第一层量化器量化图像视觉特征集X，分别得到X中各特征距离最近的和次近的聚类中心，计算所述各特征距离最近的和次近的聚类中心之间四分之一点作为均值等分向量，所述各特征的均值等分向量与最近聚类中心均为候选码字；
步骤A1-3：计算所述均值等分向量与最近聚类中心的分配系数
Figure DEST_PATH_IMAGE002
，根据所述分配系数
Figure DEST_PATH_IMAGE003
选择候选码字作为近似向量集
Figure DEST_PATH_IMAGE005
，并计算量化误差向量集
Figure DEST_PATH_IMAGE007
作为第二层初始码书训练输入；
步骤A1-4：对量化误差向量集
Figure 184063DEST_PATH_IMAGE007
进行聚类，得到k个中心作为第二层码书，重复所述步骤A1-2、A1-3得到第二层量化误差向量集
Figure DEST_PATH_IMAGE009
；
重复以上步骤，直到最终得到L层初始码书
Figure DEST_PATH_IMAGE011
；
所述步骤A1-3中，分配系数
Figure 225837DEST_PATH_IMAGE002
计算过程为：
分别计算图像视觉特征到均值等分向量的欧式距离
Figure DEST_PATH_IMAGE013
和到距离最近码字的欧式距离
Figure DEST_PATH_IMAGE015
，若
Figure DEST_PATH_IMAGE017
，分配系数值为1，反之分配系数值为0；
所述分配系数
Figure 705709DEST_PATH_IMAGE002
值为1时使用所述均值等分向量作为图像视觉特征的量化结果，反之使用所述最近聚类中心作为图像视觉特征的量化结果；
所述步骤A2包括：
对步骤A1所得L层码书，自第一层至第L层为止，依次重复以下步骤A2-1和步骤A2-2：
步骤A2-1：计算当前层初始码书训练的量化结果和总体训练误差向量集之和
Figure DEST_PATH_IMAGE019
，对U l 重新训练，更新当前层码书；
所述步骤A2-1具体包括：对图像视觉特征训练集中每个特征向量，计算其第l层的量化输出
Figure DEST_PATH_IMAGE021
与总体训练误差向量集中对应的向量进行累加求和，得到该层训练输入向量集
Figure DEST_PATH_IMAGE023
;利用该层码书
Figure DEST_PATH_IMAGE025
量化该输入向量集
Figure DEST_PATH_IMAGE027
得到量化编码
Figure DEST_PATH_IMAGE029
，并根据下式更新该层码书
Figure DEST_PATH_IMAGE031
中每个中心；
Figure DEST_PATH_IMAGE033
其中，将
Figure DEST_PATH_IMAGE034
中量化编码相同的
Figure DEST_PATH_IMAGE036
对应的输入向量集为集合
Figure DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE040
表示集合
Figure DEST_PATH_IMAGE042
中所有向量的均值向量，m表示集合
Figure DEST_PATH_IMAGE044
中向量的个数，
Figure DEST_PATH_IMAGE046
表示
Figure DEST_PATH_IMAGE048
中量化结果为码字
Figure DEST_PATH_IMAGE050
的输入向量集中第h个向量；
步骤A2-2：根据优化后当前层码书更新该层的量化结果，再次计算总体训练误差向量集；
所述步骤A2-2具体包括：根据步骤A1-1和步骤A1-3，对该层训练输入向量集
Figure DEST_PATH_IMAGE052
中每个向量的量化结果和量化误差，其中，量化误差构成的集合作为总体训练误差向量集；
步骤A2-3：将所述步骤A2-1、A2-2顺序完成从第一层到第L层码书优化视为一次迭代优化过程，多次迭代直到码书精度收敛到预设的阈值时停止优化；
所述步骤B包括：
利用步骤A得到的已训练完成的码书对图像视觉特征
Figure DEST_PATH_IMAGE054
进行量化与编码；
所述对图像视觉特征进行量化和编码包括，利用所述码字分配增强型残差量化码书训练得到的L层码书，逐层量化图像视觉特征，得到L层量化结果，量化过程如下：
步骤B1：在所述训练得到的第一层码书中找到同图像视觉特征
Figure 540066DEST_PATH_IMAGE054
欧式距离最近和次近聚类中心，所述最近和次近聚类中心的ID作为图像视觉特征
Figure 354438DEST_PATH_IMAGE054
在该层的编码；
步骤B2：根据所述步骤A1-3过程得到图像视觉特征
Figure 363851DEST_PATH_IMAGE054
在第一层量化中的量化结果和量化误差向量
Figure DEST_PATH_IMAGE056
；
步骤B3：对第一层量化误差向量
Figure 630885DEST_PATH_IMAGE056
重复步骤B1、B2过程得到第二层量化结果和量化误差向量
Figure 767468DEST_PATH_IMAGE056
；
重复上述步骤B1-B3直至最后第L层，直至得到像视觉特征
Figure 436347DEST_PATH_IMAGE054
的第L层量化结果和编码；
所述步骤C中，采用非对称距离计算方式计算查询图像视觉特征同图像视觉特征库中特征的距离后进行排序，得到最近邻搜索结果；
所述非对称距离计算方式为：根据步骤B所得量化结果，计算查询视觉图像特征与近似向量的欧式距离，用该距离近似表示查询视觉图像特征到图像视觉特征库中各特征的欧式距离，搜索欧式距离最近的图像视觉特征，所得为最近邻搜索结果；
所述步骤C具体包括：
计算查询图像视觉特征q与v的重构向量
Figure DEST_PATH_IMAGE058
之间的欧式距离来近似表示q与v的欧式距离，具体如下式所示：
Figure DEST_PATH_IMAGE060
其中
Figure DEST_PATH_IMAGE062
表示欧式距离，Q表示量化器；
图像视觉特征库中特征向量v经过L层量化之后，其重构向量
Figure DEST_PATH_IMAGE064
计算如下：
Figure DEST_PATH_IMAGE066
其中
Figure DEST_PATH_IMAGE068
表示向量v在第l层选择
Figure DEST_PATH_IMAGE070
或者
Figure DEST_PATH_IMAGE072
的分配系数；
根据所述重构向量，查询图像视觉特征q到特征向量v的距离表示为：
Figure DEST_PATH_IMAGE074
其中第二项
Figure DEST_PATH_IMAGE076
在量化阶段提前计算并保存在查找表中；后两项中的
Figure DEST_PATH_IMAGE078
，
Figure DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE082
在给定查询图像视觉特征q时，根据码书计算并存入查找表中，在计算距离时查找对应的值；根据查询图像视觉特征q与数据库特征的距离计算，返回待查询数据库中距离最近的特征作为查询结果。
CN202110226508.3A 2021-03-02 2021-03-02 图像视觉特征的量化与近似最近邻搜索方法 Active CN112800268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226508.3A CN112800268B (zh) 2021-03-02 2021-03-02 图像视觉特征的量化与近似最近邻搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226508.3A CN112800268B (zh) 2021-03-02 2021-03-02 图像视觉特征的量化与近似最近邻搜索方法

Publications (2)

Publication Number Publication Date
CN112800268A CN112800268A (zh) 2021-05-14
CN112800268B true CN112800268B (zh) 2022-08-26

Family

ID=75816201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226508.3A Active CN112800268B (zh) 2021-03-02 2021-03-02 图像视觉特征的量化与近似最近邻搜索方法

Country Status (1)

Country Link
CN (1) CN112800268B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854223A (zh) * 2009-03-31 2010-10-06 上海交通大学 矢量量化码书生成方法
CN105183845A (zh) * 2015-09-06 2015-12-23 华中科技大学 一种结合语义特征的ervq图片索引与检索方法
CN105335757A (zh) * 2015-11-03 2016-02-17 电子科技大学 一种基于局部特征聚合描述符的车型识别方法
CN111652366A (zh) * 2020-05-09 2020-09-11 哈尔滨工业大学 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902704B (zh) * 2014-03-31 2017-06-16 华中科技大学 面向大规模图像视觉特征的多维倒排索引与快速检索算法
KR101958939B1 (ko) * 2017-03-30 2019-03-15 오드컨셉 주식회사 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854223A (zh) * 2009-03-31 2010-10-06 上海交通大学 矢量量化码书生成方法
CN105183845A (zh) * 2015-09-06 2015-12-23 华中科技大学 一种结合语义特征的ervq图片索引与检索方法
CN105335757A (zh) * 2015-11-03 2016-02-17 电子科技大学 一种基于局部特征聚合描述符的车型识别方法
CN111652366A (zh) * 2020-05-09 2020-09-11 哈尔滨工业大学 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Codebook Size Design for RVQ-Based Tomlinson–Harashima Precoded MIMO Broadcast Channels》;Fan-Shuo Tseng 等;《IEEE》;20141105;第1-6页 *
基于投影残差量化哈希的近似最近邻搜索;杨定中等;《计算机工程》;20151215(第12期);第161-165+170页 *

Also Published As

Publication number Publication date
CN112800268A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
He et al. K-means hashing: An affinity-preserving quantization method for learning binary compact codes
CN110020721B (zh) 一种基于参数压缩的目标检测深度学习网络优化方法
Wei et al. Projected residual vector quantization for ANN search
JP7006966B2 (ja) ベクトル量子化の混合に基づく符号化方法及びこれを用いた最近傍探索（ｎｎｓ）方法
Wu et al. Vector quantization: a review
CN112732864B (zh) 一种基于稠密伪查询向量表示的文档检索方法
CN113269312B (zh) 一种联合量化与剪枝搜索的模型压缩方法及其系统
JP5006404B2 (ja) ベクトル量子化装置
CN115795065A (zh) 基于带权哈希码的多媒体数据跨模态检索方法及系统
CN112800268B (zh) 图像视觉特征的量化与近似最近邻搜索方法
Zeng et al. KCNN: Kernel-wise Quantization to Remarkably Decrease Multiplications in Convolutional Neural Network.
Liu et al. Generalized residual vector quantization and aggregating tree for large scale search
CN109670057B (zh) 一种渐进式的端到端深度特征量化系统及方法
Sun et al. Efficient vector quantization using genetic algorithm
US11763136B2 (en) Neural hashing for similarity search
Yuan et al. Distortion minimization hashing
CN110674335B (zh) 一种基于多生成多对抗的哈希码与图像双向转换方法
Ai et al. Efficient approximate nearest neighbor search by optimized residual vector quantization
Chen et al. Hierarchical quantization for billion-scale similarity retrieval on gpus
CN111597432A (zh) 一种基于Hash的快速候选生成推荐方法
Vuyyuru KLP's search algorithm-a new approach to reduce the average search time in binary search
CN110909027A (zh) 一种哈希检索方法
CN117874102A (zh) 一种基于非空倒排多索引结构的近似最近邻搜索方法
CN108536750B (zh) 基于点对关系学习和重构的图像特征二值编码表示方法
Chen et al. Stacked K-Means Hashing Quantization for Nearest Neighbor Search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 246133 No. 1318 Jixian North Road, Anqing City, Anhui Province

Patentee before: ANQING NORMAL University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240412

Address after: No. 5-6 # 101, No. 3000 Tongjin Avenue, Jiangling Street, Wujiang District, Suzhou City, Jiangsu Province, 215200

Patentee after: Lingming Intelligent Technology (Suzhou) Co.,Ltd.

Country or region after: China

Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right