CN111783805A - 图像检索方法及装置、电子设备、可读存储介质 - Google Patents

图像检索方法及装置、电子设备、可读存储介质 Download PDF

Info

Publication number
CN111783805A
CN111783805A CN201910273228.0A CN201910273228A CN111783805A CN 111783805 A CN111783805 A CN 111783805A CN 201910273228 A CN201910273228 A CN 201910273228A CN 111783805 A CN111783805 A CN 111783805A
Authority
CN
China
Prior art keywords
cluster
image
local visual
vector
subclasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910273228.0A
Other languages
English (en)
Other versions
CN111783805B (zh
Inventor
马福强
陈丽莉
张�浩
孙建康
董泽华
吕耀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910273228.0A priority Critical patent/CN111783805B/zh
Priority to PCT/CN2020/075685 priority patent/WO2020199773A1/zh
Publication of CN111783805A publication Critical patent/CN111783805A/zh
Application granted granted Critical
Publication of CN111783805B publication Critical patent/CN111783805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种图像检索方法及装置、电子设备、可读存储介质。一种图像检索方法，包括：获取待识别图像的局部视觉特征；基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。本实施例中利用了局部视觉特征的残差向量，有利于进一步表达出待识别图像的视觉特征，从而可以提高提高检索候选图像的准确度。

Description

图像检索方法及装置、电子设备、可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种图像检索方法及装置、电子设备、可读存储介质。
背景技术
目前，图像检索通过输入一幅待识别图像，检索出与该待识别图像相似的图像列表和相应的文字、视频或网页链接等内容，具有极为可观的应用前景。
现有相关的图像检索算法工作流程包括：提取待识别图像的视觉特征；构建特征索引或图像表达；依据图像特征或图像表达的距离(如欧式距离、余弦距离等)远近进行相似性判断；并给出相似性图像列表。
然而，相关技术仅利用了待识别图像中的部分视觉特征以及距离信息，并未充分利用待识别图像的视觉特征，不利于提升待识别图像检索的准确率和效率。
发明内容
本发明提供一种图像检索方法及装置、电子设备、可读存储介质，以解决相关技术中由于待识别图像未充分利用待识别图像的视觉特征而引起的检索准确度低以及检索效率较低的问题。
根据本发明实施例的第一方面，提供一种图像检索方法，包括：
获取待识别图像的局部视觉特征；
基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；
从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
可选地，基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量，包括：
调用图像分类量化器，由所述图像分类量化器确定各局部视觉特征所属的聚类簇和子类；所述图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及所述K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值；
获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量，其中K1和K2为正整数。
可选地，确定各局部视觉特征所属的聚类簇和子类包括：
利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量；
确定与所述各局部视觉特征距离最近的聚类中心所在的聚类簇为所述各局部视觉特征所属的聚类簇；
基于所述距离和所述聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类。
可选地，获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量之后，所述方法还包括：
对所述累加和向量进行归一化处理，得到归一化后的累加和向量；
将归一化后的累加和向量首尾连接得到一个长向量；
利用降维算法对所述长向量进行降维处理，得到降维后的长向量，所述降维后的长向量即为所述待识别图像的表达向量。
可选地，所述图像分类量化器通过以下步骤训练，包括：
获取图像训练集中各图像的局部视觉特征；
利用聚类分析算法对所述局部视觉特征进行聚类分析，得到所述K1个聚类簇和各聚类簇的聚类中心；
针对各聚类簇，获取所述各聚类簇内局部视觉特征与所述各聚类簇的聚类中心的距离以及最大距离值；基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，所述距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合。
可选地，基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，包括：
针对各聚类簇，将所述最大距离值划分为K2个分段，每个分段对应的局部视觉特征构成一个子类，得到K2个子类；并且，每个分段与所述聚类簇的聚类中心的最大距离为所述每个分段对应子类的距离分界阈值。
可选地，所述聚类分析算法包括K-means算法。
根据本发明实施例的第二方面，提供一种图像检索装置，包括：
视觉特征获取模块，用于获取待识别图像的局部视觉特征；
表达向量确定模块，用于基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；
图像检索模块，用于从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
可选地，所述表达向量确定模块包括：
聚类簇确定单元，用于调用图像分类量化器，由所述图像分类量化器确定各局部视觉特征所属的聚类簇和子类；所述图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及所述K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值；
和向量获取单元，用于获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量，其中K1和K2为正整数。
可选地，所述聚类簇确定单元包括：
距离获取子单元，用于利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量；
聚类簇获取子单元，用于确定与所述各局部视觉特征距离最近的聚类中心所在的聚类簇为所述各局部视觉特征所属的聚类簇；
子类获取子单元，用于基于所述距离和所述聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类。
可选地，所述和向量获取单元还包括：
和向量获取子单元，用于对所述累加和向量进行归一化处理，得到归一化后的累加和向量；
长向量连接子单元，用于将归一化后的累加和向量首尾连接得到一个长向量；
表达向量获取子单元，用于利用降维算法对所述长向量进行降维处理，得到降维后的长向量，所述降维后的长向量即为所述待识别图像的表达向量。
可选地，所述图像分类量化器通过以下步骤训练，包括：
获取图像训练集中各图像的局部视觉特征；
利用聚类分析算法对所述局部视觉特征进行聚类分析，得到所述K1个聚类簇和各聚类簇的聚类中心；
针对各聚类簇，获取所述各聚类簇内局部视觉特征与所述各聚类簇的聚类中心的距离以及最大距离值；基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，所述距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合。
根据本发明实施例的第三方面，提供一种电子设备，包括处理器和用于存储可执行指令的存储器；所述处理器通过通信总线与所述存储器连接，用于从所述存储器中读取可执行指令，以实现第一方面所述的方法的步骤。
根据本发明实施例的第四方面，提供一种机器可读存储介质，其上存储有机器可执行指令，该指令被处理器执行时实现第一方面所述方法的步骤。
由上述的技术方案可见，本实施例中可以获取待识别图像的局部视觉特征，然后确定出由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量，之后检索出与所述表达向量相似度超过预设相似度阈值的候选图像列表。这样，本实施例中利用了局部视觉特征的残差向量，有利于进一步表达出待识别图像的视觉特征，从而可以提高提高检索候选图像的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例示出的一种图像检索方法的框图；
图2是本发明实施例示出的获取表达向量的流程图；
图3是本发明实施例示出的获取距离分界阈值的流程图；
图4是本发明实施例示出的获取聚类簇子类的流程图；
图5是本发明实施例示出的划分的K1个聚类簇和K2个子类的效果示意图；
图6是本发明实施例示出的另一种获取表达向量的流程图；
图7～图10是本发明实施例示出的一种图像检测装置的框图；
图11是本发明实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
目前，图像检索通过输入一幅待识别图像，检索出与该待识别图像相似的图像列表和相应的文字、视频或网页链接等内容，具有极为可观的应用前景。
现有相关的图像检索算法工作流程包括：提取待识别图像的视觉特征；构建特征索引或图像表达；依据图像特征或图像表达的距离(如欧式距离、余弦距离等)远近进行相似性判断；并给出相似性图像列表。
然而，相关技术仅利用了待识别图像中的部分视觉特征以及距离信息，并未充分利用待识别图像的视觉特征，不利于提升待识别图像检索的准确率和效率。
为解决上述问题，本发明实施例提供了一种图像检索方法，其发明构思在于，获取待识别图像的局部视觉特征，然后再确定出局部视觉特征的残差向量，利用残差向量形成待识别图像的表达向量，之后基于表达向量可以确定候选图像列表。本实施例中通过利用残差向量可以充分利用待识别图像的特征，有利于提升图像检索的准确率。
图1是本发明实施例示出的一种图像检索方法的框图，参见图1，一种图像检索方法，可以应用于电子设备，例如智能手机、平板电脑、个人计算机等，包括步骤101～步骤103，其中：
在步骤101中，获取待识别图像的局部视觉特征。
在本实施例中，电子设备可以获取用户输入的待识别图像，然后电子设备可以调用视觉特征获取算法提取待识别图像的局部视觉特征。
其中，视觉特征获取算法可以包括尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法，SURF(Speed Up Robust Features)算法，ORB算法(Oriented FASTand Rotated BRIE)等。
以SIFT算法为例，获取局部视觉特征包括：
1.尺度空间极值检测：搜索待识别图像上所有尺度上的图像位置，利用高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
2.关键点定位：在每个候选的兴趣点上，通过一个拟合模型来确定位置和尺度，将位置和尺度稳定程度较高的兴趣点作为关键点。
3.方向确定：基于待识别图像局部的梯度方向，分配给每个关键点位置一个或多个方向。后续过程中，基于关键点的方向、尺度和位置对待识别图像进行变换。
4.关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量待识别图像的图像局部的梯度，其中梯度可以变换成表示向量，表示向量允许比较大的局部形状的变形和光照变化。换言之，上述表示向量即为待识别图像的局部视觉特征。
可理解的是，本实施例中仅描述了SIFT算法的获取视觉特征的方案，当然，技术人员可以根据具体场景选择合适的视觉特征获取算法，在能够获取到局部视觉特征的情况下，相应算法及算法方案落入本申请的保护范围。
在步骤102中，基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量。
在本实施例中，电子设备可以基于局部视觉特征确定出局部视觉特征的残差向量，以及由残差向量构成的待识别图像的表达向量。
参见图2，电子设备可以调用预先存储的图像分类量化器，该图像分类量化器在获取到局部视觉特征后，可以确定出各局部视觉特征所属的聚类簇和子类；其中，图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值(对应步骤201)。其中，K1和K2为正整数。
其中，各局部视觉特征采用描述向量表示，各聚类簇中心也可以采用向量表示，因此各局部视觉特征与其所属聚类簇对应的聚类簇中心作差即可以得到各局部视觉特征的残差向量。
在本实施例中，参见图3，电子设备确定各局部视觉特征所属的聚类簇和子类，可以包括：电子设备可以利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量(对应步骤301)；然后，电子设备可以确定与各局部视觉特征距离最近的聚类中心所在的聚类簇为各局部视觉特征所属的聚类簇(对应步骤302)；之后，电子设备可以基于距离和聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类(对应步骤303)。
可理解的是，上述图像分类量化器需要预先训练好，参见图4，其训练步骤可以包括：电子设备可以获取图像训练集。基于图像训练集，电子设备可以可获取图像训练集中每一张图像，然后获取各图像的局部视觉特征(对应步骤401)。
然后，电子设备利用聚类分析算法对局部视觉特征进行聚类分析，得到K1个聚类簇和各聚类簇的聚类中心(对应步骤402)。其中，聚类分析算法可以包括K-means算法，当然技术人员还可以选择其他聚类算法，在此不作限定。
之后，针对各聚类簇，电子设备获取各聚类簇内局部视觉特征与各聚类簇的聚类中心的距离以及最大距离值；基于最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合(对应步骤403)。
在一实施例中针对各聚类簇，根据最大距离将距离平均切分为K2个类，例如，以聚类簇的聚类中心为圆心，以最大距离的切分位置为半径形成K2个同心圆，位于各圆环区域内的局部视觉特征作为一个子类，而切分位置即是距离分界阈值。即本实施例中可以将最大距离值划分为K2个分段，每个分段形成的区域内的局部视觉特征作为一个子类。每个分段对应的区域与其他分段对应的区域之间的边界可以作为距离分界阈值。参见图5，图5中示出了K1等于4即待识别图像具有4个聚类簇以及4个聚类中心，其中4个聚类簇分别为K11、K12、K13和K14。聚类簇K11可以继续切分为K2等于3即3个子类，其中3个子类可以包括子类K21、K22和K23。各子类的距离分界阈值分别为L1、L2和L3。
继续参见图2，电子设备可以获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量(对应步骤202)。这样，本实施例中通过对聚类簇继续切分得到每个聚类簇的K2个子类，可以得到待识别图像的更细节的局部视觉特征，即所得到的表达向量能够更准确的反映待识别图像的更细节的局部视觉特征，有利于提高检索准确率。
在一些实施例中，参见图6，电子设备可以对累积和向量进行归一化处理，从而归一化后的累加和向量(对应步骤601)。然后，电子设备将归一化后的累加和向量首尾连接得到一个长向量(对应步骤602)。之后，电子设备利用降维算法对长向量进行降维处理，得到降维后的长向量，降维后的长向量即为待识别图像的表达向量(对应步骤602)。这样，本实施例中通过对累加和向量进行处理，可以降低向量的维度，有利于降低数据处理量，提升检索效率。
在本实施例中，电子设备对各局部视觉特征进行量化可以包括：利用k-means量，即计算各局部视觉特征与K1个聚类中心中最近的一个，表示该局部视觉特征属于该聚类簇。并且，电子设备还计算局部视觉特征与聚类中心的残差向量和距离值。然后，根据距离值可以确定该局部视觉特征位于K2个区域内的哪一个区域，从而确定局部视觉特征所属于的子类。
在确定了所有局部视觉特征所属于的子类后，若两个局部视觉特征同属于同一个子类，则累加它们的残差向量，重复上述步骤多次，可以得到K1*K2个残差累加和向量。在一些场景中，上述残差累加和向量即为累加和向量。
在一些实施例中，电子设备还对残差累加和向量分别进行归一化处理，并将K1*K2个残差累加和向量首尾连接成一个长向量，该长向量的维度为D＝K1*K2*d(设置的特征维度)。然后，对长向量进行归一化处理可以得到归一化后的长向量。之后，利用降维算法对归一化后的长向量进行降维处理，得到降维后的长向量，该降维后的长向量即为最终的累加和向量。其中，降维算法可以包括主成分分析算法(Principal Components Analysis，PCA)，当然技术人员还可以选择其他降维算法，在此不作限定。
这样，电子设备对图像分类量化器的训练步骤已经完成。电子设备获取训练过程中得到的K1聚类中心、K2个距离分界阈值，以及PCA降维后的长向量。然后，电子设备获取每个测试图像的局部视觉特征，并获得其表达向量，利用PCA算法对表达向量进行降维。最后，电子设备计算测试图像和训练图像之间的相似性，计算方法如余弦距离，欧式距离等，并筛选出与测试图像相似性最高的训练图像，完成测试过程。
在步骤103中，从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
在本实施例中，电子设备分别计算待识别图像的表达向量和候选图像库中各候选图像的表达向量的相似度，对比相似度和相似度阈值，若相似度超过相似度阈值，则将候选图像加入候选图像列表，直至筛选完候选图像库或者达到预先设置的候选图像数量为止。
至此，本实施例中可以获取待识别图像的局部视觉特征，然后确定出由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量，之后检索出与所述表达向量相似度超过预设相似度阈值的候选图像列表。这样，本实施例中利用了局部视觉特征的残差向量，有利于进一步表达出待识别图像的视觉特征，从而可以提高提高检索候选图像的准确度。
在本发明实施例提供的一种图像检索方法的基础上，本发明实施例还提供了一种图像检索装置，图7是本发明实施例示出的一种图像检测装置的框图。参见图7，一种图像检索装置700，包括：
视觉特征获取模块701，用于获取待识别图像的局部视觉特征；
表达向量确定模块702，用于基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；
图像检索模块703，用于从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
在图7所示的一种图像检索装置的基础上，参见图8，所述表达向量确定模块702包括：
聚类簇确定单元801，用于调用图像分类量化器，由所述图像分类量化器确定各局部视觉特征所属的聚类簇和子类；所述图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及所述K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值；
和向量获取单元802，用于获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量，其中K1和K2为正整数。
在图8所示的一种图像检索装置的基础上，参见图9，所述聚类簇确定单元801包括：
距离获取子单元901，用于利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量；
聚类簇获取子单元902，用于确定与所述各局部视觉特征距离最近的聚类中心所在的聚类簇为所述各局部视觉特征所属的聚类簇；
子类获取子单元903，用于基于所述距离和所述聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类。
在图8所示的一种图像检索装置的基础上，参见图10，所述和向量获取单元802还包括：
和向量获取子单元1001，用于对所述累加和向量进行归一化处理，得到归一化后的累加和向量；
长向量连接子单元1002，用于将归一化后的累加和向量首尾连接得到一个长向量；
表达向量获取子单元1003，用于利用降维算法对所述长向量进行降维处理，得到降维后的长向量，所述降维后的长向量即为所述待识别图像的表达向量。
在一实施例中，所述图像分类量化器通过以下步骤训练，包括：
获取图像训练集中各图像的局部视觉特征；
利用聚类分析算法对所述局部视觉特征进行聚类分析，得到所述K1个聚类簇和各聚类簇的聚类中心；
针对各聚类簇，获取所述各聚类簇内局部视觉特征与所述各聚类簇的聚类中心的距离以及最大距离值；基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，所述距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合。
图11是本发明实施例示出的一种电子设备的框图，参见图11，一种电子设备1100，包括处理器1101和用于存储可执行指令的存储器1102；所述处理器1101通过通信总线1103与所述存储器1102连接，用于从所述存储器1102中读取可执行指令，以实现图1～图6所示的图像检索方法的步骤。
本发明实施例还提供了一种机器可读存储介质，其上存储有机器可执行指令，该指令被处理器执行时实现图1～图6所示的图像检索方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像检索方法，其特征在于，包括：
获取待识别图像的局部视觉特征；
基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；
从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
2.根据权利要求1所述的图像检索方法，其特征在于，基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量，包括：
调用图像分类量化器，由所述图像分类量化器确定各局部视觉特征所属的聚类簇和子类；所述图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及所述K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值；
获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量，其中K1和K2为正整数。
3.根据权利要求2所述的图像检索方法，其特征在于，确定各局部视觉特征所属的聚类簇和子类包括：
利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量；
确定与所述各局部视觉特征距离最近的聚类中心所在的聚类簇为所述各局部视觉特征所属的聚类簇；
基于所述距离和所述聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类。
4.根据权利要求2所述的图像检索方法，其特征在于，获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量之后，所述方法还包括：
对所述累加和向量进行归一化处理，得到归一化后的累加和向量；
将归一化后的累加和向量首尾连接得到一个长向量；
利用降维算法对所述长向量进行降维处理，得到降维后的长向量，所述降维后的长向量即为所述待识别图像的表达向量。
5.根据权利要求2所述的图像检索方法，其特征在于，所述图像分类量化器通过以下步骤训练，包括：
获取图像训练集中各图像的局部视觉特征；
利用聚类分析算法对所述局部视觉特征进行聚类分析，得到所述K1个聚类簇和各聚类簇的聚类中心；
针对各聚类簇，获取所述各聚类簇内局部视觉特征与所述各聚类簇的聚类中心的距离以及最大距离值；基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，所述距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合。
6.根据权利要求5所述的图像检索方法，其特征在于，基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，包括：
针对各聚类簇，将所述最大距离值划分为K2个分段，每个分段对应的局部视觉特征构成一个子类，得到K2个子类；并且，每个分段与所述聚类簇的聚类中心的最大距离为所述每个分段对应子类的距离分界阈值。
7.根据权利要求5所述的图像检索方法，其特征在于，所述聚类分析算法包括K-means算法。
8.一种图像检索装置，其特征在于，包括：
视觉特征获取模块，用于获取待识别图像的局部视觉特征；
表达向量确定模块，用于基于所述局部视觉特征确定由所述局部视觉特征的残差向量构成的所述待识别图像的表达向量；
图像检索模块，用于从候选图像库中检索出与所述表达向量相似度超过相似度阈值的候选图像列表。
9.根据权利要求8所述的图像检索装置，其特征在于，所述表达向量确定模块包括：
聚类簇确定单元，用于调用图像分类量化器，由所述图像分类量化器确定各局部视觉特征所属的聚类簇和子类；所述图像分类量化器包括K1个聚类簇和对应的K1个聚类中心，以及所述K1个聚类簇中各聚类簇切分出的K2个子类和各子类的距离分界阈值；
和向量获取单元，用于获取属于同一个子类的所有局部视觉特征的残差向量和K1*K2个残差向量的累加和向量，所述累加和向量即为所述待识别图像的表达向量，其中K1和K2为正整数。
10.根据权利要求9所述的图像检索装置，其特征在于，所述聚类簇确定单元包括：
距离获取子单元，用于利用聚类分析算法获取各局部视觉特征与各聚类中心的距离和残差向量；
聚类簇获取子单元，用于确定与所述各局部视觉特征距离最近的聚类中心所在的聚类簇为所述各局部视觉特征所属的聚类簇；
子类获取子单元，用于基于所述距离和所述聚类簇内各子类的距离分界阈值确定所述局部视觉特征所属的子类。
11.根据权利要求9所述的图像检索装置，其特征在于，所述和向量获取单元还包括：
和向量获取子单元，用于对所述累加和向量进行归一化处理，得到归一化后的累加和向量；
长向量连接子单元，用于将归一化后的累加和向量首尾连接得到一个长向量；
表达向量获取子单元，用于利用降维算法对所述长向量进行降维处理，得到降维后的长向量，所述降维后的长向量即为所述待识别图像的表达向量。
12.根据权利要求9所述的图像检索装置，其特征在于，所述图像分类量化器通过以下步骤训练，包括：
获取图像训练集中各图像的局部视觉特征；
利用聚类分析算法对所述局部视觉特征进行聚类分析，得到所述K1个聚类簇和各聚类簇的聚类中心；
针对各聚类簇，获取所述各聚类簇内局部视觉特征与所述各聚类簇的聚类中心的距离以及最大距离值；基于所述最大距离值将所述各聚类簇切分为K2个子类，得到各子类的距离分界阈值，所述距离分界阈值的数量为K1*K2个，同一个聚类簇中的各子类互不重合。
13.一种电子设备，其特征在于，包括处理器和用于存储可执行指令的存储器；所述处理器通过通信总线与所述存储器连接，用于从所述存储器中读取可执行指令，以实现权利要求1～7任一项所述的方法的步骤。
14.一种机器可读存储介质，其上存储有机器可执行指令，其特征在于，该指令被处理器执行时实现权利要求1～7任一项所述方法的步骤。
CN201910273228.0A 2019-04-04 2019-04-04 图像检索方法及装置、电子设备、可读存储介质 Active CN111783805B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910273228.0A CN111783805B (zh) 2019-04-04 2019-04-04 图像检索方法及装置、电子设备、可读存储介质
PCT/CN2020/075685 WO2020199773A1 (zh) 2019-04-04 2020-02-18 图像检索方法及装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910273228.0A CN111783805B (zh) 2019-04-04 2019-04-04 图像检索方法及装置、电子设备、可读存储介质

Publications (2)

Publication Number Publication Date
CN111783805A true CN111783805A (zh) 2020-10-16
CN111783805B CN111783805B (zh) 2024-08-23

Family

ID=72664894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910273228.0A Active CN111783805B (zh) 2019-04-04 2019-04-04 图像检索方法及装置、电子设备、可读存储介质

Country Status (2)

Country Link
CN (1) CN111783805B (zh)
WO (1) WO2020199773A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204665A (zh) * 2021-04-28 2021-08-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN113536020A (zh) * 2021-07-23 2021-10-22 北京房江湖科技有限公司 数据查询的方法、存储介质和计算机程序产品
CN113792171A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于内存管理的图像检索方法、系统、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926406A (zh) * 2021-02-02 2021-06-08 广东嘉铭智能科技有限公司 一种自动化免疫荧光检测方法、装置、设备及系统
CN115035556A (zh) * 2021-03-03 2022-09-09 北京迈格威科技有限公司 人脸检索方法、装置、电子设备及存储介质
CN113506284B (zh) * 2021-07-26 2023-05-09 电子科技大学 一种眼底图像微血管瘤检测装置、方法及存储介质
CN117131228A (zh) * 2022-05-18 2023-11-28 华为技术有限公司 一种向量检索方法及装置
CN115841488B (zh) * 2023-02-21 2023-06-09 聊城市飓风工业设计有限公司 一种基于计算机视觉的pcb板的检孔方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256429A (ja) * 2002-03-01 2003-09-12 Kyodo Printing Co Ltd 模様検索装置及びその方法
CN103092861A (zh) * 2011-11-02 2013-05-08 阿里巴巴集团控股有限公司 一种商品代表图的选取方法和系统
CN104216949A (zh) * 2014-08-13 2014-12-17 中国科学院计算技术研究所 一种融合空间信息的图像特征聚合表示方法及系统
US20160267351A1 (en) * 2013-07-08 2016-09-15 University Of Surrey Compact and robust signature for large scale visual search, retrieval and classification
CN108805183A (zh) * 2018-05-28 2018-11-13 南京邮电大学 一种融合局部聚合描述符和局部线性编码的图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335757A (zh) * 2015-11-03 2016-02-17 电子科技大学 一种基于局部特征聚合描述符的车型识别方法
CN106326395B (zh) * 2016-08-18 2019-05-28 北京大学 一种局部视觉特征选择方法及装置
CN108563777A (zh) * 2018-04-24 2018-09-21 京东方科技集团股份有限公司 一种获得图像表示的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256429A (ja) * 2002-03-01 2003-09-12 Kyodo Printing Co Ltd 模様検索装置及びその方法
CN103092861A (zh) * 2011-11-02 2013-05-08 阿里巴巴集团控股有限公司 一种商品代表图的选取方法和系统
US20160267351A1 (en) * 2013-07-08 2016-09-15 University Of Surrey Compact and robust signature for large scale visual search, retrieval and classification
CN104216949A (zh) * 2014-08-13 2014-12-17 中国科学院计算技术研究所 一种融合空间信息的图像特征聚合表示方法及系统
CN108805183A (zh) * 2018-05-28 2018-11-13 南京邮电大学 一种融合局部聚合描述符和局部线性编码的图像分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204665A (zh) * 2021-04-28 2021-08-03 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN113204665B (zh) * 2021-04-28 2023-09-22 北京百度网讯科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN113536020A (zh) * 2021-07-23 2021-10-22 北京房江湖科技有限公司 数据查询的方法、存储介质和计算机程序产品
CN113792171A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于内存管理的图像检索方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111783805B (zh) 2024-08-23
WO2020199773A1 (zh) 2020-10-08

Similar Documents

Publication Publication Date Title
CN111783805B (zh) 图像检索方法及装置、电子设备、可读存储介质
US8064653B2 (en) Method and system of person identification by facial image
WO2018019194A1 (zh) 图像识别方法、终端及非易失性存储介质
JP5607261B2 (ja) オブジェクト認識における特徴生成を改善するためのシステム及び方法
US20100080469A1 (en) Novel descriptor for image corresponding point matching
JP5596155B2 (ja) 短縮虹彩コードを発生させるための方法、システム、およびコンピュータ読み取り可能プログラムを含むコンピュータ読み取り可能記憶媒体（短縮虹彩コードを発生させ使用するためのシステムおよび方法）
CN109934180B (zh) 指纹识别方法及相关装置
JP2012527705A (ja) 物体認識用のヒストグラム方法及びシステム
Tang et al. Distinctive image features from illumination and scale invariant keypoints
EA004910B1 (ru) Способ и устройство для определения областей, представляющих интерес, в изображениях и для передачи изображения
US10832030B2 (en) Method and apparatus of selecting candidate fingerprint image for fingerprint recognition
US20120328197A1 (en) Identifying matching images
CN106056083A (zh) 一种信息处理方法及终端
CN111930985A (zh) 图像检索方法、装置、电子设备及可读存储介质
CN115690803A (zh) 数字图像的识别方法、装置、电子设备及可读存储介质
CN109829383B (zh) 掌纹识别方法、装置和计算机设备
Zhao et al. A robust color-independent text detection method from complex videos
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
US10853972B2 (en) Apparatus for processing image and method thereof
CN109886089A (zh) 掌纹识别方法、装置和计算机设备
CN114333039B (zh) 一种人像聚类的方法、装置及介质
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
CN113657378B (zh) 车辆跟踪方法、车辆跟踪系统和计算设备
CN111666902B (zh) 行人特征提取模型的训练方法、行人识别方法及相关装置
CN113077410A (zh) 图像检测方法、装置方法、芯片及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant