CN104156362B - 一种大规模图像特征点匹配方法 - Google Patents

一种大规模图像特征点匹配方法 Download PDF

Info

Publication number
CN104156362B
CN104156362B CN201310175932.5A CN201310175932A CN104156362B CN 104156362 B CN104156362 B CN 104156362B CN 201310175932 A CN201310175932 A CN 201310175932A CN 104156362 B CN104156362 B CN 104156362B
Authority
CN
China
Prior art keywords
image
characteristic point
stage
training
invariant features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310175932.5A
Other languages
English (en)
Other versions
CN104156362A (zh
Inventor
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Original Assignee
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd filed Critical EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority to CN201310175932.5A priority Critical patent/CN104156362B/zh
Publication of CN104156362A publication Critical patent/CN104156362A/zh
Application granted granted Critical
Publication of CN104156362B publication Critical patent/CN104156362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及电子技术领域，具体涉及一种大规模图像特征点匹配方法，其特征在于包括如下步骤：（1）训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到一个大规模的特征点集合，从而得到一组聚类中心和一组投影向量；（2）索引阶段：将欲索引的图像特征点通过聚类中心和投影向量进行量化和投影，建立索引结构；（3）匹配阶段：将查询图像特征通聚类中心和投影向量进行量化和投影，并在索引结构中查找其匹配对象。本发明可以应用到大规模图像检索中，在图像特征点数据库很大的情况，依然可以在很短的时间内得到较高的识别率。

Description

一种大规模图像特征点匹配方法
技术领域
本发明涉及电子技术领域，特别涉及一种大规模图像特征点匹配方法。
背景技术
图像特征点匹配，是指在一个图像特征点的集合中，找出与查询图像特征点相匹配的候选特征点。图像特征点匹配是图像识别，图像理解中的一种基础技术，是很多图像相关应用的重要构成部分。
经典的图像特征点匹配算法包括穷举检索、基于kd-tree的检索、基于随即森林的方法等。穷举检索是指将查询特征点与数据库中的图像特征点逐一做比较，选取最接近的特征点。基于kd-tree的方法是指将数据库中的特征点通过kd-tree建立索引，匹配时候将查询特征点带入kd-tree进行匹配。基于随即森林的方法是指通过随即森林将数据库中的特征点进行建模，匹配时候利用随即森林对查询特征点进行分类。
以上方法在特定的应用场景中能得到一定的识别率，但是随着图像特征点数据库的增大，传统方法的匹配率会迅速下降，匹配时间会大幅度增加，从而变得难以应用。
发明内容
本发明的目的是提供一种大规模图像特征点匹配方法，在图像特征点数据库很大的情况，依然可以在很短的时间内得到较高的识别率。
为解决上述技术问题，本发明采用的技术方案是：
一种大规模图像特征点匹配方法，包括如下步骤：
（1）训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i=1…N和一组投影向量PROJj，j=1…D；
（2）索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构；
（3）匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象。
进一步地，所述步骤（1）包括如下具体步骤：
1）准备大量的、与识别图像无关的自然图像；
2）对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf等统计不变特征，或其组合，由此得到一组图像不变特征集合；
3）对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi，i=1…N，N可以取10k到100k不等；
4）将上述N个聚类中心，使用kd-tree进行索引，记为KDT；
5）随即选取D个单位正交向量，记为PROJj，j=1…D。
进一步地，所述步骤（2）包括如下具体步骤：
1）首先建立N个链表，链表项包含图像特征二进制串和其他元数据；
2）对于欲索引的每一个图像特征点做以下处理：
a.对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi；
b.对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
c.使用Fi减去Mi得到残差DIFFi；
d.对DIFFi使用PROJj，j=1…D进行投影，得到一个长度为D的投影向量Pi，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi；
e.将Bi和其它元数据加入到序号为k的链表中。
进一步地，所述步骤（3）包括如下具体步骤：
1）对图像特征点提取与训练期间相同种类的图像不变特征，记为F；
2）对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
3）使用F减去Mi得到残差DIFF；
4）对DIFF使用PROJj，j=1…D进行投影，得到一个长度为D的投影向量P，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B；
5）遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
本发明可以应用到大规模图像检索中，在图像特征点数据库很大的情况，依然可以在很短的时间内得到较高的识别率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的匹配阶段的处理过程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例，见图1所示：
一种大规模图像特征点匹配方法，包括如下步骤：
（1）训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i=1…N和一组投影向量PROJj，j=1…D；包括如下具体步骤：
1）准备大量的、与识别图像无关的自然图像；
2）对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf等统计不变特征，或其组合，由此得到一组图像不变特征集合；
3）对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi，i=1…N，N可以取10k到100k不等；
4）将上述N个聚类中心，使用kd-tree进行索引，记为KDT；
5）随即选取D个单位正交向量，记为PROJj，j=1…D；
（2）索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构；包括如下具体步骤：
1）首先建立N个链表，链表项包含图像特征二进制串和其他元数据；
2）对于欲索引的每一个图像特征点做以下处理：
a.对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi；
b.对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
c.使用Fi减去Mi得到残差DIFFi；
d.对DIFFi使用PROJj，j=1…D进行投影，得到一个长度为D的投影向量Pi，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi；
e.将Bi和其它元数据加入到序号为k的链表中；
（3）匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象；包括如下具体步骤：
1）对图像特征点提取与训练期间相同种类的图像不变特征，记为F；
2）对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
3）使用F减去Mi得到残差DIFF；
4）对DIFF使用PROJj，j=1…D进行投影，得到一个长度为D的投影向量P，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B；
5）遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
本发明的匹配方法可以应用到大规模图像检索中，具体过程为：将索引图像提取特征点，对特征点提取图像不变特征；建立索引结构；将上述索引结构部署到服务器上；用户通过桌面电脑上传或者通过移动设备拍照上传查询图像；服务器对查询图像提取特征点，对特征点提取图像不变特征，使用本发明的匹配方法进行匹配；对匹配上的特征点进行后处理得到匹配的图像。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的基本原理所做的等效变化或修改，均包括于本发明专利申请范围内。

Claims (2)

1.一种大规模图像特征点匹配方法，其特征在于包括如下步骤：
(1)训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i＝1…N和一组投影向量PROJj，j＝1…D；
(2)索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构，包括如下具体步骤：
1)首先建立N个链表，链表项包含图像特征二进制串和其他元数据；
2)对于欲索引的每一个图像特征点做以下处理：
a.对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi；
b.对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
c.使用Fi减去Mi得到残差DIFFi；
d.对DIFFi使用PROJj，j＝1…D进行投影，得到一个长度为D的投影向量Pi，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi；
e.将Bi和其它元数据加入到序号为k的链表中；
(3)匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象，包括如下具体步骤：
1)对图像特征点提取与训练期间相同种类的图像不变特征，记为F；
2)对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻；
3)使用F减去Mi得到残差DIFF；
4)对DIFF使用PROJj，j＝1…D进行投影，得到一个长度为D的投影向量P，对这个投影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B；
5)遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
2.根据权利要求1所述的大规模图像特征点匹配方法，其特征在于，所述步骤(1)包括如下具体步骤：
1)准备大量的、与识别图像无关的自然图像；
2)对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf统计不变特征，或其组合，由此得到一组图像不变特征集合；
3)对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi，i＝1…N，N可以取10k到100k不等；
4)将上述N个聚类中心，使用kd-tree进行索引，记为KDT；
5)随即选取D个单位正交向量，记为PROJj，j＝1…D。
CN201310175932.5A 2013-05-14 2013-05-14 一种大规模图像特征点匹配方法 Active CN104156362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310175932.5A CN104156362B (zh) 2013-05-14 2013-05-14 一种大规模图像特征点匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310175932.5A CN104156362B (zh) 2013-05-14 2013-05-14 一种大规模图像特征点匹配方法

Publications (2)

Publication Number Publication Date
CN104156362A CN104156362A (zh) 2014-11-19
CN104156362B true CN104156362B (zh) 2017-04-19

Family

ID=51881867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310175932.5A Active CN104156362B (zh) 2013-05-14 2013-05-14 一种大规模图像特征点匹配方法

Country Status (1)

Country Link
CN (1) CN104156362B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391987B (zh) * 2014-12-13 2017-06-30 吉林大学 基于移动平台下大规模目标识别的方法
CN106780579B (zh) * 2017-01-17 2019-08-13 华中科技大学 一种超大规模图像特征点匹配方法及系统
CN107480581B (zh) * 2017-03-31 2021-06-15 触景无限科技（北京）有限公司 物体识别方法和装置
CN107784321B (zh) * 2017-09-28 2021-06-25 深圳市快易典教育科技有限公司 数字绘本快速识别方法、系统及计算机可读存储介质
CN110275970B (zh) * 2019-06-21 2022-05-06 北京达佳互联信息技术有限公司 图像检索的方法、装置、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859320A (zh) * 2010-05-13 2010-10-13 复旦大学 一种基于多特征签名的海量图像检索方法
CN102521233A (zh) * 2010-11-02 2012-06-27 微软公司 自适应图像检索数据库

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243081B2 (en) * 2006-08-22 2012-08-14 International Business Machines Corporation Methods and systems for partitioning a spatial index

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859320A (zh) * 2010-05-13 2010-10-13 复旦大学 一种基于多特征签名的海量图像检索方法
CN102521233A (zh) * 2010-11-02 2012-06-27 微软公司 自适应图像检索数据库

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Approximate Nearest Neighbor Search by Residual Vector Quantization ";Yongjian Chen 等;《Sensors》;20101208;11259-11273 *
"Product quantization for nearest neighbor search";Herve Jegou 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20100318;117-128 *

Also Published As

Publication number Publication date
CN104156362A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
Radenović et al. Revisiting oxford and paris: Large-scale image retrieval benchmarking
Jiang et al. Partial copy detection in videos: A benchmark and an evaluation of popular methods
Aly et al. Indexing in large scale image collections: Scaling properties and benchmark
Hong et al. Image-based three-dimensional human pose recovery by multiview locality-sensitive sparse retrieval
Su et al. Weblogo-2m: Scalable logo detection by deep learning from the web
CN104156362B (zh) 一种大规模图像特征点匹配方法
US8805116B2 (en) Methods and apparatus for visual search
Douze et al. The 2021 image similarity dataset and challenge
Zhi et al. Two-stage pooling of deep convolutional features for image retrieval
Varish et al. Content based image retrieval using statistical features of color histogram
Xing et al. Towards multi-view and partially-occluded face alignment
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
Wang et al. Duplicate discovery on 2 billion internet images
CN103390165A (zh) 一种图片聚类的方法及装置
CN108182256A (zh) 一种基于离散局部线性嵌入哈希的高效图像检索方法
Duan et al. Towards mobile document image retrieval for digital library
CN117332103A (zh) 基于关键词抽取和多模态特征融合的图像检索方法
Gao et al. SHREC’15 Track: 3D object retrieval with multimodal views
Cui et al. GraphMatch: Efficient large-scale graph construction for structure from motion
Zhang [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks
CN104346456A (zh) 基于空间依赖性度量的数字图像多语义标注方法
JP2014225168A (ja) 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法
Zhang et al. Bundling centre for landmark image discovery
Wang et al. Learning multi-scale representations with single-stream network for video retrieval
Lv et al. Efficient large scale near-duplicate video detection base on spark

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant