CN105608463B - 一种立体图像特征匹配方法 - Google Patents

一种立体图像特征匹配方法 Download PDF

Info

Publication number
CN105608463B
CN105608463B CN201510925721.8A CN201510925721A CN105608463B CN 105608463 B CN105608463 B CN 105608463B CN 201510925721 A CN201510925721 A CN 201510925721A CN 105608463 B CN105608463 B CN 105608463B
Authority
CN
China
Prior art keywords
matching
trees
band
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510925721.8A
Other languages
English (en)
Other versions
CN105608463A (zh
Inventor
袁志勇
张贵安
童倩倩
袁田琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201510925721.8A priority Critical patent/CN105608463B/zh
Publication of CN105608463A publication Critical patent/CN105608463A/zh
Application granted granted Critical
Publication of CN105608463B publication Critical patent/CN105608463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种立体图像特征匹配方法,首先定义方向大约一致约束关系,然后根据此约束关系对标准的K‑d树进行改进,构建一种更高效的搜索树结构,即层次结构的K‑d树,最后在方向大约一致约束关系和层次结构的K‑d树基础上设计出快速匹配算法。本发明所提方法获得了更高的匹配效率,并通过实验对比,验证了本发明的有效性。

Description

一种立体图像特征匹配方法
技术领域
本发明属于计算机视觉和图像处理领域,涉及一种立体图像特征匹配方法,尤其涉及一种以SIFT特征为特征对象、运用K-d树结构对立体图像进行特征匹配方法。
背景技术
在机器视觉和图形图像处理领域,特征匹配是非常重要的环节,特征的选择及匹配的效率和精度决定最终处理效果的优劣。图像特征从尺度上分为局部特征和全局特征,全局特征包括颜色、纹理、形状等,而局部特征包括点、线、区域等。由于局部特征点具有很好稳定性,不易受外界干扰,因此得到了研究人员的广泛关注,并提出了很多关于局部特征描述的方法。方向梯度直方图(Histogram of Oriented Gradient,HOG)特征描述子[文献1],通过计算局部区域的梯度方向并统计,形成直方图,用此来表示一个特征。由于梯度的性质,导致其对噪声非常敏感;SIFT特征是David G.Lowe[文献2]在1999年初次提出,并在2004年[文献3]对此作了更为详细的阐述和应用的介绍,其全称为尺度不变特征变换(Scale Invariant Features Transform)。由于其对图像尺度、旋转、一定角度范围的仿射和视角等变化具有不变性,同时对于一些噪声和光照变化也有一定的鲁棒性,在图像检索[文献4][文献5]、物体检测[文献6]和识别[文献7][文献8]、场景分类[文献9][文献10]等方面得到了成功的应用。
由于SIFT在诸多应用中的出色表现,研究人员对此展开了大量的研究,总体可以分为三类:一是鉴于SIFT的各种功能提出类似(SIFT-like)的特征描述符,如SIFT-Rank[文献11]、SURF[文献12]、BRIEF[文献13]以及在BRIEF基础上改进的ORB[文献14]等;二是对SIFT的优化,包括对度量方法的优化,[文献15]采用有别于传统L2距离的EMD(EarthMover’s Distance)变量(类似的距离还有diffusion distance[文献16]和EMDMOD[文献17]);对描述符结构的优化,主要是优化描述符的长度问题(标准的长度是128位),PCA-SIFT[文献18]是将主成分分析技术运用到描述符维度的优化上,在以特征点为中心的41*41的图像块上计算2*39*39=3042维的向量,运用PCA技术达到降维的目的(如20维);Alexandra Gilinsky et al.提出了一种压缩的描述符的表示,SIFTpack,其考虑到两个描述符有可能存在重叠,这样的话,重叠部分就被重复存储了,对这个问题的研究不仅可以降低存储,同时还会带来匹配性能上的提升[文献19];三是对SIFT的扩展,如受光流启发的SIFT Flow[文献20],在一个数据集中将查询图像(query image)对齐于一个与之最近的图像,可用于运动预测;Spatio-temporal SIFT[文献21]将时空信息引入到DoG的计算中,并将视频帧集叠加成一个时空体[文献22],那么极值点的选取就在时空差分金字塔中的三个方向(xy、xt和yt)的切片中进行。
在特征匹配时,Brute Force方法是最简单的方法,优点是可以得到准确的匹配结果,但是时间上花费比较多,效率较低。在最新版本OpenCV-2.4.11中,SIFT特征匹配采用的是基于标准的K-d树(Standard K-d tree,简称SKD树)的算法,获取目标特征点集中最优的2个特征点,通过计算距离比值而来决定是否匹配。该方法有较高的计算效率和精度,但最近的CasHash[文献23]方法取得了比SKD树更好的运行效果。CasHash方法是由Jian Cheng等人提出的基于哈希的方法,称为级联哈希(Cascade Hashing),首先运用一个短编码的哈希查找来进行一遍粗略搜索,为参考图像I建立一个查找表,表中有多个桶(bucket),那么I中的查询特征点p在目标图像J中的匹配点都会落入同一个桶中;经过粗略的搜索后,在哈希查找表上通过计算每个候选对象的汉明距离(Hamming Distance)来进行精细搜索;最后在经过汉明距离排序的候选中,选择前k个点,再通过欧式距离获得最近邻和次近邻用于距离比值,获得匹配点。通过实验,CasHash方法优于SKD树方法,且比同类的哈希方法LDAHash[文献24]有更高的匹配效率。本发明受SKD树方法的启发,设计了效率更高且更精确的层次结构的K-d树(Hierarchical K-d tree,简称HKD树)用于立体图像对的匹配。因此,除了与SKD树方法比较外,同时还与Brute Force方法和最新的CasHash方法进行对比,并通过大量的实验验证了本发明的有效性。
[文献1]N.Dalal and B.Triggs,"Histograms of Oriented Gradients forHuman Detection",Proc.IEEE Conf.Computer Vision and Pattern Recognition,2005.
[文献2]Lowe,D.G.1999.Object recognition from local scale-invariantfeatures.In International Conferenceon Computer Vision,Corfu,Greece,pp.1150-1157.
[文献3]D.Lowe,“Distinctive Image Features from Scale-InvariantKeypoints,”Int’l J.Computer Vision,vol.2,no.60,pp.91-110,2004.
[文献4]Philbin,J.,Chum,O.,Isard,M.,Sivic,J.,Zisserman,A.:Objectretrieval withlarge vocabularies and fast spatial matching.In:CVPR(2007).
[文献5]Snavely,N.,Seitz,S.,Szeliski,R.:Photo tourism:exploring photocollections in3D.ACM Transactions on Graphics(TOG)25(3),835–846(2006).
[文献6]Mikolajczyk,K.,Leibe,B.,Schiele,B.:Multiple object classdetection with a generativemodel.In:CVPR(2006).
[文献7]Ferrari,V.,Tuytelaars,T.,Van Gool,L.:Simultaneous objectrecognition andsegmentation by image exploration.In:Pajdla,T.,Matas,J(G.)(eds.)ECCV2004.LNCS,vol.3021,pp.40–54.Springer,Heidelberg(2004).
[文献8]Arth,C.,Leistner,C.,Bischof,H.:Robust Local Features and theirApplication inSelf-Calibration and Object Recognition on Embedded Systems.In:CVPR(2007).
[文献9]L.Fei-Fei and P.Perona.A bayesian hierarchical modelforlearning natural scene categories.In CVPR,pages 524–531,2005.
[文献10]S.Lazebnik,C.Schmid,and J.Ponce.Beyond bags offeatures:Spatial pyramid matching for recognizing naturalscene categories.In CVPR,pages 2169–2178,2006.
[文献11]Toews,Matthew,and William Wells."SIFT-Rank:Ordinaldescription for invariant feature correspondence."Computer Vision and PatternRecognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009.
[文献12]Bay,H.,Tuytelaars,T.,&Van Gool,L.(2006).SURF:Speeded UpRobust Features.In A.Leonardis,H.Bischof&A.Pinz(Eds.),Computer Vision–ECCV2006(Vol.3951,pp.404-417):Springer Berlin Heidelberg.
[文献13]Calonder,Michael,et al."Brief:Binary robust independentelementary features."Computer Vision–ECCV 2010(2010):778-792.
[文献14]Rublee,Ethan,et al."ORB:an efficient alternative to SIFT orSURF."Computer Vision(ICCV),2011IEEE International Conference on.IEEE,2011.
[文献15]Pele,Ofir,and Michael Werman."A linear time histogram metricfor improved sift matching."Computer Vision–ECCV 2008.Springer BerlinHeidelberg,2008.495-508.
[文献16]Ling,Haibin,and Kazunori Okada."Diffusion distance forhistogram comparison."Computer Vision and Pattern Recognition,2006IEEEComputer Society Conference on.Vol.1.IEEE,2006.
[文献17]Werman,M.,Peleg,S.,Melter,R.,Kong,T.:Bipartite graph matchingfor points on a line or a circle.Journal of Algorithms 7(2),277–284(1986).
[文献18]Y.Ke,R.Sukthankar,PCA-SIFT:a more distinctive representationfor local image descriptors,in:CVPR,issue 2,2004,pp.506–513.
[文献19]Gilinsky,Alexandra,and Lihi Zelnik Manor."SIFTpack:a compactrepresentation for efficient SIFT matching."Computer Vision(ICCV),2013IEEEInternational Conference on.IEEE,2013.
[文献20]Liu,Ce,et al."Sift flow:Dense correspondence across differentscenes."Computer Vision–ECCV 2008.Springer Berlin Heidelberg,2008.28-42.
[文献21]M.Al Ghamdi,L.Zhang,and Y.Gotoh.Spatio-temporal SIFT and itsapplication to human action classification.In ECCV,2012.
[文献22]Lopes,Ana Paula B.,et al."Spatio-temporal frames in a bag-of-visual-features approach for human actions recognition."Computer Graphics andImage Processing(SIBGRAPI),2009XXII Brazilian Symposium on.IEEE,2009.
[文献23]J.Cheng,C.Leng,J.Wu,H.Cui,and H.Lu.Fast and accurate imagematching with cascade hashing for 3d reconstruction.In Computer Vision andPattern Recognition(CVPR),2014IEEE Conference on,pages 1–8.IEEE,2014.
[文献24]C.Strecha,A.M.Bronstein,M.M.Bronstein,and P.Fua.Ldahash:Improved matching with smaller descriptors.IEEE Transactions on PatternAnalysis and Machine Intelligence,34(1):66-78,2012.
发明内容
针对三维建模中立体图像匹配的快速性和准确性的问题。本发明从计算机视觉中的立体图像匹配出发,以SIFT特征为基础,提出了一种立体图像特征匹配方法,首先定义方向大约一致约束关系,然后根据此约束关系对标准的K-d树进行改进,构建一种更高效的搜索树结构,即层次结构的K-d树,最后在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法;
所述定义方向大约一致约束关系,是根据单个物体或场景的各个局部位置间的相对顺序性,引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系,整个定义过程为:首先定义参考图像和目标图像的特征点集,两个特征点集间的匹配点对和匹配线;然后在匹配点对的基础上定义匹配特征向量及匹配特征向量集;最后定义方向大约一致约束;
所述构建层次结构的K-d树,整个构建过程为:针对需要进行特征匹配的立体图像对,提取立体图像的特征点集R和T,分别取最顶端和最底端的匹配特征向量ltop和lbottom;然后根据匹配特征向量ltop和lbottom在特征集R中的特征点rtop和rbottom的纵坐标无仿射变换条件下将R和T均匀地分成H层,每一层srk和stk称之为一条条带,计算出条带的高度最后,将R和T的每一条条带按顺序建立映射maprk→tk
所述在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,首先在层次结构的K-d树上,根据查询来自参考特征点集特征点的所属条带,由条带映射maprk→tk找到其目标条带,即目标特征点集,然后在root_list中找到相应的树,最后在查询到的树上进行最近邻和次近邻的搜素。
作为优选,所述定义方向大约一致约束关系,是根据单个物体或场景的各个局部位置间的相对顺序性,引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系,整个定义过程包括以下子步骤:
步骤1.1:
定义参考图像的特征点集合为R:而目标图像的特征点集合为T:M和N分别是R和T特征点的数目;如果特征点r和t是匹配的,称之为匹配点对,表示为c(r,t),所有匹配点对的集合为C;匹配点对之间的连线称之为匹配线l,加上线的方向属性Ori后则为匹配向量,表示为
步骤1.2:
定义匹配特征向量集,即由全部P个匹配特征向量组成的集合:
L={lk|<r,t>,k∈[0,P],P=min(M,N),r∈R,t∈T} (1);
步骤1.3:
定义方向大约一致约束,如果已知两条匹配特征向量lup和ldown,且它们的方向为Oriup和Oridown,那么和位于它们之间的匹配特征向量lmid具有以下关系:
作为优选,所述构建层次机构的K-d树,整个构建过程包括以下子步骤:
步骤2.1:针对需要进行特征匹配的立体图像对,提取立体图像对的特征点集R和T,分别取最顶端和最底端的匹配特征向量ltop和lbottom,用于应对一般情形下立体图像对可能存在尺度、视角的不同;
步骤2.2:根据匹配特征向量ltop和lbottom在特征点集R中的特征点rtop和rbottom的纵坐标无仿射变换条件下将R均匀地分成H层,每一层srk称为一条条带,每一层的高度为:
特征集T划分成同样的层数,即H层,并按照上述方法计算出每个条带的高度:
步骤2.3:在特征提取后,先对获取的特征点集R和T按照纵坐标排序的方式升序排序,然后对特征点集R和T分别以各自的层高为步长,将它们划分成H条条带,maprk→tk=(srk,stk)(k=1,...,H)称为第k条r到t的条带映射;
对T的每一条条带建立一个K-d树,将其根保存在列表root_list中,该列表通过(srk,stk)将左右条带联系起来;
所述在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,首先在层次结构的K-d树上,根据查询来自参考特征点集特征点的所属条带,由条带映射maprk→tk找到其目标条带,即目标特征点集,然后在root_list中找到相应的树,最后在查询到的树上进行最近邻和次近邻的搜素。
作为优选,所述在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,其具体实现包括以下子步骤:
步骤3.1:特征提取;
步骤3.1.1:建立高斯金字塔和差分金字塔;
步骤3.1.2:在差分金字塔空间检测极值点,并通过插值进行精确定位;
步骤3.1.3:计算特征点主方向;
步骤3.1.4:计算特征点描述符;
步骤3.2:特征匹配;
步骤3.2.1:根据方向大约一致约束将图像对分割为H层条带,建立图像对的条带映射maprk→tk和目标特征点集层次结构的K-d树;
步骤3.2.2:
执行第一次循环:针对特征点集R的每一条条带srk(k=1,...,H);
执行第二次循环:针对每一个特征点ri,由条带映射maprk→tk找到相应条带的rootsk,执行K-d树的K近邻搜索,获得匹配点;
第二次循环结束;
第一次循环结束;
步骤3.2.3:经鲁棒性算法RANSAC的筛选,求得精确的匹配点对。
与现有技术相比,本发明具有以下的创新与优势:本发明发现对现有的存储结构K-d树进行了改进,提出了一种可以加速匹配速度的HKD树,并设计了相应的匹配算法,性能上总体提升约为10倍。
附图说明
图1为本发明实施例的一般情况下特征匹配时匹配的特征点对(pairwisefeatures)构成的匹配特征向量的空间几何位置关系示意图,图中的每一条连线称之为匹配特征向量;
图2为本发明实施例的特征向量层数计算的示意图;
图3为本发明实施例的HKD树设计的示意图;
图4为本发明实施例的快速匹配算法流程图;
图5为本发明实施例的实验所采用由Middlebury提供的五种数据库立体图像对;
图6为本发明实施例的不同的条带高度对应的匹配时间和匹配点对数目之间的关系;
图7为本发明实施例的图6的前部分的放大显示;
图8为本发明实施例的实验结果分析图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
首先本发明提出了一种新的约束关系,方向大约一致(ApproximatelyConsistent In Orientation,简称ACIO)约束关系,如图1所示,对于一般的图像特征匹配,左右图像对的特征都存在着空间几何位置的顺序性,如果将相互匹配的特征点连起来,即可形成匹配特征向量,本发明发现这些匹配特征向量也存在着一定的空间位置关系,如同向性和不相交性(在没有旋转的情形下)。基于此约束的发现,本发明从计算机视觉中的立体图像匹配出发,以SIFT特征为基础,提出了一种用于立体图像对(Stereo PairwiseImages,简称SPI)特征匹配的约束关系,称为方向大约一致约束;基于此约束关系,提出一种具有层次结构的K-d树(Hierarchical K-dtree,简称HKD树)和在该结构上进行快速匹配的算法。
定义方向大约一致约束关系,是根据单个物体或场景的各个局部位置间的相对顺序性,引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系,整个定义过程包括以下子步骤:
步骤1.1:
定义参考图像的特征点集合为R:而目标图像的特征点集合为T:M和N分别是R和T特征点的数目;如果特征点r和t是匹配的,称之为匹配点对,表示为c(r,t),所有匹配点对的集合为C;匹配点对之间的连线称之为匹配线l,加上线的方向属性Ori后则为匹配向量,表示为
步骤1.2:
定义匹配特征向量集,即由全部P个匹配特征向量组成的集合:
L={lk|<r,t>,k∈[0,P],P=min(M,N),r∈R,t∈T} (1);
步骤1.3:
定义方向大约一致约束,如果已知两条匹配特征向量lup和ldown,且它们的方向为Oriup和Oridown,那么和位于它们之间的匹配特征向量lmid具有以下关系:
构建层次结构的K-d树,整个构建过程包括以下子步骤:
步骤2.1:针对需要进行特征匹配的立体图像对,提取立体图像对的特征点集R和T,分别取最顶端和最底端的匹配特征向量ltop和lbottom(如图2,不失一般性,将尺度小的图像放在右侧),目的是为了应对一般情形下左右像对可能存在尺度、视角等的不同。
步骤2.2:根据匹配特征向量ltop和lbottom在特征点集R中的特征点rtop和rbottom的纵坐标无仿射变换条件下将R均匀地分成H层,每一层srk称为一条条带,每一层的高度为:
特征集T划分成同样的层数,即H层,并按照上述方法计算出每个条带的高度:
步骤2.3:在特征提取后,先对获取的特征点集R和T按照纵坐标排序的方式升序排序,然后对特征点集R和T分别以各自的层高为步长,将它们划分成H条条带,maprk→tk=(srk,stk)(k=1,...,H)称为第k条r到t的条带映射;
对T的每一条条带建立一个K-d树,如图3所示,将其根保存在列表root_list中,该列表通过(srk,stk)将左右条带联系起来;
在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,在HKD树上,根据查询特征点(来自参考特征集)的所属条带,由条带映射maprk→tk找到其目标条带,即目标特征点集,然后在root_list中找到相应的树,最后在查询到的树上进行最近邻和次近邻的搜素,请见图4,本发明的快速匹配算法具体步骤如下:
步骤3.1:特征提取;
步骤3.1.1:建立高斯金字塔和差分金字塔;
步骤3.1.2:在差分金字塔空间检测极值点,并通过插值进行精确定位;
步骤3.1.3:计算特征点主方向;
步骤3.1.4:计算特征点描述符;
步骤3.2:特征匹配;
步骤3.2.1:根据方向大约一致约束将图像对分割为H层条带,建立图像对的条带映射maprk→tk和目标特征点集层次结构的K-d树;
步骤3.2.2:
执行第一次循环:针对特征点集R的每一条条带srk(k=1,...,H);
执行第二次循环:针对每一个特征点ri,由条带映射maprk→tk找到相应条带的rootsk,执行K-d树的K近邻搜索,获得匹配点;
第二次循环结束;
第一次循环结束;
步骤3.2.3:经鲁棒性算法RANSAC的筛选,求得精确的匹配点对。
以下通过实验验证本发明所提方法的准确性和高效性,并与最新的方法进行比较。
实验中,所有的方法都运行于DELL PRECISION T3500PC机上,操作系统是Win7SP1,处理器是Intel Xeon,W3503@2.40HZ 2.40HZ,内存为4GB;采用的图像数据是由Middlebury提供的标准数据库中的立体图像对(如图5所示),实验中,5种数据库的图像尺寸为1390×1110(前三种)和1342×1110(后两种)。下面将采用4种方法来完成匹配,并对实验结果进行比较分析。
在进行HKD树设计时,不同条带数的选择会导致不同的结果,以数据库Doll为例,图6显示的是本发明在选择不同的条带数时,匹配时间和匹配特征对数之间的关系图(图6是全部的条带数对应的时间和匹配特征对数的曲线关系,而图7是对图6前面一部分的放大显示,便于分析)。从图中可以看出,随着条带数的增加,运行时间总体上呈现下降趋势,而匹配特征对数总体上是先增加后减少的变化规律。因此,在不同的应用需求下,需要在重建的精度和速度之间做一个权衡,选择合适的条带数,以期达到最优的重建效果。
表1是将四种方法运行在不同的立体图像上,得出最后的匹配时间(以折线图的方式显示在图8中),最后一行为本发明所提出的方法。获得每一种数据库图像对的特征点集之后,分别用四种方法对特征点集进行匹配运算,从表1中可以看出,Brute Force方法的运行时间最长,基本上是SKD树方法运行时间的一个数量级以上,而CasHash方法的确比SKD树方法更快一些,但随着特征点的增多,这种优势也变得不是十分明显。最后一行为本发明所述方法的运行时间,取得了显著的加速效果,比SKD树方法快一个数量级以上,且也快数倍于CasHash方法。
表1 不同方法在五种立体图像数据库上的匹配时间(单位:ms)
综上所述,本发明首先定义了立体图像间特征点对的空间约束关系——方向大约一致(ACIO)约束关系,然后在此理论基础上提出了用于特征点匹配的HKD树结构,及基于此的匹配方法。通过实验表明,本发明更有效地提高了匹配效率。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种立体图像特征匹配方法,其特征在于:首先定义方向大约一致约束关系,然后根据此约束关系对标准的K-d树进行改进,构建一种更高效的搜索树结构,即层次结构的K-d树,最后在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法;
所述定义方向大约一致约束关系,是根据单个物体或场景的各个局部位置间的相对顺序性,引申到相互匹配的物体或场景间匹配的局部位置向量的空间位置关系,整个定义过程为:首先定义参考图像和目标图像的特征点集,两个特征点集间的匹配点对和匹配线;然后在匹配点对的基础上定义匹配特征向量及匹配特征向量集;最后定义方向大约一致约束;
所述定义方向大约一致约束关系,整个定义过程的具体实现包括以下子步骤:
步骤1.1:
定义参考图像的特征点集合为R:而目标图像的特征点集合为T:M和N分别是R和T特征点的数目;如果特征点r和t是匹配的,称之为匹配点对,表示为c(r,t),所有匹配点对的集合为C;匹配点对之间的连线称之为匹配线l,加上线的方向属性Ori后则为匹配向量,表示为
步骤1.2:
定义匹配特征向量集,即由全部P个匹配特征向量组成的集合:
L={lk|<r,t>,k∈[0,P],P=min(M,N),r∈R,t∈T} (1);
步骤1.3:
定义方向大约一致约束,如果已知两条匹配特征向量lup和ldown,且它们的方向为Oriup和Oridown,那么和位于它们之间的匹配特征向量lmid具有以下关系:
所述构建层次结构的K-d树,整个构建过程为:针对需要进行特征匹配的立体图像对,提取立体图像的特征点集R和T,分别取最顶端和最底端的匹配特征向量ltop和lbottom;然后根据匹配特征向量ltop和lbottom在特征集R中的特征点rtop和rbottom的纵坐标无仿射变换条件下将R和T均匀地分成H层,每一层srk和stk称之为一条条带,计算出条带的高度最后,将R和T的每一条条带按顺序建立映射maprk→tk
所述构建层次结构的K-d树,整个构建过程包括以下子步骤:
步骤2.1:针对需要进行特征匹配的立体图像对,提取立体图像对的特征点集R和T,分别取最顶端和最底端的匹配特征向量ltop和lbottom,用于应对一般情形下立体图像对可能存在尺度、视角的不同;
步骤2.2:根据匹配特征向量ltop和lbottom在特征点集R中的特征点rtop和rbottom的纵坐标无仿射变换条件下将R均匀地分成H层,每一层srk称为一条条带,每一层的高度为:
特征集T划分成同样的层数,即H层,并按照上述方法计算出每个条带的高度:
步骤2.3:在特征提取后,先对获取的特征点集R和T按照纵坐标排序的方式升序排序,然后对特征点集R和T分别以各自的层高为步长,将它们划分成H条条带,maprk→tk=(srk,stk)(k=1,...,H)称为第k条r到t的条带映射;
对T的每一条条带建立一个K-d树,将其根保存在列表root_list中,该列表通过(srk,stk)将左右条带联系起来;
所述在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,首先在层次结构的K-d树上,根据查询来自参考特征点集特征点的所属条带,由条带映射maprk→tk找到其目标条带,即目标特征点集,然后在root_list中找到相应的树,最后在查询到的树上进行最近邻和次近邻的搜索。
2.根据权利要求1所述的立体图像特征匹配方法,其特征在于:所述在方向大约一致约束关系和层次结构的K-d树基础上设计出快速匹配算法,其具体实现包括以下子步骤:
步骤3.1:特征提取;
步骤3.1.1:建立高斯金字塔和差分金字塔;
步骤3.1.2:在差分金字塔空间检测极值点,并通过插值进行精确定位;
步骤3.1.3:计算特征点主方向;
步骤3.1.4:计算特征点描述符;
步骤3.2:特征匹配;
步骤3.2.1:根据方向大约一致约束将图像对分割为H层条带,建立图像对的条带映射maprk→tk和目标特征点集层次结构的K-d树;
步骤3.2.2:
执行第一次循环:针对特征点集R的每一条条带srk(k=1,...,H);
执行第二次循环:针对每一个特征点ri,由条带映射maprk→tk找到相应条带的rootsk,执行K-d树的K近邻搜索,获得匹配点;
第二次循环结束;
第一次循环结束;
步骤3.2.3:经鲁棒性算法RANSAC的筛选,求得精确的匹配点对。
CN201510925721.8A 2015-12-14 2015-12-14 一种立体图像特征匹配方法 Active CN105608463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510925721.8A CN105608463B (zh) 2015-12-14 2015-12-14 一种立体图像特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510925721.8A CN105608463B (zh) 2015-12-14 2015-12-14 一种立体图像特征匹配方法

Publications (2)

Publication Number Publication Date
CN105608463A CN105608463A (zh) 2016-05-25
CN105608463B true CN105608463B (zh) 2018-10-26

Family

ID=55988387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510925721.8A Active CN105608463B (zh) 2015-12-14 2015-12-14 一种立体图像特征匹配方法

Country Status (1)

Country Link
CN (1) CN105608463B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146245B (zh) * 2017-05-05 2020-06-05 天津京东深拓机器人科技有限公司 图像匹配方法和装置
CN109492649B (zh) * 2018-10-31 2021-09-21 华南理工大学 一种基于图像金字塔距离度量的近邻传播立体匹配方法
CN109410253B (zh) * 2018-11-06 2019-11-26 北京字节跳动网络技术有限公司 用于生成信息的方法、装置、电子设备和计算机可读介质
CN110689535B (zh) * 2019-09-29 2022-05-17 歌尔股份有限公司 一种工件识别方法、装置及电子设备和存储介质
CN111160371B (zh) * 2019-12-30 2023-08-25 长春理工大学 一种orb均匀提取特征点方法
CN113239222B (zh) * 2021-01-19 2023-10-31 佳木斯大学 一种基于图像信息提取与改进emd距离的图像检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976256A (zh) * 2010-11-01 2011-02-16 重庆大学 点特征图像配准中的双重最近邻优先搜索方法
US8762493B1 (en) * 2006-06-22 2014-06-24 Google Inc. Hierarchical spatial data structure and 3D index data versioning for generating packet data
CN104636733A (zh) * 2015-02-12 2015-05-20 湖北华中文化产权交易所有限公司 一种基于图像特征的书画作品鉴定方法
CN104794678A (zh) * 2015-05-04 2015-07-22 福建师范大学 一种基于sift特征点的高空间分辨率遥感影像自动配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762493B1 (en) * 2006-06-22 2014-06-24 Google Inc. Hierarchical spatial data structure and 3D index data versioning for generating packet data
CN101976256A (zh) * 2010-11-01 2011-02-16 重庆大学 点特征图像配准中的双重最近邻优先搜索方法
CN104636733A (zh) * 2015-02-12 2015-05-20 湖北华中文化产权交易所有限公司 一种基于图像特征的书画作品鉴定方法
CN104794678A (zh) * 2015-05-04 2015-07-22 福建师范大学 一种基于sift特征点的高空间分辨率遥感影像自动配准方法

Also Published As

Publication number Publication date
CN105608463A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN105608463B (zh) 一种立体图像特征匹配方法
US11210550B2 (en) Image-based feature detection using edge vectors
Cheng et al. Fast and accurate image matching with cascade hashing for 3d reconstruction
Paulin et al. Local convolutional features with unsupervised training for image retrieval
Aubry et al. Painting-to-3D model alignment via discriminative visual elements
Hartmann et al. Recent developments in large-scale tie-point matching
Fan et al. Aggregating gradient distributions into intensity orders: A novel local image descriptor
Choi et al. RGB-D object pose estimation in unstructured environments
Hao et al. 3d visual phrases for landmark recognition
CN106485196B (zh) 视觉搜索方法、对应的系统、设备和计算机程序产品
JP5018614B2 (ja) 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
Tzeng et al. User-driven geolocation of untagged desert imagery using digital elevation models
Szeliski et al. Feature detection and matching
Savarese et al. Multi-view object categorization and pose estimation
Ko et al. Human action recognition in still images using action poselets and a two-layer classification model
Wei et al. Fast unmanned aerial vehicle image matching combining geometric information and feature similarity
Che et al. Image retrieval by information fusion based on scalable vocabulary tree and robust Hausdorff distance
Zhang et al. Bundling centre for landmark image discovery
Zrira et al. Evaluation of PCL's Descriptors for 3D Object Recognition in Cluttered Scene
Gat et al. A comparative evaluation of feature detectors on historic repeat photography
Johnson et al. Fast organization of large photo collections using CUDA
He et al. Scene text detection based on skeleton-cut detector
Huang Learning a 3D descriptor for cross-source point cloud registration from synthetic data
CN117034385B (zh) 一种支持人形角色创意设计的ai系统
Sharma et al. Simplicial Complex Based Point Correspondence Between Images Warped onto Manifolds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant