CN103617616A - 一种仿射不变的图像匹配方法 - Google Patents
一种仿射不变的图像匹配方法 Download PDFInfo
- Publication number
- CN103617616A CN103617616A CN201310635113.4A CN201310635113A CN103617616A CN 103617616 A CN103617616 A CN 103617616A CN 201310635113 A CN201310635113 A CN 201310635113A CN 103617616 A CN103617616 A CN 103617616A
- Authority
- CN
- China
- Prior art keywords
- image
- analog image
- matching
- analog
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明的各实施方式涉及模式识别与计算机视觉领域中的图像匹配技术领域,具体地涉及一种仿射不变的图像匹配方法。
背景技术
图像匹配是计算机视觉领域的一个基本问题,已经被广泛的应用在了立体视觉、目标识别、图像拼接、三位重建和跟踪等应用。图像匹配的目的是在输入图像之间建立点与点的对应关系。经典的图像匹配是基于鲁棒的局部描述子。局部描述子能够反映图像中的稳定结构,对几何形变也就有较强的不变性。传统的图像匹配技术可以分为3步:检测兴趣点,提取描述子,匹配。检测兴趣点的方法有很多,一般会选择几何上的角点或者某个特性突出区域的中心。同时,这些方法会返回一个半径值,作为描述环节的输入。描述子是计算一个能够代表该兴趣点的特征向量。一般的描述子会选择颜色、纹理等信息,因为这些信息比较稳定。同时,梯度方向信息也很常用,因为它具有旋转、尺度和模糊的不变性。经典的SIFT、SURF都是使用的梯度方向信息。图像匹配方法主要是对空间约束进行建模,常用的方法包括RANSAC和ORSA。
目前图像匹配领域最常用的特征是SIFT,该特征具有很强的表达能力,具有尺度和旋转不变性,不过不具有仿射不变性。后来提出的ASIFT和Fair-SURF虽然具有较好的仿射不变性,但是计算过程未进行优化导致计算量过大,不能适用于很多实时性要求较高的场合。
发明内容
鉴于上述现状,本发明的目的之一至少在于提供一种仿射不变的图像匹配方法。借助于对图像对数量的优化,本发明有效地减少了仿射不变的图像匹配的复杂度,并且实现了运算速度的提高。
根据本发明的一种仿射不变的图像匹配方法,包括步骤:
步骤1,对原始的待匹配的第一图像f和第二图像g分别进行视角模拟,以获得第一模拟图像集合和第二模拟图像集合;
步骤2,交叉枚举所述第一模拟图像集合和所述第二模拟图像集合得到图像对集合P;
步骤3,基于匹配算法计算所述第一模拟图像集合的模拟图像 和所述第二模拟图像集合中的模拟图像的相似度,其中i,j表示对应于第一图像f的离散采样值的标号,k,l表示对应于第二图像g的离散采样值的标号,并且针对所述第一模拟图像集合中的每个所述模拟图像,选取相似度最大的前M个所述模拟图像,构成优化的图像对,然后加入图像对集合optimal;
选择所述第一模拟图像集合中的模拟图像,将所述第二模拟图像集合中所产生所有SIFT特征点作为Flannbased匹配算法的训练数据,所述Flannbased匹配算法对所述模拟图像中的每个SIFT特征点,在训练数据中寻找最相似的匹配点,并且基于所述训练数据中被匹配上的SIFT特征点属于模拟图像的数量,衡量所述模拟图像和所述模拟图像的相似度。
总之,本发明提供了一种仿射不变的图像匹配方法,其采用了模拟视角变化,应用多视角图像的方法来克服仿射变化。本方法就有较强的泛化性能,能够处理视角差距较大的图像匹配问题;同时,由于在匹配环节使用了优化算法,使得算法的复杂度控制在O(N)。
附图说明
当结合附图阅读下文对示范性实施方式的详细描述时,这些以及其他目的、特征和优点将变得显而易见,在附图中:
图1示意性示出了根据本发明优选实施例的仿射不变的图像匹配方法的流程图;
图2示意性示出了代表从原始图像的4个不同视角的4个模拟图像;以及
图3示出了根据本发明的仿射不变图像匹配方法的匹配结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1示意性示出了根据本发明优选实施例的仿射不变的图像匹配方法的流程图,该方法包括以下步骤:
步骤1,对原始的待匹配的第一图像f和第二图像g分别进行视角模拟,以获得第一模拟图像集合和第二模拟图像集合。
具体地,输入原始的待匹配的两张图像,比如第一图像和第二图像,分别记为和;根据相机光轴与目标平面法向量的夹角,以及相机光轴与目标平面的x坐标的夹角进行离散采样,分别得到图像具体的离散采样值和图像具体的离散采样值,其中i,j表示对应于f图像的离散采样值的标号,k,l表示对应于g图像的离散采样值的标号。为了简洁起见,下面将仅示意地对图像f进行视角模拟,该视角模拟的步骤可以包括:
该步骤1)的目的是对原始图像进行平滑处理,以避免锯齿状噪声。
其中,x, y表示原始图像平面的坐标;x’, y’表示变化后图像的坐标。
3)对2)中获得的图像沿x轴方向进行t倍的缩放,以实现原始图像的拉伸,其中。
为了更加直观地感受视角模拟产生的视图,图2中示意性示出了代表从原始图像f的4个不同视角的4个模拟图像。
本领域技术人员将理解,以同样的方法可以得到原始图像g的不同视角的模拟视图。
步骤2,交叉枚举第一模拟图像集合和第二模拟图像集合得到图像对集合P。
更具体地,
本领域技术人员将理解,这样枚举出的图像对的数量是极其庞大的。例如,对于第一图像f,离散采样得到100个模拟图像,而对于第二图像g,也离散采样得到100个模拟图像,则交叉枚举所有的图像对所得到的图像对集合P的数量将多达100′100。
实际上,现有的图像匹配方法即是在上述例如100′100的图像对的基础上逐一进行图像中的特征点匹配而实现的。然而本领域技术人员容易理解,这样的图像匹配方法的复杂度和计算量无疑将是非常巨大的。如下面将进一步介绍的,本发明将致力于优化上述图像对,以实现减少的复杂度和计算量。
接着,步骤3,基于匹配算法计算第一模拟图像集合的模拟图像和第二模拟图像集合中的模拟图像的相似度,并且针对第一模拟图像集合中的每个所述模拟图像,选取相似度最大的前M个模拟图像,构成优化的图像对,然后加入图像对集合optimal。
根据本发明优选的实施例,上述匹配算法可以为Knn匹配算法。更优选地,该knn匹配算法可以为FlannBased匹配算法。
具体地,例如将第一模拟图像集合中提取的SIFT特征点集全部放入一个knn查找结构中进行训练,同时把第二模拟图像中提取的SIFT特征点集全部放入另一个knn查找结构中进行训练,然后对于第一模拟图像集合中的任一模拟图像所提取的所有SIFT点,在第二模拟图像集合中所提取的所有SIFT特征点集中进行knn匹配,统计匹配的点对在每个模拟图像上的分布,其中表示图像在图像上匹配的点对数量,根据的值进行从大到小的排序,选择前M个值所对应地匹配图像对,构成优化的图像对,然后加入图像对集合optimal。
如本领域技术人员所熟知的,SIFT(scale invariant feature transform)特征点可以表示在某一个点的图像区域像素梯度值的统计直方图。该SIFT特征点可以用于标识自身。
又例如,针对第一图像的每一模拟图像,把第二图像的所有模拟视图中的SIFT特征点作为例如FlannBased匹配算法的训练数据;分别将每一模拟图像中所有的SIFT特征点分别与所述训练数据进行匹配,用表示训练数据中与最相似的SIFT特征点,则各个模拟视图与各个模拟视图的相似度S(,)可以用下面的式子衡量:
通过上面的描述,本领域技术人员将理解,本发明将要进行特征点匹配的图像对集合的数量大为减少,而且每对图像的绝对仿射角度要更为相似,这非常有利于提高仿射不变的图像匹配的运算速度。
根据本发明的备选的实施例,附加地或者可替换地,可以将第二模拟图像集合中的每个模拟图像中的SIFT特征点与第一模拟图像集合中的所有模拟图像的SIFT特征点进行匹配,以获得第二模拟图像集合的模拟图像和第一模拟图像集合中的模拟图像的相似度,并且进一步地将相似度最大的前K个图像对加入到优化的图像对集合optimal。本领域技术人员容易理解,这样添加后的图像对集合optimal中的图像对数量相对于之前的例如100′100的图像对集合P的数量,也大为减少,也有利地提高了本发明的图像匹配的运算速度。
上面的步骤3实际上按照图像的外观相似度对图像对进行了初步的筛选或过滤,接着,执行步骤4。
步骤5,加入几何约束,对所述点对集合进行筛选,去除误匹配,从而得到精确的匹配结果。
例如,根据本发明的实施例,可以使用RANSAC(Random Sample Concensus)去除误匹配,其中RANSAC是一种滤除离群值的方法,在计算机视觉中常被用来滤除误匹配点对和估计立体计相机的基本矩阵等。根据本发明优选的实施例,还可以使用ORSA去除误匹配,该ORSA(Optimized RANSAC)为RANSAC算法的优化版本。
步骤4和步骤5为本领域所熟知,在此无需进行进一步详细的描述。
图3示出了根据本发明的图像匹配方法的匹配结果示意图。上下两幅图像代表输入的待匹配图像,白线的线条代表了根据本发明的匹配方法得到的两幅图像中的对应点连线。
已经出于示出和描述的目的给出了本发明的说明书,但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。本领域技术人员应当理解,本发明实施方式中的方法和装置可以以软件、硬件、固件或其组合实现。
因此,实施方式是为了更好地说明本发明的原理、实际应用以及使本领域技术人员中的其他人员能够理解以下内容而选择和描述的,即,在不脱离本发明精神的前提下,做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。
Claims (3)
1.一种仿射不变的图像匹配方法,包括步骤:
步骤1,对原始的待匹配的第一图像f和第二图像g分别进行视角模拟,以获得第一模拟图像集合和第二模拟图像集合;
步骤2,交叉枚举所述第一模拟图像集合和所述第二模拟图像集合得到图像对集合P;
步骤3,基于匹配算法计算所述第一模拟图像集合的模拟图像 和所述第二模拟图像集合中的模拟图像的相似度,其中i,j表示对应于第一图像f的离散采样值的标号,k,l表示对应于第二图像g的离散采样值的标号,并且针对所述第一模拟图像集合中的每个所述模拟图像,选取相似度最大的前M个所述模拟图像,构成优化的图像对,然后加入图像对集合optimal;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310635113.4A CN103617616A (zh) | 2013-12-03 | 2013-12-03 | 一种仿射不变的图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310635113.4A CN103617616A (zh) | 2013-12-03 | 2013-12-03 | 一种仿射不变的图像匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103617616A true CN103617616A (zh) | 2014-03-05 |
Family
ID=50168320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310635113.4A Pending CN103617616A (zh) | 2013-12-03 | 2013-12-03 | 一种仿射不变的图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103617616A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815824A (zh) * | 2016-12-08 | 2017-06-09 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
CN111429493A (zh) * | 2020-03-20 | 2020-07-17 | 青岛联合创智科技有限公司 | 一种多图像间特征点匹配方法 |
CN112200203A (zh) * | 2020-11-04 | 2021-01-08 | 西安交通大学 | 斜视场下弱相关散斑图像的匹配方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400384A (zh) * | 2013-07-22 | 2013-11-20 | 西安电子科技大学 | 结合区域匹配和点匹配的大视角图像匹配方法 |
-
2013
- 2013-12-03 CN CN201310635113.4A patent/CN103617616A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400384A (zh) * | 2013-07-22 | 2013-11-20 | 西安电子科技大学 | 结合区域匹配和点匹配的大视角图像匹配方法 |
Non-Patent Citations (5)
Title |
---|
JEAN-MICHEL MOREL AND GUOSHEN YU: "ASIFT: A New Framework for Fully Affine Invariant Image Comparison", 《2009 SOCIETY FOR INDUSTRIAL AND APPLIED MATHEMATICS》 * |
李婕,邓德祥,石文轩,颜佳: "一种抗视角变换的SURF匹配算法", 《计算机应用研究》 * |
苏可心,韩广良,孙海江: "基于SURF的抗视角变换图像匹配算法", 《液晶与显示》 * |
贺柏根,朱明: "改进的抗全仿射尺度不变特征变换图像匹配算法", 《光学 精密工程》 * |
赵璐璐,耿国华,李康,何阿静: "基于SURF 和快速近似最近邻搜索的图像匹配算法", 《计算机应用研究》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106815824A (zh) * | 2016-12-08 | 2017-06-09 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
CN106815824B (zh) * | 2016-12-08 | 2019-07-05 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
CN111429493A (zh) * | 2020-03-20 | 2020-07-17 | 青岛联合创智科技有限公司 | 一种多图像间特征点匹配方法 |
CN112200203A (zh) * | 2020-11-04 | 2021-01-08 | 西安交通大学 | 斜视场下弱相关散斑图像的匹配方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960451B (zh) | 一种提升图像弱纹理区域特征点数量的方法 | |
CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN103903013A (zh) | 一种无标记平面物体识别的优化算法 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
Uchiyama et al. | Toward augmenting everything: Detecting and tracking geometrical features on planar objects | |
CN108416801B (zh) | 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法 | |
Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
CN104217459A (zh) | 一种球面特征提取方法 | |
CN111667005A (zh) | 一种采用rgbd视觉传感的人体交互系统 | |
CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
CN114863464B (zh) | 一种pid图纸图件信息的二阶识别方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
Donoser et al. | Robust planar target tracking and pose estimation from a single concavity | |
CN111161348B (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN103617616A (zh) | 一种仿射不变的图像匹配方法 | |
Wang et al. | Hand posture recognition from disparity cost map | |
Hassner et al. | SIFTing through scales | |
Wang et al. | GA-STIP: Action recognition in multi-channel videos with geometric algebra based spatio-temporal interest points | |
CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
Fan et al. | Siamese graph convolution network for face sketch recognition: an application using graph structure for face photo-sketch recognition | |
CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 | |
CN110599587A (zh) | 一种基于单张图像的3d场景重构技术 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140305 |