CN108460727A - 一种基于投影几何与sift特征的图像拼接方法 - Google Patents
一种基于投影几何与sift特征的图像拼接方法 Download PDFInfo
- Publication number
- CN108460727A CN108460727A CN201810262297.7A CN201810262297A CN108460727A CN 108460727 A CN108460727 A CN 108460727A CN 201810262297 A CN201810262297 A CN 201810262297A CN 108460727 A CN108460727 A CN 108460727A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- point
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 238000000746 purification Methods 0.000 claims abstract description 11
- 238000005498 polishing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000010845 search algorithm Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于投影几何与SIFT特征匹配点对的图像拼接方法，该方法首先拍摄两幅具有重叠区域的图像，对待拼接图像进行SIFT特征点提取并用K‑D树搜索算法进行特征点匹配，再采用RANSAC算法进行特征点提纯以剔除出错误的匹配点对，如果提纯后的特征匹配点对大于8对则计算变换矩阵，如果提纯后的特征匹配点对小于8对则根据在两幅图像已知的重叠区域提取相应数量的投影匹配点对补齐8对匹配点对计算变换矩阵完成图像配准，对配准后的图像采用多分辨率分析法进行图像融合，最后输出拼接图像。采用本发明提出的方法进行图像拼接可以解决因特征匹配点对较少而使图像配准失败的情况，同时图像拼接效果良好。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种用于全景图像拼接的方法。
背景技术
随着计算机技术的发展，全景图像拼接技术得到了广泛的研究与发展。在全景图像拼接技术中，图像配准是图像拼接中最关键的步骤,直接影响到图像拼接的成败。图像配准方法主要包括基于相位相关的、基于几何区域的以及基于特征的图像拼接算法。基于相位相关的图像拼接算法首先将输入图像序列先进行傅立叶变换，然后利用图像变换后的互功率谱中的相位信息计算图像间的相对位移从而进行图像配准。基于几何区域相关的图像拼接算法是通过在图像像素点灰度级上，对输入图像的部分几何子区域进行相关运算来进行图像配准。基于特征的图像拼接算法首先提取待拼接图像的特征，然后通过特征匹配来完成图像配准。其中基于特征的图像配准技术是近些年图像处理研究领域的一个热点，基于特征的图像拼接方法是图像拼接领域最常用的方法。基于特征的配准方法需要先计算图像之间的准确的变换矩阵,如何得到图像配准的位置或计算图像之间的变换矩阵是图像配准的关键。在全景图像拼接技术中，最经典的方法为David Lowe提出的基于尺度不变特征变换(SIFT)的方法。该方法通过对图像提取SIFT特征点来进行匹配，SIFT 特征对图像平移、旋转、缩放、亮度变化均具有不变性，同时对视角变化、仿射变换、噪声也具有良好的鲁棒性，其实用性很强，是基于特征的图像拼接领域最常用的算法。但是当图像特征不明显时,如天空、海洋、草地等景物的图像,该方法所能提取的特征少,用于特征计算效果不明显,有时甚至无法完成图像拼接。目前还没有哪种算法能够在任何情况下都得到良好的匹配效果,因此采用何种图像拼接方法,取决于具体算法的实际应用范围以及图像的内容。
发明内容
本发明的目的就是要解决当图像特征不明显时，因为可提取的特征少，无法完成图像拼接的问题，为图像拼接提供一种基于投影几何与SIFT特征匹配点对的图像拼接方法。
本发明的具体实现步骤为：
步骤一：固定相机位置连续拍摄两幅具有重叠区域的图像，使重叠区域占图像面积的30％至50％并明确重叠区域位置。
步骤二：提取两幅待拼接图像的特征点，并进行特征点匹配，对匹配后的特征点进行提纯以剔除出错误的特征匹配点对。
步骤三：使用图像投影变换模型计算变换矩阵。判断特征匹配点对数目是否超过8对，超过8对则计算图像变换矩阵，低于8对则根据两幅图像已知的重叠区域位置获取投影匹配点对，随机选取适量投影匹配点对补齐8对，计算图像变换矩阵完成图像配准。
步骤四：采用多分辨率分析法对配准后的图像进行图像融合，最后输出拼接图像。
步骤三中投影匹配点对是对应同一实景的成像点于不同拍摄位置下在两幅不同图像上的像素点，其获取方法如下：
根据已知的两幅图像重叠区域位置，在两幅图像中选取一幅图像中的重叠区域的顶点得到重叠区域的边缘线，以该重叠区域边缘线段的中点作为投影点，与相邻待拼接图像中的对应位置的投影点构成投影匹配点对。
与现有技术相比，本发明的有益效果是：
针对SIFT特征提取算法的不足，当图像特征信息不明显，部分图像因可提取的特征点较少，无法计算变换矩阵的缺点，本文提出一种基于投影几何与SIFT特征匹配点对的图像拼接方法，该方法采用投影匹配点计算变换矩阵，可以大幅提高图像拼接的成功率，同时图像拼接效果良好。
具体实施方式
下面将结合附图说明本发明的具体实施方式，应当理解附图中示出和描述的实施方式仅是示例性的，意在阐述本发明的原理和方法，而并非限制本发明的范围。
如图1所示，本发明提出的一种基于投影几何与SIFT特征匹配点对的图像拼接方法，具体实现步骤为：步骤一：固定相机位置连续拍摄两幅具有重叠区域的图像，使重叠区域占图像面积的30％至50％并明确重叠区域位置。
步骤二：提取两幅待拼接图像的特征点，并进行特征点匹配，对匹配后的特征点进行提纯以剔除出错误的特征匹配点对。
步骤三：使用图像投影变换模型计算变换矩阵。判断特征匹配点对数目是否超过8对，超过8对则计算图像变换矩阵，低于8对则根据两幅图像已知的重叠区域位置获取投影匹配点对，随机选取适量投影匹配点对补齐8对，计算图像变换矩阵完成图像配准。
步骤四：采用多分辨率分析法对配准后的图像进行图像融合，最后输出拼接图像。
步骤三中投影匹配点对获取示意图如图2所示，图中阴影部分为两幅图像的重叠区域。A1A3A6A8与B1 B3B6B8是阴影区域的顶点，A2A4A5A7与B2B4B5B7是阴影区域线段的中点。根据图像成像几何原理，图中点A1与点B1是同一实景图像点于不同拍摄角度下在两幅不同图像上的成像点，根据投影几何原理，A1与B1是一一对应关系，是一对投影匹配点，同理，A2与B2，A3与B3，A4与B4，A5与B5， A6与B6，A7与B7，A8与B8都是投影匹配点对。
步骤三中当提纯后的特征匹配点对不足8对时，采用投影匹配点对补齐，如图3所示，点A4B4，A5B5， A6B6是采用SIFT特征算法提取的特征匹配点对，其余为投影匹配点对，投影匹配点对与特征匹配点对一起构成8对匹配点对。使用图像投影变换模型计算图像变换矩阵。
图像投影变换模型计算如下：
设待拼接图像A与B上的一对对应点为和它们满足极线几何约束关系，极线几何约束关系采用F矩阵描述：
其中，
]当待拼接图像A与B存在n对对应点时，构建出矩阵A，
使得Af＝0
f＝[F11 F12 F13 F21 F22 F23 F31 F32 F33]T
对上式进行分析发现，当对应点的对数n≥8时，可以求得矩阵f。因此当已知8组匹配特征点对时，就可以线性求解f。为了求解这个超定方程组，需要对矩阵A进行SVD分解，即A＝UDVT，而f就等于A 的最小奇异值所对应的特征向量。用f构建的基础矩阵F还不能作为最终结果，还要保证求得的基础矩阵是奇异矩阵，因为只有奇异的基础矩阵才能使极线相交于一点。对矩阵F进行秩为2的约束，有
F＝Udiag(s1 s2 s3)VT
当s3＝0时，有矩阵F的估计
下面通过具体实施例来验证本发明所提方法的有效性。需要指出的是，该实施例只是示例性的，并不是要限制本发明的适用范围。
固定相机平移夹角拍摄两幅具有30％重叠区域的图像，图像内容单调，使拍摄的图像特征信息较少。如图 4所示。
对这两幅图像先用SIFT算法进行特征提取出特征点，再采用K-D树搜索算法进行特征点匹配，对匹配后的特征点对采用RANSAC算法进行特征点提纯，剔除出错误的匹配点。
由于提纯后的特征匹配点对不足8对，随机选取相应数量的投影匹配点补齐，计算图像变换矩阵完成图像配准。
对配准后的图像采用多分辨率融合技术对图像进行融合，输出拼接图像。图像拼接效果如图5所示。
附图说明
图1是本发明提出的一种基于投影几何与SIFT特征匹配点对的图像拼接方法的流程图
图2是两幅待拼接图像投影几何匹配图
图3是两幅待拼接图像投影几何与SIFT特征点匹配图
图4是使用本发明拍摄方法采集的两幅图像
图5是使用本发明图像拼接方法对采集的两幅图像拼接的效果图。
Claims (4)
1.一种基于投影几何与SIFT特征匹配点对的图像拼接方法，其特征在于，该方法包括以下步骤：
步骤一：固定相机位置连续拍摄两幅具有重叠区域的图像，使得重叠区域占单幅图像面积的30％至50％并明确重叠区域位置。
步骤二：对两幅待拼接图像进行特征点提取，并进行特征点匹配，对匹配后的特征点进行提纯以剔除出错误的特征匹配点对。
步骤三：使用图像投影变换模型计算变换矩阵，统计有效的特征匹配点对数目是否超过8对，超过8对则计算图像变换矩阵，低于8对则根据两幅图像已知的重叠区域位置获取投影匹配点对，采用投影匹配点对补齐8对，以投影匹配点对做补充，使匹配特征点对不小于8对，计算图像变换矩阵完成图像配准。
步骤四：采用多分辨率分析法对配准后的图像进行融合，输出拼接图像。
2.根据权利要求1所述的基于投影几何与SIFT特征匹配点对的图像拼接方法，其特征在于，所述步骤二中采用SIFT特征提取算法提取两幅待拼接图像的特征点，采用多维向量最近邻搜索方法K-D树算法进行特征点匹配，对匹配后的特征点使用RANSAC算法进行特征点提纯，以剔除出错误的特征匹配点对。
3.根据权利要求1所述的基于投影几何与SIFT特征匹配点对的图像拼接方法，其特征在于，所述步骤三中投影匹配点对是同一实景对应的成像点在不同角度拍摄的两幅不同图像中的图像点，其获取方法如下：
根据已知的两幅图像重叠区域位置，选取重叠区域的顶点，重叠边缘线段的中点作为投影点，与相邻待拼接图像中的对应位置的投影点构成投影匹配点对。
4.根据权利要求1所述的基于投影几何与SIFT特征匹配点对的图像拼接方法，其特征在于，所述步骤三中当提纯之后的特征匹配点对不足8对时无法计算图像变换矩阵，采用适量投影匹配点对补齐8对计算图像变换矩阵完成图像配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810262297.7A CN108460727A (zh) | 2018-03-28 | 2018-03-28 | 一种基于投影几何与sift特征的图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810262297.7A CN108460727A (zh) | 2018-03-28 | 2018-03-28 | 一种基于投影几何与sift特征的图像拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108460727A true CN108460727A (zh) | 2018-08-28 |
Family
ID=63237104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810262297.7A Pending CN108460727A (zh) | 2018-03-28 | 2018-03-28 | 一种基于投影几何与sift特征的图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108460727A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886878A (zh) * | 2019-03-20 | 2019-06-14 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
| CN110232656A (zh) * | 2019-06-13 | 2019-09-13 | 上海倍肯机电科技有限公司 | 一种解决特征点不足的图像拼接优化方法 |
| CN110852988A (zh) * | 2019-09-27 | 2020-02-28 | 广东电网有限责任公司清远供电局 | 一种绝缘子串自爆的检测方法、装置、设备及存储介质 |
| CN110852986A (zh) * | 2019-09-24 | 2020-02-28 | 广东电网有限责任公司清远供电局 | 双串绝缘子自爆的检测方法、装置、设备及存储介质 |
| CN111553870A (zh) * | 2020-07-13 | 2020-08-18 | 成都中轨轨道设备有限公司 | 一种基于分布式系统的图像处理方法 |
| CN112258395A (zh) * | 2020-11-12 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种无人机拍摄的影像拼接方法及装置 |
| CN114220068A (zh) * | 2021-11-08 | 2022-03-22 | 珠海优特电力科技股份有限公司 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
| CN116109852A (zh) * | 2023-04-13 | 2023-05-12 | 安徽大学 | 一种快速及高精度的特征匹配错误消除方法 |
-
2018
- 2018-03-28 CN CN201810262297.7A patent/CN108460727A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886878A (zh) * | 2019-03-20 | 2019-06-14 | 中南大学 | 一种基于由粗到精配准的红外图像拼接方法 |
| CN110232656A (zh) * | 2019-06-13 | 2019-09-13 | 上海倍肯机电科技有限公司 | 一种解决特征点不足的图像拼接优化方法 |
| CN110232656B (zh) * | 2019-06-13 | 2023-03-28 | 上海倍肯智能科技有限公司 | 一种解决特征点不足的图像拼接优化方法 |
| CN110852986A (zh) * | 2019-09-24 | 2020-02-28 | 广东电网有限责任公司清远供电局 | 双串绝缘子自爆的检测方法、装置、设备及存储介质 |
| CN110852988A (zh) * | 2019-09-27 | 2020-02-28 | 广东电网有限责任公司清远供电局 | 一种绝缘子串自爆的检测方法、装置、设备及存储介质 |
| CN111553870A (zh) * | 2020-07-13 | 2020-08-18 | 成都中轨轨道设备有限公司 | 一种基于分布式系统的图像处理方法 |
| CN112258395A (zh) * | 2020-11-12 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种无人机拍摄的影像拼接方法及装置 |
| CN114220068A (zh) * | 2021-11-08 | 2022-03-22 | 珠海优特电力科技股份有限公司 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
| CN114220068B (zh) * | 2021-11-08 | 2023-09-01 | 珠海优特电力科技股份有限公司 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
| CN116109852A (zh) * | 2023-04-13 | 2023-05-12 | 安徽大学 | 一种快速及高精度的特征匹配错误消除方法 |
| CN116109852B (zh) * | 2023-04-13 | 2023-06-20 | 安徽大学 | 一种快速及高精度的图像特征匹配错误消除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460727A (zh) | 一种基于投影几何与sift特征的图像拼接方法 | |
| Yang et al. | Registration of challenging image pairs: Initialization, estimation, and decision | |
| Pritchett et al. | Wide baseline stereo matching | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| Lin et al. | Aligning images in the wild | |
| Wu | Creating panoramic images using ORB feature detection and RANSAC-based image alignment | |
| CN101488224B (zh) | 基于相关性度量的特征点匹配方法 | |
| Hua et al. | Image stitch algorithm based on SIFT and MVSC | |
| CN103258321A (zh) | 一种图像拼接方法 | |
| Ying et al. | Self-calibration of catadioptric camera with two planar mirrors from silhouettes | |
| Wang et al. | Automatic fundus images mosaic based on SIFT feature | |
| Hong et al. | Panoramic image reflection removal | |
| Pedone et al. | Blur invariant translational image registration for $ N $-fold symmetric blurs | |
| CN105654479A (zh) | 多光谱图像配准方法和装置 | |
| Cho et al. | Automatic Image Mosaic System Using Image Feature Detection and Taylor Series. | |
| Li et al. | Efficient properties-based learning for mismatch removal | |
| Chuang et al. | Rectified feature matching for spherical panoramic images | |
| CN111047513A (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| Jiao et al. | Highlight removal for camera captured documents based on image stitching | |
| Belongie et al. | Structure from periodic motion | |
| Tang et al. | Sequential far infrared image mosaic using coarse-to-fine scheme | |
| Lourakis | Plane metric rectification from a single view of multiple coplanar circles | |
| Bunnun et al. | Integrating 3D object detection, modelling and tracking on a mobile phone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180828 |