CN113947526B - 一种改进尺度不变特征变换的快速拼接方法 - Google Patents
一种改进尺度不变特征变换的快速拼接方法 Download PDFInfo
- Publication number
- CN113947526B CN113947526B CN202010687997.8A CN202010687997A CN113947526B CN 113947526 B CN113947526 B CN 113947526B CN 202010687997 A CN202010687997 A CN 202010687997A CN 113947526 B CN113947526 B CN 113947526B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- matched
- feature
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 title claims abstract description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000000610 breath-figure templating Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种改进尺度不变特征变换的快速拼接方法。首先用感知哈希方法将待拼接图像的相似区域提取出来，然后提取相似区域的SIFT特征点，使用基于位置方向信息的方法进行特征点配准。根据配准结果得到两幅图像的映射关系，并映射到同一坐标系下。最后使用最佳拼接缝方法进行融合完成拼接。由于先是在相似区域上提取上提取特征点，减少不必要的特征点提取并缩短了特征提取，使得缩短描述子计算的时间。在匹配方法上进一步地剔除不相关特征点，加速匹配。在多组图像拼接的实验上验证了该方法的有效性。
Description
技术领域
本发明涉及图像处理领域中的图像拼接问题，尤其是涉及一种改进尺度不变特征变换的快速拼接方法。
背景技术
图像拼接是指将具有互相重合部分的图像融合为一张更大视域图像的技术。近年来，这项技术在无人机勘测、卫星遥感、三维重建以及增强现实等诸多领域发挥着重大的作用。
图像拼接技术一般分为特征点提取、特征点匹配和图像融合3个阶段。在特征点匹配这一环节影响着图像拼接的速度并且决定着图像的拼接是否成功。而图像融合决定着最后呈现的拼接效果。现在使用最多的拼接方法是先通过ORB方法、SIFT方法或者SURF方法提取特征点，然后使用k-d树方法进行特征点匹配，再求出两幅图像的单应性矩阵并转换到同一坐标系下，最后采用渐入渐出方法完成融合。其中ORB使用的是FAST特征点与BRIEF特征描述符，特征提取速度很快，但BRIEF描述简单，匹配率相对降低；SIFT方法对矩阵变换不敏感，噪点污染和光照强弱的变化不会影响其稳定性，但方法耗时较大；SURF方法基于SIFT方法的思想，改变计算方法减少了特征点提取时间，但精度相对降低。
为了提升方法匹配的准确率及效率，在特征点提取方面，李玉峰等采用基于区域分块的方法，将图像按照4等份分成4个分块，选择两幅图像分块相似度最大的一组作为相似区域提取特征点，减少特征点数量，加快匹配速度，但是图像4等份存在所选区域相似部分不完整，不具备代表性等问题。厉丹等采用相位相关法，计算两幅图像的互功率谱提取两幅图像的位移从而定位相似区域，但该方法对有尺度变化或角度变化的图像效果不佳，且图像越大傅里叶变换耗时越多。在特征点匹配方面，Bian等在BF方法匹配之后加入网格运动统计(GMS)方法剔除错误的匹配，提高了匹配精度。在图像融合方面，Julio等提出局部单应性矩阵，将图像网格化，只对重叠部分进行处理，拼接结果过渡平滑，但是对特征点匹配的要求较高。
综上所述，本文采用感知哈希方法，通过比对匹配图像与待匹配图像的HASH指纹，确定相似区域。在特征点选取上为了保证特征点的精度而使用SIFT特征，在图像匹配上则直接替换传统的k-d树方法，利用SIFT特征点的主方向信息与相似区域的坐标信息，过滤掉非匹配组，缩短匹配时间。区别于GMS方法在匹配完后过滤，本文方法在匹配计算过程中实现过滤，加速匹配过程的同时还提高了精度。最后在图像融合上选择加权最佳拼接缝方法消除突变,完成拼接。
发明内容
本发明提出了一种改进尺度不变特征变换的快速拼接方法，首先用感知哈希方法将待拼接图像的相似区域提取出来，然后提取相似区域的SIFT特征点，使用基于位置方向信息的方法进行特征点配准。根据配准结果得到两幅图像的映射关系，并映射到同一坐标系下。最后使用最佳拼接缝方法进行融合完成拼接。
附图说明
图1感知哈希方法提取相似区域示意图；
图2基于位置方向信息的特征点配准方法流程图；
具体实施方式
下面结合附图对本发明作进一步说明：
改进尺度不变特征变换的快速拼接具体方法如下：
首先按照附图1的感知哈希方法提取相似区域示意图对输入图像进行预处理。在这个预处理流程中，将匹配图像从左到右平均分成4部分，取第4部分生成匹配HAS H指纹。将待匹配图像以图像宽度的1/128作为步长截取图像(截取图像宽为与匹配图像截取宽度相同)，共获得96幅截取图像，并生成待匹配HASH指纹。计算匹配HASH指纹与待匹配HASH指纹的汉明距离，汉明距离最小的即为最佳相似截取图像，该图像到原图像坐标原点的距离再加上截取图像宽度即为两幅图像的大致相似区域，至此预处理流程完毕。
然后对相似区域图像提取特征点，然后按照附图2的流程对特征点进行配准。具体流程如下：
(1)输入匹配图像相似区域的匹配特征点集SIFT1和待匹配图像相似区域的待匹配特征点集SIFT2。特征点集中的每一个特征点都包含主方向信息arc，坐标信息x、y以及特征描述子信息。
(2)初始化参数heightShift为图像的高度，参数widthShift为图像的原始图像的1/4截取部分宽度。这两个参数作为两个特征点是否可能关联的判断依据。heightShift代表两幅图像在y轴方向的位移，widthShift代表两幅图像在x轴方向的位移。这两个参数会在后续过程中收敛并逐渐稳定。
(3)判断SIFT1[i]与SIFT2[j]的主方向角度差的绝对值是否小于等于8，x轴坐标值差绝对值是否小于等于widthShift+30；y轴坐标值差绝对值是否小于等于heightShift+20。如果不满足条件则说明两个特征点匹配的概率极小，舍弃并进行下一个关键点的判断。在满足条件的待匹配特征点中找到与匹配特征点欧式距离最小的点即为最佳匹配点。其中“8”、“20”、“30”为经验值，代表允许误差。值越小匹配速度越快，但相应的会损失匹配的精度。
(4)每找到3个最佳匹配点以后，更新heightShift与widthShift。heightShift为已查询到的特征点匹配对y轴差值总和的均值，widthShift为已查询到的特征点匹配对x轴差值总和的均值。
最后使用最佳拼接缝方法完成图像的融合。
为验证本文方法可行性，对三组图像从提取特征点数、方法时间上对比方法1(SIFT+k-d树方法+渐入渐出)和方法2(ORB+GMS方法+渐入渐出)。实验结果如表1所示。
表1不同方法在效率和精度上的准确率对比
从表1可以看出，本发明可以有效地过滤掉大量的无用特征点，在保证匹配精度的前提下，方法用时最短。
Claims (2)
1.一种改进尺度不变特征变换的快速拼接方法，其特征在于包括以下步骤：
(1)将匹配图像从左到右平均分成4部分，取第4部分生成匹配HASH指纹，将待匹配图像以图像宽度的1/128作为步长截取图像，截取图像宽为与匹配图像截取宽度相同，共获得96幅截取图像，并生成待匹配HASH指纹；
(2)对(1)中结果计算匹配HASH指纹与待匹配HASH指纹的汉明距离，提取相似区域；
(3)将(2)中的相似区域，提取特征点，进行基于位置方向信息方法的特征点配准，配准步骤如下：
首先，输入匹配图像相似区域的匹配特征点集SIFT1和待匹配图像相似区域的待匹配特征点集SIFT2，特征点集中的每一个特征点都包含主方向信息arc，坐标信息x、y以及特征描述子信息；
其次，初始化参数heightShift为图像的高度，参数widthShift为图像的原始图像的1/4截取部分宽度，这两个参数作为两个特征点是否可能关联的判断依据，heightShift代表两幅图像在y轴方向的位移，widthShift代表两幅图像在x轴方向的位移，这两个参数会在后续过程中收敛并逐渐稳定；
然后，判断SIFT1[i]与SIFT2[j]的主方向角度差的绝对值是否小于等于8，x轴坐标值差绝对值是否小于等于widthShift+30，y轴坐标值差绝对值是否小于等于heightShift+20，如果不满足条件则说明两个特征点匹配的概率极小，舍弃并进行下一个关键点的判断，在满足条件的待匹配特征点中找到与匹配特征点欧式距离最小的点即为最佳匹配点，其中“8”、“20”、“30”为经验值，代表允许误差，值越小匹配速度越快，但相应的会损失匹配的精度；
最后每找到3个最佳匹配点以后，更新heightShift与widthShift，heightShift为已查询到的特征点匹配对y轴差值的加权均值，widthShift为已查询到的特征点匹配对x轴差值的加权均值，差值权重与差值大小成反比。
2.根据权利要求1所述的方法，其特征在于步骤(2)中对步骤(1)中HASH指纹求得最短的汉明距离，找到最相似的两块区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687997.8A CN113947526B (zh) | 2020-07-16 | 2020-07-16 | 一种改进尺度不变特征变换的快速拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687997.8A CN113947526B (zh) | 2020-07-16 | 2020-07-16 | 一种改进尺度不变特征变换的快速拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113947526A CN113947526A (zh) | 2022-01-18 |
| CN113947526B true CN113947526B (zh) | 2023-04-18 |
Family
ID=79326483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010687997.8A Active CN113947526B (zh) | 2020-07-16 | 2020-07-16 | 一种改进尺度不变特征变换的快速拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113947526B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像系统及方法 |
| CN104392462A (zh) * | 2014-12-16 | 2015-03-04 | 西安电子科技大学 | 一种基于显著分割子区域对的sar图像配准方法 |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| CN108255858A (zh) * | 2016-12-29 | 2018-07-06 | 北京优朋普乐科技有限公司 | 一种图像检索方法和系统 |
| CN110020985A (zh) * | 2019-04-12 | 2019-07-16 | 广西师范大学 | 一种双目机器人的视频拼接系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672409B2 (en) * | 2015-07-03 | 2017-06-06 | Fingerprint Cards Ab | Apparatus and computer-implemented method for fingerprint based authentication |
| US10558881B2 (en) * | 2016-08-24 | 2020-02-11 | Electronics And Telecommunications Research Institute | Parallax minimization stitching method and apparatus using control points in overlapping region |
-
2020
- 2020-07-16 CN CN202010687997.8A patent/CN113947526B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像系统及方法 |
| CN104392462A (zh) * | 2014-12-16 | 2015-03-04 | 西安电子科技大学 | 一种基于显著分割子区域对的sar图像配准方法 |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| CN108255858A (zh) * | 2016-12-29 | 2018-07-06 | 北京优朋普乐科技有限公司 | 一种图像检索方法和系统 |
| CN110020985A (zh) * | 2019-04-12 | 2019-07-16 | 广西师范大学 | 一种双目机器人的视频拼接系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 韩禹 ; 王港 ; .基于特征相关的图像配准与拼接算法研究.黑龙江科技信息.2013,(第20期), 114+187. * |
| 马山庄 ; .一种基于特征提取和匹配的点云自动配准算法.科技创新与应用.2016,(第25期),27-28. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113947526A (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7620250B2 (en) | Shape matching method for indexing and retrieving multimedia data | |
| CN108010045A (zh) | 基于orb的视觉图像特征点误匹配提纯方法 | |
| Suga et al. | Object recognition and segmentation using SIFT and Graph Cuts | |
| CN107862319B (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
| CN102208033B (zh) | 基于数据聚类的鲁棒sift特征匹配方法 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN110443295A (zh) | 改进的图像匹配与误匹配剔除算法 | |
| CN108537832B (zh) | 基于局部不变灰度特征的图像配准方法、图像处理系统 | |
| CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
| CN107016414A (zh) | 一种脚印的识别方法 | |
| CN110599478A (zh) | 一种图像区域复制粘贴篡改检测方法 | |
| CN114358166A (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
| CN113947526B (zh) | 一种改进尺度不变特征变换的快速拼接方法 | |
| CN110991501B (zh) | 一种基于Hessian矩阵的改进ORB特征点匹配方法 | |
| KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
| CN115205649A (zh) | 一种基于融合局部特征的卷积神经网络遥感目标匹配方法 | |
| CN115661218A (zh) | 一种基于虚拟超点的激光点云配准方法和系统 | |
| CN112733748A (zh) | 一种顾及纹理的Voronoi约束的影像均匀匹配方法 | |
| Kawaguchi et al. | Recognition of occluded objects by a genetic algorithm | |
| Uchiyama et al. | AR representation system for 3D GIS based on camera pose estimation using distribution of intersections | |
| Gaudillière et al. | Region-Based Epipolar and Planar Geometry Estimation in Low─ Textured Environments | |
| Lotfian et al. | Multi-Scale Keypoint Matching | |
| CN117351246B (zh) | 一种误匹配对去除方法、系统及可读介质 | |
| Chan et al. | Recognizing partially occluded objects using Markov model | |
| Zhou et al. | Three-dimensional object detection network based on geometric information supplement strategy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |