CN111951162A - 一种基于改进的surf算法的图像拼接方法 - Google Patents
一种基于改进的surf算法的图像拼接方法 Download PDFInfo
- Publication number
- CN111951162A CN111951162A CN202010776456.2A CN202010776456A CN111951162A CN 111951162 A CN111951162 A CN 111951162A CN 202010776456 A CN202010776456 A CN 202010776456A CN 111951162 A CN111951162 A CN 111951162A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- algorithm
- points
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000005162 X-ray Laue diffraction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的SURF算法的图像拼接方法,首先对图像进行预处理,缩小图像尺寸;然后采用改进的SURF算法提取图像特征点,改进后的SURF算法检测速度更快,且相较传统算法稳定性更好;采用劳氏算法进行特征点对匹配,并采用RANSAC算法剔除误匹配点对,计算变换矩阵并进行仿射变换;最后采用渐进渐出加权融合算法实现图像融合,得到拼接后视角更大的图像。本发明在保证图像拼接的准确性和稳定性基础上,提升了拼接的速度,是一种良好有效的图像拼接方法。
Description
技术领域
本发明属于数字图像处理领域,具体涉及一种基于改进的SURF算法的图像拼接方法。
背景技术
图像拼接是将两幅或者多幅具有重叠区域的图像拼接成一幅视角更广、分辨率更高图像的技术,是计算机视觉领域的一个重点研究内容。图像拼接技术的主要目的是增大图像视角,有助于掌握更全面直观的信息。图像拼接技术的应用范围非常广泛,主要涉及到遥感图像,医学图像,虚拟现实,智能驾驶系统以及无人机航拍图像的应用。
完整的图像拼接算法包含图像预处理、图像配准和图像融合三大步骤,重点研究内容是图像的配准和融合。图像配准方法分为两类:基于区域的配准方法和基于特征的配准方法。基于区域的配准方法是利用整幅图像或者某种滑动窗口内的灰度值信息来计算图像的模型变换,这种方法原理简单,容易实现,但稳定性较差。而基于局部特征的方法具有良好的稳定性,能够更好地克服光照,尺度,旋转等变化带来的影响,是目前主流的图像配准方法。图像融合主要实现图像重合区域的平滑过渡,减少光照的影响,从而得到一幅新的图像。
SIFT(Scale-invariant feature transform)特征检测算法是Lowe于1999年提出并在2004年完善的,该算法对于尺度缩放、平移旋转、光照变化都具有良好的不变性,对于图像的仿射变换及噪声也具有一定的稳定性,是目前最常用的图像拼接算法。随着图像拼接技术对拼接速度的要求越来越高,算法描述较为复杂,运行时间过长的SIFT算法逐渐无法满足实时性的需求。因此,针对图像的拼接速度问题,提高算法的实时性,是图像拼接领域主要的研究方向之一。
发明内容
发明目的:为了解决上述问题,提供一种基于改进的SURF算法的图像拼接方法,能一定程度上改善传统图像拼接时间久,精度低等问题。
技术方案:本发明所述的一种基于改进的SURF算法的图像拼接方法,包括以下步骤:
(1)对输入图像进行预处理,缩小图像尺寸;
(2)对预处理后的图像采用改进的SURF算法进行特征点提取;
(3)对提取的特征点进行粗匹配,然后应用劳氏算法初步筛选匹配效果良好的特征点;
(4)应用RANSAC算法,对已经标记出特征点的两张图像进行误匹配特征点对剔除并求解变换矩阵;
(5)根据所求变换矩阵,将待拼接图像通过变换矩阵进行变换后与基准图像进行叠加;
(6)采用线性加权运算,将两幅图像融合,完成图像拼接。
进一步地,所述步骤(2)包括以下步骤:
(21)引入特征点区域限制函数限制特征点的区域范围在图像周边;
(22)构建多尺度空间,改变高斯滤波器的窗口大小获得不同尺度的图像;图像经过不同尺寸盒子滤波器的滤波处理,生成多幅Hessian行列式图像,构成图像金字塔;
(23)将经过Hessian矩阵处理过的每个像素点在其3×3×3的三维领域内进行非极大值抑制,记录特征点位置;
(24)选取特征点主方向:以尺度值为s的特征点为圆心,在半径为6s的圆内使用尺寸为4s的Harr小波模板来计算梯度,选取小波特征总和最大的方向为主方向;
(25)以特征点为圆心,取20s×20s的正方形窗口,将窗口划分为16个大小为5s×5s的子窗口;统计子区域内25个像素的水平和垂直方向的harr小波特征,得到一个4维向量v=(∑dx,∑|dx|,∑dy,∑|dy|),每个特征点形成4×16个特征描述子用以描述该特征点。
进一步地,所述步骤(3)实现过程如下:
选取图像I1中的一个特征点t1,与图像I2的所有特征点求取欧氏距离,从中选出最近欧式距离特征点和次近欧式距离特征点,距离分别为d1,d2,计算二者的比值,若小于预先设定的阈值T1则认为是正确匹配的特征点,将正确匹配的特征点相连,否则视为错误匹配。
进一步地,所述步骤(4)包括以下步骤:
(41)从步骤(3)筛选出的特征点对中随机选取n对匹配点,计算变换矩阵H,记为模型M;
(42)计算n对特征点以外的其他特征点与模型M的投影误差di,并设定阈值T2,当di<T2,视为内点,加入内点集N,否则视为外点;
(43)如果当前内点集N元素个数大于N_best,更新N_best=N;
(44)设置迭代次数:
其中,p为置信度,w为内点所占比例;执行步骤(41)~(43)k次,当循环结束时,得到最优的变换模型M_best,其对应的H即为最优变换矩阵。
进一步地,所述步骤(5)通过以下公式实现:
设X=[x,y,1]T,X'=[x',y',1]T,
X'=HX
其中,X,X’分别是待拼接图像和基准图像的一对匹配特征点,h1,h2,h4,h5表示图像旋转量和尺度,h3表示水平位移,h6表示垂直位移,h7,h8表示水平和垂直方向的变形量。
进一步地,所述步骤(6)的实现过程如下:
设I1(x,y),I2(x,y)分别表示两幅图像在位置(x,y)处的像素值,I(x,y)表示融合后图像的像素值:
其中,wi(x,y)是加权函数,width是图像重叠区域的宽度,disi(x)是该像素点距离第i幅图像边缘的距离。
有益效果:与现有技术相比,本发明的有益效果:应用本发明的方法进行图像拼接相较于传统的拼接方法,拼接速度更快,稳定性强,受环境因素干扰的影响较小,拼接效果良好;运用改进后的SURF算法对图像进行特征点检测,能够更快速地提取特征点;采用劳氏算法进行特征点匹配,之后采用RANSAC算法剔除误匹配特征点对,计算变换矩阵;最后采用渐进渐出加权融合的方法将图像融合形成新的视角更广的图像。
附图说明
图1是本发明的总流程图;
图2是实施例中的两幅输入图像;
图3是采用传统方法的特征提取图;
图4是采用改进后的SURF算法的特征提取图;
图5是特征点粗匹配结果图;
图6是采用劳氏算法和RANSAC算法后的特征点匹配结果图;
图7是最终的拼接效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提出了一种基于改进的SURF算法的图像拼接方法,如图1所示,具体包括以下步骤:
步骤1:对输入图像进行预处理,缩小图像尺寸。
步骤2:采用改进后的SURF算法提取两幅图像的特征点。具体步骤如下:
(2-1)引入特征点区域限制函数:
其中,x,y为像素坐标;A,B为图像尺寸;τ为有效拼接特征点的区域范围。通过此函数限制特征点的区域范围在图像周边。
(2-2)构建多尺度空间,改变高斯滤波器的窗口大小获得不同尺度的图像,图像经过不同尺寸盒子滤波器的滤波处理,生成多幅Hessian行列式图像,从而构成图像金字塔。
从9×9尺寸的盒子滤波器开始,对盒子滤波器的尺寸进行扩展,9×9尺寸的盒子滤波器是σ为1.2时的高斯二阶微分函数经过离散和剪裁后的滤波模板。保持图像尺寸不变,将图像分为4层,每层分为4组,选择6的倍数作为基本尺度间隔,每次翻倍作为下一层的尺度间隔。第一层滤波模板大小为9×9,15×15,21×21,27×27,第二层滤波模板大小为15×15,27×27,39×39,51×51,第三层滤波模板大小为27×27,51×51,75×75,99×99,第四层的滤波模板大小为51×51,99×99,147×147,195×195。每一层中任意一组通过三种方向的滤波模板得到计算结果Dxx,Dxy,Dyy。生成行列式图像,构成图像金字塔。
(2-3)将经过Hessian矩阵处理过的每个像素点在其3×3×3的三维领域内进行非极大值抑制,记录特征点位置,与其周围的26个点进行特征值比较,进行非极大值抑制,初步确定特征点位置。
(2-4)选取特征点主方向。以尺度值为s的特征点为圆心,在半径为6s的圆内使用尺寸为4s的Harr小波模板计算梯度,统计60度扇形内所有点的水平Harr小波特征和垂直Harr小波特征总和,然后60度扇形以一定间隔旋转,选取小波特征总和最大的方向为主方向。
(2-5)以特征点为圆心,将坐标轴旋转至步骤(2-4)确定的主方向上,取一个20s×20s的正方形窗口,并将窗口划分为16个大小为5s×5s的子窗口。统计子区域内25个像素的水平方向值之和∑dx,水平方向绝对值之和∑|dx|,垂直方向值之和∑dy,垂直方向绝对值之和∑|dy|,每个子窗口可以得到一个4维向量v=(∑dx,∑|dx|,∑dy,∑|dy|),每个特征点形成4×16个特征描述子用以描述该特征点。
如图3所示是采用未改进的SURF算法提取的特征点,图4所示是采用改进后的SURF算法提取的特征点,特征点数量明显减少但用于拼接的图像周边特征点得到了很好保留。
步骤3:特征点匹配,应用劳氏算法初步筛选匹配效果良好的特征点。
选取图像I1中的一个特征点t1,与图像I2的所有特征点求取欧氏距离,从中选出最近欧式距离特征点和次近欧式距离特征点,距离分别为d1,d2,计算二者的比值,若小于预先设定的阈值T1,则认为是正确匹配的特征点,将正确匹配的特征点相连,否则视为错误匹配。该例取T1=0.4。
步骤4:应用RANSAC算法,对已经标记出特征点的两张图像进行误匹配特征点对剔除并求解变换矩阵。包含以下子步骤:
(4-1)从步骤(3)筛选出的特征点对中随机选取n对匹配点,计算变换矩阵H,记为模型M。
(4-2)计算上述n对特征点以外的其他特征点与模型M的投影误差di,并设定阈值T2,当di<T2,视为内点,加入内点集N,否则视为外点。
(4-3)如果当前内点集N元素个数大于N_best,更新N_best=N。
(4-4)设置迭代次数:
其中,p为置信度,一般取0.995,w为内点所占比例;执行步骤(4-1)~(4-3)k次,当循环结束时,得到最优的变换模型M_best,其对应的H即为最优变换矩阵。
图5是特征点粗匹配效果图,经过劳氏算法和RANSAC算法筛选后,图6是最终特征点的匹配结果图。
步骤5:根据所求变换矩阵,将待拼接图像通过变换矩阵进行变换后与基准图像进行叠加。
设X=[x,y,1]T,X'=[x',y',1]T,
X'=HX
其中,X,X’分别是待拼接图像和基准图像的一对匹配特征点,h1,h2,h4,h5表示图像旋转量和尺度,h3表示水平位移,h6表示垂直位移,h7,h8表示水平和垂直方向的变形量。该例H矩阵为:
步骤6:采用线性加权运算,将两幅图像融合,完成图像拼接。
渐进渐出加权融合算法,通过公式:
计算权值wi(x,y)代入公式:
其中,I1(x,y),I2(x,y)分别表示两幅图像在位置(x,y)处的像素值,I(x,y)表示融合后图像的像素值,wi(x,y)是加权函数,width是图像重叠区域的宽度,disi(x)是该像素点距离第i幅图像边缘的距离。计算图像融合后重叠区域的像素值,实现图像融合。最终的拼接效果图如图7所示,拼接边缘过渡平滑,拼接效果良好。
Claims (6)
1.一种基于改进的SURF算法的图像拼接方法,其特征在于,包括以下步骤:
(1)对输入图像进行预处理,缩小图像尺寸;
(2)对预处理后的图像采用改进的SURF算法进行特征点提取;
(3)对提取的特征点进行粗匹配,然后应用劳氏算法初步筛选匹配效果良好的特征点;
(4)应用RANSAC算法,对已经标记出特征点的两张图像进行误匹配特征点对剔除并求解变换矩阵;
(5)根据所求变换矩阵,将待拼接图像通过变换矩阵进行变换后与基准图像进行叠加;
(6)采用线性加权运算,将两幅图像融合,完成图像拼接。
2.根据权利要求1所述的一种基于改进的SURF算法的图像拼接方法,其特征在于,所述步骤(2)包括以下步骤:
(21)引入特征点区域限制函数限制特征点的区域范围在图像周边;
(22)构建多尺度空间,改变高斯滤波器的窗口大小获得不同尺度的图像;图像经过不同尺寸盒子滤波器的滤波处理,生成多幅Hessian行列式图像,构成图像金字塔;
(23)将经过Hessian矩阵处理过的每个像素点在其3×3×3的三维领域内进行非极大值抑制,记录特征点位置;
(24)选取特征点主方向:以尺度值为s的特征点为圆心,在半径为6s的圆内使用尺寸为4s的Harr小波模板来计算梯度,选取小波特征总和最大的方向为主方向;
(25)以特征点为圆心,取20s×20s的正方形窗口,将窗口划分为16个大小为5s×5s的子窗口;统计子区域内25个像素的水平和垂直方向的harr小波特征,得到一个4维向量v=(∑dx,∑|dx|,∑dy,∑|dy|),每个特征点形成4×16个特征描述子用以描述该特征点。
3.根据权利要求1所述的一种基于改进的SURF算法的图像拼接方法,其特征在于,所述步骤(3)实现过程如下:
选取图像I1中的一个特征点t1,与图像I2的所有特征点求取欧氏距离,从中选出最近欧式距离特征点和次近欧式距离特征点,距离分别为d1,d2,计算二者的比值,若小于预先设定的阈值T1则认为是正确匹配的特征点,将正确匹配的特征点相连,否则视为错误匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010776456.2A CN111951162A (zh) | 2020-08-05 | 2020-08-05 | 一种基于改进的surf算法的图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010776456.2A CN111951162A (zh) | 2020-08-05 | 2020-08-05 | 一种基于改进的surf算法的图像拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111951162A true CN111951162A (zh) | 2020-11-17 |
Family
ID=73338911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010776456.2A Pending CN111951162A (zh) | 2020-08-05 | 2020-08-05 | 一种基于改进的surf算法的图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951162A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657194A (zh) * | 2021-07-27 | 2021-11-16 | 武汉理工大学 | 基于改进的surf算法的车辆摄像头图像特征提取匹配方法 |
CN115358930A (zh) * | 2022-10-19 | 2022-11-18 | 成都菁蓉联创科技有限公司 | 一种基于多无人机实时图像拼接方法及目标检测方法 |
-
2020
- 2020-08-05 CN CN202010776456.2A patent/CN111951162A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657194A (zh) * | 2021-07-27 | 2021-11-16 | 武汉理工大学 | 基于改进的surf算法的车辆摄像头图像特征提取匹配方法 |
CN113657194B (zh) * | 2021-07-27 | 2023-09-22 | 武汉理工大学 | 基于改进的surf算法的车辆摄像头图像特征提取匹配方法 |
CN115358930A (zh) * | 2022-10-19 | 2022-11-18 | 成都菁蓉联创科技有限公司 | 一种基于多无人机实时图像拼接方法及目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427924B (zh) | 一种基于旋转敏感特征的文本回归检测方法 | |
CN107169487B (zh) | 基于超像素分割及深度特征定位的显著性目标检测方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
CN104036523A (zh) | 一种基于SURF特征的改进Mean Shift的目标跟踪方法 | |
CN106204651B (zh) | 一种基于改进的判决与生成联合模型的目标跟踪方法 | |
CN110399840B (zh) | 一种快速的草坪语义分割及边界检测方法 | |
CN108416801B (zh) | 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法 | |
CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
CN111709901A (zh) | 基于FCM聚类匹配+Wallis滤波的无重多/高光谱遥感图像匀色方法 | |
CN111951162A (zh) | 一种基于改进的surf算法的图像拼接方法 | |
CN111898428A (zh) | 一种基于orb的无人机特征点匹配方法 | |
CN112163990B (zh) | 360度图像的显著性预测方法及系统 | |
CN112215079B (zh) | 一种全局多阶段目标跟踪方法 | |
CN113159215A (zh) | 一种基于Faster Rcnn的小目标检测识别方法 | |
CN110070545A (zh) | 一种城镇纹理特征密度自动提取城镇建成区的方法 | |
CN114241372A (zh) | 一种应用于扇扫拼接的目标识别方法 | |
CN110246165B (zh) | 提高可见光图像与sar图像配准速度的方法及系统 | |
CN116429082A (zh) | 一种基于st-orb特征提取的视觉slam方法 | |
CN113420648B (zh) | 一种具有旋转适应性的目标检测方法及系统 | |
CN112784722B (zh) | 基于YOLOv3和词袋模型的行为识别方法 | |
Shi et al. | RAOD: refined oriented detector with augmented feature in remote sensing images object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |