CN104616247A - 一种用于基于超像素sift航拍地图拼接的方法 - Google Patents

一种用于基于超像素sift航拍地图拼接的方法 Download PDF

Info

Publication number
CN104616247A
CN104616247A CN201510069517.0A CN201510069517A CN104616247A CN 104616247 A CN104616247 A CN 104616247A CN 201510069517 A CN201510069517 A CN 201510069517A CN 104616247 A CN104616247 A CN 104616247A
Authority
CN
China
Prior art keywords
pixel
super
matching
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510069517.0A
Other languages
English (en)
Other versions
CN104616247B (zh
Inventor
王萍
王港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201510069517.0A priority Critical patent/CN104616247B/zh
Publication of CN104616247A publication Critical patent/CN104616247A/zh
Application granted granted Critical
Publication of CN104616247B publication Critical patent/CN104616247B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于基于超像素SIFT航拍地图拼接的方法,包括:1)对航拍地图进行超像素自适应分割;2)以步骤1)得到的若干个超像素的颜色归一化均值作为引导信息,获得3~10对超像素预匹配对,对所述超像素预匹配对提取SIFT特征,进行SIFT特征匹配后剔除匹配失败的超像素预匹配对;3)在线生成监督机制,得到满足要求的匹配点对;4)利用步骤3)精选后的匹配点对计算变换矩阵,融合图像,实现图像拼接。本发明方法实现了航拍地图的快速、高效拼接;并通过实验验证了本方法的有效性。

Description

一种用于基于超像素SIFT航拍地图拼接的方法
技术领域
本发明涉及地理遥感以及图像处理领域,特别涉及一种用于基于超像素SIFT航拍地图拼接的方法。
背景技术
航拍地图是由无人机在高空利用高空相机拍摄得到的。由于无人机飞行的高度和相机焦距的限制,单幅航拍地图很难包含目标的所有内容。因此航拍地图拼接成为航拍地图处理的关键问题。
图像拼接技术就是把若干幅有重叠内容的图像合成一幅大视角宽幅面的图像,该技术作为合成航拍地图的工具得到较快发展。图像拼接的关键技术是配准,配准需要根据图像之间重叠区的一致性求出图像之间的投影变换。
关于图像拼接的方法可以分为基于像素的方法和基于特征的方法。当拼接图像在亮度及对比度等方面出现较明显差异时,基于像素的方法往往拼接效果欠佳甚至拼接失败,而基于特征的方法匹配效果相对稳定,运算效率也较高。在基于特征的方法中,SIFT是目前研究最多、应用最广的一种特征。Brown在2003年ICCV大会上做了如何将无序图像拼接成为全景图的报告[1],他使用SIFT算法进行图像拼接,取得了令人瞩目的尚佳效果。ZJ Tao、H Huang利用Harris角点检测提取SIFT特征再进行图像拼接[2],拼接效果在去噪及几何校正等方面显现优势。Bay等人针对基于SIFT的拼接方法计算量大的问题,在SIFT的基础上引入积分图像概念,提出了SURF算法[3],该算法在一定程度上提高了特征提取的速度。
发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:
首先,文献[1]的方法要求待拼接图像具有较大的视差和光照变化;文献[2]方法的去噪和几何矫正能力对低对比度图像不敏感。文献[3]方法的高效率图像拼接以牺牲拼接准确率为代价。另外,航拍地图通常具有分辨率高、富含相似结构的特点,前者致使基于SIFT特征的图像配准耗时较大,后者因为SIFT特征携带着局部邻域信息,使之对局部相似的特征点易发生误匹配,因此,需要对提取的匹配点做进一步的筛选。这在准确匹配点对的比例较小时,RANSAC算法[4]的使用会进一步降低拼接效率。
【参考文献】
[1]Brown M,Lowe D G.Recognising panoramas[C]//ICCV.2003,3:1218.
[2]Tao Z J,Huang H.Fundus images mosaic based on improved harris and SIFTalgorithm[J].Computer Engineering and Design,2012,33(9):3507-3511.
[3]Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[M]//ComputerVision–ECCV 2006.Springer Berlin Heidelberg,2006:404-417.
[4]Fischler M A,Bolles R C.Random sample consensus:a paradigm for model fitting withapplications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.
发明内容
本发明提供了一种用于基于超像素SIFT航拍地图拼接的方法,本方法能实现航拍地图快速、高效拼接,减少计算量,提高准确率。
为了解决上述技术问题,本发明提出的一种用于基于超像素SIFT航拍地图拼接的方法,包括以下步骤:
步骤一、对航拍地图进行超像素自适应分割;包括:
1-1、初始化:生成在二维图像空间均匀随机分布的K0个初始种子点pj,j=1~K0,令a(0)=r(0)=0,0.5<λ<1,t=1,其中λ为迭代系数,t为迭代次数;
1-2、计算图像颜色标准差σ,令j=1,K=K0
1-3、利用两点间颜色差和距离求相似度函数s(i,k),
s ( i , k ) = - ( 1 N / K d xy ( i , k ) + 1 &sigma; d lab ( i , k ) ) - - - ( 1 )
d xy ( i , k ) = ( x k - x i ) 2 + ( y k - y i ) 2 - - - ( 2 )
d lab ( i , k ) = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2 - - - ( 3 )
&sigma; = 1 N &Sigma; n = 1 N ( l n - l &OverBar; ) 2 + ( a n + a &OverBar; ) 2 + ( b n - b &OverBar; ) 2 - - - ( 4 )
s(k,k)=∑s(i,k)/N,i=1~N,k=1~N           (5)
式(1)至式(5)中,s(i,k)表示第i个像素点与第k个像素点的相似度,dxy(i,k)表示第i个像素点与第k个像素点的距离,dlab(i,k)表示第i个像素点与第k个像素点的颜色差异,N表示图像中的像素点数,ln、an、bn分别表示第n个像素点的三个颜色分量, 分别表示全图的三个颜色分量均值,xk、yk表示第k个像素点的坐标;
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k),并开始迭代,其中吸引度函数和归属度函数分别为:
r(i,k)=s(i,k)-maxk'≠k{a(i,k')+s(i,k')}                (6)
a ( i , k ) = min i &NotEqual; k { 0 , r ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( i &prime; , k ) ] } i &NotEqual; k &Sigma; i &prime; &NotEqual; k max [ 0 , r ( i &prime; , k ) ] i = k - - - ( 7 )
迭代公式分别为:
r(t)(i,k)=λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]}(8)
a ( t ) ( i , k ) = &lambda; a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) min i &NotEqual; k { 0 , r ( t - 1 ) ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( t - 1 ) ( r &prime; , k ) ] } , i &NotEqual; k &lambda; a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) { &Sigma; i &prime; &NotEqual; k max [ 0 , r ( t - 1 ) ( i &prime; , k ) ] } i = k - - - ( 9 )
式(6)至式(9)中,i′=1~N,k′=1~N;
在迭代过程中,如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数,则停止迭代;
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点;与此同时,删除旧种子点;
1-6、重复执行步骤1-3至1-5,直至图像中全部种子点更新完毕;
1-7、对更新完毕的种子点进行排序查重,并使用相似度函数s(i,k)进行聚类,得到若干块超像素;
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息,获得3~10对超像素预匹配对,对所述超像素预匹配对提取SIFT特征,进行SIFT特征匹配后剔除匹配失败的超像素预匹配对;
步骤三、在线生成监督机制,得到满足要求的匹配点对;包括:
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选;
3-2、在上述超像素匹配对的四邻域寻找其他的超像素匹配对;
3-3、以上述一对超像素内特征点的信息作为其他的超像素区域内特征点匹配的标准,具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值;
3-4、若匹配对数满足设定的阈值,则执行步骤四;否则返回步骤3-1;
步骤四、利用步骤三精选后的匹配点对计算变换矩阵,融合图像,实现图像拼接。
进一步讲,步骤二的具体内容为:
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值,选择两幅待拼接图像中颜色相近的超像素进行预配对,获得3~10对超像素预匹配对;
2-2、对所述超像素预匹配对提取SIFT特征:
对所述超像素预匹配对生成一系列尺度空间的差分图像;将各差分图像的局部极值点确定为初始特征点;去除不稳定的特征点;使用128维描述向量对所述超像素预匹配对中的特征点进行描述;
2-3、使用k-d树结构进行超像素中特征点的匹配,并剔除匹配失败的超像素预匹配对。
步骤四的具体内容为:从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数,完成待拼接图像的坐标变换;两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响;若两幅待拼接图像尺度不同,则需要对尺度较小的图像进行双线性插值,以满足拼接要求。
与现有技术相比,本发明的有益效果是:
本方法通过对航拍地图进行超像素分割,在少量超像素上提取SIFT特征并进行有监督匹配,最终实现快速、高效的航拍地图拼接,及时地获得大视场影像,对自然灾害预警以及灾后人员营救具有实际意义;并通过实验验证了本方法的有效性。
附图说明
图1为本发明提供的超像素分割种子点效果图,其中,(a)、(b)分别是两个不同分辨率和情景的超像素分割种子点效果图;
图2为本发明提供的特征点匹配对精选示意图,其中,(a1)、(b1)是两对超像素匹配对内未经过精选的特征匹配点对;(a2)、(b2)是两对超像素匹配对内经过精选的特征匹配点对;
图3为本发明提供的SIFT特征提取模板图;
图4为本发明提供的一种用于航拍地图拼接的方法的流程图;
图5为本发明提供的测试效果图。其中(a1)、(a2)是两幅待拼接的高分辨率航拍地图,(a3)是(a1)、(a2)拼接后的效果图,(b1)、(b2)是两幅待拼接的较低分辨率的航拍地图,(b3)是(b1)、(b2)拼接后的效果图,(c1)、(c2)是两幅待拼接的不同尺度和角度的航拍地图,(c3)是(c1)、(c2)拼接后的效果图。
具体实施方式
本发明提供了一种用于基于超像素SIFT航拍地图拼接的方法,本方法能实现航拍地图快速、高效拼接,减少计算量,提高准确率,及时地获得大视场影像,对自然灾害预警以及灾后人员营救具有实际意义。下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅仅对本发明进行解释说明,并不用以限制本发明。
如图4所示,本发明一种用于基于超像素SIFT航拍地图拼接的方法,包括以下步骤:
步骤一、对航拍地图进行超像素自适应分割,见图4中101;包括:
1-1、初始化:生成在二维图像空间均匀随机分布的K0个初始种子点pj,j=1~K0,令a(0)=r(0)=0,λ=0.7,t=1,K0=40,其中λ为迭代系数,t为迭代次数,;
1-2、计算图像颜色标准差σ,令j=1,K=K0
1-3、利用两点间颜色差和距离求相似度函数s(i,k),
s ( i , k ) = - ( 1 N / K d xy ( i , k ) + 1 &sigma; d lab ( i , k ) ) - - - ( 1 )
d xy ( i , k ) = ( x k - x i ) 2 + ( y k - y i ) 2 - - - ( 2 )
d lab ( i , k ) = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2 - - - ( 3 )
&sigma; = 1 N &Sigma; n = 1 N ( l n - l &OverBar; ) 2 + ( a n + a &OverBar; ) 2 + ( b n - b &OverBar; ) 2 - - - ( 4 )
s(k,k)=∑s(i,k)/N,i=1~N,k=1~N           (5)
式(1)至式(5)中,s(i,k)表示第i个像素点与第k个像素点的相似度,dxy(i,k)表示第i个像素点与第k个像素点的距离,dlab(i,k)表示第i个像素点与第k个像素点的颜色差异,N表示图像中的像素点数,ln、an、bn分别表示第n个像素点的三个颜色分量, 分别表示全图的三个颜色分量均值,xk、yk表示第k个像素点的坐标;
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k),并开始迭代,其中吸引度函数和归属度函数分别为:
r(i,k)=s(i,k)-maxk'≠k{a(i,k')+s(i,k')}                 (6)
a ( i , k ) = min i &NotEqual; k { 0 , r ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( i &prime; , k ) ] } i &NotEqual; k &Sigma; i &prime; &NotEqual; k max [ 0 , r ( i &prime; , k ) ] i = k - - - ( 7 )
迭代公式分别为:
r(t)(i,k)=λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]}    (8)
a ( t ) ( i , k ) = &lambda; a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) min i &NotEqual; k { 0 , r ( t - 1 ) ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( t - 1 ) ( r &prime; , k ) ] } , i &NotEqual; k &lambda; a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) { &Sigma; i &prime; &NotEqual; k max [ 0 , r ( t - 1 ) ( i &prime; , k ) ] } i = k - - - ( 9 )
式(6)至式(9)中,i′=1~N,k′=1~N;
在迭代过程中,如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数,则停止迭代;
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点;与此同时,删除旧种子点;
1-6、重复执行步骤1-3至1-5,直至图像中全部种子点更新完毕;
1-7、对更新完毕的种子点进行排序查重,并使用相似度函数s(i,k)进行聚类,得到若干块超像素;图1显示了自适应分割后种子点的分布示意,图1(a)显示了小尺度的航拍地图分割种子点的结果,图1(b)显示了大尺度的航拍地图分割种子点的结果,对于不同的分辨率,本发明都可以得到满意的超像素分割结果;
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息,获得3对超像素预匹配对,对所述超像素预匹配对提取SIFT特征,如图4中102所示,进行SIFT特征匹配后剔除匹配失败的超像素预匹配对;具体内容包括:
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值其中
I &OverBar; ( i ) = 1 n &Sigma; k = 1 n ( R ( k ) R max - R min + G ( k ) G max - G min + B ( k ) B max - B min ) , i = 1,2 , . . . - - - ( 10 )
选择两幅待拼接图像中颜色相近的超像素进行预配对,获得3对超像素预匹配对;
2-2、对所述超像素预匹配对提取SIFT特征:
对所述超像素预匹配对生成一系列尺度空间的差分图像;将各差分图像的局部极值点确定为初始特征点;使用海森矩阵和泰勒拟合去除不稳定的特征点;使用128维描述向量对所述超像素预匹配对中的特征点进行描述,图3显示了用于特征点描述的模板,中间黑色点为待描述的特征点,周围取17×17的邻域,分为16块,每块计算8维向量进行描述,得到了128维的特征点描述向量;
2-3、使用k-d树结构进行超像素中特征点的匹配,并剔除匹配失败的超像素预匹配对。
步骤三、在线生成监督机制,得到满足要求的匹配点对;如图4中103所示,包括:
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选;
3-2、在上述超像素匹配对的四邻域寻找其他的超像素匹配对;
3-3、以上述一对超像素内特征点的信息作为其他的超像素区域内特征点匹配的标准,具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值;
3-4、若匹配对数满足设定的阈值n,本实施例中n=3,则执行步骤四;否则返回步骤3-1;图4中103为本步骤描述的内容,图2中的(a1)和(b1)均为未经过精选的超像素SIFT特征点匹配对,直线表示匹配关系,发现其中一部分出现错误匹配,经过本步骤的处理,图2中的(a2)和(b2)均为经过精选的超像素SIFT特征点匹配对,错误匹配点对已经得到剔除,剩余的匹配点对为精确的匹配点对;
步骤四、如图4中104所示,利用步骤三精选后的匹配点对计算变换矩阵,融合图像,实现图像拼接;即从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数,完成待拼接图像的坐标变换;两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响;若两幅待拼接图像尺度不同,则需要对尺度较小的图像进行双线性插值,以满足拼接要求。图5显示了三组不同情况下地图拼接的效果图。图5(a1)、(a2)、(a3)为图1(b)情形下的拼接,其中,(a3)为拼接效果图;同时本发明还可以适用于不同情况下的航拍地图拼接,如图5(b1)、(b2)、(b3)为较低分辨率的航拍地图拼接,其中(b3)为(b1)、(b2)拼接后的效果图,图5(c1)、(c2)、(c3)为不同尺度和角度的航拍地图拼接,其中(c3)为(c1)、(c2)拼接后的效果图;
下面以具体的测试来验证本发明实施例提供的一种用于基于超像素SIFT航拍地图拼接的方法的可行性。将本发明方法和单纯SIFT方法在拼接准确率和拼接速度两方面展开对比分析(测试样本由中国天津气象局提供)。
经过处理后的样本为图5中(a1)、(a2)、(b1)、(b2)、(c1)和(c2)待拼接图像。其中的测试结果在表1中得到了展示。
表1超像素SIFT拼接与单纯SIFT拼接速度与准确率统计性数据对比
表1中可以看出,本发明在特征点的提取数以及特征点匹配对数上都远远小于单纯SIFT算法,而在拼接准确方面,单纯SIFT在图5(b1)(b2)拼接中出现了错误。测试结果显示,在航拍地图高分辨率的一般情况下,本方法在拼接速度和准确率上具有明显优势。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于基于超像素SIFT航拍地图拼接的方法,其特征在于,包括以下步骤:
步骤一、对航拍地图进行超像素自适应分割;包括:
1-1、初始化:生成在二维图像空间均匀随机分布的K0个初始种子点pj,j=1~K0,令a(0)=r(0)=0,0.5<λ<1,t=1,其中λ为迭代系数,t为迭代次数;
1-2、计算图像颜色标准差σ,令j=1,K=K0
1-3、利用两点间颜色差和距离求相似度函数s(i,k),
s ( i , k ) = - ( 1 N / K d xy ( i , k ) + 1 &sigma; d lab ( i , k ) ) - - - ( 1 )
d xy ( i , k ) = ( x k - x i ) 2 + ( y k - y i ) 2 - - - ( 2 )
d lab ( i , k ) = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2 - - - ( 3 )
&sigma; = 1 N &Sigma; n = 1 N ( l n - l &OverBar; ) 2 + ( a n - a &OverBar; ) 2 + ( b n - b &OverBar; ) 2 - - - ( 4 )
s(k,k)=∑s(i,k)/N,i=1~N,k=1~N      (5)
式(1)至式(5)中,s(i,k)表示第i个像素点与第k个像素点的相似度,dxy(i,k)表示第i个像素点与第k个像素点的距离,dlab(i,k)表示第i个像素点与第k个像素点的颜色差异,N表示图像中的像素点数,ln、an、bn分别表示第n个像素点的三个颜色分量, 分别表示全图的三个颜色分量均值,xk、yk表示第k个像素点的坐标;
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k),并开始迭代,其中吸引度函数和归属度函数分别为:
r(i,k)=s(i,k)-maxk'≠k{a(i,k')+s(i,k')}             (6)
a ( i , k ) = min i &NotEqual; k { 0 , r ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( i &prime; , k ) ] } i &NotEqual; k &Sigma; i &prime; &NotEqual; k max [ 0 , r ( i &prime; , k ) ] i = k - - - ( 7 )
迭代公式分别为:
r(t)(i,k)=λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]}  (8)
a ( t ) ( i , k ) = &lambda;a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) min i &NotEqual; k { 0 , r ( t - 1 ) ( k , k ) + &Sigma; i &prime; &NotEqual; i , k max [ 0 , r ( t - 1 ) ( i &prime; , k ) ] } , i &NotEqual; k &lambda; a ( t - 1 ) ( i , k ) + ( 1 - &lambda; ) { &Sigma; i &prime; &NotEqual; k max [ 0 , r ( t - 1 ) ( i &prime; , k ) ] } i = k - - - ( 9 )
式(6)至式(9)中,i′=1~N,k′=1~N;
在迭代过程中,如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数,则停止迭代;
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点;与此同时,删除旧种子点;
1-6、重复执行步骤1-3至1-5,直至图像中全部种子点更新完毕;
1-7、对更新完毕的种子点进行排序查重,并使用相似度函数s(i,k)进行聚类,得到若干块超像素;
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息,获得3~10对超像素预匹配对,对所述超像素预匹配对提取SIFT特征,进行SIFT特征匹配后剔除匹配失败的超像素预匹配对;
步骤三、在线生成监督机制,得到满足要求的匹配点对;包括:
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选;
3-2、在上述超像素匹配对的四邻域寻找其他的超像素匹配对;
3-3、以上述一对超像素内特征点的信息作为其他的超像素区域内特征点匹配的标准,具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值;
3-4、若匹配对数满足设定的阈值,则执行步骤四;否则返回步骤3-1;
步骤四、利用步骤三精选后的匹配点对计算变换矩阵,融合图像,实现图像拼接。
2.根据权利要求1所述用于基于超像素SIFT航拍地图拼接的方法,其特征在于,步骤二的具体内容为:
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值,选择两幅待拼接图像中颜色相近的超像素进行预配对,获得3~10对超像素预匹配对;
2-2、对所述超像素预匹配对提取SIFT特征:
对所述超像素预匹配对生成一系列尺度空间的差分图像;将各差分图像的局部极值点确定为初始特征点;去除不稳定的特征点;使用128维描述向量对所述超像素预匹配对中的特征点进行描述;
2-3、使用k-d树结构进行超像素中特征点的匹配,并剔除匹配失败的超像素预匹配对。
3.根据权利要求1所述用于基于超像素SIFT航拍地图拼接的方法,其特征在于,步骤四中的具体内容为:从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数,完成待拼接图像的坐标变换;两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响;若两幅待拼接图像尺度不同,则需要对尺度较小的图像进行双线性插值,以满足拼接要求。
CN201510069517.0A 2015-02-10 2015-02-10 一种用于基于超像素sift航拍地图拼接的方法 Expired - Fee Related CN104616247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510069517.0A CN104616247B (zh) 2015-02-10 2015-02-10 一种用于基于超像素sift航拍地图拼接的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510069517.0A CN104616247B (zh) 2015-02-10 2015-02-10 一种用于基于超像素sift航拍地图拼接的方法

Publications (2)

Publication Number Publication Date
CN104616247A true CN104616247A (zh) 2015-05-13
CN104616247B CN104616247B (zh) 2017-11-21

Family

ID=53150680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510069517.0A Expired - Fee Related CN104616247B (zh) 2015-02-10 2015-02-10 一种用于基于超像素sift航拍地图拼接的方法

Country Status (1)

Country Link
CN (1) CN104616247B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105913423A (zh) * 2016-04-08 2016-08-31 厦门大学 一种基于超像素的确定性模型拟合方法
CN105005963B (zh) * 2015-06-30 2018-06-01 重庆市勘测院 一种多相机图像拼接匀色方法
CN108171777A (zh) * 2017-12-26 2018-06-15 广州泼墨神网络科技有限公司 基于遗传算法的寻找相邻序列帧锚点的方法
CN108789431A (zh) * 2018-06-11 2018-11-13 深圳万发创新进出口贸易有限公司 一种智能引导机器人
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN112613343A (zh) * 2020-12-01 2021-04-06 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法
CN113011324A (zh) * 2021-03-18 2021-06-22 安徽大学 基于特征图匹配和超像素图排序的目标跟踪方法及装置
CN113422915A (zh) * 2021-03-19 2021-09-21 贵州北斗空间信息技术有限公司 一种监控视频融合显示方法及系统
US20210366411A1 (en) * 2018-08-31 2021-11-25 Xi'an Novastar Tech Co., Ltd. Correction method, correction device and correction system for free full-screen splicing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRENDAN J F等: "Clustering by Passing Messages", 《SCIENCE》 *
F.NAVARRO等: "SP-SIFT:enhancing SIFT discrimination via super-pixel-based foreground–background segregation", 《ELECTRONICS LETTERS》 *
陶治江 等: "基于改进的Harris和SIFT算法的眼底图像拼合", 《计算机工程与设计》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005963B (zh) * 2015-06-30 2018-06-01 重庆市勘测院 一种多相机图像拼接匀色方法
CN105005963A (zh) * 2015-06-30 2015-10-28 重庆市勘测院 一种多相机图像拼接匀色方法
CN105913423B (zh) * 2016-04-08 2018-08-07 厦门大学 一种基于超像素的确定性模型拟合方法
CN105913423A (zh) * 2016-04-08 2016-08-31 厦门大学 一种基于超像素的确定性模型拟合方法
CN108171777B (zh) * 2017-12-26 2021-08-10 广州泼墨神网络科技有限公司 基于遗传算法的寻找相邻序列帧锚点的方法
CN108171777A (zh) * 2017-12-26 2018-06-15 广州泼墨神网络科技有限公司 基于遗传算法的寻找相邻序列帧锚点的方法
CN108789431A (zh) * 2018-06-11 2018-11-13 深圳万发创新进出口贸易有限公司 一种智能引导机器人
US20210366411A1 (en) * 2018-08-31 2021-11-25 Xi'an Novastar Tech Co., Ltd. Correction method, correction device and correction system for free full-screen splicing
US11961484B2 (en) * 2018-08-31 2024-04-16 Xi'an Novastar Tech Co., Ltd. Correction method, correction device and correction system for free full-screen splicing
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN109767388B (zh) * 2018-12-28 2023-03-24 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN112613343A (zh) * 2020-12-01 2021-04-06 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法
CN112613343B (zh) * 2020-12-01 2023-12-15 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法
CN113011324A (zh) * 2021-03-18 2021-06-22 安徽大学 基于特征图匹配和超像素图排序的目标跟踪方法及装置
CN113422915A (zh) * 2021-03-19 2021-09-21 贵州北斗空间信息技术有限公司 一种监控视频融合显示方法及系统

Also Published As

Publication number Publication date
CN104616247B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN104616247A (zh) 一种用于基于超像素sift航拍地图拼接的方法
US11274922B2 (en) Method and apparatus for binocular ranging
CN110992238B (zh) 一种基于双通道网络的数字图像篡改盲检测方法
Zhang et al. A sparsity‐inducing optimization‐based algorithm for planar patches extraction from noisy point‐cloud data
CN102750537B (zh) 一种高精度图像自动配准方法
Song et al. Relaxation‐based point feature matching for vector map conflation
CN103440653A (zh) 双目视觉立体匹配方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN109635714B (zh) 文档扫描图像的矫正方法及装置
Li et al. A unified framework for street-view panorama stitching
CN105654421A (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
Sedaghat et al. Very high resolution image matching based on local features and k‐means clustering
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN114202632A (zh) 网格线性结构恢复方法、装置、电子设备及存储介质
Wang et al. True orthophoto generation using line segment matches
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN113902856B (zh) 一种语义标注的方法、装置、电子设备及存储介质
Lentsch et al. Slicematch: Geometry-guided aggregation for cross-view pose estimation
Franken et al. Rebuilding the cadastral map of The Netherlands, the artificial intelligence solution
CN117274608B (zh) 基于空间细节感知和注意力引导的遥感图像语义分割方法
Tian et al. Automatic feature type selection in digital photogrammetry of piping
US11868377B2 (en) Systems and methods for providing geodata similarity
Sahu et al. Vector map generation from aerial imagery using deep learning
Bei et al. GeoGlue: Feature matching with self-supervised geometric priors for high-resolution UAV images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171121

Termination date: 20200210