CN104616247B - 一种用于基于超像素sift航拍地图拼接的方法 - Google Patents
一种用于基于超像素sift航拍地图拼接的方法 Download PDFInfo
- Publication number
- CN104616247B CN104616247B CN201510069517.0A CN201510069517A CN104616247B CN 104616247 B CN104616247 B CN 104616247B CN 201510069517 A CN201510069517 A CN 201510069517A CN 104616247 B CN104616247 B CN 104616247B
- Authority
- CN
- China
- Prior art keywords
- mrow
- pixel
- msup
- super
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种用于基于超像素SIFT航拍地图拼接的方法，包括：1)对航拍地图进行超像素自适应分割；2)以步骤1)得到的若干个超像素的颜色归一化均值作为引导信息，获得3～10对超像素预匹配对，对所述超像素预匹配对提取SIFT特征，进行SIFT特征匹配后剔除匹配失败的超像素预匹配对；3)在线生成监督机制，得到满足要求的匹配点对；4)利用步骤3)精选后的匹配点对计算变换矩阵，融合图像，实现图像拼接。本发明方法实现了航拍地图的快速、高效拼接；并通过实验验证了本方法的有效性。
Description
技术领域
本发明涉及地理遥感以及图像处理领域，特别涉及一种用于基于超像素SIFT航拍地图拼接的方法。
背景技术
航拍地图是由无人机在高空利用高空相机拍摄得到的。由于无人机飞行的高度和相机焦距的限制，单幅航拍地图很难包含目标的所有内容。因此航拍地图拼接成为航拍地图处理的关键问题。
图像拼接技术就是把若干幅有重叠内容的图像合成一幅大视角宽幅面的图像，该技术作为合成航拍地图的工具得到较快发展。图像拼接的关键技术是配准，配准需要根据图像之间重叠区的一致性求出图像之间的投影变换。
关于图像拼接的方法可以分为基于像素的方法和基于特征的方法。当拼接图像在亮度及对比度等方面出现较明显差异时，基于像素的方法往往拼接效果欠佳甚至拼接失败，而基于特征的方法匹配效果相对稳定，运算效率也较高。在基于特征的方法中，SIFT是目前研究最多、应用最广的一种特征。Brown在2003年ICCV大会上做了如何将无序图像拼接成为全景图的报告[1]，他使用SIFT算法进行图像拼接，取得了令人瞩目的尚佳效果。ZJTao、H Huang利用Harris角点检测提取SIFT特征再进行图像拼接[2]，拼接效果在去噪及几何校正等方面显现优势。Bay等人针对基于SIFT的拼接方法计算量大的问题，在SIFT的基础上引入积分图像概念，提出了SURF算法[3]，该算法在一定程度上提高了特征提取的速度。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
首先，文献[1]的方法要求待拼接图像具有较大的视差和光照变化；文献[2]方法的去噪和几何矫正能力对低对比度图像不敏感。文献[3]方法的高效率图像拼接以牺牲拼接准确率为代价。另外，航拍地图通常具有分辨率高、富含相似结构的特点，前者致使基于SIFT特征的图像配准耗时较大，后者因为SIFT特征携带着局部邻域信息，使之对局部相似的特征点易发生误匹配，因此，需要对提取的匹配点做进一步的筛选。这在准确匹配点对的比例较小时，RANSAC算法[4]的使用会进一步降低拼接效率。
【参考文献】
[1]Brown M,Lowe D G.Recognising panoramas[C]//ICCV.2003,3:1218.
[2]Tao Z J,Huang H.Fundus images mosaic based on improved harris andSIFT algorithm[J].Computer Engineering and Design,2012,33(9):3507-3511.
[3]Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[M]//Computer Vision–ECCV 2006.Springer Berlin Heidelberg,2006:404-417.
[4]Fischler M A,Bolles R C.Random sample consensus:a paradigm formodel fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.
发明内容
本发明提供了一种用于基于超像素SIFT航拍地图拼接的方法，本方法能实现航拍地图快速、高效拼接，减少计算量，提高准确率。
为了解决上述技术问题，本发明提出的一种用于基于超像素SIFT航拍地图拼接的方法，包括以下步骤：
步骤一、对航拍地图进行超像素自适应分割；包括：
1-1、初始化：生成在二维图像空间均匀随机分布的K0个初始种子点pj,j＝1～K0，令a(0)＝r(0)＝0,0.5<λ<1,t＝1，其中λ为迭代系数，t为迭代次数；
1-2、计算图像颜色标准差σ，令j＝1,K＝K0；
1-3、利用两点间颜色差和距离求相似度函数s(i,k)，
s(k,k)＝∑s(i,k)/N，i＝1～N,k＝1～N (5)
式(1)至式(5)中，s(i,k)表示第i个像素点与第k个像素点的相似度，dxy(i,k)表示第i个像素点与第k个像素点的距离，像素点i、k的坐标分别为(xi,yi)和(xk,yk)，dlab(i,k)表示第i个像素点与第k个像素点的颜色差异，li、ai、bi分别表示像素点i的三个颜色分量，lk、ak、bk分别表示像素点k的三个颜色分量，N表示图像中的像素点数，ln、an、bn分别表示第n个像素点的三个颜色分量， 分别表示全图的三个颜色分量均值，xk、yk表示第k个像素点的坐标；
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k)，并开始迭代，其中吸引度函数和归属度函数分别为：
r(i,k)＝s(i,k)-maxk'≠k{a(i,k')+s(i,k')} (6)
迭代公式分别为：
r(t)(i,k)＝λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]} (8)
式(6)至式(9)中，i′＝1～N,k′＝1～N；
在迭代过程中，如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数，则停止迭代；
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点；与此同时，删除旧种子点；
1-6、重复执行步骤1-3至1-5，直至图像中全部种子点更新完毕；
1-7、对更新完毕的种子点进行排序查重，并使用相似度函数s(i,k)进行聚类，得到若干块超像素；
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息，获得3～10对超像素预匹配对，对所述超像素预匹配对提取SIFT特征，进行SIFT特征匹配后剔除匹配失败的超像素预匹配对；
步骤三、在线生成监督机制，得到满足要求的匹配点对；包括：
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选；
3-2、在上述精选出的超像素匹配对的四邻域寻找其他的超像素匹配对，
3-3、以上述步骤3-2中寻找到的其他超像素匹配对内特征点的信息作为其他超像素区域内特征点匹配的标准，具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值；
3-4、若匹配对的数量满足设定的阈值，则执行步骤四；否则返回步骤3-1；
步骤四、利用步骤三精选后的匹配点对计算变换矩阵，融合图像，实现图像拼接。
进一步讲，步骤二的具体内容为：
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值，选择两幅待拼接图像中颜色相近的超像素进行预配对，获得3～10对超像素预匹配对；
2-2、对所述超像素预匹配对提取SIFT特征：
对所述超像素预匹配对生成一系列尺度空间的差分图像；将各差分图像的局部极值点确定为初始特征点；去除不稳定的特征点；使用128维描述向量对所述超像素预匹配对中的特征点进行描述；
2-3、使用k-d树结构进行超像素中特征点的匹配，并剔除匹配失败的超像素预匹配对。
步骤四的具体内容为：从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数，完成待拼接图像的坐标变换；两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响；若两幅待拼接图像尺度不同，则需要对尺度较小的图像进行双线性插值，以满足拼接要求。
与现有技术相比，本发明的有益效果是：
本方法通过对航拍地图进行超像素分割，在少量超像素上提取SIFT特征并进行有监督匹配，最终实现快速、高效的航拍地图拼接，及时地获得大视场影像，对自然灾害预警以及灾后人员营救具有实际意义；并通过实验验证了本方法的有效性。
附图说明
图1为本发明提供的超像素分割种子点效果图，其中，(a)、(b)分别是两个不同分辨率和情景的超像素分割种子点效果图；
图2为本发明提供的特征点匹配对精选示意图，其中，(a1)、(b1)是两对超像素匹配对内未经过精选的特征匹配点对；(a2)、(b2)是两对超像素匹配对内经过精选的特征匹配点对；
图3为本发明提供的SIFT特征提取模板图；
图4为本发明提供的一种用于航拍地图拼接的方法的流程图；
图5为本发明提供的测试效果图。其中(a1)、(a2)是两幅待拼接的高分辨率航拍地图，(a3)是(a1)、(a2)拼接后的效果图，(b1)、(b2)是两幅待拼接的较低分辨率的航拍地图，(b3)是(b1)、(b2)拼接后的效果图，(c1)、(c2)是两幅待拼接的不同尺度和角度的航拍地图，(c3)是(c1)、(c2)拼接后的效果图。
具体实施方式
本发明提供了一种用于基于超像素SIFT航拍地图拼接的方法，本方法能实现航拍地图快速、高效拼接，减少计算量，提高准确率，及时地获得大视场影像，对自然灾害预警以及灾后人员营救具有实际意义。下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅仅对本发明进行解释说明，并不用以限制本发明。
如图4所示，本发明一种用于基于超像素SIFT航拍地图拼接的方法，包括以下步骤：
步骤一、对航拍地图进行超像素自适应分割，见图4中101；包括：
1-1、初始化：生成在二维图像空间均匀随机分布的K0个初始种子点pj,j＝1～K0，令a(0)＝r(0)＝0,λ＝0.7,t＝1,K0＝40，其中λ为迭代系数，t为迭代次数，；
1-2、计算图像颜色标准差σ，令j＝1,K＝K0；
1-3、利用两点间颜色差和距离求相似度函数s(i,k)，
s(k,k)＝∑s(i,k)/N，i＝1～N,k＝1～N (5)
式(1)至式(5)中，s(i,k)表示第i个像素点与第k个像素点的相似度，dxy(i,k)表示第i个像素点与第k个像素点的距离，像素点i、k的坐标分别为(xi,yi)和(xk,yk)，dlab(i,k)表示第i个像素点与第k个像素点的颜色差异，li、ai、bi分别表示像素点i的三个颜色分量，lk、ak、bk分别表示像素点k的三个颜色分量，N表示图像中的像素点数，ln、an、bn分别表示第n个像素点的三个颜色分量， 分别表示全图的三个颜色分量均值，xk、yk表示第k个像素点的坐标；
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k)，并开始迭代，其中吸引度函数和归属度函数分别为：
r(i,k)＝s(i,k)-maxk'≠k{a(i,k')+s(i,k')} (6)
迭代公式分别为：
r(t)(i,k)＝λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]} (8)
式(6)至式(9)中，i′＝1～N,k′＝1～N；
在迭代过程中，如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数，则停止迭代；
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点；与此同时，删除旧种子点；
1-6、重复执行步骤1-3至1-5，直至图像中全部种子点更新完毕；
1-7、对更新完毕的种子点进行排序查重，并使用相似度函数s(i,k)进行聚类，得到若干块超像素；图1显示了自适应分割后种子点的分布示意，图1(a)显示了小尺度的航拍地图分割种子点的结果，图1(b)显示了大尺度的航拍地图分割种子点的结果，对于不同的分辨率，本发明都可以得到满意的超像素分割结果；
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息，获得3对超像素预匹配对，对所述超像素预匹配对提取SIFT特征，如图4中102所示，进行SIFT特征匹配后剔除匹配失败的超像素预匹配对；具体内容包括：
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值其中
选择两幅待拼接图像中颜色相近的超像素进行预配对，获得3对超像素预匹配对；
2-2、对所述超像素预匹配对提取SIFT特征：
对所述超像素预匹配对生成一系列尺度空间的差分图像；将各差分图像的局部极值点确定为初始特征点；使用海森矩阵和泰勒拟合去除不稳定的特征点；使用128维描述向量对所述超像素预匹配对中的特征点进行描述，图3显示了用于特征点描述的模板，中间黑色点为待描述的特征点，周围取17×17的邻域，分为16块，每块计算8维向量进行描述，得到了128维的特征点描述向量；
2-3、使用k-d树结构进行超像素中特征点的匹配，并剔除匹配失败的超像素预匹配对。
步骤三、在线生成监督机制，得到满足要求的匹配点对；如图4中103所示，包括：
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选；
3-2、在上述精选出的超像素匹配对的四邻域寻找其他的超像素匹配对；
3-3、以上述步骤3-2中寻找到的其他超像素匹配对内特征点的信息作为其他超像素区域内特征点匹配的标准，具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值；
3-4、若匹配对的数量满足设定的阈值n，本实施例中n＝3，则执行步骤四；否则返回步骤3-1；图4中103为本步骤描述的内容，图2中的(a1)和(b1)均为未经过精选的超像素SIFT特征点匹配对，直线表示匹配关系，发现其中一部分出现错误匹配，经过本步骤的处理，图2中的(a2)和(b2)均为经过精选的超像素SIFT特征点匹配对，错误匹配点对已经得到剔除，剩余的匹配点对为精确的匹配点对；
步骤四、如图4中104所示，利用步骤三精选后的匹配点对计算变换矩阵，融合图像，实现图像拼接；即从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数，完成待拼接图像的坐标变换；两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响；若两幅待拼接图像尺度不同，则需要对尺度较小的图像进行双线性插值，以满足拼接要求。图5显示了三组不同情况下地图拼接的效果图。图5(a1)、(a2)、(a3)为图1(b)情形下的拼接，其中，(a3)为拼接效果图；同时本发明还可以适用于不同情况下的航拍地图拼接，如图5(b1)、(b2)、(b3)为较低分辨率的航拍地图拼接，其中(b3)为(b1)、(b2)拼接后的效果图，图5(c1)、(c2)、(c3)为不同尺度和角度的航拍地图拼接，其中(c3)为(c1)、(c2)拼接后的效果图；
下面以具体的测试来验证本发明实施例提供的一种用于基于超像素SIFT航拍地图拼接的方法的可行性。将本发明方法和单纯SIFT方法在拼接准确率和拼接速度两方面展开对比分析(测试样本由中国天津气象局提供)。
经过处理后的样本为图5中(a1)、(a2)、(b1)、(b2)、(c1)和(c2)待拼接图像。其中的测试结果在表1中得到了展示。
表1超像素SIFT拼接与单纯SIFT拼接速度与准确率统计性数据对比
表1中可以看出，本发明在特征点的提取数以及特征点匹配对数上都远远小于单纯SIFT算法，而在拼接准确方面，单纯SIFT在图5(b1)(b2)拼接中出现了错误。测试结果显示，在航拍地图高分辨率的一般情况下，本方法在拼接速度和准确率上具有明显优势。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种用于基于超像素SIFT航拍地图拼接的方法，其特征在于，包括以下步骤：
步骤一、对航拍地图进行超像素自适应分割；包括：
1-1、初始化：生成在二维图像空间均匀随机分布的K0个初始种子点pj,j＝1～K0，令a(0)＝r(0)＝0,0.5<λ<1,t＝1，其中λ为迭代系数，t为迭代次数；
1-2、计算图像颜色标准差σ，令j＝1,K＝K0；
1-3、利用两点间颜色差和距离求相似度函数s(i,k)，
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mi>N</mi>
<mo>/</mo>
<mi>K</mi>
</mrow>
</msqrt>
</mfrac>
<msub>
<mi>d</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>&sigma;</mi>
</mfrac>
<msub>
<mi>d</mi>
<mrow>
<mi>l</mi>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>l</mi>
<mi>a</mi>
<mi>b</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>a</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msqrt>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<mover>
<mi>l</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<mover>
<mi>a</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<mover>
<mi>b</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
s(k,k)＝∑s(i,k)/N，i＝1～N,k＝1～N (5)
式(1)至式(5)中，s(i,k)表示第i个像素点与第k个像素点的相似度，dxy(i,k)表示第i个像素点与第k个像素点的距离，像素点i、k的坐标分别为(xi,yi)和(xk,yk)，dlab(i,k)表示第i个像素点与第k个像素点的颜色差异，li、ai、bi分别表示像素点i的三个颜色分量，lk、ak、bk分别表示像素点k的三个颜色分量，N表示图像中的像素点数，ln、an、bn分别表示第n个像素点的三个颜色分量，分别表示全图的三个颜色分量均值，xk、yk表示第k个像素点的坐标；
1-4、按照顺序在每一个种子点的邻域内计算其中各点的吸引度函数r(i,k)和归属度函数a(i,k)，并开始迭代，其中吸引度函数和归属度函数分别为：
r(i,k)＝s(i,k)-maxk'≠k{a(i,k')+s(i,k')} (6)
<mrow>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>{</mo>
<mn>0</mn>
<mo>,</mo>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>&NotEqual;</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</munder>
<mi>max</mi>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munder>
<mi>max</mi>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
迭代公式分别为：
r(t)(i,k)＝λr(t-1)(i,k)+(1-λ){s(i,k)-maxk'≠k[a(t-1)(i,k')+s(i,k')]} (8)
<mrow>
<msup>
<mi>a</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>&lambda;a</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>min</mi>
<mrow>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>{</mo>
<mn>0</mn>
<mo>,</mo>
<msup>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>&NotEqual;</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</munder>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<msup>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>}</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>&lambda;a</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>{</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munder>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<msup>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
式(6)至式(9)中，i′＝1～N,k′＝1～N；
在迭代过程中，如果归属度函数和吸引度函数都不再发生变化或到达最大迭代次数，则停止迭代；
1-5、将邻域内各吸引度函数和隶属度函数之和最大的点作为新的种子点；与此同时，删除旧种子点；
1-6、重复执行步骤1-3至1-5，直至图像中全部种子点更新完毕；
1-7、对更新完毕的种子点进行排序查重，并使用相似度函数s(i,k)进行聚类，得到若干块超像素；
步骤二、以步骤一得到的若干个超像素的颜色归一化均值作为引导信息，获得3～10对超像素预匹配对，对所述超像素预匹配对提取SIFT特征，进行SIFT特征匹配后剔除匹配失败的超像素预匹配对；
步骤三、在线生成监督机制，得到满足要求的匹配点对；包括：
3-1、使用RANSAC对步骤二保留下的其中一个超像素匹配对的特征匹配点对进行精选；
3-2、在上述精选出的超像素匹配对的四邻域寻找其他的超像素匹配对；
3-3、以上述步骤3-2中寻找到的其他超像素匹配对内特征点的信息作为其他超像素区域内特征点匹配的标准，具体指超像素中两个特征点距离与所匹配的超像素中对应的两个特征点距离的比值；
3-4、若匹配对的数量满足设定的阈值，则执行步骤四；否则返回步骤3-1；
步骤四、利用步骤三精选后的匹配点对计算变换矩阵，融合图像，实现图像拼接。
2.根据权利要求1所述用于基于超像素SIFT航拍地图拼接的方法，其特征在于，步骤二的具体内容为：
2-1、计算由步骤一得到的每一个超像素的颜色归一化均值，选择两幅待拼接图像中颜色相近的超像素进行预配对，获得3～10对超像素预匹配对；
2-2、对所述超像素预匹配对提取SIFT特征：
对所述超像素预匹配对生成一系列尺度空间的差分图像；将各差分图像的局部极值点确定为初始特征点；去除不稳定的特征点；使用128维描述向量对所述超像素预匹配对中的特征点进行描述；
2-3、使用k-d树结构进行超像素中特征点的匹配，并剔除匹配失败的超像素预匹配对。
3.根据权利要求1所述用于基于超像素SIFT航拍地图拼接的方法，其特征在于，步骤四中的具体内容为：从步骤三中获得的满足要求的匹配点对中选择4组匹配点对的坐标计算出图像变换矩阵的参数，完成待拼接图像的坐标变换；两幅待拼接图像的重叠区域使用加权平均来均衡其光照的影响；若两幅待拼接图像尺度不同，则需要对尺度较小的图像进行双线性插值，以满足拼接要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510069517.0A CN104616247B (zh) | 2015-02-10 | 2015-02-10 | 一种用于基于超像素sift航拍地图拼接的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510069517.0A CN104616247B (zh) | 2015-02-10 | 2015-02-10 | 一种用于基于超像素sift航拍地图拼接的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104616247A CN104616247A (zh) | 2015-05-13 |
| CN104616247B true CN104616247B (zh) | 2017-11-21 |
Family
ID=53150680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510069517.0A Expired - Fee Related CN104616247B (zh) | 2015-02-10 | 2015-02-10 | 一种用于基于超像素sift航拍地图拼接的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104616247B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913423B (zh) * | 2016-04-08 | 2018-08-07 | 厦门大学 | 一种基于超像素的确定性模型拟合方法 |
| CN108171777B (zh) * | 2017-12-26 | 2021-08-10 | 广州泼墨神网络科技有限公司 | 基于遗传算法的寻找相邻序列帧锚点的方法 |
| CN108789431A (zh) * | 2018-06-11 | 2018-11-13 | 深圳万发创新进出口贸易有限公司 | 一种智能引导机器人 |
| US11961484B2 (en) * | 2018-08-31 | 2024-04-16 | Xi'an Novastar Tech Co., Ltd. | Correction method, correction device and correction system for free full-screen splicing |
| CN109767388B (zh) * | 2018-12-28 | 2023-03-24 | 西安电子科技大学 | 基于超像素提升图像拼接质量的方法、移动终端、相机 |
| CN112613343B (zh) * | 2020-12-01 | 2023-12-15 | 浙江大学 | 一种基于改进YOLOv4的河道废弃物监测方法 |
| CN113011324B (zh) * | 2021-03-18 | 2023-03-24 | 安徽大学 | 基于特征图匹配和超像素图排序的目标跟踪方法及装置 |
| CN113422915A (zh) * | 2021-03-19 | 2021-09-21 | 贵州北斗空间信息技术有限公司 | 一种监控视频融合显示方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456013A (zh) * | 2013-09-04 | 2013-12-18 | 天津大学 | 一种表示超像素以及度量超像素之间相似性的方法 |
-
2015
- 2015-02-10 CN CN201510069517.0A patent/CN104616247B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456013A (zh) * | 2013-09-04 | 2013-12-18 | 天津大学 | 一种表示超像素以及度量超像素之间相似性的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Clustering by Passing Messages;Brendan J F等;《SCIENCE》;20070216;第315卷;第972-976页 * |
| SP-SIFT:enhancing SIFT discrimination via super-pixel-based foreground–background segregation;F.Navarro等;《ELECTRONICS LETTERS》;20140213;第50卷(第4期);第272-274页 * |
| 基于改进的Harris和SIFT算法的眼底图像拼合;陶治江 等;《计算机工程与设计》;20120930;第33卷(第9期);第3507-3511页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104616247A (zh) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
| CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
| Quan | Image-based modeling | |
| CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
| CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
| Tang et al. | ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans | |
| CN107481279A (zh) | 一种单目视频深度图计算方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN105550994B (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
| CN109741240A (zh) | 一种基于层次聚类的多平面图像拼接方法 | |
| Irschara et al. | Large-scale, dense city reconstruction from user-contributed photos | |
| CN104182968A (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
| Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
| CN109857895B (zh) | 基于多环路视图卷积神经网络的立体视觉检索方法与系统 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| Bellavia et al. | Image orientation with a hybrid pipeline robust to rotations and wide-baselines | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN111815690B (zh) | 一种用于显微图像实时拼接的方法、系统和计算机设备 | |
| JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
| JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
| Maiwald | A window to the past through modern urban environments: Developing a photogrammetric workflow for the orientation parameter estimation of historical images | |
| CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
| CN110533652A (zh) | 基于旋转不变lbp-surf特征相似度的图像拼接评价方法 | |
| Zhang et al. | An enhanced multi-view vertical line locus matching algorithm of object space ground primitives based on positioning consistency for aerial and space images | |
| CN109902695A (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171121 Termination date: 20200210 |