CN105957007B - 基于特征点平面相似度的图像拼接方法 - Google Patents
基于特征点平面相似度的图像拼接方法 Download PDFInfo
- Publication number
- CN105957007B CN105957007B CN201610288662.2A CN201610288662A CN105957007B CN 105957007 B CN105957007 B CN 105957007B CN 201610288662 A CN201610288662 A CN 201610288662A CN 105957007 B CN105957007 B CN 105957007B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- pixel
- spliced
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 208000003164 Diplopia Diseases 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征点平面相似度的图像拼接方法,首先对待拼接的两幅图像分别进行特征点提取,然后对特征点进行匹配,得到特征点匹配对,然后基于平面相似度对特征点匹配对进行筛选,其筛选方法为:先随机选取最小采样集,计算其单应矩阵,然后对每个匹配对计算其与每个单应矩阵的残差,构成残差向量,根据残差向量计算两两匹配对之间的平面相似度,进而对匹配对进行筛选;根据筛选的匹配对集计算变换矩阵,将两幅待拼接图像变换至同一坐标系,然后寻找最优缝合线,根据最优缝合线进行图像融合,得到图像拼接结果。本发明采用经采用平面相似度筛选后的特征点匹配对进行配准和拼接,可以提高图像拼接的准确度和鲁棒性。
Description
技术领域
本发明属于计算机视觉技术领域,更为具体地讲,涉及一种基于特征点平面相似度的图像拼接方法。
背景技术
图像拼接就是把一系列针对同一场景的有重合区域的图像合成为一张宽视角的图像。目前主要通过两种方式获得高分辨率大视野图像:一是通过专业的图像获取设备如广角摄像头获取;二是通过图像拼接技术对普通图像获取设备如数码相机等获得的小视野图像进行拼接得到大视野图像。而通过专业设备来获取全景图像通常成本过高,不能广泛应用,因此图像拼接技术成为了计算机视觉、图像处理和计算机图形学的一个研究热点。
图像拼接大致可分为两个步骤:图像配准和图像融合。图像配准是采用一定的匹配策略,建立待拼接图像之间的变换关系。图像融合是将图像配准后的图像重合部分融合,消除图像之间的拼接缝,得到平滑无缝的拼接结果。由于图像配准的精度直接影响图像拼接的质量和效果,因此图像配准是图像拼接的核心问题。目前的图像配准的方法可以分为三大类:基于灰度的图像配准、基于变换域的图像配准和基于特征的图像配准。由于图像的一些特征点具有平移、旋转、尺度不变性,且少量的特征点即可反映整幅图像的信息,大大减少了需要处理的信息量,可以提高处理速度,所以目前主流的图像拼接方法都是基于特征点的。
传统的基于特征点的拼接技术对拍摄时摄像头的姿态或者场景有一定要求:在同一视点旋转拍摄图像或者拍摄场景能近似为平面场景,而对于在不同视点拍摄的相互之间存在视差的图像则难以达到理想的拼接效果。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于特征点平面相似度的图像拼接方法,对两幅图像中的匹配特征点对采用平面相似度进行筛选,根据筛选后的特征点匹配对进行配准和拼接,可以提高图像拼接的准确度和鲁棒性。
为实现上述发明目的,本发明基于特征点平面相似度的图像拼接方法包括以下步骤:
S1:对待拼接的两幅图像分别进行特征点提取;
S2:对两幅待拼接图像的特征点进行匹配,得到特征点匹配对集φ;
S3:基于平面相似度对特征点匹配对进行筛选,具体步骤包括:
S3.1:初始化选择匹配对集S为空集;
S3.2:从匹配对集φ中随机选取K个最小采样集{C1,C2,...,CK},其中每个最小采样集包括4个特征点匹配对;计算每个最小采样集对应的单应矩阵,得到K个单应矩阵集{T1,T2,…,TK},其中Tk表示第k个最小采样集对应的单应矩阵,k=1,2,…,K;
S3.3:计算匹配对集φ中每个匹配对Xi与单应矩阵集{T1,T2,…,TK}中每个单应矩阵的残差,每个匹配对Xi对应的K个残差组成一个残差向量di=[di1di2...diK],其中dik表示匹配对Xi与单应矩阵Tk的残差;
S3.4:对于匹配对集φ中所有匹配对,两两计算平面相似度,任意两个匹配对Xi和Xj的平面相似度f(Xi,Xj)的计算公式为:
其中,的定义为
dik表示匹配对Xi与单应矩阵Tk的残差,djk为匹配对Xj与单应矩阵Tk的残差,ε为预设的残差阈值;
S3.5:计算匹配对集φ中的每个匹配对Xi与其他所有匹配对的平面相似度f(Xi,Xj)之和F(Xi),选择F(Xi)最大的匹配对Xi′作为本次筛选的关键匹配对,计算匹配对Xi′与其他匹配对平面相似度f(Xi′,Xj)的平均值favg,筛选f(Xi′,Xj)>favg的匹配对,与关键匹配对Xi′一起构成匹配对集S′,将匹配对集S′加入选择匹配对集S中,并从匹配对集φ中删除这些匹配对;
S3.6:如果|S′|<τ|||φ|<τ,其中|S′|表示本次筛选匹配对集S′中匹配对数量,φ表示匹配对集φ中匹配对数量,τ表示预设数量阈值,结束筛选,否则返回步骤S3.2;
S4:根据步骤S3筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的变换矩阵H,利用变换矩阵H将两幅待拼接图像变换至同一坐标系;
S5:在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L;
S6:根据步骤S5得到的最优缝合线L对变换到同一坐标系下的两幅待拼接图像进行融合,得到图像拼接结果。
本发明基于特征点平面相似度的图像拼接方法,首先对待拼接的两幅图像分别进行特征点提取,然后对特征点进行匹配,得到特征点匹配对,然后基于平面相似度对特征点匹配对进行筛选,其筛选方法为:先随机选取最小采样集,计算其单应矩阵,然后对每个匹配对计算其与每个单应矩阵的残差,构成残差向量,根据残差向量计算两两匹配对之间的平面相似度,进而对匹配对进行筛选;根据筛选的匹配对集计算变换矩阵,将两幅待拼接图像变换至同一坐标系,然后寻找最优缝合线,根据最优缝合线进行图像融合,得到图像拼接结果。
本发明具有以下技术效果:
(1)基于平面相似度进行特征点匹配对的筛选,不仅可以有效地排除错误的匹配对,还可以保留所有(绝大部分)的正确匹配对,使筛选得到的特征点匹配对更能反映两幅图像的视点信息,使图像变换更加准确,减小配准误差,从而提高图像拼接结果的准确度和鲁棒性;
(2)在图像融合时,提出一种基于最优缝合线的加权融合方法,可以避免融合图像中出现虚影和物体错切等现象,从而提高图像拼接结果的效果。
附图说明
图1是本发明基于特征点平面相似度的图像拼接方法的具体实施方式流程图;
图2是SURF特征的提取方法;
图3是基于平面相似度的特征点匹配对筛选算法流程图;
图4是无向图G<V,E>的示例图;
图5是图像融合区域示意图;
图6是本发明特征点匹配对筛选算法和RANSAC算法的对比图;
图7是多个视点的拍摄图像;
图8是图7中视点1与视点2图像拼接结果;
图9是图7中视点3与视点2图像拼接结果;
图10是图7中视点4与视点2图像拼接结果;
图11是图7中视点5与视点2图像拼接结果;
图12是拼接实例1所采用的图像;
图13是本发明、Autostitch算法和APAP算法对实例1的拼接结果对比图;
图14是拼接实例2所采用的图像;
图15是本发明、Autostitch算法和APAP算法对实例2的拼接结果对比图;
图16是拼接实例3所采用的图像;
图17是本发明、RANSAC算法和APAP算法对实例3的拼接结果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明基于特征点平面相似度的图像拼接方法的具体实施方式流程图。如图1所示,本发明基于特征点平面相似度的图像拼接方法的具体包括以下步骤:
S101:提取图像特征点:
对待拼接的两幅图像分别进行特征点提取。提取的特征点特征可以根据实际需要进行确定,本实施例中采用SURF(Speed-up robust features,加速健壮特征)特征。图2是SURF特征的提取方法。如图2所示,SURF特征的提取方法包括以下步骤:
S201:寻找特征点位置:
先将待提取特征的图像转换成灰度图像,然后计算得到积分图,采用不同尺寸的盒子滤波模板对积分图像求取Hessian矩阵行列式的响应图像,得到不同尺度的金字塔图像,然后利用非最大值抑制方法得到不同尺度的特征点位置。
S202:求取特征点主方向:
得到特征点位置后,为了使特征点的特征向量具有旋转不变性,为每个特征点赋予一个主方向。主方向的计算方法为:对以特征点为中心、半径为6的圆形区域内的点计算水平方向和竖直方向的Harr小波响应。然后设定一个以特征点为中心、张角为π/3的扇形滑动窗口,以步长为0.2弧度旋转这个滑动窗口,并对滑动窗口内的Harr小波响应值进行累加,取最大Harr相应累加值所对应的方向为该特征点的主方向。
S203:计算特征向量:
确定特征点的主方向后,为特征点计算特征向量来描述特征点的邻域信息。以特征点为中心,沿其主方向将20×20的矩形区域划分成4×4个子区域,对每个子区域利用尺寸为2的Harr模板计算主方向和垂直于主方向的响应值,然后分别统计主方向和垂直于主方向的响应值之和以及响应值绝对值之和作为该子区域的特征值,组成特征点的特征向量。可见本实施例中特征向量有64维,一共16个子区域,每个子区域有4个特征值。
S102:特征点匹配:
对两幅待拼接图像的特征点进行匹配,得到特征点匹配对。其具体步骤为:对图像1中的每个特征点,以图像2中的特征点集为搜索空间,以特征向量间的欧式距离为相似性度量,在搜索空间内搜索与其距离最小的特征点,作为其匹配点,组成匹配对。得到两幅图像的特征点匹配对集φ={Xi,i=1,2,...,N},其中Xi为第i对特征点匹配对,N为匹配对个数。
S103:基于平面相似度的匹配对筛选:
为了使基于特征点匹配对所进行的图像配准更为准确,需要对特征点匹配对进行筛选,排除错误的匹配对。针对有视差的待拼接图像,与传统的RANSAC特征点匹配对筛选方法不同,本发明定义了一种匹配对之间的平面相似度,并基于此来设计特征点匹配对筛选算法。图3是基于平面相似度的特征点匹配对筛选算法流程图。如图3所示,基于平面相似度的特征点匹配对筛选算法的具体步骤包括:
S301:初始化选择匹配对集S为空集,即
S302:选取最小采样集:
从匹配对集φ中随机选取K个最小采样集{C1,C2,...,CK},其中每个最小采样集包括4个特征点匹配对,这是因为在计算变换矩阵时至少需要4个特征点匹配对。计算每个最小采样集对应的单应矩阵,得到K个单应矩阵集{T1,T2,…,TK},其中Tk表示第k个最小采样集对应的单应矩阵,k=1,2,…,K。
本实施例中所采用的随机选取最小采样集的策略为:在匹配对集φ随机选取一个特征点匹配对Xi作为最小采样集中的第一个匹配对,以匹配对Xi中一个特征点为中心、预设边长的矩形范围作为邻域范围,在同属一幅图像特征点落入该邻域范围内的匹配对中随机和选取3个特征点匹配对,构成一个最小采样集。K的大小和邻域范围的边长可以根据需要进行设置,本实施例中K=500,边长为50。
S303:计算残差向量:
计算匹配对集φ中每个匹配对Xi与单应矩阵集{T1,T2,…,TK}中每个单应矩阵的残差,每个匹配对Xi对应的K个残差组成一个残差向量di=[di1di2...diK],其中dik表示匹配对Xi与单应矩阵Hk的残差。
S304:计算平面相似度:
对于匹配对集φ中所有匹配对两两计算平面相似度,任意两个匹配对Xi和Xj的平面相似度f(Xi,Xj)的计算公式为:
其中,Xi∈φ,Xj∈φ,Xi≠Xj,的定义为
dik表示匹配对Xi与单应矩阵Tk的残差,djk为匹配对Xj与单应矩阵Tk的残差,ε为预设的残差阈值,可以根据实际需要进行设置,经实验得到ε较优的取值范围为3≤ε≤8,本实施例中设置ε=5。
S305:选择匹配对:
计算匹配对集φ中的每个匹配对Xi与其他所有匹配对的平面相似度f(Xi,Xj)之和F(Xi)=∑jf(Xi,Xj),选择F(Xi)最大的匹配对Xi′作为本次筛选的关键匹配对,计算匹配对Xi′与其他匹配对平面相似度f(Xi′,Xj)的平均值筛选f(Xi′,Xj)>favg的匹配对,与关键匹配对Xi′一起构成匹配对集S′,将匹配对集S′加入选择匹配对集S中,即令S=S+S′,并从匹配对集φ中删除这些匹配对,即令φ=φ-S′。
S306:判断是否|S′|<τ|||φ|<τ,其中|S′|表示本次筛选匹配对集S′中匹配对数量,|φ|表示匹配对集φ中匹配对数量,τ表示预设数量阈值。也就是说,判断是否本次筛选的匹配对数量或本次筛选剩下的匹配对数量小于τ,当任意一项小于τ,则结束筛选,否则返回步骤S302。
S104:图像坐标系变换:
根据步骤S103筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的变换矩阵H,利用变换矩阵H将两幅待拼接图像变换至同一坐标系。记两幅待拼接图像中图像中点坐标为(x1,y1),图像2中点坐标为(x2,y2),那么图像变换矩阵H可以表示为:
变换矩阵H以及图像变换是图像拼接领域的常用工具,其具体过程在此不再赘述。
S105:寻找最优缝合线:
在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L。目前现有技术中已经存在多种最优缝合线算法,本实施例中采用基于graph-cut(图像分割)的最优缝合线算法来找出重合区域中差异最小的划分线,依据这条划分线来缝合待拼接图像,其具体方法为:
根据变换后两幅待拼接图像的顶点坐标得到两幅待拼接图像的图像重合区域和为图像重合区域建立无向图G<V,E>,其中V和E分别为顶点和边的集合。顶点集合V中的顶点有两种:一种为重合区域每个像素点,另一种为额外增加的两个端点s和t。边集合E中的边也有两种:一种为连接任意两个相邻像素点的边,另一种为s和t分别与任意像素点连接的边。图4是无向图G<V,E>的示例图。如图4所示,黑色圆圈分别是两幅待拼接图像在图像重合区域的像素点,白色圆圈表示增加的两个端点s和t。
然后为图G<V,E>中每个边赋予权值,边集合E可以分为三类:像素点p与端点s之间的边,像素点p与端点t之间的边以及像素点p、q之间的边,三类边的权值赋值方式分别为:
●像素点p与端点s之间的边权值e(s,p)
其中λ值是根据需要设置的一个绝对大值,本实施例中λ=10000。
●像素点p与端点t之间的边权值e(t,p)
●像素点p、q之间的边权值e(p,q)
其中,和分别表示图像重合区域和在像素点p的像素值,和分别表示图像重合区域和在像素点q的像素值。
给图G<V,E>中的边赋权值之后,建立能量函数Ecut(p,Lp):
其中,Lp和Lq分别为像素点p和q的像素值来源图像的标号,Ed(p,Lp)由e(s,p)和e(t,p)之和表示,Ed(p,q,Lp,Lq)由e(p,q)表示。然后用max flow算法来找到使Ecut(p,Lp)最小的分割线,该分割线即为和的最优缝合线L。
基于graph-cut(图像分割)的最优缝合线算法的原理和具体过程可以参考文献“Graphcut textures:image and video synthesis using graph cuts”。
S106:图像融合:
根据最优缝合线L对变换到同一坐标系下的两幅待拼接图像进行融合。由于待拼接的两幅图像可能因为曝光不同等因素有一定的颜色差异,为了使拼接后图像颜色在缝合线处平滑过渡,本发明采用加权平均法在最优缝合线L周围对待拼接的图像像素值进行融合。具体方法如下
记变换到同一坐标系下的两幅待拼接图像为图像1和图像2,其中心点分别为C1和C2,计算C1和C2与水平线较小夹角θ的余切值tanθ,如果tanθ小于1,即θ小于45°,以水平方向为融合方向,即沿水平方向融合图像,此时需要将最优缝合线L沿水平方向分别向两侧平移d,得到两条边界,将与C1的水平距离小于最优缝合线L与C1水平距离的边界记为L1,将与C2的水平距离小于最优缝合线L与C2水平距离的边界记为L2;若tanθ大于1,即θ大于45°,以垂直方向为融合方向,即沿垂直方向融合图像,将最优缝合线L沿垂直方向分别向两侧平移d,得到两条边界,将与C1的垂直距离小于最优缝合线L与C1的垂直距离的边界记为L1,将与C2的垂直距离小于最优缝合线L与C2的垂直距离的边界记为L2。
遍历两幅待拼接图像的每个像素点(x,y),如果像素点不属于图像重合区域,则融合图像中该像素点的像素值采用对应图像中的像素值,即保持原有图像中的像素值,否则按照以下方法进行融合:
计算该像素点(x,y)与最优缝合线L在融合方向上的距离D(x,y),如果D(x,y)≥d,则计算像素点(x,y)与中心点C1和C2在融合方向上的距离D1和D2,如果D1>D2,则令融合图像中像素点(x,y)的像素值P(x,y)取其在图像1中的像素值,否则令融合图像中像素点(x,y)的像素值P(x,y)取其在图像2中的像素值,如果D(x,y)<d,则计算像素点(x,y)与边界L1和边界L2在融合方向上的距离d1和d2,那么融合图像中像素点(x,y)的像素值P(x,y)按照以下公式计算:
其中,P1(x,y)、P2(x,y)分别为像素点(x,y)在图像1和图像2中的像素值。
可见,根据边界L1和边界L2可以将图像重合区域分为3个区域,边界L1和边界L2之外的两个区域内的像素点不进行融合,边界L1和边界L2里面的区域进行加权融合。图5是图像融合区域示意图。如图5所示,沿水平方向融合时,图像重合区域从左至右分为三个区域,两侧区域(区域1和区域2)的像素点像素值分别来源于对应的图像,中间区域(区域3)的像素值采用加权平均;沿垂直方向融合时,图像重合区域从上至下分为三个区域,上下区域(区域1和区域2)的像素点像素值分别来源于对应的图像,中间区域(区域3)的像素值采用加权平均。
实施例
为了更好地说明本发明的技术效果,采用本发明对具体实例进行实验验证,并且与传统算法进行对比。
首先对本发明的特征点匹配对筛选算法进行对比验证,采用传统的RANSAC(random sample consensus,随机抽样一致)算法作为对比算法。图6是本发明特征点匹配对筛选算法和RANSAC算法的对比图。如图6所示,RANSAC算法筛选出了一部分的正确匹配对,同时特抛弃了一部分正确匹配。而本发明的筛选算法不仅排除掉了初始的特征点匹配对中的误匹配对,并且将大多数的正确匹配对按所属平面筛选出。
为了验证本发明图像拼接方法的有效性,先对一系列在不同视点拍摄的存在视差的图像进行了实验。图7是多个视点的拍摄图像。如图7所示,本实施例中共有5个视点的图像,以视点2为基准,视点1为视点2向左平移约1m,视点3、4、5分别为视点2向右平移约1m、2m、3m。由于所拍场景为非平面场景,各图像也是在不同视点拍摄,因此得到的图像之间存在一定视差。
接下来分别把视点1、3、4、5图像和视点2图像进行了拼接。图8是图7中视点1与视点2图像拼接结果。图9是图7中视点3与视点2图像拼接结果。图10是图7中视点4与视点2图像拼接结果。图11是图7中视点5与视点2图像拼接结果。从图8至图11可以看出,拼接结果都不存在虚影和物体错切的现象,可以得到良好的拼接结果,证明了本发明的图像拼接方法具有一定的视差鲁棒性。
Mathew Brown等人提出的经典拼接算法Autostitch中,采用SIFT算法检测特征点,然后采用RANSAC算法筛选特征点匹配对,计算变换矩阵,最后采用多频段融合算法对重合区域进行融合,得到拼接结果。Julio Zaragoza等人针对自由拍摄的图像,提出APAP(As-Project-as-Possible)算法,计算图像之间的仿射变换矩阵,并对局部的仿射矩阵进行微调,以此来提高拼接的质量。在此将将本发明图像拼接算法与Autostich算法和APAP算法对三个实例的拼接结果进行了对比。
图12是拼接实例1所采用的图像。图13是本发明、Autostitch算法和APAP算法对实例1的拼接结果对比图。如图13所示,对三种方法对实例1所示图像的拼接结果中拼接处方框内的部分进行局部放大。由局部放大可以看出,Autostitch算法和APAP算法在拼接处都存在物体错切或虚影的地方,而本发明的接拼接结果则不存在这些问题,表现良好。
图14是拼接实例2所采用的图像。图15是本发明、Autostitch算法和APAP算法对实例2的拼接结果对比图。如图15所示,对三种方法对实例2所示图像的拼接结果中拼接处方框内的部分进行局部放大。由局部放大可以看出,Autostitch算法的拼接结果中方框内的汽车被虚化,APAP算法的拼接结果中有较为明显的拼接线,方框区域内的汽车存在严重虚影。而本发明的接拼接结果则不存在这些问题,表现良好。
图16是拼接实例3所采用的图像。图17是本发明、RANSAC算法和APAP算法对实例3拼接结果对比图。如图17所示,对三种方法对实例3所示图像的拼接结果中拼接处方框内的部分进行局部放大。由局部放大可以看出,Autostitch算法和APAP算法在拼接处都存在物体错切或虚影的地方,而本发明的接拼接结果则不存在这些问题,表现良好。
根据以上三个实例的对比可以看出,本发明可以有效避免虚影、物体错切等,能够达到良好的图像拼接效果。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于特征点平面相似度的图像拼接方法,其特征在于,包括以下步骤:
S1:对待拼接的两幅图像分别进行特征点提取;
S2:对两幅待拼接图像的特征点进行匹配,得到特征点匹配对集φ;
S3:基于平面相似度对特征点匹配对进行筛选,具体步骤包括:
S3.1:初始化选择匹配对集S为空集;
S3.2:从匹配对集φ中随机选取K个最小采样集{C1,C2,...,CK},其中每个最小采样集包括4个特征点匹配对;计算每个最小采样集对应的单应矩阵,得到K个单应矩阵集{T1,T2,…,TK},其中Tk表示第k个最小采样集对应的单应矩阵,k=1,2,…,K;
S3.3:计算匹配对集φ中每个匹配对Xi与单应矩阵集{T1,T2,…,TK}中每个单应矩阵的残差,每个匹配对Xi对应的K个残差组成一个残差向量di=[di1di2...diK],其中dik表示匹配对Xi与单应矩阵Tk的残差;
S3.4:对于匹配对集φ中所有匹配对,两两计算平面相似度,任意两个匹配对Xi和Xj的平面相似度f(Xi,Xj)的计算公式为:
其中,的定义为
dik表示匹配对Xi与单应矩阵Tk的残差,djk为匹配对Xj与单应矩阵Tk的残差,ε为预设的残差阈值;
S3.5:计算匹配对集φ中的每个匹配对Xi与其他所有匹配对的平面相似度f(Xi,Xj)之和F(Xi),选择F(Xi)最大的匹配对Xi′作为本次筛选的关键匹配对,计算匹配对Xi′与其他匹配对平面相似度f(Xi′,Xj)的平均值favg,筛选f(Xi′,Xj)>favg的匹配对,与关键匹配对Xi′一起构成匹配对集S′,将匹配对集S′加入选择匹配对集S中,并从匹配对集φ中删除这些匹配对;
S3.6:如果|S′|<τ||φ<τ,其中|S′|表示本次筛选匹配对集S′中匹配对数量,|φ|表示匹配对集φ中匹配对数量,τ表示预设数量阈值,结束筛选,否则返回步骤S3.2;
S4:根据步骤S3筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的变换矩阵H,利用变换矩阵H将两幅待拼接图像变换至同一坐标系;
S5:在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L;
S6:根据步骤S5得到的最优缝合线L对变换到同一坐标系下的两幅待拼接图像进行融合,得到图像拼接结果。
2.根据权利要求1所述的图像拼接方法,其特征在于,所述步骤S1中特征点提取的特征采用SURF特征。
3.根据权利要求1所述的图像拼接方法,其特征在于,所述步骤S3.4中残差阈值ε的取值范围为3≤ε≤8。
4.根据权利要求1所述的图像拼接方法,其特征在于,所述步骤S5中寻找最优缝合线L采用基于graph-cut的最优缝合线算法。
5.根据权利要求1所述的图像拼接方法,其特征在于,所述步骤S6中图像融合的具体方法为:
记变换到同一坐标系下的两幅待拼接图像为图像1和图像2,其中心点分别为C1和C2,计算C1和C2与水平线较小夹角θ的余切值tanθ,如果tanθ小于1,以水平方向为融合方向,将最优缝合线L沿水平方向分别向两侧平移d,得到两条边界,将与C1的水平距离小于最优缝合线L与C1水平距离的边界记为L1,将与C2的水平距离小于最优缝合线L与C2水平距离的边界记为L2;若tanθ大于1,以垂直方向为融合方向,将最优缝合线L沿垂直方向分别向两侧平移d,得到两条边界,将与C1的垂直距离小于最优缝合线L与C1的垂直距离的边界记为L1,将与C2的垂直距离小于最优缝合线L与C2的垂直距离的边界记为L2;
遍历两幅待拼接图像的每个像素点(x,y),如果像素点不属于图像重合区域,则融合图像中该像素点的像素值采用对应图像中的像素值,否则按照以下方法进行融合:
计算该像素点(x,y)与最优缝合线L在融合方向上的距离D(x,y),如果D(x,y)≥d,则计算像素点(x,y)与中心点C1和C2在融合方向上的距离D1和D2,如果D1>D2,则令融合图像中像素点(x,y)的像素值P(x,y)取其在图像1中的像素值,否则令融合图像中像素点(x,y)的像素值P(x,y)取其在图像2中的像素值,如果D(x,y)<d,则计算像素点(x,y)与边界L1和边界L2在融合方向上的距离d1和d2,那么融合图像中像素点(x,y)的像素值P(x,y)按照以下公式计算:
其中,P1(x,y)、P2(x,y)分别为像素点(x,y)在图像1和图像2中的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288662.2A CN105957007B (zh) | 2016-05-05 | 2016-05-05 | 基于特征点平面相似度的图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288662.2A CN105957007B (zh) | 2016-05-05 | 2016-05-05 | 基于特征点平面相似度的图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105957007A CN105957007A (zh) | 2016-09-21 |
CN105957007B true CN105957007B (zh) | 2018-12-18 |
Family
ID=56913878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610288662.2A Expired - Fee Related CN105957007B (zh) | 2016-05-05 | 2016-05-05 | 基于特征点平面相似度的图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105957007B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991690B (zh) * | 2017-04-01 | 2019-08-20 | 电子科技大学 | 一种基于运动目标时序信息的视频序列同步方法 |
CN107093166B (zh) * | 2017-04-01 | 2019-07-05 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
CN107154022B (zh) * | 2017-05-10 | 2019-08-27 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
CN107644411A (zh) * | 2017-09-19 | 2018-01-30 | 武汉中旗生物医疗电子有限公司 | 超声宽景成像方法及装置 |
CN108093221B (zh) * | 2017-12-27 | 2020-09-25 | 南京大学 | 一种基于缝合线的实时视频拼接方法 |
CN111869198B (zh) * | 2018-03-15 | 2021-12-14 | 株式会社村上开明堂 | 合成影像制作装置、合成影像制作方法以及记录介质 |
CN108537782B (zh) * | 2018-04-02 | 2021-08-31 | 东北大学 | 一种基于轮廓提取的建筑物图像匹配与融合的方法 |
CN108648146A (zh) * | 2018-05-08 | 2018-10-12 | 南京齿贝犀科技有限公司 | 基于局部优化算法的牙齿舌腭侧全景图像拼接方法 |
CN108965742B (zh) | 2018-08-14 | 2021-01-22 | 京东方科技集团股份有限公司 | 异形屏显示方法、装置、电子设备及计算机可读存储介质 |
CN109342439B (zh) * | 2018-10-22 | 2021-05-25 | 湖南拓达结构监测技术有限公司 | 基于无人机的索结构外观检测方法 |
CN109741240A (zh) * | 2018-12-25 | 2019-05-10 | 常熟理工学院 | 一种基于层次聚类的多平面图像拼接方法 |
CN109934858B (zh) * | 2019-03-13 | 2021-06-22 | 北京旷视科技有限公司 | 图像配准方法及装置 |
CN110223235B (zh) * | 2019-06-14 | 2023-08-08 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
CN110349086B (zh) * | 2019-07-03 | 2023-01-24 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
CN110458757B (zh) * | 2019-07-15 | 2023-03-31 | 中国计量大学 | 一种阈值自适应的特征点匹配图像拼接方法 |
CN110555803B (zh) * | 2019-09-12 | 2023-08-08 | 福建云造科技有限公司 | 印刷中的图案是否可拼接的判断方法及图案拼接方法 |
CN110838086B (zh) * | 2019-11-07 | 2021-07-16 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
CN110782424B (zh) * | 2019-11-08 | 2021-02-09 | 重庆紫光华山智安科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
CN111047510B (zh) * | 2019-12-17 | 2023-02-14 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
CN111242848B (zh) * | 2020-01-14 | 2022-03-04 | 武汉大学 | 基于区域特征配准的双目相机图像缝合线拼接方法及系统 |
CN112419160B (zh) * | 2020-12-14 | 2023-04-07 | 中国人民解放军空军航空大学 | 基于特征优化及最优拼接缝的航空遥感图像拼接方法 |
CN112907452A (zh) * | 2021-04-09 | 2021-06-04 | 长春理工大学 | 一种用于图像拼接的最佳缝合线搜寻方法 |
CN116452647B (zh) * | 2023-06-15 | 2023-12-08 | 广州安特激光技术有限公司 | 一种基于匹配追踪的动态图像配准方法、系统及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6694064B1 (en) * | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8228836B2 (en) * | 2008-06-05 | 2012-07-24 | Polytechnic Institute Of New York University | Cooperative MAC for rate adaptive randomized distributed space-time coding |
-
2016
- 2016-05-05 CN CN201610288662.2A patent/CN105957007B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6694064B1 (en) * | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
Non-Patent Citations (2)
Title |
---|
A new image projection method for panoramic image stitching;Beom Su Kim, et al.;《2010 IEEE International Workshop on Multimedia Signal Processing》;20101231;第128-132页 * |
基于实时自动拼接技术的医学图像处理系统研究;徐艳,等;《电脑知识与技术》;20150930;第11卷(第27期);第135-138页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105957007A (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
CN104699842B (zh) | 图片展示方法和装置 | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CA3019163C (en) | Generating intermediate views using optical flow | |
CN108475433B (zh) | 用于大规模确定rgbd相机姿势的方法和系统 | |
CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN106683071B (zh) | 图像的拼接方法和装置 | |
CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
Mistry et al. | Image stitching using Harris feature detection | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
TWI587241B (zh) | Method, device and system for generating two - dimensional floor plan | |
US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
CN102903101B (zh) | 使用多台相机进行水面数据采集与重建的方法 | |
CN110288511A (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
CN108093188B (zh) | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 | |
Kehl et al. | Automatic illumination‐invariant image‐to‐geometry registration in outdoor environments | |
CN104992433B (zh) | 基于线段匹配的多光谱图像配准的方法及装置 | |
Liu et al. | Match selection and refinement for highly accurate two-view structure from motion | |
Fu et al. | Image stitching techniques applied to plane or 3-D models: a review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181218 Termination date: 20210505 |