CN103700082B - 基于对偶四元数相对定向的图像拼接方法 - Google Patents
基于对偶四元数相对定向的图像拼接方法 Download PDFInfo
- Publication number
- CN103700082B CN103700082B CN201310715018.5A CN201310715018A CN103700082B CN 103700082 B CN103700082 B CN 103700082B CN 201310715018 A CN201310715018 A CN 201310715018A CN 103700082 B CN103700082 B CN 103700082B
- Authority
- CN
- China
- Prior art keywords
- image
- relative orientation
- dual quaterion
- adjacent image
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于对偶四元数相对定向的图像拼接方法。本发明方法包括:步骤A:提取相邻图像的特征点;步骤B:搜索相邻图像间的同名像点;步骤C:利用同名像点进行对偶四元数相对定向,求解相邻图像间的相对定向元素;步骤D:利用求解的相对定向元素计算相邻图像间的坐标变换关系;步骤E:利用相邻图像间的坐标变换关系相邻图像的重采样和拼接。本发明利用相对定向方法解算图像间变换关系,考虑到了成像时的几何关系,采用对偶四元数法对相对定向模型中的几何关系进行描述,由于对偶四元数可以同时考虑坐标系的旋转和平移,在求解相对定向元素时避免了复杂的三角函数运算,保证精度的同时减少了迭代次数,在解算速度和精度上都有所提升。
Description
技术领域
本发明涉及一种图像拼接方法,尤其涉及一种基于对偶四元数相对定向的图像拼接方法,属于测绘技术和图像处理相结合的技术领域。
背景技术
图像拼接技术是指将两幅以上具有一定重叠区域的图像进行匹配对准,经重采样后形成一幅包含各图像序列信息和宽视角场景的完整图像。图像拼接已经成为计算机图形学的研究焦点,并被广泛应用于遥感图像处理、空间探测、医学图像分析、虚拟现实技术、视频压缩和传输、超分辨率重构等领域。
图像拼接的方法有很多种,例如,基于频域的方法和基于时域的方法。通过对比分析可以发现基于频域的方法计算速度较快,适用于具有较小平移量、旋转及尺度缩放的匹配拼接,但在两幅图像中重叠区域较小的情况下拼接结果较差。基于时域的方法又可分为基于区域灰度的方法和基于特征的方法。基于区域灰度的方法是以一幅图像重叠区域中的一块作为模板,在另一幅图像中搜索与此模板灰度相关值最相似的匹配块,这种算法精度较高,但计算量过大,且不能解决图像旋转和缩放后的图像匹配问题。基于特征的方法首先找出两幅图像中的明显特征点,并确定图像间特征点的对应关系,然后利用这种对应关系找到两幅图像间的变换关系。这一类方法不直接利用图像的灰度信息,因而对光线变化不敏感,其健壮性和鲁棒性都很强,如当今流行的SIFT特征提取算法,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性,但它对特征点对应关系的精确程度依赖很大并且计算量大,运算复杂。继而也有一系列的基于特征的优化算法被提出,如基于边缘分类信息的图像拼接方法、基于角点匹配的快速图像拼接方法等,使得图像拼接的质量和速度得到了很好的改善,但是上述的图像拼接方法大都是从如何提高匹配点精度以及运算速度的角度出发,来使得图像拼接算法不断得到优化。它们在建立相邻两张图像的几何关系时都是简单的线性变换或仿射变换模型,均未考虑摄影时相机成像的几何关系,由此带来的图像恢复和拼接的失真度仍未得到有效降解。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种具有更高精度的基于对偶四元数相对定向的图像拼接方法。
基于对偶四元数相对定向的图像拼接方法,包括以下步骤:
步骤A:提取相邻图像的特征点;
步骤B:搜索相邻图像间的同名像点;
步骤C:利用同名像点进行对偶四元数相对定向,求解相邻图像间的相对定向元素;
步骤D:利用求解的相对定向元素计算相邻图像间的坐标变换关系;
步骤E:利用相邻图像间的坐标变换关系相邻图像的重采样和拼接。
优选地,所述步骤C具体包括以下步骤:
步骤C1、选取至少6对同名像点,并获取其坐标(x1i,y1i)和(x2i,y2i),i=1,2,3...n,n为大于等于6的整数;
步骤C2、建立相对定向数学模型:
用对偶四元数表示左、右影像相对定向的几何关系;每一对同名像点,都满足以下共面条件方程:
BX,BY,BZ为相邻图像中右片相对于左片的的平移量;
X1i、Y1i、Z1i和X2i、Y2i、Z2i分别为同名点在左片和右片的像空间辅助坐标;
其中f为相机焦距;
步骤C3、确定对偶四元数初始值:
根据以下对偶四元数约束条件和设定条件Bx=c:
获取对偶四元数初始值,其中c为同名像点左右视差的平均值;
步骤C4、计算基线分量、旋转矩阵和像点的像空间辅助坐标;
步骤C5、逐点建立误差方程式并法化:
对所观测的n对同名像点,可列出n个误差方程式,写为矩阵的形式:
V=AX-Q(6)式中,
V=[v1,v2,…vn]T,A=[A1,A2,…An]T,Q=[Q1,Q2,…Qn]T
X=[dq0dqxdqydqzdr0drxdrydrz]T,d为微分运算;
Qi=N1iY1i-N2iY2i-BY作为观测值,其几何意义为相对定向时模型的上下视差,每个同名点上的Q值是否为零或者小于某一个限值,作为判断相对定向是否完成的标准;vi为观测值Qi的改正数;
N1为像点(x1i,y1i)在左像空间辅助坐标系中的点投影系数,N2为像点(x2i,y2i)在右像空间辅助坐标系中的点投影系数;
结合式(5),并将其写为矩阵形式:
CX+W=0(7)
建立法方程:
步骤C6、解法方程,更新对偶四元数:
Y=N-1WY(9)
其中:
当求解得到的X=[dq0dqxdqydqzdr0drxdrydrz]T小于设定阈值时计算结束;否则返回步骤C4,以新的对偶四元数为初始值进行迭代解算。
本发明利用相对定向方法解算图像间变换关系,考虑到了成像时的几何关系,采用对偶四元数法对相对定向模型中的几何关系进行描述,由于对偶四元数可以同时考虑坐标系的旋转和平移,在求解相对定向元素时避免了复杂的三角函数运算,保证了精度的同时减少了迭代次数,因此本发明方法相比现有技术在解算速度和精度上都能有所提升。
附图说明
图1为本发明图像拼接方法的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明基于对偶四元数相对定向的图像拼接方法,如图1所示,具体包括以下步骤:
步骤A:提取相邻图像的特征点。
本发明可采用现有各种图像特征提取方法,例如常用的SHIFT特征、Harris特征等,本发明优选采用forstner特征点,用forstner算子进行特征提取,通过计算各像素的Robert’s梯度和以像素为中心的一个窗口的灰度协方差矩阵,在图像中寻找误差椭圆尽可能小的接近圆的点作为特征点。forstner特征点的提取方法为现有技术,详细内容可参考文献(Forstner W.E.Gulch.A fast operator for detection and precise location of distinct points,corners and centers of circular features.Intercommission Workshop on Fast Processing ofPhotogrametric Data.1987)。
步骤B:搜索相邻图像间的同名像点。
相邻图像间同名像点的匹配可采用现有的各种匹配方法,例如(烦请给出几种可用的现有方法)等。本实施例中按照以下方法:对于相邻图像,以其中一幅图像中的特征点(例如左图像)为基准,取以该特征点为中心的搜索窗口,在另一幅图像(右图像)中通过比较和作为基准的图像中相同大小窗口的相关系数,取其中相关系数最大的窗口所对应的窗口中心点作为所述特征点的同名像点。
步骤C:利用同名像点进行对偶四元数相对定向,求解相邻图像间的相对定向元素;具体包括以下子步骤:
步骤C1、选取至少6对同名像点,并获取其坐标(x1i,y1i)和(x2i,y2i),i=1,2,3...n,n为大于等于6的整数。
步骤C2,建立相对定向数学模型。
用对偶四元数表示左右影像相对定向的几何关系。对于每一对同名像点,都满足以下共面条件方程:
BX,BY,BZ为相邻图像中右片相对于左片的的平移量;
X1i、Y1i、Z1i和X2i、Y2i、Z2i分别为同名点在左片和右片的像空间辅助坐标;
步骤C3,确定对偶四元数初始值。
根据以下对偶四元数约束条件和设定条件Bx=c:
获取初始值,本实施例中取q0=1,rx=c/2,qx,qy,qz,r0,ry,rz均为0,c为同名像点左右视差的平均值。
步骤C4,计算基线分量、旋转矩阵和像点的像空间辅助坐标。
按照式(2)计算基线分量By、Bz。
按照式(4)计算旋转矩阵。
按照式(3)和式(4)计算每一像点的像空间辅助坐标。
步骤C5,逐点建立误差方程式并法化。
相对定向至少需要5对同名像点的像点坐标,当观测了6对以上同名像点时,就可按最小二乘的原理求解。设观测n对同名像点时,可列出n个误差方程式,写为矩阵的形式:
V=AX-Q(6)式中,
V=[v1,v2,…vn]T,A=[A1,A2,…An]T,Q=[Q1,Q2,…Qn]T
X=[dq0dqxdqydqzdr0drxdrydrz]T,d为微分运算。
Qi=N1iY1i-N2iY2i-BY作为观测值,其几何意义为相对定向时模型的上下视差,每个同名点上的Q值是否为零或者小于某一个限值,作为判断相对定向是否完成的标准。vi为观测值Qi的改正数。
N1为像点(x1i,y1i)在左像空间辅助坐标系中的点投影系数,N2为像点(x2i,y2i)在右像空间辅助坐标系中的点投影系数。
结合式(5),并将其写为矩阵形式:
CX+W=0(7)
建立法方程:
步骤C6,解法方程,更新对偶四元数。
Y=N-1WY(9)
其中:
当求解得到的X=[dq0dqxdqydqzdr0drxdrydrz]T小于设定阈值(一般取10-6)时计算结束;否则返回步骤C4,以新的对偶四元数为初始值进行迭代解算。
步骤D:利用求解的相对定向元素计算相邻图像间的坐标变换关系。
根据式(3)和式(4),可以将右图像像点变换到右图像像空间辅助辅助系下,再平移(Bx,By,Bz)变换到左图像的像空间辅助坐标系下,如此可以得到同名像点的空间对应关系,如下:
步骤E:利用相邻图像间的坐标变换关系实现相邻图像的重采样和拼接。
按照坐标变换关系式(10)对右图像进行变换,并采用最近邻内插方法估计非整数坐标处的图像值,从而实现对相邻图像的拼接。
为了验证本发明效果,首先将本发明所使用的对偶四元数相对定向方法与传统欧拉角相对定向法进行了比较。两者的比较结果如表1、表2所示,其中表1为两种方法的相对定向的解算结果,表2为两种方法的解算精度,表中,方法1为传统欧拉角相对定向法,方法2为采用对偶四元数相对定向法。由表1、表2可见,由于对偶四元数可以同时考虑坐标系的旋转和平移,在求解相对定向元素时避免了复杂的三角函数运算,保证了精度的同时减少了迭代次数,因此采用对偶四元数的方法在解算速度和精度上都优于传统欧拉角法。
表1相对定向元素解算结果
表2相对定向精度
针对某地区航向重叠度为70%以上,航高700m,相机焦距50mm,像元大小6.4μm的无人机影像数据,利用本发明方法对该地区的序列图像进行图像拼接。由拼接后的图像可以看出,该方法拼接道路以及边界线等区域衔接准确无误,由于考虑了摄影时成像的几何关系,相邻图像间无错位拼接,拼接效果良好。
Claims (3)
1.基于对偶四元数相对定向的图像拼接方法,其特征在于,包括以下步骤:
步骤A:提取相邻图像的特征点;
步骤B:搜索相邻图像间的同名像点;
步骤C:利用同名像点进行对偶四元数相对定向,求解相邻图像间的相对定向元素;
步骤D:利用求解的相对定向元素计算相邻图像间的坐标变换关系;
步骤E:利用相邻图像间的坐标变换关系实现相邻图像的重采样和拼接;
所述步骤C具体包括以下步骤:
步骤C1、选取至少6对同名像点,并获取其坐标(x1i,y1i)和(x2i,y2i),i=1,2,3...n,n为大于等于6的整数;
步骤C2、建立相对定向数学模型:
用对偶四元数表示左、右影像相对定向的几何关系;每一对同名像点,都满足以下共面条件方程:
BX,BY,BZ为相邻图像中右片相对于左片的平移量;
X1i、Y1i、Z1i和X2i、Y2i、Z2i分别为同名点在左片和右片的像空间辅助坐标;
其中f为相机焦距;
步骤C3、确定对偶四元数初始值:
根据以下对偶四元数约束条件和设定条件Bx=c:
获取对偶四元数初始值,其中c为同名像点左右视差的平均值;
步骤C4、计算基线分量、旋转矩阵和像点的像空间辅助坐标;
步骤C5、逐点建立误差方程式并法化:
对所观测的n对同名像点,可列出n个误差方程式,写为矩阵的形式:
V=AX-Q (6)
式中,
V=[v1,v2,…vn]T,A=[A1,A2,…An]T,Q=[Q1,Q2,…Qn]T
X=[dq0 dqx dqy dqz dr0 drx dry drz]T,d为微分运算;
Qi=N1iY1i-N2iY2i-BY作为观测值,其几何意义为相对定向时模型的上下视差,每个同名点上的Q值是否为零或者小于某一个限值,作为判断相对定向是否完成的标准;vi为观测值Qi的改正数;
N1i为像点(x1i,y1i)在左像空间辅助坐标系中的点投影系数,N2i为像点(x2i,y2i)在右像空间辅助坐标系中的点投影系数;
结合式(5),并将其写为矩阵形式:
CX+W=0 (7)
建立法方程:
步骤C6、解法方程,更新对偶四元数:
Y=N-1WY (9)
其中:
当求解得到的X=[dq0 dqx dqy dqz dr0 drx dry drz]T小于设定阈值时计算结束;否则返回步骤C4,以新的对偶四元数为初始值进行迭代解算。
2.如权利要求1所述基于对偶四元数相对定向的图像拼接方法,其特征在于,所提取的相邻图像的特征点为forstner特征点。
3.如权利要求2所述基于对偶四元数相对定向的图像拼接方法,其特征在于,所述搜索相邻图像间的同名像点,具体按照以下方法:对于相邻图像,以其中一幅图像中的特征点为基准,取以该特征点为中心的搜索窗口,在另一幅图像中通过比较和作为基准的图像中相同大小窗口的相关系数,取其中相关系数最大的窗口所对应的窗口中心点作为所述特征点的同名像点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310715018.5A CN103700082B (zh) | 2013-12-23 | 2013-12-23 | 基于对偶四元数相对定向的图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310715018.5A CN103700082B (zh) | 2013-12-23 | 2013-12-23 | 基于对偶四元数相对定向的图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103700082A CN103700082A (zh) | 2014-04-02 |
CN103700082B true CN103700082B (zh) | 2016-09-07 |
Family
ID=50361601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310715018.5A Active CN103700082B (zh) | 2013-12-23 | 2013-12-23 | 基于对偶四元数相对定向的图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103700082B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899918B (zh) * | 2015-05-14 | 2018-02-27 | 深圳大学 | 一种无人机的三维环境建模方法及系统 |
CN106384367B (zh) * | 2016-08-26 | 2019-06-14 | 深圳拍乐科技有限公司 | 一种全景相机的自动稳定视角的方法 |
CN106875374B (zh) * | 2016-12-21 | 2020-06-09 | 北京空间机电研究所 | 一种基于线特征的弱连接影像拼接方法 |
CN106767797B (zh) * | 2017-03-23 | 2020-03-17 | 南京航空航天大学 | 一种基于对偶四元数的惯性/gps组合导航方法 |
CN107330862B (zh) * | 2017-06-30 | 2020-07-07 | 广州幻境科技有限公司 | 基于四元数的两个独立系统坐标系之间的转换方法 |
CN108364256A (zh) * | 2018-01-23 | 2018-08-03 | 中山大学 | 一种基于四元数小波变换的图像拼接检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101799293A (zh) * | 2010-03-05 | 2010-08-11 | 武汉大学 | 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法 |
CN103217145A (zh) * | 2013-03-27 | 2013-07-24 | 南京航空航天大学 | 一种火星dem制作和航带法空中三角测量方法 |
-
2013
- 2013-12-23 CN CN201310715018.5A patent/CN103700082B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101799293A (zh) * | 2010-03-05 | 2010-08-11 | 武汉大学 | 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法 |
CN103217145A (zh) * | 2013-03-27 | 2013-07-24 | 南京航空航天大学 | 一种火星dem制作和航带法空中三角测量方法 |
Non-Patent Citations (3)
Title |
---|
A Fast Operator for Detection and Precise Location of Distinct Points, Corners and Centres of Circular Features;W. Forstner, et al.;《ISPRS Intercommission Workshop》;19870630;第1-25页 * |
利用单位对偶四元数进行航空影像区域网平差解算;龚辉 等;《武汉大学学报·信息科学版》;20120229;第37卷(第2期);第154-159页 * |
对偶四元数线阵遥感影像几何定位;盛庆红 等;《中国图象图形学报》;20121031;第17卷(第10期);第1319-1326页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103700082A (zh) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
US10798359B2 (en) | Generating hi-res dewarped book images | |
CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
CN102006425B (zh) | 一种基于多摄像机的视频实时拼接方法 | |
CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
CN105957007A (zh) | 基于特征点平面相似度的图像拼接方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
US20120127171A1 (en) | Techniques for rapid stereo reconstruction from images | |
CN104850850A (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN102074015A (zh) | 一种基于二维图像序列的目标对象的三维重建方法 | |
CN103593832A (zh) | 一种基于高斯二阶差分特征检测算子的图像拼接方法 | |
CN101488224B (zh) | 基于相关性度量的特征点匹配方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN105719352A (zh) | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 | |
CN101794459A (zh) | 一种立体视觉影像与三维虚拟物体的无缝融合方法 | |
CN110120013A (zh) | 一种点云拼接方法及装置 | |
CN110544202A (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
CN102073997B (zh) | 小型文档图像透视复原方法 | |
CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
Tang et al. | Content-based 3-D mosaics for representing videos of dynamic urban scenes | |
Cai et al. | Improving CNN-based planar object detection with geometric prior knowledge | |
CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 | |
CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
CN103617616A (zh) | 一种仿射不变的图像匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230411 Address after: Room 201, Room 101, Building 1, No. 18, Daoyuan Road, High-tech Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: SUZHOU ZHONGKETIANQI REMOTE SENSING TECHNOLOGY CO.,LTD. Address before: Yudaojie Nanjing 210016 Jiangsu province No. 29 Patentee before: Nanjing University of Aeronautics and Astronautics |