CN103411589A - 一种基于四维实数矩阵的三维图像匹配导航方法 - Google Patents

一种基于四维实数矩阵的三维图像匹配导航方法 Download PDF

Info

Publication number
CN103411589A
CN103411589A CN2013103213946A CN201310321394A CN103411589A CN 103411589 A CN103411589 A CN 103411589A CN 2013103213946 A CN2013103213946 A CN 2013103213946A CN 201310321394 A CN201310321394 A CN 201310321394A CN 103411589 A CN103411589 A CN 103411589A
Authority
CN
China
Prior art keywords
alpha
cos
aircraft
sin
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103213946A
Other languages
English (en)
Other versions
CN103411589B (zh
Inventor
冷雪飞
王碧辉
王惠南
高有涛
王亮
吴松森
毛星云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201310321394.6A priority Critical patent/CN103411589B/zh
Publication of CN103411589A publication Critical patent/CN103411589A/zh
Application granted granted Critical
Publication of CN103411589B publication Critical patent/CN103411589B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于四维实数矩阵的三维图像匹配导航方法,该方法通过飞行器实时采集三维实测图,并与预先存储的三维参考图基于四维实数矩阵进行图像匹配;根据图像匹配结果计算飞行器的空间螺旋位移四维矩阵的元素值,并利用飞行器的空间螺旋位移四维矩阵与飞行器的连续空间螺旋位移四维实数变换矩阵的元素一一对应关系,计算飞行器的位置与姿态变化,确定导航参数。运用该方法导航,其计算的精度高,能够达到亚像素级精度,并且算法简单,实时性好。

Description

一种基于四维实数矩阵的三维图像匹配导航方法
技术领域
本发明涉及一种精确图像匹配导航技术,尤其是一种基于四维实数矩阵的精确三维图像匹配导航方法。
背景技术
图像匹配最早是美国在上世纪70年代从事飞行器辅助导航系统、武器投射系统的末制导等应用研究中提出的。经过几十年的发展,图像匹配技术已经成为现代信息处理领域中一项极为重要的技术,在自动导航、计算机视觉、图像三维重构、遥感图像处理等领域有着广泛而实际的应用。
传统的基于图像匹配的辅助导航方法是通过传感器实时获取平面二维图像与飞行器存储的图像数据库进行匹配,在图像匹配成功基础上,得出飞行器的位置信息,推算出飞行器相对航向角、高度变化等信息。
由于用于图像匹配的实测图和数字地图直接有着不同程度的旋转和尺度变化,而且这两种图像之间的匹配为非相似性匹配,因此匹配算法的精确性成为提高导航效能的关键;同时,飞行器是一种刚体,在空间具有6个自由度,分别用三个自由度表示平移和旋转,当飞行器同时存在6个自由度的变化时,一般的图像匹配方法是针对二维图像的,难以同时克服这些自由度造成的影响。而且大多数图像匹配算法得出的精度是象素级的,这对于粗匹配来说是可以的,但对于要求日益增高的精确导航系统来说,图像匹配的精度太低,对惯导的辅助作用也很小。另一方面,也难以仅仅通过二维图像来精确确定图像之间的平移、旋转等参数变化。因此,传统的基于图像匹配辅助导航方法将无法精确确定飞行器的位置与姿态变化。
发明内容
本发明所要解决的技术问题是:提供一种基于四维实数矩阵的图像匹配导航方法,采用四维实数矩阵方法建立立体三维图像之间的变换关系,对实测三维图像和参考三维图像之间的一一对应点对利用最小二乘算法计算得到飞行器的三个姿态角和平移量,从而精确确定飞行器的位置与姿态变化。
本发明为解决上述技术问题,采用如下技术方案:
一种基于四维实数矩阵的三维图像匹配导航方法,该方法首先通过飞行器实时采集三维实测图,并与预先存储的三维参考图进行图像匹配,获取实测图与参考图之间的所有一一对应点对;在每次采集图像时,将飞行器的理想位置定义为初始位置,将飞行器的当前位置定义为目标位置;还包括如下过程:
飞行器的初始位置用r1表示,目标位置用r1′表示,飞行器由初始位置到目标位置的向量方程表示为:
r1′=Rr1+t  (1)
其中R表示正交实数旋转矩阵,t表示初始位置到目标位置的位移,r1=(x,y,z)T,r1′=(x′,y′,z′)T,令 R = a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 , t=(t1,t2,t3)T
飞行器的初始位置r1在四维空间内表示为r2,目标位置r1′在四维空间内表示为r2′,则飞行器由初始位置到目标位置的向量方程在四维空间内表示为:
r2′=Pr2  (2)
其中P表示空间螺旋位移矩阵,r2=(x,y,z,w)T,r2′=(x′,y′,z′,w′)T,令
P = a 11 a 12 a 13 t 1 a 21 a 22 a 23 t 2 a 31 a 32 a 33 t 3 0 0 0 1 ;
飞行器从初始位置到目标位置的连续空间螺旋位移四维实数变换矩阵表示为:
P ( ψ , S ψ , θ , S θ , γ , S γ ) = cos γ 0 - sin γ 0 0 1 0 S γ sin γ 0 cos γ 0 0 0 0 1 1 0 0 S θ 0 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 cos ψ - sin ψ 0 0 sin ψ cos ψ 0 0 0 0 1 S ψ 0 0 0 1 =
Figure BDA00003582454900024
其中ψ为航向角、Sψ为沿Zb轴的位移、θ为俯仰角、Sθ为沿Xb轴的位移、γ为横滚角、Sγ为沿Yb轴的位移,飞行器的坐标系为OXbYbZb,原点O与飞行器质心重合,Xb轴沿飞行器横轴向右,Yb轴沿飞行器纵轴向前,Zb轴沿飞行器竖轴向上;
令P中元素与P(ψ,Sψ,θ,Sθ,γ,Sγ)中元素对应相等构建方程组,获取飞行器从初始位置到目标位置的姿态角和位移量的计算公式:
Figure BDA00003582454900031
根据图像匹配获取的所有一一对应点对,利用最小二乘法计算P中元素的值,将求得的P中元素的值带入公式(3),得到ψ,Sψ,Sθ,Sγ的值,其中,ψ、θ、γ分别表示航向角ψ、俯仰角θ、横滚角γ的反三角函数的主值;根据航向角ψ、俯仰角θ、横滚角γ的定义域和a13,a21,a22,a23,a33的符号计算航向角ψ,俯仰角θ,横滚角γ的精确值,将ψ,Sψ,θ,Sθ,γ,Sγ作为导航数据。
所述图像匹配的过程如下:
将参考图与实测图的像素点集,分别定义为A={a1,a2,…,am}和B={b1,b2,…,bn},任意选取两组点对
Figure BDA00003582454900032
Figure BDA00003582454900033
其中ai,aj与bp,bq分别为参考图像素点集A与实测图像素点集B中的点,并且ai≠aj,bp≠bq,i∈[1,m]、j∈[1,m]、p∈[1,n]、q∈[1,n],其中m、n为自然数;矢量过坐标原点,并构成平面,则矢量
Figure BDA00003582454900035
到矢量
Figure BDA00003582454900036
的角度为:
α = cos - 1 a i a j → · b p b q → | | a i a j | | → · | | b p b q | | → ;
矢量所构成的平面过坐标原点的法线的法向量为:
n → = a i → a j × b p b q → , 方向向量为: ne → = n → | | n | | → = ( l , m , n , 0 )
其中l,m,n分别为
Figure BDA00003582454900043
与X,Y,Z轴的方向余弦,那么矢量
Figure BDA00003582454900044
以方向向量为
Figure BDA00003582454900045
过坐标原点的法线为旋转轴,绕旋转轴旋转α角度后,与矢量
Figure BDA00003582454900046
方向一致,则该旋转变换用四维矩阵表示为:
P ( α , 0 ) =
l 2 ( 1 - cos α ) + cos α ml ( 1 - cos α ) + n sin α nl ( 1 - cos α ) - m sin α 0 ml ( 1 - cos α ) - n sin α m 2 ( 1 - cos α ) + cos α nm ( 1 - cos α ) + l sin α 0 nl ( 1 - cos α ) + m sin α nm ( 1 - cos α ) - l sin α n 2 ( 1 - cos α ) + cos α 0 0 0 0 1
判断该旋转变换四维矩阵P(α,0)是否为最优相似变换矩阵,及其中一组对应点对是否为一一对应点对;如果P(α,0)是最优相似矩阵,则定义该最优相似矩阵为Pop(α,0),同时该一组对应点对为一一对应点对,记录该一组一一对应点对;否则继续判断;
根据在上述过程中得到的一组一一对应点对和Pop(α,0)计算参考图与实测图之间的所有一一对应点对。
与现有技术相比,本发明具有如下有益效果:
1.本发明采用四维实数矩阵方法描述了飞行器空间位置与姿态的变换关系,通过三维实测图像和三维参考图像的精确匹配算法,计算得到飞行器的位置和姿态变化,因此,本发明构建的数学模型简单。
2.本发明采用最小二乘算法进行三维参考图像与三维实测图像的精确匹配计算,计算的精度能够达到亚像素级,因此本发明采用的方法定位精度高。
3.本发明采用的算法简单,算法的实时性好。
附图说明
图1是飞行器的空间位置和姿态示意图。
图2是飞行器的空间螺旋位移示意图。
图3是飞行器的坐标系定义示意图。
图4是飞行器连续三次空间螺旋位移图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明:
如图1所示,飞行器作为刚体,其在三维空间中具有6个自由度,在图1中用(x0,y0,z0,β,γ,δ)来表示刚体的位置和姿态。
如图2所示,飞行器在三维空间的运动可以表示为包括绕着某一螺旋轴的旋转运动(旋转角度为θ)和沿着螺旋轴方向上的平移运动(位移量为S)。由于空间直线具有4个自由度,即3个自由度描述方向和1个自由度描述直线位置,需要4个参数来描述一条空间直线,再加上螺旋位移运动的旋转角度θ和位移量S,共6个参数来描述飞行器的空间运动是合理的。
如图4所示,由于刚体的空间位移可以表示为旋转和平移的组合,那么假设刚体的初始位置r1=(x,y.z)T和目标位置r1′=(x′,y′,z′)T,刚体由初始位置运动到目标位置的向量方程表示为:
r1′=Rr1+t  (1)
其中R表示旋转的实数正交3×3矩阵, R = a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 , t=(t1,t2,t3)T是表示初始位置r1到目标位置r1′的位移。用坐标系的方法,可以将方程(1)写作:
x ′ = a 11 x + a 12 y + a 13 z + t 1 y ′ = a 21 x + a 22 y + a 23 z + t 2 z ′ = a 31 x + a 32 y + a 33 z + t 3 - - - ( 2 )
针对方程(2),本发明考虑将其扩展成4×4矩阵。在四维空间中采用四维齐次坐标,并且采用4个坐标值之间的3个独立的比值。也就是说,用四维齐次坐标点(X,Y,Z,W)表示三维空间的点(x,y,z),并且有
x = X W , y = Y W , z = Z W - - - ( 3 )
式(3)意味着:
X=λx,Y=λy,Z=λz,W=λ,(λ≠0)  (4)
在实际应用中,通常选择λ=1,用四维空间内线上的点(x,y,z,1)来表示三维空间的点(x,y,z)。在不改变原点的情况下,刚体在三维空间中的螺旋位移表达式(1)可以用四维空间表示为:
r2′=Pr2  (5)
其中r2=(x,y,z,w)T和r2′=(x′,y′,z′,w′)T分别表示四维空间的初始位置和目标位置,P表示从初始位置r2到目标位置r2′的螺旋位移变换矩阵,那么可以将方程(5)用四维空间的点(x,y,z,w)改写为:
x ′ = a 11 x + a 12 y + a 13 z + a 14 w y ′ = a 21 x + a 22 y + a 23 z + a 24 w z ′ = a 31 x + a 32 y + a 33 z + a 34 w w ′ = a 41 x + a 42 y + a 43 z + a 44 w - - - ( 6 )
应用式(3)的关系,将线变换式(6)线性变换为三维空间点(x,y,z),形式如下:
x ′ = a 11 x + a 12 y + a 13 z + a 14 w a 41 x + a 42 y + a 43 z + a 44 w y ′ = a 21 x + a 22 y + a 23 z + a 24 w a 41 x + a 42 y + a 43 z + a 44 w z ′ = a 31 x + a 32 y + a 33 z + a 34 w a 41 x + a 42 y + a 43 z + a 44 w - - - ( 7 )
由于w=λ,λ≠0,并且选取λ=1,那么式(7)可以化简为:
x ′ = a 11 x + a 12 y + a 13 z + a 14 y ′ = a 21 x + a 22 y + a 23 z + a 24 z ′ = a 31 x + a 32 y + a 33 z + a 34 - - - ( 8 )
并且得到a41=a42=a43=0,a44=1,因此方程(8)用四维点(x,y,z,1)表示为:
x ′ y ′ z ′ 1 = a 11 a 12 a 13 a 14 a 21 a 22 a 23 a 24 a 31 a 32 a 33 a 34 0 0 0 1 x y z 1 - - - ( 9 )
通过比较式(2)与式(8),线变换方程与三维空间螺旋位移方程在形式上具有相似性。当式(8)中的系数3×3子矩阵是单位正交矩阵时,该系数3×3子矩阵表示刚体的旋转矩阵,那么,式(9)就表示刚体空间螺旋位移,并且此时有:
a14=t1,a24=t2,a34=t3  (10)
因此,飞行器的空间螺旋位移可以用4×4实数矩阵形式完整表示为:
P = a 11 a 12 a 13 t 1 a 21 a 22 a 23 t 2 a 31 a 32 a 33 t 3 0 0 0 1 - - - ( 11 )
如图3所示,定义飞行器坐标系OXbYbZb,其原点与飞行器质心重合,Xb沿飞行器横轴向右,Yb沿飞行器纵轴向前,Zb沿飞行器竖轴向上。
如图4所示,定义飞行器的姿态角,即航向角、俯仰角和横滚角。
1.定义飞行器绕竖轴Z方向的转动,飞行器的纵轴Y1在水平面上的投影与Y轴正向之间的夹角ψ为航向角,数值以Y轴正向为起点,顺时针方向为正,定义域为
Figure BDA00003582454900074
2.定义飞行器绕横轴X1转动产生的纵轴Y2与纵轴Y1之间的夹角θ为俯仰角,俯仰角以Y1为起点,向上为正,向下为负,定义域为[-90°,90°]。
3.定义载体绕纵轴Y2转动Zb相对于Z2的转角γ为横滚角,从竖轴Z2算起,顺时针为正,逆时针为负,定义域为
Figure BDA00003582454900075
根据飞行器的姿态角定义以及实数4×4矩阵的原理,载体绕竖轴Zb的航向角ψ和沿Zb的位移Sψ的空间螺旋位移矩阵可以表示为PZ(ψ,Sψ):
P Z ( ψ , S ψ ) = cos ψ - sin ψ 0 0 sin ψ cos ψ 0 0 0 0 1 S ψ 0 0 0 1 - - - ( 12 )
载体绕纵轴Yb的横滚角γ和沿Yb的位移Sγ的空间螺旋位移矩阵为PY(γ,Sγ):
P Y ( γ , S γ ) = cos γ 0 - sin γ 0 0 1 0 S γ sin γ 0 cos γ 0 0 0 0 1 - - - ( 13 )
载体绕横轴Xb的俯仰角θ和沿Xb的位移Sθ的空间螺旋位移矩阵为PX(θ,Sθ):
P X ( θ , S θ ) = 1 0 0 S θ 0 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 - - - ( 14 )
再次参阅图4所示,飞行器从初始位置到目标位置的连续空间螺旋位移可以表示为:
P ( ψ , S ψ , θ , S θ , γ , S γ ) = cos γ 0 - sin γ 0 0 1 0 S γ sin γ 0 cos γ 0 0 0 0 1 1 0 0 S θ 0 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 cos ψ - sin ψ 0 0 sin ψ cos ψ 0 0 0 0 1 S ψ 0 0 0 1 = - - - ( 15 )
Figure BDA00003582454900083
公式(15)与公式(11)形式相同,因此,只要计算得到公式(11)的实数矩阵,就可以通过矩阵元素之间的对应关系反解出飞行器的姿态角及位移量。
为了得到公式(11)的四维实数矩阵,本发明采用由飞行器的成像传感器实测立体图像与机载计算机存储的标准参考立体图像进行精确图像匹配,将实测图像与参考图像之间的变换关系转换为飞行器实际飞行状态与预定飞行状态的变换关系。
所述的精确图像匹配算法主要包括如下步骤:
(a)确定实测图与参考图之间的待匹配点集;
(b)确定具有最多匹配点对数目的四维实数矩阵和实测图像与参考图像之间的一组一一对应点对;
(c)在获得了实测图像与参考图像之间的一组一一对应点对和具有最多匹配点对数目的四维实数矩阵基础之上,确定实测图与参考图中所有的一一对应点对;
(d)在获得了所有的一一对应点对基础上,采用最小二乘算法计算最优四维实数变换矩阵。
为了方便描述精确图像匹配算法,首先定义最优四维实数变换矩阵:将立体图像的像素扩充成四维的点
Figure BDA00003582454900084
为三维空间上对应X轴、Y轴和Z轴的坐标,本发明约定,若文中没有特别说明,像素均为四维点),如果两幅图像特征点集合之间的相似变换关系为组合旋转变换R和平移变换t,那么定义两幅立体图像之间的相似变换矩阵为P(R,t),其中 P ( R , t ) = R 3 × 3 t 3 × 1 0 1 × 3 1 1 × 1 , 假设参考图和实测图的点集分别为A={a1,a2,…,am}和B={b1,b2,…,bn},那么通过相似变换,对于特征点集合中的一组对应点则有如下关系:
bp=P(R,t)ai  (16)
表示成矩阵形式为:
x b p y b p z b p 1 = a 11 a 12 a 13 t 1 a 21 a 22 a 23 t 2 a 31 a 32 a 33 t 3 0 0 0 1 x a i y a i z a i 1 - - - ( 17 )
由于获取的实测图像存在噪声,并与参考图像之间像素存在偏差,因此满足上述方程的精确变换矩阵并不存在,如果在某个给定相似变换矩阵P和允许的位置偏差条件||Pa-b||<d下,其中d为条件阈值,点集经过该相似变换矩阵变换后,若点集中的点满足允许的位置偏差条件,并取到两个点集中一一对应点对数目最大值时,此时得到的两幅图像之间的最优相似变换矩阵,该最优相似变换矩阵能最准确反映两幅图像之间的变换关系。
其次定义矢量
Figure BDA00003582454900093
其中ai,aj与bp,bq分别为参考图点集和实测图点集中的点,并且ai≠aj,bp≠bq,并且
Figure BDA00003582454900094
Figure BDA00003582454900095
为两组一一对应点对。那么分别使用变换公式(17)并相减,得到:
x b p - x b q y b p - y b q z b p - z b q 0 = a 11 a 12 a 13 0 a 21 a 22 a 23 0 a 31 a 32 a 33 0 0 0 0 1 x a i - x a j y a i - y a j z a i - z a j 0 - - - ( 18 )
a i a j &RightArrow; = x a i - x a j y a i - y a j z a i - z a j 0 , b p b q &RightArrow; = x b p - x b q y b p - y b q z b p - z b q 0 , 则矢量
Figure BDA000035824549000914
到矢量
Figure BDA000035824549000915
的角度为:
&alpha; = cos - 1 a i a j &RightArrow; &CenterDot; b p b q &RightArrow; | | a i a j | | &RightArrow; &CenterDot; | | b p b q | | &RightArrow; - - - ( 19 )
同时有关系式:
t 1 = x b p - a 11 x a i - a 12 y a i - a 13 z a i t 2 = y b p - a 21 x a i - a 22 y a i - a 23 z a i t 3 = z b p - a 31 x a i - a 32 y a i - a 33 z a i - - - ( 20 )
矢量
Figure BDA00003582454900103
所构成的平面过坐标原点的法线的法向量为:
n &RightArrow; = a i &RightArrow; a j &times; b p b q &RightArrow; - - - ( 21 )
将法向量单位化后的方向向量:
ne &RightArrow; = n &RightArrow; | | n | | &RightArrow; = ( l , m , n , 0 ) - - - ( 22 )
其中l,m,n分别为与X,Y,Z轴的方向余弦,那么矢量
Figure BDA00003582454900107
以方向向量为过坐标原点的直线为旋转轴,绕旋转轴旋转α角度后,与矢量
Figure BDA00003582454900109
方向一致,则该旋转变换可以表示为:
P ( &alpha; , 0 ) =
l 2 ( 1 - cos &alpha; ) + cos &alpha; ml ( 1 - cos &alpha; ) + n sin &alpha; nl ( 1 - cos &alpha; ) - m sin &alpha; 0 ml ( 1 - cos &alpha; ) - n sin &alpha; m 2 ( 1 - cos &alpha; ) + cos &alpha; nm ( 1 - cos &alpha; ) + l sin &alpha; 0 nl ( 1 - cos &alpha; ) + m sin &alpha; nm ( 1 - cos &alpha; ) - l sin &alpha; n 2 ( 1 - cos &alpha; ) + cos &alpha; 0 0 0 0 1 - - - ( 23 )
将公式(18)与公式(23)相比较,可以得到如下关系式:
a 11 &prime; = l 2 ( 1 - cos &alpha; ) + cos &alpha; a 12 &prime; = ml ( 1 - cos &alpha; ) + n sin &alpha; a 13 &prime; = nl ( 1 - cos &alpha; ) - m sin &alpha; a 21 &prime; = ml ( 1 - cos &alpha; ) - n sin &alpha; a 22 &prime; = m 2 ( 1 - cos &alpha; ) + cos &alpha; a 23 &prime; = nm ( 1 - cos &alpha; ) + l sin &alpha; a 31 &prime; = nl ( 1 - cos &alpha; ) + m sin &alpha; a 32 &prime; = nm ( 1 - cos &alpha; ) - l sin &alpha; a 33 &prime; = n 2 ( 1 - cos &alpha; ) + cos &alpha; - - - ( 24 )
由公式(24)可知,系数auv′(u,v=1,2,3)均为分别关于矢量
Figure BDA000035824549001013
到矢量
Figure BDA000035824549001014
的角度α的确定的函数关系式,可以使用系数auv′(u,v=1,2,3)来间接表示公式(20)平移量(t1,t2,t3)与矢量
Figure BDA00003582454900111
到矢量的角度α之间的关系,因此,两组对应点对之间的相似变换关系可以利用矢量之间的相似变换关系加以确定。
假设两个点集A={a1,a2,…,am}和B={b1,b2,…,bn}之间存在k个一一对应点,即
Figure BDA00003582454900113
点集之间的相似变换矩阵为P(R,t),由于相似变换并不改变点集之间的几何对应关系,则对于任意一组对应点对 a i &LeftRightArrow; b i , i = 1,2 , &CenterDot; &CenterDot; &CenterDot; , k , 存在矢量集合 A i = { a i a 1 &RightArrow; , a i a 2 &RightArrow; , &CenterDot; &CenterDot; &CenterDot; , 0 , &CenterDot; &CenterDot; &CenterDot; , a i a k &RightArrow; }
Figure BDA00003582454900116
对应矢量之间的相似变换为P(α,0),由公式(18)、公式(23)可知,R与α之间存在公式(24)的关系。因此,若为一组对应点对时,必可以在点集A和B中确定k-1个其他点,用以构成相对应的矢量对,并且由任意一对矢量所确定的相似变换均为P(α,0)。反之,若确定的点数小于k,则该
Figure BDA00003582454900118
为不相互对应的点对,而且可以知道实际的一一对应点对数应小于或等于k-1,以此类推,可以找到点集最大一一对应点对的个数。定义此时的实数4×4相似变换矩阵为Pop(α,0),利用该相似变换矩阵可以判定给定的一组对应点对是否为点集中的一组一一对应点对。
根据得到的一组一一对应点对和Pop(α,0)计算两幅图像之间所有一一对应点对,采用最小二乘算法计算最优四维实数变换矩阵。
所述的最小二乘算法原理为:假设给定四维空间的两个一一对应点集A={a1,a2,…,an}和B={b1,b2,…,bn},需要找到一个四维实数变换矩阵P(R,t),使得以误差的平方和作为目标函数取得最小值。当目标函数取到最小值时,可以认为点集A和B在该四维实数变换矩阵下达到最大程度的相似。定义目标函数为:
e 2 ( R , t ) = 1 n &Sigma; i = 1 n | | b i - P ( R , t ) a i | | 2 - - - ( 25 )
对于两个一一对应点集中的一组对应点
Figure BDA000035824549001110
根据相似变换关系可得:
bi=P(R,t)ai  (26)
将公式(26)展开成公式(17)的矩阵表示,定义误差向量为:
e i = b i - P ( R , t ) a i = e xi e yi e zi e wi = x b i y b i z b i 1 - a 11 a 12 a 13 t 1 a 21 a 22 a 32 t 2 a 31 a 32 a 33 t 3 0 0 0 1 x a i y a i z a i 1 = x b i - ( a 11 x a i + a 12 y a i + a 13 z a i + t 1 ) y b i - ( a 21 x a i + a 22 y a i + a 23 z a i + t 2 ) z b i - ( a 31 x a i + a 32 y a i + a 33 z a i + t 3 ) 0 - - - ( 27 )
其中 e xi = x b i - ( a 11 x a i + a 12 y a i + a 13 z a i + t 1 ) , e yi = y b i - ( a 21 x a i + a 22 y a i + a 23 z a i + t 2 ) , e zi = z b i - ( a 31 x a i + a 32 y a i + a 33 z a i + t 3 ) , ewi=0。
依次计算两个一一对应点集的每组对应点对的误差向量e1,e2,…,en,根据公式(25)可得:
e 2 = 1 n &Sigma; i = 1 n | | e i | | 2 = 1 n &Sigma; i = 1 n e i T e i = 1 n ( e 1 T e 1 + e 2 T e 2 + &CenterDot; &CenterDot; &CenterDot; + e n T e n ) = 1 n ( &Sigma; i = 1 n e xi 2 + &Sigma; i = 1 n e yi 2 + &Sigma; i = 1 n e zi 2 + &Sigma; i = 1 n e wi 2 ) - - - ( 28 )
令:
e x 2 = 1 n &Sigma; i = 1 n e xi 2 e y 2 = 1 n &Sigma; i = 1 n e yi 2 e z 2 = 1 n &Sigma; i = 1 n e zi 2 e w 2 = 1 n &Sigma; i = 1 n e wi 2 = 0 - - - ( 29 )
为了使得方程(28)的目标函数e2取得最小值,那么,只要对方程(28)的每一项都取得最小值,以
Figure BDA00003582454900124
为例,将其表示为:
e x 2 = e x T e x = 1 n &Sigma; i = 1 n ( x a i y a i z a i 1 a 11 a 12 a 13 t 1 T - x b i ) 2 - - - ( 30 )
C b i = x a i y a i z a i 1 , r x = a 11 a 12 a 13 t 1 T , 则公式(30)表示为:
e x 2 = 1 n &Sigma; i = 1 n ( C a i r x - x b i ) 2 - - - ( 31 )
令:
E x = e x 1 e x 2 &CenterDot; &CenterDot; &CenterDot; e xn = C a 1 C a 2 &CenterDot; &CenterDot; &CenterDot; C a n r x - x b 1 x b 2 &CenterDot; &CenterDot; &CenterDot; x b n = Cr x - a x - - - ( 32 )
其中 C = C a 1 C a 2 &CenterDot; &CenterDot; &CenterDot; C a n T , a x = x b 1 x b 2 &CenterDot; &CenterDot; &CenterDot; x b n T , 从而有
e x 2 = 1 n &Sigma; i = 0 n e xi 2 = 1 n E x T E x = 1 n ( Cr x - a x ) T ( Cr x - a x )
= 1 n ( r x T C T Cr x - a x T Cr x - r x T C T a x + a x T a x ) - - - ( 33 )
= 1 n ( r x T C T Cr x - 2 a x T Cr x + a x T a x )
对公式(33)求
Figure BDA00003582454900138
关于rx的导数,令导数为零,公式表示如下:
d dr x ( e x 2 ) = d dr x ( r x T C T Cr x - 2 a x T Cr x + a x T a x ) = 2 C T Cr x - 2 C T a x = 0 - - - ( 34 )
解得 r x ^ = [ C T C ] - 1 C T a x - - - ( 35 ) 即为使得
Figure BDA000035824549001311
最小的解。
同理对公式(29)的其余两个函数式
Figure BDA000035824549001313
求解得:
r y ^ = [ C T C ] - 1 C T a y r z ^ = [ C T C ] - 1 C T a z - - - ( 36 )
r y = a 21 a 22 a 23 t 2 T a y = y b 1 y b 2 &CenterDot; &CenterDot; &CenterDot; y b n T r z = a 31 a 32 a 33 t 3 T a z = z b 1 z b 2 &CenterDot; &CenterDot; &CenterDot; z b n T - - - ( 37 )
最终通过公式(35)和公式(37)可以确定最优的四维实数矩阵。根据公式(15)以及对航向角、俯仰角和横滚角的定义,可以由精确图像匹配算法获得的四维实数矩阵计算出飞行器相对于参考系的姿态角和位移量:
Figure BDA00003582454900141
其中公式(38)中的下标“主”表示反三角函数的主值,根据图像匹配获取的所有一一对应点对,利用最小二乘法计算P中元素的值,将求得的P中元素的值带入公式(38),得到ψ,Sψ,Sθ,Sγ的值,其中,ψ、θ、γ分别表示航向角ψ、俯仰角θ、横滚角γ的反三角函数的主值;根据航向角ψ、俯仰角θ、横滚角γ的定义域和a13,a21,a22,a23,a33的符号计算航向角ψ,俯仰角θ,横滚角γ的精确值,将ψ,Sψ,θ,Sθ,γ,Sγ作为导航数据。根据姿态角的定义域可知,除俯仰角θ外,航向角ψ和横滚角γ均需进行象限判断,判断方式如表1和表2所示:
表1
a22的符号 a21的符号 ψ角真值 象限
+ + ψ 0°~90°
- + ψ+180° 90°~180°
- - ψ+180° 180°~270°
+ - ψ+360° 270°~360°
表2
a13的符号 a33的符号 γ角真值 象限
+ + γ 0°~90°
+ - γ+180° 90°~180°
- + γ -90°~0°
- - γ-180° -180°~-90°

Claims (2)

1.一种基于四维实数矩阵的三维图像匹配导航方法,该方法首先通过飞行器实时采集三维实测图,并与预先存储的三维参考图进行图像匹配,获取实测图与参考图之间的所有一一对应点对;在每次采集图像时,将飞行器的理想位置定义为初始位置,将飞行器的当前位置定义为目标位置;其特征在于:还包括如下过程:
飞行器的初始位置用r1表示,目标位置用r1′表示,飞行器由初始位置到目标位置的向量方程表示为:
r1′=Rr1+t  (1)
其中R表示正交实数旋转矩阵,t表示初始位置到目标位置的位移,r1=(x,y,z)T,r1′=(x′,y′,z′)T,令 R = a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 , t=(t1,t2,t3)T
飞行器的初始位置r1在四维空间内表示为r2,目标位置r1′在四维空间内表示为r2′,则飞行器由初始位置到目标位置的向量方程在四维空间内表示为:
r2′=Pr2  (2)
其中P表示空间螺旋位移矩阵,r2=(x,y,z,w)T,r2′=(x′,y′,z′,w′)T,令
P = a 11 a 12 a 13 t 1 a 21 a 22 a 23 t 2 a 31 a 32 a 33 t 3 0 0 0 1 ;
飞行器从初始位置到目标位置的连续空间螺旋位移四维实数变换矩阵表示为:
P ( &psi; , S &psi; , &theta; , S &theta; , &gamma; , S &gamma; ) = cos &gamma; 0 - sin &gamma; 0 0 1 0 S &gamma; sin &gamma; 0 cos &gamma; 0 0 0 0 1 1 0 0 S &theta; 0 cos &theta; sin &theta; 0 0 - sin &theta; cos &theta; 0 0 0 0 1 cos &psi; - sin &psi; 0 0 sin &psi; cos &psi; 0 0 0 0 1 S &psi; 0 0 0 1 =
其中ψ为航向角、Sψ为沿Zb轴的位移、θ为俯仰角、Sθ为沿Xb轴的位移、γ为横滚角、Sγ为沿Yb轴的位移,飞行器的坐标系为OXbYbZb,原点O与飞行器质心重合,Xb轴沿飞行器横轴向右,Yb轴沿飞行器纵轴向前,Zb轴沿飞行器竖轴向上;
令P中元素与P(ψ,Sψ,θ,Sθ,γ,Sγ)中元素对应相等构建方程组,获取飞行器从初始位置到目标位置的姿态角和位移量的计算公式:
Figure FDA00003582454800021
根据图像匹配获取的所有一一对应点对,利用最小二乘法计算P中元素的值,将求得的P中元素的值带入公式(3),得到ψ,Sψ,Sθ,Sγ的值,其中,ψ、θ、γ分别表示航向角ψ、俯仰角θ、横滚角γ的反三角函数的主值;根据航向角ψ、俯仰角θ、横滚角γ的定义域和a13,a21,a22,a23,a33的符号计算航向角ψ,俯仰角θ,横滚角γ的精确值,将ψ,Sψ,θ,Sθ,γ,Sγ作为导航数据。
2.根据权利要求1所述的基于四维实数矩阵的三维图像匹配导航方法,其特征在于:所述图像匹配的过程如下:
将参考图与实测图的像素点集,分别定义为A={a1,a2,…,am}和B={b1,b2,…,bn},任意选取两组点对
Figure FDA00003582454800023
其中ai,aj与bp,bq分别为参考图像素点集A与实测图像素点集B中的点,并且ai≠aj,bp≠bq,i∈[1,m]、j∈[1,m]、p∈[1,n]、q∈[1,n],其中m、n为自然数;矢量
Figure FDA00003582454800024
过坐标原点,并构成平面,则矢量
Figure FDA00003582454800025
到矢量
Figure FDA00003582454800026
的角度为:
&alpha; = cos - 1 a i a j &RightArrow; &CenterDot; b p b q &RightArrow; | | a i a j | | &RightArrow; &CenterDot; | | b p b q | | &RightArrow; ;
矢量
Figure FDA00003582454800032
所构成的平面过坐标原点的法线的法向量为:
n &RightArrow; = a i &RightArrow; a j &times; b p b q &RightArrow; , 方向向量为: ne &RightArrow; = n &RightArrow; | | n | | &RightArrow; = ( l , m , n , 0 )
其中l,m,n分别为
Figure FDA00003582454800035
与X,Y,Z轴的方向余弦,那么矢量以方向向量为
Figure FDA00003582454800037
过坐标原点的法线为旋转轴,绕旋转轴旋转α角度后,与矢量
Figure FDA00003582454800038
方向一致,则该旋转变换用四维矩阵表示为:
P ( &alpha; , 0 ) =
l 2 ( 1 - cos &alpha; ) + cos &alpha; ml ( 1 - cos &alpha; ) + n sin &alpha; nl ( 1 - cos &alpha; ) - m sin &alpha; 0 ml ( 1 - cos &alpha; ) - n sin &alpha; m 2 ( 1 - cos &alpha; ) + cos &alpha; nm ( 1 - cos &alpha; ) + l sin &alpha; 0 nl ( 1 - cos &alpha; ) + m sin &alpha; nm ( 1 - cos &alpha; ) - l sin &alpha; n 2 ( 1 - cos &alpha; ) + cos &alpha; 0 0 0 0 1
判断该旋转变换四维矩阵P(α,0)是否为最优相似变换矩阵,及其中一组对应点对是否为一一对应点对;如果P(α,0)是最优相似矩阵,则定义该最优相似矩阵为Pop(α,0),同时该一组对应点对为一一对应点对,记录该一组一一对应点对;否则继续判断;
根据在上述过程中得到的一组一一对应点对和Pop(α,0)计算参考图与实测图之间的所有一一对应点对。
CN201310321394.6A 2013-07-29 2013-07-29 一种基于四维实数矩阵的三维图像匹配导航方法 Expired - Fee Related CN103411589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310321394.6A CN103411589B (zh) 2013-07-29 2013-07-29 一种基于四维实数矩阵的三维图像匹配导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310321394.6A CN103411589B (zh) 2013-07-29 2013-07-29 一种基于四维实数矩阵的三维图像匹配导航方法

Publications (2)

Publication Number Publication Date
CN103411589A true CN103411589A (zh) 2013-11-27
CN103411589B CN103411589B (zh) 2016-01-13

Family

ID=49604617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310321394.6A Expired - Fee Related CN103411589B (zh) 2013-07-29 2013-07-29 一种基于四维实数矩阵的三维图像匹配导航方法

Country Status (1)

Country Link
CN (1) CN103411589B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700419A (zh) * 2015-03-27 2015-06-10 马学梅 一种放射科x光片的图像处理方法
CN104864849A (zh) * 2014-02-24 2015-08-26 电信科学技术研究院 视觉导航方法和装置以及机器人
CN104897159A (zh) * 2015-05-20 2015-09-09 南京航空航天大学 基于序列图像匹配的飞行器全程导航方法
CN104977013A (zh) * 2015-05-27 2015-10-14 无锡市崇安区科技创业服务中心 一种gps导航的图像处理方法
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN109387205A (zh) * 2018-11-30 2019-02-26 歌尔科技有限公司 获取姿态角变化幅度方法、设备及存储介质
CN110807772A (zh) * 2019-11-11 2020-02-18 杭州都市高速公路有限公司 一种构件尺寸检测中基于包围盒的无关点云剔除方法
CN111288967A (zh) * 2020-01-19 2020-06-16 广州翰南工程技术有限公司 一种基于机器视觉的远距离高精度位移检测方法
CN114808754A (zh) * 2022-05-18 2022-07-29 中铁二十四局集团有限公司 一种大型转体桥梁空间位置高精度实时预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798786A (en) * 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
JP2007040761A (ja) * 2005-08-01 2007-02-15 Navitime Japan Co Ltd ナビゲーションシステム、端末装置および地図表示方法
CN101650178A (zh) * 2009-09-09 2010-02-17 中国人民解放军国防科学技术大学 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法
CN102829785A (zh) * 2012-08-30 2012-12-19 中国人民解放军国防科学技术大学 基于序列图像和基准图匹配的飞行器全参数导航方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798786A (en) * 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
JP2007040761A (ja) * 2005-08-01 2007-02-15 Navitime Japan Co Ltd ナビゲーションシステム、端末装置および地図表示方法
CN101650178A (zh) * 2009-09-09 2010-02-17 中国人民解放军国防科学技术大学 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法
CN102829785A (zh) * 2012-08-30 2012-12-19 中国人民解放军国防科学技术大学 基于序列图像和基准图匹配的飞行器全参数导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁尚文,王惠南,刘海颖,冯成涛: "基于对偶四元数的航天器交会对接位姿视觉测量算法", 《宇航学报》 *
熊智,刘建业,段方,冷雪飞: "最小二乘图像匹配算法在景象匹配辅助导航系统中的应用研究", 《中国惯性技术学会第五届学术年会论文集》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864849A (zh) * 2014-02-24 2015-08-26 电信科学技术研究院 视觉导航方法和装置以及机器人
US9886763B2 (en) 2014-02-24 2018-02-06 China Academy Of Telecommunications Technology Visual navigation method, visual navigation device and robot
CN104700419A (zh) * 2015-03-27 2015-06-10 马学梅 一种放射科x光片的图像处理方法
CN104897159A (zh) * 2015-05-20 2015-09-09 南京航空航天大学 基于序列图像匹配的飞行器全程导航方法
CN104897159B (zh) * 2015-05-20 2017-08-04 南京航空航天大学 基于序列图像匹配的飞行器全程导航方法
CN104977013A (zh) * 2015-05-27 2015-10-14 无锡市崇安区科技创业服务中心 一种gps导航的图像处理方法
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN109387205A (zh) * 2018-11-30 2019-02-26 歌尔科技有限公司 获取姿态角变化幅度方法、设备及存储介质
CN110807772A (zh) * 2019-11-11 2020-02-18 杭州都市高速公路有限公司 一种构件尺寸检测中基于包围盒的无关点云剔除方法
CN110807772B (zh) * 2019-11-11 2022-05-20 杭州都市高速公路有限公司 一种构件尺寸检测中基于包围盒的无关点云剔除方法
CN111288967A (zh) * 2020-01-19 2020-06-16 广州翰南工程技术有限公司 一种基于机器视觉的远距离高精度位移检测方法
CN114808754A (zh) * 2022-05-18 2022-07-29 中铁二十四局集团有限公司 一种大型转体桥梁空间位置高精度实时预测方法

Also Published As

Publication number Publication date
CN103411589B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN103411589B (zh) 一种基于四维实数矩阵的三维图像匹配导航方法
CN104180818B (zh) 一种单目视觉里程计算装置
Scaramuzza et al. Absolute scale in structure from motion from a single vehicle mounted camera by exploiting nonholonomic constraints
CN103236064B (zh) 一种基于法向量的点云自动配准方法
CN100429476C (zh) 一种双传感器激光视觉三维测量系统校准方法
CN103247225B (zh) 即时定位与地图构建方法和设备
CN107564061A (zh) 一种基于图像梯度联合优化的双目视觉里程计算方法
CN102589530B (zh) 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN101539405B (zh) 基于姿态传感器的多视角测量数据自拼合方法
CN105091744A (zh) 一种基于视觉传感器和激光测距仪的位姿检测装置与方法
CN102682448B (zh) 一种基于双三视张量的立体视觉快速导航定位方法
CN104240297A (zh) 一种救援机器人三维环境地图实时构建方法
CN105809702A (zh) 一种基于Tsai算法的改进位姿估计方法
CN107063190B (zh) 面向定标面阵相机影像的位姿高精度直接估计方法
CN102261908B (zh) 基于几何约束的物体三维姿态测量方法
CN107871327A (zh) 基于特征点线的单目相机位姿估计和优化方法及系统
CN102252653A (zh) 基于tof无扫描三维成像的位姿测量方法
CN104036542A (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN101944240A (zh) 多机器人三维几何地图的融合方法
CN104422425A (zh) 一种不规则外形物体空间姿态动态测量方法
CN103075977B (zh) 双目立体视觉系统中的点云数据的自动拼合方法
CN101865656B (zh) 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN107449416A (zh) 基于矢量累积的恒星拖尾星点提取方法
Chuan et al. A planar homography estimation method for camera calibration
Olson Subpixel localization and uncertainty estimation using occupancy grids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113

Termination date: 20170729