CN104101331B - 基于全光场相机的非合作目标位姿测量 - Google Patents

基于全光场相机的非合作目标位姿测量 Download PDF

Info

Publication number
CN104101331B
CN104101331B CN201410356860.9A CN201410356860A CN104101331B CN 104101331 B CN104101331 B CN 104101331B CN 201410356860 A CN201410356860 A CN 201410356860A CN 104101331 B CN104101331 B CN 104101331B
Authority
CN
China
Prior art keywords
formula
main lens
optical field
field camera
prime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410356860.9A
Other languages
English (en)
Other versions
CN104101331A (zh
Inventor
张旭东
胡良梅
高隽
陈欣
王一
李梦娜
徐小红
涂义福
许林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201410356860.9A priority Critical patent/CN104101331B/zh
Publication of CN104101331A publication Critical patent/CN104101331A/zh
Application granted granted Critical
Publication of CN104101331B publication Critical patent/CN104101331B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;含星箭对接环在非合作目标上为圆特征;其特征是按如下步骤行:步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;步骤2、计算圆特征在全光场相机主透镜坐标系下的平面法向量和圆心坐标;步骤3、剔除虚假解;步骤4、获得所述非合作目标的位姿。本发明能有效剔除基于圆的单目视觉位姿估计中的虚假解,获得满足精度要求的非合作目标位姿信息。

Description

基于全光场相机的非合作目标位姿测量
技术领域
本发明涉及一种基于全光场相机的非合作目标位姿测量方法,属于三维视觉的目标位姿测量领域。
背景技术
随着计算机视觉技术的不断发展,基于计算机视觉的位姿测量是现代导航、跟踪、控制等许多研究领域的一个重要的问题,在国防、航天、航空、工业、医学等各个领域备受重视。而在航空航天领域,大部分的已在轨服务航天器是非合作目标,因此非合作目标相对位姿测量成为在轨服务技术的关键。针对大部分非合作目标上普遍都有星箭对接环结构,可以提供单个圆特征,但是基于圆的传统单目视觉位姿估计有两个位姿解,无法运用到实际的工程中。因此基于圆特征的非合作目标位姿测量具有重要的研究价值与意义。
目前基于视觉的圆位姿测量方法主要有:基于单目视觉和辅助特征测量、基于双目视觉测量、基于深度传感器位姿测量。
基于单目视觉和辅助特征测量主要是利用与圆共面的点、线特征在欧式空间中的几何特性不变来剔除基于圆的传统单目视觉位姿估计中的虚假解。基于双目视觉测量主要是利用左右两个相机分别估计圆的位姿,将右相机获得的解通过两个相机间的关系转换到左相机下,根据圆的法向量具有唯一性来消除基于圆的传统单目视觉位姿估计中虚假解。基于深度传感器的圆位姿测量主要是利用深度传感器能够获得目标的深度信息,从而获得目标的3维信息,估计出圆的位姿。
以上方法在具体实现上存在以下不足:
1、基于单目视觉和辅助特征测量利用圆面上的点、线特征进行位姿估计,在测量过程中,若所采用的辅助特征不能在像平面上完整成像以及不知道辅助特征在目标本体坐标系下的几何信息,那么就不能剔除传统单目视觉获得的虚假解。
2、对基于双目立体视觉测量方法,需要利用左右相机获取的图像分别估计圆的位姿信息,大大影响测量的实时性。
3、对于基于深度传感器位姿测量方法,输出图像噪声大,分辨率低,且测量距离短,无法获取远距离的非合作目标位姿信息。
4、目前基于视觉的圆位姿测量方法在拍摄非合作目标时,容易失焦,带来目标图像模糊问题。
发明内容
本发明针对上述现有技术所存在的不足,提出一种基于全光场相机的非合作目标位姿测量方法,能有效剔除基于圆的传统单目视觉位姿估计中的虚假解,从而获得满足精度要求的位姿信息。
本发明解决技术问题采用如下技术方案:
本发明一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征;其特点是按如下步骤行:
步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括:主透镜、微透镜阵列和传感器;
步骤2、计算所述圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤2.1、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;
步骤2.2、对所述主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0(1)
式(1)中,(u,v)为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤2.3、利用式(2)所示的相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
x n = f 0 x z y n = f 0 y z - - - ( 2 )
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0(3)
式(2)和式(3)中,(xn,yn)为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为所述全光场相机主透镜的焦距,(x,y,z)为所述圆特征在所述全光场相机主透镜坐标系o-xyz下的坐标;
步骤2.4、利用式(4)将所述椭圆锥方程转换为矩阵乘积形式:
[xyz]Q[xyz]T=0(4)
式(4)中,Q为对称矩阵;
步骤2.5、利用式(5)将所述对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}(5)
式(5),P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;
步骤2.6、利用式(6)将所述椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z'下的椭圆锥方程:
[xyz]T=P[x'y'z']T(6)
K1x'2+K2y'2+K3z'2=0(7)
式(6)中,(x',y',z')为所述圆特征在标准坐标系o-x'y'z'下的坐标;
步骤2.7、利用所述对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与所述标准坐标系下y'轴相互平行的平面方程:
z ′ = ± | K 1 | - | k 2 | | K 2 | + | K 3 | x ′ - - - ( 8 )
步骤2.8、根据所述平面方程分别获得所述圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1': ( n x ′ , n y ′ , n z ′ ) = ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 9 )
解2': ( n x ′ , n y ′ , n z ′ ) = ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 10 )
式(9)和式(10)中,R为所述圆特征的半径;
步骤2.9、利用式(11)和式(12)将所述解1'和解2'分别转换到所述全光场相机主透镜坐标系o-xyz下,获得所述全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1: ( n x , n y , n z ) = P ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 11 )
解2: ( n x , n y , n z ) = P ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 12 )
步骤3、剔除虚假解:
步骤3.1、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;
步骤3.2、利用式(2)获得所述圆特征上各点在所述全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤3.3、利用式(13)所示的圆特征的平面方程建立如式(14)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0(13)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)](14)
步骤3.4、将所述解1和解2分别代入(14),获得f解1和f解2;若f解1<f解2成立,则所述圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤4、获得所述非合作目标的位姿:
步骤4.1、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(15)获得所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的距离D:
D = x o 2 + y o 2 + z o 2 - - - ( 15 )
式(15)中,所述xo,yo,zo分别为所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤4.2、利用式(16)获得俯仰角φ和偏航角θ:
φ = α rc tan n z n x 2 + n y 2 θ = α rc tan n y n x - - - ( 16 )
所述距离D、俯仰角φ和偏航角θ即为所述非合作目标的位姿。
本发明基于全光场相机的非合作目标位姿测量方法的特点也在于,所述步骤3.1的深度z是按如下步骤获得:
步骤a、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对i1和i2
步骤b、计算所述最佳匹配图像对i1和i2的像素视差||i1-i2||;
步骤c、利用式(17)获得虚拟深度λ:
λ = d * | | i 1 - i 2 | | - - - ( 17 )
式(17)中,d*为所述最佳匹配像素对i1和i2的中心距离;
步骤d、利用式(18)获得所述微透镜阵列到主透镜像的距离a:
a=λb(18)
式(18)中,b为所述全光场相机中微透镜阵列到所述传感器的距离;
步骤e、利用式(19)获得所述主透镜到所述主透镜像的距离bL
bL=h-a(19)
式(19)中,h为所述主透镜到所述微透镜阵列的距离;
步骤f、根据式(20)获得所述圆特征到主透镜的距离aL
1 f 0 = 1 a L + 1 b L - - - ( 20 )
所述距离aL即为所述深度z。
与现有技术相比,本发明的有益效果体现在:
1、本发明只采用在抗遮挡和图像定位上有很大优势的圆特征作为识别特征,针对基于圆特征的传统单目视觉位姿进行估计时产生一组歧义解,利用全光场图像获得圆特征深度信息,能有效地剔除传统算法中的虚假解,从而准确计算出非合作目标相对位置和姿态参数。
2、本发明通过采用时域重聚焦算法,解决了现有技术中因图像失焦所带来图像模糊问题,降低了图像中椭圆识别错误率,从而提高空间非合作目标的位姿精度。
3、本发明采用的全光场相机拍摄距离远,解决了当前深度传感器无法测量远距离非合作目标的位姿问题。
4、本发明采用的全光场相机体积小,单次拍摄就能够同时实时获取非合作目标图像和深度信息,大大提高了非合作目标的位姿测量速度。
5、本发明通过采用多基线SSD立体匹配算法,能有效克服传统立体匹配过程中由于图像特征点不明显,相似纹理产生的匹配对应点多义性问题,从而获取准确、可靠的深度信息,有效地剔除传统算法中的虚假解。
附图说明
图1为本发明基于全光场相机的非合作目标位姿测量系统示意图;
图2为本发明方法流程图;
图3为本发明方法中非合作目标坐标系、全光场相机主透镜坐标系、主透镜像平面像素坐标系以及主透镜像平面物理坐标系之间的关系图;
图4光场图像像素坐标系;
图5为本发明方法中全光场相机重建深度信息几何图;
图中标号:1非合作目标;2全光场相机;3PC机;4相机支架。
具体实施方式
本实施例中,一种基于全光场相机的非合作目标位姿测量方法是应用于基于全光场相机的非合作目标位姿测量系统中,参见图1,该系统组成包括非合作目标1、全光场相机2、位姿测量数据处理系统PC机3以及固定安装全光场相机2的相机支架4;非合作目标1位于全光场相机2的视角范围内即可,非合作目标上包含有星箭对接环;以非合作目标上的星箭对接环作为识别对象,星箭对接环在非合作目标上为圆特征;
参见图2,基于全光场相机的的非合作目标位姿测量方法是按如下步骤行:
步骤1、如图3所示,以圆特征的圆心为坐标原点O0,以圆特征所在平面的法向量为Z0轴;利用右手法则依次建立X0轴和Y0轴;从而建立非合作目标物体的本体坐标系O0-X0Y0Z0
建立主透镜像平面像素坐标系为OI-UV,主透镜像平面像素坐标系OI-UV为主透镜重聚焦目标图像的像素坐标系,该坐标系是以像平面的左上角第一个像素点为原点OI,U轴和V轴方向分别对应于主透镜像的行方向和列方向;
建立主透镜像平面物理坐标系Oi-xnyn:主透镜像平面物理坐标系Oi-xnyn为主透镜重聚焦目标图像的物理坐标系,该坐标系是以全光场相机主透镜光轴与主透镜像平面的交点为原点Oi,xn轴和yn轴分别与主透镜像平面像素坐标系的横方向U和竖直方向V平行;
以全光场相机的主透镜光心为原点o,以主透镜的主光轴方向为z轴,与主透镜像平面像素坐标系的横方向U平行的方向为x轴,与主透镜像平面像素坐标系的竖直方向V平行的方向为y轴,从而建立全光场相机主透镜坐标系o-xyz;其中,原点o到主透镜像平面的距离称为主透镜的焦距f0
步骤2、通过全光场相机获取具有圆特征的非合作目标的光场图像;如图5所示,全光场相机的结构包括:主透镜、由多个微透镜构成的微透镜阵列和传感器;
步骤3、计算圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤3.1、利用时域重聚焦算法对非合作目标的光场图像进行计算获得主透镜重聚焦目标图像;
时域重聚焦算法就是根据光线直线传播原理和三角形相似性把光场图像上的像素投影到主透镜重聚焦的像平面上,然后通过积分成像原理将同一位置处的光线进行积分获得主透镜重聚焦目标图像。具体方法可参考论文基于光场摄像技术的对焦测距方法的研究,文章在2008年光子学报上发表,论文编号:1004-4213(2008)12-2539-5;
步骤3.2、对主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像;并对边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0(1)
式(1)中,(u,v)为圆特征在主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤3.3、利用式(2)所示的相机投影模型,将椭圆方程反向投影到全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
x n = f 0 x z y n = f 0 y z - - - ( 2 )
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0(3)
式(2)和式(3)中,(xn,yn)为圆特征在主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为全光场相机主透镜的焦距,(x,y,z)为圆特征在全光场相机主透镜坐标系o-xyz下的坐标;
步骤3.4、利用式(4)将椭圆锥方程转换为矩阵乘积形式:
[xyz]Q[xyz]T=0(4)
式(4)中,Q为对称矩阵;
步骤3.5、利用式(5)对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}(5)
式(5),P为正交矩阵;K1、K2和K3为对称矩阵Q的特征值;
步骤3.6、利用式(6)将椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z'下的椭圆锥方程:
[xyz]T=P[x'y'z']T(6)
K1x'2+K2y'2+K3z'2=0(7)
式(6)中,(x',y',z')为圆特征在标准坐标系o-x'y'z'下的坐标,标准坐标系o-x'y'z'和全光场相机主透镜坐标系o-xyz坐标系的原点相同,并通过正交矩阵P将全光场相机主透镜坐标系o-xyz进行旋转变换获得的;
步骤3.7、利用对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与标准坐标系下y'轴相互平行的平面方程:
z ′ = ± | K 1 | - | k 2 | | K 2 | + | K 3 | x ′ - - - ( 8 )
步骤3.8、根据平面方程分别获得圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1': ( n x ′ , n y ′ , n z ′ ) = ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 9 )
解2': ( n x ′ , n y ′ , n z ′ ) = ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 10 )
式(9)和式(10)中,R为圆特征的半径;
步骤3.9、利用式(11)和式(12)将解1'和解2'分别转换到全光场相机主透镜坐标系o-xyz下,获得全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1: ( n x , n y , n z ) = P ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 11 )
解2: ( n x , n y , n z ) = P ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 12 )
步骤4、剔除虚假解:
步骤4.1、利用全光场相机的深度重构法获得非合作目标上各点的深度;
步骤A、如图4所示,建立光场图像像素坐标系OII-st,以光场图像左上角第一个像素为原点OII,s轴和t轴方向分别对应于光场图像的行方向和列方向;
步骤B、如图5所示,目标通过主透镜形成一个主透镜像,主透镜像被微透镜阵列投影在传感器上形成目标光场图像。微透镜阵列中有n×n个微透镜,每个微透镜都在传感器的上形成相应的微透镜图像;并由n×n个微透镜图像形成一个光场图像;利用多基线SSD(平方差和)立体匹配算法对光场图像的任一像素i1进行计算,获得与像素i1最佳匹配的像素i2;从而获得最佳匹配像素对i1和i2;具体的按如下步骤进行:
步骤B1、定义待匹配像素i1所对应的微透镜图像为I0;且待匹配像素i1在光场图像中的像素坐标为(s,t),在微透镜图像I0水平线上选择n-1个微透镜图像;
步骤B2、以像素i1为中心选择一个w×w的窗口;
步骤B3、对n-1个微透镜图像利用式(13)找到微透镜图像I0中待匹配像素i1的最佳匹配像素i2,从而得到像素视差值||i1-i2||:
| | i 1 - i 2 | | = arg { min d ∈ r { Σ k = 1 n - 1 Σ s , t ∈ w [ I 0 ( s , t ) - I k ( s + B k + d , t ) ] 2 } } - - - ( 13 )
式(13)中,I0(s,t)是待匹配像素点(s,t)的像素强度,Ik表示第k个微透镜图像;Ik(s+Bk+d,t)是用来匹配的像素点(s+Bk+d,t)的像素强度,Bk是第k个微透镜图像与微透镜图像I0间的基线长度,w是用来匹配的窗口大小,r是匹配区间的搜索范围,d是用来在搜索范围内计算视差的一个参数,Bk+d是待匹配像素点(s,t)与用来匹配的像素点(s+Bk+d,t)间的视差;
步骤C、利用式(14)获得虚拟深度λ:
λ = d * | | i 1 - i 2 | | - - - ( 14 )
式(14)中,d*为最佳匹配像素对i1和i2所对应的微透镜图像的中心距离;
步骤D、利用式(15)获得微透镜阵列到主透镜像的距离a:
a=λb(15)
式(15)中,b为全光场相机中微透镜阵列到传感器的距离;
步骤E、利用式(16)获得主透镜到主透镜像的距离bL
bL=h-a(16)
式(16)中,h为主透镜到微透镜阵列的距离;
步骤F、根据式(17)获得非合作目标到主透镜的距离aL
1 f 0 = 1 a L + 1 b L - - - ( 17 )
式(17)中,距离aL即为光场图像的任一像素i1在所对应的非合作目标上相应点的深度;
重复步骤B-F,从而获得非合作目标上各点的深度;
步骤4.2、由步骤4.1获得非合作目标上各点深度z,则非合作目标上圆特征各点的深度为已知;利用式(2)获得圆特征上各点在全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤4.3、利用式(18)所示的圆特征的平面方程建立如式(19)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0(18)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)](19)
步骤4.4、将步骤3.9中的解1和解2中的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo)分别代入(19),获得f解1、f解2;若f解1<f解2成立,则圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤5、获得非合作目标的位姿:
步骤5.1、通过步骤4获得的正确的圆心三维坐标(xo,yo,zo)和法向量(nx,ny,nz);则非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(20)获得非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz的距离D:
D = x o 2 + y o 2 + z o 2 - - - ( 20 )
式(20)中,xo,yo,zo分别为非合作目标本体坐标系O0-X0Y0Z0相对于全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤5.2、定义在全光场相机主透镜坐标系o-xyz下(nx,ny,nz)对应的姿态角为俯仰角φ,偏航角θ;俯仰角φ定义为法向量(nx,ny,nz)与o-xy平面的夹角,俯仰角φ取[-π/2,π/2],偏航角θ为(nx,ny,nz)在o-xy平面上的投影与x平面轴正向的夹角,偏航角θ取值范围为[-2π,2π];
根据几何三角关系按式(21)计算可获得俯仰角φ,偏航角θ:
φ = α rc tan n z n x 2 + n y 2 θ = α rc tan n y n x - - - ( 21 )
则距离D、俯仰角φ和偏航角θ即为非合作目标的位姿。

Claims (1)

1.一种基于全光场相机的非合作目标位姿测量方法,是应用于包含星箭对接环的非合作目标;所述含星箭对接环在所述非合作目标上为圆特征;其特征是按如下步骤行:
步骤1、利用全光场相机获取具有圆特征的非合作目标的光场图像;所述全光场相机的结构包括:主透镜、微透镜阵列和传感器;
步骤2、计算所述圆特征在全光场相机主透镜坐标系o-xyz下的平面法向量和圆心坐标:
步骤2.1、利用时域重聚焦算法对所述光场图像进行计算获得主透镜重聚焦目标图像;
步骤2.2、对所述主透镜重聚焦目标图像利用canny边缘检测算法进行边缘检测,获得边缘图像,并对所述边缘图像利用最小二乘法进行椭圆检测,从而获得如式(1)所示的椭圆方程:
a1u2+a2v2+a3uv+a4u+a5v+a6=0(1)
式(1)中,(u,v)为所述圆特征在所述主透镜重聚焦目标图像的像素坐标系OI-UV中的坐标;
步骤2.3、利用式(2)所示的相机投影模型,将所述椭圆方程反向投影到所述全光场相机主透镜坐标系o-xyz下,从而获得如式(3)所述的椭圆锥方程:
x n = f 0 x z y n = f 0 y z - - - ( 2 )
A1x2+A2y2+A3z2+A4xy+A5xz+A6yz=0(3)
式(2)和式(3)中,(xn,yn)为所述圆特征在所述主透镜重聚焦目标图像的物理坐标系Oi-xnyn中的坐标,f0为所述全光场相机主透镜的焦距,(x,y,z)为所述圆特征在所述全光场相机主透镜坐标系o-xyz下的坐标;
步骤2.4、利用式(4)将所述椭圆锥方程转换为矩阵乘积形式:
[xyz]Q[xyz]T=0(4)
式(4)中,Q为对称矩阵;
步骤2.5、利用式(5)将所述对称矩阵Q进行对角化:
P-1QP=diag{K1,K2,K3}(5)
式(5),P为正交矩阵;K1、K2和K3为所述对称矩阵Q的特征值;
步骤2.6、利用式(6)将所述椭圆锥方程进行简化,获得如式(7)所示的标准坐标系o-x'y'z'下的椭圆锥方程:
[xyz]T=P[x'y'z']T(6)
K1x'2+K2y'2+K3z'2=0(7)
式(6)中,(x',y',z')为所述圆特征在标准坐标系o-x'y'z'下的坐标;
步骤2.7、利用所述对称矩阵Q的特征值K1、K2和K3获得如式(8)所示的与所述标准坐标系下y'轴相互平行的平面方程:
z ′ = ± | K 1 | - | K 2 | | K 2 | + | K 3 | x ′ - - - ( 8 )
步骤2.8、根据所述平面方程分别获得所述圆特征在标准坐标系o-x'y'z'下的平面法向量(n'x,n'y,n'z)以及圆心点坐标(xo',yo',zo')的一组歧义解:
解1': ( n x ′ , n y ′ , n z ′ ) = ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 9 )
解2': ( n x ′ , n y ′ , n z ′ ) = ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o ′ , y o ′ , z o ′ ) = ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 10 )
式(9)和式(10)中,R为所述圆特征的半径;
步骤2.9、利用式(11)和式(12)将所述解1'和解2'分别转换到所述全光场相机主透镜坐标系o-xyz下,获得所述全光场相机主透镜坐标系o-xyz下的平面法向量(nx,ny,nz)以及圆心点坐标(xo,yo,zo):
解1: ( n x , n y , n z ) = P ( | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 11 )
解2: ( n x , n y , n z ) = P ( - | K 1 | - | K 2 | | K 1 | + | K 3 | , 0 , - | K 2 | + | K 3 | | K 1 | + | K 3 | ) ( x o , y o , z o ) = P ( - R | K 3 | ( | K 1 | - | K 2 | ) | K 1 | ( | K 1 | + | K 3 | ) , 0 , R | K 1 | ( | K 2 | + | K 3 | ) | K 3 | ( | K 1 | + | K 3 | ) ) - - - ( 12 )
步骤3、剔除虚假解:
步骤3.1、利用所述全光场相机的深度重构法获得所述非合作目标上各点的深度;
步骤a、利用多基线SSD立体匹配算法对所述光场图像进行立体匹配获得最佳匹配像素对i1和i2
步骤b、计算所述最佳匹配图像对i1和i2的像素视差||i1-i2||;
步骤c、利用式(17)获得虚拟深度λ:
λ = d * | | i 1 - i 2 | | - - - ( 17 )
式(17)中,d*为所述最佳匹配像素对i1和i2的中心距离;
步骤d、利用式(18)获得所述微透镜阵列到主透镜像的距离a:
a=λb(18)
式(18)中,b为所述全光场相机中微透镜阵列到所述传感器的距离;
步骤e、利用式(19)获得所述主透镜到所述主透镜像的距离bL
bL=h-a(19)
式(19)中,h为所述主透镜到所述微透镜阵列的距离;
步骤f、根据式(20)获得所述圆特征到主透镜的距离aL
1 f 0 = 1 a L + 1 b L - - - ( 20 )
所述距离aL即为所述深度;
步骤3.2、利用式(2)获得所述圆特征上各点在所述全光场相机主透镜坐标系o-xyz下的三维坐标(x,y,z);
步骤3.3、利用式(13)所示的圆特征的平面方程建立如式(14)所示的目标函数f:
(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)]=0(13)
f=(nx,ny,nz)T[(x,y,z)-(xo,yo,zo)](14)
步骤3.4、将所述解1和解2分别代入(14),获得f解1和f解2;若f解1<f解2成立,则所述圆特征的圆心坐标和法向量的虚假解为解2;正确解为解1;否则,圆特征的圆心坐标和法向量的虚假解为解1;正确解为解2;
步骤4、获得所述非合作目标的位姿:
步骤4.1、根据所述步骤3获得的正确解,则非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的平移向量为T=(xo,yo,zo),通过式(15)获得所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz的距离D:
D = x o 2 + y o 2 + z o 2 - - - ( 15 )
式(15)中,所述xo,yo,zo分别为所述非合作目标本体坐标系O0-X0Y0Z0相对于所述全光场相机主透镜坐标系o-xyz在x轴、y轴、z轴上的平移量;
步骤4.2、利用式(16)获得俯仰角φ和偏航角θ:
φ = a r c t a n n z n x 2 + n y 2
(16)
θ = a r c t a n n y n x
所述距离D、俯仰角φ和偏航角θ即为所述非合作目标的位姿。
CN201410356860.9A 2014-07-24 2014-07-24 基于全光场相机的非合作目标位姿测量 Expired - Fee Related CN104101331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410356860.9A CN104101331B (zh) 2014-07-24 2014-07-24 基于全光场相机的非合作目标位姿测量

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410356860.9A CN104101331B (zh) 2014-07-24 2014-07-24 基于全光场相机的非合作目标位姿测量

Publications (2)

Publication Number Publication Date
CN104101331A CN104101331A (zh) 2014-10-15
CN104101331B true CN104101331B (zh) 2016-03-09

Family

ID=51669682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410356860.9A Expired - Fee Related CN104101331B (zh) 2014-07-24 2014-07-24 基于全光场相机的非合作目标位姿测量

Country Status (1)

Country Link
CN (1) CN104101331B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3026628A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and apparatus for estimating depth of unfocused plenoptic data
CN105261047B (zh) * 2015-09-08 2019-04-09 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN105509733B (zh) * 2015-11-30 2018-04-06 上海宇航系统工程研究所 非合作空间圆目标的相对位姿测量方法
CN106840106B (zh) * 2016-12-31 2019-04-02 重庆大学 基站式六自由度对接位姿检测方法
CN106683137B (zh) * 2017-01-11 2019-12-31 中国矿业大学 基于人工标志的单目多目标识别与定位方法
CN106918306A (zh) * 2017-04-22 2017-07-04 许晟明 基于光场单相机的工业产品三维形貌实时检测系统
CN107103621A (zh) * 2017-04-22 2017-08-29 许晟明 基于光场单相机的非合作航天器三维位姿测量系统
CN107218930B (zh) * 2017-05-05 2020-01-03 山东大学 基于单目手眼系统的空间圆六维位置-姿态主动式测量方法
CN109405835B (zh) * 2017-08-31 2020-11-13 北京航空航天大学 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN107862662A (zh) * 2017-11-08 2018-03-30 北方工业大学 基于阵列镜头的图像重对焦方法
CN107886541B (zh) * 2017-11-13 2021-03-26 天津市勘察设计院集团有限公司 基于反向投影法的单目运动目标位姿实时测量方法
CN108051183B (zh) * 2017-11-16 2019-06-28 上海理工大学 基于高斯光学的聚焦型光场相机参数标定方法
CN108453727B (zh) * 2018-01-11 2020-08-25 中国人民解放军63920部队 基于椭圆特征的机械臂末端位姿误差校正方法及系统
CN108694713B (zh) * 2018-04-19 2022-07-05 北京控制工程研究所 一种基于立体视觉的星箭对接环局部环段识别与测量方法
CN110702115B (zh) * 2019-09-30 2021-04-06 广西蛋壳机器人科技有限公司 一种基于单目视觉的定位方法、定位装置及终端
CN112381880A (zh) * 2020-11-27 2021-02-19 航天科工智能机器人有限责任公司 一种基于圆特征的双目视觉位姿估计方法
CN115439630B (zh) * 2022-08-04 2024-04-19 思看科技(杭州)股份有限公司 标记点拼接方法、摄影测量方法、装置和电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556351B1 (en) * 2000-10-10 2003-04-29 The Texas A&M University System System and method for attitude determination based on optical imaging
JP3668751B2 (ja) * 2002-04-15 2005-07-06 独立行政法人 宇宙航空研究開発機構 ランデブ・ドッキング用画像航法及び航法装置
CN101733746A (zh) * 2009-12-22 2010-06-16 哈尔滨工业大学 空间机器人非合作目标自主识别与捕获方法
CN102589530A (zh) * 2012-02-24 2012-07-18 合肥工业大学 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556351B1 (en) * 2000-10-10 2003-04-29 The Texas A&M University System System and method for attitude determination based on optical imaging
JP3668751B2 (ja) * 2002-04-15 2005-07-06 独立行政法人 宇宙航空研究開発機構 ランデブ・ドッキング用画像航法及び航法装置
CN101733746A (zh) * 2009-12-22 2010-06-16 哈尔滨工业大学 空间机器人非合作目标自主识别与捕获方法
CN102589530A (zh) * 2012-02-24 2012-07-18 合肥工业大学 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法

Also Published As

Publication number Publication date
CN104101331A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
CN104101331B (zh) 基于全光场相机的非合作目标位姿测量
CN102589530B (zh) 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN105043350A (zh) 一种双目视觉测量方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN104036542A (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN106183995A (zh) 一种基于立体视觉的可视倒车方法
Yamashita et al. Monocular underwater stereo-3d measurement using difference of appearance depending on optical paths
Han et al. A PTV-based feature-point matching algorithm for binocular stereo photogrammetry
Naruse et al. 3-D measurement of objects inwater using fish-eye stereo camera
CN110702015B (zh) 输电线路覆冰厚度测量方法及装置
CN116929348A (zh) 基于单基站uwb和视觉惯性的工厂agv定位方法
Wang et al. A research on stereo matching algorithm for underwater image
CN115049784A (zh) 一种基于双目粒子图像的三维速度场重建方法
Shibata et al. Refraction-based bundle adjustment for scale reconstructible structure from motion
Reid et al. Self-alignment of a binocular robot
Parvathi et al. Multiview 3d reconstruction of underwater scenes acquired with a single refractive layer using structure from motion
Zhang et al. Passive 3D reconstruction based on binocular vision
Yu et al. Registration and fusion for ToF camera and 2D camera reading
Ahrnbom et al. Calibration and absolute pose estimation of trinocular linear camera array for smart city applications
Liu et al. A new fusion algorithm for depth images based on virtual views
Duda et al. Refractive forward projection for underwater flat port cameras
Murmu et al. Low cost distance estimation system using low resolution single camera and high radius convex mirrors
Pratama et al. Omnidirectional Stereo Vision Study from Vertical and Horizontal Stereo Configuration
Liu et al. A monocular vision 3D measurement method based on refraction of light

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309

Termination date: 20190724

CF01 Termination of patent right due to non-payment of annual fee