CN113129371A - 一种基于图像特征的航天器单目视觉姿态估计方法 - Google Patents
一种基于图像特征的航天器单目视觉姿态估计方法 Download PDFInfo
- Publication number
- CN113129371A CN113129371A CN202110274979.1A CN202110274979A CN113129371A CN 113129371 A CN113129371 A CN 113129371A CN 202110274979 A CN202110274979 A CN 202110274979A CN 113129371 A CN113129371 A CN 113129371A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- satellite
- plane
- axis
- spacecraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003032 molecular docking Methods 0.000 claims abstract description 99
- 210000001503 joint Anatomy 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008571 general function Effects 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- -1 Oxy Chemical class 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像特征的航天器单目视觉姿态估计方法,利用目标航天器的星箭对接环结构与太阳能帆板结构联合定姿,星箭对接环提供圆特征,可利用圆的单个投影图像求解星箭对接环所在平面的法向量;太阳能帆板提供矩形特征,基于平行线消失点原理求解太阳能帆板的旋转轴方向向量;根据太阳能帆板旋转轴的方向向量与星箭对接环所在平面的法向量垂直的特性,唯一确定星箭对接环所在平面的法向量及中心坐标,由此得到目标航天器相对于跟跟踪航天器完整的相对位姿,并能够在考虑旋转翼的情况下实现对非合作目标航天器获取完整的相对姿态参数,上述方法计算简单,评估准确,具有良好的工程价值。
Description
技术领域
本发明涉及自主在轨服务技术中非合作目标航天器的视觉测量技术领域,尤其涉及一种基于图像特征的航天器单目视觉姿态估计方法。
背景技术
自主在轨服务是指通过空间智能服务航天器来实现“延长卫星、平台、空间站附属舱和空间运载器寿命和能力”的空间任务。研究自主在轨服务技术,有助于降低航天器运行成本,推动航天事业的可持续发展,具有巨大的社会经济效益以及良好的发展前景。
自主在轨服务已被列为我国科技创新2030重大项目。在轨服务的对象有相当一部分属于非合作航天器,如失效卫星、太空垃圾等,一般表现为如下特点:(1)未安装用于辅助测量的合作标识;(2)无法利用星间链路向外传输自身信息;(3)处于失控翻滚的运动状态。非合作航天器的位姿获取作为自主在轨服务的关键技术,是在轨服务技术的重点发展方向之一,其研究具有重要的理论价值与工程意义。
目前,非合作目标位姿测量敏感器主要分为单目相机、双目相机和激光雷达三类。与双目相机和激光雷达相比,单目相机视觉导航可确保在低功率和质量要求下快速确定姿势。基于单目相机的位姿测量技术,主要检测目标航天器表面所具备的某种特定的结构(如矩形、三角形或圆),例如,星箭对接环、发动机喷嘴可以提供圆信息,航天器天线可以提供三角形信息,太阳能帆板、卫星本体可以提供矩形信息。然而,单目视觉用单圆定姿会有二义性,目前已有的解决方法有:在测量设备上安装激光测距仪,用激光测距仪的距离信息改进单目单圆定位方法,解决了两组解的判定问题,但是激光测距仪的安装增加了成本,提高了对负载的要求;或者,采用圆外一已知距离的点作为补充信息,通过引入欧式空间中距离不变性作为约束去除二值性,但圆外一已知距离的点约束性太强,不具有普适性。
发明内容
有鉴于此,本发明提供了一种基于图像特征的航天器单目视觉姿态估计方法,用以获取非合作目标航天器相对于跟踪航天器的位置与姿态信息,为后续相对运动规划和控制建立基础。
本发明提供的一种基于图像特征的航天器单目视觉姿态估计方法,包括如下步骤:
S1:建立描述航天器姿态的坐标系,包括像素坐标系、图像坐标系、摄像机坐标系、世界坐标系、星箭对接环所在平面坐标系以及太阳能帆板所在平面坐标系,并计算各坐标系之间的转换关系;
S2:对跟踪航天器上单目相机获得的图像进行中值滤波;
S3:利用快速椭圆检测方法,对中值滤波后的图像进行处理,确定星箭对接环所在椭圆的一般函数;
S4:利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标;
S5:对中值滤波后的图像进行霍夫变换,检测所述图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量;
S6:根据摄像机坐标系下太阳能帆板旋转轴方向向量和星箭对接环所在平面法向量垂直的特性,消除单圆定姿二义性,唯一确定星箭对接环所在平面的法向量和中心坐标;
S7:根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵。
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S1中,建立描述航天器姿态的坐标系,具体包括:
像素坐标系Ouv-uv以跟踪航天器上单目相机获得的图像的左上角为原点,横坐标u轴为所述图像所在的行,纵坐标v轴为所述图像所在的列;
图像坐标系Oxy-xy以所述图像的中心为原点,x轴平行于像素坐标系的u轴, y轴平行于像素坐标系的v轴;
摄像机坐标系Oc-XcYcZc以摄像机光心为原点,Zc轴沿光轴方向,Xc轴平行于图像坐标系的x轴,Yc轴平行于图像坐标系的y轴;
以目标航天器本体质心为原点建立世界坐标系Ow-XwYwZw,以星箭对接环所在平面向外的法向量方向作为Zw轴,以平行于太阳能帆板向外的旋转轴方向作为Xw轴,Yw轴分别与Xw轴和Zw轴垂直,并形成右手螺旋系;
在星箭对接环所在平面上建立坐标系OD-XDYDZD,以星箭对接环的圆心为原点,XD轴平行于世界坐标系的Xw轴,YD轴平行于世界坐标系的Yw轴,ZD轴平行于世界坐标系的Zw轴;
在太阳能帆板所在平面上建立坐标系OP-XPYPZP,以太阳能帆板质心为原点,XP轴平行于世界坐标系的Xw轴,以太阳能帆板所在平面向外的法向量方向作为ZP轴,YP轴分别与XP轴和ZP轴垂直,并形成右手螺旋系;
定义空间点在世界坐标系下表示为Pw=(Xw,Yw,Zw)T,对应的齐次坐标表示为空间点在摄像机坐标系下表示为Pc=(Xc,Yc,Zc)T,对应的齐次坐标表示为空间点在图像坐标系下表示为p=(x,y)T,对应的齐次坐标表示为空间点在像素坐标系下表示为(u,v)T,对应的齐次坐标表示为(u,v,1)T。
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S2,对跟踪航天器上单目相机获得的图像进行中值滤波,具体包括:
S21:将跟踪航天器上单目相机获得的图像转化为灰度图像;
S22:选取3×3滑动模板,对准灰度图像的前三行前三列像素点;
S23:将模板内所有像素点按照像素值的大小进行排序,生成单调上升或单调下降的二维数据序列,选取二维数据序列中的中值代替模板内中心像素点的像素值;
S24:整个模板右移一列像素点,重复步骤S23,直到该行扫描完成;
S25:整个模板下移一行像素点,重复步骤S23和步骤S24,进行下一行的扫描。
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S3,利用快速椭圆检测方法,对中值滤波后的图像进行处理,确定星箭对接环所在椭圆的一般函数,具体包括:
利用快速椭圆检测方法,对中值滤波后的图像进行处理,得到星箭对接环所在椭圆的五个参数(x0,y0,a,b,θ),其中,(x0,y0)表示星箭对接环所在椭圆的中心位置,a表示星箭对接环所在椭圆的半长轴,b表示星箭对接环所在椭圆的半短轴,θ表示长轴从图像坐标系的x轴旋转过的角度;根据星箭对接环所在椭圆的五个参数,确定星箭对接环所在椭圆的一般函数如下:
Au2+Bv2+Cuv+Du+Ev+F=0 (1)
其中,
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S4,利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标,具体包括:
将式(1)改写为代数形式:
[u v 1]Q[u v 1]T=0 (3)
其中,
由于
其中,Mins为单目相机的内参数矩阵;将式(3)转到摄像机坐标系下,得到摄像机坐标系下的斜椭圆锥Γ方程为:
[Xc Yc Zc]CQ[Xc Yc Zc]T=0 (6)
其中,
在摄像机坐标系原点处建立坐标系Oc-X′Y′Z′,Z′轴平行于星箭对接环所在平面的法线,斜椭圆锥Γ变成正椭圆锥;坐标系Oc-X′Y′Z′与摄像机坐标系 Oc-XcYcZc只存在旋转变换;通过旋转变换矩阵P,将CQ转换为对角阵:
PTCQP=diag(λ1,λ2,λ3) (8)
其中,λ1、λ2和λ3是CQ的特征值,且λ1≥λ2>0>λ3;推算坐标系Oc-X′Y′Z′下星箭对接环所在平面的中心坐标O′i和法向量n′i为:
其中,i∈{1,2},r表示星箭对接环所在圆的半径;
将星箭对接环所在平面的中心坐标O′i和法向量n′i转到摄像机坐标系下:
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S5,对中值滤波后的图像进行霍夫变换,检测所述图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量,具体包括:
对中值滤波后的图像进行霍夫变换,检测所述图像中的所有线段,从检测出的直线段中检测出四边形集,从所述四边形集中找到太阳能帆板所在平面的四边形p1p2p3p4;太阳能帆板的每组对边通过射影变换后分别产生一个消失点,两个消失点像素坐标(u1v1,v1v1)和(u1v2,v1v2)的计算如下:
将两个消失点的像素坐标转换到焦距归一化成像平面上为:
其中,i∈{1,2};根据射影几何关系可知,消失点在焦距归一化成像平面的成像点坐标既是消失点在摄像机坐标系的位置向量,又是太阳能帆板所在平面坐标系的XP轴在摄像机坐标系中的方向向量,将太阳能帆板所在平面坐标系的 XP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
同理,将太阳能帆板所在平面坐标系的YP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
根据右手螺旋定则,太阳能帆板所在平面坐标系的ZP轴在摄像机坐标系中的单位向量表示为:
在一种可能的实现方式中,在本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法中,步骤S7,根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵,具体包括:
根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量t:
t=(Ox,Oy,Oz)T (17)
其中,(Ox,Oy,Oz)表示唯一确定的星箭对接环所在平面的中心坐标;
根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵R:
本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法,主要用于获取非合作目标航天器相对于跟踪航天器的位置与姿态信息。针对空间非合作航天器未安装用于辅助测量的合作标识、无法利用星间链路向外传输自身信息的问题,提出一种基于星箭对接环及太阳能帆板图像特征的航天器单目视觉姿态估计方法。本发明利用目标航天器的星箭对接环结构与太阳能帆板结构联合定姿,星箭对接环提供圆特征,可利用圆的单个投影图像求解星箭对接环所在平面的法向量;太阳能帆板提供矩形特征,基于平行线消失点原理求解太阳能帆板的旋转轴方向向量;然后根据太阳能帆板旋转轴的方向向量与星箭对接环所在平面的法向量垂直的特性,消除单圆定姿二义性,从而唯一确定星箭对接环所在平面的法向量及中心坐标,由此得到目标航天器相对于跟跟踪航天器完整的相对位姿,并且能够在考虑旋转翼的情况下实现对非合作目标航天器获取完整的相对姿态参数,上述方法计算简单,评估准确,具有良好的工程价值,可以有效估计非合作目标航天器相对于跟踪航天器的相对姿态。
附图说明
图1为本发明提供的一种基于图像特征的航天器单目视觉姿态估计方法的流程图;
图2为本发明实施例1中建立的描述航天器姿态的坐标系示意图;
图3为本发明实施例1中目标航天器相对于跟踪航天器的位移向量的绝对误差图;
图4为本发明实施例1中目标航天器相对于跟踪航天器的位移向量的相对误差图;
图5为本发明实施例1中目标航天器相对于跟踪航天器的欧拉角的估计误差图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是作为例示,并非用于限制本发明。
本发明提供的一种基于图像特征的航天器单目视觉姿态估计方法,如图1 所示,包括如下步骤:
S1:建立描述航天器姿态的坐标系,包括像素坐标系、图像坐标系、摄像机坐标系、世界坐标系、星箭对接环所在平面坐标系以及太阳能帆板所在平面坐标系,并计算各坐标系之间的转换关系;
S2:对跟踪航天器上单目相机获得的图像进行中值滤波;
噪声会通过任何用于存储、传输和处理的电气系统引入图像中,通过中值过滤可以使数据平滑,同时保留较小而清晰的细节;
S3:利用快速椭圆检测方法,对中值滤波后的图像进行处理,确定星箭对接环所在椭圆的一般函数;
S4:利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标;
S5:对中值滤波后的图像进行霍夫变换,检测图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量;
S6:根据摄像机坐标系下太阳能帆板旋转轴方向向量和星箭对接环所在平面法向量垂直的特性,消除单圆定姿二义性,唯一确定星箭对接环所在平面的法向量和中心坐标;
S7:根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵。
下面通过一个具体的实施例对本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法的具体实施进行详细说明。
实施例1:
第一步,建立描述航天器姿态的坐标系,包括像素坐标系、图像坐标系、摄像机坐标系、世界坐标系、星箭对接环所在平面坐标系以及太阳能帆板所在平面坐标系,并计算各坐标系之间的转换关系。
具体地,各坐标系的建立方式如下:如图2所示,像素坐标系Ouv-uv以跟踪航天器上单目相机获得的图像的左上角为原点,横坐标u轴为图像所在的行,纵坐标v轴为图像所在的列;图像坐标系Oxy-xy以图像的中心为原点,x轴平行于像素坐标系的u轴,y轴平行于像素坐标系的v轴;摄像机坐标系Oc-XcYcZc以摄像机光心为原点,Zc轴沿光轴方向,Xc轴平行于图像坐标系的x轴,Yc轴平行于图像坐标系的y轴;以目标航天器本体质心为原点建立世界坐标系 Ow-XwYwZw,以星箭对接环所在平面向外的法向量方向作为Zw轴,以平行于太阳能帆板向外的旋转轴方向作为Xw轴,Yw轴分别与Xw轴和Zw轴垂直,并形成右手螺旋系;在星箭对接环(如图2所示的A所示)所在平面上建立坐标系 OD-XDYDZD,以星箭对接环的圆心为原点,XD轴平行于世界坐标系的Xw轴,YD轴平行于世界坐标系的Yw轴,ZD轴平行于世界坐标系的Zw轴;在太阳能帆板 (如图2所示的B所示)所在平面上建立坐标系OP-XPYPZP,以太阳能帆板质心为原点,XP轴平行于世界坐标系的Xw轴,以太阳能帆板所在平面向外的法向量方向作为ZP轴,YP轴分别与XP轴和ZP轴垂直,并形成右手螺旋系。
定义空间点在世界坐标系下表示为Pw=(Xw,Yw,Zw)T,对应的齐次坐标表示为空间点在摄像机坐标系下表示为Pc=(Xc,Yc,Zc)T,对应的齐次坐标表示为空间点在图像坐标系下表示为p=(x,y)T,对应的齐次坐标表示为空间点在像素坐标系下表示为(u,v)T,对应的齐次坐标表示为(u,v,1)T。
具体地,各坐标系之间的转换关系如下:
图像坐标(x,y)和像素坐标(u,v)之间的关系可以描述为:
其中,(u0,v0)表示像素平面的中心坐标;
摄像机坐标(Xc,Yc,Zc)和图像坐标(x,y)之间的关系可以描述为:
其中,f0表示单目相机的焦距;
摄像机坐标(Xc,Yc,Zc)和像素坐标(u,v)之间的关系可以描述为:
空间点在世界坐标系下与在摄像机坐标系下的对应关系为:
其中,R表示目标航天器相对于跟踪航天器的旋转矩阵,t表示目标航天器相对于跟踪航天器的位移向量。
第二步,对跟踪航天器上单目相机获得的图像进行中值滤波。具体通过以下方式来实现:
(1)将跟踪航天器上单目相机获得的图像转化为灰度图像;
(2)选取3×3滑动模板,对准灰度图像的前三行前三列像素点;
(3)将模板内所有像素点按照像素值的大小进行排序,生成单调上升或单调下降的二维数据序列,选取二维数据序列中的中值代替模板内中心像素点的像素值;
(4)整个模板右移一列像素点,重复步骤(3),直到该行扫描完成;
(5)整个模板下移一行像素点,重复步骤(3)和步骤(4),进行下一行的扫描。
第三步,利用快速椭圆检测方法,对中值滤波后的图像进行处理,确定星箭对接环所在椭圆的一般函数。
利用快速椭圆检测方法,对中值滤波后的图像进行处理,得到星箭对接环所在椭圆的五个参数(x0,y0,a,b,θ),其中,(x0,y0)表示星箭对接环所在椭圆的中心位置,a表示星箭对接环所在椭圆的半长轴,b表示星箭对接环所在椭圆的半短轴,θ表示长轴从图像坐标系的x轴旋转过的角度;根据星箭对接环所在椭圆的五个参数,确定星箭对接环所在椭圆的一般函数如下:
Au2+Bv2+Cuv+Du+Ev+F=0 (5)
其中,
第四步,利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标。
将式(1)改写为代数形式:
[u v 1]Q[u v 1]T=0 (7)
其中,
由于
其中,Mins为单目相机的内参数矩阵;将式(3)转到摄像机坐标系下,得到摄像机坐标系下的斜椭圆锥Γ方程为:
[Xc Yc Zc]CQ[Xc Yc Zc]T=0 (10)
其中,
在摄像机坐标系原点处建立坐标系Oc-X′Y′Z′,Z′轴平行于星箭对接环所在平面的法线,斜椭圆锥Γ变成正椭圆锥;坐标系Oc-X′Y′Z′与摄像机坐标系 Oc-XcYcZc只存在旋转变换;通过旋转变换矩阵P,将CQ转换为对角阵:
PTCQP=diag(λ1,λ2,λ3) (12)
其中,λ1、λ2和λ3是CQ的特征值,且λ1≥λ2>0>λ3;推算坐标系Oc-X′Y′Z′下星箭对接环所在平面的中心坐标O′i和法向量n′i为:
其中,i∈{1,2},r表示星箭对接环所在圆的半径;需要说明的是,星箭对接环实际为圆形,而单目相机获得的图像中星箭对接环为椭圆形;
将星箭对接环所在平面的中心坐标O′i和法向量n′i转到摄像机坐标系下:
第五步,对中值滤波后的图像进行霍夫变换,检测图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量。
对中值滤波后的图像进行霍夫变换,检测图像中的所有线段,从检测出的直线段中检测出四边形集,从四边形集中找到太阳能帆板所在平面的四边形 p1p2p3p4;太阳能帆板的每组对边通过射影变换后分别产生一个消失点,两个消失点像素坐标(u1v1,v1v1)和(u1v2,v1v2)的计算如下:
将两个消失点的像素坐标转换到焦距归一化成像平面上为:
其中,i∈{1,2};根据射影几何关系可知,消失点在焦距归一化成像平面的成像点坐标既是消失点在摄像机坐标系的位置向量,又是太阳能帆板所在平面坐标系的XP轴在摄像机坐标系中的方向向量,因此,将太阳能帆板所在平面坐标系的XP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
同理,将太阳能帆板所在平面坐标系的YP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
根据右手螺旋定则,太阳能帆板所在平面坐标系的ZP轴在摄像机坐标系中的单位向量表示为:
第六步,根据摄像机坐标系下太阳能帆板旋转轴方向向量和星箭对接环所在平面法向量垂直的特性,消除单圆定姿二义性,确定唯一的星箭对接环所在平面的法向量和中心坐标,也就是说,选择与上述第五步得到的摄像机坐标系下与太阳能帆板旋转轴方向向量垂直的星箭对接环所在平面法向量,并根据公式(13),选择该法向量对应的中心坐标,从而确定唯一星箭对接环所在平面的法向量和中心坐标。
第七步,根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵。
根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量t:
t=(Ox,Oy,Oz)T (21)
其中,(Ox,Oy,Oz)表示唯一确定的星箭对接环所在平面的中心坐标;
根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵R:
为了便于分析相对姿态确定的误差,将旋转矩阵R写为欧拉角的形式,令目标航天器绕Xw轴旋转的角度为俯仰角ψ,绕Yw轴旋转的角度为偏航角绕 Zw轴旋转的角度为滚转角γ,将旋转矩阵R以欧拉角的形式按照Xw、Yw、Zw的旋转顺序表示为:
由公式(23)可以计算出欧拉角,表示为:
下面对本发明实施例1提供的上述基于图像特征的航天器单目视觉姿态估计方法的精度进行检测。图3和图4分别给出了目标航天器相对于跟踪航天器的位置绝对误差和位置相对误差。从图3和图4可以看出,所有位置误差都随着单目相机接近目标航天器而减小,这是因为随着单目相机与目标航天器之间距离的减小,图像中对象的分辨率增加,特征提取的误差减小。总体而言,目标航天器相对于跟踪航天器的位置已恢复,相对误差小于1.2%。图5给出了目标航天器相对于跟踪航天器的欧拉角误差,图5显示所有的欧拉角误差都非常小。图3、图4和图5表明本发明实施例1提供的上述基于图像特征的航天器单目视觉姿态估计方法是可行和有效的,可以实现对非合作目标航天器位姿的估计。
本发明提供的上述基于图像特征的航天器单目视觉姿态估计方法,主要用于获取非合作目标航天器相对于跟踪航天器的位置与姿态信息。针对空间非合作航天器未安装用于辅助测量的合作标识、无法利用星间链路向外传输自身信息的问题,提出一种基于星箭对接环及太阳能帆板图像特征的航天器单目视觉姿态估计方法。本发明利用目标航天器的星箭对接环结构与太阳能帆板结构联合定姿,星箭对接环提供圆特征,可利用圆的单个投影图像求解星箭对接环所在平面的法向量;太阳能帆板提供矩形特征,基于平行线消失点原理求解太阳能帆板的旋转轴方向向量;然后根据太阳能帆板旋转轴的方向向量与星箭对接环所在平面的法向量垂直的特性,消除单圆定姿二义性,从而唯一确定星箭对接环所在平面的法向量及中心坐标,由此得到目标航天器相对于跟跟踪航天器完整的相对位姿,并且能够在考虑旋转翼的情况下实现对非合作目标航天器获取完整的相对姿态参数,上述方法计算简单,评估准确,具有良好的工程价值,可以有效估计非合作目标航天器相对于跟踪航天器的相对姿态。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于图像特征的航天器单目视觉姿态估计方法,其特征在于,包括如下步骤:
S1:建立描述航天器姿态的坐标系,包括像素坐标系、图像坐标系、摄像机坐标系、世界坐标系、星箭对接环所在平面坐标系以及太阳能帆板所在平面坐标系,并计算各坐标系之间的转换关系;
S2:对跟踪航天器上单目相机获得的图像进行中值滤波;
S3:利用快速椭圆检测方法,对中值滤波后的图像进行处理,确定星箭对接环所在椭圆的一般函数;
S4:利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标;
S5:对中值滤波后的图像进行霍夫变换,检测所述图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量;
S6:根据摄像机坐标系下太阳能帆板旋转轴方向向量和星箭对接环所在平面法向量垂直的特性,消除单圆定姿二义性,唯一确定星箭对接环所在平面的法向量和中心坐标;
S7:根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵。
2.如权利要求1所述的基于图像特征的航天器单目视觉姿态估计方法,其特征在于,步骤S1中,建立描述航天器姿态的坐标系,具体包括:
像素坐标系Ouv-uv以跟踪航天器上单目相机获得的图像的左上角为原点,横坐标u轴为所述图像所在的行,纵坐标v轴为所述图像所在的列;
图像坐标系Oxy-xy以所述图像的中心为原点,x轴平行于像素坐标系的u轴,y轴平行于像素坐标系的v轴;
摄像机坐标系Oc-XcYcZc以摄像机光心为原点,Zc轴沿光轴方向,Xc轴平行于图像坐标系的x轴,Yc轴平行于图像坐标系的y轴;
以目标航天器本体质心为原点建立世界坐标系Ow-XwYwZw,以星箭对接环所在平面向外的法向量方向作为Zw轴,以平行于太阳能帆板向外的旋转轴方向作为Xw轴,Yw轴分别与Xw轴和Zw轴垂直,并形成右手螺旋系;
在星箭对接环所在平面上建立坐标系OD-XDYDZD,以星箭对接环的圆心为原点,XD轴平行于世界坐标系的Xw轴,YD轴平行于世界坐标系的Yw轴,ZD轴平行于世界坐标系的Zw轴;
在太阳能帆板所在平面上建立坐标系OP-XPYPZP,以太阳能帆板质心为原点,XP轴平行于世界坐标系的Xw轴,以太阳能帆板所在平面向外的法向量方向作为ZP轴,YP轴分别与XP轴和ZP轴垂直,并形成右手螺旋系;
3.如权利要求1所述的基于图像特征的航天器单目视觉姿态估计方法,其特征在于,步骤S2,对跟踪航天器上单目相机获得的图像进行中值滤波,具体包括:
S21:将跟踪航天器上单目相机获得的图像转化为灰度图像;
S22:选取3×3滑动模板,对准灰度图像的前三行前三列像素点;
S23:将模板内所有像素点按照像素值的大小进行排序,生成单调上升或单调下降的二维数据序列,选取二维数据序列中的中值代替模板内中心像素点的像素值;
S24:整个模板右移一列像素点,重复步骤S23,直到该行扫描完成;
S25:整个模板下移一行像素点,重复步骤S23和步骤S24,进行下一行的扫描。
5.如权利要求3所述的基于图像特征的航天器单目视觉姿态估计方法,其特征在于,步骤S4,利用几何法对星箭对接环所在椭圆的一般函数进行求解,获得摄像机坐标系下星箭对接环所在平面的法向量和中心坐标,具体包括:
将式(1)改写为代数形式:
[u v 1]Q[u v 1]T=0 (3)
其中,
由于
其中,Mins为单目相机的内参数矩阵;将式(3)转到摄像机坐标系下,得到摄像机坐标系下的斜椭圆锥Γ方程为:
[Xc Yc Zc]CQ[Xc Yc Zc]T=0 (6)
其中,
在摄像机坐标系原点处建立坐标系Oc-X′Y′Z′,Z′轴平行于星箭对接环所在平面的法线,斜椭圆锥Γ变成正椭圆锥;坐标系Oc-X′Y′Z′与摄像机坐标系Oc-XcYcZc只存在旋转变换;通过旋转变换矩阵P,将CQ转换为对角阵:
PTCQP=diag(λ1,λ2,λ3) (8)
其中,λ1、λ2和λ3是CQ的特征值,且λ1≥λ2>0>λ3;推算坐标系Oc-X′Y′Z′下星箭对接环所在平面的中心坐标O′i和法向量n′i为:
其中,i∈{1,2},r表示星箭对接环所在圆的半径;
将星箭对接环所在平面的中心坐标O′i和法向量n′i转到摄像机坐标系下:
6.如权利要求3所述的基于图像特征的航天器单目视觉姿态估计方法,其特征在于,步骤S5,对中值滤波后的图像进行霍夫变换,检测所述图像中的所有直线段,从检测出的直线段中找到太阳能帆板所在平面的四边形,计算消失点像素坐标,推导在摄像机坐标系下太阳能帆板旋转轴的方向向量,具体包括:
对中值滤波后的图像进行霍夫变换,检测所述图像中的所有线段,从检测出的直线段中检测出四边形集,从所述四边形集中找到太阳能帆板所在平面的四边形p1p2p3p4;太阳能帆板的每组对边通过射影变换后分别产生一个消失点,两个消失点像素坐标(u1v1,v1v1)和(u1v2,v1v2)的计算如下:
将两个消失点的像素坐标转换到焦距归一化成像平面上为:
其中,i∈{1,2};根据射影几何关系可知,消失点在焦距归一化成像平面的成像点坐标既是消失点在摄像机坐标系的位置向量,又是太阳能帆板所在平面坐标系的XP轴在摄像机坐标系中的方向向量,将太阳能帆板所在平面坐标系的XP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
同理,将太阳能帆板所在平面坐标系的YP轴在摄像机坐标系中的方向向量归一化为单位向量,表示为:
根据右手螺旋定则,太阳能帆板所在平面坐标系的ZP轴在摄像机坐标系中的单位向量表示为:
7.如权利要求3所述的基于图像特征的航天器单目视觉姿态估计方法,其特征在于,步骤S7,根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量,根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵,具体包括:
根据唯一确定的星箭对接环所在平面的中心坐标计算目标航天器相对于跟踪航天器的位移向量t:
t=(Ox,Oy,Oz)T (17)
其中,(Ox,Oy,Oz)表示唯一确定的星箭对接环所在平面的中心坐标;
根据唯一确定的星箭对接环所在平面的法向量和太阳能帆板旋转轴方向向量计算目标航天器相对于跟踪航天器的旋转矩阵R:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110274979.1A CN113129371A (zh) | 2021-03-15 | 2021-03-15 | 一种基于图像特征的航天器单目视觉姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110274979.1A CN113129371A (zh) | 2021-03-15 | 2021-03-15 | 一种基于图像特征的航天器单目视觉姿态估计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113129371A true CN113129371A (zh) | 2021-07-16 |
Family
ID=76773124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110274979.1A Pending CN113129371A (zh) | 2021-03-15 | 2021-03-15 | 一种基于图像特征的航天器单目视觉姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113129371A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104154919A (zh) * | 2014-08-13 | 2014-11-19 | 北京邮电大学 | 一种非合作航天器上太阳能帆板三角架结构的位姿自主测量方法 |
WO2015096509A1 (zh) * | 2013-12-26 | 2015-07-02 | 华中科技大学 | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 |
CN108492333A (zh) * | 2018-03-30 | 2018-09-04 | 哈尔滨工业大学 | 基于星箭对接环图像信息的航天器姿态估计方法 |
CN109405835A (zh) * | 2017-08-31 | 2019-03-01 | 北京航空航天大学 | 基于非合作目标直线与圆单目图像的相对位姿测量方法 |
-
2021
- 2021-03-15 CN CN202110274979.1A patent/CN113129371A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015096509A1 (zh) * | 2013-12-26 | 2015-07-02 | 华中科技大学 | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 |
CN104154919A (zh) * | 2014-08-13 | 2014-11-19 | 北京邮电大学 | 一种非合作航天器上太阳能帆板三角架结构的位姿自主测量方法 |
CN109405835A (zh) * | 2017-08-31 | 2019-03-01 | 北京航空航天大学 | 基于非合作目标直线与圆单目图像的相对位姿测量方法 |
CN108492333A (zh) * | 2018-03-30 | 2018-09-04 | 哈尔滨工业大学 | 基于星箭对接环图像信息的航天器姿态估计方法 |
Non-Patent Citations (2)
Title |
---|
LIU YUEYANG ETC.: "Finite-Time Attitude Tracking Control of Spacecraft with Actuator Saturation", 《J. SHANGHAI JIAO TONG UNIV.》 * |
王大轶等: "利用非合作航天器双特征结构的相对姿态确定方法", 《飞控与探测》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kolomenkin et al. | Geometric voting algorithm for star trackers | |
CN113295171B (zh) | 一种基于单目视觉的旋转刚体航天器姿态估计方法 | |
CN106373159A (zh) | 一种简化的无人机多目标定位方法 | |
CN111102981B (zh) | 一种基于ukf的高精度卫星相对导航方法 | |
CN103400345A (zh) | 一种降低tdi-ccd相机图像模糊度的方法 | |
CN108663052B (zh) | 一种星上自主空间非合作目标相对导航相机指向控制方法 | |
CN111273312A (zh) | 一种智能车辆定位与回环检测方法 | |
CN102788579A (zh) | 基于sift算法的无人机视觉导航方法 | |
CN111381256A (zh) | 主动遥感卫星天线相位中心偏移误差计算的方法和系统 | |
CN104406583A (zh) | 双星敏感器联合确定载体姿态方法 | |
CN108750148A (zh) | 航天器帆板二维驱动机构停滞位置在轨辨识方法 | |
CN113129377A (zh) | 一种三维激光雷达快速鲁棒slam方法和装置 | |
CN115761286A (zh) | 复杂海况下基于激光雷达的水面无人艇航行障碍物检测方法 | |
CN103487032A (zh) | 低轨空间相机自由指向像移矢量计算方法 | |
CN116681733B (zh) | 一种空间非合作目标近距离实时位姿跟踪方法 | |
CN113129371A (zh) | 一种基于图像特征的航天器单目视觉姿态估计方法 | |
CN111121779B (zh) | 一种无人机所处飞行区域的实时检测方法 | |
CN111521173B (zh) | 一种基于星敏感器的光轴与天球面交点d坐标的计算方法 | |
CN112577463A (zh) | 姿态参数修正的航天器单目视觉测距方法 | |
CN116878542A (zh) | 一种抑制里程计高度漂移的激光slam方法 | |
CN112378383B (zh) | 基于圆和线特征非合作目标相对位姿双目视觉测量方法 | |
CN112559959B (zh) | 基于特征向量的天基成像非合作目标旋转状态解算方法 | |
CN115131433A (zh) | 一种非合作目标位姿的处理方法、装置及电子设备 | |
CN115544648A (zh) | 一种基于天基观测的卫星轨道确定方法和装置 | |
CN110608724B (zh) | 一种卫星机动成像过程中无偏流姿态的直接求解方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210716 |
|
RJ01 | Rejection of invention patent application after publication |