CN104457761B - 基于多目视觉的相对位置和姿态的特征接力方法 - Google Patents

基于多目视觉的相对位置和姿态的特征接力方法 Download PDF

Info

Publication number
CN104457761B
CN104457761B CN201410658370.4A CN201410658370A CN104457761B CN 104457761 B CN104457761 B CN 104457761B CN 201410658370 A CN201410658370 A CN 201410658370A CN 104457761 B CN104457761 B CN 104457761B
Authority
CN
China
Prior art keywords
coordinate system
attitude
posture
relative
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410658370.4A
Other languages
English (en)
Other versions
CN104457761A (zh
Inventor
谭天乐
吴猛
谭龙玉
朱东方
王卫华
耿淼
宋婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinyue Instrument Factory
Original Assignee
Shanghai Xinyue Instrument Factory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinyue Instrument Factory filed Critical Shanghai Xinyue Instrument Factory
Priority to CN201410658370.4A priority Critical patent/CN104457761B/zh
Publication of CN104457761A publication Critical patent/CN104457761A/zh
Application granted granted Critical
Publication of CN104457761B publication Critical patent/CN104457761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/24—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for cosmonautical navigation

Abstract

本发明提供了一种基于多目视觉的相对位置和姿态的特征接力方法，包括以下步骤：步骤一，通过立体视觉三维重构，计算所观测和提取到的目标特征点在跟踪航天器坐标系下的位置坐标，完成相对位置计算；步骤二，每一时刻以观测到的四个特征点中的任意三个点建立坐标系，并计算每两个坐标系之间的姿态矩阵；步骤三，计算当前时刻目标本体坐标系相对跟踪航天器坐标系的姿态，即完成非合作目标相对姿态接力解算。本发明能够完成非合作目标，包括航天器、空间碎片等相对位置和姿态的解算。

Description

基于多目视觉的相对位置和姿态的特征接力方法
技术领域
本发明涉及一种接力方法，具体地，涉及一种基于多目视觉的相对位置和姿态的特征接力方法。
背景技术
随着航天技术尤其是载人航天技术和空间站的发展，空间交会对接技术已经成为各航天大国发展的重要领域，是成功开展空间组装、空间救援、空间站航天员更换及物资补给等在轨服务的先决条件和重要保障。具有非合作目标交会应用背景的航天器之间无人自主交会对接技术更是在清理空间碎片，修理故障卫星，深空探测和小行星着陆等航天任务中发挥着至关重要的作用。完成这些任务的重要前提就是高精度地确定出跟踪航天器和非合作目标的相对位置和姿态。
视觉测量技术把图像当作检测和传递信息的手段或载体加以利用，从图像中提取有用的信号，通过处理被测图像而获得所需的各种参数。具有非接触、全视场测量、高精度和自动化程度高的特点。非合作目标本身、太阳帆板、星箭对接环、远地点发动机、帆板支架或天线支架等均可作为特征点被多目视觉系统进行识别和提取，从而为基于多目视觉的非合作目标相对位置和姿态确定提供了可能。
目前，基于多目视觉的姿态确定研究多是针对合作目标，即使极少数基于多目视觉的非合作目标姿态确定研究仍需要事先获知目标航天器的整体几何模型信息，因此只适用于狭义的非合作目标。仅依靠多目视觉系统完成未知模型的广义非合作目标的相对位置和姿态解算技术尚未见相关报道。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多目视觉的相对位置和姿态的特征接力方法，其能够完成非合作目标，包括航天器、空间碎片等相对位置和姿态的解算。
根据本发明的一个方面，提供一种基于多目视觉的相对位置和姿态的特征接力方法，其特征在于，包括以下步骤：
步骤一，通过立体视觉三维重构，计算所观测和提取到的目标特征点在跟踪航天器坐标系下的位置坐标，完成相对位置计算；
步骤二，每一时刻以观测到的四个特征点中的任意三个点建立坐标系，并计算每两个坐标系之间的姿态矩阵；
步骤三，计算当前时刻目标本体坐标系相对跟踪航天器坐标系的姿态，即完成非合作目标相对姿态接力解算。
优选地，所述步骤一中跟踪航天器双目视觉系统通过对目标航天器图像的拍摄和特征点的提取，得到特征点在焦平面上图像点的位置坐标，然后通过三维重构算法求解出特征点在跟踪坐标系下的坐标，完成相对位置计算。
优选地，所述位置坐标是三维坐标。
优选地，所述步骤二中以首次观测到的三个特征点建立的坐标系作为非合作目标本体坐标系；每时刻观测到的四个特征点，以其中的任意三个特征点建立坐标系，一共可建立四个坐标系；每一时刻都要求取任意两个坐标系之间的姿态矩阵，这样在下一时刻到来时四个特征点中不管哪一个消失，都会剩余一个坐标系进行连续接力。
优选地，所述步骤三中利用当前时刻特征点所建立的坐标系与跟踪航天器坐标系之间的姿态矩阵，根据刚体转动的性质，结合当前时刻特征点坐标系与非合作目标本体坐标系之间的姿态矩阵，求出当前时刻非合作目标本体坐标系相对跟踪航天器坐标系的姿态矩阵，进而求出姿态角，完成姿态解算。
优选地，所述非合作目标是故障卫星或空间碎片。
与现有技术相比，本发明具有如下的有益效果：(1)适用范围广泛。适用于任何非合作目标作任意姿态机动的情况，不需要事先知晓非合作目标的整体几何模型等相关信息。(2)解算方法简单有效。仅依靠双目视觉系统的拍摄、特征提取、三维重构即可实现对非合作目标相对位置和姿态的解算。(3)本发明解决了非合作目标特征点接力问题，仅依靠多目视觉系统即可解算出非合作目标的相对位置和姿态，算法简单、适用范围广。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是双目视觉系统空间点三维坐标计算示意图；
图2(a)、图2(b)、图2(c)分别是非合作目标相对不同位姿解算示意图；
图3是本发明基于多目视觉的相对位置和姿态的特征接力方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明基于多目视觉的相对位置和姿态的特征接力方法包括以下步骤：
步骤一，通过立体视觉三维重构，计算所观测和提取到的目标特征点在跟踪航天器坐标系下的位置坐标，完成相对位置计算；其中，步骤一中跟踪航天器双目视觉系统通过对目标航天器图像的拍摄和特征点的提取，得到特征点在焦平面上图像点的位置坐标，然后通过三维重构算法求解出特征点在跟踪坐标系下的坐标，完成相对位置计算，可以实时得到特征点的位置坐标。位置坐标是三维坐标。
步骤二，每一时刻以观测到的四个特征点中的任意三个点建立坐标系，并计算每两个坐标系之间的姿态矩阵；其中，步骤二中以首次观测到的三个特征点建立的坐标系作为非合作目标本体坐标系；每时刻观测到的四个特征点，以其中的任意三个特征点建立坐标系，一共可建立四个坐标系；每一时刻都要求取任意两个坐标系之间的姿态矩阵，这样在下一时刻到来时四个特征点中不管哪一个消失，都会剩余一个坐标系进行连续接力。
步骤三，计算当前时刻目标本体坐标系相对跟踪航天器坐标系的姿态，即完成非合作目标相对姿态接力解算。其中，步骤三中利用当前时刻特征点所建立的坐标系与跟踪航天器坐标系之间的姿态矩阵，根据刚体转动的性质，结合当前时刻特征点坐标系与非合作目标本体坐标系之间的姿态矩阵，求出当前时刻非合作目标本体坐标系相对跟踪航天器坐标系的姿态矩阵，进而求出姿态角，完成姿态解算。
结合图1～3描述本发明的实施例，本发明基于多目视觉的相对位置和姿态的特征接力方法流程图如图3所示，包括以下步骤：
步骤一、计算所观测和提取到的特征点在跟踪坐标系下的三维坐标。
本发明涉及到如下的坐标系：跟踪航天器左、右摄像机坐标系OL-XLYLZL和OR-XRYRZR，左、右图像平面坐标系OL-ULVL和OR-URVR，跟踪航天器本体坐标系OC-XCYCZC、非合作目标本体坐标系OT-XTYTZT、由可观测特征点建立的多个坐标系Oi-XiYiZi(i＝1,2,3...n)。
如图1所示，设跟踪航天器本体坐标系OC-XCYCZC与左摄像机坐标系OL-XLYLZL重合，像平面坐标系OL-ULVL与OL-XLYLZL平行，OL为OLZL轴与像平面I1的交点，有效焦距为f1，像平面坐标系OR-URVR与OR-XRYRZR平行，OR为ORZR轴与像平面I2的交点，有效焦距为f2，且有f1＝f1＝f，P点在跟踪航天器本体坐标系的坐标为(x,y,z)。OL-XLYLZL坐标系与OR-XRYRZR坐标系之间的旋转矩阵为R，原点之间的平移变换矢量为t，具体如下式(1)和(2)：
由上式可知，对于OC-XCYCZC坐标系中的空间点，两摄像机像面点之间的对应关系为下式(3)：
则空间点P的三维坐标可以表示为式(4)：
由上式可得求解得到目标特征点在跟踪航天器坐标系OC-XCYCZC中的位置坐标。
步骤二、每一时刻以其中任意三个特征点建立坐标系，并计算每两个坐标系之间的姿态矩阵。
如图2(a)、图2(b)、图2(c)所示，将先后出现的特征点分别记为O1、O2、O3…On，由双目视觉系统可以求出每个特征点在跟踪坐标系中的位置坐标(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)…(xn,yn,zn)。假设t1时刻观测到O1、O2、O3、O4四个特征点，任意选择其中3个特征点共可以建立4个坐标系(即O1O2O3，O1O2O4，O1O3O4，O2O3O4)。先对以O1、O2、O3和O2、O3、O4建立的坐标系进行讨论。以O1、O2、O3建立坐标系O1-X1Y1Z1，并将其作为目标航天器本体坐标系OT-XTYTZT，利用矢量 求出基底，如下式(5)：
以O2、O3、O4建立坐标系O2-X2Y2Z2，同理可得基底则O1-X1Y1Z1到跟踪坐标系的姿态转移矩阵为O2-X2Y2Z2到跟踪坐标系的姿态转移矩阵为从而求得O2-X2Y2Z2到O1-X1Y1Z1的姿态转移矩阵C12＝(CC1)-1·CC2。同理，利用其它组三个特征点建立坐标系，可得相对应两坐标系之间的另外六个姿态转移矩阵，此处不再列举。
t2时刻目标航天器旋转或者其它姿态机动导致O1点消失、O5点出现(也可能是O2、O3、O4中的任意一个特征点消失，同样处理)，仍按照上述方法建立坐标系，求取每两个坐标系之间的姿态转移矩阵，比如可以解得O3-X3Y3Z3(以O2、O3、O4建立的坐标系)到O2-X2Y2Z2的姿态转移矩阵C23＝(CC2)-1·CC3。t3时刻、t4时刻……tn时刻的情况均同理可得。
步骤三、计算当前时刻目标航天器本体坐标系相对跟踪坐标系的姿态，完成非合作目标的相对姿态解算。
按照如下步骤解算非合作目标的相对姿态：
(1)t1时刻非作目标航天器坐标系OT-XT YT ZT相对跟踪航天器坐标系OC-XC YC ZC的姿态矩阵为根据姿态旋转矩阵(3-1-2顺序旋转)的定义如下式(6)：
再根据姿态角(滚动角、俯仰角与航向角)与姿态矩阵的关系求出t1时刻姿态角如下式(7)：
(2)t2时刻仍以O1点消失、O5点出现为例进行讨论，首先求得跟踪航天器坐标系OC-XCYCZC到O2-X2Y2Z2的姿态转移矩阵C'C2，然后通过坐标转换得到非合作目标坐标系OT-XT TYZT相对跟踪航天器坐标系OC-XCYCZC的姿态矩阵为如果是O2、O3、O4中的任意一个特征点消失，同理求之。最后根据姿态角与姿态矩阵的关系式(7)可以求解得到t2时刻的姿态角。
(3)t3时刻以O2点消失、O6点出现为例进行讨论，首先求得跟踪航天器坐标系OC-XCYCZC到O3-X3Y3Z3(以特征点O3、O4、O5所建立的坐标系)的姿态矩阵C'C3，然后解算得到非合作目标坐标系OT-XTYTZT相对跟踪航天器坐标系OC-XCYCZC的姿态矩阵为如果是O3、O4、O5中的任意一个特征点消失，同理求之。最后求出t3时刻的姿态角。
同理可以得到t4时刻、t5时刻……tn时刻，非合作目标坐标系OT-XTYTZT相对跟踪航天器坐标系OC-XCYCZC的姿态矩阵以及分别对应的姿态角，完成非合作目标相对姿态解算。
本发明的构思如下：跟踪航天器和非合作目标近距离交会，跟踪航天器安装有双目视觉系统，通过图像的拍摄和特征点的提取，解算非合作目标特征点在跟踪航天器坐标系中的位置坐标，再根据特征点坐标系的接力，解算出非合作目标的相对姿态。假设在跟踪航天器双目视觉系统对非合作目标进行观察时，随着新旧特征点的更迭，每个时刻至少可以提取四个特征点，并且在下一时刻最多有一个特征点消失。跟踪航天器的多目视觉系统由两台相机和相应的计算处理单元组成，假设两相机沿着跟踪坐标系的Y轴方向放置，两相机之间的距离，即基线长度为b，相机的焦距为f，能够同时识别同一个特征点。非合作目标可以是故障卫星或空间碎片等。非合作目标做旋转或者其它姿态机动伴有新特征点出现、旧特征点消失的情况。本发明中用圆柱体代表非合作目标，以旋转运动代表非合作目标的姿态机动。非合作目标相对位置和姿态解算的问题即是实时地解算出非合作目标本体坐标系在跟踪航天器本体坐标系的位置和姿态。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (1)

1.一种基于多目视觉的相对位置和姿态的特征接力方法，其特征在于，包括以下步骤：
步骤一，通过立体视觉三维重构，计算所观测和提取到的目标特征点在跟踪航天器坐标系下的位置坐标，完成相对位置计算；
步骤二，每一时刻以观测到的四个特征点中的任意三个点建立坐标系，并计算每两个坐标系之间的姿态矩阵；
步骤三，计算当前时刻目标本体坐标系相对跟踪航天器坐标系的姿态，即完成非合作目标相对姿态接力解算；
所述步骤一中跟踪航天器双目视觉系统通过对目标航天器图像的拍摄和特征点的提取，得到特征点在焦平面上图像点的位置坐标，然后通过三维重构算法求解出特征点在跟踪坐标系下的坐标，完成相对位置计算；
所述位置坐标是三维坐标；
所述步骤三中利用当前时刻特征点所建立的坐标系与跟踪航天器坐标系之间的姿态矩阵，根据刚体转动的性质，结合当前时刻特征点坐标系与非合作目标本体坐标系之间的姿态矩阵，求出当前时刻非合作目标本体坐标系相对跟踪航天器坐标系的姿态矩阵，进而求出姿态角，完成姿态解算；
所述非合作目标是故障卫星或空间碎片；所述步骤二中以首次观测到的三个特征点建立的坐标系作为非合作目标本体坐标系；每时刻观测到的四个特征点，以其中的任意三个特征点建立坐标系，一共可建立四个坐标系；每一时刻都要求取任意两个坐标系之间的姿态矩阵，这样在下一时刻到来时四个特征点中不管哪一个消失，都会剩余一个坐标系进行连续接力。
CN201410658370.4A 2014-11-18 2014-11-18 基于多目视觉的相对位置和姿态的特征接力方法 Active CN104457761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410658370.4A CN104457761B (zh) 2014-11-18 2014-11-18 基于多目视觉的相对位置和姿态的特征接力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410658370.4A CN104457761B (zh) 2014-11-18 2014-11-18 基于多目视觉的相对位置和姿态的特征接力方法

Publications (2)

Publication Number Publication Date
CN104457761A CN104457761A (zh) 2015-03-25
CN104457761B true CN104457761B (zh) 2017-10-24

Family

ID=52904197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410658370.4A Active CN104457761B (zh) 2014-11-18 2014-11-18 基于多目视觉的相对位置和姿态的特征接力方法

Country Status (1)

Country Link
CN (1) CN104457761B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534202B (zh) * 2015-05-22 2019-10-01 华为技术有限公司 一种测量天线姿态的方法和装置
US9558424B2 (en) * 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
CN105302156B (zh) * 2015-12-03 2018-01-30 上海新跃仪表厂 一种地面验证系统及追踪航天器的轨迹规划方法
CN106197395A (zh) * 2016-03-23 2016-12-07 南京航空航天大学 一种基于ni‑cvs的气浮台位置姿态确定方法
CN106228563B (zh) * 2016-07-29 2019-02-26 杭州鹰睿科技有限公司 基于三维视觉的自动装配系统
CN107270933B (zh) * 2017-05-16 2019-12-20 北京控制工程研究所 一种基于多星协同的空间碎片运动状态联合确定方法
CN107289931B (zh) * 2017-05-23 2019-09-27 北京小鸟看看科技有限公司 一种定位刚体的方法、装置和系统
CN107831515B (zh) * 2017-10-10 2019-11-01 北京臻迪科技股份有限公司 水下定位方法和系统
CN108376411B (zh) * 2018-01-16 2021-09-21 上海交通大学 一种基于双目视觉的非合作目标相对状态解算方法
CN109000622A (zh) * 2018-05-18 2018-12-14 中国科学院光电研究院 一种基于深度学习的水下定位方法及系统
CN109631911B (zh) * 2018-12-17 2021-02-05 浙江大学 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN110030979B (zh) * 2019-03-11 2020-11-20 北京空间飞行器总体设计部 一种基于序列图像的空间非合作目标相对位姿测量方法
CN110887461B (zh) * 2019-11-19 2021-04-06 西北工业大学 基于gps姿态估计的无人机实时计算机视觉处理方法
CN110989643B (zh) * 2019-11-29 2023-12-19 北京特种机械研究所 一种基于多目视觉的无人机夜间植保系统
CN111377065B (zh) * 2020-03-09 2021-11-16 西北工业大学 一种多航天器协同识别目标姿态参数的方法
CN114964266B (zh) * 2022-07-26 2022-10-21 中国人民解放军国防科技大学 基于多视觉矢量的运动状态协同群组相对姿态确定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Pose measurement of large non-cooperative satellite based on collaborative cameras";Xiaodong Du 等，;《Acta Astronautica》;20101203;第68卷;2047-2065页 *
"基于双目视觉的航天器间相对位置和姿态的测量方法";张庆君 等，;《宇航学报》;20080131;第29卷(第1期);156-161页 *
"基于立体视觉的非合作目标位姿测量";徐培智 等，;《计算机与现代化》;20130831(第8期);85-91页 *
"空间非合作目标的近距离相对位姿测量技术研究";魏许;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第6期);1、26-27、33-36页 *

Also Published As

Publication number Publication date
CN104457761A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104457761B (zh) 基于多目视觉的相对位置和姿态的特征接力方法
CN101839721B (zh) 自主交会对接中的视觉导航方法
Martínez et al. Pose estimation and tracking of non-cooperative rocket bodies using time-of-flight cameras
CN102607526B (zh) 双介质下基于双目视觉的目标姿态测量方法
Yu et al. Stereo-vision-based relative pose estimation for the rendezvous and docking of noncooperative satellites
CN102620656B (zh) 一种航天器交会对接相对位姿测量方法
JP6023831B2 (ja) 仮想参照画像を用いた位置及び向きの検出のための方法
CN102607534B (zh) 基于运动恢复结构的卫星相对姿态测量方法
CN105021184A (zh) 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN103745458A (zh) 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN102116626B (zh) 星点轨迹图像的节点预测修正方法
CN109612438B (zh) 一种虚拟共面条件约束下的空间目标初轨确定方法
CN106525001A (zh) 地球静止轨道遥感卫星相机视轴空间指向计算方法
CN110412868A (zh) 一种使用星间光学图像的非合作航天器轨道确定方法
CN108122255A (zh) 一种基于梯形与圆形组合地标的无人机位姿估计方法
Fu et al. Autonomous landing of a quadrotor on an UGV
Chiodini et al. Robust visual localization for hopping rovers on small bodies
Lacroix et al. Digital elevation map building from low altitude stereo imagery
Lim et al. Model-free pose estimation using point cloud data
Yu et al. Database construction for vision aided navigation in planetary landing
Du et al. Pose estimation of large non-cooperative spacecraft based on extended PnP model
Feng et al. Pose and motion estimation of unknown tumbling spacecraft using stereoscopic vision
Lim et al. Pose estimation using a flash lidar
Zhao et al. Multi-spacecraft collaborative attitude determination of space tumbling target with experimental verification
Adams et al. Interplanetary optical navigation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant