CN111551151A - 基于双目视觉的临近空间飞行器相对位姿测量方法及装置 - Google Patents

Abstract

本发明基于双目视觉的临近空间飞行器相对位姿测量方法及装置，建立气囊坐标系、吊舱坐标系和测量系统坐标系，建立各坐标系间的关系，通过双目相机采集图像并传送至嵌入式处理器处理，提取合作标识的图像中心位置，计算各合作标识在双目立体视觉测量坐标系下的坐标，并转换到吊舱坐标系下，得到气囊坐标系相对吊舱坐标系的相对位姿。本发明提供的基于双目视觉的临近空间飞行器相对位姿测量方法及装置，基于照明反光的特征合作标识、双目相机及机载嵌入式处理器有效实现临近空间飞行器在飞行过程中气囊和吊舱的相对位姿测量，满足轻量化、低功耗需求，可在复杂的成像条件下从气囊表面提取合作标识，对保障飞行安全、控制飞行运动具有重要意义。

Description

基于双目视觉的临近空间飞行器相对位姿测量方法及装置

技术领域

本发明属于临近空间飞行器技术领域，具体涉及基于双目视觉的临近空间飞行器相对位姿测量方法及装置。

背景技术

临近空间是指高度在20～100km的空域，与传统意义上的航空空间相比，它能提供更多的信息，作为一个新的空域，上可制天，下可制空、制海、制地，将成为未来研究和应用的热点。临近空间飞行器主要由充满氮气的气囊和装载设备的吊舱组成，两者之间由缆绳连接，用于空间和地面探测，因此在飞行中实时测量两者之间的相对位姿关系对于保障飞行安全、控制飞行运动具有重要意义。

目前关于临近空间飞行器的气囊和吊舱相对位姿的测量手段尚无公开发表的相关报道，当前已有的位姿测量方法只能针对单个载体，即气囊和吊舱的位置姿态独立测量，主要使用惯导方法和全球定位系统(GPS)方法。但以上方法无法获取气囊和吊舱之间的相对位姿。视觉测量以其测量范围大、测量过程非接触等优势，在测量领域具有不可替代的地位。因此，基于视觉的位姿测量技术是解决此类问题的一项重要关键技术。

临近空间飞行器的相对位姿测量，旨在解决飞行过程中其气囊相对吊舱的位置姿态的高精度实时测量。临近空间飞行器体积大，相机测量视场大且测量视场朝上，实现各测量系统之间关系的标定是个重要难题。再者，测量系统面临着复杂的成像条件，一是由于对天观测，易受太阳干扰；二是从地面到最高空位置成像条件变化剧烈，靠近地面有大地反光和空气折射，空间亮度均匀，往上至最高空则空气稀薄，导致背光和逆光成像差异巨大，而被测的气囊表面缺乏明显特征，在复杂的成像条件下难以从气囊表面提取特征进行计算。而且，测量系统需安装于吊舱内作为机载设备，这对测量系统的轻量化、低功耗提出了较高要求。

发明内容

为解决现有技术中存在的技术问题，本发明的目的在于提供基于双目视觉的临近空间飞行器相对位姿测量方法及装置。

为实现上述目的，达到上述技术效果，本发明采用的技术方案为：

基于双目视觉的临近空间飞行器相对位姿测量方法，包括以下步骤：

a、飞行测量启动前，将若干个合作标识合理分布粘贴于气囊底表面，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接；

b、建立气囊坐标系和吊舱坐标系，并结合标定靶标建立双目立体视觉测量系统坐标系，并将各坐标系进行统一，标定得到的各项参数导入嵌入式处理器中，准备测量；

c、启动测量后，嵌入式处理器控制照明光源常亮，双目相机连续采集图像并传送至嵌入式处理器中，嵌入式处理器对得到的图像进行处理，提取合作标识的图像中心位置；

d、计算各合作标识在双目立体视觉测量系统坐标系下的坐标，并转换到吊舱坐标系下，得到气囊坐标系相对吊舱坐标系的位置姿态；

e、嵌入式处理器将所得结果实时传输给后端控制器。

进一步的，步骤a中，将黑色吸光布和亮银化纤反光布裁剪制作成X型角点特征作为合作标识，选用九个合作标识作为特征沿气囊骨架粘贴至气囊底表面。

进一步的，步骤a中，所述吊舱外壳上表面设计三个开窗，窗口覆盖镀膜玻璃以隔离吊舱内外，双目相机和照明光源分别安装于吊舱内对应的三个窗口处且方向朝上，调整双目相机和照明光源视角，保证相机和照明视场能够覆盖特征或合作标识运动区间，固定好双目相机的位置，保证在飞行运动过程中双目相机位置不发生变动。

进一步的，步骤b中，气囊坐标系、吊舱坐标系、双目立体视觉测量系统坐标系的建立和标定步骤如下：

(1)双目相机安装前，需在实验室环境下标定好各相机内参；

(2)使用全站仪对气囊上设计时用于定义自身坐标系的特征进行测量，建立气囊坐标系；

(3)将气囊坐标系设置为全站仪内置测量坐标系，测量粘贴好的合作标识的坐标，得到所有合作标识在气囊坐标系下的坐标，并对其按规律进行编号；

(4)使用全站仪对吊舱上设计时用于定义自身坐标系的特征进行测量，建立吊舱坐标系；

(5)使用连杆靶标对固定好的双目相机进行双目结构参数标定，在标定过程中，连杆靶标不断变换位置姿态，同时两个相机分别拍摄连杆两端的光刻靶标，从而标定出两个相机之间的旋转平移关系；

(6)在使用连杆靶标标定双目结构参数的同时，将吊舱坐标系设置为全站仪内置测量坐标系，同步测量连杆靶标上的特征点，得到其在吊舱坐标系下的坐标；在连杆靶标上的光刻靶标和特征点关系已知的条件下，即可标定出吊舱坐标系和双目立体视觉测量系统坐标系之间的旋转平移关系；

(7)将标定结果导入嵌入式处理器中。

进一步的，步骤c中，嵌入式处理器进行图像处理的步骤如下：

(1)测量过程中，嵌入式处理器直接控制照明光源常亮，同时以100Hz频率给出同步触发信号至双目相机，双目相机连续采集图像并将图像通过USB传送至嵌入式处理器中；

(3)在照明光源的照射下，合作标识中的反光材料在图像中显示高亮，而周围的吸光材料在图像中则相比较暗，确定合作标识的位置；

(4)采用Hessian矩阵对X型角点特征对初步筛选后的图像进行亚像素提取，气囊表面及空中背景除合作标识外均缺乏X型角点特征，可鲁棒地获取所需各合作标识的角点在图像中的亚像素中心；

角点像素(x₀，y₀)的Hessian矩阵记为：

该点法线方向的二阶梯度值及法线方向(n_x，n_y)为该点Hessian矩阵的最大绝对特征值和相应的特征向量；

设角点亚像素坐标为(x₀+s，y₀+t)，其中(s，t)∈[-0.5，0.5]*[-0.5，0.5]时，即边缘的一阶过零点在当前像素内，通过对角点(x₀，y₀)内子像素角点的灰度值进行二阶泰勒公式展开，有：

计算可得：

其中，r_xx、r_xy、r_yy分别表示图像在点(x₀，y₀)处x方向的二阶梯度、x方向一阶梯度的y方向一阶梯度以及y方向的二阶梯度；r_x、r_y分别表示图像在点(x₀，y₀)处x方向以及y方向的一阶梯度。

进一步的，步骤d中，具体步骤如下：

(1)通过极线约束和图像序列一致性约束对双目相机同步采集的图像所提取的合作标识进行匹配，得到各合作标识的编号；

(2)对匹配好的各特征点进行双目三维重建，得到双目立体视觉测量系统坐标系下所有合作标识的空间坐标；

(3)将双目立体视觉测量系统坐标系下的合作标识坐标变换到吊舱坐标系下；

(4)在已知了吊舱坐标系下的合作标识坐标，以及标定得到的气囊坐标系下的合作标识坐标后，通过公共点转站计算得到气囊坐标系相对吊舱坐标系的位置姿态变换关系。

进一步的，包括气囊和吊舱，所述气囊底表面设置若干个合作标识，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接，嵌入式处理器与后端控制器连接进行数据传输。

与现有技术相比，本发明的有益效果为：

本发明公开了基于双目视觉的临近空间飞行器相对位姿测量方法及装置，首先建立气囊坐标系、吊舱坐标系和双目立体视觉测量系统坐标系，建立各坐标系间的关系，通过双目相机连续采集图像并将其传送至嵌入式处理器中，嵌入式处理器对得到的图像进行处理，提取合作标识的图像中心位置，计算各合作标识在双目立体视觉测量系统坐标系下的坐标，并转换到吊舱坐标系下，最终通过公共点转站，得到气囊坐标系相对吊舱坐标系的位置姿态；嵌入式处理器计算得到的结果实时传输给后端控制器作为运动反馈。本发明提供的基于双目视觉的临近空间飞行器相对位姿测量方法及装置，基于照明反光的特征合作标识、双目相机以及机载嵌入式处理器，有效实现临近空间飞行器在飞行过程中气囊和吊舱的相对位姿测量，满足轻量化、低功耗需求，可在复杂的成像条件下从气囊表面提取合作标识进行计算，对临近空间飞行器保障飞行安全、控制飞行运动具有重要意义。

附图说明

图1为本发明的步骤框图；

图2为本发明的合作标识在气囊上的布置图；

图3为本发明的电路连接框图；

图4为本发明的测量原理图；

图5为本发明的双目相机与视平面的位置关系图。

具体实施方式

下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1-5所示，基于双目视觉的临近空间飞行器相对位姿测量装置，包括气囊2和吊舱，气囊2底表面设置若干个合作标识1，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接，嵌入式处理器与后端控制器连接进行数据传输。

如图1-5所示，基于双目视觉的临近空间飞行器相对位姿测量方法，包括以下步骤：

a、飞行测量启动前，将合作标识1合理分布粘贴于气囊2底面表面，双目相机、照明光源、嵌入式处理系统安装固定于吊舱内，其中双目相机和照明光源安装于吊舱开窗处且方向朝上，合理调整视角，具体包括以下步骤：

(1)将黑色吸光布和亮银化纤反光布裁剪制作成X型角点特征(黑色吸光布和亮银化纤反光布交替90°分布)作为合作标识，如图2所示，选用9个合作标识1作为特征沿气囊2骨架粘贴至气囊2下表面外；

(2)在吊舱外壳上表面设计三个开窗，窗口覆盖镀膜玻璃以隔离吊舱内外，双目相机(左相机和右相机两个相机)和一个照明光源分别安装于吊舱内对应的三个窗口下，调整相机和照明光源视角，保证相机和照明视场能够覆盖特征运动区间，固定好双目相机的位置，保证在飞行运动过程中相机位置不发生变动；

(3)在吊舱内固定嵌入式处理器，如图3所示，嵌入式处理器与左、右相机之间分别通过USB和同步触发线连接，嵌入式处理器和照明光源之间连接控制线，嵌入式处理器和后端控制器之间通过485总线传输结果数据。

b、测量系统各模块安装固定好后，利用全站仪建立气囊坐标系、吊舱坐标系，并结合标定靶标建立双目立体视觉测量系统坐标系，并将各坐标系进行统一，标定得到的各项参数导入嵌入式处理器中，即可准备开启测量，具体实现步骤如下：

(1)如图4所示，整个系统实现测量需建立气囊坐标系(O_BX_BY_BZ_B)、吊舱坐标系(O_SX_SY_SZ_S)、测量相机坐标系(O_CX_CY_CZ_C)。其中，测量相机坐标系建立在双目相机测量系统的左相机上。实现测量需通过标定获取所有合作标识在气囊坐标系下的坐标(P_t1,P_t2,…,P_t9)、相机坐标系到吊舱坐标系间的旋转平移关系，即旋转矩阵R_CS和平移向量T_CS，以及双目相机之间的结构参数。相机安装前，需在实验室环境下标定好相机内参；

(2)使用全站仪对气囊上设计时用于定义自身坐标系的特征进行测量，建立气囊坐标系；

(3)将气囊坐标系设置为全站仪内置测量坐标系，测量粘贴好的合作标识的坐标，得到所有合作标识在气囊坐标系下的坐标，并对其按规律进行编号；

(4)使用全站仪对吊舱上设计时用于定义自身坐标系的特征进行测量，建立吊舱坐标系；

(5)使用连杆靶标(包括连杆及连杆两端固定的光刻靶标)对固定好的双目相机进行双目结构参数标定，在标定过程中，连杆靶标不断变换位置姿态，同时两个相机分别拍摄两端的光刻靶标，从而标定出两个相机之间的旋转平移关系；

(6)在使用连杆靶标标定双目结构参数的同时，将吊舱坐标系设置为全站仪内置测量坐标系，同步测量连杆靶标上的特征点，得到其在吊舱坐标系下的坐标。在连杆靶标上的光刻靶标和特征点关系已知的条件下，即可标定出吊舱坐标系和双目相机坐标系即双目立体视觉测量系统坐标系之间的旋转矩阵R_CS和平移向量T_CS；

(7)将标定结果导入嵌入式处理器中。

c、启动测量后，嵌入式处理器控制照明光源常亮，并通过控制触发信号以100Hz帧率给出同步触发信息，控制两个相机连续采集图像并将图像传送至嵌入式处理器中，嵌入式处理器对得到的图像进行处理，提取合作标识的图像中心位置。具体步骤如下：

(1)嵌入式处理器是以ARM+GPU为核心的控制和计算单元，可实现处理器的小型化和低功耗，通过两路USB连接两个相机，同时通过两路控制信号连接至相机硬触发信号端，通过一路控制信号连接至照明光源控制开关；

(2)测量过程中，嵌入式处理器直接控制照明光源常亮，同时以100Hz频率给出同步触发信号至相机，相机开始连续采集并将图像通过USB传送至嵌入式处理器中；

(3)在照明光源的照射下，合作标识1中的反光材料在图像中显示高亮，而周围的吸光材料在图像中则相比较暗，通过自适应二值化处理及形态学运算，可将合作标识1的大体位置确定出来；

(4)采用Hessian矩阵对X型角点特征对初步筛选后的图像进行亚像素提取，因气囊表面及空中背景除合作标识外缺乏X型角点特征，因此可鲁棒地获取所需的各合作标识的角点在图像中的亚像素中心。以上图像处理过程通过GPU进行加速，以达到图像快速处理的效果。

d、基于图像处理得到的各合作标识1的图像中心位置，通过双目立体视觉原理，计算各合作标识在双目立体视觉测量系统坐标系下的坐标，进一步转换到吊舱坐标系下，最终通过公共点转站，得到的气囊坐标系相对吊舱坐标系的位置姿态。具体步骤如下：

(1)通过极线约束和图像序列一致性约束对两个相机同步采集的图像所提取的合作标识1进行匹配，得到各合作标识1的编号；

(2)对匹配好的各特征点进行双目三维重建，得到测量相机坐标系下所有合作标识的空间坐标；

(3)将测量相机坐标系下的合作标识坐标通过空间旋转平移，变换到吊舱坐标系下；

(4)在已知了吊舱坐标系下的合作标识坐标，以及标定得到的气囊坐标系下的合作标识坐标后，通过公共点转站，即可计算得到气囊坐标系相对吊舱坐标系的实时旋转矩阵R和平移向量T，此即为测量系统所得的目标参数；

(5)嵌入式处理器计算得到的结果通过485总线实时传输给后端控制器作为运动反馈。

实施例1

如图1-5所示，基于双目视觉的临近空间飞行器相对位姿测量装置，包括气囊2和吊舱，气囊2底表面设置若干个合作标识1，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接，嵌入式处理器与后端控制器通过485总线连接进行数据传输，具体的，左、右相机分别通过USB接口与嵌入式处理器连接。

基于双目视觉的临近空间飞行器相对位姿测量方法，采用照明反光合作标识的方式实现复杂环境光条件下的良好成像；基于ARM+GPU的嵌入式处理器实现机载设备小型化低功耗快速计算，涉及测量过程中各坐标系的建立和现场标定、复杂条件下的目标特征构建和成像方法、以及基于机载嵌入式系统的图像处理和位姿求解方法，为视觉测量的核心技术，是实现测量目标，保证系统测量精度的关键。

基于双目视觉的临近空间飞行器相对位姿测量方法，首先是整个系统中各类坐标系的建立和标定，包括气囊坐标系、吊舱坐标系和测量系统坐标系，建立各坐标系间的关系。

具体步骤为：

a、飞行测量启动前，将若干个合作标识1合理分布粘贴于气囊2底面表面，双目相机、照明光源、嵌入式处理器安装固定于吊舱内，双目相机包括左相机和右相机，双目相机、照明光源与嵌入式处理器连接，通过嵌入式处理器控制照明光源的启闭，其中双目相机和照明光源安装于吊舱开窗处且方向朝上，合理调整视角；双目相机的基线影响最终产品的精确度，与最终精度指标有函数关系，因此根据所需精度设定；

b、各模块安装固定完毕后，利用全站仪建立气囊坐标系和吊舱坐标系，并结合标定靶标建立双目立体视觉测量系统坐标系，并将各坐标系进行统一，标定得到的各项参数导入嵌入式处理器中，即可准备开启测量；

c、启动测量后，嵌入式处理器控制照明光源常亮，并通过控制触发信号以100Hz帧率给出同步触发信息，控制双目相机连续采集图像并将其传送至嵌入式处理器中，嵌入式处理器对得到的图像进行处理，提取合作标识的图像中心位置；

d、嵌入式处理器基于图像处理技术得到的各合作标识的图像中心位置，通过双目立体视觉原理，计算各合作标识1在双目立体视觉测量系统坐标系下的坐标，并转换到吊舱坐标系下，最终通过公共点转站，得到的气囊坐标系相对吊舱坐标系的位置姿态；

e、嵌入式处理器计算得到的结果实时传输给后端控制器作为运动反馈。

步骤a中，将合作标识1、双目相机、照明光源、嵌入式处理器等安装固定并调整视角的具体步骤如下：

(1)将黑色吸光布和亮银化纤反光布裁剪制作成X型角点特征(黑色吸光布和亮银化纤反光布交替90°分布)作为合作标识1，选用九个合作标识1作为特征沿气囊2骨架粘贴至气囊2下表面外部；

(2)在吊舱外壳上表面设计三个开窗，窗口覆盖镀膜玻璃以隔离吊舱内外，双目相机(左相机和右相机两个相机)和一个照明光源分别安装于吊舱内对应的三个窗口下，调整相机和照明光源视角，保证相机和照明视场能够覆盖特征或合作标识1的运动区间，固定好双目相机的位置，保证在飞行运动过程中相机位置不发生变动；

(3)在吊舱内固定嵌入式处理器，并完成其与双目相机、照明光源、供电电源、后端控制器的电气连接。

步骤b中，气囊坐标系、吊舱坐标系、双目立体视觉测量坐标系的建立和标定步骤如下：

(1)双目相机安装前，需在实验室环境下标定好各相机内参；

(2)使用全站仪对气囊2上设计时用于定义自身坐标系的特征进行测量，建立气囊坐标系；

(3)将气囊坐标系设置为全站仪内置测量坐标系，测量粘贴好的合作标识的坐标，得到所有合作标识在气囊坐标系下的坐标，并对其按规律进行编号；

(4)使用全站仪对吊舱上设计时用于定义自身坐标系的特征进行测量，建立吊舱坐标系；

(5)使用连杆靶标(包括连杆及连杆两端固定的光刻靶标)对固定好的双目相机进行双目结构参数标定，在标定过程中，连杆靶标不断变换位置姿态，同时两个相机分别拍摄两端的光刻靶标，从而标定出两个相机之间的旋转平移关系，连杆上两个光刻靶标是相对静止的，有着一个固定的旋转矩阵R和平移矢量T，将连杆靶标设置在双目相机的视场范围内即可，双目相机标定方法采用现有技术即可；

(6)在使用连杆靶标标定双目结构参数的同时，将吊舱坐标系设置为全站仪内置测量坐标系，同步测量连杆靶标上的特征点，得到其在吊舱坐标系下的坐标；在连杆靶标上的光刻靶标和特征点关系已知的条件下，即可标定出吊舱坐标系和双目立体视觉测量系统坐标系之间的旋转平移关系；

(7)将标定结果导入嵌入式处理器中。

步骤c中，嵌入式处理器进行图像处理的步骤如下：

(1)嵌入式处理器是以ARM+GPU为核心的控制和计算单元，可实现处理器的小型化和低功耗，通过两路USB分别连接左相机和右相机两个相机，对两个相机进行图像接收和设置，同时通过两路控制信号连接至相机硬触发信号端，并通过一路控制信号连接至照明光源控制开关；

(2)测量过程中，嵌入式处理器直接控制照明光源常亮，同时以100Hz频率给出同步触发信号至相机，相机开始连续采集并将图像通过USB传送至嵌入式处理器中；

(3)在照明光源的照射下，合作标识1中的反光材料在图像中显示高亮，而周围的吸光材料在图像中则相比较暗，通过自适应二值化处理及形态学运算，可将合作标识1的大体位置确定出来；因合作标识1中两种材质的成像特点对比明显，因此无论是在靠近地面整体照度较强的环境还是在高空背光整体较暗的环境，总可将合作标识1大致分离出来；

(4)采用Hessian矩阵对X型角点特征对初步筛选后的图像进行亚像素提取，因气囊表面及空中背景除合作标识外均缺乏X型角点特征，因此可鲁棒地获取所需各合作标识的角点在图像中的亚像素中心；

角点像素(x₀，y₀)的Hessian矩阵记为：

该点法线方向的二阶梯度值及法线方向(n_x，n_y)为该点Hessian矩阵的最大绝对特征值和相应的特征向量；

设角点亚像素坐标为(x₀+s，y₀+t)，其中(s，t)∈[-0.5，0.5]*[-0.5，0.5]时，即边缘的一阶过零点在当前像素内，通过对角点(x₀，y₀)内子像素角点的灰度值进行二阶泰勒公式展开，有：

计算可得：

其中，r_xx、r_xy、r_yy分别表示图像在点(x₀，y₀)处x方向的二阶梯度、x方向一阶梯度的y方向一阶梯度以及y方向的二阶梯度；r_x、r_y分别表示图像在点(x₀，y₀)处x方向以及y方向的一阶梯度。

步骤d中，具体步骤如下：

(1)通过极线约束和图像序列一致性约束对两个相机同步采集的图像所提取的合作标识进行匹配，得到各合作标识1的编号；

进一步的，在双目测量系统中，将2个视平面分别称为视平面I和视平面II，C₁和C₂分别是视平面I和视平面II的光心。光心连线C₁C₂与视平面I和视平面II的角点分别为E₁和E₂，称为视平面I和II的极点。对于空间一点P，其在视平面I和视平面II的投影分别为P₁和P₂，则由C₁、C₂、P₁、P₂、P所确定的平面称为极平面，极平面与视平面I的交线称为点P₁的极线，称为DE₁，对称地，极平面和视平面II的交线称为P₂的极线，记作DE₂，可以看出视平面I上的任何极线DE₁必然经过极点E₁，视平面II上的任何极线DE2必然通过极点E₂。可得，对于P₁点，它在视平面II上的对应匹配点(P₂)一定在极线DE₂上；同理，对于P₂点，它的匹配点P₁一定在极线DE₁上。在实际匹配过程中，可以通过给定一定的误差范围，在这个范围内的极线带上搜索，当一极线带内有多个后选匹配点时，可以结合图像序列一致性约束进行特征点的匹配；图像序列一致性约束是指2幅图像中同一极线上的对应匹配点的顺序是一致的，不能出现图像特征序列和空间坐标序列交叉的现象，如图4所示；

(2)对匹配好的各特征点进行双目三维重建，得到测量相机坐标系下所有合作标识1的空间坐标；

以左相机为基准，设其获得的特征点图像坐标为(x，y)，通过标定得来的相机的内参以及双目相机的结构参数可得特征点世界坐标的齐次式：

式中，

表示特征点的世界坐标齐次式，x、y是特征点图像坐标的横、纵坐标，内参c_x、c_y是相机的主点坐标，内参f是相机的焦距，T_x是双目相机的基线距，d是双目视差。

(3)将测量相机坐标系下的合作标识坐标通过RT变换到吊舱坐标系下；

在步骤b的(6)中已经得到吊舱坐标系和双目相机坐标系之间的旋转平移关系，即旋转矩阵R和平移矢量T，由双目相机坐标系的特征点坐标可得：

随后，变换到吊舱坐标系下；

其中，

表示从一坐标系2到另一坐标系1的旋转矩阵；

表示右相机坐标系2到左相机坐标系1的平移矢量；

表示某一点在坐标系i下的齐次坐标。

(4)在已知了吊舱坐标系下的合作标识坐标，以及标定得到的气囊坐标系下的合作标识坐标后，通过公共点转站即可计算得到气囊坐标系相对吊舱坐标系的位置姿态变换关系；

公共点转站即利用两个坐标系之间的多组公共点求解两坐标系的空间变换关系，即旋转矩阵R和平移向量T。

由于公共观测点之间的相对位置是固定不变的，因此每一个公共观测点的测量值y_i和x_i之间存在一个刚性的几何变换关系，即：

e_i＝Rx_i+T-y_i (8)

其中，e_i为第i个公共观测点的测量误差引起的转站误差。

为了求解两个坐标系之间的最佳转站参数R和T，构建所有公共观测点的转站误差(RE)的最小二乘函数：

其中，N为参与转站的公共观测点的数量，则使用最小二乘法可以解转站参数R和T。

步骤e中，测量结果即由嵌入式处理器通过485总线实时传输给后端控制器作为运动反馈。

本发明还公开了基于双目视觉的临近空间飞行器相对位姿测量装置，包括气囊2和吊舱，气囊2底表面设置若干个合作标识1，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接，嵌入式处理器与后端控制器连接进行数据传输。

本发明未详细说明的部分采用现有技术即可实现，在此不做赘述。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，包括以下步骤：

a、飞行测量启动前，将若干个合作标识合理分布粘贴于气囊底表面，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接；

b、建立气囊坐标系和吊舱坐标系，并结合标定靶标建立双目立体视觉测量系统坐标系，并将各坐标系进行统一，标定得到的各项参数导入嵌入式处理器中，准备测量；

c、启动测量后，嵌入式处理器控制照明光源常亮，双目相机连续采集图像并传送至嵌入式处理器中，嵌入式处理器对得到的图像进行处理，提取合作标识的图像中心位置；

d、计算各合作标识在双目立体视觉测量系统坐标系下的坐标，并转换到吊舱坐标系下，得到气囊坐标系相对吊舱坐标系的位置姿态；

e、嵌入式处理器将所得结果实时传输给后端控制器。

2.根据权利要求1所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，步骤a中，将黑色吸光布和亮银化纤反光布裁剪制作成X型角点特征作为合作标识，选用九个合作标识作为特征沿气囊骨架粘贴至气囊底表面。

3.根据权利要求1所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，步骤a中，所述吊舱外壳上表面设计三个开窗，窗口覆盖镀膜玻璃以隔离吊舱内外，双目相机和照明光源分别安装于吊舱内对应的三个窗口处且方向朝上，调整双目相机和照明光源视角，保证相机和照明视场能够覆盖合作标识运动区间，固定好双目相机的位置，保证在飞行运动过程中相机位置不发生变动。

4.根据权利要求1所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，步骤b中，气囊坐标系、吊舱坐标系、双目立体视觉测量系统坐标系的建立和标定步骤如下：

(1)双目相机安装前，需在实验室环境下标定好各相机内参；

(2)使用全站仪对气囊上设计时用于定义自身坐标系的特征进行测量，建立气囊坐标系；

(3)将气囊坐标系设置为全站仪内置测量坐标系，测量粘贴好的合作标识的坐标，得到所有合作标识在气囊坐标系下的坐标，并对其按规律进行编号；

(4)使用全站仪对吊舱上设计时用于定义自身坐标系的特征进行测量，建立吊舱坐标系；

(5)使用连杆靶标对固定好的双目相机进行双目结构参数标定，在标定过程中，连杆靶标不断变换位置姿态，同时两个相机分别拍摄连杆两端的光刻靶标，从而标定出双目相机之间的旋转平移关系；

(6)在使用连杆靶标标定双目结构参数的同时，将吊舱坐标系设置为全站仪内置测量坐标系，同步测量连杆靶标上的特征点，得到其在吊舱坐标系下的坐标；在连杆靶标上的光刻靶标和特征点关系已知的条件下，即可标定出吊舱坐标系和双目立体视觉测量系统坐标系之间的旋转平移关系；

(7)将标定结果导入嵌入式处理器中。

5.根据权利要求1所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，步骤c中，嵌入式处理器进行图像处理的步骤如下：

(1)测量过程中，嵌入式处理器直接控制照明光源常亮，同时以100Hz频率给出同步触发信号至双目相机，双目相机连续采集图像并将图像通过USB传送至嵌入式处理器中；

(3)在照明光源的照射下，合作标识中的反光材料在图像中显示高亮，而周围的吸光材料在图像中则相比较暗，确定合作标识的位置；

(4)采用Hessian矩阵对X型角点特征对初步筛选后的图像进行亚像素提取，气囊表面及空中背景除合作标识外均缺乏X型角点特征，可鲁棒地获取所需各合作标识的角点在图像中的亚像素中心。

6.根据权利要求5所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，采用Hessian矩阵对X型角点特征对初步筛选后的图像进行亚像素提取的步骤为：

角点像素(x₀，y₀)的Hessian矩阵记为：

该点法线方向的二阶梯度值及法线方向(n_x，n_y)为该点Hessian矩阵的最大绝对特征值和相应的特征向量；

设角点亚像素坐标为(x₀+s，y₀+t)，其中(s，t)∈[-0.5，0.5]*[-0.5，0.5]时，即边缘的一阶过零点在当前像素内，通过对角点(x₀，y₀)内子像素角点的灰度值进行二阶泰勒公式展开，有：

计算可得：

其中，r_xx、r_xy、r_yy分别表示图像在点(x₀，y₀)处x方向的二阶梯度、x方向一阶梯度的y方向一阶梯度以及y方向的二阶梯度；r_x、r_y分别表示图像在点(x₀，y₀)处x方向以及y方向的一阶梯度。

7.根据权利要求1所述的基于双目视觉的临近空间飞行器相对位姿测量方法，其特征在于，步骤d中，具体步骤如下：

(1)通过极线约束和图像序列一致性约束对双目相机同步采集的图像所提取的合作标识进行匹配，得到各合作标识的编号；

(2)对匹配好的各特征点进行双目三维重建，得到双目立体视觉测量系统坐标系下所有合作标识的空间坐标；

(3)将双目立体视觉测量系统坐标系下的合作标识坐标变换到吊舱坐标系下；

(4)在已知了吊舱坐标系下的合作标识坐标，以及标定得到的气囊坐标系下的合作标识坐标后，通过公共点转站计算得到气囊坐标系相对吊舱坐标系的位置姿态变换关系。

8.采用权利要求1-7任一所述的基于双目视觉的临近空间飞行器相对位姿测量方法的装置，包括气囊和吊舱，其特征在于，所述气囊底表面设置若干个合作标识，双目相机、照明光源和嵌入式处理器固定于吊舱内，双目相机和照明光源均与嵌入式处理器连接，嵌入式处理器与后端控制器连接进行数据传输。

Images