CN114663492B - 一种利用事件相机作为星敏感器的飞行器姿态确定方法 - Google Patents

Abstract

本发明公开了一种利用事件相机作为星敏感器的飞行器姿态确定方法，首先通过安装在飞行器上的事件相机获得事件信息；然后将事件信息进行时空聚合；接下来通过星图匹配和求解PnP问题，得到相机的绝对位姿；之后应用五点法求解本质矩阵，得到相邻两帧的相对位姿；再利用相对位姿对绝对位姿进行优化；最后对求得的位姿进行全局优化，得到任意时刻相机位姿的三轴表示；采用本发明方法，可以使系统整体功耗更低，动态范围更高，灵敏度更高，并且能实现与现有同分辨率星敏感器更高的精度。

Description

一种利用事件相机作为星敏感器的飞行器姿态确定方法

技术领域

本发明属于航天与计算机视觉技术领域，具体涉及一种飞行器姿态确定方法。

背景技术

星敏感器是通过识别和追踪恒星模式来估计航天器的姿态的光学设备，本研究中以事件相机来追踪恒星，可以以较传统的光学传感器更低的功耗和更快的运行速度来实现更高帧率的姿态确定。

传统星敏感器利用CCD相机作为光学传感器来获取图像信息，其工作原理为：使用光学传感器拍摄星图，利用获得的图像信息对星点质心进行定位，随后配合星图识别算法(与导航星库内的信息进行匹配)以及姿态解算算法(通过跟踪算法模块和局部位置星图提取/识别)获得最终飞行器的位姿信息。

目前在星敏感器这个方向相关技术主要集中于算法部分，包括星点质心算法、星图识别算法、星敏感器姿态解算算法、星敏感器在轨道标定算法等。其中，星点质心算法是一种计算恒星在CCD相机拍摄星图中的准确位置的算法，该算法的核心内容大致包括基于阈值的质心定位算法、提取星点的二元线性插值法、去除随机噪声和系统噪声的简化模型以及利用BP神经网路对误差进行补偿。星图识别算法部分包括利用三角形算法、使用线型数据库搜索的方式的基于星座特征的星图识别算法，基于字符模式的图像识别算法以及利用了遗传算法的智能行为的识别算法。上述星图识别算法中基于字符模式的图像识别算法以及基于只能行为的图像识别算法提出时间较晚，潜力较大。关于星敏感器的姿态解算算法，根据计算方法不同，姿态解算算法可分为确定性的姿态解算算法以及动态滤波估计算法两种。其中，确定性姿态解算算法一般为两种，一种是单点批量处理算法，通过求解特征向量的最优四元数解，运算效率高，应用最广泛。另一种是利用两个互不平行矢量计算姿态矩阵，得到解是非最优的。动态滤波估计算法有五种常用的算法，分别是EKF算法、UKF算法、滤波QUEST算法、RE-QUEST算法和粒子滤波算法。上述五种算法中EKF算法发展成熟，应用广泛，但鲁棒性不强，易于发散，对强非线性估计问题不能得到最优解，服从高斯分布假设条件；UKF算法收敛性好，能够在大误差的初始条件下得到比较优化的结果，服从高斯分布假设条件；滤波QUEST算法的扩展，算法容易实现，但是精度较差；RE-QUEST算法是QUEST算法的推广，在数学原理上与滤波QUEST算法等同；粒子滤波算法基于序列蒙特卡洛的方法，可以解决非线性、非高斯分布和非平稳状态的滤波估计问题，计算量大，实现比较困难。

本发明采用事件相机作为新型的星敏感器，有关事件相机也已经有部分相关研究。目前的技术可以通过事件相机提供的数据流分析解决问题。通过望远镜的实地试验，可以利用事件相机观测空间目标；使用基于事件的概率多重假设跟踪器，实现跟踪目标对象；通过基于事件的目标检测和跟踪算法，实现空间态势感知；利用事件相机的低功耗和高时间分辨率，通过建立一个包括新的旋转平均和光束平差公式的算法流程，实现了基于帧的恒星跟踪；通过基于事件的多分辨率异步Hough变换星跟踪处理方法，能够实现在资源受限的平台上异步高效处理事件流。

综上，现有的利用CCD相机作为星敏感器的方案的缺点是星敏感器存在的实时性难以保证、设备重量和体积较大、功耗较高、动态范围较小、灵敏度较差。现有技术也主要局限于对于传统基于图像CCD相机的星敏感器的算法研究，以及将事件相机应用到检测、跟踪、去模糊等传统计算机视觉领域。本发明结合航天应用背景，将事件相机作为星敏感器应用于飞行器的姿态确定，以充分利用事件相机的特点，提升飞行器姿态。

发明内容

为了克服现有技术的不足，本发明提供了一种利用事件相机作为星敏感器的飞行器姿态确定方法，首先通过安装在飞行器上的事件相机获得事件信息；然后将事件信息进行时空聚合；接下来通过星图匹配和求解PnP问题，得到相机的绝对位姿；之后应用五点法求解本质矩阵，得到相邻两帧的相对位姿；再利用相对位姿对绝对位姿进行优化；最后对求得的位姿进行全局优化，得到任意时刻相机位姿的三轴表示；采用本发明方法，可以使系统整体功耗更低，动态范围更高，灵敏度更高，并且能实现与现有同分辨率星敏感器更高的精度。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：通过安装在飞行器上的事件相机获得事件信息；

采用事件相机捕捉星体事件信息，根据星体亮度的变化输出一系列极性数据，当亮度增加时极性为正，标为正事件；当亮度减小时极性为负，标位负事件；

步骤2：将事件信息进行时空聚合；

获得事件信息后，将事件信息数据聚合到(n+m)×w×h的体素网格中，其中n为正事件个数，m为负事件个数，w为体素网格宽度，h为体素网格高度；通过聚合，将事件信息数据稀疏的时间数据流转化到图像平面上，得到一系列的图像其中Image_g为第g张图像，g为图像帧的序号，在指定时间内共生成了N帧，用于后续位姿估计；

步骤3：求解相机的绝对位姿；

步骤3-1：进行星图匹配；

对于步骤2获取的图像，将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别；

即通过星图匹配获取图像中的星体的二维坐标w∈R²与星表数据库中星体的三维姿态W∈R³的2D-3D匹配：其中n为识别到的星体的数量，i为星体的序号，三轴角度向量W_i＝(pitch_i，yall_i，roll_i)；pitch_i，yall_i，roll_i分别表示第i个星体位置的俯仰角、偏航角以及翻滚角；将图像中每个星体作为观测点；

步骤3-2：通过解PnP问题来求解相邻两帧之间的旋转矩阵；

获取到图像中星体的2D与3D匹配后，在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计：将世界坐标系原点与相机坐标系原点重合，以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向，并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标，即每一个观测点计算：

x＝cos(pitch)×sin(yaw)

y＝cos(pitch)×cos(yaw)

z＝sin(pitch)

将观测点三轴角度向量映射到球面上的点的三维坐标V＝(x，y，z)；

采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p作为特征点，求解当前时刻相机相对于初始状态的位姿：

P_m＝{p₁，p₂，p₃}，P_m+1＝{p₁′，p₂′，p₃′}

其中P_m表示初始状态的位姿，P_m+1表示当前状态的位姿；

求解欧式变换R_h、t_h来使得：

其中V_h和V_h+1分别表示前帧相机三轴位姿和后帧相机三轴位姿；

由于相机坐标系与世界坐标系的原点重合，故平移矩阵t_h忽略不计，由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵R_h；

步骤3-3：利用上述结果求解当前相机绝对位姿

相机位姿由三轴角度向量X＝(pitch，yaw，roll)表示，与步骤3-2中方法相同，建立X与V的三轴角度-单位球面点坐标映射；pitch，yaw，roll分别表示相机的俯仰角、偏航角以及翻滚角；

规定相机初始位置的X₀＝(1，0，0)，经过单位球面点坐标-三轴角度逆映射：

roll＝0

求得当前相机位姿W_now＝(pitch_now，yaw_now，roll_now)；pitch_now，yaw_now，roll_now分别表示相机当前位置的俯仰角、偏航角以及翻滚角；

步骤4：求解相机的相对位姿；

相邻两帧的事件图像满足2D-2D的对极约束，利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系；

设在一帧图像中，星体的三维坐标为P_g，根据针孔相机模型，有：

p_g＝KP_g，p_v＝K(RP_v+t)

其中p_g和p_v为相邻两幅图像的同一个星体的二维坐标点，K为相机的内参矩阵，R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵；

对极约束关系用数学关系表示为：

其中，规定本质矩阵E＝t^R；

步骤4-1：应用五点法求解本质矩阵；

本质矩阵的奇异值必然为[σ，σ，0]^T的形式，加之平移与旋转的三个自由度，通过最少五对已知点的映射求解初本质矩阵，如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解；

针对选择这八对点的问题，采用RANSAC方法，即通过随机抽样迭代，选择出两点匹配最优的八组点对，解线性方程组即能求解出本质矩阵E；

步骤4-2：利用本质矩阵求解相邻两帧的相对位姿；

利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程，得到相邻两帧之间相对旋转矩阵R_g，v；

步骤5：利用相对位姿对绝对位姿进行优化；

设定优化函数：

其中R_g与R_v分别为第g帧与第v帧的绝对旋转矩阵，其中R_g，v为两帧之间的相对旋转矩阵，得到优化后的每一帧新的绝对旋转矩阵

步骤6：对求得的位姿进行全局优化，得到任意时刻相机位姿的三轴表示；

首先定义星迹

Y_s＝{y_g，s∈R²|η(g，s)＝1}，

其中，y_g，s为第s个星体在第g张时间图像中的2D坐标，S为识别到的星体总量；

为了采用非线性最小二乘法进行优化，定义最优化方程如下：

其中X_s∈R³，表示第s个点的三维坐标，满足并且‖‖X_s||₂＝1；

为了解决此非线性最小化二乘问题，给定初值

由此得到经过全局优化后的每一帧的绝对旋转矩阵

利用这些不同时刻的绝对旋转矩阵，通过相机初始位姿三维坐标表示V₀＝{1，0，0}进行欧式变换V_g＝R_g×V₀来求得任意时刻的相机三维位姿表示，再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示X_g＝{pitch_g，yaw_g，roll_g}，pitch_g，yaw_g，roll_g分别表示相机任意时刻位置的俯仰角、偏航角以及翻滚角，即飞行器的姿态。

本发明的有益效果如下：

与传统的星敏感器方案相比，采用本发明方法，可以使系统整体功耗更低，动态范围更高，灵敏度更高，并且能实现与现有同分辨率星敏感器更高的精度。同时解决了传统设备重量和体积较大的问题，迎合了当前星敏感器的发展需要，具有广阔的应用价值。

附图说明

图1为本发明飞行器在太空中利用星敏感器进行姿态确定过程的原理示意图。

图2为本发明利用事件相机作为星敏感器进行位姿估计的流程示意图。

图3为本发明实施例单台相机算法检验仿真平台的搭建示意图。

图4为本发明事件相机算法部分示意图。

图5为本发明实施例多台相机算法检验仿真平台的搭建示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

针对星敏感器对于设备高鲁棒性以及敏感性等方面的迫切需求以及上述现有方案的缺点以及研究的局限性，基于上述的相关研究，本发明专利提供一种利用事件相机而非传统CCD相机作为星敏感器确定飞行器姿态的方法，利用一个或多个事件相机获取事件信息，在一段时间内利用时间信息合成图像，对图像进行计算机视觉方法处理，获得相机旋转矩阵并进行优化。

步骤1：通过安装在飞行器上的事件相机获得事件信息；

采用事件相机捕捉星体事件信息，根据星体亮度的变化输出一系列极性数据，当亮度增加时极性为正，标为正事件；当亮度减小时极性为负，标位负事件；

步骤2：将事件信息进行时空聚合；

获得事件信息后，将事件信息数据聚合到(n+m)×w×h的体素网格中，其中n为正事件个数，m为负事件个数，w为体素网格宽度，h为体素网格高度；通过聚合，将事件信息数据稀疏的时间数据流转化到图像平面上，得到一系列的图像其中Image_g为第g张图像，g为图像帧的序号，在指定时间内共生成了N帧，用于后续位姿估计；

步骤3：求解相机的绝对位姿；

步骤3-1：进行星图匹配；

对于步骤2获取的图像，将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别；

即通过星图匹配获取图像中的星体的二维坐标w∈R²与星表数据库中星体的三维姿态W∈R³的2D-3D匹配：其中n为识别到的星体的数量，i为星体的序号，三轴角度向量W_i＝(pitch_i，yall_i，roll_i)；将图像中每个星体作为观测点；

步骤3-2：通过解PnP问题来求解相邻两帧之间的旋转矩阵；

获取到图像中星体的2D与3D匹配后，在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计：将世界坐标系原点与相机坐标系原点重合，以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向，并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标，即每一个观测点计算：

x＝cos(pitch)×sin(yaw)

y＝cos(pitch)×cos(yaw)

z＝sin(pitch)

将观测点三轴角度向量映射到球面上的点的三维坐标V＝(x，y，z)；

采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p作为特征点，求解当前时刻相机相对于初始状态的位姿：

P_m＝{p₁，p₂，p₃}，P_m+1＝{p₁′，p₂′，p₃′}

其中P_m表示初始状态的位姿，P_m+1表示当前状态的位姿；

求解欧式变换R_h、t_h来使得：

其中V_h和V_h+1分别表示前帧相机三轴位姿和后帧相机三轴位姿；

由于相机坐标系与世界坐标系的原点重合，故平移矩阵t_h忽略不计，由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵R_h；

步骤3-3：利用上述结果求解当前相机绝对位姿；

相机位姿由三轴角度向量X＝(pitch，yaw，roll)表示，与步骤3-2中方法相同，建立X与V的三轴角度-单位球面点坐标映射；

规定相机初始位置的X₀＝(1，0，0)，经过单位球面点坐标-三轴角度逆映射：

roll＝0

求得当前相机位姿W_now＝(pitch_now，yaw_now，roll_now)；

步骤4：求解相机的相对位姿；

相邻两帧的事件图像满足2D-2D的对极约束，利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系；

设在一帧图像中，星体的三维坐标为P_g，根据针孔相机模型，有：

p_g＝KP_g，p_v＝K(RP_v+t)

其中p_g和p_v为相邻两幅图像的同一个星体的二维坐标点，K为相机的内参矩阵，R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵；

对极约束关系用数学关系表示为：

其中，规定本质矩阵E＝t^R；

步骤4-1：应用五点法求解本质矩阵；

本质矩阵的奇异值必然为[σ，σ，0]^T的形式，加之平移与旋转的三个自由度，通过最少五对已知点的映射求解初本质矩阵，如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解；

针对选择这八对点的问题，采用RANSAC方法，即通过随机抽样迭代，选择出两点匹配最优的八组点对，解线性方程组即能求解出本质矩阵E；

步骤4-2：利用本质矩阵求解相邻两帧的相对位姿；

利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程，得到相邻两帧之间相对旋转矩阵R_g，v；

步骤5：利用相对位姿对绝对位姿进行优化；

设定优化函数：

其中R_g与R_v分别为第g帧与第v帧的绝对旋转矩阵，其中R_g，v为两帧之间的相对旋转矩阵，得到优化后的每一帧新的绝对旋转矩阵

步骤6：对求得的位姿进行全局优化，得到任意时刻相机位姿的三轴表示；

首先定义星迹

Y_s＝{y_g，s∈R²|η(g，s)＝1}，

其中，y_g，s为第s个星体在第g张时间图像中的2D坐标，S为识别到的星体总量；

为了采用非线性最小二乘法进行优化，定义最优化方程如下：

其中X_s∈R³，表示第s个点的三维坐标，满足并且||X_s||₂＝1；

为了解决此非线性最小化二乘问题，给定初值

由此得到经过全局优化后的每一帧的绝对旋转矩阵

利用这些不同时刻的绝对旋转矩阵，通过相机初始位姿三维坐标表示V₀＝{1，0，0}进行欧式变换V_g＝R_g×V₀来求得任意时刻的相机三维位姿表示，再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示X_g＝{pitch_g，yaw_g，roll_g}，即飞行器的姿态。

在这个过程中，事件相机的工作机制主要为：当某个像素所处位置的亮度值发生变化时，相机就会回传一个上述格式的事件，其中前两项为事件的像素坐标，第三项为事件发生的时间戳，最后一项取值为极性正负，代表亮度是由低到高还是由高到低。在整个相机视野内，只要有一个像素值变化，就会回传一个事件，这些所有的事件都是异步发生的(再小的时间间隔也不可能完全同时)，所以事件的时间戳均不相同。和传统相机相比，它具有低时延的特性，可以捕获很短时间间隔内的像素变化。

星敏感器基本工作原理为恒星所发出的星光经光学系统成像在探测器靶面上，由成像系统拍摄视轴指向星空的图像，通过信号处理电路对数字化后的星图进行处理，主要包括恒星目标检测(星提取)、星识别、姿态计算等过程，最后确定星敏感器光轴在惯性空间中的指向，再利用已知的星敏感器与载体的安装角和此指向就可以完成载体三轴瞬时姿态的测量。

具体实施例：

星敏感器的主要应用为在飞行器上利用其观测太空中的恒星，通过数据处理获得自身的位姿信息，如图1。

本发明的研究角度包括单一相机或多相机同时进行事件信息捕捉。

事件相机作为星敏感器的工作原理如图2所示，恒星光通过镜头在探测器平面上成像，多个星点组合成实测星图，该图像还与探测器安装方向与像元读取顺序有关。实测星图经过探测器光电采样后形成数字化星图，随后传入微处理器进行处理。

本发明提供了一种在实验室用单台相机仿真太空观测环境的平台，如图3所示。将事件相机固定，观察显示器。在显示器上显示运动的星图。将事件相机与运算设备连接，运行程序，观察程序返回值可以看出算法的效果。

1.系统组成

本实施例的算法如图4所示，本实施例提供的算法依赖的硬件系统由观测设备、计算设备以及仿真显示设备组成。本实施例通过观测设备对仿真显示设备上的模拟环境图像进行信息收集后于计算设备上进行运算处理，计算出相机在模拟环境中的旋转角度，通过计算结果与真值的对比来验证算法的准确性。

2.仿真显示端

仿真显示设备指一台显示星图的显示器，星图由软件依照星表数据库呈现。该显示端可以按照给定的旋转速度与角度进行显示内容的旋转与移动，达到对于太空环境中飞行器观测状态的仿真效果。

3.观测端

单个观测段包含一台事件相机，一个通信总线接入设备，以及一台计算设备。观测端负责观测仿真显示设备上的内容，输出事件信息。

4.计算端

计算端包含一台计算设备贺一个通信总线接入设备。计算段接入通信总线，汇总来自各个观测段输出的事件信息流，通过本发明提供的利用事件信息聚合成体素网格，进而通过图像处理算法对收集到的信息进行运算处理。

除此，本发明还提供了一种含有多台多视角相机的装置，如图5所示，包含多台时间相机、运算器、存储器，能够多角度、全方位捕捉场景的事件信息，存储到存储器中，并输入到本发明提供的根据事件信息得到相机即飞行器位姿的程序中，在运算器中运行程序，以实现如上所述的位姿估计步骤。

Claims (1)

1.一种利用事件相机作为星敏感器的飞行器姿态确定方法，其特征在于，包括如下步骤：

步骤1：通过安装在飞行器上的事件相机获得事件信息；

采用事件相机捕捉星体事件信息，根据星体亮度的变化输出一系列极性数据，当亮度增加时极性为正，标为正事件；当亮度减小时极性为负，标位负事件；

步骤2：将事件信息进行时空聚合；

获得事件信息后，将事件信息数据聚合到(n+m)×w×h的体素网格中，其中n为正事件个数，m为负事件个数，w为体素网格宽度，h为体素网格高度；通过聚合，将事件信息数据稀疏的时间数据流转化到图像平面上，得到一系列的图像其中Image_g为第g张图像，g为图像帧的序号，在指定时间内共生成了N帧，用于后续位姿估计；

步骤3：求解相机的绝对位姿；

步骤3-1：进行星图匹配；

对于步骤2获取的图像，将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别；

即通过星图匹配获取图像中的星体的二维坐标w∈R²与星表数据库中星体的三维姿态W∈R³的2D-3D匹配：其中n为识别到的星体的数量，i为星体的序号，三轴角度向量W_i＝(pitch_i，yall_i，roll_i)；pitch_i，yall_i，roll_i分别表示第i个星体位置的俯仰角、偏航角以及翻滚角；将图像中每个星体作为观测点；

步骤3-2：通过解PnP问题来求解相邻两帧之间的旋转矩阵；

获取到图像中星体的2D与3D匹配后，在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计：将世界坐标系原点与相机坐标系原点重合，以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向，并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标，即每一个观测点计算：

x＝cos(pitch)×sin(yaw)

y＝cos(pitch)×cos(yaw)

z＝sin(pitch)

将观测点三轴角度向量映射到球面上的点的三维坐标V＝(x，y，z)；

采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p 作为特征点，求解当前时刻相机相对于初始状态的位姿：

P_m＝{p₁，p₂，p₃}，P_m+1＝{p_1′，p_2′，p_3′}

其中P_m表示初始状态的位姿，P_m+1表示当前状态的位姿；

求解欧式变换R_h、t_h来使得：

其中V_h和V_h+1分别表示前帧相机三轴位姿和后帧相机三轴位姿；

由于相机坐标系与世界坐标系的原点重合，故平移矩阵t_h忽略不计，由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵R_h；

步骤3-3：利用上述结果求解当前相机绝对位姿

相机位姿由三轴角度向量X＝(pitch，yaw，roll)表示，与步骤3-2中方法相同，建立X与V的三轴角度-单位球面点坐标映射；pitch，yaw，roll分别表示相机的俯仰角、偏航角以及翻滚角；

规定相机初始位置的X₀＝(1，0，0)，经过单位球面点坐标-三轴角度逆映射：

roll＝0

求得当前相机位姿W_now＝(pitch_now，yaw_now，roll_now)；pitch_now，yaw_now，roll_now分别表示相机当前位置的俯仰角、偏航角以及翻滚角；

步骤4：求解相机的相对位姿；

相邻两帧的事件图像满足2D-2D的对极约束，利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系；

设在一帧图像中，星体的三维坐标为P_g，根据针孔相机模型，有：

p_g＝KP_g，p_v＝K(RP_v+t)

其中p_g和p_v为相邻两幅图像的同一个星体的二维坐标点，K为相机的内参矩阵，R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵；

对极约束关系用数学关系表示为：

其中，规定本质矩阵E＝t^R；

步骤4-1：应用五点法求解本质矩阵；

本质矩阵的奇异值必然为[σ，σ，0]^T的形式，加之平移与旋转的三个自由度，通过最少五对已知点的映射求解初本质矩阵，如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解；

针对选择这八对点的问题，采用RANSAC方法，即通过随机抽样迭代，选择出两点匹配最优的八组点对，解线性方程组即能求解出本质矩阵E；

步骤4-2：利用本质矩阵求解相邻两帧的相对位姿；

利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程，得到相邻两帧之间相对旋转矩阵R_g，v；

步骤5：利用相对位姿对绝对位姿进行优化；

设定优化函数：

其中R_g与R_v分别为第g帧与第v帧的绝对旋转矩阵，其中R_g，v为两帧之间的相对旋转矩阵，得到优化后的每一帧新的绝对旋转矩阵

步骤6：对求得的位姿进行全局优化，得到任意时刻相机位姿的三轴表示；

首先定义星迹

Y_s＝{y_g，s∈R²|η(g，s)＝1}，

其中，y_g，s为第s个星体在第g张时间图像中的2D坐标，S为识别到的星体总量；

为了采用非线性最小二乘法进行优化，定义最优化方程如下：

其中X_s∈R³，表示第s个点的三维坐标，满足并且||X_s||₂＝1；

为了解决此非线性最小化二乘问题，给定初值

由此得到经过全局优化后的每一帧的绝对旋转矩阵

利用这些不同时刻的绝对旋转矩阵，通过相机初始位姿三维坐标表示V₀＝{1，0，0}进行欧式变换V_g＝R_g×V₀来求得任意时刻的相机三维位姿表示，再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示X_g＝{pitch_g，yaw_g，roll_g}，pitch_g，yaw_g，roll_g分别表示相机任意时刻位置的俯仰角、偏航角以及翻滚角，即飞行器的姿态。