CN114663492A - 一种利用事件相机作为星敏感器的飞行器姿态确定方法 - Google Patents
一种利用事件相机作为星敏感器的飞行器姿态确定方法 Download PDFInfo
- Publication number
- CN114663492A CN114663492A CN202210142077.7A CN202210142077A CN114663492A CN 114663492 A CN114663492 A CN 114663492A CN 202210142077 A CN202210142077 A CN 202210142077A CN 114663492 A CN114663492 A CN 114663492A
- Authority
- CN
- China
- Prior art keywords
- camera
- pose
- star
- image
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 9
- 238000004220 aggregation Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 54
- 238000012545 processing Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/02—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by astronomical means
- G01C21/025—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by astronomical means with the use of startrackers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用事件相机作为星敏感器的飞行器姿态确定方法,首先通过安装在飞行器上的事件相机获得事件信息;然后将事件信息进行时空聚合;接下来通过星图匹配和求解PnP问题,得到相机的绝对位姿;之后应用五点法求解本质矩阵,得到相邻两帧的相对位姿;再利用相对位姿对绝对位姿进行优化;最后对求得的位姿进行全局优化,得到任意时刻相机位姿的三轴表示;采用本发明方法,可以使系统整体功耗更低,动态范围更高,灵敏度更高,并且能实现与现有同分辨率星敏感器更高的精度。
Description
技术领域
本发明属于航天与计算机视觉技术领域,具体涉及一种飞行器姿态确定方法。
背景技术
星敏感器是通过识别和追踪恒星模式来估计航天器的姿态的光学设备,本研究中以事件相机来追踪恒星,可以以较传统的光学传感器更低的功耗和更快的运行速度来实现更高帧率的姿态确定。
传统星敏感器利用CCD相机作为光学传感器来获取图像信息,其工作原理为:使用光学传感器拍摄星图,利用获得的图像信息对星点质心进行定位,随后配合星图识别算法(与导航星库内的信息进行匹配)以及姿态解算算法(通过跟踪算法模块和局部位置星图提取/识别)获得最终飞行器的位姿信息。
目前在星敏感器这个方向相关技术主要集中于算法部分,包括星点质心算法、星图识别算法、星敏感器姿态解算算法、星敏感器在轨道标定算法等。其中,星点质心算法是一种计算恒星在CCD相机拍摄星图中的准确位置的算法,该算法的核心内容大致包括基于阈值的质心定位算法、提取星点的二元线性插值法、去除随机噪声和系统噪声的简化模型以及利用BP神经网路对误差进行补偿。星图识别算法部分包括利用三角形算法、使用线型数据库搜索的方式的基于星座特征的星图识别算法,基于字符模式的图像识别算法以及利用了遗传算法的智能行为的识别算法。上述星图识别算法中基于字符模式的图像识别算法以及基于只能行为的图像识别算法提出时间较晚,潜力较大。关于星敏感器的姿态解算算法,根据计算方法不同,姿态解算算法可分为确定性的姿态解算算法以及动态滤波估计算法两种。其中,确定性姿态解算算法一般为两种,一种是单点批量处理算法,通过求解特征向量的最优四元数解,运算效率高,应用最广泛。另一种是利用两个互不平行矢量计算姿态矩阵,得到解是非最优的。动态滤波估计算法有五种常用的算法,分别是EKF算法、UKF算法、滤波QUEST算法、RE-QUEST算法和粒子滤波算法。上述五种算法中EKF算法发展成熟,应用广泛,但鲁棒性不强,易于发散,对强非线性估计问题不能得到最优解,服从高斯分布假设条件;UKF算法收敛性好,能够在大误差的初始条件下得到比较优化的结果,服从高斯分布假设条件;滤波QUEST算法的扩展,算法容易实现,但是精度较差;RE-QUEST算法是QUEST算法的推广,在数学原理上与滤波QUEST算法等同;粒子滤波算法基于序列蒙特卡洛的方法,可以解决非线性、非高斯分布和非平稳状态的滤波估计问题,计算量大,实现比较困难。
本发明采用事件相机作为新型的星敏感器,有关事件相机也已经有部分相关研究。目前的技术可以通过事件相机提供的数据流分析解决问题。通过望远镜的实地试验,可以利用事件相机观测空间目标;使用基于事件的概率多重假设跟踪器,实现跟踪目标对象;通过基于事件的目标检测和跟踪算法,实现空间态势感知;利用事件相机的低功耗和高时间分辨率,通过建立一个包括新的旋转平均和光束平差公式的算法流程,实现了基于帧的恒星跟踪;通过基于事件的多分辨率异步Hough变换星跟踪处理方法,能够实现在资源受限的平台上异步高效处理事件流。
综上,现有的利用CCD相机作为星敏感器的方案的缺点是星敏感器存在的实时性难以保证、设备重量和体积较大、功耗较高、动态范围较小、灵敏度较差。现有技术也主要局限于对于传统基于图像CCD相机的星敏感器的算法研究,以及将事件相机应用到检测、跟踪、去模糊等传统计算机视觉领域。本发明结合航天应用背景,将事件相机作为星敏感器应用于飞行器的姿态确定,以充分利用事件相机的特点,提升飞行器姿态。
发明内容
为了克服现有技术的不足,本发明提供了一种利用事件相机作为星敏感器的飞行器姿态确定方法,首先通过安装在飞行器上的事件相机获得事件信息;然后将事件信息进行时空聚合;接下来通过星图匹配和求解PnP问题,得到相机的绝对位姿;之后应用五点法求解本质矩阵,得到相邻两帧的相对位姿;再利用相对位姿对绝对位姿进行优化;最后对求得的位姿进行全局优化,得到任意时刻相机位姿的三轴表示;采用本发明方法,可以使系统整体功耗更低,动态范围更高,灵敏度更高,并且能实现与现有同分辨率星敏感器更高的精度。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤1:通过安装在飞行器上的事件相机获得事件信息;
采用事件相机捕捉星体事件信息,根据星体亮度的变化输出一系列极性数据,当亮度增加时极性为正,标为正事件;当亮度减小时极性为负,标位负事件;
步骤2:将事件信息进行时空聚合;
获得事件信息后,将事件信息数据聚合到(n+m)×w×h的体素网格中,其中n为正事件个数,m为负事件个数,w为体素网格宽度,h为体素网格高度;通过聚合,将事件信息数据稀疏的时间数据流转化到图像平面上,得到一系列的图像其中Imageg为第g张图像,g为图像帧的序号,在指定时间内共生成了N帧,用于后续位姿估计;
步骤3:求解相机的绝对位姿;
步骤3-1:进行星图匹配;
对于步骤2获取的图像,将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别;
即通过星图匹配获取图像中的星体的二维坐标w∈R2与星表数据库中星体的三维姿态W∈R3的2D-3D匹配:其中n为识别到的星体的数量,i为星体的序号,三轴角度向量Wi=(pitchi,yalli,rolli);pitchi,yalli,rolli分别表示第i个星体位置的俯仰角、偏航角以及翻滚角;将图像中每个星体作为观测点;
步骤3-2:通过解PnP问题来求解相邻两帧之间的旋转矩阵;
获取到图像中星体的2D与3D匹配后,在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计:将世界坐标系原点与相机坐标系原点重合,以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向,并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标,即每一个观测点计算:
x=cos(pitch)×sin(yaw)
y=cos(pitch)×cos(yaw)
z=sin(pitch)
将观测点三轴角度向量映射到球面上的点的三维坐标V=(x,y,z);
采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p作为特征点,求解当前时刻相机相对于初始状态的位姿:
Pm={p1,p2,p3},Pm+1={p1′,p2′,p3′}
其中Pm表示初始状态的位姿,Pm+1表示当前状态的位姿;
求解欧式变换Rh、th来使得:
其中Vh和Vh+1分别表示前帧相机三轴位姿和后帧相机三轴位姿;
由于相机坐标系与世界坐标系的原点重合,故平移矩阵th忽略不计,由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵Rh;
步骤3-3:利用上述结果求解当前相机绝对位姿
相机位姿由三轴角度向量X=(pitch,yaw,roll)表示,与步骤3-2中方法相同,建立X与V的三轴角度-单位球面点坐标映射;pitch,yaw,roll分别表示相机的俯仰角、偏航角以及翻滚角;
规定相机初始位置的X0=(1,0,0),经过单位球面点坐标-三轴角度逆映射:
roll=0
求得当前相机位姿Wnow=(pitchnow,yawnow,rollnow);pitchnow,yawnow,rollnow分别表示相机当前位置的俯仰角、偏航角以及翻滚角;
步骤4:求解相机的相对位姿;
相邻两帧的事件图像满足2D-2D的对极约束,利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系;
设在一帧图像中,星体的三维坐标为Pg,根据针孔相机模型,有:
pg=KPg,pv=K(RPv+t)
其中pg和pv为相邻两幅图像的同一个星体的二维坐标点,K为相机的内参矩阵,R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵;
对极约束关系用数学关系表示为:
其中,规定本质矩阵E=t^R;
步骤4-1:应用五点法求解本质矩阵;
本质矩阵的奇异值必然为[σ,σ,0]T的形式,加之平移与旋转的三个自由度,通过最少五对已知点的映射求解初本质矩阵,如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解;
针对选择这八对点的问题,采用RANSAC方法,即通过随机抽样迭代,选择出两点匹配最优的八组点对,解线性方程组即能求解出本质矩阵E;
步骤4-2:利用本质矩阵求解相邻两帧的相对位姿;
利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程,得到相邻两帧之间相对旋转矩阵Rg,v;
步骤5:利用相对位姿对绝对位姿进行优化;
设定优化函数:
步骤6:对求得的位姿进行全局优化,得到任意时刻相机位姿的三轴表示;
Ys={yg,s∈R2|η(g,s)=1},
其中,yg,s为第s个星体在第g张时间图像中的2D坐标,S为识别到的星体总量;
为了采用非线性最小二乘法进行优化,定义最优化方程如下:
其中Xs∈R3,表示第s个点的三维坐标,满足并且‖‖Xs||2=1;
利用这些不同时刻的绝对旋转矩阵,通过相机初始位姿三维坐标表示V0={1,0,0}进行欧式变换Vg=Rg×V0来求得任意时刻的相机三维位姿表示,再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示Xg={pitchg,yawg,rollg},pitchg,yawg,rollg分别表示相机任意时刻位置的俯仰角、偏航角以及翻滚角,即飞行器的姿态。
本发明的有益效果如下:
与传统的星敏感器方案相比,采用本发明方法,可以使系统整体功耗更低,动态范围更高,灵敏度更高,并且能实现与现有同分辨率星敏感器更高的精度。同时解决了传统设备重量和体积较大的问题,迎合了当前星敏感器的发展需要,具有广阔的应用价值。
附图说明
图1为本发明飞行器在太空中利用星敏感器进行姿态确定过程的原理示意图。
图2为本发明利用事件相机作为星敏感器进行位姿估计的流程示意图。
图3为本发明实施例单台相机算法检验仿真平台的搭建示意图。
图4为本发明事件相机算法部分示意图。
图5为本发明实施例多台相机算法检验仿真平台的搭建示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
针对星敏感器对于设备高鲁棒性以及敏感性等方面的迫切需求以及上述现有方案的缺点以及研究的局限性,基于上述的相关研究,本发明专利提供一种利用事件相机而非传统CCD相机作为星敏感器确定飞行器姿态的方法,利用一个或多个事件相机获取事件信息,在一段时间内利用时间信息合成图像,对图像进行计算机视觉方法处理,获得相机旋转矩阵并进行优化。
步骤1:通过安装在飞行器上的事件相机获得事件信息;
采用事件相机捕捉星体事件信息,根据星体亮度的变化输出一系列极性数据,当亮度增加时极性为正,标为正事件;当亮度减小时极性为负,标位负事件;
步骤2:将事件信息进行时空聚合;
获得事件信息后,将事件信息数据聚合到(n+m)×w×h的体素网格中,其中n为正事件个数,m为负事件个数,w为体素网格宽度,h为体素网格高度;通过聚合,将事件信息数据稀疏的时间数据流转化到图像平面上,得到一系列的图像其中Imageg为第g张图像,g为图像帧的序号,在指定时间内共生成了N帧,用于后续位姿估计;
步骤3:求解相机的绝对位姿;
步骤3-1:进行星图匹配;
对于步骤2获取的图像,将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别;
即通过星图匹配获取图像中的星体的二维坐标w∈R2与星表数据库中星体的三维姿态W∈R3的2D-3D匹配:其中n为识别到的星体的数量,i为星体的序号,三轴角度向量Wi=(pitchi,yalli,rolli);将图像中每个星体作为观测点;
步骤3-2:通过解PnP问题来求解相邻两帧之间的旋转矩阵;
获取到图像中星体的2D与3D匹配后,在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计:将世界坐标系原点与相机坐标系原点重合,以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向,并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标,即每一个观测点计算:
x=cos(pitch)×sin(yaw)
y=cos(pitch)×cos(yaw)
z=sin(pitch)
将观测点三轴角度向量映射到球面上的点的三维坐标V=(x,y,z);
采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p作为特征点,求解当前时刻相机相对于初始状态的位姿:
Pm={p1,p2,p3},Pm+1={p1′,p2′,p3′}
其中Pm表示初始状态的位姿,Pm+1表示当前状态的位姿;
求解欧式变换Rh、th来使得:
其中Vh和Vh+1分别表示前帧相机三轴位姿和后帧相机三轴位姿;
由于相机坐标系与世界坐标系的原点重合,故平移矩阵th忽略不计,由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵Rh;
步骤3-3:利用上述结果求解当前相机绝对位姿;
相机位姿由三轴角度向量X=(pitch,yaw,roll)表示,与步骤3-2中方法相同,建立X与V的三轴角度-单位球面点坐标映射;
规定相机初始位置的X0=(1,0,0),经过单位球面点坐标-三轴角度逆映射:
roll=0
求得当前相机位姿Wnow=(pitchnow,yawnow,rollnow);
步骤4:求解相机的相对位姿;
相邻两帧的事件图像满足2D-2D的对极约束,利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系;
设在一帧图像中,星体的三维坐标为Pg,根据针孔相机模型,有:
pg=KPg,pv=K(RPv+t)
其中pg和pv为相邻两幅图像的同一个星体的二维坐标点,K为相机的内参矩阵,R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵;
对极约束关系用数学关系表示为:
其中,规定本质矩阵E=t^R;
步骤4-1:应用五点法求解本质矩阵;
本质矩阵的奇异值必然为[σ,σ,0]T的形式,加之平移与旋转的三个自由度,通过最少五对已知点的映射求解初本质矩阵,如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解;
针对选择这八对点的问题,采用RANSAC方法,即通过随机抽样迭代,选择出两点匹配最优的八组点对,解线性方程组即能求解出本质矩阵E;
步骤4-2:利用本质矩阵求解相邻两帧的相对位姿;
利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程,得到相邻两帧之间相对旋转矩阵Rg,v;
步骤5:利用相对位姿对绝对位姿进行优化;
设定优化函数:
步骤6:对求得的位姿进行全局优化,得到任意时刻相机位姿的三轴表示;
Ys={yg,s∈R2|η(g,s)=1},
其中,yg,s为第s个星体在第g张时间图像中的2D坐标,S为识别到的星体总量;
为了采用非线性最小二乘法进行优化,定义最优化方程如下:
其中Xs∈R3,表示第s个点的三维坐标,满足并且||Xs||2=1;
利用这些不同时刻的绝对旋转矩阵,通过相机初始位姿三维坐标表示V0={1,0,0}进行欧式变换Vg=Rg×V0来求得任意时刻的相机三维位姿表示,再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示Xg={pitchg,yawg,rollg},即飞行器的姿态。
在这个过程中,事件相机的工作机制主要为:当某个像素所处位置的亮度值发生变化时,相机就会回传一个上述格式的事件,其中前两项为事件的像素坐标,第三项为事件发生的时间戳,最后一项取值为极性正负,代表亮度是由低到高还是由高到低。在整个相机视野内,只要有一个像素值变化,就会回传一个事件,这些所有的事件都是异步发生的(再小的时间间隔也不可能完全同时),所以事件的时间戳均不相同。和传统相机相比,它具有低时延的特性,可以捕获很短时间间隔内的像素变化。
星敏感器基本工作原理为恒星所发出的星光经光学系统成像在探测器靶面上,由成像系统拍摄视轴指向星空的图像,通过信号处理电路对数字化后的星图进行处理,主要包括恒星目标检测(星提取)、星识别、姿态计算等过程,最后确定星敏感器光轴在惯性空间中的指向,再利用已知的星敏感器与载体的安装角和此指向就可以完成载体三轴瞬时姿态的测量。
具体实施例:
星敏感器的主要应用为在飞行器上利用其观测太空中的恒星,通过数据处理获得自身的位姿信息,如图1。
本发明的研究角度包括单一相机或多相机同时进行事件信息捕捉。
事件相机作为星敏感器的工作原理如图2所示,恒星光通过镜头在探测器平面上成像,多个星点组合成实测星图,该图像还与探测器安装方向与像元读取顺序有关。实测星图经过探测器光电采样后形成数字化星图,随后传入微处理器进行处理。
本发明提供了一种在实验室用单台相机仿真太空观测环境的平台,如图3所示。将事件相机固定,观察显示器。在显示器上显示运动的星图。将事件相机与运算设备连接,运行程序,观察程序返回值可以看出算法的效果。
1.系统组成
本实施例的算法如图4所示,本实施例提供的算法依赖的硬件系统由观测设备、计算设备以及仿真显示设备组成。本实施例通过观测设备对仿真显示设备上的模拟环境图像进行信息收集后于计算设备上进行运算处理,计算出相机在模拟环境中的旋转角度,通过计算结果与真值的对比来验证算法的准确性。
2.仿真显示端
仿真显示设备指一台显示星图的显示器,星图由软件依照星表数据库呈现。该显示端可以按照给定的旋转速度与角度进行显示内容的旋转与移动,达到对于太空环境中飞行器观测状态的仿真效果。
3.观测端
单个观测段包含一台事件相机,一个通信总线接入设备,以及一台计算设备。观测端负责观测仿真显示设备上的内容,输出事件信息。
4.计算端
计算端包含一台计算设备贺一个通信总线接入设备。计算段接入通信总线,汇总来自各个观测段输出的事件信息流,通过本发明提供的利用事件信息聚合成体素网格,进而通过图像处理算法对收集到的信息进行运算处理。
除此,本发明还提供了一种含有多台多视角相机的装置,如图5所示,包含多台时间相机、运算器、存储器,能够多角度、全方位捕捉场景的事件信息,存储到存储器中,并输入到本发明提供的根据事件信息得到相机即飞行器位姿的程序中,在运算器中运行程序,以实现如上所述的位姿估计步骤。
Claims (1)
1.一种利用事件相机作为星敏感器的飞行器姿态确定方法,其特征在于,包括如下步骤:
步骤1:通过安装在飞行器上的事件相机获得事件信息;
采用事件相机捕捉星体事件信息,根据星体亮度的变化输出一系列极性数据,当亮度增加时极性为正,标为正事件;当亮度减小时极性为负,标位负事件;
步骤2:将事件信息进行时空聚合;
获得事件信息后,将事件信息数据聚合到(n+m)×w×h的体素网格中,其中n为正事件个数,m为负事件个数,w为体素网格宽度,h为体素网格高度;通过聚合,将事件信息数据稀疏的时间数据流转化到图像平面上,得到一系列的图像其中Imageg为第g张图像,g为图像帧的序号,在指定时间内共生成了N帧,用于后续位姿估计;
步骤3:求解相机的绝对位姿;
步骤3-1:进行星图匹配;
对于步骤2获取的图像,将图像中星体的描述符与已有的星表数据库的描述符进行进行匹配与识别;
即通过星图匹配获取图像中的星体的二维坐标w∈R2与星表数据库中星体的三维姿态W∈R3的2D-3D匹配:其中n为识别到的星体的数量,i为星体的序号,三轴角度向量Wi=(pitchi,yalli,rolli);pitchi,yalli,rolli分别表示第i个星体位置的俯仰角、偏航角以及翻滚角;将图像中每个星体作为观测点;
步骤3-2:通过解PnP问题来求解相邻两帧之间的旋转矩阵;
获取到图像中星体的2D与3D匹配后,在相邻两帧图像之间通过求解P3P问题来进行相机的位姿估计:将世界坐标系原点与相机坐标系原点重合,以初始位姿的相机坐标系三轴方向为世界坐标系三轴方向,并将星体的三轴角度映射到以相机坐标系原点为球心的球面上的点的三维坐标,即每一个观测点计算:
x=cos(pitch)×sin(yaw)
y=cos(pitch)×cos(yaw)
z=sin(pitch)
将观测点三轴角度向量映射到球面上的点的三维坐标V=(x,y,z);
采用相邻两图像帧均识别到且在图像中所占像素面积最大的三个星体的中心点p 作为特征点,求解当前时刻相机相对于初始状态的位姿:
Pm={p1,p2,p3},Pm+1={p1′,p2′,p3′}
其中Pm表示初始状态的位姿,Pm+1表示当前状态的位姿;
求解欧式变换Rh、th来使得:
其中Vh和Vh+1分别表示前帧相机三轴位姿和后帧相机三轴位姿;
由于相机坐标系与世界坐标系的原点重合,故平移矩阵th忽略不计,由此求得将前帧相机三轴位姿转换至后帧相机三轴位姿的旋转矩阵Rh;
步骤3-3:利用上述结果求解当前相机绝对位姿
相机位姿由三轴角度向量X=(pitch,yaw,roll)表示,与步骤3-2中方法相同,建立X与V的三轴角度-单位球面点坐标映射;pitch,yaw,roll分别表示相机的俯仰角、偏航角以及翻滚角;
规定相机初始位置的X0=(1,0,0),经过单位球面点坐标-三轴角度逆映射:
roll=0
求得当前相机位姿Wnow=(pitchnow,yawnow,rollnow);pitchnow,yawnow,rollnow分别表示相机当前位置的俯仰角、偏航角以及翻滚角;
步骤4:求解相机的相对位姿;
相邻两帧的事件图像满足2D-2D的对极约束,利用本质矩阵求解求得相邻两帧图像对应的相机位置的相对位姿关系;
设在一帧图像中,星体的三维坐标为Pg,根据针孔相机模型,有:
pg=KPg,pv=K(RPv+t)
其中pg和pv为相邻两幅图像的同一个星体的二维坐标点,K为相机的内参矩阵,R与t为前后两帧图像对应的两个坐标系的相机旋转矩阵与平移矩阵;
对极约束关系用数学关系表示为:
其中,规定本质矩阵E=t^R;
步骤4-1:应用五点法求解本质矩阵;
本质矩阵的奇异值必然为[σ,σ,0]T的形式,加之平移与旋转的三个自由度,通过最少五对已知点的映射求解初本质矩阵,如果采用八个点对能仅利用本质矩阵的线性约束来对其进行求解;
针对选择这八对点的问题,采用RANSAC方法,即通过随机抽样迭代,选择出两点匹配最优的八组点对,解线性方程组即能求解出本质矩阵E;
步骤4-2:利用本质矩阵求解相邻两帧的相对位姿;
利用本质矩阵E来恢复两帧之间的R与t的过程为奇异值分解的过程,得到相邻两帧之间相对旋转矩阵Rg,v;
步骤5:利用相对位姿对绝对位姿进行优化;
设定优化函数:
步骤6:对求得的位姿进行全局优化,得到任意时刻相机位姿的三轴表示;
Ys={yg,s∈R2|η(g,s)=1},
其中,yg,s为第s个星体在第g张时间图像中的2D坐标,S为识别到的星体总量;
为了采用非线性最小二乘法进行优化,定义最优化方程如下:
其中Xs∈R3,表示第s个点的三维坐标,满足并且||Xs||2=1;
利用这些不同时刻的绝对旋转矩阵,通过相机初始位姿三维坐标表示V0={1,0,0}进行欧式变换Vg=Rg×V0来求得任意时刻的相机三维位姿表示,再利用步骤3-3的变换公式得到任意时刻相机位姿的三轴表示Xg={pitchg,yawg,rollg},pitchg,yawg,rollg分别表示相机任意时刻位置的俯仰角、偏航角以及翻滚角,即飞行器的姿态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210142077.7A CN114663492B (zh) | 2022-02-16 | 2022-02-16 | 一种利用事件相机作为星敏感器的飞行器姿态确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210142077.7A CN114663492B (zh) | 2022-02-16 | 2022-02-16 | 一种利用事件相机作为星敏感器的飞行器姿态确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114663492A true CN114663492A (zh) | 2022-06-24 |
CN114663492B CN114663492B (zh) | 2024-02-09 |
Family
ID=82026930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210142077.7A Active CN114663492B (zh) | 2022-02-16 | 2022-02-16 | 一种利用事件相机作为星敏感器的飞行器姿态确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114663492B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103791902A (zh) * | 2014-01-23 | 2014-05-14 | 中国科学院长春光学精密机械与物理研究所 | 适用于高机动载体的星敏感器自主导航方法 |
US20140232867A1 (en) * | 2013-02-18 | 2014-08-21 | Tsinghua University | Method for determining attitude of star sensor based on rolling shutter imaging |
CN107449444A (zh) * | 2017-07-17 | 2017-12-08 | 中国人民解放军国防科学技术大学 | 一种多星图姿态关联的星敏感器内参数标定方法及其装置 |
AU2020103576A4 (en) * | 2019-12-27 | 2021-02-04 | Wuhan University | Autonomous orbit and attitude determination method of low-orbit satellite based on non-navigation satellite signal |
-
2022
- 2022-02-16 CN CN202210142077.7A patent/CN114663492B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140232867A1 (en) * | 2013-02-18 | 2014-08-21 | Tsinghua University | Method for determining attitude of star sensor based on rolling shutter imaging |
CN103791902A (zh) * | 2014-01-23 | 2014-05-14 | 中国科学院长春光学精密机械与物理研究所 | 适用于高机动载体的星敏感器自主导航方法 |
CN107449444A (zh) * | 2017-07-17 | 2017-12-08 | 中国人民解放军国防科学技术大学 | 一种多星图姿态关联的星敏感器内参数标定方法及其装置 |
AU2020103576A4 (en) * | 2019-12-27 | 2021-02-04 | Wuhan University | Autonomous orbit and attitude determination method of low-orbit satellite based on non-navigation satellite signal |
Non-Patent Citations (3)
Title |
---|
张廷华;高昆;倪国强;卢岩;: "多传感器的天文标定与空间配准", 光学精密工程, no. 06 * |
李笑月;熊淑杰;林宝军;: "采用多敏感器相互校正的卫星入轨姿态计算方法", 国防科技大学学报, no. 01 * |
谢俊峰;唐新明;莫凡;刘志龙;: "资源三号国产星敏感器事后定姿方案设计与系统实现", 武汉大学学报(信息科学版), no. 04 * |
Also Published As
Publication number | Publication date |
---|---|
CN114663492B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
CN112902953B (zh) | 一种基于slam技术的自主位姿测量方法 | |
CN112598757B (zh) | 一种多传感器时间空间标定方法及装置 | |
CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
CN105160703B (zh) | 一种使用时域视觉传感器的光流计算方法 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和系统 | |
CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
CN108280858B (zh) | 多视图重建中的一种线性全局相机运动参数估计方法 | |
CN104268935A (zh) | 一种基于特征的机载激光点云与影像数据融合系统及方法 | |
CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
CN112508999A (zh) | 一种基于协作观测图像序列的空间目标运动状态辨识方法 | |
CN112200917A (zh) | 一种高精度增强现实方法及系统 | |
CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及系统 | |
CN114663492B (zh) | 一种利用事件相机作为星敏感器的飞行器姿态确定方法 | |
CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
Wang et al. | Target detection based on simulated image domain migration | |
CN112308972A (zh) | 一种大规模电缆隧道环境模型重构方法 | |
CN114485620A (zh) | 融合轨道动力学的小行星探测器自主视觉定位系统及方法 | |
Zhang et al. | Research on Binocular Stereo Vision Ranging Based on Improved YOLOv5s |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |