CN106373141B - 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法 - Google Patents

空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法 Download PDF

Info

Publication number
CN106373141B
CN106373141B CN201610825368.0A CN201610825368A CN106373141B CN 106373141 B CN106373141 B CN 106373141B CN 201610825368 A CN201610825368 A CN 201610825368A CN 106373141 B CN106373141 B CN 106373141B
Authority
CN
China
Prior art keywords
frame
point
tracking
angle
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610825368.0A
Other languages
English (en)
Other versions
CN106373141A (zh
Inventor
刘宗明
孙俊
张宇
曹姝清
王兆龙
彭杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201610825368.0A priority Critical patent/CN106373141B/zh
Publication of CN106373141A publication Critical patent/CN106373141A/zh
Application granted granted Critical
Publication of CN106373141B publication Critical patent/CN106373141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种空间慢旋碎片相对运动角度和角速度的跟踪方法,该方法包含:采集空间慢旋碎片目标的图像信息后,对当前帧进行特征点的提取、匹配、跟踪、和位姿求解;目标局部空间点三维重建;目标全局闭环检测,消除累积误差;得到目标运动的角速度和总角度,消除帧间回转误差。本发明从图像特征角度出发,采用图优化方法,通过关键帧和关键点之间的特征接力来实现对空间慢旋碎片的跟踪测量,同时采用闭环检测手段消除累积误差,提高测量精度。

Description

空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法
技术领域
本发明涉及航天器超近距离相对测量技术,具体涉及一种空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法。
背景技术
随着人类空间活动的增多,空间飞行器的数量也在逐年成倍的增长,随时有发生碰撞的可能。同时,伴随着卫星使用寿命的终结,人类对失效卫星开展了各种军事实验,也造成了大量的空间碎片。因而,目前各国都在抓紧研究对空间碎片的清除方法。慢旋运动是空间碎片普遍具有的一种运动状态,其绕惯性主轴以某一固定的角速度保持匀速旋转运动。在空间在轨服务等操控任务开展时,为了能够准确的捕获目标,需要对其旋转信息进行准确测量。传统测量方式采用视觉导航敏感器结合卡尔曼滤波方法求得目标相对运动角度和角速度估计,但是估计精度受限于所构建的状态模型和测量模型的精度,由于模型的非线性和导航设备的测量噪声等原因,会导致测量误差放大,甚至发散,无法长期运行。
发明内容
本发明提供一种空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法,消除累积误差,提高测量精度。
为实现上述目的,本发明提供一种空间慢旋碎片相对运动角度和角速度的跟踪方法,其特点是,该方法包含:
采集空间慢旋碎片目标的图像信息后,对当前帧进行特征点的提取、匹配、跟踪、和位姿求解;
目标局部空间点三维重建;
目标全局闭环检测,消除累积误差;
得到目标运动的角速度和总角度,消除帧间回转误差。
上述对图像信息当前帧进行特征点的提取、匹配、跟踪、和位姿求解包含:
提取当前帧空间慢旋碎片的特征点;
根据当前帧的上一帧得到相机的位姿;
通过全局重定位初始化相机的位姿;
局部空间点跟踪;
确定新的关键帧。
上述局部空间点跟踪包含;
若空间点在当前帧中的投影点超出了预设的图像边界,将该点剔除,不将其用于特征接力;
若当前视轴v和该空间点的平均视线n的夹角满足时,将该点剔除,不将其用于特征接力;
若空间点到当前帧像面中心的距离d超出其对应的尺度不变域范围[dmin,dmax],将该点剔除,不将其用于特征接力;
计算当前帧尺度d/dmin
将该空间点的描述子与当前帧中的未匹配的ORB特征点进行匹配计算,若在尺度不变域范围内,同时又靠近投影点,把当前帧中对应的最优匹配点与空间点关联起来。
上述确定新的关键帧的条件包含:
距离最近一次的全局重定位超过20帧;
局部建图模块处在空闲状态,并且距离最近一次的关键帧插入超过20帧;
局部空间点中至少50个特征点在当前帧中完成跟踪;
当前帧与局部三维图匹配上的点不超过参考关键帧集点数的90%。
上述目标局部空间点三维重建包含:
公视图更新,插入关键帧;
选择出当前关键帧中可被跟踪的空间点;
通过三角化当前关键帧中特征点与共视图中关键帧特征点创建新的空间点;
当前关键帧、共视图中连接到当前关键帧的关键帧,和所有关键帧中的空间点进行捆集调整;
检测并剔除冗余关键帧。
上述选择当前关键帧中可被跟踪的空间点的条件包含:
空间点跟踪过程中,超过25%的预测该点可见的帧中找到该空间点;
空间点可以从至少三个关键帧中被找到。
上述目标全局闭环检测和消除累积误差包含:
根据已有的关键帧检测获得闭环候选帧;
基于关键帧与闭环候选帧得出相似转换矩阵,确定累积误差,当关键帧与闭环候选帧对应关系达到闭环要求,闭环候选帧即为闭环帧;
通过相似转换矩阵使闭环两头关键帧对齐和共视点融合;
对所有关键帧进行全局捆集调整。
上述计算目标运动的角速度和总角度包含:
采用以下公式(1)转换相机平面由相机坐标系到世界坐标系:
Pw=(Pc-t)*R (1);
式(1)中Pw为空间点在世界坐标系下的坐标,Pc为空间点在相机坐标系下的坐标,t为世界坐标系与相机坐标系之间的平移向量,R为世界坐标系与相机坐标系之间的旋转矩阵;
在相机平面基础上求解该相机平面法向量ni
前后帧的夹角可用下列公式(2)计算,ni-1,ni为相邻两帧的法向量θ:
根据式(3)、(4)将各帧间的角度相加并除以总耗时,便能计算出总角度aj与角速度vj
上述消除角速度和总角度帧间回转误差包含
如式(5)由相邻帧的法向量相减求得旋转方向向量di
di=ni-ni-1 (5);
根据式(6)求解当前帧运动方向与前一帧运动方向的夹角:
如果θd>90°,则判定当前帧无效,即不将其夹角加入总旋转角中;并且在运算过程中保持上一帧ni-1位置不变,即在计算ni+1夹角时,将用ni-1代替ni
一种空间慢旋碎片相对运动角度和角速度的跟踪系统,其特征在于,该跟踪系统包含:
目标采集模块,其采集空间慢旋碎片目标的图像信息;
当前帧读取模块,其输入端连接目标采集模块,完成当前帧特征点的提取、匹配、跟踪和位姿求解;
三维重建模块,其输入端连接当前帧读取模块,完成目标局部空间点三维重建;
全局闭环检测模块,其输入端连接三维重建模块,进行目标全局闭环检测,消除累积误差;
角速度和总角度计算模块,其输入端连接全局闭环检测模块,得到目标运动的角速度和总角度,消除帧间回转误差。
本发明空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法和现有技术相比,其优点在于,本发明从图像特征角度出发,采用图优化方法,通过关键帧和关键点之间的特征接力来实现对空间慢旋碎片的跟踪测量,同时采用闭环检测手段消除累积误差,提高测量精度。该成果对立体视觉相对测量系统系统的设计与工程应用具有重要的指导意义。
附图说明
图1为本发明空间慢旋碎片相对运动角度和角速度跟踪方法的流程图;
图2为基于视觉的本发明空间慢旋碎片相对运动角度和角速度的跟踪方法的流程示意图;
图3为本发明中的回转帧示意图。
具体实施方式
以下结合附图,进一步说明本发明的具体实施例。
如图1所示,本发明提供一种基于视觉的空间慢旋碎片相对运动角度和角速度跟踪方法,该方法具体包含以下步骤:
S1、采集空间慢旋碎片的图像信息后,读取当前帧并完成特征点的提取、匹配和跟踪,并进行位姿求解。采用FAST算子提取目标特征点,并采用Brief算子进行描述,构成ORB特征点,并利用其对前后帧的特征点进行匹配。当匹配的特征点对数量不小于100时,根据单应矩阵模型或者基础矩阵模型进行位姿的初始化求解,并完成目标局部初始三维稀疏重建。在完成初始化后,采用匀速运动模型来粗略地估计下一帧相机位姿,并用其作为一个约束,对当前帧中的特征点与约束内的三维重建特征点对进行匹配,实现预测性跟踪接力。在完成连续两帧间的跟踪接力后,为了提高系统的可靠性,还要将当前帧与目标局部三维空间点进行跟踪。如果由于遮掩、晃动、或者剧烈的光照变化等引起跟踪丢失的情况,则转入全局重定位模式,进行全局搜索,待特征点重新匹配后实现继续跟踪。在求解当前帧位姿状态时,采用运动捆集调整技术来对其进行优化。在跟踪过程中,为了提高跟踪效率,需要从每一帧输入图像中筛选出适当的关键帧作为接力节点。
S1.1、特征提取。
采用8尺度、1.2因子FAST算子提取点特征,为了确保特征点有一个均匀分布,本发明首先在每一层图像上进行了网格划分,目的是保证在每个网格中至少有5个特征点。然后在每一个网格中提取特征点,如果由于低纹理或者低对比度等原因导致还是没有足够的特征点,可以适当修改每个网格中的特征点数量阈值。最后,当特征点提取后再计算每个特征点的方向向量,并采用Brief算子对每个特征点进行描述。
S1.2、根据之前帧计算相机位姿。
如果对上一帧的初始化成功了,本发明采用一个匀速运动模型来估计相机的位姿,同时根据运动模型的位置约束,对上一帧的特征点在当前帧中进行引导性搜索,即在一定范围内进行空间点匹配。如果当前帧与上一帧没有足够的匹配点,我们通过在上一帧预估的位置附近扩大搜索范围来对特征点进行搜索。当找到对应的匹配点后,我们便利用它们对相机的位姿进行优化处理。
S1.3、通过全局重定位初始化相机位姿。
如果跟踪过程中丢失了目标,我们将当前帧在BoW数据库中进行候选关键帧搜索来实现全局重定位。首先计算在两两关键帧中的ORB特征点匹配点对,然后,采用RANSAC迭代优化每一对关键帧中的匹配点对,并且采用PnP算法求解相机位姿。如果我们能够找到足够多的匹配点对便可以利用其计算相机的位姿,并对其进行优化处理,而且可以进一步在候选关键帧中搜索更多的空间点进行匹配。最后如果依然有足够多的匹配对,相机的位姿会被再次优化。此跟踪过程将继续执行下去。
S1.4、局部空间点跟踪。
如果我们得到了一个相机的位姿估计和一个初始的特征匹配集,便可以将空间点投影到当前帧中来搜索更多的匹配点对。为了限制三维图像的复杂度,我们只投影目标局部图,此目标局部图包括一个关键帧集K1,此集合与当前帧有公共的空间点;还包括一个关键帧集K2,此集合与K1相邻,有共视图;最后目标局部图还包括一个参考关键帧Kref,其中Kref∈K1,Kref与当前帧有最多的共视点。每一个在K1和K2集合中可以看到的空间点在当前帧中按照以下规则进行搜索:
S1.4.1、计算空间点在当前帧中的投影点x,如果其超出了预先设置的图像边界,将该点剔除,不将其用于特征接力。
S1.4.2、计算当前视轴(相机面法向量)v和该空间点的平均视线(该空间点指向所属的所有关键帧光心的平均法向量)n的夹角,当时,将该点剔除,不将其用于特征接力。
S1.4.3、计算该空间点到当前帧像面中心的距离d,如果超出其对应的尺度不变域范围[dmin,dmax],将该点剔除,不将其用于特征接力。
S1.4.4、计算当前帧尺度d/dmin
S1.4.5、将该空间点的描述子与当前帧中的未匹配的ORB特征点进行匹配计算,如果在尺度不变域范围内,同时又靠近投影x,把当前帧中对应的最优匹配点(即匹配欧式距离最小的特征点)与空间点关联起来。
据此,可以将当前帧与三维图中的公共点对应起来,完成特征接力,并且利用当前帧中的空间点对相机的位姿进行最终的优化处理。
S1.5、确定新的关键帧。
跟踪过程的最后一步是确定当前帧是否为关键帧,因为在局部建图过程中有一个冗余关键帧剔除机制,我们需要尽可能快的插入关键帧,这样可以使得对相机运动的追踪变得更加稳定(尤其是旋转运动),新的关键帧必须满足如下条件:
1)距离最近一次的全局重定位已经超过了20帧。
2)局部建图模块处在空闲状态,并且距离最近一次的关键帧插入已经超过了20帧。
3)局部空间点中至少有50个特征点在当前帧中完成了跟踪。
4)当前帧与局部三维图匹配上的点不能超过参考关键帧集Kref点数的90%以保证最低视觉变化。
S2、完成目标局部空间点三维重建。
局部空间点三维重建主要是针对新的关键帧进行处理,包括关键帧插入、空间点剔除、关键帧剔除等,并且结合当前帧与近邻关键帧共视图内的三维空间点进行局部捆集调整来实现优化的三维稀疏重建。新关键帧中未匹配的特征点与关键帧共视图中未匹配的特征点寻找匹配关系,一旦匹配成功即能采用三角化方法确定该点在空间中的具体坐标。随着成像时间的推移,重建出的三维空间点数量也逐渐增多,为了提高匹配和跟踪效率,需要对冗余空间点予以剔除,只保留那些高质量的点。同样对冗余关键帧也应该予以剔除。这与权利要求2中关键帧筛选操作相结合来完善关键帧提取策略。
S2.1、关键帧插入。
首先,我们更新共视图,添加新的关键帧Ki,更新关键帧之间的边,边指的是该关键帧与其它关键帧之间共视空间点。然后,更新生成树,生成树链接关键帧Ki和在共视图中与其有最多公共点的关键帧。在此基础上,我们将关键帧提取为用BoW数据库来表示,这将有助于对新的空间点进行三角化数据融合。
S2.2、当前空间点剔除,保留当前关键帧中可被跟踪且非错误计算的空间点。
为了将空间点保存在三维重建图中,必须对最初用于建图的三个关键帧进行严格的测试,这将确保这些点是可以被跟踪的并且不是被错误地计算的,一个空间点需要满足这两个条件才会被保留下来:
S2.2.1、该点在世界坐标中的位置确定了,其周边的点组成的三维结构也就确定了,这个点只能在一个角度内被看到,其余位置会被遮挡,跟踪过程必须要能在超过25%的预测该点可见的帧中找到这个点。
S2.2.2、如果在三维图创建过程中在不少于一个关键帧可以看到该点,那么该点必须可以从至少三个关键帧中被找到。
一旦一个空间点通过了测试,其仅在无法被三个以上关键帧观察到的情况下可以被移除。这种情况往往发生在关键帧被剔除或者局部捆集调整判定其为奇异值时。这个策略使三维图中几乎不会有孤立点(只属于两个关键帧的空间点)。
S2.3、新的空间点创建。
新的空间点是通过三角化当前关键帧中特征点与共视图中关键帧特征点创建的。对于Ki中每一个未匹配的ORB特征点,我们在其它关键帧未匹配的特征点中为其寻找匹配关系。确定匹配后仍要剔除那些不符合极线约束的匹配对。将以上匹配的ORB特征对进行三角化处理,为了接受其作为新的空间点,两个相机视角之间的深度(相机与对象的距离),视差(两个相机的距离),重投影误差(特征点与两帧间R、t矩阵的误差)以及尺度一致性(两帧中匹配的特征点是否在同一尺度上)都会被检查。初始情况下,空间点可以从两个关键帧中观测到,但是它也可以与其它关键帧中的点进行匹配,所以它也可以被投影到其它相关的关键帧中去。
S2.4、局部捆集调整。
局部捆集调整对当前处理的关键帧Ki,所有在共视图中连接到该帧的关键帧,以及所有这些帧中的空间点进行综合优化,综合优化包含:采用优化迭代算法,对所有特征点进行重投影,求重投影误差的平方和最小值,满足最小值的平移向量和旋转矩阵即为最优值。而其它那些虽然可以看到这些空间点,但是没有与当前处理的关键帧相连接的关键帧也会被加到优化模块中去,但是不对其进行优化处理。我们采用Levenberg Marquadt的方法和Huber鲁棒代价函数来实现这一过程。在优化中途和结尾会把观察到标记为孤立的点剔除掉。
S2.5、局部关键帧剔除。
为了减少运算量和存储量,局部建图模块会尝试检测冗余关键帧并且将它们剔除。这么做是非常有意义的,因为捆集调整的算法复杂度是关键帧数量的立方关系,同时这也使得长期操作中同一环境中的关键帧数目不会无界地增长,除非在场景中的视觉内容发生变化的。我们会丢弃那些与其它至少三个关键帧有90%相同空间点的关键帧。尺度条件可以保证空间点来自于最准确度量的关键帧。
S3、完成目标全局闭环检测,消除累积误差。
全局闭环检测根据已有的关键帧来确定是否达到闭环状态。如果检测到了闭环,采用相似变换在闭环内修正误差累积,可以使使得闭环两头的关键帧对齐,共视点融合。在相似性约束基础上,全局闭环检测还优化了各空间点位置,使得各点保持全局一致性。全局闭环检测主要特点是基于共视图的稀疏子图进行闭环候选帧的选取和确定,优化空间三维点;同时结合在关键帧中存储的相机参数和运动参数,也优化了各个时刻的相机位姿测量值,从而达到了消除累积误差的目的。
S3.1、闭环候选帧检测。
首先需要计算关键帧Ki与其在共视图集内法向量夹角小于30度的所有关键帧的相似性(共视图的边长,即公共点数),并保留最小值smin。然后需要从BoW数据库找出与关键帧Ki相似性低于smin的关键帧并排除其闭环可能性。同时在剩余结果中,与关键帧Ki有着直接相连关系的关键帧也被排除。为了确定一个闭环节点,必须有连续三个关键帧都与当前关键帧Ki有着相似的关系。如果有实际环境中有很多相似区域,那么势必会有好几个与关键帧Ki相似的闭环候选帧。
S3.2、计算相似性变换。
在视觉测量系统中有7个可变换的自由度,三个方向的平移量,三个轴的旋转量,以及一个尺度因子。因此,为了完成闭环操作,我们需要基于当前关键帧Ki与闭环关键帧计算其相似转换矩阵以确定累积误差。这个相似转换矩阵也将被用来作为闭环检测的几何验证。首先要计算当前关键帧与候选闭环关键帧中各个特征点在地图中的对应关系,这样就可以得到各个对应特征点之间的三维映射。对每一组对应关系采用RANSAC迭代计算其相似变换矩阵,以提高计算精度。如果找到一个相似矩阵能满足40对以上匹配对应关系,我们对这个相似矩阵做一次捆集调整,并利用其引导搜索更多的对应匹配点。如果此时这个相似矩阵仍能满足足够多的匹配点对应关系,则判定当前关键帧与候选闭环帧的对应关系可以达到闭环要求,那么这个候选闭环帧自然成为了真正的闭环帧,我们对计算结果(R、t)再一次进行优化操作。
S3.3、闭环融合。
闭环融合的第一步是融合当前关键帧与闭环关键帧在三维空间中的公共点,并为两者建立共视图链接。首先使用之前计算的相似转换矩阵来修正当前关键的相机面(R、t),同时修正与当前关键帧相邻的所有关键帧,使闭环两端能够真正对齐。接着所有闭环帧的空间点被映射到当前关键帧以及与当前关键帧相邻的关键帧中,将那些匹配上的特征点使用相似转换矩阵融合。所有经过融合处理的关键帧已经具有公共点信息,此时将那些有公共点的关键帧链接为共视面,保存于共视图集中。
S3.4、全局优化。
前者构建了一个融合了的具有公共对应点信息的关键帧结构,基于此对所有关键帧再做一次全局捆集调整,这可以更大程度优化解算精度。
S4、消除帧间回转误差,完成运动角速度计算。
在求解角度与角速度过程中,主要用到的是实时求解出的前后帧最基本的位姿变换矩阵。由于目标是在做绕其惯性主轴旋转的匀速运动,通过帧间角度的累加可以求出其相对于初始面运动的角度和,并用此角度和除以总的运行时间便可以求得运动角速度。虽然这些变换矩阵都是在各种优化的基础上求解出来的,已在最大程度上消除累积误差,但是局部单帧的计算错误仍然是不可避免的,仍然需要对目标局部帧间运动进行错误帧消除,以减少由于帧间回转而导致的角度和角速度计算误差。
S4.1、采用以下公式(1)转换相机平面由相机坐标系到世界坐标系。
Pw=(Pc-t)*R (1)
式(1)中Pw为空间点在世界坐标系下的坐标,Pc为空间点在相机坐标系下的坐标,t为世界坐标系与相机坐标系之间的平移向量,R为世界坐标系与相机坐标系之间的旋转矩阵。
S4.2、在相机平面基础上求解该相机平面法向量ni
S4.3、前后帧的夹角可用下列公式(2)计算,ni-1,ni为相邻两帧的法向量θ。
S4.4、根据式(3)、(4)将各帧间的角度相加并除以总耗时,便能计算出总角度aj与角速度vj
基于上述步骤已能求解实时的角速度与角度,但仍需要一种错误帧剔除策略来减少回转误差。图3中若干箭头发出的原点表示当前地图中心点,黑色箭头表示实时相邻几帧相机面的法向量,旋转方向向量di可以如式(5)由相邻帧的法向量相减求得:
di=ni-ni-1 (5)
如图3所示,可以看出在匀速旋转的情况下,实际帧的法向量红色ni明显与它因在的位置绿色ni,有明显差异,如果不把其剔除,会导致误差累计。处理方法为根据式(6)求解当前帧运动方向与前一帧运动方向的夹角:
如果θd>90°,则判定当前帧无效,即不将其夹角加入总旋转角中;并且在运算过程中保持上一帧ni-1位置不变,即在计算ni+1夹角时,将用ni-1代替ni
本发明还公开了一种空间慢旋碎片相对运动角度和角速度的跟踪系统,该跟踪系统包含:目标采集模块、当前帧读取模块、三维重建模块、全局闭环检测模块、和角速度和总角度计算模块。
目标采集模块采集空间慢旋碎片目标的图像信息。
当前帧读取模块输入端连接目标采集模块,完成当前帧特征点的提取、匹配、跟踪和位姿求解。
三维重建模块输入端连接当前帧读取模块,完成目标局部空间点三维重建。
全局闭环检测模块输入端连接三维重建模块,进行目标全局闭环检测,消除累积误差。
角速度和总角度计算模块输入端连接全局闭环检测模块,得到目标运动的角速度和总角度,消除帧间回转误差。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,该方法包含:
采集空间慢旋碎片目标的图像信息后,对当前帧进行特征点的提取、匹配、跟踪和位姿求解;
目标局部空间点三维重建;
目标全局闭环检测,消除累积误差;
计算目标运动的角速度和总角度,消除帧间回转误差;
所述对图像信息当前帧进行特征点的提取、匹配、跟踪和位姿求解包含:
提取当前帧空间慢旋碎片的特征点;
根据当前帧的上一帧得到相机的位姿;
通过全局重定位初始化相机的位姿;
局部空间点跟踪;
确定新的关键帧;
所述局部空间点跟踪包含;
若空间点在当前帧中的投影点超出了预设的图像边界,将该点剔除,不将其用于特征接力;
若当前视轴v和该空间点的平均视线n的夹角满足时,将该点剔除,不将其用于特征接力;
若空间点到当前帧像面中心的距离d超出其对应的尺度不变域范围[dmin,dmax],将该点剔除,不将其用于特征接力;
计算当前帧尺度d/dmin
将该空间点的描述子与当前帧中的未匹配的ORB特征点进行匹配计算,若在尺度不变域范围内,同时又靠近投影点,把当前帧中对应的最优匹配点与空间点关联起来;
所述确定新的关键帧的条件包含:
距离最近一次的全局重定位超过20帧;
局部建图模块处在空闲状态,并且距离最近一次的关键帧插入超过20帧;
局部空间点中至少50个特征点在当前帧中完成跟踪;
当前帧与局部三维图匹配上的点不超过参考关键帧集点数的90%。
2.如权利要求1所述的空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,所述目标局部空间点三维重建包含:
公视图更新,插入关键帧;
选择出当前关键帧中被跟踪的空间点;
通过三角化当前关键帧中特征点与共视图中关键帧特征点创建新的空间点;
当前关键帧、共视图中连接到当前关键帧的关键帧,和所有关键帧中的空间点进行捆集调整;
检测并剔除冗余关键帧。
3.如权利要求2所述的空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,所述选择当前关键帧中被跟踪的空间点的条件包含:
空间点跟踪过程中,超过25%的预测该点可见的帧中找到该空间点;
空间点从至少三个关键帧中被找到。
4.如权利要求1所述的空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,所述目标全局闭环检测和消除累积误差包含:
根据已有的关键帧检测获得闭环候选帧;
基于关键帧与闭环候选帧得出相似转换矩阵,确定累积误差,当关键帧与闭环候选帧对应关系达到闭环要求,闭环候选帧即为闭环帧;
通过相似转换矩阵使闭环两头关键帧对齐和共视点融合;
对所有关键帧进行全局捆集调整。
5.如权利要求1所述的空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,所述计算目标运动的角速度和总角度包含:
采用以下公式(1)转换相机平面由相机坐标系到世界坐标系:
Pw=(Pc-t)*R (1);
式(1)中Pw为空间点在世界坐标系下的坐标,Pc为空间点在相机坐标系下的坐标,t为世界坐标系与相机坐标系之间的平移向量,R为世界坐标系与相机坐标系之间的旋转矩阵;
在相机平面基础上求解该相机平面的法向量ni
前后帧的夹角用下列公式(2)计算,ni-1,ni为相邻两帧的法向量:
根据式(3)、(4)将各帧间的角度相加并除以总耗时,便能计算出总角度aj与角速度vj
6.如权利要求5所述的空间慢旋碎片相对运动角度和角速度的跟踪方法,其特征在于,所述消除帧间回转误差包含
如式(5)由相邻帧的法向量相减求得旋转方向向量di
di=ni-ni-1 (5);
根据式(6)求解当前帧运动方向与前一帧运动方向的夹角:
如果θd>90°,则判定当前帧无效,即不将其夹角加入总旋转角中;并且在运算过程中保持上一帧ni-1位置不变,即在计算ni+1夹角时,将用ni-1代替ni
7.一种适用于所述权利要求1-6中任意一项权利要求所述空间慢旋碎片相对运动角度和角速度的跟踪方法的跟踪系统,其特征在于,该跟踪系统包含:
目标采集模块,其采集空间慢旋碎片目标的图像信息;
当前帧读取模块,其输入端连接目标采集模块,完成当前帧特征点的提取、匹配、跟踪和位姿求解;
三维重建模块,其输入端连接当前帧读取模块,完成目标局部空间点三维重建;
全局闭环检测模块,其输入端连接三维重建模块,进行目标全局闭环检测,消除累积误差;
角速度和总角度计算模块,其输入端连接全局闭环检测模块,得到目标运动的角速度和总角度,消除帧间回转误差。
CN201610825368.0A 2016-09-14 2016-09-14 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法 Active CN106373141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610825368.0A CN106373141B (zh) 2016-09-14 2016-09-14 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610825368.0A CN106373141B (zh) 2016-09-14 2016-09-14 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法

Publications (2)

Publication Number Publication Date
CN106373141A CN106373141A (zh) 2017-02-01
CN106373141B true CN106373141B (zh) 2019-05-28

Family

ID=57897200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610825368.0A Active CN106373141B (zh) 2016-09-14 2016-09-14 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法

Country Status (1)

Country Link
CN (1) CN106373141B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358629B (zh) * 2017-07-07 2020-11-10 北京大学深圳研究生院 一种基于目标识别的室内建图与定位方法
CN107451540B (zh) * 2017-07-14 2023-09-01 南京维睛视空信息科技有限公司 一种可压缩的3d识别方法
CN108036793B (zh) * 2017-12-11 2021-07-23 北京奇虎科技有限公司 基于点云的定位方法、装置及电子设备
CN108682036B (zh) 2018-04-27 2022-10-25 腾讯科技(深圳)有限公司 位姿确定方法、装置及存储介质
CN109618103B (zh) * 2019-01-28 2020-09-25 深圳慧源创新科技有限公司 无人机图传视频的防抖方法及无人机
JP7220591B2 (ja) * 2019-03-07 2023-02-10 三菱重工業株式会社 自己位置推定装置、自己位置推定方法及びプログラム
CN110002014A (zh) * 2019-03-21 2019-07-12 武汉大学 一种空间碎片关联方法及介质
CN110345919B (zh) * 2019-05-27 2020-12-29 中国科学院紫金山天文台 基于三维空间向量与二维平面坐标的空间碎片检测方法
CN110132272A (zh) * 2019-06-20 2019-08-16 河北工业大学 一种用于空间碎片运动参数的测量方法及系统
CN110766716B (zh) * 2019-09-10 2022-03-29 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN110930519B (zh) * 2019-11-14 2023-06-20 华南智能机器人创新研究院 基于环境理解的语义orb-slam感知方法及装置
CN111311743B (zh) * 2020-03-27 2023-04-07 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN113298692B (zh) * 2021-05-21 2024-04-16 北京索为云网科技有限公司 基于移动端浏览器实现实时设备位姿解算的增强现实方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913452A (zh) * 2016-04-01 2016-08-31 西北工业大学 空间碎片实时检测与跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080169975A1 (en) * 2007-01-12 2008-07-17 Young Paul Yee Process for generating spatially continuous wind profiles from wind profiler measurements

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913452A (zh) * 2016-04-01 2016-08-31 西北工业大学 空间碎片实时检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
火星探测光学自主导航半物理仿真系统设计;张宇等;《导航与控制》;20160405;第15卷(第2期);第9-12页

Also Published As

Publication number Publication date
CN106373141A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106373141B (zh) 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法
CN106940186B (zh) 一种机器人自主定位与导航方法及系统
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
Zuo et al. Robust visual SLAM with point and line features
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
Nüchter et al. 6D SLAM—3D mapping outdoor environments
CN104537709B (zh) 一种基于位姿变化的实时三维重建关键帧确定方法
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
CN103649680B (zh) 用于3d扫描的传感器定位
Grasa et al. EKF monocular SLAM with relocalization for laparoscopic sequences
CN109084732A (zh) 定位与导航方法、装置及处理设备
CN108701374B (zh) 用于三维点云重建的方法和装置
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
Pirchheim et al. Homography-based planar mapping and tracking for mobile phones
CN107657640A (zh) 基于orb slam的智能巡防巡检管理方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
US9651388B1 (en) System and method for improved simultaneous localization and mapping
JP7427188B2 (ja) 3dポーズ取得方法及び装置
Fleer et al. Comparing holistic and feature-based visual methods for estimating the relative pose of mobile robots
CN110097584A (zh) 结合目标检测和语义分割的图像配准方法
CN109978919A (zh) 一种基于单目相机的车辆定位方法及系统
Yuan et al. GNSS-IMU-assisted colored ICP for UAV-LiDAR point cloud registration of peach trees

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant