CN109827547B - 一种分布式多传感器空间目标同步关联方法 - Google Patents

一种分布式多传感器空间目标同步关联方法 Download PDF

Info

Publication number
CN109827547B
CN109827547B CN201910239496.0A CN201910239496A CN109827547B CN 109827547 B CN109827547 B CN 109827547B CN 201910239496 A CN201910239496 A CN 201910239496A CN 109827547 B CN109827547 B CN 109827547B
Authority
CN
China
Prior art keywords
star
target
maps
space
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910239496.0A
Other languages
English (en)
Other versions
CN109827547A (zh
Inventor
张雅声
李智
黄秋实
冯飞
周海俊
徐灿
程文华
周童
霍俞蓉
卢旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN201910239496.0A priority Critical patent/CN109827547B/zh
Publication of CN109827547A publication Critical patent/CN109827547A/zh
Application granted granted Critical
Publication of CN109827547B publication Critical patent/CN109827547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种分布式多传感器空间目标同步关联方法,包括:获取传感器同步拍摄、视场重叠且提取出空间目标的一组星图;保存星图中所有空间目标的质心在各星图中的像素坐标;将任意两张星图拼接;根据传感器所在卫星的轨道数据和姿态数据以及相机内外参数,计算两张拼接星图之间的基础矩阵;在每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,遍历星图中所有像素坐标组合,根据对极几何约束阈值选出同一目标的候选对应点组合;直至遍历所有星图组合进行目标关联,并保证每点至多有一个对应点。本发明通过将远景的空间目标与近景的角点进行等效处理解决目标关联的技术问题,关联成功率可达到90%以上。

Description

一种分布式多传感器空间目标同步关联方法
技术领域
本发明涉及空间目标关联技术领域,尤其涉及一种分布式多传感器空间目标同步关联方法。
背景技术
随着空间碎片数量不断增加,大量在轨碎片已成为各国重点关注的空间目标,空间态势感知对空间碎片的监视能力显得尤为关键,我国空间态势感知起步晚,全球布站难度较大,专用型监视卫星多星组网成本高昂,导致我国对空间碎片监视能力较弱,这将严重影响我国高轨飞行器的飞行安全及高轨的资源利用。公开号CN104776848A提出了一种空间目标识别、定位、跟踪方法,旨在利用大量在轨航天器所携带的星敏感器,构建一类适应我国国情、低成本且高效的空间目标监视系统。其利用星敏感器作为空间目标监视的平台,对星敏感器定姿过程中拍摄的海量星图进行研究,挖掘其中空间目标的可用信息。我国在轨卫星大多装备了星敏感器,每一颗卫星都可作为监视平台,不同于专用型监视卫星,星敏感器不会主动去跟踪拍摄空间目标,其任务依然是定姿,对目标的拍摄是无意识的,因此若想获得一个目标在多平台下的观测数据,需要对星图中的所有对象进行目标关联。
现有的目标关联算法多基于同一传感器对目标拍摄的一段视频或多帧图像,利用目标的先验信息及统计学原理,以相邻帧像点间距离为关联依据,关联出同一目标在同一传感器下的运动轨迹,但并不适用于缺乏目标先验信息的同一时刻、多个星敏感器成像的目标关联问题。
同一时刻,同一天区的数个空间目标可能被多个星敏感器成像,在无任何空间碎片位置先验信息的前提下,如何确定多个星敏感器视场的多个空间目标中,哪些属于同一目标,将是本发明着重解决的技术问题。
对极几何约束是多视图几何中的基本原理,可以实现同一时刻视场重叠多相机拍摄近景物体的照片的对应角点匹配。空间目标与星敏感器距离远,像的面积仅为几像元,因此本发明将每个目标的像的质心作为待匹配的对应角点,当两个不同星图上的像点质心像素坐标满足对极几何约束条件时,判定其为同一目标所成的像,并对其进行目标关联。本发明设计的星图背景下的空间目标关联对于星敏感器产生的抖动及偏差有较好的鲁棒性,无需跟踪拍摄推测轨迹,可以实现图片之间同步的目标关联,具有较好的实时性。
发明内容
本发明的目的在于克服上述现有技术的不足,提出了一种分布式多传感器空间目标同步关联方法,利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题。此方法可以对同一时刻的图片而非一段视频进行关联,具有较好的鲁棒性和实时性。
本发明提供了一种分布式多传感器空间目标同步关联方法,其特征在于,包括:
步骤一、获取多个传感器同步拍摄、视场重叠且提取出空间目标的一组星图;
步骤二、保存所述一组星图中所有空间目标的质心在各星图中的像素坐标;
步骤三、将所述一组星图中任意两张星图拼接,获取所有组合;
步骤四、根据拍摄所述星图的传感器所在卫星的轨道数据和姿态数据以及传感器相机内外参数,基于基础矩阵公式计算两张拼接星图之间的基础矩阵;
步骤五、在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,遍历星图中所有像素坐标组合,根据对极几何约束阈值选出同一目标的候选对应点组合;
步骤六、重复执行步骤五直至遍历所有星图组合进行目标关联,并保证每点至多有一个对应点,当满足阈值条件有多个候选对应点时,判断更接近对极线的候选对应点为对应点,关联对应点并删除其他候选对应点;
步骤七、将全部星图的关联结果进行汇总。
进一步的,分布式多个传感器拍摄过程是无意识的,其拍摄时机,拍摄区域具有随机性,所述传感器包括不同轨道卫星的星敏感器或不同位置的红外传感器。
步骤一中,获取的一组星图拍摄时间均为同一时刻,各星图所拍摄的空间有重叠区域。
进一步的,所述星图中所有对象均为面积为几个像元的白色点状目标。
所述步骤四中卫星的轨道数据用于计算星敏感器所在平台间的距离。
所述步骤四中卫星的姿态数据用于建立各观测平台下的相机坐标系和各坐标系三轴之间的旋转关系矩阵。
所述步骤四中传感器相机内外参数用于计算相机的内参矩阵。
步骤四中,基于基础矩阵公式计算两幅星图之间的基础矩阵包括:
Figure BDA0002009214910000031
其中,F代表基础矩阵,M1和M2分别代表拍摄两幅星图的两台传感器的相机参数矩阵,R代表两台传感器相机坐标系三轴的旋转矩阵,S代表两台传感器相机坐标系原点的平移矩阵。
步骤五中,在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,包括:
在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标带入公式
Figure BDA0002009214910000032
计算;
其中F代表基础矩阵q1,q2分别为两幅星图中空间目标质心的像素坐标。
步骤六中,重复执行步骤五直至遍历所有星图组合进行目标关联,包括:
从第一张只包含空间目标的星图开始,按顺序遍历所有目标质心的像素坐标并保存在同一列,每一张星图上的所有点均位于对应图片序号的一列,对于星图中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点,若有满足条件的点则与星图中的点保存在同一行,同时将星图上对应的像素坐标用线相连,若存在与已知目标不匹配的点则认定为新目标,保存于该星图所对应列的其他行;执行此操作直到所有星图组合上的所有点均被计算。
本发明的有益效果是:
本发明提供的一种分布式多传感器空间目标同步关联方法利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题,在仿真星图和实测星图下都可以得到应用;对于传感器产生的抖动及偏差有较好的鲁棒性,无需跟踪拍摄预推轨迹,可以实现图片之间的目标关联,具有较好的实时性。
附图说明
下面根据附图和实施例对本发明作进一步详细说明。
图1所示为星图背景下空间目标关联示意图。
图2所示为对极几何示意图。
图3所示为星敏感器拍摄空间目标仿真示意图。
图4a-图4f的六张附图分别代表仿真时刻六台不同星敏感器拍摄的只含空间目标的星图。
图5a-图5o的15张附图为实验仿真的目标关联结果示意图,分别代表图4a-图4f中6张星图两两关联得到的15种组合的关联结果。
其中,图5a为cam1-cam2的空间目标星图组合的关联结果;
图5b代表cam1-cam3的空间目标星图组合的关联结果;
图5c代表cam1-cam4的空间目标星图组合的关联结果;
图5d代表cam1-cam5的空间目标星图组合的关联结果;
图5e代表cam1-cam6的空间目标星图组合的关联结果;
图5f代表cam2-cam3的空间目标星图组合的关联结果;
图5g代表cam2-cam4的空间目标星图组合的关联结果;
图5h代表cam2-cam5的空间目标星图组合的关联结果;
图5i代表cam2-cam6的空间目标星图组合的关联结果;
图5j代表cam3-cam4的空间目标星图组合的关联结果;
图5k代表cam3-cam5的空间目标星图组合的关联结果;
图5l代表cam3-cam6的空间目标星图组合的关联结果;
图5m代表cam4-cam5的空间目标星图组合的关联结果;
图5n代表cam4-cam6的空间目标星图组合的关联结果;
图5o代表cam5-cam6的空间目标星图组合的关联结果。
图6所示为星图背景下空间目标关联方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例一
如图6所示,本发明实施例一提供了一种分布式多传感器空间目标同步关联方法,其特征在于,包括:
步骤一、获取多个传感器同步拍摄、视场重叠且提取出空间目标的一组星图;
步骤二、保存所述一组星图中所有空间目标的质心在各星图中的像素坐标;
步骤三、将所述一组星图中任意两张星图拼接,获取所有组合;
步骤四、根据拍摄所述星图的传感器所在卫星的轨道数据和姿态数据以及传感器相机内外参数,基于基础矩阵公式计算两张拼接星图之间的基础矩阵;
步骤五、在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,遍历星图中所有像素坐标组合,根据对极几何约束阈值选出同一目标的候选对应点组合;
步骤六、重复执行步骤五直至遍历所有星图组合进行目标关联,并保证每点至多有一个对应点,当满足阈值条件有多个候选对应点时,判断更接近对极线的候选对应点为对应点,关联对应点并删除其他候选对应点;
步骤七、将全部星图的关联结果进行汇总。
本实施例中传感器拍摄过程是无意识的,其拍摄时机,拍摄区域具有随机性,所述传感器包括不同轨道卫星的星敏感器或不同位置的红外传感器。
其中,本实施例中分布式(distributed)意为分散存在,本实施例提出的目标关联方法适用于多个光学传感器下的目标关联,光学传感器的数目可为若干个,可分布于空间的各个位置,且彼此具备独立成像的能力,通过本实施例提出的方法可实现多个分散存在的光学传感器输出图像间的目标关联,用于后续融合特定目标的信息。本发明实施例中所涉及的分布式光学传感器分别为不同轨道卫星的星敏感器以及不同位置的红外传感器,其中现有文献对星敏感器拍摄星图进行空间目标关联的研究较少,此领域为本发明算法的创新应用之所在,故重点以星敏感器为例介绍空间目标的关联方法。
步骤一中,获取的一组星图拍摄时间均为同一时刻,各星图所拍摄的空间有重叠区域。
其中,所述星图中所有对象均为面积为几个像元的白色点状目标。
所述步骤四中卫星的轨道数据用于计算星敏感器所在平台间的距离。
所述步骤四中卫星的姿态数据用于建立各观测平台下的相机坐标系和各坐标系三轴之间的旋转关系矩阵。
所述步骤四中传感器相机内外参数用于计算相机的内参矩阵。
其中,我方卫星各时刻的轨道,姿态数据以及星敏感器参数可以被获得。
步骤四中,基于基础矩阵公式计算两幅星图之间的基础矩阵包括:
Figure BDA0002009214910000071
其中,F代表基础矩阵,M1和M2分别代表拍摄两幅星图的两台传感器的相机参数矩阵,R代表两台传感器相机坐标系三轴的旋转矩阵,S代表两台传感器相机坐标系原点的平移矩阵。
步骤五中,在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,包括:
所述星敏感器间距离,旋转关系矩阵,内参矩阵用于计算对极几何约束的基础矩阵。
在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标带入公式
Figure BDA0002009214910000072
计算;
其中F代表基础矩阵q1,q2分别为两幅星图中空间目标质心的像素坐标。
步骤六中,重复执行步骤五直至遍历所有星图组合进行目标关联,包括:
从第一张只包含空间目标的星图开始,按顺序遍历所有目标质心的像素坐标并保存在同一列,每一张星图上的所有点均位于对应图片序号的一列,对于星图中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点,若有满足条件的点则与星图中的点保存在同一行,同时将星图上对应的像素坐标用线相连,若存在与已知目标不匹配的点则认定为新目标,保存于该星图所对应列的其他行;执行此操作直到所有星图组合上的所有点均被计算。
本发明的有益效果是:
多传感器空间目标同步关联方法是提出利用图像匹配中的对极几何约束原理解决多观测平台下的目标关联问题,在仿真星图和实测星图下都可以得到应用。
在实际应用中星敏感器的抖动是引入误差的主要原因,在仿真中考虑并加入了上述因素,经分析抖动会导致像点的模糊但对步骤二保存的空间目标质心像素坐标几乎无影响,而且在进行步骤五时,经检验公式
Figure BDA0002009214910000081
中q1,q2即两幅星图中空间目标质心的像素坐标的少量改变并不会对上述公式计算结果产生明显影响,因此星敏感器的抖动不影响此方法目标关联的准确性。
本发明设计的多传感器空间目标同步关联方法对于星敏感器产生的抖动及偏差有较好的鲁棒性,无需跟踪拍摄推测轨迹,可以实现图片之间的目标关联,具有较好的实时性。
为了使本领域技术人员更好的理解本发明的技术方案,以下给出具体实施例对本发明的技术方案进行详细说明:
实施例二:星图背景下分布式多传感器空间目标同步关联:
1)对极几何的构建
对极几何(Epipolar Geometry)是研究两幅图像对应点之间的位置关系的几何,他和场景的几何结构无关,只依赖于摄像机的内外参数,可应用于图像匹配和三维重建。如图1所示为星图背景下的空间目标关联示意图,图中显示了恒星、空间目标以及视场重叠的星敏感器的基本几何关系,空间中的物体连同视场重叠的相机以及物体在相机下所成的像可构成对极几何,对极几何示意图如图2所示。
P是空间中一点,O1和O2是相机的光心,连线称为射影基线(Base Line),P1和P2是点P在左右两成像平面的像点。p1表示P点在O1相机坐标系下的空间坐标(x1,y1,z1),对应的像素坐标是q1(u1,v1),p2表示P点在O2相机坐标系下的空间坐标(x2,y2,z2),对应的像素坐标是q2(u2,v2)。
t表示O1指向O2的向量(tx,ty,tz),即O2在O1相机坐标下的空间坐标,代表左右相机坐标系的平移量。
E1和E2为O1O2所在直线与两成像面的交点,称为对极点(Epipoles);
e1和e2表示P1E1和P2E2所在直线,被称为对极线(Epipolar Line);
P1必位于e1上,P2必位于e2上,称此约束为对极线约束;
Figure BDA0002009214910000082
F称为基础矩阵。基础矩阵反映了两相机的旋转平移关系及相机内参数。在相机坐标系的旋转平移关系及相机内参数均已知的情况下,基础矩阵F可由公式计算。
O2相机坐标系,可由O1相机坐标系经过旋转,平移得到,旋转矩阵为R,平移量为t。根据坐标转换关系可知
p2=R(p1-t) (2)
p1和t均垂直的向量和法向量同相,并且为p1和t的叉乘。
(p1-t)T·(p1×t)=(R-1p2)T·(p1×t)=0 (3)
旋转矩阵R为正交矩阵,R-1=RT,所以
Figure BDA0002009214910000091
Figure BDA0002009214910000092
Figure BDA0002009214910000093
矩阵E=RS为本质矩阵,秩为2,只与两相机坐标系之间的位姿关系相关。
若两相机的投影矩阵为M1和M2,代表了相机的内参矩阵
Figure BDA0002009214910000094
Figure BDA0002009214910000095
其中f代表相机焦距,dx、dy代表像素的长度和宽度,u0、v0代表中心像素坐标。当已知相机视场角度及照片分辨率时,内参矩阵M还可通过如下公式表示。
Figure BDA0002009214910000096
Figure BDA0002009214910000097
Figure BDA0002009214910000098
Figure BDA0002009214910000099
Figure BDA00020092149100000910
2)对测量方案的仿真验证
设置仿真时间为2016年10月10日04:00:00-2016年10月12日04:00:00(UTC),对初始时刻的星图进行关联。
如图3所示,观测平台为6个分别位于相同或不同轨道的卫星。在2016年10月10日04:00:00这6个卫星的星敏感器光轴恰好指向同一天域,此区域共有9个空间目标。仿真过程中每一个星敏感器均拍摄到了若干个目标。此时刻6台星敏感器拍摄的6张空间目标星图分别如图4所示。a-f依此代表cam1-cam6该时刻拍摄的空间目标星图。
根据报表得到了由J2000坐标系到各相机坐标系的旋转YPR321,如表1所示。
表1 J2000到各相机坐标系旋转角度
Figure BDA0002009214910000101
根据各星敏感器所在卫星的轨道数据得到各相机坐标系的平移量,其中m-n表示在m相机坐标系下
Figure BDA0002009214910000102
向量三轴方向的长度单位km。OmOn表示相机m,n的光心记录在表2中。
表2 各相机坐标系平移量
Figure BDA0002009214910000103
各星敏感器相机的视场及分辨率参数如表3所示
表3 各星敏感器相机参数
Figure BDA0002009214910000111
3)数据带入求解F
根据组合公式当星图数量为p时,任意两张星图间进行关联,关联结果将共有
Figure BDA0002009214910000112
本实施例中共有6张星图,因此两两关联将形成15张关联结果图,分别对应着图5的a-o的15张附图。图5a为cam1-cam2的空间目标星图组合的关联结果;图5b代表cam1-cam3的空间目标星图组合的关联结果;图5c代表cam1-cam4的空间目标星图组合的关联结果;图5d代表cam1-cam5的空间目标星图组合的关联结果;图5e代表cam1-cam6的空间目标星图组合的关联结果;图5f代表cam2-cam3的空间目标星图组合的关联结果;图5g代表cam2-cam4的空间目标星图组合的关联结果;图5h代表cam2-cam5的空间目标星图组合的关联结果;图5i代表cam2-cam6的空间目标星图组合的关联结果;图5j代表cam3-cam4的空间目标星图组合的关联结果;图5k代表cam3-cam5的空间目标星图组合的关联结果;图5l代表cam3-cam6的空间目标星图组合的关联结果;图5m代表cam4-cam5的空间目标星图组合的关联结果;图5n代表cam4-cam6的空间目标星图组合的关联结果;图5o代表cam5-cam6的空间目标星图组合的关联结果。
需要注意的是,由星图m转换到星图n的基础矩阵F与由星图n转换到星图m的基础矩阵F不同,因此在每一步的计算中都要严格注意所带入m,n数据的先后顺序,避免颠倒。
根据表1数据可以分别得到从参考坐标系到m,n相机坐标系的旋转量。
Figure BDA0002009214910000121
Figure BDA0002009214910000122
m-n相机坐标系的旋转量可由m相机先逆向旋转到参考坐标系再由参考坐标系转到n坐标系,故:
Rm-n=rn*rm-1 (15)
Figure BDA0002009214910000123
Em-n=Rm-n*Sm-n (17)
Figure BDA0002009214910000124
Figure BDA0002009214910000125
4)目标关联
从第一张只包含空间目标的星图开始,按顺序遍历所有目标质心的像素坐标并保存在同一列,每一张星图上的所有点均位于对应图片序号的一列,对于星图一中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点,若有满足条件的点则与图一的点保存在同一行,同时将星图上对应的像素坐标用线相连,若存在与已知目标不匹配的点则认定为新目标,保存于该星图所对应列的其他行。执行此操作直到所有星图组合上的所有点均被计算。
筛选对应点,一个像点最多只能与另一个像点对应,当出现一对多的情况时,取更接近对极几何约束判定条件的一点判定为对应点,关联二者并删除其他候选点,最终生成图片和图表的关联结果,如图5和表4所示,根据仿真预设标注每张星图中各个目标用以检验关联结果的正确性。经过大量实验在目标有限的仿真星图中可以实现空间目标准确关联。
表4目标关联结果汇总
Figure BDA0002009214910000131
由图5所示,每张图片均由两张不同视角拍摄的仅含空间目标的星图拼接而成,当左右两个像点代表同一空间目标时则用线将其连接,将所有关联结果汇总并整理可得到表4。由表4可知,共有九个空间目标,这与我们仿真的设定吻合,在这九行六列的坐标矩阵中,每一行代表的均是同一个空间目标,每一列则代表同一张星图上的坐标,因此我们可以直观的得到每一个空间目标在每一张星图上的像素坐标,此结果可用于后续的其他计算和研究。
本发明面向星图背景下空间目标关联研究的空白,通过将远景的空间目标与近景的角点进行等效处理,借助图像匹配领域的算法解决目标关联问题,具有研究价值。本发明设计的星图背景下的空间目标关联对于星敏感器产生的抖动及偏差有较好的鲁棒性,无需跟踪拍摄推测轨迹,可以实现图片之间的目标关联,具有较好的实时性。以上实验共同验证了对极几何解决空间目标关联的正确性。
实施案例三:红外弱小目标的关联
本发明不仅可以用于星图之间的目标关联,对于具有类似成像效果的远距离红外传感器拍摄的小目标同样可以实现目标关联。执行操作与上述案例类似。
测站用两个或多个红外传感器对可疑区域的可疑目标进行侦查,运用本发明可以实现将多个红外传感器下的目标进行关联,实现对各目标的编目,进而确定各目标的空间方位以及跟踪各目标的轨迹。本发明相对于现有通过传感器连续跟踪确定目标轨迹的目标关联方法更具有实时性,而且在实现跨传感器目标关联的过程中,目标关联的准确率也得到了提升。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式多传感器空间目标同步关联方法,其特征在于,包括:
步骤一、获取多个传感器同步拍摄、视场重叠且提取出空间目标的一组星图;
步骤二、保存所述一组星图中所有空间目标的质心在各星图中的像素坐标;
步骤三、将所述一组星图中任意两张星图拼接,获取所有组合;
步骤四、根据拍摄所述星图的传感器所在卫星的轨道数据和姿态数据以及传感器相机内外参数,基于基础矩阵公式计算两张拼接星图之间的基础矩阵;
步骤五、在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,遍历星图中所有像素坐标组合,根据对极几何约束阈值选出同一目标的候选对应点组合;
步骤六、重复执行步骤五直至遍历所有星图组合进行目标关联,并保证每点至多有一个对应点,当满足阈值条件有多个候选对应点时,判断更接近对极线的候选对应点为对应点,关联对应点并删除其他候选对应点;
步骤七、将全部星图的关联结果进行汇总。
2.如权利要求1所述的方法,其特征在于,分布式多个传感器拍摄过程是无意识的,其拍摄时机,拍摄区域具有随机性,所述传感器包括不同轨道卫星的星敏感器或不同位置的红外传感器。
3.如权利要求1所述的方法,其特征在于,步骤一中,获取的一组星图拍摄时间均为同一时刻,各星图所拍摄的空间有重叠区域。
4.如权利要求1-3之一所述的方法,其特征在于,所述星图中所有对象均为面积为几个像元的白色点状目标。
5.如权利要求1所述的方法,其特征在于,所述步骤四中卫星的轨道数据用于计算星敏感器所在平台间的距离。
6.如权利要求1所述的方法,其特征在于,所述步骤四中卫星的姿态数据用于建立各观测平台下的相机坐标系和各坐标系三轴之间的旋转关系矩阵。
7.如权利要求1所述的方法,其特征在于,所述步骤四中传感器相机内外参数用于计算相机的内参矩阵。
8.如权利要求1所述的方法,其特征在于,步骤四中,基于基础矩阵公式计算两幅星图之间的基础矩阵包括:
Figure FDA0002732392600000021
其中,F代表基础矩阵,M1和M2分别代表拍摄两幅星图的两台传感器的相机参数矩阵,R代表两台传感器相机坐标系三轴的旋转矩阵,S代表两台传感器相机坐标系原点的平移矩阵。
9.如权利要求1所述的方法,其特征在于,步骤五中,在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标以及基础矩阵带入对极几何约束公式进行计算,包括:
在两张拼接星图中的每张星图中各取任意一个空间目标质心的像素坐标带入公式
Figure FDA0002732392600000022
计算;
其中F代表基础矩阵;q1,q2分别为两幅星图中空间目标质心的像素坐标。
10.如权利要求1所述的方法,其特征在于,步骤六中,重复执行步骤五直至遍历所有星图组合进行目标关联,包括:
从第一张只包含空间目标的星图开始,按顺序遍历所有目标质心的像素坐标并保存在同一列,每一张星图上的所有点均位于对应图片序号的一列,对于星图中的每个目标均在另一张星图上的所有目标中搜索可以使像素坐标带入相应基础矩阵满足对极几何约束的目标点,若有满足条件的点则与星图中的点保存在同一行,同时将星图上对应的像素坐标用线相连,若存在与已知目标不匹配的点则认定为新目标,保存于该星图所对应列的其他行;执行此操作直到所有星图组合上的所有点均被计算。
CN201910239496.0A 2019-03-27 2019-03-27 一种分布式多传感器空间目标同步关联方法 Active CN109827547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910239496.0A CN109827547B (zh) 2019-03-27 2019-03-27 一种分布式多传感器空间目标同步关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910239496.0A CN109827547B (zh) 2019-03-27 2019-03-27 一种分布式多传感器空间目标同步关联方法

Publications (2)

Publication Number Publication Date
CN109827547A CN109827547A (zh) 2019-05-31
CN109827547B true CN109827547B (zh) 2021-05-04

Family

ID=66872594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910239496.0A Active CN109827547B (zh) 2019-03-27 2019-03-27 一种分布式多传感器空间目标同步关联方法

Country Status (1)

Country Link
CN (1) CN109827547B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711055B (zh) * 2020-12-08 2024-03-19 重庆邮电大学 一种基于边缘计算的室内外无缝定位系统及方法
CN118552619B (zh) * 2024-07-26 2024-10-15 南京航空航天大学 一种卫星编队协同感知的空间非合作多目标识别定位方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
CN102096829A (zh) * 2011-01-06 2011-06-15 西北工业大学 基于迭代最优化距离分类的空间弱小目标检测方法
CN103679674A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种无人飞行器实时图像拼接方法及系统
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN105474033B (zh) * 2013-12-29 2017-06-06 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN107101648A (zh) * 2017-04-26 2017-08-29 武汉大学 基于区域网内恒星影像的星相机定标定姿方法及系统
CN107271991A (zh) * 2017-05-25 2017-10-20 北京环境特性研究所 一种基于状态估计的光/电传感器目标关联方法
CN107560592A (zh) * 2017-08-21 2018-01-09 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN107886498A (zh) * 2017-10-13 2018-04-06 中国科学院上海技术物理研究所 一种基于星载图像序列的空间目标检测跟踪方法
CN108344981A (zh) * 2018-01-19 2018-07-31 杭州电子科技大学 面向杂波的多传感器异步检测tsbf多目标跟踪方法
CN109100714A (zh) * 2018-06-28 2018-12-28 中国船舶重工集团公司第七0七研究所 一种基于极坐标系的低慢小目标跟踪方法
WO2019045982A1 (en) * 2017-08-31 2019-03-07 Nec Laboratories America, Inc. SYNTHETIC VIEWPOINT INVARIANT OBJECT RECOGNITION AND DOMAIN ADAPTATION

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130120730A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 변이 공간 영상의 처리 방법
US9823344B2 (en) * 2014-12-08 2017-11-21 Northrop Grumman Systems Corporation Feature-based tracking of moving objects
JP6645151B2 (ja) * 2015-12-07 2020-02-12 富士通株式会社 投影装置、投影方法及び投影用コンピュータプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
CN102096829A (zh) * 2011-01-06 2011-06-15 西北工业大学 基于迭代最优化距离分类的空间弱小目标检测方法
CN103679674A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种无人飞行器实时图像拼接方法及系统
CN105474033B (zh) * 2013-12-29 2017-06-06 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN104902258A (zh) * 2015-06-09 2015-09-09 公安部第三研究所 一种基于立体视觉的多场景人流量统计方法、系统以及双目相机
CN107101648A (zh) * 2017-04-26 2017-08-29 武汉大学 基于区域网内恒星影像的星相机定标定姿方法及系统
CN107271991A (zh) * 2017-05-25 2017-10-20 北京环境特性研究所 一种基于状态估计的光/电传感器目标关联方法
CN107560592A (zh) * 2017-08-21 2018-01-09 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
WO2019045982A1 (en) * 2017-08-31 2019-03-07 Nec Laboratories America, Inc. SYNTHETIC VIEWPOINT INVARIANT OBJECT RECOGNITION AND DOMAIN ADAPTATION
CN107886498A (zh) * 2017-10-13 2018-04-06 中国科学院上海技术物理研究所 一种基于星载图像序列的空间目标检测跟踪方法
CN107680159A (zh) * 2017-10-16 2018-02-09 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN108344981A (zh) * 2018-01-19 2018-07-31 杭州电子科技大学 面向杂波的多传感器异步检测tsbf多目标跟踪方法
CN109100714A (zh) * 2018-06-28 2018-12-28 中国船舶重工集团公司第七0七研究所 一种基于极坐标系的低慢小目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A Survey of All-sky Autonomous Star Identification Algorithms";Meng Na et al.;《2006 1st International Symposium on Systems and Control in Aerospace and Astronautics》;20061231;第896-901页 *
"An improved velocity determination method based on GOCE kinematic orbit";Jiang Nan et al.;《Geodesy and Geodynamics》;20131231;第4卷(第2期);第47-52页 *
"基于对极几何约束的动态背景下运动目标检测";詹煜欣 等;《计算机应用研究》;20181130;第35卷(第11期);第3462-3465页 *
"基于运动信息的星图中空间目标检测算法";张健 等;《系统工程与电子技术》;20140531;第36卷(第5期);第838-845页 *
"大视场双目视觉定位系统中多目标稀疏匹配";王鑫 等;《红外与激光工程》;20180731;第47卷(第7期);第1-6页 *

Also Published As

Publication number Publication date
CN109827547A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
Teller et al. Calibrated, registered images of an extended urban area
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
US10930062B2 (en) 3D view model generation of an object utilizing geometrically diverse image clusters
CN106803270A (zh) 无人机平台基于单目slam的多关键帧协同地面目标定位方法
Gerke et al. Orientation of oblique airborne image sets-experiences from the ISPRS/EUROSDR benchmark on multi-platform photogrammetry
Saurer et al. Homography based visual odometry with known vertical direction and weak manhattan world assumption
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN104835115A (zh) 用于航空相机的图像成像方法及系统
CN106767720A (zh) 基于无人机的单镜头倾斜摄影测量方法、装置和系统
EP2839431B1 (en) Stereo rectification method
CN113516692B (zh) 一种多传感器融合的slam方法和装置
CN109827547B (zh) 一种分布式多传感器空间目标同步关联方法
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
CN112164119B (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
US8509522B2 (en) Camera translation using rotation from device
Detchev et al. Calibration of multi-camera photogrammetric systems
He et al. Three-point-based solution for automated motion parameter estimation of a multi-camera indoor mapping system with planar motion constraint
Rau et al. Development of a large-format uas imaging system with the construction of a one sensor geometry from a multicamera array
Wang et al. Automated mosaicking of UAV images based on SFM method
CN107806861B (zh) 一种基于本质矩阵分解的倾斜影像相对定向方法
Zhao et al. An ORB-SLAM3 autonomous positioning and orientation approach using 360-degree panoramic video
EP4068210A1 (en) System and method for automated estimation of 3d orientation of a physical asset
Fritsch et al. Photogrammetric point cloud collection with multi-camera systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant