CN109782810A - 基于图像引导的视频卫星运动目标跟踪成像方法及其装置 - Google Patents

基于图像引导的视频卫星运动目标跟踪成像方法及其装置 Download PDF

Info

Publication number
CN109782810A
CN109782810A CN201811603178.XA CN201811603178A CN109782810A CN 109782810 A CN109782810 A CN 109782810A CN 201811603178 A CN201811603178 A CN 201811603178A CN 109782810 A CN109782810 A CN 109782810A
Authority
CN
China
Prior art keywords
satellite
video
image
target
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811603178.XA
Other languages
English (en)
Other versions
CN109782810B (zh
Inventor
张学阳
肖龙龙
胡敏
杨雅君
潘升东
刘俊琦
潘显俊
马聪慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN201811603178.XA priority Critical patent/CN109782810B/zh
Publication of CN109782810A publication Critical patent/CN109782810A/zh
Application granted granted Critical
Publication of CN109782810B publication Critical patent/CN109782810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种基于图像引导的视频卫星运动目标跟踪成像方法包括以下步骤:步骤S100:获取目标在卫星视角图像中的坐标信息;步骤S200:根据坐标信息解算卫星视角图像采样时刻,卫星本体坐标系下卫星的实际姿态到期望姿态的误差四元数与误差角速度,以所述误差四元数与误差角速度为反馈量,采用比例微分控制器控制卫星进行姿态调整;步骤S300:判断目标是否处于卫星视角图像的中央,如果否则重复步骤S100~S200,如果是则停止。该方法能通过视频卫星对非合作运动目标进行凝视跟踪成像。本申请的又一方面还提供了该方法的装置。

Description

基于图像引导的视频卫星运动目标跟踪成像方法及其装置
技术领域
本申请涉及一种基于图像引导的视频卫星运动目标跟踪成像方法及其装置,属于自动控制领域。
背景技术
视频卫星是一种采用视频成像、视频数据实时传输、人在回路交互式操作工作方式的天基信息获取类微小卫星。与传统卫星相比,视频卫星可提供实时视频图像,与静止单幅图像相比增加了时域信息,可获取目标的动态过程信息,能够探测到动态事件的发生,并可以基于视频图像中的序列图像进行图像重构获得更高分辨率的图像,为抗灾救灾、战时监控、计划决策提供第一手资料。
当目标为合作目标时,现有视频卫星对运动目标的凝视跟踪成像,可通过已知的目标运动方程提前计算姿态控制的期望姿态,或通过人在回路的方式实时调整卫星姿态。
当目标为非合作运动目标时,其位置与速度信息无法提前知晓,也就无法由目标位置实时计算期望姿态,难以实现对目标的自主凝视跟踪成像。
发明内容
根据本申请的一个方面,提供了一种基于图像引导的视频卫星运动目标跟踪成像方法,该方法能通过视频卫星对非合作运动目标进行凝视跟踪成像。
参见图1~2,本申请提供的基于图像引导的视频卫星运动目标跟踪成像方法,包括以下步骤:
步骤S100:获取目标在所述卫星视角图像中的坐标信息;
步骤S200:根据所述坐标信息解算所述卫星视角图像采样时刻,卫星本体坐标系下所述卫星实际姿态到期望姿态的误差四元数与误差角速度,以所述期望角速度误差为反馈量,采用比例微分控制器控制所述卫星进行姿态调整;
步骤S300:判断所述目标是否处于所述卫星视角图像的中央,如果否则重复步骤S100~S200,如果是则停止。
本文中卫星视角图像是指通过在轨视频卫星实时获取的目标图像。本方法中为详述步骤均按现有方法进行处理。
在一种实施方式中,参见图2,基于图像反馈的姿态控制:首先通过星载相机获取目标图像后,由视频图像感知得到目标在图像中的坐标信息(此部分内容参见CN201510507109.9和CN201810111223.3公开方法)。由此解算卫星本体坐标系下卫星实际姿态到期望姿态的误差四元数与误差角速度,以误差四元数与误差角速度作为反馈量,传递给比例微分(PD)控制器,控制器控制执行机构完成姿态调整,使目标成像在画面中央,实现对运动目标的凝视跟踪成像。
可选地,所述姿态调整步骤包括以下步骤:
a)控制视频卫星绕ObYb轴旋转,使r与r1重合;
b)控制视频卫星绕ObXb旋转,使r与rP重合;
其中,rP为卫星本体坐标系Ob-XbYbZb下目标视线方向,r为所述视频卫星本体在ObZb方向的单位向量,d为像元尺寸,f为星载相机焦距,(u,v)为预测得到所述目标在下一帧所述卫星视角图像中的位置坐标。
可选地,所述卫星本体坐标系Ob-XbYbZb下目标视线方向:
其中,,(u,v)为通过卡尔曼滤波预测得到所述目标在下一帧所述卫星视角图像中的位置坐标,d为像元尺寸,f为星载相机焦距,xp,yp,zp分别为rp在卫星本体坐标系X轴、Y轴、Z轴的分量。
可选地,所述目标在下一帧所述卫星视角图像中的位置(u,v),采用卡尔曼滤波算法预测得到。
可选地,所述步骤a)中所述视频卫星绕ObYb轴旋转的旋转角度为:
可选地,所述步骤b)中所述视频卫星绕ObXb旋转的旋转角度为
参见图11,根据本申请的又一个方面,提供了一种基于图像引导的视频卫星运动目标跟踪成像装置,包括:
坐标获取模块,用于获取目标在所述卫星视角图像中的坐标信息;
误差获取模块,用于根据所述坐标信息解算所述卫星视角图像采样时刻,卫星本体坐标系下所述卫星实际姿态到期望姿态的误差四元数与误差角速度,以所述误差四元数与误差角速度为反馈量,采用比例微分控制器控制所述卫星进行姿态调整;
判断模块,用于判断所述目标是否处于所述卫星视角图像的中央,如果否则返回所述坐标获取模块,如果是则停止。
可选地,所述误差获取姿态调整模块包括:
第一旋转模块,用于控制视频卫星绕ObYb轴旋转,使r与r1重合;
第二旋转模块,用于控制视频卫星绕ObXb旋转,使r与rP重合;
其中,rP为卫星本体坐标系Ob-XbYbZb下目标视线方向,r为所述视频卫星本体在ObZb方向的单位向量,d为像元尺寸,f为星载相机焦距,(u,v)为预测得到所述目标在下一帧所述卫星视角图像中的位置坐标。
可选地,所述视频卫星绕ObYb轴旋转的旋转角度为:
可选地,所述视频卫星绕ObXb旋转的旋转角度为
本申请能产生的有益效果包括:
1)本申请所提供的基于图像引导的视频卫星运动目标跟踪成像方法及其装置,现有方法不利用图像信息,而是首先计算目标的空间位置,然后转换为画面上的坐标,按此步骤进行转换会导致较大的误差。本申请采用图像信息反馈进行姿态跟踪,将光学传感器中的目标偏差作为反馈量去求解误差四元数和误差角速度,控制目标让目标视线与光轴重合,消除偏差,从而让目标保持在画面中央。提高图像处理精度,误差可保持在几个像素以内,能够提高控制反馈输入量精度,减小噪声对跟踪结果的影响。
2)本申请所提供的基于图像引导的视频卫星运动目标跟踪成像方法及其装置,对于非合作运动目标,其位置与速度信息无法提前知晓,也就无法采用现有方法由目标的位置实时计算期望姿态,难以实现对目标的凝视跟踪成像。采用图像信息反馈的控制系统,能够实时感知运动目标在图像平面中的位置,将其作为反馈量输入控制回路中,使目标成像保持在画面中央,实现对非合作运动目标的凝视跟踪成像。
3)本申请所提供的基于图像引导的视频卫星运动目标跟踪成像方法及其装置,算法简单快捷,便于工程实现。
这里只是没有强调预测,所述的偏差就是卡尔曼滤波器预测的(u,v),因为原点就是画面中心,所以坐标就是与画面中心的偏差。对于每一帧图像,都会根据当前感知的坐标去预测下一帧的坐标(u,v),是实时的,预测错了在下一帧也能纠正,这是卡尔曼滤波的功能,进一步提高了跟踪成像的性能。
4)本申请所提供的基于图像引导的视频卫星运动目标跟踪成像方法及其装置,在跟踪过程中不会绕光轴旋转,从而画面不会发生旋转,成像更加稳定,便于进行图像观察与分析。
5)本申请所提供的基于图像引导的视频卫星运动目标跟踪成像方法及其装置,在跟踪成像过程中,依据目标视线与视轴的偏差角度选择不同的PD控制器参数,能够更快地使目标到达画面中央,同时在对目标持续跟踪时,画面也更稳定。
附图说明
图1为本申请一种实施方式中基于图像引导的视频卫星运动目标跟踪成像方法流程示意图;
图2为本申请一种实施方式中图像反馈的姿态控制回路示意图;
图3为本申请一种实施方式中坐标系示意图;
图4为本申请一种实施方式中目标在像平面上偏差示意图;
图5为本申请一种优选实施例最小机动时间的误差欧拉角示意图,其中框图为对应区域曲线的局部放大图;
图6为本申请一种优选实施例最小跟踪误差的误差欧拉角示意图;
图7为本申请一种优选实施例中视频卫星按本申请提供方法对空间运动目标凝视跟踪过程示意图,其中a)为视频卫星对空间运动目标凝视跟踪第1帧图像,b)为视频卫星对空间运动目标凝视跟踪第12帧图像,c)为视频卫星对空间运动目标凝视跟踪第125帧图像,d)为视频卫星对空间运动目标凝视跟踪第312帧图像,e)为视频卫星对空间运动目标凝视跟踪第500帧图像,f)为视频卫星对空间运动目标凝视跟踪第625帧图像;
图8A为本申请一种优选实施例中目标点在像平面上的轨迹相对像平面中心示意图,其中*为像平面中心,线段为目标运动轨迹,其中框图为对应区域曲线的局部放大图;
图8B为本申请一种优选实施例中空间目标运动轨迹与姿态跟踪的光轴指向误差—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图8C为本申请一种优选实施例中空间目标运动轨迹与姿态跟踪的误差欧拉角—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图8D为本申请一种优选实施例中空间目标运动轨迹与姿态跟踪的误差角速度—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图9为本申请一种优选实施例中视频卫星按本申请提供方法对对飞机目标凝视跟踪的过程示意图,其中a)为视频卫星对飞机目标凝视跟踪第1帧图像,b)为视频卫星对飞机目标凝视跟踪第18帧图像,c)为视频卫星对飞机目标凝视跟踪第70帧图像,d)为视频卫星对飞机目标凝视跟踪第105帧图像,e)为视频卫星对飞机目标凝视跟踪第168帧图像,f)为视频卫星对飞机目标凝视跟踪第215帧图像;
图10A为本申请一种优选实施例中飞机目标运动轨迹与姿态跟踪性能的目标点在像平面上的轨迹相对像平面中心示意图,其中*为像平面中心,线段为目标运动轨迹,其中框图为对应区域曲线的局部放大图,
图10B为本申请一种优选实施例中飞机目标运动轨迹与姿态跟踪性能的光轴指向误差—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图10C为本申请一种优选实施例中飞机目标运动轨迹与姿态跟踪性能的误差欧拉角—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图10D为本申请一种优选实施例中飞机目标运动轨迹与姿态跟踪性能的误差角速度—跟踪时间曲线图,其中框图为对应区域曲线的局部放大图;
图11为本申请一种实施方式中基于图像引导的视频卫星运动目标跟踪成像装置结构示意图。
图例说明:
Oc-XcYcZc坐标系为相机坐标系;
Oi-XiYiZi坐标系为地球惯性坐标系;
O-xy为像素坐标系;Ob-XbYbZb坐标系为卫星本体坐标系。
具体实施方式
下面结合实施例详述本申请,但本申请并不局限于这些实施例。
本申请提供方法具体包括以下步骤:
1.定义坐标系。
定义地球惯性坐标系Oi-XiYiZi选用J2000.0坐标系,它以地球质心为坐标系原点,OiZi轴指向J2000.0年平赤道面(基面)的极点,OiXi轴指向J2000.0平春分点,OiYi轴与OiXi轴和OiZi轴构成右手坐标系。
定义卫星本体坐标系为Ob-XbYbZb,它以卫星的质心为坐标系原点,三个坐标轴方向分别沿着卫星本体惯量主轴三个方向。
定义图像像素坐标系I-xy,它以视频图像左上角为坐标系原点,以像素为坐标单位,x,y分别表示该像素点在数字图像中的列数与行数。
定义图像坐标系O-XpYp,它以光轴与像平面的交点为原点,OXp,OYp分别与图像像素坐标系的x轴与y轴平行。
定义相机坐标系为Oc-XcYcZc,它以摄像机的光心为坐标系原点,以相机的光轴为坐标系的OcZc轴,正方向为摄像方向,OcXc,OcYc分别与OXp,OYp平行,方向相反,与OcZc构成右手坐标系。
坐标系如图3所示。为了便于后面的计算与讨论,后文中提到的像素坐标系都是指将像素坐标系平移到图像中心得到的坐标系O-xy。
2.基于图像的误差四元数与误差角速度求解
假设相机坐标系Oc-XcYcZc与卫星本体坐标系Ob-XbYbZb重合。
假设目标在第k帧卫星视角图像中的状态向量为xk=(xk,yk,vxk,vyk)T,xk=(xk,yk,vxk,vyk)T为目标在像素坐标系下的坐标和速度,则目标的系统状态方程与观测方程为:
其中,F是状态转移矩阵,B是控制输入矩阵,uk是控制向量,H是测量矩阵,zk是测量向量,即在第k帧检测目标得到的运动目标图像坐标,w是过程噪声,假设为协方差矩阵为Q的零均值高斯白噪声,记作w~N(0,Q),v是测量噪声,假设为协方差矩阵为R的零均值高斯白噪声,记作v~N(0,R)。
按上述式(1)所示方程实现图2中“图像获取”步骤。
按现有卡尔曼滤波算法预测目标在下一帧图像中的位置(u,v),在此不累述。
控制卫星本体坐标系的ObZb方向的单位向量r与卫星本体坐标系Ob-XbYbZb下目标视线方向rP重合:
设卫星本体坐标系的ObZb方向的单位向量为r=(0,0,1)T
如图4所示,设目标P在像素坐标系O-xy中的坐标为通过卡尔曼滤波预测目标在下一帧图像中的位置(u,v),星载相机焦距为f,像元尺寸为d,于是卫星本体坐标系Ob-XbYbZb下目标视线方向为:
其中,(u,v)为通过卡尔曼滤波预测得到所述目标在下一帧所述卫星视角图像中的位置坐标,d为像元尺寸,f为星载相机焦距,xp,yp,zp分别为rp在卫星本体坐标系X轴、Y轴、Z轴的分量。
使目标成像在视野画面中心就需要使r与rP重合,凝视跟踪成像就是控制r跟踪rP的过程。在凝视跟踪过程中希望画面保持稳定,不发生旋转,便于进行图像观察与分析,因而在Ob-XbYbZb下,设ObU=(-du,0,-f),
为了使目标最终能成像在视频卫星获取图像的中央,所述步骤S200中所述姿态调整步骤包括以下步骤:
a)视频卫星绕ObYb轴旋转,使r与r1重合;
b)视频卫星绕ObXb旋转,使r与rP重合;
整个过程无需旋转ObZb轴,避免图像发生旋转即可实现目标成像在视野画面中心。
对于第一步绕ObYb轴旋转,旋转角度为:
对于第二步绕ObXb旋转,旋转角度为
定义四元数为前三个分量是矢量部分,第四个分量是标量,即其中q1:3=(q1,q2,q3)T,则第一步绕(0,1,0)T旋转θ的四元数为
第二步绕(1,0,0)T旋转的四元数为
于是可得旋转后卫星的期望姿态误差四元数为:
由星载传感器可以确定卫星本体坐标系相对地球惯性系的姿态四元数qb,则相对地球惯性系的期望姿态四元数qt
采用期望姿态四元数qt和对应的期望角速度ωt表示的卫星姿态运动学方程为:
从而可由反解期望角速度:
其中
对qt差分即可得到将qt代入式(11)可得相对地球惯性系的期望角速度ωt,若ωb是卫星本体坐标系的角速度,则可得到卫星期望姿态误差角速度:
ωe=ωb-A(qet(13)
其中A(qe)是由qe确定的姿态矩阵,对任意姿态四元数
由以上计算,可以得到图像采样时刻视频卫星本体坐标系下实际姿态到期望姿态的误差四元数与误差角速度,以此作为反馈量,即可设计相应的控制器对运动目标进行跟踪。
即将此处得到的反馈量输入现有的PD控制器,并对PD控制器中的参数Kp和Kd进行调整,从而实现控制视频卫星本体ObZb方向的单位向量r与卫星本体坐标系Ob-XbYbZb下目标视线方向rP重合。
3.控制器设计
基于三个正交安装的反作用飞轮的执行机构,可得卫星姿态动力学方程:
其中,J为卫星转动惯量,ωb是卫星本体坐标系的角速度,h为飞轮的角动量,u为控制力矩,Td为外部干扰力矩,且:
其中,-h为飞轮角动量的负曲率,
PD控制器因其简单有效,运算资源需求小,实时性好,广泛应用于卫星的姿态控制系统中。尤其是在图像反馈的控制回路中,考虑到图像处理需要的计算资源与时间,对控制器的实时性提出了更高的要求,PD控制器成为了一个很好的选择。本申请采用现有PD控制器,忽略外部干扰力矩Td,由式(8),(11),及(13)可得如下式所示PD控制器:
其中,Kp和Kd为常值正定矩阵。
已知期望姿态的误差四元数与误差角速度,满足:
将式(17),(18),(19)代入式(15),可以得到加控制后的闭环系统方程:
令闭环系统的Lyapunov函数V:
显然V≥0,等号成立当且仅当ωe=0,
按式(22)对V求导,并将式(11)和式(20)代入式(22):
因为Kp和Kd为常值正定矩阵,从而由稳定性定理可知,此控制器能实现渐近稳定。由公式(20),(21)和(22)证明该控制器是渐进稳定的。
在实施例中,视频卫星的参数采用天拓二号的设计控制参数,转动惯量为飞轮的最大控制力矩为20mN·m。
假设视频卫星搭载的高清相机焦距为500mm,像元尺寸为8.33μm,视频分辨率为3500×2900,实施例一与实施例二的初始时刻姿态角和角速度分别为[0.1,20,-13]deg和[0,0.2,0]deg/s。
实施例1PD控制器参数的优化
(1)最小机动时间目标的优化,优化PD控制器参数使系统的调节时间尽可能的短。假设初始时刻一目标在像素坐标系的(1700,1400)处,定义目标函数调节时间T为将目标视线与视轴的偏差角度α控制到0.25°以内所需的时间。
利用遗传算法进行优化,获得最短的调节时间,设种群规模为20,交叉概率为0.8,Kp和Kd的取值范围分别为[1,20]和[1,60]。
获得优化结果为:
利用(25)中得到的优化结果对跟踪成像过程进行了仿真,结果如图5所示,Δφ、Δθ、Δψ的误差欧拉角分别对应的三条曲线,由图5可见,3个误差欧拉角对应的控制误差,5s时间后,图中三条曲线的误差均趋近于0。说明本申请提供方法的调节时间在5s以内。通过图5中所示局部放大图可见,姿态角的稳态误差约为0.8度。
(2)最小跟踪误差目标的优化,优化PD控制器参数使目标到达画面中心附近,以使后持续跟踪误差尽可能小。假设初始时刻一目标在像素坐标系的(10,5)处,以每秒(-4,-4)的速度运动。目标函数为跟踪成像25秒过程中的平均视线偏差角优化设置与之前相同。获得优化结果为:
利用式(26)中得到的优化结果对系统进行了仿真,结果如图6所示。
由图6可知,姿态角稳态误差在±0.015deg以内,约为前一种情况下的1/4。
实施例2
使用天拓二号视频卫星在轨拍摄的空间目标视频作为控制回路的图像输入,视频图像每秒25帧,分辨率为960×576。控制部分通过仿真实现,并模拟了姿态调整导致的图像变化。图像裁切后缩放为2300×1700,嵌入实际大小为3500×2900的画面中,并用白色填充。
图7显示了对空间运动目标凝视跟踪的过程,图中外围黑框表示卫星视野,方框表示感知得到的目标,星标表示卫星视轴,即像平面中心,图中发光亮点为目标。最初目标并不在像平面中心,通过本申请提供的控制方法,使目标成像在画面中央,有效实现了对空间运动目标的凝视跟踪。
凝视跟踪过程中目标点在像平面上的轨迹和姿态跟踪性能如图8A~图8D所示。图8A~图8D中各小图均为局部放大图。小图中横坐标、纵坐标与大图中横坐标、纵坐标含义相同。通过小图便于展示大图中局部信息。
图8A为目标点在像平面的轨迹,可知初始光轴指向和检测出的目标位置距离并不太远,随着卫星姿态机动两者距离越来越近,最终稳定在25个像素以内,最终目标维持在像平面中心运动。如图8B所示,同时可见2秒左右光轴指向误差即小于40个像素。由图8A~B可见,初始光轴指向和检测出的目标位置距离并不太远,随着卫星姿态机动两者距离越来越近,最终稳定在25个像素以内。
图8C反映采用本申请提供方法控制后,卫星的姿态对运动目标的跟踪精度,初始误差欧拉角为0.12°,3个误差欧拉角的稳态误差为0.015°。
图8D为卫星的姿态跟踪过程中的误差角速度。由8D和图8D可见,该方法可确保偏航角始终为零,保证了图像在相机视场中不发生旋转,便于进行图像观察与分析。
实施例3
使用SkySat视频卫星在轨拍摄的城市视频作为控制回路的图像输入,视频图像每秒29帧,分辨率为1104×622,控制部分通过仿真实现,并模拟了姿态调整导致的图像变化。
本实施例中初始时刻视频卫星处于对地凝视状态,初始时刻姿态角和角速度分别为[0.1,-50,15]deg和[-0.1,0.4,0]deg/s。图像裁切后缩放为2900×1800,与实施例二相同,嵌入实际大小为3500×2900的画面中,并用白色填充。图9中(a)~(f)显示了对飞机目标凝视跟踪的过程,图中外围黑框表示卫星视野,画面区域内的小框表示感知得到的目标(按CN201510507109.9和CN201810111223.3公开方法得到),小框中的星标表示卫星视轴,即像平面中心。
最初目标并不在像平面中心,通过本申请提供的控制方法对视频卫星姿态进行控制,使跟踪成像在画面中央,有效实现了对空间运动目标的凝视跟踪。
凝视跟踪过程中目标点在像平面上的轨迹和姿态跟踪性能如图10A~图10D所示。
图10A为目标点在像平面的轨迹。
与实施例2不同,初始光轴指向和检测出的目标位置距离较远,PD控制器采用以最小机动时间为目标优化得到的参数(实施例1(1))调整姿态,使目标成像在画面中央,之后PD控制器采用以最小跟踪误差为目标优化得到的参数(实施例1中的步骤(2)中)调整姿态,最终稳定在40个像素以内,如图10B所示,同时可见2秒左右光轴指向误差即小于40个像素。
图10C为卫星的姿态跟踪精度,初始误差角为0.5°,稳态误差为0.02°,图10D为卫星的姿态跟踪过程中的误差角速度。
与实施例2的分析相类似,由图10C和图10D可见,该方法可确保偏航角始终为零,保证了图像在相机视场中不发生旋转,便于进行图像观察与分析。
由实施例2与实施例3可见,本节所提出的一种图像引导的运动目标凝视跟踪控制方法,能够实现对目标的凝视跟踪成像,而且该方法可确保偏航角始终为零,保证了图像在相机视场中不发生旋转,便于进行图像观察与分析。
以上所述,仅是本申请的几个实施例,并非对本申请做任何形式的限制,虽然本申请以较佳实施例揭示如上,然而并非用以限制本申请,任何熟悉本专业的技术人员,在不脱离本申请技术方案的范围内,利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例,均属于技术方案范围内。

Claims (10)

1.一种基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,包括以下步骤:
步骤S100:获取目标在所述卫星视角图像中的坐标信息;
步骤S200:根据所述坐标信息解算所述卫星视角图像采样时刻,卫星本体坐标系下所述卫星的实际姿态到期望姿态的误差四元数与误差角速度,以所述误差四元数与误差角速度为反馈量,采用比例微分控制器控制所述卫星进行姿态调整;
步骤S300:判断所述目标是否处于所述卫星视角图像的中央,如果否则重复步骤S100~S200,如果是则停止。
2.根据权利要求1所述的基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,所述姿态调整步骤包括以下步骤:
a)控制视频卫星绕ObYb轴旋转,使r与r1重合;
b)控制视频卫星绕ObXb旋转,使r与rP重合;
其中,rP为卫星本体坐标系Ob-XbYbZb下目标视线方向,r为所述视频卫星本体在ObZb方向的单位向量,d为像元尺寸,f为星载相机焦距,(u,v)为通过卡尔曼滤波预测得到所述目标在下一帧所述卫星视角图像中的位置坐标。
3.根据权利要求2所述的基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,所述步骤a)中所述视频卫星绕ObYb轴旋转的旋转角度为:
4.根据权利要求2所述的基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,所述步骤b)中所述视频卫星绕ObXb旋转的旋转角度为
5.根据权利要求2所述的基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,所述卫星本体坐标系Ob-XbYbZb下目标视线方向:
其中,(u,v)为通过卡尔曼滤波预测得到所述目标在下一帧所述卫星视角图像中的位置坐标,d为像元尺寸,f为星载相机焦距,xp,yp,zp分别为rp在卫星本体坐标系X轴、Y轴、Z轴的分量。
6.根据权利要求2所述的基于图像引导的视频卫星运动目标跟踪成像方法,其特征在于,所述目标在下一帧所述卫星视角图像中的位置(u,v),采用卡尔曼滤波算法预测得到。
7.一种基于图像引导的视频卫星运动目标跟踪成像装置,其特征在于,包括:
坐标获取模块,用于获取目标在所述卫星视角图像中的坐标信息;
误差获取姿态调整模块,用于根据所述坐标信息解算所述卫星视角图像采样时刻,卫星本体坐标系下所述卫星实际姿态到期望姿态的误差四元数与误差角速度,以所述误差四元数与误差角速度为反馈量,采用比例微分控制器控制所述卫星进行姿态调整;
判断模块,用于判断所述目标是否处于所述卫星视角图像的中央,如果否则返回所述坐标获取模块,如果是则停止。
8.根据权利要求7所述的基于图像引导的视频卫星运动目标跟踪成像装置,其特征在于,所述误差获取姿态调整模块包括:
第一旋转模块,用于控制视频卫星绕ObYb轴旋转,使r与r1重合;
第二旋转模块,用于控制视频卫星绕ObXb旋转,使r与rP重合;
其中,rP为卫星本体坐标系Ob-XbYbZb下目标视线方向,r为所述视频卫星本体在ObZb方向的单位向量,d为像元尺寸,f为星载相机焦距,(u,v)为预测得到所述目标在下一帧所述卫星视角图像中的位置坐标。
9.根据权利要求8所述的基于图像引导的视频卫星运动目标跟踪成像装置,其特征在于,所述视频卫星绕ObYb轴旋转的旋转角度为:
10.根据权利要求8所述的基于图像引导的视频卫星运动目标跟踪成像装置,其特征在于,所述视频卫星绕ObXb旋转的旋转角度为
CN201811603178.XA 2018-12-26 2018-12-26 基于图像引导的视频卫星运动目标跟踪成像方法及其装置 Active CN109782810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811603178.XA CN109782810B (zh) 2018-12-26 2018-12-26 基于图像引导的视频卫星运动目标跟踪成像方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811603178.XA CN109782810B (zh) 2018-12-26 2018-12-26 基于图像引导的视频卫星运动目标跟踪成像方法及其装置

Publications (2)

Publication Number Publication Date
CN109782810A true CN109782810A (zh) 2019-05-21
CN109782810B CN109782810B (zh) 2020-06-02

Family

ID=66497755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811603178.XA Active CN109782810B (zh) 2018-12-26 2018-12-26 基于图像引导的视频卫星运动目标跟踪成像方法及其装置

Country Status (1)

Country Link
CN (1) CN109782810B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456631A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 行星探测捕获制动与器器分离物理跟踪装置与方法
CN111366986A (zh) * 2020-03-24 2020-07-03 中国科学院微小卫星创新研究院 一种空间碎片观测系统及方法
CN112346485A (zh) * 2020-12-24 2021-02-09 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种光电跟踪控制方法、系统、电子设备及存储介质
CN112660423A (zh) * 2020-12-17 2021-04-16 中国人民解放军国防科技大学 一种视频卫星对运动目标的凝视跟踪控制方法及系统
CN113406684A (zh) * 2021-06-15 2021-09-17 中国人民解放军国防科技大学 一种视频卫星的地面目标检测方法及装置
CN114296479A (zh) * 2021-12-30 2022-04-08 哈尔滨工业大学 一种基于图像的无人机对地面车辆跟踪方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060092A1 (en) * 2003-08-05 2005-03-17 The Boeing Company Laser range finder closed-loop pointing technology of relative navigation, attitude determination, pointing and tracking for spacecraft rendezvous
US20060224324A1 (en) * 2005-03-29 2006-10-05 Denny Robert B Method and system for creating astronomical observing plans for automated observatories
CN102119402A (zh) * 2008-06-16 2011-07-06 Eyefi研发有限公司 空间预估和径向旋转的方法和实现上述方法的系统
JP2012018040A (ja) * 2010-07-07 2012-01-26 Nec Corp 衛星システム及び対象天体特徴取得方法
JP2015057650A (ja) * 2013-08-12 2015-03-26 三菱電機株式会社 結像光学装置及び飛翔体
CN107529376B (zh) * 2013-08-01 2015-12-30 上海新跃仪表厂 多模融合的微小卫星非合作目标相对导航的方法
CN105654514A (zh) * 2015-12-31 2016-06-08 中国人民解放军国防科学技术大学 一种图像目标跟踪方法
CN106097397A (zh) * 2016-06-29 2016-11-09 中国人民解放军国防科学技术大学 一种对非合作运动目标跟踪成像的视频卫星姿态控制方法
CN106125745A (zh) * 2016-06-29 2016-11-16 中国人民解放军国防科学技术大学 一种对空间合作目标跟踪成像的卫星姿态控制方法
CN107622508A (zh) * 2017-08-15 2018-01-23 中国科学院长春光学精密机械与物理研究所 一种视频卫星对非合作运动目标的跟踪方法
CN108876825A (zh) * 2018-05-15 2018-11-23 北京空间飞行器总体设计部 一种空间非合作目标相对导航三维匹配估计方法
CN108917772A (zh) * 2018-04-04 2018-11-30 北京空间飞行器总体设计部 基于序列图像的非合作目标相对导航运动估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060092A1 (en) * 2003-08-05 2005-03-17 The Boeing Company Laser range finder closed-loop pointing technology of relative navigation, attitude determination, pointing and tracking for spacecraft rendezvous
US20060224324A1 (en) * 2005-03-29 2006-10-05 Denny Robert B Method and system for creating astronomical observing plans for automated observatories
CN102119402A (zh) * 2008-06-16 2011-07-06 Eyefi研发有限公司 空间预估和径向旋转的方法和实现上述方法的系统
JP2012018040A (ja) * 2010-07-07 2012-01-26 Nec Corp 衛星システム及び対象天体特徴取得方法
CN107529376B (zh) * 2013-08-01 2015-12-30 上海新跃仪表厂 多模融合的微小卫星非合作目标相对导航的方法
JP2015057650A (ja) * 2013-08-12 2015-03-26 三菱電機株式会社 結像光学装置及び飛翔体
CN105654514A (zh) * 2015-12-31 2016-06-08 中国人民解放军国防科学技术大学 一种图像目标跟踪方法
CN106097397A (zh) * 2016-06-29 2016-11-09 中国人民解放军国防科学技术大学 一种对非合作运动目标跟踪成像的视频卫星姿态控制方法
CN106125745A (zh) * 2016-06-29 2016-11-16 中国人民解放军国防科学技术大学 一种对空间合作目标跟踪成像的卫星姿态控制方法
CN107622508A (zh) * 2017-08-15 2018-01-23 中国科学院长春光学精密机械与物理研究所 一种视频卫星对非合作运动目标的跟踪方法
CN108917772A (zh) * 2018-04-04 2018-11-30 北京空间飞行器总体设计部 基于序列图像的非合作目标相对导航运动估计方法
CN108876825A (zh) * 2018-05-15 2018-11-23 北京空间飞行器总体设计部 一种空间非合作目标相对导航三维匹配估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEYANG ZHANG等: "Error analysis of line-of-sight measurement for video satellite", 《ADVANCES IN MECHANICAL ENGINEERING》 *
张学阳等: "基于运动信息的视频图像空间目标检测", 《海军航空工程学院学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456631A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 行星探测捕获制动与器器分离物理跟踪装置与方法
CN110456631B (zh) * 2019-08-19 2022-12-09 哈尔滨工业大学 行星探测捕获制动与器器分离物理跟踪装置与方法
CN111366986A (zh) * 2020-03-24 2020-07-03 中国科学院微小卫星创新研究院 一种空间碎片观测系统及方法
CN112660423A (zh) * 2020-12-17 2021-04-16 中国人民解放军国防科技大学 一种视频卫星对运动目标的凝视跟踪控制方法及系统
CN112346485A (zh) * 2020-12-24 2021-02-09 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种光电跟踪控制方法、系统、电子设备及存储介质
CN112346485B (zh) * 2020-12-24 2021-05-25 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种光电跟踪控制方法、系统、电子设备及存储介质
CN113406684A (zh) * 2021-06-15 2021-09-17 中国人民解放军国防科技大学 一种视频卫星的地面目标检测方法及装置
CN114296479A (zh) * 2021-12-30 2022-04-08 哈尔滨工业大学 一种基于图像的无人机对地面车辆跟踪方法及系统

Also Published As

Publication number Publication date
CN109782810B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN109782810A (zh) 基于图像引导的视频卫星运动目标跟踪成像方法及其装置
Shirzadeh et al. Vision-based control of a quadrotor utilizing artificial neural networks for tracking of moving targets
CN106651949B (zh) 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
CN109178345B (zh) 一种用于空中动目标跟踪的云台指向及星体姿态协同控制方法
CN112660423A (zh) 一种视频卫星对运动目标的凝视跟踪控制方法及系统
CN115291536B (zh) 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法
CN106599479A (zh) 一种光学遥感相机精密稳像系统的仿真方法
CN110879607A (zh) 一种基于多无人机编队协同探测的海上风电叶片检测方法
Lin et al. Tracking strategy of unmanned aerial vehicle for tracking moving target
CN109375645B (zh) 基于群集智能的多无人机协同区域巡视控制方法
CN114648584A (zh) 一种用于多源融合定位的鲁棒性控制方法和系统
CN113138608B (zh) 一种使用扰动观测器和非线性速度观测器的四旋翼无人机视觉伺服控制方法
CN116149193B (zh) 一种基于视觉的旋翼无人机抗扰动控制方法及系统
CN106529105B (zh) 无人机载光电稳定转台惯性态建模仿真方法
Darma et al. Visual servoing quadrotor control in autonomous target search
CN108227723A (zh) 一种水下机器人及其稳定性分析及结构优化的应用方法
CN112498743A (zh) 一种基于前馈与反馈的卫星姿态跟踪控制器
Xie et al. Position estimation and control for quadrotor using optical flow and GPS sensors
Kaiser et al. Localization and control of an aerial vehicle through chained, vision-based pose reconstruction
CN106097397A (zh) 一种对非合作运动目标跟踪成像的视频卫星姿态控制方法
CN108733076B (zh) 一种无人机抓取目标物体的方法、装置及电子设备
CN112689084B (zh) 一种机载光电侦察成像系统及电子稳像方法
CN112346485B (zh) 一种光电跟踪控制方法、系统、电子设备及存储介质
Madison et al. Target geolocation from a small unmanned aircraft system
Kaiser et al. Position and orientation of an aerial vehicle through chained, vision-based pose reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant