CN109993768B - 一种提高伺服跟踪实时性和精准性的空中目标测谱方法 - Google Patents

一种提高伺服跟踪实时性和精准性的空中目标测谱方法 Download PDF

Info

Publication number
CN109993768B
CN109993768B CN201811632928.6A CN201811632928A CN109993768B CN 109993768 B CN109993768 B CN 109993768B CN 201811632928 A CN201811632928 A CN 201811632928A CN 109993768 B CN109993768 B CN 109993768B
Authority
CN
China
Prior art keywords
frame
target
aerial target
acceleration
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811632928.6A
Other languages
English (en)
Other versions
CN109993768A (zh
Inventor
张天序
张寅生
戴旺卓
董帅
吕思曼
陈�全
段上雄
徐海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811632928.6A priority Critical patent/CN109993768B/zh
Publication of CN109993768A publication Critical patent/CN109993768A/zh
Application granted granted Critical
Publication of CN109993768B publication Critical patent/CN109993768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明公开了一种提高伺服跟踪实时性和精准性的空中目标测谱方法,包括:大视场扫描以搜索空中目标,并在观测到空中目标时保持瞄准镜不动,将当前帧红外图像作为第1帧;获得第2帧,以判定空中目标的类型,若为高速目标,则获得后续帧,以预测空中目标与测谱中心的交汇情况;将预测的交汇情况转换至伺服角度坐标系下,以获得瞄准镜移动的角速度矢量;通过角度预置的方式使得瞄准镜指定时刻按照角速度矢量移动直至获得交汇帧,然后通过伺服控制瞄准镜移动使得测谱中心对准目标;若不是高速目标,则通过伺服控制瞄准镜移动使得测谱中心对准目标。本发明能够实现对高速目标的实时、精准跟踪和测谱。

Description

一种提高伺服跟踪实时性和精准性的空中目标测谱方法
技术领域
本发明属于目标识别与伺服电机控制的交叉技术领域,更具体地,涉及一种提高伺服跟踪实时性和精准性的空中目标测谱方法。
背景技术
空中目标的跟踪测谱方法作为近年来目标识别领域的热门研究方法,一直以来都受到国内外学者和工程技术人员的极大关注,尤其在高速飞行器的光谱特性研究等方面,具有重大的意义。
现有的用于实现对空中目标的跟踪测谱的系统通常只有红外探测设备,这使得在对空中目标进行跟踪测谱时需要人工控制伺服瞄准镜以对准目标,从而对目标进行红外探测,这种测谱方法无法自动跟踪目标进而获得目标的红外序列图像,因此在无人的情况下无法工作。此外,由于空中目标是飞行器等高速目标,而伺服响应存在延时,红外探测设备在自动检测到目标后,将伺服瞄准镜中的测谱中心对准目标时,目标往往已经脱离伺服瞄准镜的凝视视场,导致只能采集到目标的红外序列图像而无法精准获取到目标的光谱序列数据。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种提高伺服跟踪实时性和精准性的空中目标测谱方法,其目的在于,在对空中目标进行测谱时实现对目标的自动跟踪,并提高伺服跟踪的实时性和精准性。
为实现上述目的,本发明提供了一种提高伺服跟踪实时性和精准性的空中目标测谱方法,包括:
(1)利用瞄准镜进行大视场扫描以搜索空中目标,并在观测到空中目标时保持瞄准镜不动,将当前帧红外图像作为第1帧并转入步骤(2);
(2)在瞄准镜的凝视视场内获得第2帧,以判定空中目标的类型,若为高速目标,则转入步骤(3);否则,将第3帧作为跟踪图像并转入步骤(6);
(3)在凝视视场内获得第3~n帧,以预测空中目标与测谱中心交汇的帧序号m、测谱中心移动至交汇点所需的时间Ct以及交汇点在第m帧中的像素坐标;
(4)将测谱中心在第1帧中的像素坐标和交汇点在第m帧中的像素坐标分别转换至伺服角度坐标系下,以获得使得测谱中心移动至交汇点时瞄准镜移动的角速度矢量;
(5)通过角度预置的方式使得瞄准镜在第m帧前的Ct时刻根据角速度矢量移动直至获得第m帧,并将第m+1帧作为跟踪帧;
(6)在跟踪帧的上一帧中,在测谱中心的周围进行局部搜索,以获得空中目标的实际坐标,并使得测谱中心对准空中目标,从而在所述跟踪帧实现对空中目标的伺服跟踪和测谱。
本发明针对不同类型的空中目标,进行不同处理,可实现对各类空中目标的实时、精准跟踪。对于静止目标以及中、低速目标,在通过红外探测检测到目标后直接调节瞄准镜使得测谱中心对准空中目标,即可实现对空中目标的实时、精准跟踪;对于高速目标,伺服响应存在延时,红外探测设备在自动检测到目标后,通过预测空中目标与测谱中心的交汇情况并调节,能够使得空中目标出现在测谱中心附近,进而直接调节瞄准镜使得测谱中心对准空中目标,即可实现对空中目标的实时、精准跟踪。
进一步地,本发明所提供的提高伺服跟踪实时性和精准性的空中目标测谱方法,还包括:
将跟踪图像的后续各帧红外图像依次作为跟踪图像并执行步骤(6),以实现对空中目标的持续跟踪和测谱。
进一步地,步骤(2)中,判定所述空中目标的类型,包括:
根据空中目标在第1帧和第2帧中的像素坐标计算空中目标在第2帧的像素距离,并根据像素距离和红外图像的采样时间间隔计算空中目标在第2帧的移动速度;
若移动速度大于预设的速度阈值,则判定空中目标为高速目标。
更进一步地,速度阈值为:
Figure GDA0002638080160000031
其中,b为测谱区域的长轴或半径,Δt为红外图像的采样时间间隔。
进一步地,步骤(3)包括:
(31)在凝视视场内获得第3~n帧;
(32)若伺服滞后时间To小于红外图像的采样时间间隔Δt,则预测空中目标与测谱中心交汇的帧序号为:m=n+1;否则,预测空中目标与测谱中心交汇的帧序号为:
Figure GDA0002638080160000032
(33)根据预测结果计算测谱中心移动至交汇点所需的时间为:Ct=(m-n)Δt-To
(34)根据空中目标在第1~n帧中的像素坐标分别获得空中目标在第3~n帧的加速度A3~An,以及空中目标在第n帧的速度Vn
(35)根据加速度A3~An拟合得到空中目标在第m帧的加速度Am,并根据加速度Am和An计算空中目标在第n帧至第m帧中每一帧的平均加速度A(m-n)
(36)根据平均加速度A(m-n)计算交汇点在第m帧中的像素坐标P=(Xm,Ym),像素坐标P的X坐标Xm和Y坐标Ym分别为:
Figure GDA0002638080160000041
其中,Vxn和Vyn分别为速度Vn的x方向分量和y方向分量,Ax(m-n)和Ay(m-n)分别为平均加速度A(m-n)的x方向分量和y方向分量,Xn和Yn分别为空中目标在第n帧中的x坐标和y坐标,
Figure GDA0002638080160000042
表示向下取整。
更进一步地,步骤(35)包括:
分别对加速度A3~An进行X方向和Y方向的分解;根据各加速度的X方向分量建立加速度在X方向随时间变化的第一线性模型,并根据各加速度的Y方向分量建立加速度在Y方向随时间变化的第二线性模型;由于空中目标的运动是连续的,可以通过线性模型来准确反映加速度随时间变化的变化率;
根据第一线性模型的斜率得到加速度在X方向随时间变化的变化率Kx,并根据第二线性模型的斜率得到加速度在Y方向随时间变化的变化率Ky;根据变化率Kx和Ky以及加速度An分别获得加速度Am的X方向分量Axm和Y方向分量Aym
根据加速度Am和An计算平均加速度A(m-n)的X方向分量Ax(m-n)和y方向分量Ay(m-n)分别为:
Figure GDA0002638080160000043
更进一步地,n=4,以保证能够拟合得到空中目标在第m帧的加速度Am,并且跟踪响应时间最短,从而提高伺服跟踪的实时性。
进一步地,步骤(4)包括:
根据像面坐标系和伺服角度坐标系之间的转换关系,将测谱中心在第1帧中的像素坐标Pc=(Xc,Yc)和交汇点在第m帧中的像素坐标Pm=(Xm,Ym)分别转换至伺服角度坐标系下,从而得到坐标S1=(X,Y)和坐标Sm=(X′,Y′);
根据坐标S1和Sm以及时间Ct,分别计算瞄准镜移动的方位角加速度为
Figure GDA0002638080160000051
俯仰角加速度为
Figure GDA0002638080160000052
从而得到瞄准镜移动的角加速度矢量Fm=(Fxm,Fym);
根据角加速度矢量Fm和时间Ct,分别计算瞄准镜移动的方位角速度为Vfx=FxmCt,俯仰角速度为Vfy=FymCt,从而得到角速度矢量为:Vfm=(Vfx,Vfy)。
进一步地,步骤(6)中,在跟踪帧的上一帧中,在测谱中心的周围进行局部搜索,以获得空中目标的实际坐标,包括:
在跟踪图像中,以测谱中心的像素坐标Ptarget=(Xtarget,Ytarget)为中心,设置边长为b的正方形感兴趣区域ROI,并获得其灰度值矩阵F;
在感兴趣区域ROI的周围采集N个均与感兴趣区域ROI大小相等且部分重叠的正方形感兴趣区域ROI1~ROIN,并分别获得感兴趣区域ROI1~ROIN的灰度值矩阵F1~FN
设置与各灰度值矩阵大小相等的卷积模板矩阵T,并根据卷积模板矩阵T和灰度值矩阵F1~FN分别计算感兴趣区域ROI1~ROIN的卷积值Val1~ValN
获得卷积值最大的感兴趣区域,并将其中心的像素坐标确定为空中目标在跟踪图像中的实际坐标;
其中,任意一个感兴趣区域ROIi的卷积值Vali为:
Figure GDA0002638080160000053
i为感兴趣区域的编号,1≤i≤N,Fi为感兴趣区域ROIi的灰度值矩阵。
由于伺服本身的误差及计算误差,在预测得到交汇点的像素坐标后,调节瞄准镜只能使得测谱中心后,在第m帧中,空中目标只会出现在测谱中心附近,因此在测谱中心的周围进行局部搜索,能够准确获得空中目标在跟踪图像中的实际坐标,从而能够调节瞄准镜使得测谱中心对准空中目标。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明所提供的提高伺服跟踪实时性和精准性的空中目标测谱方法,实现了对各类空中目标,尤其是高速的空中目标的实时、精准跟踪:对于静止目标以及中、低速目标,直接调节瞄准镜使得测谱中心对准空中目标,实现了对静止目标以及中、低速目标的实时、精准跟踪;对于高速目标,通过预测空中目标与测谱中心的交汇情况并调节,能够使得空中目标出现在测谱中心附近,进而直接调节瞄准镜使得测谱中心对准空中目标,实现了对高速目标的实时、精准跟踪。
(2)本发明所提供的提高伺服跟踪实时性和精准性的空中目标测谱方法,利用瞄准镜进行大视场扫描以搜索空中目标,能够实现对空中目标的自动跟踪,避免了对人工的依赖。
附图说明
图1为现有的图谱关联探测系统示意图;
图2为本发明实施例提供的提高伺服跟踪实时性和精准性的空中目标跟踪方法流程图;
图3为本发明实施例提供的针对低速目标进行跟踪的示意图;
图4为本发明实施例提供的预测空中目标与测谱中心交汇点的示意图;
图5为本发明实施例提供的针对姿态变化的空中目标预测交汇点的示意图;
图6为本发明实施例提供的瞄准镜调节示意图;
图7为现有的像面坐标系与伺服角度坐标系的转换示意图;
图8为本发明实施例提供的伺服角度坐标系下预测交汇点的示意图;
图9为本发明实施例提供的局部搜索示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在详细介绍本发明的技术方案之前,先对相关的探测系统进行简要介绍。图1所示的关联图谱探测系统为本发明所适用的其中一种探测系统,成像单元和测谱单元采用共光路的结构设计,光学窗口入射的光线经瞄准镜反射至卡式镜头后聚焦,汇集到一个半透半反的分光镜,分光镜反射50%的能量用来通过红外探测设备成像,透过50%的能量用来成谱;在像面坐标系中,当测谱中心对准空中目标时,可精确获得空中目标的光谱。当空中目标速度较高时,由于伺服响应存在延时,红外探测设备在自动检测到目标后,将伺服瞄准镜中的测谱中心对准目标时,目标往往已经脱离伺服瞄准镜的凝视视场,导致只能采集到目标的红外序列图像而无法精准获取到目标的光谱序列数据。
为解决现有的空中目标测谱方法依赖于人工且无法对高速目标进行精准跟踪并测谱的问题,本发明提供了一种提高伺服跟踪实时性和精准性的空中目标测谱方法,其整体思路在于:首先大视场扫描以搜索空中目标,从而消除对人工的依赖;在观测到空中目标时保持瞄准镜不动,以获得凝视视场内的红外图像帧,并根据红外图像帧判定目标类型;对于高速目标,则根据获取到的红外图像帧预测空中目标与测谱中心的交汇情况并调节瞄准镜,使得测谱中心提前移动至交汇点附近,再通过局部扫描并对准的方法实现对空中目标的实时、精准跟踪;对于静止目标和中、低速目标,则直接通过局部扫描并对准的方法实现对空中目标的实时、精准跟踪;由此实现对各类空中目标,尤其是高速目标的实时、精准跟踪。
以下结合附图及实施例,对本发明的技术方案进行详细说明。在本发明中,某一帧的加速度或速度,是指该帧的上一帧至该帧之间的平均加速度或平均速度,例如,第3帧的加速度,是指第2帧至第3帧之间的平均加速度;在红外图像帧中,距离和坐标均以像素为单位。
如图2所示,本发明提供的提高伺服跟踪实时性和精准性的空中目标测谱方法,包括:
(1)利用瞄准镜进行大视场扫描以搜索空中目标,并在观测到空中目标时保持瞄准镜不动,将当前帧红外图像作为第1帧并转入步骤(2);
在本发明中,所说的大视场是指相对于凝视视场,伺服按照固定步长移动,所获得的图像序列组成的视场;
在一个可选的实施方式中,步骤(1)具体包括:
(11)使得瞄准镜按照预定的步长进行步进扫描,同时记录下测谱单元在测谱中心测得的光谱S;
(12)若观测到空中目标,则记录空中目标在红外图像中的初始像素坐标(Xt,Yt),保持瞄准镜不动,将当前帧红外图像作为第1帧并转入步骤(2);否则,更新背景光谱Sbg=S,并转入步骤(11);
(2)在瞄准镜的凝视视场内获得第2帧,以判定空中目标的类型,若为高速目标,则转入步骤(3);否则,将第3帧作为跟踪图像并转入步骤(6);
在一个可选的实施方式中,步骤(2)中,判定所述空中目标的类型,包括:
根据空中目标在第1帧和第2帧中的像素坐标计算空中目标在第2帧的像素距离,并根据像素距离和红外图像的采样时间间隔计算空中目标在第2帧的移动速度;
若移动速度大于预设的速度阈值,则判定空中目标为高速目标;
速度阈值为:
Figure GDA0002638080160000091
其中,b为测谱区域的长轴或半径,Δt为红外图像的采样时间间隔;
测谱区域为以测谱中心为中心的椭圆形或圆形,在跟踪过程中,如果空中目标的移动速度大于速度阈值Vth,则空中目标在两帧之间移动的像素距离大于测谱区域的长轴或半径,此物无法通过直接调节瞄准镜的方式保证每一帧目标都在测谱区域内,也就无法实现对空中目标的精准跟踪和测谱,因此,需要进行特殊的跟踪;
(3)在凝视视场内获得第3~n帧,以预测空中目标与测谱中心交汇的帧序号m、测谱中心移动至交汇点所需的时间Ct以及交汇点在第m帧中的像素坐标;
在一个可选的实施方式中,步骤(3)具体包括:
(31)获得凝视视场内的第3~n帧;
(32)若伺服滞后时间To小于红外图像的采样时间间隔Δt,则预测空中目标与测谱中心交汇的帧序号为:m=n+1;否则,预测空中目标与测谱中心交汇的帧序号为:
Figure GDA0002638080160000092
(33)根据预测结果计算测谱中心移动至交汇点所需的时间为:Ct=(m-n)Δt-To
(34)根据空中目标在第1~n帧中的像素坐标分别获得空中目标在第3~n帧的加速度A3~An,以及空中目标在第n帧的速度Vn
(35)根据加速度A3~An拟合得到空中目标在第m帧的加速度Am,并根据加速度Am和An计算空中目标在第n帧至第m帧中每一帧的平均加速度A(m-n)
(36)根据平均加速度A(m-n)计算交汇点在第m帧中的像素坐标P=(Xm,Ym),像素坐标P的X坐标Xm和Y坐标Ym分别为:
Figure GDA0002638080160000101
其中,Vxn和Vyn分别为速度Vn的x方向分量和y方向分量,Ax(m-n)和Ay(m-n)分别为平均加速度A(m-n)的x方向分量和y方向分量,Xn和Yn分别为空中目标在第n帧中的x坐标和y坐标,
Figure GDA0002638080160000102
表示向下取整;步骤(35)具体包括:
分别对加速度A3~An进行X方向和Y方向的分解;根据各加速度的X方向分量建立加速度在X方向随时间变化的第一线性模型,并根据各加速度的Y方向分量建立加速度在Y方向随时间变化的第二线性模型;由于空中目标的运动是连续的,可以通过线性模型来准确反映加速度随时间变化的变化率;
根据第一线性模型的斜率得到加速度在X方向随时间变化的变化率Kx,并根据第二线性模型的斜率得到加速度在Y方向随时间变化的变化率Ky;根据变化率Kx和Ky以及加速度An分别获得加速度Am的X方向分量Axm和Y方向分量Aym
根据加速度Am和An计算平均加速度A(m-n)的X方向分量Ax(m-n)和y方向分量Ay(m-n)分别为:
Figure GDA0002638080160000111
在本实施例中,n=4,以保证能够拟合得到空中目标在第m帧的加速度Am,并且跟踪响应时间最短,从而提高伺服跟踪的实时性;应当理解的,在满足实时性要求的前提下,为保证拟合的准确度,n的取值也可大于4;
(4)将测谱中心在第1帧中的像素坐标和交汇点在第m帧中的像素坐标分别转换至伺服角度坐标系下,以获得使得测谱中心移动至交汇点时瞄准镜移动的角速度矢量;
在一个可选的实施方式中,步骤(4)具体包括:
根据像面坐标系和伺服角度坐标系之间的转换关系,将测谱中心在第1帧中的像素坐标Pc=(Xc,Yc)和交汇点在第m帧中的像素坐标Pm=(Xm,Ym)分别转换至伺服角度坐标系下,从而得到坐标S1=(X,Y)和坐标Sm=(X′,Y′);
根据坐标S1和Sm以及时间Ct,分别计算瞄准镜移动的方位角加速度为
Figure GDA0002638080160000112
俯仰角加速度为
Figure GDA0002638080160000113
从而得到瞄准镜移动的角加速度矢量Fm=(Fxm,Fym);
根据角加速度矢量Fm和时间Ct,分别计算瞄准镜移动的方位角速度为Vfx=FxmCt,俯仰角速度为Vfy=FymCt,从而得到角速度矢量为:Vfm=(Vfx,Vfy);
(5)通过角度预置的方式使得瞄准镜在第m帧前的Ct时刻根据角速度矢量移动直至获得第m帧,并将第m+1帧作为跟踪帧;
(6)在跟踪帧的上一帧中,在测谱中心的周围进行局部搜索,以获得空中目标的实际坐标,并使得测谱中心对准空中目标,从而在所述跟踪帧实现对空中目标的伺服跟踪和测谱;
在一个可选的实施方式中,步骤(6)中,在跟踪帧的上一帧中,在测谱中心的周围进行局部搜索,以获得空中目标的实际坐标,包括:
在跟踪帧的上一帧中,以测谱中心的像素坐标Ptarget=(Xtarget,Ytarget)为中心,设置边长为b的正方形感兴趣区域ROI,并获得其灰度值矩阵F;
在感兴趣区域ROI的周围采集N个均与感兴趣区域ROI大小相等且部分重叠的正方形感兴趣区域ROI1~ROIN,并分别获得感兴趣区域ROI1~ROIN的灰度值矩阵F1~FN
设置与各灰度值矩阵大小相等的卷积模板矩阵T,并根据卷积模板矩阵T和灰度值矩阵F1~FN分别计算感兴趣区域ROI1~ROIN的卷积值Val1~ValN
获得卷积值最大的感兴趣区域,并将其中心的像素坐标确定为空中目标在跟踪图像中的实际坐标;
其中,任意一个感兴趣区域ROIi的卷积值Vali为:
Figure GDA0002638080160000121
i为感兴趣区域的编号,1≤i≤N,Fi为所述感兴趣区域ROIi的灰度值矩阵;
由于伺服本身的误差及计算误差,在预测得到交汇点的像素坐标后,调节瞄准镜只能使得测谱中心后,在第m帧中,空中目标只会出现在测谱中心附近,因此在测谱中心的周围进行局部搜索,能够准确获得空中目标在跟踪图像中的实际坐标,从而能够调节瞄准镜使得测谱中心对准空中目标。
本发明针对不同类型的空中目标,进行不同处理,可实现对各类空中目标的实时、精准跟踪。对于静止目标以及中、低速目标,在通过红外探测检测到目标后直接调节瞄准镜使得测谱中心对准空中目标,即可实现对空中目标的实时、精准跟踪,如图3所示;对于高速目标,伺服响应存在延时,红外探测设备在自动检测到目标后,通过预测空中目标与测谱中心的交汇情况并调节,能够使得空中目标出现在测谱中心附近,进而直接调节瞄准镜使得测谱中心对准空中目标,即可实现对空中目标的实时、精准跟踪。
为了实现对空中目标的持续跟踪和测谱,本发明所提供的提高伺服跟踪实时性和精准性的空中目标测谱方法,还包括:
将跟踪帧的后续各帧红外图像依次作为跟踪图像并执行步骤(6),以实现对空中目标的持续跟踪和测谱。
应用实例
如图4所示,根据当前帧与后续帧图像中目标的图像坐标关系,建立数学模型得出目标的运动方向、速度、运动轨迹、当前帧中目标与测谱中心的像素距离等参数,根据上位机处理时间与伺服响应时间,在数学模型中计算出测谱中心在最短时间内与预测目标轨迹交汇所需移动的轨迹距离与方向,对图4中当前帧及其后3帧建立数学模型,得出目标在当前帧的坐标为(70,140),后续帧坐标为(100,180)、(130,220)、(160,260),运动速度Vn为2500pixel/s,加速度为0pixel/s2,加速度变随时间变化的变化率为0,当前帧后第3帧内目标运动的像素距离向量为(30,40),测谱中心在当前帧后第5帧与目标交汇,交汇点的坐标为(220,340),测谱中心运动至交汇点的距离为141pixel,测谱中心运动的像素距离向量为(-100,100),已知伺服滞后时间To=0.0023s,红外图像探测器的采样时间间隔为Δt=0.020s,交汇时刻为第m帧的前Ct秒,Ct=0.017s,测谱中心运动至交汇点的速度Vc为8294pixel/s。该方法同样适用于图5所示的不同速度、姿态的空中目标。
为确定用于伺服闭环控制的目标运动信息,需要获得空间坐标、像面坐标系、伺服坐标系之间的转换关系。目标物体在世界坐标系下具有坐标位置,经过相机坐标系,像面坐标系变换,确定在像面上的位置信息。设在时刻t相机坐标系为标准坐标系Et,目标的空间坐标系为St(xt,yt,zt),像面坐标At(ax,t,ay,t),由此可以确定瞄准镜绕相机坐标系内x,y转动角度θxy。忽略机构执行时间,伺服空间位置转换后空间坐标跟随变为
Figure GDA0002638080160000131
目标此时相对于新空间坐标系的坐
Figure GDA0002638080160000141
而像面坐标为
Figure GDA0002638080160000142
此过程中假设每次转动前,相机坐标系即为空间坐标系,其数学模型可以描述为
Figure GDA0002638080160000143
其中:Et为设定的t时刻空间坐标。
Figure GDA0002638080160000144
为设定的
Figure GDA0002638080160000145
时刻空间坐标,其中
Figure GDA0002638080160000146
时间内伺服转镜转动时间,
Figure GDA0002638080160000147
为旋转矩阵。其坐标变化如图6所示,其中虚线表示转镜,目标由A点运动至B点,瞄准镜方位偏摆使得目标始终位置视场中心位置。
瞄准镜跟踪可以分解为两个方向的运动:俯仰和方位,旋转矩阵如下所示:
Figure GDA0002638080160000148
对于视野中央区域,假设成像系统为线性,将目标的世界坐标系投影到像面的二维坐标系,生成二维像面坐标。根据几何光学的公式有关系如下:
Figure GDA0002638080160000149
Figure GDA00026380801600001410
在完全理想的状态下,此新坐标应当与
Figure GDA00026380801600001411
时刻的像面坐标相同。实际过程中,由于目标识别过程的像面坐标提取误差以及控制系统的跟踪误差,调整角度偏离理论值。同时目标在相机时刻后的调整跟踪过程中持续运动,因此伺服转镜跟踪系统存在相对跟踪速度上限值,当目标速度超过上限值后将无法进行持续跟踪。
如图7所示,在本跟踪系统中,图像处理部分给出目标的矩形框位置中心的偏移量
Figure GDA0002638080160000151
转换成伺服的控制参数
Figure GDA0002638080160000152
其中
Figure GDA0002638080160000153
对应方位方向伺服角度偏移量,
Figure GDA0002638080160000154
对应俯仰方向伺服角度偏移量。已知光学系统视场大小为
Figure GDA0002638080160000155
焦距f,像面大小为l和h。首先分析图像坐标系X方向像素偏差与伺服方位方向关系。由图6有
f*tan(θ/2)=l/2 (5)
Figure GDA0002638080160000156
因此
Figure GDA0002638080160000157
同理可得图像坐标系y方向像素偏差与伺服俯仰方向关系
Figure GDA0002638080160000158
可以近似认为:
Figure GDA0002638080160000159
Figure GDA00026380801600001510
在图1所示的关联图谱探测系统中,
Figure GDA00026380801600001511
因此,目标的像素位移量与伺服指令增量成正比;
根据像面坐标系与伺服角度坐标系之间的关系,将空中目标在各帧中的像素坐标转换至伺服角度坐标系后,在伺服角度坐标系下各像素坐标、空中目标的移动轨迹以及测谱中心的移动轨迹如图8所示。
在本应用实例中,目标像素位移量与伺服指令增量比率为k=0.003125度/像素,则目标的运动速度Vn为7.8125°/s,加速度为0°/s2,第3帧内目标运动的角度向量为(0.09375,0.125),测谱中心移动至交汇点的角度长度为0.440625°,测谱中心运动的角度向量为(-0.3125,0.3125),测谱中心运动至交汇点的速度Vc为25.91875°/s。
如图9所示,对跟踪帧进行局部搜索时,以前一帧的目标图像坐标为中心,设置一个正方形感兴趣区域ROI,边长为24,该ROI内的灰度值用灰度矩阵F表示;
在ROI周围采集72个同等大小的ROIi,ROIi与ROI大小相等,且重合一部分,其灰度值用灰度矩阵Fi(i=1,2,3...72)表示。
设置一固定卷积模板矩阵T,其大小与ROIi大小相等。对于每一个ROIi,分别计算卷积值Vali
Figure GDA0002638080160000161
i=39时,卷积值Val最大,此时ROI39对应的中心图像坐标为(312,248),所以更新当前帧的目标图像坐标为(312,248)。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,包括:
(1)利用瞄准镜进行大视场扫描以搜索空中目标,并在观测到所述空中目标时保持瞄准镜不动,将当前帧红外图像作为第1帧并转入步骤(2);
(2)在所述瞄准镜的凝视视场内获得第2帧,以判定所述空中目标的类型,若为高速目标,则转入步骤(3);否则,将第3帧作为跟踪帧并转入步骤(6);
(3)在所述凝视视场内获得第3~n帧,以预测所述空中目标与测谱中心交汇的帧序号m、所述测谱中心移动至交汇点所需的时间Ct以及交汇点在所述第m帧中的像素坐标;
(4)将所述测谱中心在所述第1帧中的像素坐标和所述交汇点在所述第m帧中的像素坐标分别转换至伺服角度坐标系下,以获得使得所述测谱中心移动至所述交汇点时所述瞄准镜移动的角速度矢量;
(5)通过角度预置的方式使得所述瞄准镜在所述第m帧前的Ct时刻根据所述角速度矢量移动直至获得所述第m帧,并将第m+1帧作为跟踪帧;
(6)在所述跟踪帧的上一帧中,在所述测谱中心的周围进行局部搜索以获得所述空中目标的实际坐标,并使得所述测谱中心对准所述空中目标,从而在所述跟踪帧实现对所述空中目标的伺服跟踪和测谱。
2.如权利要求1所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,还包括:
将所述跟踪帧的后续各帧红外图像依次作为跟踪帧并执行所述步骤(6),以实现对所述空中目标的持续跟踪和测谱。
3.如权利要求1或2所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述步骤(2)中,判定所述空中目标的类型,包括:
根据所述空中目标在所述第1帧和所述第2帧中的像素坐标计算所述空中目标在所述第2帧内运动的像素距离,并根据所述像素距离和红外图像的采样时间间隔计算所述空中目标在所述第2帧的移动速度;
若所述移动速度大于预设的速度阈值,则判定所述空中目标为高速目标。
4.如权利要求3所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述速度阈值为:
Figure FDA0002638080150000021
其中,b为测谱区域的长轴或半径,Δt为红外图像的采样时间间隔。
5.如权利要求1或2所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述步骤(3)包括:
(31)在所述凝视视场内获得第3~n帧;
(32)若伺服滞后时间To小于红外图像的采样时间间隔Δt,则预测所述空中目标与测谱中心交汇的帧序号为:m=n+1;否则,预测所述空中目标与测谱中心交汇的帧序号为:
Figure FDA0002638080150000022
(33)根据预测结果计算所述测谱中心移动至交汇点所需的时间为:Ct=(m-n)Δt-To
(34)根据所述空中目标在第1~n帧中的像素坐标分别获得所述空中目标在第3~n帧的加速度A3~An,以及所述空中目标在第n帧的速度Vn
(35)根据所述加速度A3~An拟合得到所述空中目标在所述第m帧的加速度Am,并根据所述加速度Am和An计算所述空中目标在第n帧至第m帧中每一帧的平均加速度A(m-n)
(36)根据所述平均加速度A(m-n)计算所述交汇点在第m帧中的像素坐标P=(Xm,Ym),所述像素坐标P的X坐标Xm和Y坐标Ym分别为:
Figure FDA0002638080150000031
其中,Ax(m-n)和Ay(m-n)分别为所述平均加速度A(m-n)的x方向分量和y方向分量,Xn和Yn分别为所述空中目标在所述第n帧中的x坐标和y坐标,
Figure FDA0002638080150000032
表示向下取整。
6.如权利要求5所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述步骤(35)包括:
分别对所述加速度A3~An进行X方向和Y方向的分解;根据各加速度的X方向分量建立加速度在X方向随时间变化的第一线性模型,并根据各加速度的Y方向分量建立加速度在Y方向随时间变化的第二线性模型;
根据所述第一线性模型的斜率得到加速度在X方向随时间变化的变化率Kx,并根据所述第二线性模型的斜率得到加速度在Y方向随时间变化的变化率Ky;根据所述变化率Kx和Ky以及所述加速度An分别获得所述加速度Am的X方向分量Axm和Y方向分量Aym
根据所述加速度Am和An计算所述平均加速度A(m-n)的X方向分量Ax(m-n)和y方向分量Ay(m-n)分别为:
Figure FDA0002638080150000033
其中,Axn和Ayn分别为所述加速度An的x方向分量和y方向分量。
7.如权利要求5所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,n=4。
8.如权利要求1或2所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述步骤(4)包括:
根据像面坐标系和伺服角度坐标系之间的转换关系,将所述测谱中心在所述第1帧中的像素坐标Pc=(Xc,Yc)和所述交汇点在所述第m帧中的像素坐标Pm=(Xm,Ym)分别转换至伺服角度坐标系下,从而得到坐标S1=(X,Y)和坐标Sm=(X′,Y′);
根据所述坐标S1和Sm以及所述时间Ct,分别计算所述瞄准镜移动的方位角加速度为
Figure FDA0002638080150000041
俯仰角加速度为
Figure FDA0002638080150000042
从而得到所述瞄准镜移动的角加速度矢量Fm=(Fxm,Fym);
根据所述角加速度矢量Fm和所述时间Ct,分别计算所述瞄准镜移动的方位角速度为Vfx=FxmCt,俯仰角速度为Vfy=FymCt,从而得到所述角速度矢量为:Vfm=(Vfx,Vfy)。
9.如权利要求1或2所述的提高伺服跟踪实时性和精准性的空中目标测谱方法,其特征在于,所述步骤(6)中,在所述跟踪帧的上一帧中,在所述测谱中心的周围进行局部搜索以获得所述空中目标的实际坐标,包括:
在所述跟踪帧的上一帧中,以所述测谱中心的像素坐标Ptarget=(Xtarget,Ytarget)为中心,设置边长为b的正方形感兴趣区域ROI,并获得其灰度值矩阵F;
在所述感兴趣区域ROI的周围采集N个均与所述感兴趣区域ROI大小相等且部分重叠的正方形感兴趣区域ROI1~ROIN,并分别获得所述感兴趣区域ROI1~ROIN的灰度值矩阵F1~FN
设置与各灰度值矩阵大小相等的卷积模板矩阵T,并根据所述卷积模板矩阵T和所述灰度值矩阵F1~FN分别计算所述感兴趣区域ROI1~ROIN的卷积值Val1~ValN
获得卷积值最大的感兴趣区域,并将其中心的像素坐标确定为所述空中目标的实际坐标;
其中,任意一个感兴趣区域ROIi的卷积值Vali为:
Figure FDA0002638080150000051
i为感兴趣区域的编号,1≤i≤N,Fi为所述感兴趣区域ROIi的灰度值矩阵。
CN201811632928.6A 2018-12-29 2018-12-29 一种提高伺服跟踪实时性和精准性的空中目标测谱方法 Active CN109993768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811632928.6A CN109993768B (zh) 2018-12-29 2018-12-29 一种提高伺服跟踪实时性和精准性的空中目标测谱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811632928.6A CN109993768B (zh) 2018-12-29 2018-12-29 一种提高伺服跟踪实时性和精准性的空中目标测谱方法

Publications (2)

Publication Number Publication Date
CN109993768A CN109993768A (zh) 2019-07-09
CN109993768B true CN109993768B (zh) 2020-10-30

Family

ID=67129822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811632928.6A Active CN109993768B (zh) 2018-12-29 2018-12-29 一种提高伺服跟踪实时性和精准性的空中目标测谱方法

Country Status (1)

Country Link
CN (1) CN109993768B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652151B (zh) * 2020-06-04 2023-12-19 北京环境特性研究所 一种红外弱小目标跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676744A (zh) * 2007-10-31 2010-03-24 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
CN101833223A (zh) * 2010-04-02 2010-09-15 中国科学院半导体研究所 一种获取动目标运动参数的闪光追迹成像方法
CN101894378A (zh) * 2010-06-13 2010-11-24 南京航空航天大学 基于双感兴趣区域的运动目标视觉跟踪方法及系统
CN103728612A (zh) * 2013-12-23 2014-04-16 中北大学 基于目标红外辐射光谱和带模式的被动测距方法
CN104502918A (zh) * 2014-12-30 2015-04-08 华中科技大学 一种低轨卫星星载图谱关联探测方法与载荷
CN106097388A (zh) * 2016-06-07 2016-11-09 大连理工大学 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676744A (zh) * 2007-10-31 2010-03-24 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
CN101833223A (zh) * 2010-04-02 2010-09-15 中国科学院半导体研究所 一种获取动目标运动参数的闪光追迹成像方法
CN101894378A (zh) * 2010-06-13 2010-11-24 南京航空航天大学 基于双感兴趣区域的运动目标视觉跟踪方法及系统
CN103728612A (zh) * 2013-12-23 2014-04-16 中北大学 基于目标红外辐射光谱和带模式的被动测距方法
CN104502918A (zh) * 2014-12-30 2015-04-08 华中科技大学 一种低轨卫星星载图谱关联探测方法与载荷
CN106097388A (zh) * 2016-06-07 2016-11-09 大连理工大学 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进Faster R-CNN的空中目标检测;冯小雨;《光学学报》;20180630;第38卷(第6期);全文 *
序列图像红外小目标检测与跟踪算法研究;孙继刚;《中国博士学位论文全文数据库 信息科技辑》;20150115;全文 *

Also Published As

Publication number Publication date
CN109993768A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
JP7260269B2 (ja) 航空非破壊検査用の測位システム
US9557177B2 (en) Multi-sensor merging based super-close distance autonomous navigation apparatus and method
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
US8744133B1 (en) Methods and systems for locating visible differences on an object
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
US8098893B2 (en) Moving object image tracking apparatus and method
CN109782810B (zh) 基于图像引导的视频卫星运动目标跟踪成像方法及其装置
CN105698762A (zh) 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN108919841A (zh) 一种光电跟踪系统的复合轴控制方法及系统
CN105953771A (zh) 一种主动式经纬仪系统及测量方法
CN110503713B (zh) 一种基于轨迹平面法向量和圆心结合的旋转轴估计方法
CN104616322A (zh) 船载红外目标图像辨识跟踪方法及其装置
CN106908040A (zh) 一种基于surf算法的双目全景视觉机器人自主定位方法
CN113627473A (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
CN109573088A (zh) 一种舰载无人机光电引导着舰系统及着舰方法
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN110889353B (zh) 基于主焦点大视场光电望远镜的空间目标识别方法
CN112596048A (zh) 雷达光电协同精确探测低慢小无人飞行器位置的方法
CN109993768B (zh) 一种提高伺服跟踪实时性和精准性的空中目标测谱方法
CN114509066B (zh) 一种高速目标天文定位方法
CN109612333B (zh) 一种面向可重复使用火箭垂直回收的视觉辅助导引系统
CN115082759A (zh) 一种光电视频与雷达gmti融合方法
CN108646760B (zh) 基于单目视觉移动机器人目标跟踪及平台控制系统和方法
CN105701789A (zh) 飞机近场飞行轨迹跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant