CN107992677A

CN107992677A - 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法

Info

Publication number: CN107992677A
Application number: CN201711230797.4A
Authority: CN
Inventors: 卢瑞涛; 杨小冈; 李传祥; 任世杰; 李维鹏; 王国超
Original assignee: Rocket Force University of Engineering of PLA
Current assignee: Rocket Force University of Engineering of PLA
Priority date: 2017-11-29
Filing date: 2017-11-29
Publication date: 2018-05-04
Anticipated expiration: 2037-11-29
Also published as: CN107992677B

Abstract

本发明基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，包括以下步骤：步骤1：粗定位；在当前帧目标定位的基础上，根据红外探测器与飞行器固连的特点，利用飞行器惯性设备提供的惯导信息，对目标的下一帧图像的目标成像位置进行预测，实现对移动目标的粗定位；假设已知当前帧t时刻的目标成像位置为(u_t,v_t)，当前飞行器对应的大地坐标位置为p_t＝[λ_t,L_t,h_t]，姿态用四元素表示下一帧t+1时刻的飞行器的大地坐标位置为p_t+1＝[λ_t+1,L_t+1,h_t+1]，姿态为预设目标移动的基准区域的大地坐标位置p_m＝[λ_m,L_m,h_m]；步骤2：精定位；利用图像中弱小移动目标的红外特性进行亮度修正定位，感兴趣的红外移动目标由于其自身的红外特性而在图像中呈现局部高亮区域，通过变步长自适应迭代进行局部区域亮度中心修正。

Description

基于惯导信息和亮度修正的红外弱小移动目标跟踪方法

技术领域

本发明属于飞行器视觉导航与红外成像制导仿真技术领域，具体涉及一种基于惯导信息和亮度修正的红外弱小移动目标跟踪方法。

背景技术

全捷联红外成像技术是飞行器精确导航与制导领域发展的重要方向之一，而尽快的识别和锁定目标对于飞行器视觉导航和红外成像制导有着重要的意义。当移动目标与飞行器距离较远时(通常两公里以上)，目标只占几个或者十几个像素，没有轮廓和结构信息，并且在低信噪比的复杂背景下存在大量的噪声干扰，因此红外弱小移动目标的跟踪是计算机视觉和红外成像制导的研究难点。

经典的机器视觉目标跟踪算法，大都采用基于产生式和基于辨别式的跟踪模型。但是由于红外弱小目标的目标特性显著不同，使得经典的机器学习的目标跟踪方法在跟踪精度、可靠性和环境适应能力都无法取得令人满意的结果，会影响飞行器视觉导航定位的准确性和红外成像制导的精度。目前，大部分的飞行器都装有捷联惯性设备，惯导信息可以为成像制导提供一种有效的辅助信息，因此，有必要研究一种基于惯导信息和图像信息融合的方法实现对红外弱小目标的精确跟踪。

发明内容

为了克服经典的机器视觉跟踪算法在跟踪红外弱小目标时存在精度差、可靠性低以及环境适应能力差等缺点，本发明提供一种基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，基于飞行器捷联的惯性设备，利用惯导信息和图像信息的融合来实现对红外弱小目标的定位，采取“先粗定位后精定位”的两步跟踪方法：首先利用两帧图像所对应的惯导信息对目标的位置进行预测，实现粗定位；然后在粗定位的基础上，根据弱小目标的亮度特性，通过迭代实现弱小目标的精准定位。本发明提出的红外弱小目标跟踪算法，可以大大提高跟踪的精度和鲁棒性。

本发明采用如下的技术方案来实现：

基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，包括以下步骤：

步骤1：粗定位；

在当前帧目标定位的基础上，根据红外探测器与飞行器固连的特点，利用飞行器惯性设备提供的惯导信息，对目标的下一帧图像的目标成像位置进行预测，实现对移动目标的粗定位；假设已知当前帧t时刻的目标成像位置为(u_t,v_t)，当前飞行器对应的大地坐标位置为p_t＝[λ_t,L_t,h_t]，姿态用四元素表示下一帧t+1时刻的飞行器的大地坐标位置为p_t+1＝[λ_t+1,L_t+1,h_t+1]，姿态为预设目标移动的基准区域的大地坐标位置p_m＝[λ_m,L_m,h_m]；

步骤2：精定位；

利用图像中弱小移动目标的红外特性进行亮度修正定位，感兴趣的红外移动目标由于其自身的红外特性而在图像中呈现局部高亮区域，通过变步长自适应迭代进行局部区域亮度中心修正。

本发明进一步的改进在于，步骤1的具体实现步骤如下：

步骤1.1：根据飞行器的位置变化，计算图像的缩放模型；

步骤1.2：根据飞行器的姿态变化，计算目标的位移变化模型；

步骤1.3：综合飞行器的位置变化和姿态变化，实现对弱小目标的粗定位

本发明进一步的改进在于，步骤1.1中，首先计算t时刻飞行器p_t和基准区域点p_m对应的卯酉圈和子午圈半径分别为和那么p_t和p_m在地心系下的坐标为E(p_t)和E(p_m)，计算公式为：

两者相减得到对应的视线方向的投影：

ΔE(p_t,p_m)＝[E(p_t)-E(p_m)]

那么p_t和p_m的空间距离表示为：

dis(p_t,p_m)＝norm(ΔE(p_t,p_m),2)

同理，得到p_t+1和p_m的空间距离：

dis(p_t+1,p_m)＝norm(ΔE(p_t+1,p_m),2)

那么t+1时刻图像相比t时刻图像的比例变化为：

步骤1.2中，在假设两帧之间的地理系相同的条件下，通过空间坐标系的转换，建立位移变化模型；

如果探测器的焦距为f，t时刻的目标在摄像机下坐标为：

其中(U₀,V₀)为成像平面坐标系的原点O在图像坐标系下的坐标；

同理，待求的t+1时刻粗标定的目标位置在摄像机下的坐标为：

那么t时刻探测器坐标系到地理系的转换矩阵为：

那么地理系到t+1时刻探测器坐标系的转换矩阵为得到视线在t+1时刻探测器下的三个分量为：

根据弹体系坐标系和焦距的定义，这三个分量与t+1时刻待求的粗定位位置的弹体系下的坐标成比例：

由此得到姿态变化的模型为：

步骤1.3中，根据比例模型和位移模型，得到目标的预测位置，目标的粗定位为：

本发明进一步的改进在于，步骤2的具体实现步骤如下：

步骤2.1：以粗定位的目标位置为初始点，选取以初始点为圆心，半径为h的圆形区域S_h，计算圆形区域的亮度中心得到：

其中为图像在粗定位的灰度值；

步骤2.2：比较区域灰度质心与初始点的距离若距离d≥ε，则将亮度质心赋予起始位置重复步骤2.1进行迭代；若d＜ε，迭代结束，精定位的弱小目标的位置为：

步骤2.3：重复步骤1，进行下一帧的跟踪。

本发明具有以下有益的技术效果：

本发明针对成像飞行器中远距离条件下红外弱小移动目标的跟踪问题，设计了一种基于惯导信息和亮度修正的红外弱小移动目标跟踪方法。基于飞行器捷联的惯性设备，利用惯导信息和图像信息的融合，采取“先粗定位后精定位”的两步跟踪方法，实现了对红外弱小目标的精确定位。相比于传统红外弱小目标跟踪方法，例如基于Meanshift的弱小目标跟踪方法和基于互相关的弱小目标跟踪方法，本发明在跟踪的精度、可靠性和环境适应能力都有显著的提升，解决了飞行器高动态环境下的目标跟踪问题。本发明提出的红外弱小目标跟踪算法，可以大大提高跟踪的精度和鲁棒性，为飞行器视觉导航和成像制导提供技术参考和支撑。

附图说明

图1是本发明的总体流程示意图。

图2是飞行器目标成像示意图。

图3是探测器针孔成像示意图。

图4是变步长自适应迭代原理图。

图5是跟踪前本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列1的跟踪结果示意图。

图6是跟踪后本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列1的跟踪结果示意图。

图7是跟踪前本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列2的跟踪结果示意图。

图8是跟踪后本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列2的跟踪结果示意图。

具体实施方式

以下结合附图和仿真对本发明做出进一步的说明。

如图1至图4所示，本发明提供的基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，具体包括如下步骤：

步骤1：粗定位。在当前帧目标定位的基础上，根据红外探测器与飞行器固连的特点，利用飞行器惯性设备提供的惯导信息，对目标的下一帧图像的目标成像位置进行预测。从而实现对移动目标的粗定位。假设已知当前帧t时刻的目标成像位置为(u_t,v_t)，当前飞行器对应的大地坐标位置为p_t＝[λ_t,L_t,h_t](经度，纬度，高度)，姿态用四元素表示下一帧t+1时刻的飞行器的大地坐标位置为p_t+1＝[λ_t+1,L_t+1,h_t+1]，姿态为如果预设目标移动的基准区域的大地坐标位置p_m＝[λ_m,L_m,h_m]，那么粗定位包括以下几个步骤：

步骤1.1：根据飞行器的位置变化，计算图像的缩放模型。飞行器和目标之间距离的变化，反映着图像上尺度的缩放。为此，可以通过飞行器和目标的距离来对图像的比例参数进行建模。

首先计算t时刻飞行器p_t和基准区域点p_m对应的卯酉圈和子午圈半径分别为和那么p_t和p_m在地心系下的坐标为E(p_t)和E(p_m)，计算公式为：

两者相减得到对应的视线方向的投影：

ΔE(p_t,p_m)＝[E(p_t)-E(p_m)]

那么p_t和p_m的空间距离可以表示为：

dis(p_t,p_m)＝norm(ΔE(p_t,p_m),2)

同理，可以得到p_t+1和p_m的空间距离：

dis(p_t+1,p_m)＝norm(ΔE(p_t+1,p_m),2)

那么t+1时刻图像相比t时刻图像的比例变化为：

步骤1.2：根据飞行器的姿态变化，计算目标的位移变化模型。目标点的成像位置会随着飞行器姿态的改变而对应改变，因此，在假设两帧之间的地理系相同的条件下，可以通过空间坐标系的转换，建立位移变化模型。

如果探测器的焦距为f，t时刻的目标在摄像机下坐标为：

其中(U₀,V₀)为成像平面坐标系的原点O在图像坐标系下的坐标。同理，待求的t+1时刻粗标定的目标位置在摄像机下的坐标为：

那么t时刻探测器坐标系到地理系的转换矩阵为：

那么地理系到t+1时刻探测器坐标系的转换矩阵为可得视线在t+1时刻探测器下的三个分量为：

由此可得到姿态变化的模型为：

步骤1.3：综合飞行器的位置变化和姿态变化，实现对弱小目标的粗定位根据比例模型和位移模型，可以得到目标的预测位置。目标的粗定位为：

步骤2：精定位。由于安装的误差、惯性设备的漂移以及目标本身的移动等因素，粗定位会产生小范围的误差，因此必须利用图像中弱小移动目标的红外特性进行亮度修正定位。感兴趣的红外移动目标会由于其自身的红外特性而在图像中呈现局部高亮区域，可以通过变步长自适应迭代的思想进行局部区域亮度中心修正，具体的步骤如下：

步骤2.1：以粗定位的目标位置为初始点，选取以初始点为圆心，半径为h(h的大小与粗定位误差有关)的圆形区域S_h，计算圆形区域的亮度中心(即圆形区域的质心)可以得到：

其中为图像在粗定位的灰度值。

步骤2.3：重复步骤1，进行下一帧的跟踪。

本发明的效果通过以下仿真进一步说明：

1.仿真条件

为验证本发明的有效性，利用本发明对两组含惯导数据的红外图像序列进行检测，红外图像序列为大小为480×640，弱小目标为移动的汽车，其中序列1中的目标为半径为6个像素的圆形区域，序列2位中的目标为半径为7个像素的圆形区域。实验环境是Intel(R)Core(TM)CPU 3.10GHz/2GB内存/MATLAB2011。在仿真实验中，精定位中的收敛区域半径为h＝6，迭代的阈值选择ε＝0.1。2.仿真实验为了充分验证本发明的显著性能，将本发明的实验效果与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法进行对比。图5和图6是本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列1的跟踪结果对比图，图7和图8是本发明与传统的基于Meanshift的目标跟踪方法和基于互相关的目标跟踪算法对图像序列2的跟踪结果对比图，其中a表示基于互相关方法的跟踪结果，b表示基于Meanshift的跟踪结果，c表示基于本发明的跟踪结果。从结果可以看出，本发明能够在复杂环境下实现对弱小移动目标的有效跟踪，比传统的Meanshift算法和互相关算法，具有更好的鲁棒性。

为了对本发明的优越性进行定量的说明，表1给出了三种方法的平均跟踪误差。平均误差的计算方法为累加每一帧图像的跟踪结果和真实位置的差的绝对值，然后除以总的图像帧数得到。从结果可以看出，相比于传统的弱小移动目标跟踪方法，本发明取得了较小的跟踪误差。

表1三种方法对两组红外图像序列的跟踪平均误差

视频	Meanshift	互相关	本发明
				序列1	54.7	24.8	1.5
序列2	68.4	4.3	2.2

Claims

1.基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，其特征在于，包括以下步骤：

步骤1：粗定位；

步骤2：精定位；

2.根据权利要求1所述的基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，其特征在于，步骤1的具体实现步骤如下：

步骤1.1：根据飞行器的位置变化，计算图像的缩放模型；

3.根据权利要求2所述的基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，其特征在于，

步骤1.1中，首先计算t时刻飞行器p_t和基准区域点p_m对应的卯酉圈和子午圈半径分别为和那么p_t和p_m在地心系下的坐标为E(p_t)和E(p_m)，计算公式为：

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>E</mi> <mi>x</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>t</mi> </msub> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>E</mi> <mi>y</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>t</mi> </msub> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>E</mi> <mi>z</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>t</mi> </msub> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>W</mi> <mi>t</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>t</mi> </msub> <mo>)</mo> <mi>cos</mi> <mi> </mi> <msub> <mi>L</mi> <mi>t</mi> </msub> <msub> <mi>cos&lambda;</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>W</mi> <mi>t</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>t</mi> </msub> <mo>)</mo> <mi>cos</mi> <mi> </mi> <msub> <mi>L</mi> <mi>t</mi> </msub> <msub> <mi>sin&lambda;</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>N</mi> <mi>t</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>t</mi> </msub> <mo>)</mo> <mi>sin</mi> <mi> </mi> <msub> <mi>L</mi> <mi>t</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>E</mi> <mi>x</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>E</mi> <mi>y</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>E</mi> <mi>z</mi> </msub> <mo>(</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>W</mi> <mi>m</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>m</mi> </msub> <mo>)</mo> <mi>cos</mi> <mi> </mi> <msub> <mi>L</mi> <mi>m</mi> </msub> <msub> <mi>cos&lambda;</mi> <mi>m</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>W</mi> <mi>m</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>m</mi> </msub> <mo>)</mo> <mi>cos</mi> <mi> </mi> <msub> <mi>L</mi> <mi>m</mi> </msub> <msub> <mi>sin&lambda;</mi> <mi>m</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>R</mi> <msub> <mi>N</mi> <mi>m</mi> </msub> </msub> <mo>+</mo> <msub> <mi>h</mi> <mi>m</mi> </msub> <mo>)</mo> <mi>sin</mi> <mi> </mi> <msub> <mi>L</mi> <mi>m</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

两者相减得到对应的视线方向的投影：

ΔE(p_t,p_m)＝[E(p_t)-E(p_m)]

那么p_t和p_m的空间距离表示为：

dis(p_t,p_m)＝norm(ΔE(p_t,p_m),2)

同理，得到p_t+1和p_m的空间距离：

dis(p_t+1,p_m)＝norm(ΔE(p_t+1,p_m),2)

那么t+1时刻图像相比t时刻图像的比例变化为：

如果探测器的焦距为f，t时刻的目标在摄像机下坐标为：

那么t时刻探测器坐标系到地理系的转换矩阵为：

由此得到姿态变化的模型为：

4.根据权利要求3所述的基于惯导信息和亮度修正的红外弱小移动目标跟踪方法，其特征在于，步骤2的具体实现步骤如下：

<mrow> <msub> <mi>m</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>&Element;</mo> <msub> <mi>S</mi> <mi>h</mi> </msub> </mrow> </munder> <msup> <mi>x</mi> <mi>p</mi> </msup> <msup> <mi>y</mi> <mi>q</mi> </msup> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>u</mi> <mo>~</mo> </mover> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mover> <mi>v</mi> <mo>~</mo> </mover> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中为图像在粗定位的灰度值；

步骤2.3：重复步骤1，进行下一帧的跟踪。