CN107705319B - 一种基于空天背景小目标实时检测跟踪方法 - Google Patents

Abstract

本发明公开了一种基于空天背景小目标实时检测跟踪方法，从多尺度的角度去研究光电跟踪系统的目标检测与跟踪，针对硬件资源有限的嵌入式系统，提出了针对视频图像实时处理的目标检测与跟踪策略。本发明利用目标在不同尺度的子域中，局部灰度特征不同这一特点来检测目标的存在，实时检测较大尺寸的目标，并分步检测主要检测对象为小目标在内的其它目标，实现实时的多目标检测。并针对小目标在空天背景中的成像特点，提出了基于小目标成像特点的加权质心跟踪方法。在跟踪过程中，参考全局小目标检测后的结果，对跟踪目标进行评分，筛选目标，最终达到对小目标的实时检测跟踪。本发明所述方法针对可见光、红外视频小目标均可使用。

Description

一种基于空天背景小目标实时检测跟踪方法

技术领域

本发明属于信息处理技术领域,尤其涉及一种基于空天背景小目标实时检测跟踪方法。

背景技术

从上世纪开始，随着军事领域中高性能机型以及精确制导武器的发展，精确制导和防空就促使着目标检测、跟踪技术的不断提高。为了节约战斗力资源和保障己方地面设施以及战斗工具安全，目标检测和跟踪能力的提高成为了各个国家研究的一个关键技术。前期的目标检测与跟踪技术主要以雷达为核心的系统设计。随着世界各国都大力发展数字化、信息化的武器装备。新的作战工具的进步，使得战场环境更为复杂。战斗机、无人机等可利用低空、超低空飞行以及隐身技术等手段来躲避传统雷达的探测，无人机、巡航导弹等低、小、慢目标更成为防空探测的难题，综合性电子干扰、反辐射导弹等技术更是对传统雷达系统造成了日益严重的对抗威胁。因此新的探测跟踪手段已成为各国迫切需求，无源被动式探测跟踪技术是解决此问题的一个途径，而光学、红外探测技术是其中一个重要研究方向。为了及早发现运动目标，增大探测和告警的作用距离与时间，并在捕获目标后能够提取目标特征并引导光电系统伺服对运动目标进行精确、平稳跟踪，弱小目标实时检测、跟踪成为光电系统的关键技术。

对于小目标的检测跟踪至关重要的是对其成像特征的概括，其特征中可以利用的主要有两个：一个是目标的灰度信息特征，另一个是目标的运动特征以及在成像后的映射关系，它主要表现为在序列图像中目标的运动具有连续性。局部灰度均值所表现的物理意义是该区域的灰度发生变化，比如说当有目标进入该区域时，灰度均值就会产生变化，目标相对于区域的尺寸越大，均值变化也越大，因此局部灰度特征可以被用来检测适当尺度的目标，缺点就是对相对较小的目标不敏感；局部区域灰度方差所表示的该区域内的灰度分布，方差越大，则灰度分布越不均匀，反之，当方差接近于0时，则该区域灰度表现为均匀分布；中心灰度优点是计算量极小，可以用来快速预处理和预检测目标，但只能反映出局部区域中心附近的灰度。单一使用某种局部灰度信息均有其利弊，在本发明中将综合多种尺度下的不同灰度特征，来提升目标检测的效果。常使用的跟踪算法主要是卡尔曼滤波、扩展卡尔曼滤波、均值漂移、粒子滤波等算法，这些算法可以提高跟踪精确度，但是粒子滤波等非线性方法计算量大，需要描述目标的特征量较大，计算复杂从而不能达到实时效果，而卡尔曼滤波等预测算法对于机动能力强、信噪比低的空中目标效果也不佳。

发明内容

发明目的：本发明的目的是提供基于空天背景小目标实时检测跟踪方法，使其在嵌入式平台DM8168里实时运行，检测和跟踪外接视频设备提供的视频图像中的小目标，使用该发明，可实时、有效地检测和跟踪视频图像中的小目标。

技术方案：为实现上述目的，本发明所述的小目标实时检测跟踪方法主要包括基于局部灰度特征的多尺度目标检测方法，基于空天背景下小目标加权质心方法，基于线性/平方预测、检测、加权质心结果的综合目标位置预测方法。

步骤1：利用局部灰度特征，使用多尺度表示方法，对视频图像进行多目标检测。

步骤1包括如下步骤：

步骤1-1：首先对接收的视频图像进行子域分割。将接收的视频图像分割成2^k*2^k个互不交叠的等尺寸小块，每一个小块称之为接收的视频图像的一个子域，该分割即为子域分割；其中，依据小目标尺寸以及检测跟踪需求，k取值范围为4～8，一般选取6。

对高分辨率的原始视频图像进行子域分割，受多方面的因素制约，在实时系统实现时，子域分割需要考虑如下因素：

系统的硬件资源。由于体积，功耗等原因的制约，多数情况下跟踪系统的硬件资源都非常有限；

系统的实时性需求。一般来说，跟踪系统如果能够在视频采集设备的每个间隔内完成图像分析和处理的话，就可以称其为实时跟踪系统。但如果用户要求不高，隔帧采样等处理同样可以理解为是实时处理；

用户对系统跟踪能力需求。包括系统的工作环境，部署范围，跟踪目标类型，监视距离，是否需要对多目标进行跟踪等等。

步骤1-2：统计在k层子域空间中的局部灰度特征，灰度信息是图像的一种主要特征，是分析和理解图像的一种重要依据。基于图像灰度特征信息的目标检测与跟踪是最简单也是最基本的处理思想。多种灰度特征信息可以被利用来对目标进行快速有效的检测，包括灰度均值，灰度方差，中心灰度等。

局部灰度均值所表现的物理意义是该区域的灰度发生变化，比如说当有目标进入该区域时，灰度均值就会产生变化，目标相对于区域的尺寸越大，均值变化也越大，因此局部灰度特征可以被用来检测适当尺度的目标，缺点就是对相对较小的目标不敏感；局部区域灰度方差所表示的该区域内的灰度分布，方差越大，则灰度分布越不均匀，反之，当方差接近于0时，则该区域灰度表现为均匀分布；中心灰度只能反映出局部区域中心附近的灰度，但优点是计算量极小，可以用来快速预处理和预检测目标。

步骤1-2包括如下步骤：

步骤1-2-1，用P来表示原始视频图像，将其分割成2^k*2^k个互不交叠的等尺寸小块，S为图像P的k+1层金字塔表示，记为：

S＝(S₀,S₁,…,S_k-1,S_k)，

其中S₀＝P，即表示接收的视频图像本身，S_k则包含了2^k*2^k个图像子块。

步骤1-2-2，根据图像的灰度特征，包括局部灰度均值，局部区域灰度方差和采样点灰度特征，构建包含不同分辨率的金字塔模型，形成对每种灰度特征的多尺度的特征表示。

用f(x,y)表示图像在点(x,y)的像素灰度值，

是第k层，i行，j列的子域，

是对应子域的中心点，

是包括中心点在内的样本集合，根据如下公式分别定义

的局部灰度均值

局部灰度方差

和中心灰度

其中N表示对应子域中像素个数；

步骤1-2-3，相邻两层子域的灰度均值有如下关系：

其中，

为

子域对应的四个相邻低层子域的灰度均值，因此高层子域的灰度均值能够利用相邻低层子域的灰度均值来表达。

步骤1-3，根据记录前m帧(m一般取值为5)的子域灰度特征与本帧计算得到的相应灰度特征进行比较，并对本帧中全局灰度均值、k层与k+1层子域中心灰度、灰度均值进行比较，选出待跟踪目标，满足如下公式的子域符合跟踪目标的条件：

第一个公式计算了第k+1层待检测子域的灰度均值与全局灰度均值的比较。主要体现了该子域在全局中突出程度，α为第一阈值，α一般取值为60。其中，gray_all表示当前帧全局的灰度均值，gray_c表示当前帧第k+1层待检测的子域的灰度均值。第二个公式计算了在待检测子域的灰度均值与时间、空间中相邻的子域的累积差值，主要体现了该子域在时空中的变化程度，β为第二阈值，β一般取值为10。其中，T为连续统计帧数，D为空间相邻距离，gray_td为距当前帧第t帧，与当前子域距离为d的子域的灰度均值。K为连续时空中统计子域的数量。第三个公式计算了待检测子域的灰度均值与其上层子域的灰度均值的比较，主要体现了在局部空间中该子域的突出程度，γ为第三阈值，γ一般取值为30。其中，h_gray_c为待检测子域上层子域的灰度均值。

步骤2：利用多目标检测中的记录输出结果，对目标进行加权质心跟踪，计算目标当前帧位置；

步骤2包括如下步骤：

步骤2-1：根据步骤1-3的检测结果计算目标区域内每个像素点权值W_(x,y)：

其中，(x_i,y_i)表示以点(x,y)为中心的第i个像素点，M为跟踪区域(一般初始的跟踪区域选取检测目标的对应5层子域)内像素点总数，

表示点(x,y)与其相邻点(x_i,y_i)之间灰度距离，D(Δx_i,Δy_i)表示点(x,y)与其相邻点(x_i,y_i)之间空间位置的距离，W_(x,y)定义为该点(x,y)的权值，表示周围像素点对该点为目标的贡献值，该值越大，则此点为目标的概率越大；对于相同的距离D(Δx_i,Δy_i)而言

值越大，该点为目标的可能越大；而对于距离值D(Δx_i,Δy_i)越大的点，需对其进行补偿，将边缘梯度变化弱化，这对于边缘梯度较弱区域有抑制作用。

步骤2-2：通过加权质心方法计算目标质心：

其中，(X_c,Y_c)为通过加权质心算法得到的目标当前帧位置，即目标质心，(X_i,Y_i)为第i点位置，

为第i点权值。

步骤2-1中，通过函数

D(Δx_i,Δy_i))计算权值W_(x,y)：

其中，λ(λ>0)为空间距离的常数参数，一般取值为2。

步骤3：通过线性/平方预测方法，预测目标轨迹。目标线性、平方预测中采用的运动模型如下：

S"_k+1＝S_k+αΔt+βΔt²

其中，

表示线性预测第k+1帧目标位置，S"_k+1表示平方预测第k+1帧目标位置，S_k为目标第k帧目标位置，通过步骤2-2计算得到，α表示目标速度，β表示目标加速度，Δt表示两帧图像之间的时间差。

步骤4：综合目标检测、预测目标轨迹、加权质心方法获得目标位置与目标权值结果，更新目标预测轨迹，对目标进行有效跟踪。

步骤4包括：根据步骤1-3目标检测结果，建立一个候选集φ_Candidate，将新检测而未被加入确定目标集φ_Certain的目标纳入其中，为每个纳入候选集或确定目标集的目标设置参数：历史位置记录(质心以及目标所在子域)，历史局部灰度均值记录，历史局部灰度方差记录(一般记录相邻2～3层子域空间数据，历史记录连续记载5帧)，评分值τ，初始为0；

在视频序列图像中，通过跟踪候选集中的目标以及目标检测的更新，统计目标信息(如位移、速度、多尺度灰度信息，尺寸信息等)，记录并更新候选集及确定目标集中的目标质量评分标准，评分更新准则如下：

其中，S_newd为新检测的目标位置，T为候选目标集或确定目标集中的目标，S_T为T的当前帧位置，d为目标所在子域的宽度，

为目标T上一帧的预测位置；

将评分值τ超过上门限(一般取值为7)的目标加入确定目标集，并输出目标当前位置(可在视频中叠加目标跟踪框)，同时将评分低于下门限(一般取值为0)的目标清除。

有益效果：本发明提供了一种基于局部灰度特征的多尺度目标检测方法，可以解决弥补单一局部灰度特征检测目标带来的缺点，可以在低信噪比情况下有效的实现多目标检测。应用了相对计算较为简单的线性/平方预测方法，但同时引入了候选集、目标集以及目标跟踪质量评分机制，降低了检测的虚警率并提高了目标跟踪的效率。整体方法具有非常好的实时性，具有良好的实际应用价值。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1本发明流程图。

图2为相邻两层子域之间关系图。

图3为9点菱形采样和5点菱形采样。

图4a为可见光视频图像。

图4b和图4c为可见光视频图像多目标权值计算结果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了一种基于空天背景小目标实时检测跟踪方法，包括如下步骤：

1)利用局部灰度特征，使用多尺度表示方法，对视频图像进行多目标检测。

(1)首先对接收的视频图像进行子域分割。将原始图像分割成2^px2^q个互不交叠的等尺寸小块，每一个小块我们称之为原始图像的一个子域，该分割即为子域分割；其中，p、q的取值根据需要设定，可以取相同的值。

对高分辨率的原始图像进行子域分割，受多方面的因素制约，在实时系统实现时，子域分割需要考虑如下因素：

系统的硬件资源。由于体积，功耗等原因的制约，多数情况下跟踪系统的硬件资源都非常有限；

系统的实时性需求。一般来说，跟踪系统如果能够在视频采集设备的每个间隔内完成图像分析和处理的话，就可以称其为实时跟踪系统。但如果用户要求不高，隔帧采样等处理同样可以理解为是实时处理；

用户对系统跟踪能力需求。包括系统的工作环境，部署范围，跟踪目标类型，监视距离，是否需要对多目标进行跟踪等等。

(2)统计在k层子域空间中的局部灰度特征，灰度信息是图像的一种主要特征，是分析和理解图像的一种重要依据。基于图像灰度特征信息的目标检测与跟踪是最简单也是最基本的处理思想。多种灰度特征信息可以被利用来对目标进行快速有效的检测，包括灰度均值，灰度方差，中心灰度等。

局部灰度均值所表现的物理意义是该区域的灰度发生变化，比如说当有目标进入该区域时，灰度均值就会产生变化，目标相对于区域的尺寸越大，均值变化也越大，因此局部灰度特征可以被用来检测适当尺度的目标，缺点就是对相对较小的目标不敏感；局部区域灰度方差所表示的该区域内的灰度分布，方差越大，则灰度分布越不均匀，反之，当方差接近于0时，则该区域灰度表现为均匀分布；中心灰度只能反映出局部区域中心附近的灰度，但优点是计算量极小，可以用来快速预处理和预检测目标。

用P来表示原始图像，将其分割成2^kx2^k个互不交叠的等尺寸小块，S为图像P的k+1层金字塔表示，有：

S＝(S₀,S₁,…,S_k-1,S_k)，其中S₀＝P，即图像本身，S_k则包含了2^kx2^k个图像子块。

这里以分辨率为720x480的图像为例，给出一种子域分割：

将原始图像分割成2⁴x2⁴个互不交叠的等尺寸小块，每个小块的大小为45x30像素，用P来表示原始图像，S为图像P的5层金字塔表示，有

S＝(S₀,S₁,S₂,S₃,S₄)，其中S₀＝P，即图像本身，S₄则包含了2⁴x2⁴个大小为45x30像素的子域，且相邻2层子域之间关系如图2。

根据图像的灰度特征，包括局部灰度均值，局部区域灰度方差和采样点灰度特征，构建包含不同分辨率的金字塔模型，形成对每种灰度特征的多尺度的特征表示。

用f(x,y)表示图像在点(x,y)的像素灰度值，

是第k层，i行，j列的子域，

是对应子域的中心点，

是包括中心点在内的样本集合，分别定义的

的局部灰度均值

局部灰度方差

和中心灰度

相邻两层子域的灰度均值有如下关系：

也就是说，高层子域的灰度均值可以利用相邻低层子域的灰度均值来表达。

在实际实施过程中，为了避免采样灰度受到噪声的影响，可以选取一些相应的策略，利用中心附近多个样本的平均灰度来代表中心灰度，如9点或5点菱形采样，如图3所示。

(3)根据记录前m帧的子域灰度特征与本帧计算得到的相应灰度特征进行比较，并对本帧中全局灰度均值、k层与k+1层子域中心灰度、灰度均值进行比较，选出待跟踪目标。

2)利用多目标检测中的记录输出结果，对目标进行加权质心跟踪，计算目标当前帧位置，具体实现为：

(1)根据检测结果计算目标区域内每个像素点权值W_(x,y)：

其中，M为跟踪区域内像素点总数，

D(Δx_i,Δy_i)分别为点(x,y)与其相邻点(x_i,y_i)之间灰度及空间位置的距离。W_(x,y)定义为该点的权值，表示周围像素点对该点为目标的贡献值，该值越大，则此点为目标的概率越大。这里根据分析临近点与中心点的关系，选用如下函数来计算权值：

(2)通过加权质心方法计算目标质心：

3)通过线性/平方预测方法，预测目标运动轨迹。目标线性、平方预测中的运动模型如下：

S"_k+1＝S_k+αΔt+βΔt²

其中，

表示线性预测第k+1帧目标位置，S"_k+1表示平方预测第k+1帧目标位置。通过最小均方误差的拟合下，得到如下预测结果。其中，S_k-i表示第k帧的前i帧的位置。

S"_k+1＝(9S_k-5S_k-1+4S_k-2-2S_k-3-S_k-4)/5

其中，δ的选择根据线性、平方预测与实际目标位置的差异来确定。预测更准确的将获得更大的权值。

图4a～图4c为可见光视频多目标权值计算图。图4a为可见光视频图像。图4b和图4c为多目标权值计算结果示意图，图4b中，Gray Value：灰度值；Image Height：图像高度；Image Width：图像宽度；图4c中，Weight：权值；Image Height：图像高度；Image Width：图像宽度。

4)综合目标检测、预测目标轨迹、加权质心方法获得目标位置与目标权值结果，更新目标预测轨迹，对目标进行有效跟踪。在实际过程中，首先根据目标检测结果，建立一个候选集，将新检测而未被加入确定目标集的目标纳入其中。在视频序列图像中，通过跟踪候选集中的目标以及目标检测的更新，统计目标信息(如位移、速度、多尺度灰度信息，尺寸信息等)。记录并更新候选集及目标集中的目标质量评分标准，将评分超过上门限的目标加入目标集，并加以标识，同时将评分低于下门限的目标清除。

本发明提供了一种基于空天背景小目标实时检测跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于空天背景小目标实时检测跟踪方法，其特征在于，包括如下步骤：

步骤1：利用局部灰度特征，使用多尺度表示方法对视频图像进行多目标检测；

步骤2：利用多目标检测的记录输出结果，对目标进行加权质心跟踪，计算目标当前帧位置；

步骤3：通过线性、平方预测方法，预测目标轨迹；

步骤4：综合目标检测、预测目标轨迹、加权质心方法获得目标位置与目标权值结果，更新目标预测轨迹，对目标进行有效跟踪；

步骤1包括如下步骤：

步骤1-1：对接收的视频图像进行子域分割：将接收的视频图像分割成2^k*2^k个互不交叠的等尺寸小块，每一个小块称之为视频图像的一个子域；

步骤1-2：统计在k层子域空间中的局部灰度特征，包括局部灰度均值，局部区域灰度方差和采样点灰度特征；

步骤1-3：根据记录前t帧的子域空间中的局部灰度特征与本帧计算得到的相应灰度特征进行比较，并对本帧中全局灰度均值、k层与k+1层子域中心灰度、灰度均值进行比较，选出待跟踪目标，满足如下公式的子域符合跟踪目标的条件：

其中，α为第一阈值，gray_all表示当前帧全局的灰度均值，gray_c表示当前帧第k+1层待检测的子域的灰度均值；β为第二阈值，T为连续统计帧数，D为空间相邻距离，gray_td为距当前帧第t帧，与当前子域距离为d的子域的灰度均值，K为连续时空中统计子域的数量；γ为第三阈值，h_gray_c为待检测子域上层子域的灰度均值；

步骤1-2包括如下步骤：

步骤1-2-1，用P来表示接收的视频图像，将其分割成2^k*2^k个互不交叠的等尺寸小块，S为图像P的k+1层金字塔表示，记为：

S＝(S₀,S₁,…,S_k-1,S_k)，

其中S₀＝P，即表示接收的视频图像本身，S_k则包含了2^k*2^k个图像子域；

步骤1-2-2，根据图像的灰度特征，包括局部灰度均值，局部区域灰度方差和采样点灰度特征，构建包含不同分辨率的金字塔模型，形成对每种灰度特征的多尺度的特征表示：

用f(x,y)表示图像在点(x,y)的像素灰度值，

是第k层，i行，j列的子域，

是对应子域的中心点，

是包括中心点在内的样本集合，根据如下公式分别定义

的局部灰度均值

局部灰度方差

和中心灰度

其中N表示对应子域中像素个数；

步骤1-2-3，相邻两层子域的灰度均值有如下关系：

其中，

为

子域对应的四个相邻低层子域的灰度均值，因此高层子域的灰度均值能够利用相邻低层子域的灰度均值来表达；

步骤2包括如下步骤：

步骤2-1：根据步骤1-3的检测结果计算目标区域内每个像素点权值W_(x,y)：

其中，(x_i,y_i)表示以点(x,y)为中心的第i个像素点，M为跟踪区域内像素点总数，

表示点(x,y)与其相邻点(x_i,y_i)之间灰度距离，D(Δx_i,Δy_i)表示点(x,y)与其相邻点(x_i,y_i)之间空间位置的距离，W_(x,y)定义为该点(x,y)的权值，表示周围像素点对该点为目标的贡献值，该值越大，则此点为目标的概率越大；

步骤2-2：通过加权质心方法计算目标质心：

其中，(X_c,Y_c)为通过加权质心算法得到的目标当前帧位置，即目标质心，(X_i,Y_i)为第i点位置，

为第i点权值；

步骤2-1中，通过函数

D(Δx_i,Δy_i))计算权值W_(x,y)：

其中，λ为空间距离的常数参数；

步骤3包括：

目标线性、平方预测采用运动模型如下：

S’_k+1＝S_k+αΔt

S″_k+1＝S_k+αΔt+βΔt²

其中，S'_k+1表示线性预测第k+1帧目标位置，S″_k+1表示平方预测第k+1帧目标位置，S_k为目标第k帧目标位置，通过步骤2-2计算得到，α表示目标速度，β表示目标加速度，Δt表示两帧图像之间的时间差；

步骤4包括：根据步骤1-3目标检测结果，建立一个候选集φ_Candidate，将新检测而未被加入确定目标集φ_Certain的目标纳入其中，为每个纳入候选集或确定目标集的目标设置参数：历史位置记录，历史局部灰度均值记录，历史局部灰度方差记录，评分值τ，初始为0；

在视频序列图像中，通过跟踪候选集中的目标以及目标检测的更新，统计目标信息，记录并更新候选集及确定目标集中的目标质量评分标准，评分更新准则如下：

其中，S_newd为新检测的目标位置，T为候选目标集或确定目标集中的目标，S_T为T的当前帧位置，d为目标所在子域的宽度，

为目标T上一帧的预测位置；

将评分值τ超过上门限的目标加入确定目标集，并输出目标当前位置，同时将评分低于下门限的目标清除。

Images