CN104992452B - 基于热成像视频的飞行目标自动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于热成像视频的飞行目标自动跟踪方法，包括以下步骤：1)飞行目标的检测过程包括：“搜索状态”和“跟踪状态”；2)通过相位谱法对热成像视频序列帧作显著性检测，得到相应帧的像素显著度图；3)依据显著度对每帧的像素显著度图中的显著点排序；4)“搜索状态”时：选取每帧的前N个显著点作为注视点，以这些点的离散程度来判断该帧是否存在显著目标；5)“跟踪状态”时：选取当前帧中、离上一帧目标中心位置最近的前P个显著点作为注视点，形成注视区域；当该注视区域的主成分特征与上一帧目标区域相似时，跟踪状态延续。本发明通过注视点的离散度检测目标，利用神经网络模型精确提取目标区域，通过模拟人类视觉注视过程，实现机器对飞行目标的自动跟踪。

Description

基于热成像视频的飞行目标自动跟踪方法

技术领域

本发明涉及飞行目标追踪技术领域，具体地讲是一种基于热成像视频的飞行目标自动跟踪方法。

背景技术

随着信息技术的发展，计算机视觉已经被广泛应用于低层特征检测和描述、模式识别、人工智能推理和机器学习算法等领域。然而，传统的计算机视觉方法通常是任务驱动型，即需要限定许多条件，并根据实际任务来设计相应的算法，缺乏通用性；需要解决高维非线性特征空间、超大数据量对问题求解和实时处理等问题，使得其研究和应用面临巨大的挑战。

人类视觉系统能够在不同环境下高效、可靠地工作，其具有以下优点：具有关注机制、显著性检测和与此相关的视觉处理中的选择性和目的性；能够从低层视觉处理中利用先验知识，使数据驱动的自底向上处理与自顶向下的知识指导在视觉处理中相互协调配合；上下境信息在视觉处理的各个层次都发挥着重要作用，并且能够综合利用环境中各种模态的信息。但在人类视觉感知机理尚不完全明了的情况下，如何构造具有人类视觉特点的机器视觉仍存在较大困难。人眼具有天然地对飞行目标进行追踪和识别的能力，若能够构建模拟人类视觉的机器视觉系统，必能在飞行目标的追踪方面发挥更大的作用。

发明内容

有鉴于此，本发明要解决的技术问题是，提供一种能够模拟人类视觉的基于热成像视频的飞行目标自动跟踪方法，通过模拟人类主动视觉行为、对目标场景作快速有效注视，实现机器对飞行目标的自动搜索和跟踪。

本发明的技术解决方案是，提供以下步骤的基于热成像视频的飞行目标自动跟踪方法，包括以下各步骤：

1)飞行目标的检测过程被分为两种状态：“搜索状态”和“跟踪状态”；

2)通过相位谱法对热成像视频序列帧作显著性检测，得到相应帧的像素显著度图，所述像素显著度图与所述视频序列帧图像的像素位置信息一致；

3)对每帧的像素显著度图中的显著点，依据显著度进行排序；

4)“搜索状态”时：选取每帧的前N个显著点作为注视点，以这些点的离散程度来判断该帧是否存在引起注意的显著目标；

4.1)若存在显著目标，则标记该帧，同时考察该帧N个显著点的聚类情况，选取其中具有最大密度的聚类中心作为候选目标的初始位置；并以该位置为中心形成一个信息熵最大的矩形区域，作为目标区域，用主成分参数描述此目标区域特征；

4.2)若视频序列帧连续出现显著目标，则比较当前帧与相邻帧的候选目标位置和目标区域特征的差别；若连续m次、两两相邻的帧中候选目标位置和目标区域特征的差别小于规定阈值，则检测标识由“搜索状态”转变为“跟踪状态”；

5)“跟踪状态”时：只选取当前帧中、离上一帧目标中心位置最近的前P个显著点作为注视点，以包含这些注视点的最小矩形区域为注视区域；当该注视区域的主成分特征与上一帧注视区域相似时，跟踪状态延续；否则，认为跟踪状态不稳定，当不稳定状态连续出现k次，则“跟踪状态”转换为“搜索状态”。

采用本发明的方法，与现有技术相比，本发明具有以下优点：1)由于相位谱法对光照变化和大范围纹理噪声等干扰不敏感，借助该法能自适应不同设备和光照条件下获取的热成像飞行目标视频，能自动检测并跟踪视频中的显著目标。2)由于算法只注重少数高显著度像素数据，极大降低了计算量，算法具有快速响应特性。“搜索状态”时，本发明具备快速的目标搜索响应能力，快速捕捉目标；“跟踪状态”时，能够有效应对镜头晃动引起的目标突然丢失等问题。这种先依据显著性检测定位候选区域，再根据该候选区域的稳定性判断是否存在感兴趣目标，然后进行跟踪的工作思路，相比于传统基于遍历搜索的跟踪策略大大提高了算法效率。

作为改进，步骤5)进一步包括：5.1)跟踪状态下，对所述的注视区域内部像素进行奇数次随机采样，并对注视区域外部进行奇数次等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；5.2)利用极限学习机训练策略，并行训练得到奇数个二分类的前馈神经网络模型，通过该模型分类所述跟踪状态下的帧图像的全部像素，将被分为正样本的像素区域作为飞行目标区。该目标区和特征将更准确。

作为改进，步骤5.1)和5.2)是利用前馈神经网络，以被跟踪的每帧图像注视区域内外像素的正负样本训练分类模型，再经模型对全体像素分类，实现飞行目标精确提取。

作为改进，搜索状态时，视频序列帧图像中的前N个显著点分布的离散程度和稳定程度，被作为是否存在感兴趣目标的一种判别指标，借此实现初始目标检测；跟踪状态时，只利用当前帧图像中距上一帧跟踪目标中心最近的前P个显著点形成注视区域，再经步骤5.1)和5.2)得到相应的目标区，完成目标区域的提取。

作为改进，步骤4)中显著点的离散程度是通过各显著点坐标的均值位置与各显著点的归一化距离之和来表征。

附图说明

图1为本发明基于热成像视频的飞行目标自动跟踪方法的流程图。

具体实施方式

下面就具体实施例对本发明作进一步说明，但本发明并不仅仅限于这些实施例。

本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。此外，本发明之附图中为了示意的需要，并没有完全精确地按照实际比例绘制，在此予以说明。

如图1所示，本发明的基于热成像视频的飞行目标自动跟踪方法，包括以下各步骤：

1)飞行目标的检测过程被分为两种状态：“搜索状态”和“跟踪状态”；

2)通过相位谱法对热成像视频序列帧作显著性检测，得到相应帧的像素显著度图，所述像素显著度图与所述视频序列帧图像的像素位置信息一致；

3)对每帧的像素显著度图中的显著点，依据显著度进行排序；

4)“搜索状态”时：选取每帧的前N个显著点作为注视点，以这些点的离散程度来判断该帧是否存在引起注意的显著目标；

4.1)若存在显著目标，则标记该帧，同时考察该帧N个显著点的聚类情况，选取其中具有最大密度的聚类中心作为候选目标的初始位置；并以该位置为中心形成一个信息熵最大的矩形区域，作为目标区域，用主成分参数描述此目标区域特征；

4.2)若视频序列帧连续出现显著目标，则比较当前帧与相邻帧的候选目标位置和目标区域特征的差别；若连续m次、两两相邻的帧中候选目标位置和目标区域特征的差别小于规定阈值，则检测标识由“搜索状态”转变为“跟踪状态”；

5)“跟踪状态”时：只选取当前帧中、离上一帧目标中心位置最近的前P个显著点作为注视点，以包含这些注视点的最小矩形区域为注视区域；当该注视区域的主成分特征与上一帧注视区域相似时，跟踪状态延续；否则，认为跟踪状态不稳定，当不稳定状态连续出现k次，则“跟踪状态”转换为“搜索状态”。

通过相位谱法对目标图像作显著性检测，可采用以下步骤实施：对待目标图像I(i，j)进行二维离散傅里叶变换F[I(i，j)]，将图像由空间域转换到频域，得到相位P(u，v)信息：

式中F表示二维离散傅里叶变换，表示相位运算。将相位信息经傅里叶逆变换后，可以在空间域得到显著度图像Sa_Map。

Sa_Map(i，j)＝|F^-1[exp{jP(u，v)}]|² (2)

步骤5)进一步包括：5.1)跟踪状态下，对所述的注视区域内部像素进行奇数次随机采样，并对注视区域外部进行奇数次等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；5.2)利用极限学习机训练策略，并行训练得到奇数个二分类的前馈神经网络模型，通过该模型分类所述跟踪状态下的帧图像的全部像素，将被分为正样本的像素区域作为飞行目标区。步骤5.1)和5.2)是利用前馈神经网络，以被跟踪的每帧图像注视区域内外像素的正负样本训练分类模型，再经模型对全体像素分类，实现图像目标更精确的提取。

图1中，涉及训练数据、分类模型、结果等均为采用极限学习机训练策略相应实施过程。具体实施过程如下：

极限学习机(ELM)是一种单隐层前馈神经网络(Single-hidden layerfeedforward networks，SLFNs)。对一个给定的训练样本集有L个隐层结点的SLFNs表示为：

其中α_i和b_i是隐结点与输入结点的连接参数(内权)，内权可独立于训练数据的随机产生。K(α_i，b_i，x_j)是第i个隐结点对应于输入的输出项。β_i是第i个隐结点到输出结点的连接权值(外权)。如果已知给定的训练样本，且已知随机产生的内权，则K(α_i，b_i，x_j)可计算；公式(3)成为一个线性系统，只有β_i是未知项，可通过线性代数方法求解。

基于上述原理，在给定训练集下，单隐层反馈神经网络的性能完全由其隐层结点与输出结点的连接权值(外权)确定，而与输入端与隐层结点的连接权值、偏移值等(内权)无关。由此能用数学手段解得关键连接权值的解析解而非迭代近似解，从而使得ELM算法本质上最优，避免了基于梯度下降法迭代求解的神经网络出现局部极小的情况。由于无需迭代运算，使得学习速度数百倍于传统神经网络。

ELM只有一个可调参数——隐节点数量。只要该参数相对于具体问题而言取值足够大，就能保证算法的逼近能力。这样的特性使我们能避免参数寻优问题的困扰，从而集中注意力获取合适的训练样本。同时，增加样本数据的维度变得很容易，可以考虑不同模态的属性(颜色、梯度、邻域、纹理、位置、深度、差别和上下境信息等)。避免了传统机器学习算法在线训练需合理设置参数的困难问题。

搜索状态时，视频序列帧图像中的前N个显著点分布的离散程度和稳定程度，被作为是否存在感兴趣目标的一种判别指标，借此实现初始目标检测；跟踪状态时，只利用当前帧图像中距上一帧跟踪目标中心最近的前P个显著点形成注视区域，再经步骤5.1)和5.2)得到相应的目标区，完成目标区域的提取。

步骤4)中显著点的离散程度是通过各显著点坐标的均值位置与各显著点的归一化距离和来表征。已知一幅图中有n个显著点(x_i，y_i)(i＝1，2，...，n)，这些点的离散程度用以下方式表示：

其中，(x_i，y_i)是显著点坐标，(x_m，y_m)是这些点坐标的均值。Scatter表示这些点的离散程度。

以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (5)

1.一种基于热成像视频的飞行目标自动跟踪方法，其特征在于：包括以下步骤：

1)飞行目标的检测过程被分为两种状态：“搜索状态”和“跟踪状态”；

2)通过相位谱法对热成像视频序列帧作显著性检测，得到相应帧的像素显著度图，所述像素显著度图与所述视频序列帧图像的像素位置信息一致；

3)对每帧的像素显著度图中的显著点，依据显著度进行排序；

4)“搜索状态”时：选取每帧的前N个显著点作为注视点，以这些点的离散程度来判断该帧是否存在引起注意的显著目标；

4.1)若存在显著目标，则标记该帧，同时考察该帧N个显著点的聚类情况，选取其中具有最大密度的聚类中心作为候选目标的初始位置；并以该位置为中心形成一个信息熵最大的矩形区域，作为目标区域，用主成分参数描述此目标区域特征；

4.2)若视频序列帧连续出现显著目标，则比较当前帧与相邻帧的候选目标位置和目标区域特征的差别；若连续m次、两两相邻的帧中候选目标位置和目标区域特征的差别小于规定阈值，则检测标识由“搜索状态”转变为“跟踪状态”；

5)“跟踪状态”时：只选取当前帧中、离上一帧目标中心位置最近的前P个显著点作为注视点，以包含这些注视点的最小矩形区域为注视区域；当该注视区域的主成分特征与上一帧注视区域相似时，跟踪状态延续；否则，认为跟踪状态不稳定，当不稳定状态连续出现k次，则“跟踪状态”转换为“搜索状态”。

2.根据权利要求1所述的基于热成像视频的飞行目标自动跟踪方法，其特征在于：步骤5)进一步包括：

5.1)跟踪状态下，对所述的注视区域内部像素进行奇数次随机采样，并对注视区域外部进行奇数次等量的像素随机采样；采样得到的注视区域内部像素作为正样本，注视区域外部像素作为负样本；

5.2)利用极限学习机训练策略，并行训练得到奇数个二分类的前馈神经网络模型，通过该模型分类所述跟踪状态下的帧图像的全部像素，将被分为正样本的像素区域作为飞行目标区。

3.根据权利要求2所述的基于热成像视频的飞行目标自动跟踪方法，其特征在于：步骤5.1)和5.2)是利用前馈神经网络，以被跟踪的每帧图像注视区域内外像素的正负样本训练分类模型，再经模型对全体像素分类，实现图像目标提取。

4.根据权利要求2所述的基于热成像视频的飞行目标自动跟踪方法，其特征在于：搜索状态时，视频序列帧图像中的前N个显著点分布的离散程度和稳定程度，被作为是否存在感兴趣目标的一种判别指标，借此实现初始目标检测；跟踪状态时，只利用当前帧图像中距上一帧跟踪目标中心最近的前P个显著点形成注视区域，再经步骤5.1)和5.2)得到相应的目标区，完成目标区域的提取。

5.根据权利要求1或2所述的基于热成像视频的飞行目标自动跟踪方法，其特征在于：步骤4)中显著点的离散程度是通过各显著点坐标的均值位置与各显著点的归一化距离和来表征。