CN113947616B - 一种基于层级化感知机的智能目标跟踪及丢失重检方法 - Google Patents

Abstract

本发明涉及一种基于层级化感知机的智能目标跟踪及丢失重检方法，首先根据选定跟踪目标的位置和大小，对两种不同搜索区域的图像计算特征图，并采集样本作为两种不同感知机的训练样本。当输入跟踪的第一帧图像时，感知机完成初始化训练，并且初始化目标状态、位置和参考响应值；当输入第二帧及之后帧的图像时，将判断当前帧的图像数据是进入跟踪支路还是重检测支路。当进入跟踪支路时，利用多级感知机构建的具有层级化结构的两个跟踪分支都会计算当前帧的目标位置，输出比较后最优的目标位置并且判断目标状态；当进入重检测支路时，利用多个一级感知机组成的重检测器会在大范围内重检测目标，将最大响应值区域作为重检目标同时判断该目标状态。

Description

一种基于层级化感知机的智能目标跟踪及丢失重检方法

技术领域

本发明涉及智能视频处理领域，具体涉及的是一种基于层级化感知机的智能目标跟踪及丢失重检方法。

背景技术

目标跟踪的任务是通过在视频的初始帧选定的目标的位置信息，在后续的视频帧中连续定位目标的位置。目标跟踪技术在人机交互，自动驾驶和安防监控中具有广泛的应用。在传统的光电平台中，目标主要依靠人工手动控制平台来进行跟踪和持续观察。现代光电平台中，智能目标跟踪方法负责连续的输出锁定目标的位置信息，来控制光电平台的方向和俯仰角度，使目标始终位于光电平台监控画面的中心区域，便于持续的观察分析。常见的目标跟踪系统一般将视频数据传回本地高速服务器进行计算，然后将服务器计算得到的当前帧的目标位置结果并且回传到硬件系统。此外，当目标由于遮挡等情况处于丢失状态时，常见的跟踪算法无法重新检测到丢失的目标。一些具有丢失目标重检测功能的跟踪算法，由于重检测算法的计算量大，也只能利用远程服务器进行计算后回传。这种利用服务器回传的处理方式的对数据传输速度的要求极高，很难满足实时的目标跟踪要求。受限于现代光电平台很难与服务器实时通信，并且硬件系统的处理能力有限，目前的目标跟踪或重检测算法在现代光电平台上单独运行时的速度和精度都普遍较低。因此，在现代光电平台上设计同时具有正常跟踪和丢失重检测功能的实时高精度目标跟踪方法是一个很大的挑战。

发明内容

本发明解决的问题：针对目标跟踪算法应用于现代光电平台时存在的跟踪精度低，计算速度慢和无法对丢失目标重检测的问题，本发明提供一种基于层级化感知机的智能目标跟踪及丢失重检方法，实现对目标的大范围(padding＝6，padding＝6指的是目标大小六倍的区域。如果目标是10*10像素，该区域就是60*60。因为padding＝1的二级搜索区域是小范围。所以为了区分，在这里写的大范围)的精确跟踪以及对丢失目标的重检测的功能；此外，本发明方法已经成功在FPGA芯片和ARM芯片的硬件系统实现并验证，计算速度达到实时(50fps)的水平。通过将该硬件系统安装在现代光电平台内，平台可以根据实时接收的图像帧判断目标的状态，进而自适应的选择跟踪或重检测方法得到的当前帧的目标位置，连续控制伺服控制电机移动来完成来连续跟踪任务。

本发明所采用的技术方案是：一种基于层级化感知机的智能目标跟踪及丢失重检方法，该方法利用不同感知机以及设计的层级化结构组成了跟踪支路和重检测支路，实现了跟踪和重新检测功能，包括以下步骤:

(1)根据锁定目标的位置和跟踪框的大小，算法将会对锁定后的POS位置周围的不同搜索区域的图像分别计算特征图，并且采集特征图中的样本作为两种不同感知机的训练样本。

(2)当输入的图像是开始跟踪后的第一帧时，从步骤(1)中获得的一级样本和二级样本，将被分别用于一级感知机和二级感知机的训练环节中，并且初始化目标状态为正常，目标位置为人工设定的坐标，目标参考响应值为1。感知机将会根据设定的目标损失函数进行最优的初始化迭代训练。

(3)当输入的图像是开始跟踪后的第二帧及之后帧的图像时，算法将会利用上一帧返回的目标状态，判断当前帧的图像数据进入跟踪支路还是重检测支路。

(4)当步骤(3)判断进入跟踪支路时，将以上一帧目标位置为中心，训练更新感知机。利用更新后的感知机基于层级化结构设计的两个跟踪分支都会以上一帧目标的位置为搜索中心计算当前帧目标位置，判断是否更新目标参考响应值，以及返回目标状态。

(5)当步骤(3)判断进入重检测支路时，一级感知机和二级感知机都不会进行更新。重检测器以上一帧目标位置为搜索中心，计算得到最大的响应值及其对应位置，然后利用该响应值判断目标当前帧状态是否正常。当满足目标正常条件时，返回目标状态为正常，返回当前帧最大响应值对应的目标位置。否则，返回目标状态为丢失，返回上一帧目标位置。

所述步骤(1)中，所述的两种感知机为一级感知机和二级感知机。一级感知机的搜索区域为一级搜索区域(padding＝6)。对该一级搜索区域的图像计算特征图，然后将在该特征图中采集的样本作为一级样本。该一级样本的大小大于目标实际大小，其中包含了目标信息和大量的背景信息。二级感知机的搜索区域为二级搜索区域(padding＝1)。对该二级搜索区域的图像计算特征图，然后将在该特征图中采集到样本作为二级样本。该二级样本的大小和目标实际大小相同，其中只包含目标信息。

其中，计算特征用到的特征模型是由多个具有不同特点的特征线性组合而成。具体的特征包括HOG，GRAY和Harris特征，HOG具有光照不变性，在光照变化的跟踪条件下，对目标进行稳定描述；GRAY特征对目标的灰度特征具有很好的刻画，在目标外观轮廓变化时准确跟踪目标。Harris特征对目标的角点内容判别能力强，当目标由于遮挡造成目标信息缺失时，通过未遮挡区域的角点信息得到遮挡目标的位置。线性组合方式为：HOG对应的特征权重为κ_H，GRAY特征对应的权重为κ_G，Harris特征对应的权重为κ_Ha，κ_H+κ_G+κ_Ha＝1，特征模型为：

FeatureM＝κ_HFeature_H+κ_GFeature_G+κ_HaFeature_Ha

其中，FeatureM表示特征模型，Feature_H，Feature_G，Feature_Ha分别表示HOG特征,GRAY特征和Harris特征。

所述步骤(2)中，第一帧图像中采集得到的一级样本将会用来训练一级感知机，使其获得感知目标和目标周围背景的能力。二级样本将会作为训练样本来使二级感知机获得更加精确感知目标的能力。两种感知机的优化方法都利用相关滤波器的基本原理。

设置一级感知机的损失函数为：

设置二级感知机的损失函数为：

其中，x_1,i代表在一级搜索区域的特征图中循环采集的第i个一级样本，x_2,i代表在二级搜索区域的特征图中循环采集的第i个二级样本，n为训练样本的数量。f₁(x_1,i)＝w₁ ^Tx_1,i为一级感知机的实际输出响应值，f₂(x_2,i)＝w₂ ^Tx_2,i为二级感知机的实际输出响应值，y_1,i，y_2,i分别代表一级和二级期望输出的响应值分布。w₁和w₂分别代表一级感知机和二级感知机训练的感知参数。正则化系数λ＝0.01。针对一级和二级感知机的损失函数，运用可以将数据从线性空间映射到非线性空间的核技巧，即将x_1,i和x_2,i投射到希伯特空间提高其非线性可分能力：

其中，

是利用核技巧进行的高维映射。w₁和w₂分别代表一级感知机和二级感知机训练的感知参数。

经过对损失函数进行求导计算，当导数为0时的向量系数α₁和α₂为：

α₁＝(K₁+λI)^-1Y₁，

α₂＝(K₂+λI)^-1Y₂。

其中，K₁和K₂是核矩阵，λ是正则化系数。I是单位矩阵。Y₁中的每个元素是由y_1,i组成。同样的，Y₂是由y_2,i组成。α₁和α₂分别是系数α_1,i和系数α_2,i组成的向量。

为了更进一步提高速度，将上式转到换到傅里叶域中进行计算。利用对角矩阵的性质将上式转换为线性表达式，即可得到感知机中的α₁和α₂变量在傅里叶域的表达

和

完成感知机的训练：

其中，k₁和k₂分别代表核矩阵K₁和K₂的第一行。

所述步骤(3)中，判断当前帧的图像数据进入跟踪支路还是重检测支路的依据是利用当上一帧算法返回的目标状态。当上一帧返回目标状态是正常时，当前帧的图像数据将会进入跟踪支路，在当前帧进行正常的跟踪；当上一帧返回的目标状态是丢失，当前帧的图像数据将会进入重检测支路，在当前帧寻找丢失的目标。

所述步骤(4)中，训练更新感知机的方法是在以上一帧目标位置POS为中心的一级搜索区域的特征图和二级搜索区域的特征图内循环采集样本，然后分别作为一级样本和二级样本，用于训练更新一级感知机和二级感知机。利用更新后的感知机基于层级化结构组成的两条跟踪分支是跟踪分支一和跟踪分支二。

跟踪分支一是由一个一级感知机和一个二级感知机级联组成。首先一级感知机以上一帧目标位置POS为搜索中心，在一级搜索区域内进行大范围的目标定位，得到目标位置坐标Pos_1。然后，以一级感知机输出的坐标Pos_1作为搜索中心点，启动二级感知机。在二级搜索区域内进行小范围的目标定位，得到目标位置Pos_2和该位置目标的响应值r2。

跟踪分支二是由一个二级感知机组成，二级感知机将上一帧目标的坐标POS作为搜索中心，在二级搜索区域内进行小范围的目标定位，得到目标的位置Pos_3和该位置响应值r3。

设置比例系数κ₁，通过对两个跟踪分支输出的响应值r2和κ₁*r3的比较，确定响应值大的位置作为跟踪支路输出位置pos1，该响应值作为跟踪支路输出响应值R1。然后将R1与动态调整的目标丢失阈值

进行比较。当

时，判断目标的状态正常，并且坐标POS＝pos1将传输到光电平台，控制伺服电机移动来对目标进行自动跟踪。当

时，目标状态确定为丢失，感知机将上一帧的目标位置POS传输到光电平台，令伺服电机保持不动。跟踪程序将会在下一帧自动启动目标丢失重检测。目标丢失阈值

的为：

其中，μ₁是目标丢失系数，

是参考响应值，为了适应复杂的跟踪场景，

是通过学习正常的跟踪时目标的响应值而动态生成：

其中，

是第i帧图像的参考响应值，

是第i-1帧图像的参考响应值。R1是当前跟踪支路返回的响应值。

是学习率，当目标状态正常时，

为非0常数；当目标丢失时，

令丢失时

的值不改变。

所述步骤(5)中，重检测器是由九个一级感知机组成。重检测器是以丢失前一帧的目标位置POS＝(x₀，y₀)为中心进行重检测。每个一级感知机搜索的中心是相对于 POS＝(x₀，y₀)的都有步幅为s个像素的偏移，则九个一级感知机的检测中心分别是 (x₀-s，y₀-s)，(x₀-s，y₀)，(x₀-s，y₀+s)，(x₀，y₀-s)，(x₀，y₀)，(x₀，y₀+s)，(x₀+s，y₀-s)， (x₀+s，y₀)，(x₀+s，y₀+s)。然后将九个一级感知机返回的目标的响应值{r(1)，r(2)，r(3)， r(4)，r(5)，r(6)，r(7)，r(8)，r(9)}进行比较，选择其中最大的响应值为R₂和对应的坐标pos2，并将R₂与目标成功找回阈值

进行比较。目标成功找回阈值

为：

其中，μ₂是目标成功找回系数，

是参考响应值。当

时，目标状态修改为正常，重检测器输出的坐标pos2将给光电平台，控制随动机构移动；当

时，目标状态保持丢失，返回给随动机构上一帧的目标位置POS，控制随动机构保持不动。

本发明与现有技术的优点在于：

(1)本发明训练了两种具有不同感受野的一级感知机和二级感知机，它们可以从目标或背景中获取鲁棒的跟踪信息。本发明中的跟踪感知机分为两类:一级感知机和二级感知机，用于训练一级感知机的一级样本中包含了目标信息和背景信息，而训练二级感知机的二级样本中只包含目标的信息。当目标运动过快产生运动模糊时，二级感知机将会出现定位不准的情况，但是一级感知机可以依赖于目标周围的背景信息完成精确的目标定位。当目标背景杂乱时，一级感知机会受到背景变化的明显干扰而降低跟踪精度，但是二级感知机定位准确度不受影响。在定位精度方面，二级感知机由于只学习到目标的信息，对目标定位的精度要高于一级感知机。在搜索区域方面，一级感知机的搜索区域包含了背景区域的信息，要大于二级感知机。综合来说，一级感知机用来跟踪运动模糊和快速运动的目标和在大范围的搜索区域(padding＝6)内初步定位目标位置。二级感知机用于跟踪背景杂乱时的目标和在小范围的搜索区域(padding＝1)内精确得到目标的位置。

(2)本发明建立了一种跟踪状态的判别方式，通过对感知机返回结果的判别。将目标状态分为目标状态正常和目标状态丢失两种情况而进行不同处理，解决了现有跟踪技术没有对目标状态进行判断的不足。感知机判断目标状态是依据动态变化目标丢失阈值。目标的丢失阈值是学习目标状态正常时的响应值，得到适用于不同场景的鲁棒性极强的目标丢失判别阈值。当目标状态正常时，感知机采用跟踪方案；当目标状态丢失时，感知机启动目标重检测器。

(3)本发明利用多级的感知机设计了层级化的组合跟踪方式。根据不同感知机的特点，针对性的进行了层级化组合，在提高感知机的整体的跟踪稳定性和精确度的基础上，解决了现有技术中搜索区域扩大带来的跟踪精度下降的问题。本发明中的跟踪支路是由两个跟踪分支组成，第一个跟踪分支是由一级感知机输出结果后，二级感知机在一级感知机的结果上搜索目标。这个跟踪分支可以将感知机的搜索区域扩大至数倍于目标大小的区域，但是跟踪精度较低。第二个跟踪分支是由一个二级感知机构成，这个分支精确度高但是搜索范围小，可以在目标移动速度较低时直接进行精确定位，提高目标的定位精度。利用这两个具有不同特点的跟踪分支比较输出结果，可以使整体的跟踪性能得到极大提高。

(4)本发明利用九个一级感知机组成了重检测器，解决了现有目标重检测机制因为计算量过高，而无法应用到嵌入式处理器的问题。提出的重检测器是由九个搜索中心不同的一级感知机组成，并且这九个一级感知机不需要独立训练，可以直接应用一级感知机组合得到。因此，这种目标重检测器不仅可以获得最新的目标信息，而且利用多核并行技术进一步缩减时间而在光电平台上应用。

(5)本发明利用HOG、GRAY和Harris的特征，建立了一个特征融合模型。这些特征都具有一定的互补性，可以针对目标的不同特点进行准确描述，解决在不同复杂跟踪场景下目标稳定跟踪问题。HOG具有光照不变性，可以在光照变化的跟踪条件下，对目标进行稳定描述。GRAY特征对目标的灰度特征具有很好的刻画，可以在目标外观轮廓变化时准确跟踪目标。Harris特征对目标的角点内容判别能力强，当目标由于遮挡造成目标信息缺失时，通过未遮挡区域的角点信息可以得到遮挡目标的位置，并且通过大量反复研究和测试利用0.5,0.25,0.25这三个权值组合得到的特征图，能够让感知机的跟踪效果最好。现有跟踪技术中采用特征的种类和最佳的组合比例是不相同的。

总之，绝大多数应用于嵌入式光电平台的跟踪算法只对一个感知机进行设计和优化，来完成跟踪任务，而没有利用多个感知机组合的方式充分利用不同感知机的跟踪优势。而且，这些方法几乎没有对丢失目标(由于遮挡等原因造成)采取重检措施。因此，本发明利用一级感知机和二级感知机针对目标跟踪问题和重检测问题，分别设计了不同的层级化的结构来完成这两个任务。通过设计层级化结构完成不同任务的原因是层级化结构可以通过训练少量的感知机使得整体获得高精确度的跟踪和重检测能力，同时确保本发明在现代光电平台上达到实时的计算速度(50fps)。

附图说明

图1为本发明基于层级化感知机的智能目标跟踪及丢失重检算法流程图；

图2为本发明的一级、二级感知机的训练方式；

图3为本发明的跟踪支路的作用流程；

图4为本发明的跟踪支路的实际作用及硬件并行加速示意图；

图5为本发明的重检测器的作用流程；

图6为本发明的重检测器的实际作用及硬件并行加速示意图；

图7为本发明应用于现代光电平台对无人机的正常跟踪效果；

图8为本发明应用于现代光电平台对1.7km处汽车的正常跟踪和丢失重检的效果。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明实施例的流程示意图，方法依次包括以下步骤：

(1)本发明实施例中的现代光电平台已经搭载了具有本发明方法的嵌入式系统，该嵌入式系统的处理器具有双核心架构。该光电平台实时采集到分辨率为1280*720的图像。

当光电平台锁定目标位置POS并且设置目标大小为32*32个像素时，算法将会对锁定后的POS位置周围的不同搜索区域计算特征图，并且在不同搜索区域的特征图内采集样本作为不同感知机的训练样本。具体地，一级感知机和二级感知机的训练如图2所示，一级感知机将会以POS为中心，设置padding＝6(32*6＝172像素)的大范围正方形区域作为一级搜索区域(区域内包括目标及大量背景信息)，然后计算该区域的特征图。接着稠密采集该一级搜索区域的特征图内的样本，作为一级样本，来训练一级感知机。同样的，二级感知机也会以POS为中心，设置padding＝1的小范围的正方形区域(32*1＝32 像素)作为二级搜索区域(区域内只包括目标信息)，然后计算该区域的特征图。接着稠密采集该二级搜索区域的特征图内的样本，作为二级样本，来训练二级感知机。其中，用来提取特征图的特征模型的各个特征权重系数分别为κ_H＝0.5,κ_G＝0.25和κ_Ha＝0.25，故：

FeatureM＝0.5Feature_H+0.25Feature_G+0.25Feature_Ha。

其中，FeatureM表示特征模型，Feature_H，Feature_G，Feature_Ha分别表示HOG特征,GRAY特征和Harris特征。

(2)当光电平台传入开始跟踪后的第一帧图像时，步骤(1)中获得的一级样本和二级样本，将被分别用于一级感知机和二级感知机的训练环节中，并且初始化目标状态为正常，目标位置为人工设定的坐标，目标参考响应值为1。感知机将会根据设定的目标损失函数进行最优的初始化迭代训练。设置正则化系数λ＝0.01，则优化的一级感知机的损失函数为：

迭代优化二级感知机的损失函数为：

其中，x_1,i代表在一级搜索区域的特征图中循环采集的第i个一级样本，x_2,i代表在二级搜索区域的特征图中循环采集的第i个二级样本。n为训练样本的数量。f₁(x_1,i)＝w₁ ^Tx_1,i为一级感知机的实际输出响应值，f₂(x_2,i)＝w₂ ^Tx_2,i为二级感知机的实际输出响应值，y_1,i，y_2,i用以POS为中心的高斯分布，作为一级和二级期望输出的响应值分布。w₁和w₂分别代表一级感知机和二级感知机训练的感知参数。

针对一级和二级感知机的损失函数，运用核技巧将x_1,i，x_2,i投射到希伯特空间提高其非线性可分能力。因此感知机中需要训练的参数由w₁变为α₁，w₂变为α₂：

其中，

是利用核技巧进行的高维映射。

经过对损失函数进行求导计算，当导数为0时的向量系数α₁和α₂为：

α₁＝(K₁+0.01I)^-1Y₁，

α₂＝(K₂+0.01I)^-1Y₂。

其中，K₁和K₂是核矩阵，正则化系数λ＝0.01。I是单位矩阵。Y₁中的每个元素是由y_1,i组成。同样的，Y₂是由y_2,i组成。α₁和α₂分别是系数α_1,i和系数α_2,i组成的向量。

为了更进一步提高速度，将上式转到换到频域中进行计算。利用对角矩阵的性质将上式转换为线性表达式，即可得到感知机中的α₁和α₂变量在频域的表达

和

完成感知机的训练：

其中，k₁和k₂分别代表核矩阵K₁和K₂的第一行。

(3)当光电平台传入采集到第二帧及之后帧的图像帧时，将会利用上一帧返回的目标状态，判断当前帧的图像数据进入跟踪支路还是重检测支路。当上一帧返回的目标状态正常时，当前帧的图像数据将会进入跟踪支路，在当前帧进行正常的跟踪；当上一帧返回的目标状态是丢失，当前帧的图像数据将会进入重检测支路，在当前帧寻找丢失的目标。

(4)当在步骤(3)中判断进入跟踪支路时，以上一帧的目标位置POS为中心的一级搜索区域和二级搜索区域内循环采集图像，然后分别计算采集图像的特征图作为一级样本和二级样本，用于训练更新一级感知机和二级感知机。更新后的一级和二级感知机将会组成两个跟踪分支，跟踪分支一和跟踪分支二。

如图3中的跟踪分支一所示，跟踪分支一将搜索中心POS传递到一级感知机中，进行大范围(padding＝6)的目标粗定位，得到一级感知机的位置结果Pos_1。然后以Pos_1 为搜索中心，利用二级感知机定位再次进行精确定位得到跟踪结果Pos_2和该位置的响应值r2。跟踪分支二将搜索中心POS直接传递到二级感知机中，进行小范围(padding＝1) 的目标精确定位得到跟踪结果Pos_3和该位置的响应值r3。如图3中的跟踪分支二所示。

然后令κ₁＝1.1，将两条支路得到的位置响应值r2和κ₁*r3进行比较。当r2≥κ₁*r3时，感知机返回坐标pos1＝Pos_2，并将输出响应值R1＝r2；当r2＜κ₁*r3时，感知机返回坐标 pos1＝Pos_3，输出的响应值R1＝r3。最后，针对跟踪支路返回pos1和响应值R1进行目标状态的判断。令目标丢失系数

所以目标丢失阈值

为：

当

时，感知机返回目标状态正常，将pos1的值传递到光电平台，并且令学习率

来更新目标参考响应值

返回的pos1将控制光电平台的随动机构自动跟踪目标；当

时，

不更新

感知机返回目标状态丢失，并且将上一帧目标位置POS输出到光电平台，使光电平台的随动机构保持静止。

上述跟踪过程的实际作用及硬件并行加速示意图见图4，我们采用处理器的核心1负责跟踪分支一的计算，先利用一级感知机得到目标位置后，然后二级感知机以一级感知机得到目标位置为中心继续计算得到目标位置和响应值；处理器的核心2负责跟踪分支二的计算，以上一帧目标位置为中心，二级感知机直接计算得到目标的位置和响应值。通过比较核心1和核心2目标位置的响应值，输出最佳目标位置。这种并行加速设计相对于只利用处理器的单核心计算，跟踪速度可以提高大约40％。

(5)当在步骤(3)中判断进入重检测支路时，一级感知机和二级感知机都不会进行更新。重检测器是由九个一级感知机组成。重检测器的作用流程见图5所示，上一帧的目标位置POS将会作为重检测器的搜索中心。每个一级感知机搜索的中心是相对于 POS＝(x₀，y₀)的都有步幅为s＝64像素的偏移，则9个一级感知机的检测中心分别是 (x₀-64，y₀-64)，(x₀-64，y₀)，(x₀-64，y₀+64)，(x₀，y₀-64)，(x₀，y₀)，(x₀，y₀+64)， (x₀+64，y₀-64)，(x₀+64，y₀)，(x₀+64，y₀+64)。然后将九个一级感知机返回的目标的响应值{r(1)，r(2)，r(3)，r(4)，r(5)，r(6)，r(7)，r(8)，r(9)}进行比较，选择其中最大的响应值为R2，并将R2与目标成功找回阈值

进行比较。令目标成功找回系数μ₂＝0.5，则目标成功找回阈值

为：

其中，

是目标参考响应值。当

时，目标状态修改为正常，返回响应值R2 和它对应的坐标pos2给光电平台，控制随动机构移动；当

时，目标状态保持丢失，返回上一帧的目标位置和响应值，控制随动机构保持不动。

上述重检测器的实际作用及硬件并行加速示意图见图6，以上一帧目标位置为中心，采用处理器的核心1负责重检测器中的一级感知机1、一级感知机2、一级感知机3和一级感知机4的计算；处理器的核心2负责一级感知机5、一级感知机6、一级感知机7、一级感知机8和一级感知机9的计算。通过比较核心1和核心2计算的所有一级感知机得到目标位置的响应值，输出目标最佳目标位置。由于处理器核心1和核心2负责计算的感知机的数量不同，会有一定的时间延迟，但相对于只利用处理器单核心计算，跟踪速度可以提高大约30％。

如图7所示，左图的无人机位于2.8km处，图像中所占像素大约为3*3。中图的无人机距离为1.6km，图像中像素数约为8*6像素，相对左图出现了物体的变大。右图跟踪的无人机距离为0.9km，图像中像素数约为15*10像素，并且相对于左图出现了明显的形变。此图说明了我们的跟踪算法可以跟踪大小变化和形态变化的无人机，可以在现代光电平台完成对空中无人机的跟踪任务。

如图8所示，左图地面车辆，所占像素数约为3*3，算法可以稳定执行跟踪任务。中图表示树木对跟踪车辆产生了遮挡，正方形跟踪框出现明显扩大表示目标状态为丢失。启动重检测程序，寻找遮挡结束后的跟踪车辆。右图表示跟踪的车辆行驶出了遮挡的树木，重检测算法找回了目标，正方形跟踪框变成正常大小表示目标状态为正常。启动跟踪程序，完成对该车辆的后续跟踪。此图说明，本发明可以准确的判别目标的状态，并且自动在目标状态正常时采用跟踪支路跟踪目标；在目标丢失时采用重检测支路找回目标后，转入跟踪支路跟踪目标。此图也说明本发明在现代光电平台可以完成对地面车辆的跟踪任务。

Claims (4)

1.一种基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于，包括以下步骤：

(1)针对锁定目标位置周围的一级搜索区域和二级搜索区域内的图像，利用特征模型分别计算它们的特征图，然后对一级搜索区域的特征图和二级搜索区域的特征图采样，分别作为两种感知机即一级感知机和二级感知机的训练样本；一级感知机的搜索区域为一级搜索区域，二级感知机的搜索区域为二级搜索区域；在一级搜索区域的特征图中采集样本的大小大于目标实际大小；二级搜索区域的特征图中采集样本的大小和目标大小相同；一级样本中包含目标信息和背景信息，二级样本中只包含目标信息；

(2)当输入图像为开始跟踪后的第一帧时，从步骤(1)中获得的一级样本和二级样本，将被分别用于一级感知机和二级感知机的训练环节中，并且初始化目标状态为正常，目标位置为人工设定的坐标和目标参考响应值为1；一级感知机和二级感知机根据设定的目标损失函数进行最优的初始化迭代训练；训练得到的一级感知机和二级感知机具有不同感受野，分别从背景和目标中获取鲁棒的跟踪信息，适应更多跟踪场景；所述目标状态分为正常和丢失状态，分别对应跟踪和重检测部分；

(3)当输入图像为开始跟踪后的第二帧及之后帧的图像时，首先利用一级感知机和二级感知机搭建出具有层级化结构的跟踪支路和重检测支路，然后根据上一帧返回的目标状态是正常还是丢失，判断当前帧的图像进入跟踪支路还是重检测支路；

当返回的目标状态是正常时，输入图像进入跟踪支路，将以上一帧目标位置为中心，训练更新一级感知机和二级感知机；跟踪支路中包含两条跟踪分支，两条跟踪分支均以上一帧目标位置为搜索中心计算当前帧目标位置和响应值，根据当前帧的响应值和目标丢失阈值判断目标状态，如果判断目标状态为正常则更新目标参考响应值，否则不更新目标参考响应值；最后将返回的目标位置输出，完成对当前帧的目标的跟踪任务；

当返回的目标状态是丢失状态时，输入图像进入重检测支路，一级感知机和二级感知机均不会进行更新；在重检测支路中，利用一级感知机构建的重检测器，以上一帧目标位置为搜索中心，在当前帧计算得到一级感知机中的最大的响应值及其对应位置，然后利用该最大响应值判断该位置的目标状态是否正常；当满足目标状态正常的条件时，返回目标状态为正常，并且返回当前帧中最大响应值对应的目标位置；否则，返回目标状态为丢失，并且返回上一帧目标位置，最后将返回的目标位置输出，完成对当前帧的目标的跟踪任务。

2.根据权利要求1所述的基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于：所述步骤(1)中，利用特征模型计算所采集图像的特征图中的特征模型由HOG特征、GRAY特征和Harris特征组成，特征模型中HOG特征Feature_H权重为κ_H＝0.5，GRAY特征Feature_G对应的权重为κ_G＝0.25，Harris特征Feature_Ha对应的权重为κ_Ha＝0.25，特征模型FeatureM为：

FeatureM＝0.5Feature_H+0.25Feature_G+0.25Feature_Ha

其中，Feature_H，Feature_G，Feature_Ha分别指HOG特征、GRAY特征和Harris特征。

3.根据权利要求1所述的基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于：所述步骤(3)中跟踪支路是具有层级化结构的，它的具体跟踪流程为：首先对以上一帧目标位置POS为中心的一级搜索区域的图像和二级搜索区域的图像计算特征图，然后分别在一级搜索区域的特征图和二级搜索区域的特征图内循环采集样本，作为一级样本和二级样本，接着，利用一级样本和二级样本训练更新一级感知机和二级感知机，然后将一级感知机和二级感知机组成跟踪分支一和跟踪分支二，跟踪支路包括跟踪分支一和跟踪分支二；

跟踪分支一由一个一级感知机和一个二级感知机级联组成，首先一级感知机以上一帧目标位置POS为搜索中心，在padding＝6的一级搜索区域内进行大范围的目标定位，得到目标位置坐标Pos_1；所述padding＝6指的是目标大小的六倍的范围，称为大范围；然后，以一级感知机输出的坐标Pos_1作为搜索中心点，启动二级感知机，在padding＝1的二级搜索区域内进行小范围的精确的目标定位，得到目标位置Pos_2和该位置目标的响应值r2；所述padding＝1指的是目标大小的一倍的范围，称为小范围；

跟踪分支二是由一个二级感知机组成，二级感知机将上一帧目标位置POS作为搜索中心，在二级搜索区域内进行小范围的目标定位，得到目标位置Pos_3和该目标位置的响应值r3；

设置比例系数κ₁＝1.1，然后通过对两个跟踪分支输出的响应值r2和κ₁*r3的比较，确定响应值大的位置作为跟踪支路输出位置pos1，该响应值作为跟踪支路输出响应值R1，然后将R1与动态调整的目标丢失阈值

进行比较；当

时，判断目标状态为正常状态，并且上一帧目标位置POS＝pos1输出；当

时，目标状态确定为丢失状态，跟踪支路将输出上一帧目标位置POS，跟踪程序将会在下一帧自动启动目标丢失重检测，令目标丢失系数μ₁＝0.3，则目标丢失阈值

为：

其中，

是参考响应值，为适应复杂的跟踪场景，

是通过学习正常的跟踪时目标的响应值而动态生成，学习率

其中，

是第i帧图像的参考响应值，

是第i-1帧图像的参考响应值，R1是当前跟踪支路返回的响应值；当目标状态正常状态时，

为非0常数；当目标丢失时，

令丢失时

的值不改变。

4.根据权利要求1所述的基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于：所述步骤(3)中，重检测器是具有层级化结构的，由九个一级感知机并列组成，重检测器以丢失上一帧目标位置POS＝(x₀，y₀)为中心进行重检测，每个一级感知机搜索的中心是相对于POS＝(x₀，y₀)的都有步幅为s＝64像素的偏移，则九个一级感知机的检测中心分别是(x₀-64，y₀-64)，(x₀-64，y₀)，(x₀-64，y₀+64)，(x₀，y₀-64)，(x₀，y₀)，(x₀，y₀+64)，(x₀+64，y₀-64)，(x₀+64，y₀)，(x₀+64，y₀+64)，然后将九个一级感知机返回的目标的响应值{r(1)，r(2)，r(3)，r(4)，r(5)，r(6)，r(7)，r(8)，r(9)}进行比较，选择其中最大的响应值为R2和对应的坐标pos2，并将R2与目标成功找回阈值

进行比较，令目标成功找回系数μ₂＝0.5，则目标成功找回阈值

为：

其中，

是参考响应值；当

时，目标状态修改为正常，重检测器输出的坐标pos2将控制随动机构移动；当

时，目标状态保持丢失，重检测器返回上一帧目标位置POS。

Images