CN116912289B - 一种面向边缘智能的弱小目标层次化视觉跟踪方法 - Google Patents

Abstract

本发明涉及一种面向边缘智能的弱小目标层次化视觉跟踪方法，该方法主要包括：弱小目标增强、一级跟踪器、二级跟踪器和跟踪状态判断。弱小目标增强是基于帧间动态平均值和帧间动态方差结果，进而更加稳定有效的在抑制背景并且增强弱小目标信息。一级跟踪器主要感知目标自身信息，而二级跟踪器侧重于感知目标周围背景。通过设计两级跟踪器的结果比较，可以根据场景自适应选择更适合的跟踪器。跟踪状态判断通过评估当前结果的可信度，进而有选择性的输出高质量的目标跟踪结果，避免输出错误结果。本发明达到了稳定跟踪弱小目标并且跟踪计算实时性高的效果。

Description

一种面向边缘智能的弱小目标层次化视觉跟踪方法

技术领域

本发明涉及智能视频处理领域，具体涉及的是一种面向边缘智能的弱小目标层次化视觉跟踪方法。

背景技术

目标跟踪任务是根据在初始视频帧锁定目标的位置及尺度信息，持续预测该锁定目标在后续视频帧中的位置和尺度。目标跟踪技术在制导打击、安防监控、交通分析和人机交互等领域都有着重要的应用。现有的实际跟踪系统的数据处理方式主要分为两种形式。第一种数据处理方式是将部署地相机实时采集的视频数据传递到远端高速处理器进行计算，然后将远端处理器计算得到的目标状态回传到部署地完成跟踪任务。该方案的优势是可以依托本地处理器进行复杂运算，但是由于跟踪任务的实时性，该远端计算方案对于数据传输速度和传输带宽有着极为苛刻的要求。第二种数据处理方式是在部署地安置具有计算能力的边缘智能设备并将跟踪方案在该设备上本地实现，进而将采集的视频数据在该边缘智能设备上计算并完成跟踪。该方案具有部署场地灵活、无需网络环境、设备成本低和维护成本低的优势，被广泛应用。但是，由于边缘智能的硬件资源的限制，难以满足常用的视觉跟踪方案的计算开销。此外，由于弱小目标具有对比度低并且尺度小的特点，现有的跟踪方案往往难以稳定跟踪弱小目标，需要进行针对性的研究和设计。因此在边缘智能上实现对弱小目标的视觉跟踪是具有极大挑战的。

发明内容

针对应用在边缘智能的弱小目标视觉跟踪任务中存在的目标对比度低、尺度小以及跟踪实时性差的难题，本发明提供一种面向边缘智能的弱小目标层次化视觉跟踪方法，包括：弱小目标增强、一级跟踪器、二级跟踪器和跟踪状态判断。弱小目标增强是基于帧间动态平均值和帧间动态方差结果，进而更加稳定有效的在抑制背景并且增强弱小目标信息。一级跟踪器主要感知目标自身信息，而二级跟踪器侧重于感知目标周围背景。通过设计两级跟踪器的结果比较，可以根据场景自适应选择更适合的跟踪器。跟踪状态判断通过评估当前结果的可信度，进而有选择性的输出高质量的目标跟踪结果，避免输出错误结果。为达到上述目的，本发明采用如下技术方案：

一种面向边缘智能的弱小目标层次化视觉跟踪方法，包括以下步骤：

步骤(1)根据给定的正方形目标跟踪框，在目标中心位置周围裁剪出2倍于跟踪框边长的正方形区域s₁和4倍于跟踪框边长的正方形区域s₂；

步骤(2)采用倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₁进行中值滤波，得到滤波后区域s₁₀；采用θ₂₀倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₂进行中值滤波，得到滤波后区域s₂₀，来消除潜在的视频采集噪声；

步骤(3)计算滤波后区域s₁₀中的所有像素的灰度值的实时平均值mean₁₀和实时标准差std₁₀；计算滤波后区域s₂₀中的所有像素的灰度值的实时平均值mean₂₀和实时标准差std₂₀；

步骤(4)计算滤波后区域s₁₀的帧间动态平均值和帧间稳定动态/>计算滤波后区域s₂₀的帧间动态平均值/>和帧间动态方差/>来避免跟踪环境变化带来的参数扰动：

其中，和mean₁₀(i)分别是第i帧时s₁₀区域对应的帧间动态平均值和实时平均值，/>和mean₂₀(i)是第i帧时s₂₀区域对应的帧间动态平均值和实时平均值；同理，/>std₁₀(i)、/>std₂₀(i)中的(i)同样代表第i帧；κ_mean10，κ_mean20分别代表了帧间动态平均值/>和/>的更新率；κ_std10和κ_std20分别代表了帧间动态方差/>和/>的更新率；

步骤(5)利用对滤波后区域s₁₀进行弱小目标的增强处理，得到滤波后区域s₁₀对应的目标增强图s₁₁；利用/>和/>对滤波后区域s₂₀进行弱小目标增强处理，得到滤波后区域s₂₀对应的目标增强图s₂₁，方法如下：

其中，s₁₁(x,y)代表在目标增强图s₁₁坐标为(x,y)的灰度值，x代表横坐标，y为纵坐标，s₂₁(x,y)表示在目标增强图s₂₁坐标为(x,y)处的灰度值，s₁₀(x,y)代表区域s₁₀坐标为(x,y)的灰度值，s₂₀(x,y)表示在区域s₂₀坐标为(x,y)处的灰度值，ε₁₁和ε₂₂是比例常数；

步骤(6)利用特征模型对目标增强图S₁₁提取特征得到第一层次特征图S₁₂；利用特征模型对目标增强图S₂₁计算特征得到第二层次特征图S₂₂；其中，特征模型包括HOG特征，颜色直方图特征和CN特征，具体如下：

其中，Fea表示特征模型，fea_HOG，fea_HARRIS，fea_CN分别表示HOG特征，CN特征和颜色直方图特征，和/>为不同特征的比例系数，/>

步骤(7)利用第一层次特征图S₁₂训练一级跟踪器，使一级跟踪器更加关注目标区域信息；利用第二层次特征图S₂₂训练二级跟踪器，使得二级跟踪器更加关注目标背景区域信息；

步骤(8)以上一帧目标位置POS为中心，利用多核处理器同时启动一级跟踪器和二级跟踪器进行目标的定位；一级跟踪器的计算得到的跟踪结果为Pos₁，对应的一级跟踪器响应值为r₁；二级跟踪器的计算得到的跟踪结果为Pos₂，对应的二级跟踪器响应值为r₂；

步骤(9)比较一级跟踪器的响应值r₁和二级跟踪器的响应值r₂，当r₁>δ₁*r₂时，设置临时目标位置Pos_t＝Pos₁，设置响应值r_c＝r₁；当r₁≤δ₁*r₂时，设置临时目标位置POS_t＝Pos₂，设置响应值r_c＝r₂，其中δ₁为响应判断阈值；计算参考响应值r_ref如下：

r_ref(i)＝κ_ref*r_c(i)+(1-κ_ref)*r_ref(i-1)

其中，κ_ref表示响应值更新系数，r_ref(i)表示第i帧的参考响应值，r_ref(i-1)表示第i-1帧的参考响应值，r_c(i)是第i帧的响应值。

步骤(10)比较响应值r_c和参考响应值r_ref，当r₁>δ_ref*r_ref时，判断目标状态正常，输出当前帧目标位置POS＝POS_t；当r₂≤δ_ref*r_ref时，判断目标丢失，不输出当前帧目标位置POS，其中δ_ref是参考量比例。

本发明与现有技术的有益效果在于：

(1)本发明设计了快速有效的弱小目标增强方法，为跟踪器提供了弱小目标的更多有效信息。不同于基于复杂增强模型和深度特征网络的弱小目标增强方法，我们设计的增强方法简洁高效的为后续跟踪器提供了充足的目标增强信息并且极大的降低了边缘智能的计算负担。我们计算了不同范围内当前帧图像的灰度均值和方差并且引入了帧间动态均值和帧间动态方差，确保了该弱标增强方法不仅可以当前帧的图像进行调整，同时可以避免跟踪环境快速变化导致的增强图像剧烈波动的情况。

(2)本发明基于弱小目标特点建立了鲁棒的特征融合模型。HOG特征描述目标轮廓方面的能力，并且该特征对于光照的变化更加鲁棒。CN特征描述了目标颜色的空间分布，对于弱小目标的颜色分布信息进行了准确的刻画。颜色直方图特征描述了目标在一定区域内的颜色统计特征，该特征不关注颜色空间分布，对于目标运动或者相机的移动导致目标旋转具有更鲁棒的判别能力。

(3)本发明依托边缘智能多核心的硬件基础，在不同核心上并行执行具有不同特点的一级跟踪器和二级跟踪器，确保了实时的跟踪速度。此外，用于训练一级跟踪器的第一层次特征图中具有大量的目标信息，使得一级跟踪器更多注重目标自身的变化。用于训练二级跟踪器的第二层次特征图中具有更多的背景信息，使得二级跟踪器更加关注目标周围环境的变化。

(4)本发明设计了跟踪状态判断的方式。不同于常见跟踪器由于无法判别跟踪结果的有效性，导致每帧都会输出一个目标坐标位置。本发明的状态判断部分利用两级跟踪器的结果以及参考响应值结果的对比，更加有效的判断当前帧跟踪目标的情况，避免边缘智能设备在跟踪目标遮挡时仍然持续输出错误的跟踪结果。

(5)本发明设计了层次化的跟踪结构，包括弱小目标增强、一级跟踪器和二级跟踪器和跟踪状态判断。这种层次化的跟踪结构有效的从跟踪器样本、跟踪器范围和跟踪器当前帧状态的角度，进一步提高了跟踪器对弱小目标的跟踪性能并且可以在边缘智能上获得了实时的计算速度。

附图说明

图1为本发明的一种面向边缘智能的弱小目标层次化视觉跟踪方法流程图；

图2为本发明的一级、二级感知机的搜索区域示意图；

图3为本发明中的弱小目标增强的效果示意图；

图4为本发明在边缘智能实现后对实际环境中的弱小目标跟踪效果图。

具体实施方案

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明的一种面向边缘智能的弱小目标层次化视觉跟踪方法包括以下步骤：

步骤(1)根据给定的正方形目标跟踪框，在目标中心位置周围裁剪出2倍于正方形目标跟踪框边长的正方形区域s₁和4倍于跟踪框边长的正方形区域s₂。

步骤(2)采用倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₁进行中值滤波，得到滤波后区域s₁₀。类似的，采用/>倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₂进行中值滤波，得到滤波后区域s₂₀，来消除潜在的视频采集噪声，如图2所示。

步骤(3)计算滤波后区域s₁₀中的所有像素的灰度值的实时平均值mean₁₀和实时标准差std₁₀；计算滤波后区域S₂₀中的所有像素的灰度值的实时平均值mean₂₀和实时标准差std₂₀。

步骤(4)计算滤波后区域s₁₀的帧间动态平均值和帧间稳定动态/>计算滤波后区域s₂₀的帧间动态平均值/>和帧间动态方差/>来避免跟踪环境变化带来的参数扰动：

其中，设置κ_mean10＝0.05，κ_mean20＝0.3分别代表了帧间动态平均值和的更新率。/>和mean₁₀是第i帧时s₁₀区域对应的帧间动态平均值和实时平均值。/>和mean₂₀是第i帧时s₂₀区域对应的帧间动态平均值和实时平均值。同理，std₁₀(i)、/>std₂₀(i)中的(i)同样代表第i帧。κ_std10和κ_std20分别代表了帧间动态方差/>和/>的更新率。

步骤(5)利用对滤波后区域s₁₀进行弱小目标的增强处理，得到滤波后区域s₁₀对应的目标增强图s₁₁；利用/>和/>对滤波后区域s₂₀进行弱小目标增强处理，得到滤波后区域s₂₀对应的目标增强图s₂₁，方法如下：

其中，s₁₁(x,y)代表在目标增强图s₁₁坐标为(x,y)的灰度值，x代表横坐标，y为纵坐标。s₂₁(x,y)表示在目标增强图s₂₁坐标为(x,y)处的灰度值。s₁₀(x,y)代表区域s₁₀坐标为(x,y)的灰度值。s₂₀(x,y)表示在区域s₂₀坐标为(x,y)处的灰度值。设置ε₁₁＝0.8和ε₂₂＝1.5

是比例常数。弱小目标增强效果如图3所示。

步骤(6)利用特征模型对目标增强图S₁₁提取特征得到第一层次特征图S₁₂；利用特征模型对目标增强图S₂₁计算特征得到第二层次特征图S₂₂。其中，特征模型主要包括HOG特征，颜色直方图特征和CN特征，具体如下：

其中，Fea表示特征模型，fea_HOG，fea_HARRIS，fea_CN分别表示HOG特征，CN特征和颜色直方图特征。设置和/>为不同特征的比例系数。

步骤(7)利用第一层次特征图S₁₂训练一级跟踪器，使一级跟踪器更加关注目标区域信息；利用第二层次特征图S₂₂训练二级跟踪器，使得二级跟踪器更加关注目标背景区域信息。两级跟踪器都是基于KCF相关滤波跟踪原理，具体训练方法如下：

一级跟踪器的损失函数为：

二级跟踪器的损失函数为：

其中，s_11,i代表第一层次特征图S₁₂，s_21,i代表第二层次特征图S₂₂。n是搜索区域通道数。f₁(s_11,i)＝w₂ ^Ts₁₁为一级跟踪器计算得到的目标响应值，f₂(s_21,i)＝w₁Ts₂₁为二级跟踪器计算得到的目标响应值，y_1,i，y_2,i分别代表一级跟踪器和二级跟踪器的高斯分布标签。w₁和w₂分别代表一级跟踪器和二级跟踪器参数。代表该式为最小化滤波器参数w。设置正则化系数λ＝0.001。

进一步，将一级搜索区域s_11,i和二级搜索区域s_21,i进行高维映射：

其中，为基于核技巧的高维映射。γ₁是一级跟踪器的变量。γ₂是二级跟踪器的变量。通过计算一级跟踪器和二级跟踪器的损失函数的导数，当导数为0时的向量系数γ₁和γ₂为：

γ₁＝(K+λI)^-1y₁

γ₂＝(K+λI)^-1y₂

其中，K是核矩阵。为了加快计算速度，γ₁和γ₂在傅里叶域中进行计算。y_1,i是y_i的其中一个元素。然后，利用对角矩阵的性质将上式转换为线性表达式，即可得到感知机中的变量在傅里叶域的表达和/>进而达到训练跟踪器的目的：

其中，k^xx是核矩阵的第一行。

步骤(8)以上一帧目标位置POS为中心，利用多核处理器同时启动一级跟踪器和二级跟踪器进行目标的定位。一级跟踪器的计算得到的跟踪结果为Pos₁，对应的一级跟踪器响应值为r₁；二级跟踪器的计算得到的跟踪结果为Pos₂，对应的二级跟踪器响应值为r₂；

步骤(9)比较一级跟踪器的响应值r₁和二级跟踪器的响应值r₂。当r₁>δ₁*r₂时，设置临时目标位置POS_t＝Pos₁，设置响应值r_c＝r₁；当r₁≤δ₁*r₂时，设置临时目标位置POS_t＝Pos₂，设置响应值r_c＝r₂，其中设置响应判断阈值δ₁＝1.2。计算参考响应值r_ref如下，设置响应值更新系数κ_ref＝0.2：

r_ref(i)＝κ_ref*r_c(i)+(1-κ_ref)*r_ref(i-1)

其中，r_ref(i)表示第i帧的参考响应值。r_ref(i-1)表示第i-1帧的参考响应值r_c(i)是第i帧的响应值。

步骤(10)设置参考量比例δ_ref＝0.4,比较响应值r_c和参考响应值r_ref。当r₁>0.4*r_ref时，判断目标状态正常，输出当前帧目标位置POS＝POS_t；当r₂≤0.4*r_ref时，判断目标丢失，不输出当前帧目标位置POS。

本发明在国产化FMQL边缘智能平台上的实际跟踪效果如图4所示，展现了本发明对于真实环境中的弱小目标具有实时、平稳、准确的跟踪能力。

Claims (1)

1.一种面向边缘智能的弱小目标层次化视觉跟踪方法，其特征在于，包括以下步骤：

步骤(1)根据给定的正方形目标跟踪框，在目标中心位置周围裁剪出2倍于跟踪框边长的正方形区域s₁和4倍于跟踪框边长的正方形区域s₂；

步骤(2)采用倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₁进行中值滤波，得到滤波后区域s₁₀；采用/>倍于正方形目标跟踪框区域大小的滤波核，对正方形区域s₂进行中值滤波，得到滤波后区域s₂₀；

步骤(3)计算滤波后区域s₁₀中的所有像素的灰度值的实时平均值mean₁₀和实时标准差std₁₀；计算滤波后区域s₂₀中的所有像素的灰度值的实时平均值mean₂₀和实时标准差std₂₀；

步骤(4)计算滤波后区域s₁₀的帧间动态平均值和帧间稳定动态/>计算滤波后区域s₂₀的帧间动态平均值/>和帧间动态方差/>

其中，和mean₁₀分别是第i帧时s₁₀区域对应的帧间动态平均值和实时平均值，/>和mean₂₀是第i帧时s₂₀区域对应的帧间动态平均值和实时平均值；同理，std₁₀(i)、/>std₂₀(i)中的(i)同样代表第i帧；κ_mean10，κ_mean20分别代表了帧间动态平均值/>和/>的更新率；κ_std10和κ_std20分别代表了帧间动态方差和/>的更新率；

步骤(5)利用对滤波后区域s₁₀进行弱小目标的增强处理，得到滤波后区域s₁₀对应的目标增强图s₁₁；利用/>和/>对滤波后区域s₂₀进行弱小目标增强处理，得到滤波后区域s₂₀对应的目标增强图s₂₁，方法如下：

其中，s₁₁(x,y)代表在目标增强图s₁₁坐标为(x,y)的灰度值，x代表横坐标，y为纵坐标，s₂₁(x,y)表示在目标增强图s₂₁坐标为(x,y)处的灰度值，s₁₀(x,y)代表区域s₁₀坐标为(x,y)的灰度值，s₂₀(x,y)表示在区域s₂₀坐标为(x,y)处的灰度值，ε₁₁和ε₂₂是比例常数；

步骤(6)利用特征模型对目标增强图S₁₁提取特征得到第一层次特征图S₁₂；利用特征模型对目标增强图S₂₁计算特征得到第二层次特征图S₂₂；其中，特征模型包括HOG特征，颜色直方图特征和CN特征，具体如下：

其中，Fea表示特征模型，fea_HOG，fea_HARRIS，fea_CN分别表示HOG特征，CN特征和颜色直方图特征，和/>为不同特征的比例系数，/>

步骤(7)利用第一层次特征图S₁₂训练一级跟踪器，使一级跟踪器更加关注目标区域信息；利用第二层次特征图S₂₂训练二级跟踪器，使得二级跟踪器更加关注目标背景区域信息；

步骤(8)以上一帧目标位置POS为中心，利用多核处理器同时启动一级跟踪器和二级跟踪器进行目标的定位；一级跟踪器的计算得到的跟踪结果为Pos₁，对应的一级跟踪器响应值为r₁；二级跟踪器的计算得到的跟踪结果为Pos₂，对应的二级跟踪器响应值为r₂；

步骤(9)比较一级跟踪器的响应值r₁和二级跟踪器的响应值r₂，当r₁>δ₁*r₂时，设置临时目标位置POS_t＝Pos₁，设置响应值r_c＝r₁；当r₁≤δ₁*r₂时，设置临时目标位置POS_t＝Pos₂，设置响应值r_c＝r₂，其中δ₁为响应判断阈值；计算参考响应值r_ref如下：

r_ref(i)＝κ_ref*r_c(i)+(1-κ_ref)*r_ref(i-1)

其中，κ_ref表示响应值更新系数，r_ref(i)表示第i帧的参考响应值，r_ref(i-1)表示第i-1帧的参考响应值，r_c(i)是第i帧的响应值；

步骤(10)比较响应值r_c和参考响应值r_ref，当r₁>δ_ref*r_ref时，判断目标状态正常，输出当前帧目标位置POS＝POS_t；当r₂≤δ_ref*r_ref时，判断目标丢失，不输出当前帧目标位置POS，其中δ_ref是参考量比例。