CN105654510A - 适用于夜间场景下的基于特征融合的自适应目标跟踪方法 - Google Patents

Abstract

适用于夜间场景下的基于特征融合的自适应目标跟踪方法，涉及视频监控与模式识别技术领域，本发明主要通过多特征融合的方法，对多种特征进行分析，寻找并强化具有强不变性的特征，使其主导跟踪，防止目标因周围干扰产生“漂移”而导致跟踪失败。

Description

适用于夜间场景下的基于特征融合的自适应目标跟踪方法

技术领域

本发明涉及视频监控与模式识别技术领域，特别涉及一种通用的视觉目标跟踪方法。

背景技术

在视频监控与模式识别领域中，有许多需要在夜间场景下对目标进行跟踪，之前的方法更多的是利用单一特征进行跟踪，由于在夜间场景下，单特征肯定会存在不稳定的情况，使得其在此种情况下很容易发生跟踪失败。

发明内容

本发明的目的是提出一种能解决夜间场景下的目标跟踪问题的适用于夜间场景下的基于特征融合的自适应目标跟踪方法。

本发明包括以下步骤：

1）利用帧差法求得目标区域的前景图像，并分别求目标区域的HOG、LBP和颜色直方图特征，再将三种特征按相同权值进行合并，建立初始化特征模型；

2）利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧；选取粒子滤波初始化跟踪中的有效帧，建立目标的特征空间；

3）对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分的差异，根据差异的大小，确定每个特征在当前帧的不变性强度；

4）通过各特征不变性的强弱调整权值，更新特征模型，并完成跟踪；

5）利用IPCA，自适应的更新目标的特征空间；

6）回到步骤4）进行下一帧的跟踪。

本发明主要通过多特征融合的方法，对多种特征进行分析，寻找并强化具有强不变性的特征，使其主导跟踪，防止目标因周围干扰产生“漂移”而导致跟踪失败。

本发明与目前国内外发表的最新的方法相比具有几个明显优点：1）利用目标特征不变性进行跟踪，可以很大程度上解决目标丢失问题，特别适用于夜间跟踪。2）通过自适应的方法对特征空间进行更新，可以防止跟踪中漂移问题的发生，适合长时间的跟踪。3）该方法可以达到实时的速度，具有实用价值。

本发明优先解决了夜间场景下的目标跟踪问题。

附图说明

图1为本发明的技术流程图。

具体实施方式

本发明的思想要点是：1）计算目标的各特征的不变性，选取不变性强的特征来主导目标的跟踪过程，使得目标在跟踪过程中不容易丢失。2）利用IPCA方法实现自适应的对目标特征空间的更新，保证目标不会因为形变或相似干扰而跟丢。3）IPCA在提取主要特征的同时，可以实现实时的更新，满足跟踪的实时性要求，使得算法可以进行实时跟踪。

本发明的整个技术方案流程如附图1所示，下面对发明中所涉及到的技术细节予以说明。

1.利用帧差法求得目标区域的前景图像。分别求目标区域的HOG、LBP和颜色直方图特征，并将三种特征按相同权值进行合并，建立初始化特征模型。

首先，通过帧差法计算帧间的目标区域的变化，得到运动前景图像。

之后，分别计算目标区域的HOG，LBP和颜色直方图特征。目标区域的HOG是沿用Dalal的方法（N.DalalandB.Triggs,“Histogramsoforientedgradientsforhumandetection,”inComputerVisionandPatternRecognition,vol.1,pp.886–893,IEEE,2005.）。LBP特征则采用3bit的LBP特征，用来计算像素点周围8个点和像素点本身之间的大小区别，形成一个3bit的值。颜色直方图特征则采用HSV颜色表达，将H通道分成8个bin，同时删除其中S通道值过小的像素，即像素值过暗的点，因为在实际跟踪过程中，由于光照变化，过暗的点对目标跟踪的意义并不是很大，特别是在夜间跟踪中。

在得到三种特征之后，利用下式，将三种特征融合，形成目标的完整的特征模型。

f_i表示第i种目标子特征，这里n=3，即只用了HOG、LBP和颜色直方图三种子特征。

2.利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧；选取粒子滤波初始化跟踪中的有效帧，建立目标的特征空间。

对于最初始几帧，由于目标的特征空间尚未建立，因而不能直接开始更新目标的特征模型。所以，本发明采用粒子滤波的方法，对目标进行初始化跟踪，利用得到的跟踪结果建立初始化的目标特征空间。

在第一帧，对目标区域利用步骤1计算其目标特征，在目标周围散下n个粒子（这里n=60），作为下一帧目标可能运动到的候选区域。计算每个粒子所在区域的HOG、LBP和颜色直方图特征，并利用初始的特征模型得到每个粒子的融合后的特征。之后，利用Bhattacharyya距离，统计每个粒子与实际目标之间的相似度。

其中表示每个粒子的融合后的特征，表示实际的目标特征。

从第二帧开始，通过前一帧得到的每个粒子的相似度计算粒子的权重。并对所有粒子集合进行归一化处理。根据归一化后粒子的不同权重，对粒子进行重新采样。同时利用上式计算出重新采样后的粒子与上一帧目标之间的相似度，并对所有粒子的位置进行加权，计算出最终的目标位置。

利用以上粒子滤波方法对目标进行初始跟踪，由于粒子滤波在短时间内一般不容易跟丢，所以这里我们仅跟踪20帧。同时，在建立目标特征空间时，为了克服目标的刚性形变所产生的干扰，我们对每帧图像进行尺度和旋转变换，尺度5种{0.25，0.5，1，2，4}，旋转5种{-10°，-5°，0°，5°，10°}，即一帧图像共产生25张目标图像。我们利用这20帧目标图像所产生的500张图像生成目标的初始特征空间。

3.对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分的差异，根据差异的大小，确定每个特征在当前帧的不变性强度。

该步主要是用来计算每个特征在当前帧中的不变性的强度，即用来更新步骤一特征模型中每个子特征的权重。对于每一个子特征，提取初始20帧的500张图像的该子特征，得到一定数量的初始样本。

这里，Q为图像数量，Q=500，D为每种子特征的维度，这里D=256（需保证D<Q）。

利用主成分分析（PCA）得到目标该子特征的初始特征向量。

之后进行一定的降维处理，以去除噪声影响。

这里，是降维阈值，我们选择=0.9。得到降维后的特征向量和对应的特征值。此时的特征向量V即为我们需要的子特征的特征空间。

对新的一帧，计算其子特征在特征空间上的投影，得到对应的投影向量。

通过比较特征值和投影向量的相似性，来确定该子特征在新的一帧中的不变性的强度，从而来调整其对应的权重。

同时，在计算完权重之后，利用增量式主成分分析（IPCA），即下式，对该子特征的特征空间中的所有特征向量进行更新，得到新的特征空间。

其中为更新速度，将在步骤五中做以介绍。为新的第t帧的特征，为之前t-1帧时的特征向量，V(0)=U。

4.通过各特征不变性的强弱调整权值，更新特征模型。

在得到每个子特征的不变形强度之后，利用下式对每个子特征的权重进行调整，并同时进行归一化操作。

这里为第t+1帧的归一化前的权重，为归一化后的更新的权重。

在得到更新后的完整的特征模型之后，对当前帧进行目标跟踪。这时的跟踪，我们还是采用步骤一的粒子滤波跟踪来完成，只是跟踪的特征模型从步骤一的初始模型变成了权重更新后的特征模型。具有较高不变性的子特征，在跟踪中将占更大的比重，发挥更大的作用。

5.利用IPCA，自适应的更新目标的特征空间。

在粒子滤波中，每个粒子都有相应的权重。本发明利用主要粒子的平均权重来表示当前跟踪结果的置信度，并利用此置信度来更新IPCA的更新速率。从而在下一帧中算法可以自适应的更新目标的特征空间。

。

Claims (1)

1.适用于夜间场景下的基于特征融合的自适应目标跟踪方法，包括以下步骤：

1）利用帧差法求得目标区域的前景图像，并分别求目标区域的HOG、LBP和颜色直方图特征，再将三种特征按相同权值进行合并，建立初始化特征模型；

2）利用粒子滤波的跟踪算法对目标进行初始化跟踪，跟踪数帧；选取粒子滤波初始化跟踪中的有效帧，建立目标的特征空间；

3）对于新的一帧，利用IPCA，计算当前帧中图像各特征和目标特征空间的主成分的差异，根据差异的大小，确定每个特征在当前帧的不变性强度；

4）通过各特征不变性的强弱调整权值，更新特征模型，并完成跟踪；

5）利用IPCA，自适应的更新目标的特征空间；

6）回到步骤4）进行下一帧的跟踪。