CN106023248A

CN106023248A - 一种实时的视频跟踪方法

Info

Publication number: CN106023248A
Application number: CN201610314297.8A
Authority: CN
Inventors: 翁肇杰; 翟恺
Original assignee: Grand Softcom Ltd Of Upper Hypon
Current assignee: Grand Softcom Ltd Of Upper Hypon
Priority date: 2016-05-13
Filing date: 2016-05-13
Publication date: 2016-10-12

Abstract

本发明公开了一种实时的视频跟踪方法，包括以下步骤：首先，通过将跟踪目标分割成子块的方式压缩图像特征；其次，通过构建多尺度的候选区域以适应跟踪目标的尺度变化以及快速移动；最后，利用KCF（核化相关滤波器）算法计算特征向量之间的相关性以达到视频跟踪的目的。本发明实现了多种场景下常见目标的准确跟踪，且完全满足实时性的要求，具备非常高的实用价值。

Description

一种实时的视频跟踪方法

技术领域

本发明属于计算机视觉与模式识别领域，具体涉及一种实时的视频跟踪方法。

背景技术

视频跟踪技术可以广泛地应用于无人驾驶、安防监控、工业控制、智能交通、国防军事等领域，其背后蕴藏着十分巨大的学术价值和经济价值。

尽管国内外研究人员提出了很多的跟踪算法，但是在实际应用中仍然面临着一些困难，主要包括以下几个方面：

（1）跟踪目标的外观变化，因为跟踪目标相对于摄像机的视角、距离不断变化；

（2）外界环境的光照变化；

（3）其他物体的遮挡和干扰；

（4）实时性要求。

最近几年，基于检测的跟踪算法正逐渐地成为视频跟踪领域的主流，比较有代表性的算法有CN、KCF、STC、ODFS等。以KCF（核化相关滤波器）为例，KCF对光照变化、遮挡、非刚性形变、运动模糊、背景杂乱的视频跟踪效果较好，但对于尺度变化、快速运动、刚性形变等视频跟踪效果不佳。

发明内容

针对KCF算法的不足，本发明提出了一种实时的视频跟踪方法，具体包括以下步骤：

（1）视频的第m帧，标出需要跟踪的目标区域ROI，其中1 ≤ m < M，M为视频的全部帧数；

（2）对目标区域ROI提取特征，即执行步骤A-G：

A、将ROI进行特定比例的扩展，得到区域RExpand；

B、读取步骤A所述的RExpand内的视频数据，得到Video；

C、将步骤B所述的Video缩放至特定大小，得到VScale；

D、将步骤C所述的VScale分割成p个N×N大小的子块，其中2≤N≤8；

E、对步骤D所述的每个子块j提取特征，即执行步骤a-c，其中1≤j≤p：

a、提取梯度特征, 即执行步骤 I - IV：

I、根据灰度值计算子块j内各个像素的梯度（包括幅值和角度）；

II、统计梯度直方图，得到梯度直方图特征HF；

III、将步骤II的HF进行归一化，得到 HFN；

IV、将步骤III的HFN进行PCA降维，得到GF；

b、提取颜色特征，即执行步骤 i-ii：

i、根据色度值，将子块j内的各个像素进行离散化；

ii 、统计颜色直方图，得到颜色直方图特征CF；

c、将步骤a提取的特征GF和步骤b提取的特征CF进行合并，得到特征BF；

F、合并所有子块的特征BF，得到TBF；

G、利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征RF；

（3）将步骤（2）提取的特征RF进行在线训练，得到训练特征TF；

（4）视频的第（m+1）帧，在步骤（1）的目标区域ROI的附近，生成T个多尺度的候选区域，对每个候选区域ROI_t提取特征RF_t，其中1≤t≤T，即执行步骤A＇-G＇，且实现了T个候选区域的并行计算：

A＇、将ROI_t进行特定比例的扩展，得到区域RExpand＇；

B＇、读取步骤A＇所述的RExpand＇内的视频数据，得到Video＇；

C＇、将步骤B＇所述的Video＇缩放至特定大小，得到VScale＇；

D＇、将步骤C＇所述的VScale＇分割成p个N×N大小的子块，其中2≤N≤8；

E＇、对步骤D＇所述的每个子块j提取特征，即执行步骤a＇- c＇，其中1≤j≤p：

a＇、提取梯度特征, 即执行步骤 I＇- IV＇：

I＇、根据灰度值计算子块j内各个像素的梯度（包括幅值和角度）；

II＇、统计梯度直方图，得到梯度直方图特征HF＇；

III＇、将步骤II＇的HF＇进行归一化，得到 HFN＇；

IV＇、将步骤III＇的HFN＇进行PCA降维，得到GF＇；

b＇、提取颜色特征，即执行步骤i＇- ii＇：

i＇、根据色度值，将子块j内的各个像素进行离散化；

ii＇、统计颜色直方图，得到颜色直方图特征CF＇；

c＇、将步骤a＇提取的特征GF＇和步骤b＇提取的特征CF＇进行合并，得到特征BF＇；

F＇、合并所有子块的特征BF＇，得到TBF＇；

G＇、利用汉宁窗对TBF＇进行滤波，得到候选区域ROI_t的特征RF_t；

（5）将步骤（4）提取的T个特征{RF₁，RF₂，…，RF_t，…，RF_T}分别与步骤（3）的训练特征TF进行相关运算，得到T个相关系数{C₁，C₂，…，C_t，…，C_T}以及T个偏移量{S₁，S₂，…，S_t，…，S_T}；

（6）从T个相关系数{C₁，C₂，…，C_t，…，C_T}中，选择最优的1个C_i；

（7）如果C_i大于一阈值T₁，则用C_i对应的候选区域ROI_i的大小以及偏移量S_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征（对样本的训练与其他的处理并行执行），进入步骤（12），否则进入步骤（8）；

（8）如果步骤（6）中的C_i小于一阈值T₂，则生成ReT个二次候选区域，对每个二次候选区域ReROI_t提取特征ReRF_t，其中1≤t≤ReT，即执行步骤A＂-G＂，且实现了ReT个二次候选区域的并行计算，否则进入步骤（12）；

A＂、将ReROI_t进行特定比例的扩展，得到区域RExpand＂；

B＂、读取步骤A＂所述的RExpand＂内的视频数据，得到Video＂；

C＂、将步骤B＂所述的Video＂缩放至特定大小，得到VScale＂；

D＂、将步骤C＂所述的VScale＂分割成p＂个N×N大小的子块，其中2≤N≤8；

E＂、对步骤D＂所述的每个子块j提取特征，即执行步骤a＂- c＂，其中1≤j≤p＂：

a＂、提取梯度特征, 即执行步骤I＂- IV＂：

I＂、根据灰度值计算子块j内各个像素的梯度（包括幅值和角度）；

II＂、统计梯度直方图，得到梯度直方图特征HF＂；

III＂、将步骤II＂的HF＂进行归一化，得到 HFN＂；

IV＂、将步骤III＂的HFN＂进行PCA降维，得到GF＂;

b＂、提取颜色特征，即执行步骤i＂-ii＂：

i＂、根据色度值，将子块j内的各个像素进行离散化；

ii＂、统计颜色直方图，得到颜色直方图特征CF＂;

c＂、将步骤a＂提取的特征GF＂和步骤b＂提取的特征CF＂进行合并，得到特征BF＂;

F＂、合并所有子块的特征BF＂，得到TBF＂；

G＂、利用汉宁窗对TBF＂进行滤波，得到候选区域ReROI_t的特征ReRF_t;

（9）将步骤（8）提取的ReT个特征{ ReRF₁，ReRF₂，…，ReRF_t，…，ReRF_ReT }分别与步骤（3）的训练特征TF进行相关运算，得到ReT个相关系数{ReC₁，ReC₂，…，ReC_t，…，ReC_ReT}以及ReT个偏移量{ReS₁，ReS₂，…，ReS_t，…，ReS_ReT}；

（10）从ReT个相关系数{ReC₁，ReC₂，…，ReC_t，…，ReC_ReT}中选择最优的1个ReC_i；

（11）如果ReC_i大于一阈值T₃，则用ReC_i对应的ReROI_i的大小以及偏移量ReS_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF（对样本的训练与其他的处理并行执行），进入步骤（13），否则进入步骤（14）；

（12）如果C_i大于一阈值T₄,则用C_i对阈值T₁进行滤波更新，进入步骤（14），否则进入步骤（14）；

（13）如果ReC_i大于一阈值T₅,则用ReC_i对阈值T₃进行滤波更新；

（14）m加1，如果m = M，结束，否则进入步骤（4）。

本发明的有益效果是：

1）本发明将需要跟踪的目标区域分割成N×N大小的子块后提取特征，同时结合PCA降维处理，既保留了目标区域的绝大部分信息，又避免了维数灾难。

2）本发明通过构建多尺度的候选区域，且实现了各个候选区域的并行计算，能够有效地应对跟踪目标的尺度变化以及快速移动，而且运算速度快。

3）本发明通过构建二次候选区域，能够有效地克服跟踪过程中出现的遮挡以及干扰问题。

4）本发明通过选择训练样本并进行在线训练（对样本的训练与其他的处理并行执行），能够有效地克服跟踪过程中目标的外观变化以及外界的光照变化。

5）本发明实现了多种场景下常见目标的准确跟踪，而且完全满足实时性的要求，具备非常高的实用价值。

附图说明

图1为跟踪的处理流程图。

图2为第m帧ROI的位置示意图。

图3 第（m+1）帧候选区域的位置示意图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。

一种实时的视频跟踪方法，处理流程如图1所示，具体包括以下步骤：

（1）视频的第m帧，标出1块需要跟踪的目标区域ROI，其中1 ≤ m < M，M为视频的全部帧数；

（2）对目标区域ROI提取特征，即执行步骤A-G：

A、将ROI进行特定比例的扩展，得到区域RExpand，特定比例可根据跟踪目标的移动速度计算；

B、读取步骤A所述的RExpand内的视频数据，得到Video；

C、将步骤B所述的Video缩放至特定大小，得到VScale；

D、将步骤C所述的VScale分割成p个N×N大小的子块，N=4；

a、提取梯度特征, 即执行步骤 I-IV：

II、统计梯度直方图，得到梯度直方图特征HF；

III、将步骤 II的HF进行归一化，得到HFN；

IV、将步骤III的HFN进行PCA降维，得到GF；

b、提取颜色特征，即执行步骤 i-ii：

i、根据色度值，将子块j内的各个像素进行离散化；

ii、统计颜色直方图，得到颜色直方图特征CF；

F、合并所有子块的特征BF，得到TBF；

G、利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征RF；

（3）将步骤（2）提取的特征RF进行在线训练，得到训练特征TF，如下面的公式（I）所示；

TF=（1-a）*TF + a*RF；

a为更新系数（I）

（4）视频的第（m+1）帧，在步骤（1）的目标区域ROI的附近，生成T个多尺度的候选区域，如图2和图3所示，对每个候选区域ROI_t提取特征RF_t，方法同步骤（2），其中1≤t≤T， T=3，且实现了T个候选区域的并行计算；

（7）如果C_i大于一阈值T₁，则用C_i对应的候选区域ROI_i的大小以及偏移量S_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF（对样本的训练与其他的处理并行执行），如公式（I），进入步骤（12），否则进入步骤（8）；

（8）如果步骤（6）中的C_i小于一阈值T₂，则生成ReT个二次候选区域，对每个二次候选区域ReROI_t提取特征ReRF_t，方法同步骤（2），其中1≤t≤ReT，ReT=4，且实现了ReT个二次候选区域的并行计算，否则进入步骤（12）；

（9）将步骤（8）提取的ReT个特征{ReRF₁，ReRF₂，…，ReRF_t，…，ReRF_ReT}分别与步骤（3）的训练特征TF进行相关运算，得到ReT个相关系数{ReC₁，ReC₂，…，ReC_t，…，ReC_ReT}以及ReT个偏移量{ReS₁，ReS₂，…，ReS_t，…，ReS_ReT}；

（11）如果ReC_i大于一阈值T₃，则用ReC_i对应的ReROI_i的大小以及偏移量ReS_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF（对样本的训练与其他的处理并行执行），如公式（I），进入步骤（13），否则进入步骤（14）；

（12）如果C_i大于一阈值T₄，则用C_i对阈值T₁进行滤波更新，如公式（II），进入步

骤（14），否则进入步骤（14）；

T₄= β₁* T₁，

T₁= （1-a₁）*T₁ + a₁*C_i；

其中，β₁为比例系数，a₁为更新系数（II）

（13）如果ReC_i大于一阈值T₅,则用ReC_i对阈值T₃进行滤波更新，如公式（III）；

T₅=β₂* T₃，

T₃ = （1-a₂）*T₃ + a₂*ReC_i；

其中，β₂为比例系数，a₂为更新系数（III）

（14）m加1，如果m = M，结束，否则进入步骤（4）。

以上所述仅为本发明的较佳实施例而已，并不限制本发明，凡在本发明的精神和原则之内所作的的任何修改、等同替换和改进等，均应包括在本发明的保护范围之内。

Claims

1.一种实时的视频跟踪方法，其特征在于，包括以下步骤：

1）视频的第m帧，标出需要跟踪的目标区域ROI，其中1 ≤ m < M，M为视频的全部帧数；

2）对目标区域ROI提取特征；

3）将步骤2）提取的特征进行在线训练，得到训练特征；

4）视频的第（m+1）帧，在目标区域ROI的附近，生成T个多尺度的候选区域，对每个候选区域ROI_t提取特征RF_t，其中1≤t≤T；

5）将T个特征{RF₁，RF₂，…，RF_t，…，RF_T}分别与训练特征进行相关运算，得到T个相关系数{C₁，C₂，…，C_t，…，C_T}以及T个偏移量{S₁，S₂，…，S_t，…，S_T}；

6）从T个相关系数{C₁，C₂，…，C_t，…，C_T}中，选择最优的1个C_i；

7）如果C_i大于一阈值T₁，则用C_i对应的候选区域ROI_i的大小以及偏移量S_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征，进入步骤12），否则进入步骤8）；

8）如果步骤6）中的C_i小于一阈值T₂，则生成ReT个二次候选区域，对每个二次候选区域ReROI_t提取特征ReRF_t，其中1≤t≤ReT，否则进入步骤12）；

9）将ReT个特征{ReRF₁，ReRF₂，…，ReRF_t，…，ReRF_ReT}分别与训练特征进行相关运算，得到ReT个相关系数{ReC₁，ReC₂，…，ReC_t，…，ReC_ReT}以及ReT个偏移量{ReS₁，ReS₂，…，ReS_t，…，ReS_ReT}；

10）从ReT个相关系数{ReC₁，ReC₂，…，ReC_t，…，ReC_ReT}中选择最优的1个ReC_i；

11）如果ReC_i大于一阈值T₃，则用ReC_i对应的ReROI_i的大小以及偏移量ReS_i更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征，进入步骤13），否则进入步骤14）；

12）如果C_i大于一阈值T₄,则用C_i对阈值T₁进行滤波更新，进入步骤14），否则直接进入步骤14）；

13）如果ReC_i大于一阈值T₅,则用ReC_i对阈值T₃进行滤波更新；

14）m加1，如果m = M，结束，否则进入步骤4）。

2.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤2）为：

（1）将目标区域ROI进行特定比例的扩展，得到区域RExpand；

（2）读取RExpand内的视频数据，得到Video；

（3）将Video缩放至特定大小，得到VScale；

（4）将VScale分割成p个N×N大小的子块，其中2≤N≤8；

（5）对每个子块j提取特征，即执行步骤a-c，其中1≤j≤p：

a、提取梯度特征, 即执行步骤 I - IV：

II、统计梯度直方图，得到梯度直方图特征HF；

III、将HF进行归一化，得到HFN；

IV、将HFN进行PCA降维，得到GF；

b、提取颜色特征，即执行步骤i - ii：

i、根据色度值，将子块j内的各个像素进行离散化；

ii、统计颜色直方图，得到颜色直方图特征CF；

（6）合并所有子块的特征BF，得到TBF；

（7）利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征。

3.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤4），对每个候选区域提取特征的方法同步骤2），且实现了各个候选区域的并行计算。

4.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤7），对样本的训练与其他的处理并行执行。

5.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤8），对每个二次候选区域提取特征的方法同步骤2），且实现了各个二次候选区域的并行计算。

6.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤11），对样本的训练与其他的处理并行执行。

7.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤12），

T₄=β₁* T₁，且按照下式对T₁进行滤波更新：

T₁ = （1-a₁）*T₁ + a₁*C_i；

其中，β₁为比例系数，a₁为更新系数。

8.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤13），

T₅= β₂* T₃，且按照下式对T₃进行滤波更新：

T₃ = （1-a₂）*T₃ + a₂*ReC_i；

其中，β₂为比例系数，a₂为更新系数。