CN105118071B - 一种基于自适应分块的视频跟踪方法 - Google Patents

Abstract

本发明涉及一种基于自适应分块的视频跟踪方法，充分考虑了目标区域内部的像素值的差异性，基于粒子滤波的视频跟踪方法，实现了高效自适应的视频跟踪，提高了视频跟踪的准确性和自适应性。对于在视频跟踪中出现的遮挡以及干扰等问题，本发明能够保持较为准确的识别率，充分考虑视频及图像中内容信息，根据跟踪的目标区域的特征而自适应的调整相应的分块策略，达到高智能化、高准确性的视频跟踪效果。

Description

一种基于自适应分块的视频跟踪方法

技术领域

本发明涉及一种基于自适应分块的视频跟踪方法，属于计算机视觉技术领域。

背景技术

现如今，视频跟踪技术已经成为计算机视觉研究中的一大热点，并且已经被广泛应用在交通管理、数字监控以及智能城市等方面。在军事科技和民用科技方面，视频跟踪技术日益成为一个引人注目的领域，在众多场合和状况下的大量需求和应用使得视频跟踪技术具有巨大的市场潜力。在民用科技的应用中，视频跟踪技术主要分布在智能监控方面，例如，公共场合和私人场合的监视、大型集会场所的人流监控、重要场所的安防目标跟踪；在智能交通领域中，包括车辆跟踪监控、车辆计数、智能驾驶等；在计算机和通信领域中，包括人机交互、数据压缩和虚拟现实技术等；军事领域中，视频目标的跟踪应用更加广泛和复杂，另外白包括：机器人制导、飞行器的电视导航、重要设施的警戒巡查等，广泛的应用对视频跟踪技术和系统提出更高的要求，必须满足各种复杂多变的战场环境和恶劣工况，提供稳定而且可靠的跟踪信息。

视频跟踪是指通过对图像帧的分析，获得视频序列中所跟踪目标的位置并进行标记的方法。然而在视频跟踪技术中，例如遮挡、干扰以及复杂背景等的一系列问题会严重影响视频跟踪的准确性，为了提高视频跟踪的准确性，国内外的研究学者提出了很多在监控视频中对抗遮挡和干扰的算法。传统的视频跟踪算法是对目标区域的特征进行提取和分析，并在候选区域中找出与目标特征最为匹配的区域，作为跟踪的结果。现如今常用的视频跟踪方法有mean-shift法、卡尔曼滤波法、粒子滤波法等算法。其中，粒子滤波算法由于其适应高斯和非高斯的条件下对目标进行跟踪，同时对于复杂的背景具有较好的跟踪准确性，因此，得到了广泛的应用。

粒子滤波算法的主要原理是：首先，在初始图像中对已经选取好的目标区域中的特征进行提取，一般是颜色、纹理等特征；然后，在下一帧图像中的目标区域附近随机播撒粒子，每一个粒子代表一个候选区域，分别对这些粒子所代表的候选区域进行特征提取，并分别与一开始特取出的目标区域的特征进行匹配，选取特征相似性最高的候选区域作为下一帧中的目标区域。并将此区域用于搜索下一帧中的目标区域，以此类推直到结束。

在视频跟踪的算法中，特征的提取及匹配是整个算法准确性保障的关键。只有针对目标区域的特征提取准确合理，之后的特征匹配过程才有意义。因此，目标区域特征的提取要求尽可能准确和全面的对目标进行表现和描述，减少其它因素的干扰。而在传统的粒子滤波算法中，通常是提取目标区域的颜色以及纹理等信息作为区域的特征。众所周知，颜色特征作为目标最基本也是最显著的特征，能够很直观和准确的对目标进行描述。但是，与此同时，颜色特征容易受到外界因素的干扰。例如，视频跟踪过程中的目标区域是一辆白色的车，那么视频中白色的墙以及穿着白色衣服的人都有可能被误认为是目标区域。再或者视频跟踪的目标是一个穿着彩色衣服的人，那么目标的颜色就比较复杂，直接提取目标区域的颜色直方图可能不能很好的对目标进行描述。因此传统的基于颜色直方图的粒子滤波方法无法适应复杂的视频内容，需要进一步的优化和升级。

此前有一些专家和学者提出了分块的思想，即将目标区域分成若干个小的块，分别计算各个块内的颜色直方图信息，并分别进行特征的匹配，并将特征匹配的相似度进行加和，得出总的相似度用于对目标区域进行判断。但此类方法没有很好的对目标区域的内容进行分析和利用，并且分块的尺寸和原则没有很好的与视频内容相结合。

发明内容：

针对现有技术的不足，本发明提供了一种基于自适应分块的视频跟踪方法；

本发明充分考虑了目标区域内部的像素值的差异性，基于粒子滤波的视频跟踪方法，实现了高效自适应的视频跟踪，提高了视频跟踪的准确性和自适应性。

本发明的技术方案为：

一种基于自适应分块的视频跟踪方法，所述视频包括M帧图像，m＝1，在第m帧图像中标出需要跟踪的目标区域，具体步骤包括：

(1)将目标区域分成N个大小相同的初始块，1≤N≤10；

(2)对步骤(1)得到的每个初始块i执行步骤A-E,其中，1≤i≤N：

A、计算初始块i的像素点的像素值的方差D_currenti；

B、将初始块i预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij，即：{D_subi1,D_subi2…D_subip}，2≤p≤4；

C、将步骤B所述p个子块的像素点的像素值的方差D_subij相加后与初始块i的像素点的像素值的方差D_currenti进行比较，如果p个子块的像素点的像素值的方差D_subij之和小于初始块i的像素点的像素值的方差D_currenti，即：则认为初始块i的像素点的像素值差异较大，进入步骤D，否则，所述初始块i无需进行分割，C_i＝0，C_i是指初始块i的分裂系数，即分裂次数，进入步骤(3)；

D、对步骤C所述初始块i分割成p个大小相同的子块；

E、对步骤D所述的每个子块j执行步骤①-③，其中，1≤j≤p；

①将子块j预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk，即：{D_subij1,D_subij2…D_subijp}；

②将步骤①所述p个小块的像素点的像素值的方差D_subijk相加后与子块j的像素点的像素值的方差D_subij进行比较，如果p个小块的像素点的像素值的方差D_subijk之和小于子块的像素点的像素值的方差D_subij，即：则认为子块j的像素点的像素值差异较大，进入步骤③，否则，所述子块j无需再进行分割，C_i＝1，进入步骤(3)；

③将步骤②所述子块j分割成p个大小相同的小块,C_i＝2，进入步骤(3)；

(3)在第m+1帧图像中，通过粒子滤波算法在与目标区域相同位置的附近抛洒粒子，得到T个候选区域，1≤t≤T,对每个候选区域t执行步骤(Ⅰ)-(Ⅱ)：

(Ⅰ)将候选区域t分成N个大小相同的初始块i′；

(Ⅱ)对步骤(Ⅰ)得到的每个初始块i′执行步骤A′-E′,其中，1≤i′≤N：

A′、计算初始块i′像素点的像素值的方差D_currenti′；

B′、将初始块i′预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij′，即：{D_subi1′,D_subi2′…D_subip′}；

C′、将步骤B′所述p个子块的像素点的像素值的方差D_subij′相加后与初始块i′的像素点的像素值的方差D_currenti′进行比较，如果p个子块的像素点的像素值的方差D_subij′之和小于初始块i′的像素点的像素值的方差D_currenti′，即：则认为初始块i′的像素点的像素值差异较大，进入步骤D′，否则，所述初始块i′无需进行分割，C_i′＝0，C_i′是指初始块i′的分裂系数，即分裂次数，进入步骤(4)；

D′、对步骤C′所述初始块i′分割成p个大小相同的子块；

E′、对步骤D′所述的每个子块j′执行步骤a-c，其中，1≤j′≤p：

a、将子块j′预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk′，即：{D_subij1′,D_subij2′…D_subijp′}；

b、将步骤a所述p个小块的像素点的像素值的方差D_subijk′相加后与子块j′的像素点的像素值的方差D_subij′进行比较，如果p个小块的像素点的像素值的方差D_subijk′之和小于子块的像素点的像素值的方差D_subij′，即：则认为子块j′的像素点的像素值差异较大，进入步骤③，否则，所述子块j′无需再进行分割，C_i′＝1，进入步骤(4)；

c、将步骤b所述子块j′分割成p个大小相同的小块,C_i′＝2；

(4)求取目标区域与每个候选区域的相似度，得到目标区域与每个候选区域的相似度{BC₁，BC₂，BC₃…BC_n…BC_T}，计算公式如式(Ⅰ)所示：

式(Ⅰ)中，BC_n表示目标区域与候选区域t的相似度，1≤n≤m，c_i表示目标区域初始块i的分裂系数，c_i′表示候选区域t初始块i′的分裂系数，Hist_i表示目标区域初始块i的颜色直方图，Hist_i′表示候选区域t初始块i′的颜色直方图；

(5)取{BC₁，BC₂，BC₃…BC_n…BC_t}中的最大值对应的候选区域作为目标区域，m加1，如果m＝M，结束，否则，进入步骤(1)。

分裂系数为2，减少了本发明的计算复杂度；初始块数量在10个以内，降低了本发明的计算复杂度，同时又能够提供较高的跟踪准确度。

根据本发明优选的，p＝4。

此处设计的优势在于，p＝4，初始块为正方形，分成4个也能保持子块也是正方形的，便于下一步的分割，能够与初始块保持一致。

根据本发明优选的，所述初始块、所述子块、所述小块、所述候选区域均为正方形。

此处设计的优势在于，方便进行下一步的分块操作。

本发明的有益效果为：

1、本发明充分考虑了目标区域内部的像素值的差异性，基于粒子滤波的视频跟踪方法，实现了高效自适应的视频跟踪，提高了视频跟踪的准确性和自适应性；

2、对于在视频跟踪中出现的遮挡以及干扰等问题，本发明能够保持较为准确的识别率，充分考虑视频及图像中内容信息，根据跟踪的目标区域的特征而自适应的调整相应的分块策略，达到高智能化、高准确性的视频跟踪效果。

具体实施方式

下面结合实施例对本发明作进一步限定，但不限于此。

实施例

一种基于自适应分块的视频跟踪方法，所述视频包括M帧图像，m＝1，在第m帧图像中标出需要跟踪的目标区域，具体步骤包括：

(1)将目标区域分成N个大小相同的初始块，N＝10；

(2)对步骤(1)得到的每个初始块i执行步骤A-E,其中，1≤i≤N：

A、计算初始块i的像素点的像素值的方差D_currenti；

B、将初始块i预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij，即：{D_subi1,D_subi2…D_subip}，p＝4；

C、将步骤B所述p个子块的像素点的像素值的方差D_subij相加后与初始块i的像素点的像素值的方差D_currenti进行比较，如果p个子块的像素点的像素值的方差D_subij之和小于初始块i的像素点的像素值的方差D_currenti，即：则认为初始块i的像素点的像素值差异较大，进入步骤D，否则，所述初始块i无需进行分割，C_i＝0，C_i是指初始块i的分裂系数，即分裂次数，进入步骤(3)；

D、对步骤C所述初始块i分割成p个大小相同的子块；

E、对步骤D所述的每个子块j执行步骤①-③，其中，1≤j≤p；

①将子块j预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk，即：{D_subij1,D_subij2…D_subijp}；

②将步骤①所述p个小块的像素点的像素值的方差D_subijk相加后与子块j的像素点的像素值的方差D_subij进行比较，如果p个小块的像素点的像素值的方差D_subijk之和小于子块的像素点的像素值的方差D_subij，即：则认为子块j的像素点的像素值差异较大，进入步骤③，否则，所述子块j无需再进行分割，C_i＝1，进入步骤(3)；

③将步骤②所述子块j分割成p个大小相同的小块,C_i＝2，进入步骤(3)；

(3)在第m+1帧图像中，通过粒子滤波算法在与目标区域相同位置的附近抛洒粒子，得到T个候选区域，1≤t≤T,对每个候选区域t执行步骤(Ⅰ)-(Ⅱ)：

(Ⅰ)将候选区域t分成N个大小相同的初始块i′；

(Ⅱ)对步骤(Ⅰ)得到的每个初始块i′执行步骤A′-E′_,其中，1≤i′≤N：

A′、计算初始块i′像素点的像素值的方差D_currenti′；

B′、将初始块i′预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij′，即：{D_subi1′,D_subi2′…D_subip′}；

C′、将步骤B′所述p个子块的像素点的像素值的方差D_subij′相加后与初始块i′的像素点的像素值的方差D_currenti′进行比较，如果p个子块的像素点的像素值的方差D_subij′之和小于初始块i′的像素点的像素值的方差D_currenti′，即：则认为初始块i′的像素点的像素值差异较大，进入步骤D′，否则，所述初始块i′无需进行分割，C_i′＝0，C_i′是指初始块i′的分裂系数，即分裂次数，进入步骤(4)；

D′、对步骤C′所述初始块i′分割成p个大小相同的子块；

E′、对步骤D′所述的每个子块j′执行步骤a-c，其中，1≤j′≤4：

a、将子块j′预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk′，即：{D_subij1′,D_subij2′…D_subijp′}；

b、将步骤a所述p个小块的像素点的像素值的方差D_subijk′相加后与子块j′的像素点的像素值的方差D_subij′进行比较，如果p个小块的像素点的像素值的方差D_subijk′之和小于子块的像素点的像素值的方差D_subij′，即：则认为子块j′的像素点的像素值差异较大，进入步骤③，否则，所述子块j′无需再进行分割，C_i′＝1，进入步骤(4)；

c、将步骤b所述子块j′分割成p个大小相同的小块,C_i′＝2；

(4)求取目标区域与每个候选区域的相似度，得到目标区域与每个候选区域的相似度{BC₁，BC₂，BC₃…BC_t…BC_T}，计算公式如式(Ⅰ)所示：

式(Ⅰ)中，BC_t表示目标区域与候选区域t的相似度，1≤t≤T，c_i表示目标区域初始块i的分裂系数，c_i′表示候选区域t初始块i′的分裂系数，Hist_i表示目标区域初始块i的颜色直方图，Hist_i′表示候选区域t初始块i′的颜色直方图；

(5)取{BC₁，BC₂，BC₃…BC_t…BC_T}中的最大值对应的候选区域作为目标区域，m加1，如果m＝M，结束，否则，进入步骤(1)。

Claims (3)

1.一种基于自适应分块的视频跟踪方法，其特征在于，所述视频包括M帧图像，m＝1，在第m帧图像中标出需要跟踪的目标区域，具体步骤包括：

(1)将目标区域分成N个大小相同的初始块，1≤N≤10；

(2)对步骤(1)得到的每个初始块i执行步骤A-E,其中，1≤i≤N：

A、计算初始块i的像素点的像素值的方差D_currenti；

B、将初始块i预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij，即：{D_subi1,D_subi2…D_subip}，2≤p≤4；

C、将步骤B所述p个子块的像素点的像素值的方差D_subij相加后与初始块i的像素点的像素值的方差D_currenti进行比较，如果p个子块的像素点的像素值的方差D_subij之和小于初始块i的像素点的像素值的方差D_currenti，即：进入步骤D，否则，所述初始块i无需进行分割，C_i＝0，C_i是指初始块i的分裂系数，即分裂次数，进入步骤(3)；

D、对步骤C所述初始块i分割成p个大小相同的子块；

E、对步骤D所述的每个子块j执行步骤①-③，其中，1≤j≤p；

①将子块j预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk，即：{D_subij1,D_subij2…D_subijp}；

②将步骤①所述p个小块的像素点的像素值的方差D_subijk相加后与子块j的像素点的像素值的方差D_subij进行比较，如果p个小块的像素点的像素值的方差D_subijk之和小于子块的像素点的像素值的方差D_subij，即：进入步骤③，否则，所述子块j无需再进行分割，C_i＝1，进入步骤(3)；

③将步骤②所述子块j分割成p个大小相同的小块,C_i＝2，进入步骤(3)；

(3)在第m+1帧图像中，通过粒子滤波算法在与目标区域相同位置的附近抛洒粒子，得到T个候选区域，1≤t≤T,对每个候选区域t执行步骤(Ⅰ)-(Ⅱ)：

(Ⅰ)将候选区域t分成N个大小相同的初始块i′；

(Ⅱ)对步骤(Ⅰ)得到的每个初始块i′执行步骤A′-E′,其中，1≤i′≤N：

A′、计算初始块i′像素点的像素值的方差D_currenti′；

B′、将初始块i′预分成p个大小相同的子块，并计算每个子块的像素点的像素值的方差D_subij′，即：{D_subi1′,D_subi2′…D_subip′}；

C′、将步骤B′所述p个子块的像素点的像素值的方差D_subij′相加后与初始块i′的像素点的像素值的方差D_currenti′进行比较，如果p个子块的像素点的像素值的方差D_subij′之和小于初始块i′的像素点的像素值的方差D_currenti′，即：进入步骤D′，否则，所述初始块i′无需进行分割，C_i′＝0，C_i′是指初始块i′的分裂系数，即分裂次数，进入步骤(4)；

D′、对步骤C′所述初始块i′分割成p个大小相同的子块；

E′、对步骤D′所述的每个子块j′执行步骤a-c，其中，1≤j′≤4：

a、将子块j′预分成p个大小相同的小块，并计算每个小块的像素点的像素值的方差D_subijk′，即：{D_subij1′,D_subij2′…D_subijp′}；

b、将步骤a所述p个小块的像素点的像素值的方差D_subijk′相加后与子块j′的像素点的像素值的方差D_subij′进行比较，如果p个小块的像素点的像素值的方差D_subijk′之和小于子块的像素点的像素值的方差D_subij′，即：进入步骤③，否则，所述子块j′无需再进行分割，C_i′＝1，进入步骤(4)；

c、将步骤b所述子块j′分割成p个大小相同的小块,C_i′＝2；

(4)求取目标区域与每个候选区域的相似度，得到目标区域与每个候选区域的相似度{BC₁，BC₂，BC₃…BC_t…BC_T}，计算公式如式(Ⅰ)所示：

<mrow> <msub> <mi>BC</mi> <mi>t</mi> </msub> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mn>1</mn> <mi>N</mi> </munderover> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>c</mi> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>B</mi> <mi>h</mi> <mi>a</mi> <mi>t</mi> <mi>t</mi> <mi>a</mi> <mi>c</mi> <mi>h</mi> <mi>a</mi> <mi>r</mi> <mi>y</mi> <mi>y</mi> <mi>a</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>Hist</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>Hist</mi> <msup> <mi>i</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>I</mi> <mo>)</mo> </mrow> </mrow>

式(Ⅰ)中，BC_t表示目标区域与候选区域t的相似度，1≤t≤T，c_i表示目标区域初始块i的分裂系数，c_i′表示候选区域t初始块i′的分裂系数，Hist_i表示目标区域初始块i的颜色直方图，Hist_i′表示候选区域t初始块i′的颜色直方图；

(5)取{BC₁，BC₂，BC₃…BC_t…BC_T}中的最大值对应的候选区域作为目标区域，m加1，如果m＝M，结束，否则，进入步骤(1)。

2.根据权利要求1所述的一种基于自适应分块的视频跟踪方法，其特征在于，p＝4。

3.根据权利要求2所述的一种基于自适应分块的视频跟踪方法，其特征在于，所述初始块、所述子块、所述小块、所述候选区域均为正方形。