CN106097393B - 一种基于多尺度与自适应更新的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多尺度与自适应更新的目标跟踪方法，它包括系统初始化、目标跟踪、计算粒子特征值找出权重最大的粒子、更新朴素贝叶斯分类器参数、对粒子进行重采样、作出当前帧目标的跟踪结果，若视频序列还有下一帧，则回到步骤2重复操作，否则结束。本发明能有效应对目标跟踪过程中的遮挡、光照变化、姿态变化等问题，在高清视频场景下也能对目标进行多尺度、自适应地实时跟踪。

Description

一种基于多尺度与自适应更新的目标跟踪方法

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及一种基于多尺度与自适应更新的目标跟踪方法。

背景技术

目标跟踪是计算机视觉的关键问题之一，在现实环境中，由于遮挡，光照、尺度变化等因素的影响，造成被跟踪目标漂移甚至丢失，因此实现鲁棒、有效的目标跟踪仍然是一项具有挑战性的任务。

当前目标跟踪方法可分为两大类：一类是生成模型法(Generative method)，如MeanShift，Color-based PF，IVT(Incremental visual tracker)，ORB等，该类方法的核心思想是对初始目标进行建模，并在后续帧当中搜索与该目标模型最匹配的区域；另一类是判别分类法(Discriminative method)，其本质是把跟踪问题转化为二类分类问题，使用分类器来判别目标和背景，找到目标位置。由于判别分类法有着节省计算资源、准确率高、可结合机器学习分类算法等优点，逐渐成为目标跟踪算法研究的趋势。本发明提出的多尺度与自适应更新的目标跟踪算法属于判别分类法，从随机多通道采样广义Haar-like特征，通过压缩感知中理论中的随机投影矩阵对其进行降维，使用朴素贝叶斯分类器对目标特征训练并进行跟踪。在此基础上，结合粒子滤波理论，实现对目标的多尺度跟踪，并在朴素贝叶斯分类器的参数更新阶段采用一种自适应的更新策略，避免了参数的误更新。

与本发明最接近的技术方案包括：公布号为CN 104331908 A的中国专利申请公开了一种压缩haar特征和运动信息相同和的目标跟踪方法，该目标跟踪方法采用了Haar小波变换提出目标样本和背景样本特征的Haar特征，同样采用随机投影矩阵对特征进行降维，并使用朴素贝叶斯分类器结合目标运动信息的方式对目标进行跟踪。本发明提出方法与该方法的区别在于，本发明结合了粒子滤波理论，可以实现对目标的多尺度跟踪；另一方面，本发明的朴素贝叶斯分类器参数是自适应的更新。公布号为CN 104392467 A的中国专利申请公开了一种基于压缩感知的视频目标跟踪方法，该方法同样采用压缩感知理论生成稀疏投影矩阵，对采样得到的正负样本进行稀疏投影降维，创建朴素贝叶斯分类器；当下一帧图像到来时，在上一帧得到的目标位置周围进行采样，使分类器分类得到的最大可能的目标位置，更新目标位置，更新分类器参数。本发明提出方法与该方法的区别在于，本发明从随机多通道提取广义haar-like特征，并能实现目标的多尺度跟踪，朴素贝叶斯分类器参数是自适应的更新。公布号为CN 104537689 A的中国专利申请公开了一种基于局部对比显著性联合特征的目标跟踪方法，该方法提取目标区域和局部背景区域的颜色、纹理、梯度直方图特征，利用这些联合特征进行匹配。该方法虽然具有较好的抗遮挡能力，但是由于纹理、梯度特征的计算量大，不适合用于高清视频的目标跟踪，而本发明提出的目标跟踪方法在高清视频场景下也能做到实时跟踪。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种基于多尺度与自适应更新的目标跟踪方法。

所述的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步骤：

步骤1：系统初始化：输入已知目标的初始化区域矩形框R_init＝[x,y,w,h]，其中(x,y)代表矩形框的左上角坐标，w,h代表矩形框的宽和高；再输入视频序列的第一帧图像F₀，F₀具有C个通道，计算F₀的积分图I＝{I_i|i＝1,2,...,C}，其中I_i为F₀在第i通道的积分图；初始化特征向量V，粒子集P，朴素贝叶斯分类器B，具体方法如下：

步骤1.1：对于宽、高分别为w,h的目标，生成一系列归一化矩形滤波器H＝{h_i,j(a,b)|1≤i≤w,1≤j≤h}，并通过矩形滤波器h_i,j(a,b)与图像的卷积来表示目标特征，其中h_i,j(a,b)的计算公式如下：

计算得H中矩形滤波器h_i,j(a,b)的个数为(wh)²；初始化随机测量矩阵R＝[r_i,j]m*n，r_i,j的计算公式如下：

其中s＝m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m＝(wh)²，n为降维后低维特征的个数；把H拉伸为一个长度为(wh)²的列向量X，则V＝RX即为通过随机测量矩阵降维后的特征向量，V＝{v_i|i＝1,2,...,n}，由公式(2)可知，v_i中矩形滤波器的个数p的取值在2～4之间；

步骤1.2：初始化粒子集P＝{(p_i,w_i)|i＝1,2,...,N}，其中粒子的状态p_i＝[px,py,ps]，(px,py)分别表示目标中心点坐标，ps表示目标缩放尺度，w_i表示粒子权重，N表示粒子的个数，初始时(px,py)＝(x,y)，ps＝1，w_i＝1/N；

步骤1.3：初始化朴素贝叶斯分类器B＝{(μ_p(i),σ_p(i),μ_n(i),σ_n(i))|i＝1,2,...,n}，其中n的值等于步骤1.1中低维特征的个数。

步骤2：目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I；对P中的每一个粒子p_i做二阶自回归传递，计算公式如下：

其中p_k(i)表示第i个粒子在k时刻的状态，u_k为粒子在k时刻的三维高斯噪声，分别对应px,py和ps三个维度，N(0,σ_k)表示均值为0，标准差为σ_k的高斯分布；

步骤3：计算P中每个粒子在V上的特征值T＝{T_i|i＝1,2,…,n}，其中n表示V中的特征数量，T_i计算公式如下：

其中[px,py,ps]为粒子的状态，pw＝w*ps，ph＝h*ps，vx(i,j)表示v_i中第j个矩形左上角的横坐标，vy(i,j)表示v_i中第j个矩形左上角的纵坐标，vw(i,j)为矩形的长，vh(i,j)为矩形的宽，I_c为积分图的第c个通道，其中c为(0,C)之间随机等概率取得的值，每个粒子的权重计算公式为：

式中，μ_p(i)表示第i个朴素贝叶斯分类器B_i的正样本均值，σ_p(i)表示正样本方差，μ_n(i)表示负样本均值，σ_n(i)表示负样本方差；计算每个粒子的权重值之后，再对粒子的权重进行归一化；

步骤4：找到步骤3中权重最大的粒子p_max＝[px,py,ps]，则目标在当前帧的矩形框Rc＝[px,py,w*ps,h*ps]；

步骤5：更新朴素贝叶斯分类器参数，具体为：采样目标区域周围的正负样本，计算特征值并更新朴素贝叶斯分类器参数；以目标矩形框区域位置l_c＝[x+0.5w,y+0.5h]为中心、α为半径采集正样本D^α＝{z|||l(z)-l_c||＜α}，设采样到的正样本个数为np，l(z)表示z位置的坐标；以ζ为半径采集负样本D^ζ＝{z|α＜||l(z)-l_t||＜β}，其中α<ζ<β，β表示外半径，设采样到的负样本个数为nn；计算正样本的特征值集合Tp＝{Tp(j)|j＝1,2,…np}，其中Tp(j)通过公式(4)求得，Tp为公式(4)中的T，j为公式(4)中的i，其长度为步骤1.1中低维特征的个数n；同理计算负样本的特征值集合Tn＝{Tn(j)|j＝1,2,…,nn}，其中Tn(j)通过公式(4)求得，Tn为公式(4)中的T，j为公式(4)中的i，长度同样为n；则第i个朴素贝叶斯分类器B_i的更新公式如下：

其中的计算公式如下：

其中表示Tp第i列的均值，表示Tp第i列的标准差；同理，从(6)式得到；λ_i为自适应参数学习率，计算公式如下：

其中是一个常数；

步骤6：计算λ_i的均值λ，并根据λ值动态调整步骤2中σ_k的值，调整公式如下：

其中σ₀为式粒子的初始标准差，θ是一个常量，代表累计周期，t是一个累计变量：

步骤7：对粒子进行重采样，粒子的采样密度用如下公式表示：

其中k-1代表前一时刻，k代表当前时刻，i,j分别表示第i,j个粒子；

步骤8：输出步骤4中R_c的值作为当前帧目标的跟踪结果，若视频序列还有下一帧，则回到步骤2，否则结束。

本发明的优点是：本发明能有效应对目标跟踪过程中的遮挡、光照变化、姿态变化等问题，在高清视频场景下也能对目标进行多尺度、自适应地实时跟踪。

附图说明

图1为本发明的步骤1.2中对特征进行降维的示意图；

图2为本发明的步骤3中从单通道提取广义Haar-like特征的示意图；

图3为本发明的步骤3中从随机多通道提取广义Haar-like特征的示意图。

具体实施方式

下面结合实施例来详细阐述本发明的多尺度与自适应更新的目标跟踪方法的具体实施方式。

本发明的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步骤：

步骤1：系统初始化，图输入已知目标的初始化区域矩形框R_init＝[x,y,w,h]，其中(x,y)代表矩形框的左上角，w,h代表矩形框的宽和高；输入视频序列的第一帧RGB图像F₀，F₀具有3个通道，计算F₀的积分图I＝{I_i|i＝1,2,3}，其中I_i为F₀在第i通道的积分图；初始化特征向量V，粒子集P，朴素贝叶斯分类器B，具体如下：

步骤1.1：对于宽、高分别为(w,h)的目标，生成一系列归一化矩形滤波器H＝{h_i,j(a,b)|1≤i≤w,1≤j≤h}，并通过矩形滤波器h_i,j(a,b)与图像的卷积来表示目标特征，其中h_i,j(a,b)的计算公式如下：

计算可得H中元素的个数为(wh)²；初始化随机测量矩阵R＝[r_i,j]_m*n，r_i,j的计算公式如下：

其中s＝m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m＝(wh)²，n为降维后低维特征的个数，在本实例中取n＝100；把H拉伸为一个长度为(wh)²的列向量X，则V＝RX即为通过随机测量矩阵降维后的特征向量，V＝{v_i|i＝1,2,...,100}，由公式(2)可知，v_i中矩形滤波器的个数p的取值在2～4之间；

步骤1.2：初始化粒子集P＝{(p_i,w_i)|i＝1,2,...,N}，其中粒子的状态p_i＝[px,py,ps]，(px,py)分别表示目标中心点坐标，ps表示目标缩放尺度，w_i表示粒子权重，N表示粒子的个数，在本实例中取N＝200；初始时(px,py)＝(x,y)，ps＝1，w_i＝1/200；

步骤1.3：初始化朴素贝叶斯分类器B＝{(μ_p(i),σ_p(i),μ_n(i),σ_n(i))|i＝1,2,...,100}；

步骤2：目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I；对P中的每一个粒子p_i做二阶自回归传递，计算公式如下：

其中p_k(i)表示第i个粒子在k时刻的状态，u_k为粒子在k时刻的3维高斯噪声，分别对应px,px和ps三个维度，N(0,σ_k)表示均值为0，标准差为σ_k的高斯分布；在本实例中σ_k＝[5.0,2.5,0.06]；

步骤3：计算P中每个粒子在V上的特征值T＝{T_i|i＝1,2,…,100}，T_i计算公式如下：

其中[px,py,ps]为粒子的状态pw＝w*ps，ph＝h*ps，vx(i,j)表示v_i中第j个矩形左上角的横坐标，vy(i,j)表示v_i中第j个矩形左上角的纵坐标，vw(i,j)为矩形长，vh(i,j)为矩形宽；I_c为积分图的第c个通道，其中c为(0,C)之间随机等概率取得的值；每个粒子的权重计算公式为:

式中，μ_p(i)表示第i个朴素贝叶斯分类器B_i的正样本均值，σ_p(i)表示正样本方差，μ_n(i)表示负样本均值，σ_n(i)表示负样本方差；计算每个粒子的权重值之后，再对粒子的权重进行归一化；

步骤4：找到步骤3中权重最大的粒子p_max＝[px,py,ps]，则目标在当前帧的矩形框Rc＝[px,py,w*ps,h*ps]；

步骤5：更新朴素贝叶斯分类器参数；具体为：采样目标区域周围的正负样本，计算特征值并更新朴素贝叶斯分类器参数；以目标矩形框区域位置l_c＝[x+0.5w,y+0.5h]为中心，α为半径采集正样本D^α＝{z|||l(z)-l_c||＜α}，在本实例中α＝4，采样到的正样本个数为45；以ζ为半径采集负样本D^ζ＝{z|α＜||l(z)-l_t||＜β}，其中α<ζ<β，β表示外半径，在本实例中α＝8，β＝30，采样到的负样本个数为50；计算正样本的特征值集合Tp＝{Tp(j)|j＝1,2,…45}，其中Tp(j)可以通过公式(4)求得，Tp为公式(4)中的T，j为公式(4)中的i，其长度为步骤1.1中低维特征的个数n；同理计算负样本的特征值集合Tn＝{Tn(j)|j＝1,2,…,50}，其中Tn(j)可以通过公式(4)求得，Tn为公式(4)中的T，j为公式(4)中的i；那么朴素贝叶斯分类器B_i的更新公式如下：

其中的计算公式如下：

其中表示Tp第i列的均值，表示Tp第i列的标准差；同理也可以从(6)式得到；λ_i为自适应参数学习率，计算公式如下：

其中是一个常数，在本实例中取

步骤6：计算λ_i的均值λ，并根据λ值动态调整步骤2中σ_k的值，调整公式如下：

其中σ₀为式粒子的初始标准差，在本例中为[5.0,2.5,0.06]，是一个常量，在本实例中取代表累计周期，t是一个累计变量：

步骤7：对粒子进行重采样，粒子的采样密度用如下公式表示：

其中k-1代表前一时刻，k代表当前时刻，i,j分别表示第i,j个粒子；

步骤8：输出步骤4中R_c的值作为当前帧目标的跟踪结果，若视频序列还有下一帧，则回到步骤2，否则结束。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步骤：

步骤1：系统初始化：输入已知目标的初始化区域矩形框R_init＝[x,y,w,h]，其中(x,y)代表矩形框的左上角坐标，w,h代表矩形框的宽和高；再输入视频序列的第一帧图像F₀，F₀具有C个通道，计算F₀的积分图I＝{I_i|i＝1,2,...,C}，其中I_i为F₀在第i通道的积分图；初始化特征向量V，粒子集P，朴素贝叶斯分类器B，具体方法如下：

步骤1.1：对于宽、高分别为w,h的目标，生成一系列归一化矩形滤波器H＝{h_i,j(a,b)|1≤i≤w,1≤j≤h}，并通过矩形滤波器h_i,j(a,b)与图像的卷积来表示目标特征，其中h_i,j(a,b)的计算公式如下：

计算得H中矩形滤波器h_i,j(a,b)的个数为(wh)²；初始化随机测量矩阵R＝[r_i,j]_m*n，r_i,j的计算公式如下：

其中s＝m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m＝(wh)²，n为降维后低维特征的个数；把H拉伸为一个长度为(wh)²的列向量X，则V＝RX即为通过随机测量矩阵降维后的特征向量，V＝{v_i|i＝1,2,...,n}，由公式(2)可知，v_i中矩形滤波器的个数p的取值在2～4之间；

步骤1.2：初始化粒子集P＝{(p_i,w_i)|i＝1,2,...,N}，其中粒子的状态p_i＝[px,py,ps]，(px,py)分别表示目标中心点坐标，ps表示目标缩放尺度，w_i表示粒子权重，N表示粒子的个数，初始时(px,py)＝(x,y)，ps＝1，w_i＝1/N；

步骤1.3：初始化朴素贝叶斯分类器B＝{(μ_p(i),σ_p(i),μ_n(i),σ_n(i))|i＝1,2,...,n}，其中n的值等于步骤1.1中低维特征的个数；

步骤2：目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I；对P中的每一个粒子p_i做二阶自回归传递，计算公式如下：

其中p_k(i)表示第i个粒子在k时刻的状态，u_k为粒子在k时刻的三维高斯噪声，分别对应px,py和ps三个维度，N(0,σ_k)表示均值为0，标准差为σ_k的高斯分布；

步骤3：计算P中每个粒子在V上的特征值T＝{T_i|i＝1,2,…,n}，其中n表示V中的特征数量，T_i计算公式如下：

其中[px,py,ps]为粒子的状态，pw＝w*ps，ph＝h*ps，vx(i,j)表示v_i中第j个矩形左上角的横坐标，vy(i,j)表示v_i中第j个矩形左上角的纵坐标，vw(i,j)为矩形的长，vh(i,j)为矩形的宽，I_c为积分图的第c个通道，其中c为(0,C)之间随机等概率取得的值，每个粒子的权重计算公式为：

式中，μ_p(i)表示第i个朴素贝叶斯分类器B_i的正样本均值，σ_p(i)表示正样本方差，μ_n(i)表示负样本均值，σ_n(i)表示负样本方差；计算每个粒子的权重值之后，再对粒子的权重进行归一化；

步骤4：找到步骤3中权重最大的粒子p_max＝[px,py,ps]，则目标在当前帧的矩形框Rc＝[px,py,w*ps,h*ps]；

步骤5：更新朴素贝叶斯分类器参数，具体为：采样目标区域周围的正负样本，计算特征值并更新朴素贝叶斯分类器参数；以目标矩形框区域位置l_c＝[x+0.5w,y+0.5h]为中心、α为半径采集正样本D^α＝{z|||l(z)-l_c||＜α}，设采样到的正样本个数为np，l(z)表示z位置的坐标；以ζ为半径采集负样本D^ζ＝{z|α＜||l(z)-l_t||＜β}，其中α<ζ<β，β表示外半径，设采样到的负样本个数为nn；计算正样本的特征值集合Tp＝{Tp(j)|j＝1,2,…np}，其中Tp(j)通过公式(4)求得，Tp为公式(4)中的T，j为公式(4)中的i，其长度为步骤1.1中低维特征的个数n；同理计算负样本的特征值集合Tn＝{Tn(j)|j＝1,2,…,nn}，其中Tn(j)通过公式(4)求得，Tn为公式(4)中的T，j为公式(4)中的i，长度同样为n；则第i个朴素贝叶斯分类器B_i的更新公式如下：

其中 的计算公式如下：

其中表示Tp第i列的均值，表示Tp第i列的标准差；同理，从(6)式得到；λ_i为自适应参数学习率，计算公式如下：

其中是一个常数；

步骤6：计算λ_i的均值λ，并根据λ值动态调整步骤2中σ_k的值，调整公式如下：

其中σ₀为式粒子的初始标准差，θ是一个常量，代表累计周期，t是一个累计变量：

步骤7：对粒子进行重采样，粒子的采样密度用如下公式表示：

其中k-1代表前一时刻，k代表当前时刻，i,j分别表示第i,j个粒子；

步骤8：输出步骤4中R_c的值作为当前帧目标的跟踪结果，若视频序列还有下一帧，则回到步骤2，否则结束。