CN104331909A - 基于梯度特征的暗环境视频目标实时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于梯度特征的暗环境视频目标实时跟踪方法。以多尺度矩形滤波器作为信号采样矩阵，以稀疏随机高斯矩阵作为压缩感知矩阵，借助向量积分图算法可快速提取样本特征；向量积分图步骤采用裁剪模版方法有效减少冗余计算。本发明利用1邻域LHOG提取特征，适用于黑夜、井下光照条件差，目标可能发生旋转、形变的目标跟踪，识别率高，为目标跟踪提供了可靠的结果。

Description

基于梯度特征的暗环境视频目标实时跟踪方法

技术领域

本发明涉及一种基于梯度特征的暗环境视频目标实时跟踪方法，属于图像模式识别技术领域。

背景技术

计算机视觉目标跟踪领域普遍采用检测式跟踪架构，该架构通过生成少量的正负样本在线训练分类器，将跟踪任务转化为检测任务。这是因为目标检测领域取得了重大进展，分类器技术也被大量研究并不断取得进步，有效保证了跟踪的成功率。检测任务需要对采集到的样本进行特征提取，以反映样本的特点，便能够进行样本分类和判别，传统的特征提取方法需要依赖经验进行构造，K.H.Zhang等提出一种基于压缩感知的特征提取方法(CompressiveTracking)，通过将广义Haar特征与一系列多尺度滤波器卷积以保证特征的多尺度性质，再利用随机稀疏高斯矩阵对特征进行降维以保证跟踪的实时效果。但广义Haar特征存在对光照亮度、目标旋转敏感的特性，本发明使用LHOG特征改进特征提取的流程，在保证实时性和稳定性的基础上，令目标跟踪算法能够适应低照度、目标旋转、光照变化等各类容易引起目标丢失的场景。

发明内容

为了克服现有跟踪算法不能处理极端照度场景中目标跟踪的问题。本发明提出了一种适合井下、夜间等特殊环境的基于梯度特征的目标实时跟踪方法，该方法利用LHOG进行梯度特征提取，使提取后的特征包含了丰富的样本的统计信息，利用梯度特征对光照不敏感的特性，使跟踪系统能够在昏暗环境中达到较高跟踪成功率。

本发明公开了一种基于梯度特征的暗环境视频目标实时跟踪方法，包括初始化阶段和目标跟踪阶段，所述初始化阶段包括以下步骤：

1)在初始化时，计算稀疏采样矩阵

a)计算信号采样矩阵Φ；

b)计算稀疏感知矩阵ψ；

c)计算稀疏采样矩阵Θ，其中Θ＝ψ·Φ；

2)创建一个由50个贝叶斯弱分类器级联而成的二分类朴素贝叶斯分类器H(x)，每一个贝叶斯弱分类器h_c(x_c)都是基于表示标签为y＝1的正样本和标签为y＝0的负样本的两个正态分布其中(μ_y，c，σ_y，c)表示标签为y的第c维特征对应的贝叶斯弱分类器的正态判别曲线的参数值；

所述目标跟踪阶段包括以下步骤：

1)视频图像中第k帧进行目标探测

a)以第k-1帧跟踪到的目标O_k-1为中心进行候选样本采集，在第k帧内采集到n_y个欧氏距离满足 $0\≤{\left|\right|z-O_{k-1}\left|\right|}^{l2}{\≤r}_y^{+}$ 的样本构成候选样本集合 $z_y=\left\{z\right|0\≤{\left|\right|z-O_{k-1}\left|\right|}^{l2}{\≤r}_y^{+}\},$ 其中为候选样本搜索半径；

b)计算包含全部候选样本z∈z_y的最小矩形区域∪z(z∈z_y)，对该矩形区域图像片依次进行灰度化、1邻域LHOG编码、向量积分，最终得到向量积分图I；

c)以稀疏采样矩阵Θ中的非零元素的对角线为标尺，用对角线减法从向量积分图I中提取每个候选样本z∈z_y的压缩编码特征值x，有z→x(z∈z_y)；

d)对包含n_y个候选样本的候选样本集合z_y排序并编号为每个候选样本z_r的压缩编码特征值x_r输入第k-1帧训练好的二分类朴素贝叶斯分类器，计算分类得分其中d表示特征x_r的总维度，x_r，c表示来自第r个候选样本z_r的压缩编码特征x_r的第c维，分类得分最大的x_r对应的第r个样本即是第k帧跟踪到的目标O_k；

2)视频图像中第k帧的二分类朴素贝叶斯分类器更新

a)以第k帧跟踪到的目标O_k为中心进行正负样本采集，在第k帧内采集到n₁个欧氏距离满足0≤||z-O_k||^l2≤r₁ ⁺的样本构成正样本集合z₁＝{z|0≤||z-O_k||^l2≤r₁ ⁺}，其中r₁ ⁺为正样本搜索半径，在第k帧内采集到n₀个欧氏距离满足的样本构成负样本集合其中为负样本搜索内径，为负样本搜索外径；

b)计算包含全部正负样本的最小矩形区域∪z(z∈z₁∪z₀)，对该矩形区域图像片依次进行灰度化、1邻域LHOG编码、向量积分，最终得到向量积分图I；

c)以稀疏采样矩阵Θ中的非零元素的对角线为标尺，用对角线减法从向量积分图I中提取每个正负样本z∈z₁∪z₀的压缩编码特征值x，有z→x(z∈z₁∪z₀)；

d)对二分类朴素贝叶斯分类器进行更新

$\left\{\begin{array}{c}{\mathrm{\μ}}_1^{\′}\←(1-\mathrm{\λ}){\mathrm{\μ}}_1+\mathrm{\λ}{\mathrm{EX}}_1\\ {\mathrm{\σ}}_1^{\′}\←{[(1-\mathrm{\λ}){\mathrm{\σ}}_1^2+\mathrm{\λ}{\mathrm{DX}}_1+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_1-{\mathrm{EX}}_1)}^2]}^{1/2}\end{array}\right.$

其中和分别为正样本的压缩编码特征的均值和方差，n₁为正样本个数，x_1，r为第r个正样本的压缩编码特征，

$\left\{\begin{array}{c}{\mathrm{\μ}}_0^{\′}\←(1-\mathrm{\λ}){\mathrm{\μ}}_0+\mathrm{\λ}{\mathrm{EX}}_0\\ {\mathrm{\σ}}_0^{\′}\←{[(1-\mathrm{\λ}){\mathrm{\σ}}_0^2+\mathrm{\λ}{\mathrm{DX}}_0+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_0-{\mathrm{EX}}_0)}^2]}^{1/2}\end{array}\right.$

其中和分别为负样本的压缩编码特征的均值和方差，n₀为负样本个数，x_0，r为第r个负样本的压缩编码特征。

本发明进一步公开了所述目标跟踪阶段由灰度图I_gray到1邻域局部梯度特征编码图I_1-HOG的编码方法包括以下步骤：

1)待处理像素点作为中心像素点，其右侧邻近像素的灰度值与其左侧邻近像素的灰度值的差记作G_x，其下方邻近像素的灰度值与其上方邻近像素的灰度值的差记作G_y，则中心像素点的1邻域LHOG编码值为其中

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细描述。

图1是基于梯度特征的暗环境视频目标实时跟踪流程图；

图2是稀疏采样矩阵Θ与样本卷积示意图；

图3是编码后的ROI区域图；

具体实施方式

下面结合说明书附图对本发明具体实施方式进行详细的描述，首先对基于梯度特征的暗环境视频目标实时跟踪方法的基本流程进行描述。参照图1，过程分为初始化阶段、目标跟踪阶段，其具体步骤如下，初始化阶段：

1)计算稀疏采样矩阵Θ；

a)利用信号采样矩阵Φ和稀疏感知矩阵ψ相乘的积的蒙特卡洛模拟计算，以初始目标O₁矩形为作用域，生成2～3个随机位置随机大小的矩形框，这些矩形框要内含于O₁，将这些矩形框作为Θ的一行非零元素；

b)重复步骤1a)d次，参照图2，得到Θ的d行的全部非零元素；

2)生成d维二分类朴素贝叶斯分类器h(x)；

a)生成贝叶斯弱分类器，其正样本判别曲线参数为μ_1，c＝0，σ_1，c＝1，其负样本判别曲线参数为μ_0，c＝0，σ_0，c＝1；

b)重复步骤2a)d次，得到d个贝叶斯弱分类器h_c(x_c)并级联为二分类朴素贝叶斯分类器h(x)，其中c＝1，2，...，d；

目标跟踪阶段：

1)视频图像中第k帧的目标探测

a)以第k-1帧跟踪到的目标O_k-1的左上角顶点为中心，计算到其距离满足的所有像素点{p_y}，以{p_y}为左上角顶点，以O_k-1的大小为大小，所得的矩形即为候选样本z_y，计为 $z_y=\left\{z\right|0\≤{\left|\right|z-O_{k-1}\left|\right|}^{l2}{\≤r}_y^{+}\},$

b)包含全部候选样本的最小矩形区域ROI，参照图2，其计算方法为∪z(z∈z_y)，矩形并集算符∪为O(l₁，r₁，t₁，b₁)∪O(l₂，r₂，t₂，b₂)＝O(max(l₁，l₂)，min(r₁，r₂)，max(t₁，t₂)，min(b₁，b₂))；

c)对ROI包含的图像片特征编码，对于ROI图像片内每个像素点p，其右侧邻近像素的灰度值与其左侧邻近像素的灰度值的差记作G_x，其下方邻近像素的灰度值与其上方邻近像素的灰度值的差记作G_y，则计算其中这个9维向量|G|作为该像素的1邻域LHOG编码；

d)编码后的ROI计为矩阵H进行向量积分，对H进行按列展平，展平后得到一维列向量V_C，对V_C进行累加，得到的累加一维列向量满足对V_∑C进行按列折断，得到与H大小相等的图像，计为H₁，对H₁进行按行展平，展平后得到一维行向量V_R，对V_R进行累加，得到的累加一维列向量满足对V_∑R进行按列折断，得到与H大小相等的图像，计为H₁₁；

e)由初始化过程生成的稀疏采样矩阵Θ的每行的2～3个非零元素，其中每个元素均是矩形滤波器，这些滤波器对候选样本z_r进行滤波得到的结果相加作为特征的一维x_r，c，将Θ的d行均进行相同操作，即得到候选样本z_r的d维特征x_r＝(x_r，1，x_r，2，...，x_r，d)；

f)计算全部候选样本z_r∈z_y的特征利用第k-1帧训练好的二分类朴素贝叶斯分类器h(x_r；k-1)对每个候选样本的特征进行分类并计算分类得分 $h(x_r;k-1)=\underset{c=1}{\overset{d}{\mathrm{\Σ}}}h(x_{r,c};k-1)=\underset{c=1}{\overset{d}{\mathrm{\Σ}}}\log \frac{p\left(x_{r,c}\right|y=1)}{p\left(x_{r,c}\right|y=0)},$ 其中 $p\left(x_{r,c}\right|y)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{y,c}}{e}^{\frac{(x_{r,c}-{\mathrm{\μ}}_{v,c})}{2{\mathrm{\σ}}_{v,c}^2}},$ 将分类得分最大的候选样本作为第k帧跟踪到的目标O_k；

2)视频图像中第k帧的二分类朴素贝叶斯分类器更新

a)以第k帧跟踪到的目标O_k的左上角顶点为中心，计算到其距离满足0≤r≤r₁ ⁺的所有像素点{p₁}，以{p₁}为左上角定点，以O_k的大小为大小，所得的矩形即为正样本z₁，计为z₁＝{z|0≤||z-O_k||^l2≤r₁ ⁺}；

b)以第k帧跟踪到的目标O_k的左上角顶点为中心，计算到其距离满足r₀ ^-≤r≤r₀ ⁺的所有像素点{p₀}，以{p₀}为左上角定点，以O_k的大小为大小，所得的矩形即为负样本z₀，计为z₀＝{z|r₀ ^-≤||z-O_k||^l2≤r₀ ⁺}；

c)包含全部正负样本的最小矩形区域ROI，参照图2，其计算方法为∪z(z∈z₁∪z₀)，矩形并集算符∪与目标跟踪阶段第k帧的目标探测的步骤1b)相同；

d)重复目标跟踪阶段第k帧的目标探测的步骤1c)；

e)重复目标跟踪阶段第k帧的目标探测的步骤1d)；

f)由初始化过程生成的稀疏采样矩阵Θ的每行的2～3个非零元素，其中每个元素均是矩形滤波器，这些滤波器对正负样本z_r进行滤波得到的结果相加作为特征的一维x_r，c，将Θ的d行均进行相同操作，即得到正负样本z_r的d维特征x_r＝(x_r，1，x_r，2，...，x_r，d)；

g)计算全部正样本z_r∈z₁的特征其中每个正样本z_r的特征都是d维x_r＝(x_r，1，x_r，2，...，x_r，d)，求解全部正样本特征的均值和方差 ${\mathrm{DX}}_{1,c}=\frac{1}{n_1}\underset{r=1}{\overset{n_1}{\mathrm{\Σ}}}{x}_{1,r,c}^2-{\left({\mathrm{EX}}_{1,c}\right)}^2,$ 其中c＝1，2，...，d；

h)计算全部负样本z_r∈z₀的特征其中每个负样本z_r的特征都是d维x_r＝(x_r，1，x_r，2，..，x_r，d)，求解全部负样本特征的均值和方差 ${\mathrm{DX}}_{0,c}=\frac{1}{n_0}\underset{r=1}{\overset{n_0}{\mathrm{\Σ}}}{x}_{0,r,c}^2-{\left({\mathrm{EX}}_{0,c}\right)}^2,$ 其中c＝1，2，...，d；

i)更新所有贝叶斯弱分类器

$\left\{\begin{array}{c}{\mathrm{\μ}}_1^{\′}\←(1-\mathrm{\λ}){\mathrm{\μ}}_1+\mathrm{\λ}{\mathrm{EX}}_1\\ {\mathrm{\σ}}_1^{\′}\←{[(1-\mathrm{\λ}){\mathrm{\σ}}_1^2+\mathrm{\λ}{\mathrm{DX}}_1+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_1-{\mathrm{EX}}_1)}^2]}^{1/2}\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\μ}}_0^{\′}\←(1-\mathrm{\λ}){\mathrm{\μ}}_0+\mathrm{\λ}{\mathrm{EX}}_0\\ {\mathrm{\σ}}_0^{\′}\←{[(1-\mathrm{\λ}){\mathrm{\σ}}_0^2+\mathrm{\λ}{\mathrm{DX}}_0+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_0-{\mathrm{EX}}_0)}^2]}^{1/2}\end{array}\right.$

其中c＝1，2，...，d。

Claims (2)

1.一种基于梯度特征的暗环境视频目标实时跟踪方法，其特征在于，包括初始化阶段和目标跟踪阶段，所述初始化阶段包括以下步骤： 

1)在初始化时，计算稀疏采样矩阵 

a)计算信号采样矩阵Φ； 

b)计算稀疏感知矩阵Ψ； 

c)计算稀疏采样矩阵Θ，其中Θ＝Ψ·Φ； 

2)创建一个由50个贝叶斯弱分类器级联而成的二分类朴素贝叶斯分类器H(x)，每一个贝叶斯弱分类器h_c(x_c)都是基于表示标签为y＝1的正样本和标签为y＝0的负样本的两个正态分布其中(μ_y，c，σ_y，c)表示标签为y的第c维特征对应的贝叶斯弱分类器的正态判别曲线的参数值； 

所述目标跟踪阶段包括以下步骤： 

1)视频图像中第k帧进行目标探测 

a)以第k-1帧跟踪到的目标O_k-1为中心进行候选样本采集，在第k帧内采集到n_y个欧氏距离满足的样本构成候选样本集合其中为候选样本搜索半径； 

b)计算包含全部候选样本z∈z_y的最小矩形区域∪z(z∈z_y)，对该矩形区域图像片依次进行灰度化、l邻域LHOG编码、向量积分，最终得到向量积分图I； 

c)以稀疏采样矩阵Θ中的非零元素的对角线为标尺，用对角线减法从向量积分图I中提取每个候选样本z∈z_y的压缩编码特征值x，有z→x(z∈z_y)； 

d)对包含n_y个候选样本的候选样本集合z_y排序并编号为每个候选样本z_r的压缩编码特征值x_r输入第k-1帧训练好的二分类朴素贝叶斯分类器，计算分类得分其中d表示特征x_r的总维度，x_r，c表示来自第r个候选样本z_r的压缩编码特征x_r的第c维，分类得分最大的x_r对应的第r个样本即是第k帧跟踪到的目标O_k； 

2)视频图像中第k帧的二分类朴素贝叶斯分类器更新 

a)以第k帧跟踪到的目标O_k为中心进行正负样本采集，在第k帧内采集到n₁个欧氏距离满足的样本构成正样本集合其中为正样本搜索半径，在第k帧内采集到n₀个欧氏距离满足的样本构成负样本集合 其中为负样本搜索内径，为负样本搜索外径； 

b)计算包含全部正负样本的最小矩形区域∪z(z∈z₁∪z₀)，对该矩形区域图像片依次进行灰度化、l邻域LHOG编码、向量积分，最终得到向量积分图I； 

c)以稀疏采样矩阵Θ中的非零元素的对角线为标尺，用对角线减法从向量积分图I中提取每个正负样本z∈z₁∪z₀的压缩编码特征值x，有z→x(z∈z₁∪z₀)； 

d)对二分类朴素贝叶斯分类器进行更新 

其中和分别为正样本的压缩编码特征的均值和方差，n₁为正样本个数，x_1，r为第r个正样本的压缩编码特征， 

其中和分别为负样本的压缩编码特征的均值和方差，n₀为负样本个数，x_0，r为第r个负样本的压缩编码特征。

2.根据权利要求1所述的一种基于梯度特征的暗环境视频目标实时跟踪方法，其特征在于，所述目标跟踪阶段由灰度图I_gray到l邻域局部梯度特征编码图I_1-HOG编码方法为： 

待处理像素点作为中心像素点，其右侧邻近像素的灰度值与其左侧邻近像素的灰度值的差记作G_x，其下方邻近像素的灰度值与其上方邻近像素的灰度值的差记作G_y，则中心像素点的l邻域LHOG编码值为其中