CN105741315B - 一种基于降采样策略的统计背景减除方法 - Google Patents

Abstract

本发明属于模式识别与计算机视觉领域，尤其涉及一种基于降采样策略的统计背景减除方法。本发明方法具体步骤为:对每一个前景帧F^t‑s计算重采样时刻r(n)；计算从F^t‑s到F^t的稀疏点轨迹；将F^t‑s划分为两个子集F₁和F₂；计算t‑s时刻到r(n)时刻的移动矢量等。该方法充分利用对多数类样本的降采样技术，实现运动目标的完整、有效分割。

Description

一种基于降采样策略的统计背景减除方法

技术领域

本发明属于模式识别与计算机视觉领域，尤其涉及一种基于降采样策略的统计背景减除方法。

背景技术

背景减除，也称作运动目标检测，在视频监控系统中是极为关键的预处理步骤。视频序列中通常包含许多信息，人们所关心的往往是其中的一小部分信息，比如：运动的人、车辆等。运动目标检测是一种二分类问题，其目的是将视频内容分为两类：前景和背景，从视频序列中准确检测出运动目标而将不关注的背景完全去除，将得到的前景目标用于后续目标跟踪和跟踪。运动目标检测在计算视觉领域和实际生活中都具有很大的价值。

背景减除算法的基本思想是根据当前图像与背景图像之间的差异来划分前景和背景。常见的背景减除算法有高斯混合建模方法，或者是核密度估计的方法等。视频序列中，前景样本数和背景样本数相差很大。但是传统的建模方法往往忽略了这一点，因此传统建模方法倾向于将前景错分为背景，使得检测的精度往往达不到后续处理的要求。

类不均衡问题，即训练样本中不同类样本数量是不相等的。在二分类问题中，类不均衡问题是指两类样本点的概率分布不均衡。视频序列中，背景样本属于多数类，其数量远多于前景样本数量。但是，在背景减除法中类不均衡问题并未受到重视。本发明在数据挖掘类不均衡理论的基础上，引入数据层面上的降采样策略来解决背景减除法中类不均衡的问题。降采样策略将多数类样本即背景样本的数据从原始样本集中移除，得到新的背景样本集合，最终前景样本(少数类样本)与背景样本(多数类样本)达到相同也即均衡的数据集。欠采样策略引入背景减除法优势在于将均衡数据集用于分类，较大的提升了分类的精确度。

发明内容

本发明针对现有技术的不足，提出一种基于降采样策略的统计背景减除方法，该方法充分利用对多数类样本的降采样技术，实现运动目标的完整、有效分割。

一种基于降采样策略的统计背景减除方法，具体步骤如下：

S1、对每一个前景帧F^t-s计算重采样时刻r(n)，具体步骤为：

S11、取前景最后τ_f帧作为参考，合成样本帧在区间(t-2,t+2]中产生，其中，τ_f表示前景的帧数，t为采样时刻，r(n)是合成样本帧F^r(n)的时刻；

S12、将S11所述区间(t-2,t+2]等分为8个子区间；

S13、将S12所述8个子区间均等分配给前景帧{F^t-s|s＝1,...,4}；

S14、初始化合成样本帧数N；

S15、设合成样本帧是以F^t-s为参考的，所述合成样本帧均匀地插在降采样区间，计算r(n)，其中，r(n)是合成样本帧F^r(n)的时刻；

S2、计算从F^t-s到F^t的稀疏点轨迹；

S3、将F^t-s划分为两个子集F₁和F₂，其中，F₁为KLT根踪算法获取的特征像素点中的较好的特征像素点，F₂为剩下特征像素点，其中，所述较好的特征像素点为经验判断；

S4、计算t-s时刻到r(n)时刻的移动矢量，具体为：

S41、计算S3所述F₁中每一个像素点从t-s时刻到时刻r(n)移动矢量Δ₁，具体为：

S411、对于S3所述F₁中每个特征像素点，由S2所述稀疏点轨迹得到时刻t-s到最接近r(n)的整数时刻的移动矢量；

S412、将S411得到的移动矢量进行线性延伸至r(n)，得到时刻t-s到时刻r(n)的移动矢量Δ₁；

S42、计算S3所述F₂中每一个像素点时刻t-s到时刻r(n)移动矢量Δ₂，具体步骤如下：

S421、对于S3所述F₂中的像素点z_i，假设在S3所述F₁中与z_i在x方向最近邻的像素点为z_k，保持时刻t-s到r(n)时刻z_i和z_k的相对位置不变，即z_i和z_k具有平行的移动矢量；

S422、假设像素点z_k的移动矢量为所述移动矢量指向一个r(n)时刻的新像素点z_j，分别计算z_j在x方向和y方向的坐标；z_j在x方向的坐标为z_j在y方向的坐标为

S423、对于S3所述F₂中的像素点z_i，其相应的r(n)时刻的像素点为z′_j，z_k在S3所述F₁中，且是z_i在x方向最近邻的像素点，分别计算z′_j在x方向和y方向的坐标，z′_j在x方向的坐标为z′_j在y方向的坐标为

S5、由S41所述的移动矢量Δ₁连接的两个像素点有相同的颜色信息，获得以S3所述F₁作为参考产生的合成样本帧由S42所述移动矢量Δ₂连接的两个像素点有相同的颜色信息，获得以S3所述F₂作为参考产生的合成样本帧将所述和所述合并，记作合成样本帧

S6、对S5所述合成样本帧进行后处理，得到处理后的合成样本帧其中，所述后处理分为两种情况：

情况A、对一个前景像素点，若其8邻域点全部为空，则该像素点被移除，

情况B、对一个空像素点，若其8邻域点超过6个点为前景点，则该像素点被设为前景点，且将该点的8领域点的平均颜色信息设置为该点的颜色信息；

S7、求背景帧差分，具体为：

S71、选择与当前帧时刻最接近的

S72、与当前背景帧B^k进行差分运算，得到差分映射D^k＝{d_i}，其中，

S8、删除部分背景像素点，获取均衡样本集，包括：

S81、对背景样本B^k进行降采样得到其中，θ为经验阈值；

S82、将d_i≤θ的背景像素点删除，获取均衡样本集；

S9、计算每个像素点属于前景或背景的概率，进行组合优化分类，具体为：

S91、根据计算每帧Z^t的每个像素点z_h属于前景的概率，其中，f_j是前景训练集中的一个样本，J是参与计算的总样本数，φ是核函数，H是核宽；

S92、根据计算每帧Z^t的每个像素点z_h属于后景的概率,其中，f_a是背景训练集中的一个样本，G是参与背景概率计算的总样本数；

S93、通过最小化能量函数来获得最终的分类结果，其中，λ是平滑项和数据项间的权重，

进一步地，S11所述τ_f＝4。

进一步地，S81所述θ∈[17,25]。

本发明的有益效果是：

本发明充分利用对多数类样本的降采样策略，实现多类样本与多数类样本的均衡，从而实现对运动目标快速有效分割。

附图说明

图1是基于降采样策略的统计背景减除算法的整体框架流程图。

图2包括(a)、(b)和(c)，(a)是对时间区间(t-2,t+2]的划分，(b)是合成样本帧数为N＝2时的降采样时刻r(n)，(c)是合成样本帧数为N＝3时的降采样时刻r(n)。

图3包括(a)、(b)和(c)和(d)，(a)是F₁中前景点的轨迹，(b)是t-4时刻到r(1)的移动矢量，(c)是t-4时刻到r(2)的移动矢量，(d)是t-4时刻到r(3)的移动矢量。

图4包括(a)、(b)和(c)，(a)是对视频序列1未进行降采样的分割结果，(b)是经过降采样移除的背景像素点，(c)是视频序列经过降采样的分割结果。

图5包括(a)、(b)和(c)和(d)，(a)是对视频序列2时刻t-4到t时刻稀疏点跟踪结果，(b)是视频序列未进行降采样的分割结果，(c)是经过降采样移除的背景像素点，(d)是视频序列2经过降采样的分割结果。

具体实施方式

下面结合实施例和附图，详细说明本发明的技术方案。

如图1所示，结合某一视频序列对本发明做具体描述。

步骤1：对于每一个F^t-s计算重采样时刻r(n)。取前景最后τ_f＝4帧作为参考,则所有合成样本帧将在区间(t-2,t+2]产生。将该区间均等地分为8个子区间，并且初始化合成样本帧数N。

具体步骤为：

步骤1.1：将区间(t-2,t+2]分为8个子区间：U_k＝(t+k/2-5/2,t+k/2-2],k＝1,...,8，如图2a所示。将得到的8个子区间均等的分配给参考帧{F^t-s|s＝1,...,4}，即：F^t-4＝U₁∪U₈,F^t-3＝U₂∪U₇,F^t-2＝U₃∪U₆,F^t-1＝U₄∪U₅。

步骤1.2：假设N合成样本帧是以F^t-s为参考的，为了防止过拟合现象，我们规定合成样本帧均匀的插在降采样区间。r(n)是合成样本帧F^r(n)的时刻，计算公式如下：

对于以F^t-1为参考形成的合成样本帧：

对于以F^t-s(s≠1)参考形成的合成样本帧：

图2b和图2c中的叉号分别对应合成样本帧数为N＝2,N＝3的时刻r(n)。

步骤2：计算从F^t-s到F^t的稀疏点轨迹；视频序列从t-4时刻到t时刻稀疏点跟踪如图4a所示。

步骤3：将F^t-s划分为两个子集F₁和F₂，F₁包含KLT跟踪算法获取像素点，我们通常认为KLT跟踪算法能获取较好的特征像素点，F₂则包含剩余的像素点。

步骤4：计算t-s到时刻r(n)移动矢量，具体步骤为：

步骤4.1：计算F₁中每一个好的像素点t-s时刻到r(n)时刻移动矢量；

对于F₁中每个前景像素点，由点跟踪得到的点轨迹(如图3(a))。由点轨迹得到时刻t-s到最接近r(n)的整数时刻的移动矢量，将得到的移动矢量进行线性延伸至r(n)，得到时刻t-s到r(n)的移动矢量。以F^t-4为参考帧且N＝3，图3(b)、图3(c)和图3(d)分别表示t-4到r(1)、r(2)和r(3)的移动矢量。

下面以t-4到r(1)和r(2)移动矢量的计算作说明，首先由步骤2可以得到t-4到t-2的移动矢量，即图3(a)。与r(1)最接近的整数时刻为t-2，由t-4到t-2移动矢量线性延生即可以得到时刻t-4到r(1)的移动矢量，如图3(b)所示。对r(2)而言，与之接近的整数时刻有t-2和t-1，但是t-2已经被使用了，因此可以使用t-4到t-1的移动矢量预测t-4到r(2)的移动矢量，如图3(c)所示。

步骤4.2：计算F₂中每一个像素点t-s到时刻r(n)移动矢量，具体步骤为：

步骤4.2.1：对于F₂中的像素点z_i，假设在F₁中与z_i在x方向最近邻的像素点为z_k，保持t-s到r(n)时刻z_i与z_k的相对位置不变，即z_i和z_k具有平行的移动矢量；

步骤4.2.2：假设好的像素点z_k的移动矢量为该移动矢量指向一个r(n)时刻的一个新像素点z_j。那么z_j在x方向的坐标为：

y方向的坐标计算类似；

步骤4.2.3：对于F₂中的像素点z_i，其相应的r(n)时刻的像素点为z′_j。z_k在F₁中，并且是z_i在x方向最近邻的像素点。则z′_j在x方向的坐标为：

y方向的坐标计算类似。

步骤5：将F₁作为参考产生新的样本。由步骤4.1获得的移动矢量连接的两个像素点有相同的颜色信息，最终可以获得合以F₁作为参考产生新的样本即合成样本帧。

步骤6：将F₂作为参考产生新的样本。由步骤4.2获得的移动矢量连接的两个像素点有相同的颜色信息，最终可以获得合以F₂作为参考产生新的样本即合成样本帧。

步骤7：对合成样本帧进行后处理，分为两种情况：

对一个前景像素点，若其8邻域点全部为空，则该像素点被移除；

对一个空像素点，若其8邻域点超过6个点为前景点，则该像素点被设为前景点，且将该点的8领域点的平均颜色信息设置为该点的颜色信息。图4(b)、4(c)分别为r(1)时刻和r(2)时刻合成帧的二值图。

步骤8：求背景帧差分。选择与当前帧时刻最接近的与当前背景帧B^k进行差分运算，得到差分映射D^k＝{d_i}。差分定义如下：

步骤9：选择需删除背景像素点。对背景样本B^k进行降采样得到定义如下：

也即对d_i＜θ对应的背景像素点删除达到将采样的目的，其中阈值θ经过实验测试得到取值范围为：θ∈[17,25]。图4(b)、图5(c)中的白色像素点分别为某两个视频序列删除的背景样本(多类样本)结果显示图。

步骤10：上述步骤已经获得均衡样本集，对于每帧Zt的每个像素点z_h利用公式(7)计算它属于前景的概率:

其中f_j是前景训练集中的一个样本，J是参与计算的总样本数，φ是核函数，H是核宽，每帧Zt的像素点z_h属于背景的概率p(z_h|l_h＝0)的计算式与公式(7)类似。

步骤11：通过最小化能量函数即公式(8)来获得最终的分类结果：

其中λ是平滑项和数据项间的权重，图4c、图5d为视频序列1和视频序列2基于降采样背景减除最终分割二值结果图。

Claims (3)

1.一种基于降采样策略的统计背景减除方法，其特征在于，包括如下步骤：

S1、对每一个前景帧F^t-s计算重采样时刻r(n)，具体步骤为：

S11、取前景最后τ_f帧作为参考，合成样本帧在区间(t-2,t+2]中产生，其中，τ_f表示前景的帧数，t为采样时刻，r(n)是合成样本帧的时刻；

S12、将S11所述区间(t-2,t+2]等分为8个子区间；

S13、将S12所述8个子区间均等分配给前景帧{F^t-s|s＝1,...,4}；

S14、初始化合成样本帧数N；

S15、设合成样本帧是以F^t-s为参考的，所述合成样本帧均匀地插在重采样区间，计算r(n)，其中，r(n)是合成样本帧的时刻；

S2、计算从F^t-s到F^t的稀疏点轨迹；

S3、将F^t-s划分为两个子集F₁和F₂，其中，F₁为KLT跟踪算法获取的特征像素点中的较好的特征像素点，F₂为剩下特征像素点，其中，所述较好的特征像素点为经验判断；

S4、计算t-s时刻到r(n)时刻的移动矢量，具体为：

S41、计算S3所述F₁中每一个像素点从t-s时刻到时刻r(n)移动矢量Δ₁，具体为：

S411、对于S3所述F₁中每个特征像素点，由S2所述稀疏点轨迹得到时刻t-s到最接近r(n)的整数时刻的移动矢量；

S412、将S411得到的移动矢量进行线性延伸至r(n)，得到时刻t-s到时刻r(n)的移动矢量Δ₁；

S42、计算S3所述F₂中每一个像素点时刻t-s到时刻r(n)移动矢量Δ₂，具体步骤如下：

S421、对于S3所述F₂中的像素点z_i，假设在S3所述F₁中与z_i在x方向最近邻的像素点为z_k，保持时刻t-s到r(n)时刻z_i和z_k的相对位置不变，即z_i和z_k具有平行的移动矢量；

S422、假设像素点z_k的移动矢量为所述移动矢量指向一个r(n)时刻的新像素点z_j，分别计算z_j在x方向和y方向的坐标；z_j在x方向的坐标为z_j在y方向的坐标为

S423、对于S3所述F₂中的像素点z_i，其相应的r(n)时刻的像素点为z_j′，z_k在S3所述F₁中，且是z_i在x方向最近邻的像素点，分别计算z_j′在x方向和y方向的坐标，z_j′在x方向的坐标为z_j′在y方向的坐标为

S5、由S41所述的移动矢量Δ₁连接的两个像素点有相同的颜色信息，获得以S3所述F₁作为参考产生的合成样本帧由S42所述移动矢量Δ₂连接的两个像素点有相同的颜色信息，获得以S3所述F₂作为参考产生的合成样本帧将所述和所述合并，记作合成样本帧

S6、对S5所述合成样本帧进行后处理，得到处理后的合成样本帧其中，所述后处理分为两种情况：

情况A、对一个前景像素点，若其8邻域点全部为空，则该像素点被移除；

情况B、对一个空像素点，若其8邻域点超过6个点为前景点，则该像素点被设为前景点，且将该点的8领域点的平均颜色信息设置为该点的颜色信息；

S7、求背景帧差分，具体为：

S71、选择与当前帧时刻最接近的

S72、与当前背景帧B^k进行差分运算，得到差分映射D^k＝{d_i}，其中，s＝arg min_r(n)|t-r(n)|；

S8、删除部分背景像素点，获取均衡样本集，具体为：对背景样本B^k进行降采样得到将d_i≤θ的背景像素点删除，获取均衡样本集，其中θ为经验阈值；

S9、计算每个像素点属于前景或背景的概率，进行组合优化分类，具体为：

S91、根据计算每帧Z^t的每个像素点zh属于前景的概率，其中，f_j是前景训练集中的一个样本，J是参与前景概率计算的总样本数，φ是核函数，H是核宽；

S92、根据计算每帧Zt的每个像素点zh属于背景的概率，其中，f_a是背景训练集中的一个样本，G是参与背景概率计算的总样本数；

S93、通过最小化能量函数来获得最终的分类结果，其中，λ是平滑项和数据项间的权重，

2.根据权利要求1所述的一种基于降采样策略的统计背景减除方法，其特征在于：S11中所述τ_f＝4。

3.根据权利要求1所述的一种基于降采样策略的统计背景减除方法，其特征在于：S8中所述θ∈[17,25]。