CN103839279A - 一种目标检测中基于vibe的粘连目标分割方法 - Google Patents

Abstract

本发明公开了一种目标检测中基于VIBE的粘连目标分割方法，包括基于VIBE的背景减法、HOG特征向量提取、SVM训练和多运动目标的检测和分割算法优化。本发明针对运动目标发生遮挡时出现的目标粘连现象，提出了一种先利用时空特征对视频中的运动目标进行粗略分割，然后提取目标的HOG特征并训练分类来进行精确分割的算法：首先通过VIBE算法进行目标检测，采用背景减法获取前景中的运动目标区域；其次在原图中对粗分割的运动目标的图像进行比例缩放，提取其梯度直方图特征，并采用支持向量机进行训练获得目标分割分类器；最后，对获得的运动目标位置进行筛选，剔除存在大面积交叠位置以及大小不相符的错误目标,从而完成对粘连目标的分割。

Description

一种目标检测中基于VIBE的粘连目标分割方法

【技术领域】

本发明涉及目标检测中粘连目标分割方法的技术领域，特别是目标检测中基于VIBE的粘连目标分割方法的技术领域。

【背景技术】

运动目标分割是指从视频序列中检测出运动目标并从背景中分离的过程。在视频序列的运动目标分割中，根据所依靠的信息，可以分为三种：时域分割、空域分割和时空联合的分割。时域分割主要是利用检测相邻帧差异来获得运动目标的位置、大小，主要包括帧差法、背景减法和光流法等。背景减法原理简单，运算速度快，但对于背景剧烈变化时分割结果较差；帧差法对场景变化不太敏感，但提取的对象不太完整，存在空洞现象；光流法复杂度较高，实时性较差。空域分割法主要根据目标纹理的一致性来区分，主要有阈值分割、聚类分割和形态学分割三种分割法。阈值法易受背景干扰，对灰度变化不明显的目标分割不准确；聚类分割时间开销大，实时性不高；基于形态学的分割充分利用了图像的空间信息，应用最多的是分水岭算法，但由于噪声的存在无法解决过分割现象。时空分割法主要利用时域分割获得运动对象的大致运动区域，空域分割得到运动对象的缘，但分割的效果依赖于时域和空域分割算法的选择。

当监控场景中存在多个运动目标时，分割的难点主要包含三个方面：1）对阴影的处理，如阴影与目标相连；2）对遮挡的处理，如运动目标的自遮挡、运动目标之间的遮挡、运动目标被背景遮挡等；3）扰动的影响，如树枝扰动、水面反射等。本发明针对运动目标发生运动遮挡时出现的目标粘连情况，提出了采用背景减法获取前景图像的区域，并在原图中提取运动目标的HOG特征并用SVM进行训练来实现粘连目标的分割算法。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种目标检测中基于VIBE的粘连目标分割方法，能够有效的对粘连目标进行分割，且克服了小目标的漏检问题，具有良好的鲁棒性。

为实现上述目的，本发明提出了一种目标检测中基于VIBE的粘连目标分割方法，依次包括以下步骤：

a）基于VIBE的背景减法：在静态场景下，通过VIBE算法检测获取前景区域中的运动目标区域，VIBE算法分别在时间上和空间上采用随机的策略对背景模型进行更新，该策略恰恰与背景更新是随机的情况相吻合，对前景目标突然转换成背景的运动场景具有良好的适应性，并假定在VIBE算法检测的前景区域中至少存在一个运动目标区域；

b）HOG特征向量提取：由于图像中局部目标的表象和形状总能够用它的梯度方向或边缘的方向密度分布进行描述，HOG特征向量可以有效地表示目标的轮廓，进而实现目标的分类，提取目标的HOG特征向量过程如下：

由于图像中局部存在阴影，需要对前景区域图像进行Gamma压缩以减轻其影响，为获取每个像素的梯度幅值和方向，需要对压缩后的图像进行微分，从而获得运动目标的轮廓：G_h(x,y)＝I(x+1,y)-I(x-1,y)，G_v(x,y)＝I(x,y+1)-I(x,y-1)，式中G_h(x,y)，G_v(x,y)，I(x,y)分别表示输入前景图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和方向分别为： $G(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_v(x,y)}{G_h(x,y)}\right);$ 求得前景图像中每个像素点的梯度大小和方向后，把前景图像分成大小固定的网格单元，每个网格单元包含3×3个相邻像素，并统计网格单元的梯度方向，并将网格单元量化到0°～180°均匀划分的9个区间内，最终获得每个网格单元在每个方向区间内的的梯度分布情况；

c）SVM训练：采用SVM算法对HOG特征向量进行分类训练，SVM的训练过程如下：首先对含有人的正样本和不包含人的负样本进行训练学习得到基本分类器；然后，用学习后获得的基本分类器再次对所有的负样本进行检测，把二次出错的负样本组合成困难负样本；最后，采用原始的正样本、原始的负样本以及困难负样本对基本分类器进行二次训练，调整三者的权重，得到最终的目标分割分类器，训练学习的过程如下：

对于大小为N的训练样本集，S＝{(x_i,y_i),i＝1,2,…,l}，

Y＝{-1,1}，训练样本集对应的期望输出为y_i∈{+1,-1}，期望输出中+1和-1分别代表两类的类别标识，SVM通过一个非线性函数将训练数据X映射到高维线性空间，在这个空间构造最优分类面：ωgx+b＝0，其约束条件为：

考虑到存在一些样本不能被决策面正确分类，引入松弛变量ξ_i(≥0)，则该约束条件变为：

要获得最优解，SVM算法归结为二次规划问题：

系数C被称为惩罚因子，C越大表示对错误的惩罚越大，用拉格朗日函数求解得其对偶形式： $\max \mathrm{\ω}\left(a_i\right)=\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\},$ 其约束条件为： $0\≤a_i\≤C,\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_i=0,$ 系数向量

核函数为：最终得到分类函数为： $f\left(x\right)=\mathrm{sgn}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_{i}k(x,x_i)+b];$

d）多运动目标的检测和分割算法优化：对前景图像区域中多运动目标的分割中，为了解决VIBE算法对目标阴影和目标粘连分割不准确的问题，本方法依靠提取的前景区域信息，对各个子区域采用基于HOG特征向量的SVM分类器来辅助完成运动目标的精确分离，算法如下：

Step1：前景区域二值图像的提取；

1）VIBE背景模型的建立；2）背景与前景的分离；3）背景更新；4）前景区域二值图像的提取；

Step2：运动目标信息的获取

1）对前景二值图像进行形态学开运算处理；2）对形态学处理后的二值图像做连通域标记；3）获取存在运动目标的子区域并存储相应的区域信息；

Step3：HOG特征向量的提取与分类

1）在原始图像中截取出第二阶段获取的各子区域图像，对其进行缩放处理，放大比例为1.4，缩小比例为0.7；2）对子区域图像进行Gamma校正；3）计算像素梯度；4）计算3×3网格单元的方向梯度信息；5）Block块的归一化；6）生成HOG特征向量；7）基于SVM分类器的训练；8）分类器的输出，运用分类器得到前景图像中目标位置；

Step4：运动目标的筛选与标注

1）对Step3中得到的目标位置进行筛选，剔除存在大面积交叠位置以及大小不相符的错误目标，同时对约束条件进行验证；最后，存储筛选后的运动目标信息；2）根据筛选后获取的运动目标信息，用矩形框在原图形中对目标位置和大小进行标注。

作为优选，所述b）步骤中需要对计算得到的梯度幅值大小进行归一化处理，归一化是以3×3的网格单元构成的block块为单位进行的，能够使HOG特征向量空间对光照，阴影和边缘变化具有鲁棒性，最终可以得到一个由β×ζ×η数据组成的高维度向量，其中β表示每个网格单元中方向单元的数目，ζ表示前景图像中block块的个数，η表示一个block块中包含的网格单元数，这个高维度的向量就是HOG特征量集合。

本发明的有益效果：本发明针对运动目标发生遮挡时出现的目标粘连现象，提出了在时空分割算法的基础上提取运动目标的特征并进行学习分类的算法，首先用VIBE算法提取前景目标的区域，其次在原图中缩放前景目标，并提取其HOG特征，最后进行训练和分类，从而实现粘连目标的准确分割，与传统的时空分割法相比，本方法能有效的对粘连目标进行分割，且克服了小目标的漏检问题，并且具有良好的鲁棒性。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是场景一基于HOG的SVM分类器目标检测结果；

图2是场景二基于HOG的SVM分类器目标检测结果；

图3是场景一应用本发明目标检测中基于VIBE的粘连目标分割方法的目标检测结果；

图4是场景二应用目标检测中基于VIBE的粘连目标分割方法的目标检测结果。

【具体实施方式】

参阅图1、图2、图3和图4，本发明一种目标检测中基于VIBE的粘连目标分割方法，依次包括以下步骤：

a）基于VIBE的背景减法：在静态场景下，通过VIBE算法检测获取前景区域中的运动目标区域，VIBE算法分别在时间上和空间上采用随机的策略对背景模型进行更新，该策略恰恰与背景更新是随机的情况相吻合，对前景目标突然转换成背景的运动场景具有良好的适应性，并假定在VIBE算法检测的前景区域中至少存在一个运动目标区域；

b）HOG特征向量提取：由于图像中局部目标的表象和形状总能够用它的梯度方向或边缘的方向密度分布进行描述，HOG特征向量可以有效地表示目标的轮廓，进而实现目标的分类，提取目标的HOG特征向量过程如下：

由于图像中局部存在阴影，需要对前景区域图像进行Gamma压缩以减轻其影响，为获取每个像素的梯度幅值和方向，需要对压缩后的图像进行微分，从而获得运动目标的轮廓：G_h(x,y)＝I(x+1,y)-I(x-1,y)，G_v(x,y)＝I(x,y+1)-I(x,y-1)，式中G_h(x,y)，G_v(x,y)，I(x,y)分别表示输入前景图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和方向分别为： $G(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_v(x,y)}{G_h(x,y)}\right);$ 求得前景图像中每个像素点的梯度大小和方向后，把前景图像分成大小固定的网格单元，每个网格单元包含3×3个相邻像素，并统计网格单元的梯度方向，并将网格单元量化到0°～180°均匀划分的9个区间内，最终获得每个网格单元在每个方向区间内的的梯度分布情况；

c）SVM训练：采用SVM算法对HOG特征向量进行分类训练，SVM的训练过程如下：首先对含有人的正样本和不包含人的负样本进行训练学习得到基本分类器；然后，用学习后获得的基本分类器再次对所有的负样本进行检测，把二次出错的负样本组合成困难负样本；最后，采用原始的正样本、原始的负样本以及困难负样本对基本分类器进行二次训练，调整三者的权重，得到最终的目标分割分类器，训练学习的过程如下：

对于大小为N的训练样本集，S＝{(x_i,y_i),i＝1,2,…,l}，

Y＝{-1,1}，训练样本集对应的期望输出为y_i∈{+1,-1}，期望输出中+1和-1分别代表两类的类别标识，SVM通过一个非线性函数将训练数据X映射到高维线性空间，在这个空间构造最优分类面：ωgx+b＝0，其约束条件为：

考虑到存在一些样本不能被决策面正确分类，引入松弛变量ξ_i(≥0)，则该约束条件变为：

要获得最优解，SVM算法归结为二次规划问题：系数C被称为惩罚因子，C越大表示对错误的惩罚越大，用拉格朗日函数求解得其对偶形式： $\max \mathrm{\ω}\left(a_i\right)=\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\},$ 其约束条件为： $0\≤a_i\≤C,\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_i=0,$ 系数向量

核函数为：

最终得到分类函数为： $f\left(x\right)=\mathrm{sgn}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_{i}k(x,x_i)+b];$

d）多运动目标的检测和分割算法优化：对前景图像区域中多运动目标的分割中，为了解决VIBE算法对目标阴影和目标粘连分割不准确的问题，本方法依靠提取的前景区域信息，对各个子区域采用基于HOG特征向量的SVM分类器来辅助完成运动目标的精确分离，算法如下：

Step1：前景区域二值图像的提取；

1）VIBE背景模型的建立；2）背景与前景的分离；3）背景更新；4）前景区域二值图像的提取；

Step2：运动目标信息的获取

1）对前景二值图像进行形态学开运算处理；2）对形态学处理后的二值图像做连通域标记；3）获取存在运动目标的子区域并存储相应的区域信息；

Step3：HOG特征向量的提取与分类

1）在原始图像中截取出第二阶段获取的各子区域图像，对其进行缩放处理，放大比例为1.4，缩小比例为0.7；2）对子区域图像进行Gamma校正；3）计算像素梯度；4）计算3×3网格单元的方向梯度信息；5）Block块的归一化；6）生成HOG特征向量；7）基于SVM分类器的训练；8）分类器的输出，运用分类器得到前景图像中目标位置；

Step4：运动目标的筛选与标注

1）对Step3中得到的目标位置进行筛选，剔除存在大面积交叠位置以及大小不相符的错误目标，同时对约束条件进行验证；最后，存储筛选后的运动目标信息；2）根据筛选后获取的运动目标信息，用矩形框在原图形中对目标位置和大小进行标注。

所述b）步骤中需要对计算得到的梯度幅值大小进行归一化处理，归一化是以3×3的网格单元构成的block块为单位进行的，能够使HOG特征向量空间对光照，阴影和边缘变化具有鲁棒性，最终可以得到一个由β×ζ×η数据组成的高维度向量，其中β表示每个网格单元中方向单元的数目，ζ表示前景图像中block块的个数，η表示一个block块中包含的网格单元数，这个高维度的向量就是HOG特征量集合。

本发明工作过程：

本发明一种目标检测中基于VIBE的粘连目标分割方法在工作过程中，本发明针对运动目标发生遮挡时出现的目标粘连现象，提出了在时空分割算法的基础上提取运动目标的特征并进行学习分类的算法，首先用VIBE算法提取前景目标的区域，其次在原图中放大前景目标，并提取其HOG特征，最后进行训练和分类，从而实现粘连目标的准确分割，与传统的时空分割法相比，本方法能有效的对粘连目标进行分割，且克服了小目标的漏检问题，并且具有良好的鲁棒性。

VIBE算法虽然能确定前景区域存在运动目标，若直接根据其轮廓来分割，在对阴影和运动目标发生遮挡等复杂情形时分割不准确，由于不同的物体表面的光强梯度或边缘方向密度存在较大的差异，当物体采用光强梯度或边缘方向密度来描述时，能进行准确的区分。因此本发明采用梯度方向直方图HOG（Histogram of Oriented Gradient）特征来表示该区域的目标，并将其应用于支持向量机（Support Vector Machine，SVM）来实现多运动目标的分类，实现精确分割。

为了验证本方法与基于HOG的SVM分类器目标检测算法在准确性和实时性上的差异，本文在PETS_09View_001视频集上对两种算法做了对比实验，如图1、图2、图3和图4所示，对比实验结果可以看出，基于HOG特征的SVM分类器检测算法出现了明显的漏检现象，而本方法能够更加全面、准确地分割出各个运动目标，无论在检测精度还是分割的鲁棒性方面优势明显。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (2)

1.一种目标检测中基于VIBE的粘连目标分割方法，依次包括以下步骤：

a）基于VIBE的背景减法：在静态场景下，通过VIBE算法检测获取前景区域中的运动目标区域，VIBE算法分别在时间上和空间上采用随机的策略对背景模型进行更新，该策略恰恰与背景更新是随机的情况相吻合，对前景目标突然转换成背景的运动场景具有良好的适应性，并假定在VIBE算法检测的前景区域中至少存在一个运动目标区域；

b）HOG特征向量提取：由于图像中局部目标的表象和形状总能够用它的梯度方向或边缘的方向密度分布进行描述，HOG特征向量可以有效地表示目标的轮廓，进而实现目标的分类，提取目标的HOG特征向量过程如下：

由于图像中局部存在阴影，需要对前景区域图像进行Gamma压缩以减轻其影响，为获取每个像素的梯度幅值和方向，需要对压缩后的图像进行微分，从而获得运动目标的轮廓：G_h(x,y)＝I(x+1,y)-I(x-1,y)，G_v(x,y)＝I(x,y+1)-I(x,y-1)，式中G_h(x,y)，G_v(x,y)，I(x,y)分别表示输入前景图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值，像素点(x,y)处的梯度幅值和方向分别为： $G(x,y)=\sqrt{G_h{(x,y)}^2+G_v{(x,y)}^2},\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_v(x,y)}{G_h(x,y)}\right);$ 求得前景图像中每个像素点的梯度大小和方向后，把前景图像分成大小固定的网格单元，每个网格单元包含3×3个相邻像素，并统计网格单元的梯度方向，并将网格单元量化到0°～180°均匀划分的9个区间内，最终获得每个网格单元在每个方向区间内的的梯度分布情况；

c）SVM训练：采用SVM算法对HOG特征向量进行分类训练，SVM的训练过程如下：首先对含有人的正样本和不包含人的负样本进行训练学习得到基本分类器；然后，用学习后获得的基本分类器再次对所有的负样本进行检测，把二次出错的负样本组合成困难负样本；最后，采用原始的正样本、原始的负样本以及困难负样本对基本分类器进行二次训练，调整三者的权重，得到最终的目标分割分类器，训练学习的过程如下：

对于大小为N的训练样本集，S＝{(x_i,y_i),i＝1,2,…,l}，

Y＝{-1,1}，训练样本集对应的期望输出为y_i∈{+1,-1}，期望输出中+1和-1分别代表两类的类别标识，SVM通过一个非线性函数将训练数据X映射到高维线性空间，在这个空间构造最优分类面：ωgx+b＝0，其约束条件为：

考虑到存在一些样本不能被决策面正确分类，引入松弛变量ξ_i(≥0)，则该约束条件变为：要获得最优解，SVM算法归结为二次规划问题：

系数C被称为惩罚因子，C越大表示对错误的惩罚越大，用拉格朗日函数求解得其对偶形式： $\max \mathrm{\ω}\left(a_i\right)=\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)\},$ 其约束条件为： $0\≤a_i\≤C,\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_i=0,$ 系数向量

核函数为：

最终得到分类函数为： $f\left(x\right)=\mathrm{sgn}[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i{y}_{i}k(x,x_i)+b];$

d）多运动目标的检测和分割算法优化：对前景图像区域中多运动目标的分割中，为了解决VIBE算法对目标阴影和目标粘连分割不准确的问题，本方法依靠提取的前景区域信息，对各个子区域采用基于HOG特征向量的SVM分类器来辅助完成运动目标的精确分离，算法如下：

Step1：前景区域二值图像的提取；

1）VIBE背景模型的建立；2）背景与前景的分离；3）背景更新；4）前景区域二值图像的提取；

Step2：运动目标信息的获取

1）对前景二值图像进行形态学开运算处理；2）对形态学处理后的二值图像做连通域标记；3）获取存在运动目标的子区域并存储相应的区域信息；

Step3：HOG特征向量的提取与分类

1）在原始图像中截取出第二阶段获取的各子区域图像，对其进行缩放处理，放大比例为1.4，缩小比例为0.7；2）对子区域图像进行Gamma校正；3）计算像素梯度；4）计算3×3网格单元的方向梯度信息；5）Block块的归一化；6）生成HOG特征向量；7）基于SVM分类器的训练；8）分类器的输出，运用分类器得到前景图像中目标位置；

Step4：运动目标的筛选与标注

1）对Step3中得到的目标位置进行筛选，剔除存在大面积交叠位置以及大小不相符的错误目标，同时对约束条件进行验证；最后，存储筛选后的运动目标信息；2）根据筛选后获取的运动目标信息，用矩形框在原图形中对目标位置和大小进行标注。

2.如权利要求1所述的一种目标检测中基于VIBE的粘连目标分割方法，其特征在于：所述d）步骤中在原始图像中截取出第二阶段获取的各子区域图像，对其进行缩放处理(放大比例为1.4，缩小比例为0.7)；对目标分割分类器分割的目标进行筛选，除存在大面积交叠位置以及大小不相符的错误目标，同时对约束条件进行验证；存储筛选后的运动目标信息,并用矩形框在原图形中对目标位置和大小进行标注。

Images