CN108648198A - 一种视频内多目标运动人体区域的分割方法 - Google Patents

Abstract

本发明公开一种视频内多目标运动人体区域的分割方法，该方法首先初始化一个目标视频流，先将视频流分割成长度24帧的片段，对每个片段首尾采取背景差分法确定视频流中发生变化的区域，然后对该运动区域提取最大矩形进行切割。对一切割部分采取逐帧光流法提取区域内目标运动的信息，来获取目标运动的精确情况。本发明方法能够更加精确和高效的进行多目标运动人体区域的分割，具有良好的可实施性。

Description

一种视频内多目标运动人体区域的分割方法

技术领域

本发明涉及一种视频内多目标运动人体区域的分割方法，主要利用分治搜索算法，图像处理技术以及光流法在一块较大区域的视频流上快速识别并跟踪某一特定的目标群体，属于数学方法和数字图像处理领域。

背景技术

视频内多目标运动人体区域的分割，比较主流的方法包括背景差分法，光流法，以及帧间差分法和最小能量法。

传统背景差分法在基于背景差分方法的运动目标检测中，背景图像的建模和模拟的准确程度，直接影响到检测的效果。不论任何运动目标检测算法，都要尽可能的满足任何图像场景的处理要求，但是由于场景的复杂性、不可预知性、以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，使得背景的建模和模拟变得比较困难。

传统的光流法将三维空间中的目标和场景对应于二维图像平面运动时，他们在二维图像平面的投影就形成了运动，这种运动以图像平面亮度模式表现出来的流动就称为光流。光流法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况以及反映图像其它等信息。然而在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件不能满足，不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的要求。

发明内容

技术问题：本发明的目的在于克服现有技术的不足而快速在视频流内搜索运动目标区域的方法，以便下一步视频目标的行为识别，该方法将背景差分法和光流法相结合结合，解决了确保精度的情况下进行快速运动目标区域提取的问题，具有良好的实时性和鲁棒性。

技术方案：根据本发明提出的视频内多目标运动人体区域的分割方法，包括以下步骤：

本发明的一种视频内多目标运动人体区域的分割方法包括以下步骤：

步骤1)输入一个视频流文件，所述视频是用户输入的视频，将此视频分解成长度24帧的片段且顺序为原视频顺序；

步骤2)通过背景差分法逐8帧对步骤1)输入视频片段提取背景图像和当前帧图像，并对图像进行二值化，将值为1既发生运动的区域提取出最大矩形区域；

步骤3)将步骤2)提取出的矩形区域进行进一步优化，采取光流矢量在x,y两侧的分量的u和v，通过迭代n次使光流矢量在x,y两侧的分量的u和v的迭代值uⁿ和vⁿ小于特定值，当迭代次数大于10时提取该区域；

步骤4)将运动目标提取出并准备进一步进行行为，即对视频流的人物运动进行检测。

步骤2.1)将视频片段第1帧的图像作为背景图像f_back(x,y)；

步骤2.2)将视频在k帧的图像为f_k(x,y)，然后计算出差分图像C_k:

C_k(x,y)＝|f_back(x,y)-f_k(x,y)|；

步骤2.3)根据步骤)2.2)对差分公式进行二值化,P_k为像素点的值，设定一个闸值t，当C_k(x,y)大于该闸值，判断该像素点发生了运动，当C_k(x,y)小于该闸值，则未发生明显运动，公式如下：

步骤2.4)将P_k(x,y)为1的像素区域提取最大矩形区域并进行分割，并截取出该区域。

步骤3.1)对步骤2.4)所截取的最大矩形区域，逐帧提取该帧的灰度，及设I(x,y,t)为t帧时的灰度，u,v为光流矢量在x,y两侧的分量，即灰度一致可导出光流梯度方程

I_xu+I_yv+I_t＝0

所述I_x,I_y,I_t为像素点灰度值在下x,y,t方向的偏导；

步骤3.2)在一张光流梯度方程中，假设光流场平滑性一致可得控制平滑度的参数ε的方程：ε＝∫∫((I_xu+I_yv-I_t)²+λ(u_x ²+v_x ²+u_y ²+v_y ²))dxdy

其中λ为正则化常数

在离散的环境下点(a,b)及其领域上，根据约束方程，误差的离散量为：

e(a,b)＝[I_xu(a,b)+I_yv(a,b)+I_t]

其中u(a,b)，v(a,b)为光流矢量在点(a,b)x,y两侧的分量

根据光流平滑量s(a,b)为其与四个领域的标准差

即

得到极小化方程：

步骤3.3)对极小化方程E求u，r的偏导，且一直平滑，导数为0；得到：

其中为u,v在点(a,b)处的领域平均值，ε为上文的控制平滑度的参数

通过迭代法得到：

其中uⁿ和vⁿ为光流矢量在x,y两侧的分量的u和v第n次迭代值，ε为上文的控制平滑度的参数；

初始值为0，当迭代小于某一值时迭代终止，该值为误差闸值，取u和v中值；

步骤3.4)迭代次数大于n时，迭代提取该像素区域。

有益效果：采用背景差分法提取较为粗糙的提取发生运动的区域，在用光流法较为精确的提取发生变化的区域，降低运算量，提高运动识别准确性。

附图说明

图1是视频内多目标运动人体区域的分割方法流程图。

图2背景差分法对比图

具体实施方式

步骤1)输入一个视频流文件，所述视频是用户输入的视频，将此视频分解成长度24帧的片段且顺序为原视频顺序；

步骤2)先对输入片段进行形态学腐蚀，降低抖动对其影响，通过背景差分法逐8帧对步骤1)输入视频片段提取背景图像和当前帧图像，并对图像进行二值化，将值为1既发生运动的区域提取出最大矩形区域；

步骤3)将步骤2)提取出的矩形区域进行进一步优化，采取光流法得出光流矢量在x,y两侧的分量的u和v，通过迭代n次使光流矢量在x,y两侧的分量的u和v的迭代值uⁿ和vⁿ小于特定值，当迭代次数大于10时提取该区域。

步骤4)将运动目标提取出并准备进一步进行行为，即对视频流的人物运动进行检测；步骤2.1)将视频片段第1帧的图像作为背景图像f_back(x,y)；

步骤2.2)将视频在k帧的图像为f_k(x,y)，然后计算出差分图像C_k:

C_k(x,y)＝|f_back(x,y)-f_k(x,y)|；

步骤2.3)根据步骤)2.2)对差分公式进行二值化,P_k为像素点的值，设定一个闸值t，当C_k(x,y)大于该闸值，判断该像素点发生了运动，当C_k(x,y)小于该闸值，则未发生明显运动，公式如下：

步骤2.4)将P_k(x,y)为1的像素区域提取最大矩形区域并进行分割，并截取出该区域。

步骤3.1)对步骤2.4)所截取的最大矩形区域，逐帧提取该帧的灰度，及设I(x,y,t)为t帧时的灰度，u,v为光流矢量在x,y两侧的分量，即灰度一致可导出光流梯度方程

I_xu+I_yv+I_t＝0

所述I_x,I_y,I_t为像素点灰度值在下x,y,t方向的偏导；

步骤3.2)在一张光流梯度方程中，假设光流场平滑性一致可得控制平滑度的参数ε的方程：ε＝∫∫((I_xu+I_yv-I_t)²+λ(u_x ²+v_x ²+u_y ²+v_y ²))dxdy

其中λ为正则化常数

在离散的环境下点(a,b)及其领域上，根据约束方程，误差的离散量为：

e(a,b)＝[I_xu(a,b)+I_yv(a,b)+I_t]

其中u(a,b)，v(a,b)为光流矢量在点(a,b)x,y两侧的分量

根据光流平滑量s(a,b)为其与四个领域的标准差

即

得到极小化方程：

步骤3.3)对极小化方程E求u，r的偏导，且一直平滑，导数为0；得到：

其中为u,v在点(a,b)处的领域平均值，ε为上文的控制平滑度的参数

通过迭代法得到：

其中uⁿ和vⁿ为光流矢量在x,y两侧的分量的u和v第n次迭代值，ε为上文的控制平滑度的参数；

初始值为0，当迭代小于某一值时迭代终止，该值为误差闸值，取u和v中值；

步骤3.4)迭代次数大于n时，迭代提取该像素区域。

采用背景差分法提取较为粗糙的提取发生运动的区域，在用光流法较为精确的提取发生变化的区域，降低运算量，提高运动识别准确性。

在具体实施中，图1是实现优化视频中多目标运动人体区域的分割方法的流程图。首先用户输入一段视频流，然后将视频分为24帧的片段。鉴于抖动会给背景差分法产生较大的影响，故先对其形态学腐蚀，降低抖动产生干扰

通过背景差分法每8帧对视频片段的运动区域进行捕获和提取。背景差分法是将当前帧和背景帧进行对比，对其进行差分，若差分的绝对值大于闸值，这判断为发生运动。

得到发生变化的像素点后，可从对比图图2中看出发生运动像素点的位置以及其中的变化，将二值化后值为1的像素点坐标进行提取，得到其运动区域，提前最大面积矩形矩形区域以便接下来通过光流法的更加精确的处理。

在接下来的区域内，通过光流法逐帧提前其灰度以及其灰度的偏导，可之其梯度方程I_xu+I_yv+I_t＝0，求得梯度方程后，求其平滑量以及离散量，可知其最小化方程对最小化方程求其u，v的偏导，可知因为平滑，故从方程中可的迭代方程当迭代n次后当且仅当u，v小于误差闸值时停止，将误差闸值取u和v的平均值，将n看作10；

通过光流法精确求得运动区域后对该运动物体进行跟踪与行为识别，完成对目标物体区域的分割与提取。

Claims (4)

1.一种视频内多目标运动人体区域的分割方法，其特征在于，该方法包括以下步骤：

步骤1)输入一个视频流文件，所述视频是用户输入的视频，将此视频分解成长度24帧的片段且顺序为原视频顺序；

步骤2)通过背景差分法逐8帧对步骤1)输入视频片段提取背景图像和当前帧图像，并对图像进行二值化，将值为1既发生运动的区域提取出最大矩形区域；

步骤3)将步骤2)提取出的矩形区域进行进一步优化，采取光流法得出光流矢量在x,y两侧的分量的u和v，通过迭代n次使光流矢量在x,y两侧的分量的u和v的迭代值un和vn小于特定值，当迭代次数大于10时提取该区域；

步骤4)将运动目标提取出并准备进一步进行行为，即对视频流的人物运动进行检测。

2.根据权利要求1所述的视频内多目标运动人体区域的分割方法，其特征在于，所述步骤2)的具体方法如下：

步骤2.1)将视频片段第1帧的图像作为背景图像f_back(x,y)；

步骤2.2)将视频在k帧的图像为f_k(x,y)，然后计算出差分图像C_k:

C_k(x,y)＝|f_back(x,y)-f_k(x,y)|；

步骤2.3)根据步骤)2.2)对差分公式进行二值化,P_k为像素点的值，设定一个闸值t，当C_k(x,y)大于该闸值，判断该像素点发生了运动，当C_k(x,y)小于该闸值，则未发生明显运动，公式如下：

步骤2.4)将P_k(x,y)为1的像素区域提取最大矩形区域并进行分割，并截取出该区域。

3.根据权利要求1所述的视频内多目标运动人体区域的分割方法，其特征在于，所述步骤3)的具体方法如下：

步骤3.1)对步骤2.4)所截取的最大矩形区域，逐帧提取该帧的灰度，及设I(x,y,t)为t帧时的灰度，u,v为光流矢量在x,y两侧的分量，即灰度一致可导出光流梯度方程

I_xu+I_yv+I_t＝0

所述I_x,I_y,I_t为像素点灰度值在下x,y,t方向的偏导；

步骤3.2)在一张光流梯度方程中，假设光流场平滑性一致可得控制平滑度的参数ε的方程：ε＝∫∫((I_xu+I_yv-I_t)²+λ(u_x ²+v_x ²+u_y ²+v_y ²))dxdy

其中λ为正则化常数

在离散的环境下点(a,b)及其领域上，根据约束方程，误差的离散量为：

e(a,b)＝[I_xu(a,b)+I_yv(a,b)+I_t]

其中u(a,b)，v(a,b)为光流矢量在点(a,b)x,y两侧的分量

根据光流平滑量s(a,b)为其与四个领域的标准差

即

得到极小化方程：

步骤3.3)对极小化方程E求u，v的偏导，且一直平滑，导数为0；得到：

其中u,v在点(a,b)处的领域平均值，ε为上文的控制平滑度的参数

通过迭代法得到：

其中uⁿ和vⁿ为光流矢量在x,y两侧的分量的u和v第n次迭代值，ε为上文的控制平滑度的参数；

初始值为0，当迭代小于某一值时迭代终止，该值为误差闸值，取u和v中值；

步骤3.4)迭代次数大于n时，迭代提取该像素区域。

4.根据权利要求3所述的视频内多目标运动人体区域的分割方法，其特征在于，所述的迭代次数n的闸值，n取为10。