CN106204636A - 基于监控视频的视频前景提取方法 - Google Patents

Abstract

本发明公布了一种针对监控视频的视频前景提取方法，基于图像块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；包括：将监控视频中每一帧图像I表示为块；进行初始化；更新块背景权重、块临时背景和临时背景；更新块背景和背景；保存前景、更新前景块权重和前景块；将前景进行二值化处理即为最终前景结果。本发明针对监控视频中每一帧图像进行降维，通过基于像素的比较消除光照对于块方法的影响；同时消除监控视频尺寸不断增大对视频分析带来的影响。本发明能够提取动态前景物体、适应较大监控视频尺寸、且具有较低算法复杂度。

Description

基于监控视频的视频前景提取方法

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于监控视频的视频前景提取方法，可应用于监控视频的预处理，以便对监控视频做进一步分析。

背景技术

视频的前景提取是指将视频中的前景对象从背景中分离出来。监控视频作为一种越来越常见的视频类型，具有时间长、前景复杂、分辨率不断增大的特点。现实生活中对一些案件、事故等的分析都需要借助于之前拍摄的监控视频来为案情的发展提供更多的证据。

现有前景提取技术主要通过高斯混合模型、期望最大化(EM)算法、显著性检测、Trimap算法、GrabCut算法、超像素方法等进行前景物体的提取。但是，这些视频前景提取方法存在以下缺点：

(一)上述方法可部分提取出视频中的显著性区域，但提取过程没有考虑静止态与运动态前景的不同，导致形成全局一致的背景，而对静止态的前景对象要看作为新的背景；

(二)对于尺寸越来越大的监控视频，上述方法的处理速度越来越慢，针对大尺寸视频的处理效率低；

(三)上述方法大多具有较高的算法复杂度，处理性能不佳。

发明内容

为了克服上述现有技术的不足，本发明提供一种针对监控视频的视频前景提取方法，基于图像块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；本发明方法可消除监控视频尺寸不断增大对视频处理分析带来的影响。

为方便说明，本说明书约定以下术语和参数表示：

(一)定义与原图像维度相同的变量：原图像I；临时背景β；背景临时前景γ；前景

(二)定义与降维后图像维度相同的变量：块图像I′；临时块背景α；块背景背景块权重ψ；前景块权重前景块终点ω。

设定阈值ε₁、ε₂、ε₃，均用来判断权重的大小。

本发明的原理是：一段监控视频包含多帧图像，而监控视频的背景固定不动，本发明基于块方法对监控视频中每帧图像进行处理，通过调节块的大小适应不同的视频分辨率。通过建立背景块模型，提取处于运动态的前景物体；针对监控视频中每一帧图像进行降维，通过基于像素的比较，消除光照对于块方法的影响；同时消除监控视频尺寸不断增大对视频分析带来的影响。因而，本发明方法能够提取动态前景物体、适应较大监控视频尺寸、且具有较低算法复杂度。

本发明提供的技术方案是：

一种针对监控视频的视频前景提取方法，基于块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；具体包括如下步骤：

第一步，对每一帧图像I灰度化并计算积分图，通过积分图可以方便的计算不同大小块内像素的加和，以此块内像素加和代表块内的所有像素，得到代替原图的具有更小维度的图像矩阵块图像I′。一个块内有m*n个像素值，本发明用这一个块内m*n个像素值的加和表示这一个块，即原来的m*n维变为了现在的1*1维。

第二步，初始化，对于第一帧图像，用视频第一帧图像初始化背景这里背景指每一帧图像中除了前景对象之外的剩余部分。用零矩阵初始化前景这里前景指每一帧图像中的前景对象。用临时背景β和临时前景γ保存处理过程中的中间结果。用块图像I′初始化块背景和临时块背景α。用零矩阵初始化背景块权重ψ和前景块权重这里权重指图像中某一块在视频流中持续的时长，所有权值的初始化值为0，维度与块背景的维度一致。用零矩阵初始化前景块终点ω，此终点用来判断块流的连续性，维度与块图像I′一致。

第三步，将当前帧块图像I′_i中的每一个元素与前一帧块图像I′_i-1对应元素进行比较，如果两者差值的绝对值超过阈值ε₁，表示前后帧对应块差别较大，当前块可能为前景。将背景块权重ψ自增1，并且加权平均前后帧块图像元素求得临时块背景α。否则将背景块权重ψ重置为0，并且重置临时块背景α为当前元素，这里临时块背景指当前块可能为背景的一部分，判断它是不是背景，要看第四步。

第四步，若背景块权重ψ中元素超过阈值ε₂，说明当前块的持续时间够长，则用临时块背景α中元素更新块背景

第五步，情况一，比较块图像I′_i中的元素与前一帧块图像I′_i-1对应元素，若两者差值大于阈值ε₁；情况二，比较块图像I′中的元素与块背景对应元素，若两者差值大于阈值ε₁，以上均表示当前块可能是潜在前景块。满足上述情况之一则执行第六步，否则执行第三步。

第六步，比较当前块图像I′元素对应的原图像I中的像素与背景对应的像素，若像素差值超过阈值ε₃的像素个数，超过了块内像素个数的一半，执行第七步，否则执行第三步。

第七步，将原图像I中的像素值与背景对应的像素值的差值保存为前景对于第五步情况二，根据前景块终点ω判断前景块是否连续，如果连续，背景块权重ψ不为0，说明当前前景很有可能是新的背景，对前景块权重自增1。并且加权平均前后帧对应块内像素求得临时前景γ。这里临时前景指当前块可能为背景的一部分，判断它是不是背景，要看第八步。

第八步，若前景块权重超过阈值值ε₂，则把临时前景γ置为背景计算得临时块背景，背景块权重置为ε₂，置临时前景γ为0。

第九步，将第七步所得前景进二值化处理，保存当前帧号为前景块终点ω。

第十步，重复执行第三到第九步，直到视频内所有帧处理完毕。

与现有技术相比，本发明的有益效果是：

本发明提供一种针对监控视频的视频前景提取方法，基于图像块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；针对监控视频中每一帧图像进行降维，通过基于像素的比较，消除光照对于块方法的影响；同时消除监控视频尺寸不断增大对视频分析带来的影响。因而，本发明方法能够提取动态前景物体、适应较大监控视频尺寸、且具有较低算法复杂度，可以应用于监控视频的预处理，为监控视频的进一步分析提供支持，在监控摄像头越来越多的今天具有重要的意义。与现有技术相比，本发明具有如下优点：

(一)本发明基于块处理方法，将现有技术针对单个像素的比较改变为对像素加和的比较，解放了实际应用中大多数的计算压力，大大降低计算复杂度，执行效率高；

(二)本发明通过建立背景块模型，通过更新背景，实现稳定地提取监控视频中动态的物体(即提取前景)；

(三)本发明通过引入块内像素的比较，消除了由于光照的突变对块方法带来的影响，方法精度高。

附图说明

图1是本发明提供的针对监控视频的视频前景提取方法的流程框图。

图2是本发明实施例中将视频中每一帧图像I为块图像I′示意图；

图中，本图像分辨率为1920*1080，块大小为60*60，则原图像I可用32*18的块图像I′表示。

图3是本发明实施例中处理的监控视频中的一帧图像。

图4是本发明实施例通过采用本发明方法对视频进行处理后得到的背景

图5是本发明实施例通过采用本发明方法对视频进行处理后得到的前景二值化图像。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种针对监控视频的视频前景提取方法，基于图像块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；本发明方法可消除监控视频尺寸不断增大对视频处理分析带来的影响。

以下方法或公式中定义与原图像维度相同的变量包括：临时背景β；背景临时前景γ；前景定义原图像降维后的变量包括：临时块背景α；块背景背景块权重ψ；前景块权重前景块终点ω；阈值1、阈值2和阈值3均用来判断权重的大小。

图3是本发明实施例中处理的一段监控视频中的一帧图像，一段监控视频包含多帧图像。针对监控视频提取视频前景，图1是本发明方法的流程框图，本发明具体实施包括如下步骤：

第一步：如图2所示，将视频中每一帧图像表示为块。假设视频分辨率为P*Q(监控视频包括多帧图像中的每一帧图像的分辨率为P*Q)，对于视频序列的每一帧图像I，求得每一帧图像的灰度图I_gray，确定块的大小为p*q，在本实施例中，视频分辨率为320*240，因此采用较小的块，块大小为2*4。则每一个块用块内像素的加和采用b_s,t表示为式1：

其中，s、t分别表示对应新矩阵的行与列；p_i,j表示灰度图像的像素值；

这样，原图像可以用一个如式2所示的矩阵I’表示：

其中，

第二步：用I初始化临时背景β和背景用P*Q大小的零矩阵γ表示临时前景；矩阵表示前景；用矩阵I’初始化块背景和临时块背景α；用m*n大小的零矩阵ψ表示背景块权重；表示前景块权重；ω表示前景块终点；如式3和式4：

第三步：对下一帧图像I’_i中的元素比较它与前一帧图像中对应元素的差值设定阈值ε₁，如果则块背景权重ψ_s,t自增1，否则重置块背景权重ψ_s,t为0，并更新块临时背景和临时背景如式5所示：

其中，β_s.t表示当前块对应的图像块内的所有像素；

在本实施例中，ε₁表示像素加和(即本文中的块)之间差值的阈值，其中阈值ε₃用来比较像素之间的差值；ε₃取值为15时，则ε₁＝60，采用公式分母为2的原因是为了抵消块方法对精度的影响；

第四步：阈值ε₂表示块流保持不变的时间长度；若块背景图像权重的值超过阈值ε₂，则用临时块背景更新块背景，临时背景更新背景，即如式6所示：

在本实施例中，取值ε₂＝15，表示块流的大小至少在15帧以上，此时我们认为图像符合象监控视频中图像背景是不动的假设。

第五步：当当前块与背景块的差值超过阈值ε₁或背景块的权重为0时，执行第六步；否则执行第三步；

具体是，情况一：比较块图像I′中的元素与块背景对应元素，若两者差值大于阈值ε₁，如式7所示，则继续执行第六步：

情况二：若当背景块权重ψ_s,t为0，如式8所示，则继续执行第六步：

ψ_s,t＝0 (式8)

否则执行第三步；

第六步：比较当前块内的像素与背景帧对应块内的像素，若像素差值超过阈值ε₃的像素个数，超过了块内像素个数的一半，如式9所示：

其中，f()表示对块内符合条件的像素计数；分别表示b_s,t对应的的原图像I中的像素和背景对应的像素，b_s,t是块内共计m*n个像素的加和；若符合条件(式9成立)则执行第七步，否则执行第三步；

第七步：将原图像I中的像素值与背景对应的像素值的差值保存为前景对于第五步情况一(当前块与背景块的差值超过阈值ε₁)，判断前景块是否连续；若连续，且前后前景块的差值小于阈值ε₁，前景块权重自增1，并加权平均前景块，即如式10所示：

第八步，若块前景图像权重的值超过阈值ε₂，则用临时前景更新背景并根据式11由更新后的背景每块内像素值求和来更新块背景和临时块背景，这里块背景和临时块背景取相同的值，并重置块背景权重为阈值ε₂，即式11：

其中，为背景；s、t分别表示对应新矩阵的行与列；γ表示临时前景；为块背景；α为临时块背景；ψ为背景块权重；为前景块权重；

此步骤使得背景会实时更新，例如，一辆车在运动时该车是前景，但当车停下来时该车更新为背景。第七步中得到的是前景，此步骤通过设定阈值控制背景的实时更新。根据前景不动的时间进行判断，如果长时间不动，就把前景当作背景看待。

第九步，将第七步得到的前景进行二值化处理，即为最终前景结果，保存当前帧号为前景终点ω_s,t；

上述第八步和第九步的次序可以交换。

第十步，重复执行第三到第九步，直到视频内所有帧处理完毕，即提取得到视频前景。

图4是本实施例通过采用本发明方法对视频进行处理后得到的背景图5是本实施例通过采用本发明方法对视频进行处理后得到的前景二值化图像。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于监控视频的视频前景提取方法，采用图像块处理方法，通过调节块的大小适应不同的视频分辨率；再通过建立背景块模型，提取处于运动态的前景物体；包括如下步骤：

第一步，将监控视频中每一帧图像I表示为块，将图像I表示为矩阵块I′；

第二步：进行初始化：对第一帧图像I，用图像I初始化临时背景β和背景用P*Q大小的零矩阵γ表示临时前景；矩阵表示前景，用零矩阵初始化；用矩阵I’初始化块背景和临时块背景α；用m*n大小的零矩阵ψ表示背景块权重；表示前景块权重，用零矩阵初始化；ω表示前景块终点，用零矩阵初始化；

第三步：设定s、t分别表示矩阵块的行与列，对下一帧图像的矩阵块I’_i中的元素比较它与前一帧图像中对应元素的差值设定阈值ε₁，如果 则块背景权重ψ_s,t自增1；否则重置块背景权重ψ_s,t为0，并更新块临时背景和临时背景；

第四步：设定阈值ε₂表示块流保持不变的时间长度；若块背景图像权重的值超过阈值ε₂，则用临时块背景更新块背景，用临时背景更新背景；

第五步：当当前块与背景块的差值超过阈值ε₁或背景块的权重为0时，执行第六步；否则执行第三步；

第六步：比较当前块内的像素与背景帧对应块内的像素，当像素差值超过阈值ε₃的像素个数超过了块内像素个数的一半时，执行第七步；否则执行第三步；

第七步：将原图像I中的像素值与背景对应的像素值的差值保存为前景当前景块连续且前后前景块的差值小于阈值ε₁时，前景块权重自增1，并加权平均前景块；

第八步：当块前景图像权重的值超过阈值ε₂时，用临时前景更新背景块背景和临时块背景α，并重置块背景权重为阈值ε₂；置临时前景γ为0；

第九步，将第七步得到的前景进行二值化处理，即为最终前景结果，保存当前帧号为前景终点ω_s,t；

第十步，重复执行第三到第九步，直到视频内所有帧图像处理完毕，即提取得到视频前景。

2.如权利要求1所述基于监控视频的视频前景提取方法，其特征是，第一步所述将图像I表示为矩阵块图像I′，具体执行如下操作：

首先将图像I灰度化并计算积分图；

再通过积分图计算不同大小块内像素的加和，代表块内的所有像素，得到代替原图像的具有更小维度的图像矩阵块图像I′。

3.如权利要求1所述基于监控视频的视频前景提取方法，其特征是，设定块的大小为p*q；ε₁为表示块之间差值的阈值；阈值ε₃为像素之间的差值的阈值；设置

4.如权利要求1所述基于监控视频的视频前景提取方法，其特征是，阈值ε₂取值为15。

5.如权利要求1所述基于监控视频的视频前景提取方法，其特征是，阈值ε₃取值为30。

6.如权利要求1所述基于监控视频的视频前景提取方法，其特征是，第八步所述用临时前景更新背景块背景和临时块背景α，具体通过如下公式计算：

式11中，为背景；s、t分别表示对应新矩阵的行与列；γ表示临时前景；为块背景；α为临时块背景；ψ为背景块权重；为前景块权重。