CN102821228A - 低秩的视频背景重构方法 - Google Patents

Abstract

本发明公开了一种低秩的视频背景重构方法，主要解决现有技术在对视频图像序列进行背景重建时，不能清晰可靠地重构视频背景图像的问题。其实现过程为：首先对输入的待处理视频X进行低秩分解，得到初始背景估计图像G_L，然后检测待处理视频X中的目标区域，将目标区域的像素值全部置0，设定待处理视频X中的第一幅图像为参考图像，利用其他图像的像素值对参考图像中的目标区域进行填充，得到背景估计图像G，最后利用初始背景估计图像G_L的灰度值对背景估计图像G中未填充完全的目标区域进行替换，得到最终的背景图像。本发明在对视频序列进行背景重构时，能够获得清晰可靠的背景图像，适用于各种背景固定的视频序列的背景重构。

Description

低秩的视频背景重构方法

技术领域

本发明属于图像处理技术领域，涉及视频背景重构，具体地说是一种对视频序列中的背景进行重构的方法，可用于各种背景变化较小的视频进行背景重建。

背景技术

视频背景重构是视频处理领域中非常重要又富有挑战性的研究内容，通过无偏差地重构出视频的背景图像，可以精确地检测视频中的运动目标，实现视频的实时监控和目标定位。目前国内外针对视频的背景重构方面做了大量的研究工作，提出许多经典的算法。

传统的背景重构算法包括均值滤波方法、中值滤波方法、众数滤波方法、连续帧差法等。这些方法计算量小，原理简单，已经被广泛地应用到视频背景重构上，但是这些方法在重构的过程中由于混杂了大量的前景像素，无法精确地重构出背景图像，限制了这些传统的背景重构方法在实际中的应用。

针对上述传统的视频背景重构方法效果较差，在实际应用中不能很好地实现的问题，目前国际上提出了一些改进上述缺点的视频背景重构算法。如，C.Stauffer和W.Grimson提出一种自适应的混合高斯模型方法，是视频背景重构中非常经典的算法，具体参见《Adaptive background mixture models for real-time tracking》In Proc.IEEEConference on Computer Vision and Pattern Recognition.1999,pp.246-252。这种方法是利用K个高斯分布函数对各个像素点的灰度进行建模，并采用自适应的方法调整模型参数，对背景图像进行更新，此算法对视频中光照变化的适应性良好，适用于户外的视频背景重构，但是运算复杂度太大，实时性较差；此后，Emmanuel J等人提出利用低秩分解的方法进行视频背景重建，具体参见文献《Robust Principal ComponentAnalysis》，Journal of the ACM，2009。通过对待处理视频进行低秩分解，可获得待处理视频的背景图像。这种方法速度快，实时性强，且可以获得可信的背景图像，但是基于低秩分解的方法获取的背景图像，存在前景目标运动后留下的阴影，重构的背景图像比较模糊，缺少细节信息。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种低秩的视频背景重构方法，以补充更多的细节信息，提高重构的背景图像清晰度。

实现本发明目的的技术方案包括如下步骤：

(1)输入待处理视频，从待处理的视频中抽取大小均为m×n的200张连续的图像序列x_i,i＝1,...,200；

(2)对抽取的图像序列xi进行中值滤波，得到滤波后的图像序列

(3)将经过中值滤波的图像序列

全部拉成列，按照i＝1,...,200的顺序排列组成高维数据X∈R^(m×n)×200，其中R^(m×n)×200表示行数为m×n，列数为200的2维整数型矩阵；

(4)通过低秩分解算法对高维数据X进行低秩分解，得到高维数据X的背景矩阵L∈R^(m×n)×200和前景矩阵S∈R^(m×n)×200，其中背景矩阵L表示视频序列中各个图像序列的背景图像，前景矩阵S表示视频序列中各个图像序列的前景目标提取图像；

(5)利用matlab软件中的reshape函数，将背景矩阵L中的每一列还原成大小为m×n的图像，得到200幅背景图像l_i，i＝1,2,...,200；

(6)按以下公式对200幅背景图像l_i求均值，得到初步的背景估计图像G_L：

$G_L=\frac{1}{200}\underset{i=1}{\overset{200}{\mathrm{\Σ}}}{l}_i,$

(7)利用matlab软件中的reshape函数，将前景矩阵S中的每一列还原成大小为m×n的图像，得到200幅前景图像s_i，i＝1,2,...,200；

(8)查找200幅前景图像s_i中的目标区域：

8a)利用sobel边缘检测算子检测前景图像s_i的边缘，得到s_i的边缘图像

8b)利用形态学闭运算，将边缘图像

中相近但不连续的边缘连接起来，形成若干个互相独立的封闭区域a_i ^b，b＝1,...,K，K表示获得的封闭区域的总数量；

8c)设定阈值T=500，判断封闭区域a_i ^b，b＝1,...,K的面积是否大于给定阈值T，如果大于，则设定该封闭区域为目标区域a_i ^q，并记录目标区域的坐标位置为

其中q＝1,...,Q，Q表示检测到的目标区域的总数，且Q＜K；

8d)设置标记i＝i+1，判断是否满足条件i＞200，如果满足，则执行步骤(9)，否则返回步骤8a)；

(9)将图像序列

中坐标位置为

的目标区域的像素点全部置0，得到图像序列

(10)设图像序列中的第一幅图像为参考图像

利用其他图像序列

的像素值，替换参考图像中像素为0的目标区域

替换后的参考图像即获得的背景估计图像G；

(11)查看背景估计图像G中是否存在像素值为0的区域，如果存在，则用步骤(5)获得的初始视频背景估计G_L相应位置的像素值替换背景估计图像G中像素为0的区域，如果不存在，则背景估计图像G即为最终获得的清晰背景图像G^*。

本发明在低秩分解方法的基础上引入视频图像序列背景信息的互补性，与传统的低秩分解方法相比，消除了目标运动后留下的阴影，补充了更多的细节信息，提高重构的背景图像清晰度。仿真实验表明，本发明能有效的重构视频背景图像，增加图像的细节信息，使重构的背景图像更加清晰可信。

附图说明

图1是本发明的流程图；

图2是本发明在仿真实验中应用的视频图像序列的第1幅图像；

图3是本发明在仿真实验中应用的视频图像序列的第30幅图像；

图4是本发明在仿真实验中得到的视频背景重构图像；

图5是现有的基于混合高斯模型的方法在仿真实验中得到的视频背景重构图像；

图6是现有的基于低秩分解的方法在仿真试验中得到的视频背景重构图像。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，输入待处理的视频，从待处理视频中抽取大小均为m×n的200幅连续图像序列x_i,i＝1,...,200，其中图2为抽取的第1幅图像x₁，图3为抽取的第30幅图像x₃₀，利用大小为3×3的中值滤波窗口对图像序列x_i进行滤波，得到滤波后的图像序列

步骤2，将滤波后的图像序列

全部拉成列，按照i＝1,...,200的顺序排列组成高维数据X∈R^(m×n)×200，其中R^(m×n)×200表示行数为m×n，列数为200的2维整数型矩阵。

步骤3，利用低秩分解算法对高维数据X∈R^(m×n)×200进行低秩分解，得到X的背景矩阵L∈R^(m×n)×200和前景矩阵S∈R^(m×n)×200。

上述中利用低秩分解算法对高维数据X∈R^(m×n)×200进行低秩分解，是通过现有的低秩分解方法实现的，该方法是由Emmanuel candes和Yi Ma等人于2009年提出的，参见文献《Robust Principal Component Analysis》Computing Research Repository-CORR,vol.abs/0912.3,2009，具体操作如下：

3a)初始化迭代次数t=0，迭代误差ε为0.0001；

3b)设t=t+1，利用matlab软件中的randn函数生成随机高斯矩阵A，按照如下公式得到3个中间变量矩阵：

G₁＝X×A，G₂＝X^T×G₁，G₃＝X×G₂；

3c)计算第t次迭代中的背景矩阵L_t和前景矩阵S_t：

L_t＝G₃×(G₁ ^T×G₃)^-1G₂ ^T，

S_t＝P_Ω|X-L_t|，

其中(·)^T操作表示矩阵转置操作，(·)^-1表示矩阵求逆操作，P_Ω(·)表示取(·)中最大的前Ω个数值，本发明中Ω取30000；

3d)判断下述条件是否成立：其中

表示矩阵2范数的平方；如果判断成立，则停止迭代，并将矩阵L_t设为所求的背景矩阵L，矩阵S_t设为所求的前景矩阵S，否则返回步骤3b)。

步骤4，根据背景矩阵L获得200幅背景图像，对其求均值得到初步的背景估计图像G_L。

4a)利用matlab软件中的reshape函数，将背景矩阵L中的每一列还原成大小为m×n的图像，得到200幅背景图像l_i，i＝1,2,...,200；

4b)按以下公式对200幅背景图像l_i求均值，得到初步的背景估计图像G_L：

$G_L=\frac{1}{200}\underset{i=1}{\overset{200}{\mathrm{\Σ}}}{l}_i.$

步骤5，根据前景矩阵S获得200幅前景图像，并查找200幅前景图像中的目标区域。

5a)利用matlab软件中的reshape函数，将前景矩阵S中的每一列还原成大小为m×n的图像，得到200幅前景图像s_i，i＝1,2,...,200，初始化i＝1；

5b)利用sobel边缘检测算子检测前景图像s_i的边缘，得到s_i的边缘图像

5c)利用形态学闭运算，将边缘图像

中相近但不连续的边缘连接起来，形成若干个互相独立的封闭区域a_i ^b，b＝1,...,K，K表示获得的封闭区域的总数量；

5d)设定阈值T=500，判断封闭区域a_i ^b，b＝1,...,K的面积是否大于给定阈值T，如果大于，则设定该封闭区域为目标区域a_i ^q，并记录目标区域的坐标位置为

其中q＝1,...,Q，Q表示检测到的目标区域的总数，且Q＜K；

5e)设置标记i＝i+1，判断是否满足条件i＞200，如果满足，则执行步骤6，否则返回步骤5b)。

步骤6，将图像序列

中坐标位置为

的目标区域的像素点全部置0，得到图像序列

步骤7，设图像序列

中第一幅图像为参考图像

利用其他图像序列

的像素值，替换参考图像

中像素为0的目标区域

替换后的参考图像即获得的背景估计图像G。

步骤8，查看背景估计图像G中是否存在像素值为0的区域，如果存在，则用步骤4获得的初始视频背景估计G_L相应位置的像素值替换背景估计图像G中像素为0的区域，如果不存在，则背景估计图像G即为最终获得的清晰背景图像G^*。

本发明的效果可以通过以下实验具体说明：

1．实验条件：实验所用微机的CPU为Intel Core2Duo2.33GHz，内存为2GB，编程平台为Matlab R2009a。实验所用到的视频资源来源于日本名古屋大学谷本实验室，网站地址：http://www.tanimoto.nuee.nagoya-u.ac.jp/，实验所用视频序列共有200幅图像，图像大小均为320×240。

2．实验内容和结果分析

本实验具体分为三个实验：

实验一：利用本发明对视频图像序列进行背景重构，结果如图4所示；

实验二：利用现有的基于混合高斯模型的方法对视频图像序列进行背景重构，结果如图5所示；

实验三：利用现有的基于低秩分解的方法对视频图像序列进行背景重构，结果如图6所示；

从图4可以看出，本发明的背景重构图像细节信息丰富，图像轮廓清晰，具备很好的视觉效果；

从图5可以看出，现有的基于混合高斯模型方法得到的重构结果图像含有噪声，图像边缘模糊，清晰度低，视觉效果很差；

从图6可以看出，现有的基于低秩分解的方法重构的视频背景图像边缘模糊，缺少细节信息，且存在目标运动后残留的阴影。

Claims (2)

1.一种低秩的视频背景重构方法，包括如下步骤：

(1)输入待处理视频，从待处理的视频中抽取大小均为m×n的200张连续的图像序列x_i,i＝1,...,200；

(2)对抽取的图像序列x_i进行中值滤波，得到滤波后的图像序列

(3)将经过中值滤波的图像序列

全部拉成列，按照i＝1,...,200的顺序排列组成高维数据X∈R^(m×n)×200，其中R^(m×n)×200表示行数为m×n，列数为200的2维整数型矩阵；

(4)通过低秩分解算法对高维数据X进行低秩分解，得到高维数据X的背景矩阵L∈R^(m×n)×200和前景矩阵S∈R^(m×n)×200，其中背景矩阵L表示视频序列中各个图像序列的背景图像，前景矩阵S表示视频序列中各个图像序列的前景目标提取图像；

(5)利用matlab软件中的reshape函数，将背景矩阵L中的每一列还原成大小为m×n的图像，得到200幅背景图像l_i，i＝1,2,...,200；

(6)按以下公式对200幅背景图像l_i求均值，得到初步的背景估计图像G_L：

$G_L=\frac{1}{200}\underset{i=1}{\overset{200}{\mathrm{\Σ}}}{l}_i,$

(7)利用matlab软件中的reshape函数，将前景矩阵S中的每一列还原成大小为m×n的图像，得到200幅前景图像s_i，i＝1,2,...,200；

(8)查找200幅前景图像s_i中的目标区域：

8a)利用sobel边缘检测算子检测前景图像s_i的边缘，得到s_i的边缘图像

8b)利用形态学闭运算，将边缘图像

中相近但不连续的边缘连接起来，形成若干个互相独立的封闭区域a_i ^b，b＝1,...,K，K表示获得的封闭区域的总数量；

8c)设定阈值T=500，判断封闭区域a_i ^b，b＝1,...,K的面积是否大于给定阈值T，如果大于，则设定该封闭区域为目标区域a_i ^q，并记录目标区域的坐标位置为

其中q＝1,...,Q，Q表示检测到的目标区域的总数，且Q＜K；

8d)设置标记i＝i+1，判断是否满足条件i＞200，如果满足，则执行步骤(9)，否则返回步骤8a)；

(9)将图像序列

中坐标位置为

的目标区域的像素点全部置0，得到图像序列

(10)设图像序列

中第一幅图像为参考图像

利用其他图像序列的像素值，替换参考图像

中像素为0的目标区域

替换后的参考图像即获得的背景估计图像G；

(11)查看背景估计图像G中是否存在像素值为0的区域，如果存在，则用步骤(5)获得的初始视频背景估计G_L相应位置的像素值替换背景估计图像G中像素为0的区域，如果不存在，则背景估计图像G即为最终获得的清晰背景图像G^*。

2.根据权利要求1所述的一种低秩的视频背景重构方法，其中步骤(4)所述的通过低秩分解算法对高维数据X进行低秩分解，实现步骤如下：

2a)初始化迭代次数t=0，迭代误差ε为0.0001；

2b)设t=t+1，利用matlab软件中的randn函数生成随机高斯矩阵A，按照如下公式得到3个中间变量矩阵：

G₁＝X×A，G₂＝X^T×G₁，G₃＝X×G₂；

2c)计算第t次迭代中的背景矩阵L_t和前景矩阵S_t：

L_t＝G₃×(G₁ ^T×G₃)^-1G₂ ^T，

S_t＝P_Ω|X-L_t|，

其中(·)^T操作表示矩阵转置操作，(·)^-1表示矩阵求逆操作，P_Ω(·)表示取(·)中最大的前Ω个数值，本发明中Ω取30000；

2d)判断下述条件是否成立：

其中表示矩阵2范数的平方；如果判断成立，则停止迭代，并将矩阵L_t设为所求的背景矩阵L，矩阵S_t设为所求的前景矩阵S，否则返回步骤2b)。

Images