CN110490894A

CN110490894A - 基于改进的低秩稀疏分解的视频前背景分离方法

Info

Publication number: CN110490894A
Application number: CN201910744766.3A
Authority: CN
Inventors: 杨真真; 范露; 杨震; 桂冠
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University
Priority date: 2019-08-09
Filing date: 2019-08-09
Publication date: 2019-11-22
Anticipated expiration: 2039-08-09
Also published as: CN110490894B

Abstract

本发明公开了一种基于改进的低秩稀疏分解(LRSD)的视频前背景分离方法。在观测的视频数据中，帧与帧之间的背景有较强的相关性可以将其看作低秩矩阵，而前景目标呈现出与背景不同的运动形式，可以被认为是低秩矩阵中的异常点且通常只占整个背景中的一小部分，符合稀疏特性。因此，在LRSD中认为视频数据是由具有低秩特性的背景和稀疏特性的前景构成的。本发明采用广义核范数和拉普拉斯尺度混合来构建一个低秩稀疏分解模型，然后采用交替方向乘子法来求解该模型，得到低秩矩阵和稀疏矩阵，从而完成视频的前背景分离。本发明解决了现有低秩稀疏分解方法中对秩函数和稀疏度函数近似表达不准确的问题，提高了基于低秩稀疏分解的视频前背景分离方法的性能。

Description

基于改进的低秩稀疏分解的视频前背景分离方法

技术领域

本发明属于计算机视觉领域，特别涉及一种基于改进的低秩稀疏分解的视频前背景分离方法。

背景技术

视频前背景分离是计算机视觉等领域最重要和最具挑战性的任务之一，其目的是保留背景模型并将当前视频的前景和背景进行分离。这是视频处理的关键步骤之一，因为干净的前景和背景对于许多任务非常重要，并且它们的性能直接影响目标跟踪、目标识别等后续处理。在实际应用中，背景不可避免地受到诸如噪声、光照变化和相机抖动等环境因素的影响，甚至在例如水波和摇曳的树木等环境下，背景本身也是动态的，因此，视频前背景分离一直是计算机视觉等领域最具挑战性的问题之一。

视频前背景分离的基本操作是将移动目标的前景与静态信息的背景进行分离。背景建模是视频前背景分离的主流方法。目前，背景建模主要分为三类。第一种类型是基于像素级的背景建模，这是一种基于单个像素的独立建模方法，但容易产生错误检测；第二种是基于深度学习的背景建模，但都是基于监督学习的，需要大量的训练数据，并且需要很高的样本和繁琐的标记；第三种方法是基于图像级的背景建模，低秩稀疏分解(Low-Rank andSparse Decomposition,LRSD)也被称为鲁棒主成分分析法(Robust Principalcomponents analysis,RPCA)是这种背景建模法中最重要的方法之一。该方法认为，视频帧与帧之间的背景有较强的相关性，具有低秩性，而前景目标呈现出与背景不同的运动形式，所以可以被认为是低秩矩阵的异常点且通常只占整个背景中的一小部分，符合稀疏特性。因此，这种视频背景建模方法只需要进行矩阵分解，同时矩阵分解机制不需要初始化训练，也不需要繁琐地标记样本，可以充分利用视频的先验信息，同时完成视频的背景建模和前景检测任务。因此，基于低秩稀疏分解的视频背景建模方法是近年来的研究热点。

低秩稀疏分解问题被认为是从一个具有稀疏误差的已知数据矩阵中恢复低秩矩阵，该模型的格式如下：

其中，L∈R^m×n是低秩矩阵，S∈R^m×n是稀疏矩阵，M∈R^m×n是已知的数据矩阵，rank(L)是L的秩函数，||S||₀是S的l₀范数，表示S中非零元素的个数，λ＞0是折中因子。

然而，该模型非凸且是NP难问题，一般不易求解。因此，研究者们通常考虑使用近似方法来解决这个问题。在经典的低秩稀疏分解方法中，通常用核范数近似秩函数，用l₁范数逼近l₀范数。因此将上述非凸低秩稀疏分解模型转换为如下的凸模型即主成分追踪(principal component pursuit，PCP)模型。

其中||·||_*表示核范数，即矩阵奇异值之和，||·||₁表示l₁范数，即矩阵所有元素绝对值之和。该模型可以在对背景进行建模的同时能够分离出前景目标，该模型对于简单场景下的视频数据可以很好的检测出运动目标，但对于复杂场景有时会出现误检。

目前，许多基于低秩稀疏分解的视频前背景分离方法主要利用核范数对秩函数进行凸近似，尽管核范数被广泛用于低秩稀疏分解模型，但由于它平等的处理所有奇异值，所以并不是秩函数的最佳逼近。因此，这些方法的前背景分离的准确度并不高，另外，正则化参数的影响非常大，并且该参数难以调整。这些都在一定程度上影响了视频前背景分离的准确度。

发明内容

为了克服上述现有技术的不足，本发明提供了一种对秩函数的近似表达刻画更加准确，还利用拉普拉斯尺度混合来逼近稀疏矩阵，并自适应地从被已知数据中获得正则化参数的非凸低秩稀疏分解方法，将其用于视频的前背景分离，提高了视频前背景分离的准确度。

本发明是通过以下技术方案实现的：

(1)构建低秩稀疏分解模型，包括以下步骤：

a.将l₀范数一般形式的非凸代理函数扩展到低秩矩阵的奇异值中，并利用广义核范数来逼近秩函数；

b.稀疏矩阵的拉普拉斯尺度混合建模；

c.构建基于广义核范数(Generalized Nuclear Norm，GNN)和拉普拉斯尺度混合(Laplacian Scale Mixture，LSM)的GNN-LSM模型；

d.对步骤c建立的GNN-LSM模型中的奇异值阈值，利用广义奇异值阈值对其进行代替；

(2)利用构建的低秩稀疏分解模型，输入待处理视频数据，利用交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)对GNN-LSM模型进行求解，进而完成对视频的前景与背景进行分离。

与现有技术相比，本实施例具有以下有益效果：

本发明的视频前背景分离方法关注的是解决现有方法中对秩函数的近似表达刻画不准确以及在低秩稀疏分解模型中正则化参数难以选择的问题。本发明将l₀的非凸代理函数扩展到奇异值来近似秩函数，对秩函数进行更准确的刻画；并采用拉普拉斯尺度混合来逼近稀疏矩阵，并能够自适应的从观测数据中获得正则化参数；然后利用广义奇异值阈值来求解非凸秩最小化问题；最后采用交替方向乘子法对提出的基于广义核范数和拉普拉斯尺度混合的低秩稀疏分解模型进行求解得到最终的视频前背景分离结果。

本发明提出的模型提取的前景目标无论是从视觉效果，还是从F-measure值都优于其他模型提取的前景目标，此外本发明与其他算法相比能够分离出更加干净的背景。

附图说明

图1为具体实施例中基于广义核范数和拉普拉斯尺度混合的稀疏低秩分解方法和其他方法提取出的视频前景的仿真实验结果对比图，其中图1(a)为原始图像；图1(b)为实际前景；图1(c)为本发明所提出方法提取的视频前景；图1(d)为NNWNN(NonconvexNonsmooth Weighted Nuclear Norm)提取的视频前景；图1(e)为GoDec(GoDecomposition)提取的视频前景；图1(f)为TNN(Truncated Nuclear Norm)提取的视频前景；图1(g)为PCP提取的视频前景。

图2具体实施例中基于广义核范数和拉普拉斯尺度混合的低秩稀疏分解方法与其他方法分离出的视频背景的仿真实验结果对比图，其中图2(a)为本发明所提出模型分离出的视频背景；图2(b)为NNWNN分离出的视频背景；图2(c)为GoDec分离出的视频背景；图2(e)为TNN分离出的视频背景；图2(f)为PCP分离出的视频背景。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

本发明的视频前背景分离方法关注的是解决现有方法中对秩函数和稀疏矩阵近似表达刻画不准确以及低秩稀疏分解模型中正则化参数难以选择的问题。本发明利将l₀的非凸代理函数扩展到奇异值来近似秩函数，对秩函数进行更准确的刻画，并采用拉普拉斯尺度混合来逼近稀疏矩阵，而且能够从观测数据中自适应的获得正则化参数；然后利用广义奇异值阈值来求解非凸秩最小化问题；最后用交替方向乘子法对提出的基于广义核范数和拉普拉斯尺度混合的低秩稀疏分解模型进行求解得到最终的视频前背景分离结果。

为了提高对秩函数和稀疏矩阵表达的精确度，并避免正则化参数难以调整的问题，本发明提出一种基于改进的低秩稀疏分解的视频前背景分离方法，具体包括以下步骤：

由于低秩性是稀疏性在矩阵奇异值上的延伸，所以可以考虑将l₀范数的非凸代理函数应用于低秩矩阵的奇异值。利用对数惩罚来逼近低秩稀疏分解额的秩函数比其他非凸代理函数具有更好的性能。对数惩罚公式如下：

S_j＝Λ_jΘ_j(j＝1，2，…，mn)分布是拉普拉斯尺度混合(LSM)分布，其中Λ_j是尺度为1的拉普拉斯分布，即并且乘子变量Θ_j是一个正的随机变量，其分布为P(Θ_j)。拉普拉斯尺度混合对稀疏系数建模非常有效。对于给定参数Θ_j，随机变量S_j的条件分布为是具有尺度为Θ_j的拉普拉斯分布。因此，分布P(S)是具有不同尺度的拉普拉斯分布的连续混合。假设S_j是独立同分布的(i.i.d.)，并且Λ_j和Θ_j是相互独立的，可以得到S_j的拉普拉斯尺度混合模型如下：

并且通常，对于大多数的P(Θ_j)，P(S_j)没有具体的解析表达式，因此很难用MAP计算S，但是可以通过利用P(S，Θ)的联合先验来避免这个问题。

在LSM中有S＝ΛΘ，其中Λ＝diag(Λ_i)(j＝1，2，…，mn)。对于稀疏先验P(Θ)，利用独立同分布的无信息Jeffrey先验有值得注意是的Jeffrey的先验是不稳定的，为了数值的稳定性，给P(Θ_j)加入一个很小的常数ε，得到根据MAP估计，可以得到以下目标函数：

基于核范数的低秩稀疏分解方法通过l₁范数来逼近稀疏矩阵，把S看成一个尺度为ζ，均值为零的拉普拉斯分布，即根据MAP估计，可以得到以下目标函数：

其中参数λ是S的尺度的倒数，和S密切相关，一般很难选择。

由此得到由拉普拉斯尺度混合表示的l₁范数，其格式如下：

基于上述所述，本发明提出了一个基于广义核范数和拉普拉斯尺度混合的低秩稀疏分解模型，其格式如下所示：

为了解决非凸低秩最小化问题，Lu等人提出了的广义的奇异值阈值算子来解决此问题，它的定义如下：

将σ₁(L)≥σ₂(L)≥...≥σ_min(m，n)(L)≥0表示为L的奇异值，则得到如下格式：

对于任何有下界的函数g，它的近端算子Prox_g(·)是单调的。因此上式等价于为对于每个x＝σ_i(L)和b＝σ_i(B)，i＝1，2，...，min(m，n)求解以下问题，对于任何下界函数g，其中Prox_g(b)逐元素定义如下：

其最优解为或

最后本发明利用交替方向乘子法对所获得的低秩稀疏分解模型进行求解，该问题的增广拉格朗日函数如下：

其中μ＞0是罚参数，Y是拉格朗日乘子，<·>表示矩阵内积。

首先，固定Λ，Θ，Y和μ并更新L。得到L^k+1的最小化问题如下：

通过GSVT算子解决以上问题。

其中的定义为U^k和v^k由矩阵通过奇异值分解得到的。

其次，固定L，Λ，Y和μ并更新Θ。得到Θ^k+1的最小化问题如下：

因此对于Θ的每个元素Θ_j能够通过如下的标量最小化问题进行求解：

其中，并且该问题的闭式解可以通过获得，其中为上述问题的目标函数，于是有：

其中Θ_j，1，Θ_j，2为f(Θ_j)的两个驻点，具体表示如下：

最后，固定L，Θ，Y和μ并更新Λ，得到Λ^k+1的最小化问题如下：

对于Λ的每个元素Λ_j能够通过求解如下的标量最小化问题：

其中ε是个非常小的数被用来保持数值稳定。上述问题有如下闭式解：

其中表示软阈值算子，

最后，利用更新乘子Y和罚参数μ，其更新格式如下：

Y^k+1＝Y^k-μ_k(L^k+1+Λ^k+1Θ^k+1-M)

μ_k+1＝min(ρμ_k，μ_max)

其中ρ＞1是放大因子。

综上所述，采用的交替方向乘子法求解低秩稀疏分解模型的算法步骤如下：

①初始化：给定λ＞0，μ₀＞0，μ_max＞μ₀，ρ＞1，初始点：L⁰＝0，Θ⁰＝0，Λ⁰＝0，迭代索引k＝0；

②通过来更新L，其中表示广义奇异值阈值算子；

③通过来更新Θ，其中Θ_j，1，Θ_j，2为f(Θ_j)的两个驻点；

④通过来更新Λ，其中表示软阈值算子，且

⑤通过Y^k+1＝Y^k-μ_k(L^k+1+Λ^k+1Θ^k+1-M)来更新Y，其中Y是乘子，μ是惩罚因子；

⑥通过μ_k+1＝min(ρμ_k，μ_max)来更新μ，其中μ是惩罚因子。min(·)表示最小值，ρ＞1是放大因子；

⑦满足终止条件终止或设置k＝k+1并返回步骤②。

其中，λ表示折中因子；μ₀表示初始惩罚因子；μ_max表示惩罚因子的最大值；ρ表示放大因子，用来放大惩罚因子μ；L⁰表示低秩矩阵的初始值；Θ⁰表示拉普拉斯尺度参数的初始值；Λ⁰表示尺度为1的拉普拉斯分布；M表示输入的数据矩阵；Y⁰表示乘子的初始化；S^k表示第k次迭代获得的稀疏矩阵；Ψ_j表示f(Θ_j)的驻占.表示各项系数；α_j表示软阈值算子的阈值；ε表示一个非常小的值。

为了验证提出模型的有效性，将该模型应用于视频前背景分离，并将与其他模型所得结果进行比较。

为了验证提出的GNN-LSM方法在视频前背景分离的效果，将它和其他几种利用低秩稀疏分解方法来恢复稀疏前景和低秩背景部分的方法进行比较，选取NNWNN、GoDec、TNN和PCP方法进行对比。用于视频前背景分离时，提出的GNN-LSM方法参数设置如下：ρ＝1.5，μ_max＝10⁷μ₀，γ＝0.001和τ＝300||M||_∞。选取八组不同的视频作为测试对象：Backdoor，BusStation，Highway，Office，PETS2006，Library，Corridor和Watersurface。

随机选取Backdoor的第1661帧、BusStation的第1068帧、Highway的第684帧、Office的第674帧、PETS2006的第978帧，Library的第955帧、Corridor的第634帧和WaterSurface的第1523帧，实验结果如图1所示。

由图1中可以看出，GNN-LSM方法进行视频前背景分离的前景对象结构更加完整，并且对象轮廓比NNWNN、GoDec、、TNN和PCP方法更清晰。在GoDec算法分离的结果中，例如WaterSurface、Library和Corridor视频段，可以看出GoDec方法提取的对象周围存在大量误检。因此，GoDec方法提取视频前景精度不高。此外，根据Office和Corridor视频的分离结果，可以清楚地看到TNN和PCP方法无法提取前景，因此，它们无法准确地分离出这些视频中的前景对象。总之，与NNWNN、GoDec、TNN和PCP方法相比，所提出的GNN-LSM方法在视频前背景分离上具有更好的性能。

为了进一步说明所提方法在视频前背景分离方面的优越性，以WaterSurface为例，不同方法的5个连续帧(从第1500帧到第1504帧)的背景分离结果如图2所示。在图2中可以清楚的看到，与其他四种方法相比所提出的GNN-LSM方法能够分离出更加干净的背景。

结合图1和图2，在视频前背景分离上，所提出的GNN-LSM方法优于其它基于低秩稀疏分解的方法。

为了进一步定量验证所提出的GNN-LSM方法的优越性，采用F-measure值作为定量衡量指标，衡量视频的前背景分离效果。F-measure值的定义(表示为F)如下：

其中为召回率，为准确率。其中P_T是被正确判定为前景的像素数目，P_F是被错误判定为前景的背景像素数目，N_F是被误判为背景的前景像素数目。F-measure值是评估视频前背景分离结果准确度的评价指标，综合考虑了召回率和精确率的性能评价指标，其值范围介于0和1之间，F-measure值越高，分离效果越好。表1中列出了对于不同的方法，8个视频分离结果的F-measure值。

表3前景分离目标的F-measure值

methods	GNN-LSM	NNWNN	GoDec	TNN	PCP
						Backdoor	0.4017	0.3963	0.3849	0.3628	0.3857
BusStation	0.6780	0.6618	0.5929	0.5648	0.6690
						Highway	0.7368	0.7263	0.7243	0.6169	0.7161
Office	0.7858	0.5568	0.6357	0.4870	0.6122
						PETS2006	0.6882	0.5253	0.6519	0.4353	0.6727
Library	0.9155	0.8316	0.5460	0.8191	0.4690
						Corridor	0.8551	0.7402	0.6012	0.6187	0.4345
Watersurface	0.8353	0.3082	0.7288	0.3783	0.4895

由表3可以看出，GNN-LSM的所有F-measure值都高于其他四种方法的F-measure值。以Backdoor的视频为例，GNN-LSM方法的F-measure值高于第二高的F-measure值0.0054。对于Library的视频，GNN-LSM方法的F-measure值高于第二高F-measure值0.084。对于WaterSurface的视频，GNN-LSM方法的F-measure值高于第二高的F-measure值0.1065。比较这些视频前背景分离的结果，从F-measure值方面来看，可以发现提出的GNN-LSM方法优于其他方法。因此，提出的GNN-LSM方法对视频前背景分离具有更好、更稳定的性能，该结果也与图1和图2的视觉效果一致。

Claims

1.基于改进的低秩稀疏分解的视频前背景分离方法，其特征在于，包括如下步骤：

步骤1：构建低秩稀疏分解模型，包括如下步骤：

步骤1.1：将l₀范数一般形式的非凸代理函数扩展到低秩矩阵的奇异值中，并利用广义核范数来逼近秩函数；

步骤1.2：稀疏矩阵的拉普拉斯尺度混合建模；

步骤1.3：构建基于广义核范数和拉普拉斯尺度混合的GNN-LSM模型；

步骤1.4：对步骤1.3建立的GNN-LSM模型中的奇异值阈值，利用广义奇异值阈值对其进行代替；

步骤2：将待处理视频保存为一个大小为R^m×n的二维矩阵M，其中m为视频帧的长宽积，n为视频所含的帧数；利用交替方向乘子法对GNN-LSM模型求解，得到低秩矩阵L和稀疏矩阵S，低秩矩阵L和稀疏矩阵S分别为待处理视频的背景和前景。

2.根据权利要求1所述的基于改进的低秩稀疏分解的视频前背景分离方法，其特征在于，步骤1.1中，所述广义核范数为对数惩罚，对数惩罚公式如下：

其中σ_i(L)表示L的第i个奇异值，τ和γ均是大于零的参数。

3.根据权利要求1所述的基于改进的低秩稀疏分解的视频前背景分离方法，其特征在于，步骤1.2中，稀疏矩阵的拉普拉斯尺度混合模型为：：

其中，Λ_j是尺度为1的拉普拉斯分布，即乘子变量Θ_j是一个正的随机变量，其分布为P(Θ_j)；ε表示一个非常小的值；j＝1,2,···,mn。

4.根据权利要求1所述的基于改进的低秩稀疏分解的视频前背景分离方法，其特征在于，步骤1.4中，GNN-LSM模型为：

s.t.M＝L+ΛΘ

对GNN-LSM模型中的奇异值阈值利用广义奇异值阈值对其进行代替的具体步骤如下：

的广义的奇异值阈值算子的定义如下：

设σ₁(L)≥σ₂(L)≥...≥σ_min(m,n)(L)≥0表示L的奇异值，则上式可以转化为如下格式：

对于任意有下界的函数g，它的近端算子Prox_g(·)是单调的，令x＝σ_i(L)和b＝σ_i(B)，i＝1,2,...,min(m,n)，因此上式等价于求解如下问题，其中Prox_g(b)逐元素定义为：

其最优解为或

5.根据权利要求4所述的基于改进的低秩稀疏分解的视频前背景分离方法，其特征在于，步骤2中，利用交替方向乘子法对GNN-LSM模型求解，得到低秩矩阵L和稀疏矩阵S的具体步骤如下：

①初始化：给定λ＞0,μ₀＞0,μ_max＞μ₀,ρ＞1，初始点：L⁰＝0,Θ⁰＝0,Λ⁰＝0,迭代索引k＝0；

②通过来更新L，其中表示广义奇异值阈值算子；

③通过来更新Θ，其中Θ_j,1,Θ_j,2为f(Θ_j)的两个驻点；

④通过来更新Λ，其中表示软阈值算子，且

⑥通过μ_k+1＝min(ρμ_k,μ_max)来更新μ，其中μ是惩罚因子。min(·)表示最小值，ρ＞1是放大因子；

⑦满足终止条件终止或设置k＝k+1并返回步骤②；

其中，λ表示折中因子；μ₀表示初始惩罚因子；μ_max表示惩罚因子的最大值；ρ表示放大因子，用来放大惩罚因子μ；L⁰表示低秩矩阵的初始值；Θ⁰表示拉普拉斯尺度参数的初始值；Λ⁰表示尺度为1的拉普拉斯分布；M表示输入的数据矩阵；Y⁰表示乘子的初始化；S^k表示第k次迭代获得的稀疏矩阵；Ψ_j表示f(Θ_j)的驻点；表示的各项系数；α_j表示软阈值算子的阈值；ε表示一个非常小的值。