CN109345563A - 基于低秩稀疏分解的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于低秩稀疏分解的运动目标检测方法，包括以下步骤：一是根据结构化分布的稀疏信号，构造具有重叠块结构的结构化稀疏诱导范数表达式；二是将上述的结构化稀疏诱导范数表达式扩展，得到应用于视频的最终结构化稀疏诱导范数表达式；三是将低秩稀疏分解算法中的稀疏部分S进一步分为动态背景E和前景运动目标F；四是结合上述结构化稀疏诱导范数表达式和稀疏部分的近一步划分，获得最终的低秩稀疏分解模型；五是对所获取的低秩稀疏分解模型求解，根据所求得解得到前景目标。本发明在前景目标检测上，特别是针对具有动态背景下的运动目标检测上，提取的前景目标无论是从视觉效果，还是从F‑measure值都优于其他模型提取的前景目标。

Description

基于低秩稀疏分解的运动目标检测方法

技术领域

本发明涉及一种运动目标检测方法，特别是涉及一种基于低秩稀疏分解的运动目标检测方法。

背景技术

运动目标检测的基本任务是将前景运动目标从观测的视频中提取出来，也就是视频前景和背景的分离。经典的视频前背景分离方法有光流法、帧差法和背景差分法。利用背景差分法的运动目标检测的基本思想是把视频序列中的当前帧和背景模型相比较，不同的部分就被认为是前景，因此在基于背景差分法的运动目标检测中背景建模就显得尤为重要。然而许多背景建模方法是基于像素级的，比如混合高斯模型、像素采样模型等等。由于这些建模方法是基于像素的，所以往往会忽略了像素点之间的联系，在处理一些复杂场景下的视频前背景分离时不能取得良好的分离效果。

低秩稀疏分解(Low-Rank and Sparse Decomposition,LRSD)在计算机视觉等众多领域都有广泛应用，运动目标检测是其典型的应用之一，它可以同时完成前背景分离，实现背景建模和前景运动目标提取。在观测视频中帧与帧之间的背景有较强的相关性，可以将其近似的看作低秩矩阵。而前景目标呈现出与背景不同的运动样式，所以可以被认为是低秩矩阵中的误差点或者异常点，而且运动目标通常只占整个背景中的一小部分，符合误差图像的稀疏性。因此低秩稀疏分解模型认为观测的视频数据可以分为具有低秩特性的背景和稀疏特性的前景，低秩成分可以较好地对背景进行建模，而稀疏部分则可以有效地分离出运动目标。

低秩稀疏分解方法不断被应用到运动目标检测中，由Candes等人提出了如下经典的低秩稀疏分解模型：

其中λ＞0是正则化参数，rank(·)表示秩函数，||·‖₀表示l₀范数，即矩阵的非零元素的个数。M表示观测的视频矩阵，L为低秩矩阵表示背景，S为稀疏矩阵表示观测视频数据中的运动目标。由于上述模型是NP-hard问题，不易直接求解，将上式进行凸松弛得到如下的优化模型：

其中‖·||_*表示核范数，即矩阵奇异值之和，‖·‖₁表示l₁范数，即矩阵所有元素绝对值之和。该模型可以在对背景进行建模的同时能够分离出前景目标，通过实验结果可以表明该模型对于简单场景下的视频数据可以检测出运动目标。

在实际处理的视频中前景目标像素是具有时空信息和结构信息的，而在传统模型中是利用l₁范数去约束稀疏项的，所以导致其在运动目标检测中是将前景像素作为独立的像素点进行处理的，忽视了在真实视频中被视为运动目标的前景目标是具有潜在的时空信息和结构化分布特征的。此外，当检测场景具有复杂性时，背景会存在一定程度的运动变化，比如水纹、树叶晃动、光照变化等，可能导致背景像素被误判为前景点，对前景提取结果产生不同程度的干扰。

发明内容

发明目的：本发明提供了一种基于低秩稀疏分解的运动目标检测方法，解决了现有方法中忽略前景目标像素中时空信息和结构信息而导致的运动目标检测不完整，以及在复杂场景下动态背景容易误判为前景点，对前景提取结果产生干扰的问题。

技术方案：本发明所述的一种基于低秩稀疏分解的运动目标检测方法，包括以下步骤：第一步根据结构化分布的稀疏信号，构造具有重叠块结构的结构化稀疏诱导范数表达式；第二步将上述的结构化稀疏诱导范数表达式扩展，得到应用于视频的最终结构化稀疏诱导范数表达式；第三步将低秩稀疏分解算法中的稀疏部分S进一步分为动态背景E和前景运动目标F；第四步结合上述结构化稀疏诱导范数表达式和稀疏部分的近一步划分，获得最终的低秩稀疏分解模型；第五步对所获取的低秩稀疏分解模型求解，根据所求得解得到前景目标。

上述的重叠块结构的结构化稀疏诱导范数，其表达式为：

其中S是具有结构化分布的稀疏信号，S_j为S的第j个元素；‖·||_∞表示无穷范数，是所有元素的最大绝对值；η_g为每个组的权重，η_g>0。G为预先定义的组分布的集合，其中每一个组分布为g；S_g为组分布为g的S的子集。

G为采用的基于3×3像素大小重叠块的图结构，η_g＝1。

上述的扩展后的结构化稀疏诱导范数表达式为：

其中，S∈R^m×n是具有结构化分布的稀疏信号组成的矩阵，其第j列向量s_j∈R^m。

上述的低秩稀疏分解模型为：

其中M为原始视频数据，L为低秩矩阵表示背景，S表示由动态背景成分E和前景运动目标F组成的稀疏部分，λ₁、λ₂、λ₃为平衡相应项的权重的正数，Φ(F)为结构化稀疏范数。为了方便求解，可以将上述的低秩稀疏分解模型转化为下面的松弛问题：

为了得到更优的F-measure值，采用广义交替方向乘子法对所述的低秩稀疏分解模型进行求解，具体包括以下步骤：

(1)初始化:给定m行n列的观测矩阵M，设置初始参数λ₁＞0、λ₂＞0、λ₃＞0、μ₀＞0、μ_max＞μ₀和ρ＞1，初始点S₀＝0、E₀＝0、F₀＝0、和Y₀＝0,迭代次数k＝0；

(2)更新变量L:

(3)更新变量S:

(4)更新变量E:

(5)更新变量F:

(6)更新乘子X:X_k+1＝X_k-μ_k[αL_k+1+(1-α)(M-S_k+1)+S_k+1-M]；

(7)更新乘子Y:Y_k+1＝Y_k-μ_k[αE_k+1+(1-α)(S_k+1-F_k+1)+F_k+1-S_k+1]；

(8)更新变量μ:μ_k+1＝min(ρμ_k,μ_max)；

(9)算法终止条件为若满足终止条件，迭代终止，否则，令k＝k+1返回上述步骤(2)。

有益效果：本发明利用结构化稀疏诱导范数来保持前景目标结构的完整性，将传统模型中的稀疏部分进一步分为动态背景和前景目标，降低了视频中动态背景对前景提取结果的干扰，而且前景目标利用结构化稀疏诱导范数表保持了提取目标的完整性，因此，在前景目标检测上，特别是针对具有动态背景下的运动目标检测上，本发明提取的前景目标无论是从视觉效果，还是从F-measure值都优于其他模型提取的前景目标。

附图说明

图1是本发明的流程图；

图2是本发明与其他模型的仿真实验结果对比图。其中：图2(a)为原始图像；图2(b)为实际前景；图2(c)为PCP处理后的结果；图2(d)为DECOLOR处理后的图像；图2(e)为LSD处理后的结果；图2(f)为TVRPCA处理后的结果；图2(g)为本发明中所提出模型利用ADMM求解后得出的结果；图2(h)为本发明中所提出模型利用GADMM求解后得出的结果。

具体实施方式

本发明的运动目标检测方法关注的是基于低秩稀疏分解下的运动目标检测，因为结构化稀疏可以保持目标结构的完整性，所以本发明利用结构化稀疏将传统模型中的稀疏约束项修改成结构化稀疏诱导范数。为了降低视频中动态背景对最终获得结果的影响，将传统模型中的稀疏部分进一步分为动态背景和前景目标，前景目标利用结构化稀疏诱导范数表示。然后，使用广义交替方向乘子法对提出的低秩稀疏分解模型进行求解，得到最终的检测结果。

基于前景目标的结构化分布的特点，并且考虑到传统稀疏部分存在动态背景干扰成分，本发明提出了一种低秩稀疏分解模型对在复杂场景下的视频数据进行运动目标检测。由图1所示，本发明具体包括下面的步骤。

为了保持实际稀疏信号具有结构化分布的特点，采用重叠块结构的结构化稀疏诱导范数，其表达式如下：

其中S是具有结构化分布的稀疏信号，S_j为S的第j个元素；||·||_∞表示无穷范数，是所有元素的最大绝对值；η_g为每个组的权重，通常取1。G为预先定义的组分布的集合，其中每一个组分布为g；划分步骤如下：从数据矩阵最左上角开始，以一个m×n的像素块为大小的滑动窗口，每次滑动分别向右和向下移动一个像素，直至完成对所有像素的遍历。划分过程中产生的的重叠块为一个组，所有组的集合就为G。S_g为组分布为g的S的子集。在视频中的运动目标检测中，上述表达式相当于对一帧视频的结构化约束。||·||_∞代表的无穷范数对应于一组像素中的最大值，它会使类似的区域获得接近的最大值的值，保持同一对象内的像素具有类似值，因此可以保证目标的完整性。得到扩展后的结构化稀疏表达式如下：

其中，S∈R^m×n是具有结构化分布的稀疏信号组成的矩阵，其第j列向量s_j∈R^m。

本发明采用基于3×3像素大小重叠块的图结构。

给出视频数据M＝L+S，L为低秩矩阵表示背景，S为稀疏矩阵表示观测视频数据中的运动目标。考虑到实际视频中都会存在动态的背景成分，会产生一定噪声污染使得前景提取结果受到影响，降低检测结果的准确率。因此可以将传统模型中的稀疏部分S进一步分为动态背景E和实际前景目标F。综合以上步骤可以得到低秩稀疏分解模型为：

其中λ₁、λ₂、λ₃为平衡相应项的权重的正数，Φ(F)为结构化稀疏范数，由于上式不易求解可以转化为如下的松弛问题进行求解

为了求解以上模型，本发明利用广义交替方向乘子法对所获得的低秩稀疏分解模型进行求解。

以上模型的增广拉格朗日函数如下式所示：

其中X,Y是拉格朗日乘子，μ＞0是惩罚因子，＜·＞是矩阵内积。具体求解过程如下所示：

首先更新变量L：

利用奇异阈值收缩算子对变量L进行更新得到:

其中为的奇异值分解(Singular ValueDecomposition,SVD)，表示软阈值收缩算子。

其次更新变量S：

其中α∈(0,2)为松弛因子。利用软阈值收缩算子，对变量S进行更新，于是得到

再次更新变量E：

同样利用软阈值收缩算子可对变量E进行更新，得到如下迭代格式：

然后更新变量F：

上式中的形式为与结构化稀疏诱导范数相关联的临近算子，可通过求解二次最小费用流问题可以得到该算子的解。

最后更新乘子X和Y：

X_k+1＝X_k-μ_k[αL_k+1+(1-α)(M-S_k+1)+S_k+1-M]

Y_k+1＝Y_k-μ_k[αE_k+1+(1-α)(S_k+1-F_k+1)+F_k+1-S_k+1]

以及更新参数μ：

μ_k+1＝min(ρμ_k,μ_max)

综上所述，采用广义的交替方向乘子法求解低秩稀疏分解模型的算法步骤如下：

(1)初始化:给定m行n列的观测矩阵M，设置初始参数λ₁＞0、λ₂＞0、λ₃＞0、μ₀＞0、μ_max＞μ₀和ρ＞1，初始点S₀＝0、E₀＝0、F₀＝0、和Y₀＝0,迭代次数k＝0；

(2)更新变量L:

(3)更新变量S:

(4)更新变量E:

(5)更新变量F:

(6)更新乘子X:X_k+1＝X_k-μ_k[αL_k+1+(1-α)(M-S_k+1)+S_k+1-M]；

(7)更新乘子Y:Y_k+1＝Y_k-μ_k[αE_k+1+(1-α)(S_k+1-F_k+1)+F_k+1-S_k+1]；

(8)更新变量μ:μ_k+1＝min(ρμ_k,μ_max)；

若满足终止条件：迭代终止，否则，令k＝k+1返回步骤(2)。

当α＝1时，广义交替方向乘子法即为经典的交替方向乘子法。

为了验证提出模型的有效性，本发明分别对几段视频数据进行仿真实验，并将本发明的模型与PCP、DECOLOR、LSD、TVRPCA模型进行对比。

本发明采用CDnet提供的“canoe”,“fall”,“fountain01”以及I2R提供的数据集“watersurface”、“Hall”以及“Bootstrap”，共六段视频，并对他们进行对比试验，其实验对象如下所列：

“canoe”包含70帧(320×240)从in000822至in000891；

“fall”包含70帧(720×480)从in001459至in001528；

“fountain01”包含70帧(432×288)从in001100至in001169；

“watersurface”包含70帧(160×128)从WaterSurface1466至in001535；

“Hall”包含70帧(176×144)从airport1600至airport1669；

“Bootstrap”包含70帧(160×120)从b01800至b01869；

仿真试验中参数设置如下(根据具体视频适当调整λ的取值)，ρ＝1.5，μ_max＝10⁷，并采用F-measure作为性能评价指标。为了验证广义交替方向乘子法(GADMM)比经典的交替方向乘子法(ADMM)求解本发明中提出模型时具有优越性，仿真实验中也将两种求解情况下的结果进行了对比。

为了验证提出的模型的性能，对实验对象进行对比试验。实验结果分别如图2(a)至图2(h)所示。其中，图2(a)为原始图像；图2(b)为实际前景；图2(c)为PCP处理后的结果；图2(d)为DECOLOR处理后的图像；图2(e)为LSD处理后的结果；图2(f)为TVRPCA处理后的结果；图2(g)为本发明中所提出模型利用ADMM求解后得出的结果；图2(h)为本发明中所提出模型利用GADMM求解后得出的结果。

由图2中可以看出对于包含动态背景的视频，图2(c)的PCP模型不能对动态背景进行有效抑制，并且对提取结果产生严重干扰，存在大量误检；而图2(d)的DECOLOR模型得到的检测结果往往会将运动目标周围的背景区域误检为前景，对动态背景抑制效果较差；图2(f)的TVRPCA模型虽然可以较为有效的抑制动态背景的干扰，但从fountain01检测出的结果可以看出对于体积较小的运动目标时它提取的目标轮廓相对与其他方法而言不太完整，提取结果不太令人满意。图2(e)的LSD方法虽然对前景目标提取比较完整，但是在动态背景下不能对背景噪声进行有效抑制，因此它只能在简单场景下能得到较好的结果。而且本文方法相较于利用ADMM求解所得结果，GADMM所得到的结果，得到的前景目标更为完整，而且对动态背景抑制效果更好。由此可以看出本文方法相较于其他几种算法能够显著的去除动态背景的干扰，抑制大部分的背景噪声，同时能够准确的检测出前景目标，不仅对动态背景下的运动目标检测相比其他算法更为有效，而且即使在简单场景下，本文算法也能够精确的对前景目标进行提取。因此本文提出的方法性能更稳定，具有更好的普适性。

为了进一步定量的比较各种模型恢复不同实验对象的效果，并将本发明提出的低秩稀疏分解模型和PCP模型、DECOLOR模型、LSD模型、TVRPCA模型以及两种求解方式下所得结果进行了比较，其F-measure值如表1所示。

表1各个算法的F-measure值比较

实验对象	PCP	DECOLOR	LSD	TVRPCA	ADMM(α＝1)	GADMM
							canoe	0.2717	0.2837	0.4829	0.5843	0.6124	0.6333
fall	0.5861	0.6568	0.5880	0.6085	0.6896	0.6896
							fountain01	0.1315	0.1184	0.1313	0.1517	0.1589	0.1969
watersurface	0.7805	0.8542	0.7939	0.8638	0.8541	0.8778
							Hall	0.7729	0.6748	0.7426	0.7691	0.7934	0.8261
Bootstrap	0.7962	0.7668	0.8505	0.7920	0.8654	0.8654
							平均	0.5565	0.5591	0.5982	0.6282	0.6623	0.6815

综合表中数据，从模型来看，本发明在六段测试视频中都具有最高的F值，与具有第二高F值的模型相比，最高高出0.0532，最低高出0.014，由此可以看出本文模型与其他基于低秩稀疏分解的模型相比具有更好的有效性和优越性。从求解算法来看，采用广义的交替方向乘子法(GADMM)求解提出的模型的检测效果最好，与经典的交替方向乘子法(α＝1)相比，在六段视频所得F值都高于ADMM所得值F值，而且在高于ADMM时，最高高出0.038，最低高出0.0209。从观测的视频类型来看，本发明不仅对前四段具有动态背景的视频有良好的检测结果，而且对于后两段简单场景下的运动目标检测结果也能保持在一个相对较高的水平，进而说明了本发明具有普适性。此外采用了GADMM求解的本发明具有最高的平均F-measure值。从表1可以看出本发明对于前景目标检测，特别是针对具有动态背景下的运动目标检测更具有优越性。

综上，可以确定本发明提出的模型得出的处理结果无论是从视觉效果，还是从F-measure值来看都好于其他模型得出的处理结果，而且广义的交替方向乘子法比经典的交替方向乘子法在结果上更具有优越性。

Claims (6)

1.一种基于低秩稀疏分解的运动目标检测方法，其特征在于，包括以下步骤：

(1)根据结构化分布的稀疏信号，构造具有重叠块结构的结构化稀疏诱导范数表达式；

(2)将上述的结构化稀疏诱导范数表达式扩展，得到应用于视频的最终结构化稀疏诱导范数表达式；

(3)将低秩稀疏分解算法中的稀疏部分S进一步分为动态背景E和前景运动目标F；

(4)结合上述结构化稀疏诱导范数表达式和稀疏部分的近一步划分，获得最终的低秩稀疏分解模型；

(5)对所获取的低秩稀疏分解模型求解，解得前景目标。

2.根据权利要求1所述的基于低秩稀疏分解的运动目标检测方法，其特征在于,步骤(1)中所述的重叠块结构的结构化稀疏诱导范数，其表达式为：

其中S是具有结构化分布的稀疏信号，S_j为S的第j个元素；||·||_∞表示无穷范数，是所有元素的最大绝对值；η_g为每个组的权重，η_g>0。G为预先定义的组分布的集合，其中每一个组分布为g；S_g为组分布为g的S的子集。

3.根据权利要求2所述的基于低秩稀疏分解的运动目标检测方法，其特征在于,所述的扩展后的结构化稀疏诱导范数表达式为：

其中，S∈R^m×n是具有结构化分布的稀疏信号组成的矩阵，其第j列向量s_j∈R^m。

4.根据权利要求3所述的基于低秩稀疏分解的运动目标检测方法，其特征在于,步骤(4)中所述的低秩稀疏分解模型为：

其中M为原始视频数据，L为低秩矩阵表示背景，S表示由动态背景成分E和前景运动目标F组成的稀疏部分，λ₁、λ₂、λ₃为平衡相应项的权重的正数，Φ(F)为结构化稀疏范数。

5.根据权利要求4所述的基于低秩稀疏分解的运动目标检测方法，其特征在于,将所述的低秩稀疏分解模型转化为松弛问题：

6.根据权利要求5所述的基于低秩稀疏分解的运动目标检测方法，其特征在于,采用广义交替方向乘子法对所述的低秩稀疏分解模型进行求解，具体包括以下步骤：

(61)初始化:给定m行n列的观测矩阵M，设置初始参数λ₁＞0、λ₂＞0、λ₃＞0、μ₀＞0、μ_max＞μ₀和ρ＞1，初始点S₀＝0、E₀＝0、F₀＝0、和Y₀＝0,迭代次数k＝0；

(62)更新变量L:

(63)更新变量S:

(64)更新变量E:

(65)更新变量F:

(66)更新乘子X:X_k+1＝X_k-μ_k[αL_k+1+(1-α)(M-S_k+1)+S_k+1-M]；

(67)更新乘子Y:Y_k+1＝Y_k-μ_k[αE_k+1+(1-α)(S_k+1-F_k+1)+F_k+1-S_k+1]；

(68)更新变量μ:μ_k+1＝min(ρμ_k,μ_max)；

(69)算法终止条件为若满足终止条件，迭代终止，否则，令k＝k+1返回步骤(62)。