CN110969638B - 一种基于张量的背景减除方法及系统 - Google Patents

Abstract

本发明公开了一种基于张量的背景减除方法及系统。该方法包括：获取观测张量；对观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；将观测张量分解为背景张量和前景张量；通过基于克罗内克基表示的张量稀疏检测方法约束背景张量，通过范数约束前景张量，得到最小化问题；通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量；判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值；若否，更新拉格朗日乘子；若是，根据迭代核心张量和迭代因子，得到迭代背景张量；根据迭代背景张量和迭代前景张量完成前景和背景的分离。本发明能够快速准确的分离背景和前景。

Description

一种基于张量的背景减除方法及系统

技术领域

本发明涉及数字图像处理领域，特别是涉及一种基于张量的背景减除方法及系统。

背景技术

视频监控在现代城市中发挥着巨大的作用，各交通要点、景区、商场超市、楼道等地方都安装有监控。摄像机24小时工作，会产生大量的视频数据，因此对视频存储有着较大的要求。现在监控储存主要采用的方法是对视频图像进行压缩处理，但压缩视频会对视频本身的质量产生一定的影响。而视频背景减除是计算机视觉领域的一项重要技术，其目的是将视频图像中因其他因素产生的噪声和背景元素去除，从而得到感兴趣的前景目标。背景减除在监控安防领域有着广泛的应用，监控视频主要的关注点是前景的变化，为节约储存空间可以直接储存前景而忽略背景，因此想要只储存前景视频而忽略背景视频，则对背景减除方法的要求比较高。而现在的大多数背景减除方法仅仅对背景或前景一方面约束要求较高，所以前景背景分离不是很充分。

发明内容

本发明的目的是提供一种基于张量的背景减除方法及系统，用以快速准确的分离背景和前景。

为实现上述目的，本发明提供了如下方案：

一种基于张量的背景减除方法，所述方法包括：

获取观测张量；所述观测张量为监控视频；

对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子；

将所述观测张量分解为背景张量和前景张量；

通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题；

通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量；

判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值；

若否，更新拉格朗日乘子；

若是，根据迭代核心张量和迭代因子，得到迭代背景张量；

根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。

可选的，运用软阈值方法求解所述最小化问题，得到迭代核心张量。

可选的，通过运用vonNeumann’s trace inequality求解所述最小化问题，得到迭代因子。

可选的，通过求解最小化增广拉格朗日函数，得到迭代前景张量。

一种基于张量的背景减除系统，所述系统包括：

观测张量获取模块，用于获取观测张量；所述观测张量为监控视频；

第一分解模块，用于对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子；

第二分解模块，用于将所述观测张量分解为背景张量和前景张量；

约束模块，用于通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题；

求解模块，用于通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量；

判断模块，用于判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值；

更新模块，用于当所述迭代前景张量与前景张量之间的变化不小于预先设定的阈值时，更新拉格朗日乘子；

确定模块，用于当所述迭代前景张量与前景张量之间的变化小于预先设定的阈值时，根据迭代核心张量和迭代因子，确定迭代背景张量；

分离模块，用于根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。

可选的，运用软阈值方法求解所述最小化问题，得到迭代核心张量。

可选的，通过运用vonNeumann’s trace inequality求解所述最小化问题，得到迭代因子。

可选的，通过求解最小化增广拉格朗日函数，得到迭代前景张量。

与现有技术相比，本发明具有以下技术效果：本发明用基于克罗内克基表示的张量稀疏检测方法去建模视频背景的低维特性，有效解决了背景的时空相关性问题；用L_1,1,2范数去建模视频前景的稀疏性，在一定程度上解决了时空间连续性和局部结构性质的问题，从而达到了很好的前景背景分离效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于张量的背景减除方法的流程图；

图2为本发明以及对比算法的视觉效果图；

图3为本发明实施例基于张量的背景减除系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于张量的背景减除方法及系统，用以快速准确的分离背景和前景。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，基于张量的背景减除方法包括以下步骤：

步骤101：获取观测张量；所述观测张量为监控视频。

导入截取的监控视频χ，即为观测张量。

步骤102：对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子。

通过观测张量χ高阶奇异值分解初始化核心张量S⁽⁰⁾和因子U₁ ⁽⁰⁾，U₂ ⁽⁰⁾，U₃ ⁽⁰⁾，初始化辅助张量B_k ⁽⁰⁾(k＝1,2,3)，前景张量χ₂，参数u⁽⁰⁾，ρ，拉格朗日乘子p_k ⁽⁰⁾(k＝1,2,3)，以及迭代次数t。

步骤103：将所述观测张量分解为背景张量和前景张量。

步骤104：通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题。

将观测张量χ分解为背景张量χ₁和前景张量χ₂，用基于克罗内克基表示的张量稀疏检测方法去约束背景张量χ₁，用L_1,1,2范数去约束前景张量χ₂，得到最小化问题，进行前景背景分离。

步骤105：通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量。运用软阈值方法求解所述最小化问题，得到迭代核心张量；通过运用vonNeumann’s trace inequality求解所述最小化问题，得到迭代因子；通过求解最小化增广拉格朗日函数，得到迭代前景张量。

运用软阈值方法求解最小化问题，得到第t次迭代核心张量S^(t)：

其中是阈值算子Q＝O×₁U₁ ^T×₂U₂ ^T×₃U₃ ^T，/>χ是监控视频，χ₂为监控视频前景。μ是平衡参数，/>是常数。ε表示极小的正数，B_i是辅助张量，p_i是拉格朗日乘子。

通过运用vonNeumann’s trace inequality求解最小化问题，得到第t次迭代因子U_k ^(t)：

U_k ^(t)＝Z_kC_k ^T；

其中A_k＝Z_k∑C_k ^T是A_k的奇异值分解，unfold_k表示为张量按mode k展开，/>Z_k是左奇异值向量矩阵，C_k是右奇异值向量矩阵，T是转置，k是第k次迭代，U_i是因子，s是核心张量。

通过求解最小化问题，得到第t次迭代辅助张量B_k ^(t)：

B^(t) _k＝fold_k(V₁∑_ηV₂ ^T)；

其中V₁diag(σ₁,σ₂,…,σ_n)V₂是的奇异值分解，σ为矩阵/>的奇异值。fold_k表示按mode k将矩阵转化为张量，∑_η＝diag(D_η,ε(σ₁),D_η,ε(σ₂),…,D_η,ε(σ_n))。V₁是左奇异值向量矩阵，V₂是右奇异值向量矩阵，s是核心张量，/>是阈值算子，σ_n是第n个奇异值，η为参数，是具体的数。

通过求解最小化增广拉格朗日函数，得到第t次迭代前景张量χ₂ ^(t)：

其中M＝χ-s×₁U₁×₂U₂×₃U₃。i,j是正整数，i,j＝1，2，…，β是平衡参数，是具体的值。

步骤106：判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值。

在相邻两次迭代过程中，所述迭代前景张量与前景张量之间的变化小于预先设定的阈值时，则说明满足收敛条件，转到步骤108；否则，不满足收敛条件，转到步骤107。

步骤107：若否，更新拉格朗日乘子。

更新拉格朗日乘子p_k ^(t)和参数u^(t)：

p_k ^(t)＝p_k ^(t-1)+μ^(t)(χ₁-B_k ^(t-1))；

u^(t)＝ρu^(t-1)。

步骤108：若是，根据迭代核心张量和迭代因子，得到迭代背景张量。

步骤109：根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。

根据上述最终迭代得到的核心张量S^(t)和因子U_k ^(t)，得到背景张量χ₁ ^(t)，并通过迭代得到背景张量χ₂ ^(t)，最终使得前景背景分离。

上述各式中，S^(t)表示第t迭代的核心张量，U_k ^(t)表示第t迭代的因子张量，B_k ^(t)表示第t迭代的辅助张量，χ₂ ^(t)表示第t迭代的前景张量，p_k ^(t)和u^(t)分别表示第t迭代的拉格朗日乘子和参数，χ₁表示背景张量，ρ是用来更新参数u^(t)，是阈值算子，t表示迭代次数，t＝1,2,…，k＝1,2,3。

本发明的效果由以下仿真进一步说明。

仿真条件：所有实验的运行环境为Matlab 2014a，Inter Core i5-4690处理器，8GB的内存，win764位操作系统。

仿真内容：从标准数据库I2R数据库、UCSD数据库和CD.net数据库分别选取高速公路监控视频Highway(a)、室内监控视频Bootstrap(b)和行人监控视频Peds(c)，将本文发明与RPCA，HoRPCA，KBR-RPCA，fRMC和TRPCA五种算法进行仿真比较。

仿真结果：

(1)表1列出了RPCA，HoRPCA，KBR-RPCA，fRMC，TRPCA-TNN和本文算法在监控视频上的前景检测客观结果.可见，本文算法获得的F值均高于其他算法，因此本文算法的前景背景分离效果较好。

表1视频数据的F-measure值

(2)图2是本发明以及对比算法的视觉效果图。

在图2(a)中，HoRPCA将背景误判为前景的情况最为严重，TRPCA-TNN算法获得的前景缺失较为严重，RPCA和fRMC算法出现较为明显的拖尾现象，KBR-RPCA中存在背景误检，本算法背景去除以及前景提取的效果都较好。对于图2(b)，除HoRPCA与TRPCA-TNN，其余算法对最前方的行人提取较为完整，但RPCA与fRMC将左上方路面的反光误判为前景目标，KBR-RPCA相比于本文算法前景提取稍弱，相比之下，本发明均取得了最佳检测效果。对于图2(c)，本发明与fRMC提取的前景中存在的噪声点较少，HoRPCA中存在的噪声点最多。因此，由图2可以看出，本发明的综合视觉效果较好。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明用基于克罗内克基表示的张量稀疏检测方法去建模视频背景的低维特性，有效解决了背景的时空相关性问题；用L_1,1,2范数去建模视频前景的稀疏性，在一定程度上解决了时空间连续性和局部结构性质的问题，从而达到了很好的前景背景分离效果。

如图3所示，本发明还提供了一种基于张量的背景减除系统，所述系统包括：

观测张量获取模块301，用于获取观测张量；所述观测张量为监控视频。

第一分解模块302，用于对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子。

第二分解模块303，用于将所述观测张量分解为背景张量和前景张量。

约束模块304，用于通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题。

求解模块305，用于通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量。

判断模块306，用于判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值。

更新模块307，用于当所述迭代前景张量与前景张量之间的变化不小于预先设定的阈值时，更新拉格朗日乘子。运用软阈值方法求解所述最小化问题，得到迭代核心张量；通过运用vonNeumann’s trace inequality求解所述最小化问题，得到迭代因子；通过求解最小化增广拉格朗日函数，得到迭代前景张量

确定模块308，用于当所述迭代前景张量与前景张量之间的变化小于预先设定的阈值时，根据迭代核心张量和迭代因子，确定迭代背景张量。

分离模块309，用于根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于张量的背景减除方法，其特征在于，所述方法包括：

获取观测张量；所述观测张量为监控视频；

对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子；

将所述观测张量分解为背景张量和前景张量；

通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题；

通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量；具体包括：运用软阈值方法求解最小化问题，得到第t次迭代核心张量S^(t)：其中/>是阈值算子Q＝O×₁U₁ ^T×₂U₂ ^T×₃U₃ ^T，/>χ是监控视频，χ₂为监控视频前景，μ是平衡参数，ζ是常数；ε表示极小的正数，B_i是辅助张量，p_i是拉格朗日乘子；通过运用冯诺依曼迹不等式求解最小化问题，得到第t次迭代因子U_k ^(t)：U_k ^(t)＝Z_kC_k ^T；其中A_k＝Z_k∑C_k ^T是A_k的奇异值分解，/>unfold_k表示为张量按mode k展开，/>Z_k是左奇异值向量矩阵，C_k是右奇异值向量矩阵，T是转置，k是第k次迭代，U_i是因子，s是核心张量；通过求解最小化问题，得到第t次迭代辅助张量B_k ^(t)：B^(t) _k＝fold_k(V₁∑_ηV₂ ^T)；其中V₁diag(σ₁,σ₂,…,σ_n)V₂是/>的奇异值分解，σ为矩阵/>的奇异值；fold_k表示按mode k将矩阵转化为张量，∑_η＝diag(D_η,ε(σ₁),D_η,ε(σ₂),…,D_η,ε(σ_n))；V₁是左奇异值向量矩阵，V₂是右奇异值向量矩阵，s是核心张量，/>是阈值算子，σ_n是第n个奇异值，η为具体的数；通过求解最小化增广拉格朗日函数，得到第t次迭代前景张量χ₂ ^(t)：/>其中M＝χ-s×₁U₁×₂U₂×₃U₃，i,j是正整数，i,j＝1，2，…，β是平衡参数；

判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值；

若否，更新拉格朗日乘子；

若是，根据迭代核心张量和迭代因子，得到迭代背景张量；

根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。

2.一种基于张量的背景减除系统，其特征在于，所述系统包括：

观测张量获取模块，用于获取观测张量；所述观测张量为监控视频；

第一分解模块，用于对所述观测张量进行高阶奇异值分解，得到初始化核心张量、因子、初始化辅助张量、拉格朗日乘子以及迭代次数；所述因子包括第一因子、第二因子以及第三因子；

第二分解模块，用于将所述观测张量分解为背景张量和前景张量；

约束模块，用于通过基于克罗内克基表示的张量稀疏检测方法约束所述背景张量，通过范数约束所述前景张量，得到最小化问题；

求解模块，用于通过求解最小化问题，得到迭代核心张量、迭代因子、迭代辅助张量以及迭代前景张量；具体的，运用软阈值方法求解最小化问题，得到第t次迭代核心张量S^(t)：其中/>是阈值算子Q＝O×₁U₁ ^T×₂U₂ ^T×₃U₃ ^T，/>χ是监控视频，χ₂为监控视频前景，μ是平衡参数，ζ是常数；ε表示极小的正数，B_i是辅助张量，p_i是拉格朗日乘子；通过运用冯诺依曼迹不等式求解最小化问题，得到第t次迭代因子U_k ^(t)：U_k ^(t)＝Z_kC_k ^T；其中A_k＝Z_k∑C_k ^T是A_k的奇异值分解，/>unfold_k表示为张量按mode k展开，/>Z_k是左奇异值向量矩阵，C_k是右奇异值向量矩阵，T是转置，k是第k次迭代，U_i是因子，s是核心张量；通过求解最小化问题，得到第t次迭代辅助张量B_k ^(t)：B^(t) _k＝fold_k(V₁∑_ηV₂ ^T)；其中V₁diag(σ₁,σ₂,…,σ_n)V₂是/>的奇异值分解，σ为矩阵的奇异值；fold_k表示按mode k将矩阵转化为张量，∑_η＝diag(D_η,ε(σ₁),D_η,ε(σ₂),…,D_η,ε(σ_n))；V₁是左奇异值向量矩阵，V₂是右奇异值向量矩阵，s是核心张量，/>是阈值算子，σ_n是第n个奇异值，η为参数，是具体的数；通过求解最小化增广拉格朗日函数，得到第t次迭代前景张量χ₂ ^(t)：/>其中M＝χ-s×₁U₁×₂U₂×₃U₃，i,j是正整数，i,j＝1，2，…，β是平衡参数，是具体的值；

判断模块，用于判断所述迭代前景张量与前景张量之间的变化是否小于预先设定的阈值；

更新模块，用于当所述迭代前景张量与前景张量之间的变化不小于预先设定的阈值时，更新拉格朗日乘子；

确定模块，用于当所述迭代前景张量与前景张量之间的变化小于预先设定的阈值时，根据迭代核心张量和迭代因子，确定迭代背景张量；

分离模块，用于根据所述迭代背景张量和所述迭代前景张量完成前景和背景的分离。