CN109145738A - 基于加权非凸正则化和迭代重约束低秩表示的动态视频分割方法 - Google Patents

Abstract

基于加权非凸正则化和迭代重约束低秩表示的动态视频分割方法，包括如下步骤：(1)针对误差矩阵引入加权因子W，确定权值矩阵的约束形式；(2)结合W矩阵计算空间Laplacian结构矩阵L；(3)针对表示矩阵Z的奇异值引入加权的非凸Rational函数；(4)通过步骤1、2和3优化现存GLRR框架，提出IRWNR模型；(5)采用IRM框架(算法1)迭代优化目标模型中的未知变量W、L和Z；(6)采用近端梯度(EIPG)算法(算法2)解决Z的子问题；(7)采用分块奇异值阈值逼近法(算法3)实现算法2中的SVT操作；(8)迭代优化得到W,L和Z，用于实现动态视频分割。具有运行效率高、数据适应性强、准确度高、鲁棒性强的优点。

Description

基于加权非凸正则化和迭代重约束低秩表示的动态视频分割 方法

技术领域

本发明涉及一种基于加权非凸正则化和迭代重约束低秩表示方法的动态视频分割。

背景技术

在捕获子空间数据以及子空间数据结构的方法中，低秩表示是一种极具应用前景的方法。低秩表示广泛应用于信号处理和计算机视觉的领域,如场景分类、动态分割、人脸识别和异常检测等。低秩表示的优越性主要表现在以下三个方面:一是在观测数据下的基础多低阶子空间的自然假设；二是具有特定抗噪声约束的自表征；三是利用核范数低秩正则化的凸近似。然而，这些特征也是低秩表示的局限性所在，其局限性是应该事先知道错误的结构，而数据的内在级别可能是松散的和有效近似的。

为了解决异质噪声及获取更近似于原始低秩假设，近年来的研究提出了大量基于低秩表示框架下的聚类方法。例如，用代码数据的线性组合来表示每个样本，并通过对正则化和约束的不同选择来选择一个最佳的表示矩阵。对于残差项，不同的噪声需要采用不同的规范。然而，这些约束只有在获取错误结构正确的先验知识的情况下才能正常工作，因此通常很难实现。

最近的研究在形成更好的系数矩阵Z的假设下研究几何结构，两个样本在本质上是相近的数据分布的多种形式，然后这两个点在子空间上是相互靠近的。这种想法启发了胡等人提出了光滑表示聚类，考虑到本地输入数据流。Fang等人将低秩表示引入高斯场和函数，解决了经典分簇算法先关联矩阵构建后谱分析的次优性，然而算法需要带标签数据，无法直接进行无监督聚类应用。针对LRR存在的稀疏性不足及噪声敏感等问题，Li等人提出了一种基于局部图拉普拉斯约束的鲁棒低秩表示聚类模型，在保持表示矩阵分块对角的特性下，增强了其稀疏性，减弱了表示字典数据之间的线性相关性。Yin等人则将图拉普拉斯正则项引入隐低秩表示算法，兼顾样本空间和特征空间的子域流形进行分簇应用。最近，Yin等人进一步提出非负稀疏Laplacian正则约束的LRR模型(Non-negative SparseLaplacian regularized LRR,NSLLRR)，以非负性、稀疏性为条件，增加超图拉普拉斯约束，其性能报道优于其它分簇算法。此外，平滑表示分簇算法(SmoothRepresentationClustering,SMR)提出强制组效应概念，并通过样本邻域相似度增强分簇算法的组效应，不仅具有优秀的分簇效果，且其求解过程不需要迭代运算，效率优于现存其他LRR型算法。

发明内容

本发明解决传统低秩表示方法中存在高维数据计算复杂、实时性差、抗噪声能力差等缺点，提出一种加权非凸正则化的迭代重构低秩表示方法，来用作动态视频分割。

为克服噪声约束的限制，本发明引入噪声惩罚因子将其整合到统一的目标函数中，优化图低秩方法(Graph LRR,GLRR)提出加权非凸正则化和迭代重约束低秩表示方法(Iterative reconstrained low-rank representation model with weightednonconvex regularization,IRWNR)，具有更清晰的块对角表示矩阵，并改善了噪声干扰下的子空间聚类效果。

基于加权非凸正则化和迭代重约束低秩表示的动态视频分割方法，包括如下步骤：

步骤1，针对误差矩阵引入加权因子W，确定权值矩阵的约束形式；

步骤2，结合W矩阵计算空间Laplacian结构矩阵L；

步骤3，针对表示矩阵Z的奇异值引入加权的非凸Rational函数；

步骤4，通过步骤1、2和3优化现存GLRR框架，提出IRWNR模型；

步骤5，采用IRM框架(算法1)迭代优化目标模型中的未知变量W、L和Z；

步骤6，采用有效的近似梯度算法(算法2)求解Z子问题；

步骤7，采用分块奇异值阈值逼近法(算法3)实现算法2中的SVT操作；

步骤8，迭代优化得到W,L和Z，用于实现动态视频分割。

本发明的优点是：运行效率高、数据适应性强、准确度高、鲁棒性强。

附图说明

图1是h(δ_i)函数曲线图

图2是本发明的流程图

图3是是实施本发明方法的系统结构图

具体实施方式

下面结合附图，进一步说明本发明的技术方案。

基于加权非凸正则化和迭代重约束低秩表示的动态视频分割方法，包括如下步骤：

步骤1，误差惩罚的加权特征学习，确定权重矩阵。现实中，噪声复杂，残差E＝X-XZ的分布与拉普拉斯分布或高斯分布等常规分布相差甚远。因此，本方法介绍一种权重因子对误差项进行自适应：

其中是以n个样本为其列的数据矩阵,Z是表达矩阵，||·||_F是Frobenius范数约束，即所有元素平方和的平方根，⊙表示元素相乘符号。

考虑到实际噪声点的不确定性较大，本发明采用概率条件约束W的取值范围，即1^TW1＝1，W≥0，表示所有元素非负且加和为1，得到

其中用于避免平凡解，即最小残差元素e_ij(矩阵E中的第i行且第j列元素)所对应的权值为1，其余权值都为0。

步骤2，结合W矩阵计算空间Laplacian结构矩阵L。

本发明通过W重新赋权和L更新来约束一个最优Z。根据拉格朗日函数和KKT条件，可以验证的最优W是：

上式中，E²表示矩阵中每个元素的平方κ是约束l^TWl＝1的拉格朗日乘数，(*)₊表示一个非负算子。排除一般性的损失，vec(E²)的元素处于一个非减序列中，vec(W)处于一个非增序列中。假设最佳vec(W)存在相关噪声的l、0元素，当mn＝m×n时，(mn-l+1)th元素等于0。加上约束l^TWl＝1，可得：

通过导出κ和λ，分析得到W：

在测量数据的相似点时，损坏的结构也包括在测量数据的相似点上，因此得出的结果图拉普拉斯算子可能是高度噪声的。为了解决这个问题，结合W矩阵得出空间Laplacian结构矩阵L如下：

上式中，d_ij表示x_i和x_j的相似性，θ是平衡参数。

步骤3，针对表示矩阵Z的奇异值引入加权的非凸Rational函数。虽然在GLRR模型中使用的核范数是对低秩约束最近的凸近似，但在噪声存在的情况下，得到的解可能会严重偏离原值。结合加权核范数和l_p非凸约束两种方法的优点，本发明提出加权非凸约束的最小化，并将其引入了参数化的有理函数来惩罚比较大的奇异值；

上两式中，s是给定的权重，δ是奇异值，α是待确定参数；

步骤4，通过步骤1、2和3优化现存GLRR框架，提出IRWNR模型；

GLRR原型可用公式表达为：

上式中，μ＝1表示先验误差，||Z||_*和tr(ZLZ^T)是正则项，β是平衡参数。L是拉普拉斯矩阵。

通过步骤1、步骤2和步骤3优化GLRR原型，本发明提出IRWNR模型：

步骤5，采用IRM框架(算法1)迭代优化目标模型中的未知变量W、L和Z。

算法1：

输入：X∈R^m×n，字典矩阵A∈R^m×n，参数γ，β，l

输出：Z

5.1当不收敛时，进行步骤5.2；

5.2用公式(6)估计权重矩阵W；

5.3将拉普拉斯项更新为公式(7)-(8)；

5.4用W,L解决Z的最小化问题；

步骤6，采用有效的近似梯度算法(算法2)求解Z子问题，通过加速近端梯度方法(Accelerated Proximal Gradient,APG)的广泛研究，并拓展到矩阵修复和鲁棒主成分分析的问题中。其中，最先进的是有效的近似梯度算法(Efficient Inexact ProximalGradient,EIPG),在它的框架里解决Z子问题。

算法2：

输入：W,L，参数η∈(0,1/L)，k＝0

输出：Z

6.1 Z₀＝0，Z₁∈R^m×n遵循N(0,1)

6.2当不收敛时，进行步骤6.3；

6.3 k＝k+1

6.4

6.5 Δ_k＝max_{t＝max(1,k-3),...,k}F(Z_t)

6.6如果F(Y_k)≤Δ_k，G_k＝Y_k

6.7否则G_k＝Z_k

6.8 V_k＝G_k-η▽f(G_k)

6.9 Z_k+1＝prox_ηγ(V_k)

在算法1中Z的子问题可以被定义为：

这可以通过ADM框架来解决，通过更新变量E＝XAZ和Z的方式来解决。不幸的是，将ADM应用于(12)会导致一个问题r如下：

上式中，C是更新过程中的一个中间变量。当加速近端梯度(APG)方法用于解决子问题(14)时，由ADM和APG导致的双循环使运行慢。本方法将问题(13)划分为两个部分，即F(Z)＝f(Z)+r(Z)。因为函数f是平滑的，||▽f(Z₁)-▽f(Z₂)||_F≤L||Z₁-Z₂||_F,并且r是光滑且凸的，APG可以直接应用到(13)，而不是ADM框架中的问题，APG的近端操作符是：

在迭代k中,0＜η＜1/L是步长，并且是f(Z)的梯度。

▽f(Z_k)＝2γ(W⊙A)^T(W⊙(AZ_k-X))+2β(Z_kL) (16)

步骤7，采用分块奇异值阈值逼近法(算法3)实现算法2中的SVT操作。提出一种低秩收缩的SVD算法，通过一个自适应的阈值问题实现SVD，不需要预先定义的任何低秩参数或错误阈值。对于满足迭代收缩条件的所需奇异值，则通过逐步建立分块SVD近似来估计。整个SVT过程在算法3中显示。

算法3：

输入：V_k，块大小b

输出：左奇异值向量U_Q，右奇异值向量V_Q，阈值奇异值Σ_δ

7.1 i＝1

7.2当不收敛时，进行步骤7.3；

7.3 Ω_i＝randn(n,b)

7.4 Q_i＝PowerScheme(V_k；Ω_i)

7.5Q＝[Q₁,…,Q_i]

7.6B＝[B₁,…,B_i]

7.7 V_k＝V_k-Q_iB_i

7.8 [Q_t,R_t]＝qr(B^T,0)，[U_t,Σ_t,V_y]＝svd(R_t)

7.9

7.10如果max(τ)＞min(Σ)，则结束；否则继续步骤7.2

7.11更新σ，

7.12 U_Q＝Q_tV_t，V_Q＝Q_tU_t

本方法采用s＝▽r(δ(Z))来通过对更大的单一值的惩罚实现主要数据组件的保护。权重s_i以升序排列的前提是奇异值δ_i是以降序排列。

现假设：SVT函数prox_ηr(V_k)可能是严格的凸性和可解的。现本方法提出以下引理来验证假设。

引理1：

在满足0≤s₁≤s₂≤…≤s_n,prox_ηr(V_k)可以分离成以下独立的子问题如：

其最优解满足序列约束为：δ₁≥δ₂≥δ₃≥…δ_n

引理2：

尽管有理函数的非凸性，(15)中的STV函数在0＜α＜1/(ηmax(s))的条件下是严格凸性的。

证明：为了简化符号，将δ_i(Z)表示为δ_i，通过给定矩阵V_i，问题(15)可以表示为：

已知，在Z中是线性的，求和运算保留了凸性。因此，如果(19)是严格凸的，则问题(18)也是严格凸的。

在α＞α/(1+αδ_i/2)³的前提下，(19)可以得出0＜α＜(ηmax(s))。

由图1可以进一步观察得出：存在一个特殊的δ使得h(δ)＝h(0),因此τ和δ^*可以由广义迭代收缩算法(Generalized iterated shrinkage algorithm,GISA)实现，针对有理惩罚函数，有：

通过引理1和引理2，定理1确保了问题(14)的全局解。解决方案包括在矩阵V_k中自动阈值的阈值。

定理1：

使V_k＝U∑V^T成为V_k的SVD，如果0＜α＜(ηmax(s))，算法2步骤7.12的全局最小值为：

Z_k+1＝UΞV^T (22)

Ξ是临界函数，其子问题被定义在(17)，解可以由(20)和(21)得到。

证明：因为r(Z)和弗罗贝尼乌斯的标准都是单一的不变的，有：

因此需要(24)证明是最优解：

由引理2可得，在0＜α＜(ηmax(s))的条件下，(23)是严格凸的。因此为了确保一个独特的最小值，可令Z＝U_z∑_zV_z ^T是Z的SVD，进一步可得：

上式可得：

如果Z＝∑_z的等式成立，问题(24)可以被简化为最小化问题(26)，这是由引理1分离的。因此，对(26)的解决方案可以通过应用Ξ来实现。

步骤8，迭代优化得到W,L和Z，代入提出的IRWNR模型，用于视频分割中的背景消除，其主要针对视频中动态纹理的分割。首先利用IRWNR模型建模，计算视频的前景区域，然后利用残差法滤除其中动态纹理背景干扰，最终得到前景目标区域，且对于不同类型动态干扰具有较好的抵抗能力。从而实现动态视频中的背景、前景以及空间的分割。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于加权非凸正则化和迭代重约束低秩表示方法的动态视频分割方法，包括如下步骤：

步骤1，误差惩罚的加权特征学习，确定权重矩阵；现实中，噪声复杂，残差E＝X-XZ的分布与拉普拉斯分布或高斯分布等常规分布相差甚远；，因此，引入权重因子对误差项进行自适应：

其中是以n个样本为其列的数据矩阵,Z是表达矩阵，||·||_F是Frobenius范数约束，即所有元素平方和的平方根，⊙表示元素相乘符号；

考虑到实际噪声点的不确定性较大，采用概率条件约束W的取值范围，即1^TW1＝1，W≥0，表示所有元素非负且加和为1，得到

其中用于避免平凡解，即最小残差元素e_ij所对应的权值为1，其余权值都为0，最小残差元素e_ij是矩阵E中的第i行且第j列元素；

步骤2，结合W矩阵计算空间Laplacian结构矩阵L；

通过W重新赋权和L更新来约束一个最优Z；根据拉格朗日函数和KKT条件，可以验证的最优W是：

上式中，E²表示矩阵中每个元素的平方κ是约束l^TWl＝1的拉格朗日乘数，(*)₊表示一个非负算子；排除一般性的损失，vec(E²)的元素处于一个非减序列中，vec(W)处于一个非增序列中；假设最佳vec(W)存在相关噪声的l、0元素，当mn＝m×n时，(mn-l+1)th元素等于0；加上约束l^TWl＝1，可得：

通过导出κ和λ，分析得到W：

在测量数据的相似点时，损坏的结构也包括在测量数据的相似点上，因此得出的结果图拉普拉斯算子可能是高度噪声的；为了解决这个问题，结合W矩阵得出空间Laplacian结构矩阵L如下：

上式中，d_ij表示x_i和x_j的相似性，θ是平衡参数；

步骤3，针对表示矩阵Z的奇异值引入加权的非凸Rational函数；虽然在GLRR模型中使用的核范数是对低秩约束最近的凸近似，但在噪声存在的情况下，得到的解可能会严重偏离原值；结合加权核范数和l_p非凸约束两种方法的优点，提出加权非凸约束的最小化，并将其引入了参数化的有理函数来惩罚比较大的奇异值；

上两式中，s是给定的权重，δ是奇异值，α是待确定参数；

步骤4，通过步骤1、2和3优化现存GLRR框架，提出IRWNR模型；

GLRR原型可用公式表达为：

上式中，μ＝1表示先验误差，||Z||_*和tr(ZLZ^T)是正则项，β是平衡参数；L是拉普拉斯矩阵；

通过步骤1、步骤2和步骤3优化GLRR原型，提出IRWNR模型：

步骤5，采用IRM框架(算法1)迭代优化目标模型中的未知变量W、L和Z；

算法1：

输入：X∈R^m×n，字典矩阵A∈R^m×n，参数γ，β，l

输出：Z

5.1当不收敛时，进行步骤5.2；

5.2用公式(6)估计权重矩阵W；

5.3将拉普拉斯项更新为公式(7)-(8)；

5.4用W,L解决Z的最小化问题；

步骤6，采用有效的近似梯度算法(算法2)求解Z子问题，通过加速近端梯度方法APG的广泛研究，并拓展到矩阵修复和鲁棒主成分分析的问题中；在有效的近似梯度算法EIPG的框架里解决Z子问题；

算法2：

输入：W,L，参数η∈(0,1/L)，k＝0

输出：Z

6.1 Z₀＝0，Z₁∈R^m×n遵循N(0,1)

6.2当不收敛时，进行步骤6.3；

6.3 k＝k+1

6.4

6.5 Δ_k＝max_{t＝max(1,k-3),...,k}F(Z_t)

6.6如果F(Y_k)≤Δ_k，G_k＝Y_k

6.7否则G_k＝Z_k

6.8

6.9 Z_k+1＝prox_ηγ(V_k)

在算法1中Z的子问题可以被定义为：

这可以通过ADM框架来解决，通过更新变量E＝XAZ和Z的方式来解决；不幸的是，将ADM应用于(12)会导致一个问题r如下：

上式中，C是更新过程中的一个中间变量；当加速近端梯度(APG)方法用于解决子问题(14)时，由ADM和APG导致的双循环使运行慢；将问题(13)划分为两个部分，即F(Z)＝f(Z)+r(Z)；因为函数f是平滑的，并且r是光滑且凸的，APG可以直接应用到(13)，而不是ADM框架中的问题，APG的近端操作符是：

在迭代k中,0＜η＜1/L是步长，并且是f(Z)的梯度；

步骤7，采用分块奇异值阈值逼近法实现算法2中的SVT操作，分块奇异值阈值逼近法下称算法3；提出一种低秩收缩的SVD算法，通过一个自适应的阈值问题实现SVD，不需要预先定义的任何低秩参数或错误阈值；对于满足迭代收缩条件的所需奇异值，则通过逐步建立分块SVD近似来估计；整个SVT过程在算法3中显示；

算法3：

输入：V_k，块大小b

输出：左奇异值向量U_Q，右奇异值向量V_Q，阈值奇异值∑_δ

7.1 i＝1

7.2当不收敛时，进行步骤7.3；

7.3 Ω_i＝randn(n,b)

7.4 Q_i＝PowerScheme(V_k；Ω_i)

7.5

7.6

7.7 V_k＝V_k-Q_iB_i

7.8 [Q_t,R_t]＝qr(B^T,0)，[U_t,Σ_t,V_y]＝svd(R_t)

7.9

7.10如果max(τ)＞min(Σ)，则结束；否则继续步骤7.2

7.11更新σ，

7.12 U_Q＝Q_tV_t，V_Q＝Q_tU_t

采用来通过对更大的单一值的惩罚实现主要数据组件的保护；权重s_i以升序排列的前提是奇异值δ_i是以降序排列；

现假设：SVT函数prox_ηr(V_k)可能是严格的凸性和可解的；提出以下引理来验证假设；

引理1：

在满足0≤s₁≤s₂≤…≤s_n,prox_ηr(V_k)可以分离成以下独立的子问题如：

其最优解满足序列约束为：δ₁≥δ₂≥δ₃≥…δ_n

引理2：

尽管有理函数的非凸性，(15)中的STV函数在0＜α＜1/(ηmax(s))的条件下是严格凸性的；

证明：为了简化符号，将δ_i(Z)表示为δ_i，通过给定矩阵V_i，问题(15)可以表示为：

已知，在Z中是线性的，求和运算保留了凸性；因此，如果式(19)是严格凸的，则问题(18)也是严格凸的；

在α＞α/(1+αδ_i/2)³的前提下，式(19)可以得出0＜α＜(ηmax(s))；

存在一个特殊的δ使得h(δ)＝h(0),因此τ和δ^*可以由广义迭代收缩算法GISA实现，针对有理惩罚函数，有：

通过引理1和引理2，定理1确保了问题(14)的全局解；解决方案包括在矩阵V_k中自动阈值的阈值；

定理1：

使V_k＝U∑V^T成为V_k的SVD，如果0＜α＜(ηmax(s))，算法2步骤7.12的全局最小值为：

Z_k+1＝UΞV^T (22)

Ξ是临界函数，其子问题被定义在(17)，解可以由(20)和(21)得到；

证明：因为r(Z)和弗罗贝尼乌斯的标准都是单一的不变的，有：

因此需要(24)证明是最优解：

由引理2可得，在0＜α＜(ηmax(s))的条件下，(23)是严格凸的；因此为了确保一个独特的最小值，可令Z＝U_z∑_zV_z ^T是Z的SVD，进一步可得：

上式可得：

如果Z＝Σ_z的等式成立，问题(24)可以被简化为最小化问题(26)，这是由引理1分离的；因此，对(26)的解决方案可以通过应用Ξ来实现；

步骤8，迭代优化得到W,L和Z，代入提出的IRWNR模型，用于视频分割中的背景消除、对视频中动态纹理的分割；首先利用IRWNR模型建模，计算视频的前景区域，然后利用残差法滤除其中动态纹理背景干扰，最终得到前景目标区域，且对于不同类型动态干扰具有较好的抵抗能力。从而实现动态视频中的背景、前景以及空间的分割。