CN107563276A

CN107563276A - 基于多任务学习的动态纹理识别方法

Info

Publication number: CN107563276A
Application number: CN201710568209.1A
Authority: CN
Inventors: 洪金剑; 王勇
Original assignee: Sharp Ferroelectric Gas Science And Technology Ltd Of Suzhou Jade-Like Stone
Current assignee: Sharp Ferroelectric Gas Science And Technology Ltd Of Suzhou Jade-Like Stone
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2018-01-09

Abstract

本发明具体涉及一种基于多任务学习的动态纹理识别方法，为了提出一种提高动态纹理识别准确率而设计。本发明基于多任务学习的动态纹理识别方法，首先对动态纹理视频中的每个像素时间序列，提取混沌特征向量，这样视频就变为混沌特征向量矩阵。然后用词袋模型来对视频建模，得到直方图特征。将识别问题转化成组稀疏来表示，并用ADMM算来计算。本发明通过多任务学习的方法，来对动态纹理识别，可广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

Description

基于多任务学习的动态纹理识别方法

技术领域

本发明涉及的是一种计算机模式识别技术领域，具体地说，涉及的是一种基于多任务学习的动态纹理识别方法。

背景技术

近几年来，稀疏表示在模式识别中受到广泛的关注。文献(J,Wright,A, Y,Yang,A,Ganesh,S,S,Sastry,Y,Ma,Robust Face Recognition via Sparse Representation,IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2),210–227.)提出了用稀疏表示来做人脸识别，并且与最近邻和支持向量机识别方法做了比较。从实验结果来看，稀疏表示比最近邻和支持向量机更好的对人脸识别，并且在噪声和遮挡的情况下，也能够取得较好的识别率。稀疏表示成功的用于图像识别，目标跟踪，图像去噪和图像超分辨率等应用上。

稀疏表示的基本原理如图2所示，假定有M类，每类有n_i (i＝1，2，...，M)个训练样本。对第k类的第i个样本，用特征h_kj代表。令所有的训练特征组成一个字典X。对每个测试样本y∈Rⁿ，可以表示为所有字典的线性组合，可以表示为：

其中系数w_ij∈Rⁿ。可以把公式(1)写成下面矩阵形式：

Y＝XW (2)

其中Y＝[y₁…y_n]，T表示转置运算。测试样本可以近似的由同类的样本表示，因此W中除了同类相关的系数外其它系数全为零。因此w是一个稀疏模型。这样，这种识别问题可以表示为

然而l₀范数的计算是很复杂的。而已经证明，在满足一定约束下，l₀范数最小化问题和l₁范数优化问题等价，而大部分情况下，都可以满足约束。因此，公式(5.3)可以表示如下

其中

从上述的识别方法可以看出，它是单独对每个特征学习，得到的只是单个特征的信息。近些年来，多任务学习开始在机器学习领域受到越来越多的关注，即同时对多个相关任务学习，从而获得比单任务学习更好的学习结果。我们知道，通过对多个任务一起学习，可以通过多个特征之间的关系，从而得到更好的识别效果。多任务学习方法也是从人类的学习过程中模仿出来的。比如我们在识别一个场景时，即可以通过场景中的一个主要特征，将场景识别出来，也可以通过多个特征来对场景识别。而且多个特征往往会很有效果。特别是由于图片数据，视频数据的涌现，我们要对浩如烟海的大数据学习，然后才能更好的识别。比如在消费者购物的时候，我们可以通过几个月甚至几年时间内，消费者采购物品的相关性分析，从而更好的对消费者服务。比如早上购买鱼肉的消费者很多，而且70％会同时购买鱼类相关食品，而下午购买水果的消费者较多，而且80％会购买青菜等等，这些可以让商家优化采购时间和采购种类。在视频跟踪中，如果对单个的跟踪轨迹研究，有用信息不多。而对某个视频区域或者某几个视频区域的轨迹研究，我们可以得到人们走路的路径，可以对人群流动趋势做出预测，知道人们的生活习惯，人群聚集和分流的地点。这些在人群密集时的公共安全，城市规划方面都有着相当重要的作用。针对这一问题，研究者提出多任务学习的方法，即同时考虑多个数据一起学习。这样的学习效率更高，而且不单是矩阵是稀疏的，而且是具有组稀疏的形式，即矩阵系数中的某一行或者某一列是稀疏的。

发明内容

为解决上述技术问题，本发明的目的是提供一种识别率高、运算成本低的基于多任务学习的动态纹理识别方法。

为达到上述发明目的，本发明基于多任务学习的动态纹理识别方法，包括：

计算每个视频中每个像素点位置的混沌特征向量，其中混沌特征向量 F＝[τ，m，Di，me an]，其中D是信息维数，τ和m分别是嵌入延迟和嵌入维数，me ar 代表像素时间序列的平均值；

基于用词袋模型对视频建模，得到直方图特征；

将总模型W分解为组稀疏模型部分l_1，∝和元素稀疏部分l_1.1，组稀疏模型部分得到多任务之间的共性特征，而元素稀疏模型则是获取各个特征的个性部分，用ADMM算法计算。

进一步地，基于用词袋模型对视频建模，得到直方图特征具体包括：按照词袋模型，先用k-均值方法对所有视频的特征进行聚类，形成代码本，所有视频的特征向量以代码本里面的向量为聚类中心，进行聚类，形成直方图特征。

进一步地，对于一组训练数据，用X＝[X₁，…，X_J]来表示，其中X_j∈R^mf*1，l是训练数据的总个数，m_f代表每个训练数据的维数；

给定测试特征Y＝[Y₁，…，Y_I]，其中Y_i∈R^mf*1，I是测试数据的总个数；

其中W_j∈R^J是第j类的重构系数矩阵，∈R^mf是残差项；令W＝[W₁，…，W_J]，上面公式(1)可以表示为公式(2)，即：

根据ADMM方法，上述公式(2)可以分解为下面两个互相耦合的子问题来循环求解，直到方法收敛；

公式(3)可以计算如下：

L子问题：

用ADMM求解如下

公式(4)可以通过如下ADMM方法计算得到；

s子问题:

用ADMM求解如下

公式(11)中的计算结果如下：

借由上述方案，本发明基于多任务学习的动态纹理识别方法至少具有以下优点：

本发明采用了多任务学习的方法来对识别模型建模，能够得到学习数据中的相同信息和差别信息。通过对动态纹理进行训练，可以很方便有效的对各种动态纹理进行分类。与现有技术相比，本发明的技术效果是利用多任务学习的性质，考虑多任务之间的相关性。得到多任务之间的共性特征和个性部分。实验结果表明本发明提出的多任务学习方法能够很好的描述动态纹理，并且对摄像头的抖动和图像噪声具有一定的鲁棒性。本发明通过同时对多个特征学习提高学习效率。通过充分利用特征之间的相关性，来提高学习的准确性提高稀疏表示的重构精度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明实施例的流程图；

图2稀疏表示的基本原理；

图3单任务学习示意图；

图4多任务学习示意图；

图5dirty模型示意图；

图6NewDT-10和DynTex++数据库；

图7对UCLA-9数据库的混淆矩阵；

图8对NewDT-10数据库的混淆矩阵；

图9对DynTex++数据库的混淆矩阵；

图10不同的代码本大小对UCLA-9数据库，NewDT-10数据库，DynTex++数据库的识别率。横坐标是代码本大小，纵坐标是识别率。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

以往的识别方法，比如稀疏表示方法，都是对每个直方图特征进行学习，这可以看作是一个单任务学习的过程。对多个训练特征同时求解稀疏表达，可以看作是一个多任务学习的过程。基于这一思想，本发明提出利用dirty模型来求解，如图5所示。将总模型W分解为组稀疏模型部分l_1，∝和元素稀疏部分l_1，1。组稀疏模型部分可以得到多任务之间的共性特征，而元素稀疏模型则是获取各个特征的个性部分。因此，混合模型可以表示为如下的凸优化问题：

其中L和S是矩阵W的分解部分，λ₁和λ₂用来平衡给出的约束和重构误差之间的比重。在本发明的识别方法中，L代表着行稀疏，由图5可见，尽可能的让少数几行系数不为零，其它行系数尽可能为零。这样，即选用较少的特征来表示训练数据。而训练数据由于各自的多样性，不一定可以准确的由某一个或者几个特征完全表示，这就需要S的元素稀疏部分来描述训练数据中的这种多样性。

由于每次学习的时候，学习的特征都是固定的。为了提高识别率，只有通过对学习过程中的特征施加某些约束来达到目的。而这种约束，需要能够反映出特征之间的某些特性。下面，通过分析识别方法的学习过程所具有的特点，来阐述如何来给出约束，从而达到提高识别率的目的。

首先是代码本，代码本是通过训练的特征得到的。训练的特征中，有同类别的特征，也有非同类别的特征。而同类别的特征，是比较相近的。但是相近，不等同于完全一样。而稀疏表示的识别方法，是通过重构误差来识别不同的类别。重构误差越小，说明测试样本同某个类别越相似，就会识别为相应的类。可见，代码本的构建，对识别结果有很大的影响。在这里，代码本的构建和第三章一样，还是用k-均值聚类来得到。

约束。现在考虑用来测试的视频特征和代码本之间的关系，从而得到某种约束。由于字典中会有和测试样本特征很接近的特征，这是同类特征，因此存在共性，需要用某种约束，来表示这种共性。而另一方面，可以发现，即使是同类特征，还是不完全一样，即各个特征的个性，同样也需要某种约束来表示这种个性。因此，所有的测试样本都可以字典里面的特征通过“共性”和“个性”的加和来完全表示。由以上分析可见，通过上面的这两种约束，准确的表达了代码本和测试样本之间的关系，因此，这种学习过程一定可以提高识别的准确性。下面详细介绍计算公式(6)的优化方法。

ADMM方法是一种能够快速收敛的凸优化方法，它是在增强拉格朗日和对偶分解法的基础上发展起来的。由于其在大规模的优化问题上的快速，获得了广泛关注，并且迅速应用于机器学习和计算机视觉的优化问题中。本发明选用将模型拆分成两个形式的约束，而ADMM方法可以有效的分别对这两部分求解，减少了计算量，并且能够快速收敛。

本发明基于多任务学习的动态纹理识别方法，包括：

第一步，将视频每个位置随时间变化的像素看作混沌时间序列。应用混沌理论来得到混沌时间序列的相关特征量，并组成一个新的特征向量来描述混沌时间序列。即混沌特征向量是其中混沌特征向量F＝[τ，m，D_i，me an]，其中D是信息维数，τ和m分别是嵌入延迟和嵌入维数，me ar代表像素时间序列的平均值。这样每个像素点都用一个特征向量来描述，视频就可以用一个特征矩阵来表示。

第二步，将第一步中得到的每个视频的特征向量矩阵串联合并成一个特征矩阵，用kmeans方法聚类，得到各个聚类中心。将每个特征向量矩阵按照聚类中心聚类，得到描述聚类中心的直方图。

第三步，将识别问题转化成组稀疏来表示，并用ADMM算来计算。以往的识别方法，都是对每个直方图特征进行学习，这可以看作是一个单任务学习的过程。然而这种学习模型比较单一，只考虑到多任务之间具有相同的信息，而没有考虑到信息之间的差异性。对多个训练特征同时求解稀疏表达，可以看作是一个多任务学习的过程。基于这一思想，本发明提出利用dirty模型来求解。这种学习模型，可以得到多任务之间的相关性。其思想是将模型矩阵分解为两个不同范数约束(l_1，1和l_1，∝)的矩阵加和。

当视频经过词袋模型之后，得到了直方图特征。对于一组训练数据，用 X＝[X₁，…，X_J]来表示，其中X_j∈R^mf*1，J是训练数据的总个数，m_f代表每个训练数据的维数；

给定测试特征Y＝[Y₁，…，Y_I]，其中Y_i∈R^mf*1，l是测试数据的总个数；

其中W_j∈R^J是第j类的重构系数矩阵，∈R^mf是残差项；令W＝[W₁，…，W_J]，上面公式(6)可以表示为公式(7)，即：

公式(8)可以计算如下：

L子问题：

用ADMM求解如下

公式(9)可以通过如下ADMM方法计算得到；

S子问题:

用ADMM求解如下

公式(16)中的计算结果如下：

数据库介绍：

UCLA-9数据库：含有9种不同的动态纹理。它们是沸水(boiling water) (8)，火焰(fire)(8)，花(flowers)(12)，喷泉(fountains)(20)，植物(plants)(108)，海水(sea)(12)，烟雾(smoke)(4)，水(water) (12)和瀑布(waterfall)(16)，括号中的数字代表动态纹理个数。

NewDT-10数据库：采集了16组河水(river)的视频。其中每个视频大小和UCLA-9数据库一样，为48*48。帧长度为75帧。将这16组视频和UCLA-9数据库组成新的数据库，共为10类，称为NewDT-10数据库。采集的这16个视频含有轻微的抖动。

DynTex++数据库(B.Ghanem and N.Ahuja,Maximum margin distance learningfor dynamic texture recognition,In Proceedings of the European Conference onComputer Vision,2010,223-236.)：共有36个动态纹理种类，每类有100个视频，每个视频中的帧长度，帧宽度和视频的总长度都是50。这个数据库是为了测试本发明方法对大数据的动态纹理的有效性。NewDT-10数据库和DynTex++数据库中的部分视频帧如图6所示。

代码本形成：本发明的混沌特征向量是由：嵌入时间延迟，嵌入维数，信息维数和像素时间序列的平均值组成。混沌特征向量通过归一化，将其中的四个分量都化为零到一之间。用k-均值方法对所有的训练样本聚类，聚类距离采用欧氏距离。K-均值的数目k的大小就是代码本的数目，k＝100,200,to 1000。

识别方法是随机选择一半数据来训练，另一半数据来测试。所有试验运行 10次。

公式(6)中的参数λ₁和λ₂设为0.01。

表1给出了对UCLA-9数据库识别的经典方法。图7(a)中给出了用像素时间序列作为特征得到的混淆矩阵，识别率是77％。图7(b)中给出了用混沌特征向量作为特征得到的混淆矩阵，识别率是90％。

表1对UCLA-9数据库的识别结果

方法	最近邻	稀疏表示	组稀疏方法
				像素时间序列	73.2％	71％	77％
混沌特征向量	88.4％	86％	90％

图7中给出了几个方法的对比。可以看到，本发明的混沌特征向量结合组稀疏方法得到最高的识别率。在用混沌特征向量的方法中，稀疏表示方法也取得了较高的识别率，而最近邻方法得到的识别率稍低。可见，用稀疏表示的思想来对识别问题，相比于传统的方法是比较有效的。这个也可以从像素时间序列为特征的比较中发现。在以像素时间序列为特征的实验中，组稀疏方法，稀疏表示和最近邻方法得到的识别率依次降低。

表2中给出了经典方法对NewDT-10数据库得到的识别率。图8(a)中给出了用像素时间序列作为特征得到的混淆矩阵，识别率是79.3％。图8(b)中给出了用混沌特征向量作为特征得到的混淆矩阵，识别率是89.48％。所用代码本大小是200。用线性动态系统模型和时空特征来对NewDT-10数据库做识别。两种方法的识别率分别是63％和78.33％。

表2中给出了几个方法的对比。可以看到，本发明的混沌特征向量结合组稀疏方法得到最高的识别率。在用混沌特征向量的方法中，稀疏表示方法也取得了较高的识别率，而最近邻方法得到的识别率稍低。像素时间序列为特征的比较中，组稀疏方法最高，最近邻识别次之。四种特征的识别中，即使都用最近邻方法，可以看到混沌特征向量得到最高的识别率。从图10可以看出，沸水和海水，海水和烟雾，水和沸水，瀑布和喷泉比较容易搞混。这几类的外观比较相似，因此识别混淆也是正常的。

表2对NewDT-10数据库的识别结果

方法	最近邻	稀疏表示	组稀疏方法
				线性动态系统	63％	—	—
时空特征	78.33％	—	—
				像素时间序列	76％	72％	79.3％
混沌特征向量	80％	82％	89.48％

表3中给出了经典方法对DynTex++数据库得到的识别率。图9(a)中给出了用像素时间序列作为特征得到的混淆矩阵，识别率是53.4％。图9(b)中给出了用混沌特征向量作为特征得到的混淆矩阵，识别率是65.11％。用线性动态系统识别方法得到的识别率是47.2％。

表3对DynTex++数据库的识别结果

方法	最近邻	稀疏表示	组稀疏方法
				线性动态系统	47.2％	—	—
像素时间序列	49.67％	35.67％	53.4％
				混沌特征向量	63.89％	64％	65.11％

图9中给出了几个方法的对比。可以看到，本发明的混沌特征向量结合组稀疏方法得到最高的识别率。在用混沌特征向量的方法中，稀疏表示方法和最近邻方法得到的识别率差不多。在以像素时间序列为特征的实验中，组稀疏方法，最近邻方法和稀疏表示得到的识别率依次降低。三种特征的识别中，即使都用最近邻方法，可以看到混沌特征向量得到最高的识别率。

由于本发明使用的是词袋模型，因此，代码本大小的变化也会影响到识别率。从图7中可以看到，随着代码本大小变化，识别率会有变化。“1”，“2”和“3”代表用混沌特征向量作为特征，分别对UCLA-9数据库，NewDT-10数据库和DynTex++数据库得到的识别率。“4”，“5”和“6”代表用像素时间序列作为特征，分别对UCLA-9数据库，NewDT-10数据库和DynTex++数据库得到的识别率。由图可见，不同的代码本，对识别率的影响会比较大。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims

1.一种基于多任务学习的动态纹理识别方法，其特征在于，包括：

计算每个视频中每个像素点位置的混沌特征向量，其中混沌特征向量F＝[τ，m，D_i，mean]，其中D是信息维数，τ和m分别是嵌入延迟和嵌入维数，mean代表像素时间序列的平均值；

基于用词袋模型对视频建模，得到直方图特征；

将总模型W分解为组稀疏模型部分l_1，∝和元素稀疏部分l_1，1，组稀疏模型部分得到多任务之间的共性特征，而元素稀疏模型则是获取各个特征的个性部分，用ADMM算法计算。

2.根据权利要求1所述的基于多任务学习的动态纹理识别方法，其特征在于，基于用词袋模型对视频建模，得到直方图特征具体包括：按照词袋模型，先用k-均值方法对所有视频的特征进行聚类，形成代码本，所有视频的特征向量以代码本里面的向量为聚类中心，进行聚类，形成直方图特征。

3.根据权利要求1所述的基于多任务学习的动态纹理识别方法，其特征在于，对于一组训练数据，用X＝[X₁，…，X_J]来表示，其中J是训练数据的总个数，m_f代表每个训练数据的维数；

给定测试特征Y＝[Y₁，…，Y_I]，其中I是测试数据的总个数；

<mrow> <mi>Y</mi> <mo>=</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>J</mi> </msubsup> <msub> <mi>X</mi> <mi>j</mi> </msub> <msub> <mi>W</mi> <mi>j</mi> </msub> <mo>+</mo> <mi>&epsiv;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中W_j∈R^J是第j类的重构系数矩阵，是残差项；令W＝[W₁，…，W_J]，上面公式(1)可以表示为公式(2)，即：

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>L</mi> <mo>,</mo> <mi>S</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>Y</mi> <mo>-</mo> <mi>X</mi> <mrow> <mo>(</mo> <mi>L</mi> <mo>+</mo> <mi>S</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>L</mi> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mi>&infin;</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>S</mi> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mi>W</mi> <mo>=</mo> <mi>L</mi> <mo>+</mo> <mi>S</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mi>L</mi> <mo>:</mo> <munder> <mrow> <mi>min</mi> <mi>i</mi> <mi>m</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow> <mi>L</mi> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>X</mi> <mi>S</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>X</mi> <mi>L</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>L</mi> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mi>&infin;</mi> </mrow> </msub> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mi>S</mi> <mo>:</mo> <munder> <mrow> <mi>min</mi> <mi>i</mi> <mi>m</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow> <mi>S</mi> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <mi>X</mi> <mi>L</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>X</mi> <mi>S</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <mi>S</mi> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

公式(3)可以计算如下：

L子问题：

<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mrow> <mi>min</mi> <mi>i</mi> <mi>m</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow> <mrow> <mi>L</mi> <mo>,</mo> <msub> <mi>Z</mi> <mi>L</mi> </msub> </mrow> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <msup> <mi>Y</mi> <mi>k</mi> </msup> <mo>-</mo> <msup> <mi>X</mi> <mi>k</mi> </msup> <msup> <mi>S</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>X</mi> <mi>k</mi> </msup> <mi>L</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>Z</mi> <mi>L</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mi>&infin;</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>Z</mi> <mi>L</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

用ADMM求解如下

<mrow> <msubsup> <mi>Z</mi> <mi>L</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <msub> <mi>Z</mi> <mi>L</mi> </msub> </munder> <mrow> <mo>(</mo> <mfrac> <mi>&rho;</mi> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <msup> <mi>L</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <mo>(</mo> <mrow> <msubsup> <mi>Z</mi> <mi>L</mi> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>u</mi> <mi>L</mi> <mi>k</mi> </msubsup> </mrow> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>1</mn> </msub> <mo>|</mo> <mo>|</mo> <msubsup> <mi>Z</mi> <mi>L</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mi>&infin;</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

公式(4)可以通过如下ADMM方法计算得到；

S子问题:

<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mrow> <mi>min</mi> <mi>i</mi> <mi>m</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow> <mrow> <mi>S</mi> <mo>,</mo> <msub> <mi>Z</mi> <mi>S</mi> </msub> </mrow> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <msup> <mi>Y</mi> <mi>k</mi> </msup> <mo>-</mo> <msup> <mi>X</mi> <mi>k</mi> </msup> <msup> <mi>L</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>X</mi> <mi>k</mi> </msup> <mi>S</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>Z</mi> <mi>S</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mi>S</mi> <mo>=</mo> <msub> <mi>Z</mi> <mi>S</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>

用ADMM求解如下

<mrow> <msubsup> <mi>Z</mi> <mi>S</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <msub> <mi>Z</mi> <mi>L</mi> </msub> </munder> <mrow> <mo>(</mo> <mfrac> <mi>&rho;</mi> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <msup> <mi>L</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <mo>(</mo> <mrow> <msubsup> <mi>Z</mi> <mi>S</mi> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>u</mi> <mi>S</mi> <mi>k</mi> </msubsup> </mrow> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>&lambda;</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <msubsup> <mi>Z</mi> <mi>S</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mrow> <mn>1</mn> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

公式(11)中的计算结果如下：

<mrow> <msubsup> <mi>Z</mi> <mi>S</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>&delta;</mi> <mo>/</mo> <mi>&rho;</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>S</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>+</mo> <msubsup> <mi>u</mi> <mi>S</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>