CN113222179A - 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 - Google Patents

Abstract

本发明公开了一种基于模型稀疏化与权重量化的联邦学习模型压缩方法，所述方法包括以下步骤：步骤1，客户端使用本地数据集进行本地模型训练；步骤2，客户端对本地模型训练生成的权重矩阵进行模型稀疏化；步骤3，客户端对稀疏化之后的矩阵进行权重量化；步骤4，客户端将完成压缩后的模型通过无线信道传输到服务器；步骤5，服务器对接收到的权重矩阵进行解压缩，并完成联邦学习聚合。本发明的优越效果在于有效解决了联邦学习训练过程中的资源不足问题，并通过优化算法提升了联邦学习的训练精度。

Description

一种基于模型稀疏化与权重量化的联邦学习模型压缩方法

技术领域

本发明属于数据处理领域，尤其涉及一种基于模型稀疏化与权重量化的联邦学习模型压缩方法。

背景技术

目前，前所未有的数据增长以及计算与并行处理的进步引发了包括了无线通信在内的领域对机器学习的研究兴趣。对于无线通信，由于传统的基于模型的方法不足以捕获现代无线网络日益增长的复杂性和异构性，采用机器学习进行系统设计和分析尤其有吸引力。例如，申请号为2018106746983的专利申请公开了一种基于非对称三元权重量化的深度神经网络模型压缩方法，包括：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；对训练完成的深度神经网络进行压缩存储。去除深度神经网络的冗余参数，对网络模型进行压缩。申请号为2019102115318的专利申请公开了一种基于Q-Learning算法的自动化模型压缩方法，其通过将深度神经网络的模型性能包括推理时间，模型大小，能耗及准确率作为约束条件，设计可以根据网络结构自动选择模型压缩方法的算法，从而获得性能最优的压缩方案选择。通过这种自动化模型压缩框架在五种不同网络结构下的模型使用。

由于管理大规模数据以保持机器学习算法的效率和扩展性是个挑战，在无线网络中，数据是由数十亿个设备生成并分发的，这就需要探索能够有效处理分布式数据集的解决方案。传统的集中式机器学习方案不适合此类情景是因为它们需要在中央实体中传输和处理数据，由于私有数据的不可访问性，在实践中无法实现。因此，分布式学习解决方案的思想得以产生。联邦学习是一种新兴的分布式方法，它意识到上述挑战中的问题，包括隐私和资源限制且将训练数据集保留在本地并在本地进行模型训练。之后，每个学习者都将其本地模型参数(而不是原始训练数据集)传输到中央聚合器。聚合器利用本地模型参数更新全局模型，本地模型最终反馈给各个本地学习者，每个本地学习者仅通过聚合器共享的全局模型从其他学习者的数据集中受益，而无需显式访问其隐私敏感数据。除了保护隐私之外，联邦学习也大量减少了本地学习者与中央聚合器之间的通信开销。然而，联邦学习的参与设备数量众多且网络连接速度缓慢或不稳定，互联网速度的不对称性导致上行链路比下行链路质量更差。此外，在某些加密协议为了保证用户更新不被监视而在上行传输时将增加大量额外的数据比特。在某些资源受限的条件下，上述这些因素将导致本地学习者无法将完整的模型发送到服务器进行全局聚合，从而使得联邦学习的训练精度降低，这成为联邦学习的发展瓶颈。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的基于模型稀疏化与权重量化的联邦学习模型压缩方法，本发明所述方法包括以下步骤：

步骤1，客户端使用本地数据集进行本地模型训练：

各个客户端根据其本地数据集独立地进行模型更新，在任意一个客户端，使用随机梯度下降(SGD)算法减少本地模型的损失函数，本地模型采用如下公式(1)进行更新：

公式(1)中，ω_t,m与ω_t-1,m分别表示客户端U_m在t次与t-1次迭代中的本地模型更新结果；D_t,m表示用于更新ω_t,m的训练数据集，数据集从客户端U_m的本地数据集D_m中随机生成；η_t为第t次迭代的学习率；

为损失函数F(ω_t-1,m,D_t,m)关于ω_t-1,m的梯度；

步骤2，客户端对本地模型训练生成的权重矩阵进行模型稀疏化，对本地模型训练生成的权重ω_t,m进行模型稀疏化：

s_t,m＝A_t,mω_t,m……(2),

公式(2)中，s_t,m表示对ω_t,m模型稀疏化后得到的权重向量，A_t,m表示d×d的稀疏矩阵，并采取了对稀疏矩阵A_t,m的优化算法；

步骤3，客户端对稀疏化之后的矩阵进行权重量化：

在模型稀疏化完成后对权重向量s_t,m中的每一个元素进行独立量化，独立量化后的参数向量通过如下公式(3)获得：

x_t,m＝s_t,m+q_t,m……(3),

公式(3)中，q_t,m表示一个d×1的量化噪声向量，q_t,m～CN(0,Ω_t,m)，Ω_t,m表示协方差矩阵，独立量化后的q_t,m的各元素之间保持独立，Ω_t,m表示为

步骤4，客户端将完成压缩后的模型通过无线信道传输到服务器：

客户端U_m将压缩后的权重向量x_t,m通过无线信道传输到服务器,假设信道为平坦衰落模型，则服务器接收到的权重向量y_t,m能够表示为以下公式(4)：

y_t,m＝h_t,mx_t,m+n_t,m……(4),

公式(4)中，h_t,m表示客户端U_m与服务器之间的平坦信道衰落，n_t,m表示服务器端的加性高斯白噪声；

步骤5，服务器对接收到的权重矩阵进行解压缩并完成联邦学习聚合：

通过解压缩将接收到的权重向量y_t,m还原为本地模型更新后地权重，本发明所述方法采用最小均方误差(MMSE)准则进行解压缩，解压缩结果通过如下公式(5)得到：

公式(5)中，D_t,m为d×d的解压缩矩阵，实现对y_t,m的解稀疏化，C表示由所有可能的量化参数向量组成的集合并采取对解稀疏矩阵D_t,m的优化算法，在完成解压缩之后，用所有解压缩得到的权重向量进行全局更新，之后服务器将全局更新后的权重向量返回各个客户端，完成联邦学习的一次迭代过程。

进一步的，步骤2中，所述损失函数F(ω_t,m,D_t,m)通过以下公式计算：

公式(6)中，l(ω_t,m；x)表示属于D_t,m的数据元素x的损失值，N_t,m表示D_t,m的大小。

进一步的，如图3所示，步骤5中，所述对稀疏矩阵A_t,m与解稀疏矩阵D_t,m的优化算法的具体步骤如下：

步骤A1，初始化相关参数：

通过迭代的方式对稀疏矩阵A_t,m和解稀疏矩阵D_t,m相关参数进行初始化，需要初始的参数包括迭代次数K₁与K_A，收敛门限ε₁与ε_A，其中，K_A和ε_A表示总的迭代轮数和收敛门限，K₁与ε₁表示每一轮中更新稀疏矩阵A_t,m所需的迭代轮数和收敛门限；

步骤A2，迭代更新稀疏矩阵A_t,m与解稀疏矩阵D_t,m：

在第k_a轮中，执行以下3个步骤：

步骤A201，对稀疏矩阵A_t,m进行优化，优化方式为迭代的方式，在第k₁轮中，通过优化下述第m个用户的目标函数对A_t,m进行更新：表示为以下公式(7)：

公式(7)中的参数的含义为：ω₁和ω₂代表精度损失和资源消耗代价函数的权重值，z_t,m表示用户调度参数，当用户调度参数为1表示用户参与联邦学习聚合，当用户调度参数为0表示用户不参与联邦学习聚合，N_m为第m个用户的训练样本数，N为所有用户总的训练样本数，β₂表示资源开销中通信开销所占的权重，公式(7)中，G_1,m表示模型精度损失函数中与A_t,m相关的项，如以下公式(8)所示：

公式(8)中，G_2,m表示通信代价函数中与A_t,m相关的项，如以下公式(9)所示：

G_2,m的非凸性且不满足后续优化的条件，通过使用一阶泰勒展开将G_2,m近似为一种凸的形式

如以下公式(10)所示：

G_3,m表示通信传输所消耗能量与计算所消耗能量和最大能耗的差值，小于等于零构成约束条件，表示通信和计算资源应小于电池的电量资源，G_3,m的表达式为以下公式(11)：

公式(11)中，P_m表示联邦学习第t轮中允许的最大能耗；

其中，公式(7)中为满足KKT条件的凸问题并通过使用优化包有效地解决，当迭代次数k₁＞K₁或者差值小于收敛门限

时，终止步骤A201的迭代过程；

步骤A202，优化解稀疏矩阵D_t,m：

解稀疏矩阵D_t,m仅与精度有关且在完成稀疏矩阵A_t,m的优化后，优化D_t,m即找到使得精度损失函数G_1,m最小的D_t,m值；

G_1,m是对于D_t,m的凸函数，在G_1,m中D_t,m与A_t,m是旋转对称的，对D_t,m的优化问题则转化为求解

能够解得D_t,m的值表示为以下公式(12)：

步骤A203，利用更新后的稀疏矩阵A_t,m和解稀疏矩阵D_t,m更新所有用户总的目标函数

表示为以下公式(13)：

步骤A3，终止对A_t,m和D_t,m的更新：

当达到终止条件k_a≥K_A或

时，终止对A_t,m和D_t,m的更新，返回A_t,m的优化值

与D_t,m的优化值

本发明所述方法具有以下优越的技术效果：

1、本发明所述方法提出了对稀疏矩阵和解稀疏矩阵进行迭代优化的优化算法，在资源受限的场景下利用模型压缩方法能保证联邦学习在满足资源的限制条件下使得训练的模型精度不受影响，本发明所述方法能够应用到边缘计算的通信资源相对不足的场景中并具有广泛的应用前景。

2、本发明所述方法在联邦学习训练过程中结合了模型稀疏化与权重量化的深度学习压缩方法并节约了上行信道传输所需的通信资源。

3、本发明所述方法结合联邦学习过程对模型稀疏化的稀疏矩阵与解稀疏矩阵进行了优化，提高了联邦学习训练的模型精度。

附图说明

图1是本发明所述方法实施例所应用的边缘计算场景图；

图2是本发明所述方法的流程图；

图3是本发明所述方法对稀疏矩阵A_t,m与解稀疏矩阵D_t,m进行优化的算法流程图；

图4是本发明所述方法的模型压缩方案与常规模型压缩方案的MSE仿真性能对比图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行详细描述。

本发明所述方法在联邦学习迭代过程中加入了模型稀疏化与权重量化的模型压缩步骤，以使模型能在有限的通信资源条件下传输到服务器端并在服务器端加入解压缩步骤，将接收到的权重矩阵还原为传输之前的权重矩阵，以最大限度地保证联邦学习模型精度不受影响；图1为本发明所述方法实施例所应用的边缘计算场景图，在某个边缘计算场景中实现联邦学习，边缘计算场景包括一个边缘接入点E与多个用户客户端U₁,...,U_m，边缘计算服务器S_E配置在边缘接入点E，本地计算单元S_m配置在用户客户端U_m,m＝1,...,M，联邦学习过程通过一台服务器与多个客户端之间的协作来实现。

以下参见图2，具体说明本发明所述方法的步骤：

步骤1，客户端接收上一轮聚合的模型，使用本地数据集与随机梯度下降算法进行本地模型训练，各个客户端根据其本地数据集独立地进行本地模型更新，对于任意一个客户端U_m，使用随机梯度下降(SGD)算法减少本地模型的损失函数，本地模型采用如下公式(1)进行更新：

公式(1)中，ω_t,m与ω_t-1,m分别表示客户端U_m在t次与t-1次迭代中的本地模型更新结果，D_t,m表示用于更新ω_t,m的训练数据集，数据集从客户端U_m的本地数据集D_m中随机生成，η_t为第t次迭代的学习率，

为损失函数F(ω_t-1,m,D_t,m)关于ω_t-1,m的梯度；

步骤2，客户端对本地模型训练生成的权重矩阵进行模型稀疏化：

模型稀疏化是指通过去掉高维模型中一些不重要的元素，将模型转化为稀疏版本，采用的模型稀疏化方法为一种基于稀疏矩阵的方法，是将模型矩阵乘以一个稀疏矩阵以达到降维的目的，对本地模型训练生成的权重ω_t,m进行模型稀疏化的公式为以下公式(2)：

s_t,m＝A_t,mω_t,m……(2),

公式(2)中，s_t,m表示对ω_t,m模型稀疏化后得到的权重向量，A_t,m表示d×d的稀疏矩阵，为了使得模型稀疏化后模型精度不受到影响，需要对稀疏矩阵A_t,m进行优化，稀疏矩阵A_t,m进行优化算法；

步骤3，客户端对稀疏化之后的矩阵进行权重量化：

本地更新的模型参数是高精度的且不适合于无线传输，本发明所述方法在模型稀疏化完成后对权重向量s_t,m中的每一个元素进行独立的量化，量化后的参数向量通过如下公式(3)获得：

x_t,m＝s_t,m+q_t,m……(3),

公式(3)中，q_t,m表示一个d×1的量化噪声向量，q_t,m～CN(0,Ω_t,m)，Ω_t,m表示协方差矩阵，本发明所述方法实施独立量化且q_t,m的各元素之间保持独立，Ω_t,m表示为

步骤4，客户端将完成压缩后的模型通过无线信道传输到服务器：

客户端U_m将压缩后的权重向量x_t,m通过无线信道传输到服务器，假设信道为平坦衰落模型，则服务器接收到的权重向量y_t,m能够表示为以下公式(4)：

y_t,m＝h_t,mx_t,m+n_t,m……(4),

公式(4)中，h_t,m表示客户端U_m与服务器之间的平坦信道衰落，n_t,m表示服务器端的加性高斯白噪声；

步骤5，服务器对接收到的权重矩阵进行解压缩并完成联邦学习聚合：

通过解压缩将接收到的权重向量y_t,m还原为本地模型更新后地权重，本发明所述方法采用最小均方误差(MMSE)准则进行解压缩，解压缩结果通过如下公式(5)得到：

公式(5)中D_t,m为d×d的解压缩矩阵以实现对y_t,m的解稀疏化，C表示由所有量化参数向量组成的集合，要对解稀疏矩阵D_t,m进行优化，以使模型稀疏化后模型精度不受影响，相应的优化方式将在图3所述的优化算法流程中详细描述；在完成解压缩之后，用所有解压缩得到的权重向量进行全局更新，之后服务器将全局更新后的权重向量返回各个客户端以完成联邦学习的一次迭代过程，对稀疏矩阵A_t,m与解稀疏矩阵D_t,m进行优化设计，以使模型压缩后模型精度不受影响。

进一步的，步骤2中，所述损失函数F(ω_t,m,D_t,m)通过以下公式计算：

公式(6)中，l(ω_t,m；x)表示属于D_t,m的数据元素x的损失值，N_t,m表示D_t,m的大小。

进一步的，如图3所示，步骤5中，所述对稀疏矩阵A_t,m与解稀疏矩阵D_t,m优化算法的步骤如下：

步骤A1，初始化相关参数：

通过迭代的方式对稀疏矩阵A_t,m和解稀疏矩阵D_t,m相关参数进行初始化，需要初始的参数包括迭代次数K₁与K_A，收敛门限ε₁与ε_A，其中，K_A和ε_A表示总的迭代轮数和收敛门限，K₁与ε₁表示每一轮中更新稀疏矩阵A_t,m所需的迭代轮数和收敛门限；

步骤A2，迭代更新稀疏矩阵A_t,m与解稀疏矩阵D_t,m：

在第k_a轮中，执行以下3个步骤：

步骤A201，对稀疏矩阵A_t,m进行优化，优化方式为迭代的方式，在第k₁轮中，通过优化下述第m个用户的目标函数对A_t,m进行更新：表示为以下公式(7)：

公式(7)中的参数的含义为：ω₁和ω₂代表精度损失和资源消耗代价函数的权重值，z_t,m表示用户调度参数，当用户调度参数为1表示用户参与联邦学习聚合，当用户调度参数为0表示用户不参与联邦学习聚合，N_m为第m个用户的训练样本数，N为所有用户总的训练样本数，β₂表示资源开销中通信开销所占的权重，公式(7)中，G_1,m表示模型精度损失函数中与A_t,m相关的项，如以下公式(8)所示：

公式(8)中，G_2,m表示通信代价函数中与A_t,m相关的项，如以下公式(9)所示：

G_2,m的非凸性且不满足后续优化的条件，通过使用一阶泰勒展开将G_2,m近似为一种凸的形式

如以下公式(10)所示：

G_3,m表示通信传输所消耗能量与计算所消耗能量和最大能耗的差值，小于等于零构成约束条件，表示通信和计算资源应小于电池的电量资源，G_3,m的表达式为以下公式(11)：

公式(11)中，P_m表示联邦学习第t轮中允许的最大能耗；

其中，公式(7)中为满足KKT条件的凸问题并通过使用优化包有效地解决，当迭代次数k₁＞K₁或者差值小于收敛门限

时，终止步骤A201的迭代过程；

步骤A202，优化解稀疏矩阵D_t,m：

解稀疏矩阵D_t,m仅与精度有关且在完成稀疏矩阵A_t,m的优化后，优化D_t,m即找到使得精度损失函数G_1,m最小的D_t,m值；

G_1,m是对于D_t,m的凸函数，在G_1,m中D_t,m与A_t,m是旋转对称的，对D_t,m的优化问题则转化为求解

能够解得D_t,m的值表示为以下公式(12)：

步骤A203，利用更新后的稀疏矩阵A_t,m和解稀疏矩阵D_t,m更新所有用户总的目标函数

表示为以下公式(13)：

步骤A3，终止对A_t,m和D_t,m的更新：

当达到终止条件k_a≥K_A或

时，终止对A_t,m和D_t,m的更新，返回A_t,m的优化值

与D_t,m的优化值

申请人需要说明的是，为了评估本发明所述方法的可行性，在本发明实施例中通过软件仿真评估了采用本发明所述方法的模型性能与没有采用模型稀疏性的常规均匀压缩方案的性能进行对比；如图4所示，以均方误差(MSE)作为评估模型压缩性能的性能指标，分别设置权重量化精度q为1和2，图4中纵坐标为均方误差值，横坐标为平均信噪比(SNR)，实线为本发明实施例的性能，虚线为常规均匀压缩方案的性能；从仿真结果能够看出，使用本发明所述方法比使用常规的均匀压缩方案能够获得更优的性能，特别地，当权重量化精度为1时，使用本发明所述方法较常规方案MSE性能提升24.04％；当权重量化精度为2时，使用本发明所述方法较常规方案MSE性能提升29.97％。综上，采用本发明所述方法较采用常规的均匀压缩方法在性能上有很大提升。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (3)

1.一种基于模型稀疏化与权重量化的联邦学习模型压缩方法，其特征在于，包括以下步骤：

步骤1，客户端使用本地数据集进行本地模型训练：

各个客户端根据其本地数据集独立地进行模型更新，在任意一个客户端，使用随机梯度下降(SGD)算法减少本地模型的损失函数，本地模型采用如下公式(1)进行更新：

公式(1)中，ω_t，m与ω_t-1，m分别表示客户端U_m在t次与t-1次迭代中的本地模型更新结果；D_t，m表示用于更新ω_t，m的训练数据集，数据集从客户端U_m的本地数据集D_m中随机生成；η_t为第t次迭代的学习率；

为损失函数F(ω_t-1，m，D_t，m)关于ω_t-1，m的梯度；

步骤2，客户端对本地模型训练生成的权重矩阵进行模型稀疏化，对本地模型训练生成的权重ω_t，m进行模型稀疏化：

s_t，m＝A_t，mω_t，m……(2)，

公式(2)中，s_t，m表示对ω_t，m模型稀疏化后得到的权重向量，A_t，m表示d×d的稀疏矩阵，并采取了对稀疏矩阵A_t，m的优化算法；

步骤3，客户端对稀疏化之后的矩阵进行权重量化：

在模型稀疏化完成后对权重向量s_t，m中的每一个元素进行独立的量化，量化后的参数向量通过如下公式(3)获得：

x_t，m＝s_t，m+q_t，m……(3)，

公式(3)中，q_t，m表示一个d×1的量化噪声向量，q_t，m～CN(0，Ω_t，m)，Ω_t，m表示协方差矩阵，独立量化后的q_t，m的各元素之间保持独立，Ω_t，m表示为

步骤4，客户端将完成压缩后的模型通过无线信道传输到服务器：

客户端U_m将压缩后的权重向量x_t，m通过无线信道传输到服务器，假设信道为平坦衰落模型，则服务器接收到的权重向量y_t，m能够表示为以下公式(4)：

y_t，m＝h_t，mx_t，m+n_t，m……(4)

公式(4)中，h_t，m表示客户端U_m与服务器之间的平坦信道衰落，n_t，m表示服务器端的加性高斯白噪声；

步骤5，服务器对接收到的权重矩阵进行解压缩并完成联邦学习聚合：

通过解压缩将接收到的权重向量y_t，m还原为本地模型更新后地权重，本发明所述方法采用最小均方误差(MMSE)准则进行解压缩，解压缩结果通过如下公式(5)得到：

公式(5)中，D_t，m为d×d的解压缩矩阵，实现对y_t，m的解稀疏化，C表示由所有可能的量化参数向量组成的集合，并采取对解稀疏矩阵D_t，m的优化算法，在完成解压缩之后，用所有解压缩得到的权重向量进行全局更新，之后服务器将全局更新后的权重向量返回各个客户端，完成联邦学习的一次迭代过程。

2.根据权利要求1所述的一种基于模型稀疏化与权重量化的联邦学习模型压缩方法，其特征在于，所述步骤2中，步骤2中，所述损失函数F(ω_t，m，D_t，m)通过以下公式计算：

公式(6)中，l(ω_t，m；x)表示属于D_t，m的数据元素x的损失值，N_t，m表示D_t，m的大小。

3.根据权利要求1所述的一种基于模型稀疏化与权重量化的联邦学习模型压缩方法，其特征在于，步骤5中，所述对稀疏矩阵A_t，m与解稀疏矩阵D_t，m的优化算法的具体步骤如下：

步骤A1，初始化相关参数：

通过迭代的方式对稀疏矩阵A_t，m和解稀疏矩阵D_t，m相关参数进行初始化，需要初始的参数包括迭代次数K₁与K_A，收敛门限ε₁与ε_A，其中，K_A和ε_A表示总的迭代轮数和收敛门限，K₁与ε₁表示每一轮中更新稀疏矩阵A_t，m所需的迭代轮数和收敛门限；

步骤A2，迭代更新稀疏矩阵A_t，m与解稀疏矩阵D_t，m：

在第k_a轮中，执行以下三个步骤：

步骤A201，对稀疏矩阵A_t，m进行优化，优化方式为迭代的方式，在第k₁轮中，通过优化下述第m个用户的目标函数对A_t，m进行更新：表示为以下公式(7)：

公式(7)中的参数的含义为：ω₁和ω₂代表精度损失和资源消耗代价函数的权重值，z_t，m表示用户调度参数，当用户调度参数为1表示用户参与联邦学习聚合，当用户调度参数为0表示用户不参与联邦学习聚合，N_m为第m个用户的训练样本数，N为所有用户总的训练样本数，β₂表示资源开销中通信开销所占的权重，公式(7)中，G_1，m表示模型精度损失函数中与A_t，m相关的项，如以下公式(8)所示：

公式(8)中，G_2，m表示通信代价函数中与A_t，m相关的项，如以下公式(9)所示：

G_2，m的非凸性且不满足后续优化的条件，通过使用一阶泰勒展开将G_2，m近似为一种凸的形式

如以下公式(10)所示：

G_3，m表示通信传输所消耗能量与计算所消耗能量和最大能耗的差值，小于等于零构成约束条件，表示通信和计算资源应小于电池的电量资源，G_3，m的表达式为以下公式(11)：

公式(11)中，P_m表示联邦学习第t轮中允许的最大能耗；

其中，公式(7)中为满足KKT条件的凸问题并通过使用优化包有效地解决，当迭代次数k₁＞K₁或者差值小于收敛门限

时，终止步骤A201的迭代过程；

步骤A202，优化解稀疏矩阵D_t，m：

解稀疏矩阵D_t，m仅与精度有关且在完成稀疏矩阵A_t，m的优化后，优化D_t，m即找到使得精度损失函数G_1，m最小的D_t，m值；

G_1，m是对于D_t，m的凸函数，在G_1，m中D_t，m与A_t，m是旋转对称的，对D_t，m的优化问题则转化为求解

能够解得D_t，m的值表示为以下公式(12)：

步骤A203，利用更新后的稀疏矩阵A_t，m和解稀疏矩阵D_t，m更新所有用户总的目标函数

表示为以下公式(13)：

步骤A3，根据终止条件，终止对A_t，m和D_t，m的更新：

当达到终止条件k_a≥K_A或

时，终止对A_t，m和D_t，m的更新，返回A_t，m的优化值

与D_t，m的优化值

Images