CN116939866A - 一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法 - Google Patents

Abstract

本发明公开了一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，包括：建立多层无线联邦学习系统模型，提出最大化联邦学习系统的学习效率问题模型，对问题模型进行解耦，首先，边缘基站根据终端设备的电量决定是否进入边缘基站的调度池；根据进入调度池的设备通过减负算法进行任务分配；其次，提出传输能耗和传输时延联合优化策略，得出最优发送功率；接着，提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同；该方法在非独立同分布场景，考虑联合优化用户调度和资源分配，提高联邦学习系统的效率，同时考虑用户的设备体验问题，在保证本地上传时延较低的前提下，尽可能提高终端设备的电池效率。

Description

一种基于协同计算和资源分配联合优化的无线联邦学习效率 提升方法

技术领域

本发明属于移动通信技术领域，具体的说是一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法。

背景技术

在过去的十年内，机器学习在人工智能领域经历了蓬勃发展。特别是以机器学习为基础的深度学习的出现，大大提高了设备和程序的智能性。深度学习的应用(如大数据推荐算法、辅助驾驶、自然语言处理等)对人类的日常生活起到了非常积极的作用，大大改变了人类的生活方式。在训练一个深度学习模型时，需要大量的数据进行收集、处理和训练，以得到一个满足目标的模型。要得到一个应用领域的模型更要庞大的数据量支持，还需要一定的训练时间。在传统集中式学习中，所有终端搜集的数据都要传输到中心处理器或边缘基站上进行集中式学习。随着终端设备(如手机、平板电脑、笔记本等)处理器性能和存储能力的飞速发展，数据量爆炸性增长。传统集中式学习方式已经不能够满足学习任务的要求，一方面是因为集中式学习对服务器和边缘基站的计算能力和存储能力有很高的要求，特别是当终端设备繁多且数据呈异构性时，处理接收的数据也要消耗很多计算资源。另一方面，终端在上传海量的数据时，也要占用大量的传输资源并导致漫长的等待。在现在的高时延敏感型任务占主体的情况下，长延迟会导致糟糕的用户体验。另外，在如今数据电子化的趋势下，用户的数据都存储在终端设备和服务器上，其中也会包括重要的个人隐私信息，而不同的应用程序也会搜集用户的个人信息。当终端设备上传本地的数据时，会有可能被截获，或者服务器被攻击时，都会发生用户的个人信息泄漏问题。为了解决上述问题，Google提出了联邦学习。联邦学习在保证了本地数据只保存在本地，通过在本地进行深度学习任务产生深度学习模型，即本地模型。用户只需要上传本地模型并不用上传数据，这样避免了个人数据泄露问题。得益于移动芯片计算能力的快速发展，在移动设备进行本地深度学习得以实现。同时，深度学习模型的大小较训练集数据来说要小的多，所以上传本地模型会节省大量的通信资源和存储空间。通过运用联邦学习方法，上面传统集中式学习的问题可以同时得到解决。因此，联邦学习成为了最具有前景的方向之一。

深度学习在计算机视觉、自然语言处理和时间序列预测领域越来越普及，在终端设备上布置深度学习框架会成为重要趋势。在移动设备上进行深度学习会成为必然，然而每个设备同时执行过多的深度学习任务是不现实的。所以就要根据不同处理器性能，在满足一定约束下，分配不同的学习任务。在分配任务之前，需要提前知道不同处理器执行不同任务的时间。作业执行时间预测是计算任务调度的前提条件，但是通过运行DL作业直到完成(DL作业通常持续数小时甚至数天)来获取执行时间是不现实的，尤其是在异构的终端设备层上。因此，需要因地制宜解决无线联邦学习中异构终端的异构任务分配问题，在最大程度上优化联邦学习的学习效率。

发明内容

本发明的目的在于解决现有技术中的不足，提供一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法。

首先，边缘基站根据终端设备的电量决定是否进入边缘基站的调度池；然后，边缘基站对调度池内对终端完成指定的深度学习任务的时间进行预测，生成一个任务时间预测矩阵，把任务分配问题建模成二分图匹配问题，通过提出的减负算法进行任务分配，不同的终端会得到不同的任务序列；其次，终端执行完各自的任务序列后，提出模型上传申请；接着，边缘基站根据终端的信道状态决定是否静默该终端，对所有没有静默的终端根据CSI和模型数据量进行带宽分配，使得所有终端的上传时延近似相同；最后边缘基站接受到所有终端的模型数据后通过联邦平均算法进行模型汇聚。重复这个过程直到模型的精确率达到要求。该方法在非独立同分布场景，考虑联合优化用户调度和资源分配，提高联邦学习系统的效率，同时考虑用户的设备体验问题，在保证本地上传时延较低的前提下，尽可能提高终端设备的电池效率。

为了达到上述目的，本发明是通过以下技术方案实现的：

一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，所述方法包括以下步骤：

步骤S1：确定云-边-端之间信道模型和深度学习任务序列以及终端的具体信息，建立多层无线联邦学习系统模型，提出最大化联邦学习系统的学习效率问题模型，对问题模型进行解耦，分成多个子问题，并对多个子问题进行解决，多个子问题包括深度学习任务匹配、无线链路动态带宽分配、发送功率优化子问题；

步骤S2：首先边缘基站根据终端的实际电量情况确定该终端是否进入用户的调度池，边缘基站对进入调度池的终端完成指定的深度学习任务的时间进行预测，生成一个任务序列矩阵，把任务分配问题建模成二分图匹配问题，提出边缘基站k的用户计算调度总成本，利用减负算法完成深度学习任务分配；

步骤S3：提出传输能耗和传输时延联合优化策略，调整发射功率使得传输能耗和时延最小，在调度池的终端完成自己的任务序列后，提出模型上传请求，边缘基站根据终端的瞬时信道状态判断是否给该用户分配带宽，分析传输能耗和传输功率表达式，建立传输成本表达式，形成约束条件，对传输成本表达式通过凸问题求解方法得到最优发送功率，完成发送功率优化子问题；

步骤S4：提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同，以保证边缘基站的等待时间最小，完成无线链路动态带宽分配。

优选的，步骤S1中最大化联邦学习系统的学习效率问题模型，这里学习效率表示为完成一轮学习的时延，表达如下：

st.

a_k,m∈{0,1}

假设边缘基站k和终端n的数量分别为K和N，定义为边缘基站集合与终端集合/>其中，每个边缘基站都有各自的服务范围，边缘基站k的服务范围内有N_k个用户，记为集合/>

其中：T为总时延； 为本地模型更新时延/>和上传时延/>的和；SP_k为边缘基站k的调度池；

E_n为终端n在一次模型更新和上传的能耗；为终端n的计算能耗；/>为终端n的上传能耗；

a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；为边缘基站k分配给各终端n的无线带宽比例；/>为终端n的发送功率；/>为终端n的最大发送功率；M_n为终端n的上传模型大小；batt_n为终端n的剩余电量。

优选的，步骤S2中：首先要确定参加学习的终端，设定当终端剩余电量比小于一个设定的阈值时，禁止该终端参加联邦学习；定义batt_n代表终端n的剩余电量，定义batt_n，total为终端n的电池总容量，当终端n满足时，称为低电量终端，其中batt_s为截止电量，即在边缘基站进行用户计算调度和用户上传调度时不考虑这些终端；

在每一轮用户计算调度前，边缘基站预估任务执行时间，生成以spup_k×J的二维矩阵Pre，定义Pre[b，s]为处理器b进行j_s任务的总迭代时间；在每一次用户计算调度完成后，会生成一个任务序列矩阵定义一维数组/>为在执行完用户计算调度后，边缘基站k下的处理器b的任务序列；对应任务序列会同时生成执行时间序列其中/>假设任务的种类数为J，定义所有任务种类的集合/>J为任务的名称，且顺序不一定为正序；设任务p是处理器b的第m个任务，则定义处理器b完成任务p的总学习时间为处理器按照序列/>执行任务直到任务p完成的总时间，即：

定义任务p的截止时间为overtime_p为任务p的超时时间，则：

如果没有超时则赋值0；定义为边缘基站k的调度池中处理器b的总成本，则：

其中F为惩罚系数，当产生超时时间时会给予此次任务分配策略一个惩罚；定义cost^k为边缘基站k的用户计算调度的总成本，假设第s个任务超时，则：

st.

b∈SPUP

其中：为任务p完成的总学习时间；SPUP为边缘基站k在这轮调度中能够调度的处理器种类池。

优选的，步骤S2中所述的减负算法具体步骤如下：

步骤1)：把处理器能执行的任务都放入该处理器的任务序列里，根据任务序列的特征进行剪枝；

步骤2)：计算每个处理器的边缘基站k的调度池中处理器b的总成本；

步骤3)：当得到了所有的处理器的执行成本后，找到最大执行成本的处理器，把该处理器任务序列中的所需执行时间最长的任务从任务序列中删去；

步骤4)：判断是否需要回溯，当输入的任务时间预测矩阵的特殊性导致未输出最优任务序列，或者决策过程中不满足终止条件而每一列必须存在非零元素所导致没有执行置零操作，通过回溯函数对任务序列矩阵回溯，回溯到执行一次步骤3)之前的任务序列矩阵；

步骤5)：循环减负，直到完成任务分配要求停止，用贪心算法作为补充，提高算法的鲁棒性。

优选的，所述减负算法中包含回溯算法，回溯算法的具体步骤为：

(1)任务序列矩阵会回溯成历史矩阵数组中时间计数减一的位置的历史矩阵，同时，时间计数减一，历史矩阵数组删除时间计数后面位置的历史矩阵；

(2)对任务序列矩阵执行与减负算法不同逻辑的置零操作，即不对最大的执行时间进行置零；

(3)输出一个执行了一次置零操作的任务序列矩阵，返回到减负算法中，在减负算法中会重复调用回溯算法，直到减负算法得到最优任务序列矩阵。

优选的，所述减负算法中包含剪枝算法，当某个任务只有一个处理器处理时，把该处理器其他的任务直接从任务序列中删除，只保留此任务，剪枝算法的具体步骤为：

1)在任务序列矩阵中找到只有一个非0值的列；

2)对该非0值同行的其他元素全置0，得到新的任务序列矩阵，输入到减负算法中。

优选的，在减负算法执行过程中，当特殊处理器成为任务时长最长的处理器，即能处理特殊任务处理器的成本最大时，此时由于特殊处理器中只有这一个特殊任务，无法执行置零操作，而且其他处理器不管怎么调度都不会令最大的成本降低，通过特殊快速决策算法得到最优任务序列矩阵，特殊决策算法的具体步骤：

(Ⅰ)在任务序列矩阵中找到只有一个非0值的列且该值所在的行成本为最大的成本；

(Ⅱ)对该元素其他同行元素置零，得到最优任务序列矩阵。

优选的，为了提高效率，设计贪心算法作用减负算法的补充，当置零操作执行次数大于一个设定好的阀值后，直接进行补偿算法，能最快得到一个局部最优的任务序列矩阵；贪心算法的具体步骤为：

Ⅰ)只对任务序列矩阵第一列计算行成本，取得到最小行成本的元素，令该列其他元素为0；

Ⅱ)加上第二列计算行成本，取得到最小行成本的元素，令该列其他元素为0；

Ⅲ)循环操作，直到对整个任务序列矩阵的所有列完成置零操作。

优选的，步骤S3中：终端传输的无线信道服从瑞利分布，考虑任一终端的上行阶段，终端n与边缘基站之间的信道增益可表示为：

其中，为大尺度衰落系数，d₀为参考距离，d_n为终端n的距离边缘基站的距离，ξ为阴影衰落系数，α为路径损耗系数，/>为小尺度衰落系数，其中/>为复高斯分布，为了简化分析，终端和边缘基站均为单天线，可得：

其中，ran(0,1)为0到1的随机数；为了静默较差信道状态的设备，设定了一个信道增益阈值G_t，只有当终端的信道增益大于这个阈值，终端才能被允许参加本地模型上传并参加上行链路带宽分配；即：

首先，对于在被边缘基站选择参加本地模型上传的终端n，其模型上传时延为：

st.

a_k,ns_k,n＝1

其中，q：量化级；M_n：终端n的上传模型大小；边缘基站k分配给终端n的上传速率；a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；/>为边缘基站k分配给各终端n的无线带宽比例；/>边缘基站k的可分配的带宽；/>终端n的发送功率；/>终端n的最大发送功率；N₀：白噪声功率；

同时可以得到终端n的本地模型上传能耗为：

st.

定义终端n在本地模型上传期间的成本为：

st.

a_k，ns_k，n＝1

β_t+β_e＝1

其中，β_t为时延杠杆系数；β_e为能耗杠杆系数，通过调整这两个系数的大小可以改变策略对联邦学习效率和终端设备电池效率的倾向；得到策略的目标为：

st.

a_k，ns_k，n＝1

β_t+β_e＝1

引入KKT条件，通过迭代的方式进行求解，来获得最优发送功率分配；策略目标的拉格朗日函数形式可写为：

其中：μ₁、μ₂为拉格朗日系数；

若要求解上述优化问题，必须满足下述KKT条件：

对KKT条件求解可得：

上述求解结果为x^x＝a的形式，可通过图像或逼近得到最优解得到该终端设备的最优发送功率/>即得到该终端的最优发送功率的分配方案。

优选的，步骤S4中所述的提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同，以保证边缘基站的等待时间最小，具体步骤如下：

终端n的本地模型上传时延为：

其中，q：量化级；M_n：终端n的上传模型大小；边缘基站k分配给终端n的上传速率；a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；/>为边缘基站k分配给各终端n的无线带宽比例；/>边缘基站k的可分配的带宽；/>终端n的发送功率；/>终端n的最大发送功率；N₀：白噪声功率；a_k,ns_k,n＝1，/> 是边缘基站k范围内终端n的任务序列；若使得终端n'的本地模型上传时延和终端设备n相同，则

即：

其中，a_k,ns_k,n＝a_k,n’s_k,n’＝1；M^j为j终端设备的上传模型大小；得到分配的带宽比例的比值：

易得参加用户上传调度的终端的带宽分配比例为：

st.

求解等式可以得到最优解

本发明具有以下有益效果：(1)本发明提出了一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，联合考虑设备电量、信道状态、异构处理器和任务分配、同步上传模型策略、能耗和时延的平衡，优化联邦学习的学习效率。结合大型GPU集群的任务分配思想，因地制宜解决无线联邦学习中异构终端的异构任务分配问题，综合考虑无线联邦学习的特性和深度学习任务特性，在最大程度上优化联邦学习的学习效率。

(2)本发明所述的该方法在非独立同分布场景，考虑联合优化用户调度和资源分配，提高联邦学习系统的效率，同时考虑用户的设备体验问题，在保证本地上传时延较低的前提下，尽可能提高终端设备的电池效率。

(3)本发明中设计减负算法可以在异构设备和时延敏感型异构任务的场景中，以较小的代价获得和暴力遍历方法相同的任务分配的最优解，大幅减少基站进行任务分配的时间，同时尽可能的减少无线联邦学习系统终端之间的等待时间；该算法也可以作为大型GPU集群的分配器。减负算法内置的回溯算法以增加算法的鲁棒性，剪枝算法和特殊决策算法提高得到最优任务序列矩阵的效率，最后辅以贪心算法以提高减负算法的下限。

附图说明

图1为本发明的云-边-端联邦学习通信系统模型；

图2为本发明的联邦学习用户调度技术框图；

图3为本发明的任务-处理器二分图模型；

图4是本发明提出的无线通信策略的优化效果；

图5是本发明提出的协同计算和资源分配联合优化的无线联邦学习效率提升方法的优化效果。

具体实施方式

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

本发明以图1为研究场景，该场景由云基站(云服务器层)、边缘基站和多终端三个部分组成，研究系统的能效，并着重对任务匹配和带宽资源分配带来无线联邦学习系统的总效率带来分析和优化。图2为本发明的技术路线图，具体来说，首先要建立相关模型，对于无线联邦学习来说，可以分为四个部分，分别是能耗模型、通信模型、联邦学习模型和无线模型。其中，能耗模型描述了处理器学习能耗和通信能耗。通信模型描述了影响终端上传模型时延的因素。联邦学习模型分析了联邦学习框架的运行方式和联邦学习的收敛性。无线模型描述了终端的信道状态的随机性。在这四个模型的基础上，本发明根据上文提到的各种问题，使用最简洁的短语来概括，不同模型与不同问题各有联系。综合考虑所有提出的问题可以得到总优化目标，总优化目标是个含有二元变量的多变量耦合的问题，无法直接通过已有方法解决。所以本发明把总优化问题解耦成独立子问题和两个连续变量耦合问题，逐一解决，最终所有问题得以解决。

一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法；本发明主要基于非独立同分布场景，考虑联合优化用户调度和资源分配，提高联邦学习系统的效率，同时考虑用户的设备体验问题，在保证本地上传时延较低的前提下，尽可能提高终端设备的电池效率。基于以上对联邦学习效率的影响因素的分析，构建以最大化联邦学习系统的学习效率为总优化目标，为解决该非凸问题，首先分解成深度学习任务匹配、无线链路动态带宽分配、发送功率优化子问题，对于第一个子问题，通过提出的减负算法求解，对于第二个子问题，通过动态带宽分配算法求解，对于最后一个子问题通过联合凸优化的方法求解。具体步骤如下：

步骤S1：确定云-边-端之间信道模型和深度学习任务序列以及终端设备的具体信息，建立多层无线联邦学习系统模型，提出最大化联邦学习系统的学习效率问题模型，对问题模型进行解耦，分成多个子问题，并对多个子问题进行解决，多个子问题包括深度学习任务匹配、无线链路动态带宽分配、发送功率优化子问题；

步骤S2：首先边缘基站根据终端设备的实际电量情况确定该终端是否进入用户的调度池，边缘基站对进入调度池的终端完成指定的深度学习任务的时间进行预测，生成一个任务时间预测矩阵，把任务分配问题建模成二分图匹配问题，提出边缘基站k的用户计算调度总成本，利用减负算法完成深度学习任务分配；

步骤S3：提出传输能耗和传输时延联合优化策略，调整发射功率使得传输能耗和时延最小，在调度池的终端完成自己的任务序列后，提出模型上传请求，边缘基站根据终端的瞬时信道状态判断是否给该用户分配带宽，分析传输能耗和传输功率表达式，建立传输成本表达式，形成约束条件，对传输成本表达式通过凸问题求解方法得到最优发送功率，完成发送功率优化子问题；

步骤S4：提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同，以保证边缘基站的等待时间最小，完成无线链路动态带宽分配。

假设终端处理器种类数为PU，并定义为集合定义batt_n代表终端n的剩余电量，定义batt_n，total为终端n的电池总容量，定义batt_s为截止电量。在每次学习前，判断当batt_n≥batt_s时，终端n进入边缘基站k的调度池SP_k，n∈N_k。记PU_n为设备n的处理器类型，/>定义SPUP_k为边缘基站k在这轮调度中可以调度的处理器种类池，其中元素个数为spup_k，PU∈SPUP_k。这次未进入调度池的设备电量充满。定义二进制变量a_k，n来表示终端n是否进入边缘基站k的调度池。当a_k，n＝1时，终端n进入边缘基站k的调度池。反之，当a_k，n＝0时，终端n不进入边缘基站k的调度池，同时令batt_n＝batt_n，total。由于有限的无线资源，每一轮可以选择的客户端数量是有限的，定义二进制变量s_k，n来表示边缘基站k选择了用户n参加联邦学习中本地模型的上传。当a_k，ns_k，n＝1时，表示边缘基站k选择了与他相连的终端n作为联邦学习迭代的终端，当a_k，ns_k，n＝0时，表示终端n并不在边缘基站k所选择的参与联邦学习的设备集里。假设每个终端有不同种类的训练数据，定义为集合/>假设任务的种类数为J，并定义集合/>

所述步骤S1中，考虑一个传统的多层联邦学习系统模型，在多层联邦学习系统模型中，总共分为三层结构；分别是云服务器层、边缘基站层和终端设备层(所有终端的集合)。云服务器层具有最高的计算和存储能力，该层的作用是收集局部模型并聚合全局模型，然后给所有边缘基站广播全局模型。边缘基站层是作为中间网络节点，拥有较高的计算能力和一定的存储能力。边缘基站层会收集所有的本地模型进行局部模型聚合，并在一次局部联邦学习中充当主服务器，广播聚合后的局部模型，并在执行了一定数量的局部联邦学习后进行局部模型上传，使云服务器层可以进行全局模型聚合。终端设备层是由各种传感器、不同处理能力的智能体和网关组成每个智能体都有不同的传感器用来收集数据并传给所链接的智能体。智能体通过传感器收集的数据进行本地深度学习，得到对应任务的本地模型。由于数据的异构性和任务的多样性，要考虑时延敏感型业务的处理时间和联邦学习系统的学习效率，单个智能体不能进行所有任务的学习。为了解决这个问题，需要在计算层面上，给所有的智能体进行任务调度，使每个智能体得到单独的任务序列，这样才能在保证每个任务得到计算的前提下，减少学习的时长。同时还需要在通信层面上进行链路分配，得到最低的上传时延，从而最大化联邦学习系统的学习效率。该问题可表述为：

st.

a_k,m∈{0,1}

其中，T为总时延； 为本地模型更新时延/>和上传时延/>的和；SP_k为边缘基站k的调度池；回程时延忽略不计/>

E_n为终端n在一次模型更新和上传的能耗；为终端n的计算能耗；/>为终端n的上传能耗；

a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；为边缘基站k分配给各终端n的无线带宽比例；/>为终端n的发送功率；/>为终端n的最大发送功率；M_n为终端n的上传模型大小；batt_n为终端n的剩余电量；U上传标识；C计算标识。

为了简化分析，并明确研究场景，这里先提出如下假设：

假设1:信道服从瑞利分布，每个设备在执行完要求的迭代次数后，此时的信道参数随机，即模拟变化的通信链路质量，为简化模型，接收机端和发送机端的信道状态信息已知，以便于边缘基站进行用户通信调度的决策，且在一个通信帧内，上传本地模型和广播全局模型过程中信道参数不变。

假设2:设备的中心处理器性能不随着电量减少和环境的变化而改变，且在稳定迭代过程中单轮学习时间保持不变，同时在上文设定每个设备对任务的总迭代次数固定，由等式

其中，T是总迭代时间，T_B是达到稳定迭代所需的时间，I是总迭代次数，I_B是达到稳定迭代所需的迭代次数，T_I是稳定迭代的时间，I_s是在稳定迭代时间里的迭代次数；

可得到预测的总迭代时延，用于用户学习调度。同时设备不进行其他的活动，只用来完成迭代。

假设3:不同的学习任务拥有一个最大可容忍时间，学习时间超过了这个时间即认定为过时模型，在全局模型更新中不可用同时会给予一个较大的惩罚。这为用户学习调度提供了一个重要的约束，即在满足所有学习任务的时间都小于最大可容忍时间的前提下，最小化总学习时延。

所述步骤S2中，设定当终端剩余电量比小于一个设定的阈值时，禁止该终端参加学习。这里定义batt_n代表终端n的剩余电量，定义batt_n，total为终端n的电池总容量，当终端n满足时，称为低电量终端，其中batt_s为截止电量。禁止该终端参加联邦学习，即在边缘基站进行用户计算调度和用户上传调度时不考虑这些终端。同时为了保证所有用户参与学习，本轮学习低电量终端未进入边缘基站的调度池，则该终端将会在这轮学习过程中电量充满。若要考虑设备处理器性能进行用户学习调度，应先由边缘基站对其调度池里的不同处理器对不同学习任务的总计算时间进行预测，通过假设2提到的等式，再以最小化总任务时延为目标对不同处理器的设备进行调度。

在每一轮用户计算调度前，边缘基站预估任务执行时间，生成以spup_k×J的二维矩阵Pre，定义Pre[b，s]为处理器b进行j_s任务的总迭代时间；在每一次用户计算调度完成后，会生成一个任务序列矩阵定义一维数组/>为在执行完用户计算调度后，边缘基站k下的处理器b的任务序列；对应任务序列会同时生成执行时间序列/>其中/>假设任务的种类数为J，定义所有任务种类的集合/>且顺序不一定为正序；设任务p是处理器b的第m个任务，则定义处理器b完成任务p的总学习时间为处理器按照序列/>执行任务直到任务p完成的总时间，即：

其中：为任务序列生成的执行时间序列；

定义任务p的截止时间为overtime_p为任务p的超时时间，则：

如果没有超时则赋值0；定义为边缘基站k的调度池中处理器b的总成本，则：

其中F为惩罚系数，当产生超时时间时会给予该策略一个惩罚；定义cost^k为边缘基站k的用户计算调度的总成本，则：

st.

b∈SPUP

其中：为任务p完成的总学习时间；SPUP为边缘基站k在这轮调度中能够调度的处理器种类池。

基于上文所提出的假设和约束，每轮计算的任务种类不变，所有任务在不同的边缘基站下都会得到计算，所有任务都有可能进入任意一个处理器的任务序列中，且每个任务都至少在一个边缘基站的任务序列中，假设任务和处理器之间若连接可认为该任务在该处理器中进行计算，即只有任务和处理器之间存在连接，不同任务之间和不同处理器之间不可能存在连接。所有的任务属于一个集合，所有的处理器属于一个集合，集合内部没有连接且连接只存在于两个集合之间，此时以图像表示该结构，符合二分图的定义，即节点由两个集合组成，且两个集合内部没有边的图。本发明把任务和处理器的关系建模成加权二分图形式，如图3所示。假设共有三种任务，有三种处理器，N系处理器由于缺少图像收集设备，本地不存在图像数据所以无法完成图像识别任务，所以在图3中图像识别与N系处理器无连接线，不同任务在不同处理器的学习时间的预估在图3展示，且在图中以黑色单独数字标出，即二分图的权值。为了更快的找到最小的任务时间，本发明对所有预估时间进行排序，相同的时间以线条的上下顺序一次排序，得到图3中含有颜色标签的数字，相同颜色标签的连接线代表同一个任务的不同完成方式。本发明所提出的策略，首先满足上文提到的限制，然后在每个颜色标签的连接线组中选择一条且只选择一条，使成本即所有处理器总任务时间的最大值最小。

由于问题已经建模成二分图模型，可以尝试使用基于二分图的已有算法进行处理。但是，传统的基于二分图算法，例如，KM算法和匈牙利算法等，都是找到二分图或带权值二分图的最大或最优匹配问题，在二分图中，一组匹配是指将某些边连接起来形成的一组点对(即匹配)，满足任意两条边没有公共顶点。在文中所示的场景中，一个任务只能由一个处理器进行处理，任务集合可以满足每个节点只存在一条边，而且每个节点必须存在一条边。处理器集合中的节点可以不存在边，也可以存在多个边。综上所述，此任务调度问题并不是一个简单的寻找最大或最优匹配问题，所以传统的基于二分图匹配算法在本发明中不适用。同时，由于考虑了任务的最大容忍时间，这是个新颖的问题场景，已有算法都未能找到最优任务序列。若采用暴力遍历的方法，会使得整个算法的复杂度会随着矩阵维度的变化而产生指数性上升。为了解决这个问题，本发明提出了一个新的算法，叫做减负算法。接下来将详细介绍该算法的决策过程。

简单来说，就是把该处理器能执行的任务都放入该处理器的任务序列里，如算法1中第5行。本发明设定的惩罚系数很高，若产生超时时间则会产生远大于处理时间的成本，所以为了简化计算，当产生超时时间时，不考虑任务的处理时间。由于每次策略的成本(边缘基站k的用户计算调度的总成本)是所有处理器的执行成本的最大值，所以要减少策略的成本就要在这个处理器的任务序列上做文章。当得到了所有的处理器的执行成本后，找到最大执行成本的处理器，把该处理器任务序列中的所需执行时间最长的任务从任务序列中删去。如算法1中18行所示，经过多次上述操作，直到每个任务只存在在一个处理器任务序列中时，如算法1中5-6行，终止算法。

具体来说，在上文中提到的任务序列矩阵中，所有非零的元素代表该列的任务可以被该列行的处理器执行。最后一行中的元素是对应任务的最大容忍时间。每一行非零元素代表该任务在该处理器的任务序列中，即每一行代表处理器的任务序列。任务的执行顺序是从左到右依次执行，可以把任务序列矩阵代入上述边缘基站k的用户计算调度的总成本中得到当前策略的总成本。在每一轮中，比较各个处理器的任务执行成本，取成本最大的行，把该行中最大的值置零，如15-18行。在下轮中，重新计算各行的成本，再取成本最大的行，把最大的值置零，直到每列只存在一个非零的值，即每个任务至少有一个处理器处理。理想情况下，在执行了(M-1)×N次置零操作后，可得到最优任务矩阵。在该矩阵中每一个非零位置代表该列任务被该行处理器执行，每一行就是该处理器的最优任务序列，整个调度过程如算法1所示。

/>

由于本算法执行的是减法操作，在具体的执行过程中，有可能因为输入的任务时间预测矩阵的特殊性导致未输出最优任务序列，或者因为决策过程中不满足终止条件而每一列必须存在非零元素所导致没有执行置零操作。为了解决这个问题，在减负算法中，本发明设计了一个回溯算法。具体实现方式如下，本发明定义了一个历史矩阵数组，该数组的第一个元素就是输入矩阵，每进行一次置零操作后，把更新的矩阵存入数组中，同时记录此时执行置零操作的次数，本发明称为时间计数。当执行了列数循环后，并未对输入矩阵执行置零操作，且未满足算法终止条件，则执行回溯操作。矩阵会回溯成历史矩阵数组中时间计数减一的位置的历史矩阵，同时，时间计数减一，历史矩阵数组删除时间计数后面位置的历史矩阵。但是有可能回溯到上一次还不能完成决策，所以本发明会记录时间计数的使用次数，当某一次历史矩阵被重复回溯了矩阵的列次数，或者，在回溯算法中并没有进行置零操作，如算法2中7行，那么需要再次进行回溯，回溯到时间计数再减一的历史矩阵，再次使用回溯算法。回溯算法会对传入的矩阵执行与减负算法不同逻辑的置零操作，输出一个执行了一次置零操作的矩阵，返回到减负算法中。在减负算法中会重复调用回溯算法，直到减负算法得到最优任务序列矩阵，整个回溯算法如算法2所示。

虽然本发明提出的减负算法已经提供了一个极低的算法复杂度的方法来解决一个特殊的二分图任务分配问题，并且决策时间比暴力遍历能减少50％-90％的时间，而且空间复杂度也能减少相似的程度。但是还可以根据矩阵的特征和决策的特殊情况进一步减少决策时间。具体实现有如下两个方案对算法进行剪枝。

·特殊任务的特殊处理

当某个任务只有一个处理器可以处理，那么就把该处理器其他的任务直接从任务序列中删除，只保留这个特殊任务，如算法3所示。注意：这个算法只适用与处理器数量大于或等于任务数。因为当任务数大于处理器数量时，特别是处理器数量很少时，很有可能会使该处理器过于空闲，而其他处理器任务繁重。

/>

·快速决策算法

在减负算法执行的过程中，当特殊处理器成为任务时长最长的处理器，即能处理特殊任务的处理器的成本最大时，此时由于特殊处理器中只有这一个特殊任务，无法执行置零操作，而且其他处理器不管怎么调度都不会令最大的成本降低，所以可以进行快速决策得到最优任务序列。具体实现过程如算法4所示。

虽然本算法经测试已经能解决绝大部分问题，但是不排除会可能因为矩阵的特殊性而导致过量的回溯算法的调用或者算法进入死循环，从而使效率降低。本发明设计了一个基于贪心算法的补偿算法作为减负算法的补充，当置零操作执行次数大于一个设定好的阈值后(阈值定义可以是暴力遍历次数的10％或者1000次，根据任务序列矩阵的尺寸而决定)，直接执行补偿算法，能最快的得到一个局部最优的任务序列矩阵。减负算法配合基于贪心算法的补偿算法能使得问题的解决率达到100％，且效率得到很高的提升。基于贪心算法的补偿算法具体实现方式如算法5所示。

/>

所述步骤S3中，设计一种传输能耗和传输时延联合优化策略。首先，需要根据信道状态决定参加模型上传的终端。根据假设1，终端传输的无线信道都服从瑞利分布，考虑任一终端的通信上行阶段，终端n与边缘基站之间的信道增益可表示为

其中，为大尺度衰落系数，d₀为参考距离，d_n为终端n的距离边缘基站的距离，ξ为阴影衰落系数，α为路径损耗系数，/>为小尺度衰落系数，其中/>为复高斯分布，为了简化分析，终端和边缘基站均为单天线，可得：

其中，ran(0,1)为0到1的随机数；为了静默较差信道状态的设备，本发明设定了一个信道增益阈值G_t，只有当终端设备的信道增益大于这个阈值，才能被允许参加本地模型上传并参加上行链路带宽分配；即：

首先，对于被边缘基站选择参加本地模型上传的终端n，其模型上传时延为：

st.

a_k,ns_k,n＝1

其中，q：量化级；M_n：终端n的上传模型大小；边缘基站k分配给终端n的上传速率；a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；/>为边缘基站k分配给各终端n的无线带宽比例；/>边缘基站k的可分配的带宽；/>终端n的发送功率；/>终端n的最大发送功率；N₀：白噪声功率；

同时可以得到终端n的本地模型上传能耗为：

st.

于是定义终端n在本地模型上传期间的成本为：

st.

a_k,ns_k,n＝1

β_t+β_e＝1

其中，β_t为时延杠杆系数；β_e为能耗杠杆系数，通过调整这两个系数的大小可以改变策略对联邦学习效率和终端设备电池效率的倾向；可以得到策略的目标为：

st.

a_k,ns_k,n＝1

β_t+β_e＝1

引入KKT条件，通过迭代的方式进行求解，来获得最优发送功率分配；上式策略目标的拉格朗日函数形式可写为：

其中，μ₁、μ₂为拉格朗日系数；

若要求解上述优化问题，必须满足下述KKT条件：

对KKT条件求解可得：

上述求解结果为x^x＝a的形式，可通过图像或逼近得到最优解得到该终端设备的最优发送功率/>即得到该设备的最优发送功率的分配方案。

所述步骤S4中，设计一种动态带宽分配方法。联邦学习中采用模型同步上传方式，即在所有参加联邦学习的终端设备都完成本地模型更新后，所有的本地模型同时进行上传。由于本地模型不只有一个，且一个终端设备也可能会传输不只一个模型，在上文描述的场景中，相同处理器的任务序列相同，但搭载相同处理器的终端设备的信道状态却有所差异。只有相同任务的模型都传输到边缘基站后，边缘基站才能进行模型汇聚，相同边缘基站的本地模型上传时延为所有终端设备上传模型时延的最大值。所以在模型上传中，信道状态较差的终端设备会影响联邦学习整体的效率，而在现实场景中，上传链路的带宽是固定的，这时就要进行带宽分配，给信道状态差的终端设备分配更多的带宽，尽可能减少本地模型上传时间。但给信道状态差的终端设备分配过多带宽，会使得信道状态好的终端设备获得较少带宽进而增加该终端设备的本地模型上传时延，甚至会成为本地模型汇聚的阻碍。所以本小节的目的就是找到带宽分配的平衡点，使同一边缘基站下所有参加本地模型上传的终端设备上传时延相等。

终端n的本地模型上传时延为：

其中，a_k,ns_k,n＝1，s是代表任务标号；/>是边缘基站k范围内终端n的任务序列；若使得终端n'的本地模型上传时延和终端n相同，则

即：

其中，a_k,ns_k,n＝a_k,n’s_k,n’＝1；M^j为j终端设备的上传模型大小；得到分配的带宽比例的比值：

易得参加用户上传调度的终端设备的带宽分配比例为：

st.

求解等式可以得到最优解

图4是本发明提出的无线通信策略的优化效果；从图中可以看出，随着终端数量的逐渐增多，三种策略的无线联邦学习系统的通信时延逐渐增加。同时可以看出，使用动态链路带宽分配策略的时延要小于另外两种策略，而且随着终端数量的逐渐增多，差异越明显。这是因为随着终端数量的增加，使得每个终端分配到的无线链路资源减少，同时随机性的增加使得信道状态较差的终端出现的几率也增大了，从而使得上传时延的增加。

图5是本发明提出的协同计算和资源分配联合优化的无线联邦学习效率提升方法的优化效果。从图中可以看出，随着通信轮次的增加，总时延逐渐增大。还可以得到在相同链路分配策略下，基于减负算法的任务分配策略的表现总是优于其他的任务分配策略的表现，这是因为减负算法可以得到最优的任务序列，从而最小化计算时延。值得注意的是，当不采用任务分配策略时，计算时延将会远远大于应用了任务分配策略的计算时延，所以采用任务分配对于提升联邦学习效率是很有必要的。

以上显示和描述了本发明的基本原理、主要特征及优点。但是以上所述仅为本发明的具体实施例，本发明的技术特征并不局限于此，任何本领域的技术人员在不脱离本发明的技术方案下得出的其他实施方式均应涵盖在本发明的专利范围之中。

Claims (10)

1.一种基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，所述方法包括以下步骤：

步骤S1：确定云-边-端之间信道模型和深度学习任务序列以及终端的具体信息，建立多层无线联邦学习系统模型，提出最大化联邦学习系统的学习效率问题模型，对问题模型进行解耦，分成多个子问题，并对多个子问题进行解决，多个子问题包括深度学习任务匹配、无线链路动态带宽分配、发送功率优化子问题；

步骤S2：首先边缘基站根据终端的实际电量情况确定该终端是否进入用户的调度池，边缘基站对进入调度池的终端完成指定的深度学习任务的时间进行预测，生成一个任务序列矩阵，把任务分配问题建模成二分图匹配问题，提出边缘基站k的用户计算调度总成本，利用减负算法完成深度学习任务分配；

步骤S3：提出传输能耗和传输时延联合优化策略，调整发射功率使得传输能耗和时延最小，在调度池的终端完成自己的任务序列后，提出模型上传请求，边缘基站根据终端的瞬时信道状态判断是否给该用户分配带宽，分析传输能耗和传输功率表达式，建立传输成本表达式，形成约束条件，对传输成本表达式通过凸问题求解方法得到最优发送功率，完成发送功率优化子问题；

步骤S4：提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同，以保证边缘基站的等待时间最小，完成无线链路动态带宽分配。

2.根据权利要求1所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，步骤S1中最大化联邦学习系统的学习效率问题模型，这里学习效率表示为完成一轮学习的时延，表达如下：

st.

a_k,n∈{0,1}

假设边缘基站k和终端n的数量分别为K和N，定义为边缘基站集合与终端集合/>其中，每个边缘基站都有各自的服务范围，边缘基站k的服务范围内有N_k个用户，记为集合/>

其中：T为总时延； 为本地模型更新时延/>和上传时延/>的和；SP_k为边缘基站k的调度池；

E_n为终端n在一次模型更新和上传的能耗；为终端n的计算能耗；/>为终端n的上传能耗；

a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；为边缘基站k分配给各终端n的无线带宽比例；/>为终端n的发送功率；/>为终端n的最大发送功率；M_n为终端n的上传模型大小；batt_n为终端n的剩余电量。

3.根据权利要求1所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，步骤S2中：首先要确定参加学习的终端，设定当终端剩余电量比小于一个设定的阈值时，禁止该终端参加联邦学习；定义batt_n代表终端n的剩余电量，定义batt_n，total为终端n的电池总容量，当终端n满足时，称为低电量终端，其中batt_s为截止电量，即在边缘基站进行用户计算调度和用户上传调度时不考虑这些终端；

在每一轮用户计算调度前，边缘基站预估任务执行时间，生成以spup_k×J的二维矩阵Pre，定义Pre[b，s]为处理器b进行j_s任务的总迭代时间；在每一次用户计算调度完成后，会生成一个任务序列矩阵定义一维数组/>为在执行完用户计算调度后，边缘基站k下的处理器b的任务序列；对应任务序列会同时生成执行时间序列/>其中/>假设任务的种类数为J，定义所有任务种类的集合/>且顺序不一定为正序；设任务p是处理器b的第m个任务，则定义处理器b完成任务p的总学习时间为处理器按照序列/>执行任务直到任务p完成的总时间，即：

定义任务p的截止时间为overtime_p为任务p的超时时间，则：

如果没有超时则赋值0；定义为边缘基站k的调度池中处理器b的总成本，则：

其中F为惩罚系数，当产生超时时间时会给予此次任务分配策略一个惩罚；定义cost^k为边缘基站k的用户计算调度的总成本，假设第s个任务超时，则：

st.

b∈SPUP

其中：为任务p完成的总学习时间；SPUP为边缘基站k在这轮调度中能够调度的处理器种类池。

4.根据权利要求3所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，步骤S2中所述的减负算法具体步骤如下：

步骤1)：把处理器能执行的任务都放入该处理器的任务序列里，根据任务序列的特征进行剪枝；

步骤2)：计算每个处理器的边缘基站k的调度池中处理器b的总成本；

步骤3)：当得到了所有的处理器的执行成本后，找到最大执行成本的处理器，把该处理器任务序列中的所需执行时间最长的任务从任务序列中删去；

步骤4)：判断是否需要回溯，当输入的任务时间预测矩阵的特殊性导致未输出最优任务序列，或者决策过程中不满足终止条件而每一列必须存在非零元素所导致没有执行置零操作，通过回溯函数对任务序列矩阵回溯，回溯到执行一次步骤3)之前的任务序列矩阵；

步骤5)：循环减负，直到完成任务分配要求停止，用贪心算法作为补充，提高算法的鲁棒性。

5.根据权利要求4所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，所述减负算法中包含回溯算法，回溯算法的具体步骤为：

(1)任务序列矩阵会回溯成历史矩阵数组中时间计数减一的位置的历史矩阵，同时，时间计数减一，历史矩阵数组删除时间计数后面位置的历史矩阵；

(2)对任务序列矩阵执行与减负算法不同逻辑的置零操作，即不对最大的执行时间进行置零；

(3)输出一个执行了一次置零操作的任务序列矩阵，返回到减负算法中，在减负算法中会重复调用回溯算法，直到减负算法得到最优任务序列矩阵。

6.根据权利要求4所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，所述减负算法中包含剪枝算法，当某个任务只有一个处理器处理时，把该处理器其他的任务直接从任务序列中删除，只保留此任务，剪枝算法的具体步骤为：

1)在任务序列矩阵中找到只有一个非0值的列；

2)对该非0值同行的其他元素全置0，得到新的任务序列矩阵，输入到减负算法中。

7.根据权利要求4所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，在减负算法执行过程中，当特殊处理器成为任务时长最长的处理器，即能处理特殊任务处理器的成本最大时，此时由于特殊处理器中只有这一个特殊任务，无法执行置零操作，而且其他处理器不管怎么调度都不会令最大的成本降低，通过特殊快速决策算法得到最优任务序列矩阵，特殊决策算法的具体步骤：

(Ⅰ)在任务序列矩阵中找到只有一个非0值的列且该值所在的行成本为最大的成本；

(Ⅱ)对该元素其他同行元素置零，得到最优任务序列矩阵。

8.根据权利要求4所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，为了提高效率，设计贪心算法作用减负算法的补充，当置零操作执行次数大于一个设定好的阀值后，直接进行补偿算法，能最快得到一个局部最优的任务序列矩阵；贪心算法的具体步骤为：

Ⅰ)只对任务序列矩阵第一列计算行成本，取得到最小行成本的元素，令该列其他元素为0；

Ⅱ)加上第二列计算行成本，取得到最小行成本的元素，令该列其他元素为0；

Ⅲ)循环操作，直到对整个任务序列矩阵的所有列完成置零操作。

9.根据权利要求1所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，步骤S3中：终端传输的无线信道服从瑞利分布，考虑任一终端的上行阶段，终端n与边缘基站之间的信道增益可表示为：

其中，为大尺度衰落系数，d₀为参考距离，d_n为终端n的距离边缘基站的距离，ξ为阴影衰落系数，α为路径损耗系数，/>为小尺度衰落系数，其中/>为复高斯分布，为了简化分析，终端和边缘基站均为单天线，可得：

其中，ran(0,1)为0到1的随机数；为了静默较差信道状态的设备，设定了一个信道增益阈值G_t，只有当终端的信道增益大于这个阈值，终端才能被允许参加本地模型上传并参加上行链路带宽分配；即：

首先，对于在被边缘基站选择参加本地模型上传的终端n，其模型上传时延为：

st.

a_k,ns_k,n＝1

其中，q：量化级；M_n：终端n的上传模型大小；边缘基站k分配给终端n的上传速率；a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；/>为边缘基站k分配给各终端n的无线带宽比例；/>边缘基站k的可分配的带宽；/>终端n的发送功率；/>终端n的最大发送功率；N₀：白噪声功率；

同时可以得到终端n的本地模型上传能耗为：

st.

定义终端n在本地模型上传期间的成本为：

st.

a_k,ns_k,n＝1

β_t+β_e＝1

其中，β_t为时延杠杆系数；β_e为能耗杠杆系数，通过调整这两个系数的大小可以改变策略对联邦学习效率和终端设备电池效率的倾向；得到策略的目标为：

st.

a_k,ns_k,n＝1

β_t+β_e＝1

引入KKT条件，通过迭代的方式进行求解，来获得最优发送功率分配；策略目标的拉格朗日函数形式可写为：

其中：μ₁、μ₂为拉格朗日系数；

若要求解上述优化问题，必须满足下述KKT条件：

对KKT条件求解可得：

上述求解结果为x^x＝a的形式，可通过图像或逼近得到最优解得到该终端设备的最优发送功率/>即得到该终端的最优发送功率的分配方案。

10.根据权利要求1所述的基于协同计算和资源分配联合优化的无线联邦学习效率提升方法，其特征在于，步骤S4中所述的提出动态带宽分配算法，使得所有参加模型上传的终端上传时延相同，以保证边缘基站的等待时间最小，具体步骤如下：

终端n的本地模型上传时延为：

其中，q：量化级；M_n：终端n的上传模型大小；边缘基站k分配给终端n的上传速率；a_k,n为表示终端n是否进入边缘基站k的调度池的二进制变量；s_k,n为表示边缘基站k选择了终端n参加联邦学习中本地模型的上传的二进制变量；/>为边缘基站k分配给各终端n的无线带宽比例；/>边缘基站k的可分配的带宽；/>终端n的发送功率；/>终端n的最大发送功率；N₀：白噪声功率；a_k,ns_k,n＝1，/> 是边缘基站k范围内终端n的任务序列；若使得终端n'的本地模型上传时延和终端设备n相同，则

即：

其中，a_k,ns_k,n＝a_k,n’s_k,n’＝1；M^j为j终端设备的上传模型大小；得到分配的带宽比例的比值：

易得参加用户上传调度的终端的带宽分配比例为：

st.

求解等式可以得到最优解