CN114080026A - 一种基于随机梯度下降的水下无线传感网络资源分配方法 - Google Patents

Abstract

本发明涉及一种基于随机梯度下降的水下无线传感网络资源分配方法，属通信技术系统资源分配领域。本发明考虑实际网络速率约束、功率约束和能量归还等约束,针对水下无线传感网络采用多归属技术，在能量借还机制的情况下，以通信系统吞吐量最大化为目标，建立网络资源分配优化模型；所提改进的随机梯度下降算法在每次迭代过程随机选取一个样本求梯度，进行权重向量的迭代更新。并利用动量因子保证步长的最优性，进而提出一种基于随机梯度下降的水下无线传感网络资源分配方法。收敛性分析和仿真结果表明，基于改进随机梯度的网络资源分配方法具有良好的收敛性，能够有效的水下控制传感器间的通信速率，降低了水下无线传感器网络能耗。

Description

一种基于随机梯度下降的水下无线传感网络资源分配方法

技术领域

本发明涉及通信技术领域，尤指一种基于随机梯度下降的水下无线传感网络资源分配的实现方法。

背景技术

海洋对人类社会的发展有重要的意义，目前迫切的需要对海洋进行有效监测，水下无线传感器网络(Underwater Wireless Sensor Network,UWSN)作为海洋监测的一项重要技术，在军事和民生领域均有着非常广泛的应用前景，近年来受到了世界各国的关注。UWSN属于无线传感器网络(Wireless Sensor Network,WSN)的一种，由水下传感器节点和基站组成，这些节点能在其覆盖范围内感知某些信号，对信号进行初步处理后传递给所需用户。传感器负责采集温度、PH值、压力和声音等各种信号，并将其传递给处理器。处理器将传感器采集的数据进行处理，将其储存在存储器或者通过调制解调器发送给UWSN中的其他节点。电池需对传感器节点中的各单元供能。由于无线电波在水下的衰减很快，传播距离有限，目前水下节点间的通信主要是借助水下声波来完成，水声通信信道是最复杂、最困难的通信媒介之一。其通信网络吞吐量是UWSN中一项重要性能指标，代表无线传感器网络工作的运行效率。在分析网络性能相关问题时，网络吞吐量测试是必备手段。如何提高网络吞吐量的资源分配算法是UWSN研究热点。

由于UWSN其系统特殊性，在资源分配的过程中会遇到诸多问题与挑战，如水声通信的低带宽、水声通信的高延时和水下节点的移动性等。声波在水中传播造成的能量损失包括扩散损失、吸收损失和散射损失，其中扩散损失和吸收损失是主要的传播损失。吸收损失与声波频率正相关，频率越大，会造成吸收损失也越大，因此对水声通信的频率进行限制。正常情况下，水声通信频率保持在1kHz到1kHz的范围内，如果在同一时间段有多个水声通信系统被部署在同一水域，系统的信道资源就会变得紧张，需要等待较长时间才会有空闲信道，增加了数据包在发送过程中的延时。在UWSN的调度中，处于休眠状态的节点只有收到邻居节点的唤醒信号后才进入工作状态，这种调度方式需要充分考虑水声通信延时所带来的影响。UWSN中节点的位置是固定不动或者移动非常缓慢的，而悬浮在水中或者漂浮于水面的节点会随着水流不断移动。如果某个调度策略需要用到网络拓扑结构或者节点的位置信息，节点的移动将会对调度造成巨大的难度。由于很难获得准确的节点位置信息，使得调度的结果会与理想情况偏差较大。在UWSN网络调度过程中，尽可能地希望充分利用各信道资源，増加网络吞吐量。

发明内容

从自然界采集的能量具有不稳定性，而当能量采集系统应用于UWSN系统中，不稳定性更加明显，会影响UWSN通信系统的吞吐量。本发明针对UWSN系统采用多归属技术可以使一个用户接入多个基站，当一个基站的能量不足时，另一层网络的基站能量可能会充足，进而提高用户的吞吐量，可实现多基站间合作技术。

为解决上述问题，本发明提出一种基于改进随机梯度下降的水下无线传感网络资源分配方法，可有效弥补系统的不稳定性和随机性，从而提高UWSN网络性能和服务质量，主要包括以下步骤：

建立最大吞吐量资源分配优化模型：

基本假设：

1.假设在节点静止不动时和移动单位距离的时间远远大于基站与节点的连接时间时两种情况下信道增益不变；

2.为了防止基站间的干扰，基站需要分配给不同的节点，假设每个节点在n时刻只接入一个基站。

本发明主要是在能量借还机制的情况下，以截止时间前UWSN通信系统吞吐量最大化为目标，提出一种适用于能量借还和数据传输安排的资源分配方法。假设UWSN通信系统在发送端备有储能电池，传输数据所用的能量均来自于储能电池。刚采集的能量储存和从传统电网供能系统获得的能量储存在储能电池中。发送端从储能电池获得能量来传输，从传统电网中获得的能量也要经过储能电池，才能被发送用来弥补能量采集能量不足时传输数据的需要。为了避免给传统电网增加负担，发送端在传输截止时间之前，将从传统电网中借取的能量还完，并且需要按照一定利息返还额外的能量作为从传统电网中借取能量的利息。能量采集供能系统向传统电网系统借取能量，所以借取和还取的能量在传输过程中的耗损也有能量采集供能系统来承担，从而保证两方都尽可能处于双赢状态。

本发明采用时隙循环传输通信系统所需的传输数据包，并以N时隙为一个时隙循环。对于水下无线通信系统所传输的数据包，

表示节点k在第n时隙内的传输功率，为了尽量避免能量的浪费，其约束条件为：

式中节点总个数为K，P_max,k表示为节点k的最大功率。

在每个循环时隙开始时，统一传输上一时隙所累积的数据包。

为在第n时隙开始时所采集的能量，

为在此时隙开始时能量采集供能系统从传统电网供能系统中所借取的能量。假设在第n时隙，能量采集供能系统所能够还取的所有能量

的上限为

因为此系统为借还系统，即先借取能量再还取能量，所以

需要大于0。

需满足：

为了保证传统电网供能系统的利益，在传输数据截止时间之前，能量采集供能系统需要还取所有借取的能量。在最后一个时隙(第N时隙)满足：

充分考虑采集能量的不稳定性，假设在第n时隙中，不同时隙之间信道的变化相互独立，发送端与接收端之间的信道链路增益G_k(d₀)为一个常数；σ表示带宽范围内基站接收的背景噪声，通常看作是高斯白噪声。在第n时隙的传输速率为:

由于水下节点之间的连接是相互独立的，引入用户连接指数λ_k：

在用户连接指数基础上，对传输速率做出如下约束：

ν_k表示每个节点的最低速率要求。

对于每个时隙，可以用来传输数据的能量不能超过发送端的储能电池中的能量，定义能量因果约束：

式中Ψ为能量参数，

为能量采集供能系统从传统电网供能系统中的采集能量消耗，用户连接指数λ_k＝{0,1}是离散的，求解困难。为解决这个问题，对节点约束进行松弛，把节点约束替换为0≤λ_k≤1。由此可得UWSN通信系统吞吐量最大化资源分配方法的优化模型为：

式中最后一个约束表示分配功率需要大于等于零。

基于改进随机梯度下降的最大化资源分配方法

梯度下降算法(Gradient Descent,GD)是一种典型的求解无约束优化问题的方法，主要思想是朝着负梯度方向寻求目标的最优解。由于使用简单、收敛速度快和效果可靠等优点得到了普遍应用。随机梯度下降算法(Stochastic Gradient Descent,SGD)作为梯度下降算法的一种，在每次迭代过程中不需要遍历所有数据，而只是随机选取一个样本求梯度，进行权重向量的迭代更新，大大降低了计算量，更适合具有不稳定性和大规模数据分类的UWSN系统资源分配方法。随机梯度下降算法避免了梯度算法计算样本均值期望的方向搜索过程，计算其相应梯度：

θ_t+1＝θ_t+Δθ_t

式中，η是算法的学习率，代表向全局最优或局部最优方向移动的步长；L(θ_t)是第t次迭代权重θ_t的损失函数，

为权重θ在t时刻关于损失函数的一阶梯度，简记为g_t，θ_t+1为t+1时刻的权重值，θ_t为t时刻的权重值，Δθ_t为梯度算子，即每次迭代的更新部分。

基于改进随机梯度下降的资源分配方法具体步骤：

Step 1:初始化：令t＝1,n＝0,

Step 2:构建假设函数h_θ(x)；

Step 3:进而构造罚函数L(θ)；

Step 4:根据模型罚函数L(θ)求解样本点x^k罚函数的梯度向量

Step 5:在更新权重参数时保留之前的更新方向，利用当前数据梯度微调最终更新方向。迭代次数累加t＝t+1，利用梯度向量求出最优解

与现有技术相比，本发明具有以下优点：

1.针对UWSN系统能量采集系统的不稳定性更加明显，本发明针对UWSN系统采用多归属技术，在能量借还机制的情况下，以通信系统吞吐量最大化为目标，提出了一种适用于能量借还和数据传输安排的资源分配方法。为更好适应实际网络情况，模型考虑速率约束、功率约束和能量归还等约束。

2.基于梯度下降算法简单、收敛速度快和效果可靠等优点，改进的随机梯度下降算法在每次迭代过程中不需要遍历所有数据，只随机选取一个样本求梯度，进行权重向量的迭代更新。并利用动量因子ρ保证步长的最优性，大大降低了计算量，更适合具有不稳定性和大规模数据的UWSN系统资源分配方法。收敛性和数值仿真结果证明了本发明方法有效地降低了节点能耗，提高了UWSN系统吞吐量和网络服务质量。

附图说明

图1：本发明验证不同迭代次数环境下水下无线传感网络资源分配方法对应的网络平均速率收敛示意图；

图2：本发明验证不同用户个数环境下水下无线传感网络资源分配方法对应的网络平均速率示意图；

图3：本发明验证不同迭代次数环境下水下无线传感网络资源分配方法对应的网络能耗收敛示意图；

图4：本发明验证不同用户个数环境下水下无线传感网络资源分配方法对应的网络能耗示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。本实施基于改进随机梯度下降的水下无线传感网络资源分配方法，通过以下技术方案实现：

建立最大吞吐量资源分配优化模型：

基本假设：

1.假设在节点静止不动时和移动单位距离的时间远远大于基站与节点的连接时间时两种情况下信道增益不变；

2.为了防止基站间的干扰，基站需要分配给不同的节点，假设每个节点在n时刻只接入一个基站。

本发明主要是在能量借还机制的情况下，以截止时间前UWSN通信系统吞吐量最大化为目标，提出一种适用于能量借还和数据传输安排的资源分配方法。假设UWSN通信系统在发送端备有储能电池，传输数据所用的能量均来自于储能电池。刚采集的能量储存和从传统电网供能系统获得的能量储存在储能电池中。发送端从储能电池获得能量来传输，从传统电网中获得的能量也要经过储能电池，才能被发送用来弥补能量采集能量不足时传输数据的需要。为了避免给传统电网增加负担，发送端在传输截止时间之前，将从传统电网中借取的能量还完，并且需要按照一定利息返还额外的能量作为从传统电网中借取能量的利息。能量采集供能系统向传统电网系统借取能量，所以借取和还取的能量在传输过程中的耗损也有能量采集供能系统来承担，从而保证两方都尽可能处于双赢状态。

本发明采用时隙循环传输通信系统所需的传输数据包，并以N时隙为一个时隙循环。对于水下无线通信系统所传输的数据包，

表示节点k在第n时隙内的传输功率，为了尽量避免能量的浪费，其约束条件为：

式中节点总个数为K，P_max,k表示为节点k的最大功率。

在每个循环时隙开始时，统一传输上一时隙所累积的数据包。

为在第n时隙开始时所采集的能量，

为在此时隙开始时能量采集供能系统从传统电网供能系统中所借取的能量。假设在第n时隙，能量采集供能系统所能够还取的所有能量

的上限为

因为此系统为借还系统，即先借取能量再还取能量，所以

需要大于0。

需满足：

为了保证传统电网供能系统的利益，在传输数据截止时间之前，能量采集供能系统需要还取所有借取的能量。在最后一个时隙(第N时隙)满足：

充分考虑采集能量的不稳定性，假设在第n时隙中，不同时隙之间信道的变化相互独立，发送端与接收端之间的信道链路增益G_k(d₀)为一个常数；σ表示带宽范围内基站接收的背景噪声，通常看作是高斯白噪声。在第n时隙的传输速率为:

由于水下节点之间的连接是相互独立的，引入用户连接指数λ_k：

在用户连接指数基础上，对传输速率做出如下约束：

ν_k表示每个节点的最低速率要求。

UWSN通信系统在截止时间时总的吞吐量为：

式中M为信道总数。

对于每个时隙，可以用来传输数据的能量不能超过发送端的储能电池中的能量，定义能量因果约束：

式中Ψ为能量参数，

为能量采集供能系统从传统电网供能系统中的采集能量消耗，用户连接指数λ_k＝{0,1}是离散的，求解困难。为解决这个问题，对节点约束进行松弛，把节点约束替换为0≤λ_k≤1，由此可得UWSN通信系统吞吐量最大化资源分配方法的优化模型为：

式中最后一个约束表示分配功率需要大于等于零。

基于改进随机梯度下降的最大化资源分配方法

梯度下降算法(Gradient Descent,GD)是一种典型的求解无约束优化问题的方法，主要思想是朝着负梯度方向寻求目标的最优解。由于使用简单、收敛速度快和效果可靠等优点得到了普遍应用。随机梯度下降算法(Stochastic Gradient Descent,SGD)作为梯度下降算法的一种，在每次迭代过程中不需要遍历所有数据，而只是随机选取一个样本求梯度，进行权重向量的迭代更新，为此大大降低了计算量，更适合运用在具有不稳定性和大规模数据分类的UWSN系统资源分配方法。随机梯度下降算法避免了梯度算法计算样本均值期望的方向搜索过程，计算其相应梯度：

θ_t+1＝θ_t+Δθ_t

式中，η是算法的学习率，代表向全局最优或局部最优方向移动的步长；L(θ_t)是第t次迭代权重θ_t的损失函数，

为权重θ在t时刻关于损失函数的一阶梯度，简记为g_t，θ_t+1为t+1时刻的权重值，θ_t为t时刻的权重值，Δθ_t为梯度算子，即每次迭代的更新部分。

基于改进随机梯度下降的资源分配方法具体步骤：

Step 1:初始化：令t＝1,n＝0,

Step 2:构建假设函数h_θ(x)(θ为函数参数)，通过评估模型拟合的好坏,构建假设函数，即监督学习中拟合样本特征到目标函数的函数；

Step 3:进而构造罚函数L(θ)，进而构造罚函数，通常用来度量拟合的程度：

假设：

根据上一部分UWSN通信系统吞吐量最大化资源分配方法的优化模型构建罚函数

L(θ)：

Step 4:根据模型罚函数L(θ)求解样本点x^k罚函数的梯度向量

初始化假设函数的参数θ，得到对应的梯度向量。并对θ进行随机取值，假设θ_i第一次全部取0，将θ⁰带入L(θ)¹，得到取θ⁰的损失

将θ⁰带入

得到θ⁰的梯度向量

Step 5:通过迭代次数累加，利用梯度向量求出最优解。随机梯度下降法的步长很大程度影响算法的收敛，本发明对随机梯度下降法进行改进。在更新权重参数时保留之前的更新方向，利用当前数据梯度微调最终更新方向。更新公式如下：

Δθ_t＝ρΔθ_t-1-ηg_t

θ_t＝θ_t-1+Δθ_t

t＝t+1

其中ρ为动量因子，表示原来更新方向的保留程度，取值范围在0到1之间。在迭代初期，算法使用与下降方向一致，可以很好的加速学习；在迭代中后期，罚函数值在局部最优值附近来回震荡，但因动量因子ρ会增大更新幅度，使其跳出局部最优点；在梯度方向改变时，动量因子能够减少更新。动量项在相关方向加速梯度下降，抑制震荡，加快收敛速度，得到全局最优解

最优化方法收敛性分析

本发明中每个节点k对应原始问题的优化变量n记为n_k∈R^k，其在第t迭代时的值记为

将所有目标变量写为一个集中式目标函数形式：

其中

f(n)的梯度被定义为：

n与

的第k行都与节点k相关。称n为一致性的，如果其所有的行向量都相等，即满足n₁＝n₂＝...n_m。

为了方便假设m＝1，这样n与

都为退化向量，而不失一般性。假设n^*为原问题的一个解，定义：

n^*＝1(n^*)^T

定义1：函数f:R^m×k→R是凸函数，对所有(x,y)∈R^m×k且λ∈[0,1]，有：

λf(x)+(1-λ)f(y)≥f(λx+(1-λ)y)

根据泰勒展开式，凸函数在其切线的超平面上有下界。

引理1：函数f:R^m×k→R是凸函数，对所有(x,y)∈R^m×k且λ∈[0,1]，有：

通过引理1，对于一阶导数可以得到

其中j∈K,j≠k。

借助AEDR-ADAM的更新规则，可以得到

β_k为超参数，有上确界β，即β_k≤β∈[0,1]，并且

根据不等式

则有：

因此根据上述假设，综合所有维度k∈1,2,...,K梯度，可以得到一个收敛界。综上，可知本文所提优化方法具有良好的收敛性。

数值仿真

为了验证本发明方法的有效性,对本发明所提基于改进随机梯度下降的水下无线传感器资源分配优化方法进行仿真实验。考虑传感器用户随机均匀分布在150m×150m×150m的水下三维监测区域内，节点感知半径为25m,通信半径为15m，移动步长最大为30m,节点初始能量为5J，功率最大值为3mW。

平均速率比较

平均速率是衡量系统性能的重要指标。将基于梯度下降方法、随机梯度下降方法和本发明所提改进随机梯度下降方法对应的系统平均速率进行比较。图1给出了不同方法在不同迭代次数下的平均速率图像，用户数设为20。图2为不同方法在不同节点数下的平均速率图像。从这两个图中可以看出本发明所提改进的随机梯度下降方法具有较好的收敛性，这是因为本发明方法在每次迭代过程中不需要遍历所有数据，只随机选取一个样本求梯度，进行权重向量的迭代更新。较梯度下降和随机梯度下降方法更为有效，提高了计算效率和算法的优化能力。

能耗性能比较

为了进一步验证本发明所提方法的有效性，将基于梯度下降方法、随机梯度下降方法和本发明所提改进随机梯度下降方法进行能耗比较，如图3、图4所示。图3给出了不同迭代次数下不同方法获得的能耗，从图中可以看出，随着迭代次数的增加，网络生存时间延长，能量消耗逐渐减少。图4给出了不同方法下不同用户数对应的网络能耗。从这两个图可以看出本发明所提方法利用动量因子保证了步长的最优性，使得所提资源分配最优化方法具有更优的性能，降低了方法计算量和水下传感器网络能耗。

Claims (4)

1.一种基于随机梯度下降的水下无线传感网络资源分配方法其特征在于，包括以下步骤：

第一步：本发明考虑实际网络速率约束、功率约束和能量归还等约束,针对水下无线传感网络(UWSN)采用多归属技术，在能量借还机制的情况下，以通信系统吞吐量最大化为目标，建立了适用于能量借还和数据传输安排的水下传感网络资源分配优化模型；

第二步：本文所提改进随机梯度下降方法在每次迭代过程中不需要遍历所有数据，只随机选取一个样本求梯度，进行权重向量的迭代更新，避免了梯度算法计算样本均值期望的方向搜索过程，计算其相应梯度：在更新权重参数时保留之前的更新方向，利用当前数据梯度微调最终更新方向；

第三步：将改进的随机梯度下降法应用到水下无线传感网络资源分配问题中，提出一种基于改进随机梯度下降法的水下无线传感网络资源分配优化方法，可有效地降低节点能耗，提高了无线传感器网络的生存时间和网络服务质量。

2.按照权利要求1所述的一种基于随机梯度下降的水下无线传感网络资源分配方法，其特征在于，第一步具体包括：

本发明采用时隙循环传输通信系统所需的传输数据包，并以N时隙为一个时隙循环；对于水下无线传感通信系统所传输的数据包，

表示节点k在第n时隙内的传输功率，为了尽量避免能量的浪费，其约束条件为：

式中节点总个数为K，P_max,k表示为节点k的最大功率；

在每个循环时隙开始时，统一传输上一时隙所累积的数据包；

为在第n时隙开始时所采集的能量，

为在此时隙开始时能量采集供能系统从传统电网供能系统中所借取的能量；假设在第n时隙，能量采集供能系统所能够还取的所有能量

的上限为

因为此系统为借还系统，即先借取能量再还取能量，所以

需要大于0；

需满足：

为了保证传统电网供能系统的利益，在传输数据截止时间之前，能量采集供能系统需要还取所有借取的能量；在最后一个时隙(第N时隙)满足：

充分考虑采集能量的不稳定性，假设在第n时隙中，不同时隙之间信道的变化相互独立，发送端与接收端之间的信道链路增益G_k(d₀)为一个常数；σ表示带宽范围内基站接收的背景噪声，通常看作是高斯白噪声；在第n时隙的传输速率为:

由于水下节点之间的连接是相互独立的，引入用户连接指数λ_k：

在用户连接指数基础上，对传输速率做出如下约束：

ν_k表示每个节点的最低速率要求；

UWSN通信系统在截止时间时总的吞吐量为：

式中M为信道总数；

对于每个时隙，可以用来传输数据的能量不能超过发送端的储能电池中的能量，定义能量因果约束：

式中Ψ为能量参数，

为能量采集供能系统从传统电网供能系统中的采集能量消耗，用户连接指数λ_k＝{0,1}是离散的，求解困难；为解决这个问题，对节点约束进行松弛，把节点约束替换为0≤λ_k≤1，由此可得UWSN通信系统吞吐量最大化资源分配方法的优化模型为：

式中最后一个约束表示分配功率需要大于等于零。

3.按照权利要求1所述的一种基于随机梯度下降的水下无线传感网络资源分配方法，其特征在于，第二步具体包括：

梯度下降算法(Gradient Descent,GD)是一种典型的求解无约束优化问题的方法，主要思想是朝着负梯度方向寻求目标的最优解；由于使用简单、收敛速度快和效果可靠等优点得到了普遍应用；随机梯度下降算法(Stochastic Gradient Descent,SGD)作为梯度下降算法的一种，在每次迭代过程中不需要遍历所有数据，而只是随机选取一个样本求梯度，进行权重向量的迭代更新，为此大大降低了计算量，更适合运用在具有不稳定性和大规模数据分类的UWSN系统资源分配方法；改进随机梯度下降算法避免了梯度下降算法计算样本均值期望的方向搜索过程，计算其相应梯度：

θ_t+1＝θ_t+Δθ_t

式中，η是算法的学习率，代表向全局最优或局部最优方向移动的步长；L(θ_t)是第t次迭代权重θ_t的损失函数，

为权重θ在t时刻关于损失函数的一阶梯度，简记为g_t，θ_t+1为t+1时刻的权重值，θ_t为t时刻的权重值，Δθ_t为梯度算子，即每次迭代的更新部分。

4.按照权利要求1所述的一种基于随机梯度下降的水下无线传感网络资源分配方法，其特征在于，第三步具体包括：

基于改进随机梯度下降的资源分配方法具体步骤：

Step 1:初始化：令t＝1,n＝0,

Step 2:构建假设函数h_θ(x)(θ为函数参数)，通过评估模型拟合的好坏,构建假设函数，即监督学习中拟合样本特征到目标函数的函数；

Step 3:进而构造罚函数L(θ)，进而构造罚函数，通常用来度量拟合的程度：

假设：

根据上一部分UWSN通信系统吞吐量最大化资源分配方法的优化模型构建罚函数L(θ)：

Step 4:根据模型罚函数L(θ)求解样本点x^k罚函数的梯度向量

初始化假设函数的参数θ，得到对应的梯度向量；并对θ进行随机取值，假设θ_i第一次全部取0，将θ⁰带入L(θ)¹，得到取θ⁰的损失

将θ⁰带入

得到θ⁰的梯度向量

Step 5:通过迭代次数累加，利用梯度向量求出最优解；随机下降梯度法的步长很大程度影响算法的收敛，本发明对随机梯度下降法进行改进；在更新权重参数时保留之前的更新方向，利用当前数据梯度微调最终更新方向；更新公式如下：

Δθ_t＝ρΔθ_t-1-ηg_t

θ_t＝θ_t-1+Δθ_t

t＝t+1

其中ρ为动量因子，表示原来更新方向的保留程度，取值范围在0到1之间；在迭代初期，算法使用与下降方向一致，可以很好的加速学习；在迭代中后期，罚函数值在局部最优值附近来回震荡，但因动量因子ρ会增大更新幅度，使其跳出局部最优点；在梯度方向改变时，动量因子能够减少更新；动量项在相关方向加速梯度下降，抑制震荡，加快收敛速度，得到全局最优解

Images