CN107945153A - 一种基于深度学习的路面裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的路面裂缝检测方法，本发明将深度学习中的深度学习区域卷积神经网络算法引入到路面裂缝检测算法中，选择图像序列中的候选区域作为卷积神经网络的输入，通过卷积神经网络计算的特征作为路面裂缝特征，具有较好的分辨能力，而卷积神经网络的输出作为线性支持向量机的输入，通过线性支持向量机来判断当前候选区域是否是路面裂缝，结合线性支持向量机能够准确区分相似目标。本发明作为一种基于深度学习的路面裂缝检测方法可广泛应用于交通检测领域。

Description

一种基于深度学习的路面裂缝检测方法

技术领域

本发明涉及交通检测领域，尤其是一种基于深度学习的路面裂缝检测方法。

背景技术

随着我国高速公路通车里程的不断增长，高速公路已成为社会经济发展的重要基础设施。由于行车荷载和自然因素的作用，路面车辙、松散、裂缝等病害日益严重。传统的人工检测效率低、劳动强度大、检测速度慢、误差也比较大。因此不同程度、不同类型的路面病害的自动检测，及信息管理已成为日益重要的工作。随着，光学技术和计算机技术的发展，图像处理方法得到了越来越广泛的应用。国内外学者对基于数字图像处理的路面裂缝识别问题进行了广泛深入的研究。

总结国内外的路面裂缝检测研究方法发展现状，基于数字图像处理的路面裂缝检测技术研究已经成为路面裂缝自动检测技术的主流方向，可分为如下几个类别:纹理分析法，模糊集法，形态学算法，传统图像处理方法等。根据路面裂缝和由于材料等导致的随机纹理差异，国外学者提出了一些纹理分析模型；随着模糊理沦的发展，用模糊逻辑理论去分析路面裂缝具有了可行性。

路面裂缝检测技术的核心在于基于图像的裂缝提取算法，目前比较通用的算法主要可分为以下几种：

(1)图像分割方法:这些方法的关键是使用灰度值的方差的来标识兴趣区域。然而在复杂的场景中，目标与噪声方差与灰度值相近，使得这些方法在实际使用中受到严格限制。

(2)形态学方法:主要通过各类裂边缘检测算子获取裂缝图像的边缘根据随机纹理和裂纹纹理的区别建立定量筛选模型，有裂缝的路面表面可以被描述为规范性布朗运动的模型。实际场景中，大部分裂缝信息离散的，并且具有一定的模糊性，所以这些方法仅仅较适合于具有强烈的边缘信号的裂缝图像，并且很容易把边缘信号较强背景噪声判断为裂缝信息。

(3)模糊逻辑理论:模糊逻辑算法被利用于抑制在成相时的背景光照造不均匀现象，对具体的参数有着精确的要求。

综合国内外文献可以发现，现有的方法大多基于人工提取的交通标志特征进行分类识别，泛化能力差，不利于复杂环境下的交通标志识别。近年来，随着深度学习的快速发展，基于深度卷积神经网络的目标检测方法得到广泛应用。卷积神经网络通过一系列组合的卷积层与池化层实现目标特征的自动提取，相比传统人工提取特征，对目标具有更强的表达能力。Sermanet等利用多尺度卷积神经网络，在GTSRB数据集上取得了99.17％的分类正确率。Ciresan D等结合卷积神经网络与基于梯度方向直方图特征的支持向量机分类器进行分类，在GTSRB数据集上取得了99.15％的分类正确率。

术语解释：

IOU：就是矩形框A、B的重叠部分(I＝A∩B)面积占A、B并集的面积比例:IOU＝SI/(SA+SB-SI)。

Bounding Box:边界框，是包含区域的最小矩形，该区域应在最小矩形内部。

SVM：支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中，以求获得最好的推广能力。

CNN：卷积神经网络(Convolutional neural networks,CNN)是一种带有卷积结构的神经网络，卷积结构采用权值共享的方式减少了深层网络占用的内存量，也减少了网络的参数个数，缓解模型的过拟合问题。

ReLU:线性整流函数(Rectified Linear Unit,ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种基于深度学习的处理速度快、适用于复杂道路环境的路面裂缝检测方法。

本发明所采用的技术方案是：一种基于深度学习的路面裂缝检测方法，包括有以下步骤：

A、输入路面裂缝的训练集数据或测试集数据，并将上述数据中的图像通过区域选择算法生成多个候选区域；

B、对生成的多个候选区域进行变形操作得到固定大小的多个候选区域，然后通过IOU方法给固定大小的多个候选区域打标签；

C、将步骤B处理得到的数据输入卷积神经网络提取目标特征；

D、当步骤A中输入数据为训练集数据时，根据训练集数据中的训练图像标签和步骤C中提取的目标特征训练支持向量机；当步骤A中输入数据为测试集数据时，根据步骤C中提取的目标特征判断路面裂缝的类型。

进一步，所述步骤A中的区域选择算法具体包括有以下步骤：

A1、通过目标检测算法获取图像的多个初始候选区域R＝{r₁,…,r_n}，并令相似集合S＝φ；

A2、对所有相邻的初始候选区域r_i和r_j计算相似性s(r_i,r_j)，并更新相似集合为S＝S∪s(r_i,r_j)；

A3、获取当前最相似的邻近候选区域对(r_i,r_j)，将相似的区域进行合并，然后移除邻近候选区域对的邻近候选区域，计算与r_j相邻的候选区域的相似集合S_t，更新相似集合为S＝S∪S_t、初始候选区域R＝R∪r_t；

A4、提取R中区域的最小外接矩形集合L。

进一步，所述步骤A2中相似性计算方法为：

s(r_i,r_j)＝a₁s_colour(r_i,r_j)+a₂s_texture(r_i,r_j)

其中，a₁为颜色相似度的权值，a₂为纹理相似度的权值；s_colour(r_i,r_j)为计算两个区域颜色相似度的函数；s_texture(r_i,r_j)是计算两个区域纹理相似度的函数。

进一步，所述步骤C中的卷积神经网络包括有依次连接的五个卷积层和一个全连接层。

进一步，所述五个卷积层为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述第一卷积层和第二卷积层均包括有依次连接的卷积核、激活函数、最大池化层和归一化函数，所述第三卷积层和第四卷积层均包括有依次连接的卷积核和激活函数，所述第五卷积层包括有依次连接的卷积核、激活函数和最大池化层。

进一步，所述激活函数为非饱和非线性激活函数。

进一步，所述激活函数为

进一步，所述归一化函数为局部响应归一化函数。

进一步，所述归一化函数为 表示把第i个卷积核作用于位置(x,y)并经过激活函数后的激活值，表示归一化后的结果，n是该层核函数的数目，k、a、β为局部响应归一化函数的超参数。

进一步，所述步骤C中将步骤B处理得到的数据输入卷积神经网络提取目标特征之后，还针对裂缝类别采用加动量的随机梯度下降法进行微调训练，所述加动量的随机梯度下降法迭代公式为：

θ_t+1＝θ_t+V_t+1

其中，V_t是上一次的权值更新量，μ为动量系数，η为学习率，J(θ_t)为误差函数。

本发明的有益效果是：本发明将深度学习中的区域卷积神经网络算法(深度学习)引入到路面裂缝检测算法中，选择图像序列中的候选区域作为卷积神经网络的输入，通过卷积神经网络计算的特征作为路面裂缝特征，具有较好的分辨能力，而卷积神经网络的输出作为线性支持向量机的输入，通过线性支持向量机来判断当前候选区域是否是路面裂缝，结合线性支持向量机能够准确区分相似目标。

附图说明

图1为本发明方法的主步骤流程图；

图2为本发明具体实施例中卷积神经网络结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

本发明将深度学习中的RCNN算法(区域卷积神经网络)引入到路面裂缝检测中，选择图像序列中的候选区域作为卷积神经网络的输入，通过卷积神经网络计算的特征作为路面裂缝特征，而卷积神经网络的输出(路面裂缝特征)则作为线性支持向量机的输入，通过线性支持向量机来判断当前候选区域是否是路面裂缝。采用卷积神经网络提取的路面裂缝特征，具有较好的分辨能力，结合线性支持向量机能够准确区分相似目标。

参照图1，一种基于深度学习的路面裂缝检测方法，包括有以下步骤：

A、输入路面裂缝的训练集数据或测试集数据，并将上述数据中的图像通过区域选择算法生成多个候选区域。

B、对生成的多个候选区域进行变形操作得到固定大小的多个候选区域，然后通过IOU方法给固定大小的多个候选区域打标签；

变形操作具体为：当输入一张路面裂缝图片时，用上述区域选择的方法搜索出所有可能是裂缝的区域，通过这个算法搜索出K个候选框。由于候选框是矩形且大小各不相同，因此对于每个输入的候选框都需要缩放到固定的大小才能输入到卷积神经网络。

假设下一阶段卷积神经网络所需要的输入图片大小是个正方形图片227*227，采用各向异性缩放的方法去改变候选框的大小。

各向异性缩放：不管图片原来的长宽比例，全部缩放到CNN输入的大小227*227。

用IOU方法打标签具体为：对于候选框的定位精度，因为算法不可能跟人工标注的数据完全匹配，因此就存在一个定位精度评价公式：IOU。用IOU为K个候选框打标签，以便下一步卷积神经网络训练使用。在卷积神经网络计算的阶段，如果用区域选择挑选出来的候选框与裂缝的人工标注矩形框的重叠区域IOU大于0.5，那么就把这个候选框标注成裂缝类别，否则就把它当做背景类别。

C、将步骤B处理得到的数据输入卷积神经网络提取目标特征。

D、当步骤A中输入数据为训练集数据时，根据训练集数据中的训练图像标签和步骤C中提取的目标特征训练支持向量机；当步骤A中输入数据为测试集数据时，根据步骤C中提取的目标特征判断路面裂缝的类型；

由于支持向量机是二分类器，需要为每个类别训练单独的支持向量机；训练图像特征提取完成后，结合训练图像的特征和标签可以训练得到一个支持向量机分类器。对每一类目标，使用一个线性支持向量机二类分类器进行判别。输入为卷积神经网络输出的4096维特征，输出为该类的得分，训练的是支持向量机权重向量。

支持向量机里的正负样本定义：

当检测窗口只有部分包含目标路面裂缝时，定义正负样本的具体方法可参照以下方式：首先支持向量机里正样本比之前卷积神经网络里规定更严格，正样本是人工标注的目标框。接着测试了IOU阈值各种方案数0、0.1、0.2、0.3、0.4、0.5，最后通过训练发现，选择IOU阈值为0.3效果最好，即当重叠度IOU小于0.3的时候，则把它标注为负样本。

一旦卷积神经网络全连接层特征被提取出来，下一步将为每个物体(路面裂缝)训练一个支持向量机分类器。当用卷积神经网络提取K个候选框，可以得到K*4096的特征向量矩阵，然后只需要把这样的一个矩阵与支持向量机权值矩阵4096*N点乘(N为分类类别数目，因为训练的N个支持向量机，每个支持向量机包好了4096个W)，就可以识别出不同类型的路面裂缝。

具体实施时，首先输入路面裂缝的训练集数据，通过先提供少量关于路面裂缝的图像对卷积神经网络和支持向量机同时进行线下训练，用以获得路面裂缝的训练图像特征，最后结合训练图像的特征和标签，训练一个支持向量机；然后再进行测试，即输入路面裂缝的测试集数据，利用卷积神经网络提取相应的路面裂缝特征并将所得特征作为已训练完成的支持向量机的输入，从而判断测试数据是否属于路面裂缝类别。

进一步作为优选的实施方式，所述步骤A中的区域选择算法具体包括有以下步骤：

A1、通过目标检测算法获取图像的多个初始候选区域R＝{r₁,…,r_n}，并令相似集合S＝φ；

A2、对所有相邻的初始候选区域r_i和r_j计算相似性s(r_i,r_j)，并更新相似集合为S＝S∪s(r_i,r_j)；

A3、获取当前最相似的邻近候选区域对s(r_i,r_j)＝max(S)；

将相似的区域进行合并r_t＝r_i∪r_j，

移除邻近候选区域对的邻近候选区域：(1)将相似的集合与r_i相关的邻近区域对移除，S＝S\s(r_i,r_*)；(2)将相似的集合与r_j相关的邻近区域对移除，S＝S\s(r_j,r_*)；

计算与r_j相邻的候选区域的相似集合S_t，更新相似集合为S＝S∪S_t、初始候选区域R＝R∪r_t；

A4、提取R中区域的最小外接矩形集合L，集合L即区域选择算法生成多个候选区域。

进一步作为优选的实施方式，所述步骤A2中相似性计算方法为：

s(r_i,r_j)＝a₁s_colour(r_i,r_j)+a₂s_texture(r_i,r_j)

其中，a₁为颜色相似度的权值，a₂为纹理相似度的权值。

s_colour(r_i,r_j)为计算两个区域颜色相似度的函数：

对候选区域的每个颜色通道都提取颜色直方图，采用L₁范式进行归一化，箱的数目选择为25个，因此总共有n＝75(25x3)个箱。计算两个区域颜色直方图的交集作为其颜色相似度的度量。

c_i是区域r_i对应的一个n维向量其中每个元素代表每个通道(共3通道)每个直方图(共b个直方图，这里b＝25)中数值(即图像像素各灰度值的数量)，所以n＝3×b＝75；k是区域r_i在算c_i时对应的那个直方图索引值。c_i和c_j是一样的含义，只是下标不同对应不同的图。

s_texture(r_i,r_j)是计算两个区域纹理相似度的函数：

用σ＝1的高斯函数计算对候选区域的每个颜色通道(共3通道)每个方向(共8个方向)上的高斯微分,这样共可以得到24个微分图,每个图上计算b(这里b＝10)的直方图,这样每个区域可以得到一个维度为n＝24×b＝240的纹理直方图特征向量k是区域r_i在算t_i时对应的那个直方图索引值。计算两个区域纹理直方图的交集作为其纹理相似度的度量。t_i和t_j是一样的含义，只是下标不同对应不同的图。

参照图2，进一步作为优选的实施方式，所述步骤C中的卷积神经网络包括有依次连接的五个卷积层和一个全连接层。

卷积层是CNN的核心结构。卷积层中每个神经元的权值矩阵被称为卷积核或者滤波器，卷积核与输入之间是局部连接的，因而其网络参数与全连接方式相比减少很多。每个卷积核通过“滑动窗口”的方式提取出输入数据不同位置的特征，所得结果为一个二维特征集合，即特征图。本层的特征图将作为下一层的输入继续传播。

通过训练，卷积核可以提取出某些有意义的特征，例如第一个卷积层的卷积核类似于Gabor滤波器，可以提取边缘、角等信息。本神经网络包含5个卷积层、其卷积核大小分别为11₂、11₂、3₂、3₂、3₂像素，卷积的步长分别为4、1、1、1、1像素。多层的结构可以对输入的图像进行逐层抽象，获得更高层次的分布式特征表达。

全连接层(fully connected layers，FC)在整个卷积神经网络中起到“分类器”的作用。相比于卷积层的局部连接方式，全连接层的全连接方式将会带来更多的网络参数，本神经网络的最后一层为全连接层。由于之前的卷积层及池化层已经将特征的维数降低至可接受的大小，因而使用全连接层并不会导致严重的计算负担。

参照图2，进一步作为优选的实施方式，所述五个卷积层为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述第一卷积层和第二卷积层均包括有依次连接的卷积核、激活函数、最大池化层和归一化函数，所述第三卷积层和第四卷积层均包括有依次连接的卷积核和激活函数，所述第五卷积层包括有依次连接的卷积核、激活函数和最大池化层。

池化(polling)是计算机视觉与机器学习领域中的常见操作。所谓池化，就是将不同位置的特征进行聚合。常见的池化方式有平均池化(mean polling)、最大池化(maxpolling)和随机池化(stochastic polling)等。本神经网络采用最大池化的方式，该神经网络中的第一卷积层、第二卷积层和第五卷积层的卷积核后均连接了一个最大池化层，其池化尺寸均为32像素，池化步长均为2像素。通过池化，不仅可以降低特征的维数，还可以提高特征的鲁棒性。

没有激活机制，信号的传递和网络训练消耗巨大。常见的激活函数主要包括sigmoid函数f(x)＝(1+e^-x)^-1和双曲正切函数f(x)＝tanh(x)。就训练速度而言，使用这些饱和非线性激活函数要慢于使用非饱和非线性激活函数，因此，进一步作为优选的实施方式，激活函数选择非饱和非线性激活函数。

进一步作为优选的实施方式，所述激活函数为ReLU(Rectified Linear Units)激活函数，使用如下计算公式：

采用ReLU激活函数目的在于用线性计算来代替指数计算，降低卷积层的计算量，加快网络的计算。

除了速度优势之外，ReLU具有以下两个特点:

(l)相比于传统激活函数，ReLU的单边抑制更符合生物学观点；

(2)ReLU可以获得稀疏表达，其性能比传统激活函数的性能更好。

本发明具体实施例中卷积神经网络的五个卷积层均使用ReLU获取激活值以继续前向传播，ReLU激活函数使得神经元低于阈值时处于沉默状态。

进一步作为优选的实施方式，所述归一化函数采用LRN(Local Response Normalization)方法，用于提升网络的泛化能力。LRN具体实现为： 表示把第i个卷积核作用于位置(x,y)并经过激活函数后的激活值，表示归一化后的结果，n是该层核函数的数目，在本发明具体实施例中采用五层卷积层，因此n＝5，k、a、β为局部响应归一化函数的超参数，通常k＝2,a＝10^-4,β＝0.75。

进一步作为优选的实施方式，所述步骤C中将步骤B处理得到的数据输入卷积神经网络提取目标特征之后，还针对裂缝类别采用加动量的随机梯度下降法进行微调训练。

图像样本集上既有图像中裂缝类别标签，也有图像中裂缝位置标签。继续对上面预训练的卷积神经网络模型进行微调训练。该网络输入为候选框变形后的227×227的图像，假设要检测的裂缝类别有4类，就需要把上面预训练阶段的卷积神经网络模型的最后一层给替换掉，修改了原来的1000为4+1个输出的神经元(加1，表示还有一个背景)，然后这一层直接采用参数随机初始化的方法，其它网络层的参数不变；接着就可以开始继续采用随机梯度下降法训练，训练的是网络参数。

随机梯度下降法每次输入一个微型集(mini-batch)对网络进行训练，由于每次的微型集都是随机选取的，所以每次迭代的代价函数会不同，当前batch的梯度对网络参数的更新影响较大，为了减少这种影响，这时要引入动量系数对传统的随机梯度下降法进行改进。

momentum即动量，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向，从而可以在一定程度上增加稳定性，学习速率更快，同时具有一定摆脱局部最优的能力。

所述加动量的随机梯度下降法迭代公式为：

θ_t+1＝θ_t+V_t+1

其中，V_t是上一次的权值更新量，μ为动量系数，η为学习率，J(θ_t)为误差函数。

采用上述加动量的随机梯度下降法之后：下降初期时，使用上一次参数更新，下降方向一致，乘上较大的μ能够进行很好的加速；下降中后期时，在局部最小值来回震荡的时候，梯度趋近于0，μ使得更新幅度增大，跳出陷阱；在梯度改变方向的时候，μ能够减少更新，总而言之，动量项能够在相关方向加速随机梯度下降，抑制振荡，从而加快收敛。

开始的时候，随机梯度下降学习率选择0.001，在每次训练的时候，batch size大小选择128，其中32个是正样本、96个是负样本。最后卷积神经网络针对每幅输入图像里的每个候选框提取出来K个4096维的特征向量。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于深度学习的路面裂缝检测方法，其特征在于，包括有以下步骤：

A、输入路面裂缝的训练集数据或测试集数据，并将上述数据中的图像通过区域选择算法生成多个候选区域；

B、对生成的多个候选区域进行变形操作得到固定大小的多个候选区域，然后通过IOU方法给固定大小的多个候选区域打标签；

C、将步骤B处理得到的数据输入卷积神经网络提取目标特征；

D、当步骤A中输入数据为训练集数据时，根据训练集数据中的训练图像标签和步骤C中提取的目标特征训练支持向量机；当步骤A中输入数据为测试集数据时，根据步骤C中提取的目标特征判断路面裂缝的类型。

2.根据权利要求1所述的一种基于深度学习的路面裂缝检测方法，其特征在于，所述步骤A中的区域选择算法具体包括有以下步骤：

A1、通过目标检测算法获取图像的多个初始候选区域R＝{r₁,…,r_n}，并令相似集合S＝φ；

A2、对所有相邻的初始候选区域r_i和r_j计算相似性s(r_i,r_j)，并更新相似集合为S＝S∪s(r_i,r_j)；

A3、获取当前最相似的邻近候选区域对(r_i,r_j)，将相似的区域进行合并，然后移除邻近候选区域对的邻近候选区域，计算与r_j相邻的候选区域的相似集合S_t，更新相似集合为S＝S∪S_t、初始候选区域R＝R∪r_t；

A4、提取R中区域的最小外接矩形集合L。

3.根据权利要求2所述的一种基于深度学习的路面裂缝检测方法，其特征在于，所述步骤A2中相似性计算方法为：

s(r_i,r_j)＝a₁s_colour(r_i,r_j)+a₂s_texture(r_i,r_j)

其中，a₁为颜色相似度的权值，a₂为纹理相似度的权值；s_colour(r_i,r_j)为计算两个区域颜色相似度的函数；s_texture(r_i,r_j)是计算两个区域纹理相似度的函数。

4.根据权利要求1所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述步骤C中的卷积神经网络包括有依次连接的五个卷积层和一个全连接层。

5.根据权利要求4所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述五个卷积层为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述第一卷积层和第二卷积层均包括有依次连接的卷积核、激活函数、最大池化层和归一化函数，所述第三卷积层和第四卷积层均包括有依次连接的卷积核和激活函数，所述第五卷积层包括有依次连接的卷积核、激活函数和最大池化层。

6.根据权利要求5所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述激活函数为非饱和非线性激活函数。

7.根据权利要求6所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述激活函数为

8.根据权利要求7所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述归一化函数为局部响应归一化函数。

9.根据权利要求8所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述归一化函数为 表示把第i个卷积核作用于位置(x,y)并经过激活函数后的激活值，表示归一化后的结果，n是该层核函数的数目，k、a、β为局部响应归一化函数的超参数。

10.根据权利要求1所述的一种基于深度学习的路面裂缝检测方法，其特征在于：所述步骤C中将步骤B处理得到的数据输入卷积神经网络提取目标特征之后，还针对裂缝类别采用加动量的随机梯度下降法进行微调训练，所述加动量的随机梯度下降法迭代公式为：

<mrow> <msub> <mi>V</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mi>&amp;mu;</mi> <msub> <mi>V</mi> <mi>t</mi> </msub> <mo>-</mo> <mi>&amp;eta;</mi> <mo>&amp;dtri;</mo> <mi>J</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow>

θ_t+1＝θ_t+V_t+1

其中，V_t是上一次的权值更新量，μ为动量系数，η为学习率，J(θ_t)为误差函数。