CN107506799B - 一种基于深度神经网络的开集类别发掘与扩展方法与装置 - Google Patents

Abstract

一种基于深度神经网络的样本分类方法，使用包含已定义类别样本的样本集训练待扩展分类模型，获得分类阈值信息；将包含未定义类别样本的样本集送入所述待扩展分类模型，根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本；人工标注未定义类别样本；在所述深度神经网络的分类层中增加权值转移矩阵列数，以增加模型识别类别的总数，其中，增加的权值列中包含与全局分类相关的第一信息和与类别间联系相关的第二信息；用人工标注的未定义类别样本增量训练更新后的模型。通过修改深度神经网络分类层权值转移矩阵，从而扩展深度神经网络，使其识别类别数动态增加，从而能处理开集识别问题，更贴近真实识别场景下的应用。

Description

一种基于深度神经网络的开集类别发掘与扩展方法与装置

技术领域

本发明涉及深度学习领域，尤其涉及一种基于深度神经网络的开集类别发掘与扩展方法和装置。

背景技术

深度神经网络在许多视觉识别问题上取得了卓越的成就，并且引导了很多具有巨大影响力的学术研究和成功的商业应用。最近的一些关于图像分类、人类行为识别问题的研究，展现了极好的性能。然而，大部分识别系统是为了一个静态封闭的世界而设计，都基于识别类别是先验知识的前提假设。然而在真实世界中，识别场景千变万化，成千上万个不同的识别场景涵盖了不可计数的识别类别。即使在某一特定场景下，我们能够定义特定的识别类别，也不可避免的有诸如异常等事件发生。此外，传统的闭集识别模型强制识别系统在已知的封闭的类别空间中给出一个最大可能的分类预测，即使某一样本根本不属于已知类别空间中的任何一类。因此，真实世界的识别问题本质上是一个开集问题，识别系统需要能够发现并学习未知识别类别。综上，开集识别问题是模式识别和多媒体社区中一个重要而又具有挑战性的问题。

许多关于增量学习算法的研究不断被提出，用来处理已知类别新增的实例。然而，这些方法不能处理未知类别或动态增加模型识别总类别数。一种基于NCM分类概念的算法，通过在初始类别集合上学习一套有识别力的度量系统。新类别可以被添加进当前系统，并通过新类别的特征均值来识别区分。然而，这一方法的限制是初始类别数量需要达到较大规模。另外有人提出了一种基于最小二乘法支持向量机的多类别增量学习算法。在该算法中，每一个类别学习一个决策超平面，每次新增加一个识别类别，所有的决策超平面被更新。随着识别类别数增加，该算法代价就太昂贵了。最近的一些研究工作提出了开集问题中检测未知类别的方法。在这些工作中，一些研究把元检测的概念应用在深度神经网络中，并且提出了基于NCM的OpenMax层以代替经典神经网络中SoftMax层的检测未知类别方法。在这些框架中，增量学习额外的类别这一问题仍没有被解决。另一项工作可以增量学习新的类别，但还是基于NCM类型的支持向量机算法。而基于支持向量机的分类器增量训练和深度学习增量训练有本质的不同，并且在深度网络中参数空间庞大，每次更新成本巨大，所以这些方法很难迁移到深度神经网络。

中国专利申请CN105550713A公开了一种持续学习的视频时间检测方法，该方法包括初始学习阶段和增量学习阶段，在初始学习阶段，准备一个带有标签的视频数据，使用稀疏自编码对所述带有标签的视频数据进行学习，训练出一个先验模型，在增量学习阶段，使用训练好的先验模型对新到来的视频数据进行分类，计算概率评分和梯度距离，根据计算的结果使用主动学习来决定为新到来的视频数据自动添加标签还是人工添加标签。也就是说，在该技术方案中，先采用自编码机提取特征，然后再用分类器进行分类，然而仅仅将新标注的样本和已标注的样本一起重新训练整个自编码机对于整个增量过程而言是存在很多弊端的，首先这样的增量过程需要大量标注新类别样本，其次，重新更新整个模型过程繁琐，更新代价很高。

因此现有技术中需要一种扩展深度神经网络的方法，使深度神经网络能够处理开集识别问题，并且只需要少量标注的新样本来更新模型，在现有的增量学习的基础上进一步减少人工标注。

发明内容

为了解决上述问题，本申请提出了一种基于深度神经网络的样本分类方法，包括如下步骤：

S1，使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型的分类阈值信息；

S2，将包含未定义类别样本的样本集送入所述待扩展分类模型，根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本；

S3，人工标注至少部分步骤S2中确定的所述未定义类别样本；

S4，在所述深度神经网络的分类层中增加权值转移矩阵列数，以增加模型识别类别的总数，其中，增加的权值列中包含与全局分类相关的第一信息和与类别间联系相关的第二信息；

S5，用步骤S3中人工标注的未定义类别样本增量训练步骤S4中更新后的模型。

优选地，使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型的分类阈值信息具体为：使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型已定义类别的接受阈值、拒绝阈值、和距离阈值；

根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本具体为：提取包含未定义类别样本的样本集在深度神经网络分类层的特征激活值，根据所述特征激活值和所述接受阈值、拒绝阈值、和距离阈值确定至少部分所述未定义类别样本。

优选地，获得所述待扩展分类模型已定义类别的接受阈值包括如下步骤：

获得正确分类的样本x_i的激活特征向量：

其中i表示样本x被正确分类为i类，n表示已定义类别总数，

样本x对应的i类已知类别的激活特征值f_i＝v_i(x_i)，

确定接受阈值为：

其中X为正确识别为i类的样本总个数。

优选地，获得所述待扩展分类模型已定义类别的拒绝阈值μ_i具体为：

μ_i＝ε*η_i

其中，每一类已知类别的接受阈值为η_i，ε为拒绝权重。

优选地，所述拒绝权重ε取值为0.6。

优选地，获得所述待扩展分类模型已定义类别的距离阈值具体为：

其中，Mean为计算平均值函数，

为正确分类的样本x_i激活特征向量，f_i＝v_i(x_i)为样本x对应的i类已知类别的激活特征值，

为次级激活特征值，其中

函数返回激活向量

中第二大激活值。

优选地，提取包含未定义类别样本的样本集在深度神经网络分类层的特征激活值，根据所述特征激活值和所述接受阈值、拒绝阈值、和距离阈值确定至少部分所述未定义类别样本，具体为：

令

其中

函数返回激活向量

中第二大激活值，

函数返回最大激活值在激活向量中的下标，即l为模型预测标签；

如果f_x＞η_l，其中η_l为第l类已知类别的接受阈值，则接受该样本为l类识别类别；

如果f_x＜μ_l，其中μ_l为第l类已知类别的拒绝阈值，则拒绝将该样本识别为l类识别类别，并判定为未定义类别；

如果μ_l＜f_x＜η_l，计算样本距离d_x＝f_x-s_x，并比较所述样本距离d_x和l类已知类别的距离阈值δ_l：如果d_x＞δ_l，则接受该样本为l类识别类别；否则，拒绝将该样本识别为l类识别类别，并判定为未定义类别。

优选地，还包括：

计算与全局分类相关的第一信息：

其中，其中，w′_N+1对应所述第一信息，N为当前模型识别类别总数，w_n为第n类识别类别对应的权值矩阵列。

优选地，还包括：

计算与类别间联系相关的第二信息：

(a)选择平均激活特征矩阵中较大的M个值对应的权值列h_m构成集合H；

(b)计算所述第二信息：

其中，w″_N+1对应所述第二信息。

优选地，还包括，

初始化新增权值列W_N+1：

其中，k₁为第一信息权重，k₂为第二信息权重。

优选地，采用均衡训练方法，保证每一类已知类别与新增类别有相同的样本数量。

优选地，采用异速训练方法，使得新增样本学习速率快于已知类别。

优选地，所述异速训练方法主要包括以下步骤：

(1)定义异速因子α：

其中，N为当前模型识别类别总数；

(2)当修改后的权值转移矩阵在反向传播更新时，使用异速因子来控制不同学习速率，更新W，b如下：

其中，J(W，b)是代价函数，λ是学习率，W和b分别为深度神经网络分类层的权值转移矩阵和偏移。

通过在当前模型中增添了新的识别类别，随着上述过程不断迭代，整个系统将逐一增加识别类别总数，深度分类模型不断被扩展。系统整体性能不断上升，能够逐渐识别越来越多的识别类别，并依此处理开集识别问题中未预定义未知类别。

本发明至少具有以下有益效果：

通过修改深度神经网络分类层权值转移矩阵，从而扩展深度神经网络，使其识别类别数动态增加，从而能处理开集识别问题，更贴近真实识别场景下的应用。具体来说，包括：通过迁移全局分类知识和相关类别间联系信息到新增的权值列，减少了增量学习对新增类别样本的需求，只需要使用少量人工标注的样本就能完成深度分类模型扩展识别类别的训练，从而减少了人工标注的成本和网络更新的成本。进一步地，通过引入均衡训练和异速训练方法减少了模型性能抖动，并加快了增量训练速度。随着模型不断迭代，深度模型不断被扩展，整个系统将逐一增加识别类别总数，并能识别越来越多的识别样本，整体性能不断上升，依此处理开集识别问题中未预定义未知类别。综上所述，通过本发明实施例提供的方法，能够基于扩展深度神经网络有效处理开集识别问题，解决真实识别场景下未预定义识别类别识别分类问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于深度网络开集识别模型的示意图；

图2为本发明实施例中基于深度网络开集识别方法的未预定义的未知类别检测的示例性流程图；

图3为本发明实施例中基于深度网络开集识别方法的修改深度神经网络分类层的示意图；

图4为本发明实施例中基于深度网络开集识别方法的强化初始化过程的示意图。

具体实施方式

本申请实施例提供一种基于深度神经网络的样本分类方法。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请提供一种基于深度神经网络的样本分类方法。该分类方法同样可以理解为一种基于深度网络开集视频类别发掘和扩展方法，在下面的实施方式中主要以视频图像中的对象行为分类为例对本发明的分类方法进行解释，本领域技术人员可以理解的是，除了视频图像中的对象行为分类以外，本发明的开集分类方法还能应用于很多其它真实环境下的类别确定，不能以实施例中的样本限定本发明的保护范围以及应用范围。

本发明实施例提供的基于深度神经网络的样本分类方法的模型，如图1所示：用特定识别场景下预定义的已知类别样本训练初始固定识别类别数的深度神经网络分类模型，即待扩展分类模型。将训练样本送入该模型，使用上述包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型的分类阈值信息。

将包含未定义类别样本的样本集送入所述待扩展分类模型，根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本。

人工标注至少部分步骤S2中确定的所述未定义类别样本。

在所述深度神经网络的分类层中增加权值转移矩阵列数，以增加模型识别类别的总数，其中，增加的权值列中包含与全局分类相关的第一信息和与类别间联系相关的第二信息。

用前述步骤中人工标注的未定义类别样本增量训练更新后的模型。

在一个图中没有展示的实施方式中，确定未定义类别样本的过程包括提取正确分类样本在深度神经网络分类层的特征激活值，并依次计算每一类已知类别的接受阈值、拒绝阈值和距离阈值。使用上述多类阈值检测出真实识别场景下同时包含已知和未知类别样本视频流中未预定义的未知类别样本。人工标注检测到的未知类别样本。更新深度神经网络的分类层，增加对应的权值转移矩阵列数，以扩充模型识别类别总数。采用强化初始化方法初始化新增的权值列，同时迁移深度网络全局分类知识(即，第一信息)和类别间联系信息(即，第二信息)到新增权值列，以减少人工标注需求。用人工标注的未知类别样本增量训练更新后的分类模型，采用均衡训练方法，保证每一类已知类别与新增类别有相同的样本数量。同时，采用异速训练方法，让新增样本学习速率成倍快于已知类别，以快速完成增量训练。模型更新稳定后，已知类别池增加一类识别类别。当然可以理解的是，在一次迭代过程中可能会识别多个未定义类别，此时在模型的一次更新过程中会相应地所述深度神经网络的分类层中增加的权值转移矩阵列数也为多列。

关于第一信息，卷积神经网络对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性，通过对输入图片提取文理、角点等特征，经过网络层卷积和下采样获得深度特征。基于反向传播算法及其扩展算法等训练网络参数至收敛，网络层参数空间保存了识别域中诸如姿势、运动速度、文理变换等全局知识。深度神经网络分类模型基于这些知识进行分类。

关于类别间相似信息或联系信息，即第二信息，可能有多种，举例来说可以是相似的姿势、相似的运动速度幅度等。

如图2所示，为本发明实施例中基于深度网络开集视频类别发掘和扩展方法的未预定义的未知类别检测的示例性流程图，该方法包括以下步骤：

步骤100：提取特征激活值，对于每个视频，每隔s帧提取一帧图像，得到帧f，将所有帧f输入神经网络训练。然后提取神经网络分类层激活向量，获得每一样本对应所有分类的激活值。

步骤101：计算接受阈值，对所有正确分类的样本x_i有激活特征向量

其中i表示样本x被正确分类为i类；令样本x对应的i类已知类别的激活特征值f_i＝v_i(x_i)；接受阈值

其中X为正确识别为i类的样本总个数。

步骤102：计算拒绝阈值，每一类已知类别的接受阈值为η_i，计算拒绝阈值

μ_i＝ε*η_i，其中ε＝0.6。

步骤103：计算距离阈值，对所有正确分类的样本x_i有激活特征向量

令样本x对应的i类已知类别的激活特征值f_i＝v_i(x_i)，令次级激活特征值

其中

函数返回激活向量

中第二大激活值；距离阈值

步骤104：提取输入样本特征激活向量，输入视频样本x，每隔s帧提取一帧图像，得到f；将所有帧f输入神经网络训练；提取神经网络分类层激活向量

步骤105：判定是否接受当前样本，激活值大于接受阈值，则接受当前样本；否则，激活值小于拒绝阈值，则拒绝当前样本；间于两者之间，则比较距离阈值，大于距离阈值则接受当前样本，反之则拒绝。

如图3所示，为本发明实施例中基于深度网络开集视频类别发掘和扩展方法的修改深度神经网络分类层的示意图，该方法包括以下步骤：

修改深度神经网络分类层权值转移矩阵，为扩充模型识别类别总数增添新的一列权值；

从而模型识别总类别数增加，即可应对新增类别的分类识别。

如图4所示，为本发明实施例中基于深度网络开集视频类别发掘和扩展方法的强化初始化过程的示意图，该方法包括以下步骤：

获取深度神经网络分类层权值矩阵，并扩充一列；获取新增类别激活特征向量，并计算平均激活特征向量：将所有帧f输入神经网络训练；提取神经网络分类层激活向量

计算平均激活特征向量

其中P为新增类别x的所有用于训练样本数。计算迁移全局分类知识部分：

其中，N为当前模型识别类别总数，W_n为第n类识别对应的权值矩阵列。计算类别间联系信息部分：选择平均激活特征矩阵中较大的M个值对应的权值列h_m构成集合H；计算类别间联系信息部分：

结合上述两部分初始化新增权值列：

其中，w′_N+1对应全局分类知识，w″_N+1对应相似类别联系信息，k₁为第一信息权重，k₂为第二信息权重。

优选地，采用均衡训练方法，保证每一类已知类别与新增类别有相同的样本数量。

优选地，采用异速训练方法，使得新增样本学习速率快于已知类别。

优选地，所述异速训练方法主要包括以下步骤：

(1)定义异速因子α：

其中，N为当前模型识别类别总数；

(2)当修改后的权值转移矩阵在反向传播更新时，使用异速因子来控制不同学习速率，更新W，b如下：

其中，J(W，b)是代价函数，λ是学习率，W和b分别为深度神经网络分类层的权值转移矩阵和偏移。

通过在当前模型中增添了新的识别类别，随着上述过程不断迭代，整个系统将逐一增加识别类别总数，深度分类模型不断被扩展。系统整体性能不断上升，能够逐渐识别越来越多的识别类别，并依此处理开集识别问题中未预定义未知类别。本发明实施例中扩展了深度神经网络，并迁移大量现有知识到扩展后深度网络，减少了扩展模型后增量训练所需人工标注的样本数量；采用强化初始化方法强化类别间联系信息，采用异速训练方法加快增量训练深度。从而，通过本发明实施例提供的方法能够扩展深度神经网络识别模型，使模型识别类别数增加，能够处理开集识别问题中未预定义的识别类别，提高真实识别场景下的识别准确率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种基于深度神经网络的样本分类方法，其特征在于，包括如下步骤：

S1，使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型的分类阈值信息，其中，所述已定义类别样本是视频图像中预定义的已知类别样本，所述待扩展分类模型为视频图像中预定义的已知类别样本训练初始固定类别数的深度神经网络分类模型，所述分类阈值信息包括接受阈值、拒绝阈值和距离阈值；

S2，将包含未定义类别样本的样本集送入所述待扩展分类模型，根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本；

S3，人工标注至少部分步骤S2中确定的所述未定义类别样本；

S4，在所述深度神经网络的分类层中增加权值转移矩阵列数，以增加模型识别类别的总数，其中，增加的权值列中包含与全局分类相关的第一信息和与类别间联系相关的第二信息；

S5，用步骤S3中人工标注的未定义类别样本增量训练步骤S4中更新后的模型。

2.如权利要求1所述的方法，其特征在于，

使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型的分类阈值信息具体为：使用包含已定义类别样本的样本集训练待扩展分类模型，获得所述待扩展分类模型已定义类别的接受阈值、拒绝阈值、和距离阈值；

根据所述待扩展分类模型的分类阈值信息确定至少部分所述未定义类别样本具体为：提取包含未定义类别样本的样本集在深度神经网络分类层的特征激活值，根据所述特征激活值和所述接受阈值、拒绝阈值、和距离阈值确定至少部分所述未定义类别样本。

3.如权利要求2所述的方法，其特征在于，

获得所述待扩展分类模型已定义类别的接受阈值包括如下步骤：

获得正确分类的样本x_i的激活特征向量：

其中i表示样本x被正确分类为i类，n表示已定义类别总数，

样本x对应的i类已知类别的激活特征值f_i＝v_i(x_i)，

确定接受阈值为：

其中X为正确识别为i类的样本总个数，f_i，j为第j个样本对应的i类已知类别的激活特征值。

4.如权利要求2所述的方法，其特征在于，

获得所述待扩展分类模型已定义类别的拒绝阈值μ_i具体为：

μ_i＝ε*η_i

其中，每一类已知类别的接受阈值为η_i，ε为拒绝权重。

5.如权利要求4所述的方法，其特征在于，

所述拒绝权重ε取值为0.6。

6.如权利要求2所述的方法，其特征在于，获得所述待扩展分类模型已定义类别的距离阈值具体为：

其中，Mean为计算平均值函数，

为正确分类的样本x_i激活特征向量，f_i＝v_i(x_i)为样本x对应的i类已知类别的激活特征值，

为次级激活特征值，其中

函数返回激活向量

中第二大激活值，s_i，j为第j个样本对应的次级激活特征值，f_i，j为第j个样本对应的i类已知类别的激活特征值。

7.如权利要求2-6中任意一项所述的方法，其特征在于，提取包含未定义类别样本的样本集在深度神经网络分类层的特征激活值，根据所述特征激活值和所述接受阈值、拒绝阈值、和距离阈值确定至少部分所述未定义类别样本，具体为：

令

其中

函数返回激活向量

中第二大激活值，

函数返回最大激活值在激活向量中的下标，即l为模型预测标签；

如果f_x＞η_l，其中η_l为第l类已知类别的接受阈值，则接受该样本为l类识别类别；

如果f_x＜μ_l，其中μ_l为第l类已知类别的拒绝阈值，则拒绝将该样本识别为l类识别类别，并判定为未定义类别；

如果μ_l＜f_x＜η_l，计算样本距离d_x＝f_x-s_x，并比较所述样本距离d_x和l类已知类别的距离阈值δ_l：如果d_x＞δ_l，则接受该样本为l类识别类别；否则，拒绝将该样本识别为l类识别类别，并判定为未定义类别。

8.如权利要求1所述的方法，其特征在于，还包括：

计算与全局分类相关的第一信息：

其中，其中，w′_N+1对应所述第一信息，N为当前模型识别类别总数，w_n为第n类识别类别对应的权值矩阵列。

9.如权利要求8所述的方法，其特征在于，还包括：

计算与类别间联系相关的第二信息：

(a)选择平均激活特征矩阵中较大的M个值对应的权值列h_m构成集合H；

(b)计算所述第二信息：

其中，w″_N+1对应所述第二信息。

10.如权利要求9所述的方法，其特征在于，还包括，

初始化新增权值列w_N+1：

其中，k₁为第一信息权重，k₂为第二信息权重。

11.如权利要求1所述的方法，其特征在于，

采用均衡训练方法，保证每一类已知类别与新增类别有相同的样本数量。

12.如权利要求1或11所述的方法，其特征在于，

采用异速训练方法，使得新增样本学习速率快于已知类别。

13.如权利要求12所述的方法，其特征在于，

所述异速训练方法主要包括以下步骤：

(1)定义异速因子α：

其中，N为当前模型识别类别总数；

(2)当修改后的权值转移矩阵在反向传播更新时，使用异速因子来控制不同学习速率，更新W，b如下：

其中，J(W，b)是代价函数，λ是学习率，W和b分别为深度神经网络分类层的权值转移矩阵和偏移。

Images