CN109725531B - 一种基于门控制机制的连续学习方法 - Google Patents
一种基于门控制机制的连续学习方法 Download PDFInfo
- Publication number
- CN109725531B CN109725531B CN201811526912.7A CN201811526912A CN109725531B CN 109725531 B CN109725531 B CN 109725531B CN 201811526912 A CN201811526912 A CN 201811526912A CN 109725531 B CN109725531 B CN 109725531B
- Authority
- CN
- China
- Prior art keywords
- task
- model
- layer
- tasks
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012546 transfer Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000013508 migration Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000005012 migration Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 abstract 2
- 239000011229 interlayer Substances 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 206010027175 memory impairment Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于门控制机制的连续学习方法，首先基于深度神经网络模型，针对当前任务建立相应的模型；其次根据新的任务建立新的特定的深度模型，并让新模型与原来任务模型间建立层间对应的连接，使得新旧模型同层特征间能够汇聚到新模型中；然后，在同层连接构建基于门控制的机制，对新旧任务间的特征关系进行学习，筛选旧任务中对新任务有用的信息；最后，建立好上述模型后，在新任务数据上训练模型。本发明是当前面向通用的任务易发生灾难性遗忘以及难以迁移其他任务知识条件下的一种有效、高精确性的、分布式的连续学习方法。
Description
技术领域
本发明涉及一种基于门控制机制的连续学习方法，属于人工智能领域。
背景技术
近年来，深度学习技术在很多领域取得了瞩目的成就。然而，当前的深度学习模型主要面向封闭环境，针对特定任务来设计模型，尽管多任务模型能够执行多个任务，但是其假设任务具有很强的相关性，而且要求在收集有关任务的所有数据的条件下训练模型，加入新的数据需要将之前的数据进行保存并与新数据一起训练，会导致计算量的骤增和占用大量存储空间。面对真实开放环境，往往需要执行多个任务，需要智能体拥有像人一样能够逐步学习多个任务的能力，即连续学习。
连续学习主要涉及到两个问题：如何避免灾难性遗忘与如何将所学任务的知识迁移到新的学习任务中。灾难性遗忘主要是由于前面任务的参数空间在后续任务的学习中被破坏导致，分布式连续学习模型没有考虑到当前任务与前面任务的关系，简单地依靠转移矩阵将前面任务特征流引入到当前任务网络中。如果任务特征空间之间没有交叉，暴力地迁移无益于当前任务学习甚至对学习是有害的。因此，关键的问题是如何研究连续学习中任务的相关性，利用任务之间的关系对其他任务并入当前任务的特征进行过滤，从而控制不相关任务的负面影响。
发明内容
本发明的目的是提供一种基于门控制机制的连续学习方法，其能够有效克服灾难性遗忘的发生，自适应地将前面学习到的特征迁移到当前任务模型。
为了实现上述目的，本发明提供一种基于门控制机制的连续学习方法，包括如下步骤：
(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；
(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；
(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；
(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练。
进一步地，步骤(1)中所述的对当前任务数据进行预处理，并根据任务搭建相应的神经网络模型，包括以下步骤：
对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；
然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。
进一步地，步骤(2)中所述的固定前面任务模型的参数，并与当前模型在层级粒度上进行连接，包括以下步骤：
对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘；给定两个任务，在数据DA上训练task A后将模型参数固定，在学习新的任务时，构建新的主干模型ModelB并初始化参数，同时与枝干模型ModelA侧连构建转移矩阵U，在新的数据集DB上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到ModelB；具体形式如下：
其中
表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；
表示Modelk'中l-1层到l层的参数；
表示Modelj第l-1激活值迁移到Modelk'同一层的连接。
进一步地，步骤(3)中所述的在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中，包括以下步骤：
设计Gate机制来判定任务间的关联关系，防止不相关任务间的特征流入来避免对学习新任务的干扰；
首先，当第k个任务对应的模型Modelk'第l-1层主干网络特征通过连接
流入l层，同时前k-1个任务上一层信息也通过转移矩阵流入到该层并与主干网络的特征流汇合，在汇合前构建memory transfer cell，让特征先流入记忆迁移细胞单元；
在网络隐层之间，每个Memory Cell有一个内部状态
其与主干模型直接相连用于接收模型上一层的状态，并与通过迁移门与其他枝干模型的隐藏层输出连接，通过门来控制其他各个任务流入当前任的累积信息，同时Memory Cell通过输出层产生l层的输出
将信息传递到下一层网络；所有的输入都通过迁移门来控制，只有与任务相关的信息可以进入当前的Cell并更新到下一层；
定义一个记忆门来控制前面k-1个任务提取的特征流入第k个任务l层的memorycell
该Gate相当于一个掩膜，对任意与cell连接的特征流进行预处理，自适应地学习前面不同任务网络特征流入，从而过滤掉其他枝干流入主干的无关甚至冲突的信息；
定义如下：
其中σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；
与
表示第i个任务l-1层的输出通过transfer matrix流入第k个任务；
是主干模型l-1层到l层的参数；
表示当前任务l-1层的记忆状态；
定义一个memory cell用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与cell state完成更新；
其中
表示逐个元素相乘，
是侧连信息进入Cell前经过一层非线性变换的结果：
Memory Cell Output类似LSTM，完成cell更新后，需要据此计算该隐藏层的输出；
其中，
和b0是当前memory cell state下重新定义的输出权值和偏置；θ(·)是任意的激活函数。
进一步地，步骤(4)中所述的将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练，包括以下步骤：
将预处理的数据，分别放到以前的模型和当前任务的模型进行训练，包括定义目标函数、优化方法、评价指标以及模型测试。
通过上述技术方案，可以实现以下有益的技术效果：
1)本发明基于网络结构正则化，对已学任务相应参数进行固定，可以有效克服灾难性遗忘的发生；
2)本发明采用多任务在特征层面相互连接的机制，并引入门控制的机制，可以自适应的学习前面任务对当前任务学习有益的知识，能够有效提升当前任务的训练精度和收敛速度。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示出了本发明一个实施例的流程图；
图2示出基于门控制机制的连续学习方法结合深度神经网络的整体框架；
图3示出了基于门控制机制控制前后任务知识迁移的具体原理；
图4示出了在10个MNIST手写数字识别任务上的结果；
图5示出了在不同任务关系的序列任务上连续学习的结果，其中(a)为分别在Mnist、Svhn、STL10、Cifar10上训练3层的CNN模型；(b)为在训练好第一个任务后，继续学习Cifar100任务；(c)为连续学习模型在cifar100任务上的训练精度曲线。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1所示，在本发明的一个实施例中，基于门控制机制的连续学习方法包括如下步骤：
步骤1：针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；
具体地，首先，对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；
然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。
最后，定义每个层的具体参数，包括卷积核大小、池化层窗口大小和滑动步长以及输出通道数目。
步骤2：固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；
具体地，定义好当前任务的基础网络后，对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘。举例，给定两个任务A和B：
首先，在数据DA上训练task A后将模型参数固定，防止其再度更新，从而保护A任务发生灾难性遗忘；
然后，在学习新的任务时，构建新的主干模型ModelB并初始化参数，这里初始化参数的方式采用高斯分布的随机参数初始化，
最后与枝干模型ModelA侧连构建转移矩阵U，在新的数据集DB上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到ModelB。具体形式如下：
其中
表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；
表示Modelk'中l-1层到l层的参数；
表示Modelj第l-1激活值迁移到Modelk'同一层的连接。
步骤3：在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；
具体地，首先，当第k个任务对应的模型Modelk'第l-1层主干网络特征通过连接
流入l层，同时前k-1个任务上一层信息也通过转移矩阵流入到该层并与主干网络的特征流汇合，在汇合前构建memory transfer cell，让特征先流入记忆迁移细胞单元。
然后，在网络隐层之间，每个Memory Cell有一个内部状态
其与主干模型直接相连用于接收模型上一层的状态，并与通过迁移门与其他枝干模型的隐藏层输出连接，通过门来控制其他各个任务流入当前任的累积信息，同时Memory Cell通过输出层产生l层的输出
将信息传递到下一层网络；所有的输入都通过迁移门来控制，只有与任务相关的信息可以进入当前的Cell并更新到下一层。
最后，设置基于门的机制，其由三个部分组成：记忆门、记忆细胞状态和记忆细胞输出。
记忆门-定义一个记忆门来控制前面k-1个任务的提取的特征流入第k个任务l层的memory cell
该Gate的相当于一个掩膜，对任意与cell的连接的特征流进行预处理，自适应地学习前面不同任务网络特征流入权重，从而过滤掉其他枝干流入主干的无关甚至冲突的信息。定义如下：
其中σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；
与
表示第i个任务l-1层的输出通过transfer matrix流入第k个任务；
是主干模型l-1层到l层的参数；
表示当前任务l-1层的记忆状态。
Memory Cell States-定义一个memory cell用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与cell state完成更新。
其中
表示逐个元素相乘，
是侧连信息进入Cell前经过一层非线性变换的结果：
Memory Cell Output-完成cell更新后，需要据此计算该隐藏层的输出，这里我们没有额外的再定制一个输出门用来控制输出，而是保留了所有信息。
其中，
和bo是当前memory cell state下重新定义的输出权值和偏置；θ(·)是任意的激活函数。
步骤4：将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练；
具体地，将预处理的数据，分别放到以前的模型和当前任务的模型进行训练，包括定义目标函数、优化方法和评价指标以及模型测试；
首先定义目标函数，如果是分类任务则定义为交叉熵函数，如果是预测任务则定义为均方误差函数；
其次选择合适的优化方法，包括随机梯度下降、adam和梯度下降等方法；
然后构建评价体系，包括平均精度、IOU等；
最后对模型进行测试，这里需要注意的是，模型测试过程中drop out函数keepprob值设置为1。
为了测试本发明的连续学习能力，将Mnist数据作为原始数据，将数据集打乱处理，得到了10个不同的Mnist数据集作为测试集，然后依次放入MLP模型中训练。
如图2所示，搭建了一个连续学习的基本框架。
在数据DA上训练task A后将模型参数固定，防止其再度更新，从而保护A任务发生灾难性遗忘；
然后，在学习新的任务时，构建新的主干模型ModelB并初始化参数，这里初始化参数的方式采用高斯分布的随机参数初始化，
最后与枝干模型ModelA侧连构建转移矩阵U，在新的数据集DB上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到ModelB。具体形式如下：
其中
表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；
表示Modelk'中l-1层到l层的参数；
表示Modelj第l-1激活值迁移到Modelk'同一层的连接。
然后，在前面任务与当前任务对应模型的侧链间加入记忆迁移门，来控制前面任务特征的流入，对提升当前任务表现的特征会被允许流入，而无用的甚至对当前任务学习有影响的特征会被限制流入，如图3。
设计类似的Gate机制来判定任务间的关联关系，防止不相关任务间的特征流入来避免对学习新任务的干扰。
首先，当第k个任务对应的模型Modelk'第l-1层主干网络特征通过连接
流入l层，同时前k-1个任务上一层信息也通过转移矩阵流入到该层并与主干网络的特征流汇合，在汇合前构建memory transfer cell，让特征先流入记忆迁移细胞单元。
在网络隐层之间，每个Memory Cell有一个内部状态
其与主干模型直接相连用于接收模型上一层的状态，并与通过迁移门与其他枝干模型的隐藏层输出连接，通过门来控制其他各个任务流入当前任的累积信息，同时Memory Cell通过输出层产生l层的输出
将信息传递到下一层网络；所有的输入都通过迁移门来控制，只有与任务相关的信息可以进入当前的Cell并更新到下一层；
记忆门-定义一个记忆门来控制前面k-1个任务提取的特征流入第k个任务l层的memory cell
该Gate相当于一个掩膜，对任意与cell连接的特征流进行预处理，自适应地学习前面不同任务网络特征流入，从而过滤掉其他枝干流入主干的无关甚至冲突的信息。定义如下：
其中σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；
与
表示第i个任务l-1层的输出通过transfer matrix流入第k个任务；
是主干模型l-1层到l层的参数；
表示当前任务l-1层的记忆状态；
Memory Cell State-定义一个memory cell用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与cell state完成更新；
其中
表示逐个元素相乘，
是侧连信息进入Cell前经过一层非线性变换的结果：
Memory Cell Output-类似LSTM，完成cell更新后，需要据此计算该隐藏层的输出，这里我们没有额外的再定制一个输出门用来控制输出，而是保留了所有信息。
其中，
和bo是当前memory cell state下重新定义的输出权值和偏置；θ(·)是任意的激活函数。
说明，对所有任务采用了相同的主干网络结构(784-32-10)。训练完一个任务后，模型参数会被固定防止其在学习新任务时更新。同时，为了保证结果具有可对比性，在训练所有任务过程中，模型超参数保持一致，包括学习率设置为0.01，采用高斯分布初始化神经网络参数，使用随机梯度下降(SGD)优化策略。
如图4所示，结果表明，基于门机制控制的方法能够有效学习10个任务，并通过前面学习的任务改善后续任务的学习表现。纵轴代表在LeNet网络和基于门控制机制的连续学习模型上的测试精度，横轴表示不同的任务，红线代表每个任务在LeNet上从头训练的测试结果，绿线代表本发明方法在每个任务上取得测试精度。在学习第一个任务时，两个模型的结构一致，因此两条线的初始值一致，随着学习任务数量增加，连续学习模型的精度总大于单独的模型从头训练结果，而且精度的最高提升达到1.6％左右。
任务间相关关系的变化会影响连续学习的过程，不同任务关系对学习新任务会存在影响，结果表明本发明技术能够有效利用任务间的关系，将前面任务学习到的知识引入到当前任务学习中。如图5所示，分别在Mnist、Svhn、STL10和cifar10任务上训练模型，然后继续在Cifar100数据上学习100类对象识别任务。对比了不同任务对后续任务学习的影响，发现相比其他三个任务，学习Cifar10的任务能够较大的改善后面学习Cifar100任务。对比从头训练，四类任务都能加快收敛的速度，相比其他三个数据集上的任务，学习Cifar10后再学习Cifar100的模型随着迭代次数增加精度快速上升，而其他三类任务表现差异不大。
与现有方法相比，本发明的优点在于：1)本发明基于网络结构正则化，对已学任务相应参数进行固定，可以有效克服灾难性遗忘的发生；2)本发明采用多任务在特征层面相互连接的机制，并引入门控制的机制，可以自适应的学习前面任务对当前任务学习有益的知识，能够有效提升当前任务的训练精度和收敛速度。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (4)
1.一种基于门控制机制的连续学习方法，其特征在于，包括如下步骤：
(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；
(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；
(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；
(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练；
其中，步骤(3)包括以下步骤：
设计Gate机制来判定任务间的关联关系，防止不相关任务间的特征流入来避免对学习新任务的干扰；
首先，当第k个任务对应的模型Modelk'第l-1层主干网络特征通过连接
流入l层，同时前k-1个任务上一层信息也通过转移矩阵流入到该层并与主干网络的特征流汇合，在汇合前构建memory transfer cell，让特征先流入记忆迁移细胞单元；
在网络隐层之间，每个Memory Cell有一个内部状态
其与主干模型直接相连用于接收模型上一层的状态，并与通过迁移门与其他枝干模型的隐藏层输出连接，通过门来控制其他各个任务流入当前任的累积信息，同时Memory Cell通过输出层产生l层的输出
将信息传递到下一层网络；所有的输入都通过迁移门来控制，只有与任务相关的信息可以进入当前的Cell并更新到下一层；
定义一个记忆门来控制前面k-1个任务提取的特征流入第k个任务l层的memory cell
该记忆门相当于一个掩膜，对任意与cell连接的特征流进行预处理，自适应地学习前面不同任务网络特征流入，从而过滤掉其他枝干流入主干的无关甚至冲突的信息；
定义如下：
其中σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；
与
表示第i个任务l-1层的输出通过transfer matrix流入第k个任务；
是主干模型l-1层到l层的参数；
表示当前任务l-1层的记忆状态；
定义一个memory cell用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与cell state完成更新；
其中
表示逐个元素相乘，
是侧连信息进入Cell前经过一层非线性变换的结果：
Memory Cell Output类似LSTM，完成cell更新后，需要据此计算该隐藏层的输出；
其中，
和bo是当前memory cell state下重新定义的输出权值和偏置；θ(·)是任意的激活函数。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对当前任务数据进行预处理，并根据任务搭建相应的神经网络模型，包括以下步骤：
对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；
然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。
3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的固定前面任务模型的参数，并与当前模型在层级粒度上进行连接，包括以下步骤：
对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘；给定两个任务，在数据DA上训练task A后将模型参数固定，在学习新的任务时，构建新的主干模型ModelB并初始化参数，同时与枝干模型ModelA侧连构建转移矩阵U，在新的数据集DB上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到ModelB；具体形式如下：
其中
表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；
表示Modelk'中l-1层到l层的参数；
表示Modelj第l-1激活值迁移到Modelk'同一层的连接。
4.根据权利要求1所述的方法，其特征在于，步骤(4)中所述的将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练，包括以下步骤：
将预处理的数据，分别放到以前的模型和当前任务的模型进行训练，包括定义目标函数、优化方法、评价指标以及模型测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811526912.7A CN109725531B (zh) | 2018-12-13 | 2018-12-13 | 一种基于门控制机制的连续学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811526912.7A CN109725531B (zh) | 2018-12-13 | 2018-12-13 | 一种基于门控制机制的连续学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109725531A CN109725531A (zh) | 2019-05-07 |
| CN109725531B true CN109725531B (zh) | 2021-09-21 |
Family
ID=66294908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811526912.7A Active CN109725531B (zh) | 2018-12-13 | 2018-12-13 | 一种基于门控制机制的连续学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109725531B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110450164A (zh) * | 2019-08-20 | 2019-11-15 | 中国科学技术大学 | 机器人控制方法、装置、机器人及存储介质 |
| CN110659741A (zh) * | 2019-09-03 | 2020-01-07 | 浩鲸云计算科技股份有限公司 | 一种基于分片式自动学习的ai模型训练系统和方法 |
| CN111160562A (zh) * | 2019-11-18 | 2020-05-15 | 清华大学 | 基于元学习优化方法的连续学习方法及装置 |
| CN111368748B (zh) * | 2020-03-06 | 2023-12-01 | 深圳市商汤科技有限公司 | 网络训练方法及装置、图像识别方法及装置 |
| CN112115998B (zh) * | 2020-09-11 | 2022-11-25 | 昆明理工大学 | 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法 |
| CN112116012B (zh) * | 2020-09-23 | 2024-03-19 | 大连海事大学 | 一种基于深度学习的手指静脉即时注册、识别方法及系统 |
| CN115178397B (zh) * | 2022-07-07 | 2024-08-16 | 阿维塔科技(重庆)有限公司 | 喷涂程序调试方法、装置、设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355248A (zh) * | 2016-08-26 | 2017-01-25 | 深圳先进技术研究院 | 一种深度卷积神经网络训练方法及装置 |
| CN108647643A (zh) * | 2018-05-11 | 2018-10-12 | 浙江工业大学 | 一种基于深度学习的填料塔液泛状态在线辨识方法 |
| CN108647251A (zh) * | 2018-04-20 | 2018-10-12 | 昆明理工大学 | 基于宽深度门循环联合模型的推荐排序方法 |
| CN108764974A (zh) * | 2018-05-11 | 2018-11-06 | 国网电子商务有限公司 | 一种基于深度学习的商品采购量预测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11275989B2 (en) * | 2017-05-22 | 2022-03-15 | Sap Se | Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a long short term memory network |
-
2018
- 2018-12-13 CN CN201811526912.7A patent/CN109725531B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355248A (zh) * | 2016-08-26 | 2017-01-25 | 深圳先进技术研究院 | 一种深度卷积神经网络训练方法及装置 |
| CN108647251A (zh) * | 2018-04-20 | 2018-10-12 | 昆明理工大学 | 基于宽深度门循环联合模型的推荐排序方法 |
| CN108647643A (zh) * | 2018-05-11 | 2018-10-12 | 浙江工业大学 | 一种基于深度学习的填料塔液泛状态在线辨识方法 |
| CN108764974A (zh) * | 2018-05-11 | 2018-11-06 | 国网电子商务有限公司 | 一种基于深度学习的商品采购量预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109725531A (zh) | 2019-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109725531B (zh) | 一种基于门控制机制的连续学习方法 | |
| CN111899510B (zh) | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 | |
| CN109816095B (zh) | 基于改进门控循环神经网络的网络流量预测方法 | |
| CN111292525B (zh) | 基于神经网络的交通流预测方法 | |
| CN114422381B (zh) | 通信网络流量预测方法、系统、存储介质及计算机设备 | |
| CN108095716B (zh) | 一种基于置信规则库和深度神经网络的心电信号检测方法 | |
| CN113094357B (zh) | 一种基于时空注意力机制的交通缺失数据补全方法 | |
| CN107909206B (zh) | 一种基于深层结构循环神经网络的pm2.5预测方法 | |
| CN110084610B (zh) | 一种基于孪生神经网络的网络交易欺诈检测系统 | |
| CN107544904B (zh) | 一种基于深度cg-lstm神经网络的软件可靠性预测方法 | |
| CN108062572A (zh) | 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统 | |
| CN102622515B (zh) | 一种天气预测方法 | |
| CN111191559B (zh) | 基于时间卷积神经网络的架空线预警系统障碍物识别方法 | |
| CN112000015A (zh) | 一种基于lstm和生物激励神经网络的重型燃机控制系统控制器模块智能bit设计方法 | |
| CN111860787A (zh) | 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置 | |
| CN110929958A (zh) | 基于深度学习参数优化的短时交通流量预测方法 | |
| CN116612664A (zh) | 基于改进时空图注意力神经网络的船舶交通流量预测方法 | |
| CN109800517A (zh) | 一种改进的磁流变阻尼器逆向建模方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN113947182A (zh) | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 | |
| Chen et al. | A Survey of Learning Spiking Neural P Systems and A Novel Instance. | |
| CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
| CN115761654B (zh) | 一种车辆重识别方法 | |
| CN117375983A (zh) | 一种基于改进cnn-lstm的电网虚假数据注入辨识方法 | |
| CN117131979A (zh) | 基于有向超图及注意力机制的交通流速度预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |