CN111767992A - 一种基于卷积神经网络的双目标增量学习方法 - Google Patents

一种基于卷积神经网络的双目标增量学习方法 Download PDF

Info

Publication number
CN111767992A
CN111767992A CN202010610811.9A CN202010610811A CN111767992A CN 111767992 A CN111767992 A CN 111767992A CN 202010610811 A CN202010610811 A CN 202010610811A CN 111767992 A CN111767992 A CN 111767992A
Authority
CN
China
Prior art keywords
training
column
new
som
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010610811.9A
Other languages
English (en)
Inventor
陶小语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Honggui Electronic Technology Co ltd
Original Assignee
Xi'an Honggui Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Honggui Electronic Technology Co ltd filed Critical Xi'an Honggui Electronic Technology Co ltd
Priority to CN202010610811.9A priority Critical patent/CN111767992A/zh
Publication of CN111767992A publication Critical patent/CN111767992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的双目标增量学习方法，其包括以下步骤：(1)构建单任务、新实例增量学习训练集；(2)建立柱点固化损失函数模型；(3)建立柱点比对损失函数模型。一方面，为了减少遗忘，提出了柱点的模型来保留旧知识；另一方面，为了有效地从新的数据中学习新的模式，提出了柱点比对(CPL)损失函数项，它将一个新的训练示例推到具有相同标签的最近柱点同时将其从具有不同标签的柱中拉出来，来提高对新训练数据的学习能力。

Description

一种基于卷积神经网络的双目标增量学习方法
技术领域
本发明涉及计算机图像处理领域与人工智能技术，尤其涉及一种基于卷积神经网络的双目标增量学习方法。
背景技术
近年来，卷积神经网络(CNN)在广泛的计算机视觉任务中取得了优异的性能，然而，当CNN模型用于真实环境时，不可避免地会遇到从未见过的新数据，并可能产生错误的识别结果。一个模型要经受住时间的考验，从新的数据中学习并不断进化以适应变化是至关重要的。
为了实现新的数据学习，一个简单的方法是在新旧数据上重新训练模型。它在实际应用中是低效、难以应用的，特别是对于资源有限而无法进行重训练的嵌入式系统。另一中方法是直接在新的训练数据上调优模型。然而，这容易导致对旧数据的识别性能急剧下降，引发灾难性遗忘。因此，目前的研究主要集中在如何减轻对旧知识的遗忘。一些工作试图通过对网络权重进行正则化来保留旧任务的知识。这些方法通常基于对权重的后验分布的某些假设，在复杂的场景中可能不成立。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于卷积神经网络的双目标增量学习方法(BOCL)。一方面，为了防止遗忘历史知识，本发明提出了柱点固化(PLC)损失函数项，通过惩罚柱点的便宜来保留对历史知识的记忆；另一方面，为了有效地从新的数据中学习新的模式，提出了柱点比对(CPL)损失函数项，它将一个新的训练示例推到具有相同标签的最近柱点同时将其从具有不同标签的柱中拉出来，来提高对新训练数据的学习能力。
本发明采用的技术方案是：一种基于卷积神经网络的双目标增量学习方法，其包括以下步骤：(1)构建单任务、新实例学习训练集，以协调从新数据中学习和整合历史知识；(2)建立柱点固化损失函数模型来防止灾难性遗忘；(3)设置柱点比对损失函数模型提高对新训练数据的学习能力；其中，步骤(1)构建单任务、新实例学习训练集，训练集被划分为N个独立的训练阶段S＝{S1,...,Sn}，中
Figure BDA0002560863610000011
Xj和yj是相应的训练图片和标签。每个训练阶段包含由同一个标签空间所定义的类集L＝{1,...,C}，其中C是类别的数量，需要依次学习S中的各个训练阶段的数据集，并逐渐提升在统一的测试集T上的识别精度；
步骤(2)建立柱点固化损失函数模型保存旧知识：
Figure BDA0002560863610000021
柱点是特征空间f(·；θ)的代表性点，可被视为关于知识的记忆；柱点被定义为如下形式：pk＝(ak,ωk,Ik,bk)，其中k表示索引，
Figure BDA0002560863610000022
是n-维的中心特征向量，
Figure BDA0002560863610000023
是ak的权重向量，存储图片Ik和标签bk来计算ak的观察值f(Ik；θ)；构建双目标增量学习模型：在步骤(2)的基础上，构建第i-1个增量学习阶段的目标函数：l(Si,Pi-1；θi)＝llfn(Si,Pi-1；θi)+λlplc(Pi-1；θi)，其中，llfn是从新数据中学习新知识的损失函数，而lplc是柱点固化PLC项，用于巩固旧知识，用θi来表示θ在第i个阶段的活动值，超参数λ＞0用于调节PLC项的强度。
其中，所述步骤(3)还包括设置柱点比对损失函数模型：损失函数llfn定义为：
Figure BDA0002560863610000024
其中
Figure BDA0002560863610000025
是标签yj的估计概率，am是特征向量f(Xj；θi)所匹配的柱点，满足标签一致性条件bm＝yj,而Nj,l是样本Xj所激活柱点的最近邻SOM节点的下标集，满足条件
Figure BDA0002560863610000026
at∈Pi,bt＝1。
其中，所述步骤(2)还包括柱点集生成方法，在完成训练集Si后，提取特征集Fi＝{f(X；θi)|X∈Si}，并生成柱点集Pi。
其中，所述柱点集生成方法，其步骤如下：(1)将高维特征空间Fi投影到低维集合Pi上，投影时采用,自组织映射SOM，用于生成训练数据输入空间的低维(通常是2D)离散表示SOM包含输入层和竞争层，其中，输入层输入Fi中的特征向量，而竞争层包含K×K个以2D网格组织的节点
Figure BDA0002560863610000027
其中
Figure BDA0002560863610000028
表示节点k的中心向量；
(2)给定输入向量f∈Fi，SOM找出被输入向量击中的获胜节点c，满足中心向量mc与f距离最近：
Figure BDA0002560863610000029
当在特征向量集Fi上训练SOM时，mc由所有命中节点c的特征向量进行迭代平均训练得到；
(3)训练大小为K×K的SOM来生成K2个柱点，而每个SOM节点对应于一个柱点，对于第k-个柱点pk＝(ak,ωk,Ik,bk)，定义ωk表示ak各个维度的固化权重；
(4)为了得到ωk，计算命中SOM节点k的特征向量各维度的方差：
Figure BDA0002560863610000031
其中
Figure BDA0002560863610000032
表示第j维特征向量的方差的倒数。
本发明采用以上技术方案，具有如下优点：本发明提出了柱点模型来有效保留旧知识。一方面，为了防止遗忘历史知识，本发明提出了柱点固化(PLC)损失函数项，通过惩罚柱点的便宜来保留对历史知识的记忆；另一方面，为了有效地从新的数据中学习新的模式，提出了柱点比对(CPL)损失函数项，它将一个新的训练示例推到具有相同标签的最近柱点同时将其从具有不同标签的柱中拉出来，来提高对新训练数据的学习能力。
附图说明
图1本发明PLC和CPL损失项的概念可视化图；
图2自组织映射(SOM)的可视化图；
图3本发明实验结果图。
具体实施方式
本发明提供的一种基于卷积神经网络的双目标增量学习方法，其包括以下步骤：(1)构建单任务、新实例学习训练集，以协调从新数据中学习和整合历史知识；(2)建立柱点固化损失函数模型来防止灾难性遗忘；(3)设置柱点比对损失函数模型提高对新训练数据的学习能力；训练集被划分为N个独立的训练阶段S＝{S1,...,Sn}，每个训练阶段
Figure BDA0002560863610000033
由训练图片Xj和标签yj组成。各训练阶段共享由同一个标签空间所定义的类别集L＝{1,...,C}，其中C是类别的数量。模型θ需要依次、增量地学习S中的各个训练阶段的数据集，并逐渐提升在统一的测试集T上的识别精度；
给定输入图像张量X，CNN可被视为特征提取器f(X；θ)和级联的分类器的组合模型。先用交叉熵损失函数从零开始在数据集S1上训练模型。然后在后续的训练集{S2,...,Sn}上逐个调优模型。直接在Si,i＞1调优模型会遗忘历史训练数据{S1,...,Sn-1}上学到的知识，发生灾难性遗忘。
为了解决这个问题，步骤(2)建立柱点固化损失函数模型保存旧知识：
Figure BDA0002560863610000034
柱点是特征空间f(·；θ)的代表性点，可被视为关于知识的记忆；柱点被定义为如下形式：pk＝(ak,ωk,Ik,bk)，其中k表示索引，
Figure BDA0002560863610000035
是n-维的中心特征向量，
Figure BDA0002560863610000036
是ak的权重向量，存储图片Ik和标签bk来计算ak的观察值f(Ik；θ)；构建双目标增量学习模型：在步骤(2)的基础上，构建第i-1个增量学习阶段的目标函数：
l(Si,Pi-1；θi)＝llfn(Si,Pi-1；θi)+λlplc(Pi-1；θi)，其中，llfn是从新数据中学习新知识的损失函数，而lplc是柱点固化PLC项，用于巩固旧知识，用θi来表示θ在第i个阶段的活动值，超参数λ＞0用于调节PLC项的强度。
其中，所述步骤(2)还包括柱点集生成方法，在完成训练集Si后，提取特征集Fi＝{f(X；θi)|X∈Si}，并生成柱点集Pi。
其中，所述柱点集生成方法，其步骤如下：(1)将高维特征空间Fi投影到低维集合Pi上，投影时采用,自组织映射SOM，用于生成训练数据输入空间的低维(通常是2D)离散表示SOM包含输入层和竞争层，其中，输入层输入Fi中的特征向量，而竞争层包含K×K个以2D网格组织的节点
Figure BDA0002560863610000041
其中
Figure BDA0002560863610000042
表示节点k的中心向量；
(2)给定输入向量f∈Fi，SOM找出被输入向量击中的获胜节点c，满足中心向量mc与f距离最近：
Figure BDA0002560863610000043
当在特征向量集Fi上训练SOM时，mc由所有命中节点c的特征向量进行迭代平均训练得到；
(3)训练大小为K×K的SOM来生成K2个柱点，而每个SOM节点对应于一个柱点，对于第k-个柱点pk＝(ak,ωk,Ik,bk)，定义ωk表示ak各个维度的固化权重；
(4)为了得到ωk，计算命中SOM节点k的特征向量各维度的方差：
Figure BDA0002560863610000044
其中
Figure BDA0002560863610000045
表示第j维特征向量的方差的倒数。
Algorithm 1柱点集生成。
Input:Si，Fi，Mi-1，Pi-1，K。
Figure BDA0002560863610000046
用于计算各SOM节点的命中次数。
Output:Mi，Pi，ci。
1:初始化含K×K个节点的SOM Mi。
2:在Fi上训练Mi。
3:for k＝1 to K2 do
4:计算节点k的命中次数，记为
Figure BDA0002560863610000047
5:采用
Figure BDA0002560863610000048
计算ωk。
6:end for
7:for k＝1 to K2 do
8:
Figure BDA0002560863610000051
9:
Figure BDA0002560863610000052
10:end for
11:
Figure BDA0002560863610000053
12:for k＝1 to K2 do
13:找到最近邻样本：
Figure BDA0002560863610000054
14:Pi←Pi∪{(fj,ωj,Xj,yj)}。
15:D←D\{fj}。
16:end for
柱点固化损失函数给定上一个阶段存储的柱点集
Figure BDA0002560863610000055
PLC通过在特征空间中约束柱点尽可能的稳定来防止遗忘。定义柱点固化损失为：
Figure BDA0002560863610000056
其中⊙表示两个同维向量的分素乘积。用公式
Figure BDA0002560863610000057
计算的ωk重加权柱点的特征向量f(Ik；θi)(活动值)与ak(记忆值)，使得高散度的柱点特征能更自由地适配新的训练样本。图1(a-c)阐释了柱点固化损失函数的功能。(a)柱点{A,B,...,G}维护功能空间中历史知识的关键记忆。两根柱点之间的边缘表明它们在拓扑上是相邻的。(b)对新数据的调优会破坏拓扑结构并导致灾难性的遗忘。(c)PLC损失项系紧支柱点，以稳定对旧知识的记忆和减轻遗忘。(d)CPL项将新的训练示例推到与同一类标签(C)最接近的匹配支柱上，同时将其从具有不同标签(A和B)的支柱上拉远。采用较少的柱点即可有效地表示旧的特征空间的拓扑结构，进而记忆历史知识。传统的在新数据上调优模型的方式打破了特征空间的拓扑结构，造成了灾难性遗忘问题。PLC通过维持特征空间的拓扑结构来防止灾难性遗忘。
其中，所述步骤(3)还包括设置柱点比对损失函数模型：损失函数llfn定义为：
Figure BDA0002560863610000061
其中
Figure BDA0002560863610000062
是标签yj的估计概率，am是特征向量f(Xj；θi)所匹配的柱点，满足标签一致性条件bm＝yj,而Nj,l是样本Xj所激活柱点的最近邻SOM节点的下标集，满足条件
Figure BDA0002560863610000063
at∈Pi,bt＝1。
实验设置。采用CIFAR10/100(Krizhevsky and Hinton 2009)，CORe50(Lomonacoand Maltoni 2017)和1000类的Image Net(Deng et al.2009)自己作为基准数据集。
CIFAR10/100数据集。两个数据集均包含60,000个RGB自然图像，没张图的大小为32×32像素。共包含50,000张训练图像和10,000张测试图像。
CIFAR10包含10类，而CIFAR100包含100类。进一步将训练图像分割为5个训练阶段，并对每个后续阶段应用不同的亮度和饱和度作为新的训练模式。
CORe50数据集由164866张50个家庭常见物品的图片组成，共分为11个阶段。选择其中3个阶段(3、7和10)作为测试阶段，其余的阶段进行测试。每个阶段包含大约15000张大小为128×128像素的RGB-D图像；
使用流行的Res Net18(He et al.2015)(以及CIFAR的缩略图版本)作为基线CNN模型。对于CIFAR10/100，模型在每个阶段中都使用最小批量为100的随机梯度下降算法进行训练。当使用S1进行训练时，将初始学习率设置为0.01，并在15个阶段后将其降低到0.001。当交叉熵损失函数值趋于稳定时，本文停止训练，总共需要20个周期。然后，使用0.001的恒定学习率，并对每个后续阶段进行调优20个周期。对于CORe50，采用(Lomonaco and Maltoni2017)中的训练设置。而对于sub Image Net，本文在每个会话上训练60个阶段的模型，初始学习率为0.1。在对Si进行训练后，在测试集T上评估模型θi，并报告分类精度。所有报告的结果为5次实验的平均值。
增量学习场景设置对比：表1对比了本发明所提出的增量学习场景设置和已有的增量学习场景设置的区别。通过对比不难发现，本发明采用统一的、任务无关的分类器，通过从新实例中增量学习，能够持续提高分类性能。而其他方法所采用的增量学习场景设置要么是任务相关的，需要实现给出任务的标识；要么只关注于新类进行学习，而无法提高已有分类器的性能。因而，本方法所提出的增量学习场景具有更强的应用价值。
增量学习测试性能对比结果：在CIFAR10，CIFAR100，CORe50和sub Image Net数据集上对比本发明的BOCL方法和其他业内领先的方法。实验结果如图3所示：
对于两个数据集，以及对于全集和采样集上的训练，本发明的BOCL方法在每个学习阶段上都优于其他业内领先的方法，且精度曲线最接近上界‘cumulative’的方法。采用PLC和CPL项进一步取得了高达1.53％的精度提升。因而可以肯定的是，这两个损失函数项都有助于模型的性能改进。使用CIFAR10，在学习完所有阶段后，BOCL分别在完全和随机采样集上取得了77.43％和72.10％的精度。相比之下，第二名A-GEM*的准确率分别为75.16％和70.97％。BOCL的性能领先比最好的A-GEM*方法高达2.27％。使用CORe50，BOCL在完全采样集和随机采样集上分别取得了74.31％和67.83％的最终精度，而A-GEM*所取得的精度分别为71.54％和65.23％。BOCL的性能领先A-GEM*高达2.77％。使用sub Image Net，在完整的训练集上进行调优，BOCL取得了50.32％的top-5精度，领先第二名的IMM*(48.52％)达1.80％；而对于随机采样的训练集，BOCL取得了37.77％的top-5精度，领先第二名的A-GEM*(34.53％)达3.24％。这表明本发明的方法对大规模分类任务同样有效。
通过将本发明所提出的柱点比对损失函数模型CPL和柱点固化损失函数模型PLC相结合，可以达到最优的增量学习测试性能，如表2所示。为了防止灾难性遗忘，相比于存储上万张历史训练图片，本发明所生成的柱点集仅需存储几百个柱点即可达到抗遗忘的效果。不同数量的柱点对性能的影响如表3所示。
表1增量学习场景设置对比。本发明所提出的单任务-新实例场景设置相比已有场景设置有着更高的实用价值。
Figure BDA0002560863610000071
表2 PLC项和PLC+CPL组合项的性能对比。通过组合PLC和CPL项，并使用自组织映射SOM取代传统的随机采样方法来生成柱点，在最终的增量学习阶段取得了最佳测试性能。
方法 随机采样精度(％) SOM柱点精度(％)
PLC 75.72 76.98
PLC+CPL 76.62 77.43
表3不同数量的柱点对最终测试精度影响。本发明仅需少量柱点即可有效防止对历史知识的遗忘。
柱点数量 10 25 100 225 400
测试精度(％) 69.43 69.82 71.64 72.10 72.08
本发明提出了一个双目标增量学习方法BOCL。为了减少遗忘，提出了柱点固化损失项来惩罚增量学习过程中特征空间中的柱点的漂移。为了有效地从新数据中进行现场学习，提出了CPL损失项来提高分类性能。通过使用柱点作为过去知识的载体，PCL损失项提供了一个无缝的机制，将“温故”的目标与“知新”的目标联系起来。

Claims (4)

1.一种基于卷积神经网络的双目标增量学习方法，其特征在于：其包括以下步骤：(1)构建单任务、新实例学习训练集，以协调从新数据中学习新知识和保留历史知识的记忆；(2)建立柱点固化损失函数模型来防止对历史知识的灾难性遗忘；(3)设置柱点比对损失函数模型提高对新训练数据的学习能力；其中，步骤(1)构建单任务、新实例学习训练集，训练集被划分为N个独立的训练阶段S＝{S1,...,Sn}，每个训练阶段
Figure FDA0002560863600000011
由训练图片Xj和标签yj组成。各训练阶段共享由同一个标签空间所定义的类别集L＝{1,...,C}，其中C是类别的数量。模型θ需要依次、增量地学习S中的各个训练阶段的数据集，并逐渐提升在统一的测试集T上的识别精度；
步骤(2)建立柱点固化损失函数模型保存旧知识：定义柱点集合
Figure FDA0002560863600000012
每个柱点pk是由f(·；θ)所定义特征空间的第k个代表性点，可被视为关于知识的第k个记忆单元；柱点pk被定义为如下形式：pk＝(ak,ωk,Ik,bk)，其中
Figure FDA0002560863600000013
表示柱点pk的中心特征向量，
Figure FDA0002560863600000014
是ak的权重向量，存储的图片Ik和标签bk用于来计算ak在模型训练时的观察值ak＝f(Ik；θ)；构建双目标增量学习模型：在步骤(2)的基础上，构建第(i-1)个增量学习阶段的目标函数：l(Si,Pi-1；θi)＝llfn(Si,Pi-1；θi)+λlplc(Pi-1；θi)，其中，llfn是从新数据中学习新知识的损失函数，而lplc是柱点固化PLC项，用于巩固旧知识，用θi来表示模型θ在第i个阶段的参数活动值，超参数λ＞0用于调节PLC项的强度。
2.根据权利要求1所述的一种基于卷积神经网络的双目标增量学习方法，其特征在于：所述步骤(3)还包括设置柱点比对损失函数模型：损失函数llfn定义为：
Figure FDA0002560863600000015
其中
Figure FDA0002560863600000016
是标签yj的估计概率，am是特征向量f(Xj；θi)所匹配的柱点，满足标签一致性条件bm＝yj,而Nj,l是样本Xj所激活柱点的最近邻SOM节点的下标集，满足条件
Figure FDA0002560863600000017
3.根据权利要求1所述的一种基于卷积神经网络的双目标增量学习方法，其特征在于：所述步骤(2)还包括柱点集生成方法，在完成训练集Si后，提取特征集Fi＝{f(X；θi)|X∈Si}，并生成柱点集Pi。
4.根据权利要求3所述的一种基于卷积神经网络的双目标增量学习方法，其特征在于：所述柱点集生成方法，其步骤如下：(1)将高维特征空间Fi投影到低维集合Pi上，投影时采用,自组织映射SOM，用于生成训练数据输入空间的低维(通常是2D)离散表示SOM包含输入层和竞争层，其中，输入层输入Fi中的特征向量，而竞争层包含K×K个以2D网格组织的节点
Figure FDA0002560863600000021
其中
Figure FDA0002560863600000022
表示节点k的中心向量；
(2)给定输入向量f∈Fi，SOM找出被输入向量击中的获胜节点c，满足中心向量mc与f距离最近：
Figure FDA0002560863600000023
当在特征向量集Fi上训练SOM时，mc由所有命中节点c的特征向量进行迭代平均训练得到；
(3)训练大小为K×K的SOM来生成K2个柱点，而每个SOM节点对应于一个柱点，对于第k-个柱点pk＝(ak,ωk,Ik,bk)，定义ωk表示ak各个维度的固化权重；
(4)为了得到ωk，计算命中SOM节点k的特征向量各维度的方差：
Figure FDA0002560863600000024
其中
Figure FDA0002560863600000025
表示第j维特征向量的方差的倒数。
CN202010610811.9A 2020-06-29 2020-06-29 一种基于卷积神经网络的双目标增量学习方法 Pending CN111767992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010610811.9A CN111767992A (zh) 2020-06-29 2020-06-29 一种基于卷积神经网络的双目标增量学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010610811.9A CN111767992A (zh) 2020-06-29 2020-06-29 一种基于卷积神经网络的双目标增量学习方法

Publications (1)

Publication Number Publication Date
CN111767992A true CN111767992A (zh) 2020-10-13

Family

ID=72724735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010610811.9A Pending CN111767992A (zh) 2020-06-29 2020-06-29 一种基于卷积神经网络的双目标增量学习方法

Country Status (1)

Country Link
CN (1) CN111767992A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257864A (zh) * 2020-10-22 2021-01-22 福州大学 一种用于解决灾难性遗忘问题的终生学习方法
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统
CN113485829A (zh) * 2021-07-02 2021-10-08 深圳万顺叫车云信息技术有限公司 用于微服务集群的数据增量步段的标识值生成方法
CN116740949A (zh) * 2023-08-16 2023-09-12 北京航空航天大学 基于持续学习的时空因果预测的城市交通数据预测方法
CN117133039A (zh) * 2023-09-01 2023-11-28 中国科学院自动化研究所 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257864A (zh) * 2020-10-22 2021-01-22 福州大学 一种用于解决灾难性遗忘问题的终生学习方法
CN112257864B (zh) * 2020-10-22 2022-08-16 福州大学 一种用于解决灾难性遗忘问题的终生学习方法
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统
CN113485829A (zh) * 2021-07-02 2021-10-08 深圳万顺叫车云信息技术有限公司 用于微服务集群的数据增量步段的标识值生成方法
CN116740949A (zh) * 2023-08-16 2023-09-12 北京航空航天大学 基于持续学习的时空因果预测的城市交通数据预测方法
CN116740949B (zh) * 2023-08-16 2023-10-24 北京航空航天大学 基于持续学习的时空因果预测的城市交通数据预测方法
CN117133039A (zh) * 2023-09-01 2023-11-28 中国科学院自动化研究所 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备
CN117133039B (zh) * 2023-09-01 2024-03-15 中国科学院自动化研究所 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111767992A (zh) 一种基于卷积神经网络的双目标增量学习方法
Chaudhry et al. Efficient lifelong learning with a-gem
Castro et al. End-to-end incremental learning
Zhong et al. Practical block-wise neural network architecture generation
Haeusser et al. Associative deep clustering: Training a classification network with no labels
Wang et al. Low-shot learning from imaginary data
Gidaris et al. Dynamic few-shot visual learning without forgetting
Cui et al. Scaling up dataset distillation to imagenet-1k with constant memory
CN110288030B (zh) 基于轻量化网络模型的图像识别方法、装置及设备
Pernici et al. Class-incremental learning with pre-allocated fixed classifiers
Agastya et al. Classification of Indonesian batik using deep learning techniques and data augmentation
CN111882040A (zh) 基于通道数量搜索的卷积神经网络压缩方法
Tao et al. Bi-objective continual learning: Learning ‘new’while consolidating ‘known’
Wiggers et al. Predictive sampling with forecasting autoregressive models
CN112766400A (zh) 高维数据基于多个数据变换空间的半监督分类集成方法
Hocquet et al. Ova-inn: Continual learning with invertible neural networks
Nokhwal et al. Rtra: Rapid training of regularization-based approaches in continual learning
Papa et al. Optimizing optimum-path forest classification for huge datasets
Tao et al. Efficient incremental training for deep convolutional neural networks
Malialis et al. Data augmentation on-the-fly and active learning in data stream classification
Park et al. AN EFFECTIVE COLOR QUANTIZATION METHOD USING COLOR IMPORTANCE-BASED SELF-ORGANIZING MAPS.
CN111414863B (zh) 一种增强型集成遥感影像分类方法
Hossain et al. Rethinking task-incremental learning baselines
O’Neill et al. The evolution of adjacency matrices for sparsity of connection in DenseNets
Bertugli et al. Generalising via meta-examples for continual learning in the wild

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201013