CN114008638A - 一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置 - Google Patents

一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置 Download PDF

Info

Publication number
CN114008638A
CN114008638A CN202180004129.8A CN202180004129A CN114008638A CN 114008638 A CN114008638 A CN 114008638A CN 202180004129 A CN202180004129 A CN 202180004129A CN 114008638 A CN114008638 A CN 114008638A
Authority
CN
China
Prior art keywords
learning
data
score
new
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180004129.8A
Other languages
English (en)
Inventor
夫硕焄
权成颜
金镕重
柳宇宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN114008638A publication Critical patent/CN114008638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

公开一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的方法包括：(a)(i)将来自整个数据库和子数据库的第1学习用数据和第2学习用数据输入所述选择性深度生成重放模块生成第1低维分布特征和第2低维分布特征，(ii)将二进制、随机参数和第2维分布特征输入到数据生成器生成第3学习用数据，(iii)将所述第1学习用数据输入到求解器生成学习用标注数据；(b)将所述第1学习用数据、所述第2学习用数据、所述第1低维分布特征、所述第2低维分布特征、所述第3学习用数据和所述二进制输入到判别器生成第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；(c)训练所述判别器、所述数据生成器、分布分析器和所述求解器。

Description

一种使用选择性深度生成重放模块对深度神经网络模型执行 可调连续学习的方法和装置
技术领域
本发明要求于2020年5月22日提交的美国专利申请第63/028779号和2020年12月29日提交的美国专利申请第17/136847号的优先权和权益，其全部内容通过引用合并于此。
本发明涉及一种对深度神经网络模型进行连续学习(continual learning)的方法和装置，更具体地涉及一种通过选择性深度生成重放模块(Selective Deep GenerativeReplay Module)对深度神经网络模型进行可调连续学习(adjustable continuallearning)的方法和学习装置，所述选择性深度生成重放模块为使用生成对抗网络(Generative Adversarial Network，GAN)的数据库重放模块(Database Replay Module)。
背景技术
在应用深度学习的神经网络模型中，应用各种连续学习(Continual Learning)技术对反映现有数据库和新数据库的神经网络模型进行连续学习。
其中，为了进行有效的持续学习，在针对特定领域的问题不断积累数据库的情况下，需要一种高效学习神经网络模型的机制。
图1为常规的现有连续学习方法的配置示意图。
参见图1，在常规的可调连续学习方法中，当存在使用现有数据库对现有任务进行训练的现有模型，并给出新任务和与之对应的新数据库时，通过同时使用现有数据库和新数据库训练现有模型，生成一个既可以执行新任务又可以执行现有任务的新模型。
然而，在现有的可调连续学习方法中，当针对特定任务进行渐进式学习时，数据库不可避免地会不断增加，因此存在存储数据所需的存储容量也随之增加的问题。
另外，在现有的可调连续学习方法中，当进行渐进式学习时，随着数据库的不断增加，针对该数据库进行神经网络模型的学习所需的时间也随之增加，导致学习效率下降的问题。
此外，如图1所示，当神经网络模型所需的任务随着新数据库的输入而发生变化时，也需要一种能够针对给定的新任务调整学习的方法，但现有的可调连续学习方法无法灵活调整学习方法。例如，如果将神经网络模型用于车辆中的图像分类(imageclassification)，则可以训练现有的神经网络模型以相应地提高在通用道路图(generalroad map)上的车道检测(lane detection)精度。此后，可以在其持续学习过程中给出新任务，例如高速公路上的快速车道检测，在这种情况下，现有的可调连续学习方法缺乏可以有效调整学习方式的替代方案，例如根据新任务调整现有数据和新数据的学习参与率等。
因此，需要一种能够解决所述问题的改进方案。
发明内容
技术问题
本发明的目的在于解决所有上述问题。
另外，本发明的目的在于，不再存储用于训练神经网络模型(neural networkmodel)的整个现有数据库(existing database)，而是仅存储选择性深度生成重放模块(Selective Deep Generative Replay Module)，从而减少存储现有数据库所需的存储空间。
另外，本发明的另一目的在于，不是使用整个现有数据库和整个新数据库(newdatabase)进行学习，而是通过使用选择性深度生成重放模块生成一定量的数据来训练神经网络模型，从而减少学习所需的时间。
此外，本发明的再一目的在于，不是存储整个现有数据库并使用整个现有数据库和整个新数据库训练神经网络模型，而是通过使用应用生成对抗网络(GenerativeAdversarial Network，GAN)的选择性深度生成重放模块，以选择性比率生成与新数据库的分布相似的数据和不相似的数据来训练神经网络模型，从而生成针对给定任务优化的神经网络模型。
技术方案
为了实现上述本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下。
根据本发明一方面，公开一种使用选择性深度生成重放模块(Selective DeepGenerative Replay Module)对深度神经网络模型进行可调连续学习(adjustablecontinual learning)的方法，其包括：(a)当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集(subset)的学习用子数据库获得第2学习用数据时，学习装置执行或支持执行如下处理：将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块(Selective Deep Generative Replay Module)使得所述选择性深度生成重放模块(i)通过位于所述选择性深度生成重放模块的分布分析器(Distribution Analyzer)生成与所述第1学习用数据对应的第1学习用低维分布特征(first low-dimensionaldistribution feature for training)和与所述第2学习用数据对应的第2学习用低维分布特征(second low-dimensional distribution feature for training)，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器(Dynamic Binary Generator)中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器(Random Parameter Generator)中生成的学习用随机参数，和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器(Data Generator)，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器(Solver)，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；(b)所述学习装置执行或支持执行如下处理：将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入到判别器(Discriminator)，使得所述判别器对应于所述学习用二进制输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数(first distribution feature score)、第2分布特征分数(second distribution feature score)和第3学习用数据分数；以及(c)所述学习装置执行或支持执行如下处理：(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据(ground truth)进一步生成求解器损失(Solver loss)，并使用所述求解器损失进一步训练所述求解器。
作为一例，在所述(c)步骤中，所述学习装置执行或支持执行如下处理：参考所述学习用二进制值，(i)当所述学习用二进制为第1二进制值时，使用所述第1判别损失训练所述判别器和所述分布分析器，使用所述第1生成损失训练所述数据生成器和所述分布分析器，(ii)当所述学习用二进制为第2二进制值时，使用所述第2判别损失训练所述判别器和所述分布分析器，并使用第2生成损失训练所述数据生成器和所述分布分析器。
作为一例，所述学习装置执行或支持执行如下处理：(i)当分别使用所述第1判别损失和所述第2判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1生成损失和所述第2生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
作为一例，所述数据生成器包括至少一个编码层和至少一个解码层。
根据本发明另一方面，公开一种使用选择性深度生成重放模块(Selective DeepGenerative Replay Module)对深度神经网络模型进行可调连续学习(adjustablecontinual learning)的方法，其包括：(a)在学习装置从整个数据库获得第1学习用数据且从作为所述整个数据库的子集(subset)的子数据库获得第2学习用数据时，所述学习装置执行或支持执行如下处理：将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块(Selective Deep Generative Replay Module)使得所述选择性深度生成重放模块(I)(i)通过位于所述选择性深度生成重放模块的分布分析器(DistributionAnalyzer)生成与所述第1学习用数据对应的第1学习用低维分布特征(first low-dimensional distribution feature for training)和与所述第2学习用数据对应的第2学习用低维分布特征(second low-dimensional distribution feature for training)，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器(Dynamic Binary Generator)中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器(Random Parameter Generator)中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器(Data Generator)，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器(Solver)，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据的处理；(II)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器(Discriminator)，使得所述判别器对应于所述学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数(first distribution feature score)、第2分布特征分数(seconddistribution feature score)和第3学习用数据分数的处理；以及(III)(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据(ground truth)进一步生成求解器损失(Solver loss)，并使用所述求解器损失进一步训练所述求解器的的处理的状态下，连续学习装置执行或支持执行从新收集的新数据库获得新数据的处理；以及(b)所述连续学习装置执行或支持执行如下处理：将所述新数据输入到所述选择性深度生成重放模块使得所述选择性深度生成重放模块(i)通过所述分布分析器生成与所述新数据对应的新低维分布特征(new low-dimensional distributionfeature)，其中所述新低维分布特征的维度低于所述新数据的维度，(ii)将从所述动态二进制生成器生成的测试用二进制、从所述随机参数生成器生成的测试用随机参数、和所述新低维分布特征输入到所述数据生成器，并通过所述数据生成器根据所述测试用二进制和所述测试用随机参数生成与所述新低维分布特征对应的测试用数据，其中所述测试用数据包括第1再生性数据(first regeneration data)和第2再生性数据(second regenerationdata)，所述第1再生性数据在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征，所述第2再生性数据在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征，(iii)将所述测试用数据输入到所述求解器，并通过所述求解器输出标注所述测试用数据的测试用标注数据。
作为一例，(c)在通过复制所述选择性深度生成重放模块生成旧选择性深度生成重放模块(old selective deep generative replay module)，将包括所述第1学习用低维分布特征和所述第2学习用低维分布特征的至少一部分的旧低维分布特征(old low-dimensional distribution feature)输入到所述旧选择性深度生成重放模块，以使所述旧选择性深度生成重放模块生成与所述旧低维分布特征对应的旧数据和与所述旧数据对应的旧标注数据的状态下，所述连续学习装置执行或支持执行如下处理：(i)将所述旧数据、所述新数据、所述旧低维分布特征、所述新低维分布特征、所述测试用数据和所述测试用二进制输入到所述判别器，以使所述判别器对应于所述测试用二进制输出旧数据分数、新数据分数、旧分布特征分数(old distribution feature score)、新分布特征分数(newdistribution feature score)和测试用数据分数，(ii)将所述旧数据和所述新数据输入到所述求解器，以使所述求解器输出基于深度学习对所述旧数据和所述新数据进行标注的新标注数据；以及(d)所述连续学习装置执行或支持执行如下处理：(i)生成参考所述新数据分数、所述新分布特征分数和所述测试用数据分数的第1新判别损失、参考所述旧数据分数、所述旧分布特征分数和所述测试用数据分数的第2新判别损失、参考所述新分布特征分数和所述测试用数据分数的第1新生成损失，和参考所述旧分布特征分数、所述新分布特征分数和所述测试用数据分数的第2新生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述测试用数据，生成在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述测试用数据，(ii)参考所述新标注数据和所述旧标注数据生成新求解器损失(new Solver loss)，并使用所述新求解器损失训练所述求解器。
作为一例，在所述(b)步骤中，所述连续学习装置执行或支持执行如下处理：使所述动态二进制生成器生成所述测试用二进制，其中，将设置所述第1再生性数据与所述第2再生性数据的生成比率的数据生成比率输入到所述动态二进制生成器，使得所述动态二进制生成器根据数据生成比率生成针对多个用于生成所述第1再生性数据的第1二进制值和多个用于生成所述第2再生性数据的第2二进制值的多个所述测试用二进制。
作为一例，在所述(d)步骤中，所述连续学习装置执行或支持执行如下处理：参考所述测试用二进制值，(i)当所述测试用二进制为第1二进制值时，使用所述第1新判别损失训练所述判别器和所述分布分析器，并使用所述第1新生成损失训练所述数据生成器和所述分布分析器，(ii)当所述测试用二进制为第2二进制值时，使用所述第2新判别损失训练所述判别器和所述分布分析器，并使用第2新生成损失训练所述数据生成器和所述分布分析器。
作为一例，所述连续学习装置执行或支持执行如下处理：(i)当分别使用所述第1新判别损失和所述第2新判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1新生成损失和所述第2新生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
作为一例，所述数据生成器包括至少一个编码层和至少一个解码层。
根据本发明的再一方面，公开一种使用选择性深度生成重放模块(SelectiveDeep Generative Replay Module)对深度神经网络模型进行可调连续学习(adjustablecontinual learning)的学习装置，其包括：至少一个存储指令的存储器；和至少一个用于执行所述指令的处理器，所述处理器执行或支持执行如下处理：(I)当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集(subset)的子数据库获得第2学习用数据时，将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块(SelectiveDeep Generative Replay Module)使得所述选择性深度生成重放模块(i)通过位于所述选择性深度生成重放模块的分布分析器(Distribution Analyzer)生成与所述第1学习用数据对应的第1学习用低维分布特征(first low-dimensional distribution feature fortraining)和与所述第2学习用数据对应的第2学习用低维分布特征(second low-dimensional distribution feature for training)，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器(Dynamic Binary Generator)中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器(Random Parameter Generator)中生成的学习用随机参数，和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器(DataGenerator)，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器(Solver)，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；(II)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器(Discriminator)，并使所述判别器对应于所述学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数(first distributionfeature score)、第2分布特征分数(second distribution feature score)和第3学习用数据分数；以及(III)(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据(ground truth)进一步生成求解器损失(Solverloss)，并使用所述求解器损失进一步训练所述求解器。
作为一例，在所述(III)处理中，所述处理器执行或支持执行如下处理：参考所述学习用二进制值，(i)当所述学习用二进制为第1二进制值时，使用所述第1判别损失训练所述判别器和所述分布分析器，使用所述第1生成损失训练所述数据生成器和所述分布分析器，(ii)当所述学习用二进制为第2二进制值时，使用所述第2判别损失训练所述判别器和所述分布分析器，并使用第2生成损失训练所述数据生成器和所述分布分析器。
作为一例，所述处理器执行或支持执行如下处理：(i)当分别使用所述第1判别损失和所述第2判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1生成损失和所述第2生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
作为一例，所述数据生成器包括至少一个编码层和至少一个解码层。
根据本发明的再一方面，一种使用选择性深度生成重放模块(Selective DeepGenerative Replay Module)对深度神经网络模型进行可调连续学习(adjustablecontinual learning)的连续学习装置，其包括：至少一个存储指令的存储器；和至少一个用于执行所述指令的处理器，所述处理器执行或支持执行如下处理：(I)学习装置执行或支持执行如下处理：当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集(subset)的子数据库获得第2学习用数据时，将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块(Selective Deep Generative Replay Module)使得所述选择性深度生成重放模块(i)(i-1)通过位于所述选择性深度生成重放模块的分布分析器(Distribution Analyzer)生成与所述第1学习用数据对应的第1学习用低维分布特征(first low-dimensional distribution feature for training)和与所述第2学习用数据对应的第2学习用低维分布特征(second low-dimensional distribution feature fortraining)，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(i-2)将从位于所述选择性深度生成重放模块的动态二进制生成器(Dynamic Binary Generator)中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器(Random ParameterGenerator)中生成的学习用随机参数，和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器(Data Generator)，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(i-3)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器(Solver)，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；(ii)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器(Discriminator)，并使所述判别器对应于所述学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数(first distribution feature score)、第2分布特征分数(second distribution feature score)和第3学习用数据分数；以及(iii)(iii-1)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的各每个学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(iii-2)在参考所述学习用标注数据和与之对应的真实数据(ground truth)进一步生成求解器损失(Solver loss)，并使用所述求解器损失进一步训练所述求解器的状态下，从新收集的新数据库获得新数据；以及(II)将所述新数据输入到所述选择性深度生成重放模块，并使所述选择性深度生成重放模块(i)通过所述分布分析器生成与所述新数据对应的新低维分布特征(new low-dimensionaldistribution feature)，其中所述新低维分布特征的维度低于所述新数据的维度，(ii)将从所述动态二进制生成器生成的测试用二进制、从所述随机参数生成器生成的测试用随机参数，和所述新低维分布特征输入到所述数据生成器，并通过所述数据生成器根据所述测试用二进制和所述测试用随机参数生成与所述新低维分布特征对应的测试用数据，其中所述测试用数据包括第1再生性数据(first regeneration data)和第2再生性数据(secondregeneration data)，所述第1再生性数据在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征，所述第2再生性数据在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征，(iii)将所述测试用数据输入到所述求解器，并通过所述求解器输出标注所述测试用数据的测试用标注数据。
作为一例，(III)在通过复制所述选择性深度生成重放模块生成旧选择性深度生成重放模块(old selective deep generative replay module)，将包括所述第1学习用低维分布特征和所述第2学习用低维分布特征的至少一部分的旧低维分布特征(old low-dimensional distribution feature)输入到所述旧选择性深度生成重放模块，以使所述旧选择性深度生成重放模块生成与所述旧低维分布特征对应的旧数据和与所述旧数据对应的旧标注数据的状态下，所述处理器执行或支持执行如下处理：(i)将所述旧数据、所述新数据、所述旧低维分布特征、所述新低维分布特征、所述测试用数据和所述测试用二进制输入到所述判别器，以使所述判别器对应于所述测试用二进制输出旧数据分数、新数据分数、旧分布特征分数(old distribution feature score)、新分布特征分数(newdistribution feature score)和所述测试用数据分数，(ii)将所述旧数据和所述新数据输入到所述求解器，以使所述求解器输出基于深度学习对所述旧数据和所述新数据进行标注的新标注数据；以及(IV)所述处理器执行或支持执行如下处理：(i)生成参考所述新数据分数、所述新分布特征分数和所述测试用数据分数的第1新判别损失、参考所述旧数据分数、所述旧分布特征分数和所述测试用数据分数的第2新判别损失、参考所述新分布特征分数和所述测试用数据分数的第1新生成损失、和参考所述旧分布特征分数、所述新分布特征分数和所述测试用数据分数的第2新生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述测试用数据，生成在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述测试用数据，(ii)参考所述新标注数据和所述旧标注数据生成新求解器损失(new Solver loss)，并使用所述新求解器损失训练所述求解器。
作为一例，在所述(II)处理中，所述处理器执行或支持执行如下处理：使所述动态二进制生成器生成所述测试用二进制，将设置所述第1再生性数据与所述第2再生性数据的生成比率的数据生成比率输入到所述动态二进制生成器，使得所述动态二进制生成器根据数据生成比率针对多个用于生成所述第1再生性数据的第1二进制值和多个用于生成所述第2再生性数据的第2二进制值生成多个所述测试用二进制。
作为一例，在所述(IV)处理中，所述处理器执行或支持执行如下处理：参考所述测试用二进制值，(i)当所述测试用二进制为第1二进制值时，使用所述第1新判别损失训练所述判别器和所述分布分析器，并使用所述第1新生成损失训练所述数据生成器和所述分布分析器，(ii)当所述测试用二进制为第2二进制值时，使用所述第2新判别损失训练所述判别器和所述分布分析器，并使用第2新生成损失训练所述数据生成器和所述分布分析器。
作为一例，所述处理器执行或支持执行如下处理：(i)当分别使用所述第1新判别损失和所述第2新判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1新生成损失和所述第2新生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
作为一例，所述数据生成器包括至少一个编码层和至少一个解码层。
除此之外，本发明还提供一种计算机可读记录介质，其用于记录用于执行本发明方法的计算机程序。
技术效果
本发明的效果在于，不再存储用于训练神经网络模型(neural network model)的整个现有数据库(existing database)，而是仅存储选择性深度生成重放模块(SelectiveDeep Generative Replay Module)，从而减少存储现有数据库所需的存储空间。
另外，本发明的另一效果在于，不是使用整个现有数据库和整个新数据库(newdatabase)进行学习，而是通过使用选择性深度生成重放模块生成一定量的数据来训练神经网络模型，从而减少学习所需的时间。
此外，本发明的再一效果在于，不是存储整个现有数据库并使用整个现有数据库和整个新数据库训练神经网络模型，而是通过使用应用生成对抗网络(GenerativeAdversarial Network，GAN)的选择性深度生成重放模块，以选择性比率生成与新数据库的分布相似的数据和不相似的数据来训练神经网络模型，从而生成针对给定任务优化的神经网络模型。
附图说明
用于描述本发明实施例的以下附图仅为本发明实施例的一部分，并且本发明所属领域的普通技术人员(以下称为“普通技术人员”)可以基于这些附图获得其他附图，而无需进行任何创造性工作。
图1为现有连续学习(continual learning)方法的配置示意图；
图2为与现有的连续学习方法相比，根据本发明一实施例的使用选择性深度生成重放模块(Selective Deep Generative Replay Module)对深度神经网络模型进行可调连续学习(adjustable continual learning)的方法的示意图；
图3为根据本发明一实施例的进行选择性深度生成重放模块的初始学习的学习装置的示意图；
图4为根据本发明一实施例的学习装置进行选择性深度生成重放模块的初始学习的方法的示意图；
图5为根据本发明一实施例的对选择性深度生成重放模块进行测试和可调连续学习的连续学习装置的示意图；
图6为根据本发明一实施例的连续学习装置对选择性深度生成重放模块进行测试的方法的示意图；
图7为根据本发明一实施例的连续学习装置对选择性深度生成重放模块进行连续学习的方法的示意图。
具体实施方式
以下本发明的详细描述参见附图，所述附图以说明方式示出了可以实施本发明的具体实施例，以阐明本发明的目的、技术方案和优点。对这些实施例进行了充分详细的描述，以使本领域技术人员能够实施本发明。
另外，在本发明的内容及权利要求书中，术语“包括”及其变形并不意图排除其他技术特征、附加物、组件或步骤。对于本发明普通技术人员而言，本发明的其他目的、优点及特性中一部分可从本说明书获知，而一部分可从本发明的实施获知。以下的例示及附图作为实例提供，而并不是意图限制本发明。
进一步地，本发明包括本说明书所示实施例的所有可能的组合。应当理解，本发明的各种实施例尽管不同但不必相互排斥。例如，本文记载的特定形状、结构及特性在一个实施例中在不超出本发明的精神及范围的前提下可通过其他实施例实现。并且，应当理解，所公开的每个实施例中各组件的位置或配置可在不超出本发明的精神及范围的前提下变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与其权利要求保护范围等同的所有范围和所附的权利要求保护范围而被限定。附图中类似的附图标记在多个方面指示相同或类似的功能。
为了使本领域普通技术人员能够容易地实施本发明，下面将参考附图详细描述本发明的优选实施例。
图2为与现有的连续学习(continual learning)方法相比，根据本发明一实施例的使用选择性深度生成重放模块(Selective Deep Generative Replay Module)对深度神经网络模型进行可调连续学习(adjustable continual learning)的方法的示意图。
从图2与图1相比可以看出，在应用选择性深度生成重放模块的可调连续学习方法中，选择性深度生成重放模块作为应用生成对抗网络(Generative Adversarial Network，GAN)的数据库重放模块(Database Replay Module)，取代了数据库的存储。另外，选择性深度生成重放模块可以调整第1类数据与第2类数据的比例。其中，第1类数据的特征分布可以具有在基于子数据库(sub-database)或新输入的新数据库(new database)的每个均值和方差确定的每个阈值范围内的均值和方差。进一步地，第2类数据的特征分布可以具有在基于子数据库或新数据库的每个均值和方差确定的每个阈值范围之外的均值和方差。其中，子数据库可以为整个数据库(total database)，即现有数据库(existing database)的子集(subset)。
即，在应用选择性深度生成重放模块的可调连续学习方法中，只存储选择性深度生成重放模块，而不存储整个数据库，可以减少存储所需的空间，并且不是使用整个现有数据库，而是使用由第1类数据和第2类数据组成的数据集来训练神经网络模型(neuralnetwork model)，从而可以生成针对给定任务优化的神经网络模型。其中，第1类数据和第2类数据可以参考给定的任务预先设置，但本发明不限于此。在本发明中，第1类数据可以是指与输入数据的相似度高于预设相似度阈值的数据，第2类数据可以是指与输入数据的相似度低于另一预设相似度阈值的数据。
其中，选择性深度生成重放模块可以应用于需要神经网络模型的设备，例如自动驾驶汽车、自动驾驶飞行器、机器人等，可以用于针对神经网络模型的持续学习。
与此相应地，图3至图7示意性地示出了一种方法，其对选择性深度生成重放模块进行初始学习，对初始学习的选择性深度生成重放模块进行测试，在选择性深度生成重放模块上进行连续学习，以对神经网络模型进行可调连续学习。
首先，图3为根据本发明一实施例的进行选择性深度生成重放模块的初始学习的学习装置1000的示意图。
参见图3，学习装置可以包括：存储器1001，其存储用于对选择性深度生成重放模块进行初始学习的指令；和处理器1002，其响应于存储器1001中存储的指令，用于对选择性深度生成重放模块进行初始学习的操作。
具体地，学习装置1000通常可以使用计算装置(例如，计算机处理器、存储器、存储装置、输入和输出装置，和可以包括常规计算装置的其他组件的装置；电子通讯装置，如路由器、交换机等；电子信息存储系统，如网络附加存储(NAS)和存储区域网络(SAN))和计算机软件(即，使计算装置以特定方式运行的指令)的组合来实现所需的系统性能。
另外，计算装置的处理器可以包括诸如微处理单元(MPU，Micro ProcessingUnit)或中央处理单元(CPU，Central Processing Unit)、高速缓冲(Cache Memory)、数据总线(Data Bus)之类的硬件配置。另外，计算装置可以进一步包括操作系统、执行特定目的的应用程序的软件配置。
然而，不排除计算装置包括为实现本发明而集成介质、处理器和存储器的形式的集成处理器的情况。
将参照图4描述使用如上所述配置的学习装置1000进行根据本发明一实施例的选择性深度生成重放模块的初始学习的方法。
首先，为了进行选择性深度生成重放模块100的初始学习，学习装置1000可以从整个数据库，即从现有数据库(existing database)获得第1学习用数据并从作为整个数据库的子集(subset)的子数据库(sub-database)获得第2学习用数据。
接下来，学习装置1000可以将第1学习用数据和第2学习用数据输入到选择性深度生成重放模块100。
此时，选择性深度生成重放模块(Selective Deep Generative Replay Module)100可以将第1学习用数据和第2学习用数据分别输入到位于选择性深度生成重放模块100的分布分析器(Distribution Analyzer)110，以使分布分析器110生成与第1学习用数据对应的第1学习用低维分布特征(first low-dimensional distribution feature fortraining)和与第2学习用数据对应的第2学习用低维分布特征(second low-dimensionaldistribution feature for training)。其中，分布特征可以表示针对图像上至少一些像素的特征的分布、针对图像上物体的位置的分布、针对图像上物体的分类分数(classification score)的分布等，本发明不限于此，可以表示针对可从所有数据中提取的各种信息的分布。另外，在输入到选择性深度生成重放模块100的输入数据中包括的特征(features)中，当捕获有用的特征用于深度神经网络模型的可调连续学习时，不必要的(irrelevant/unnecessary)特征会导致“维度之咒(curse of dimensionality)”问题，为了防止所述问题，可以通过将输入数据投影到低(project)低维子空间(lowerdimensional subspace)来生成低维分布特征，并且可以通过特征提取(featureextraction)或特征选择(feature selection)等的方法来实现降维(dimensionalityreduction)。
接下来，选择性深度生成重放模块100可以将从位于选择性深度生成重放模块100的动态二进制生成器(Dynamic Binary Generator)120中生成的学习用二进制、从位于选择性深度生成重放模块100的随机参数生成器(Random Parameter Generator)130中生成的学习用随机参数，和第2学习用低维分布特征输入到位于选择性深度生成重放模块100的数据生成器(Data Generator)140，使得数据生成器140根据学习用二进制和学习用随机参数生成与第2学习用低维分布特征对应的第3学习用数据。其中，数据生成器140可以包括至少一个编码层和至少一个解码层。
此时，数据生成器140通过使用输入的学习用随机参数和第2学习用低维分布特征来生成第3学习用数据，第3学习用数据对应于学习用二进制，可以是与第2学习用低维分布特征的分布相似的分布内的数据或相似分布之外的数据。作为一例，当学习用二进制为第1二进制值时，第3学习用数据的特征分布的均值和方差可以在基于与第2学习用低维分布特征对应的均值和方差确定的各学习用数据阈值范围内，当学习用二进制为第2二进制值时，第3学习用数据的特征分布的均值和方差可以在基于第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围之外。其中，学习用随机参数可以表示诸如随机噪声、图像方位和属性等图像变形的向量或高斯等分布，相应地，可以根据学习用随机参数生成可用于学习的各种分布的第3学习用数据。
另外，学习装置1000可以将第1学习用数据输入到位于选择性深度生成重放模块100的求解器(Solver)150，以使求解器150输出基于深度学习对第1学习用数据进行标注的学习用标注数据。
接下来，学习装置1000可以第1学习用数据、第2学习用数据、第1学习用低维分布特征、第2学习用低维分布特征、第3学习用数据和学习用二进制输入到判别器(Discriminator)200，并使判别器200对应于学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数(first distribution feature score)、第2分布特征分数(second distribution feature score)和第3学习用数据分数。
接下来，学习装置1000为了进行分布分析器110、数据生成器140和判别器200的学习，可以生成或支持生成参考第2学习用数据分数、第2分布特征分数和第3学习用数据分数的第1判别损失(first discriminator loss)、参考第1学习用数据分数、第1分布特征分数和第3学习用数据分数的第2判别损失(second discriminator loss)、参考第2分布特征分数和第3学习用数据分数的第1生成损失(first generator loss)、和参考第1分布特征分数、第2分布特征分数和第3学习用数据分数的第2生成损失(second generator loss)。
据此，学习装置1000可以训练判别器200、数据生成器140和分布分析器110，以使数据生成器140生成在学习用二进制为第1二进制值时包括具有在基于第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的第3学习用数据，生成在学习用二进制为第2二进制值时包括具有在基于第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的第3学习用数据。其中，第1二进制值和第2二进制值可以为二进制输入值，例如“1”和“0”等数字或“a”和“b”等字符。
为此，学习装置1000可以执行或支持执行如下处理：参考学习用二进制，(i)当学习用二进制为第1二进制值时，使用第1判别损失训练判别器200和分布分析器110，使用第1生成损失训练数据生成器140和分布分析器110，(ii)当学习用二进制为第2二进制值时，使用第2判别损失训练判别器200和分布分析器110，并使用第2生成损失训练数据生成器140和分布分析器110。
此时，学习装置1000可以执行或支持执行如下处理：(i)为了进行上述学习，当分别使用第1判别损失和第2判别损失来训练判别器200和分布分析器110时，在固定数据生成器140的第1参数的状态下进行训练，(ii)当分别使用第1生成损失和第2生成损失来训练数据生成器140和分布分析器110时，在固定判别器200的第2参数的状态下进行训练。
其中，由于每个都由深度网络模型(deep network model)组成的分布分析器110、数据生成器140和判别器200都是相连的，因此可以通过使用第1判别损失、第2判别损失、第1生成损失或第2生成损失的反向传播(back-propagation)进行学习。从而可以通过如下目标函数(target function)执行使用上述损失的分布分析器110、数据生成器140和判别器200的学习。
if binary＝first binary value,
Figure BDA0003429310850000131
Figure BDA0003429310850000132
else
Figure BDA0003429310850000133
Figure BDA0003429310850000134
在上式中，x代表第1学习用数据或第2学习用数据，z代表学习用随机参数，DFED代表第1学习用低维分布特征，DFsub代表第2学习用低维分布特征，G(z)代表第3学习用数据。
上述学习规则与现有的生成对抗网络(Generative Adversarial Network，GAN)的学习方法基本类似，但其区别在于，为了使判别器200对应多个子数据库或现有数据库，进一步接收第1学习用低维分布特征和第2学习用低维分布特征。另外，在上述的学习中，分布分析器110都参与数据生成器140和判别器200的学习项(term)，只有与该项连接的部分才接收反向传播(back-propagation)。
通过这样的学习，数据生成器140可以输出在学习用二进制为第1二进制值时包括具有在基于作为输入数据的第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的现有数据库中包括的第1类数据，而可以输出在学习用二进制为第2二进制值时包括具有在基于作为输入数据的第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的现有数据库中包括的第2类数据。然后，当根据连续学习的新数据被输入时，数据生成器140可以输出包括具有在基于作为输入数据的新数据的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的现有数据库中包括的第1类数据，和包括具有在基于作为输入数据的新数据的均值和方差确定的各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的现有数据库中包括的第2类数据，从而无需像现有技术那样存储现有的数据库。
另外，学习装置1000可以执行如下处理：为了提高由求解器150生成的学习用标注数据的准确性，参考学习用标注数据和与之对应的真实数据(ground truth)进一步生成求解器损失(Solver loss)，并使用求解器损失进一步训练求解器150。
在完成上述选择性深度生成重放模块100的初始学习后，根据本发明的一实施例，连续学习装置2000对初始学习的选择性深度生成重放模块进行测试，并对选择性深度生成重放模块进行连续学习，以便对神经网络模型进行可调连续学习。
参见图5，连续学习装置2000可以包括：存储器2001，其存储用于对选择性深度生成重放模块100进行测试和连续学习的指令；和处理器2002，其响应于存储器2001中存储的指令，用于对选择性深度生成重放模块100进行测试和连续学习的操作。
具体地，连续学习装置2000通常可以使用计算装置(例如，计算机处理器、存储器、存储装置、输入和输出装置，和可以包括常规计算装置的其他组件的装置；电子通讯装置，如路由器、交换机等；电子信息存储系统，如网络附加存储(NAS)和存储区域网络(SAN))和计算机软件(即，使计算装置以特定方式运行的指令)的组合来实现所需的系统性能。
另外，计算装置的处理器可以包括诸如微处理单元(MPU，Micro ProcessingUnit)或中央处理单元(CPU，Central Processing Unit)、高速缓冲(Cache Memory)、数据总线(Data Bus)之类的硬件配置。另外，计算装置可以进一步包括操作系统、执行特定目的的应用程序的软件配置。
然而，不排除计算装置包括为实现本发明而集成介质、处理器和存储器的形式的集成处理器的情况。
另一方面，学习装置1000和连续学习装置2000可以一起安装在采用神经网络模型的装置上，所述神经网络模型通过应用选择性深度生成重放模块来执行可调连续学习，与此不同地，也可以安装在共享服务器或共享装置上，并将为可调连续学习而生成的学习用数据和标注的学习用数据远程传输到用于进行神经网络模型的可调连续学习的服务器或装置，但本发明不限于此。
将参照图6和图7描述使用如上所述配置的连续学习装置2000对根据本发明一实施例的选择性深度生成重放模块100进行测试和连续学习的方法。
图6为根据本发明一实施例的连续学习装置2000对选择性深度生成重放模块100进行测试的方法的示意图。下面将省略可从图4的描述容易理解的部分的详细描述。
首先，如参照图4所述，连续学习装置2000可以在学习装置1000对选择性深度生成重放模块100进行初始学习的状态下，从新收集的新数据库获取新数据。
然后，连续学习装置2000可以将所获得的新数据输入到选择性深度生成重放模块100。
然后，选择性深度生成重放模块100可以将新数据输入到分布分析器110，使得分布分析器110生成与新数据对应的新低维分布特征(new low-dimensional distributionfeature)。其中，在输入到选择性深度生成重放模块100的输入数据中包括的特征(features)中，当捕获有用的特征用于深度神经网络模型的可调连续学习时，不必要的(irrelevant/unnecessary)特征会导致“维度之咒(curse of dimensionality)”问题，为了防止所述问题，可以通过将输入数据投影到低(project)低维子空间(lowerdimensional subspace)来生成低维分布特征，并且可以通过特征提取(featureextraction)或特征选择(feature selection)等的方法来实现降维(dimensionalityreduction)。
另外，选择性深度生成重放模块100可以将从动态二进制生成器120生成的测试用二进制、从随机参数生成器130生成的测试用随机参数和新低维分布特征输入到数据生成器140，使得数据生成器140根据所述测试用二进制和所述测试用随机参数生成与所述新低维分布特征对应的测试用数据。此时，在用于初始学习的整个数据库和子数据库被删除的状态下，数据生成器140生成与新数据的分布对应的测试用数据，测试用数据可以是与整个数据库和子数据库中包括的数据具有相同或相似分布的数据。另外，测试用数据可以包括第1再生性数据(first regeneration data)和第2再生性数据(second regenerationdata)，所述第1再生性数据在测试用二进制为第1二进制值时包括具有在基于新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征，所述第2再生性数据在测试用二进制为第2二进制值时包括具有在基于新低维分布特征的均值和方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征。其中，第1二进制值和第2二进制值可以为二进制输入值，例如“1”和“0”等数字或“a”和“b”等字符。
接下来，连续学习装置200可以将测试用数据输入到求解器150，使得求解器150输出标注测试用数据的测试用标注数据。
此时，连续学习装置2000生成或支持生成如下处理：使动态二进制生成器120生成测试用二进制，将设置第1再生性数据与第2再生性数据的生成比率的数据生成比率输入到动态二进制生成器120，使得动态二进制生成器120根据数据生成比率针对多个用于生成第1再生性数据的第1二进制值和多个用于生成第2再生性数据的第2二进制值生成多个测试用二进制。
接下来，图7为根据本发明一实施例的连续学习装置2000对选择性深度生成重放模块100进行连续学习的方法的示意图。
首先，连续学习装置2000首先复制初始学习的选择性深度生成重放模块100以生成旧选择性深度生成重放模块(old Selective Deep Generative Replay Module)300，并且将包括第1学习用低维分布特征和第2训练低维分布特征的至少一部分的旧低维分布特征(old low-dimensional distribution feature)输入到旧选择性深度生成重放模块300以使旧选择性深度生成重放模块300生成与所述旧低维分布特征对应的旧数据和与旧数据对应的旧标注数据。
如此，在生成旧数据和与旧数据对应的旧标注数据的状态下，连续学习装置2000将旧数据、新数据、旧低维分布特征、新低维分布特征、测试用数据和测试用二进制输入判别器200，使判别器200对应于测试用二进制输出旧数据分数、新数据分数、旧分布特征分数(old distribution feature score)、新分布特征分数(new distribution featurescore)和测试用数据分数。
另外，连续学习装置2000将旧数据和新数据输入到求解器150，使得求解器150输出基于深度学习对旧数据和新数据进行标注的新标注数据。
接下来，连续学习装置2000为了进行分布分析器110、数据生成器140和判别器200的学习，可以生成参考新数据分数、新分布特征分数和测试用数据的第1新判别损失、参考旧数据分数、旧分布特征分数和测试用数据分数的第2新判别损失、参考新分布特征分数和测试用数据分数的第1新生成损失、和参考旧分布特征分数、新分布特征分数和测试用数据分数的第2新生成损失。
据此，连续学习装置2000可以训练判别器200、数据生成器140和分布分析器110，以使数据生成器140生成在测试用二进制为第1二进制值时包括具有在基于新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的测试用数据，生成在测试用二进制为第2二进制值时包括具有在基于新低维分布特征的均值和方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的测试用数据。
为此，连续学习装置2000可以执行或支持执行如下处理：参考测试用二进制，(i)当测试用二进制为第1二进制值时，使用第1新判别损失训练判别器200和分布分析器110，并使用第1新生成损失训练数据生成器140和分布分析器110，(ii)当测试用二进制为第2二进制值时，使用第2新判别损失训练判别器200和分布分析器110，并使用第2新生成损失训练数据生成器140和分布分析器110。
此时，连续学习装置2000可以执行或支持执行如下处理：(i)为了进行上述学习，当分别使用第1新判别损失和第2新判别损失来训练判别器200和分布分析器110时，在固定数据生成器140的第1参数的状态下进行训练，(ii)当分别使用第1新生成损失和第2新生成损失来训练数据生成器140和分布分析器110时，在固定判别器200的第2参数的状态下进行训练。
其中，由于每个都由深度网络模型(deep network model)组成的分布分析器110、数据生成器140和判别器200都是相连的，因此可以通过使用第1新判别损失、第2新判别损失、第1新生成损失或第2新生成损失的反向传播(back-propagation)进行学习。从而可以通过如下目标函数(target function)执行使用上述损失的分布分析器110、数据生成器140和判别器200的学习。
if binary＝first binary value,
Figure BDA0003429310850000161
Figure BDA0003429310850000162
else
Figure BDA0003429310850000163
Figure BDA0003429310850000164
在上式中，x代表旧数据或新数据，z代表测试用随机参数，DFED代表旧低维分布特征，DFsub代表新低维分布特征，G(z)代表测试用数据。
上述学习规则与用于初始学习的学习方法基本类似，但其区别在于，将包括所存储的第1学习用低维分布特征和第2学习用低维分布特征的至少一部分的旧低维分布特征输入到判别器200。另外，连续学习中的区别在于，将旧低维分布特征输入到旧选择性深度生成重放模块，使得旧选择性深度生成重放模块生成与旧低维分布特征对应的旧形数据，并将其用作分布分析器110和判别器200的输入值。
此外，连续学习装置2000可以执行如下处理：为了提高由求解器150生成的新标注数据的准确性，参考新标注数据和旧标注数据生成新求解器损失(new solver loss)，并使用新求解器损失训练求解器150。
连续学习装置2000可以使用上述方法对每次迭代(iteration)进行选择性深度生成重放模块100的连续学习，但不限于此，为了进行选择性深度生成重放模块100的连续学习，更新旧选择性深度生成重放模块300的周期可以与神经网络模型的可调连续学习的周期互补地受到影响。作为一例，当需要提高神经网络模型的性能，或者需要调整神经网络模型的连续学习来执行新任务时，可以进行连续学习选择性深度生成重放模块100以生成新比率的学习用数据。
另一方面，在上文中，尽管将连续学习方法描述为在进行初始学习后立即进行，但同样可以应用于连续学习的连续轮次。
即，在参照图6和图7描述的方法中，新数据库可以代替参照图4的初始学习中的子数据库(sub database)，并可以使用为后续连续学习而获得的下一个数据库(nextdatabase)来执行连续学习。
上述根据本发明的实施例可以以可通过各种计算机组件执行的程序指令的形式来实现并记录在计算机可读记录介质中。所述计算机可读记录介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在所述计算机可读记录介质中的程序指令可以是为本发明专门设计和配置的，或者可以是计算机软件领域的技术人员已知和可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁性介质，诸如CD-ROM、DVD的光学记录介质，诸如软盘(floptical disk)的磁光介质(magneto-optical media)以及专门配置用于存储和执行程序指令的硬件装置，例如ROM、RAM、闪存等。程序指令的示例不仅包括诸如由编译器生成的那些机器语言代码，而且还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置可以配置为作为至少一个软件模块操作以执行根据本发明的处理，反之亦然。
在上文中，已经参考诸如具体组件等的特定事项以及有限的实施例和附图描述了本发明，但这仅有助于更全面地理解本发明，而本发明不限于上述实施例，本发明所属领域的普通技术人员可以根据这些描述设计出各种修改和变化。
因此，本发明的精神不应限于上述实施例，除所附权利要求外，凡与这些权利要求等效或等同的修改，均应包含在本发明的精神范围内。

Claims (20)

1.一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的方法，所述方法包括：
(a)当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集的子数据库获得第2学习用数据时，学习装置执行或支持执行如下处理：将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块使得所述选择性深度生成重放模块(i)通过位于所述选择性深度生成重放模块的分布分析器生成与所述第1学习用数据对应的第1学习用低维分布特征和与所述第2学习用数据对应的第2学习用低维分布特征，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；
(b)所述学习装置执行或支持执行如下处理：将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入到判别器，使得所述判别器对应于所述学习用二进制输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；以及
(c)所述学习装置执行或支持执行如下处理：(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据进一步生成求解器损失，并使用所述求解器损失进一步训练所述求解器。
2.根据权利要求1所述的方法，其特征在于：
在所述(c)步骤中，所述学习装置执行或支持执行如下处理：参考所述学习用二进制值，(i)当所述学习用二进制为第1二进制值时，使用所述第1判别损失训练所述判别器和所述分布分析器，使用所述第1生成损失训练所述数据生成器和所述分布分析器，(ii)当所述学习用二进制为第2二进制值时，使用所述第2判别损失训练所述判别器和所述分布分析器，并使用第2生成损失训练所述数据生成器和所述分布分析器。
3.根据权利要求2所述的方法，其特征在于：
所述学习装置执行或支持执行如下处理：(i)当分别使用所述第1判别损失和所述第2判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1生成损失和所述第2生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
4.根据权利要求1所述的方法，其特征在于：
所述数据生成器包括至少一个编码层和至少一个解码层。
5.一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的方法，所述方法包括：
(a)在学习装置从整个数据库获得第1学习用数据且从作为所述整个数据库的子集的子数据库获得第2学习用数据时，所述学习装置执行或支持执行如下处理：将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块使得所述选择性深度生成重放模块(I)(i)通过位于所述选择性深度生成重放模块的分布分析器生成与所述第1学习用数据对应的第1学习用低维分布特征和与所述第2学习用数据对应的第2学习用低维分布特征，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据的处理；(II)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器，使得所述判别器对应于所述学习用二进制输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数的处理；以及(III)(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据进一步生成求解器损失，并使用所述求解器损失进一步训练所述求解器的处理的状态下，连续学习装置执行或支持执行从新收集的新数据库获得新数据的处理；以及
(b)所述连续学习装置执行或支持执行如下处理：将所述新数据输入到所述选择性深度生成重放模块使得所述选择性深度生成重放模块(i)通过所述分布分析器生成与所述新数据对应的新低维分布特征，其中所述新低维分布特征的维度低于所述新数据的维度，(ii)将从所述动态二进制生成器生成的测试用二进制、从所述随机参数生成器生成的测试用随机参数、和所述新低维分布特征输入到所述数据生成器，并通过所述数据生成器根据所述测试用二进制和所述测试用随机参数生成与所述新低维分布特征对应的测试用数据，其中所述测试用数据包括第1再生性数据和第2再生性数据，所述第1再生性数据在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征，所述第2再生性数据在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征，(iii)将所述测试用数据输入到所述求解器，并通过所述求解器输出标注所述测试用数据的测试用标注数据。
6.根据权利要求5所述的方法，其特征在于，还包括：
(c)在通过复制所述选择性深度生成重放模块生成旧选择性深度生成重放模块，将包括所述第1学习用低维分布特征和所述第2学习用低维分布特征的至少一部分的旧低维分布特征输入到所述旧选择性深度生成重放模块，以使所述旧选择性深度生成重放模块生成与所述旧低维分布特征对应的旧数据和与所述旧数据对应的旧标注数据的状态下，所述连续学习装置执行或支持执行如下处理：(i)将所述旧数据、所述新数据、所述旧低维分布特征、所述新低维分布特征、所述测试用数据和所述测试用二进制输入到所述判别器，以使所述判别器对应于所述测试用二进制输出旧数据分数、新数据分数、旧分布特征分数、新分布特征分数和测试用数据分数，(ii)将所述旧数据和所述新数据输入到所述求解器，以使所述求解器输出基于深度学习对所述旧数据和所述新数据进行标注的新标注数据；以及
(d)所述连续学习装置执行或支持执行如下处理：(i)生成参考所述新数据分数、所述新分布特征分数和所述测试用数据分数的第1新判别损失、参考所述旧数据分数、所述旧分布特征分数和所述测试用数据分数的第2新判别损失、参考所述新分布特征分数和所述测试用数据分数的第1新生成损失、和参考所述旧分布特征分数、所述新分布特征分数和所述测试用数据分数的第2新生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述测试用数据，生成在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述测试用数据，(ii)参考所述新标注数据和所述旧标注数据生成新求解器损失，并使用所述新求解器损失训练所述求解器。
7.根据权利要求5所述的方法，其特征在于：
在所述(b)步骤中，所述连续学习装置执行或支持执行如下处理：使所述动态二进制生成器生成所述测试用二进制，其中，将设置所述第1再生性数据与所述第2再生性数据的生成比率的数据生成比率输入到所述动态二进制生成器，使得所述动态二进制生成器根据数据生成比率生成针对多个用于生成所述第1再生性数据的第1二进制值和多个用于生成所述第2再生性数据的第2二进制值的多个所述测试用二进制。
8.根据权利要求6所述的方法，其中：
在所述(d)步骤中，所述连续学习装置执行或支持执行如下处理：参考所述测试用二进制值，(i)当所述测试用二进制为第1二进制值时，使用所述第1新判别损失训练所述判别器和所述分布分析器，并使用所述第1新生成损失训练所述数据生成器和所述分布分析器，(ii)当所述测试用二进制为第2二进制值时，使用所述第2新判别损失训练所述判别器和所述分布分析器，并使用第2新生成损失训练所述数据生成器和所述分布分析器。
9.根据权利要求8所述的方法，其中：
所述连续学习装置执行或支持执行如下处理：(i)当分别使用所述第1新判别损失和所述第2新判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1新生成损失和所述第2新生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
10.根据权利要求5所述的方法，其特征在于：
所述数据生成器包括至少一个编码层和至少一个解码层。
11.一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的学习装置，其包括：
至少一个存储指令的存储器；和
至少一个用于执行所述指令的处理器，
所述处理器执行或支持执行如下处理：(I)当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集的子数据库获得第2学习用数据时，将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块使得所述选择性深度生成重放模块(i)通过位于所述选择性深度生成重放模块的分布分析器生成与所述第1学习用数据对应的第1学习用低维分布特征和与所述第2学习用数据对应的第2学习用低维分布特征，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；(II)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器，并使所述判别器对应于所述学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；以及(III)(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据进一步生成求解器损失，并使用所述求解器损失进一步训练所述求解器。
12.根据权利要求11所述的学习装置，其特征在于：
在所述(III)处理中，所述处理器执行或支持执行如下处理：参考所述学习用二进制值，(i)当所述学习用二进制为第1二进制值时，使用所述第1判别损失训练所述判别器和所述分布分析器，使用所述第1生成损失训练所述数据生成器和所述分布分析器，(ii)当所述学习用二进制为第2二进制值时，使用所述第2判别损失训练所述判别器和所述分布分析器，并使用第2生成损失训练所述数据生成器和所述分布分析器。
13.根据权利要求12所述的学习装置，其特征在于：
所述处理器执行或支持执行如下处理：(i)当分别使用所述第1判别损失和所述第2判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1生成损失和所述第2生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
14.根据权利要求11所述的学习装置，其特征在于：
所述数据生成器包括至少一个编码层和至少一个解码层。
15.一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的连续学习装置，其包括：
至少一个存储指令的存储器；和
至少一个用于执行所述指令的处理器，
所述处理器执行或支持执行如下处理：(I)学习装置执行或支持执行如下处理：当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集的子数据库获得第2学习用数据时，将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块使得所述选择性深度生成重放模块(i)(i-1)通过位于所述选择性深度生成重放模块的分布分析器生成与所述第1学习用数据对应的第1学习用低维分布特征和与所述第2学习用数据对应的第2学习用低维分布特征，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(i-2)将从位于所述选择性深度生成重放模块的动态二进制生成器中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(i-3)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；(ii)将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入判别器，并使所述判别器对应于所述学习用二进制，输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；以及(iii)(iii-1)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的各每个学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(iii-2)在参考所述学习用标注数据和与之对应的真实数据进一步生成求解器损失，并使用所述求解器损失进一步训练所述求解器的状态下，从新收集的新数据库获得新数据；以及(II)将所述新数据输入到所述选择性深度生成重放模块，并使所述选择性深度生成重放模块(i)通过所述分布分析器生成与所述新数据对应的新低维分布特征，其中所述新低维分布特征的维度低于所述新数据的维度，(ii)将从所述动态二进制生成器生成的测试用二进制、从所述随机参数生成器生成的测试用随机参数，和所述新低维分布特征输入到所述数据生成器，并通过所述数据生成器根据所述测试用二进制和所述测试用随机参数生成与所述新低维分布特征对应的测试用数据，其中所述测试用数据包括第1再生性数据和第2再生性数据，所述第1再生性数据在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的均值和方差确定的各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征，所述第2再生性数据在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征，(iii)将所述测试用数据输入到所述求解器，并通过所述求解器输出标注所述测试用数据的测试用标注数据。
16.根据权利要求15所述的连续学习装置，还包括：
(III)在通过复制所述选择性深度生成重放模块生成旧选择性深度生成重放模块，将包括所述第1学习用低维分布特征和所述第2学习用低维分布特征的至少一部分的旧低维分布特征输入到所述旧选择性深度生成重放模块，以使所述旧选择性深度生成重放模块生成与所述旧低维分布特征对应的旧数据和与所述旧数据对应的旧标注数据的状态下，所述处理器执行或支持执行如下处理：(i)将所述旧数据、所述新数据、所述旧低维分布特征、所述新低维分布特征、所述测试用数据和所述测试用二进制输入到所述判别器，以使所述判别器对应于所述测试用二进制输出旧数据分数、新数据分数、旧分布特征分数、新分布特征分数和测试用数据分数，(ii)将所述旧数据和所述新数据输入到所述求解器，以使所述求解器输出基于深度学习对所述旧数据和所述新数据进行标注的新标注数据；以及
(IV)所述处理器执行或支持执行如下处理：(i)生成参考所述新数据分数、所述新分布特征分数和所述测试用数据分数的第1新判别损失、参考所述旧数据分数、所述旧分布特征分数和所述测试用数据分数的第2新判别损失、参考所述新分布特征分数和所述测试用数据分数的第1新生成损失、和参考所述旧分布特征分数、所述新分布特征分数和所述测试用数据分数的第2新生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述测试用二进制为第1二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述测试用数据，生成在所述测试用二进制为第2二进制值时包括具有在基于所述新低维分布特征的所述均值和所述方差确定的所述各测试用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述测试用数据，(ii)参考所述新标注数据和所述旧标注数据生成新求解器损失，并使用所述新求解器损失训练所述求解器。
17.根据权利要求15所述的连续学习装置，其特征在于：
在所述(II)处理中，所述处理器执行或支持执行如下处理：使所述动态二进制生成器生成所述测试用二进制，将设置所述第1再生性数据与所述第2再生性数据的生成比率的数据生成比率输入到所述动态二进制生成器，使得所述动态二进制生成器根据数据生成比率针对多个用于生成所述第1再生性数据的第1二进制值和多个用于生成所述第2再生性数据的第2二进制值生成多个所述测试用二进制。
18.根据权利要求16所述的连续学习装置，其特征在于：
在所述(IV)处理中，所述处理器执行或支持执行如下处理：参考所述测试用二进制值，(i)当所述测试用二进制为第1二进制值时，使用所述第1新判别损失训练所述判别器和所述分布分析器，并使用所述第1新生成损失训练所述数据生成器和所述分布分析器，(ii)当所述测试用二进制为第2二进制值时，使用所述第2新判别损失训练所述判别器和所述分布分析器，并使用第2新生成损失训练所述数据生成器和所述分布分析器。
19.根据权利要求18所述的连续学习装置，其特征在于：
所述处理器执行或支持执行如下处理：(i)当分别使用所述第1新判别损失和所述第2新判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1新生成损失和所述第2新生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。
20.根据权利要求15所述的连续学习装置，其特征在于：
所述数据生成器包括至少一个编码层和至少一个解码层。
CN202180004129.8A 2020-05-22 2021-04-14 一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置 Pending CN114008638A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063028779P 2020-05-22 2020-05-22
US63/028,779 2020-05-22
US17/136,847 US11074507B1 (en) 2020-05-22 2020-12-29 Method for performing adjustable continual learning on deep neural network model by using selective deep generative replay module and device using the same
US17/136,847 2020-12-29
PCT/KR2021/004696 WO2021235701A1 (en) 2020-05-22 2021-04-14 Method for performing adjustable continual learning on deep neural network model by using selective deep generative replay module and device using the same

Publications (1)

Publication Number Publication Date
CN114008638A true CN114008638A (zh) 2022-02-01

Family

ID=76971438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180004129.8A Pending CN114008638A (zh) 2020-05-22 2021-04-14 一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置

Country Status (6)

Country Link
US (1) US11074507B1 (zh)
EP (1) EP3913541B1 (zh)
JP (1) JP7201847B2 (zh)
KR (1) KR20210155825A (zh)
CN (1) CN114008638A (zh)
WO (1) WO2021235701A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850309A (zh) * 2021-09-15 2021-12-28 支付宝(杭州)信息技术有限公司 一种训练样本生成方法及联邦学习方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836611B2 (en) 2017-07-25 2023-12-05 University Of Massachusetts Method for meta-level continual learning
KR101880901B1 (ko) * 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치
US10474713B1 (en) * 2018-10-26 2019-11-12 StradVision, Inc. Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same

Also Published As

Publication number Publication date
KR20210155825A (ko) 2021-12-23
JP2022539499A (ja) 2022-09-12
WO2021235701A1 (en) 2021-11-25
EP3913541A1 (en) 2021-11-24
JP7201847B2 (ja) 2023-01-10
EP3913541C0 (en) 2024-05-29
EP3913541B1 (en) 2024-05-29
US11074507B1 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
US10963792B1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
CN112381098A (zh) 基于目标分割领域自学习的半监督学习方法和系统
JP2017111806A (ja) 畳み込みニューラルネットワークによるナンバープレート認識のための粗から細へのカスケードによる適応
US20200234144A1 (en) Generating training datasets for training neural networks
Zhu et al. Not all features matter: Enhancing few-shot clip with adaptive prior refinement
US11113574B1 (en) Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
CN115769229A (zh) 训练和测试通过利用注意力图检测图像上对象的对象检测网络的方法及设备
JP2022531974A (ja) 人工知能のための希な訓練データへの対処
CN114175068A (zh) 一种通过使用自适应超参数集的多阶段学习对自动驾驶汽车的机器学习网络进行设备上学习的方法及使用其的设备上学习装置
Koch et al. Machine learning for predicting the damaged parts of a low speed vehicle crash
CN112966112A (zh) 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN114008638A (zh) 一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置
KR20230099941A (ko) 자기 지도학습과 복사-붙이기 데이터 증강을 이용한 건설객체 분할모델 일반화방법 및 일반화시스템
EP4252151A1 (en) Data source correlation techniques for machine learning and convolutional neural models
JP2023514173A (ja) サブ－カーネルサーチングモジュールを利用してオン－デバイスニューラルネットワークモデルを最適化する方法及び装置
CN117473032A (zh) 基于一致扩散的场景级多智能体轨迹生成方法及装置
Zhang et al. CAGFuzz: Coverage-guided adversarial generative fuzzing testing of deep learning systems
Fakharurazi et al. Object Detection in Autonomous Vehicles
JP2023527511A (ja) 少数ショット類似性決定および分類のためのクロストランスフォーマニューラルネットワークシステム
CN118364044A (zh) 基于迁移学习的车辆故障文本数据生成方法及系统
Schütt et al. Clustering-based Criticality Analysis for Testing of Automated Driving Systems
CN116168201B (zh) 无需精确标注数据的车道线分割方法及装置
CN118314424B (zh) 基于边缘场景的车路协同自进化学习多模态校验方法
KR102417293B1 (ko) 머신러닝을 위한 자동화된 피처 선택 방법 및 이러한 방법을 수행하는 장치
Ding et al. Railway Track Foreign Object Intrusion Detection Based on Improved YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination