CN112257785A - 基于记忆巩固机制与gan模型的序列化任务完成方法及系统 - Google Patents

基于记忆巩固机制与gan模型的序列化任务完成方法及系统 Download PDF

Info

Publication number
CN112257785A
CN112257785A CN202011145522.2A CN202011145522A CN112257785A CN 112257785 A CN112257785 A CN 112257785A CN 202011145522 A CN202011145522 A CN 202011145522A CN 112257785 A CN112257785 A CN 112257785A
Authority
CN
China
Prior art keywords
task
gan model
training
new
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011145522.2A
Other languages
English (en)
Inventor
常一帆
刘鹏程
王亦凡
孙晓晴
刘文涛
李文波
王矿
王伟祥
邱骐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Jiadian Intelligent Technology Co ltd
Ningbo Qianrui Navigation Technology Co ltd
Hefei Technology Innovation Engineering Institute of CAS
Original Assignee
Hefei Zhongke Jiadian Intelligent Technology Co ltd
Ningbo Qianrui Navigation Technology Co ltd
Hefei Technology Innovation Engineering Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Jiadian Intelligent Technology Co ltd, Ningbo Qianrui Navigation Technology Co ltd, Hefei Technology Innovation Engineering Institute of CAS filed Critical Hefei Zhongke Jiadian Intelligent Technology Co ltd
Priority to CN202011145522.2A priority Critical patent/CN112257785A/zh
Publication of CN112257785A publication Critical patent/CN112257785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y40/00—Auxiliary operations or equipment, e.g. for material handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29L—INDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
    • B29L2031/00—Other particular articles
    • B29L2031/44—Furniture or parts thereof
    • B29L2031/443—Chairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29L—INDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
    • B29L2031/00—Other particular articles
    • B29L2031/712—Containers; Packaging elements or accessories, Packages
    • B29L2031/7158—Bottles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本发明涉及基于记忆巩固机制与GAN模型的序列化任务完成方法，与现有技术相比解决了多任务场景下模型会出现遗忘致使无法完成序列化任务的缺陷。本发明包括以下步骤：序列化任务的获取；设定索引器并生成任务索引；利用GAN模型进行任务训练；进行伪样本的联合训练；新序列化任务的完成。本发明通过重要参数的保护和记忆回放的设计，将记忆巩固机制应用于GAN模型，使得GAN模型具备了多任务处理能力，能够保留子任务中的重要信息、遗忘非重要信息，实现了序列化任务的完成。

Description

基于记忆巩固机制与GAN模型的序列化任务完成方法及系统
技术领域
本发明涉及序列化任务处理方法技术领域，具体来说是基于记忆巩固机制与GAN模型的序列化任务完成方法及系统。
背景技术
生成式对抗网络(GAN，Generative Adversarial Networks)是一种深度学习模型，其由一个生成器和一个判别器构成,通过对抗学习的方式来训练，目的是估测数据样本的潜在分布并生成新的数据样本。生成器的目的是尽量去学习真实的数据分布，而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器；为了取得游戏胜利，这两个游戏参与者需要不断优化，各自提高自己的生成能力和判别能力，这个学习优化过程就是寻找二者之间的一个纳什均衡。
目前，GAN广泛应用于图像和视觉、语音和语言等领域，如图像生成，图像去噪，风格转移，高分辨率用重建，语音合成等。虽然GAN的应用场景丰富，但是在现实环境中，其面临着一个严重问题—灾难性遗忘。
灾难性遗忘指人工神经网络(Artificial neural networks,ANN)学习了新的知识之后，几乎彻底遗忘掉之前习得的内容。在现实世界中，很多任务不可能一次性得到所有的训练数据，例如开放的环境、非特定的任务。这就使得ANN必须能够利用不断产生的新数据持续地，增量地学习新知识，并且不遗忘之前所学过的重要内容，以致于GAN模型无法应用于序列化任务的应用。
序列化任务的最大特点是多任务的交错执行，不同的任务随着不同的请求进行不同的执行，通常任务一完成后，跟着的是并不相同的任务二、任务三、任务四。而由于GAN模型的灾难性遗忘，使得其在学习完任务二后不再记得任务一的内容，致使序列化任务无法完成。
因此，如何设计一种能够实现序列化、多任务的完成方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中多任务场景下模型会出现遗忘致使无法完成序列化任务的缺陷，提供一种基于记忆巩固机制与GAN模型的序列化任务完成方法及系统来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于记忆巩固机制与GAN模型的序列化任务完成方法，包括以下步骤：
11)序列化任务的获取：获得待进行处理的序列化任务；
12)设定索引器并生成任务索引：对索引器进行设定，将序列化任务输入索引器生成任务索引；
13)利用GAN模型进行任务训练：使用GAN模型对建立任务索引号后的任务进行训练；
14)进行伪样本的联合训练：利用记忆回放方式生成任务一的伪样本，利用GAN模型对建立任务索引号后的任务二和任务一的伪样本进行训练，训练中保护任务一的参数重要性；
15)新序列化任务的完成：获取新的序列化任务，重复上述11)-14)步骤，完成新的序列化任务。
所述的对索引器进行设定中索引器为One-hot向量，其形式为：任务1(0,…,1)，任务2(0,…,1,0)，任务n(0,..1,..0)。
所述的利用GAN模型进行任务训练包括以下步骤：
31)将序列化任务输入GAN模型；
32)利用GAN模型的生成器对建立任务索引号后的任务一进行训练，对任务一进行重要参数的保护，GAN模型的生成器生成任务一的伪样本；
33)利用GAN模型的生成器对建立任务索引号后的任务二进行训练，对任务二进行重要参数的保护，GAN模型的生成器生成任务二的伪样本；
34)利用GAN模型的生成器对建立任务索引号后的任务n进行训练，对任务n进行重要参数的保护，GAN模型的生成器生成任务n的伪样本。
所述的进行重要参数的保护为计算GAN模型的生成器中每个参数的重要性，其包括以下步骤：
41)设定GAN模型的生成器中每个参数的衡量方式采用EWC方式或MAS方式，其表达式如下：
Figure BDA0002739607070000031
Figure BDA0002739607070000032
其中，IEWC为EWC方式计算得到的参数重要性，G代表生成器，θ代表生成器中的参数，z代表生成器的输入即随机噪声，Pz是关于z的先验分布，
Figure BDA0002739607070000035
代表z从Pz中采样；
IMAS为MAS算法计算得到的参数重要性，l2为L2范数；
42)若计算IEWC或IMAS为负数时，将此负值重新设置为0以防止其抵抗新任务的学习，并将表达式修改为以下形式：
I＝max(0,IEWC/IMAS)
其中，I为最终的参数重要性，max指取最大值；
43)基于学习新任务时保护重要性大的参数防止其被新任务完全覆盖掉、其允许重要性小的参数的更新以便继续学习新任务的原则，将保护重要参数的方式设定为以下表达式：
Figure BDA0002739607070000033
其中，L为原有新任务的目标函数，Lnew为增加了重要参数保护模块的新任务的目标函数，λ代表当前任务对新任务的重要性，θ代表当前任务的生成器网络中的参数，θ′代表学习新任务后的生成器网络中的参数，argminθ′Lnew指使得Lnew取得最小值的θ′。
所述的进行伪样本的联合训练包括以下步骤：
51)利用GAN模型的生成器生成的伪样本及其原样本索引，送入GAN模型，其表达式如下：
Figure BDA0002739607070000034
其中，Spseudo(1,…,m)为生成的旧任务的伪样本，m为过去任务的数量，i代表一个旧任务，G为生成器，z为随机噪声，tagi为过去任务i的索引；
52)将旧任务的伪样本与新任务的样本混合，其表达式如下：
S(m+1)＝{Spseudo(1,…,m),Strue(m+1)}，
其中，Strue(m+1)为新任务m+1的真实样本，S(m+1)为新旧任务的混合样本；
53)用混合样本对持续学习GAN模型进行联合训练，直到新旧任务的性能都满足设定要求。
所述的序列化任务为图像连续生成任务，其具体包括以下步骤：
61)获取图像连接生成任务，并将图像连接生成任务利用索引器生成任务索引；
62)将图像连接生成任务输入GAN模型进行训练，GAN模型中的重要保护模块计算图像连接生成任务一的参数重要性，并存储下来；
63)GAN模型中的重要保护模块计算图像连接生成任务二的参数重要性，并存储下来；
64)利用记忆回放方式生成图像连接生成任务一的伪样本，GAN模型对建立任务索引号后的任务二和任务一的伪样本进行联合训练；
65)获取待处理的图像连续生成任务，利用61)至64)步骤进行新的图像连接生成。
所述的序列化任务为连续3D打印任务，其具体包括以下步骤：
71)获取连续3D打印任务，其中任务一为3D打印椅子、任务二为3D打印花瓶；
72)利用索引器对任务一的椅子图片作为训练图片建立索引，同时为3D打印花瓶作为图片建立索引；
73)将任务一输入GAN模型进行训练，GAN模型中的重要保护模块计算生成椅子的参数重要性，并存储下来；
74)利用记忆回放方式生成任务一的椅子图片的伪样本，GAN模型对3D打印花瓶的任务二和任务一的伪样本进行联合训练；
75)获取待处理的连续3D打印任务，根据获得信息是椅子或花瓶，进行椅子或花瓶的打印。
所述的序列化任务为连续音色转换任务，其包括以下步骤：
81)获取连续音色转换任务，其中任务一为女声源声、任务二为男声源声；
82)利用索引器对任务一的女声源声建立索引，同时为任务二的男声源声建立索引；
83)将任务一的女声源声输入GAN模型进行训练，GAN模型中的重要保护模块计算生成女声源声的参数重要性，并存储下来；
84)利用记忆回放方式生成任务一的女声源声的伪样本，GAN模型对任务二的男声源声和任务一的伪样本进行联合训练；
85)获取待处理的连续音色转换任务，根据源声将其转换为目标声1或目标声2。
所述的序列化任务为智能小车工作任务，其包括以下步骤：
91)获取智能小车工作任务，其中任务一为识别分拣工作一、任务二为识别分拣工作二；
92)利用索引器对任务一的识别分拣工作一建立索引，同时为任务二的识别分拣工作二建立索引；
93)将任务一的识别分拣工作一输入GAN模型进行训练，GAN模型中的重要保护模块计算生成识别分拣工作一的参数重要性，并存储下来；
94)利用记忆回放方式生成任务一的识别分拣工作一的伪样本，GAN模型对任务二的识别分拣工作二和任务一的伪样本进行联合训练；
95)获取待处理的智能小车工作任务，根据其任务将其执行识别分拣工作一或识别分拣工作二。
基于记忆巩固机制与GAN模型的序列化任务完成方法的系统，包括序列化任务输入模块、索引器、GAN模型和序列化任务输出模块，所述的GAN模型包括生成器和判别器，所述的生成器中包括记忆回放模块和重要参数保护模块，重要参数保护模块用于保护重要参数防止其在后续学习中补覆盖，记忆回放模块通过混合新任务和部分旧任务样本对GAN持续学习系统进行联合训练，从而巩固旧任务，索引器用于随时间次序为任务创建索引号；所述的序列化任务输入模块的输出端与索引器的输入端相连，索引器的输出端与GAN模型的输入端相连，GAN模型的输出端与序列化任务输出模块的输入端连。
有益效果
本发明的基于记忆巩固机制与GAN模型的序列化任务完成方法及系统，与现有技术相比通过重要参数的保护和记忆回放的设计，将记忆巩固机制应用于GAN模型，使得GAN模型具备了多任务处理能力，能够保留子任务中的重要信息、遗忘非重要信息，实现了序列化任务的完成。同时，结合记忆巩固机制后的GAN模型更加贴合人类大脑记忆模型，更高效地解决复杂地连续学习问题。
附图说明
图1为本发明的方法顺序图；
图2为本发明第一种实施方式中普通GAN和本发明所述GAN网络在连续生成MNIST数字手写体的效果对比图；
图3为本发明第二种实施方式中普通GAN和本发明所述GAN网络连续3D打印的效果对比图；
图4为本发明第三种实施方式中基于本发明所述GAN网络的多音色变声软件界面图；
图5为图4所述多音色变声软件工作时音色转换波谱图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
在实际研究中发现，造成ANN灾难性遗忘的根本原因是新数据会修改与历史知识相关的重要神经元的参数。现有的灾难性遗忘问题解决方法大致可以分为两派：参数派与结构派。其中，参数派主张对深度学习进行修补，结构派主张提出新的人工神经网络模型。大致有四种方法：1)利用新数据训练的同时，不断用包含历史数据相关的信息刺激神经元，形成一种竞争，从而使历史知识相关的重要神经元的参数尽可能少的受影响，同时也保证了新知识能够被学习；2)在开始训练新数据前，利用旧网络对新数据进行预测得到虚拟的训练数据，可以看作是旧网络的一个回忆，目标函数中包含新旧网络的参数约束，每训练一个新数据，利用所有的虚拟数据约束旧参数，抑制遗忘；3)从另一个角度来约束参数的变化，不同的任务对应不同参数的概率分布，如果能找到两个分布重叠的部分，并将参数约束到这个区域，那么这一参数不就可以对这些任务都有效；4)保留所有的历史数据，并用其反复训练网络来防止遗忘。目前上述方法均在一定程度上缓解了灾难性遗忘，但是效果均有限，究其原因是上述机制并没有较高程度地复现人类记忆机制并应用于ANN上。
本发明在原始GAN模型的基础上，增加了索引器，重要参数保护模块和记忆重放模块。当序列化的任务到来时，这里以两个任务为例，任务1：生成猫的图像，任务2：生成狗的图像。索引器为每一个任务建立唯一的索引。接下来，GAN持续学习系统学习任务1。学习完成后，重要参数保护模块开始工作，其由两个步骤组成。首先当学习完成任务1后，其计算生成器关于任务1的参数重要性，这里参数重要性指神经网络参数包含当前任务的重要信息量，重要性大的参数包含了较多任务的重要信息。接下来在学习任务2时，重要参数保护模块适当抑制具有较高重要性的参数的变化以达到保护重要信息的目的。同时，在学习任务2时记忆重放模块也开始工作，其首先再次生成部分任务1的样本数据，并将该数据与任务2的数据混合，最后对GAN持续学习系统进行联合训练，直到其在任务1和任务2上均满足所需性能。可以看出，重要参数保护模块通过模仿突触可塑性机制对包含重要信息的参数进行保护，以防止这些参数在后续学习新任务的阶段中被代替。记忆回放模块模仿海马区记忆巩固机制，通过用部分旧任务的反复刺激神经网络防止其被遗忘。
本发明所述的基于记忆巩固机制与GAN模型的序列化任务完成方法的系统，包括序列化任务输入模块、索引器、GAN模型和序列化任务输出模块，所述的GAN模型包括生成器和判别器，所述的生成器中包括记忆回放模块和重要参数保护模块，重要参数保护模块用于保护重要参数防止其在后续学习中补覆盖，记忆回放模块通过混合新任务和部分旧任务样本对GAN持续学习系统进行联合训练，从而巩固旧任务，索引器用于随时间次序为任务创建索引号；所述的序列化任务输入模块的输出端与索引器的输入端相连，索引器的输出端与GAN模型的输入端相连，GAN模型的输出端与序列化任务输出模块的输入端连。
其中，索引器为随时间依次到来的任务创建索引号，每个任务的索引号具有唯一性。索引器的产生主要基于以下三个原因。首先，在现实场景中任务的到来是具有时序性的，因此任务对应的索引号可以用来区分不同时段的任务。其次，任务具有时效性，即过去任务的数据往往不可再次得到，而新任务的数据很快会覆盖掉过去的数据，但是任务的索引号是可以保留的，因此索引器的另一个功能就是保留过去任务的身份信息。最后，当过去任务需要被再次执行时，可以将任务的索引号送入GAN持续学习系统，由于GAN持续学习系统已经具备持续学习的能力，所以当再次遇到过去某个任务的索引号时，便会激发系统关于该任务的记忆，从而达到实现复现该任务的目的。索引的形式多种多样，只要能区分不同任务即可。最简单的形式是One-hot向量，如任务1(0,…,1)，任务2(0,…,1,0)，任务n(0,..1,..0)。
重要参数保护模块是模拟人类突触可塑性机制创建的。人类大脑海马区中突触的强度在接受新信息时一部分会被增强，一部分会被减弱。被增强的突触可以强化信息的存储，被减弱的突触可以为后续信息的学习提供空间。重要参数保护模块模拟突触可塑性计算神经网络中参数的重要性，并保护重要参数防止其在后续学习中被覆盖。具体工作流程如下：
步骤1：当学习完一个任务后，其首先计算GAN的生成器网络中每个参数的重要性，参数重要性的衡量方式采用弹性权重巩固算法(Elastic Weight Consolidation,EWC)或记忆感知突触算法(Memory Aware Synapses,MAS)，分别如公式(1)和(2)所示：
Figure BDA0002739607070000081
Figure BDA0002739607070000091
其中，IEWC为EWC算法计算得到的参数重要性，G代表生成器，θ代表生成器中的参数，z代表生成器的输入即随机噪声，Pz是关于z的先验分布，
Figure BDA0002739607070000094
代表z从Pz中采样。IMAS为MAS算法计算得到的参数重要性，l2为L2范数。
注意，当IEWC或IMAS为负数时，将该值重新设置为0以防止其抵抗新任务的学习，所以最终的参数重要性为公式(3)：
I＝max(0,IEWC/IMAS) (3)
其中，I为最终的参数重要性，max指取最大值。
步骤2：在得到参数重要性后，重要参数保护模块需要在学习新任务时保护重要性大的参数防止其被新任务完全覆盖掉，同时其允许重要性小的参数的更新以便继续学习新任务。其保护重要参数的方式如公式(4)，在原有新任务的目标函数的基础上，根据参数的重要性，对重要参数的值的改变施加一定的惩罚。
Figure BDA0002739607070000092
其中，L为原有新任务的目标函数，Lnew为增加了重要参数保护模块的新任务的目标函数，λ代表当前任务对新任务的重要性，θ代表当前任务的生成器网络中的参数，θ′代表学习新任务后的生成器网络中的参数。argminθ′Lnew指使得Lnew取得最小值的θ′。
记忆回放模块模拟海马区经验回放机制。海马区经验回放是指，人类在睡眠期间，海马区会回放过的的知识，激活相应的突触来增强记忆。记忆回放模块通过混合新任务和部分旧任务的样本对GAN持续学习系统进行联合训练，从而巩固旧任务。其具体流程：
步骤1：由于旧任务的真实数据已经不可得，首先利用生成器生成部分旧任务的样本(伪样本)，即将过去任务的索引送入GAN持续学习系统，如公式(5)所示：
Figure BDA0002739607070000093
其中，Spseudo(1,…,m)为生成的旧任务的伪样本，m为过去任务的数量，i代表一个旧任务，G为生成器，z为随机噪声，tagi为过去任务i的索引。
步骤2：将旧任务的伪样本与新任务的样本混合，如公式(6)，之后用混合样本对持续学习GAN系统进行联合训练，直到新旧任务的性能都满足要求，如公式(6)所示：
S(m+1)＝{Spseudo(1,…,m),Strue(m+1)} (6)
其中，Strue(m+1)为新任务m+1的真实样本，S(m+1)为新旧任务的混合样本。
如图1所示，本发明所述的一种基于记忆巩固机制与GAN模型的序列化任务完成方法，包括以下步骤：
第一步，序列化任务的获取：获得待进行处理的序列化任务。
第二步，设定索引器并生成任务索引：对索引器进行设定，将序列化任务输入索引器生成任务索引。对索引器进行设定中索引器为One-hot向量，其形式为：任务1(0,…,1)，任务2(0,…,1,0)，任务n(0,..1,..0)。
第三步，利用GAN模型进行任务训练：使用GAN模型对建立任务索引号后的任务进行训练。其具体步骤如下：
(1)将序列化任务输入GAN模型。
(2)利用GAN模型的生成器对建立任务索引号后的任务一进行训练，对任务一进行重要参数的保护，GAN模型的生成器生成任务一的伪样本。
(3)利用GAN模型的生成器对建立任务索引号后的任务二进行训练，对任务二进行重要参数的保护，GAN模型的生成器生成任务二的伪样本。
(4)利用GAN模型的生成器对建立任务索引号后的任务n进行训练，对任务n进行重要参数的保护，GAN模型的生成器生成任务n的伪样本。
以上进行重要参数的保护为计算GAN模型的生成器中每个参数的重要性，其包括以下步骤：
首先，设定GAN模型的生成器中每个参数的衡量方式采用EWC方式或MAS方式，其表达式如下：
Figure BDA0002739607070000111
Figure BDA0002739607070000112
其中，IEWC为EWC方式计算得到的参数重要性，G代表生成器，θ代表生成器中的参数，z代表生成器的输入即随机噪声，Pz是关于z的先验分布，
Figure BDA0002739607070000115
代表z从Pz中采样；
IMAS为MAS算法计算得到的参数重要性，l2为L2范数；
其次，若计算IEWC或IMAS为负数时，将此负值重新设置为0以防止其抵抗新任务的学习，并将表达式修改为以下形式：
I＝max(0,IEWC/IMAS)
其中，I为最终的参数重要性，max指取最大值；
最后，基于学习新任务时保护重要性大的参数防止其被新任务完全覆盖掉、其允许重要性小的参数的更新以便继续学习新任务的原则，将保护重要参数的方式设定为以下表达式：
Figure BDA0002739607070000113
其中，L为原有新任务的目标函数，Lnew为增加了重要参数保护模块的新任务的目标函数，λ代表当前任务对新任务的重要性，θ代表当前任务的生成器网络中的参数，θ′代表学习新任务后的生成器网络中的参数，argminθ′Lnew指使得Lnew取得最小值的θ′。
第四步，进行伪样本的联合训练：利用记忆回放方式生成任务一的伪样本，利用GAN模型对建立任务索引号后的任务二和任务一的伪样本进行训练，训练中保护任务一的参数重要性。其具体步骤如下：
(1)利用GAN模型的生成器生成的伪样本及其原样本索引，送入GAN模型，其表达式如下：
Figure BDA0002739607070000114
其中，Spseudo(1,…,m)为生成的旧任务的伪样本，m为过去任务的数量，i代表一个旧任务，G为生成器，z为随机噪声，tagi为过去任务i的索引；
(2)将旧任务的伪样本与新任务的样本混合，其表达式如下：
S(m+1)＝{Spseudo(1,…,m),Strue(m+1)}，
其中，Strue(m+1)为新任务m+1的真实样本，S(m+1)为新旧任务的混合样本；
(3)用混合样本对持续学习GAN模型进行联合训练，直到新旧任务的性能都满足设定要求。
第五步，新序列化任务的完成：获取新的序列化任务，重复上述第一至第五步骤，完成新的序列化任务。
在此，作为本发明的第一种实施方式，其为图像连续生成任务时，神经网络在训练过程中往往面临数据量不足的情况，数据量不足会导致网络无法充分学习到数据的特征，造成模型过拟合问题。解决数据量不足的一个方法是扩充数据集，其中用GAN生成数据集是一种有效而简便的方法。我们将GAN持续学习系统应用于图像生成，检测其是否具有连续生成多类别图像的能力。实验中，采用MNIST数据集，MNIST数据集包含手写体数字0，1，2，3，4，5，6，7，8和9。我们将其分为两组，第一组是0-4，第二组是5-9。任务1是生成第一组数字，任务2是生成第二组数字。具体步骤如下：
步骤1：索引器为第一组数字0-4的训练图片创建索引号；
步骤2：将这些图片送入持续学习GAN系统进行生成训练；
步骤3：重要参数保护模块计算生成第一组数字0-4的参数重要性，并存储下来；
步骤4：索引器为第二组数字5-9的训练图片创建索引号；
步骤5：记忆回放模块生成部分第一组数字0-4的伪样本；
步骤6：记忆回放模块混合第一组数字0-4的伪样本和第二组数字5-9的样本；
步骤7：用混合的样本训练持续学习GAN系统，训练过程保护步骤三得到的重要参数。
结果如图2所示，可以看出，普通的GAN发生了灾难性遗忘，即在学习完第二个任务后忘记了如何生成第一组数字。而持续学习GAN系统可以在学习任务2后，依旧保留生成任务1的能力。
作为本发明的第二种实施方式，序列化任务为连续3D打印任务。3D打印即快速成型技术的一种，又称增材制造，它是一种以数字模型文件为基础，运用粉末状金属或塑料等可粘合材料，通过逐层打印的方式来构造物体的技术。我们将持续学习GAN模型应用于3D打印，检测其是否具备连续3D打印的能力。任务1是3D打印椅子，任务2是3D打印花瓶。具体步骤如下：
步骤1：索引器为椅子的训练图片创建索引号；
步骤2：将这些图片送入持续学习GAN系统进行生成训练；
步骤3：重要参数保护模块计算生成椅子的参数重要性，并存储下来；
步骤4：索引器为花瓶的训练图片创建索引号；
步骤5：记忆回放模块生成部分椅子的伪样本；
步骤6：记忆回放模块混合椅子的伪样本和花瓶的样本；
步骤7：用混合的样本训练持续学习GAN系统，训练过程保护步骤三得到的重要参数。
实验结果如图3所示，普通GAN网络发生了灾难性遗忘，其在学会3D打印花瓶后，就忘记了如何3D打印椅子。而持续学习GAN系统可以在学习3D打印椅子的基础上，增量地学习3D打印花瓶。
作为本发明的第三种实施方式，序列化任务为连续音色转换任务，语音转换是一种在保留语言信息的同时转换指定话语的语言信息的技术。语音转换可以在很多地方得到应用，如文本到语音系统的说话人身份(男女，老少等)的转换等。目前不具备记忆功能的语音转换系统在学习一个音色转换后，往往会覆盖掉之前的音色转换信息，这样语音转换系统就无法增量地学习。我们将持续学习GAN系统应用到现在的语音转换系统，起名为多音色变换软件平台，如图4和图5所示。在多音色变换软件平台中，一种女(男)声可以连续地转换为多种不同类型的男(女)声。具体步骤如下：
步骤1：索引器为女声(源声)和第一种男声(目标声1)创建索引号；
步骤2：将源声和目标声1送入持续学习GAN系统进行音色转换训练；
步骤3：重要参数保护模块计算原声到目标声1的参数重要性，并存储下来；
步骤4：索引器为第二种男声(目标声2)创建索引号；
步骤5：记忆回放模块生成源声和目标声1；
步骤6：记忆回放模块混合生成源声和目标声1和目标声2；
步骤7：用混合的样本训练持续学习GAN系统学会将源声转换为目标声1和目标声2，训练过程保护步骤三得到的重要参数。
多音色变换软件平台实现了增量学习多种不同类型的音色转换。
作为本发明的第四种实施方式，序列化任务为智能小车工作任务，我们将持续学习GAN系统应用于物流小车的识别和分拣工作。不具备持续学习能力的物流小车无法在保持在当前物体的识别和分拣的基础上，随着种类增多的物体进行增量识别和分拣，极大地限制了其在现实场景中的应用。基于GAN持续学习系统的智能物流小车，可以增量地学习新类别的物体的识别和分拣工作。具体步骤如下：
步骤1：索引器为物流小车的识别和分拣工作1创建索引号；
步骤2：将工作1的训练数据送入持续学习GAN系统进行训练；
步骤3：重要参数保护模块计算工作1的参数重要性，并存储下来；
步骤4：索引器为物流小车的识别和分拣工作2创建索引号；
步骤5：记忆回放模块生成部分工作1的伪样本；
步骤6：记忆回放模块混合工作1的伪样本和工作2的样本；
步骤7：用混合的样本训练持续学习GAN系统，训练过程保护步骤3得到的重要参数。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，包括以下步骤：
11)序列化任务的获取：获得待进行处理的序列化任务；
12)设定索引器并生成任务索引：对索引器进行设定，将序列化任务输入索引器生成任务索引；
13)利用GAN模型进行任务训练：使用GAN模型对建立任务索引号后的任务进行训练；
14)进行伪样本的联合训练：利用记忆回放方式生成任务一的伪样本，利用GAN模型对建立任务索引号后的任务二和任务一的伪样本进行训练，训练中保护任务一的参数重要性；
15)新序列化任务的完成：获取新的序列化任务，重复上述11)-14)步骤，完成新的序列化任务。
2.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的对索引器进行设定中索引器为One-hot向量，其形式为：任务1(0，...，1)，任务2(0，...，1，0)，任务n(0，..1，..0)。
3.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的利用GAN模型进行任务训练包括以下步骤：
31)将序列化任务输入GAN模型；
32)利用GAN模型的生成器对建立任务索引号后的任务一进行训练，对任务一进行重要参数的保护，GAN模型的生成器生成任务一的伪样本；
33)利用GAN模型的生成器对建立任务索引号后的任务二进行训练，对任务二进行重要参数的保护，GAN模型的生成器生成任务二的伪样本；
34)利用GAN模型的生成器对建立任务索引号后的任务n进行训练，对任务n进行重要参数的保护，GAN模型的生成器生成任务n的伪样本。
4.根据权利要求3所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的进行重要参数的保护为计算GAN模型的生成器中每个参数的重要性，其包括以下步骤：
41)设定GAN模型的生成器中每个参数的衡量方式采用EWC方式或MAS方式，其表达式如下：
Figure FDA0002739607060000021
Figure FDA0002739607060000022
其中，IEWC为EWC方式计算得到的参数重要性，G代表生成器，θ代表生成器中的参数，z代表生成器的输入即随机噪声，Pz是关于z的先验分布，
Figure FDA0002739607060000025
代表z从Pz中采样；
IMAS为MAS算法计算得到的参数重要性，l2为L2范数；
42)若计算IEWC或IMAS为负数时，将此负值重新设置为0以防止其抵抗新任务的学习，并将表达式修改为以下形式：
I＝max(0，IEWC/IMAS)
其中，I为最终的参数重要性，max指取最大值；
43)基于学习新任务时保护重要性大的参数防止其被新任务完全覆盖掉、其允许重要性小的参数的更新以便继续学习新任务的原则，将保护重要参数的方式设定为以下表达式：
Figure FDA0002739607060000023
其中，L为原有新任务的目标函数，Lnew为增加了重要参数保护模块的新任务的目标函数，λ代表当前任务对新任务的重要性，θ代表当前任务的生成器网络中的参数，θ′代表学习新任务后的生成器网络中的参数，argminθ，Lnew指使得Lnew取得最小值的θ′。
5.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的进行伪样本的联合训练包括以下步骤：
51)利用GAN模型的生成器生成的伪样本及其原样本索引，送入GAN模型，其表达式如下：
Figure FDA0002739607060000024
其中，Spseudo(1，...，m)为生成的旧任务的伪样本，m为过去任务的数量，i代表一个旧任务，G为生成器，z为随机噪声，tagi为过去任务i的索引；
52)将旧任务的伪样本与新任务的样本混合，其表达式如下：
S(m+1)＝{Spseudo(1，...，m)，Strue(m+1)}，
其中，Strue(m+1)为新任务m+1的真实样本，S(m+1)为新旧任务的混合样本；
53)用混合样本对持续学习GAN模型进行联合训练，直到新旧任务的性能都满足设定要求。
6.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的序列化任务为图像连续生成任务，其具体包括以下步骤：
61)获取图像连接生成任务，并将图像连接生成任务利用索引器生成任务索引；
62)将图像连接生成任务输入GAN模型进行训练，GAN模型中的重要保护模块计算图像连接生成任务一的参数重要性，并存储下来；
63)GAN模型中的重要保护模块计算图像连接生成任务二的参数重要性，并存储下来；
64)利用记忆回放方式生成图像连接生成任务一的伪样本，GAN模型对建立任务索引号后的任务二和任务一的伪样本进行联合训练；
65)获取待处理的图像连续生成任务，利用61)至64)步骤进行新的图像连接生成。
7.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的序列化任务为连续3D打印任务，其具体包括以下步骤：
71)获取连续3D打印任务，其中任务一为3D打印椅子、任务二为3D打印花瓶；
72)利用索引器对任务一的椅子图片作为训练图片建立索引，同时为3D打印花瓶作为图片建立索引；
73)将任务一输入GAN模型进行训练，GAN模型中的重要保护模块计算生成椅子的参数重要性，并存储下来；
74)利用记忆回放方式生成任务一的椅子图片的伪样本，GAN模型对3D打印花瓶的任务二和任务一的伪样本进行联合训练；
75)获取待处理的连续3D打印任务，根据获得信息是椅子或花瓶，进行椅子或花瓶的打印。
8.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的序列化任务为连续音色转换任务，其包括以下步骤：
81)获取连续音色转换任务，其中任务一为女声源声、任务二为男声源声；
82)利用索引器对任务一的女声源声建立索引，同时为任务二的男声源声建立索引；
83)将任务一的女声源声输入GAN模型进行训练，GAN模型中的重要保护模块计算生成女声源声的参数重要性，并存储下来；
84)利用记忆回放方式生成任务一的女声源声的伪样本，GAN模型对任务二的男声源声和任务一的伪样本进行联合训练；
85)获取待处理的连续音色转换任务，根据源声将其转换为目标声1或目标声2。
9.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法，其特征在于，所述的序列化任务为智能小车工作任务，其包括以下步骤：
91)获取智能小车工作任务，其中任务一为识别分拣工作一、任务二为识别分拣工作二；
92)利用索引器对任务一的识别分拣工作一建立索引，同时为任务二的识别分拣工作二建立索引；
93)将任务一的识别分拣工作一输入GAN模型进行训练，GAN模型中的重要保护模块计算生成识别分拣工作一的参数重要性，并存储下来；
94)利用记忆回放方式生成任务一的识别分拣工作一的伪样本，GAN模型对任务二的识别分拣工作二和任务一的伪样本进行联合训练；
95)获取待处理的智能小车工作任务，根据其任务将其执行识别分拣工作一或识别分拣工作二。
10.根据权利要求1所述的基于记忆巩固机制与GAN模型的序列化任务完成方法的系统，其特征在于：包括序列化任务输入模块、索引器、GAN模型和序列化任务输出模块，所述的GAN模型包括生成器和判别器，所述的生成器中包括记忆回放模块和重要参数保护模块，重要参数保护模块用于保护重要参数防止其在后续学习中补覆盖，记忆回放模块通过混合新任务和部分旧任务样本对GAN持续学习系统进行联合训练，从而巩固旧任务，索引器用于随时间次序为任务创建索引号；所述的序列化任务输入模块的输出端与索引器的输入端相连，索引器的输出端与GAN模型的输入端相连，GAN模型的输出端与序列化任务输出模块的输入端连。
CN202011145522.2A 2020-10-23 2020-10-23 基于记忆巩固机制与gan模型的序列化任务完成方法及系统 Pending CN112257785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011145522.2A CN112257785A (zh) 2020-10-23 2020-10-23 基于记忆巩固机制与gan模型的序列化任务完成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011145522.2A CN112257785A (zh) 2020-10-23 2020-10-23 基于记忆巩固机制与gan模型的序列化任务完成方法及系统

Publications (1)

Publication Number Publication Date
CN112257785A true CN112257785A (zh) 2021-01-22

Family

ID=74264844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011145522.2A Pending CN112257785A (zh) 2020-10-23 2020-10-23 基于记忆巩固机制与gan模型的序列化任务完成方法及系统

Country Status (1)

Country Link
CN (1) CN112257785A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN117340280A (zh) * 2023-12-05 2024-01-05 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804715A (zh) * 2018-07-09 2018-11-13 北京邮电大学 融合视听感知的多任务协同识别方法及系统
CN108805224A (zh) * 2018-05-28 2018-11-13 中国人民解放军国防科技大学 具备可持续学习能力的多符号手绘草图识别方法及装置
CN109657791A (zh) * 2018-12-14 2019-04-19 中南大学 一种基于大脑神经突触记忆机制的面向开放世界连续学习方法
CN110705689A (zh) * 2019-09-11 2020-01-17 清华大学 可区分特征的持续学习方法及装置
CN110705690A (zh) * 2019-09-23 2020-01-17 清华大学 基于生成模型和元学习优化方法的连续学习方法及系统
CN111191709A (zh) * 2019-12-25 2020-05-22 清华大学 深度神经网络的持续学习框架及持续学习方法
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
CN111382869A (zh) * 2020-03-06 2020-07-07 深圳深知未来智能有限公司 一种基于深度神经网络的连续学习统一框架
US20200242475A1 (en) * 2019-01-28 2020-07-30 StradVision, Inc. Method and device for on-device continual learning of a neural network which analyzes input data, and method and device for testing the neural network to be used for smartphones, drones, vessels, or military purpose
CN111767992A (zh) * 2020-06-29 2020-10-13 西安宏规电子科技有限公司 一种基于卷积神经网络的双目标增量学习方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805224A (zh) * 2018-05-28 2018-11-13 中国人民解放军国防科技大学 具备可持续学习能力的多符号手绘草图识别方法及装置
CN108804715A (zh) * 2018-07-09 2018-11-13 北京邮电大学 融合视听感知的多任务协同识别方法及系统
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
CN109657791A (zh) * 2018-12-14 2019-04-19 中南大学 一种基于大脑神经突触记忆机制的面向开放世界连续学习方法
US20200242475A1 (en) * 2019-01-28 2020-07-30 StradVision, Inc. Method and device for on-device continual learning of a neural network which analyzes input data, and method and device for testing the neural network to be used for smartphones, drones, vessels, or military purpose
CN110705689A (zh) * 2019-09-11 2020-01-17 清华大学 可区分特征的持续学习方法及装置
CN110705690A (zh) * 2019-09-23 2020-01-17 清华大学 基于生成模型和元学习优化方法的连续学习方法及系统
CN111191709A (zh) * 2019-12-25 2020-05-22 清华大学 深度神经网络的持续学习框架及持续学习方法
CN111382869A (zh) * 2020-03-06 2020-07-07 深圳深知未来智能有限公司 一种基于深度神经网络的连续学习统一框架
CN111767992A (zh) * 2020-06-29 2020-10-13 西安宏规电子科技有限公司 一种基于卷积神经网络的双目标增量学习方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LESORT, T等: "Generative Models from the perspective of Continual Learning", 《INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, pages 1 - 8 *
YIFAN, CHANG: "Continual learning in an easy-to-hard manner", 《APPLIED INTELLIGENCE》, pages 20626 - 20646 *
李竺强等: "联合连续学习的残差网络遥感影像机场目标检测方法", 联合连续学习的残差网络遥感影像机场目标检测方法, vol. 40, no. 16, pages 179 - 191 *
莫建文等: "基于分类特征约束变分伪样本生成器的类增量学习", 《控制与决策》, vol. 36, no. 10, pages 2475 - 2482 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN117340280A (zh) * 2023-12-05 2024-01-05 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法
CN117340280B (zh) * 2023-12-05 2024-02-13 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法

Similar Documents

Publication Publication Date Title
Elgendy Deep learning for vision systems
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
KR102166105B1 (ko) 신경망 및 신경망 트레이닝의 방법
CN109919183B (zh) 一种基于小样本的图像识别方法、装置、设备及存储介质
US20160283842A1 (en) Neural network and method of neural network training
CN112580782B (zh) 基于通道增强的双注意力生成对抗网络及图像生成方法
KR20190016539A (ko) 신경망 및 신경망 트레이닝 방법
TWI655587B (zh) 神經網路及神經網路訓練的方法
CN112257785A (zh) 基于记忆巩固机制与gan模型的序列化任务完成方法及系统
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN110705490B (zh) 视觉情感识别方法
CN110728182B (zh) 基于ai面试系统的面试方法、装置和计算机设备
CN110084250B (zh) 一种图像描述的方法及系统
CN114418030A (zh) 图像分类方法、图像分类模型的训练方法及装置
CN111242948A (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN110188791B (zh) 基于自动估计的视觉情感标签分布预测方法
CN115374304A (zh) 数据处理方法、电子设备、存储介质及计算机程序产品
CN113032535A (zh) 辅助视障人士视觉问答方法、装置、计算设备及存储介质
CN114494543A (zh) 动作生成方法及相关装置、电子设备和存储介质
CN118038238A (zh) 一种视觉问答方法、装置及电子设备和存储介质
CN112330780A (zh) 一种生成目标角色的动画表情的方法和系统
CN112287662A (zh) 基于多个机器学习模型的自然语言处理方法、装置和设备
CN113096206B (zh) 基于注意力机制网络的人脸生成方法、装置、设备及介质
Bangyal et al. Analysis of learning rate using CPN algorithm for hand written character recognition application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240913