CN113989405A - 一种基于小样本持续学习的图像生成方法 - Google Patents
一种基于小样本持续学习的图像生成方法 Download PDFInfo
- Publication number
- CN113989405A CN113989405A CN202111609360.8A CN202111609360A CN113989405A CN 113989405 A CN113989405 A CN 113989405A CN 202111609360 A CN202111609360 A CN 202111609360A CN 113989405 A CN113989405 A CN 113989405A
- Authority
- CN
- China
- Prior art keywords
- semantic
- layer
- feature
- graph
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 96
- 230000006870 function Effects 0.000 claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 26
- 230000007704 transition Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于小样本持续学习的图像生成方法,包括获得包括真实图像和语义标注图的预训练数据集和持续学习数据集,通过生成式对抗网络构建训练系统,通过引导采样算法基于语义标注图获得生成器的语义调节参数,通过总损失函数对训练系统进行训练确定模型参数,以得到图像生成模型,基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数,以得到新语义训练系统,利用总损失函数训练所述新语义训练系统,训练结束时,得到新语义图像生成模型,以完成所述图像生成模型的小样本持续学习。该方法能够使用小样本训练数据持续学习新的语义。
Description
技术领域
本发明涉及深度学习图像处理技术领域,特别是涉及一种基于小样本持续学习的图像生成方法。
背景技术
近年来,生成对抗神经网络(GAN,Generative Adversarial Networks )在生成逼真图像领域取得了巨大的进展,其从像素级别图像中创造人类出无法分辨出真假的、内容丰富的高质量图像。此外,带有条件的图像生成方法能够使得生成的结果更加可控、更加满足用户的需求,例如:基于文字描述生成图像、基于骨骼关键点生成人体图像等。
基于语义标注图生成图像的方法中,语义标注图内的每个像素点都被赋予一种特定的语义,从而可以描述出一张图像的语义内容和布局规划,其与人类的手绘涂鸦形式相似。因此,语义标注图生成图像的技术在人和人工智能合作绘画创作领域有着重要应用。
现有的基于语义标注图的方法都是基于大规模成对的数据训练:一方面,这种对大数据的依赖大大限制这类图像生成技术的发展,其原因主要在于对图像进行像素级别的标注极其耗时耗力;另一方面,现有方法都需要在训练模型之前将所有训练数据准备好,模型一旦训练完成就不可以继续学习新的数据,这种限制与现实应用的实际情况相冲突。
在现实应用中,模型往往需要不断学习新的数据来获得新的知识,例如:模型在学习了如何生成天空、草地语义之后,可以通过新的数据来学习如何生成汽车、火车等新的语义。模型只有具备持续学习新知识的能力才能适应现实应用中不断增长变化的新需求。
小样本学习和持续学习是科学和工程领域中存在的两个较为重要的任务。小样本学习的目标是实现从少量训练样本中学习一个新的任务。
持续学习,又称终身学习或增量学习,其目标在于使一个模型不断从数据流中学习新知识,但要同时保留以前学习的知识,即在持续学习新知识的同时不能对旧知识发生灾难性遗忘,从而提升学习增量任务的能力。
常规的持续学习方法在学习新任务时对新任务的训练数据不做限制,即可以通过大规模数据集来学习一个新任务。然而,针对特定任务构建大规模数据集会耗费极大的人工成本和时间成本。在持续学习的基础上,只使用少数训练样本学习新任务的问题被称为小样本持续学习。
可见,小样本学习和持续学习的目标很难同时实现,小样本学习和持续学习的目标同时实现可能会影响对整个任务序列的处理性能。相较于一般的持续学习问题需要解决灾难性遗忘而言,持续小样本学习还需要解决:如何通过少量样本学习到新任务的泛化性特征、如何避免模型对新任务的少量样本过拟合。
发明内容
本发明提供了一种基于小样本持续学习的图像生成方法,该方法能够小样本持续学习新的语义。
一种基于小样本持续学习的图像生成方法,包括:
S1:获得预训练数据集和持续学习数据集,所述预训练数据集和所述持续学习数据集的样本均由真实图像和所述真实图像对应的语义标注图构成;与所述预训练数据集相比,所述持续学习数据集包括新语义;
S2:基于生成式对抗网络构建训练系统,将所述语义标注图和随机噪声输入至所述训练系统,所述训练系统包括生成器和判别器,所述生成器由第一层卷积层和多层残差网络模块构成,每个所述残差网络模块包括规范化层、激活层和卷积层,基于所述语义标注图采用引导采样算法获取所述规范化层和所述卷积层的语义调节参数,所述语义调节参数与所述语义标注图各个像素点语义相匹配;
将所述语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图,将所述第一特征图和所述语义标注图输入至第一层残差网络模块的规范化层,所述规范化层对第一特征图进行规范化操作,然后通过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应调节得到第二特征图,将所述第二特征图输入至所述激活层得到第三特征图,通过所述卷积层语义调节参数对所述卷积层进行调节,调节后的卷积层对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图,将所述第一特征图与最终特征图残差连接得到第一层残差网络模块的输出特征图,将所述输出特征图和所述语义标注图输入至下一层残差网络模块,通过逐层残差网络模块处理得到最终输出特征图,将所述最终输出特征图输入到tanh函数激活层得到生成图像;
S3:构建所述训练系统的总损失函数,所述总损失函数包括对抗损失函数、感知损失函数和一致性损失函数;
通过所述生成图像判别数据、真实图像判别数据和语义标注图的交叉熵函数构建对抗损失函数;
利用LabelMix增强策略混合真实图像和生成图像,并将混合后的结构传入判别
器,让判别器判断混合结果每个像素点是属于真实图像还是生成图像。具体来说,利用
LabelMix增强策略,基于二元标签图将所述生成图像和真实图像混合得到第一混合图像数
据,将第一混合图像数据输入至所述判别器得到第一判别数据,将所述生成图像和真实图
像分别输入至所述判别器得到第二判别数据和第三判别数据,利用LabelMix增强策略,基
于所述二元标签图将所述第二判别数据和第三判别数据混合得到第二混合图像数据,通过
第一判别数据和第二混合图像数据差值的范数构建一致性损失函数;
S4:将预训练数据集输入至训练系统,利用所述总损失函数进行训练,训练结束时,确定参数的生成器组成图像生成模型;
基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数,以得到新语义训练系统,利用所述总损失函数训练所述新语义训练系统,训练结束时,得到新语义图像生成模型,以完成所述图像生成模型的小样本持续学习。
在所述的基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数之前,对所述预训练数据集和持续学习数据集分别输入至所述图像生成模型的判别器中得到预训练数据语义特征集和持续学习数据语义特征集,采用推土机距离算法得到所述预训练数据语义特征集和所述持续学习数据语义特征集的语义相似度,从所述预训练数据语义特征集中筛选出满足语义相似度阈值的特征语义,将所述特征语义对应的多个语义调节参数进行线性组合作为所述新语义训练系统的初始调节参数。
基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数,包括:
每个初始语义调节参数包括多个向量,每个向量用于调节一种语义,基于所述语义标注图中的各个像素点语义采用引导采样算法构建规范化层和卷积层的语义调节参数,所述引导采样算法为从所述初始调节参数中筛选出与所述像素点语义相匹配的一个语义对应的向量作为语义调节参数的向量。
所述的规范化层通过规范化层调节参数对输入的规范化操作后的第一特征图进行语义适应调节,所述规范化层调节参数包括规范化层最终语义放缩参数和规范化层最终语义偏移参数。
其中,为输入第层规范化网络的特征图或所述的语义标注
图,为输入第l层的第c通道位于i,j位置的第一特征图素点, i和j分别为所述第一特
征图的宽和高的索引, 和 分别为第l层输入的特征图在第通道上的均值和标
准差,为第l层的规范化层最终语义放缩参数,为第层的规范化层最终
语义偏移参数,,,为生成器的残差网络模块层数,为第层的通道数, , , 为所述语义标注图或第层输入的特征
图的高度,为所述语义标注图或第层输入的特征图的宽度。
为了减少计算量,卷积层网络采用深度可分离结构,其包含一个深度卷积层、和逐点卷积层。通过所述卷积层语义调节参数对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图,包括:
所述卷积层包括深度卷积层和逐点卷积层,通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器,以完成卷积层的调节,将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点,多个过渡特征像素点构建过渡特征图,将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
其中,为调节第l层的深度卷积层过滤器的最终语义放缩参数,为调
节第l层的深度卷积层过滤器的最终语义偏移参数,调节第l层的深度卷积层过滤
器的最终语义偏置调节参数,为第l层的深度卷积层初始语义偏
置参数,为第l层的深度卷积层最终偏置参数,为第l层的深度卷积层初始过滤器,其中,分别代表过滤器的
宽和高,为第l层的深度卷积层初始过滤器的均值,为第l层的深度卷积
层初始过滤器的标准差,,为一个五维张量,张量每
一维度的大小分别为。
与现有技术相比,本发明的有益效果为:
(1)本发明基于输入包含新语义小样本数据的语义标注图来调节规范化层和卷积层语义调节参数,以达到持续学习新的语义的目的,由于其他参数不变从而能够快速准确的学习新的语义,从而节省了训练资源,适用于实际图像语义生成的应用场景,为用户提供灵活的训练方式。
(2)利用本发明提供的判别器对包含新语义的小样本数据和已经学习过的样本数据分别提取相应的语义特征集,并采用推土机距离算法,对所述语义特征集进行比较,得到与所述小样本数据的新语义相近的已学习过的语义,并提取所述已学过语义对应的调节参数作为再次训练的初始参数,从而提高了运算效率。
附图说明
图1为本发明具体实施方式提供的基于小样本持续学习的图像生成方法的流程示意图;
图2为本发明具体实施方式提供的预训练阶段、持续学习阶段的示意图;
图3为本发明具体实施方式提供的小样本持续学习阶段学习新语义生成任务的示意图。
具体实施方式
本发提供了一种基于小样本持续学习的图像生成方法,如图1所示,具体步骤为:
S1:数据集构建,构建预训练数据集、持续学习数据集:
预训练阶段,如图2的训练阶段1所示,预训练数据集为大规模数据集,持续学
习数据集为小样本数据集。预训练数据集和持续学习数据集中的样本均由真实图像和
其语义标注图组成,预训练数据集中的每种语义对应的图像数据量较多,持续学习数据集
包括预训练数据集中没有的语义,将持续学习数据集分为个子任务数据集,每个子任务数据集包含在
中未出现过的语义。
S2:构建图像生成模型中的生成器模型,基于生成式对抗网络构建训练系统,将所
述语义标注图和随机噪声输入至所述训练系统,所述训练系统包括生成器和判别器
,预训练数据集的真实图像,预训练数据集的语义标注图,随
机噪声为,其中,为实数,表示语义标注图中的语义类别集,为图像的宽度和高度,所述图像为本发明所提及的语义标注图、真实图像或特征
图,生成图像:。
其中,生成器由第一层卷积层和多层残差网络模块构成,每个残差网络模块包
括规范化层、卷积层和激活层,第层的初始参数包括第层的规范化层初始语义放缩
(scale)参数和初始语义偏移(shift)参数,第层的卷积层初始参数包
括第l层的卷积层初始放缩参数、初始偏移参数和初始偏置(bias)参数,第层的规范化层和卷积层的每个初始参数由个大小为的向量组成,其
中,为生成器的残差网络模块层数,为第层的通道。
每个初始调节参数包含个大小为的向量,每个大小为的向量对应一
种语义,基于所述语义标注图中的各个像素点语义,为语义标注图中的语
义类别集,比如天空,道路,树木,采用引导采样算法构建语义调节参数,引导采样算法为从
初始语义调节参数中筛选出与所述像素点语义相匹配的一个语义对象的向量作为语义调
节参数的向量,以完成所述规范化层和卷积层的语义调节。
将语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图,将第一特征
图和语义标注图输入至第一层残差网络模块的规范化层,规范化层对第一特征图进行规范
化操作,然后通过规范化层语义调节参数对规范化操作后的第一特征图进行语义适应操作
得到第二特征图,所述语义适应操作为:第二特征图的特征像素点为:
其中,为输入第层规范化网络的特征图或所述的语义标注
图,为输入第层的第通道位于,位置的第一特征图素点,,分别为所述第一
特征图的宽和高的索引,,分别为第层输入特征图在第通道上的均值和标准差,为第层的规范化层最终语义放缩参数,为第层的规范化层最终语义偏
移参数,,,为生成器的残差网络模块层数,为第层网络
的通道数, , 为所述语义标注图或第层输入的特征
图的高度,为所述语义标注图或第层输入的特征图的宽度。
所述多个特征像素点构建第二特征图,将所述第二特征图输入至所述激活层得到第三特征图,将所述第三特征图输入至调节后的卷积层,为了减少计算量,卷积层网络采用深度可分离结构,卷积层包括深度卷积层和逐点卷积层,通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器,将所述最终过滤器与第三特征图的特征块(patches)进行乘加运算得到过渡特征像素点,多个过渡特征像素点构建过渡特征图,将所述过渡特征图输入至逐点卷积层得到最终特征图。
其中,为调节第层的深度卷积层过滤器的最终语义放缩参数,为
调节第l层的深度卷积层过滤器的最终语义偏移参数,调节第层的深度卷积层过
滤器的最终语义偏置调节参数,为第层的深度卷积层初始语义
偏置参数,为第层的深度卷积层最终偏置参数,为第层的深度卷积层初始过滤器,
所述卷积层包括深度卷积层和逐点卷积层,通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器,以完成卷积层的调节,将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点,多个过渡特征像素点构建过渡特征图,将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
将第一特征图与最终特征图残差连接得到第一层残差网络模块的输出特征图,将所述输出特征图和所述语义标注图输入至下一层残差网络模块,通过逐层残差网络模块处理得到最终输出特征图,将所述最终输出特征图输入到tanh函数激活层得到生成图像。
综上,本专利提出的语义适应的规范化层和卷积层有以下三点优势:
第一,根据语义标注图来实现像素级别的调节可以不用切换不同的任务模块,从而可以同时生成具有多种语义的丰富内容图像。
第二,用于参数化语义信息的调节参数池与其余部分网络是分离的。因此,在学习新语义任务时,只需要学习新的调节参数,无需改变其余网络参数,有效避免了持续学习中常见的灾难性遗忘问题。
第三,本方法的结构有利于小样本持续学习。一方面,保持不变的基础网络部分已经从以往的训练数据中学习了通用的视觉知识,从而有利于学习新任务。另一方面,由于学习新任务时只需要训练少量的调节参数,即使只有少量训练数据,也能够有效拟合。
S3:构建图像生成模型中的判别器模型,判别器D采用U-Net结构,U-Net结构是图
像分割任务中的经典结构,包含一个编码器和解码器,已被证实在图像分割任务中具有优
秀表现。判别器D在判别图像的真假时,将判别任务看作一个中类别的图像分割任
务,代表预训练数据集的样本中包含的语义种类数目。向判别器D中输入图像,判别
器D判别图像中的每个像素点所属的语义,并将该信息反馈回生成器G。判别器的判别语义
种类会随着模型学习语义的数目的增加而增加。
判别器在判断真实图像时把真实图像中每个像素点所属的类别都判断出来,判别
器在判断生成图像时将生成图像中的每个像素点都判断为假,表示判别器判
别真实图像中高的索引为h,宽的索引为w的像素点是否为第种语义类别,为真实
图像和语义标注图的期望;表示判别器判断生成图像中高的索引为h,宽的索引为w的像素点为第类别,即判断该像素为假;指代语义标注图高
的索引为h,宽的索引为w的像素点的语义类别为n。
在训练生成器,判别器判断生成的图像中每个像素点属于哪一个类
别,帮助生成器生成语义特征更加精确的图像。指代语义标注图高的索引为,宽的
索引为的像素点的语义类别为;表示判别器判断生成图像中
高的索引为h,宽的索引为w的像素点是否为第种语义类别。
利用LabelMix增强策略混合真实图像和生成图像,并将混合后的结构传入判别
器,让判别器判断混合结果每个像素点是属于真实图像还是生成图像。具体来说,LabelMix
增强策略为:基于二元标签图()将所述生成图像和真实图像混合得到第一混合图像数
据;将第一混合图像数据输入至所述判别器得到第一判别数据,将所述生成图像和真实图
像分别输入至所述判别器得到第二判别数据和第三判别数据,再基于二元标签图将第二判
别数据和第三判别数据混合得到第二混合图像数据,通过第一判别数据和第二混合图像数
据差值的范数构建一致性损失函数;二元标签图是一张大小与语义标注图相同的图像,
图像中每个像素点值为“0”或“1”, 二元标签图像素点为1时,代表混合图像在该像素点采
用真实图像的像素值,二元标签图像素点为0时,代表混合图像在该像素点采用生成图像的
像素值。
S5持续学习,如图2所示,将持续学习数据集分为个子任务数据集,每个子任务数据集包括一种新的语义,比如公交车、轮船、木屋,基于
持续学习数据集子任务数据集的语义标注图采用引导采样算法重新确定所述生成器的语
义调节参数,以得到新语义训练系统,利用所述总损失函数训练所述新语义训练系统,训练
结束时,得到新语义图像生成模型,以完成所述图像生成模型的小样本持续学习。在进行持
续学习时,只需学习深度卷积层的过滤器和规范化层调整参数。
为了加速持续学习阶段的模型收敛,在学习新任务的时候,本发明使用已经学习过的相似类别的调节参数来初始化新语义的调节参数。假设感知相似的语义类别具有相近的调节参数,为了找出与新语义相似的已经学习过的语义,采用预训练数据集训练过的判别器提取新语义和旧语义的语义特征,具体步骤如下:
对所述预训练数据集和持续学习子任务数据集分别输入至所述图像生成模型的判别器中得到预训练数据中所有语义的特征集和持续学习子任务数据中新语义的特征集,采用挖土机距离算法(Earth Mover’s distance),从所述预训练数据语义特征集中筛选出满足语义相似度阈值的语义,将所述多个相似语义对应的语义调节参数进行线性组合作为新语义训练系统的初始调节参数。
其中,代表预训练数据中包含的某一种语义的语义特征集,为持续学习数
据中新语义的语义特征集,代表对语义特征集求均值,指代范数的平方,为代表对语义特征集求协方差,代表对矩阵的对角线元素求和,使用上式定
义的相似度,计算持续学习的新语义和预训练集中每一种语义的相似距离,语义相似度阈
值为与持续学习的新语义最相似的前20%的特征语义,使用相似语义对应的已经训练过的
语义调节参数的线性组合作为新语义训练的初始化调节参数。在小样本持续学习阶段依旧
使用预训练阶段使用的损失函数。
S6:测试,输入任意语义标注图,使用S5训练完成的新语义生成图像模型。
Claims (8)
1.一种基于小样本持续学习的图像生成方法,其特征在于,包括:
S1:获得预训练数据集和持续学习数据集,所述预训练数据集和持续学习数据集的样本均由真实图像和所述真实图像对应的语义标注图构成;与所述预训练数据集相比,所述持续学习数据集包括新语义;
S2:基于生成式对抗网络构建训练系统,将所述语义标注图和随机噪声输入至所述训练系统,所述训练系统包括生成器和判别器,所述生成器由第一层卷积层和多层残差网络模块构成,每个所述残差网络模块包括规范化层、激活层和卷积层,基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数,所述语义调节参数与所述语义标注图各个像素点语义相匹配;
将所述语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图,将所述第一特征图和所述语义标注图输入至第一层残差网络模块的规范化层,所述规范化层对第一特征图进行规范化操作,然后通过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应调节得到第二特征图,将所述第二特征图输入至所述激活层得到第三特征图,通过所述卷积层语义调节参数对卷积层进行调节,调节后的卷积层对所述第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图,将所述第一特征图与所述最终特征图残差连接得到第一层残差网络模块的输出特征图,将所述输出特征图和所述语义标注图输入至下一层残差网络模块,通过逐层残差网络模块处理得到最终输出特征图,将所述最终输出特征图输入到tanh函数激活层得到生成图像;
S3:构建所述训练系统的总损失函数,所述总损失函数包括对抗损失函数、感知损失函数和一致性损失函数;
通过所述生成图像判别数据、真实图像判别数据和语义标注图的交叉熵函数构建对抗损失函数;
利用LabelMix增强策略,基于二元标签图将所述生成图像和真实图像混合得到第一混
合图像数据,将所述第一混合图像数据输入至所述判别器得到第一判别数据,将所述生成
图像和真实图像分别输入至所述判别器得到第二判别数据和第三判别数据,利用LabelMix
增强策略,基于所述二元标签图将所述第二判别数据和所述第三判别数据混合得到第二混
合图像数据,通过所述第一判别数据和所述第二混合图像数据差值的范数构建一致性
损失函数;
S4:将预训练数据集输入至训练系统,利用所述总损失函数进行训练,训练结束时,确定参数的生成器组成图像生成模型;
基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数,以得到新语义训练系统,利用所述总损失函数训练所述新语义训练系统,训练结束时,得到新语义图像生成模型,以完成所述图像生成模型的小样本持续学习。
2.根据权利要求1所述的基于小样本持续学习的图像生成方法,其特征在于,在所述的基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数之前,对所述预训练数据集和持续学习数据集分别输入至所述图像生成模型的判别器中得到预训练数据语义特征集和持续学习数据语义特征集,采用推土机距离算法得到所述预训练数据语义特征集和所述持续学习数据语义特征集的语义相似度,从所述预训练数据语义特征集中筛选出满足语义相似度阈值的特征语义,将所述特征语义对应的多个语义调节参数进行线性组合作为所述新语义训练系统的初始调节参数。
3.根据权利要求1所述的基于小样本持续学习的图像生成方法,其特征在于,基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数,包括:
每个初始语义调节参数包括多个向量,每个向量用于调节一种语义,基于所述语义标注图中的各个像素点语义采用引导采样算法构建规范化层和卷积层的语义调节参数,所述引导采样算法为从所述初始调节参数中筛选出与所述像素点语义相匹配的一个语义对应的向量作为语义调节参数的向量。
4.根据权利要求3所述的基于小样本持续学习的图像生成方法,其特征在于,所述的规范化层通过规范化层调节参数对输入的规范化操作后的第一特征图进行语义适应调节,所述规范化层调节参数包括规范化层最终语义放缩参数和规范化层最终语义偏移参数。
5.根据权利要求4所述的基于小样本持续学习的图像生成方法,其特征在于,所述的通
过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应得到第二特征
图,所述第二特征图包括多个特征像素点,所述特征像素点为:
6.根据权利要求1所述的基于小样本持续学习的图像生成方法,其特征在于,所述的调节后的卷积层对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图,包括:
所述卷积层包括深度卷积层和逐点卷积层,通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器,以完成卷积层的调节,将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点,多个过渡特征像素点构建过渡特征图,将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111609360.8A CN113989405B (zh) | 2021-12-27 | 2021-12-27 | 一种基于小样本持续学习的图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111609360.8A CN113989405B (zh) | 2021-12-27 | 2021-12-27 | 一种基于小样本持续学习的图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113989405A true CN113989405A (zh) | 2022-01-28 |
CN113989405B CN113989405B (zh) | 2022-04-08 |
Family
ID=79734513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111609360.8A Active CN113989405B (zh) | 2021-12-27 | 2021-12-27 | 一种基于小样本持续学习的图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989405B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596637A (zh) * | 2022-03-23 | 2022-06-07 | 北京百度网讯科技有限公司 | 图像样本数据增强训练方法、装置及电子设备 |
CN115409694A (zh) * | 2022-11-03 | 2022-11-29 | 季华实验室 | 语义引导的缺陷图像生成方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111335A (zh) * | 2019-05-08 | 2019-08-09 | 南昌航空大学 | 一种自适应对抗学习的城市交通场景语义分割方法及系统 |
CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
CN111931807A (zh) * | 2020-06-24 | 2020-11-13 | 浙江大学 | 一种基于特征空间组合的小样本类增量学习方法 |
CN111985538A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于语义辅助注意力机制的小样本图片分类模型及方法 |
KR20200132469A (ko) * | 2019-05-17 | 2020-11-25 | 네이버 주식회사 | 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치 |
CN112734038A (zh) * | 2021-01-20 | 2021-04-30 | 清华大学 | 小样本持续学习模型的训练方法、介质、装置和计算设备 |
CN113111906A (zh) * | 2021-02-24 | 2021-07-13 | 浙江大学 | 一种基于单对图像训练的条件生成对抗网络模型的方法 |
CN113313180A (zh) * | 2021-06-04 | 2021-08-27 | 太原理工大学 | 一种基于深度对抗学习的遥感图像语义分割方法 |
WO2021226296A1 (en) * | 2020-05-06 | 2021-11-11 | Siemens Aktiengesellschaft | Semi-automated image annotation for machine learning |
-
2021
- 2021-12-27 CN CN202111609360.8A patent/CN113989405B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111335A (zh) * | 2019-05-08 | 2019-08-09 | 南昌航空大学 | 一种自适应对抗学习的城市交通场景语义分割方法及系统 |
KR20200132469A (ko) * | 2019-05-17 | 2020-11-25 | 네이버 주식회사 | 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치 |
CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
WO2021226296A1 (en) * | 2020-05-06 | 2021-11-11 | Siemens Aktiengesellschaft | Semi-automated image annotation for machine learning |
CN111931807A (zh) * | 2020-06-24 | 2020-11-13 | 浙江大学 | 一种基于特征空间组合的小样本类增量学习方法 |
CN111985538A (zh) * | 2020-07-27 | 2020-11-24 | 成都考拉悠然科技有限公司 | 基于语义辅助注意力机制的小样本图片分类模型及方法 |
CN112734038A (zh) * | 2021-01-20 | 2021-04-30 | 清华大学 | 小样本持续学习模型的训练方法、介质、装置和计算设备 |
CN113111906A (zh) * | 2021-02-24 | 2021-07-13 | 浙江大学 | 一种基于单对图像训练的条件生成对抗网络模型的方法 |
CN113313180A (zh) * | 2021-06-04 | 2021-08-27 | 太原理工大学 | 一种基于深度对抗学习的遥感图像语义分割方法 |
Non-Patent Citations (3)
Title |
---|
MUHAMMAD IRFAN .ETAL: "A novel lifelong learning model based on cross domain knowledge extraction and transfer to classify underwater images", 《INFORMATION SCIENCES》 * |
孙凌云 等: "基于语义细胞的语音情感识别", 《浙江大学学报(工学版)》 * |
孙显 等: "遥感边缘智能技术研究进展及挑战", 《中国图象图形学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596637A (zh) * | 2022-03-23 | 2022-06-07 | 北京百度网讯科技有限公司 | 图像样本数据增强训练方法、装置及电子设备 |
CN114596637B (zh) * | 2022-03-23 | 2024-02-06 | 北京百度网讯科技有限公司 | 图像样本数据增强训练方法、装置及电子设备 |
CN115409694A (zh) * | 2022-11-03 | 2022-11-29 | 季华实验室 | 语义引导的缺陷图像生成方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113989405B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
CN109949255B (zh) | 图像重建方法及设备 | |
CN106845529B (zh) | 基于多视野卷积神经网络的影像特征识别方法 | |
CN111798369B (zh) | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 | |
CN113989405B (zh) | 一种基于小样本持续学习的图像生成方法 | |
CN109002852A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN111476285B (zh) | 一种图像分类模型的训练方法及图像分类方法、存储介质 | |
CN113379655B (zh) | 一种基于动态自注意力生成对抗网络的图像合成方法 | |
CN110310345A (zh) | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 | |
CN113450313B (zh) | 一种基于区域对比学习的图像显著性可视化方法 | |
CN113160032A (zh) | 一种基于生成对抗网络的无监督多模态图像转换方法 | |
CN112991493A (zh) | 基于vae-gan和混合密度网络的灰度图像着色方法 | |
CN110458178A (zh) | 多模态多拼接的rgb-d显著性目标检测方法 | |
CN116524307A (zh) | 一种基于扩散模型的自监督预训练方法 | |
CN111694974A (zh) | 一种融合注意力机制的深度哈希车辆图像检索方法 | |
CN118196231B (zh) | 一种基于概念分割的终身学习文生图方法 | |
CN116383639A (zh) | 一种生成对抗网络的知识蒸馏方法、装置、设备及存储介质 | |
CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
Kumar et al. | Region driven remote sensing image captioning | |
CN117011515A (zh) | 基于注意力机制的交互式图像分割模型及其分割方法 | |
CN116823782A (zh) | 一种基于图卷积和多尺度特征的无参考图像质量评价方法 | |
CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 | |
CN115661618A (zh) | 图像质量评估模型的训练方法、图像质量评估方法及装置 | |
CN115223080A (zh) | 一种基于非局部特征聚合神经网络的目标分割方法 | |
CN115564982A (zh) | 一种基于对抗学习的同域遥感影像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |