CN113989405B - 一种基于小样本持续学习的图像生成方法 - Google Patents

一种基于小样本持续学习的图像生成方法 Download PDF

Info

Publication number
CN113989405B
CN113989405B CN202111609360.8A CN202111609360A CN113989405B CN 113989405 B CN113989405 B CN 113989405B CN 202111609360 A CN202111609360 A CN 202111609360A CN 113989405 B CN113989405 B CN 113989405B
Authority
CN
China
Prior art keywords
semantic
layer
feature
graph
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111609360.8A
Other languages
English (en)
Other versions
CN113989405A (zh
Inventor
陈培
张杨康
李泽健
孙凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111609360.8A priority Critical patent/CN113989405B/zh
Publication of CN113989405A publication Critical patent/CN113989405A/zh
Application granted granted Critical
Publication of CN113989405B publication Critical patent/CN113989405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小样本持续学习的图像生成方法，包括获得包括真实图像和语义标注图的预训练数据集和持续学习数据集，通过生成式对抗网络构建训练系统，通过引导采样算法基于语义标注图获得生成器的语义调节参数，通过总损失函数对训练系统进行训练确定模型参数，以得到图像生成模型，基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数，以得到新语义训练系统，利用总损失函数训练所述新语义训练系统，训练结束时，得到新语义图像生成模型，以完成所述图像生成模型的小样本持续学习。该方法能够使用小样本训练数据持续学习新的语义。

Description

一种基于小样本持续学习的图像生成方法
技术领域
本发明涉及深度学习图像处理技术领域，特别是涉及一种基于小样本持续学习的图像生成方法。
背景技术
近年来，生成对抗神经网络（GAN，Generative Adversarial Networks ）在生成逼真图像领域取得了巨大的进展，其从像素级别图像中创造人类出无法分辨出真假的、内容丰富的高质量图像。此外，带有条件的图像生成方法能够使得生成的结果更加可控、更加满足用户的需求，例如：基于文字描述生成图像、基于骨骼关键点生成人体图像等。
基于语义标注图生成图像的方法中，语义标注图内的每个像素点都被赋予一种特定的语义，从而可以描述出一张图像的语义内容和布局规划，其与人类的手绘涂鸦形式相似。因此，语义标注图生成图像的技术在人和人工智能合作绘画创作领域有着重要应用。
现有的基于语义标注图的方法都是基于大规模成对的数据训练：一方面，这种对大数据的依赖大大限制这类图像生成技术的发展，其原因主要在于对图像进行像素级别的标注极其耗时耗力；另一方面，现有方法都需要在训练模型之前将所有训练数据准备好，模型一旦训练完成就不可以继续学习新的数据，这种限制与现实应用的实际情况相冲突。
在现实应用中，模型往往需要不断学习新的数据来获得新的知识，例如：模型在学习了如何生成天空、草地语义之后，可以通过新的数据来学习如何生成汽车、火车等新的语义。模型只有具备持续学习新知识的能力才能适应现实应用中不断增长变化的新需求。
小样本学习和持续学习是科学和工程领域中存在的两个较为重要的任务。小样本学习的目标是实现从少量训练样本中学习一个新的任务。
持续学习，又称终身学习或增量学习，其目标在于使一个模型不断从数据流中学习新知识，但要同时保留以前学习的知识，即在持续学习新知识的同时不能对旧知识发生灾难性遗忘，从而提升学习增量任务的能力。
常规的持续学习方法在学习新任务时对新任务的训练数据不做限制，即可以通过大规模数据集来学习一个新任务。然而，针对特定任务构建大规模数据集会耗费极大的人工成本和时间成本。在持续学习的基础上，只使用少数训练样本学习新任务的问题被称为小样本持续学习。
可见，小样本学习和持续学习的目标很难同时实现，小样本学习和持续学习的目标同时实现可能会影响对整个任务序列的处理性能。相较于一般的持续学习问题需要解决灾难性遗忘而言，持续小样本学习还需要解决：如何通过少量样本学习到新任务的泛化性特征、如何避免模型对新任务的少量样本过拟合。
发明内容
本发明提供了一种基于小样本持续学习的图像生成方法，该方法能够小样本持续学习新的语义。
一种基于小样本持续学习的图像生成方法，包括：
S1：获得预训练数据集和持续学习数据集，所述预训练数据集和所述持续学习数据集的样本均由真实图像和所述真实图像对应的语义标注图构成；与所述预训练数据集相比，所述持续学习数据集包括新语义；
S2：基于生成式对抗网络构建训练系统，将所述语义标注图和随机噪声输入至所述训练系统，所述训练系统包括生成器和判别器，所述生成器由第一层卷积层和多层残差网络模块构成，每个所述残差网络模块包括规范化层、激活层和卷积层，基于所述语义标注图采用引导采样算法获取所述规范化层和所述卷积层的语义调节参数，所述语义调节参数与所述语义标注图各个像素点语义相匹配；
将所述语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图，将所述第一特征图和所述语义标注图输入至第一层残差网络模块的规范化层，所述规范化层对第一特征图进行规范化操作，然后通过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应调节得到第二特征图，将所述第二特征图输入至所述激活层得到第三特征图，通过所述卷积层语义调节参数对所述卷积层进行调节，调节后的卷积层对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图，将所述第一特征图与最终特征图残差连接得到第一层残差网络模块的输出特征图，将所述输出特征图和所述语义标注图输入至下一层残差网络模块，通过逐层残差网络模块处理得到最终输出特征图，将所述最终输出特征图输入到tanh函数激活层得到生成图像；
S3：构建所述训练系统的总损失函数，所述总损失函数包括对抗损失函数、感知损失函数和一致性损失函数；
通过所述生成图像判别数据、真实图像判别数据和语义标注图的交叉熵函数构建对抗损失函数；
通过所述生成图像和真实图像的VGG-19网络输出差值的
Figure 920411DEST_PATH_IMAGE001
范数均值构建感知损 失函数；
利用LabelMix增强策略混合真实图像和生成图像，并将混合后的结构传入判别 器，让判别器判断混合结果每个像素点是属于真实图像还是生成图像。具体来说，利用 LabelMix增强策略，基于二元标签图将所述生成图像和真实图像混合得到第一混合图像数 据，将第一混合图像数据输入至所述判别器得到第一判别数据，将所述生成图像和真实图 像分别输入至所述判别器得到第二判别数据和第三判别数据，利用LabelMix增强策略，基 于所述二元标签图将所述第二判别数据和第三判别数据混合得到第二混合图像数据，通过 第一判别数据和第二混合图像数据差值的
Figure 342296DEST_PATH_IMAGE002
范数构建一致性损失函数；
S4：将预训练数据集输入至训练系统，利用所述总损失函数进行训练，训练结束时，确定参数的生成器组成图像生成模型；
基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数，以得到新语义训练系统，利用所述总损失函数训练所述新语义训练系统，训练结束时，得到新语义图像生成模型，以完成所述图像生成模型的小样本持续学习。
在所述的基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数之前，对所述预训练数据集和持续学习数据集分别输入至所述图像生成模型的判别器中得到预训练数据语义特征集和持续学习数据语义特征集，采用推土机距离算法得到所述预训练数据语义特征集和所述持续学习数据语义特征集的语义相似度，从所述预训练数据语义特征集中筛选出满足语义相似度阈值的特征语义，将所述特征语义对应的多个语义调节参数进行线性组合作为所述新语义训练系统的初始调节参数。
基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数，包括：
每个初始语义调节参数包括多个向量，每个向量用于调节一种语义，基于所述语义标注图中的各个像素点语义采用引导采样算法构建规范化层和卷积层的语义调节参数，所述引导采样算法为从所述初始调节参数中筛选出与所述像素点语义相匹配的一个语义对应的向量作为语义调节参数的向量。
所述的规范化层通过规范化层调节参数对输入的规范化操作后的第一特征图进行语义适应调节，所述规范化层调节参数包括规范化层最终语义放缩参数和规范化层最终语义偏移参数。
所述的通过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义 适应得到第二特征图，所述第二特征图包括多个特征像素点，所述特征像素点
Figure 515788DEST_PATH_IMAGE003
为：
Figure 526469DEST_PATH_IMAGE004
其中，
Figure 556742DEST_PATH_IMAGE005
为输入第
Figure 652874DEST_PATH_IMAGE006
层规范化网络的特征图或所述的语义标注图，
Figure 364478DEST_PATH_IMAGE007
为输入第l层的第c通道位于i，j位置的第一特征图素点， i和j分别为所述第一特征图的宽 和高的索引，
Figure 544180DEST_PATH_IMAGE008
和
Figure 683038DEST_PATH_IMAGE009
分别为第l层输入的特征图
Figure 266466DEST_PATH_IMAGE010
在第
Figure 578498DEST_PATH_IMAGE011
通道上的均值和标准差，
Figure 563772DEST_PATH_IMAGE012
为第l层的规范化层最终语义放缩参数，
Figure 873531DEST_PATH_IMAGE013
为第
Figure 944255DEST_PATH_IMAGE006
层的规范化层最终语义偏移 参数，
Figure 810711DEST_PATH_IMAGE014
，
Figure 650491DEST_PATH_IMAGE015
，
Figure 131151DEST_PATH_IMAGE016
为生成器的残差网络模块层数，
Figure 485909DEST_PATH_IMAGE017
为第
Figure 343006DEST_PATH_IMAGE006
层的通道数，
Figure 37293DEST_PATH_IMAGE018
，
Figure 438DEST_PATH_IMAGE019
，
Figure 45755DEST_PATH_IMAGE020
为所述语义标注图或第
Figure 440964DEST_PATH_IMAGE006
层输入的特征图的高度，
Figure 989757DEST_PATH_IMAGE021
为所述语 义标注图或第
Figure 140116DEST_PATH_IMAGE006
层输入的特征图的宽度。
为了减少计算量，卷积层网络采用深度可分离结构，其包含一个深度卷积层、和逐点卷积层。通过所述卷积层语义调节参数对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图，包括：
所述卷积层包括深度卷积层和逐点卷积层，通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器，以完成卷积层的调节，将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点，多个过渡特征像素点构建过渡特征图，将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
所述的通过卷积层语义调节参数对深度卷积层的卷积过滤器进行调节得到深度 卷积层的调节后的卷积过滤器
Figure 407149DEST_PATH_IMAGE022
为：
Figure 606049DEST_PATH_IMAGE023
Figure 822398DEST_PATH_IMAGE024
其中，
Figure 81341DEST_PATH_IMAGE025
为调节第l层的深度卷积层过滤器的最终语义放缩参数，
Figure 835670DEST_PATH_IMAGE026
为调 节第l层的深度卷积层过滤器的最终语义偏移参数，
Figure 572682DEST_PATH_IMAGE027
调节第l层的深度卷积层过滤器 的最终语义偏置调节参数，
Figure 158384DEST_PATH_IMAGE028
为第l层的深度卷积层初始语义偏置参 数，
Figure 588229DEST_PATH_IMAGE029
为第l层的深度卷积层最终偏置参数，
Figure 564275DEST_PATH_IMAGE030
为第l层的 深度卷积层初始过滤器，其中
Figure 407773DEST_PATH_IMAGE031
，
Figure 51244DEST_PATH_IMAGE032
分别代表过滤器的宽和高，
Figure 386410DEST_PATH_IMAGE033
为第l层的深度卷积 层初始过滤器的均值，
Figure 177649DEST_PATH_IMAGE034
为第l层的深度卷积层初始过滤器的标准差，
Figure 256463DEST_PATH_IMAGE035
，
Figure 754441DEST_PATH_IMAGE036
为一个五维张量，张量每一维度的大小分别为
Figure 73558DEST_PATH_IMAGE037
。
将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡像素点
Figure 289775DEST_PATH_IMAGE038
为：
Figure 172281DEST_PATH_IMAGE039
其中，
Figure 524765DEST_PATH_IMAGE040
为第三特征图第c层通道的高的索引为
Figure 529630DEST_PATH_IMAGE041
，宽的索引为
Figure 967564DEST_PATH_IMAGE042
的特征图像素点，
Figure 388181DEST_PATH_IMAGE043
为最终卷积过滤器
Figure 172336DEST_PATH_IMAGE044
每一维度的索引分别为
Figure 20206DEST_PATH_IMAGE045
的位 置的值，
Figure 945437DEST_PATH_IMAGE046
为第l层的深度卷积层的最终偏置参数的每一维度索引分别为
Figure 169744DEST_PATH_IMAGE047
的位置的 值。
与现有技术相比，本发明的有益效果为：
（1）本发明基于输入包含新语义小样本数据的语义标注图来调节规范化层和卷积层语义调节参数，以达到持续学习新的语义的目的，由于其他参数不变从而能够快速准确的学习新的语义，从而节省了训练资源，适用于实际图像语义生成的应用场景，为用户提供灵活的训练方式。
（2）利用本发明提供的判别器对包含新语义的小样本数据和已经学习过的样本数据分别提取相应的语义特征集，并采用推土机距离算法，对所述语义特征集进行比较，得到与所述小样本数据的新语义相近的已学习过的语义，并提取所述已学过语义对应的调节参数作为再次训练的初始参数，从而提高了运算效率。
附图说明
图1为本发明具体实施方式提供的基于小样本持续学习的图像生成方法的流程示意图；
图2为本发明具体实施方式提供的预训练阶段、持续学习阶段的示意图；
图3为本发明具体实施方式提供的小样本持续学习阶段学习新语义生成任务的示意图。
具体实施方式
本发提供了一种基于小样本持续学习的图像生成方法，如图1所示，具体步骤为：
S1：数据集构建，构建预训练数据集、持续学习数据集：
预训练阶段，如图2的训练阶段1所示，预训练数据集
Figure 559138DEST_PATH_IMAGE048
为大规模数据集，持续学习 数据集为小样本数据集。预训练数据集
Figure 843488DEST_PATH_IMAGE048
和持续学习数据集中的样本均由真实图像和其语 义标注图组成，预训练数据集中的每种语义对应的图像数据量较多，持续学习数据集包括 预训练数据集中没有的语义，将持续学习数据集分为
Figure 256015DEST_PATH_IMAGE049
个子任务数据集
Figure 831484DEST_PATH_IMAGE050
，每个 子任务数据集
Figure 13067DEST_PATH_IMAGE051
包含在
Figure 468319DEST_PATH_IMAGE052
中未出现过的语义。
S2：构建图像生成模型中的生成器模型，基于生成式对抗网络构建训练系统，将所 述语义标注图和随机噪声输入至所述训练系统，所述训练系统包括生成器
Figure 430459DEST_PATH_IMAGE053
和判别器
Figure 996569DEST_PATH_IMAGE055
， 预训练数据集的真实图像
Figure 32658DEST_PATH_IMAGE056
，预训练数据集的语义标注图
Figure 658812DEST_PATH_IMAGE057
，随机噪声为
Figure 360445DEST_PATH_IMAGE058
，其中，
Figure 464667DEST_PATH_IMAGE059
为实数，
Figure 620842DEST_PATH_IMAGE060
表示语义标注图中的语义类别集，
Figure 480214DEST_PATH_IMAGE061
为图像的宽度和高 度，所述图像为本发明所提及的语义标注图、真实图像或特征图，生成图像
Figure 89049DEST_PATH_IMAGE062
：
Figure 262542DEST_PATH_IMAGE063
。
其中，生成器
Figure 86272DEST_PATH_IMAGE053
由第一层卷积层和多层残差网络模块构成，每个残差网络模块包 括规范化层、卷积层和激活层，第
Figure 54228DEST_PATH_IMAGE065
层的初始参数包括第
Figure 150360DEST_PATH_IMAGE067
层的规范化层初始语义放缩 （scale）参数
Figure 658702DEST_PATH_IMAGE068
和初始语义偏移（shift）参数
Figure 789469DEST_PATH_IMAGE069
，第
Figure 928326DEST_PATH_IMAGE067
层的卷积层初始参数包括第l层 的卷积层初始放缩参数
Figure 511755DEST_PATH_IMAGE070
、初始偏移参数
Figure 73055DEST_PATH_IMAGE071
和初始偏置（bias）参数
Figure 58328DEST_PATH_IMAGE072
，第
Figure 368087DEST_PATH_IMAGE073
层的规 范化层和卷积层的每个初始参数由
Figure 501128DEST_PATH_IMAGE074
个大小为
Figure 554535DEST_PATH_IMAGE075
的向量组成，其中
Figure 394315DEST_PATH_IMAGE076
，
Figure 688024DEST_PATH_IMAGE077
为生成器的 残差网络模块层数，
Figure 980465DEST_PATH_IMAGE075
为第
Figure 837563DEST_PATH_IMAGE067
层的通道。
每个初始调节参数包含
Figure 531849DEST_PATH_IMAGE078
个大小为
Figure 245727DEST_PATH_IMAGE075
的向量，每个大小为
Figure 291044DEST_PATH_IMAGE075
的向量对应一种语 义，基于所述语义标注图
Figure 686253DEST_PATH_IMAGE079
中的各个像素点语义，
Figure 549560DEST_PATH_IMAGE060
为语义标注图中的语义类别集， 比如天空，道路，树木，采用引导采样算法构建语义调节参数，引导采样算法为从初始语义 调节参数中筛选出与所述像素点语义相匹配的一个语义对象的向量作为语义调节参数的 向量，以完成所述规范化层和卷积层的语义调节。
将语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图，将第一特征 图和语义标注图输入至第一层残差网络模块的规范化层，规范化层对第一特征图进行规范 化操作，然后通过规范化层语义调节参数对规范化操作后的第一特征图进行语义适应操作 得到第二特征图，所述语义适应操作为：第二特征图的特征像素点
Figure 637602DEST_PATH_IMAGE080
为：
Figure 904635DEST_PATH_IMAGE081
其中，
Figure 837956DEST_PATH_IMAGE082
为输入第
Figure 569152DEST_PATH_IMAGE083
层规范化网络的特征图或所述的语义标注图，
Figure 828095DEST_PATH_IMAGE084
为输入第
Figure 316845DEST_PATH_IMAGE067
层的第
Figure 132485DEST_PATH_IMAGE011
通道位于
Figure 655870DEST_PATH_IMAGE085
，
Figure 820135DEST_PATH_IMAGE086
位置的第一特征图素点，
Figure 61761DEST_PATH_IMAGE085
，
Figure 664781DEST_PATH_IMAGE086
分别为所述第一特征图的 宽和高的索引，
Figure 42672DEST_PATH_IMAGE087
，
Figure 643418DEST_PATH_IMAGE088
分别为第
Figure 418345DEST_PATH_IMAGE067
层输入特征图
Figure 762738DEST_PATH_IMAGE089
在第
Figure 260716DEST_PATH_IMAGE011
通道上的均值和标准差，
Figure 829100DEST_PATH_IMAGE090
为第
Figure 45318DEST_PATH_IMAGE067
层的规范化层最终语义放缩参数，
Figure 927824DEST_PATH_IMAGE091
为第
Figure 280307DEST_PATH_IMAGE083
层的规范化层最终语义偏移参数，
Figure 770326DEST_PATH_IMAGE092
，
Figure 208260DEST_PATH_IMAGE093
，
Figure 894457DEST_PATH_IMAGE094
为生成器的残差网络模块层数，
Figure 163764DEST_PATH_IMAGE095
为第
Figure 277213DEST_PATH_IMAGE083
层网络的通道数，
Figure 202444DEST_PATH_IMAGE096
，
Figure 741266DEST_PATH_IMAGE020
为所述语义标注图或第
Figure 68342DEST_PATH_IMAGE083
层输入的特征图的高度，
Figure 352693DEST_PATH_IMAGE021
为所述 语义标注图或第
Figure 499641DEST_PATH_IMAGE083
层输入的特征图的宽度。
所述多个特征像素点构建第二特征图，将所述第二特征图输入至所述激活层得到第三特征图，将所述第三特征图输入至调节后的卷积层，为了减少计算量，卷积层网络采用深度可分离结构，卷积层包括深度卷积层和逐点卷积层，通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器，将所述最终过滤器与第三特征图的特征块（patches）进行乘加运算得到过渡特征像素点，多个过渡特征像素点构建过渡特征图，将所述过渡特征图输入至逐点卷积层得到最终特征图。
所述的通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度 卷积层的最终过滤器
Figure 589957DEST_PATH_IMAGE097
为：
Figure 771539DEST_PATH_IMAGE098
Figure 226791DEST_PATH_IMAGE099
其中，
Figure 939663DEST_PATH_IMAGE025
为调节第
Figure 505774DEST_PATH_IMAGE065
层的深度卷积层过滤器的最终语义放缩参数，
Figure 541863DEST_PATH_IMAGE026
为调 节第l层的深度卷积层过滤器的最终语义偏移参数，
Figure 168017DEST_PATH_IMAGE027
调节第
Figure 351873DEST_PATH_IMAGE065
层的深度卷积层过滤器 的最终语义偏置调节参数，
Figure 721675DEST_PATH_IMAGE100
为第
Figure 877850DEST_PATH_IMAGE065
层的深度卷积层初始语义偏置参数，
Figure 986489DEST_PATH_IMAGE101
为第
Figure 595325DEST_PATH_IMAGE065
层的深度卷积层最终偏置参数，
Figure 503238DEST_PATH_IMAGE102
为第
Figure 513919DEST_PATH_IMAGE065
层的深度 卷积层初始过滤器，
其中，
Figure 544192DEST_PATH_IMAGE103
，
Figure 640324DEST_PATH_IMAGE104
分别代表过滤器的宽和高，
Figure 351928DEST_PATH_IMAGE105
为第l层的深度卷积层初始过滤器 的均值，
Figure 295744DEST_PATH_IMAGE106
为第
Figure 434602DEST_PATH_IMAGE073
层的深度卷积层初始过滤器的标准差，
Figure 752451DEST_PATH_IMAGE107
，
Figure 267745DEST_PATH_IMAGE108
为一个五维张量，张量每一维度的大小分别为
Figure 315336DEST_PATH_IMAGE109
。
将最终过滤器与第三特征图的特征块（patches）进行乘加运算得到过渡像素点
Figure 625095DEST_PATH_IMAGE110
为：
Figure 430239DEST_PATH_IMAGE111
其中，
Figure 809879DEST_PATH_IMAGE112
为调节后的第三特征图第
Figure 649659DEST_PATH_IMAGE113
层通道的高的索引为
Figure 130319DEST_PATH_IMAGE114
，宽的 索引为
Figure 750656DEST_PATH_IMAGE115
的特征图像素点，
Figure 342175DEST_PATH_IMAGE116
为最终卷积过滤器
Figure 302040DEST_PATH_IMAGE117
每一维度的索引分别为
Figure 766651DEST_PATH_IMAGE045
的位置的值，
Figure 546388DEST_PATH_IMAGE118
为第l层的深度卷积层的最终偏置参数的每一维度索引分 别为
Figure 941597DEST_PATH_IMAGE047
的位置的值。
所述卷积层包括深度卷积层和逐点卷积层，通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器，以完成卷积层的调节，将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点，多个过渡特征像素点构建过渡特征图，将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
将第一特征图与最终特征图残差连接得到第一层残差网络模块的输出特征图，将所述输出特征图和所述语义标注图输入至下一层残差网络模块，通过逐层残差网络模块处理得到最终输出特征图，将所述最终输出特征图输入到tanh函数激活层得到生成图像。
综上，本专利提出的语义适应的规范化层和卷积层有以下三点优势：
第一，根据语义标注图来实现像素级别的调节可以不用切换不同的任务模块，从而可以同时生成具有多种语义的丰富内容图像。
第二，用于参数化语义信息的调节参数池与其余部分网络是分离的。因此，在学习新语义任务时，只需要学习新的调节参数，无需改变其余网络参数，有效避免了持续学习中常见的灾难性遗忘问题。
第三，本方法的结构有利于小样本持续学习。一方面，保持不变的基础网络部分已经从以往的训练数据中学习了通用的视觉知识，从而有利于学习新任务。另一方面，由于学习新任务时只需要训练少量的调节参数，即使只有少量训练数据，也能够有效拟合。
S3：构建图像生成模型中的判别器模型，判别器D采用U-Net结构，U-Net结构是图 像分割任务中的经典结构，包含一个编码器和解码器，已被证实在图像分割任务中具有优 秀表现。判别器D在判别图像的真假时，将判别任务看作一个
Figure 755969DEST_PATH_IMAGE119
中类别的图像分割任务，
Figure 640749DEST_PATH_IMAGE121
代表预训练数据集
Figure 907782DEST_PATH_IMAGE122
的样本中包含的语义种类数目。向判别器D中输入图像，判别器D判 别图像中的每个像素点所属的语义，并将该信息反馈回生成器G。判别器的判别语义种类
Figure 106682DEST_PATH_IMAGE123
会随着模型学习语义的数目的增加而增加。
S4：构建所述训练系统的总损失函数，将预训练数据集输入至训练系统，利用所述 总损失函数进行训练，训练结束时，确定参数的生成器组成图像生成模型；总损失函数
Figure 87146DEST_PATH_IMAGE124
为：
Figure 80509DEST_PATH_IMAGE125
其中，
Figure 834839DEST_PATH_IMAGE126
为对抗损失函数、
Figure 899747DEST_PATH_IMAGE127
为感知损失函数，
Figure 423132DEST_PATH_IMAGE128
为一致性损失函数，
Figure 587397DEST_PATH_IMAGE129
为 感知损失权重，
Figure 642072DEST_PATH_IMAGE130
为一致性损失函数权重；
通过生成图像判别数据、真实图像判别数据和语义标注图的交叉函数构建对抗损 失函数；对抗损失函数
Figure 182775DEST_PATH_IMAGE131
包括训练生成器的对抗损失
Figure 560666DEST_PATH_IMAGE132
和训练判别器损失
Figure 223729DEST_PATH_IMAGE133
，
Figure 687071DEST_PATH_IMAGE134
和
Figure 31465DEST_PATH_IMAGE133
分别为：
Figure 578377DEST_PATH_IMAGE135
判别器在判断真实图像时把真实图像中每个像素点所属的类别都判断出来，判别 器在判断生成图像时将生成图像中的每个像素点都判断为假，
Figure 350024DEST_PATH_IMAGE136
表示判别器判别真 实图像中高的索引为h，宽的索引为w的像素点是否为第
Figure 300663DEST_PATH_IMAGE137
种语义类别，
Figure 245485DEST_PATH_IMAGE138
为真实图像和语 义标注图的期望；
Figure 597969DEST_PATH_IMAGE139
表示判别器判断生成图像中高的索引为h，宽的索引为w 的像素点为第
Figure 540517DEST_PATH_IMAGE119
类别，即判断该像素为假；
Figure 978452DEST_PATH_IMAGE140
指代语义标注图高的索引为h，宽的索引 为w的像素点的语义类别为n。
Figure 477697DEST_PATH_IMAGE141
在训练生成器，判别器判断生成的图像
Figure 684688DEST_PATH_IMAGE142
中每个像素点属于哪一个类别，帮 助生成器生成语义特征更加精确的图像。
Figure 798137DEST_PATH_IMAGE143
指代语义标注图高的索引为
Figure 785685DEST_PATH_IMAGE144
，宽的索引为
Figure 9993DEST_PATH_IMAGE145
的像素点的语义类别为
Figure 337069DEST_PATH_IMAGE137
；
Figure 667425DEST_PATH_IMAGE146
表示判别器判断生成图像
Figure 79952DEST_PATH_IMAGE147
中高的索引为h，宽 的索引为w的像素点是否为第种语义类别。
通过所述生成图像和真实图像的VGG-19网络输出差值的
Figure 107950DEST_PATH_IMAGE148
范数均值构建感知损 失函数
Figure 351850DEST_PATH_IMAGE149
：
Figure 682468DEST_PATH_IMAGE150
其中，
Figure 316712DEST_PATH_IMAGE151
指代使用的VGG-19网络中
Figure 882823DEST_PATH_IMAGE151
个非线性输出层，
Figure 499005DEST_PATH_IMAGE152
指代VGG-19网络第
Figure 125158DEST_PATH_IMAGE153
层非线 性层，
Figure 246698DEST_PATH_IMAGE154
为真实样本在第
Figure 616500DEST_PATH_IMAGE153
个非线性层的输出，
Figure 834991DEST_PATH_IMAGE155
为生成图像在第
Figure 632046DEST_PATH_IMAGE153
个非线性 层的输出，
Figure 240882DEST_PATH_IMAGE156
为
Figure 961844DEST_PATH_IMAGE157
范数，
Figure 972526DEST_PATH_IMAGE158
指代
Figure 940482DEST_PATH_IMAGE159
中的元素数量，
Figure 98931DEST_PATH_IMAGE160
为随机噪声的期望。
利用LabelMix增强策略混合真实图像和生成图像，并将混合后的结构传入判别 器，让判别器判断混合结果每个像素点是属于真实图像还是生成图像。具体来说，LabelMix 增强策略为：基于二元标签图（
Figure 810535DEST_PATH_IMAGE161
）将所述生成图像和真实图像混合得到第一混合图像数据； 将第一混合图像数据输入至所述判别器得到第一判别数据，将所述生成图像和真实图像分 别输入至所述判别器得到第二判别数据和第三判别数据，再基于二元标签图将第二判别数 据和第三判别数据混合得到第二混合图像数据，通过第一判别数据和第二混合图像数据差 值的
Figure 675723DEST_PATH_IMAGE162
范数构建一致性损失函数；二元标签图是一张大小与语义标注图相同的图像，图像中 每个像素点值为“0”或“1”， 二元标签图像素点为1时，代表混合图像在该像素点采用真实 图像的像素值，二元标签图像素点为0时，代表混合图像在该像素点采用生成图像的像素 值。
一致性损失函数
Figure 126164DEST_PATH_IMAGE163
为：
Figure 709592DEST_PATH_IMAGE164
其中，
Figure 224887DEST_PATH_IMAGE165
指代
Figure 944582DEST_PATH_IMAGE166
范数，
Figure 316657DEST_PATH_IMAGE167
为基于二元标签图将所述真实图像和生成图像 混合得到第一混合图像数据，
Figure 387381DEST_PATH_IMAGE168
为基于二元标签图将第二判别数据和第三判 别数据混合得到第二混合图像数据。
S5持续学习，如图2所示，将持续学习数据集分为
Figure 440788DEST_PATH_IMAGE049
个子任务数据集
Figure 93617DEST_PATH_IMAGE169
， 每个子任务数据集包括一种新的语义，比如公交车、轮船、木屋，基于持续学习数据集子任 务数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数，以得到新 语义训练系统，利用所述总损失函数训练所述新语义训练系统，训练结束时，得到新语义图 像生成模型，以完成所述图像生成模型的小样本持续学习。在进行持续学习时，只需学习深 度卷积层的过滤器和规范化层调整参数。
为了加速持续学习阶段的模型收敛，在学习新任务的时候，本发明使用已经学习过的相似类别的调节参数来初始化新语义的调节参数。假设感知相似的语义类别具有相近的调节参数，为了找出与新语义相似的已经学习过的语义，采用预训练数据集训练过的判别器提取新语义和旧语义的语义特征，具体步骤如下：
对所述预训练数据集和持续学习子任务数据集分别输入至所述图像生成模型的判别器中得到预训练数据中所有语义的特征集和持续学习子任务数据中新语义的特征集，采用挖土机距离算法（Earth Mover’s distance），从所述预训练数据语义特征集中筛选出满足语义相似度阈值的语义，将所述多个相似语义对应的语义调节参数进行线性组合作为新语义训练系统的初始调节参数。
预训练数据中其中一种语义的语义特征集
Figure 574277DEST_PATH_IMAGE170
和持续学习子任务数据集中新语义 的语义特征集
Figure 194614DEST_PATH_IMAGE171
之间相似度
Figure 786133DEST_PATH_IMAGE172
为：
Figure 480419DEST_PATH_IMAGE173
其中，
Figure 712074DEST_PATH_IMAGE174
代表预训练数据中包含的某一种语义的语义特征集，
Figure 491811DEST_PATH_IMAGE175
为持续学习数据 中新语义的语义特征集，
Figure 887020DEST_PATH_IMAGE176
代表对语义特征集求均值，
Figure 701393DEST_PATH_IMAGE177
指代
Figure 586172DEST_PATH_IMAGE178
范数的平方，
Figure 853205DEST_PATH_IMAGE179
为代 表对语义特征集求协方差，
Figure 52105DEST_PATH_IMAGE180
代表对矩阵的对角线元素求和，使用上式定义的相似度， 计算持续学习的新语义和预训练集中每一种语义的相似距离，语义相似度阈值为与持续学 习的新语义最相似的前20％的特征语义，使用相似语义对应的已经训练过的语义调节参数 的线性组合作为新语义训练的初始化调节参数。在小样本持续学习阶段依旧使用预训练阶 段使用的损失函数。
S6：测试，输入任意语义标注图，使用S5训练完成的新语义生成图像模型。
如图3的①所示，用20组“帐篷图像-标注图”训练生成模型
Figure 534033DEST_PATH_IMAGE181
学会如何生成新 语义对象“帐篷”，经过少数几轮的迭代得到可以生成新语义对象的图像生成模型
Figure 527397DEST_PATH_IMAGE182
，如图3 的②所示，在测试阶段，属于带有帐篷语义的语义标注图，
Figure 281727DEST_PATH_IMAGE182
模型即可生成带有帐篷的图 像。

Claims (8)

1.一种基于小样本持续学习的图像生成方法，其特征在于，包括：
S1：获得预训练数据集和持续学习数据集，所述预训练数据集和持续学习数据集的样本均由真实图像和所述真实图像对应的语义标注图构成；与所述预训练数据集相比，所述持续学习数据集包括新语义；
S2：基于生成式对抗网络构建训练系统，将所述语义标注图和随机噪声输入至所述训练系统，所述训练系统包括生成器和判别器，所述生成器由第一层卷积层和多层残差网络模块构成，每个所述残差网络模块包括规范化层、激活层和卷积层，基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数，所述语义调节参数与所述语义标注图各个像素点语义相匹配；
将所述语义标注图和随机噪声输入至第一层卷积层网络得到第一特征图，将所述第一特征图和所述语义标注图输入至第一层残差网络模块的规范化层，所述规范化层对第一特征图进行规范化操作，然后通过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应调节得到第二特征图，将所述第二特征图输入至所述激活层得到第三特征图，通过所述卷积层语义调节参数对卷积层进行调节，调节后的卷积层对所述第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图，将所述第一特征图与所述最终特征图残差连接得到第一层残差网络模块的输出特征图，将所述输出特征图和所述语义标注图输入至下一层残差网络模块，通过逐层残差网络模块处理得到最终输出特征图，将所述最终输出特征图输入到tanh函数激活层得到生成图像；
S3：构建所述训练系统的总损失函数，所述总损失函数包括对抗损失函数、感知损失函数和一致性损失函数；
通过所述生成图像判别数据、真实图像判别数据和语义标注图的交叉熵函数构建对抗损失函数；
通过所述生成图像和真实图像的VGG-19网络输出差值的
Figure DEST_PATH_IMAGE001
范数均值构建感知损失函 数；
利用LabelMix增强策略，基于二元标签图将所述生成图像和真实图像混合得到第一混 合图像数据，将所述第一混合图像数据输入至所述判别器得到第一判别数据，将所述生成 图像和真实图像分别输入至所述判别器得到第二判别数据和第三判别数据，利用LabelMix 增强策略，基于所述二元标签图将所述第二判别数据和所述第三判别数据混合得到第二混 合图像数据，通过所述第一判别数据和所述第二混合图像数据差值的
Figure DEST_PATH_IMAGE002
范数构建一致性损 失函数；
S4：将预训练数据集输入至训练系统，利用所述总损失函数进行训练，训练结束时，确定参数的生成器组成图像生成模型；
基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数，以得到新语义训练系统，利用所述总损失函数训练所述新语义训练系统，训练结束时，得到新语义图像生成模型，以完成所述图像生成模型的小样本持续学习。
2.根据权利要求1所述的基于小样本持续学习的图像生成方法，其特征在于，在所述的基于持续学习数据集的语义标注图采用引导采样算法重新确定所述生成器的语义调节参数之前，对所述预训练数据集和持续学习数据集分别输入至所述图像生成模型的判别器中得到预训练数据语义特征集和持续学习数据语义特征集，采用推土机距离算法得到所述预训练数据语义特征集和所述持续学习数据语义特征集的语义相似度，从所述预训练数据语义特征集中筛选出满足语义相似度阈值的特征语义，将所述特征语义对应的多个语义调节参数进行线性组合作为所述新语义训练系统的初始调节参数。
3.根据权利要求2所述的基于小样本持续学习的图像生成方法，其特征在于，基于所述语义标注图采用引导采样算法获取所述规范化层和卷积层的语义调节参数，包括：
每个初始语义调节参数包括多个向量，每个向量用于调节一种语义，基于所述语义标注图中的各个像素点语义采用引导采样算法构建规范化层和卷积层的语义调节参数，所述引导采样算法为从所述初始调节参数中筛选出与所述像素点语义相匹配的一个语义对应的向量作为语义调节参数的向量。
4.根据权利要求3所述的基于小样本持续学习的图像生成方法，其特征在于，所述的规范化层通过规范化层调节参数对输入的规范化操作后的第一特征图进行语义适应调节，所述规范化层调节参数包括规范化层最终语义放缩参数和规范化层最终语义偏移参数。
5.根据权利要求4所述的基于小样本持续学习的图像生成方法，其特征在于，所述的通 过所述规范化层语义调节参数对规范化操作后的第一特征图进行语义适应得到第二特征 图，所述第二特征图包括多个特征像素点，所述特征像素点
Figure DEST_PATH_IMAGE003
为：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
为输入第l层规范化网络的特征图或所述语义标注图，
Figure DEST_PATH_IMAGE006
为输 入第l层的第c通道位于i，j位置的第一特征图素点，i，j分别为所述第一特征图的宽和高的 索引，
Figure DEST_PATH_IMAGE007
和
Figure DEST_PATH_IMAGE008
分别为第l层输入特征图
Figure DEST_PATH_IMAGE009
在第
Figure DEST_PATH_IMAGE010
通道上的均值和标准差，
Figure DEST_PATH_IMAGE011
为第l 层的规范化层最终语义放缩参数，
Figure DEST_PATH_IMAGE012
为第l层的规范化层最终语义偏移参数，
Figure DEST_PATH_IMAGE013
，
Figure DEST_PATH_IMAGE014
，L为生成器的残差网络模块层数，
Figure DEST_PATH_IMAGE015
为第l层的通道数，
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
，
Figure DEST_PATH_IMAGE018
为所述语义标注图或第l层输入的特征图的高度，
Figure DEST_PATH_IMAGE019
为所述语义标注图或 第l层输入的特征图的宽度。
6.根据权利要求5所述的基于小样本持续学习的图像生成方法，其特征在于，所述的调节后的卷积层对第三特征图进行语义适应的卷积操作得到第一层残差网络模块的最终特征图，包括：
所述卷积层包括深度卷积层和逐点卷积层，通过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤器，以完成卷积层的调节，将所述最终过滤器与第三特征图的特征块进行乘加运算得到过渡特征像素点，多个过渡特征像素点构建过渡特征图，将所述过渡特征图输入至所述逐点卷积层得到最终特征图。
7.根据权利要求6所述的基于小样本持续学习的图像生成方法，其特征在于，所述的通 过卷积层语义调节参数对深度卷积层的初始过滤器进行调节得到深度卷积层的最终过滤 器
Figure DEST_PATH_IMAGE020
为：
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
为调节第l层的深度卷积层过滤器的最终语义放缩参数，
Figure DEST_PATH_IMAGE024
为调节第l 层的深度卷积层过滤器的最终语义偏移参数，
Figure DEST_PATH_IMAGE025
调节第l层的深度卷积层过滤器的最终 语义偏置调节参数，
Figure DEST_PATH_IMAGE026
为第l层的深度卷积层初始语义偏置参数，
Figure DEST_PATH_IMAGE027
为第l层的深度卷积层最终偏置参数，
Figure DEST_PATH_IMAGE028
为第l层的深度卷积层 初始过滤器，其中
Figure DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
分别代表过滤器的宽和高，
Figure DEST_PATH_IMAGE031
为第l层的深度卷积层初始过 滤器的均值，
Figure DEST_PATH_IMAGE032
为第l层的深度卷积层初始过滤器的标准差，
Figure DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE034
为一个五维张量，张量每一维度的大小分别为
Figure DEST_PATH_IMAGE035
。
8.根据权利要求7所述的基于小样本持续学习的图像生成方法，其特征在于，将所述最 终过滤器与第三特征图的特征块进行乘加运算得到过渡像素点
Figure DEST_PATH_IMAGE036
为：
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
为调节后的第三特征图第c层通道的高的索引为
Figure DEST_PATH_IMAGE039
，宽的索引为
Figure DEST_PATH_IMAGE040
的特征图像素点，
Figure DEST_PATH_IMAGE041
为最终卷积过滤器
Figure DEST_PATH_IMAGE042
每一维度的索引分别为
Figure DEST_PATH_IMAGE043
的位置的值，
Figure DEST_PATH_IMAGE044
为第l层的深度卷积层的最终偏置参数的每一维度索引分别为
Figure DEST_PATH_IMAGE045
的位 置的值。
CN202111609360.8A 2021-12-27 2021-12-27 一种基于小样本持续学习的图像生成方法 Active CN113989405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111609360.8A CN113989405B (zh) 2021-12-27 2021-12-27 一种基于小样本持续学习的图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111609360.8A CN113989405B (zh) 2021-12-27 2021-12-27 一种基于小样本持续学习的图像生成方法

Publications (2)

Publication Number Publication Date
CN113989405A CN113989405A (zh) 2022-01-28
CN113989405B true CN113989405B (zh) 2022-04-08

Family

ID=79734513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111609360.8A Active CN113989405B (zh) 2021-12-27 2021-12-27 一种基于小样本持续学习的图像生成方法

Country Status (1)

Country Link
CN (1) CN113989405B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596637B (zh) * 2022-03-23 2024-02-06 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备
CN115409694B (zh) * 2022-11-03 2023-01-13 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111335B (zh) * 2019-05-08 2021-04-16 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
KR102194282B1 (ko) * 2019-05-17 2020-12-23 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
CN111080645B (zh) * 2019-11-12 2023-08-15 中国矿业大学 基于生成式对抗网络的遥感图像半监督语义分割方法
WO2021226296A1 (en) * 2020-05-06 2021-11-11 Siemens Aktiengesellschaft Semi-automated image annotation for machine learning
CN111931807B (zh) * 2020-06-24 2024-02-23 浙江大学 一种基于特征空间组合的小样本类增量学习方法
CN111985538A (zh) * 2020-07-27 2020-11-24 成都考拉悠然科技有限公司 基于语义辅助注意力机制的小样本图片分类模型及方法
CN112734038A (zh) * 2021-01-20 2021-04-30 清华大学 小样本持续学习模型的训练方法、介质、装置和计算设备
CN113111906B (zh) * 2021-02-24 2022-07-12 浙江大学 一种基于单对图像训练的条件生成对抗网络模型的方法
CN113313180B (zh) * 2021-06-04 2022-08-16 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法

Also Published As

Publication number Publication date
CN113989405A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
CN109949255B (zh) 图像重建方法及设备
CN113989405B (zh) 一种基于小样本持续学习的图像生成方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN111798369B (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN109002852A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN113379655B (zh) 一种基于动态自注意力生成对抗网络的图像合成方法
CN112991493A (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
Liu et al. Very lightweight photo retouching network with conditional sequential modulation
KR20180087735A (ko) 이미지 분류 장치 및 방법
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
CN113936143A (zh) 基于注意力机制和生成对抗网络的图像识别泛化方法
CN113160032A (zh) 一种基于生成对抗网络的无监督多模态图像转换方法
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法
CN115018729B (zh) 一种面向内容的白盒图像增强方法
CN116363461A (zh) 多视图儿童肿瘤病理图像分类的深度网络增量学习方法
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
CN115205624A (zh) 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质
CN115564982A (zh) 一种基于对抗学习的同域遥感影像分类方法
CN113160081A (zh) 一种基于感知去模糊的深度人脸图像修复方法
CN112884679A (zh) 一种图像转换方法、装置、存储介质和电子设备
CN114387467B (zh) 一种基于多模块卷积特征融合的医学图像分类方法
Tang et al. Ethnic costume grayscale image coloring method with improved Pix2Pix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant