CN113837934B - 图像生成方法及装置、电子设备和存储介质 - Google Patents

图像生成方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113837934B
CN113837934B CN202111417366.5A CN202111417366A CN113837934B CN 113837934 B CN113837934 B CN 113837934B CN 202111417366 A CN202111417366 A CN 202111417366A CN 113837934 B CN113837934 B CN 113837934B
Authority
CN
China
Prior art keywords
network
image generation
stylized
layer
generation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111417366.5A
Other languages
English (en)
Other versions
CN113837934A (zh
Inventor
顾天培
林纯泽
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202111417366.5A priority Critical patent/CN113837934B/zh
Publication of CN113837934A publication Critical patent/CN113837934A/zh
Application granted granted Critical
Publication of CN113837934B publication Critical patent/CN113837934B/zh
Priority to PCT/CN2022/125425 priority patent/WO2023093356A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种图像生成方法及装置、电子设备和存储介质，所述图像生成方法及装置、电子设备和存储介质通过获取真实化图像生成网络以及目标风格化图像生成网络；将同一随机数据分别输入至目标风格化图像生成网络以及真实化图像生成网络，得到目标风格化图像生成网络输出的目标风格化图像，以及真实化图像生成网络输出的目标真实化图像；将同一个随机数据对应的目标风格化图像与目标真实化图像，确定为一对配对图像。本公开实施例的图像生成方法及装置、电子设备和存储介质可实现降低了配对图像的构造成本。

Description

图像生成方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像生成方法及装置、电子设备和存储介质。
背景技术
图像风格化，就是将原始图像转换为特定风格的风格化图像，例如素描肖像风格，卡通形象风格，油画风格等。目前通常使用人工对一些原始图像进行一对一的风格化绘制，得到对应的风格化图像，这种方式费时费力，并且人工绘制的风格化图像可能无法兼具原始图像中足够的细节信息以及足够的风格化效果。
发明内容
本公开提出了一种图像生成技术方案。
根据本公开的一方面，提供了一种图像生成方法，包括：获取真实化图像生成网络以及目标风格化图像生成网络；将同一随机数据分别输入至所述目标风格化图像生成网络以及所述真实化图像生成网络，得到所述目标风格化图像生成网络输出的目标风格化图像，以及所述真实化图像生成网络输出的目标真实化图像，所述目标风格化图像具有目标风格，其中，所述目标风格化图像生成网络是将所述真实化图像生成网络与风格化图像生成网络进行融合得到的，所述风格化图像生成网络用于生成具有所述目标风格的图像；将同一个随机数据对应的所述目标风格化图像与所述目标真实化图像，确定为一对配对图像。通过该方式，利用随机数据，便可以生成大量配对图像，不仅降低了配对图像的构造成本，并且构造的配对图像中的目标风格化图像能够兼具足够的真实化细节与足够的风格化效果。
在一种可能的实现方式中，所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，其中，所述将所述真实化图像生成网络与所述风格化图像生成网络进行融合，包括：将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，得到所述目标风格化图像生成网络，I∈[1,N) ；其中，I的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。通过该方式，可以使目标风格化图像生成网络生成的目标风格化图像兼具足够的真实化细节与足够的风格化效果。
在一种可能的实现方式中，所述前I层网络层用于学习图像的低分辨率信息，低分辨率信息包括图像的边缘轮廓信息和风格信息；其中，所述将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，包括：将所述风格化图像生成网络的前I层网络层学习的低分辨率信息，与所述真实化图像生成网络的前I层网络层学习的低分辨率信息进行交换。通过该方式，可以使目标风格化图像生成网络兼顾真实化图像生成网络学习的低分辨率信息与风格化图像生成网络学习的高分辨率信息，进而可以生成兼具足够真实化细节与足够风格化效果的目标风格化图像。
在一种可能的实现方式中，所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，其中，所述将所述真实化图像生成网络与所述风格化图像生成网络进行融合，还包括：将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，得到所述目标风格化图像生成网络，J∈[1,N) ；其中，J的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。通过该方式，可以使目标风格化图像生成网络生成的目标风格化图像兼具足够的真实化细节与足够的风格化效果。
在一种可能的实现方式中，后J层网络层用于学习图像的高分辨率信息，高分辨率信息包括图像的细节信息；其中，所述将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，包括：将所述风格化图像生成网络的后J层网络层学习的高分辨率信息，与所述真实化图像生成网络的后J层网络层学习的高分辨率信息进行交换。通过该方式，可以使目标风格化图像生成网络兼顾风格化图像生成网络学习的低分辨率信息与真实化图像生成网络学习的高分辨率信息，进而可以生成兼具足够真实化细节与足够风格化效果的目标风格化图像。
在一种可能的实现方式中，所述风格化图像生成网络是基于风格化样本图像对所述真实化图像生成网络进行迁移学习得到的，所述风格化样本图像具有所述目标风格。通过该方式，可以使真实化图像生成网络与风格化图像生成网络的网络结构可以是相同的。
在一种可能的实现方式中，所述基于风格化样本图像对所述真实化图像生成网络进行迁移学习，包括：获取所述真实化图像生成网络，以及具有所述目标风格的风格化样本图像；利用所述风格化样本图像，对所述真实化图像生成网络进行迁移学习，得到所述风格化图像生成网络。通过该方式，可以使真实化图像生成网络与风格化图像生成网络的网络结构可以是相同的。
在一种可能的实现方式中，所述真实化图像生成网络是通过对逐分辨率递增的图像生成式对抗网络模型进行网络训练得到的，所述真实化图像生成网络具有N层网络层，每n层网络层表示一个分辨率层级，所述真实化图像生成网络用于逐分辨率层级生成不同分辨率的图像，N为正整数，n∈[1,N)。
在一种可能的实现方式中，所述配对图像为多对，多对所述配对图像用于训练初始网络得到目标风格化网络，所述目标风格化网络用于将输入的图像转化为具有所述目标风格的图像。通过该方式，能够利用配对图像，有效训练出能够将输入的图像转化为具有目标风格的图像的目标风格化网络。
根据本公开的一方面，提供了一种图像生成装置，包括：获取模块，用于获取真实化图像生成网络以及目标风格化图像生成网络；输出模块，用于将同一随机数据分别输入至所述目标风格化图像生成网络以及所述真实化图像生成网络，得到所述目标风格化图像生成网络输出的目标风格化图像，以及所述真实化图像生成网络输出的目标真实化图像，所述目标风格化图像具有目标风格，其中，所述目标风格化图像生成网络是将所述真实化图像生成网络与风格化图像生成网络进行融合得到的，所述风格化图像生成网络用于生成具有所述目标风格的图像；确定模块，用于将同一个随机数据对应的所述目标风格化图像与所述目标真实化图像，确定为一对配对图像。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，通过将真实化图像生成网络与风格化图像生成网络进行融合，得到目标风格化生成网络，进而利用随机数据，便可以生成大量配对图像，不仅降低了配对图像的构造成本，并且构造的配对图像中的目标风格化图像能够兼具足够的真实化细节与足够的风格化效果；另外，在将配对图像应用于网络模型训练中时，基于配对图像可以得到训练后的目标风格化网络，该得到的目标风格化网络能够将真实化图像转化成兼具足够的真实化细节与足够的风格化效果的图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的图像生成方法的流程图。
图2示出根据本公开实施例的一种网络融合的示意图。
图3示出根据本公开实施例的一种风格化程度的示意图。
图4示出根据本公开实施例的一种风格化程度的示意图。
图5示出根据本公开实施例的图像生成装置的框图。
图6示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开实施例的图像生成方法的流程图，所述图像生成方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现，或者，可通过服务器执行所述方法。如图1所示，所述图像生成方法包括：
在步骤S11中，获取真实化图像生成网络以及目标风格化图像生成网络。
其中，真实化图像生成网络用于生成真实化图像，目标风格化图像生成网络用于生成具有目标风格的目标风格化图像。真实化图像可以理解为不具有目标风格的图像，目标风格化图像可以理解为具有目标风格的图像。在一种可能的实现方式中，目标风格可以包括素描肖像风格，卡通形象风格，油画风格、漫画风格等任意图像风格，其中，漫画风格例如可以至少包括：SD娃娃，变小孩，CG风格1，厚涂，暗黑韩漫，韩漫，CG风格2。应理解的是，对于目标风格的种类，本公开实施例不作限制。
在一种可能的实现方式中，真实化图像生成网络可以通过对逐分辨率递增的图像生成式对抗网络模型进行网络训练得到的，其中，逐分辨率递增的图像生成式对抗网络模型，例如可以包括ProgressiveGAN、StyleGAN、StyleGANv1、StyleGANv2、StyleGANv3以及其它StyleGAN的衍生网络模型。
可知晓的是，这类逐分辨率递增的图像生成式对抗网络模型，包括生成网络G与判别网络D，且逐分辨率递增的图像生成式对抗网络模型的基本原理，可以简单理解为：将一个随机数据z（也可称为随机噪声）输入至生成网络G中，生成网络G通过这个随机数据生成图像G(z)，将生成图像G(z)输入至判别网络D中，通过判别网络D来判别输入的图像是不是真实的，或者说是不是生成网络G所生成的图像G(z)。
其中，逐分辨率递增，可以理解为，生成网络G的浅层网络层先学习并生成低分辨率的图像（如4×4的分辨率)，之后逐渐随着网络深度的增加，继续学习并生成更高分辨率的图像（如1024×1024的分辨率）。
在一种可能的实现方式中，真实化图像生成网络具有N层网络层，每n层网络层表示一个分辨率层级，真实化图像生成网络用于逐分辨率层级生成不同分辨率的图像，N为正整数，n∈[1,N)；例如，可以采用18层网络层的StyleGAN，其中，每两层可以表示一个分辨率层级，从4×4到1024×1024逐分辨率层级生成不同分辨率的图像。通过该方式，在对真实化图像生成网络以及风格化图像生成网络进行网络融合的时候，相当于是把两个网络各自学习到的低分辨率信息与高分辨率信息做了交换，其中，低分辨率信息包括图像的边缘轮廓信息和风格信息，高分辨信息包括图像的细节信息。
在上述逐分辨率递增的图像生成式对抗网络模型的训练过程中，生成网络G的目标就是尽量生成真实的图像去欺骗判别网络D，而判别网络D的目标就是尽量识别出生成网络G生成的图像；其中，可以利用生成网络G与判别网络D之间的对抗损失，训练该类图像生成式对抗网络模型，并可以将训练后的生成网络D作为真实化图像生成网络。应理解的是，本领域技术人员可以采用本领域已知的网络训练方式，训练该类逐分辨率递增的图像生成式对抗网络模型，对此本公开实施例不作限制。
在一种可能的实现方式中，目标风格化图像生成网络是将真实化图像生成网络与风格化图像生成网络进行融合得到的，风格化图像生成网络用于生成具有目标风格的图像；风格化图像生成网络是基于风格化样本图像对真实化图像生成网络进行迁移学习得到的，风格化样本图像具有目标风格。
如上所述，风格化图像生成网络可以是对真实化图像生成网络进行迁移学习得到的，那么真实化图像生成网络与风格化图像生成网络的网络结构可以是相同的，在一种可能的实现方式中，可以将真实化图像生成网络与风格化图像生成网络在特定的网络层进行互换融合，从而得到目标风格化图像生成网络，例如，将真实化图像生成网络的某几层网络层，替换为风格化图像生成网络中对应层级的网络层。
通过该方式，可以使目标风格化图像生成网络生成的目标风格化图，像兼具足够的真实化细节与足够的风格化效果。
在步骤S12中，将同一随机数据分别输入至目标风格化图像生成网络以及真实化图像生成网络，得到目标风格化图像生成网络输出的目标风格化图像，以及真实化图像生成网络输出的目标真实化图像，目标风格化图像具有目标风格。
如上所述，是将一个随机数据z（也可称为随机噪声）输入至生成网络G中，生成网络G通过这个随机数据生成图像G(z)；也即，真实化图像生成网络与目标风格化图像生成网络，实际上均是利用随机数据进行逐级上采样或者说逐级增加分辨率来生成图像的。为生成配对的目标真实化图像与目标风格化图像。
通过该方式，可以高效地生成配对图像，并且使目标真实化图像与目标风格化图像是对应匹配的，或者说，使目标风格化图像相当于是对目标真实化图像进行风格化后的图像。
在一种可能的实现方式中，随机数据可以包括：随机向量、特征矩阵、随机张量等任意类型的数值，其中，随机向量可以是服从高斯分布的隐向量，对此本公开实施例不作限制。
在步骤S13中，将同一个随机数据对应的目标风格化图像与目标真实化图像，确定为一对配对图像。
其中，随机数据可以是多个，生成的配对图像可以是多对，可理解的是，每对配对图像中的目标真实化图像与目标风格化图像是基于同一随机数据生成的。
在一种可能的实现方式中，配对图像可以用于训练初始网络，得到训练后的网络，该训练后的网络能够将输入的图像转化为具有目标风格的图像。其中，初始网络可以采用深度学习网络模型，例如可以采用卷积神经网络，对抗神经网络等网络模型。应理解的是，对于初始网络的网络结构、网络类型以及训练方式等，对此本公开实施例不作限制。
在本公开实施例中，通过将真实化图像生成网络与风格化图像生成网络进行融合，得到目标风格化生成网络，可以使目标风格化生成网络生成的目标风格化图像，能够兼具足够的真实化细节以及足够的风格化效果；从而利用真实化图像生成网络与目标风格化图像生成网络，可以高效地生成优质的配对图像。
如上所述，可以将真实化图像生成网络与风格化图像生成网络在特定的网络层进行互换融合，从而得到目标风格化图像生成网络。在一种可能的实现方式中，真实化图像生成网络与风格化图像生成网络各自具有N层网络层，N为正整数，其中，将真实化图像生成网络与风格化图像生成网络进行融合，可以包括：
将风格化图像生成网络的前I层网络层，替换为真实化图像生成网络的前I层网络层，得到目标风格化图像生成网络，I∈[1,N)。
其中，将风格化图像生成网络的前I层网络层，替换为真实化图像生成网络的前I层网络层，也即，将真实化图像生成网络的前I层网络层，与风格化图像生成网络的后N-I层网络层进行拼接。
举例来说，图2示出根据本公开实施例的一种网络融合的示意图，如图2所示，可以将真实化图像生成网络的前N/2层网络层，与风格化图像生成网络的后N/2层网络层进行拼接，也即将风格化图像生成网络的前N/2层网络层，替换为真实化图像生成网络的前N/2层网络层，得到目标风格化图像生成网络。
其中，N层网络层中每层网络输出的分辨率是逐层上升的，也即，N层网络层的前几层网络层可以认为是低分辨率层级，后几层网络层可以认为是高分辨率层级。由此可以理解的是，通过本公开实施例所得到的目标风格化图像生成网络，在生成目标风格化过程中，可以简单理解为，先基于随机数据逐级生成真实化的中间图，进而逐级在真实化的中间图上添加风格化效果，得到目标风格化图像。
如上所述，在对真实化图像生成网络以及风格化图像生成网络进行网络融合的时候，相当于是把两个网络各自学习到的低分辨率信息与高分辨率信息做了交换，其中，低分辨率信息包括图像的边缘轮廓信息和风格信息，高分辨信息包括图像的细节信息。也即，两个网络的前I层网络层用于学习低分辨率信息，后N-1层网络层用于学习高分辨率信息。
在一种可能的实现方式中，将风格化图像生成网络的前I层网络层，替换为真实化图像生成网络的前I层网络层，包括：将风格化图像生成网络的前I层网络层学习的低分辨率信息，与真实化图像生成网络的前I层网络层学习的低分辨率信息进行交换。通过该方式，可以使目标风格化图像生成网络兼顾真实化图像生成网络学习的低分辨率信息与风格化图像生成网络学习的高分辨率信息，进而可以生成兼具足够真实化细节与足够风格化效果的目标风格化图像。
在一种可能的实现方式中，I的值可以根据风格化程度的需求设置，其中，I的值与目标风格化图像生成网络所生成的目标风格化图像的风格化程度成负相关，可以理解为，I的值越小，目标风格化图像生成网络生成的目标风格化图像越接近风格化效果（或者说越不像真实化图像），也即风格化程度越高；I的值越大，目标风格化图像越接近真实化效果（或者说越像真实化图像），也即风格化程度越低。图3示出根据本公开实施例的一种风格化程度的示意图，如图3所示，I的值越大，风格化程度越接近真实化效果，也即越像真实人脸，I的值越小，风格化程序越接近风格化效果，也即越不像真实人脸。
在本公开实施例中，可以使目标风格化图像生成网络生成的目标风格化图像兼具足够的真实化细节与足够的风格化效果。
在一种可能的实现方式中，真实化图像生成网络与风格化图像生成网络各自具有N层网络层，N为正整数，其中，将真实化图像生成网络与风格化图像生成网络进行融合，还可以包括：
将风格化图像生成网络的后J层网络层，替换为真实化图像生成网络的后J层网络层，得到目标风格化图像生成网络，J∈[1,N)。
其中，将风格化图像生成网络的后J层网络层，替换为真实化图像生成网络的后J层网络层，也即，将真实化图像生成网络的后J层网络层，与风格化图像生成网络的前N-J层网络层进行拼接。
如上所述，N层网络层中每层网络输出的分辨率是逐层上升的，也即，N层网络层的前几层网络层可以认为是低分辨率层级，后几层网络层可以认为是高分辨率层级。由此可以理解的是，通过本公开实施例所得到的目标风格化图像生成网络，在生成目标风格化过程中，可以简单理解为，先基于随机数据逐级生成风格化的中间图，进而逐级在风格化的中间图上添加真实化细节，得到目标风格化图像。
如上所述，在对真实化图像生成网络以及风格化图像生成网络进行网络融合的时候，相当于是把两个网络各自学习到的低分辨率信息与高分辨率信息做了交换，其中，低分辨率信息包括图像的边缘轮廓信息和风格信息，高分辨信息包括图像的细节信息。也即，两个网络的前N-J层网络层用于学习低分辨率信息，后J层网络层用于学习高分辨率信息。
在一种可能的实现方式中，将风格化图像生成网络的后J层网络层，替换为真实化图像生成网络的后J层网络层，包括：将风格化图像生成网络的后J层网络层学习的高分辨率信息，与真实化图像生成网络的后J层网络层学习的高分辨率信息进行交换。通过该方式，可以使目标风格化图像生成网络兼顾风格化图像生成网络学习的低分辨率信息与真实化图像生成网络学习的高分辨率信息，进而可以生成兼具足够真实化细节与足够风格化效果的目标风格化图像。
在一种可能的实现方式中，J的值可以根据具体风格化需求设置，其中，J的值与目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关，可以理解为，J的值越大，目标风格化图像生成网络生成的目标风格化图像越接近真实化效果（或者说越像真实化图像），风格化程度越低，J的值越小，目标风格化图像越接近风格化效果（或者说越不像真实化图像），风格化程度越高。图4示出根据本公开实施例的风格化程度的示意图，如图4所示，J的值越小，风格化程度越高，也即越不像真实人脸，J的值越大，风格化程度越低，也即越像真实人脸。
在本公开实施例中，可以使目标风格化图像生成网络生成的目标风格化图像兼具足够的真实化细节与足够的风格化效果。
如上所述，风格化图像生成网络是基于风格化样本图像对真实化图像生成网络进行迁移学习得到的，在一种可能的实现方式中，基于风格化样本图像对真实化图像生成网络进行迁移学习，包括：
获取真实化图像生成网络，以及具有目标风格的风格化样本图像；利用风格化样本图像，对真实化图像生成网络进行迁移学习，得到风格化图像生成网络。
其中，真实化图像生成网络，可以是按照上述网络训练过程训练得到的生成网络D。迁移学习可以理解为，使真实化图像生成网络学习风格化样本图像中的目标风格，从而生成具有目标风格的风格化图像，也即得到风格化图像生成网络。
应理解的是，本领域技术人员可以采用本领域已知的迁移学习技术，实现利用风格化样本图像，对真实化图像生成网络进行迁移学习，得到风格化图像生成网络，对此本公开实施例不作限制。
在一种可能的实现方式中，也可以参照上述真实化图像生成网络的训练方式，通过训练上述逐分辨率递增的图像生成式对抗网络模型，得到风格化图像生成网络；进而可以利用真实化样本图像，对风格化图像生成网络进行迁移学习，得到真实化图像生成网络，对此本公开实施例不作限制。
在本公开实施例中，可以高效地得到风格化图像生成网络，且风格化图像生成网络可以保持真实化图像生成网络的网络结构，不会增加风格化图像生成网络的参数量，便于之后将真实化图像生成网络与风格化图像生成网络进行融合。
如上所述，可以将同一随机数据分别输入至目标风格化图像生成网络以及真实化图像生成网络，得到目标风格化图像以及目标真实化图像。随机数据可以是多个，也即配对图像可以为多对，在一种可能的实现方式中，多对配对图像可以用于训练初始网络得到目标风格化网络，目标风格化网络用于将输入的原始图像转化为具有目标风格的图像。
如上所述，初始网络可以采用本领域已知的深度学习网络模型，例如可以采用卷积神经网络，对抗神经网络等网络模型。应理解的是，对于初始网络的网络结构以及网络类型等，对此本公开实施例不作限制。
在一种可能的实现方式中，利用配对图像训练初始网络的训练过程，例如可以包括：将配对图像中的目标真实化图像输入至初始网络中，得到初始网络输出的预测风格化图像；根据预测风格化图像与配对图像中的目标风格化图像之间的损失，通过梯度下降、反向传播等方式，优化初始网络的网络参数至该损失收敛，得到目标风格化网络。
其中，可以根据预测风格化图像与目标风格化图像之间的距离，确定预测风格化图像与目标风格化图像之间的损失，其中，该距离可以包括：预测风格化图像与目标风格化图像之间的L1距离或L2距离等，并通过指定的损失函数（例如L1损失函数、L2损失函数），确定预测风格化图像与目标风格化图像之间的损失。
应理解的是，上述利用配对图像训练初始网络的训练过程，是本公开实施例提供的一种实现方式，实际上，本领域技术人员可以采用本领域任意已知的网络训练方式，实现利用配对图像来训练初始网络，得到训练后的目标风格化网络。
在一种可能的实现方式中，在得到训练后的目标风格化网络后，可以将目标风格化网络应用于短视频应用程序、摄影应用程序、游戏应用程序、社交应用程序以及各种风格的漫画人脸生成工具中，从而可以利用目标风格化图像将实际采集的人脸图像，转化为具有目标风格的风格化人脸图像。
在本公开实施例中，能够利用配对图像，有效训练出能够将输入的图像转化为具有目标风格的图像的目标风格化网络。
根据本公开实施例中的图像生成方法，用户可以仅提供少量风格化样本图像，便可以得到风格化图像生成网络，以及目标风格化图像生成网络；进而利用随机数据，便可以生成大量配对图像，不仅降低了配对图像的构造成本，并且构造的配对图像中的目标风格化图像能够兼具足够的真实化细节与足够的风格化效果，另外，在将配对图像应用于网络模型训练中时，基于配对图像可以得到训练后的目标风格化网络，该得到的目标风格化网络能够将真实化图像转化成兼具足够的真实化细节与足够的风格化效果的图像。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了图像生成装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像生成方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图5示出根据本公开实施例的图像生成装置的框图，如图5所示，所述装置包括：
获取模块101，用于获取真实化图像生成网络以及目标风格化图像生成网络；
输出模块102，用于将同一随机数据分别输入至所述目标风格化图像生成网络以及所述真实化图像生成网络，得到所述目标风格化图像生成网络输出的目标风格化图像，以及所述真实化图像生成网络输出的目标真实化图像，所述目标风格化图像具有目标风格，其中，所述目标风格化图像生成网络是将所述真实化图像生成网络与风格化图像生成网络进行融合得到的，所述风格化图像生成网络用于生成具有所述目标风格的图像；
确定模块103，用于将同一个随机数据对应的所述目标风格化图像与所述目标真实化图像，确定为一对配对图像。
在一种可能的实现方式中，所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，其中，所述将所述真实化图像生成网络与所述风格化图像生成网络进行融合，包括：将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，得到所述目标风格化图像生成网络，I∈[1,N) ；其中，I的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。
在一种可能的实现方式中，所述前I层网络层用于学习图像的低分辨率信息，低分辨率信息包括图像的边缘轮廓信息和风格信息；其中，所述将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，包括：将所述风格化图像生成网络的前I层网络层学习的低分辨率信息与所述真实化图像生成网络的前I层网络层学习的低分辨率信息进行交换。
在一种可能的实现方式中，所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，其中，所述将所述真实化图像生成网络与所述风格化图像生成网络进行融合，还包括：将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，得到所述目标风格化图像生成网络，J∈[1,N) ；其中，J的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。
在一种可能的实现方式中，后J层网络层用于学习图像的高分辨率信息，高分辨率信息包括图像的细节信息；其中，所述将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，包括：将所述风格化图像生成网络的后J层网络层学习的高分辨率信息与所述真实化图像生成网络的后J层网络层学习的高分辨率信息进行交换。
在一种可能的实现方式中，所述风格化图像生成网络是基于风格化样本图像对所述真实化图像生成网络进行迁移学习得到的，所述风格化样本图像具有所述目标风格。
在一种可能的实现方式中，所述基于风格化样本图像对所述真实化图像生成网络进行迁移学习，包括：获取所述真实化图像生成网络，以及具有所述目标风格的风格化样本图像；利用所述风格化样本图像，对所述真实化图像生成网络进行迁移学习，得到所述风格化图像生成网络。
在一种可能的实现方式中，所述真实化图像生成网络是通过对逐分辨率递增的图像生成式对抗网络模型进行网络训练得到的，所述真实化图像生成网络具有N层网络层，每n层网络层表示一个分辨率层级，所述真实化图像生成网络用于逐分辨率层级生成不同分辨率的图像，N为正整数，n∈[1,N)。
在一种可能的实现方式中，所述配对图像为多对，多对所述配对图像用于训练初始网络得到目标风格化网络，所述目标风格化网络用于将输入的图像转化为具有所述目标风格的图像。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟网络展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行网络训练而得到的网络。
图6示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器或终端。参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统（Windows ServerTM），苹果公司推出的基于图形用户界面操作系统(Mac OS XTM)，多用户多进程的计算机操作系统（UnixTM）, 自由和开放原代码的类Unix操作系统（LinuxTM），开放原代码的类Unix操作系统（FreeBSDTM）或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是（但不限于）电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (12)

1.一种图像生成方法，其特征在于，包括：
获取真实化图像生成网络以及目标风格化图像生成网络；所述真实化图像生成网络用于生成真实化图像；
将同一随机数据分别输入至所述目标风格化图像生成网络以及所述真实化图像生成网络，得到所述目标风格化图像生成网络输出的目标风格化图像，以及所述真实化图像生成网络输出的目标真实化图像，所述目标风格化图像具有目标风格，其中，所述目标风格化图像生成网络是将风格化图像生成网络的特定网络层替换为所述真实化图像生成网络的特定网络层后得到的，所述风格化图像生成网络用于生成具有所述目标风格的图像；所述特定网络层包括用于学习图像的低分辨率信息的前I层网络层，或，用于学习图像的高分辨率信息的后J层网络层；所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，I∈[1,N)，J∈[1,N)；
将同一个随机数据对应的所述目标风格化图像与所述目标真实化图像，确定为一对配对图像。
2.根据权利要求1所述的方法，其特征在于，所述将风格化图像生成网络的特定网络层替换为所述真实化图像生成网络的特定网络层，包括：
将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，得到所述目标风格化图像生成网络；其中，I的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。
3.根据权利要求2所述的方法，其特征在于，所述低分辨率信息包括图像的边缘轮廓信息和风格信息；
其中，所述将所述风格化图像生成网络的前I层网络层，替换为所述真实化图像生成网络的前I层网络层，包括：
将所述风格化图像生成网络的前I层网络层学习的低分辨率信息，与所述真实化图像生成网络的前I层网络层学习的低分辨率信息进行交换。
4.根据权利要求1所述的方法，其特征在于，所述将风格化图像生成网络的特定网络层替换为所述真实化图像生成网络的特定网络层，还包括：
将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，得到所述目标风格化图像生成网络；其中，J的值与所述目标风格化图像生成网络生成的目标风格化图像的风格化程度成负相关。
5.根据权利要求4所述的方法，其特征在于，所述高分辨率信息包括图像的细节信息；
其中，所述将所述风格化图像生成网络的后J层网络层，替换为所述真实化图像生成网络的后J层网络层，包括：
将所述风格化图像生成网络的后J层网络层学习的高分辨率信息，与所述真实化图像生成网络的后J层网络层学习的高分辨率信息进行交换。
6.根据权利要求1至5任一所述的方法，其特征在于，所述风格化图像生成网络是基于风格化样本图像对所述真实化图像生成网络进行迁移学习得到的，所述风格化样本图像具有所述目标风格。
7.根据权利要求6所述的方法，其特征在于，所述基于风格化样本图像对所述真实化图像生成网络进行迁移学习，包括：
获取所述真实化图像生成网络，以及具有所述目标风格的风格化样本图像；
利用所述风格化样本图像，对所述真实化图像生成网络进行迁移学习，得到所述风格化图像生成网络。
8.根据权利要求1至5任一所述的方法，其特征在于，所述真实化图像生成网络是通过对逐分辨率递增的图像生成式对抗网络模型进行网络训练得到的，所述真实化图像生成网络具有N层网络层，每n层网络层表示一个分辨率层级，所述真实化图像生成网络用于逐分辨率层级生成不同分辨率的图像，N为正整数，n∈[1,N)。
9.根据权利要求1至5任一所述的方法，其特征在于，所述配对图像为多对，多对所述配对图像用于训练初始网络得到目标风格化网络，所述目标风格化网络用于将输入的图像转化为具有所述目标风格的图像。
10.一种图像生成装置，其特征在于，包括：
获取模块，用于获取真实化图像生成网络以及目标风格化图像生成网络；所述真实化图像生成网络用于生成真实化图像；
输出模块，用于将同一随机数据分别输入至所述目标风格化图像生成网络以及所述真实化图像生成网络，得到所述目标风格化图像生成网络输出的目标风格化图像，以及所述真实化图像生成网络输出的目标真实化图像，所述目标风格化图像具有目标风格，其中，所述目标风格化图像生成网络是将风格化图像生成网络的特定网络层替换为所述真实化图像生成网络的特定网络层后得到的，所述风格化图像生成网络用于生成具有所述目标风格的图像；所述特定网络层包括用于学习图像的低分辨率信息的前I层网络层，或，用于学习图像的高分辨率信息的后J层网络层；所述真实化图像生成网络与所述风格化图像生成网络各自具有N层网络层，N为正整数，I∈[1,N)，J∈[1,N)；
确定模块，用于将同一个随机数据对应的所述目标风格化图像与所述目标真实化图像，确定为一对配对图像。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至9中任意一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。
CN202111417366.5A 2021-11-26 2021-11-26 图像生成方法及装置、电子设备和存储介质 Active CN113837934B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111417366.5A CN113837934B (zh) 2021-11-26 2021-11-26 图像生成方法及装置、电子设备和存储介质
PCT/CN2022/125425 WO2023093356A1 (zh) 2021-11-26 2022-10-14 图像生成方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111417366.5A CN113837934B (zh) 2021-11-26 2021-11-26 图像生成方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113837934A CN113837934A (zh) 2021-12-24
CN113837934B true CN113837934B (zh) 2022-02-22

Family

ID=78971499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111417366.5A Active CN113837934B (zh) 2021-11-26 2021-11-26 图像生成方法及装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113837934B (zh)
WO (1) WO2023093356A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837934B (zh) * 2021-11-26 2022-02-22 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN114418835B (zh) * 2022-01-25 2024-07-26 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN114743080A (zh) * 2022-03-04 2022-07-12 商汤国际私人有限公司 图像处理方法及装置、终端、存储介质
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN115357218A (zh) * 2022-08-02 2022-11-18 北京航空航天大学 一种基于混沌预测对抗学习的高熵随机数生成方法
CN115170390B (zh) * 2022-08-31 2023-01-06 广州极尚网络技术有限公司 一种文件风格化方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223039A (zh) * 2020-01-08 2020-06-02 广东博智林机器人有限公司 图像风格转换方法、装置、电子设备及存储介质
CN111402112A (zh) * 2020-03-09 2020-07-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN113111791A (zh) * 2021-04-16 2021-07-13 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113240576A (zh) * 2021-05-12 2021-08-10 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
US10748324B2 (en) * 2018-11-08 2020-08-18 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN110310221B (zh) * 2019-06-14 2022-09-20 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN112967174B (zh) * 2021-01-21 2024-02-09 北京达佳互联信息技术有限公司 图像生成模型训练、图像生成方法、装置及存储介质
CN113837934B (zh) * 2021-11-26 2022-02-22 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223039A (zh) * 2020-01-08 2020-06-02 广东博智林机器人有限公司 图像风格转换方法、装置、电子设备及存储介质
CN111402112A (zh) * 2020-03-09 2020-07-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN113111791A (zh) * 2021-04-16 2021-07-13 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113240576A (zh) * 2021-05-12 2021-08-10 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113837934A (zh) 2021-12-24
WO2023093356A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN113837934B (zh) 图像生成方法及装置、电子设备和存储介质
CN109377544A (zh) 一种人脸三维图像生成方法、装置和可读介质
CN110264509A (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN112966742A (zh) 模型训练方法、目标检测方法、装置和电子设备
CN109977847A (zh) 图像生成方法及装置、电子设备和存储介质
CN111598111B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN109712234A (zh) 三维人体模型的生成方法、装置、设备和存储介质
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
CN114549710A (zh) 一种虚拟形象的生成方法、装置、电子设备及存储介质
CN113379896A (zh) 三维重建方法及装置、电子设备和存储介质
CN112258619A (zh) 一种图像处理方法和装置
CN113822798B (zh) 生成对抗网络训练方法及装置、电子设备和存储介质
CN110148212B (zh) 一种动作序列生成方法及装置、电子设备和存储介质
CN115018979A (zh) 图像重建方法、装置、电子设备、存储介质和程序产品
CN113240789B (zh) 虚拟对象构建方法及装置
CN114140320A (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN115761389A (zh) 图像样本的增广方法、装置、电子设备及存储介质
CN113223128B (zh) 用于生成图像的方法和装置
CN113837933A (zh) 网络训练及图像生成方法、装置、电子设备和存储介质
CN114202606A (zh) 图像处理方法、电子设置、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40062531

Country of ref document: HK