CN115100334A - 一种图像描边、图像动漫化方法、设备及存储介质 - Google Patents

一种图像描边、图像动漫化方法、设备及存储介质 Download PDF

Info

Publication number
CN115100334A
CN115100334A CN202211018572.3A CN202211018572A CN115100334A CN 115100334 A CN115100334 A CN 115100334A CN 202211018572 A CN202211018572 A CN 202211018572A CN 115100334 A CN115100334 A CN 115100334A
Authority
CN
China
Prior art keywords
image data
data
animation
network
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211018572.3A
Other languages
English (en)
Other versions
CN115100334B (zh
Inventor
王传鹏
李腾飞
张昕玥
卢炬康
张婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jishang Network Technology Co ltd
Original Assignee
Guangzhou Jishang Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jishang Network Technology Co ltd filed Critical Guangzhou Jishang Network Technology Co ltd
Priority to CN202211018572.3A priority Critical patent/CN115100334B/zh
Publication of CN115100334A publication Critical patent/CN115100334A/zh
Application granted granted Critical
Publication of CN115100334B publication Critical patent/CN115100334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像描边、图像动漫化方法、装置、设备及存储介质，该方法包括：分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；获取待描边的原始图像数据；对动漫图像重构网络选定重构动漫风格的强度；根据强度调整动漫图像重构网络；若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据；将动漫图像数据输入边缘重构网络中、将动漫图像数据重构为描边图像数据，描边图像数据为动漫图像数据中色块的边缘；将描边图像数据叠加在原始图像数据上，得到目标图像数据。动漫图像数据的色彩较为丰富，具有较为明显的色块，色块能够较为明显地区分边缘，可提高描边的精确度。

Description

一种图像描边、图像动漫化方法、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种图像描边、图像动漫化方法、装置、设备及存储介质。
背景技术
在短视频等多媒体制作的场景中，用户会制作各种不同类型的视频数据，在录制原始的视频数据之后，通常会对视频数据进行后期处理，从而提升视频数据的质量。
因某些业务需求，部分后期处理是将视频数据的风格转换至不同风格，而目前常用的后期处理是对视频数据中各帧图像数据添加滤镜，将视频数据整体转换至其他风格，例如，复古、胶片、落日，等等。
但是，滤镜通常是在像素点的颜色值进行调整，并添加其他装饰使用的元素，效果较为单一，使用多个滤镜叠加也难以实现风格，而如果在制作视频数据时按照游戏的风格进行设计，这会大大提高制作视频数据的门槛，导致制作视频数据的耗时大大延长，制作视频数据的效率低。
发明内容
本发明提供了一种图像描边、图像动漫化方法、装置、设备及存储介质，以解决如何高效风格化图像数据。
根据本发明的一方面，提供了一种图像描边方法，包括：
分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；
获取待描边的原始图像数据；
对所述动漫图像重构网络选定重构动漫风格的强度；
根据所述强度调整所述动漫图像重构网络；
若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
将所述动漫图像数据输入所述边缘重构网络中、将所述动漫图像数据重构为描边图像数据，所述描边图像数据为所述动漫图像数据中色块的边缘；
将所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据。
根据本发明的另一方面，提供了一种图像动漫化方法，包括：
加载属于生成对抗网络的动漫图像重构网络；
获取待重构动漫风格的原始图像数据；
对所述动漫图像重构网络选定重构动漫风格的强度；
根据所述强度调整所述动漫图像重构网络；
若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
根据所述原始图像数据修正所述动漫图像数据，得到目标图像数据。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的图像描边方法或者图像动漫化方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的图像描边方法或者图像动漫化方法。
在本实施例中，分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；获取待描边的原始图像数据；对动漫图像重构网络选定重构动漫风格的强度；根据强度调整动漫图像重构网络；若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据，动漫图像数据维持原始图像数据的内容、且内容具备符合强度的动漫风格；将动漫图像数据输入边缘重构网络中、将动漫图像数据重构为描边图像数据，描边图像数据为动漫图像数据中色块的边缘；将描边图像数据叠加在原始图像数据上，得到目标图像数据。动漫风格的强度可以调整，灵活性高，给用户提供了更高的设计自由度，降低了风格化的门槛，动漫图像数据的色彩较为丰富，具有较为明显的色块，色块能够较为明显地区分边缘，可提高描边的精确度，并且，动漫图像重构网络可复用在其他项目中，可以减少重复开发的工作，降低开发的成本，重构动漫风格、重构边缘均属于后期处理，可以维持制作视频数据的门槛，维持制作视频数据的耗时，大大提高了制作油画风格的视频数据的效率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种图像描边方法的流程图；
图2A-图2D是根据本发明实施例一提供的一种描边的示例图；
图3是根据本发明实施例一提供的一种动漫图像重构网络的结构示意图；
图4是根据本发明实施例二提供的一种图像动漫化方法的流程图；
图5A-图5E是根据本发明实施例二提供的一种动漫化的示例图；
图6是根据本发明实施例三提供的一种图像描边装置的结构示意图；
图7是根据本发明实施例四提供的一种图像动漫化装置的结构示意图；
图8是实现本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种图像描边方法的流程图，本实施例可适用于在动漫图像重构网络对图像数据重构动漫风格的基础上、边缘重构网络对图像数据描边的情况，该方法可以由图像描边装置来执行，该图像描边装置可以采用硬件和/或软件的形式实现，该图像描边装置可配置于电子设备中。如图1所示，该方法包括：
步骤101、分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络。
在本实施例中，可以预先构建两个相互独立的生成对抗网络（GenerativeAdversarial Network，GAN），将其中一个生成对抗网络训练为动漫图像重构网络，将另外一个生成对抗网络训练为边缘重构网络。
其中，动漫图像重构网络用于在维持图像数据的内容的基础上、将该图像数据的内容重构为指定强度的动漫风格；边缘重构网络用于重构为图像数据中色块的边缘，实现描边的效果。
由于动漫图像重构网络的功能与边缘重构网络的功能有所不同，因而动漫图像重构网络的结构与边缘重构网络的结构通常并不相同。
一般情况下，生成对抗网络包括生成器和判别器。其中，生成器负责依据随机向量产生内容，在本实施例中，该内容为图像数据，尤其为具有由游戏改编的动画的风格的图像数据；判别器负责判别接收的内容是否是真实的，判别器通常会给出一个概率，代表内容的真实度。
生成器和判别器可以使用不同的结构，对于处理图像数据的功能，这些结构不局限于人工设计的神经网络，如卷积层（Convolutional Layer）、全连接层（Fully ConnectedLayers）等，也可以通过模型量化方法优化的神经网络，通过NAS（Neural ArchitectureSearch，神经网络结构搜索）方法针对动漫风格、描边搜索的神经网络，等等，本实施例对此不加以限制。
针对不同结构的生成器和判别器，可以将生成对抗网络划分为如下类型：
DCGAN（深度卷积生成对抗网络）、CGAN（条件生成对抗网络）、CycleGAN（周期生成对抗网络）、CoGAN（耦合生成对抗网络）、ProGAN（生成对抗网络的渐进式增长）、WGAN（Wasserstein 生成对抗网络）、SAGAN（自注意力生成对抗网络）、BigGAN（大生成对抗性网络）、StyleGAN（基于风格的生成对抗网络）。
生成器和判别器存在对抗，所谓对抗，可以指在生成对抗网络交替训练的过程，以生成具有动画风格的图像数据为例，让生成器生成一些假的图像数据和真的图像数据，一起交给判别器判别，让它学习区分两者，给真的图像数据（即具有动画风格的图像数据）评高分，给假的图像数据（即不具有动画风格的图像数据）评低分，当判别器能够熟练判断现有的图像数据后，让生成器以从判别器处获得高分为目标，不断生成更好的假的图像数据，直到能骗过判别器，重复这一过程，直到判别器对任何图像数据的预测概率都接近0.5，也就是无法判别图像数据的真假，即可停止训练了。
在本发明的一个实施例中，训练动漫图像重构网络的方法如下：
步骤1011、采集内容为真实世界的第一样本图像数据。
在本实施例中，可以通过向版权方申请、公开的数据集、自行录制等方式采集多帧图像数据，这些图像数据的内容记录真实世界的各个场景，可作为训练动漫图像重构网络的样本，且是内容的来源，可记为第一样本图像数据。
其中，真实世界的各个场景既可以包括真实的自然环境，也可以包括真实的建筑，还可以包括真实的人、动物，等等，本实施例对此不加以限制。
步骤1012、采集内容为动漫的视频数据，作为动漫视频数据。
在本实施例中，可以通过向版权方申请、公开的数据集等方式采集多个内容为动漫的视频数据，记为动漫视频数据。
其中，这些动漫视频数据的形式可以为在TV（television，电视）上播放的动画数据，也可以为单独的电影数据，还可以是OVA（Original Video Animation，原创光盘动画），等等，本实施例对此不加以限制。
在一个示例中，为了提高动漫风格的统一程度并且提高用户对动漫风格的熟悉程度，可以预先确定在动漫的电影数据制作上较为知名的地区（如国家），记为目标地区，目标地区中的动漫通常具有较为明显的色块。
在目标地区所有的导演中筛选一个或多个较为知名的导演，这些导演监制的动漫具有较为鲜明的风格，且是用户熟悉的风格，可作为该目标地区的代表。
从而采集这些导演监制的、内容为动漫的电影数据，作为动漫视频数据。
步骤1013、在动漫视频数据中提取多帧图像数据，作为第二样本图像数据。
在动漫视频数据中可通过随机、间隔固定的时长等方式抽取多帧图像数据，记为第二样本图像数据。
步骤1014、以第一样本图像数据作为内容的来源、第二样本图像数据作为风格的来源，将生成对抗网络训练为动漫图像重构网络。
在本实施例中，第一样本图像数据与第二样本图像数据均属于样本，第一样本图像数据可作为的内容来源、第二样本图像数据可作为风格的来源训练生成对抗网络，在训练结束时，生成对抗网络具备对图像数据重构动漫风格的能力，因而可记为动漫图像重构网络。
进一步而言，训练生成对抗网络的样本可选为成对数据（paired data），这样子可提升生成对抗网络的性能，但这要求收集第二样本图像数据对应的真实世界的图像数据，但实际上大部分第二样本图像数据并不存在对应的真实世界的图像数据，因此，本实施例中的生成对抗网络支持利用非成对数据（unpaired data）训练，例如，CycleGAN、StyleGAN，等等。
在某种训练模式中，为了保持重构的图像数据内容信息不变，不能有太多的噪声等，生成对抗网络可将作为样本的原图和风格图分为三个表征、作为额外添加的LOSS（损失值）：
1、surface（表面）表征
提取表面表征来表示图像数据的光滑表面。给定图像数据，可提取加权低频分量，其中颜色成分和表面纹理被保留，边缘、纹理和细节被忽略，可用于实现平滑表面的灵活和可学习的特征表示。
2、structure（结构）表征
结构表征可有效抓住赛璐珞卡通风格中的全局结构信息和稀疏色块从输入的图像数据中提取分割区域，对每个分割区域应用自适应着色算法以生成结构表征。结构表征可模仿赛璐珞卡通风格，其特点是边界清晰，色块稀疏。
3、texture（纹理）表征
纹理表征包含绘制的细节和边缘。输入的图像数据被转换为单通道强度图，其中去除了颜色和亮度，并保留了相对像素强度。纹理表征可引导网络独立学习高频纹理细节，排除颜色和亮度模式。
为保证最后重构的图像数据和原始的图像数据内容一致，额外添加内容差异（LOSS），即，后将生成器Generator生成的图像数据fake_image与超像素处理（把一些有相似特征的像素聚合，形成一些更有代表性的元素。作为图像预处理的步骤，可以在不牺牲过多精度的同时降低维度，增加处理速度）后的图像数据fake_image通过VGG（VisualGeometry Group，视觉几何小组）抽取特征，进行欧式空间距离计算内容差异。
为了加强空间的平滑性，额外添加图像数据梯度的约束（LOSS），保证图片梯度不太大。
通过平衡表面表征、结构表征、纹理表征、内容差异、梯度的约束（LOSS）的权重来控制图像数据输出的风格。
在本发明的另一个实施例中，在训练边缘重构网络时，一方面，可以通过向版权方申请、公开的数据集、自行制作等方式采集具备色块、且色块较为明显的图像数据，作为第三样本图像数据。
以自行制作为例，若训练动漫图像重构网络第二样本图像数据具有较为明显的色块，则可以将一些图像数据（如第一样本图像数据）输入动漫图像重构网络中进行处理，动漫图像重构网络将原始图像数据重构为动漫图像数据，其中，动漫图像数据维持该原始图像数据的内容、且内容具备符合指定强度的动漫风格。
另一方面，可以通过向版权方申请、公开的数据集、自行制作等方式采集具有线条的图像数据，作为第四样本图像数据。
以自行制作为例，可以使用Roberts、Prewitt、Sobel、Canny、Laplacian等算法检测第三样本图像数据的边缘，得到第四样本图像数据。
从而以第三样本图像数据作为内容的来源、第四样本图像数据作为风格的来源，将生成对抗网络训练为边缘重构网络。
如果第三样本图像数据、第四样本图像数据成对数据（paired data），以成对数据训练生成对抗网络的样本，可提升生成对抗网络的性能。
在应用对图像数据描边时，可将动漫图像重构网络及其参数、边缘重构网络及其参数加载至内存进行运行。
以Perceptual Losses for Real-Time Style Transfer and Super-Resolution（固定风格任意内容的快速风格迁移网络）作为边缘重构网络的为例，固定风格任意内容的快速风格迁移网络包括图像转换网络（Image Transform Network）和损失网络（LossNetwor），图像转换网络一般为一些卷积的堆积，利用残差学习与跳跃链接优化，通过训练图像转换网络的权值来实现快速风格迁移，由于图像转换网络可以接受任意图像，所以这是任意内容的风格迁移，损失网络一般为VGG 16。
设初始图像为x，风格目标图为ys，内容目标图为yc，将初始图像x经过图像转换网络处理得到输出图像yx，映射关系为: yx= fW(x)，其中，W为是图像转换网络的参数，x是图像转换网络的输入，yx是图像转换网络的输出。
损失网络的作用如下：
1、内容层面
将yx与yc在损失网络中间层的欧式距离作为Loss训练图像转换网络，使yx与yc越来越接近。
2、风格层面
将yx与ys在损失网络多个中间层得到的feature map（特征图）生成的Gram（格拉姆）矩阵的欧式距离加权和作为Loss训练图像转换网络，使yx与ys越来越接近。
步骤102、获取待描边的原始图像数据。
一般情况下，动漫图像重构网络、边缘重构网络的结构、参数均较为庞大，占用的资源较多，通常部署在服务端，服务端可将动漫图像重构网络、边缘重构网络组合封装成接口、插件等方式，面向局域网或公网的用户提供描边的服务，用户可以根据业务的需求通过客户端或浏览器以调用该接口、插件等方式将待描边的图像数据或视频数据传输至服务端。
当然，如果诸如个人电脑、笔记本电脑等电子设备本地的资源较多，可满足动漫图像重构网络、边缘重构网络的运行，则可以在电子设备本地加载并运行动漫图像重构网络、边缘重构网络，此时，可以根据业务的需求通过命令行等方式输入待描边的图像数据或视频数据，本实施例对此不加以限制。
进一步而言，视频数据中包含多帧图像数据，每帧图像数据均为待描边的图像数据，为便于区分，待描边的图像数据记为原始图像数据，待描边的视频数据记为原始视频数据。
在不同的业务中，图像数据、视频数据的形式有所不同，例如，在美颜的业务中，图像数据多为用户拍摄的照片，在短视频的业务中，视频数据为用户制作的短视频，等等，本实施例对此不加以限制。
在一个示例中，可接收内容为介绍游戏的原始视频数据，从而从原始视频数据中提取每帧图像数据，作为待描边的原始图像数据。
在本示例中，用户可以针对待推广目标的游戏制作原始视频数据，即该原始视频数据的内容用于介绍该游戏。
其中，游戏的类型可以包括游戏的类型可以包括MOBA（Multiplayer OnlineBattle Arena，多人在线战术竞技游戏）、RPG（Role-playing game，角色扮演游戏）、SLG（Simulation Game，策略类游戏），等等，本实施例对此不加以限制。
进一步而言，根据业务的不同需求，原始视频数据的内容可以划分为游戏的内容、真实的剧情两种主要的形式，其中剧情可以进一步划分为如下类别：
1、伪美食分享
原始视频数据包含一些美食类的素材，可以吸引起用户的注意，其次植入赚钱吃美食的玩法，与此同时还给用户们提供了一个明确的玩游戏的目标。
2、贴近用户生活题材
原始视频数据贴近用户现在的生活状态，将游戏植入到生活的方方面面，购买游戏的道具、吃饭、买零食等方式使用游戏赚钱付款。这类素材的制作也较为简单，场景单一且拍摄难度低，素材前半段主要以2人对话为主，后半段为游戏的植入片段。
3、情景剧
原始视频数据包含情景剧的素材，部分情况为明星穿着游戏中的服饰代言，某些剧情较为夸张，用以吸引起用户的注意。
因此，如图2A至图2D所示，原始视频数据的画面既可能是真实的世界，也可能是虚拟的世界，本实施例对此不加以限制。
步骤103、对动漫图像重构网络选定重构动漫风格的强度。
在本实施例中，可以预先对重构动漫风格划分出多个强度，强度越高，重构就接近动漫的状态，强度越低，重构就越接近原始图像数据的状态。
一般情况下，这些强度可开放给用户选择，即，由用户根据业务的需求选择合适的强度。
而在描边时，强度对重构色块存在一定的影响，因而在多个强度中，通过实验的方式选择与描边适配的强度，即，选择多帧图像数据为实验图像数据，在不同的强度下调整动漫图像重构网络；若完成调整，则将作为实验图像数据输入动漫图像重构网络、将实验图像数据重构为不同的动漫图像数据，动漫图像数据维持实验图像数据的内容、且内容具备符合不同强度的动漫风格；将不同的动漫图像数据输入边缘重构网络中、将动漫图像数据重构为不同的描边图像数据，描边图像数据为动漫图像数据中色块的边缘；将不同的描边图像数据叠加在原始图像数据上，得到不同的目标图像数据，从而针对不同的目标图像数据所呈现的效果选择与描边适配的强度。
步骤104、根据强度调整动漫图像重构网络。
若确定了重构动漫风格的强度，则可以依据该强度对动漫图像重构网络进行调整，使得动漫图像重构网络可以重构出符合该强度的动漫风格的图像数据。
在本发明的一个实施例中，步骤104可以包括如下步骤：
步骤1041、将强度映射为权重。
在本实施例中，强度是可以提供给用户选择的参数，多为便于用户理解的形象化表达，并不直接作用于动漫图像重构网络，因而可以将选定的强度映射为动漫图像重构网络的参数所处的向量空间中的权重。
一般情况下，权重与强度负相关，即，强度越高，权重越小，反之，强度越低，权重越大。
例如，强度划分为五个级别，分别为1级、2级、3级、4级、5级，1级的强度最高，5级的强度最低。
在一种映射的方式中，可以对强度执行线性或非线性的放大处理，计算放大处理之后强度的倒数，作为权重。
以线性的放大处理为例，可以将强度k_size与预设的放大系数α相乘，得到放大之后的强度，对放大处理之后强度计算倒数，作为权重1/（α*k_size），其中，放大系数一般为经验值，如2等。
步骤1042、将权重迁移至动漫图像重构网络中部分结构的参数。
在同一向量空间中，将表征强度的权重迁移至动漫图像重构网络中部分结构的参数，实现动漫图像重构网络的调整。
其中，动漫图像重构网络中迁移权重的部分结构一般是通过实验等方式筛选出的、对动漫风格存在影响的结构，由于动漫图像重构网络的整体结构有所不同，因而动漫图像重构网络中迁移权重的部分结构也有所不同，例如，某些卷积层、softmax层，等等，本实施例对此不加以限制。
在一种动漫图像重构网络中，动漫图像重构网络包括导向滤波器（GuidedFilter），导向滤波是指有选择（导向）性的滤波，它通过输入原始图像数据（矩阵）作为导向图，这样子滤波器就知道什么地方是边缘，这样就可以更好的保护边缘，最终达到在滤波的同时，保持边缘细节。
在本动漫图像重构网络中，导向滤波器为可调节的结构，在迁移权重时，可以查询导向滤波器中的卷积核（窗口window），将权重与卷积核中原始的参数相乘，作为卷积核中更新后的参数。
步骤105、若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据。
在完成调整动漫图像重构网络时，可以将原始图像数据输入调整后的动漫图像重构网络中，调整后的动漫图像重构网络按照其调整后的结构对原始图像数据进行处理，将原始图像数据重构为动漫图像数据，其中，动漫图像数据维持原始图像数据的内容、且内容具备符合强度的动漫风格。
在一种动漫图像重构网络中，如图3所示，动漫图像重构网络除了包括导向滤波器320之外，还包括已完成训练的生成器Generator 310。
在重构时，可以将原始图像数据输入生成器310中、生成器按照其结构对原始图像数据进行处理，将原始图像数据重构为候选图像数据，其中，候选图像数据维持原始图像数据的内容、且内容具备动漫风格。
在一个示例中，如图3所示，生成器Generator包括多个可训练的卷积层（Trainable convolutional layer），具体包括第一卷积层311、第二卷积层312、第三卷积层313、第四卷积层314、第五卷积层315、第六卷积层316，第一卷积层311、第二卷积层312、第三卷积层313、第四卷积层314、第五卷积层315、第六卷积层316在训练的参数上具有差异，第一卷积层311、第二卷积层312与第三卷积层313负责下采样（编码），第四卷积层314、第五卷积层315与第六卷积层316负责上采样（解码）。
将原始图像数据输入第一卷积层311中执行下采样的卷积操作，得到第一特征数据。
将第一特征数据输入第二卷积层312中执行下采样的卷积操作，得到第二特征数据。
将第二特征数据输入第三卷积层313中执行下采样的卷积操作，得到第三特征数据。
经过多次下采样后，第一特征数据、第二特征数据与第三特征数据的分辨率逐渐降低，得到底层（深层）信息，能够提供原始图像数据中的上下文语义信息，可理解为反应各个元素和它的环境之间关系的特征。
将第三特征数据输入第四卷积层314中执行上采样的卷积操作，得到第四特征数据。
通过concatenate（连接）等操作将第二特征数据与第四特征数据融合为第五特征数据。
将第五特征数据输入第五卷积层315中执行上采样的卷积操作，得到第六特征数据。
通过concatenate（连接）等操作将第一特征数据与第六特征数据融合为第七特征数据。
将第七特征数据输入第六卷积层316中执行上采样的卷积操作，得到候选图像数据。
随着生成器Generator的深入, 后面卷积层输出的特征与前面卷积层输出的特征联系会减少，本示例中，生成器Generator在下采样与上采样的结构对称，将前面卷积层输出的特征输入到后面卷积层中, 可以使得生成器Generator更加深入和有效，经过融合特征数据的操作从下采样（编码）直接传递到同高度上采样（解码），第四特征数据、第六特征数据、候选图像数据的分辨率逐渐增高，得到高层(浅层)信息，能够为重构提供更加精细的特征，如梯度等。
生成器Generator结合了低分辨率信息和高分辨率信息，可丰富特征的信息量，重构出具备动漫风格的、高质量的候选图像数据。
将候选图像数据输入调整后的导向滤波器320中，使用更新参数后的卷积核对候选图像数据执行导向滤波操作，得到具备强度的动漫风格的动漫图像数据，这样子可以保持候选图像数据的边缘，同时平滑候选图像数据，去除候选图像数据的纹理信息和细节信息。
步骤106、将动漫图像数据输入边缘重构网络中、将动漫图像数据重构为描边图像数据。
在本实施例中，动漫图像数据的色彩较为丰富，具有较为明显的色块，色块能够较为明显地区分边缘，此时，将动漫图像数据输入边缘重构网络中，边缘重构网络按照其结构对动漫图像数据进行处理，将动漫图像数据重构为描边图像数据，其中，描边图像数据为动漫图像数据中色块的边缘。
步骤107、将描边图像数据叠加在原始图像数据上，得到目标图像数据。
在本实施例中，将描边图像数据叠加在原始图像数据上，得到新的图像数据，记为目标图像数据，目标图像数据实现了描边的效果。
在一个示例中，将如图2A所示的原始图像数据上添加描边图像数据，可以得到如图2B所示的目标图像数据，如图2B所示的目标图像数据中的描边精确度高。
进一步而言，如图2C所示，如果对人物形象添加描边，可能会破坏人物形象的人脸细节，因而为了避免人物形象失真，人物形象的人脸一般是不添加描边。
在本实施例中，可以在原始图像数据中检测人脸数据，其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。
人脸检测通常使用如下方法：
1、利用人工提取特征，如haar特征，使用特征训练分类器，使用分类器进行人脸检测。
2、从通用的目标检测算法中继承人脸检测，例如，利用Faster R-CNN来检测人脸。
3、使用级联结构的卷积神经网络，例如，Cascade CNN（级联卷积神经网络），MTCNN（Multi-task Cascaded Convolutional Networks，多任务卷积神经网络）。
考虑到简单标记人脸数据即可，因而人脸检测的算法的要求较低，允许存在噪音，可使用MTCNN、dlib（人脸识别的开源库）等通用的卷积神经网络进行人脸检测。
将人脸关键点作为锚点，在描边图像数据中查询各个人脸关键点的位置，从而将人脸数据映射至描边图像数据中，在描边图像数据中删除人脸数据中的边缘，从而将删除人脸数据中的边缘之后的描边图像数据叠加在原始图像数据上，得到目标图像数据。
如图2D所示，在目标图像数据中删除人脸数据中的边缘之后，保留了人物形象原有的人脸细节。
此外，对于原始图像数据来源于原始视频数据的情况，可在具备目标图像数据的原始视频数据中添加与游戏相关的推广元素，获得目标视频数据。
其中，推广元素包括用于分发游戏的平台的LOGO（图标）、Banner（横幅信息）、EC（结束片段，一般包含游戏的信息（如名称、分发游戏的平台等）），等等。
在指定的渠道（如新闻资讯、短视频、小说阅读、运动健康等）发布目标视频数据，以在客户端访问渠道时，将目标视频数据推送至客户端进行播放，用户在对游戏感兴趣时，根据推广元素的指示从分发游戏的平台中下载游戏。
在本实施例中，分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；获取待描边的原始图像数据；对动漫图像重构网络选定重构动漫风格的强度；根据强度调整动漫图像重构网络；若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据，动漫图像数据维持原始图像数据的内容、且内容具备符合强度的动漫风格；将动漫图像数据输入边缘重构网络中、将动漫图像数据重构为描边图像数据，描边图像数据为动漫图像数据中色块的边缘；将描边图像数据叠加在原始图像数据上，得到目标图像数据。动漫风格的强度可以调整，灵活性高，给用户提供了更高的设计自由度，降低了风格化的门槛，动漫图像数据的色彩较为丰富，具有较为明显的色块，色块能够较为明显地区分边缘，可提高描边的精确度，并且，动漫图像重构网络可复用在其他项目中，可以减少重复开发的工作，降低开发的成本，重构动漫风格、重构边缘均属于后期处理，可以维持制作视频数据的门槛，维持制作视频数据的耗时，大大提高了制作油画风格的视频数据的效率。
实施例二
图4为本发明实施例二提供的一种图像动漫化方法的流程图，本实施例可适用于动漫图像重构网络对图像数据重构至指定强度的动漫风格的情况，该方法可以由图像动漫化装置来执行，该图像动漫化装置可以采用硬件和/或软件的形式实现，该图像动漫化装置可配置于电子设备中。如图4所示，该方法包括：
步骤401、加载属于生成对抗网络的动漫图像重构网络。
在本发明的一个实施例中，训练动漫图像重构网络的方法如下：
采集内容为真实世界的第一样本图像数据；
采集内容为动漫的视频数据，作为动漫视频数据；
在动漫视频数据中提取多帧图像数据，作为第二样本图像数据；
以第一样本图像数据作为内容的来源、第二样本图像数据作为风格的来源，将生成对抗网络训练为动漫图像重构网络。
其中，在采集内容为动漫的动漫视频数据时，可确定目标地区；筛选目标地区中的导演；采集导演监制的、内容为动漫的电影数据，作为动漫视频数据。
步骤402、获取待重构动漫风格的原始图像数据。
在一个示例中，可接收内容为介绍游戏的原始视频数据；从原始视频数据中提取每帧图像数据，作为待重构动漫风格的原始图像数据。
步骤403、对动漫图像重构网络选定重构动漫风格的强度。
在本实施例中，重构动漫风格的强度可开放给用户选择，即，由用户根据业务的需求选择合适的强度，例如，在客户端或浏览器中输入重构动漫风格的强度，或者，客户端或浏览器以下拉或滑动条等方式提供重构动漫风格的强度，用户从中选择一个强度，等等。
步骤404、根据强度调整动漫图像重构网络。
在本发明的一个实施例中，步骤404可以包括如下步骤：
步骤4041、将强度映射为权重。
其中，权重与强度负相关。
示例性地，对强度执行放大处理；计算放大处理之后强度的倒数，作为权重。
步骤4042、将权重迁移至动漫图像重构网络中部分结构的参数。
示例性地，动漫图像重构网络包括导向滤波器；那么，查询导向滤波器中的卷积核；将权重与卷积核中原始的参数相乘，作为卷积核中更新后的参数。
步骤405、若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据。
其中，动漫图像数据维持原始图像数据的内容、且内容具备符合强度的动漫风格。
在具体实现中，动漫图像重构网络除了生成器之外，还包括生成器；那么，可以将原始图像数据输入生成器中、将原始图像数据重构为候选图像数据，候选图像数据维持原始图像数据的内容、且内容具备动漫风格。
将候选图像数据输入导向滤波器中，使用卷积核对候选图像数据执行导向滤波操作，得到具备强度的动漫风格的动漫图像数据。
在本实施例中，由于动漫图像重构网络的应用与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
步骤406、根据原始图像数据修正动漫图像数据，得到目标图像数据。
在重构动漫风格的过程中，部分内容细节可能存在一定的模糊，某些内容细节的模糊会对业务存在一定的影响，因此，可以以原始图像数据的内容细节作为参考，对动漫图像数据中的一些内容细节进行调整，得到目标图像数据。
在一种修正的方式中，待修正的元素为人脸，那么，可使用MTCNN、dlib等方式在原始图像数据中进行人脸检测，从而检测第一人脸数据，可作为mask（掩膜），由于原始图像数据的内容细节并未存在损失，可以保证人脸检测的精确度。
考虑到动漫图像数据的内容细节存在损失，对人脸检测的精确度存在一定影响，并且，动漫图像数据的内容大体上并未发生变更，因此，可以将第一人脸数据的人脸关键点作为锚点，在动漫图像数据中查询各个人脸关键点的位置，将第一人脸数据映射至动漫图像数据中，得到第二人脸数据。
将第一人脸数据与第二人脸数据通过线性等方式在颜色上融合为第三人脸数据，从而平衡原始的人脸数据（第一人脸数据）与动漫化的人脸数据（第二人脸数据）之间的颜色，在内容细节与动漫风格之间取得一个平衡。
将第一人脸数据的人脸关键点作为锚点，在动漫图像数据中查询各个人脸关键点的位置，将第三人脸数据叠加在动漫图像数据上，得到目标图像数据。
例如，将图5A所示的原始图像数据重构至图5B所示的动漫图像数据，两者对比而言，图5A所示的原始图像数据3D（三维）建模的精细程度更高，图5B所示的动漫图像数据2D（二维）的画面感更强，如图5C所示，对原始图像数据检测人脸关键点，得到如图5D所示的mask，将原始图像数据检测人脸关键点的第一人脸数据与动漫图像数据检测人脸关键点的第二人脸数据融合得到第三人脸数据，并贴回动漫图像数据中，得到如图5E所示的目标图像数据，目标图像数据在整体上保持动漫风格，并在人脸的细节上保持3D建模的精细程度。
此外，对于原始图像数据来源于原始视频数据的情况，可在具备目标图像数据的原始视频数据中添加与游戏相关的推广元素，获得目标视频数据；在指定的渠道发布目标视频数据，以在客户端访问渠道时，将目标视频数据推送至客户端进行播放。
在本实施例中，加载属于生成对抗网络的动漫图像重构网络；获取待重构动漫风格的原始图像数据；对动漫图像重构网络选定重构动漫风格的强度；根据强度调整动漫图像重构网络；若完成调整，则将原始图像数据输入动漫图像重构网络、将原始图像数据重构为动漫图像数据，动漫图像数据维持原始图像数据的内容、且内容具备符合强度的动漫风格；根据原始图像数据修正动漫图像数据，得到目标图像数据。动漫风格的强度可以调整，灵活性高，给用户提供了更高的设计自由度，降低了风格化的门槛，动漫图像数据的色彩较为丰富，具有较为明显的色块，色块能够较为明显地区分边缘，可提高描边的精确度，使得动漫图像重构网络可复用雨描边等项目中，可以减少重复开发的工作，降低开发的成本，重构边缘属于后期处理，可以维持制作视频数据的门槛，维持制作视频数据的耗时，大大提高了制作油画风格的视频数据的效率。并且，依据原始图像数据的内容信息对动漫图像数据的内容信息进行修正，减少或避免因动漫风格带来内容信息的模糊而对业务的影响，可以提高目标图像数据的质量，适应各种业务的要求。
实施例三
图6为本发明实施例三提供的一种图像描边装置的结构示意图。如图6所示，该装置包括：
重构网络加载模块601，用于分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；
原始图像数据获取模块602，用于获取待描边的原始图像数据；
强度选定模块603，用于对所述动漫图像重构网络选定重构动漫风格的强度；
重构网络调整模块604，用于根据所述强度调整所述动漫图像重构网络；
图像动漫化模块605，用于若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
图像描边模块606，用于将所述动漫图像数据输入所述边缘重构网络中、将所述动漫图像数据重构为描边图像数据，所述描边图像数据为所述动漫图像数据中色块的边缘；
目标图像数据生成模块607，用于将所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据。
在本发明的一个实施例中，所述原始图像数据获取模块602还用于：
接收内容为介绍游戏的原始视频数据；
从所述原始视频数据中提取每帧图像数据，作为待描边的原始图像数据。
在本发明的一个实施例中，所述重构网络调整模块604还用于：
将所述强度映射为权重，所述权重与所述强度负相关；
将所述权重迁移至所述动漫图像重构网络中部分结构的参数。
在本发明的一个实施例中，所述重构网络调整模块604还用于：
对所述强度执行放大处理；
计算放大处理之后所述强度的倒数，作为权重。
在本发明的一个实施例中，所述动漫图像重构网络包括导向滤波器；所述重构网络调整模块604还用于：
查询所述导向滤波器中的卷积核；
将所述权重与所述卷积核中原始的参数相乘，作为所述卷积核中更新后的参数。
在本发明的一个实施例中，所述动漫图像重构网络还包括生成器；所述图像动漫化模块605还用于：
将所述原始图像数据输入所述生成器中、将所述原始图像数据重构为候选图像数据，所述候选图像数据维持所述原始图像数据的内容、且所述内容具备动漫风格；
将所述候选图像数据输入所述导向滤波器中，使用所述卷积核对所述候选图像数据执行导向滤波操作，得到具备所述强度的动漫风格的动漫图像数据。
在本发明的一个实施例中，所述生成器包括分别负责下采样的第一卷积层、第二卷积层与第三卷积层，负责上采样的第四卷积层、第五卷积层与第六卷积层；
所述图像动漫化模块605还用于：
将所述原始图像数据输入所述第一卷积层中执行卷积操作，得到第一特征数据；
将所述第一特征数据输入所述第二卷积层中执行卷积操作，得到第二特征数据；
将所述第二特征数据输入所述第三卷积层中执行卷积操作，得到第三特征数据；
将所述第三特征数据输入所述第四卷积层中执行卷积操作，得到第四特征数据；
将所述第二特征数据与所述第四特征数据融合为第五特征数据；
将所述第五特征数据输入所述第五卷积层中执行卷积操作，得到第六特征数据。
将所述第一特征数据与所述第六特征数据融合为第七特征数据；
将所述第七特征数据输入所述第六卷积层中执行卷积操作，得到候选图像数据。
在本发明的一个实施例中，所述目标图像数据生成模块607还用于：
在所述原始图像数据中检测人脸数据；
将所述人脸数据映射至所述描边图像数据中；
在所述描边图像数据中删除所述人脸数据中的边缘；
将删除所述人脸数据中的边缘之后的所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据。
在本发明的一个实施例中，还包括：
目标视频数据生成模块，用于在具备所述目标图像数据的所述原始视频数据中添加与所述游戏相关的推广元素，获得目标视频数据；
目标视频数据发布模块，用于在指定的渠道发布所述目标视频数据，以在客户端访问所述渠道时，将所述目标视频数据推送至所述客户端进行播放。
在本发明的一个实施例中，还包括：
第一样本图像采集模块，用于采集内容为真实世界的第一样本图像数据；
动漫视频数据采集模块，用于采集内容为动漫的视频数据，作为动漫视频数据；
第二样本图像采集模块，用于在所述动漫视频数据中提取多帧图像数据，作为第二样本图像数据；
动漫图像重构网络训练模块，用于以所述第一样本图像数据作为内容的来源、所述第二样本图像数据作为风格的来源，将生成对抗网络训练为动漫图像重构网络。
在本发明的一个实施例中，所述动漫视频数据采集模块还用于：
确定目标地区；
筛选所述目标地区中的导演；
采集所述导演监制的、内容为动漫的电影数据，作为动漫视频数据。
本发明实施例所提供的图像描边装置可执行本发明任意实施例所提供的图像描边方法，具备执行图像描边方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四提供的一种图像动漫化装置的结构示意图。如图7所示，该装置包括：
重构网络加载模块701，用于加载属于生成对抗网络的动漫图像重构网络；
原始图像数据获取模块702，用于获取待重构动漫风格的原始图像数据；
强度选定模块703，用于对所述动漫图像重构网络选定重构动漫风格的强度；
重构网络调整模块704，用于根据所述强度调整所述动漫图像重构网络；
图像动漫化模块705，用于若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
目标图像数据生成模块706，用于根据所述原始图像数据修正所述动漫图像数据，得到目标图像数据。
在本发明的一个实施例中，所述原始图像数据获取模块702还用于：
接收内容为介绍游戏的原始视频数据；
从所述原始视频数据中提取每帧图像数据，作为待描边的原始图像数据。
在本发明的一个实施例中，所述重构网络调整模块704还用于：
将所述强度映射为权重，所述权重与所述强度负相关；
将所述权重迁移至所述动漫图像重构网络中部分结构的参数。
在本发明的一个实施例中，所述重构网络调整模块604还用于：
对所述强度执行放大处理；
计算放大处理之后所述强度的倒数，作为权重。
在本发明的一个实施例中，所述动漫图像重构网络包括导向滤波器；所述重构网络调整模块704还用于：
查询所述导向滤波器中的卷积核；
将所述权重与所述卷积核中原始的参数相乘，作为所述卷积核中更新后的参数。
在本发明的一个实施例中，所述动漫图像重构网络还包括生成器；所述图像动漫化模块705还用于：
将所述原始图像数据输入所述生成器中、将所述原始图像数据重构为候选图像数据，所述候选图像数据维持所述原始图像数据的内容、且所述内容具备动漫风格；
将所述候选图像数据输入所述导向滤波器中，使用所述卷积核对所述候选图像数据执行导向滤波操作，得到具备所述强度的动漫风格的动漫图像数据。
在本发明的一个实施例中，所述生成器包括分别负责下采样的第一卷积层、第二卷积层与第三卷积层，负责上采样的第四卷积层、第五卷积层与第六卷积层；
所述图像动漫化模块705还用于：
将所述原始图像数据输入所述第一卷积层中执行卷积操作，得到第一特征数据；
将所述第一特征数据输入所述第二卷积层中执行卷积操作，得到第二特征数据；
将所述第二特征数据输入所述第三卷积层中执行卷积操作，得到第三特征数据；
将所述第三特征数据输入所述第四卷积层中执行卷积操作，得到第四特征数据；
将所述第二特征数据与所述第四特征数据融合为第五特征数据；
将所述第五特征数据输入所述第五卷积层中执行卷积操作，得到第六特征数据。
将所述第一特征数据与所述第六特征数据融合为第七特征数据；
将所述第七特征数据输入所述第六卷积层中执行卷积操作，得到候选图像数据。
在本发明的一个实施例中，所述目标图像数据生成模块706还用于：
在所述原始图像数据中检测第一人脸数据；
将所述第一人脸数据映射至所述动漫图像数据中，得到第二人脸数据；
将所述第一人脸数据与所述第二人脸数据融合为第三人脸数据；
将所述第三人脸数据叠加在所述动漫图像数据上，得到目标图像数据。
在本发明的一个实施例中，还包括：
目标视频数据生成模块，用于在具备所述目标图像数据的所述原始视频数据中添加与所述游戏相关的推广元素，获得目标视频数据；
目标视频数据发布模块，用于在指定的渠道发布所述目标视频数据，以在客户端访问所述渠道时，将所述目标视频数据推送至所述客户端进行播放。
在本发明的一个实施例中，还包括：
第一样本图像采集模块，用于采集内容为真实世界的第一样本图像数据；
动漫视频数据采集模块，用于采集内容为动漫的视频数据，作为动漫视频数据；
第二样本图像采集模块，用于在所述动漫视频数据中提取多帧图像数据，作为第二样本图像数据；
动漫图像重构网络训练模块，用于以所述第一样本图像数据作为内容的来源、所述第二样本图像数据作为风格的来源，将生成对抗网络训练为动漫图像重构网络。
在本发明的一个实施例中，所述动漫视频数据采集模块还用于：
确定目标地区；
筛选所述目标地区中的导演；
采集所述导演监制的、内容为动漫的电影数据，作为动漫视频数据。
本发明实施例所提供的图像动漫化装置可执行本发明任意实施例所提供的图像动漫化方法，具备执行图像动漫化方法相应的功能模块和有益效果。
实施例五
图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如图像描边方法或者图像动漫化方法。
在一些实施例中，图像描边方法或者图像动漫化方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的图像描边方法或者图像动漫化方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像描边方法或者图像动漫化方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
实施例六
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的图像描边方法或者图像动漫化方法。
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (15)

1.一种图像描边方法，其特征在于，包括：
分别加载属于生成对抗网络的动漫图像重构网络、属于生成对抗网络的边缘重构网络；
获取待描边的原始图像数据；
对所述动漫图像重构网络选定重构动漫风格的强度；
根据所述强度调整所述动漫图像重构网络；
若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
将所述动漫图像数据输入所述边缘重构网络中、将所述动漫图像数据重构为描边图像数据，所述描边图像数据为所述动漫图像数据中色块的边缘；
将所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据。
2.根据权利要求1所述的方法，其特征在于，所述获取待描边的原始图像数据，包括：
接收内容为介绍游戏的原始视频数据；
从所述原始视频数据中提取每帧图像数据，作为待描边的原始图像数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述强度调整所述动漫图像重构网络，包括：
将所述强度映射为权重，所述权重与所述强度负相关；
将所述权重迁移至所述动漫图像重构网络中部分结构的参数。
4.根据权利要求3所述的方法，其特征在于，所述将所述强度映射为权重，包括：
对所述强度执行放大处理；
计算放大处理之后所述强度的倒数，作为权重。
5.根据权利要求3所述的方法，其特征在于，所述动漫图像重构网络包括导向滤波器；
所述将所述权重迁移至所述动漫图像重构网络中部分结构的参数，包括：
查询所述导向滤波器中的卷积核；
将所述权重与所述卷积核中原始的参数相乘，作为所述卷积核中更新后的参数。
6.根据权利要求5所述的方法，其特征在于，所述动漫图像重构网络还包括生成器；所述将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，包括：
将所述原始图像数据输入所述生成器中、将所述原始图像数据重构为候选图像数据，所述候选图像数据维持所述原始图像数据的内容、且所述内容具备动漫风格；
将所述候选图像数据输入所述导向滤波器中，使用所述卷积核对所述候选图像数据执行导向滤波操作，得到具备所述强度的动漫风格的动漫图像数据。
7.根据权利要求6所述的方法，其特征在于，所述生成器包括分别负责下采样的第一卷积层、第二卷积层与第三卷积层，负责上采样的第四卷积层、第五卷积层与第六卷积层；
所述将所述原始图像数据输入所述生成器中、将所述原始图像数据重构为候选图像数据，包括：
将所述原始图像数据输入所述第一卷积层中执行卷积操作，得到第一特征数据；
将所述第一特征数据输入所述第二卷积层中执行卷积操作，得到第二特征数据；
将所述第二特征数据输入所述第三卷积层中执行卷积操作，得到第三特征数据；
将所述第三特征数据输入所述第四卷积层中执行卷积操作，得到第四特征数据；
将所述第二特征数据与所述第四特征数据融合为第五特征数据；
将所述第五特征数据输入所述第五卷积层中执行卷积操作，得到第六特征数据；
将所述第一特征数据与所述第六特征数据融合为第七特征数据；
将所述第七特征数据输入所述第六卷积层中执行卷积操作，得到候选图像数据。
8.根据权利要求1所述的方法，其特征在于，所述将所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据，包括：
在所述原始图像数据中检测人脸数据；
将所述人脸数据映射至所述描边图像数据中；
在所述描边图像数据中删除所述人脸数据中的边缘；
将删除所述人脸数据中的边缘之后的所述描边图像数据叠加在所述原始图像数据上，得到目标图像数据。
9.根据权利要求2所述的方法，其特征在于，还包括：
在具备所述目标图像数据的所述原始视频数据中添加与所述游戏相关的推广元素，获得目标视频数据；
在指定的渠道发布所述目标视频数据，以在客户端访问所述渠道时，将所述目标视频数据推送至所述客户端进行播放。
10.根据权利要求1-9中任一项所述的方法，其特征在于，还包括：
采集内容为真实世界的第一样本图像数据；
采集内容为动漫的视频数据，作为动漫视频数据；
在所述动漫视频数据中提取多帧图像数据，作为第二样本图像数据；
以所述第一样本图像数据作为内容的来源、所述第二样本图像数据作为风格的来源，将生成对抗网络训练为动漫图像重构网络。
11.根据权利要求10所述的方法，其特征在于，所述采集内容为动漫的动漫视频数据，包括：
确定目标地区；
筛选所述目标地区中的导演；
采集所述导演监制的、内容为动漫的电影数据，作为动漫视频数据。
12.一种图像动漫化方法，其特征在于，包括：
加载属于生成对抗网络的动漫图像重构网络；
获取待重构动漫风格的原始图像数据；
对所述动漫图像重构网络选定重构动漫风格的强度；
根据所述强度调整所述动漫图像重构网络；
若完成调整，则将所述原始图像数据输入所述动漫图像重构网络、将所述原始图像数据重构为动漫图像数据，所述动漫图像数据维持所述原始图像数据的内容、且所述内容具备符合所述强度的动漫风格；
根据所述原始图像数据修正所述动漫图像数据，得到目标图像数据。
13.根据权利要求12所述的方法，其特征在于，所述根据所述原始图像数据修正所述动漫图像数据，得到目标图像数据，包括：
在所述原始图像数据中检测第一人脸数据；
将所述第一人脸数据映射至所述动漫图像数据中，得到第二人脸数据；
将所述第一人脸数据与所述第二人脸数据融合为第三人脸数据；
将所述第三人脸数据叠加在所述动漫图像数据上，得到目标图像数据。
14.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的图像描边方法，或者，权利要求12-13中任一项所述的图像动漫化方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-11中任一项所述的图像，或者，权利要求12-13中任一项所述的图像动漫化方法。
CN202211018572.3A 2022-08-24 2022-08-24 一种图像描边、图像动漫化方法、设备及存储介质 Active CN115100334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211018572.3A CN115100334B (zh) 2022-08-24 2022-08-24 一种图像描边、图像动漫化方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211018572.3A CN115100334B (zh) 2022-08-24 2022-08-24 一种图像描边、图像动漫化方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115100334A true CN115100334A (zh) 2022-09-23
CN115100334B CN115100334B (zh) 2022-11-25

Family

ID=83300736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211018572.3A Active CN115100334B (zh) 2022-08-24 2022-08-24 一种图像描边、图像动漫化方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100334B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721044A (zh) * 2023-08-09 2023-09-08 广州市乐淘动漫设计有限公司 一种多媒体动漫制作生成系统
CN117435110A (zh) * 2023-10-11 2024-01-23 书行科技(北京)有限公司 一种图片处理方法、装置、电子设备和存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN111009041A (zh) * 2019-11-15 2020-04-14 广东智媒云图科技股份有限公司 一种绘画创作方法、装置、终端设备及可读存储介质
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换系统及方法
RU2745209C1 (ru) * 2020-04-07 2021-03-22 Самсунг Электроникс Ко., Лтд. Способ и вычислительное устройство для формирования правдоподобного отображения течения времени суточного масштаба
CN113297933A (zh) * 2021-05-11 2021-08-24 广州虎牙科技有限公司 一种图像生成方法及相关装置
CN113538224A (zh) * 2021-09-14 2021-10-22 深圳市安软科技股份有限公司 基于生成对抗网络的图像风格迁移方法、装置及相关设备
US20210382936A1 (en) * 2020-06-09 2021-12-09 Adobe Inc. Classifying image styles of images based on image style embeddings
CN114187201A (zh) * 2021-12-09 2022-03-15 百果园技术(新加坡)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN114266943A (zh) * 2021-12-28 2022-04-01 中移（杭州）信息技术有限公司 图像风格迁移方法、装置、设备及存储介质
CN114663315A (zh) * 2022-03-30 2022-06-24 天津大学 基于语义融合生成对抗网络的图像比特增强方法及装置
CN114898021A (zh) * 2022-07-12 2022-08-12 湖南师范大学 音乐舞台表演视频的智能卡通化方法
WO2022170982A1 (zh) * 2021-02-09 2022-08-18 北京字跳网络技术有限公司 图像处理方法、图像生成方法、装置、设备和介质
CN114917583A (zh) * 2022-05-31 2022-08-19 苏州大学 一种基于生成对抗网络的动漫风格游戏背景生成方法及平台

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
WO2020155907A1 (zh) * 2019-01-30 2020-08-06 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN111009041A (zh) * 2019-11-15 2020-04-14 广东智媒云图科技股份有限公司 一种绘画创作方法、装置、终端设备及可读存储介质
RU2745209C1 (ru) * 2020-04-07 2021-03-22 Самсунг Электроникс Ко., Лтд. Способ и вычислительное устройство для формирования правдоподобного отображения течения времени суточного масштаба
US20210382936A1 (en) * 2020-06-09 2021-12-09 Adobe Inc. Classifying image styles of images based on image style embeddings
CN112258387A (zh) * 2020-10-30 2021-01-22 北京航空航天大学 一种基于人脸照片生成漫画人像的图像转换系统及方法
WO2022170982A1 (zh) * 2021-02-09 2022-08-18 北京字跳网络技术有限公司 图像处理方法、图像生成方法、装置、设备和介质
CN113297933A (zh) * 2021-05-11 2021-08-24 广州虎牙科技有限公司 一种图像生成方法及相关装置
CN113538224A (zh) * 2021-09-14 2021-10-22 深圳市安软科技股份有限公司 基于生成对抗网络的图像风格迁移方法、装置及相关设备
CN114187201A (zh) * 2021-12-09 2022-03-15 百果园技术(新加坡)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN114266943A (zh) * 2021-12-28 2022-04-01 中移（杭州）信息技术有限公司 图像风格迁移方法、装置、设备及存储介质
CN114663315A (zh) * 2022-03-30 2022-06-24 天津大学 基于语义融合生成对抗网络的图像比特增强方法及装置
CN114917583A (zh) * 2022-05-31 2022-08-19 苏州大学 一种基于生成对抗网络的动漫风格游戏背景生成方法及平台
CN114898021A (zh) * 2022-07-12 2022-08-12 湖南师范大学 音乐舞台表演视频的智能卡通化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUSTIN JOHNSON等: "Perceptual Losses for Real-Time Style Transfer and Super-Resolution", 《COMPUTER VISION – ECCV 2016》 *
YANG CHEN等: "CartoonGAN: Generative Adversarial Networks for Photo Cartoonization", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李凯旋等: "基于双层生成对抗网络的素描人脸合成方法", 《计算机应用与软件》 *
翟慧聪等: "基于生成对抗网络的图像动漫化", 《计算机与现代化》 *
黄真等: "基于生成对抗网络自动生成动漫人物形象的研究", 《电子技术与软件工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721044A (zh) * 2023-08-09 2023-09-08 广州市乐淘动漫设计有限公司 一种多媒体动漫制作生成系统
CN116721044B (zh) * 2023-08-09 2024-04-02 广州市乐淘动漫设计有限公司 一种多媒体动漫制作生成系统
CN117435110A (zh) * 2023-10-11 2024-01-23 书行科技(北京)有限公司 一种图片处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115100334B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
US10657652B2 (en) Image matting using deep learning
Zhang et al. Semantic image inpainting with progressive generative networks
Tewari et al. State of the art on neural rendering
US10019826B2 (en) Real-time high-quality facial performance capture
Zhang et al. Multi-scale single image dehazing using perceptual pyramid deep network
Weiss et al. Volumetric isosurface rendering with deep learning-based super-resolution
CN115100334B (zh) 一种图像描边、图像动漫化方法、设备及存储介质
US20110292051A1 (en) Automatic Avatar Creation
CN109191414A (zh) 一种图像处理方法、装置、电子设备及存储介质
Vo et al. Structural inpainting
CN115222858A (zh) 动画重构网络的训练及其图像重构、视频重构方法与设备
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
Kratzwald et al. Improving video generation for multi-functional applications
Kim et al. Game effect sprite generation with minimal data via conditional GAN
Laishram et al. High-quality face caricature via style translation
Laishram et al. Challenges and applications of face deepfake
Tous Pictonaut: movie cartoonization using 3D human pose estimation and GANs
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
CN115272057A (zh) 卡通素描图像重构网络的训练及其重构方法与设备
Inoue et al. Rgb2ao: Ambient occlusion generation from rgb images
Li et al. Two‐stage Photograph Cartoonization via Line Tracing
Lee et al. An image-guided network for depth edge enhancement
Lin et al. FAEC‐GAN: An unsupervised face‐to‐anime translation based on edge enhancement and coordinate attention
US10403026B2 (en) Noise reduction on G-buffers for Monte Carlo filtering
Winnemoller Perceptually-motivated non-photorealistic graphics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant