CN110097086B - 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 - Google Patents

图像生成模型训练方法、图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110097086B
CN110097086B CN201910267519.9A CN201910267519A CN110097086B CN 110097086 B CN110097086 B CN 110097086B CN 201910267519 A CN201910267519 A CN 201910267519A CN 110097086 B CN110097086 B CN 110097086B
Authority
CN
China
Prior art keywords
image
cartoon
network
generation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910267519.9A
Other languages
English (en)
Other versions
CN110097086A (zh
Inventor
王健宗
彭俊清
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910267519.9A priority Critical patent/CN110097086B/zh
Publication of CN110097086A publication Critical patent/CN110097086A/zh
Priority to PCT/CN2019/103142 priority patent/WO2020199478A1/zh
Application granted granted Critical
Publication of CN110097086B publication Critical patent/CN110097086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理领域，利用对抗网络训练图像生成模型。具体公开了图像生成模型训练方法、图像生成方法、装置、计算机设备及存储介质，该方法包括：获取第一图像集和第二图像集，第一图像集包括多张拍摄图像，第二图像集包括多张漫画图像；根据预设漫画生成算法对拍摄图像进行预处理以得到对应的目标漫画图像；将目标漫画图像作为生成式对抗网络中生成网络的输入，以及将生成网络输出的图像和漫画图像作为生成式对抗网络中判别网络的输入，对生成网络和判别网络进行交替迭代训练，直至判别网络输出的判别概率值大于预设值，将训练后的生成网络将作为图像生成模型。该方法可以训练出将拍摄图像转换成具有漫画风格的图像的模型。

Description

图像生成模型训练方法、图像生成方法、装置、设备及存储 介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像生成模型训练方法、图像生成方法、装置、计算机设备及存储介质。
背景技术
漫画是我们日常生活中广泛使用的艺术形式，具有广泛的应用范围，比如常用于儿童故事教育等，像其他形式的艺术品一样，许多漫画形象都是基于现实世界的场景创作的。然而，将现实世界拍摄的图像转换为漫画风格的图像，这在计算机视觉和计算机图形学中都极具有挑战性，因为漫画风格的图像特征和拍摄图像的图像特征往往差别较大，其中图像特征可例如为人物的发型、衣着、表情、五官等。正是由于两者的差异性过高，将拍摄的图像转换为漫画风格的图像所需要处理的数据维度将会是巨大的，同时所需的图像生成模型也非常难于训练且较为耗时。
发明内容
本申请提供了一种图像生成模型训练方法、图像生成方法、装置、计算机设备及存储介质，以训练出可以将拍摄的图像转换成具有漫画风格的图像的模型，同时，提高训练模型的效率。
第一方面，本申请提供了一种图像生成模型训练方法，其包括：
获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像；
根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像；
获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络；
将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练；
当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
第二方面，本申请还提供了一种图像生成方法，其包括：
获取待处理图像，所述待处理图像为拍摄图像；
根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；
根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；
将所述层级图像和所述边缘图像进行图像合成以得到目标图像；
将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述的图像生成模型训练方法训练得到的模型。
第三方面，本申请还提供了一种图像生成模型训练装置，其包括：
数据获取单元，用于获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像；
预处理单元，用于根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像；
网络获取单元，用于获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络；
模型训练单元，用于将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练；
模型保存单元，用于当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
第四方面，本申请还提供了一种图像生成装置，其包括：
图像获取单元，用于获取待处理图像，所述待处理图像为拍摄图像；
分割处理单元，用于根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；
边缘处理单元，用于根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；
图像合成单元，用于将所述层级图像和所述边缘图像进行图像合成以得到目标图像；
图像生成单元，用于将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述的图像生成模型训练方法训练得到的模型。
第五方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像生成模型训练方法或图像生成方法。
第六方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的图像生成模型训练方法或图像生成方法。
本申请公开了一种图像生成模型训练方法、图像生成方法、装置、计算机设备及存储介质。该训练方法先根据预设漫画生成算法对第一图像集中的拍摄图像进行预处理以得到拍摄图像对应的目标漫画图像；然后将目标漫画图像作为生成式对抗网络中生成网络的输入，以及将生成网络输出的图像和第二图像集中与拍摄图像相关的漫画图像作为生成式对抗网络中判别网络的输入，从而对生成网络和判别网络进行交替迭代训练，直至判别网络输出的判别概率值大于预设值，此时得到的训练后的生成网络将作为图像生成模型。该训练方法不但可以训练出将拍摄的图像转换成具有漫画风格的图像的模型，还可以提高训练模型的效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种图像生成模型训练方法的示意流程图；
图2是图1中提供的图像生成模型训练方法的子步骤示意流程图；
图3是本申请的实施例提供的另一种图像生成模型训练方法的示意流程图；
图4是本申请的实施例提供的一种图像生成方法的示意流程图；
图5是本申请的实施例提供的一种图像生成方法的应用场景示意图；
图6为本申请实施例提供的一种图像生成模型训练装置的示意性框图；
图7为本申请实施例提供的一种图像生成模型训练装置中预处理单元的示意性框图；
图8为本申请实施例提供的一种图像生成装置的示意性框图；
图9为本申请一实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的实施例提供了一种图像生成模型训练方法、图像生成方法、装置、计算机设备及存储介质。其中，图像生成模型训练方法用于快速训练出可以生成漫画风格的图像生成模型；图像生成方法可以应用于服务器或终端中，使用图像生成模型将拍摄的图像生成具有漫画风格图像，进而提高用户的体验。
其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
例如，将训练好的图像生成模型安装在手机中，或将训练好的图像生成模型压缩处理后安装在手机中。用户使用手机对拍摄的图像，利用该图像生成方法对拍摄的图像进行处理，以得到该拍摄的图像对应的漫画风格图像，由此提高了用户的体验。
需要说明的是，漫画风格的图像可以是漫画或者经典卡通等等，比如海贼王、蜡笔小新或火影忍者等等，以下将以漫画风格为火影忍者的风格对图像生成模型训练方法或图像生成方法进行详细介绍。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的一种图像生成模型训练方法的示意流程图。该图像生成模型基于生成式对抗网络进行模型训练得到的，当然也可以采用其他类似网络进行训练得到。
如图1所示，该图像生成模型训练方法，包括：步骤S101至步骤S105。
S101、获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像。
其中，获取第一图像集和第二图像集作为模型训练用的样本数据，即第一图像集和第二图像集，第一图像集为拍摄图像的集合，第二图像集为漫画图像的集合。
具体地，第一图像集中的多张拍摄图像为真实世界图片，可以从Flickr网站上下载了一定数量的图片，部分图像用于训练，另一部分图像用于测试，比如6000张图像，其中5500张图像用于模型训练，另外500张图像用于模型测试。
具体地，第二图像集中的多张漫画图像可以为动漫中的图像，比如火影忍者，通过选定动漫火影忍者前700集动漫，并在每集动漫中随机选取10张图像，总共7000张火影忍者的图像作为第二图像集。
S102、根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像。
具体地，预设漫画生成算法采用图像处理算法对第一图像集中的拍摄图像进行预处理，以提取拍摄图像中的图像信息，比如层级结构图像、边缘图像、人脸特征或者发型特征等等，并根据这些图像信息构成所述拍摄图像对应的目标漫画图像。由此可以消除拍摄图像和动漫图像(火影忍者图像)之间的差异性过高的问题，降低图像生成模型训练需要处理的数据维度，便于模型的训练，同时又提高了模型的准确度。
在一实施例中，为了提高模型的训练速度以及模型的准确度，提供了对所述第一图像集中的拍摄图像进行预处理的步骤，如图2所示，即步骤S102包括：子步骤S102a至S102c。
S102a、根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像。
具体地，使用均值漂移(Mean-shift)算法对拍摄图像进行图像分割以及对图像进行层级处理，通过不断迭代将图像中的相似颜色统一，以得到均有层级结构的层级图像。
其中，均值漂移(Mean-shift)算法属于核密度估计的爬山算法，不需要任何先验知识而完全依靠特征空间中样本点的计算其密度函数值。通常的直方图法是将图像分成若干个相等的区间，每个区间内的数据与总数据量的比值为这个区间的概率值；Mean-shift算法的原理类似于直方图法，多了一个用于平滑数据的核函数。采用核函数估计法，在图像数据充分的情况下，能够渐进地收敛于任意的密度函数，即可以对服从任何分布的数据进行密度估计。这样的方法可以用于聚类、图像分割、跟踪等很多领域，并且在去除图像颜色、纹理等细节信息方面有着很好的作用。在本实施例中，主要采用Mean-shift算法用于图像分割以得到层级图像。
S102b、根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像。
具体地，基于流的高斯差分滤波器(Flow-Based Difference of Gaussian、FDoG)算法对所述拍摄图像进行边缘提取，以提取出所述拍摄图像对应的边缘图像。
其中，所述根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像，具体包括：根据切线流公式，在所述拍摄图像中构建切线流；通过类二值图像边界计算公式，计算构建的切线流的高斯差值以得到具有边缘轮廓线的边缘图像。
在一个实施例中，所述切线流公式为：
公式(1)中，Ω(x)表示X的邻域，X＝(x,y)表示所述拍摄图像的像素点；k是归一化向量；t(y)表示y点处的当前归一化切线向量；φ(x,y)为符号函数，φ(x,y)∈{1,-1}；ws(x,y)为空间权重向量；wm(x,y)为量级权重函数；wd(x,y)为方向权重函数；初始时，t0(x)设为与图像梯度向量正交的向量。
在一个实施例中，所述类二值图像边界计算公式为：
公式(2)中，D(x)表示二值图像边界，H(x)为所述基于流的高斯差分滤波器算法的滤波器函数；λ为系数因子，λ取值范围为(0,1)；τ取值为0.5。类二值图像边界计算公式，可以使得边缘图像变得清晰、光滑和连贯，进而提高图像生成模型的准确度。
S102c、将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像。
具体地，将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的具体层级结构和边缘特征的图像，即目标漫画图像。将该目标漫画图像用于图像生成模型训练，可以降低模型训练需要处理的数据维度，同时又提高了模型的训练速度以及模型的准确度。
S103、获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络。
具体地，获取预选设置的生成式对抗网络(Generative Adversarial Networks、GAN)，该生成式对抗网络包括生成网络和判别网络，生成网络用于利用拍摄图像生成漫画图像，判别网络用于判别生成网络输出的图像是否为漫画图像。
其中，该生成式对抗网络可以是各种类型的对抗网络。比如，可以是深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Network、DCGAN)。再比如，生成网络可以是用于进行图像处理的卷积神经网络(例如，包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样)；判别网络可以是卷积神经网络(例如，包含全连接层的各种卷积神经网络结构，其中，全连接层可以实现分类功能)。
S104、将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练。
具体地，进行交替迭代训练包括两个训练过程，分别为：训练生成网络和训练判别网络。
其中，训练生成网络，包括：向生成网络输入拍摄图像，经过一次卷积、批归一化(BN)和激活函数(Relu)激活后，再进行了Down-convolution有卷积、批归一化(BN)和激活函数(Relu)激活操作，如此进行了两次训练，再通过8个一样的Residual block操作，再进行了两次Up-convolution有卷积、卷积、批归一化(BN)和激活函数(Relu)激活操作，最后再经过一次卷积操作，输出一张与输入的拍摄图像具有相同大小的图像。其中激活函数用的是ReLU函数。
其中，训练判别网络，包括：向所述判别网络输入生成网络输出的图像和漫画图像，经过多次卷积、批归一化(BN)以及激活函数(LReLU)激活后，再经过Sigmoid函数处理后的输出是第二图像集中的漫画图像(火影忍者图像)的一个概率值，其中激活函数用的是LReLU函数。判别网络作为生成网络的补充，用于判断输入图像(生成网络的输出图像)是否是第二图像集中的火影忍者图像。
通过交替训练两个网络结构，先优化判别网络模型，一开始很容易区分输入的是否是第二图像集中的漫画图像(火影图像)，即生成网络一开始生成的图像与第二图像集中的火影图像具有很大的偏差。接着优化生成网络使得生成网络模型的损失函数慢慢减小，同时也提高判别网络模型的二分类的能力，最后的迭代直至判别网络模型无法判别输入的是第二图像集中的火影图像，还是生成网络模型生成的火影图像，这时整个生成网络模型已经训练好，此时通过生成网络模型生成的图像就是具有了动漫火影风格的图像。
S105、当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
具体地，通过设置预设值的方式，比如通过判别网络模型输出的概率值大于该预设值时，来确定判别网络模型的二分类的能力，进而确保生成网络模型生成的图像，具有动漫火影风格的图像。其中，所述预设值的大小在此不做限定，可根据专家经验进行设定。当所述判别网络输出的判别概率值大于预设值时，则表明该生成网络模型可以用来生成具有漫画风格的图像，因此保存此时的生成网络作为漫画风格图像生成模型。
上述实施例提供的训练方法先根据预设漫画生成算法对第一图像集中的拍摄图像进行预处理以得到拍摄图像对应的目标漫画图像；然后将目标漫画图像作为生成式对抗网络中生成网络的输入，以及将生成网络输出的图像和第二图像集中与拍摄图像相关的漫画图像作为生成式对抗网络中判别网络的输入，从而对生成网络和判别网络进行交替迭代训练，直至判别网络输出的判别概率值大于预设值，此时得到的训练后的生成网络将作为图像生成模型。该训练方法不但可以训练出将拍摄的图像转换成具有漫画风格的图像的模型，还可以提高训练模型的效率。
请参阅图3，图3是本申请的实施例提供的另一种图像生成模型训练方法的示意流程图。该图像生成模型基于生成式对抗网络进行模型训练得到的，当然也可以采用其他类似网络进行训练得到。
如图3所示，该图像生成模型训练方法，包括：步骤S201至步骤S208。
S201、获取多张拍摄图像和多张漫画图像。
具体地，可以从Flickr网站上下载了一定数量的图片作为拍摄图像，当然也可以从其他网站或数据库中下载相应的图片，该图片为拍摄图片，即是真实世界中的图像。
具体地，漫画图像可以采用动漫中的图像，比如动漫火影忍者，通过选定动漫火影忍者的前700集动漫，并在每集动漫中随机选取10张图像，总共7000张火影忍者的图像作为动漫图像。
S202、分别对所述拍摄图像和所述漫画图像进行剪切处理以得到剪切后的拍摄图像和漫画图像。
其中，分别对所述拍摄图像和所述漫画图像进行剪切处理以得到剪切后的拍摄图像和漫画图像，以确定剪切后的拍摄图像和漫画图像的图像大小均相同，比如均剪切为256×256尺寸的图像，当然也可以剪切为其他尺寸。
S203、根据剪切后的拍摄图像构建第一图像集，以及根据剪切后的漫画图像构建第二图像集。
具体地，将剪切后的拍摄图像构建第一图像集，以及将剪切后的漫画图像构建第二图像集，以使得第一图像集和第二图像集中的图像大小均相同。
S204、获取第一图像集和第二图像集。
其中，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像。需要说明的是，所述第一图像集中的图像数量和第二图像集中的图像数量可以相同，也可以不相同。
S205、根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像。
具体地，根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像；根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像；将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像。
S206、获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络。
具体地，获取预选设置的生成式对抗网络(Generative Adversarial Networks、GAN)，该生成式对抗网络包括生成网络和判别网络，生成网络用于利用拍摄图像生成漫画图像，判别网络用于判别生成网络输出的图像是否为漫画图像。
S207、将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练。
其中，进行交替迭代训练包括两个训练过程，分别为：训练生成网络和训练判别网络。具体地，将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练，最后的迭代直至判别网络模型无法判别输入的是第二图像集中的火影图像，还是生成网络模型生成的火影图像，这时整个生成网络模型已经训练好。
S208、当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
具体地，通过设置预设值的方式，比如通过判别网络模型输出的概率值大于该预设值时，来确定判别网络模型的二分类的能力，进而确保生成网络模型生成的图像，具有动漫火影风格的图像。
当所述判别网络输出的判别概率值大于预设值时，则表明该生成网络模型可以用来生成具有漫画风格的图像，因此保存此时的生成网络作为漫画风格图像生成模型。
上述实施例提供的训练方法先构建第一图像集和第二图像集，再根据预设漫画生成算法对第一图像集中的拍摄图像进行预处理以得到拍摄图像对应的目标漫画图像；然后将目标漫画图像作为生成式对抗网络中生成网络的输入，以及将生成网络输出的图像和第二图像集中与拍摄图像相关的漫画图像作为生成式对抗网络中判别网络的输入，从而对生成网络和判别网络进行交替迭代训练，直至判别网络输出的判别概率值大于预设值，此时得到的训练后的生成网络将作为图像生成模型。该训练方法不但可以训练出将拍摄的图像转换成具有漫画风格的图像的模型，还可以提高训练模型的效率。
请参阅图4，图4是本申请的实施例提供的一种图像生成方法的示意流程图。该图像生成方法可以应用终端或服务器中，根据拍摄图像利用上述训练的图像生成模型生成具有漫画风格的图像。
在本实施例中，以图像生成方法应用在终端(手机)为例进行介绍，具体如图5所示，图5为本申请提供的图像生成方法的应用场景示意图。服务器采用上述实施例提供的任一项图像生成模型训练方法训练出图像生成模型，并将图像生成模型发送至终端中，终端接收服务器发送的图像生成模型并保存，该终端可运行图像生成方法根据拍摄图像利用该图像生成模型生成具有漫画风格的图像。
例如，在一个实施例中，终端用于执行：获取待处理图像，所述待处理图像为拍摄图像；将所述待处理图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述任一项所述的图像生成模型训练方法训练得到的模型。进而将用户在终端中选择的待处理图像(比如钢拍摄的图像或磁盘中存储的图像)转换成具有漫画风格图像，以提高用户的体验。
例如，在一个实施例中，终端用于执行：获取待处理图像，所述待处理图像为拍摄图像；根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；将所述层级图像和所述边缘图像进行图像合成以得到目标图像；将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述任一项所述的图像生成模型训练方法训练得到的模型。进而可以将用户在终端中选择的待处理图像快速准确地转换成具有漫画风格图像，以提高用户的体验。
以下将结合图4和图5，对本实施例提供的图像生成方法进行详细介绍，如图4所示，该图像生成方法，包括：步骤S301至步骤S305。
S301、获取待处理图像，所述待处理图像为拍摄图像。
具体地，该待处理图像可以为用户刚拍摄的图片，或者是用户在图库中选择的图片，比如用户用手机拍摄的图片或者从之前拍摄图片中选择一张图片，想将其转换为具有卡通风格的漫画图像，可以将该图片发送至保存有漫画风格图像生成模型的服务器，由服务器将该待处理图像输入至漫画风格图像生成模型以生成对应的漫画图像，并将生成的漫画图像发送给用户。
在一个实施例中，还提供另一种图像生成方法，该图像生成方法还可以将获取的待处理图像作为目标图像，并执行步骤S305。
S302、根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像。
具体地，使用均值漂移(Mean-shift)算法对拍摄图像进行图像分割以及对图像进行层级处理，通过不断迭代将图像中的相似颜色统一，以得到均有层级结构的层级图像。
S303、根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像。
具体地，基于流的高斯差分滤波器(Flow-Based Difference of Gaussian、FDoG)算法对所述拍摄图像进行边缘提取，以提取出所述拍摄图像对应的边缘图像。
S304、将所述层级图像和所述边缘图像进行图像合成以得到目标图像。
具体地，将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的具体层级结构和边缘特征的图像，即目标图像。将该目标图像输入至图像生成模型以生成具有漫画风格的图像，可以提高生成图像的速度。
S305、将所述目标图像输入至图像生成模型以生成对应的漫画图像。
其中，所述图像生成模型为采用上述实施例提供的任一项所述的图像生成模型训练方法训练得到的模型。将所述目标图像输入至图像生成模型以生成对应的漫画图像，如图5所示，将根据层级图像和边缘图像合成的目标图像输入至模型，该模型为图像生成模型，利用该图像生成模型生成具有漫画风格的图像，如图5中的终端显示的图像，由此提高了用户的体验。
请参阅图6，图6是本申请的实施例提供的一种图像生成模型训练装置的示意性框图，该图像生成模型训练装置可以配置于服务器中，用于执行前述的图像生成模型训练方法。
如图6所示，该图像生成模型训练装置400，包括：拍摄获取单元401、剪切处理单元402、图集构建单元403、数据获取单元404、预处理单元405、网络获取单元406、模型训练单元407和模型保存单元408。
拍摄获取单元401，用于获取多张拍摄图像和多张漫画图像。
剪切处理单元402，用于分别对所述拍摄图像和所述漫画图像进行剪切处理以得到剪切后的拍摄图像和漫画图像，其中剪切后的拍摄图像和漫画图像的图像大小相同。
图集构建单元403，用于根据剪切后的拍摄图像构建第一图像集，以及根据剪切后的漫画图像构建第二图像集。
数据获取单元404，用于获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像。
预处理单元405，用于根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像。
在一个实施例中，如图7所示，预处理单元405包括：层级处理子单元4051、边缘处理子单元4052和图像合成子单元4053。
层级处理子单元4051，用于根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像；边缘处理子单元4052，用于根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像；图像合成子单元4053，用于将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像。
网络获取单元406，用于获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络。
模型训练单元407，用于将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练。
模型保存单元408，用于当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
请参阅图8，图8是本申请的实施例提供一种图像生成装置的示意性框图，该图像生成装置用于执行前述的图像生成方法。其中，该图像生成装置可以配置于服务器或终端中。
如图8所示，该图像生成装置500，包括：图像获取单元501、分割处理单元502、边缘处理单元503、图像合成单元504和图像生成单元505。
图像获取单元501，用于获取待处理图像，所述待处理图像为拍摄图像。
在一个实施例中，还可以将获取的待处理图像作为目标图像，并调用图像生成单元505。
分割处理单元502，用于根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像。
边缘处理单元503，用于根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像。
图像合成单元504，用于将所述层级图像和所述边缘图像进行图像合成以得到目标图像。
图像生成单元505，用于将所述目标图像输入至图像生成模型以生成对应的漫画图像。其中，所述图像生成模型为采用上述的图像生成模型训练方法训练得到的模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
参阅图9，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种图像生成模型训练方法或图像生成方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像生成模型训练方法或图像生成方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像；根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像；获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络；将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练；当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像。
在一个实施例中，所述处理器在实现所述获取第一图像集和第二图像集之前，还用于实现：
获取多张拍摄图像和多张漫画图像；分别对所述拍摄图像和所述漫画图像进行剪切处理以得到剪切后的拍摄图像和漫画图像，其中剪切后的拍摄图像和漫画图像的图像大小相同；根据剪切后的拍摄图像构建第一图像集，以及根据剪切后的漫画图像构建第二图像集。
在一个实施例中，所述处理器在实现所述根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像时，用于实现：
根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像；根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像；将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像。
在一个实施例中，所述处理器在实现所述根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像时，用于实现：
根据切线流公式，在所述拍摄图像中构建切线流；通过类二值图像边界计算公式，计算构建的切线流的高斯差值以得到具有边缘轮廓线的边缘图像。
在一个实施例中，所述切线流公式为：
其中，Ω(x)表示X的邻域，X＝(x,y)表示所述拍摄图像的像素点；k是归一化向量；t(y)表示y点处的当前归一化切线向量；φ(x,y)为符号函数，φ(x,y)∈{1,-1}；ws(x,y)为空间权重向量；wm(x,y)为量级权重函数；wd(x,y)为方向权重函数；初始时，t0(x)设为与图像梯度向量正交的向量；
在一个实施例中，所述类二值图像边界计算公式为：
其中，D(x)表示二值图像边界，H(x)为所述基于流的高斯差分滤波器算法的滤波器函数；λ为系数因子，λ取值范围为(0,1)；τ取值为0.5。
其中，在另一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取待处理图像，所述待处理图像为拍摄图像；将所述待处理图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述的图像生成模型训练方法训练得到的模型。
其中，在另一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取待处理图像，所述待处理图像为拍摄图像；根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；将所述层级图像和所述边缘图像进行图像合成以得到目标图像；将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用上述的图像生成模型训练方法训练得到的模型。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任意一项图像生成模型训练方法或图像生成方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种图像生成模型训练方法，其特征在于，包括：
获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像；
根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像；
获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络；
将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练；
当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像，
其中，所述根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像，包括：
根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像；
根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像；
将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像，
其中，根据切线流公式，在所述拍摄图像中构建切线流，所述切线流公式为：
其中，Ω(x)表示X的邻域，X＝(x,y)表示所述拍摄图像的像素点；k是归一化向量；t(y) 表示y点处的当前归一化切线向量；为符号函数，∈{1,-1}；ws(x,y)为 空间权重向量；wm(x,y)为量级权重函数；wd(x,y)为方向权重函数；初始时，t0(x)设为与图 像梯度向量正交的向量；
通过类二值图像边界计算公式，计算构建的切线流的高斯差值以得到具有边缘轮廓线的边缘图像，所述类二值图像边界计算公式为：
其中，D(x)表示二值图像边界，H(x)为所述基于流的高斯差分滤波器算法的滤波器函 数；λ为系数因子，λ取值范围为(0,1)；取值为0.5。
2.根据权利要求1所述的图像生成模型训练方法，其特征在于，所述获取第一图像集和第二图像集之前，还包括：
获取多张拍摄图像和多张漫画图像；
分别对所述拍摄图像和所述漫画图像进行剪切处理以得到剪切后的拍摄图像和漫画图像，其中剪切后的拍摄图像和漫画图像的图像大小相同；
根据剪切后的拍摄图像构建第一图像集，以及根据剪切后的漫画图像构建第二图像集。
3.一种图像生成方法，其特征在于，包括：
获取待处理图像，所述待处理图像为拍摄图像；
根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；
根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；
将所述层级图像和所述边缘图像进行图像合成以得到目标图像；
将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用权利要求1至2中任一项所述的图像生成模型训练方法训练得到的模型。
4.一种图像生成模型训练装置，其特征在于，包括：
数据获取单元，用于获取第一图像集和第二图像集，所述第一图像集包括多张拍摄图像，所述第二图像集包括多张漫画图像；
预处理单元，用于根据预设漫画生成算法对所述拍摄图像进行预处理以得到所述拍摄图像对应的目标漫画图像；
网络获取单元，用于获取预设的生成式对抗网络，所述生成式对抗网络包括生成网络和判别网络；
模型训练单元，用于将所述目标漫画图像作为所述生成网络的输入以及将所述生成网络输出的图像和所述漫画图像作为所述判别网络的输入，对所述生成网络和判别网络进行交替迭代训练；
模型保存单元，用于当所述判别网络输出的判别概率值大于预设值时,保存训练后的生成网络作为图像生成模型，所述图像生成模型用于生成具有漫画风格的图像；
所述预处理单元，还用于根据均值漂移算法对所述拍摄图像进行图像分割处理以得到具有层级结构的层级图像；
根据基于流的高斯差分滤波器算法对所述拍摄图像进行处理以生成具有边缘轮廓线的边缘图像；
将所述层级图像和所述边缘图像进行图像合成以得到所述拍摄图像对应的目标漫画图像，
其中，根据切线流公式，在所述拍摄图像中构建切线流，所述切线流公式为：
其中，Ω(x)表示X的邻域，X＝(x,y)表示所述拍摄图像的像素点；k是归一化向量；t(y) 表示y点处的当前归一化切线向量；为符号函数，∈{1,-1}；ws(x,y)为 空间权重向量；wm(x,y)为量级权重函数；wd(x,y)为方向权重函数；初始时，t0(x)设为与图 像梯度向量正交的向量；
通过类二值图像边界计算公式，计算构建的切线流的高斯差值以得到具有边缘轮廓线的边缘图像，所述类二值图像边界计算公式为：
其中，D(x)表示二值图像边界，H(x)为所述基于流的高斯差分滤波器算法的滤波器函 数；λ为系数因子，λ取值范围为(0,1)；取值为0.5。
5.一种图像生成装置，其特征在于，包括：
图像获取单元，用于获取待处理图像，所述待处理图像为拍摄图像；
分割处理单元，用于根据均值漂移算法对所述待处理图像进行图像分割处理以得到具有层级结构的层级图像；
边缘处理单元，用于根据基于流的高斯差分滤波器算法对所述待处理图像进行处理以生成具有边缘轮廓线的边缘图像；
图像合成单元，用于将所述层级图像和所述边缘图像进行图像合成以得到目标图像；
图像生成单元，用于将所述目标图像输入至图像生成模型以生成对应的漫画图像，其中，所述图像生成模型为采用权利要求1至2中任一项所述的图像生成模型训练方法训练得到的模型。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至2中任一项所述的图像生成模型训练方法或实现如权利要求3所述的图像生成方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至2中任一项所述的图像生成模型训练方法或实现如权利要求3所述的图像生成方法。
CN201910267519.9A 2019-04-03 2019-04-03 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 Active CN110097086B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910267519.9A CN110097086B (zh) 2019-04-03 2019-04-03 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
PCT/CN2019/103142 WO2020199478A1 (zh) 2019-04-03 2019-08-28 图像生成模型训练方法、图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910267519.9A CN110097086B (zh) 2019-04-03 2019-04-03 图像生成模型训练方法、图像生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110097086A CN110097086A (zh) 2019-08-06
CN110097086B true CN110097086B (zh) 2023-07-18

Family

ID=67444266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267519.9A Active CN110097086B (zh) 2019-04-03 2019-04-03 图像生成模型训练方法、图像生成方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110097086B (zh)
WO (1) WO2020199478A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097086B (zh) * 2019-04-03 2023-07-18 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
CN110516201B (zh) * 2019-08-20 2023-03-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110620884B (zh) * 2019-09-19 2022-04-22 平安科技（深圳）有限公司 基于表情驱动的虚拟视频合成方法、装置及存储介质
CN111080512B (zh) * 2019-12-13 2023-08-15 咪咕动漫有限公司 动漫图像生成方法、装置、电子设备及存储介质
CN113139893B (zh) * 2020-01-20 2023-10-03 北京达佳互联信息技术有限公司 图像翻译模型的构建方法和装置、图像翻译方法和装置
CN111589156A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111899154A (zh) * 2020-06-24 2020-11-06 广州梦映动漫网络科技有限公司 漫画视频生成方法及漫画生成方法、装置、设备、介质
CN112101204B (zh) * 2020-09-14 2024-01-23 北京百度网讯科技有限公司 生成式对抗网络的训练方法、图像处理方法、装置和设备
CN112132208B (zh) * 2020-09-18 2023-07-14 北京奇艺世纪科技有限公司 图像转换模型的生成方法、装置、电子设备及存储介质
CN112529058A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 图像生成模型训练方法和装置、图像生成方法和装置
CN113034523A (zh) * 2021-04-23 2021-06-25 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备
CN114067052A (zh) * 2021-11-16 2022-02-18 百果园技术(新加坡)有限公司 漫画化模型构建方法、装置、设备、存储介质及程序产品
CN113989441B (zh) * 2021-11-16 2024-05-24 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统
CN114359449A (zh) * 2022-01-13 2022-04-15 北京大橘大栗文化传媒有限公司 一种面部数字资产制作方法
CN116862766A (zh) * 2023-06-28 2023-10-10 北京金阳普泰石油技术股份有限公司 基于边缘生成模型的智能成图与迭代无缝拼接方法和装置
CN116912345B (zh) * 2023-07-12 2024-04-26 天翼爱音乐文化科技有限公司 一种人像动漫化处理方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718540A (zh) * 2011-02-21 2014-04-09 英特尔公司 用于生成全景图像的方法、用户终端和计算机可读记录介质
CN108364029A (zh) * 2018-03-19 2018-08-03 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171042B2 (en) * 2000-12-04 2007-01-30 Intel Corporation System and method for classification of images and videos
WO2018212822A1 (en) * 2017-05-16 2018-11-22 Google Inc. Suggested actions for images
US10268928B2 (en) * 2017-06-07 2019-04-23 Adobe Inc. Combined structure and style network
CN107330956B (zh) * 2017-07-03 2020-08-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN107423701B (zh) * 2017-07-17 2020-09-01 智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN110097086B (zh) * 2019-04-03 2023-07-18 平安科技（深圳）有限公司 图像生成模型训练方法、图像生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718540A (zh) * 2011-02-21 2014-04-09 英特尔公司 用于生成全景图像的方法、用户终端和计算机可读记录介质
CN108364029A (zh) * 2018-03-19 2018-08-03 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法

Also Published As

Publication number Publication date
CN110097086A (zh) 2019-08-06
WO2020199478A1 (zh) 2020-10-08

Similar Documents

Publication Publication Date Title
CN110097086B (zh) 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
US10152655B2 (en) Deep-learning network architecture for object detection
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
CN109583509B (zh) 数据生成方法、装置及电子设备
EP3905194A1 (en) Pose estimation method and apparatus
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN105590304B (zh) 超分辨率图像重建方法和装置
CN112016546A (zh) 一种文本区域的定位方法及装置
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
CN111666905B (zh) 模型训练方法、行人属性识别方法和相关装置
WO2018176281A1 (zh) 一种素描图像的生成方法及装置
Wan et al. Style-guided shadow removal
JP2013142991A (ja) 物体領域検出装置、方法、及びプログラム
CN112862807A (zh) 基于头发图像的数据处理方法及装置
Montserrat et al. Logo detection and recognition with synthetic images
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN106446844B (zh) 姿势估计方法和装置、计算机系统
CN113361567B (zh) 图像处理方法、装置、电子设备和存储介质
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
CN112966600B (zh) 用于拥挤人群计数的自适应多尺度上下文聚合方法
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant