CN114863000A - 发型生成的方法、装置、介质及设备 - Google Patents
发型生成的方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN114863000A CN114863000A CN202210283187.5A CN202210283187A CN114863000A CN 114863000 A CN114863000 A CN 114863000A CN 202210283187 A CN202210283187 A CN 202210283187A CN 114863000 A CN114863000 A CN 114863000A
- Authority
- CN
- China
- Prior art keywords
- hair style
- image
- stroke
- input image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 44
- 238000005457 optimization Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 8
- 230000003806 hair structure Effects 0.000 abstract description 7
- 238000003860 storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种发型生成的方法，所述方法包括：获取待处理的输入图像和目标发型参数；基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中的发型区域调整后的图像。本发明通过目标发型参数对输入图像进行笔画渲染生成笔画图，然后对笔画图进行模型训练从而生成发型更为真实的高清图片。与现有多输入条件头发图像生成方法相比，头发结构更为真实，生成的图像更高清也更具有真实性。此外，本发明还提供了发型生成的装置、计算机可读介质和计算机设备。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及一种发型生成的方法、装置、介质及设备。
背景技术
在计算机视觉和计算机图形学领域，头发编辑是一个重要的课题。头发是一个形象主要的特征，对于人的肖像非常重要。然而由于头发的自由性、不规则性和多变性等特性，头发的研究相对人脸和身体难度更大。
近年来，生成对抗网络在图像生成方面有非常好的效果，也将其应用在人脸生成以及人像属性控制方面，可以通过属性控制人脸图像生成。在人像生成方法中，有些研究已经涉及到简单头发属性控制，例如颜色(黑色、棕色、金色等)和形状(卷发、直发等)等。然而这对于头发编辑是远远不够的。
现有的对头发进行编辑是采用多输入条件头发图像生成方法(MichiGAN)。该方法解耦了头发图像为头发形状、头发结构、头发纹理和背景四部分。每一部分通过一个对应的表达、处理。这四部分组合构成一个端到端的头发生成网络。虽然这一方法在头发编辑领域是一个大突破，但是利用该方法生成的图像并不清晰，并且头发结构经常是不合理的。同时，由于在该方法中采用图像修复技术(inpainting)会使得最终生成的图像具有明显的人工拼接的痕迹。
发明内容
为了克服现有技术中的上述缺陷，本发明提供了一种发型生成的方法介质及设备。
本发明实施例第一方面提供了一种发型生成的方法，所述方法包括：
获取待处理的输入图像和目标发型参数；
基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；
将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中的发型区域调整后的图像。
优选地，所述获取目标发型参数，包括：
获取参考图像；
获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数。
优选地，所述获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数，包括：
获取所述参考图像中发型区域对应的发型参数；
响应针对所述发型参数的调整操作，根据所述调整操作获得所述目标发型参数。
优选地，所述方法还包括：
根据所述笔画图与所述输入图像，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
优选地，所述目标发型参数包括笔画参数；
所述方法还包括：
在所述第一损失值小于预设阈值之前，对所述笔画参数进行调整，获得更新的目标发型参数；
根据更新后的目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图。
优选地，所述方法还包括：
当所述第一损失值小于或等于所述预设阈值时，以当前的笔画参数对应的目标发型参数对所述输入图像中的发型区域进行渲染，获得所述输入图像对应的笔画图。
优选地，所述根据所述笔画图与所述输入图像，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值，包括：
根据所述笔画图与所述输入图像，获得所述笔画图中每个像素的密集方向；
根据所述笔画图中每个像素的密集方向，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
优选地，所述基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图，包括：
基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得发型区域的笔画图像；
将所述输入图像中除所述发型区域外的其他区域对应的图像与所述发型区域的笔画图像进行组合，获得所述输入图像对应的笔画图。
优选地，所述生成对抗网络模型包括嵌入网络模型和优化网络模型；
所述将所述笔画图输入至生成对抗网络模型，获得目标图像，包括：
将所述笔画图输入至所述嵌入网络模型中，获得所述笔画图对应的隐向量；
基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像。
优选地，所述基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像，包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图；
根据所述笔画图和所述输出图，获得损失值；
根据所述损失值对所述隐向量和所述随机噪音分别进行更新；
基于更新后的所述隐向量和所述随机噪音，通过所述优化网络模型获得输出图，直到达到预设的迭代次数，将所述优化网络模型获得的输出图作为所述输入图像对应的目标图像。
优选地，所述将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图，包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得高清图；
对所述高清图进行下采样处理，获得小尺寸的输出图。
本发明实施例第二方面提供了一种发型生成的装置，所述装置包括：
笔画图生成模块，用于获取待处理的输入图像和目标发型参数，并基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；
目标图像生成模块，用于将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中发型区域调整后的图像。
本发明实施例第三方面提供了一个或多个存储计算机可执行指令的计算机可读介质，所述指令在由一个或多个计算机设备使用时使得一个或多个计算机设备执行如本发明实施例第一方面所述的发型生成的方法。
本发明实施例第四方面提供了一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述的发型生成的方法。
本发明提供的发型生成的方法可实现对输入图像的发型生成，也可以将参考图像的发型迁移至输入图像的身份上，实现发型迁移。通过目标发型参数对输入图像进行笔画渲染生成笔画图，然后对笔画图进行模型训练从而生成发型更为真实的高清图片。与现有多输入条件头发图像生成方法相比，头发结构更为真实，生成的图像更高清也更具有真实性。
附图说明
通过阅读参照以下附图所作的对非限制性具体实施方式所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例所述的发型生成的方法的流程图；
图2为采用本发明一实施例所述的发型生成的方法获得的笔画图的效果图；
图3、图4和图5为采用本发明一实施例所述的发型生成的方法获得的发型效果图；
图6为本发明另一实施例所述的计算机设备的结构示意图；
图7是用于执行本发明的发型生成的方法的具体实施方式的一种典型计算机设备的结构示意图。
具体实施方式
为了更好地理解和阐释本发明，下面将结合附图对本发明作进一步的详细描述。本发明并不仅仅局限于这些具体实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
需要说明的是，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在下文给出的多个具体实施方式中，对于本领域熟知的原理、结构和部件未作详细描述，以便于凸显本发明的主旨。
如图1所示，本实施例提出了一种发型生成的方法，该方法包括：
S101、获取待处理的输入图像和目标发型参数；
S102、基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图。
具体地，本实施例所提出的发型生成的方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PersonalComputer，PC)、个人数字助理(PersonalDigitalAssistant，PDA)等终端设备，终端还可以包括客户端。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本实施例中，待处理的输入图像为通过人脸关键点对齐处理的人脸图像。在获取输入图像后，根据目标发型参数将该输入图像中的发型区域用笔画进行渲染生成笔画图。其中，笔画图为采用带有宽度和颜色的二次贝塞尔曲线渲染的叠加笔画构成的图。
更为具体的，一个发型由上百万根发丝组成。每一根发丝都可以被定义为一个贝塞尔曲线。然而单独控制每根发丝以达到控制发型的目的显然是不现实的。因此，本实施例将多根发丝构成一缕头发，每一缕头发包含有多个笔画。其中，每个笔画都可以表述每缕头发局部的方向、颜色等特征。这样，整个发型就可以理解为由多个相互覆盖的一缕缕头发构成的。本实施例可通过例如S∈R35×11(35代表贝塞尔曲线的个数，11代表一个贝塞尔曲线的发型参数)的目标发型参数对输入图像中的发型区域用笔画进行渲染，生成输入图像对应的笔画图。
其中，获取目标发型参数，包括：
获取参考图像；
获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数。
即在本实施例中目标发型参数可通过对参考图像中发型区域对应的发型参数进行提取而确定。
更具体的，获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数，包括：
获取所述参考图像中发型区域对应的发型参数；
响应针对所述发型参数的调整操作，根据所述调整操作获得所述目标发型参数。
即当参考图像中发型区域对应的发型参数发生调整操作时，响应该调整操作，并根据该调整操作获得目标发型参数，以使目标发型参数随参考图像中发型区域对应的发型参数变化而变化。当然，该目标发型参数也可以通过设计一发型参数编辑系统，由用户进行手动输入而定。
受风格渲染启发，笔画图是模拟马克笔作画的过程。每一个笔画都可以参数化为三个控制点(P0，P1，P2)，宽度(d)和颜色(R，G，B，A)。现有技术通常的方法是将一张空白的画布分为n×n块(n＞1)，每个块中由多个互相重叠的笔画组成。每个块中的笔画是逐渐增加的。然而采用这种现有方法生成的笔画图不能体现内部结构，每个块中增加的笔画通过迭代使得输入和渲染的生成图越来越接近。这些笔画趋向于多个覆盖从而达到像素颜色最像，如图2中，Input一列对应的图像为输入图像，StrokeA一列所展示的图像为采用现有技术所生成的Input中的输入图像分别对应的笔画图。而本实施例通过给定的输入图像，获取到该输入图像的发型区域，然后在一张空白的画布上，每一次迭代随机给定一组目标发型参数，并通过笔画图中的发型区域与输入图像中的发型区域之间的第一损失值反映画布与输入图像的发型区域的损失。通过调整目标发型参数，经多次迭代后可使得第一损失值达到最小，使后续生成的笔画图可以保持内部结构，并且大大减少笔画数。最后基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得发型区域的笔画图像，将输入图像中除所述发型区域外的其他区域对应的图像与发型区域的笔画图像进行组合，获得输入图像对应的笔画图，如图2中StrokeB一列所展示的图像为采用本实施例所提出的方法所生成的Input中的输入图像分别对应的笔画图。
具体的，本实施例中，目标发型参数包括笔画参数。在第一损失值小于预设阈值之前，对笔画参数进行调整，获得更新的目标发型参数；根据更新后的目标发型参数对输入图像中的发型区域用笔画进行渲染，获得输入图像对应的笔画图。当第一损失值小于或等于预设阈值时，以当前的笔画参数对应的目标发型参数对输入图像中的发型区域进行渲染，获得输入图像对应的笔画图。
其中，本实施例中获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值第一损失值
如的过程包括：
根据所述笔画图与所述输入图像，获得所述笔画图中每个像素的密集方向；
根据所述笔画图中每个像素的密集方向，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
具体的，本实施例中第一损失值
如下：
其中，
和为分别是像素的L1损失值，
为最优传输损失值，
为宽度损失值，
为特征损失值，
为方向损失值，α1、αot、αwh、αp和αori分别为对应的损失值的系数；
其中，N为笔画的个数，di为第i个笔画的宽度；
其中，F为感知特征提取器，I′为每次迭代后生成的图像；
其中，Ostroke(.)为笔画图的密集方向，Oreal(.)为利用gabor filter计算的每次迭代后生成的图像的密集方向。本实施例通过笔画图和输入图像可获得笔画图中每个像素的密集方向。对于每一个笔画，该笔画的切线方向即为局部方向，那么即可获得所有笔画的方向。然而不同笔画之间会有重叠，所以根据透明度和笔画出现顺序给予方向置信度，从而得到每个像素的最终方向，即为每个像素的密集方向。然后根据笔画图中每个像素的密集方向获得笔画图中发型区域与输入图像中的发型区域之间的第一损失值，即上式所述的
S103、将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中的发型区域调整后的图像。
具体的，本实施例采用stylegan2模型作为网络训练的生成对抗网络模型。该stylegan2模型是一个混合模型，包括一个嵌入网络模型和一个优化网络模型。其中，将所述笔画图输入至生成对抗网络模型，获得目标图像的过程包括：
将所述笔画图输入至所述嵌入网络模型中，获得所述笔画图对应的隐向量；
基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像。
首先将S102中所生成的笔画图输入至嵌入网络模型中获得隐向量wi。然后将随机噪音和隐向量输入至优化网络模型获得输出图像，该输出图像即为输入图像对应的目标图像。
更具体的，基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像的过程包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图；
根据所述笔画图和所述输出图，获得损失值；
根据所述损失值对所述隐向量和所述随机噪音分别进行更新；
基于更新后的所述隐向量和所述随机噪音，通过所述优化网络模型获得输出图，直到达到预设的迭代次数，将所述优化网络模型获得的输出图作为所述输入图像对应的目标图像。
首先将随机噪音和隐向量输入至优化网络模型获得输出图，然后再根据笔画图和输出图获得损失值，并通过该损失值对隐向量和随机噪音分别进行更新，并将更新后的隐向量和随机噪音再次输入至优化网络模型获得输出图，直至获得输出图的次数达到预设的最大迭代次数后将优化网络模型获得的输出图作为输入图像对应的目标图像。本实施例中，最大迭代次数可根据实际需求进行设定，本实施例不做特殊限定。
其中，将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图的过程包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得高清图；
对所述高清图进行下采样处理，获得小尺寸的输出图。
本实施例中，在输出图生成的过程中，可将隐向量和随机噪音输入至优化网络模型中获得高清图，并对该高清图进行下采样处理获得小尺度的输出图，从而提升输出图的清晰度。本实施例中，下采样处理时采用双三次下采样将大尺度的高清图采样到实际所需的小尺度的输出图。
更为具体的，本实施例通过把笔画图和输入图像作为输入训练嵌入网络模型，与此同时，迭代优化的结果可以反过来优化嵌入网络模型的训练过程。
在测试阶段，笔画图通过嵌入网络模型得到隐向量，通过迭代优化的方式在一个真实的流形中搜索一个真实的高清图像作为输出图像，可定义为I′。这个搜索过程通过迭代优化实现，每次迭代更新隐向量和随机噪音，使得高清的输出图像与输入的笔画图的损失最小化。
本实施例中，嵌入网络模型的损失值
和优化网络模型的损失值
分别为：
其中，λw、λ2、λLPIPS、λgeo、λid、λori均为系数，用于平衡各个损失值，
wo为迭代优化后更新的隐向量，
为应用LPIPS在人脸区域损失值；
其中，DS为下采样；
通过下述的交叉损失值
使得隐向量不会偏离太远：
其中，vi为和vj分别为stylegan2的隐向量中的一个向量，i,j为自然数，θ为两个向量之间的角度；
身份损失值
是人脸识别网络提取的特征之间的距离。利用“Light CNN-29”提取256维特征，然后计算输入图像与下采样图像之间的L1损失值表示为：
其中，Freg(.)是人脸识别网络，人脸识别网络为了保证输入图像的身份不变。
方向损失值
为：
图2中ResultA和ResultB分别为采用本实施例所提出的生成对抗网络模型分别对StrokeA和StrokeB进行网络训练后生成的图像，可以看出，本实施例头发结构更为真实，生成的图像更高清也更具有真实性。
本实施例所提出的发型生成的方法可实现对输入图像的发型生成。通过目标发型参数对输入图像进行笔画渲染生成笔画图，然后对笔画图进行模型训练从而生成发型更为真实的高清图片。如图3、图4和图5所示为采用本实施例所提出的发型生成的方法输出的发型图像和细节处理展示，其中，图3和图4中，上面一行为笔画图，下面一行为目标图像，并且生成图3和图4所展示的效果的目标发型参数是通过发型参数编辑系统，由用户手动输入而确定的。图5中，左上图像为输入图像，左下图像为参考图像，右侧图像为目标图像，并且生成图5所展示的效果的目标发型参数则是通过对参考图像中发型区域对应的发型参数进行提取而确定的。可以看出，本实施例所提出的发型生成的方法可根据用户对发型参数的调整输出更贴近真实的高清发型图像。与现有多输入条件头发图像生成方法相比，头发结构更为真实，生成的图像更高清也更具有真实性。
本实施例提出一种发型生成的装置，该装置包括：
笔画图生成模块，用于获取待处理的输入图像和目标发型参数，并基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；
目标图像生成模块，用于将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中发型区域调整后的图像。
进一步的，笔画图生成模块包括：
目标发型参数生成模块，用于获取参考图像，获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数。
进一步的，目标发型参数获取模块包括：
目标发型参数调整模块，用于获取所述参考图像中发型区域对应的发型参数，响应针对所述发型参数的调整操作，根据所述调整操作获得所述目标发型参数。
进一步的，该装置还包括：
损失值计算模块，用于根据所述笔画图与所述输入图像，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
进一步的，目标发型参数包括笔画参数，该装置还包括：
目标发型参数更新模块，用于在所述第一损失值小于预设阈值之前，对所述笔画参数进行调整，获得更新的目标发型参数；
渲染模块，用于根据更新后的目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图。
进一步的，渲染模块，还用于当所述第一损失值小于或等于所述预设阈值时，以当前的笔画参数对应的目标发型参数对所述输入图像中的发型区域进行渲染，获得所述输入图像对应的笔画图。
进一步的，损失值计算模块包括：
密集方向计算模块，用于根据所述笔画图与所述输入图像，获得所述笔画图中每个像素的密集方向；
损失值计算子模块，用于根据所述笔画图中每个像素的密集方向，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
进一步的，生成对抗网络模型包括嵌入网络模型和优化网络模型，目标图像生成模块包括：
隐向量生成模块，用于将所述笔画图输入至所述嵌入网络模型中，获得所述笔画图对应的隐向量；
目标图像生成模块，用于基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像。
进一步的，目标图像生成模块包括：
输出图生成模块，用于将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图；
损失值生成模块，用于根据所述笔画图和所述输出图，获得损失值；
隐向量更新模块，用于根据损失值对所述隐向量进行更新；
随机噪音更新模块，用于根据损失值对所述随机噪音分别进行更新；
目标图像生成子模块，用于基于更新后的所述隐向量和所述随机噪音，通过所述优化网络模型获得输出图，直到达到预设的迭代次数，将所述优化网络模型获得的输出图作为所述输入图像对应的目标图像。
进一步的，输出图生成模块包括：
高清图生成模块，用于将所述隐向量和所述随机噪音输入至所述优化网络模型，获得高清图；
下采样处理模块，用于对所述高清图进行下采样处理，获得小尺寸的输出图。
进一步的，笔画图生成模块还包括：
笔画图像生成模块，用于基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得发型区域的笔画图像；
图像组合模块，用于将所述输入图像中除所述发型区域外的其他区域对应的图像与所述发型区域的笔画图像进行组合，获得所述输入图像对应的笔画图。
本实施例可实现对输入图像的发型生成，也可以将参考图像的发型迁移至输入图像的身份上，实现发型迁移。通过目标发型参数对输入图像进行笔画渲染生成笔画图，然后对笔画图进行模型训练从而生成发型更为真实的高清图片。与现有多输入条件头发图像生成方法相比，头发结构更为真实，生成的图像更高清也更具有真实性。
本实施例提出了一个或多个存储计算机可执行指令的计算机可读介质，所述指令在由一个或多个计算机设备使用时使得一个或多个计算机设备执行如上述实施例的发型生成的方法。所述计算机可读介质可以是可由计算机设备访问的任何可用介质，且包括用任何方法和技术实现以存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性介质、可移动和不可移动介质。计算机可读介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、盒式磁带、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并且可由计算设备访问的任何其它介质。上述的任意组合也应包含在计算机可读介质的范围内。
本实施例提出了一种计算机设备。如图6所示，该计算机设备30包括存储器301和处理器302，其中：所述存储器301存储有计算机程序，所述处理器302执行所述计算机程序时实现如实施例1所述的发型生成的方法。其中存储器301和处理器302可以通过总线连接。
请参考图7，图7是用于执行本发明的发型生成的方法的具体实施方式的一种典型计算机设备的结构示意图。更具体而言，用于执行前文所述的发型生成的方法的各个自动化装置可作为该计算机设备的一部分包含于其中。所述计算机设备至少包括如下部分：CPU(中央处理器)501、RAM(随机存储器)502、ROM(只读存储器)503、系统总线500、硬盘控制单元504、硬盘505、人机交互外部设备控制单元506、人机交互外部设备507、串行接口控制单元508、串行接口外部设备509、并行接口控制单元510、并行接口外部设备511、显示设备控制单元512和显示设备513。其中，CPU 501、RAM 502、ROM 503、硬盘控制单元504、人机交互外部设备控制单元506、串行接口控制单元508、并行接口控制单元510以及显示设备控制单元512与系统总线500相连接，并通过系统总线500实现彼此之前的通信。此外，硬盘控制单元504与硬盘505相连接；人机交互外部设备控制单元506与人机交互外部设备507相连接，典型地该人机交互外部设备是鼠标、轨迹球、触摸屏或键盘；串行接口控制单元508与串行接口外部设备509相连接；并行接口控制单元510与并行接口外部设备511相连接；显示设备控制单元512和显示设备513相连接。
图7所述的结构框图仅仅示出了能实践本发明各个实施例的一种计算机设备的结构，而并非是对本发明的实践环境的限制。在一些情况下，可以根据需要添加或者减少该计算机设备中的一些设备。例如，图7所示的设备可以移除人机交互外部设备507和显示设备513，其具体实施形态仅仅是一个能够被外部设备访问的服务器。当然图7所示的计算机设备可以单独地实现本发明运行的环境，也可以通过网络互相连接起来而提供本发明各个具体实施方式所适用运行环境，例如本发明的各个模块和/步骤可以分布地实现在互相连接的各个计算机设备中。
本发明提供的发型生成的方法中涉及软件逻辑的部分可以使用可编程逻辑器件来实现，也可以实施为计算机程序产品，该程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现上述涉及软件逻辑的部分的各个步骤。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可从计算机主体拆卸的可移动介质(例如可热拔插的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如RAM、ROM和硬盘。所述可移动介质包括但不限于：光存储媒体(例如CD-ROM和DVD)、磁光存储媒体(例如MO)、磁存储媒体(例如磁带或移动硬盘)、具有内置的可重写的非易失性存储器的媒体(例如存储卡)和具有内置ROM的媒体(例如ROM盒)。
本领域技术人员应当理解，任何具有适当编程装置的计算机系统都能够执行包含在计算机程序产品中的本发明的方法的诸步骤。尽管本说明书中描述的多数具体实施方式都侧重于软件程序，但是以硬件方式实现本发明提供的方法的替代实施例同样在本发明要求保护的范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，在权利要求的等同要件的含义和范围内的所有变化均涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他部件、单元或步骤，单数不排除复数。权利要求中陈述的多个部件、单元或装置也可以由一个部件、单元或装置通过软件或者硬件来实现。
本发明提供的发型生成的方法可实现对输入图像的发型生成，也可以将参考图像的发型迁移至输入图像的身份上，实现发型迁移。通过目标发型参数对输入图像进行笔画渲染生成笔画图，然后对笔画图进行模型训练从而生成发型更为真实的高清图片。与现有多输入条件头发图像生成方法相比，头发结构更为真实，生成的图像更高清也更具有真实性。
以上所披露的仅为本发明的一部分实施例或具体实施方式，不能以此来限定本发明之权利范围，依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (14)
1.一种发型生成的方法，其特征在于，所述方法包括：
获取待处理的输入图像和目标发型参数；
基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；
将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中的发型区域调整后的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取目标发型参数，包括：
获取参考图像；
获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数。
3.根据权利要求2所述的方法，其特征在于，所述获取所述参考图像中发型区域对应的发型参数，作为所述目标发型参数，包括：
获取所述参考图像中发型区域对应的发型参数；
响应针对所述发型参数的调整操作，根据所述调整操作获得所述目标发型参数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述笔画图与所述输入图像，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
5.根据权利要求4所述的方法，其特征在于，所述目标发型参数包括笔画参数；
所述方法还包括：
在所述第一损失值小于预设阈值之前，对所述笔画参数进行调整，获得更新的目标发型参数；
根据更新后的目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述第一损失值小于或等于所述预设阈值时，以当前的笔画参数对应的目标发型参数对所述输入图像中的发型区域进行渲染，获得所述输入图像对应的笔画图。
7.根据权利要求4所述的方法，其特征在于，所述根据所述笔画图与所述输入图像，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值，包括：
根据所述笔画图与所述输入图像，获得所述笔画图中每个像素的密集方向；
根据所述笔画图中每个像素的密集方向，获得所述笔画图中的发型区域与所述输入图像中的发型区域之间的第一损失值。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图，包括：
基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得发型区域的笔画图像；
将所述输入图像中除所述发型区域外的其他区域对应的图像与所述发型区域的笔画图像进行组合，获得所述输入图像对应的笔画图。
9.根据权利要求1所述的方法，其特征在于，所述生成对抗网络模型包括嵌入网络模型和优化网络模型；
所述将所述笔画图输入至生成对抗网络模型，获得目标图像，包括：
将所述笔画图输入至所述嵌入网络模型中，获得所述笔画图对应的隐向量；
基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像。
10.根据权利要求9所述的方法，其特征在于，所述基于所述隐向量和随机噪音，通过所述优化网络模型获得所述输入图像对应的目标图像，包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图；
根据所述笔画图和所述输出图，获得损失值；
根据所述损失值对所述隐向量和所述随机噪音分别进行更新；
基于更新后的所述隐向量和所述随机噪音，通过所述优化网络模型获得输出图，直到达到预设的迭代次数，将所述优化网络模型获得的输出图作为所述输入图像对应的目标图像。
11.根据权利要求10所述方法，其特征在于，所述将所述隐向量和所述随机噪音输入至所述优化网络模型，获得输出图，包括：
将所述隐向量和所述随机噪音输入至所述优化网络模型，获得高清图；
对所述高清图进行下采样处理，获得小尺寸的输出图。
12.一种发型生成的装置，其特征在于，所述装置包括：
笔画图生成模块，用于获取待处理的输入图像和目标发型参数，并基于所述目标发型参数对所述输入图像中的发型区域用笔画进行渲染，获得所述输入图像对应的笔画图；
目标图像生成模块，用于将所述笔画图输入至生成对抗网络模型，获得目标图像，所述目标图像为所述输入图像中发型区域调整后的图像。
13.一个或多个存储计算机可执行指令的计算机可读介质，所述指令在由一个或多个计算机设备使用时使得一个或多个计算机设备执行如权利要求1至11任一项所述的发型生成的方法。
14.一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的发型生成的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210283187.5A CN114863000A (zh) | 2022-03-22 | 2022-03-22 | 发型生成的方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210283187.5A CN114863000A (zh) | 2022-03-22 | 2022-03-22 | 发型生成的方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114863000A true CN114863000A (zh) | 2022-08-05 |
Family
ID=82627844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210283187.5A Pending CN114863000A (zh) | 2022-03-22 | 2022-03-22 | 发型生成的方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863000A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311403A (zh) * | 2022-08-26 | 2022-11-08 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、虚拟形象生成方法及装置 |
-
2022
- 2022-03-22 CN CN202210283187.5A patent/CN114863000A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311403A (zh) * | 2022-08-26 | 2022-11-08 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、虚拟形象生成方法及装置 |
| CN115311403B (zh) * | 2022-08-26 | 2023-08-08 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、虚拟形象生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Quan et al. | Image inpainting with local and global refinement | |
| US20200302251A1 (en) | Image composites using a generative neural network | |
| Zhuang et al. | Dreameditor: Text-driven 3d scene editing with neural fields | |
| Wang et al. | Attribute2font: Creating fonts you want from attributes | |
| Siddiqui et al. | Texturify: Generating textures on 3d shape surfaces | |
| Han et al. | Caricatureshop: Personalized and photorealistic caricature sketching | |
| Lu et al. | Attention-based dense point cloud reconstruction from a single image | |
| Shen et al. | Clipgen: A deep generative model for clipart vectorization and synthesis | |
| Liu et al. | Learning implicit glyph shape representation | |
| Wang et al. | Animation design using virtual reality modeling and fractal morphing technology | |
| Zheng et al. | Semantic layout manipulation with high-resolution sparse attention | |
| Gu et al. | Carime: Unpaired caricature generation with multiple exaggerations | |
| Li et al. | Instant3d: Instant text-to-3d generation | |
| Wang et al. | Generative image inpainting with enhanced gated convolution and Transformers | |
| CN115115744A (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| Zhang et al. | Edge aware domain transformation for face sketch synthesis | |
| CN114863000A (zh) | 发型生成的方法、装置、介质及设备 | |
| Luo et al. | TrAME: Trajectory-Anchored Multi-View Editing for Text-Guided 3D Gaussian Splatting Manipulation | |
| Wu et al. | Consensus feature network for scene parsing | |
| Li et al. | A review of advances in image inpainting research | |
| Zhang et al. | Learnable diffusion-based amplitude feature augmentation for object tracking in intelligent vehicles | |
| Li et al. | Efficient spatially sparse inference for conditional gans and diffusion models | |
| CN116630496A (zh) | 一种草图角色动画生成方法、装置、电子设备及存储介质 | |
| Huo et al. | CAST: Learning both geometric and texture style transfers for effective caricature generation | |
| Xu et al. | View-relation constrained global representation learning for multi-view-based 3D object recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |