CN115358917B - 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 - Google Patents

一种手绘风格非对齐人脸迁移方法、设备、介质和系统 Download PDF

Info

Publication number
CN115358917B
CN115358917B CN202210825977.1A CN202210825977A CN115358917B CN 115358917 B CN115358917 B CN 115358917B CN 202210825977 A CN202210825977 A CN 202210825977A CN 115358917 B CN115358917 B CN 115358917B
Authority
CN
China
Prior art keywords
style
face
aligned
hand
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210825977.1A
Other languages
English (en)
Other versions
CN115358917A (zh
Inventor
章伟希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Beijing Hanyi Innovation Technology Co ltd
Original Assignee
SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Beijing Hanyi Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD, Beijing Hanyi Innovation Technology Co ltd filed Critical SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Priority to CN202210825977.1A priority Critical patent/CN115358917B/zh
Publication of CN115358917A publication Critical patent/CN115358917A/zh
Application granted granted Critical
Publication of CN115358917B publication Critical patent/CN115358917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种手绘风格非对齐人脸迁移方法、设备、介质和系统，所述方法包括如下步骤：得到手绘风格的非对齐人脸数据集；获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器；将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器得到目标手绘风格人脸图像生成器；将所述非对齐真实人脸图像生成器与目标手绘风格人脸图像生成器进行参数融合，得到融合后的目标手绘风格人脸图像生成器；既能实现真实人脸图像和手绘风格非对齐人脸的配对，又保留了真实人脸图像的多样性。

Description

一种手绘风格非对齐人脸迁移方法、设备、介质和系统
技术领域
本公开涉及人脸识别迁移领域，具体涉及一种手绘风格非对齐人脸迁移方法、设备、介质和系统。
背景技术
人脸风格迁移近年来已成为电影制作、游戏角色定制、短视频编辑、社交软件个性化定制等领域的基础功能需求。一方面，现有人脸风格迁移功能主要应用在诸如迪士尼、日本动漫、游戏CG等风格，其得益于已公开的大量数据，但手绘风格极少出现在上述功能的选择中，主要因为缺少风格统一的大量样本，且批量绘制成本过高。另一方面，现有算法方面基本要求用户输入脸部位于图像正中，或包含用户完整脸部区域的图像，以满足对齐预处理要求，增加了用户使用限制。
主要缺陷在于以下两个层面：(1)数据层面，手绘风格为近些年在各大互联网平台(如国内的抖音、小红书，国外的脸书、instagram 等)上逐渐涌现的个人插画师、工作室、绘画爱好者提供，其相比传统主流风格(如迪士尼、动漫、游戏CG，有标准软件、渲染流程、历史积淀)需要大量人力、时间投入，且对绘制人员有较高专业要求，导致无法批量绘制统一风格的训练图像；(2)算法层面，为了降低模型训练难度，算法通常需要根据检测到的完整人脸的关键点，将人脸区域对齐到图像正中间，对于用户而言增加了使用的约束条件，即，需要提供具有完整人脸的人像照片才能进行风格迁移。而手绘风格人像常为了配合艺术表现形式，故意遮挡人脸部分或常以侧脸表现。以上导致手绘风格人脸数据量少，已有数据也难以满足现有技术的对齐前提。
发明内容
本公开提供一种手绘风格非对齐人脸迁移方法、设备、介质和系统，能够解决人像手绘风格数据过少、已有数据也难以满足现有技术的对齐要求的问题。为解决上述技术问题，本公开提供如下技术方案：
根据本公开实施例的一个方面，提供了一种手绘风格非对齐人脸迁移方法，包括如下步骤：
获取手绘风格的人像图像；
将所述人像图像中的人脸关键点所在区域置于所述人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；
获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器G1；
将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器G1得到目标手绘风格人脸图像生成器G2；
将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合，得到融合后的目标手绘风格人脸图像生成器 G3；
将所述非对齐的真实人脸图像生成器G1前接编码器E，并采用 LPIPS损失、对抗损失、以及L2偏移量正则项，在非对齐的真实人脸数据集上训练得到非对齐的真实人脸图像编码器E；
将非对齐的真实人脸图像输入到训练过的编码器E，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器G3生成非对齐手绘风格细节。
可选地，在获取手绘风格的人像图像步骤之后还包括如下步骤：
使用人脸关键点检测模型检测所述人像图像组成的数据集中的目标风格人像数据中的人脸关键点，获得每个人脸的人脸关键点坐标。
可选地，所述归一化处理具体包括如下步骤：
对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；
采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。
可选地，将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合的融合方式具体为：
pblended＝(1-α)pbase+αpfinetuned
其中pblended、pbase、pfinetuned为G3、G1、G2的参数，rswap为分辨率层数，r是网络层数的索引，α是权重。
可选地，所述编码器E的训练步骤如下：
建立与生成器结构相对应的编码器E；
为所述编码器E输入非对齐的真实人脸图像，输出包括一个基准风格编码wbase以及与生成器风格生成模块数量相对应的风格编码偏移量△w；
将基准风格编码wbase与风格编码偏移量△w相加，分别输入给生成器G1的所有风格生成模块；
对所述编码器E与非对齐真实人脸图像生成器G1采用对抗损失、 LPIPS损失、以及L2偏移量正则项损失约束。
根据本公开实施例的另一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的手绘风格非对齐人脸迁移方法。
根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述的手绘风格非对齐人脸迁移方法的步骤。
根据本公开实施例的另一个方面，提供了一种手绘风格非对齐人脸迁移系统，包括：
目标手绘风格人像获取模块，用于获取手绘风格的人像图像；
非对齐人脸数据处理预处理模块，将所述人像图像中的人脸关键点所在区域置于所述人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；
非对齐目标手绘风格人脸生成模块，获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器G1；将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器G1得到目标手绘风格人脸图像生成器G2；将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合，得到融合后的目标手绘风格人脸图像生成器 G3；
非对齐真实人脸图像编码器模块，将非对齐的真实人脸生成器G 前接编码器E，固定采用LPIPS损失、对抗损失、以及L2偏移量正则项，在非对齐的真实人脸数据集上训练，得到非对齐真实人脸图像编码器E；
目标手绘风格迁移模块，将非对齐的真实人脸图像输入到训练过的编码器E，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器G3生成非对齐手绘风格细节。
可选地，所述非对齐人脸数据处理预处理模块还包括像素补齐模块和归一化处理模块，所述像素补齐模块和归一化处理模块用于：
对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；
采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。
可选地，非对齐目标手绘风格人脸生成模块中的参数融合的融合方式具体为：
pblended＝(1-α)pbase+αpfinetuned
其中pblended、pbase、pfinetuned为G3、G1、G2的参数，rswap为分辨率层数，r是网络层数的索引，α是权重。
本公开的有益效果是：将所述人像图像中的人脸关键点所在区域置于所述人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，这样就能采用少量手绘风格样板得到较多的非对齐手绘风格人脸图像；采用无条件防信号混叠生成器的方式，将少量目标手绘风格非对齐人脸数据微调预训练真实非对齐人脸生成器，可避免在生成过程中非对齐人脸图像的信号混叠现象；采用所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合，得到融合后的目标手绘风格人脸图像生成器G3，既能实现真实人脸图像和手绘风格非对齐人脸的配对，又保留了真实人脸图像的多样性。
附图说明
图1为实施例1中获得非对齐手绘风格样本数据集的预处理流程图；
图2为实施例1中的非对齐人脸手绘风格迁移模型训练的流程图；
图3为手绘风格非对齐人脸迁移系统框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
以下，对本公开涉及到的术语进行解释说明：
手绘风格：用于表示手绘人像的可视化风格，包括艺术风格、保真风格或语义风格中的至少一项，在可视化风格中，可以包括纹理、边缘、色彩、饱和度或光泽度等可视化信息。
人脸风格迁移：人脸风格迁移是指将输入的人脸图像之间的风格转换，其任务可以描述为：以输入的人脸图像为基础，将目标图像风格迁移到输入的人脸图像上，得到风格化的人脸图像。其具有广阔的应用场景，例如短视频中的人脸特效，目前常见的风格有娃娃脸、迪士尼风格、二次元风格。
生成器：生成器是一种通过生成对抗训练框架实现的图像生成网络，分为无条件生成器与条件生成器。其中无条件生成器的输入常为随机采样的隐编码，条件生成器的输入可以是图像、标签、或特征等具有明确语义信息的信号。
实施例1
如图1-2所示，根据本公开实施例的一个方面，本实施例示例性的提供了一种手绘风格非对齐人脸迁移方法，针对手绘风格人像绘制成本过高、风格迁移模型限制对齐人脸输入的问题，采用无条件防信号混叠生成器的方式，将少量目标手绘风格非对齐人脸数据微调预训练真实非对齐人脸生成器，解决上述问题。
所述方法包括如下步骤：
S102、获取M张目标手绘风格人像数据，组成数据集；
S104、使用人脸关键点检测模型检测所述数据集中的目标风格人像数据中的人脸关键点，获得每个人脸的人脸关键点坐标，包括用于表示脸部轮廓、五官轮廓的关键点；
S106、在一些实施例中，根据关键点坐标获得人脸截取框如 256*256大小的框，对于每个检测到的人脸及其关键点，采用统一标准将人脸关键点中心置于人脸截取框的图像中央如将人脸关键点的中心位置如两眼之间的位置作为人脸关键点中心，将该人脸关键点中心置于256*256尺寸图像的几何中心位置，再将人脸截取框随机平移获得非对齐手绘风格人脸图像；
S108、在一些实施例中，对于超出人脸所在图像范围的区域如未在256*256覆盖的人脸部位，采用镜像补全将像素补齐，再采用插值算法将图像分辨率统一，最后进行像素值归一化，得到预处理完毕的非对齐手绘风格非对齐人脸数据集；
S110、获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器G1；
S112、将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器G1得到目标手绘风格人脸图像生成器G2；将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合，得到融合后的目标手绘风格人脸图像生成器G3；这样得到的目标手绘风格人脸图像生成器G3既能够实现真实人脸图像和手绘风格非对齐人脸的配对，又保留了真实人脸图像的多样性。
将非对齐的真实人脸图像输入到训练过的风格编码器E，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器G3生成非对齐手绘风格细节。
在一些实施例中，将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合的融合方式具体为：
pblended＝(1-α)pbase+αpfinetuned
其中pblended、pbase、pfinetuned为G3、G1、G2的参数，rswap为分辨率层数，r是网络层数的索引，α是权重。对于权重α的分段定义使得融合后的生成器模型G3具有与初始生成器G1有相同的风格编码空间，以及与微调后生成器G2相同的生成效果。
在一些实施例中，S114、所述编码器E的训练步骤如下：
建立与生成器结构相对应的编码器E；
为所述编码器E输入非对齐的真实人脸图像，输出包括一个基准风格编码wbase以及与生成器风格生成模块数量相对应的风格编码偏移量Δw；
将基准风格编码wbase与风格编码偏移量Δw相加，分别输入给生成器G1的所有风格生成模块；
对所述编码器E与非对齐真实人脸图像生成器G1采用对抗损失、 LPIPS损失、以及L2偏移量正则项损失约束，损失函数如下：
LLPIPS＝||A(y)-A(G1(E(y))||
其中，E为编码器，G1为非对齐真实人脸图像生成器，D表示判别器，y表示真实人脸，A为预训练的AlexNet，用于提取输入人脸图像与输出手绘风格人脸图像特征；上述损失可以帮助网络在非对齐条件下，实现准确的人脸位置预测以及人脸、背景重构，重构效果与对齐条件下相当。
S116、将训练完毕的风格编码器E与生成器G3结合，由于G3与G1具有相同的初始风格编码空间，因此风格编码在G3和G1下可以生成姿态、偏移位置、表情、背景基本相同的人脸图像，区别在于rswap层之后， G3生成非对齐手绘风格细节，G1生成非对齐真实人脸细节；
实施例2
根据本公开实施例的另一个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的手绘风格非对齐人脸迁移方法。
本公开实施例2仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件(包括存储器和处理器)的总线。
总线包括数据总线、地址总线和控制总线。
存储器可以包括易失性存储器，例如随机存取存储器(RAM)和/ 或高速缓存存储器，还可以进一步包括只读存储器(ROM)。
存储器还可以包括具有一组(至少一个)程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备等) 通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/ 模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1中的手绘风格非对齐人脸迁移方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的手绘风格非对齐人脸迁移方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
根据本公开实施例的另一个方面，提供了一种手绘风格非对齐人脸迁移系统100，如图3所示，包括：
目标手绘风格人像获取模块1，用于获取手绘风格的人像图像；
非对齐人脸数据处理预处理模块2，将所述人像图像中的人脸关键点所在区域置于所述人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；
非对齐目标手绘风格人脸生成模块3，获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器G1；将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器G1得到目标手绘风格人脸图像生成器G2；将所述非对齐真实人脸图像生成器G1与目标手绘风格人脸图像生成器G2进行参数融合，得到融合后的目标手绘风格人脸图像生成器G3；
非对齐真实人脸图像编码器模块4，将非对齐的真实人脸生成器 G1前接编码器E，固定采用LPIPS损失、对抗损失、以及L2偏移量正则项，在非对齐的真实人脸数据集上训练，得到非对齐真实人脸图像编码器E；
目标手绘风格迁移模块5，将非对齐的真实人脸图像输入到训练过的编码器E，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器G3生成非对齐手绘风格细节。
在一些实施例中，所述非对齐人脸数据处理预处理模块2还包括像素补齐模块和归一化处理模块，所述像素补齐模块和归一化处理模块用于：
对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；
采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。
在一些实施例中，非对齐目标手绘风格人脸生成模块3中的参数融合的融合方式具体为：
pblended＝(1-α)pbase+αpfinetuned
其中pblended、pbase、pfinetuned为G3、G1、G2的参数，rswap为分辨率层数，r是网络层数的索引，α是权重。
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种手绘风格非对齐人脸迁移方法，其特征在于，包括如下步骤：
获取手绘风格的人像图像；
将所述人像图像中的人脸关键点所在区域置于人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；
获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器；
将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器得到目标手绘风格人脸图像生成器/>；
将所述非对齐真实人脸图像生成器与目标手绘风格人脸图像生成器/>进行参数融合，得到融合后的目标手绘风格人脸图像生成器/>；
将所述非对齐的真实人脸图像生成器前接编码器/>，并采用LPIPS损失、对抗损失、以及L2偏移量正则项，在非对齐的真实人脸数据集上训练得到非对齐的真实人脸图像编码器；
将非对齐的真实人脸图像输入到训练好的编码器，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器/>生成非对齐手绘风格细节；
其中，所述编码器E的训练步骤如下：
建立与生成器结构相对应的编码器；
为所述编码器输入非对齐的真实人脸图像，输出包括一个基准风格编码wbase以及与生成器风格生成模块数量相对应的风格编码偏移量△w；
将基准风格编码wbase与风格编码偏移量△w相加，分别输入给生成器的所有风格生成模块；
对所述编码器与非对齐真实人脸图像生成器/>采用对抗损失、LPIPS损失、以及L2偏移量正则项损失约束。
2.如权利要求1所述的手绘风格非对齐人脸迁移方法，其特征在于，在获取手绘风格的人像图像步骤之后还包括如下步骤：
使用人脸关键点检测模型检测所述人像图像组成的数据集中的目标风格人像数据中的人脸关键点，获得每个人脸的人脸关键点坐标。
3.如权利要求1所述的手绘风格非对齐人脸迁移方法，其特征在于，所述归一化处理具体包括如下步骤：
对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；
采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。
4.如权利要求1-3任一项所述的手绘风格非对齐人脸迁移方法，其特征在于，将所述非对齐真实人脸图像生成器与目标手绘风格人脸图像生成器/>进行参数融合的融合方式具体为：
；
其中、/>、/>为/>、/>、/>的参数，/>为分辨率层数，/>是网络层数的索引，/>是权重。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的手绘风格非对齐人脸迁移方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任一项所述的手绘风格非对齐人脸迁移方法的步骤。
7.一种手绘风格非对齐人脸迁移系统，其特征在于，包括：
目标手绘风格人像获取模块，用于获取手绘风格的人像图像；
非对齐人脸数据处理预处理模块，将所述人像图像中的人脸关键点所在区域置于人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；
非对齐目标手绘风格人脸生成模块，获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器；将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器/>得到目标手绘风格人脸图像生成器/>；将所述非对齐真实人脸图像生成器/>与目标手绘风格人脸图像生成器/>进行参数融合，得到融合后的目标手绘风格人脸图像生成器/>；
非对齐真实人脸图像编码器模块，将非对齐的真实人脸生成器前接编码器/>，固定采用LPIPS损失、对抗损失、以及L2偏移量正则项，在非对齐的真实人脸数据集上训练，得到非对齐真实人脸图像编码器/>；
目标手绘风格迁移模块，将非对齐的真实人脸图像输入到训练过的编码器，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器/>生成非对齐手绘风格细节；
编码器E训练模块，建立与生成器结构相对应的编码器；
为所述编码器输入非对齐的真实人脸图像，输出包括一个基准风格编码wbase以及与生成器风格生成模块数量相对应的风格编码偏移量△w；
将基准风格编码wbase与风格编码偏移量△w相加，分别输入给生成器的所有风格生成模块；
对所述编码器与非对齐真实人脸图像生成器/>采用对抗损失、LPIPS损失、以及L2偏移量正则项损失约束。
8.如权利要求7所述的手绘风格非对齐人脸迁移系统，其特征在于，所述非对齐人脸数据处理预处理模块还包括像素补齐模块和归一化处理模块，所述像素补齐模块和归一化处理模块分别用于：
对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；
采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。
9.如权利要求7或8所述的手绘风格非对齐人脸迁移系统，其特征在于，非对齐目标手绘风格人脸生成模块中的参数融合的融合方式具体为：
；
其中、/>、/>为/>、/>、/>的参数，/>为分辨率层数，/>是网络层数的索引，/>是权重。
CN202210825977.1A 2022-07-14 2022-07-14 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 Active CN115358917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210825977.1A CN115358917B (zh) 2022-07-14 2022-07-14 一种手绘风格非对齐人脸迁移方法、设备、介质和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210825977.1A CN115358917B (zh) 2022-07-14 2022-07-14 一种手绘风格非对齐人脸迁移方法、设备、介质和系统

Publications (2)

Publication Number Publication Date
CN115358917A CN115358917A (zh) 2022-11-18
CN115358917B true CN115358917B (zh) 2024-05-07

Family

ID=84031314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210825977.1A Active CN115358917B (zh) 2022-07-14 2022-07-14 一种手绘风格非对齐人脸迁移方法、设备、介质和系统

Country Status (1)

Country Link
CN (1) CN115358917B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187706B (zh) * 2022-06-28 2024-04-05 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN117315405B (zh) * 2023-11-28 2024-03-29 广州思德医疗科技有限公司 内窥镜图像生成网络训练方法、图像生成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241943A (zh) * 2018-10-09 2019-01-18 深圳市三宝创新智能有限公司 非对齐人脸特征提取方法、装置、计算机设备及存储介质
CN111915693A (zh) * 2020-05-22 2020-11-10 中国科学院计算技术研究所 基于草图的人脸图像生成方法及系统
CN112767519A (zh) * 2020-12-30 2021-05-07 电子科技大学 结合风格迁移的可控表情生成方法
CN112883826A (zh) * 2021-01-28 2021-06-01 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN113066005A (zh) * 2021-04-25 2021-07-02 广州虎牙科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN114399668A (zh) * 2021-12-27 2022-04-26 中山大学 基于手绘草图和图像样例约束的自然图像生成方法及装置
WO2022116161A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像卡通化方法、机器人及存储介质
CN114677716A (zh) * 2020-12-09 2022-06-28 深圳市万普拉斯科技有限公司 图像风格迁移方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748324B2 (en) * 2018-11-08 2020-08-18 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241943A (zh) * 2018-10-09 2019-01-18 深圳市三宝创新智能有限公司 非对齐人脸特征提取方法、装置、计算机设备及存储介质
CN111915693A (zh) * 2020-05-22 2020-11-10 中国科学院计算技术研究所 基于草图的人脸图像生成方法及系统
WO2022116161A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像卡通化方法、机器人及存储介质
CN114677716A (zh) * 2020-12-09 2022-06-28 深圳市万普拉斯科技有限公司 图像风格迁移方法、装置、计算机设备和存储介质
CN112767519A (zh) * 2020-12-30 2021-05-07 电子科技大学 结合风格迁移的可控表情生成方法
CN112883826A (zh) * 2021-01-28 2021-06-01 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN113066005A (zh) * 2021-04-25 2021-07-02 广州虎牙科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN114399668A (zh) * 2021-12-27 2022-04-26 中山大学 基于手绘草图和图像样例约束的自然图像生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的异质人脸图像合成:进展与挑战;黄菲;高飞;朱静洁;戴玲娜;俞俊;;南京信息工程大学学报(自然科学版);20191128(第06期);全文 *

Also Published As

Publication number Publication date
CN115358917A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN112052789B (zh) 人脸识别方法、装置、电子设备及存储介质
Ning et al. Multi‐view frontal face image generation: a survey
CN115358917B (zh) 一种手绘风格非对齐人脸迁移方法、设备、介质和系统
CN113327278A (zh) 三维人脸重建方法、装置、设备以及存储介质
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN114187633A (zh) 图像处理方法及装置、图像生成模型的训练方法及装置
US20210201441A1 (en) Method, apparatus, device and storage medium for transforming hairstyle
US20230047748A1 (en) Method of fusing image, and method of training image fusion model
CN113780326A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
JP7337203B2 (ja) 文字生成モデルのトレーニング方法、文字生成方法、装置および機器
CN115577768A (zh) 半监督模型训练方法和装置
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN113379877A (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN111144374B (zh) 人脸表情识别方法及装置、存储介质和电子设备
CN113822117B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN115311403A (zh) 深度学习网络的训练方法、虚拟形象生成方法及装置
CN114399708A (zh) 一种视频动作迁移深度学习系统和方法
CN111274946B (zh) 一种人脸识别方法和系统及设备
CN114066790A (zh) 图像生成模型的训练方法、图像生成方法、装置和设备
CN114219977A (zh) 一种年龄估计方法、系统、电子设备及存储介质
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112950501A (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant