CN115187706B - 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 - Google Patents

一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN115187706B
CN115187706B CN202210740777.6A CN202210740777A CN115187706B CN 115187706 B CN115187706 B CN 115187706B CN 202210740777 A CN202210740777 A CN 202210740777A CN 115187706 B CN115187706 B CN 115187706B
Authority
CN
China
Prior art keywords
face
network
style
lightweight
target hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210740777.6A
Other languages
English (en)
Other versions
CN115187706A (zh
Inventor
章伟希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Beijing Hanyi Innovation Technology Co ltd
Original Assignee
SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Beijing Hanyi Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD, Beijing Hanyi Innovation Technology Co ltd filed Critical SHANGHAI YICHUANG INFORMATION TECHNOLOGY CO LTD
Priority to CN202210740777.6A priority Critical patent/CN115187706B/zh
Publication of CN115187706A publication Critical patent/CN115187706A/zh
Application granted granted Critical
Publication of CN115187706B publication Critical patent/CN115187706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种人脸风格迁移的轻量化方法、系统、存储介质及电子设备。该方法包括获取少量目标手绘风格人像数据，将获取的人像中的人脸区域对齐；微调预训练真实人脸图像生成器，将微调前后的生成器融合，生成真实‑目标手绘风格配对图像数据集；基于生成的配对图像数据集训练条件生成器，将训练好的生成器作为教师网络；定义网络搜索空间，知识蒸馏训练学生网络；基于学生网络搜索轻量化子网络，转换到轻量化推理框架。本公开仅仅需要少量目标手绘风格人像数据即可获得大量的真实‑目标手绘风格配对图像数据集，还能够在保证风格迁移性能的前提下，大大提升多个平台的手绘风格迁移算法训练效率。

Description

一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
技术领域
本公开涉及图像处理技术领域，特别涉及一种人脸风格迁移的轻量化方法、系统、存储介质及电子设备。
背景技术
图像风格迁移已经成为了越来越多领域的基础功能需求，其中的人脸风格迁移近年来已成为了电影制作、游戏角色定制、短视频编辑、定制头像等领域最常用的功能之一，对于电影产业、互联网产业、游戏产业有着巨大的产业价值与文创意义。
随着社会进步，在诸如国内的小红书、抖音，国外的Instagram、Metaverse（前称Facebook）等平台上，涌现出越来越多的职业插画师、文创工作室、以及个人绘画爱好者，他们在互联网平台上公布各种风格的人物图像深受网民的喜爱，同时也为电影、游戏、动漫、广告等领域提供源源不断的灵感创意以及内容支持，使得动画电影、电视、短视频中的人物画风不再局限于迪士尼、CG、动漫等常见风格。然而对于普通用户来说，在短视频创作、社交软件头像定制等领域仍然只有上述几种常见的画风可供选择。主要原因在于以下两点：1，这类平台创作者的创作特点主要是纯手工绘制，且极具个人的风格特征，虽然制作精美，但统一画风数量却很少。而训练手绘风格迁移模型需要大量风格统一的数据。2，由于互联网的时效性，当下的热门风格可能很快被另一种风格取代，除去获得训练数据的时间以外，算法设计人员需要针对不同移动端平台算力，手工设计不同的轻量化风格迁移模型，或对初始模型进行剪枝压缩，需要大量训练时间，可能错过最热的时段。
一般的，传统人物风格诸如迪士尼画风、动漫画风、CG画风已有大量公开、且风格统一的数据。一方面，手绘风格往往只有几十，甚至十几张图像，且由于每张图需要专业人员花费大量时间绘制，难以在短时间内获得足够训练数据。另一方面，由于是个人手工绘制，相比传统的迪士尼画风、动漫画风已形成标准化的制作流程，难以保证其风格的统一性。第三，传统风格的人脸风格迁移功能已有大量稳定的日常用户，而个人创作的手绘画风则具有话题性，考虑到上述两方面，难以在其热门时段内完成各个平台的轻量化手绘风格迁移模型的训练和部署。
发明内容
本公开提供一种涉及手绘风格人脸配对数据构建方法和快速人脸手绘风格迁移模型，以至少解决现有技术中统一风格的手绘人像风格数据量不足、轻量化手绘风格迁移模型开发效率低的技术问题。
为实现上述目的，本公开提供了一种人脸风格迁移的轻量化方法、系统、存储介质及电子设备。
在本公开的较佳实施方式中，本申请实施例提供了一种人脸风格迁移的轻量化方法，所述方法包括：
获取目标手绘风格的人像图像数据，组成数据集A；
按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B；
在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，将生成器G2与G1进行模型融合，得到融合后目标手绘风格人脸图像生成器G3；
根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述生成器G1和G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C；
根据数据集C训练条件生成器Pix2pixHD，将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T；
针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S；
对学生网络S进行神经网络架构搜索，得到轻量化网络F；
将轻量化网络F转换成TensorRT框架，得到轻量化推理框架。
进一步的，所述按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B，包括：
对数据集A中的图像进行关键点检测，得到脸部轮廓、五官轮廓区域；
根据统一预设对齐标准对检测到的的人脸进行截取，得到对齐的目标手绘风格人脸图像数据；
对所述对齐的目标手绘风格人脸图像数据进行基于深度神经网络的超分辨率或传统算法的缩放处理，得到超分或缩放后的图像；
对所述超分或缩放后的图像进行归一化处理，得到处理后的图像数据集B。
进一步的，所述在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，包括：
将所述图像数据集B用于微调预训练的真实人脸图像生成器G1，引入适应性数据增强，以概率p应用数据增强其中，所述数据增强包括如下处理方式中的一种或多种：包括水平翻转、高斯噪声、RGB像素值抖动、图像空间滤波、中心旋转等，概率p取决于训练过程中输出图像的过拟合程度；
根据不同手绘风格及数据量，微调训练约1000次迭代次数，得到微调后模型G2；
判别器采用预训练判别器，对其进行微调，使其区别出真实的目标手绘风格人脸图像以及生成的目标手绘风格人脸图像。
进一步的，所述将生成器G2与G1进行模型融合，得到融合后目标手绘风格人脸图像生成器G3，包括：
将所述微调后的生成器G2与原预训练的生成器G1进行混合权重方式的模型参数融合，得到融合后的生成器模型G3，参数混合公式如下：
；
其中，p blended 、p base 、p finetuned 为G3、G1、G2的参数，α是G2的权重，r是网络层数的索引，r swap 为分辨率层数。
进一步，所述根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述生成器G1和G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C，包括：
将随机初始化的高斯分布隐编码同时输入到所述融合后的生成器G3与原预训练的生成器G1，根据实际生成质量以及手绘风格的风格统一程度，对输入的隐编码进行一定程度的截取以及重新生成，得到轮廓、姿态相同的大量真实-目标手绘风格配对图像数据集C。
进一步，所述根据数据集C训练条件生成器Pix2pixHD包括：将条件生成器Pix2pixHD进行训练损失以及判别器的改进。
进一步，所述将条件生成器Pix2pixHD进行训练损失以及判别器的改进，包括：
利用用于人脸识别的ArcFace网络A1提取输入图像x与生成图像T(x)的人脸特征，计算ID损失；
引入基于AlexNet网络A2的LPIPS损失提升图像质量；
将原对抗损失替换为Hinge损失。
进一步，所述将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T，包括：
将所述生成的真实-目标手绘风格配对图像数据集C用于训练条件生成器Pix2pixHD，得到真实-目标手绘风格人脸的图像翻译网络；
将所述图像翻译网络作为网络知识蒸馏中的教师网络 T。
进一步，所述针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S，包括：
针对教师网络T，定义具有同样上/下采样模块数量的SuperNet，作为学生网络S。采用权重共享技术，通过指定通道数实现任意大小网络的参数配置。通过知识蒸馏损失以及重构损失训练所述学生网络S，知识蒸馏损失与重构损失公式如下：
，
其中M为1x1卷积层，将学生网络S的特征层通道数与教师网络T的特征层通道数进行统一，fS与fT分别为学生网络S与教师网络T的中间特征图。
进一步，所述对学生网络S进行神经网络架构搜索，得到轻量化网络F，包括：
对所述学生网络S进行神经网络架构搜索，根据不同实际需求设定网络参数量约束和网络时延约束条件，采用进化搜索算法，相比暴力搜索算法搜索时间仅为其二十分之一，自动搜索得到满足约束条件且图像生成质量最好的子网络，将其作为快速人脸手绘风格轻量化网络F。
进一步，所述将轻量化网络F转换成TensorRT框架，得到轻量化推理框架，包括：
将所述得到的轻量化网络F进行模型文件转化，将其转化为TensorRT架构下的半精度模型，得到一种轻量化推理框架的快速人脸风格迁移模型。
在本公开的较佳实施方式中，本申请实施例还提供了一种人脸风格迁移的轻量化系统，所述系统包括：
目标手绘风格人像获取模块，被配置成获取目标手绘风格的人像图像数据，组成数据集A；
人脸对齐模块，被配置成按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B；
生成器融合模块，被配置成在在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，将生成器G2与真实人脸图像生成器G1进行模型参数融合，得到融合后目标手绘风格人脸图像生成器G3；
人脸配对数据集生成模块，被配置成根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述生成器G1和G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C；
初始条件生成模块，被配置成根据数据集C训练条件生成器Pix2pixHD，将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T；
有同样上/下采样模块数量的条件生成器蒸馏模块，被配置成针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S；
目标轻量化条件生成模块，被配置成对学生网络S进行神经网络架构搜索，得到轻量化网络F，将轻量化网络F转换成TensorRT框架，得到轻量化推理框架。
在本公开的较佳实施方式中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的人脸风格迁移的轻量化方法。
在本公开的较佳实施方式中，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的人脸风格迁移的轻量化方法。
本公开的有益效果：通过获取少量目标手绘风格人像数据，微调预训练的真实人脸生成器模型，再通过混合方式融合微调前与微调后的生成器模型，能够得到目标手绘风格的人脸生成器模型，并且在同样隐编码输入条件下，原生成器与融合后生成器可以生成轮廓相同、姿态相同、风格迁移前后的配对图像数据，因此仅需少量目标手绘风格人像数据即可获得大量真实-目标手绘风格配对图像数据集。基于生成的配对图像数据集，训练获得目标手绘风格的条件生成器，经过知识蒸馏训练获得一个定义搜索空间的SuperNet，最后仅需通过神经网络架构搜索，得到各个平台的轻量化的快速人脸手绘风格迁移模型，能够在保证风格迁移性能的前提下，大大提升多个平台的手绘风格迁移算法训练效率。
附图说明
此处的附图被并入说明书并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开人脸风格迁移的轻量化方法的一个实施例的流程图；
图2是本公开实施例中构建手绘风格人脸配对数据集C的一个实施例的流程图；
图3是本公开实施例中快速人脸手绘风格轻量化迁移模型训练的一个实施例的流程图；
图4是根据本公开人脸风格迁移的轻量化系统的一个实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
以下，对本公开涉及到的术语进行解释说明：
图像风格：用于表示人像的可视化风格，包括艺术风格、保真风格或语义风格中的至少一项，在可视化风格中，可以包括纹理、边缘、色彩、饱和度或光泽度等可视化信息。
真实-目标手绘风格配对图像数据：用于表示真实人像及其在目标手绘风格下的图像结果，需保证一定程度上的背景、姿态、轮廓、表情一致性，以及目标手绘风格的统一性。
人脸风格迁移：人脸风格迁移是指将输入的人脸图像之间的风格转换，其任务可以描述为：以输入的人脸图像为基础，将目标图像风格迁移到输入的人脸图像上，得到风格化的人脸图像。其具有广阔的应用场景，例如短视频中的人脸特效，目前常见的风格有娃娃脸、迪士尼风格、二次元风格。
生成器：生成器是一种通过生成对抗训练框架实现的图像生成网络，分为无条件生成器与条件生成器。其中无条件生成器的输入常为随机采样的隐编码，条件生成器的输入可以是图像、标签、或特征等具有明确语义信息的信号。
神经网络架构搜索（Network Architecture Search）：神经网络架构搜索指的是在一个预定义的网络搜索空间搜索最适合当前任务且满足一定条件的网络架构。通常约束条件为网络参数量、网络延迟等约束，用来自动搜索轻量化、低延时的网络模型。
实施例1
如图1所示，根据本公开示例性实施例提出的人脸风格迁移的轻量化方法，针对目标手绘风格绘制成本过高、耗时长、难以保证风格统一的问题，采用数据生成的方法，将少量目标手绘风格数据扩增为上万对配对的数据。
作为示例的人脸风格迁移的轻量化方法的实现过程包括：
获取少量目标手绘风格人像数据，将获取的人像中的人脸区域对齐；
微调预训练真实人脸图像生成器，将微调前后的生成器融合，生成配对数据集；
基于生成的配对数据集训练条件生成器，将训练好的生成器作为教师网络；
定义网络搜索空间，知识蒸馏训练学生网络；
基于学生网络搜索轻量化子网络，转换到轻量化推理框架。
实施列2
如图2所示，作为示例的构建手绘风格人脸配对数据集C方法的实现过程包括：
获取M张目标手绘风格人像数据，组成数据集A；
使用人脸关键点检测模型检测所述数据集A中的目标手绘风格人像数据中的人脸关键点，获得每个人脸的人脸关键点坐标，包括用于表示脸部轮廓、五官轮廓的关键点；
对于每个检测到的人脸及其关键点，采用统一标准将人脸对齐到图像中央。对于超出原图范围的区域，采用镜像补全将像素补齐。最后采用传统插值算法将图像分辨率统一；
将分辨率统一的图像基于深度神经网络的超分辨率或传统算法的缩放，对截取的人脸进行处理，得到超分或缩放后的图像；
对所述超分或缩放后的图像进行归一化处理，得到数据集B；
将所述图像数据集B用于微调预训练的真实人脸图像生成器G1，微调过程中引入适应性数据增强，以概率p应用数据增强，包括水平翻转、高斯噪声、RGB像素值抖动、图像空间滤波、中心旋转等，其中概率p取决于训练过程中输出图像的过拟合程度，微调迭代次数取决于手绘风格以及数据量，大约1000步迭代次数得到目标手绘风格人脸图像生成器G2；
将所述预训练真实人脸图像生成器G1与微调后目标手绘风格人脸图像生成器G2进行混合方式的参数融合，得到融合后目标手绘风格人脸图像生成器G3，具体地混合方式如下：
，
其中，p blended 、p base 、p finetuned 为G3、G1、G2的参数，α是G2的权重，r是网络层数的索引，r swap 为分辨率层数；
所述融合后的目标手绘风格人脸图像生成器G3，同时具有真实人脸图像生成器G1的多样性以及微调后目标手绘风格人脸图像生成器G2的风格一致性。随机初始化生成器输入隐编码，将其同时输入给所述生成器G1和G3，可得到同样姿态、脸部轮廓、五官表情的真实-目标手绘风格配对图像。即，每个随机初始的隐编码可以得到一对配对图像数据。根据实际生成效果，决定是否需要截断输入的隐编码，牺牲一定的多样性，以获得质量更高的生成图像，得到大量高质量配对图像数据集C。
如图3所示，作为示例的快速人脸手绘风格轻量化迁移模型训练的实现过程包括：
将所述生成的数据集C用于训练条件生成器Pix2pixHD，利用预训练Arcface网络以及AlexNet提取输入以及输出结果图像的特征，计算两者特征相似度，分别作为ID损失以及LPIPS损失，并将原对抗损失替换为Hinge损失，提升Pix2pixHD的风格迁移性能，ID损失、LPIPS损失以及Hinge损失公式如下：
其中，A1为预训练Arcface网络，A2为预训练AlexNet， D为判别器，y为真值目标手绘风格人脸图像；
将训练好的条件生成器Pix2pixHD作为后续网络知识蒸馏步骤的教师网络T；
本实施例中，针对条件生成器作为教师网络T，定义学生网络S作为可进行神经网络架构搜索的超网SuperNet，该网络主要部件由深度可分离卷积层、权重共享技术的轻量化计算模块构成。利用知识蒸馏算法以及重构约束，训练得到与教师网络T生成效果相当的学生网络S，知识蒸馏约束与重构约束如下：
其中M为1x1卷积层，将学生网络的特征层通道数与教师网络的特征层通道数进行统一，fS与fT分别为学生网络S与教师网络T的中间特征图；
对所述学生网络S进行神经网络架构搜索，根据不同实际需求设定网络参数量约束、网络时延约束条件，采用进化搜索算法，自动找到满足约束条件且图像生成质量最好的子网络，将其作为快速人脸风格迁移模型F；
对所述得到的快速人脸风格迁移模型F进行模型文件转化，将其转化为TensorRT架构下的半精度模型，得到最终的快速人脸风格迁移模型部署上线。
实施列3
如图4所示，作为示例的人脸风格迁移的轻量化系统，包括：
目标手绘风格人像获取模块，被配置成获取目标手绘风格的人像图像数据，组成数据集A；
人脸对齐模块，被配置成按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B；
生成器融合模块，被配置成在在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，将生成器G2与真实人脸图像生成器G1进行模型参数融合，得到融合后目标手绘风格人脸图像生成器G3；
人脸配对数据集生成模块，被配置成根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述生成器G1和G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成配对图像数据集C；
初始条件生成模块，被配置成根据数据集C训练条件生成器Pix2pixHD，将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T；
有同样上/下采样模块数量的条件生成器蒸馏模块，被配置成针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S；
目标轻量化条件生成模块，被配置成对学生网络S进行神经网络架构搜索，得到轻量化网络F，将轻量化网络F转换成TensorRT框架，得到轻量化推理框架。
实施列4
一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1和/或实施例2中的人脸风格迁移的轻量化方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1和/或实施例2中所述的人脸风格迁移的轻量化方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施列5
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1和/或实施例2中的人脸风格迁移的轻量化方法。
本公开实施例5仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件（包括存储器和处理器）的总线。
总线包括数据总线、地址总线和控制总线。
存储器可以包括易失性存储器，例如随机存取存储器（RAM）和/或高速缓存存储器，还可以进一步包括只读存储器（ROM）。
存储器还可以包括具有一组（至少一个）程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。
电子设备也可以与一个或多个外部设备（例如键盘、指向设备等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID（磁盘阵列）系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种人脸风格迁移的轻量化方法，其特征在于，包括如下步骤：
获取目标手绘风格的人像图像数据，组成数据集A；
按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B；
在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，将目标手绘风格人脸图像生成器G2与真实人脸图像生成器G1进行模型参数融合，得到融合后目标手绘风格人脸图像生成器G3；
根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述真实人脸图像生成器G1和融合后目标手绘风格人脸图像生成器G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C，其中，所述真实-目标手绘风格配对图像数据用于表示真实人像及其在目标手绘风格下的图像结果，需保证背景、姿态、轮廓、表情一致性，以及目标手绘风格的统一性；
根据数据集C训练条件生成器Pix2pixHD，将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T；
针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S；
对学生网络S进行神经网络架构搜索，得到轻量化网络F；
将轻量化网络F转换成TensorRT框架，得到轻量化推理框架。
2.如权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，具体包括如下步骤：
在所述数据集B上微调预训练真实人脸图像生成器G1，微调过程中以概率p应用适应性数据增强，其中，所述数据增强包括如下处理方式中的一种或多种：水平翻转、高斯噪声、RGB像素值抖动、图像空间滤波和中心旋转，所述概率p取决于训练过程中输出图像的过拟合程度；
根据不同手绘风格及数据量，微调训练迭代，得到微调后模型目标手绘风格人脸图像生成器G2，其中微调迭代的次数取决于手绘风格以及数据量；和/或，
所述将目标手绘风格人脸图像生成器G2与真实人脸图像生成器G1进行模型融合，得到融合后目标手绘风格人脸图像生成器G3，具体为：
将目标手绘风格人脸图像生成器G2与真实人脸图像生成器G1进行混合权重方式的模型融合，得到融合后目标手绘风格人脸图像生成器G3，具体的混合权重的公式如下：
；其中p blended 、p base 、p finetuned 为G3、G1、G2的参数，α是G2的 权重，r是网络层数的索引，r swap 为分辨率层数。
3.如权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述真实人脸图像生成器G1和融合后目标手绘风格人脸图像生成器G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C，具体包括：
根据高斯分布随机生成初始化的隐编码，根据图像的实际生成质量和/或是否需要强化风格统一性来判断是否需要截断隐编码；如果不需要截断隐编码，则将隐编码同时输入到所述融合后目标手绘风格人脸图像生成器G3与真实人脸图像生成器G1，得到真实-目标手绘风格配对图像数据集C；否则，在将隐编码同时输入到所述融合后目标手绘风格人脸图像生成器生成器G3与真实人脸图像生成器G1之前，对隐编码进行截取和/或重新生成。
4.如权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述根据数据集C训练条件生成器Pix2pixHD，具体包括如下步骤：
引入用于人脸识别的预训练ArcFace网络，提取输入图像x与生成图像T(x)的人脸特征，计算两者特征相似度，将特征相似度作为ID损失；
引入预训练AlexNet网络，提取输出图像x与真值图像T(x)的人脸特征，计算两者特征相似度，将特征相似度作为LPIPS损失；
将原对抗损失替换为Hinge损失。
5.如权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S，具体包括如下步骤：
针对教师网络T，定义具有同样上/下采样模块数量的SuperNet，作为学生网络S，采用权重共享技术，通过指定通道数实现任意大小网络的参数配置，通过知识蒸馏损失以及重构损失训练所述学生网络S，知识蒸馏损失与重构损失公式如下：
，
其中M为1x1卷积层，将学生网络S的特征层通道数与教师网络T的特征层通道数进行统一，fS与fT分别为学生网络S与教师网络T的中间特征图。
6.根据权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述对学生网络S进行神经网络架构搜索，得到轻量化网络F，具体为：
对所述学生网络S进行神经网络架构搜索，根据不同实际需求设定网络参数量约束和网络时延约束条件，采用进化搜索算法，自动找到满足约束条件且图像生成质量最好的子网络，将其作为快速人脸手绘风格轻量化网络F；和/或，
所述将轻量化网络F转换成TensorRT框架，得到轻量化推理框架，具体为：
将所述得到的轻量化网络F进行模型文件转化，将其转化为TensorRT架构下的半精度模型，得到一种轻量化推理框架的快速人脸风格迁移模型。
7.根据权利要求1所述的人脸风格迁移的轻量化方法，其特征在于，所述按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B，具体包括如下步骤：
对数据集A中的图像使用人脸关键点检测模型进行关键点检测，得到脸部轮廓、五官轮廓区域，对于每个检测到的人脸及其关键点，将人脸对齐到中央，其中，所述人脸关键点包括用于表示脸部轮廓、五官轮廓的关键点；
对于超出范围的区域，采用镜像补全将像素补齐；
采用传统插值算法将图像分辨率统一；
对统一后的人脸进行截取；
基于深度神经网络的超分辨率或图像缩放算法，对截取的人脸进行处理，得到超分或缩放后的图像；
对所述超分或缩放后的图像进行归一化处理，得到数据集B。
8.一种人脸风格迁移的轻量化系统，其特征在于，包括以下模块：
目标手绘风格人像获取模块，被配置成获取目标手绘风格的人像图像数据，组成数据集A；
人脸对齐模块，被配置成按统一预设对齐标准将数据集A中的人脸对齐后进行截取，得到数据集B；
生成器融合模块，被配置成在数据集B上微调预训练真实人脸图像生成器G1，微调后得到目标手绘风格人脸图像生成器G2，将生成器G2与真实人脸图像生成器G1进行模型参数融合，得到融合后目标手绘风格人脸图像生成器G3；
人脸配对数据集生成模块，被配置成根据高斯分布随机生成初始化的隐编码，将隐编码同时输入到所述生成器G1和G3，使每个随机初始的隐编码得到一对配对图像数据，从而生成真实-目标手绘风格配对图像数据集C，其中，所述真实-目标手绘风格配对图像数据用于表示真实人像及其在目标手绘风格下的图像结果，需保证背景、姿态、轮廓、表情一致性，以及目标手绘风格的统一性；
初始条件生成模块，被配置成根据数据集C训练条件生成器Pix2pixHD，将训练好的条件生成器Pix2pixHD作为知识蒸馏中的教师网络T；
有同样上/下采样模块数量的条件生成器蒸馏模块，被配置成针对教师网络T，定义具有同样上/下采样模块数量的超网SuperNet，作为学生网络S；
目标轻量化条件生成模块，被配置成对学生网络S进行神经网络架构搜索，得到轻量化网络F，将轻量化网络F转换成TensorRT框架，得到轻量化推理框架。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的人脸风格迁移的轻量化方法。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的人脸风格迁移的轻量化方法。
CN202210740777.6A 2022-06-28 2022-06-28 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 Active CN115187706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210740777.6A CN115187706B (zh) 2022-06-28 2022-06-28 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210740777.6A CN115187706B (zh) 2022-06-28 2022-06-28 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN115187706A CN115187706A (zh) 2022-10-14
CN115187706B true CN115187706B (zh) 2024-04-05

Family

ID=83515765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210740777.6A Active CN115187706B (zh) 2022-06-28 2022-06-28 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN115187706B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071275B (zh) * 2023-03-29 2023-06-09 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN117541625B (zh) * 2024-01-05 2024-03-29 大连理工大学 一种基于域适应特征融合的视频多目标跟踪方法
CN117576245B (zh) * 2024-01-15 2024-05-07 腾讯科技（深圳）有限公司 一种图像的风格转换方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN112767519A (zh) * 2020-12-30 2021-05-07 电子科技大学 结合风格迁移的可控表情生成方法
CN112883806A (zh) * 2021-01-21 2021-06-01 杭州广电云网络科技有限公司 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质
CN113658324A (zh) * 2021-08-03 2021-11-16 Oppo广东移动通信有限公司 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN113850169A (zh) * 2021-09-17 2021-12-28 西北工业大学 一种基于图像分割和生成对抗网络的人脸属性迁移方法
CN114066718A (zh) * 2021-10-14 2022-02-18 特斯联科技集团有限公司 一种图像风格迁移方法、装置、存储介质及终端
CN114169002A (zh) * 2021-12-07 2022-03-11 杭州电子科技大学 一种关键点差分隐私驱动的人脸图像隐私保护方法
CN114359034A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种基于手绘的人脸图片生成方法及系统
CN115358917A (zh) * 2022-07-14 2022-11-18 北京汉仪创新科技股份有限公司 一种手绘风格非对齐人脸迁移方法、设备、介质和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN112767519A (zh) * 2020-12-30 2021-05-07 电子科技大学 结合风格迁移的可控表情生成方法
CN112883806A (zh) * 2021-01-21 2021-06-01 杭州广电云网络科技有限公司 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质
CN113658324A (zh) * 2021-08-03 2021-11-16 Oppo广东移动通信有限公司 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN113850169A (zh) * 2021-09-17 2021-12-28 西北工业大学 一种基于图像分割和生成对抗网络的人脸属性迁移方法
CN114066718A (zh) * 2021-10-14 2022-02-18 特斯联科技集团有限公司 一种图像风格迁移方法、装置、存储介质及终端
CN114169002A (zh) * 2021-12-07 2022-03-11 杭州电子科技大学 一种关键点差分隐私驱动的人脸图像隐私保护方法
CN114359034A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种基于手绘的人脸图片生成方法及系统
CN115358917A (zh) * 2022-07-14 2022-11-18 北京汉仪创新科技股份有限公司 一种手绘风格非对齐人脸迁移方法、设备、介质和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fusion Image Style Transfer Network;Shuren Lai等;《ISAI 2019》;20190831;第1302卷(第3期);1-8 *
基于风格迁移的人脸卡通漫画生成方法研究;梁小娟;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》;20200115;第2020年卷(第01期);F088-395 *

Also Published As

Publication number Publication date
CN115187706A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Liu et al. Generative adversarial networks for image and video synthesis: Algorithms and applications
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
US10789453B2 (en) Face reenactment
Zhang et al. Neural probabilistic graphical model for face sketch synthesis
US11995703B2 (en) Image-to-image translation using unpaired data for supervised learning
Kondratyuk et al. Videopoet: A large language model for zero-shot video generation
Zhang et al. Bionic face sketch generator
Chen et al. Deep point set resampling via gradient fields
CN115358917B (zh) 一种手绘风格非对齐人脸迁移方法、设备、介质和系统
Huang et al. Style Mixer: Semantic‐aware Multi‐Style Transfer Network
Zhang et al. Style separation and synthesis via generative adversarial networks
Chen et al. Creative and diverse artwork generation using adversarial networks
CN113421185B (zh) 一种基于StyleGAN的移动端人脸年龄编辑方法
Ibarrola et al. A collaborative, interactive and context-aware drawing agent for co-creative design
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
Zhang et al. Cross-domain face sketch synthesis
Huo et al. CAST: Learning both geometric and texture style transfers for effective caricature generation
Wei et al. SeTGAN: Semantic‐text guided face image generation
Li et al. Two‐stage Photograph Cartoonization via Line Tracing
Lin et al. FAEC‐GAN: An unsupervised face‐to‐anime translation based on edge enhancement and coordinate attention
Durall et al. Local facial attribute transfer through inpainting
He et al. Makeup transfer: A review
Peng et al. HiFiSketch: High Fidelity Face Photo-Sketch Synthesis and Manipulation
CN116542292B (zh) 图像生成模型的训练方法、装置、设备及存储介质
CN114863527B (zh) 一种基于fp-scgan模型的妆容风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant