CN113658324A - 图像处理方法及相关设备、迁移网络训练方法及相关设备 - Google Patents
图像处理方法及相关设备、迁移网络训练方法及相关设备 Download PDFInfo
- Publication number
- CN113658324A CN113658324A CN202110886585.1A CN202110886585A CN113658324A CN 113658324 A CN113658324 A CN 113658324A CN 202110886585 A CN202110886585 A CN 202110886585A CN 113658324 A CN113658324 A CN 113658324A
- Authority
- CN
- China
- Prior art keywords
- key point
- style
- migration
- image
- point information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013508 migration Methods 0.000 title claims abstract description 383
- 230000005012 migration Effects 0.000 title claims abstract description 383
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 58
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 239000000284 extract Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 210000000887 face Anatomy 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开一种图像处理方法及相关设备、迁移网络训练方法及相关设备，该方法包括：分别提取待处理图像的待处理关键点信息，以及目标风格图像的目标风格关键点信息；通过关键点迁移网络基于目标风格关键点信息对待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的，风格引导图像和原始样本图像包含的脸部不相同；利用待处理关键点信息和目标迁移关键点信息对根据待处理凸显刚得到的待处理三维模型进行调整，得到目标风格的目标三维模型。实施本申请实施例，能够利用多风格通用的关键点迁移网络进行脸部三维重建，实现风格迁移。
Description
技术领域
本申请涉及影像技术领域，具体涉及一种图像处理方法及相关设备、迁移网络训练方法及相关设备。
背景技术
用户可通过智能手机等电子设备上装载的应用程序对拍摄到的图像进行修改。特别是在拍摄人像时，用户可以自行修改人像的色彩、轮廓等。然而，这些修改仅局限于图像细节，难以对图像的整体风格进行修改。
发明内容
本申请实施例公开了一种图像处理方法及相关设备、迁移网络训练方法及相关设备，能够利用多风格通用的关键点迁移网络进行脸部三维重建，实现风格迁移。
本申请实施例公开一种图像处理方法，所述方法包括：分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息；所述目标风格图像的图像风格是所述待处理图像需要迁移的目标风格；通过所述关键点迁移网络基于所述目标风格关键点信息对所述待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；所述关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的，所述风格引导图像和所述原始样本图像包含的脸部不相同；对所述待处理图像中的脸部进行三维重建，得到待处理三维模型；利用所述待处理关键点信息和所述目标迁移关键点信息对所述待处理三维模型进行调整，得到所述目标风格的目标三维模型。
本申请实施例公开一种迁移网络训练方法，所述方法包括：从样本数据中选取原始样本图像和第一风格引导图像；所述样本数据包括所述原始样本图像，以及至少两种不同图像风格的风格引导图像，第一风格引导图像为具备第一风格的图像，所述第一风格为所述至少两种不同图像风格中的任意一种；提取所述原始样本图像包含的脸部的原始关键点信息，以及提取所述第一风格引导图像包含的脸部的第一风格关键点信息；通过待训练的关键点迁移网络基于所述第一风格关键点信息对所述原始关键点信息包括的原始关键点进行迁移，得到样本迁移关键点信息，并根据所述样本迁移关键点信息计算第一迁移损失；根据所述第一迁移损失调整所述关键点迁移网络的参数。
本申请实施例公开一种图像处理装置，包括：第一提取模块，用于分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息；所述目标风格图像的图像风格是所述待处理图像需要迁移的目标风格；第一迁移模块，用于通过所述关键点迁移网络基于所述目标风格关键点信息对所述待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；所述关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的；第一重建模块，用于对所述待处理图像中的脸部进行三维重建，得到待处理三维模型；以及，利用所述待处理关键点信息和所述目标迁移关键点信息对所述待处理三维模型进行形变，得到所述目标风格的目标三维模型。
本申请实施例公开一种迁移网络的训练装置，包括：第二提取模块，用于提取样本数据包括的原始样本图像中人脸的原始关键点信息，以及提取所述样本数据包括的第一风格引导图像中人脸的第一风格关键点信息；所述样本数据包括至少两种不同图像风格的风格引导图像，所述第一风格为所述至少两种不同图像风格中的任意一种，所述原始样本图像和所述第一风格引导图像中的人脸不相同；第二迁移模块，用于通过待训练的关键点迁移网络基于所述第一风格关键点信息对所述原始关键点信息包括的原始关键点位置进行迁移，得到样本迁移关键点信息；计算模块，用于根据所述样本迁移关键点信息计算第一迁移损失；调整模块，用于根据所述第一迁移损失调整所述关键点迁移网络的参数。
本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种图像处理方法或者迁移网络训练方法。
本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种图像处理方法或者迁移网络训练方法。
与相关技术相比，本申请实施例具有以下有益效果：
电子设备可从待处理图像中提取出脸部的待处理关键点信息，以及从目标风格图像中提取出脸部的目标关键点信息。通过关键点迁移网络基于目标关键点信息对待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息。电子设备可对待处理图像包括的脸部进行三维重建，得到待处理三维模型，并且可进一步利用目标迁移关键点信息对待处理三维模型进行调整，得到目标风格的目标三维模型，从而可以将待处理图像中的脸部迁移至目标风格，实现风格迁移。此外，由于关键点迁移网络是通过多种不同风格的风格引导图像进行训练得到的，同一个关键点迁移网络可对多种不同风格通，关键点迁移网络的实用性较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一个实施例公开的一种图像处理方法的流程示意图；
图2是一个实施例公开的另一种图像处理方法的方法流程示意图；
图3是一个实施例公开的另一种图像处理方法的流程示意图；
图4是一个实施例公开的一种生成目标迁移关键点信息的流程示意图；
图5是一个实施例公开的一种对待处理图像进行预处理的流程示意图
图6是一个实施例公开的一种迁移网络训练方法的流程示意图；
图7是一个实施例公开的一种训练过程中关键点迁移网络的数据处理示例图；
图8是一个实施例公开的另一种迁移网络训练方法的流程示意图；
图9是一个实施例公开的一种图像处理装置的结构示意图；
图10是一个实施例公开的一种迁移网络训练装置的结构示意图；
图11是一个实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
风格迁移，可指将图像从一种图像风格转移到另一种图像风格。在现有技术中可通过传统的图像特征设计或者机器学习方法进行基于风格迁移的脸部三维重建。
传统的图像特征设计方法以图像类比(Image Analogie)为例，可基于图像块的纹理仿真计算实现基于风格迁移的人脸三维重建，这种重建方法的准确性和效率较差。
机器学习方法可基于卷积神经网络(Convolutional Neutral Network,CNN)或者生成对抗网络(Generative Adversarial Network，GAN)等人工神经网络进行基于风格迁移的脸部三维重建，Pix2Pix模型和循环生成对抗网络(CycleGAN)是其中的代表。
Pix2Pix模型依赖成对的样本图像数据进行训练。其中，成对的样本图像数据可包括未经风格迁移的原始样本图像，以及将原始样本图像的图像风格迁移至目标风格后得到的风格引导图像。可见，Pix2Pix模型依赖成对的样本图像数据，数据采集难度较高。
CycleGAN算法可以在成对的样本图像数据缺失的情况下解决基于风格迁移的脸部三维重建问题。CycleGAN可包括两次变化：先将原始样本图像映射至目标风格对应的目标域，然后再返回原始样本图像对应的源域得到二次生成图像，从而可以解决需要在目标域中进行图像配对的要求。
然而，无论是Pix2Pix模型还是CycleGAN，都是解决了一对一的风格迁移问题。若要实现多风格领域的转换，则需要针对每个风格领域分别进行模型训练。即，每个风格领域都需要训练一个Pix2Pix模型或者CycleGAN。而在应用时，还需要从训练好的多个模型中选取出待迁移的目标风格对应的模型，才能将待处理图像的图像风格迁移至目标风格，处理效率过低。
本申请实施例公开了一种图像处理方法及相关设备、迁移网络训练方法及相关设备，能够利用多风格通用的关键点迁移网络进行脸部三维重建，实现风格迁移。以下分别进行详细说明。
请参阅图1，图1是一个实施例公开的一种图像处理方法的流程示意图，该方法可适用于智能手机、智能平板、智能手表、云端服务器等电子设备，具体不做限定。如图1所示，该方法可包括以下步骤：
110、分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息。
待处理图像可以是用户利用电子设备的摄像装置拍摄得到的，也可以是其它设备传输至电子设备的。目标风格图像可以是用户选取的，目标风格图像和待处理图像可均包含脸部，脸部可以是人脸，也可以是动物的脸部，具体不做限定。目标风格图像和待处理图像的图像风格可不同，目标风格图像的图像风格是待处理图像需要迁移的目标风格。待处理图像和目标图像的图像格式不做限定，可包括但不限于RGB图像、YUV图像或者RAW图像。
脸部关键点可用于在图像中定位脸部关键区域的位置，以人脸为例，人脸关键点可用于定位眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。电子设备可对待处理图像进行脸部关键点识别，得到待处理关键点信息，以及对目标风格图像进行脸部关键点识别，得到目标风格关键点信息。其中，脸部关键点识别可基于主动形状模型(Active Shape Model，ASM)、主动外观模型(Active Appearance Model，AAM)模型、级联形状回归(Cascaded PoseRegression，CPR)、深度学习等方法实现，具体不做限定。
待处理关键点信息可包括待处理图像中一个或多个脸部关键点的图像位置和纹理等信息，风格化关键点信息可包括目标风格图像中一个或多个脸部关键点的图像位置和纹理等信息。示例性的，待处理关键点信息和风格化关键点信息包括的图像位置均可通过N×2维的向量进行表示，其中N可为关键点的数量，2可指示脸部关键点的图像位置为二维坐标。
120、通过关键点迁移网络基于目标风格关键点信息对待处理关键点信息包括的待处理关键点位置进行迁移，得到目标迁移关键点信息。
关键点迁移网络可为人工神经网络，是利用样本数据进行训练得到的。其中，样本数据可包括原始样本图像，以及至少两种图像风格的风格引导图像。示例性的，至少两种图像风格可包括：素描、油画、水彩、卡通、胶片等，但不限于此。
风格引导图像可以对原始样本图像进行图像处理后得到的，也可以和原始样本图像完全不同。可选的，原始样本图像和风格引导图像中的脸部不相同，即原始样本图像和风格引导图像不是成对的图像数据，风格引导图像并不是对原始样本图像进行处理后得到的。因此，对关键点迁移网络进行训练的过程可为自监督学习的过程。
经过样本数据进行训练后，关键点迁移网络可以对多种图像风格通用，可根据输入的目标风格关键点信息确定需要迁移的目标风格，并且在目标风格关键点信息的指导下对待处理关键点信息包括的待处理关键点进行迁移，即调整待处理关键点的图像位置和/或纹理，使得调整后的得到的目标迁移关键点信息表征的图像风格与目标风格一致，目标迁移关键点信息可至少包括待处理图像中的各个关键点迁移后的图像位置。
示例性的，关键点迁移网络可为星形生成对抗网络(StarGAN)。利用原始样本图像，以及多种图像风格的风格引导图像对StarGAN进行训练，训练得到的同一个StarGAN模型可执行多种不同图像风格的风格迁移任务。若要将待处理图像包括的脸部重建为图像风格A的三维模型或者将待处理的图像包括的脸部重建为图像风格B的三维模型，均可使用同一个StarGAN模型。
需要说明的是，训练关键点迁移网络的步骤可以由电子设备执行，也可以由不同于电子设备的其它具有计算能力的计算设备执行，电子设备可以获取并存储已经训练好的关键点迁移网络。
130、对待处理图像中的脸部进行三维重建，得到待处理三维模型，并利用待处理关键点信息和目标迁移关键点信息对待处理三维模型进行调整，得到目标风格的目标三维模型。
电子设备可先对待处理图像中未经风格迁移的脸部进行三维重建，以得到待处理三维模型(三维Mesh)。三维重建的核心思想是脸部可以在三维空间中进行一一匹配，并且可以由其他许多幅脸部正交基加权线性相加而来，三维重建过程可以采用基于优化迭代的方法或者采用基于深度学习的方法，具体不做限定。
示例性的，以人脸三维重建为例，电子设备可基于三维形变模型(3-DimensionMorphable Models，3DMM)的三维人脸重建方法对待处理图像中的人脸进行三维重建。其中，建模拓扑可包括但不限于：Basel Face Model(BFM)数据集、FaceScape数据集或者Facewarehouse数据集。
电子设备在重建得到待处理三维模型之后，可以根据待处理关键点信息确定各个关键点在待处理三维模型中的位置。并且，可以将待处理三维模包括的各个关键点按照目标迁移关键点信息进行调整，以对待处理三维模型进行形变。形变后的目标三维模型可为目标风格，从而可以将待处理图像包括的脸部从待处理图像的图像风格迁移至目标风格图像的目标风格，实现风格迁移。
可见，在前述实施例中，电子设备可通过关键点迁移网络利用从目标风格图像中提取出的目标风格关键点信息对待处理图像中的待处理关键点信息进行迁移，得到目标迁移关键点信息。目标迁移关键点信息表征的图像风格与目标风格一致，利用目标迁移关键点信息对待处理图像中的待处理三维模型进行形变，可以得到目标风格的目标三维模型，从而可以实现风格迁移。此外，由于关键点迁移网络是通过多种不同风格的风格引导图像进行训练得到的，同一个关键点迁移网络可对多种不同风格通用，关键点迁移网络的实用性较高。可选的，训练过程可以不依赖成对的图像数据，数据采集难度系较低。
示例性的，请参阅图2，图2是一个实施例公开的另一种图像处理方法的方法流程示意图。如图2所示，可对待处理图像210中的脸部进行三维重建，得到待处理三维模型。
可包括N个风格域图像，分别为风格域图像220a-风格域图像220n，N可为大于或等于2的正整数，用户可从N个风格域图像中选取出目标风格图像。
电子设备可对待处理图像210中的脸部进行三维重建，得到待处理三维模型230。
若将风格域图像220a选取为目标风格图像，则电子设备可分别对待处理图像210和风格域图像220a进行脸部关键点识别，以从待处理图像210中提取出待处理关键点信息211，以及从风格域图像220a中提取出风格域图像220a的风格域关键点信息221a作为目标关键点信息。
待处理关键点信息211和风格域关键点信息221a分别输入至关键点迁移网络200。关键点迁移网络200可基于风格域关键点信息221a对待处理关键点信息211包括的待处理关键点进行迁移，得到迁移关键点信息240a。
电子设备可结合待处理关键点信息211以及目标迁移关键点信息240a对待处理三维模型230进行形变，得到与风格域图像220a的图像风格一致的目标三维模型250a。
如图2所示，关键点迁移网络200可对多种风格的图像通用，若将从风格域图像220n选取为目标风格图像，则电子设备可从风格域图像220n中提取出的风格域关键点信息220n作为目标关键点信息，并可通过关键点迁移网络200基于风格域关键点信息220n对待处理关键点信息211包括的待处理关键点进行迁移，得到迁移关键点信息240n。
电子设备可结合待处理关键点信息211以及目标迁移关键点信息240n对待处理三维模型230进行形变，得到与风格域图像220a的图像风格一致的目标三维模型250n。
请参阅图3，图3是一个实施例公开的另一种图像处理方法的流程示意图，该方法可适用于前述的任意一种电子设备，具体不做限定。如图3所示，该方法可包括以下步骤：
310、分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息。
目标风格图像和待处理图像的图像风格不同，目标风格图像的图像风格是待处理图像需要迁移的目标风格。
320、通过关键点迁移网络从待处理关键点信息中提取出待处理脸部特征。
待处理脸部特征可用于表征待处理图像包含的脸部内容，可通过待处理脸部编码向量进行表示。关键点迁移网络经过训练，可建立从原始样本图像中提取出的关键点信息与脸部特征之间的映射关系，从而可以从输入的待处理关键点信息中提取出待处理脸部特征。
330、通过关键点迁移网络从目标风格关键点信息中提取出目标风格特征。
目标风格特征可用于表征目标风格图像的图像风格，可通过目标风格编码向量进行表示。关键点迁移网络经过训练，可建立从风格引导图像中提取出的关键点信息与图像风格特征之间的映射关系，从而可以从输入的目标风格关键点信息中提取出目标风格特征。
需要说明的是，目标风格关键点信息既隐含了用于表征图像风格的目标风格特征，还可隐含用于表征脸部内容的目标脸部特征，关键点迁移网络可区分目标风格特征和目标脸部特征，从第二关键点关键点信息中提取出目标风格特征。
340、通过关键点迁移网络将待处理脸部特征与目标风格特征进行融合，得到目标融合特征，并对目标融合特征进行还原，得到目标迁移关键点信息。
电子设备可通过相加的方式融合待处理脸部特征和目标风格特征，但不限于此。示例性的，待处理脸部特征和目标风格特征可分别通过待处理脸部编码向量和目标风格编码向量进行表示，对待处理脸部编码向量和目标风格编码向量进行向量相加，相加后得到的目标融合向量可作为目标融合特征。
关键点迁移网络经过训练，可建立目标融合特征与目标迁移关键点信息之间的映射关系，从而可以对输入的目标融合特征进行还原，得到目标迁移关键点信息。因此，还原后得到的目标迁移关键点信息既包含了待处理图像中的脸部内容，又包含了目标风格图像的图像风格。可以看出，目标迁移关键点信息是在目标风格图像的风格化关键点信息的指导下，对待处理图像的待处理关键点信息进行迁移得到的。
350、对待处理图像中的脸部进行三维重建，得到待处理三维模型，并利用待处理关键点信息和目标迁移关键点信息对待处理三维模型进行形变，得到目标风格的目标三维模型。
在前述实施例中，关键点迁移网络可包括编码模块(Encoder)和解码模块(Decoder)，编码模块可用于将输入的关键点信息映射成向量序列(即编码)，解码模块可用于将向量序列还原成关键点信息(即解码)。
示例性的，请参阅图4，图4是一个实施例公开的一种生成目标迁移关键点信息的流程示意图。如图4所示，关键点迁移网络可至少包括：第一编码模块410、第二编码模块420和第二解码模块430。上述的各个编码模块或者解码模块可由卷积层、批标准化层(BatchNormalization，BN)层、线性整流(Rectified Linear Unit，ReLU)层等组成，本申请实施例对编码模块和解码模块的具体结构不做限定。此外，需要说明的是，在一些实施例中，关键点迁移网络还可包括其它未示出的网络层，具体不做限定。
如图4所示，从待处理图像中提取出的待处理关键点信息可输入至第一编码模块410。通过第一编码模块410对待处理关键点信息进行编码，得到待处理脸部编码向量作为从待处理关键点信息中提取出的待处理脸部特征。
从目标风格图像中提取出的目标风格关键点信息可输入至第二编码模块420。通过第二编码模块420对目标风格关键点信息进行编码，得到目标风格编码向量作为从目标风格关键点信息中提取出的目标风格特征。
对待处理脸部编码向量和目标风格编码向量进行融合，得到目标融合向量作为目标融合特征，将目标融合向量输入至第二解码模块430，由第二解码模块430对脸部风格化融合向量进行解码，得到还原的目标迁移关键点信息。
在前述实施例中，关键点迁移网络可准确地融合待处理图像中的脸部内容和目标风格图像的图像风格，以将待处理关键点信息表征的图像风格迁移至目标风格。
在一个实施例中，为了更好地从待处理图像和目标风格图像中提取出关键点信息，电子设备还可以先对待处理图像和目标风格图像进行预处理。预处理的操作操作可包括但不限于：图像旋转、脸部检测、脸部区域裁剪中的一种或多种操作。
图像旋转，可指将待处理图像和目标风格图像旋转至目标方向，目标方向可根据样本数据包括的各个图像的图像方向确定。图像方向可根据图像包括的脸部朝向确定，根据脸部朝向可分为上下左右四个方向。旋转的方向不做限定，可包括顺时针旋转或者逆时针旋转。
需要说明的是，从图像中提取出的关键点信息可通过向量进行表示，而向量具有方向性。因此，在迁移网络的训练过程中，样本数据包括的各个图像的图像方向对网络训练存在一定影响。若样本数据包括的各个图像的图像方向均为目标方向，例如脸部朝上，则在利用关键点迁移网络进行关键点迁移时，为了达到较高的准确性，可以将待处理图像和目标风格图像旋转至目标方向。
脸部检测(Face Detection)，可指从待处理图像和目标风格图像中识别出脸部所在区域。脸部检测的方式可包括但不限于：基于模板匹配的脸部检测、基于自适应增强(AdaBoost)分类器的脸部检测或者基于深度学习的脸部检测。
脸部区域裁剪，可指在脸部检测确定出脸部所在区域时，从待处理图像中裁剪出第一脸部区域，以及从目标图像中裁剪出第二脸部区域，以减少待处理图像和目标图像中除脸部区域以外的背景区域包括的信息对后续脸部关键点识别的干扰，有利于提高脸部关键点识别的准确性。
也就是说，电子设备在执行前述的步骤110或者310之前，还可以执行以下步骤：
电子设备分别对待处理图像和目标风格图像进行脸部检测，从待处理图像中提取出第一脸部区域，以及从目标风格图像中提取出第二脸部区域。
电子设备可对第一脸部区域进行脸部关键点识别，得到从第一脸部区域提取出的待处理关键点信息，以及可对第二脸部区域进行脸部关键点识别，得到从第二脸部区域提取出的目标风格关键点信息。
示例性的，请参阅图5，图5是一个实施例公开的一种对待处理图像进行预处理的流程示意图。如图5所示，待处理图像510的图像方向可以为人脸向左，经过图像旋转操作，可将待处理图像510的图像方向旋转为人脸向上。对待处理图像510分别进行脸部检测和脸部区域裁剪，可以从待处理图像中提取出第一脸部区域520。
对目标风格图像进行预处理操作的流程与待处理图类似，以下内容不再赘述。
可见，电子设备可对待处理图像和/或目标风格图像执行预处理操作，有利于提高脸部关键点识别以及关键点迁移的准确性。
在一些实施例中，图像旋转的预处理操作可以是非必须的。若关键点迁移网络在训练时采用的样本数据包括的各个图像方向的图像，则关键点迁移网络可以在不同图像方向上均取得较好的关键点迁移准确性。因此，可以跳过图像旋转的步骤，不改变输入的待处理图像或者目标图风格图像的图像方向。
从前述实施例中可以看出，关键点迁移网络对风格迁移具有重要意义，以下内容对关键点迁移网络的训练过程进行说明。
请参阅图6，图6是一个实施例公开的一种迁移网络训练方法的流程示意图。该方法可应用于前述的任意一种电子设备，具体不做限定。图像处理方法以及迁移网络训练方法可由同一个电子设备执行，也可以分开由不同的电子设备执行，具体不做限定。如图6所示，迁移网络训练方法可包括以下步骤：
610、从样本数据中选取原始样本图像和第一风格引导图像。
样本数据包括多个原始样本图像，以及至少两种不同图像风格的风格引导图像，第一风格引导图像为具备第一风格的图像，第一风格为至少两种不同图像风格中的任意一种。可选的，原始样本图像和第一风格引导图像包含的脸部不相同。即，原始样本图像和风格引导图像并非成对的图像数据。因此，关键点迁移网络的训练过程可为自监督学习的过程。
620、提取原始样本图像包含的脸部的原始关键点信息，以及提取第一风格引导图像包含的脸部的第一风格关键点信息。
电子设备可基于ASM、AAM、CPR、深度学习等方法分别对原始样本图像和第一风格引导图像包含的脸部进行关键点识别，具体不做限定。
此外，电子设备在对原始样本图像和第一风格引导图像进行脸部关键点识别之前，可对原始样本图像和/或第一风格引导图像执行前述的一种或多种预处理操作，具体不做限定。
630、通过待训练的关键点迁移网络基于第一风格关键点信息对原始关键点信息包括的原始关键点进行迁移，得到样本迁移关键点信息，并根据样本迁移关键点信息计算第一迁移损失。
待训练的关键点迁移网络可以在第一风格关键点信息的指导下对原始关键点信息包括的原始关键点进行迁移，至少包括调整原始关键点的位置。调整后得到的样本迁移关键点信息可以是关键点迁移网络预测的关键点信息，关键点迁移网络的训练目标可以是使得网络预测的关键点信息表征的图像风格与第一风格一致。因此，电子设备可根据样本迁移关键点信息计算第一迁移损失，第一迁移损失可表征关键点迁移网络当前预测的样本迁移关键点信息与准确的迁移关键点信息之间的差异。
电子设备在根据样本迁移关键点信息计算第一迁移损失时，可采用回归损失函数或者分类损失函数等损失函数进行计算，但不限于此。第一迁移损失可包括一个或多个约束项，每个约束项可通过一个损失函数进行计算。
640、根据第一迁移损失调整关键点迁移网络的参数。
电子设备可根据第一迁移损失对关键点迁移网络的参数进行调整，即进行参数更新，更新的方向可以是使得第一迁移损失最小。电子设备可通过梯度更新、学习率衰减等方式对关键点迁移网络的参数进行更新，具体不做限定。
可选的，训练过程可以不依赖成对的图像数据，数据采集难度系较低。
在一个实施例中，前述的步骤620中通过待训练的关键点迁移网络基于第一风格关键点信息对原始关键点信息包括的原始关键点进行迁移，得到样本迁移关键点信息的实施方式可包括以下步骤：
电子设备通过待训练的关键点迁移网络从原始关键点信息中提取出原始脸部特征。
电子设备通过待训练的关键点迁移网络从第一风格关键点信息中提取出第一风格特征。
其中，原始脸部特征可用于表征原始样本图像包含的脸部内容，可通过原始脸部编码向量进行表示。第一风格特征用于表征第一风格引导图像的图像风格，可通过第一风格编码向量进行表示。
电子设备通过待训练的关键点迁移网络融合原始脸部特征和第一风格特征，并对融合得到的第一融合特征进行还原，得到样本迁移关键点信息。
其中，待训练的关键点迁移网络可通过相加的方式融合原始脸部特征和第一风格特征，但不限于此。例如，可对原始脸部编码向量和第一风格编码向量进行向量相加，将相加得到的第一融合向量作为第一融合特征。并且，通过待训练的关键点网络对第一融合向量进行解码，以对第一融合特征进行还原，可得到样本迁移关键点信息。
示例性的，请参阅图7，图7是一个实施例公开的一种训练过程中关键点迁移网络的数据处理示例图。如图7所示，待训练的关键点迁移网络可至少包括：第一编码模块710、第二编码模块720和第二解码模块730。
从原始样本图像中提取出的原始关键点信息可输入至第一编码模块710。通过第一编码模块710对原始关键点信息进行编码，得到原始脸部编码向量作为从原始关键点信息中提取出的原始脸部特征。
从第一风格引导图像中提取出的第一风格关键点信息可输入至第二编码模块720。通过第二编码模块720对第一风格关键点信息进行编码，得到第一风格编码向量作为从第一风格关键点信息可中提取出的第一风格特征。
对原始脸部编码向量和第一风格编码向量进行融合，得到第一融合向量作为第一融合特征。
将第一融合特征向量输入至第二解码模块730，由第二解码模块730对第一融合特征向量进行解码，得到还原的样本迁移关键点信息。
在一个实施例中，电子设备根据样本迁移关键点信息计算出的第一迁移损失可包括：分类损失。在前述步骤630中，电子设备根据样本迁移关键点信息计算第一迁移损失，可包括：
根据第一风格关键点信息和样本迁移关键点信息计算分类损失，分类损失用于指示第一风格关键点信息表征的图像风格与样本迁移关键点信息表征的图像风格之间的差异。即，分类损失用于指导关键点迁移网络的参数调整，使得第一风格关键点信息和样本迁移关键点信息分为同一类。
其中，分类损失可根据分类损失函数进行计算。示例性的，分类损失函数可包括但不限于：Logistic Loss损失函数、Hinge Loss损失函数。
在一个实施例中，第一迁移损失还可包括：第一编码损失。在前述步骤630中，电子设备根据样本迁移关键点信息计算第一迁移损失，可包括：
通过待训练的关键点迁移网络从融合后得到的样本迁移关键点信息中提取出迁移风格特征；迁移风格特征可用于表征迁移后得到的关键点信息的图像风格；
根据迁移风格特征和第一风格特征计算第一编码损失。第一编码损失用于指示迁移风格特征和第一风格特征之间的差异。第一编码损失用于指导关键点迁移网络的参数调整，使得迁移风格特征和第一风格特征之间的区别最小。
其中，第一编码损失可根据回归损失函数进行计算，例如L1 Loss损失函数或者L2Loss损失函数。
示例性的，请继续参阅图7，如图7所示，第二编码模块720还用于对样本迁移关键点信息进行编码，得到迁移风格编码向量作为从样本迁移关键点信息中提取出的迁移风格特征。即，第二编码模块720可用于从第一风格关键点信息进行编码，得到第一风格编码向量；以及，可用于从样本迁移关键点信息进行编码，得到迁移风格编码向量。
电子设备可计算第一风格编码向量和迁移风格编码向量的L2 Loss作为第一编码损失，第一编码损失可用于训练关键点迁移网络从第一风格引导图像中提取出第一风格特征的准确性。
在一个实施例中，第一迁移损失还可包括：第二编码损失。在前述步骤630中，电子设备根据样本迁移关键点信息计算第一迁移损失，可包括：
通过待训练的关键点迁移网络从样本迁移关键点信息中提取出迁移脸部特征；
根据迁移脸部特征和原始脸部特征计算第二编码损失。第二编码损失可用于指示迁移脸部特征和原始脸部特征之间的差异。第二编码损失可用于指导关键点迁移网络的参数调整，使得迁移脸部特征和原始脸部特征之间的区别最小。
其中，第二编码损失可根据信息熵损失函数进行计算，例如交叉熵损失函数或者相对熵损失函数。在根据相对熵损失函数进行计算时，电子设备可计算迁移脸部特征和原始脸部特征之间的KL距离(Kullback-Leibler Divergence，KL)。
示例性的，请继续参阅图7，如图7所示，关键点迁移网络还可包括第三编码模块740，可通过第三编码模块740可对样本迁移关键点信息进行编码，得到迁移脸部编码向量作为从样本迁移关键点信息中提取出的迁移脸部特征。
电子设备可计算第三编码模块740输出的迁移脸部编码向量和第一编码模块710输出的原始脸部编码向量之间的KL距离作为第二编码损失，第二编码损失可用于训练关键点迁移网络从原始样本图像中提取出原始脸部特征的准确性。
可见，在前述实施例中，电子设备可计算分类损失作为第一迁移损失，也可以在计算分类损失的基础上，再计算第一编码损失和第二编码损失中的任意一项或者两项作为第一迁移损失。
在一个实施例中，为了进一步提高关键点迁移网络的准确性，在训练的过程中还可进一步增加约束项。电子设备除了执行步骤630以外，还可执行以下步骤：
650、通过待训练的关键点迁移网络从第一风格关键点信息中提取出第一风格脸部特征。
第一内容特征可用于表征第一风格引导图像包含的脸部内容，可通过第一内容编码向量进行表示。
660、通过待训练的关键点迁移网络融合第一风格特征和第一内容特征，并对融合得到的第二融合特征进行还原，得到第一风格重建关键点信息。
电子设备可通过待训练的关键点迁移网络对第一风格编码向量和第一内容编码向量进行向量相加，将相加得到的第二融合向量作为第二融合特征。并且，通过待训练的关键点迁移网络对第二融合向量进行解码，以对第二融合特征进行还原，可得到第一风格重建关键点信息。
670、根据第一风格重建关键点信息和第一风格关键点信息计算第一回归损失和/或生成对抗损失。
680、根据第一迁移损失、第一回归损失和/或生成对抗损失调整关键点迁移网络的参数。
第一回归损失，可用于指示第一风格重建关键点信息和第一风格关键点信息之间的差异。第一回归损失可用于指导关键点迁移网络的参数调整，使得第一风格重建关键点信息和第一风格关键点信息之间的差异最小。
示例性的，第一回归损失可通过L1 Loss或者L2 Loss等损失函数进行计算。
生成对抗损失，可用于指导关键点迁移网络的参数调整，使得生成的第一风格重建关键点信息尽量真实。
示例性的，关键点迁移网络可包括生成对抗网络，包括生成器和判别器，生成器可包括上述的各个编码模块和解码模块。生成器可用于生成第一风格重建关键点信息，判别器可用于判别生成器生成的第一风格重建关键点信息，以及判别输入至关键点迁移网络的第一风格关键点信息。关键点迁移网络的训练目标包括：使得判别器将输入的第一风格关键点信息判别为真，将生成器生成的第一风格重建关键点信息判别为假；以及，使得生成器生成能够被判别器判别为真的第一风格重建关键点信息。即，希望判别器足够准确，能够区分输入的和重建的关键点信息；以及，希望生成器生成足够真实(能够欺骗判别器)的第一风格重建关键点信息。
需要说明的是，第一迁移损失可包括分类损失，以及第一编码损失和第二编码损失中的一项或者多项。
示例性的，请继续参阅图7，如图7所示，可通过第三编码模块740对第一风格关键点信息进行编码，得到第一内容编码向量作为从第一风格关键点信息中提取出的第一内容特征。
融合第二编码模块720输出的第一风格编码向量和第三编码模块740输出的第一内容编码向量，可得到第二融合向量。
以及，第二融合向量可输入至第二解码模块730，通过第二解码模块730对第二融合向量进行解码，以对第二融合特征进行还原，得到第一风格重建关键点信息。
电子设备可计算第二解码模块730输出的第一风格重建关键点信息，以及输入至关键点迁移网络的第一风格关键点信息之间的L1 Loss作为第一回归损失；以及，还可以对第二解码模块730输出的第一风格重建关键点信息，以及输入至关键点迁移网络的第一风格关键点信息进行生成对抗Loss训练，使得第一风格重建关键点信息尽可能真实。
在一个实施例中，电子设备除了执行步骤630以外，还可执行以下步骤：
680、通过关键点迁移网络对原始脸部特征进行还原，得到原始重建关键点信息。
690、根据原始重建关键点信息和原始关键点信息计算第二回归损失，并根据第一迁移损失和第二回归损失调整关键点迁移网络的参数。
第二回归损失用于指示原始重建关键点信息和原始关键点信息之间的差异，可用于指导关键点迁移网络的参数调整，使得原始重建关键点信息和原始关键点信息之间的差异最小。电子设备在调整参数时，可通过梯度更新、学习率衰减等方式对参数进行更新，具体不做限定。
第二回归损失可用于训练关键点迁移网络从原始重建关键点信息中提取出原始脸部特征的准确性，可通过L1 Loss或者L2 Loss损失函数进行计算。
示例性的，请继续参阅图7，如图7所示，关键点迁移网络还可包括第一解码模块750。可通过第一编码模块710对原始关键点信息进行编码，得到原始脸部编码向量作为从原始关键点信息中提取出的原始脸部特征，将原始脸部编码向量输入至第一解码模块750，通过第一解码模块750对脸部编码向量进行解码，以对原始脸部特征进行还原，得到原始重建关键点信息。
电子设备可计算原始关键点信息和原始重建关键点信息的L1 Loss作为第二回归损失。
需要说明的是，第一迁移损失可包括分类损失，以及第一编码损失和第二编码损失中的一项或者多项。
综上，在一些实施例中，关键点迁移网络的训练过程可使用7个约束项，分别为分类损失、第一编码损失、第二编码损失、第一回归损失、生成对抗损失和第二回归损失。
示例性的，训练所使用的代价函数L可以通过以下公式表示：
L＝α·La+β·Lb+γ·Lc+λ·Ld+η·Le+ω·Lf
其中，La可为分类损失，可根据输入的第一风格关键点信息和样本迁移关键点信息计算得到；Lb可为第一编码损失，可根据第一风格特征和迁移风格特征计算得到；Lc可为第二编码损失，可根据迁移脸部特征和原始脸部特征计算得到；Ld可为第一回归损失，可根据第一风格重建关键点信息和第一风格关键点信息计算得到；Le可为生成对抗损失，可以根据第一风格重建关键点信息和第一风格关键点信息计算得到；Lf可为第二回归损失，可以根据原始重建关键点信息和原始关键点信息计算得到。
α、β、γ、λ、η、ω分别为各个约束项对应的系数，上述系数可根据实际的业务需求设置，具体不做限定。
在一个实施例中，三维重建时的形变也可能导致关键点的变化。因此，还可以在关键点迁移网络的训练过程中进一步增加约束项。请参阅图8，图8是一个实施例公开的另一种迁移网络训练方法的流程示意图。图8所示的步骤810-步骤830与前述实施例类似，以下内容不再赘述。
840、对原始样本图像包括的脸部进行三维重建，得到原始三维人脸部模型。
电子设备可基于3DMM等三维重建方法对原始样本图像包括的脸部进行三维重建，得到原始三维脸部模型，但不限于此。
850、利用样本迁移关键点信息对原始三维脸部模型进行调整，得到形变三维脸部模型。
样本迁移关键点信息可包括关键点的位置以及纹理等信息，原始三维脸部模型包括的脸部关键点可与样本迁移关键点信息包括的关键点信息进行对应。因此，可对原始三维脸部模型进行形变处理，以使形变后三维脸部模型包含的的形变关键点信息与样本迁移关键点尽可能一致。
860、根据形变三维人脸模型包含的形变关键点信息与样本迁移关键点信息计算形变损失。
电子设备可先从形变三维人脸模型中识别出形变关键点信息。其中，电子设备对三维人脸模型进行脸部关键点识别，以识别出形变关键点信息。可选的，电子设备可先将形变三维人脸模型从三维映射至二维，得到二维脸部图像，并对二维脸部图像进行脸部关键点识别，得到形变关键点信息。
在识别出形变关键点信息之后，电子设备可根据形变关键点信息和样本迁移关键点信息计算形变损失，形变损失可根据L1 Loss损失函数或者L2 Loss损失函数进行计算，具体不做限定。
870、根据第一迁移损失和形变损失调整关键点迁移网络的参数。
第一迁移损失可包括分类损失，以及第一编码损失和第二编码损失中的一项或者多项。电子设备根据形变损失对关键点迁移网络的参数进行更新，更新的方式可包括但不限于：梯度更新、学习率衰减等。
在一些实施例中，电子设备也可通过前述的代价函数L包括的各个约束项对应的损失和形变损失共同调整关键点迁移网络的参数，具体不做限定。
需要说明的是，在前述实施例中，结合图4和图7可以看出，在图像处理方法中应用的关键点迁移网络包括的编码模块和解码模块的数量可少于训练过程中关键点迁移网络包括的编码模块和解码模块的数量。因此，针对部署在智能手机等应用图像处理方法的电子设备中的关键点迁移网络，网络的规模可小于训练时的关键点迁移网络的规模。迁移网络的训练过程至少需要对第一编码模块、第二编码模块和第二解码模块对应的参数进行调整。
请参阅图9，图9是一个实施例公开的一种图像处理装置的结构示意图，该图像处理装置可应用于前述的任意一种电子设备。如图9所示，图像处理装置900可包括：第一提取模块910、第一迁移模块920和第一重建模块930。
第一提取模块910，用于分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息；目标风格图像的图像风格是待处理图像需要迁移的目标风格；
第一迁移模块920，用于通过关键点迁移网络基于目标风格关键点信息对待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的，风格引导图像和原始样本图像包含的脸部不相同；
第一重建模块930，用于对待处理图像中的脸部进行三维重建，得到待处理三维模型；以及，利用待处理关键点信息和目标迁移关键点信息对待处理三维模型进行形变，得到目标风格的目标三维模型。
在一个实施例中，第一迁移模块920，还可用于通过关键点迁移网络从待处理关键点信息中提取出待处理脸部特征；以及，通过关键点迁移网络从目标风格关键点信息中提取出目标风格特征；以及，通过关键点迁移网络将待处理脸部特征与目标风格特征进行融合，得到目标融合特征，并对目标融合特征进行还原，得到目标迁移关键点信息。
在一个实施例中，图像处理装置900还可包括：第一预处理模块。
第一预处理模块，可用于在第一提取模块910分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息之前，分别对待处理图像和目标风格图像进行脸部检测，从待处理图像中提取出第一脸部区域，以及从目标风格图像中提取出第二脸部区域。
以及，第一提取模块910还可用于分别对第一脸部区域和第二脸部区域进行脸部关键点识别，得到从第一脸部区域提取出的待处理关键点信息，以及从第二脸部区域提取出的目标风格关键点信息。
可见，在前述实施例中，图像处理装置可关键点迁移网络利用从目标风格图像中提取出的目标风格关键点信息对待处理图像中的待处理关键点信息进行迁移，得到目标迁移关键点信息。目标迁移关键点信息表征的图像风格与目标风格一致，利用目标迁移关键点信息对待处理图像中的待处理三维模型进行形变，可以得到目标风格的目标三维模型，从而可以实现风格迁移。此外，由于关键点迁移网络是通过多种不同风格的风格引导图像进行训练得到的，同一个关键点迁移网络可对多种不同风格通用，训练过程也不依赖成对的图像数据，数据采集难度系较低，关键点迁移网络的实用性较高。
请参阅图10，图10是一个实施例公开的一种迁移网络训练装置的结构示意图，该迁移网络训练装置可应用于前述的任意一种电子设备。如图10所示，迁移网络训练装置1000可包括：第二提取模块1010、第二迁移模块1020、计算模块1030和调整模块1040。
第二提取模块1010，用于提取样本数据包括的原始样本图像中人脸的原始关键点信息，以及提取样本数据包括的第一风格引导图像中人脸的第一风格关键点信息；样本数据包括至少两种不同图像风格的风格引导图像，第一风格为至少两种不同图像风格中的任意一种，原始样本图像和第一风格引导图像中的人脸不相同；
第二迁移模块1020，用于通过待训练的关键点迁移网络基于第一风格关键点信息对原始关键点信息包括的原始关键点位置进行迁移，得到样本迁移关键点信息；
计算模块1030，用于根据样本迁移关键点信息计算第一迁移损失；
调整模块1040，用于根据第一迁移损失调整关键点迁移网络的参数。
在一个实施例中，第二迁移模块1020，还可用于通过待训练的关键点迁移网络从原始关键点信息中提取出原始脸部特征；以及，通过关键点迁移网络从第一风格关键点信息中提取出用于表征图像风格的第一风格特征；以及，通过关键点迁移网络融合原始脸部特征和第一风格特征，并对融合得到的第一融合特征进行还原，得到样本迁移关键点信息。
在一个实施例中，第一迁移损失至少包括：分类损失。
计算模块1030，还可用于根据第一风格关键点信息和样本迁移关键点信息计算分类损失，分类损失用于指示调整关键点迁移网络的参数，以使第一风格关键点信息表征的图像风格与样本迁移关键点信息表征的图像风格一致。
在一个实施例中，第一迁移损失至少包括：第一编码损失。
计算模块1030，还可用于通过关键点迁移网络从样本迁移关键点信息中提取出迁移风格特征；以及，根据迁移风格特征和第一风格特征计算第一编码损失；第一编码损失用于指示调整关键点迁移网络的参数，以使迁移风格特征和第一风格特征之间的差异最小。
在一个实施例中，第一迁移损失至少包括：第二编码损失。
计算模块1030，还可用于通过关键点迁移网络从样本迁移关键点信息中提取出迁移脸部特征；以及，根据迁移脸部特征和原始脸部特征计算第二编码损失；第二编码损失用于指示调整关键点迁移网络的参数，以使迁移脸部特征和原始脸部特征之间的差异最小。
在一个实施例中，计算模块1030，还可用于通过关键点迁移网络从第一风格关键点信息中提取出用于表征脸部内容的第一内容特征；以及，通过关键点迁移网络融合第一风格特征和第一内容特征，并对融合得到的第二融合特征进行还原，得到第一风格重建关键点信息；以及，根据第一风格重建关键点信息和第一风格关键点信息计算第二迁移损失。
调整模块1040，还可用于根据第二迁移损失调整关键点迁移网络的参数。
在一个实施例中，第二迁移损失包括：第一回归损失和生成对抗损失。
第一回归损失，可用于指示调整关键点迁移网络的参数，以使第一风格重建关键点信息和第一风格关键点信息之间的差异最小；
生成对抗损失，可用于指示调整关键点迁移网络的参数，以使第一风格重建关键点信息被判别为真。
在一个实施例中，计算模块1030，还可用于通过关键点迁移网络对原始脸部特征进行还原，得到原始重建关键点信息；以及，根据原始重建关键点信息和原始关键点信息计算第二回归损失；第二回归损失用于指示调整关键点迁移网络的参数。
调整模块1040，还可用于根据第二回归损失调整关键点迁移网络的参数。
在一个实施例中，迁移网络训练装置1000还可包括：第二重建模块。
第二重建模块，可用于对原始样本图像包括的脸部进行三维重建，得到原始三维脸部模型；以及，利用原始关键点信息和样本迁移关键点信息对原始三维脸部模型进行形变处理，得到形变三维脸部模型；
计算模块1030，还可用于根据形变三维脸部模型包含的形变关键点信息与样本迁移关键点信息计算形变损失；
调整模块1040，还可用于根据形变关键点信息和样本迁移关键点信息计算形变损失。
在一个实施例中，计算模块1030，还可用于将形变三维脸部模型映射为二维脸部图像，并从二维脸部图像中识别出形变关键点信息；以及，根据形变关键点信息和样本迁移关键点信息计算形变损失。
可见，在前述实施例中，迁移网络训练装置可训练得到对多种图像风格通用的关键点迁移网络，无需再针对不同的图像风格进行重复建模和训练。并且，训练所使用的样本数据无需依赖成对的图像数据，可以降低样本数据的采集成本。
请参阅图11，图11是一个实施例公开的一种电子设备的结构示意图。如图11所示，该电子设备1100可以包括：
存储有可执行程序代码的存储器1111；
与存储器1111耦合的处理器1120；
其中，处理器1120调用存储器1111中存储的可执行程序代码，执行本申请实施例公开的任意一种图像处理方法或者迁移网络训练方法。
需要说明的是，图11所示的还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时，使得处理器实现本申请实施例公开的任意一种图像处理方法或者迁移网络训练方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行申请实施例公开的任意一种图像处理方法或者迁移网络训练方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的图像处理方法及相关设备，以及迁移网络训练方法及相关设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (18)
1.一种图像处理方法，其特征在于，所述方法包括：
分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息；所述目标风格图像的图像风格是所述待处理图像需要迁移的目标风格；
通过所述关键点迁移网络基于所述目标风格关键点信息对所述待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；所述关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的；
对所述待处理图像中的脸部进行三维重建，得到待处理三维模型；
利用所述待处理关键点信息和所述目标迁移关键点信息对所述待处理三维模型进行调整，得到所述目标风格的目标三维模型。
2.根据权利要求1所述的方法，其特征在于，所述风格引导图像和所述原始样本图像包含的脸部不相同。
3.根据权利要求1所述的方法，其特征在于，所述通过所述关键点迁移网络基于所述目标风格关键点信息对所述待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息，包括：
通过所述关键点迁移网络从所述待处理关键点信息中提取出待处理脸部特征；
通过所述关键点迁移网络从所述目标风格关键点信息中提取出目标风格特征；
通过所述关键点迁移网络将所述待处理脸部特征与所述目标风格特征进行融合，得到目标融合特征，并对所述目标融合特征进行还原，得到目标迁移关键点信息。
4.根据权利要求1所述的方法，其特征在于，在所述分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像中包含的脸部的目标风格关键点信息之前，所述方法还包括：
分别对待处理图像和目标风格图像进行脸部检测，从所述待处理图像中提取出第一脸部区域，以及从所述目标风格图像中提取出第二脸部区域；
以及，所述提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像中包含的脸部的目标风格关键点信息，包括：
分别对所述第一脸部区域和所述第二脸部区域进行脸部关键点识别，得到从所述第一脸部区域提取出的待处理关键点信息，以及从所述第二脸部区域提取出的目标风格关键点信息。
5.一种迁移网络训练方法，其特征在于，所述方法包括：
从样本数据中选取原始样本图像和第一风格引导图像；所述样本数据包括所述原始样本图像，以及至少两种不同图像风格的风格引导图像，第一风格引导图像为具备第一风格的图像，所述第一风格为所述至少两种不同图像风格中的任意一种；
通过待训练的关键点迁移网络提取所述原始样本图像包含的脸部的原始关键点信息，以及提取所述第一风格引导图像包含的脸部的第一风格关键点信息；
通过所述关键点迁移网络基于所述第一风格关键点信息对所述原始关键点信息包括的原始关键点进行迁移，得到样本迁移关键点信息，并根据所述样本迁移关键点信息计算第一迁移损失；
根据所述第一迁移损失调整所述关键点迁移网络的参数。
6.根据权利要求5所述的方法，其特征在于，所述原始样本图像和所述第一风格引导图像包含的脸部不相同。
7.根据权利要求5所述的方法，其特征在于，所述通过待训练的关键点迁移网络基于所述第一风格关键点信息对所述原始关键点信息包括的原始关键点位置进行迁移，得到样本迁移关键点信息，包括：
通过所述关键点迁移网络从所述原始关键点信息中提取出原始脸部特征；
通过所述关键点迁移网络从所述第一风格关键点信息中提取出用于表征所述第一风格的第一风格特征；
通过所述关键点迁移网络融合所述原始脸部特征和所述第一风格特征，并对融合得到的第一融合特征进行还原，得到样本迁移关键点信息。
8.根据权利要求5所述的方法，其特征在于，所述第一迁移损失至少包括：分类损失；以及，所述根据所述样本迁移关键点信息计算第一迁移损失，包括：
根据所述第一风格关键点信息和所述样本迁移关键点信息计算所述分类损失，所述分类损失用于表征所述第一风格关键点信息对应的图像风格与所述样本迁移关键点信息表征的图像风格之间的差异。
9.根据权利要求5所述的方法，其特征在于，所述第一迁移损失至少包括：第一编码损失；以及，所述根据所述样本迁移关键点信息计算第一迁移损失，包括：
通过所述关键点迁移网络从所述样本迁移关键点信息中提取出迁移风格特征；
根据所述迁移风格特征和所述第一风格特征计算所述第一编码损失；所述第一编码损失用于表征所述所述迁移风格特征和所述第一风格特征之间的差异。
10.根据权利要求5所述的方法，其特征在于，所述第一迁移损失至少包括：第二编码损失；以及，所述根据所述样本迁移关键点信息计算第一迁移损失，包括：
通过所述关键点迁移网络从所述样本迁移关键点信息中提取出迁移脸部特征；
根据所述迁移脸部特征和所述原始脸部特征计算所述第二编码损失；所述第二编码损失用于指示所述迁移脸部特征和所述原始脸部特征之间的差异。
11.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过所述关键点迁移网络从所述第一风格关键点信息中提取出用于表征脸部内容的第一内容特征；
通过所述关键点迁移网络融合所述第一风格特征和所述第一内容特征，并对融合得到的第二融合特征进行还原，得到第一风格重建关键点信息；
根据所述第一风格重建关键点信息和所述第一风格关键点信息计算第一回归损失和/或生成对抗损失；所述第一回归损失用于表征所述第一风格重建关键点信息和所述第一风格关键点信息之间的差异；
以及，所述根据所述第一迁移损失调整所述关键点迁移网络的参数，包括：
根据所述第一迁移损失、所述第一回归损失和/或所述生成对抗损失调整所述关键点迁移网络的参数。
12.根据权利要求5所述的方法，其特征在于，在所述通过待训练的关键点迁移网络从原始关键点信息中提取出原始脸部特征之后，所述方法还包括：
通过所述关键点迁移网络对所述原始脸部特征进行还原，得到原始重建关键点信息；
根据所述原始重建关键点信息和所述原始关键点信息计算第二回归损失；所述第二回归损失用于指示所述原始重建关键点信息和所述原始关键点信息之间的差异；
以及，所述根据所述第一迁移损失调整所述关键点迁移网络的参数，包括：
根据所述第一迁移损失和所述第二回归损失调整所述关键点迁移网络的参数。
13.根据权利要求5-12任一项所述的方法，其特征在于，所述方法还包括：
对所述原始样本图像包括的脸部进行三维重建，得到原始三维脸部模型；
利用所述原始关键点信息和所述样本迁移关键点信息对所述原始三维脸部模型进行调整，得到形变三维脸部模型；
根据所述形变三维脸部模型包含的形变关键点信息与所述样本迁移关键点信息计算形变损失；
以及，所述根据所述第一迁移损失调整所述关键点迁移网络的参数，包括：
根据所述第一迁移损失和所述形变损失调整所述关键点迁移网络的参数。
14.根据权利要求13所述的方法，其特征在于，所述根据所述形变三维脸部模型包含的形变关键点信息与所述样本迁移关键点信息计算形变损失，包括：
将所述形变三维脸部模型映射为二维脸部图像，并从所述二维脸部图像中识别出形变关键点信息；
根据所述形变关键点信息和所述样本迁移关键点信息计算形变损失。
15.一种图像处理装置，其特征在于，包括：
第一提取模块，用于分别提取待处理图像包含的脸部的待处理关键点信息，以及提取目标风格图像包含的脸部的目标风格关键点信息；所述目标风格图像的图像风格是所述待处理图像需要迁移的目标风格；
第一迁移模块，用于通过所述关键点迁移网络基于所述目标风格关键点信息对所述待处理关键点信息包括的待处理关键点进行迁移，得到目标迁移关键点信息；所述关键点迁移网络是利用原始样本图像，以及至少两种图像风格的风格引导图像进行训练得到的，所述风格引导图像和所述原始样本图像包含的脸部不相同；
第一重建模块，用于对所述待处理图像中的脸部进行三维重建，得到待处理三维模型；以及，利用所述待处理关键点信息和所述目标迁移关键点信息对所述待处理三维模型进行调整，得到所述目标风格的目标三维模型。
16.一种迁移网络的训练装置，其特征在于，包括：
第二提取模块，用于提取样本数据包括的原始样本图像中人脸的原始关键点信息，以及提取所述样本数据包括的第一风格引导图像中人脸的第一风格关键点信息；所述样本数据包括至少两种不同图像风格的风格引导图像，第一风格引导图像为具备第一风格的图像，所述第一风格为所述至少两种不同图像风格中的任意一种；
第二迁移模块，用于通过待训练的关键点迁移网络基于所述第一风格关键点信息对所述原始关键点信息包括的原始关键点位置进行迁移，得到样本迁移关键点信息；
计算模块，用于根据所述样本迁移关键点信息计算第一迁移损失；
调整模块，用于根据所述第一迁移损失调整所述关键点迁移网络的参数。
17.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至14任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至14任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110886585.1A CN113658324A (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关设备、迁移网络训练方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110886585.1A CN113658324A (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关设备、迁移网络训练方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658324A true CN113658324A (zh) | 2021-11-16 |
Family
ID=78478303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110886585.1A Withdrawn CN113658324A (zh) | 2021-08-03 | 2021-08-03 | 图像处理方法及相关设备、迁移网络训练方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658324A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897672A (zh) * | 2022-05-31 | 2022-08-12 | 北京外国语大学 | 一种基于等形变约束的图像漫画风格迁移方法 |
| CN115187706A (zh) * | 2022-06-28 | 2022-10-14 | 北京汉仪创新科技股份有限公司 | 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 |
| WO2023138560A1 (zh) * | 2022-01-24 | 2023-07-27 | 北京字跳网络技术有限公司 | 风格化图像生成方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10049297B1 (en) * | 2017-03-20 | 2018-08-14 | Beihang University | Data driven method for transferring indoor scene layout and color style |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| US20200151938A1 (en) * | 2018-11-08 | 2020-05-14 | Adobe Inc. | Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering |
| US20200151849A1 (en) * | 2017-04-20 | 2020-05-14 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| CN111784566A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、迁移模型训练方法、装置、介质及设备 |
| CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
-
2021
- 2021-08-03 CN CN202110886585.1A patent/CN113658324A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10049297B1 (en) * | 2017-03-20 | 2018-08-14 | Beihang University | Data driven method for transferring indoor scene layout and color style |
| US20200151849A1 (en) * | 2017-04-20 | 2020-05-14 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| US20200151938A1 (en) * | 2018-11-08 | 2020-05-14 | Adobe Inc. | Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering |
| CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN111784566A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 图像处理方法、迁移模型训练方法、装置、介质及设备 |
| CN112967174A (zh) * | 2021-01-21 | 2021-06-15 | 北京达佳互联信息技术有限公司 | 图像生成模型训练、图像生成方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 裴斐: ""基于深度卷积神经网络的图像风格迁移系统研究"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 202002, pages 1138 - 1200 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023138560A1 (zh) * | 2022-01-24 | 2023-07-27 | 北京字跳网络技术有限公司 | 风格化图像生成方法、装置、电子设备及存储介质 |
| CN114897672A (zh) * | 2022-05-31 | 2022-08-12 | 北京外国语大学 | 一种基于等形变约束的图像漫画风格迁移方法 |
| CN115187706A (zh) * | 2022-06-28 | 2022-10-14 | 北京汉仪创新科技股份有限公司 | 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 |
| CN115187706B (zh) * | 2022-06-28 | 2024-04-05 | 北京汉仪创新科技股份有限公司 | 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836853B2 (en) | Generation and presentation of predicted personalized three-dimensional body models | |
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN107330408B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US11983850B2 (en) | Image processing method and apparatus, device, and storage medium | |
| CN106803055B (zh) | 人脸识别方法和装置 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN113658324A (zh) | 图像处理方法及相关设备、迁移网络训练方法及相关设备 | |
| CN110659582A (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
| CN110111418A (zh) | 创建脸部模型的方法、装置及电子设备 | |
| CN110599395A (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| JP2022533464A (ja) | 三次元モデルの生成方法及び装置、コンピュータ機器並びに記憶媒体 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111553267A (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| KR20230028253A (ko) | 얼굴 이미지 처리 방법, 얼굴 이미지 처리 모델 훈련 방법, 장치, 디바이스, 저장 매체 및 프로그램 제품 | |
| CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
| CN113392769A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN111325252B (zh) | 图像处理方法、装置、设备、介质 | |
| JP7479507B2 (ja) | 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム | |
| CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
| CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 | |
| CN114612614A (zh) | 人体模型的重建方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211116 |