CN114549291A - 图像处理方法、装置、设备以及存储介质 - Google Patents
图像处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN114549291A CN114549291A CN202210174000.8A CN202210174000A CN114549291A CN 114549291 A CN114549291 A CN 114549291A CN 202210174000 A CN202210174000 A CN 202210174000A CN 114549291 A CN114549291 A CN 114549291A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- model
- stylized
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 68
- 241000282414 Homo sapiens Species 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 51
- 238000005516 engineering process Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本申请提供了一种图像处理方法、装置、设备以及存储介质，涉及人工智能的计算机视觉领域，该方法包括：获取目标人脸的二维人脸图像和该二维人脸图像对应的二维风格化人脸图像；对该二维人脸图像进行人脸三维重建，得到与该二维人脸图像对应的三维人脸模型；基于该三维人脸模型的位姿信息，将该三维人脸模型投影至该二维风格化人脸图像，得到第一投影图像；基于该第一投影图像和该二维风格化人脸图像，对该三维人脸模型进行形变处理，得到该目标人脸的三维风格化人脸模型。本申请提供的图像处理方法不仅能够进行任意风格的3D人脸风格化，而且无需建立对应风格化的3DMM模型，能够节约成本。
Description
技术领域
本申请实施例涉及人工智能的计算机视觉领域，并且更具体地，涉及图像处理方法、装置、设备以及存储介质。
背景技术
随着二维(two dimensional)人脸图像的风格化技术的成熟发展，三维(threedimensional)人脸图像的风格化也受到关注。
目前，在3D人脸风格化方案中，通常会建立一个对应风格化的三维可变形人脸模型(3D morphable model，3DMM)，然后利用该模型进行三维风格化图像重建。
但这样的做法会存在两方面问题，一方面，建立风格化的3DMM模型需要大量该风格的原始模型，会耗费大量的成本(例如，资金、时间、美术人力)；另一方面，重建的模型风格只能为固定风格。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备以及存储介质，不仅能够进行任意风格的3D人脸风格化，而且无需建立对应风格化的3DMM模型，能够节约成本。
第一方面，提供了一种图像处理方法，包括：
获取目标人脸的二维人脸图像和该二维人脸图像对应的二维风格化人脸图像；
对该二维人脸图像进行人脸三维重建，得到与该二维人脸图像对应的三维人脸模型；
基于所述三维人脸模型的位姿信息，将所述三维人脸模型投影至所述二维风格化人脸图像，得到第一投影图像；
基于所述第一投影图像和所述二维风格化人脸图像，对该三维人脸模型进行形变处理，得到该目标人脸的三维风格化人脸模型。
第二方面，提供了一种图像处理装置，包括：
获取单元，用于获取目标人脸的二维人脸图像和该二维人脸图像对应的二维风格化人脸图像；
重建单元，用于对该二维人脸图像进行人脸三维重建，得到与该二维人脸图像对应的三维人脸模型；
投影单元，用于基于所述三维人脸模型的位姿信息，将所述三维人脸模型投影至所述二维风格化人脸图像，得到第一投影图像；
确定单元，用于基于所述第一投影图像和所述二维风格化人脸图像，对该三维人脸模型进行形变处理，得到该目标人脸的三维风格化人脸模型。
第三方面，提供了一种电子设备，包括：
处理器，适于执行计算机程序；
计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被该处理器加载并执行上述第一方面的方法。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上述第一方面的方法。
第五方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面的方法。
基于以上技术方案，通过将所述三维人脸模型投影至所述二维风格化人脸图像，能够建立二维风格化人脸图像和三维人脸模型之间的联系；再利用二维风格化人脸图像，对重建的该三维人脸模型进行形变处理，相当于，利用二维风格化人脸图像与三维人脸模型之间的联系，充分利用二维人脸图像的风格化技术，对三维人脸模型进行形变；本申请提供的方案与基于风格化的3DMM模型重建三维风格化人脸模型相比，不仅充分利用已有二维人脸图像的风格化技术，可进行任意风格的3D人脸风格化，而且不需要建立对应风格化的3DMM模型，节约3DMM模型的训练成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例涉及的人脸基准点示意图。
图2是本申请实施例提供的一种应用场景示意图。
图3是本申请实施例提供的系统框架图。
图4是本申请实施例提供的图像处理方法的示意性流程图。
图5至图6是本申请实施例提供的三维人脸模型的区域划分过程示意图。
图7是本申请实施例提供的形变前的三维人脸形状模型和形变后的三维风格化人脸形状模型的示意图。
图8是本申请实施例提供的三维人脸模型的形变过程的流程图。
图9是本申请实施例提供的三维人脸模型的重建过程的流程图。
图10是本申请实施例提供的图像处理装置的示意性框图。
图11是本申请实施例提供的电子设备的示意结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的方案可涉及人工智能技术。
其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
应理解，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例可涉及人工智能技术中的计算机视觉(Computer Vision,CV)技术，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、监测和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例也可以涉及人工智能技术中的机器学习(Machine Learning,ML)，ML是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案还涉及网络媒体领域中的视频处理技术。网络媒体与传统的音视频设备采用的工作方式不同，网络媒体依赖信息技术(IT)设备开发商们提供的技术和设备来传输、存储和处理音视频信号。传统的串型数字(SDI)传输方式缺乏真正意义上的网络交换特性。需要做大量的工作才可能利用SDI创建类似以太网和因特网协议(IP)所提供的部分网络功能。因此，视频行业中的网络媒体技术就应运而生。进一步的，网络媒体的视频处理技术可以包括音视频信号的传输、存储和处理过程及音视频。
此外，本申请实施例提供的方案还可涉及人脸风格化的相关技术。
为便于理解本申请提供的技术方案，下面对与人脸图像风格化的相关内容进行说明。
二维人脸关键点检测：自动定位一组预定义的人脸基准点(比如眼角点、嘴角点)。
图1为本申请实施例涉及的人脸基准点示意图。
如图1所示，可以围绕人脸的轮廓、眼角位置以及嘴角位置标注人脸基准点，以实现人脸的检测。
三维可变形人脸模型(3D Morphable models，3DMM)：3DMM为一个通用的三维人脸参数化模型，用固定的点数来表示人脸。3DMM的核心思想是将人脸可以在三维空间中进行一一匹配并对数据库中的多幅人脸进行正交基加权线性相加得到人脸模型。
每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。
人脸的基本属性包括形状和纹理，每一张人脸可以表示为形状向量和纹理向量的线性叠加。
形状向量Shape Vector：S＝(X1,Y1,Z1,X2,Y2,Z2,...,Yn,Zn)，
纹理向量Texture Vector：T＝(R1,G1,B1,R2,G2,B2,...,Rn,Bn)，
其中，n为数据集中人脸样本的数量，Xi,Yi,Zi为第i个人脸样本的形状向量在数据集中的坐标，Ri,Gi,Bi为第i个人脸样本的纹理向量在数据集中的坐标。
任意的人脸模型可以由数据集中的m个人脸模型进行加权组合如下：
其中，Smodel为三维人脸形状模型，ai为人脸形状参数的目标值，i＝1…m，m为数据集中人脸样本的数量，Si为数据集中第i个人脸样本的形状向量，
为数据集中所有人脸样本的形状向量的均值，Tmodel为三维人脸纹理模型，bi为人脸纹理参数的目标值，i＝1…m，Ti为数据集中第i个人脸样本的纹理向量，
为数据集中所有人脸样本的纹理向量的均值。
约束：指定一个函数的情况下寻找一个元素，该一个元素能够使得某一指标最小化或最大化。约束还可以称为数学规划(例如线性规划)。其中，该函数可被称为目标函数或者代价函数。一个最小化或者最大化某一指标的目标函数的可行解被称为最优解。结合本申请来说，本申请涉及的图像风格化算法可以用于：在构建的多个形变约束下，求解出最优解，并将求解出的最优解作为用于对重建的三维人脸模型进行形变处理，得到三维风格化人脸模型；或在构建的多个重建约束求下，求解出最优解，并将求解出的最优解作为用于对二维人脸图像进行重建，得到三维人脸模型。
图2为本申请实施例提供的一种应用场景示意图100。
如图2所示，包括终端设备110、服务器120。其中，终端设备110用于获取某一风格化下用户的N张人脸图像，并将该N张人脸图像发送给服务器120。服务器120用于根据终端设备110获取的N张人脸图像，建立一个与该N张人脸图像风格对应的风格化3DMM模型，再利用该风格化3DMM模型重建3D人脸风格化模型。终端设备110还用于显示重建的3D人脸风格化模型。
示例性地，终端设备110可以是用户设备，例如手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)或其他具有显示功能的终端设备。
示例性地，服务器120可以是一台或多台服务器。服务器是多台时，存在至少两台服务器用于提供不同的服务，和/或，存在至少两台服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。服务器中可以设置有该风格化3DMM模型，该服务器为该风格化3DMM模型的训练和应用过程提供支撑。其中，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可以成为区块链的节点。
示例性地，终端设备110通过网络与服务器120连接。该网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
需要说明的是，本申请的应用场景包括但不限于3D游戏/3D影视作品/短视频中人物的人脸重建。例如，本申请提供的方案可适用于3D人脸模型转化特定游戏/影视/卡通风格，方便用户塑造长相相似，同时风格各异的角色，提高产品的体验。
但是，利用风格化3DMM模型只能重建该风格的人脸模型，风格固定；而且建立风格化的3DMM模型需要大量该风格的原始模型，会耗费大量的成本(例如，资金、时间、美术人力)。
所以，一方面，考虑到二维人脸图像的风格化技术已经比较成熟，已经可以进行任意风格的变换；具体而言，目前，二维人脸图像的风格化主要利用基于样式的生成性对抗网络(StyleGAN)的生成器体系结构，首先，使用大量的真实人脸图像作为训练集，训练StyleGAN模型，使StyleGAN模型生成真实人脸；其次，再使用大量卡通人脸图像微调StyleGAN模型，得到可以生成卡通人脸的StyleGAN模型；最后，将上述可以生成真实人脸的StyleGAN模型和可以生成卡通人脸的StyleGAN模型进行融合，最终得到一个新的网络模型，基于最终得到的新的网络模型生成任意风格化的二维人脸图像。
另一方面，虽然二维人脸图像的风格化技术已经相对成熟，但将二维人脸风格化技术直接应用于三维人脸风格化图像的风格化时，需要制作大量的3D的模型，而制作大量的3D的模型则需要耗费大量的成本(例如，资金、时间、美术人力)。
所以，在考虑到上述两方面因素的基础上，本申请提出了一种基于风格化的二维人脸图像重建风格化3D人脸的技术方案，充分利用现有二维人脸图像的风格化技术，并建立二维人脸风格图像与3D人脸的联系，重建出风格化3D人脸。不仅能够进行任意风格的3D人脸风格化，而且无需建立对应风格化的3DMM模型，节约成本。
图3为本申请实施例提供的系统框架图200。
如图3所示，该系统框架图200包括二维人脸图像201、二维风格化人脸图像202、三维人脸形状模型203、三维风格化人脸形状模型204和三维风格化人脸模型205。
具体而言，可通过以下步骤实现得到三维风格化人脸模型：
首先，获取二维人脸图像201，利用二维人脸图像的风格化技术对二维人脸图像201进行风格化处理，生成二维风格化人脸图像202；示例性的，该二维人脸图像的风格化技术可以是toonify技术，当然，也可以是其他二维人脸图像的风格化技术。
然后，基于原始人脸3DMM，对二维人脸图像201进行三维人脸模型的重建，得到三维人脸形状模型203。需要说明的是，本申请采用最优化的重建方式，主要优化3DMM的系数(纹理系数和形状系数)，最终得到三维人脸形状模型203。
最后，根据生成的二维人脸风格化图像202，对上一步生成的三维人脸形状模型203进行形变(deformation)处理，生成三维风格化人脸形状模型204。需要说明的是，本申请采用最优化的形变方式，主要优化三维人脸形状模型203的顶点坐标。
此外，风格化的纹理模型可以根据三维风格化人脸形状模型204在二维人脸风格化图像202的投影，计算得到。或者，将对二维人脸图像201进行三维人脸模型的重建后，生成三维人脸纹理模型；再根据二维人脸风格化图像202，利用已有二维图像风格化技术，对三维人脸纹理模型进行风格化处理，得到风格化的纹理模型。
基于上述得到的三维风格化人脸形状模型204和风格化的纹理模型，得到三维风格化人脸模型205。
下边将具体通过如下实施例对本申请提供的图像处理方法进行详细说明：
图4为本申请实施例提供的图像处理方法300的示意性流程图，该方法300可以由任何具有数据处理能力的电子设备执行。例如，该电子设备可实施为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。为便于描述，下文以图像处理装置为例对本申请提供的图像处理方法进行详细说明。
该方法300包括以下中的部分或全部内容：
S301，获取目标人脸的二维人脸图像和该二维人脸图像对应的二维风格化人脸图像；
S302，对该二维人脸图像进行人脸三维重建，得到与该二维人脸图像对应的三维人脸模型；
S303，基于该三维人脸模型的位姿信息，将该三维人脸模型投影至该二维风格化人脸图像，得到第一投影图像；
S304，基于该第一投影图像和该二维风格化人脸图像，对该三维人脸模型进行形变处理，得到该目标人脸的三维风格化人脸模型。
需要说明的是，该位姿信息用于表征该三维人脸模型的姿态，该位姿信息包括6个参数；其中，前3个参数分别是绕x轴旋转的度数、绕y轴旋转的度数以及绕z轴旋转的度数，后3个参数分别是沿x轴平移的位移、沿y轴平移的位移以及沿z轴平移的位移。
在一种实现方式中，利用二维人脸图像的风格化技术，对该二维人脸图像进行风格化处理，得到二维人脸图像对应的二维风格化人脸图像；示例性的，该二维人脸图像的风格化技术可以是toonify技术。
示例性地，可以通过相机的内参将三维人脸模型投影至该二维风格化人脸图像，以得到第一投影图像。当然，也可通过其他方式进行投影，本申请对此不作具体限定。
需要说明的是，该二维人脸图像对应的二维风格化人脸图像可以是任意风格的二维风格化人脸图像，本申请对二维风格化人脸图像的风格不作具体限制。
基于以上技术方案，通过将该三维人脸模型投影至该二维风格化人脸图像，能够建立二维风格化人脸图像和三维人脸模型之间的联系；再利用二维风格化人脸图像，对重建的该三维人脸模型进行形变处理，相当于，利用二维风格化人脸图像与三维人脸模型之间的联系，充分利用二维人脸图像的风格化技术，对三维人脸模型进行形变；本申请提供的方案与基于风格化的3DMM模型重建三维风格化人脸模型相比，不仅充分利用已有二维人脸图像的风格化技术，可进行任意风格的3D人脸风格化，而且不需要建立对应风格化的3DMM模型，节约3DMM模型的训练成本。
在本申请的一些实施例中，S304可包括：
计算该第一投影图像和该二维风格化人脸图像之间的至少一个形变损失；
基于该至少一个形变损失，调整该三维人脸模型中三维人脸形状模型的至少一个顶点坐标，得到三维风格化人脸形状模型；
确定该三维风格化人脸形状模型对应的风格化纹理模型；
将该三维风格化人脸形状模型和该风格化纹理模型进行线性叠加处理，得到该三维风格化人脸模型。
示例性的，计算该第一投影图像和该二维风格化人脸图像之间的至少一个形变损失，利用该至少一个形变损失对三维人脸模型的形变效果进行监督，以调整该三维人脸模型的顶点坐标并得到最终用于构建三维风格化人脸形状模型的调整后的顶点坐标；或者说，通过调整三维人脸模型的顶点坐标，以使得该至少一个形变约束满足针对三维人脸模型形变构建的约束，并将调整后的且满足约束的顶点坐标，确定为三维风格化人脸形状模型的顶点坐标。
另一示例性的，检测二维风格化图像的关键点，基于至少一个形变损失函数或目标函数，利用优化器，计算第一投影图像的关键点和二维风格化图像的关键点之间梯度信息，利用计算的梯度信息，更新三维人脸模型的顶点坐标，相当于使该三维人脸模型发生形变；该过程依次循环迭代N次，直至第一投影图像的关键点和二维风格化图像的关键点之间的差异最小时，得到三维风格化人脸形状模型，再确定三维风格化人脸形状模型对应的风格化纹理模型，最终得到三维风格化人脸模型。例如，将目标函数表示为L(V,m)，利用优化器F(*)对m进行更新，更新后的
依次迭代N次，直至第一投影图像的关键点和二维风格化图像的关键点之间的差异最小；其中，V为二维风格化图像的关键点，m为三维人脸模型，F(*)为优化器，用于优化第一投影图像的关键点和二维风格化图像的关键点之间梯度信息，
表示目标函数L(V,m)对m求解的梯度。
需要说明的是，该优化器可以是Adam优化器，当然，也可以是其他优化器，本申请对此不作具体限制。
本实施例中，通过第一投影图像建立二维风格化人脸图像与三维人脸模型之间的联系，在此基础上，计算该第一投影图像和该二维风格化人脸图像之间的至少一个形变损失，能够提升该至少一个形变损失的准确度，相应的，在对三维人脸模型进行形变时，进而能够提升该三维风格化人脸模型的形变效果。
在本申请的一些实施例中，该至少一个形变损失包括第一损失，该第一损失表征为该第一投影图像的人脸关键点和该二维风格化人脸图像的人脸关键点之间的差异。
在本实施例中，将目标函数或损失函数设计为第一投影图像与二维风格化人脸图像之间关键点差异的约束，最终基于计算出的差异对模型的形变效果进行监督。
示例性地，可以通过以下公式计算该第一损失：
其中，L1表示第一损失，Vi表示二维风格化人脸图像上检测的第i个关键点，Mi表示三维人脸模型上第i个关键点，N表示关键点的总数；T(*)为投影函数，用于将三维人脸模型投影至该二维风格化人脸图像，得到第一投影图像；p表示三维人脸模型的位姿信息，K表示第一投影图像的通道数，例如，该第一投影图像为二维投影图像，则该第一投影图像上的每个关键点坐标均包括x通道的坐标和y通道的坐标，基于此，上述公式中K为2。
在本申请的一些实施例中，该至少一个形变损失包括第二损失，该第二损失表征为该三维人脸模型上的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上的顶点对应的图拉普拉斯矩阵之间的直线距离。
示例性的，该三维人脸模型上的顶点对应的图拉普拉斯矩阵为该顶点与三维人脸模型上与该顶点相邻的顶点之间的距离残差；或该顶点与三维人脸模型上与该顶点相邻的顶点之间的平均距离。
在本实施例中，将目标函数或损失函数设计为该三维人脸模型上的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上的顶点对应的图拉普拉斯矩阵之间的直线距离的约束，最终基于计算出的直线距离对模型的形变效果进行监督。
示例性地，可以通过以下公式计算该第二损失：
L2＝||Lap(vx,t)-Lap(vz,t)||2；
其中，L2表示第二损失，vx表示三维人脸模型的顶点集合，vz表示形变后的三维人脸模型的顶点集合，t为三维人脸模型的面片集合；Lap(vx,t)表示三维人脸模型上的顶点对应的图拉普拉斯矩阵，Lap(vz,t)表示形变后的三维人脸模型上的顶点对应的图拉普拉斯矩阵。
由于对三维人脸模型的形变过程是通过直接优化三维人脸模型，而非3DMM的形状系数和纹理系数，所以，若仅考虑关键点差异对模型的形变效果进行监督，可能会导致三维人脸模型上预定义的关键点发生形变，而三维人脸模型上其他点不变，因此，将第二损失设计为平滑损失函数，即基于三维人脸模型上的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上的顶点对应的图拉普拉斯矩阵之间的直线距离对该三维人脸模型的形变过程进行监督，可以使得形变后的三维人脸模型上顶点之间的结构与形变前三维人脸模型上顶点之间的结构类似，以带动整个三维人脸模型发生形变，进而提升该三维风格化人脸形状模型的形变效果。
在本申请的一些实施例中，该至少一个形变损失包括第三损失，该第三损失表征为该三维人脸模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵之间的直线距离；
其中，该第一人脸区域为N个人脸区域中的至少一个人脸区域。
需要说明的是，该N个人脸区域包括脸颊区域、轮廓区域、眼睛区域、眉骨区域、下巴区域、嘴巴区域、鼻梁区域和鼻头区域。
在本实施例中，引入第一人脸区域，将目标函数设计为三维人脸模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵之间的直线距离的约束，最终基于计算出的第一人脸区域内的直线距离对模型的形变效果进行监督。
一方面，由于对三维人脸模型的形变过程是通过直接优化三维人脸模型，而非3DMM的形状系数和纹理系数，所以，若仅考虑关键点差异对模型的形变效果进行监督，可能会导致三维人脸模型上预定义的关键点发生形变，而三维人脸模型上其他点不变；另一方面，由于形变过程中人脸不同区域的形变程度不同，所以，若不同的人脸区域都基于相同的平滑函数，可能会导致形变效果不佳；基于以上两方面，本实施例将第三损失设计为基于区域平滑损失函数，即不同的人脸区域，在优化过程中为每个区域设置不同的区域权重，基于不同的区域权重，控制人脸不同区域的形变程度，更加提升该三维风格化人脸形状模型的形变效果。
下边将结合图5至图6对三维人脸模型的区域划分过程进行示例性说明。
应理解的是，组成三维人脸模型的三维人脸形状模型和人脸纹理模型存在对应关系。
首先，对人脸纹理模型进行区域划分，例如，将该人脸纹理模型划分为8张纹理图，分别如图5所示的脸颊区域、轮廓区域、眼睛区域、眉骨区域、下巴区域、嘴巴区域、鼻梁区域和鼻头区域。
其次，基于三维人脸形状模型和人脸纹理模型之间的映射关系，实现三维人脸形状模型的区域划分，如图6所示，为三维人脸形状模型的眼睛区域、眉骨区域、嘴巴区域、鼻梁区域和鼻头区域。
基于此，示例性的，可以通过以下公式计算该第三损失：
其中，L3表示第三损失，8表示三维人脸模型的8个人脸区域，wi表示8个人脸区域中第i个人脸区域的区域权重，vxi表示三维人脸模型上第i个人脸区域的顶点集合；vzi表示三维风格化人脸形状模型上第i个人脸区域的顶点集合；t为三维人脸模型的面片集合；Lap(vxi,t)表示三维人脸模型上第i个人脸区域内的顶点对应的图拉普拉斯矩阵，Lap(vzi,t)表示形变后的三维人脸模型上第i个人脸区域内的顶点对应的图拉普拉斯矩阵。
应理解，组成三维人脸模型的三维人脸形状模型的脸颊区域、轮廓区域、眼睛区域、眉骨区域、下巴区域、嘴巴区域、鼻梁区域和鼻头区域的顶点集合分别为vx1～vx8；同理，三维风格化人脸形状模型的脸颊区域、轮廓区域、眼睛区域、眉骨区域、下巴区域、嘴巴区域、鼻梁区域和鼻头区域的顶点集合分别为vz1～vz8；不同人脸区域的区域权重(形变权重)为w1～w8。
图7为本申请实施例提供的形变前的三维人脸形状模型和形变后的三维风格化人脸形状模型的示意图。
如图7所示，左侧为形变前的三维人脸形状模型，右侧为三维风格化人脸形状模型。
在本申请的一些实施例中，可通过如下方式确定该三维风格化人脸形状模型对应的风格化纹理模型：
将该三维风格化人脸形状模型投影至该二维风格化人脸图像，得到第二投影图像；
基于该第二投影图像和该二维风格化人脸图像，得到该风格化纹理模型。
应理解，三维风格化人脸形状模型和风格化纹理模型存在对应关系。
本实施例中将三维风格化人脸形状模型投影至该二维风格化人脸图像，能够建立三维风格化人脸形状模型与二维风格化人脸图像之间的联系，再通过从二维风格化人脸图像上取值，计算得到风格化纹理模型。
在本申请的一些实施例中，可通过如下方式确定该三维风格化人脸形状模型对应的风格化纹理模型：
获取该三维人脸模型中的纹理模型；
基于该二维风格化人脸图像，对该纹理模型进行风格化处理，得到该风格化纹理模型。
本实施例中，利用二维人脸图像的风格化技术，对三维人脸模型对应的纹理模型进行风格化处理，得到风格化纹理模型，和已有方案中通过计算纹理系数，获取风格化纹理模型相比较，不仅充分利用现有二维人脸图像的风格化技术，而且不需要建立对应风格化的3DMM模型，节约3DMM模型的训练成本。
下边将结合图8对三维人脸模型的形变算法进行示意性说明。
图8为本申请实施例提供的三维人脸模型的形变过程的流程图400。
如图8所示，包括三维人脸模型401、二维风格化人脸图像402、投影图像403、三维风格化人脸形状模型404、风格化纹理模型405、三维风格化人脸模型406。
具体而言，该三维人脸模型的形变算法流程如下：
首先，根据三维人脸模型的位姿信息，将三维人脸模型401投影至二维风格化人脸图像402，得到投影图像403。
其次，检测二维风格化人脸图像402的关键点，根据投影图像403和二维风格化人脸图像402之间的形变损失函数，计算梯度信息，利用该梯度信息调整三维人脸模型401，即对三维人脸模型401进行形变处理，直至投影图像403和二维风格化人脸图像402之间的损失最小时，最终得到三维风格化人脸形状模型404；其中，该形变过程中三维人脸模型401的位姿信息不变。
最后，风格化纹理模型405可以根据三维风格化人脸形状模型404在二维风格化人脸图像402的投影，计算得到。或者，将三维人脸模型中的三维人脸纹理模型，根据二维风格化人脸图像402，利用已有的二维图像风格化技术，对三维人脸纹理模型进行风格化处理，从而得到风格化纹理模型405。
基于此，基于以上得到的三维风格化人脸形状模型404和风格化纹理模型405，得到三维风格化人脸模型406。
其中，投影图像403和二维风格化人脸图像402之间的形变损失函数，包括：投影图像403的人脸关键点和该二维风格化人脸图像402的人脸关键点之间的差异，由于该形变过程是直接在三维人脸形状模型401上操作(而非操作3DMM)，所以只有该项监督可能会导致三维人脸模型401上预定义好的关键点变化，而模型上其他点不变。因此，该形变损失函数还包括平滑损失函数，利用该平滑损失函数，使得三维人脸模型401上顶点之间的结构与形变前类似，以带动整个三维人脸模型401发生形变。此外，考虑到不同人脸区域的平滑程度不同，该形变损失函数还可包括基于区域平滑损失函数，即不同的人脸区域，平滑程度(变化)不一样，可以在优化过程中设置不同区域的权重进行控制。
简言之，上述方案充分利用已有二维人脸图像的风格化技术，建立二维风格化人脸图像与3D人脸模型的联系。根据二维风格化人脸图像，对重建的3D人脸模型进行deformation(形变)处理，生成风格化的3D模型。
在本申请的一些实施例中，S302可包括：
获取三维可形变人脸模型3DMM的初始系数；
利用该初始系数，构建三维模型；
获取该三维模型的初始位姿信息和初始光照信息；
基于该初始位姿信息和该初始光照信息，将该三维模型投影至该二维人脸图像，得到第三投影图像；
计算该第三投影图像和该二维人脸图像之间的至少一个重建损失；
基于该至少一个重建损失，调整该初始系数、该初始位姿信息和该初始光照信息，得到该3DMM的目标系数；
利用该目标系数，构建该三维人脸模型。
示例性的，计算第三投影图像和二维人脸图像之间的至少一个重建损失，利用该至少一个重建损失对三维人脸模型的重建效果进行监督，以调整3DMM的初始系数，初始位姿信息和初始光照信息，直至第三投影图像和该二维人脸图像之间的损失最小时，得到该3DMM的最终系数；或者说，通过调整3DMM的初始系数，初始位姿信息和初始光照信息，以使得该至少一个重建约束满足针对三维人脸模型重建构建的约束，并将调整后的且满足约束的目标系数，确定为构建三维人脸模型的系数。
另一示例性的，将该三维模型投影至该二维人脸图像，得到第三投影图像，基于至少一个重建损失函数或目标函数，利用优化器，根据第三投影图像和二维人脸图像之间的差异，计算梯度信息，利用计算的梯度信息，更新3DMM的形状系数和纹理系数、位姿信息、光照信息；将该过程依次循环迭代N次，直至第三投影图像和该二维人脸图像之间的损失最小时，得到三维人脸形状模型和纹理模型，即得到三维人脸模型。例如，将至少一个重建损失函数或目标函数表示为L(R(f,p,s),I)，利用优化器F(*)对f、p及s进行更新，更新后的
依次迭代N次，直至第三投影图像和二维人脸图像之间的差异最小；其中，I表示二维人脸图像，f表示3DMM的系数，p表示位姿信息，s表示光照信息，R(*)表示投影函数，用于将三维模型投影至该二维人脸图像，得到第三投影图像，
表示目标函数L(R(f,p,s),I)对f求解的梯度，
表示目标函数L(R(f,p,s),I)对p求解的梯度，
表示目标函数L(R(f,p,s),I)对s求解的梯度。
需要说明的是，该优化器可以是Adam优化器，当然，也可以是其他优化器，本申请对此不作具体限制。
示例性地，可以通过相机的内参将三维模型投影至该二维人脸图像，以得到第三投影图像。当然，也可通过其他方式进行投影，本申请对此不作具体限定。
本实施例中，通过将三维模型投影至该二维人脸图像，能够建立二维人脸图像与三维模型之间的联系，相应的，能够提升该至少一个重建损失的准确度，进而能够提升该三维人脸模型的重建效果。
在本申请的一些实施例中，该至少一个重建损失包括第四损失，该第四损失表征为该第三投影图像的人脸像素与该二维人脸图像的人脸像素之间的差异。
在本实施例中，将目标函数或损失函数设计为第三投影图像的人脸像素与该二维人脸图像的人脸像素之间的差异的约束，最终基于计算出的差异对模型的重建效果进行监督。
示例性地，可以通过以下公式计算该第四损失：
其中，L4表示第四损失，N表示二维人脸图像的像素总数，i表示第i个像素；R(f,p,s)i表示第三投影图像上的第i个像素，Ii表示二维人脸图像上第i个像素，M表示第三投影图像的通道数，例如，该第三投影图像为红绿蓝RGB图像，则该第三投影图像包括三个通道，基于此，上述公式中M为3。
在本申请的一些实施例中，该至少一个重建损失包括第五损失，该第五损失表征该第三投影图像的人脸关键点与该二维人脸图像的人脸关键点之间的差异。
在本实施例中，将目标函数或损失函数设计为第三投影图像的人脸关键点与该二维人脸图像的人脸关键点之间的差异的约束，最终基于计算出的差异对模型的重建效果进行监督。
示例性地，可以通过以下公式计算该第五损失：
其中，L5表示第五损失，Vi表示二维人脸图像上检测的第i个关键点，Mi表示三维模型上第i个关键点，N表示关键点的总数；T(*)为投影函数，用于将该三维模型投影至该二维人脸图像，得到第三投影图像；p表示三维模型的位姿信息，K表示第三投影图像的通道数，例如，该第三投影图像为二维投影图像，则该第三投影图像上的每个关键点坐标均包括x通道的坐标和y通道的坐标，基于此，上述公式中K为2。
下边将结合图9对三维人脸模型的重建算法进行示意性说明。
图9为本申请实施例提供的三维人脸模型的重建过程的流程图500。
如图9所示，包括：三维模型501、二维人脸图像502、第三投影图像503、三维人脸形状模型504和纹理模型505。
具体而言，该三维人脸模型的重建算法流程如下：
首先，获取3DMM的初始系数、初始位姿信息和初始光照信息，并利用该3DMM的初始系数，构建三维模型501。
其次，基于该初始位姿信息和该初始光照信息，将该三维模型501投影至该二维人脸图像502，得到第三投影图像503。
最后，基于第三投影图像503和该二维人脸图像502之间的差异，计算梯度信息，利用计算好的梯度信息调整3DMM的系数、位姿信息和光照信息，直至第三投影图像和该二维人脸图像之间的差异最小时，基于3DMM调整后的系数，得到三维人脸形状模型504和纹理模型505。
其中，关于第三投影图像503和该二维人脸图像502之间的重建损失函数：利用第三投影图像503的人脸关键点和该二维人脸图像502的人脸关键点之间的差异、以及第三投影图像503和该二维人脸图像502之间的颜色信息差异进行约束。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
还应理解，在本申请的各种方法实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上文对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的装置进行说明。
图10是本申请实施例提供的图像处理装置600的示意性框图。
如图10所示，该图像处理装置600可包括：
获取单元610，用于获取目标人脸的二维人脸图像和该二维人脸图像对应的二维风格化人脸图像；
重建单元620，用于对该二维人脸图像进行人脸三维重建，得到与该二维人脸图像对应的三维人脸模型；
投影单元630，用于基于该三维人脸模型的位姿信息，将该三维人脸模型投影至该二维风格化人脸图像，得到第一投影图像；
确定单元640，用于基于该第一投影图像和该二维风格化人脸图像，对该三维人脸模型进行形变处理，得到该目标人脸的三维风格化人脸模型。
在本申请的一些实施例中，确定单元640具体用于：
计算该第一投影图像和该二维风格化人脸图像之间的至少一个形变损失；
基于该至少一个形变损失，调整该三维人脸模型中三维人脸形状模型的至少一个顶点坐标，得到三维风格化人脸形状模型；
确定该三维风格化人脸形状模型对应的风格化纹理模型；
将该三维风格化人脸形状模型和该风格化纹理模型进行线性叠加处理，得到该三维风格化人脸模型。
在本申请的一些实施例中，该至少一个形变损失包括第一损失，该第一损失表征为该第一投影图像的人脸关键点和该二维风格化人脸图像的人脸关键点之间的差异。
在本申请的一些实施例中，该至少一个形变损失包括第二损失，该第二损失表征为该三维人脸模型上的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上的顶点对应的图拉普拉斯矩阵之间的直线距离。
在本申请的一些实施例中，该至少一个形变损失包括第三损失，该第三损失表征为该三维人脸模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵与该三维风格化人脸形状模型上该第一人脸区域内的顶点对应的图拉普拉斯矩阵之间的直线距离；
其中，该第一人脸区域为N个人脸区域中的至少一个人脸区域。
在本申请的一些实施例中，确定单元640具体还用于：
将该三维风格化人脸形状模型投影至该二维风格化人脸图像，得到第二投影图像；
基于该第二投影图像和该二维风格化人脸图像，得到该风格化纹理模型。
在本申请的一些实施例中，确定单元640具体还用于：
获取该三维人脸模型中的纹理模型；
基于该二维风格化人脸图像，对该纹理模型进行风格化处理，得到该风格化纹理模型。
在本申请的一些实施例中，重建单元620具体用于：
获取三维可形变人脸模型3DMM的初始系数；
利用该初始系数，构建三维模型；
获取该三维模型的初始位姿信息和初始光照信息；
基于该初始位姿信息和该初始光照信息，将该三维模型投影至该二维人脸图像，得到第三投影图像；
计算该第三投影图像和该二维人脸图像之间的至少一个重建损失；
基于该至少一个重建损失，调整该初始系数、该初始位姿信息和该初始光照信息，得到该3DMM的目标系数；
利用该目标系数，构建该三维人脸模型。
在本申请的一些实施例中，该至少一个重建损失包括第四损失，该第四损失表征为该第三投影图像的人脸像素与该二维人脸图像的人脸像素之间的差异。
在本申请的一些实施例中，该至少一个重建损失包括第五损失，该第五损失表征该第三投影图像的人脸关键点与该二维人脸图像的人脸关键点之间的差异。
应理解，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图像处理装置600可以对应于执行本申请实施例的方法300中的相应主体，并且图像处理装置600中的各个单元分别为了实现方法300中的相应流程，为了简洁，在此不再赘述。
还应当理解，本申请实施例涉及的图像处理装置600中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该图像处理装置600也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造本申请实施例涉及的图像处理装置600，以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于电子设备中，并在其中运行，来实现本申请实施例提供的相应方法。
换言之，上文涉及的单元可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过软硬件结合的形式实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件组合执行完成。可选地，软件可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图11是本申请实施例提供的电子设备700的示意结构图。
如图11所示，该电子设备700至少包括处理器710以及计算机可读存储介质720。其中，处理器710以及计算机可读存储介质720可通过总线或者其它方式连接。计算机可读存储介质720用于存储计算机程序721，计算机程序721包括计算机指令，处理器710用于执行计算机可读存储介质720存储的计算机指令。处理器710是电子设备700的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
作为示例，处理器710也可称为中央处理器(Central Processing Unit，CPU)。处理器710可以包括但不限于：通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
作为示例，计算机可读存储介质720可以是高速RAM存储器，也可以是非不稳定的存储器(Non-Volatile Memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器710的计算机可读存储介质。具体而言，计算机可读存储介质720包括但不限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在一种实现方式中，该电子设备700可以是图10所示的图像处理装置600；该计算机可读存储介质720中存储有计算机指令；由处理器710加载并执行计算机可读存储介质720中存放的计算机指令，以实现图4所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质720中的计算机指令由处理器710加载并执行相应步骤，为避免重复，此处不再赘述。
根据本申请的另一方面，本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是电子设备700中的记忆设备，用于存放程序和数据。例如，计算机可读存储介质720。可以理解的是，此处的计算机可读存储介质720既可以包括电子设备700中的内置存储介质，当然也可以包括电子设备700所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了电子设备700的操作系统。并且，在该存储空间中还存放了适于被处理器710加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或多个的计算机程序721(包括程序代码)。
该电子设备700还可包括：收发器730，该收发器730可连接至该处理器710或计算机可读存储介质720。
其中，计算机可读存储介质720可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器730可以包括发射机和接收机。收发器730还可以进一步包括天线，天线的数量可以为一个或多个。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。例如，计算机程序721。此时，电子设备700可以是计算机，处理器710从计算机可读存储介质720读取该计算机指令，处理器710执行该计算机指令，使得该计算机执行上述各种可选方式中提供的图像处理方法。
换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地运行本申请实施例的流程或实现本申请实施例的功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质进行传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元以及流程步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
最后需要说明的是，以上实施例仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取目标人脸的二维人脸图像和所述二维人脸图像对应的二维风格化人脸图像；
对所述二维人脸图像进行人脸三维重建，得到与所述二维人脸图像对应的三维人脸模型；
基于所述三维人脸模型的位姿信息，将所述三维人脸模型投影至所述二维风格化人脸图像，得到第一投影图像；
基于所述第一投影图像和所述二维风格化人脸图像，对所述三维人脸模型进行形变处理，得到所述目标人脸的三维风格化人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一投影图像和所述二维风格化人脸图像，对所述三维人脸模型进行形变处理，得到所述目标人脸的三维风格化人脸模型，包括：
计算所述第一投影图像和所述二维风格化人脸图像之间的至少一个形变损失；
基于所述至少一个形变损失，调整所述三维人脸模型中三维人脸形状模型的至少一个顶点坐标，得到三维风格化人脸形状模型；
确定所述三维风格化人脸形状模型对应的风格化纹理模型；
将所述三维风格化人脸形状模型和所述风格化纹理模型进行线性叠加处理，得到所述三维风格化人脸模型。
3.根据权利要求2所述的方法，其特征在于，所述至少一个形变损失包括第一损失，所述第一损失表征为所述第一投影图像的人脸关键点和所述二维风格化人脸图像的人脸关键点之间的差异。
4.根据权利要求3所述的方法，其特征在于，所述至少一个形变损失包括第二损失，所述第二损失表征为所述三维人脸模型上的顶点对应的图拉普拉斯矩阵与所述三维风格化人脸形状模型上的顶点对应的图拉普拉斯矩阵之间的直线距离。
5.根据权利要求3所述的方法，其特征在于，所述至少一个形变损失包括第三损失，所述第三损失表征为所述三维人脸模型上第一人脸区域内的顶点对应的图拉普拉斯矩阵与所述三维风格化人脸形状模型上所述第一人脸区域内的顶点对应的图拉普拉斯矩阵之间的直线距离；
其中，所述第一人脸区域为N个人脸区域中的至少一个人脸区域。
6.根据权利要求2所述的方法，其特征在于，所述确定所述三维风格化人脸形状模型对应的风格化纹理模型，包括：
将所述三维风格化人脸形状模型投影至所述二维风格化人脸图像，得到第二投影图像；
基于所述第二投影图像和所述二维风格化人脸图像，得到所述风格化纹理模型。
7.根据权利要求2所述的方法，其特征在于，所述确定所述三维风格化人脸模型的风格化纹理模型，包括：
获取所述三维人脸模型中的纹理模型；
基于所述二维风格化人脸图像，对所述纹理模型进行风格化处理，得到所述风格化纹理模型。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述对所述二维人脸图像进行人脸三维重建，得到与所述二维人脸图像对应的三维人脸模型，包括：
获取三维可形变人脸模型3DMM的初始系数；
利用所述初始系数，构建三维模型；
获取所述三维模型的初始位姿信息和初始光照信息；
基于所述初始位姿信息和所述初始光照信息，将所述三维模型投影至所述二维人脸图像，得到第三投影图像；
计算所述第三投影图像和所述二维人脸图像之间的至少一个重建损失；
基于所述至少一个重建损失，调整所述初始系数、所述初始位姿信息和所述初始光照信息，得到所述3DMM的目标系数；
利用所述目标系数，构建所述三维人脸模型。
9.根据权利要求8所述的方法，其特征在于，所述至少一个重建损失包括第四损失，所述第四损失表征为所述第三投影图像的人脸像素与所述二维人脸图像的人脸像素之间的差异。
10.根据权利要求8所述的方法，其特征在于，所述至少一个重建损失包括第五损失，所述第五损失表征所述第三投影图像的人脸关键点与所述二维人脸图像的人脸关键点之间的差异。
11.一种图像处理装置，其特征在于，包括：
获取单元，用于获取目标人脸的二维人脸图像和所述二维人脸图像对应的二维风格化人脸图像；
重建单元，用于对所述二维人脸图像进行人脸三维重建，得到与所述二维人脸图像对应的三维人脸模型；
投影单元，用于基于所述三维人脸模型的位姿信息，将所述三维人脸模型投影至所述二维风格化人脸图像，得到第一投影图像；
确定单元，用于基于所述第一投影图像和所述二维风格化人脸图像，对所述三维人脸模型进行形变处理，得到所述目标人脸的三维风格化人脸模型。
12.一种电子设备，其特征在于，包括：
处理器，适于执行计算机程序；
计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至10中任一项所述的方法。
14.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，所述计算机程序和/或指令被处理器执行时实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174000.8A CN114549291A (zh) | 2022-02-24 | 2022-02-24 | 图像处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174000.8A CN114549291A (zh) | 2022-02-24 | 2022-02-24 | 图像处理方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549291A true CN114549291A (zh) | 2022-05-27 |
Family
ID=81677235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210174000.8A Pending CN114549291A (zh) | 2022-02-24 | 2022-02-24 | 图像处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549291A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761855A (zh) * | 2022-11-23 | 2023-03-07 | 北京百度网讯科技有限公司 | 面部关键点信息生成、神经网络训练和三维面部重建方法 |
| CN116452703A (zh) * | 2023-06-15 | 2023-07-18 | 深圳兔展智能科技有限公司 | 用户头像生成方法、装置、计算机设备及存储介质 |
| CN117523152A (zh) * | 2024-01-04 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
-
2022
- 2022-02-24 CN CN202210174000.8A patent/CN114549291A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761855A (zh) * | 2022-11-23 | 2023-03-07 | 北京百度网讯科技有限公司 | 面部关键点信息生成、神经网络训练和三维面部重建方法 |
| CN115761855B (zh) * | 2022-11-23 | 2024-02-09 | 北京百度网讯科技有限公司 | 面部关键点信息生成、神经网络训练和三维面部重建方法 |
| CN116452703A (zh) * | 2023-06-15 | 2023-07-18 | 深圳兔展智能科技有限公司 | 用户头像生成方法、装置、计算机设备及存储介质 |
| CN116452703B (zh) * | 2023-06-15 | 2023-10-27 | 深圳兔展智能科技有限公司 | 用户头像生成方法、装置、计算机设备及存储介质 |
| CN117523152A (zh) * | 2024-01-04 | 2024-02-06 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
| CN117523152B (zh) * | 2024-01-04 | 2024-04-12 | 广州趣丸网络科技有限公司 | 一种三维人脸重建方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3971772B1 (en) | Model training method and apparatus, and terminal and storage medium | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN113039563A (zh) | 学习生成用于训练神经网络的合成数据集 | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN114549291A (zh) | 图像处理方法、装置、设备以及存储介质 | |
| WO2021184933A1 (zh) | 一种人体三维模型重建方法 | |
| WO2022057526A1 (zh) | 三维模型重建方法、三维重建模型的训练方法和装置 | |
| WO2023050992A1 (zh) | 用于人脸重建的网络训练方法、装置、设备及存储介质 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| KR20210095696A (ko) | 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체 | |
| CN115578393B (zh) | 关键点检测方法、训练方法、装置、设备、介质及产品 | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| WO2022179603A1 (zh) | 一种增强现实方法及其相关设备 | |
| CN112116589A (zh) | 虚拟形象的评测方法、装置、设备及计算机可读存储介质 | |
| CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN115330979A (zh) | 表情迁移的方法、装置、电子设备及存储介质 | |
| CN111914809A (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN116977506A (zh) | 模型动作重定向的方法、装置、电子设备及存储介质 | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN115965736A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN115482481A (zh) | 单视角三维人体骨骼关键点检测方法、装置、设备及介质 | |
| CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |