CN117593493A - 三维脸部拟合方法、装置、电子设备及存储介质 - Google Patents
三维脸部拟合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117593493A CN117593493A CN202311270719.2A CN202311270719A CN117593493A CN 117593493 A CN117593493 A CN 117593493A CN 202311270719 A CN202311270719 A CN 202311270719A CN 117593493 A CN117593493 A CN 117593493A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- dimensional face
- key point
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims description 46
- 238000009826 distribution Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Architecture (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种三维脸部拟合方法、装置、电子设备及存储介质。方法包括：获取目标对象的二维脸部图像及预设的参考脸部三维模型；对二维脸部图像进行脸部关键点识别，获取目标对象的二维脸部图像中目标对象的多个二维脸部关键点；获取参考脸部三维模型的预设关键点区域中与各二维脸部关键点对应的目标关键点区域；从与二维脸部关键点对应的目标关键点区域中确定各二维脸部关键点对应的三维脸部关键点；根据二维脸部关键点和三维脸部关键点，对参考脸部三维模型进行脸部拟合调整处理获得与二维脸部图像中目标对象匹配的目标脸部三维模型。本申请根据二维脸部关键点调整参考脸部三维模型，能提高三维脸部拟合效率和降低三维脸部拟合难度。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及三维脸部拟合方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展，尤其是三维重建技术的发展，脸部三维重建的应用也越来越广泛。例如，可以应用到三维特效生成、直播等场景。
相关技术中，通常通过具有透视信息的三维点进行三维脸部重建。具体的，需要从三维图像中提取出具有透视信息的三维点，从而生成对应的三维脸部模型。相关技术的问题在于，需要采集的数据复杂(需具备透视信息)，对数据采集设备的要求较高，不利于提高三维脸部拟合的效率和降低三维脸部拟合的难度。
发明内容
本申请实施例提供一种三维脸部拟合方法、装置、电子设备及存储介质，不需要采集和处理具有透视信息的三维点，可以根据二维脸部图像中的二维脸部关键点实现三维脸部拟合，有利于提高三维脸部拟合的效率和降低三维脸部拟合的难度。
本申请实施例第一方面提供一种三维脸部拟合方法，上述方法包括：
获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；
获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；
从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；
根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
本申请实施例第二方面提供一种三维脸部拟合装置，上述装置包括：
数据获取模块，用于获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
关键点识别模块，用于对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；
区域匹配模块，用于获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；
关键点匹配模块，用于从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；
拟合模块，用于根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
在一些可选的实施例中，上述关键点匹配模块包括：
姿态识别单元，用于对上述二维脸部图像进行脸部姿态识别，获取上述二维脸部图像中目标对象的脸部姿态；
匹配单元，用于根据上述目标对象的脸部姿态，分别从各上述二维脸部关键点对应的目标关键点区域中，确定各上述二维脸部关键点对应的三维脸部关键点。
在一些可选的实施例中，上述预设关键点区域中设置有初始关键点；
上述目标对象的脸部姿态包括倾斜方向和倾斜程度；
上述匹配单元具体用于：根据上述倾斜方向确定关键点偏移方向，根据上述倾斜程度确定关键点偏移距离；
针对每一个二维脸部关键点，确定上述二维脸部关键点对应的目标关键点区域中与上述二维脸部关键点对应的目标初始关键点，根据上述关键点偏移方向、上述关键点偏移距离以及上述目标初始关键点，确定上述二维脸部关键点对应的三维脸部关键点。
在一些可选的实施例中，上述区域匹配模块具体用于：
根据上述二维脸部关键点的分布，以及上述参考脸部三维模型中预设关键点区域的分布，确定上述预设关键点区域中与各上述二维脸部关键点对应的预设关键点区域并作为目标关键点区域。
在一些可选的实施例中，上述拟合模块包括：
损失计算单元，用于根据上述二维脸部关键点和上述三维脸部关键点确定关键点匹配损失值；
拟合调整单元，用于若上述关键点匹配损失值大于预设的损失阈值，则对上述参考脸部三维模型进行脸部拟合调整处理后，触发上述区域匹配模块重新获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域，直至上述关键点匹配损失值不大于预设的损失阈值时，将最后一次脸部拟合调整后获得的参考脸部三维模型作为上述目标脸部三维模型。
在一些可选的实施例中，上述损失计算单元具体用于：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述参考脸部三维模型的脸部姿态，对上述二维脸部图像进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
在一些可选的实施例中，上述损失计算单元具体用于：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述二维脸部图像中上述目标对象的脸部姿态，对上述参考脸部三维模型进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
本申请实施例第三方面提供一种电子设备，包括存储器和处理器，上述存储器存储有多条指令；上述处理器从上述存储器中加载指令，以执行本申请实施例第一方面提供的三维脸部拟合方法中的步骤。
本申请实施例第四方面提供一种计算机可读存储介质，上述计算机可读存储介质存储有多条指令，上述指令适于处理器进行加载，以执行本申请实施例第一方面提供的三维脸部拟合方法中的步骤。
采用本申请实施例的方案，可以获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
如此，在三维脸部拟合过程中，只需要获取目标对象的二维脸部图像，并提取出其中的二维脸部关键点，即可根据二维脸部关键点调整预设的参考脸部三维模型，实现三维脸部拟合。无需采集具有透视信息的三维点，对数据采集设备的要求较低，有利于提高三维脸部拟合的效率和降低三维脸部拟合的难度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种三维脸部拟合方法的流程示意图；
图2是本申请实施例提供的一种基于二维脸部图像识别的二维脸部关键点示意图；
图3是本申请实施例提供的一种参考脸部三维模型示意图；
图4是本申请实施例提供的一种基于二维脸部图像提取识别的二维脸部关键点示意图；
图5是本申请实施例提供的一种三维脸部拟合的处理过程示意图；
图6是本申请实施例图5中三维脸部拟合模块的处理过程示意图；
图7是本申请实施例提供的一种三维脸部拟合装置的结构框图；
图8是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供三维脸部拟合方法、装置、电子设备及存储介质。具体地，本申请实施例的三维脸部拟合方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC，Personal Computer)、个人数字助理(PDA，Personal Digital Assistant)等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例第一方面提供一种三维脸部拟合方法，请参阅图1，图1是本申请实施例提供的一种三维脸部拟合方法的流程示意图。该三维脸部拟合方法的具体流程可以如下：
101、获取目标对象的二维脸部图像，以及预设的参考脸部三维模型。
其中，上述二维脸部图像是包含脸部的二维图像，预设的参考脸部三维模型是预先设置的标准的脸部三维模型。本申请实施例中，通过对参考脸部三维模型进行脸部拟合调整处理，获得与二维脸部图像中目标对象的脸部性匹配的脸部三维模型，实现三维脸部拟合。
需要说明的是，本申请实施例提供的三维脸部拟合方法可以应用于特效生产、直播等场景中。例如，在直播场景中，当三维特效事件触发时，可以获取当前直播界面中的包含脸部的视频，根据视频的每一帧获得对应的二维脸部图像。如果要为直播界面中显示的人物(即目标对象)添加三维特效，则需要获得与目标对象的脸部匹配的脸部三维模型，且需要该脸部三维模型的轮廓能贴合目标对象的脸部轮廓，以获得更好的特效生产效果。
102、对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点。
图2是本申请实施例提供的一种基于二维脸部图像识别的二维脸部关键点示意图，如图2所示，本申请实施例中，针对二维脸部图像进行关键点识别时，可以识别提取出五官关键点和脸部轮廓关键点。
在本申请的一些实施例中，可以使用预先训练好的关键点识别模型(例如基于卷积神经网络的模型)进行脸部关键点识别。具体的，可以预先训练脸部检测模型和脸部关键点识别模型，脸部检测模型用于识别出二维脸部图像中目标对象脸部的位置，并输出目标对象脸部的位置信息。脸部关键点识别模型用于根据位置信息，识别出对应位置的目标对象的脸部中的二维脸部关键点(包括五官关键点和脸部轮廓关键点)，并输出识别的二维脸部关键点的点位信息。如此，先进行脸部定位，再针对定位后的脸部进行关键点识别，有利于提高脸部关键点识别的效率和准确性。
需要说明的是，脸部检测模型和脸部关键点识别模型都是基于卷积神经网络的模型，其具体模型结构在此不作具体限定。脸部关键点识别模型识别出的二维脸部关键点不具备透视信息。
在本申请的一些实施例中，需要识别出的二维脸部关键点可以根据实际需求预先设置和调整(例如眼睛部位需要识别出眼睛中心点以及眼眶边缘的多个点)，并通过对脸部关键点识别模型的训练过程的调整实现对应的二维脸部关键点的识别，在此不作具体限定。
103、获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域。
104、从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点。
具体的，上述参考脸部三维模型中预先设置有多个预设关键点区域，本实施例中，为每一个二维脸部关键点确定一个目标关键点区域，并在该目标关键点区域中确定与二维脸部关键点对应的三维脸部关键点。
在本申请的一些实施例中，上述从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点，包括：
对上述二维脸部图像进行脸部姿态识别，获取上述二维脸部图像中目标对象的脸部姿态；
根据上述目标对象的脸部姿态，分别从各上述二维脸部关键点对应的目标关键点区域中，确定各上述二维脸部关键点对应的三维脸部关键点。
图3是本申请实施例提供的一种参考脸部三维模型示意图，图4是本申请实施例提供的一种基于二维脸部图像提取识别的二维脸部关键点示意图。如图3和图4所示，在二维脸部图像中目标对象的脸部侧着(例如向目标对象的左侧倾斜)时，在二维脸部图像中目标对象的左脸(即图4的右侧)轮廓上识别出的轮廓点实际上并不是该目标对象的脸部边缘，如果直接选取参考脸部三维模型上左侧脸部边缘的轮廓点作为对应的三维脸部关键点，则会造成误差，因此，本申请实施例中需要更精准地确定三维脸部关键点。
在本申请的一些实施例中，对于每一个二维脸部关键点，先确定其所属的脸部部位区域，再根据该脸部部位区域确定参考脸部三维模型中对应的目标关键点区域。目标关键点区域中包括该参考脸部三维模型的多个三维顶点，从目标关键点区域中的多个三维顶点中确定与该二维脸部关键点对应的三维脸部关键点。
在本申请的一些实施例中，上述预设关键点区域中设置有初始关键点；
上述目标对象的脸部姿态包括倾斜方向和倾斜程度；
上述根据上述目标对象的脸部姿态，分别从各上述二维脸部关键点对应的目标关键点区域中，确定各上述二维脸部关键点对应的三维脸部关键点，包括：
根据上述倾斜方向确定关键点偏移方向，根据上述倾斜程度确定关键点偏移距离；
针对每一个二维脸部关键点，确定上述二维脸部关键点对应的目标关键点区域中与上述二维脸部关键点对应的目标初始关键点，根据上述关键点偏移方向、上述关键点偏移距离以及上述目标初始关键点，确定上述二维脸部关键点对应的三维脸部关键点。
其中，上述预设关键点区域中可以预先设置有一个或多个初始关键点。上述目标初始关键点是从预设关键点区域的初始关键点中确定的与二维脸部关键点对应的初始三维顶点。
在本申请的一些实施例中，上述参考脸部三维模型上的一个预设关键点区域中包括一个初始关键点，且一个二维脸部关键点与一个预设关键点区域对应，直接将该初始关键点作为该二维脸部关键点的目标初始关键点。
在本申请的一些实施例中，上述参考脸部三维模型上的预设关键点区域包括第一关键点区域和第二关键点区域；一个上述第一关键点区域对应上述参考脸部三维模型的外轮廓上的一个初始关键点，一个上述第二关键点区域中设置有上述参考脸部三维模型中一个五官的至少两个初始关键点。
具体的，如图4所示，眉毛、眼睛、鼻子、嘴巴等五官部位的二维脸部关键点较为密集，因此将五官部位的预设关键点区域设置为第二关键点区域，从而避免需要划分过多的预设关键点区域，降低数据处理量。而脸部外轮廓的等区域的二维脸部关键点较为稀疏，因此可以将对应的关键点区域设置为第一关键点区域，一个第一关键点区域中设置一个初始关键点，有利于提高关键点匹配过程的准确性。
在本申请的一些实施例中，针对每一个二维脸部关键点，确定上述二维脸部关键点对应的目标关键点区域中与上述二维脸部关键点对应的目标初始关键点，包括：若该目标关键点区域中仅有一个初始关键点，则直接作为目标初始关键点；若该目标关键点区域中包括多个初始关键点，则将与该二维脸部关键点最为接近的初始关键点作为目标初始关键点，或者，根据预设的关键点匹配信息(例如二维图像中眼部中心点与参考脸部三维模型中的眼部中心点匹配)，确定与该二维脸部关键点匹配的目标初始关键点。
在本申请的一些实施例中，可以将倾斜方向的反方向作为关键点偏移方向，例如，目标对象的脸部向左侧倾斜，则在参考脸部三维模型中对应的关键点应该向参考脸部三维模型的右侧偏移。可以根据倾斜程度(倾斜角度)和预设的倾斜程度距离对应关系表，确定当前倾斜程度下，参考脸部三维模型上对应的关键点应该偏移多远的距离。
在确定关键点偏移方向和关键点偏移距离后，可以结合目标初始关键点的位置、关键点偏移方向和关键点偏移距离，确定二维脸部关键点所对应的三维脸部关键点的位置。
如图3和图4所示，参考脸部三维模型上，左侧脸部的预设关键点区域中，所有的三维顶点的横坐标小于某一预设横向限定点的横坐标值，该横向限定点可以根据实际需求预先设置和选取，且针对左侧脸部，该横向限定点不属于五官区域的点，且不能到达右侧脸部。
左侧脸部的预设关键点区域中，所有三维顶点的纵坐标由两个纵向限定点限定。或者，所有三维顶点的纵坐标与该预设关键点区域中初始关键点的纵坐标的差值小于预设的差值阈值，该差值阈值(或对应的两个纵向限定点的纵坐标)可以根据实际需求设置和调整，在此不作具体限定。如此，可以选定如图3所示的一个选框所选定的一个预设关键点区域中的所有三维顶点。
需要说明的是，针对右侧脸部和五官区域的预设关键点区域，可以有类似设置，在此不再赘述。
在一种应用场景中，如图3和图4所示，针对如图4所示的二维脸部图像中目标对象的右侧脸部上的二维脸部关键点，可以将图3中参考脸部三维模型上对应的右侧脸部上目标关键点区域中横坐标最小的三维顶点作为对应的三维脸部关键点。针对如图4所示的二维脸部图像中目标对象的左侧脸部上的二维脸部关键点，可以从参考脸部三维模型上左侧脸部上目标关键点区域(图3中未示出)中确定对应的三维顶点作为三维脸部关键点，在此不再赘述。
在本申请的一些实施例中，上述获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域，包括：
根据上述二维脸部关键点的分布，以及上述参考脸部三维模型中预设关键点区域的分布，确定上述预设关键点区域中与各上述二维脸部关键点对应的预设关键点区域并作为目标关键点区域。
具体的，可以根据二维脸部关键点的分布，确定各个二维脸部关键点所属的脸部部位区域。参考脸部三维模型中各个脸部部位区域预先设置有至少一个预设关键点区域，根据参考脸部三维模型中预设关键点区域的分布，确定各个二维脸部关键点所对应的目标关键点区域。
105、根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
具体的，获得的与目标对象匹配的目标脸部三维模型与二维脸部图像中目标对象的脸部接近，且轮廓可以贴合，以满足后续的特效生产需求。
在本申请的一些实施例中，对上述参考脸部三维模型进行多次脸部拟合调整，直至满足预设的调整停止条件。具体的，上述根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型，包括：
根据上述二维脸部关键点和上述三维脸部关键点确定关键点匹配损失值；
若上述关键点匹配损失值大于预设的损失阈值，则对上述参考脸部三维模型进行脸部拟合调整处理后，返回执行上述获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域的步骤，直至上述关键点匹配损失值不大于预设的损失阈值时，将最后一次脸部拟合调整后获得的参考脸部三维模型作为上述目标脸部三维模型。
其中，上述损失阈值可以根据实际需求预先设置和调整，在此不作具体限定。本实施例中，根据二维脸部图像对参考脸部三维模型进行脸部拟合调整处理，可以使用现有的脸部拟合调整算法或模型进行调整，例如基于3DMM模型进行调整。或者，针对参考脸部三维模型中的每一个三维顶点，计算旋转矩阵，同时结合二维脸部图像中目标对象的脸部形状和表情系数，对参考脸部三维模型中的三维顶点的位置进行调整，基于最优求解的近似算法，实现三维脸部拟合。
在一种应用场景中，还可以基于三维脸部关键点与二维脸部关键点之间的位置差异，对参考脸部三维模型中的三维顶点进行位置调整，以实现脸部拟合调整，在此不作为具体限定。
根据关键点匹配损失值判断参考脸部三维模型是否已经调整到与二维脸部图像中目标对象的脸部非常接近，当非常接近时可以停止拟合，获得重建后的目标脸部三维模型。
其中，关键点匹配损失值根据参考脸部三维模型中的三维关键点与其对应的二维关键点之间的距离确定。
需要说明的是，在一些应用场景中，也可以不重新获取对应的三维脸部关键点，始终使用第一次确定的三维脸部关键点，在此不作具体限定。
在本申请的一些实施例中，上述根据上述二维脸部关键点和上述三维脸部关键点确定关键点匹配损失值，包括：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述参考脸部三维模型的脸部姿态，对上述二维脸部图像进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
在本申请的另一些实施例中，上述根据上述二维脸部关键点和上述三维脸部关键点确定关键点匹配损失值，包括：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述二维脸部图像中上述目标对象的脸部姿态，对上述参考脸部三维模型进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
具体的，先根据参考脸部三维模型的尺寸，和二维脸部图像中目标对象的脸部的尺寸，对二维脸部图像进行缩放处理，使得缩放后的二维脸部图像中目标对象的脸部尺寸大小与参考脸部三维模型的尺寸大小相同。进一步的，可以针对缩放处理后的二维脸部图像进行旋转，或者对参考脸部三维模型进行旋转，使得二维脸部图像和参考脸部三维模型的方向一致，从而提高关键点匹配损失值计算的准确性。
进一步的，针对处理后的参考脸部三维模型和二维脸部图像，可以平移至两者脸部轮廓重叠，从而更好地计算关键点匹配损失值。
在本申请的一些实施例中，可以根据预设的L2损失函数(即平均平方误差)计算上述关键点匹配损失值，实际使用过程中，还可以使用其他损失函数，在此不作具体限定。
本申请实施例第一方面公开一种三维脸部拟合方法，可以获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
如此，在三维脸部拟合过程中，只需要获取目标对象的二维脸部图像，并提取出其中的二维脸部关键点，即可根据二维脸部关键点调整预设的参考脸部三维模型，实现三维脸部拟合。无需采集具有透视信息的三维点，对数据采集设备的要求较低，有利于提高三维脸部拟合的效率和降低三维脸部拟合的难度。
在一种应用场景中，上述三维脸部拟合方法可以通过预设的二维脸部关键点模块和三维脸部拟合模块执行。图5是本申请实施例提供的一种三维脸部拟合的处理过程示意图，图6是本申请实施例图5中三维脸部拟合模块的处理过程示意图。如图5和图6所示，本申请实施例中，针对二维脸部图像，通过二维脸部关键点模块进行脸部检测，确定图像中脸部的位置，然后进行二维脸部关键点识别，确定二维脸部关键点。根据二维脸部图像中的二维脸部关键点，通过三维脸部拟合模块进行拟合调整获得对应的目标脸部三维模型。其中，三维脸部拟合模块先进行面部轮廓可见点搜索，确定参考脸部三维模型中的三维脸部关键点，然后根据三维脸部关键点和二维脸部关键点进行关键点匹配损失值的计算，在关键点匹配损失值大于预设的损失阈值的情况下，调整参考脸部三维模型，并反复执行面部轮廓可见点搜索、损失计算和模型调整的过程，直到获得满足条件的目标脸部三维模型。
需要说明的是，图5和图6中，对相关脸部进行了打码处理，但不作为对本申请实施例方案的限定。
如此可见，本申请实施例中，可以通过二维脸部关键点，简单高效地重建出贴合脸部面部轮廓的三维脸部。且处理过程中，不需要采集具有透视信息的三维脸部关键点。上述三维脸部拟合方法对数据采集设备和数据处理设备的要求较低，因此，可以由移动端(例如智能手机)执行上述三维脸部拟合方法，以实现后续的三维特效生产。
同时，上述三维脸部拟合方法可以适用各种应用场景，例如，与当前特效场景中常用的二维脸部关键点模块结合，利用移动端算力，简单高效地实现重建三维脸部，不需要耗费服务器资源，有利于降低数据处理过程中的资源浪费。
对应于本申请实施例第一方面提供的三维脸部拟合方法，本申请实施例第二方面提供一种三维脸部拟合装置。其中名词的含义与本申请实施例第一方面提供的三维脸部拟合方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图7，图7是本申请实施例提供的一种三维脸部拟合装置的结构框图，该装置包括：
数据获取模块701，用于获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
关键点识别模块702，用于对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；
区域匹配模块703，用于获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；
关键点匹配模块704，用于从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；
拟合模块705，用于根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
在一些可选的实施例中，上述关键点匹配模块704包括：
姿态识别单元，用于对上述二维脸部图像进行脸部姿态识别，获取上述二维脸部图像中目标对象的脸部姿态；
匹配单元，用于根据上述目标对象的脸部姿态，分别从各上述二维脸部关键点对应的目标关键点区域中，确定各上述二维脸部关键点对应的三维脸部关键点。
在一些可选的实施例中，上述预设关键点区域中设置有初始关键点；
上述目标对象的脸部姿态包括倾斜方向和倾斜程度；
上述匹配单元具体用于：根据上述倾斜方向确定关键点偏移方向，根据上述倾斜程度确定关键点偏移距离；
针对每一个二维脸部关键点，确定上述二维脸部关键点对应的目标关键点区域中与上述二维脸部关键点对应的目标初始关键点，根据上述关键点偏移方向、上述关键点偏移距离以及上述目标初始关键点，确定上述二维脸部关键点对应的三维脸部关键点。
在一些可选的实施例中，上述区域匹配模块703具体用于：
根据上述二维脸部关键点的分布，以及上述参考脸部三维模型中预设关键点区域的分布，确定上述预设关键点区域中与各上述二维脸部关键点对应的预设关键点区域并作为目标关键点区域。
在一些可选的实施例中，上述拟合模块705包括：
损失计算单元，用于根据上述二维脸部关键点和上述三维脸部关键点确定关键点匹配损失值；
拟合调整单元，用于若上述关键点匹配损失值大于预设的损失阈值，则对上述参考脸部三维模型进行脸部拟合调整处理后，触发上述区域匹配模块重新获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域，直至上述关键点匹配损失值不大于预设的损失阈值时，将最后一次脸部拟合调整后获得的参考脸部三维模型作为上述目标脸部三维模型。
在一些可选的实施例中，上述损失计算单元具体用于：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述参考脸部三维模型的脸部姿态，对上述二维脸部图像进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
在一些可选的实施例中，上述损失计算单元具体用于：
根据上述参考脸部三维模型的尺寸对上述二维脸部图像进行缩放处理；
根据上述二维脸部图像中上述目标对象的脸部姿态，对上述参考脸部三维模型进行旋转处理；
将上述二维脸部图像与上述参考脸部三维模型进行重叠处理后，根据上述二维脸部图像中各上述二维脸部关键点与上述参考脸部三维模型中对应的三维脸部关键点的距离，确定上述关键点匹配损失值。
本申请实施例公开了一种三维脸部拟合装置，通过数据获取模块701获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；通过关键点识别模块702对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；通过区域匹配模块703获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；通过关键点匹配模块704从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；通过拟合模块705根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
如此，在三维脸部拟合过程中，只需要获取目标对象的二维脸部图像，并提取出其中的二维脸部关键点，即可根据二维脸部关键点调整预设的参考脸部三维模型，实现三维脸部拟合。无需采集具有透视信息的三维点，对数据采集设备的要求较低，有利于提高三维脸部拟合的效率和降低三维脸部拟合的难度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，PersonalComputer)、个人数字助理(PDA，Personal Digital Assistant)等终端设备。如图8所示，图8是本申请实施例提供的电子设备的结构示意图。该电子设备800包括有一个或者一个以上处理核心的处理器801、有一个或一个以上计算机可读存储介质的存储器802及存储在存储器802上并可在处理器上运行的计算机程序。其中，处理器801与存储器802电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器801是电子设备800的控制中心，利用各种接口和线路连接整个电子设备800的各个部分，通过运行或加载存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行电子设备800的各种功能和处理数据，从而对电子设备800进行整体监控。处理器801可以是中央处理器CPU、图形处理器GPU、网络处理器(NP，NetworkProcessor)等，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。
在本申请实施例中，电子设备800中的处理器801会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，例如：
获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；
获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；
从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；
根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图8所示，电子设备800还包括：触控显示屏803、射频电路804、音频电路805、输入单元806以及电源807。其中，处理器801分别与触控显示屏803、射频电路804、音频电路805、输入单元806以及电源807电性连接。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
触控显示屏803可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏803可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器801，并能接收处理器801发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器801以确定触摸事件的类型，随后处理器801根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏803而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏803也可以作为输入单元806的一部分实现输入功能。
射频电路804可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
音频电路805可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路805可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路805接收后转换为音频数据，再将音频数据输出处理器801处理后，经射频电路804以发送给比如另一电子设备，或者将音频数据输出至存储器802以便进一步处理。音频电路805还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
输入单元806可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源807用于给电子设备800的各个部件供电。可选的，电源807可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源807还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图8中未示出，电子设备800还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种三维脸部拟合方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
对上述二维脸部图像进行脸部关键点识别，获取上述二维脸部图像中目标对象的多个二维脸部关键点；
获取上述参考脸部三维模型的预设关键点区域中与各上述二维脸部关键点对应的目标关键点区域；
从与上述二维脸部关键点对应的目标关键点区域中确定各上述二维脸部关键点对应的三维脸部关键点；
根据上述二维脸部关键点和上述三维脸部关键点，对上述参考脸部三维模型进行脸部拟合调整处理，获得与上述二维脸部图像中目标对象匹配的目标脸部三维模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种三维脸部拟合方法中的步骤，因此，可以实现本申请实施例所提供的任一种三维脸部拟合方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的三维脸部拟合方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种三维脸部拟合方法，其特征在于，包括：
获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
对所述二维脸部图像进行脸部关键点识别，获取所述二维脸部图像中目标对象的多个二维脸部关键点；
获取所述参考脸部三维模型的预设关键点区域中与各所述二维脸部关键点对应的目标关键点区域；
从与所述二维脸部关键点对应的目标关键点区域中确定各所述二维脸部关键点对应的三维脸部关键点；
根据所述二维脸部关键点和所述三维脸部关键点，对所述参考脸部三维模型进行脸部拟合调整处理，获得与所述二维脸部图像中目标对象匹配的目标脸部三维模型。
2.根据权利要求1所述的三维脸部拟合方法，其特征在于，所述从与所述二维脸部关键点对应的目标关键点区域中确定各所述二维脸部关键点对应的三维脸部关键点，包括：
对所述二维脸部图像进行脸部姿态识别，获取所述二维脸部图像中目标对象的脸部姿态；
根据所述目标对象的脸部姿态，分别从各所述二维脸部关键点对应的目标关键点区域中，确定各所述二维脸部关键点对应的三维脸部关键点。
3.根据权利要求2所述的三维脸部拟合方法，其特征在于，所述预设关键点区域中设置有初始关键点；
所述目标对象的脸部姿态包括倾斜方向和倾斜程度；
所述根据所述目标对象的脸部姿态，分别从各所述二维脸部关键点对应的目标关键点区域中，确定各所述二维脸部关键点对应的三维脸部关键点，包括：
根据所述倾斜方向确定关键点偏移方向，根据所述倾斜程度确定关键点偏移距离；
针对每一个二维脸部关键点，确定所述二维脸部关键点对应的目标关键点区域中与所述二维脸部关键点对应的目标初始关键点，根据所述关键点偏移方向、所述关键点偏移距离以及所述目标初始关键点，确定所述二维脸部关键点对应的三维脸部关键点。
4.根据权利要求1所述的三维脸部拟合方法，其特征在于，所述获取所述参考脸部三维模型的预设关键点区域中与各所述二维脸部关键点对应的目标关键点区域，包括：
根据所述二维脸部关键点的分布，以及所述参考脸部三维模型中预设关键点区域的分布，确定所述预设关键点区域中与各所述二维脸部关键点对应的预设关键点区域并作为目标关键点区域。
5.根据权利要求1所述的三维脸部拟合方法，其特征在于，所述根据所述二维脸部关键点和所述三维脸部关键点，对所述参考脸部三维模型进行脸部拟合调整处理，获得与所述二维脸部图像中目标对象匹配的目标脸部三维模型，包括：
根据所述二维脸部关键点和所述三维脸部关键点确定关键点匹配损失值；
若所述关键点匹配损失值大于预设的损失阈值，则对所述参考脸部三维模型进行脸部拟合调整处理后，返回执行所述获取所述参考脸部三维模型的预设关键点区域中与各所述二维脸部关键点对应的目标关键点区域的步骤，直至所述关键点匹配损失值不大于预设的损失阈值时，将最后一次脸部拟合调整后获得的参考脸部三维模型作为所述目标脸部三维模型。
6.根据权利要求5所述的三维脸部拟合方法，其特征在于，所述根据所述二维脸部关键点和所述三维脸部关键点确定关键点匹配损失值，包括：
根据所述参考脸部三维模型的尺寸对所述二维脸部图像进行缩放处理；
根据所述参考脸部三维模型的脸部姿态，对所述二维脸部图像进行旋转处理；
将所述二维脸部图像与所述参考脸部三维模型进行重叠处理后，根据所述二维脸部图像中各所述二维脸部关键点与所述参考脸部三维模型中对应的三维脸部关键点的距离，确定所述关键点匹配损失值。
7.根据权利要求5所述的三维脸部拟合方法，其特征在于，所述根据所述二维脸部关键点和所述三维脸部关键点确定关键点匹配损失值，包括：
根据所述参考脸部三维模型的尺寸对所述二维脸部图像进行缩放处理；
根据所述二维脸部图像中所述目标对象的脸部姿态，对所述参考脸部三维模型进行旋转处理；
将所述二维脸部图像与所述参考脸部三维模型进行重叠处理后，根据所述二维脸部图像中各所述二维脸部关键点与所述参考脸部三维模型中对应的三维脸部关键点的距离，确定所述关键点匹配损失值。
8.一种三维脸部拟合装置，其特征在于，包括：
数据获取模块，用于获取目标对象的二维脸部图像，以及预设的参考脸部三维模型；
关键点识别模块，用于对所述二维脸部图像进行脸部关键点识别，获取所述二维脸部图像中目标对象的多个二维脸部关键点；
区域匹配模块，用于获取所述参考脸部三维模型的预设关键点区域中与各所述二维脸部关键点对应的目标关键点区域；
关键点匹配模块，用于从与所述二维脸部关键点对应的目标关键点区域中确定各所述二维脸部关键点对应的三维脸部关键点；
拟合模块，用于根据所述二维脸部关键点和所述三维脸部关键点，对所述参考脸部三维模型进行脸部拟合调整处理，获得与所述二维脸部图像中目标对象匹配的目标脸部三维模型。
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的三维脸部拟合方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的三维脸部拟合方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311270719.2A CN117593493A (zh) | 2023-09-27 | 2023-09-27 | 三维脸部拟合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311270719.2A CN117593493A (zh) | 2023-09-27 | 2023-09-27 | 三维脸部拟合方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117593493A true CN117593493A (zh) | 2024-02-23 |
Family
ID=89912184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311270719.2A Pending CN117593493A (zh) | 2023-09-27 | 2023-09-27 | 三维脸部拟合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593493A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876708A (zh) * | 2018-05-31 | 2018-11-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| CN115375835A (zh) * | 2022-07-13 | 2022-11-22 | 平安科技（深圳）有限公司 | 基于二维关键点的三维模型建立方法、计算机及存储介质 |
| WO2023001095A1 (zh) * | 2021-07-23 | 2023-01-26 | 百果园技术(新加坡)有限公司 | 人脸关键点的插值方法、装置、计算机设备和存储介质 |
-
2023
- 2023-09-27 CN CN202311270719.2A patent/CN117593493A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876708A (zh) * | 2018-05-31 | 2018-11-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| WO2023001095A1 (zh) * | 2021-07-23 | 2023-01-26 | 百果园技术(新加坡)有限公司 | 人脸关键点的插值方法、装置、计算机设备和存储介质 |
| CN115375835A (zh) * | 2022-07-13 | 2022-11-22 | 平安科技（深圳）有限公司 | 基于二维关键点的三维模型建立方法、计算机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10599913B2 (en) | Face model matrix training method and apparatus, and storage medium | |
| CN110147533B (zh) | 编码方法、装置、设备及存储介质 | |
| US20230281833A1 (en) | Facial image processing method and apparatus, device, and storage medium | |
| CN114782605A (zh) | 毛发虚拟模型的渲染方法、装置、计算机设备及存储介质 | |
| CN112465945A (zh) | 一种模型生成方法、装置、存储介质及计算机设备 | |
| CN112206517A (zh) | 一种渲染方法、装置、存储介质及计算机设备 | |
| CN112149599B (zh) | 表情追踪方法、装置、存储介质和电子设备 | |
| CN116385615A (zh) | 虚拟面部生成方法、装置、计算机设备及存储介质 | |
| CN112580472A (zh) | 一种快速轻量的人脸识别方法、装置、机器可读介质及设备 | |
| CN113763932B (zh) | 语音处理方法、装置、计算机设备及存储介质 | |
| CN117593493A (zh) | 三维脸部拟合方法、装置、电子设备及存储介质 | |
| CN116797631A (zh) | 差异区域定位方法、装置、计算机设备及存储介质 | |
| CN114462580A (zh) | 文本识别模型的训练方法、文本识别方法、装置和设备 | |
| CN113361490A (zh) | 图像生成、网络训练方法、装置、计算机设备和存储介质 | |
| CN117523136B (zh) | 人脸点位对应关系处理方法、人脸重建方法、装置及介质 | |
| CN117455753B (zh) | 特效模板生成方法、特效生成方法、装置及存储介质 | |
| CN117788486A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN115798059A (zh) | 一种活体检测方法、装置、计算机设备及存储介质 | |
| CN115731339A (zh) | 虚拟模型渲染方法、装置、计算机设备及存储介质 | |
| CN117726808A (zh) | 一种模型生成方法、图像处理方法及相关设备 | |
| CN112989890A (zh) | 图像检测方法、装置及存储介质 | |
| CN117689835A (zh) | 模型生成方法、装置、计算机设备和计算机可读存储介质 | |
| CN117274494A (zh) | 人体重建方法、装置、设备及存储介质 | |
| CN118247325A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
| CN117541674A (zh) | 虚拟对象模型的渲染方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |