CN112884881B - 三维人脸模型重建方法、装置、电子设备及存储介质 - Google Patents
三维人脸模型重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112884881B CN112884881B CN202110082037.3A CN202110082037A CN112884881B CN 112884881 B CN112884881 B CN 112884881B CN 202110082037 A CN202110082037 A CN 202110082037A CN 112884881 B CN112884881 B CN 112884881B
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- parameters
- model
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 145
- 230000014509 gene expression Effects 0.000 claims abstract description 108
- 238000005457 optimization Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 210000005252 bulbus oculi Anatomy 0.000 claims description 19
- 210000001508 eye Anatomy 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 7
- 108700041286 delta Proteins 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011840 criminal investigation Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请关于一种三维人脸模型重建方法、装置、电子设备及存储介质。所述方法包括：获取单相机人脸图像；将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配利用本申请各个实施例提供的三维人脸模型重建方法、装置、电子设备及存储介质，可以快速、准确地重建得到三维人脸模型。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种三维人脸模型重建方法、装置、电子设备及存储介质。
背景技术
人脸表情捕捉在很多领域都发挥着重要作用，典型地，比如电影、游戏、刑侦、视频监控等等。相关技术中，采用一些成本较高且过程复杂的方式确实可以捕捉到比较准确的人脸表情，例如在人脸上采用反射性采集标记点的方式能够获取到准确的人脸表情。但是，该方式所花费的巨大成本以及给用户带来的不舒适感严重阻碍其发展和推广。
单相机人脸图像采集具有低成本、易安装、用户友好等特点，但是单相机人脸图像一般是只有一种视角的二维信息，比较难以提供三维信息。因此，要想获取生动逼真的人脸表情，则需要对单相机人脸图像进行三维人脸模型重建。但是，目前基于单相机人脸图像重建的三维人脸模型往往精确度较低，难以捕捉到逼真的人脸表情。
因此，相关技术中亟需一种精确度更高的基于单相机人脸图像的三维人脸模型重建方式。
发明内容
本申请实施例的目的在于提供一种三维人脸模型重建方法、装置、电子设备及存储介质，可以快速、准确地重建得到三维人脸模型。
本申请实施例提供的三维人脸模型重建方法、装置、电子设备及存储介质是这样实现的：
一种三维人脸模型重建方法，所述方法包括：
获取单相机人脸图像；
将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述获取单相机人脸图像，包括：
获取包含人脸图像在内的单相机图像；
对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。
可选的，在本申请的一个实施例中，所述人脸信息预测模型被设置为按照下述方式训练得到：
获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息；
构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数；
将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息；
基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
可选的，在本申请的一个实施例中，所述单相机人脸样本图像被设置为按照下述方式获取：
利用多相机同时从不同角度采集得到同一人脸的多个单相机图像；
利用所述多个单相机图像重建得到所述人脸的三维人脸模型；
将所述人脸的所述三维人脸模型分别投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息；
根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。
可选的，在本申请的一个实施例中，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；
将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，所述基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求，包括：
获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异以及所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果与所述先验概率目标值的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，在所述单相机人脸图像的数量N大于等于2，且N个单相机人脸图像属于同一人脸的情况下，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：
基于所述N个单相机人脸图像，交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，分别使得所述N个三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，包括：
交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，生成N个预测三维人脸模型，其中，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数；
分别将所述N个预测三维人脸模型投影至对应的所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述人脸姿态参数、所述表情参数或者所述身份参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，在所述联合优化所述N个预测三维人脸模型的身份参数后，所述方法还包括：
针对于后续的单相机人脸图像进行重建三维人脸的过程中，使用并固定所述联合优化所述N个预测三维人脸模型的所述身份参数，调整所述人脸姿态参数和所述表情参数，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，所述三维人脸模型包括由预设数量的多个多边形网格相互连接组成的三维模型，所述多边形网格的网格顶点的位置由所述身份参数、所述人脸姿态参数和所述表情参数确定。
可选的，在本申请的一个实施例中，所述方法还包括：
获取三维眼球模型，所述三维眼球模型包括眼神信息；
将所述三维人脸模型和所述三维眼球模型组合成新的三维人脸模型。
一种三维人脸模型重建装置，包括：
获取模块，用于获取单相机人脸图像；
信息预测模块，用于将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
模型确定模块，用于利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述的三维人脸模型重建方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行所述的三维人脸模型重建方法。
本申请提供的三维人脸模型重建方法，可以基于单相机人脸图像重建得到三维人脸模型，发挥了单相机图像采集的低成本、易安装、用户友好等优势。基于此，单相机人脸图像容易采集的优势不仅可以降低人脸信息预测模型的构建成本，还可以让重建三维人脸模型变得更加快捷、简便。在重建过程中，基于人脸信息预测模型所输出的人脸二维特征点和纹理映射信息，可以有效提高模型重建的准确性和鲁棒性。通过身份参数、人脸姿态参数和表情参数重建得到三维人脸模型，为单相机虚拟直播、单相机智能交互技术、人脸识别、刑侦监控、电影游戏、表情分析等技术领域提供准确可靠的技术方案。本发明着重解决以上痛点问题，提出了一种高精度、实时运行的单相机人脸表情的捕捉方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图2是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图3是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图4是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图5是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图6是根据一示例性实施例示出的一种三维人脸模型重建方法流程示意图。
图7是根据一示例性实施例示出的一种三维人脸模型重建装置的框图。
图8是根据一示例性实施例示出的一种三维人脸模型重建装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面结合附图对本申请所述的三维人脸模型重建方法进行详细的说明。图1是本申请提供的三维人脸模型重建方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的三维人脸模型重建过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体地，本申请提供的三维人脸模型重建方法的一种实施例如图1所示，所述方法可以包括：
S101：获取单相机人脸图像。
S103：将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息。
S105：利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
本申请实施例中，所述单相机人脸图像可以包括利用单相机所拍摄的人脸图像，所述单相机可以包括单个摄像装置，例如包括单镜头反光相机、具有摄像功能的智能设备(如智能手机、平板电脑、智能穿戴设备等)，摄像机可以为RGB相机，或者RGBD相机等等。本申请实施例中，所述单相机人脸图像可以包括RGB图像、灰度图像等任何格式的图像。在实际的应用环境中，相机所拍摄的图像不仅仅包括人脸图像，还可以包括人脸以外的背景图像。基于此，可以从单相机捕捉的图像中截取出尽可能只包含人脸的单相机人脸图像。具体地，在一个实施例中，首先，可以获取包含人脸图像在内的单相机图像。然后，可以对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。在一个示例中，可以利用基于机器学习的人脸检测算法检测出所述单相机图像的人脸图像，并从所述单相机图像中截取出所述单相机人脸图像。其中，所述人脸检测算法可以包括R-CNN、Fast R-CNN、Faster R-CNN、TCDCN、MTCNN、YOLOV3、SSD等算法，在此不做限制。
本申请实施例中，在获取到所述单相机人脸图像之后，可以将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息。其中，所述人脸二维特征点包括用于表征人脸面部特征的关键点，在一些示例中，对于73个人脸二维特征点，可以包括15个脸轮廓特征点、16个眼睛特征点(左右眼各8个)，12个眉毛特征点(左右各6个)，12个鼻子特征点和18个嘴巴特征点。当然，在其他实施例中，所述人脸二维特征点的数量还可以包括68个、81个等等，本申请对于人脸二维特征点的数量不做限制。所述纹理映射信息指通过纹理坐标建立的人脸图像像素到三维人脸模型的映射关系。在本申请的一个实施例中，所述三维人脸模型可以包括由预设数量的多个多边形网格相互连接组成的三维模型，所述多边形网格的网格顶点的位置由身份参数、人脸姿态参数和表情参数确定。所述多边形网格可以包括三角形网格、五边形网格、六边形网格等等。需要说明的是，所述多边形网格的边与其相邻的多边形网格共享。由于所述多边形网格的数量为固定的，因此，所述三维人脸模型的网格顶点的数量也是固定。由于在初始阶段所述身份参数、人脸姿态参数和表情参数是未知的，因此，所述三维人脸模型中网格顶点的位置为默认位置。后续实施例中，重建所述三维人脸模型的过程即为调整所述网格顶点的位置的过程。在一些示例中，所述网格顶点可以具有唯一标识，所述唯一标识例如可以包括纹理映射的(u，v)坐标，这样，所述纹理映射信息可以包括人脸图像像素点到所述网格顶点的唯一标识的映射关系。在一个示例中，所述映射关系可以包括单相机图像中坐标位置为(34，17)的像素点对应于所述三维人脸模型中纹理坐标为(0.2,0.5)的网格顶点。
在本申请实施例中，利用所述人脸信息预测模型可以确定所述单相机人脸图像中的至少两种人脸信息，包括所述目标人脸二维特征点和所述目标纹理映射信息。在一个实施例中，所述人脸信息预测模型可以包括多任务机器学习模型，所述多任务机器学习模型可以实现多种任务，例如包括多任务深度学习网络，本申请实施例的所述多任务深度学习网络可以实现两种预测任务。本申请实施例中，由于人脸二维特征点和目标纹理映射信息等人脸信息之间具有相关性，因此，将多种人脸信息融合到同一个模型中学习，可以利用多种信息之间的相关性提升所述人脸信息预测模型的准确性。
本申请实施例中，在训练得到所述人脸信息预测模型的一个实施例中，如图2所示，可以包括下述步骤：
S201：获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息。
S203：构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数。
S205：将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息。
S207：基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
本申请实施例中，所述预设要求例如可以包括所述差异的数值小于预设阈值。由于是多任务学习，所述预测结果中可以包括人脸二维特征点、纹理映射信息等多种信息，所述差异可以包括多个预测结果分别与对应的人脸二维特征点和纹理映射信息之间的差异之和。当然，所述人脸信息预测模型可以输出的人脸信息不限于上述所述人脸二维特征点和所述纹理映射信息，还可以包括其他任何人脸信息，本申请在此不做限制。需要说明的是，训练所述人脸信息预测模型的机器学习算法可以包括Resnet骨干网络、MobileNet骨干网络、VGG骨干网络等等，在此不做限制。
在实际应用中，训练得到准确的模型往往需要较多的样本数据，而样本数据的标注需要耗费较多的时间成本和人力成本，尤其对于基于多任务学习的人脸信息预测模型，需要在所述单相机人脸样本图像上标注人脸二维特征点和纹理映射信息等多种信息。基于此，在本申请的一个实施例中，如图3所示，可以按照下述方式获取所述单相机人脸样本图像：
S301：利用多相机同时从不同角度采集得到同一人脸的多个单相机图像。
S303：利用所述多个单相机图像重建得到所述人脸的三维人脸模型。
S305：将所述三维人脸模型投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息。
S307：根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。
本申请实施例中，可以利用多个相机同时从多个角度拍摄同一人脸，这样可以获取该人脸的多个单相机图像。例如，利用5个相机拍摄得到5张图像，这样，可以一次性获取到5张单相机图像。然后，可以利用所述多个单相机图像重建得到所述人脸的三维人脸模型，通过所述三维人脸模型可以确定身份参数、人脸姿态参数和表情参数。最后，可以将所述三维人脸模型分别投影回多个单相机图像中，以分别获得到各个单相机图像中的人脸二维特征点和纹理映射信息。此处多相机重建所用到的三维人脸模型和后续单相机重建所用到的三维人脸模型需要具有相同的拓扑结构，即相同的顶点连接关系。
在实际应用场景下，所述单相机图像中包括人脸信息，可以根据人脸信息对所述单相机图像进行人脸图像分割，并将分割得到的人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像，其中人脸信息可以包括人脸二维特征点和纹理映射信息。在上述实施例中，将所述三维人脸模型投影至所述单相机图像中，可以获取到所述单相机图像的人脸二维特征点和纹理映射信息。因此，可以根据所述人脸二维特征点，将人脸图像从所述单相机图像分割出来得到单相机人脸样本图像。在一个示例中，可以利用BoundingBox算法进行图像分离。
本实施例中生成所述单相机人脸样本图像的方式可以大量节省人工标注成本，并且可以用较少的时间获取到大量的样本的数据，降低获取训练样本的成本。
本申请实施例中，在利用所述人脸信息预测模型输出所述目标人脸二维特征点和目标纹理映射信息之后，可以重建得到由身份参数、人脸姿态参数和表情参数所确定的三维人脸模型，使得从所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。基于此，在本申请重建三维人脸模型中，可以通过不断调整所述身份参数、所述人脸姿态参数和所述表情参数，使得生成的三维人脸模型所确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
在本申请的一个实施例中，可以利用analysis-by-synthesis(合成-分析)算法调整参数确定所述三维人脸模型。在本申请实施例中，可以交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。本实施例中，可以采用“固定身份参数优化人脸姿态参数、表情参数”和“固定人脸姿态参数、表情参数优化身份参数”这种交替优化的策略，相对于同时优化身份参数、人脸姿态参数和表情参数的策略，这种交替优化的方式能够使得所述三维人脸模型快速收敛，提升优化效率。
具体地，在本申请的一个实施例中，如图4所示，所述交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，可以包括：
S401：交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；
S403：将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
S405：基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
上述实施例提供了交替优化的一种具体实施方式，在优化初始时刻，可以提供初始三维人脸模型，所述初始三维人脸模型为还未开始优化参数时的三维人脸模型，所述初始三维人脸模型可以基于默认身份参数、默认人脸姿态参数和默认表情参数中生成。所述默认参数可以根据预设数据库中存储的身份参数、人脸姿态参数和表情参数的平均值确定，也可以利用上一帧单相机人脸图像重建得到的身份参数、人脸姿态参数和表情参数确定，本申请在此不做限制。另外，先“固定身份参数优化人脸姿态参数、表情参数”还是先“固定人脸姿态参数、表情参数优化身份参数”，本申请在此不做限制。
在一个具体的示例中，首先可以固定身份参数优化人脸姿态参数、表情参数。具体地，可以确定单相机人脸图像1的目标人脸二维特征点和目标纹理映射信息，如73个目标特征点和纹理映射信息。然后，可以将所述初始三维人脸模型投影到单相机人脸图像1中，获取到预测人脸二维特征点和预测纹理映射信息，并确定所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异。然后，可以基于所述差异，对所述人脸姿态参数和所述表情参数进行调整。此后，再固定人脸姿态参数、表情参数优化身份参数，调整的方式与固定身份参数优化人脸姿态参数、表情参数中调整的方式相同，在此不再赘述。通过交替迭代调整所述身份参数、所述人脸姿态参数和所述表情参数，直至所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异或者迭代次数中的至少一个满足预设要求。
需要说明的是，所述迭代调整的方式可以包括梯度下降优化算法(Gradient-based Optimization)、粒子群优化算法(Particle Swarm Optimization)等等，本申请在此不做限制。所述差异对应的预设要求可以包括所述差异的数值小于等于预设阈值等，所述预设阈值可以设置为0、0.01等数值。所述迭代次数对应的预设要求可以包括迭代次数小于预设次数，所述预设次数例如可以设置为5次、7次等等。若所述差异或者所述迭代次数中的至少一个满足预设要求时所确定的一组参数为(身份参数1，人脸姿态参数1，表情参数1)，由(身份参数1，人脸姿态参数1，表情参数1)可以确定预测三维人脸模型。
实际应用中，重建得到的三维人脸模型会有很多可能性，因此，可能会产生一定程度的歧义性。例如，重建出来的三维人脸模型不是自然逼真的人脸状态。基于此，本申请实施例中，还可以获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一个参数的先验概率分布结果和先验概率目标值，通过比较所述先验概率分布结果和所述先验概率目标值，避免所述先验概率分布结果超出合理的范围。本申请实施例中，所述先验概率目标值可以根据大量真实采集的人脸数据确定，因此，可以有效降低重建得到的三维人脸模型的歧义性。
具体地，在本申请的一个实施例中，如图5所示，所述基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求，可以包括：
S501：获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；
S503：基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异以及所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果与所述先验概率目标值的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
本申请实施例中，可以将所述身份参数、所述人脸姿态参数和所述表情参数中至少一个参数的先验概率分布结果和先验概率目标值之间的差异也作为所述三维人脸模型收敛的条件，可以有效降低重建得到的三维人脸模型的歧义性。
在进行实时三维人脸模型重建的很多应用场景下，例如直播、拍摄影片等，往往是在一段时间内，只拍摄具有同一个人，即只拍摄同一张人脸。针对相同的人脸，那么其身份参数是固定的，在对后续的单相机人脸图像重建三维人脸模型的过程中，可以继续使用所述单相机人脸图像1的身份参数，并在优化过程中，可以只对所述人脸姿态参数和所述表情参数优化，简化优化过程，提高人脸模型重建效率。
针对上述连续长时间拍摄同一人脸的应用场景，为了提升身份参数的稳定性和准确性，可以同时对该用户的多个单相机人脸图像进行联合优化，以提升重建效率。在一个实施例中，可以获取到同一用户的多个单相机人脸图像，如实时拍摄的20帧不同表情的人脸图像。同样可以采用“固定身份参数优化人脸姿态参数、表情参数”和“固定人脸姿态参数、表情参数优化身份参数”这种交替优化的策略。在该示例中，假设参与联合优化的单相机人脸图像的数量为N，且N个单相机人脸图像属于同一人脸。
进一步，可以基于所述N个单相机人脸图像，交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，分别使得所述N个三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。如图6所示，在一个具体的实施例中，包括：
S601：交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，生成N个预测三维人脸模型，其中，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数；
S603：分别将所述N个预测三维人脸模型投影至对应的所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
S605：基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述人脸姿态参数、所述表情参数或者所述身份参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
本申请实施例中，由于同一个人脸的身份参数是相同的，因此，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数。使得上述实施例的技术方案不仅具有交替优化的收敛速度快、重建效率高的优势，还利用同一人脸身份参数相同的特点对多张单相机人脸图像进行联合优化，这样，通过一次优化，可以重建得到多个三维人脸模型，大大提升重建效率。
本申请实施例中，在联合优化所述N个预测三维人脸模型的身份参数后，针对于后续的单相机人脸图像进行重建三维人脸的过程中，使用并固定所述联合优化所述N个预测三维人脸模型的所述身份参数，调整所述人脸姿态参数和所述表情参数，直至所述差异或者迭代次数中的至少一个满足预设要求。
下面通过一个具体的示例说明上述实施例。首先，可以固定身份参数优化人脸姿态参数、表情参数，具体地，利用S101和S103的实施方式分别确定N个单相机人脸图像的目标人脸二维特征点和目标纹理映射信息。然后，可以获取N个初始三维人脸模型，所述初始三维人脸模型的获取方式可以参考上述实施例，在此不做限制。将所述N个初始三维人脸模型分别投影至对应的所述单相机人脸图像中，可以获取到N个第一预测人脸二维特征点和第一预测纹理映射信息，并分别确定N个第一预测人脸二维特征点分别与对应的所述目标人脸二维特征点之间的N个差异以及N个第一预测纹理映射信息分别与对应的所述目标纹理映射信息之间的N个差异。基于所述2N个差异，分别对N个模型的所述人脸姿态参数和所述表情参数进行调整，得到N组参数为(身份参数1，人脸姿态参数1，所述表情参数1)、(身份参数1，人脸姿态参数2，所述表情参数2)……(身份参数1，人脸姿态参数N，所述表情参数N)，根据N组参数，可以确定N个第一预测三维人脸模型。然后，可以固定人脸姿态参数、表情参数，优化身份参数。具体地，可以分别将所述N个第一预测三维人脸模型投影至对应的所述单相机人脸图像中，获取到N个第二预测人脸二维特征点和N个第二预测纹理映射信息，并确定所述N个第二预测人脸二维特征点分别与对应的所述目标人脸二维特征点之间的N个差异：Δ1、Δ2、……、ΔN，以及所述N个第二预测纹理映射信息分别与对应的所述目标纹理映射信息之间的N个差异：Δ-1、Δ-2、……、Δ-N，确定N个差异的和为ΣΔ1＝Δ1+Δ2+……+ΔN以及ΣΔ2＝Δ-1+Δ-2+……+Δ-N。基于ΣΔ1和ΣΔ2，分别对N个模型的所述身份参数进行调整，得到N组参数为(身份参数X，人脸姿态参数1，所述表情参数1)、(身份参数X，人脸姿态参数2，所述表情参数2)……(身份参数X，人脸姿态参数N，所述表情参数N)，根据N组参数，可以确定N个所述第二预测三维人脸模型。通过交替迭代调整所述人脸姿态参数、所述表情参数或者所述身份参数，直至所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异或者迭代次数中的至少一个满足预设要求。
进一步，在获得身份参数X之后，对于后续获得的单相机人脸图像，在重建三维人脸模型的过程中，可以使用上述联合优化过程中获得的身份参数X，并在优化后续获得的单相机人脸图像过程中，可以只对所述人脸姿态参数和所述表情参数优化，这样简化优化过程，提高人脸模型重建效率。
需要说明的是，所述迭代调整的方式可以包括梯度下降优化算法(Gradient-based Optimization)、粒子群优化算法(Particle Swarm Optimization)等等，本申请在此不做限制。所述差异对应的预设要求可以包括所述差异的数值小于等于预设阈值等，所述预设阈值可以设置为0、0.01等数值。所述迭代次数对应的预设要求可以包括迭代次数小于预设次数，所述预设次数例如可以设置为5次、7次等等。
本申请实施例中，也可以在对N张单相机人脸图像进行联合优化的场景中利用先验概率约束所述身份参数、所述人脸姿态参数和所述表情参数，使得重建得到的三维人脸模型更加逼真。
现有的单相机捕捉技术，仍然存在着准确性差、无法捕捉眼球状态等问题。眼球状态的捕捉，对于还原人脸表情的逼真性起了决定性的作用。基于此，可以获取三维眼球模型，所述三维眼球模型包括眼神信息，然后将所述三维人脸模型和所述三维眼球模型组合成新的三维人脸模型。这样，可以捕捉到具有眼球状态的人脸模型，更加逼真。
在根据本发明实施例提供的方法获得重建后的三维人脸模型之后，可以获得三维眼球模型，其中三维眼球模型包括眼神。三维眼球模型的建立方法可以包括但不限于以下方法：基于红外设备的眼神捕捉，用户需要佩戴指定的红外眼镜或者安装特定的红外设备，通过比较红外反射光强弱的不同来判定眼神的状态来重建眼球；基于单相机的眼神捕捉，利用合成-分析的方法，通过比较合成的眼神与图片观测到的眼神的区别进行优化得到最终的眼神；具体方法在此不做限定。
本申请实施例中，在确定所述三维人脸模型之后，根据所述三维人脸模型获取到生动逼真的人脸形象。例如，在直播场景中，可以将后台演员的三维人脸模型渲染至动画人物中，产生动画人物直播的生动场景。在游戏场景中，可以将玩家的三维人脸模型渲染至游戏人物中，产生生动的游戏场景。当然，还可以使用到动画制作，电影制作等其他多种应用场景中，本申请在此不做限制。
本申请提供的三维人脸模型重建方法，可以采用在离线模式和实时模式上，离线模式包括根据离线视频进行三维人脸模型重建方法，无需立刻输出三维人脸模型，可以用在后期制作动画影视。实时模式包括还可以在交互游戏、直播等需要和用户进行实时互动的领域运行，实时应用时经过GPU加速之后，可以实时运行(即获得图片后，即刻输出三维人脸模型，这之间的延迟不易被用户感知到)。三维人脸模型重建方法可以有离线模式和实时模式，使得该可以得到更加广泛的应用。
本申请提供的三维人脸模型重建方法，可以基于单相机人脸图像重建得到三维人脸模型，发挥了单相机图像采集的低成本、易安装、用户友好等优势。基于此，单相机人脸图像容易采集的优势不仅可以降低人脸信息预测模型的构建成本，还可以让重建三维人脸模型变得更加快捷、简便。在重建过程中，基于人脸信息预测模型所输出的人脸二维特征点和纹理映射信息，可以有效提高模型重建的准确性和鲁棒性。通过身份参数、人脸姿态参数和表情参数重建得到三维人脸模型，为单相机虚拟直播、单相机智能交互技术、人脸识别、刑侦监控、电影游戏、表情分析等技术领域提供准确可靠的技术方案。
对应于上述三维人脸模型重建方法，如图7所示，本申请还提供一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现上述任一实施例所述的三维人脸模型重建方法。
本申请另一方面还提供一种三维人脸模型重建装置，如图8所示，所述装置800可以包括：
获取模块801，用于获取单相机人脸图像；
信息预测模块803，用于将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
模型确定模块805，用于利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述获取模块，包括：
图像获取子模块，用于获取包含人脸图像在内的单相机图像；
人脸检测子模块，用于对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。
可选的，在本申请的一个实施例中，所述人脸信息预测模型被设置为利用下述子模块训练得到：
样本获取子模块，用于获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息；
模型构建子模块，用于构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数；
预测结果生成子模块，用于将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息；
迭代调整子模块，用于基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
可选的，在本申请的一个实施例中，所述单相机人脸样本图像被设置为按照下述模块获取：
图像获取子模块，用于利用多相机同时从不同角度采集得到同一人脸的多个单相机图像；
模型重建子模块，用于利用所述多个单相机图像重建得到所述人脸的三维人脸模型；
人脸信息获取子模块，用于将所述人脸的所述三维人脸模型分别投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息；
图像分割子模块，用于根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。
可选的，在本申请的一个实施例中，所述模型确定模块包括：
交替调整子模块，用于交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述交替调整子模块，包括：
预测模型生成单元，用于交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；
人脸信息获取单元，用于将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
迭代调整单元，用于基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，所述迭代调整单元，包括：
先验结果获取子单元，用于获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；
迭代调整子单元，用于基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异以及所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果与所述先验概率目标值的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，在所述单相机人脸图像的数量N大于等于2，且N个单相机人脸图像属于同一人脸的情况下，所述模型确定模块，包括：
多模型确定子模块，用于基于所述N个单相机人脸图像，交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，分别使得所述N个三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
可选的，在本申请的一个实施例中，所述多模型确定子模块，包括：
预测模型生成单元，用于交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，生成N个预测三维人脸模型，其中，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数；
预测人脸信息获取单元，用于分别将所述N个预测三维人脸模型投影至对应的所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
迭代调整单元，用于基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述人脸姿态参数、所述表情参数或者所述身份参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，所述多模型确定子模块还包括：
优化调整单元，用于针对于后续的单相机人脸图像进行重建三维人脸的过程中，使用并固定所述联合优化所述N个预测三维人脸模型的所述身份参数，调整所述人脸姿态参数和所述表情参数，直至所述差异或者迭代次数中的至少一个满足预设要求。
可选的，在本申请的一个实施例中，所述三维人脸模型包括由预设数量的多个多边形网格相互连接组成的三维模型，所述多边形网格的网格顶点的位置由所述身份参数、所述人脸姿态参数和所述表情参数确定。
可选的，在本申请的一个实施例中，所述装置还包括：
眼球模型获取模块，用于获取三维眼球模型，所述三维眼球模型包括眼神信息；
模型组合模块，用于将所述三维人脸模型和所述三维眼球模型组合成新的三维人脸模型。
本申请另一方面还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任一实施例所述方法的步骤。
所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种三维人脸模型重建方法，其特征在于，所述方法包括：
获取单相机人脸图像；
将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，所述纹理映射信息包括人脸图像像素点到所述三维人脸模型的网格顶点的唯一标识的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述获取单相机人脸图像，包括：
获取包含人脸图像在内的单相机图像；
对所述单相机图像进行人脸检测，并从所述单相机图像中截取单相机人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述人脸信息预测模型被设置为按照下述方式训练得到：
获取多个单相机人脸样本图像，所述单相机人脸样本图像中标注有人脸二维特征点和纹理映射信息；
构建人脸信息预测模型，所述人脸信息预测模型中设置有模型参数；
将所述单相机人脸样本图像输入至所述人脸信息预测模型中，生成预测结果，所述预测结果包括预测得到的人脸二维特征点和纹理映射信息；
基于所述预测结果与所述人脸二维特征点、所述纹理映射信息之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
4.根据权利要求3所述的方法，其特征在于，所述单相机人脸样本图像被设置为按照下述方式获取：
利用多相机同时从不同角度采集得到同一人脸的多个单相机图像；
利用所述多个单相机图像重建得到所述人脸的三维人脸模型；
将所述人脸的所述三维人脸模型分别投影至所述多个单相机图像中，分别获取所述多个单相机图像中的人脸二维特征点和纹理映射信息；
根据所述人脸二维特征点和/或所述纹理映射信息，分别从所述多个单相机图像中分割出人脸图像，并将多个所述人脸图像作为训练所述人脸信息预测模型所使用的单相机人脸样本图像。
5.根据权利要求1所述的方法，其特征在于，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
6.根据权利要求5所述的方法，其特征在于，所述交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成三维人脸模型，包括：
交替固定身份参数、人脸姿态参数和表情参数中的其中一种或两种参数，调整另外两种或一种参数，生成预测三维人脸模型；
将所述预测三维人脸模型投影至所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
7.根据权利要求6所述的方法，其特征在于，所述基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求，包括：
获取所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果和先验概率目标值；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异以及所述身份参数、所述人脸姿态参数和所述表情参数中至少一种参数的先验概率分布结果与所述先验概率目标值的差异，对所述另外两种或一种参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
8.根据权利要求1所述的方法，其特征在于，在所述单相机人脸图像的数量N大于等于2，且N个单相机人脸图像属于同一人脸的情况下，所述利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，包括：
基于所述N个单相机人脸图像，交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，分别使得所述N个三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配。
9.根据权利要求8所述的方法，其特征在于，所述交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，联合优化生成N个具有相同身份参数的三维人脸模型，包括：
交替固定身份参数或者人脸姿态参数、表情参数，调整所述人脸姿态参数、所述表情参数或者所述身份参数，生成N个预测三维人脸模型，其中，在固定人脸姿态参数、表情参数调整身份参数的情况下，联合优化所述N个预测三维人脸模型的身份参数；
分别将所述N个预测三维人脸模型投影至对应的所述单相机人脸图像中，获取预测人脸二维特征点和预测纹理映射信息；
基于所述预测人脸二维特征点与所述目标人脸二维特征点、所述预测纹理映射信息与所述目标纹理映射信息之间的差异，对所述人脸姿态参数、所述表情参数或者所述身份参数进行迭代调整，直至所述差异或者迭代次数中的至少一个满足预设要求。
10.根据权利要求9所述的方法，其特征在于，在所述联合优化所述N个预测三维人脸模型的身份参数后，所述方法还包括：
针对于后续的单相机人脸图像进行重建三维人脸的过程中，使用并固定所述联合优化所述N个预测三维人脸模型的所述身份参数，调整所述人脸姿态参数和所述表情参数，直至所述差异或者迭代次数中的至少一个满足预设要求。
11.根据权利要求1所述的方法，其特征在于，所述三维人脸模型包括由预设数量的多个多边形网格相互连接组成的三维模型，所述多边形网格的网格顶点的位置由所述身份参数、所述人脸姿态参数和所述表情参数确定。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取三维眼球模型，所述三维眼球模型包括眼神信息；
将所述三维人脸模型和所述三维眼球模型组合成新的三维人脸模型。
13.一种三维人脸模型重建装置，其特征在于，包括：
获取模块，用于获取单相机人脸图像；
信息预测模块，用于将所述单相机人脸图像输入至人脸信息预测模型中，经所述人脸信息预测模型输出所述单相机人脸图像中的目标人脸二维特征点和目标纹理映射信息；
模型确定模块，用于利用身份参数、人脸姿态参数和表情参数确定三维人脸模型，使得所述三维人脸模型确定的人脸二维特征点与所述目标人脸二维特征点相匹配、确定的纹理映射信息和目标纹理映射信息相匹配，所述纹理映射信息包括人脸图像像素点到所述三维人脸模型的网格顶点的唯一标识的映射关系。
14.一种电子设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-12任一项所述的三维人脸模型重建方法。
15.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求1-12任意一项所述的三维人脸模型重建方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082037.3A CN112884881B (zh) | 2021-01-21 | 2021-01-21 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
| PCT/CN2022/070257 WO2022156532A1 (zh) | 2021-01-21 | 2022-01-05 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082037.3A CN112884881B (zh) | 2021-01-21 | 2021-01-21 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884881A CN112884881A (zh) | 2021-06-01 |
| CN112884881B true CN112884881B (zh) | 2022-09-27 |
Family
ID=76051743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110082037.3A Active CN112884881B (zh) | 2021-01-21 | 2021-01-21 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112884881B (zh) |
| WO (1) | WO2022156532A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884881B (zh) * | 2021-01-21 | 2022-09-27 | 魔珐(上海)信息科技有限公司 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
| CN113327278B (zh) * | 2021-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | 三维人脸重建方法、装置、设备以及存储介质 |
| CN113469091B (zh) * | 2021-07-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 人脸识别方法、训练方法、电子设备及存储介质 |
| CN113762147B (zh) * | 2021-09-06 | 2023-07-04 | 网易（杭州）网络有限公司 | 人脸表情迁移方法、装置、电子设备及存储介质 |
| CN114339190B (zh) * | 2021-12-29 | 2023-06-23 | 中国电信股份有限公司 | 通讯方法、装置、设备及存储介质 |
| CN114782864B (zh) * | 2022-04-08 | 2023-07-21 | 马上消费金融股份有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
| CN114783022B (zh) * | 2022-04-08 | 2023-07-21 | 马上消费金融股份有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
| CN114898244B (zh) * | 2022-04-08 | 2023-07-21 | 马上消费金融股份有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
| CN115393532B (zh) * | 2022-10-27 | 2023-03-14 | 科大讯飞股份有限公司 | 脸部绑定方法、装置、设备及存储介质 |
| CN116503524B (zh) * | 2023-04-11 | 2024-04-12 | 广州赛灵力科技有限公司 | 一种虚拟形象的生成方法、系统、装置及存储介质 |
| CN117409466B (zh) * | 2023-11-02 | 2024-06-14 | 之江实验室 | 一种基于多标签控制的三维动态表情生成方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978764A (zh) * | 2014-04-10 | 2015-10-14 | 华为技术有限公司 | 三维人脸网格模型处理方法和设备 |
| CN105096377A (zh) * | 2014-05-14 | 2015-11-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966316B (zh) * | 2015-05-22 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| CN108596827B (zh) * | 2018-04-18 | 2022-06-17 | 太平洋未来科技（深圳）有限公司 | 三维人脸模型生成方法、装置及电子设备 |
| WO2020037676A1 (zh) * | 2018-08-24 | 2020-02-27 | 太平洋未来科技（深圳）有限公司 | 三维人脸图像生成方法、装置及电子设备 |
| CN109191507B (zh) * | 2018-08-24 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
| CN109377544B (zh) * | 2018-11-30 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN110428491B (zh) * | 2019-06-24 | 2021-05-04 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
| CN110956691B (zh) * | 2019-11-21 | 2023-06-06 | Oppo广东移动通信有限公司 | 一种三维人脸重建方法、装置、设备及存储介质 |
| CN111274944A (zh) * | 2020-01-19 | 2020-06-12 | 中北大学 | 一种基于单张图像的三维人脸重建方法 |
| CN112819944B (zh) * | 2021-01-21 | 2022-09-27 | 魔珐(上海)信息科技有限公司 | 三维人体模型重建方法、装置、电子设备及存储介质 |
| CN112884881B (zh) * | 2021-01-21 | 2022-09-27 | 魔珐(上海)信息科技有限公司 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-21 CN CN202110082037.3A patent/CN112884881B/zh active Active
-
2022
- 2022-01-05 WO PCT/CN2022/070257 patent/WO2022156532A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978764A (zh) * | 2014-04-10 | 2015-10-14 | 华为技术有限公司 | 三维人脸网格模型处理方法和设备 |
| CN105096377A (zh) * | 2014-05-14 | 2015-11-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022156532A1 (zh) | 2022-07-28 |
| CN112884881A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884881B (zh) | 三维人脸模型重建方法、装置、电子设备及存储介质 | |
| CN112819944B (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| Li et al. | Monocular real-time volumetric performance capture | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| CN110363133B (zh) | 一种视线检测和视频处理的方法、装置、设备和存储介质 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| WO2022148248A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品 | |
| Wei et al. | Object-based illumination estimation with rendering-aware neural networks | |
| Wang et al. | Instance shadow detection with a single-stage detector | |
| Baudron et al. | E3d: event-based 3d shape reconstruction | |
| KR20190078890A (ko) | 그리드 기반의 평면 추정 방법 및 장치 | |
| US11657568B2 (en) | Methods and systems for augmented reality tracking based on volumetric feature descriptor data | |
| CN116245961B (zh) | 一种基于多类传感器信息的融合感知方法及系统 | |
| CN117336526A (zh) | 视频生成方法、装置、存储介质及电子设备 | |
| Sakkos et al. | Image editing-based data augmentation for illumination-insensitive background subtraction | |
| CN116977547A (zh) | 一种三维人脸重建方法、装置、电子设备和存储介质 | |
| CN115546908A (zh) | 一种活体检测方法、装置及设备 | |
| KR20180069312A (ko) | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 | |
| CN113705379A (zh) | 一种手势估计方法、装置、存储介质及设备 | |
| Takacs et al. | Deep authoring-an AI Tool set for creating immersive MultiMedia experiences | |
| Jiang et al. | Complementing event streams and rgb frames for hand mesh reconstruction | |
| Takács | Animation of Avatar Face based on Human Face Video | |
| US20240161391A1 (en) | Relightable neural radiance field model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |