CN112562060A - 三维人脸建模方法、装置、电子设备及存储介质 - Google Patents
三维人脸建模方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112562060A CN112562060A CN202011331307.1A CN202011331307A CN112562060A CN 112562060 A CN112562060 A CN 112562060A CN 202011331307 A CN202011331307 A CN 202011331307A CN 112562060 A CN112562060 A CN 112562060A
- Authority
- CN
- China
- Prior art keywords
- face
- depth map
- dimensional
- modeling
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例涉及图像处理技术领域，提供了一种三维人脸建模方法、装置、电子设备及存储介质。三维人脸建模方法包括：基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。本申请实施例提供的一种三维人脸建模方法、装置、电子设备及存储介质，在保证三维人脸建模的准确性和可靠性的同时，有效减小三维人脸建模的计算量，缩短三维人脸建模的计算时间，降低三维人脸建模对于计算平台的计算能力的要求，扩宽三维人脸建模的使用范畴。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种三维人脸建模方法、装置、电子设备及存储介质。
背景技术
随着计算机图形学与图像处理技术的发展，三维人脸建模技术在游戏动漫、影视广告、视频会议和可视电话等相关行业得到了广泛的应用。
从建模精度和完整性的角度考虑，通常用于三维人脸建模的人脸图像数量越多，其中包含的深度信息越多，由此得到的三维人脸模型的可靠性越高，对于细节的描述越好。然而建模过程中大量人脸图像的处理必然需要耗费大量的计算资源和计算时间，给计算平台带来很大的负担，且计算结果的准确性难以保证。
发明内容
本申请提供一种三维人脸建模方法、装置、电子设备及存储介质，用以提供一种低计算需求的三维人脸建模方案，以扩宽三维人脸建模的适用范畴。
本申请提供一种三维人脸建模方法，包括：
基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；
对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
根据本申请提供一种的三维人脸建模方法，所述基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图，包括：
确定采集所述人脸视频流所用深度相机对应的建模角度需求；
从所述人脸视频流中选取所述人脸角度值符合所述建模角度需求的人脸深度图，作为所述关键深度图。
根据本申请提供一种的三维人脸建模方法，所述确定采集所述人脸视频流所用深度相机对应的建模角度需求，包括：
确定采集所述人脸视频流所用深度相机的成像质量；
基于所述成像质量确定所述建模角度需求。
根据本申请提供一种的三维人脸建模方法，所述人脸深度图的人脸角度值是基于如下步骤确定的：
对任一人脸深度图对应的人脸彩色图进行人脸特征提取，得到所述人脸彩色图包含目标人脸的多个特征点的二维坐标；
基于每个特征点的二维坐标，确定每个特征点在所述任一人脸深度图中的三维坐标；
基于每个特征点的二维坐标和三维坐标，确定所述任一人脸深度图的人脸角度值。
根据本申请提供一种的三维人脸建模方法，所述对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型，包括：
对每帧关键深度图的点云数据进行配准；
拼接配准后的每帧关键深度图的点云数据，得到人脸点云数据；
基于所述人脸点云数据，构建三维人脸模型。
根据本申请提供一种的三维人脸建模方法，所述对每帧关键深度图的点云数据进行配准，包括：
确定每帧关键深度图的点云数据中每个点的法线和/或曲率；
基于每两帧相邻关键深度图的点云数据中每个点的法线和/或曲率，对每两帧相邻关键深度图的点云数据进行配准。
根据本申请提供一种的三维人脸建模方法，所述人脸视频流是基于如下步骤确定的：
控制深度相机实时采集人脸视频流，同时每隔预设时间播报人员动作指令，所述人员动作指令包括人脸转动方向和/或人脸转动角度，所述人员动作指令用于提示人员根据所述人脸转动方向和/或人脸转动角度转动人脸。
本申请还提供一种三维人脸建模装置，包括：
关键帧选取单元，用于基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；
建模单元，用于对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维人脸建模方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维人脸建模方法的步骤。
本申请提供的一种三维人脸建模方法、装置、电子设备及存储介质，基于每帧人脸深度图的人脸角度值，选取关键深度图用于三维人脸建模，在保证选取所得的关键深度图能够覆盖目标人脸的各个角度，从而在保证三维人脸建模的准确性和可靠性的同时，有效减小三维人脸建模的计算量，缩短三维人脸建模的计算时间，降低三维人脸建模对于计算平台的计算能力的要求，扩宽三维人脸建模的使用范畴。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的三维人脸建模方法的流程示意图之一；
图2是本申请提供的关键深度图选取方法的流程示意图；
图3是本申请提供的建模角度需求确定方法的流程示意图；
图4是本申请提供的人脸角度值确定方法的流程示意图；
图5是本申请提供的三维人脸建模方法的流程示意图之二；
图6是本申请提供的点云配置方法的流程示意图；
图7是本申请提供的三维人脸建模装置的结构示意图之一；
图8是本申请提供的三维人脸建模装置中关键帧选取单元的结构示意图；
图9是本申请提供的三维人脸建模装置的结构示意图之二；
图10是本申请提供的三维人脸建模装置中建模单元的结构示意图；
图11是本申请提供的三维人脸建模装置的结构示意图之三；
图12是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请提供的三维人脸建模方法的流程示意图之一，如图1所示，该方法包括：
步骤110，基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图。
其中，待建模的人脸视频流即针对需要进行三维人脸建模的目标人脸进行视频采集所得的视频流，人脸视频流可以包括多帧人脸深度图，也可以包括多帧人脸深度图和多帧人脸彩色图，此处的多帧人脸深度图包含了目标人脸在各个不同视角下的人脸深度信息。
通常，考虑到三维建模的精度和完整性，需要充分利用待建模的人脸视频流中每帧人脸深度图提供的人脸深度信息，然而由此带来的稠密计算对于计算平台的性能提出了更高的要求。针对上述问题，考虑到人脸视频流采集过程中，目标人脸的转动速度并不高，由此得到的人脸视频流中相邻帧的人脸深度图的人脸角度值的差距比较小，即相邻帧的人脸深度图所反映的人脸深度信息极大程度上发生重合，如果将每帧人脸深度图均应用于三维人脸建模，将引入大量重合的深度信息，大量占用计算资源、延长计算时间。因此，本申请实施例中，预先对人脸视频流中每帧人脸深度图的人脸角度值进行了检测，并以此为据从人脸视频流的每帧人脸深度图中，选取多帧人脸深度图作为关键深度图。
在关键深度图的选取过程中，可以从多帧人脸角度值相近的人脸深度图中选取若干帧作为关键深度图，例如，人脸视频流中人脸角度值在0°到左转10°范围内的人脸深度图共15帧，可以从中随机选取1帧作为关键深度图，人脸角度值在左转10°至左转20°内的人脸深度图共17帧，从中随机选取1帧作为关键深度图，基于上述规则从预先设定的各个角度范围内分别选取关键深度图；此外，还可以每间隔预设角度间隔，选取若干帧作为关键深度图，例如，预设角度间隔为15°，从人脸角度值在0°左右的人脸深度图中选取1帧作为关键深度图，再分别从人脸角度值在左转15°和右转15°左右的人脸深度图中选取1帧作为关键深度图，基于上述规则每隔15°选取1帧关键深度图，本申请实施例对此不作具体限定。
由此选取所得的关键深度图，相较于人脸视频流中的所有人脸深度图，其图像规模大大缩减，且基于各帧人脸深度图的人脸角度值进行选取，在缩减图像规模从而减小后续计算压力的同时，保证了选取所得的各帧关键深度图能够覆盖目标人脸的各个角度，从而确保人脸视频流中的细节信息未因为图像规模的缩减而损失，仍能由此得到精确可靠的三维人脸模型。
步骤120，对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
具体地，在完成关键深度图的选取之后，可以对选取得到每帧关键深度图的点云数据进行配准，并在完成配准后，基于各帧关键深度图的点云数据构建三维人脸模型，例如可以对配准后的各帧关键深度图的点云数据进行合并，并对合并后的点云数据进行下采样、离群点移除和滑动最小二乘法(Moving Least Squares,MLS)去噪以及泊松重建，从而得到三维人脸模型。
本申请实施例提供的方法，基于每人脸深度图的人脸角度值，选取关键深度图用于三维人脸建模，在保证选取所得的关键深度图能够覆盖目标人脸的各个角度，从而在保证三维人脸建模的准确性和可靠性的同时，有效减小三维人脸建模的计算量，缩短三维人脸建模的计算时间，降低三维人脸建模对于计算平台的计算能力的要求，扩宽三维人脸建模的使用范畴。
基于上述实施例，图2是本申请提供的关键深度图选取方法的流程示意图，如图2所示，步骤110包括：
步骤111，确定采集人脸视频流所用深度相机对应的建模角度需求；
步骤112，从人脸视频流中选取所述人脸角度值符合建模角度需求的人脸深度图，作为关键深度图。
具体地，不同的采集设备对应采集所得数据的质量存在影响。具体到人脸视频流的采集，应用不同的深度相机采集所得的人脸视频流中各帧人脸深度图的质量高低也不尽相同。考虑到不同深度相机采集所得的人脸深度图的质量不同，具体在从对应人脸视频流中选取关键深度图的策略也有所不同。
在选取关键深度图之前，首先需要确定采集人脸视频流所用的深度相机对应的建模角度需求，此处的建模角度需求即基于对应深度相机采集所得的人脸深度图进行三维人脸建模所需满足的最低需求，具体可以是选取关键深度图对应人脸角度值的最大角度间隔、选取关键深度图对应人脸角度值的最小角度数量等，例如建模角度需求可以是每间隔5°选取一帧关键深度图，或者在左转45°至右转45°的人脸角度范围内至少选取10个不同人脸角度值的关键深度图。进一步地，建模角度需求可以直接与深度相机的型号对应，也可以是与深度相机的相机参数，例如分辨率、精度等对应，本申请实施例对此不作具体限定。
本申请实施例提供的方法，在关键深度图选取时不仅考虑人脸角度值，还考虑采集人脸视频流所用深度相机的特征，从而使得三维人脸建模方式可以随深度相机本身的特征自适应变化，进一步保证三维人脸建模的可靠性和准确性。
基于上述任一实施例，图3是本申请提供的建模角度需求确定方法的流程示意图，如图3所示，步骤111包括：
步骤111-1，确定采集人脸视频流所用深度相机的成像质量；
步骤111-2，基于成像质量确定建模角度需求。
具体地，深度相机的成像质量可以包括采集所得的深度图中各个深度值与实际情况之间的误差，也可以包括采集所得的深度图中对于细节的缺失程度等。成像质量的高低可以对深度相机采集所得的人脸深度图进行质量评估得到，也可以通过深度相机的自身相机参数分析得到，本申请实施例对此不作具体限定。
在得到深度相机的成像质量后，即可由此确定深度相机对应的建模角度需求。此处，深度相机的成像质量越高，深度相机对应的建模角度需求越低；相应地，深度相机的成像质量越差，深度相机对应的建模角度需求越高。
例如，深度相机的成像质量较高时，可以每间隔22.5°选取一帧关键深度图，而深度相机的成像质量较差时，则需要每隔5°选取一帧关键深度图。
本申请实施例提供的方法，将深度相机成像质量与人脸视频流中每帧人脸深度图的人脸角度值相结合以选取关键深度帧，从而降低深度相机本身成像质量的优劣对于三维人脸建模质量优劣的影响，即便价格低廉的低精度深度相机也可以基于上述方式实现高精度的三维人脸建模，进一步拓宽了三维人脸建模的应用范畴。
基于上述任一实施例，图4是本申请提供的人脸角度值确定方法的流程示意图，如图4所示，人脸深度图的人脸角度值是基于如下步骤确定的：
步骤210，对任一人脸深度图对应的人脸彩色图进行人脸特征提取，得到人脸彩色图包含目标人脸的多个特征点的二维坐标。
具体地，针对人脸视频流中的任一人脸深度图，与之对应的人脸彩色图是深度相机在同一时刻同一视角下采集所得的二维平面图。
对人脸彩色图进行人脸特征提取，即可得到人脸彩色图包含目标人脸的多个特征点的二维坐标。此处，目标人脸中的特征点可以用于标定目标人脸中对于相貌有较为突出的特征意义的点，例如能够反映目标人脸脸型的人脸外部轮廓点，能够反映目标人脸的眉毛、眼睛、鼻子、嘴巴等的左右眉轮廓点、左右眼特征点、鼻子特征点、嘴部特征点等。此外，特征点的二维坐标即特征点在人脸彩色图中的坐标，反映的是特征点在二维平面坐标系下的位置信息。
步骤220，确定每个特征点在该人脸深度图中的三维坐标。
具体地，人脸深度图和人脸彩色图是一一对应的，人脸深度图中的各个点与人脸彩色图中的各个像素点也是一一对应的，在确定各个特征点在人脸彩色图中二维坐标后，即可直接定位各个特征点在对应人脸深度图中的三维坐标。此处，特征点的三维坐标即特征点在人脸深度图中的坐标，反映的是特征点在相机坐标系下的位置信息。
步骤230，基于每个特征点的二维坐标和三维坐标，确定该人脸深度图的人脸角度值。
具体地，在得到各个特征点的二维坐标和三维坐标之后，即可通过各个特征点的二维坐标与三维坐标之间的转换关系，得到反映从二维平面坐标系到相机坐标系下的转换矩阵，由此确定对应深度人脸图中目标人脸相较于深度相机的转动角度，即对应深度人脸图的人脸角度值。
进一步地，基于各个特征点的二维坐标和三维坐标求解对应人脸深度图的人脸角度值的问题，可以视为PnP(pespective-n-point)问题，将各个特征点的二维坐标视为目标人脸的二维投影位置，将各个特征点的三维坐标视为相机坐标系下的三维空间点坐标，由此构建求解头部位姿的线性方程组，对线性方程组进行求解从而得到人脸角度值。
基于上述任一实施例，图5是本申请提供的三维人脸建模方法的流程示意图之二，如图5所示，步骤120包括：
步骤121，对每帧关键深度图的点云数据进行配准；
步骤122，拼接配准后的每帧关键深度图的点云数据，得到人脸点云数据；
步骤123，基于人脸点云数据，构建三维人脸模型。
具体地，在完成关键深度图的选取之后，可以根据各帧关键深度图的人脸角度值，对各帧关键深度图进行排序，在此基础上，对每两帧相邻的关键深度图的点云数据进行配准。此处的点云配准可以通过迭代最近点(Iterative Closest Point，ICP)配准算法、非刚性迭代最近点(Non-rigid Iterative Closest Point，NICP)算法等实现。
需要说明的是，在进行点云数据配置之前，还可以对每帧关键深度图进行预处理，通过预先设定的深度阈值，过滤每帧关键深度图中与目标人脸无关的深度信息。此后，还可以根据深度相机的拍摄参数，例如相机焦距和主点坐标等，对每帧关键深度图进行坐标变换，从而得到每帧关键深度图的点云数据。
在配准完成后，对配准后的各帧点云数据进行拼接合并，并基于拼接合并后的人脸点云数据构建三维人脸模型。
基于上述任一实施例，图6是本申请提供的点云配置方法的流程示意图，如图6所示，步骤121包括：
步骤121-1，确定每帧关键深度图的点云数据中每个点的法线和/或曲率；
步骤121-2，基于每两帧相邻关键深度图的点云数据中每个点的法线和/或曲率，对每两帧相邻关键深度图的点云数据进行配准。
具体地，考虑到人脸本身存在一些几何结构，例如眼角轮廓、脸部轮廓等，本申请实施例在进行点云配准时，不但从各个点本身特征的层面进行配准，还额外添加了各个点的法线和/或曲率，作为点云配置的参考依据。其中，各个点的法线是指各个点所在表面对象切面法线，各个点的曲率是指各个点所在表面的凹凸程度，各个点的法线和曲率可以通过对点云数据进行曲面重建得到。
在配准过程中，可以仅结合点云数据中各个点的法线，也可以仅结合点云数据中各个点的曲率，还可以结合点云数据中各个点的法线和曲率，本申请实施例对此不作具体限定。点云数据中各个点的法线和/或曲率在点云配准中的应用，保留了各帧点云数据在几何结构层面上的特征，有助于进一步提高点云配准的准确性，进而提高三维人脸建模精度。
基于上述任一实施例，人脸视频流是基于如下步骤确定的：
控制深度相机实时采集人脸视频流，同时每隔预设时间播报人员动作指令，人员动作指令包括人脸转动方向和/或人脸转动角度，人员动作指令用于提示人员根据所述人脸转动方向和/或人脸转动角度转动人脸。
具体地，为了在节约硬件设备成本的同时保证待建模的人脸视频流中可以包含建模所需的各个视角的人脸深度信息，可以仅设置一台深度相机采集人脸视频流，同时通过语音播报或者视频播报的方式每隔预设时间提示待建模的人员可以通过人员动作指令转动，从而使得固定视角下的深度相机可以采集得到各个视角下的人脸深度图。
例如，预设时间可以为5秒。可以每隔5秒语音播报一条人员动作指令，例如“请缓慢向左转动45°”、“请正视相机”等，以使得待建模的人员可以根据人员动作指令缓慢转动人脸，保证深度相机可以实时采集到各个人脸角度值下的人脸图像。
基于上述任一实施例，一种三维人脸建模方法，包括如下步骤：
在语音播报人员动作指令的提示下，待建模的人员通过固定机位的深度相机进行人脸视频流的录制，得到待建模的人脸视频流。
对人脸视频流中的每帧人脸深度图进行人脸角度检测，得到每帧人脸深度图的人脸角度值。
根据深度相机的成像质量，确定建模角度需求，并根据建模角度需求以及每帧人脸深度图的人脸角度值，从所有人脸深度图中选取出多帧关键深度图。
基于每两帧相邻关键深度图的点云数据中每个点的法线和/或曲率，对每两帧相邻关键深度图的点云数据进行配准。
拼接配准后的每帧关键深度图的点云数据，得到人脸点云数据；
基于人脸点云数据，构建三维人脸模型。
本申请实施例提供的方法，基于每帧人脸深度图的人脸角度值，选取关键深度图用于三维人脸建模，在保证选取所得的关键深度图能够覆盖目标人脸的各个角度，从而在保证三维人脸建模的准确性和可靠性的同时，有效减小三维人脸建模的计算量，缩短三维人脸建模的计算时间，降低三维人脸建模对于计算平台的计算能力的要求，扩宽三维人脸建模的使用范畴。
此外，将深度相机成像质量与人脸视频流中每帧人脸深度图的人脸角度值相结合以选取关键深度帧，从而降低深度相机本身成像质量的优劣对于三维人脸建模质量优劣的影响，即便价格低廉的低精度深度相机也可以基于上述方式实现高精度的三维人脸建模，进一步拓宽了三维人脸建模的应用范畴。
下面对本申请提供的三维人脸建模装置进行描述，下文描述的三维人脸建模装置与上文描述的三维人脸建模方法可相互对应参照。
图7是本申请提供的三维人脸建模装置的结构示意图之一，如图7所示，三维人脸建模装置包括关键帧选取单元710和建模单元720；
关键帧选取单元710用于基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；
建模单元720用于对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
本申请实施例提供的三维人脸建模装置，基于每帧人脸深度图的人脸角度值，选取关键深度图用于三维人脸建模，在保证选取所得的关键深度图能够覆盖目标人脸的各个角度，从而在保证三维人脸建模的准确性和可靠性的同时，有效减小三维人脸建模的计算量，缩短三维人脸建模的计算时间，降低三维人脸建模对于计算平台的计算能力的要求，扩宽三维人脸建模的使用范畴。
基于上述任一实施例，图8是本申请提供的三维人脸建模装置中关键帧选取单元的结构示意图，如图8所示，关键帧选取单元710包括需求确定子单元711和选取子单元712；
需求确定子单元711用于确定采集所述人脸视频流所用深度相机对应的建模角度需求；
选取子单元712用于从所述人脸视频流中选取所述人脸角度值符合所述建模角度需求的人脸深度图，作为所述关键深度图。
基于上述任一实施例，需求确定子单元711用于：
确定采集所述人脸视频流所用深度相机的成像质量；
基于所述成像质量确定所述建模角度需求。
基于上述任一实施例，图9是本申请提供的三维人脸建模装置的结构示意图之二，如图9所示，该装置还包括角度检测单元730，角度检测单元730用于：
对任一人脸深度图对应的人脸彩色图进行人脸特征提取，得到所述人脸彩色图包含目标人脸的多个特征点的二维坐标；
基于每个特征点的二维坐标，确定每个特征点在所述任一人脸深度图中的三维坐标；
基于每个特征点的二维坐标和三维坐标，确定所述任一人脸深度图的人脸角度值。
基于上述任一实施例，图10是本申请提供的三维人脸建模装置中建模单元的结构示意图，如图10所示，建模单元720包括配准子单元721、拼接子单元722和建模子单元723；
其中，配准子单元721用于对每帧关键深度图的点云数据进行配准；
拼接子单元722用于拼接配准后的每帧关键深度图的点云数据，得到人脸点云数据；
建模子单元723用于基于所述人脸点云数据，构建三维人脸模型。
基于上述任一实施例，配准子单元721用于：
确定每帧关键深度图的点云数据中每个点的法线和/或曲率；
基于每两帧相邻关键深度图的点云数据中每个点的法线和/或曲率，对每两帧相邻关键深度图的点云数据进行配准。
基于上述任一实施例，图11是本申请提供的三维人脸建模装置的结构示意图之三，如图11所示，该装置还包括视频流采集单元740，视频流采集单元740用于：
控制深度相机实时采集人脸视频流，同时每隔预设时间播报人员动作指令，所述人员动作指令包括人脸转动方向和/或人脸转动角度，所述人员动作指令用于提示人员根据所述人脸转动方向和/或人脸转动角度转动人脸。
本申请实施例提供的三维人脸建模装置用于执行上述三维人脸建模方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行三维人脸建模方法，该方法包括：基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1410可以调用存储器1430中的逻辑指令，实现上述三维人脸建模方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的三维人脸建模方法，该方法包括：基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
本申请实施例提供的计算机程序产品被执行时，实现上述三维人脸建模方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的三维人脸建模方法，该方法包括：基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述三维人脸建模方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种三维人脸建模方法，其特征在于，包括：
基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；
对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
2.根据权利要求1所述的三维人脸建模方法，其特征在于，所述基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图，包括：
确定采集所述人脸视频流所用深度相机对应的建模角度需求；
从所述人脸视频流中选取所述人脸角度值符合所述建模角度需求的人脸深度图，作为所述关键深度图。
3.根据权利要求2所述的三维人脸建模方法，其特征在于，所述确定采集所述人脸视频流所用深度相机对应的建模角度需求，包括：
确定采集所述人脸视频流所用深度相机的成像质量；
基于所述成像质量确定所述建模角度需求。
4.根据权利要求1所述的三维人脸建模方法，其特征在于，所述人脸深度图的人脸角度值是基于如下步骤确定的：
对任一人脸深度图对应的人脸彩色图进行人脸特征提取，得到所述人脸彩色图包含目标人脸的多个特征点的二维坐标；
基于每个特征点的二维坐标，确定每个特征点在所述任一人脸深度图中的三维坐标；
基于每个特征点的二维坐标和三维坐标，确定所述任一人脸深度图的人脸角度值。
5.根据权利要求1所述的三维人脸建模方法，其特征在于，所述对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型，包括：
对每帧关键深度图的点云数据进行配准；
拼接配准后的每帧关键深度图的点云数据，得到人脸点云数据；
基于所述人脸点云数据，构建三维人脸模型。
6.根据权利要求1或5所述的三维人脸建模方法，其特征在于，所述对每帧关键深度图的点云数据进行配准，包括：
确定每帧关键深度图的点云数据中每个点的法线和/或曲率；
基于每两帧相邻关键深度图的点云数据中每个点的法线和/或曲率，对每两帧相邻关键深度图的点云数据进行配准。
7.根据权利要求1至5中任一项所述的三维人脸建模方法，其特征在于，所述人脸视频流是基于如下步骤确定的：
控制深度相机实时采集人脸视频流，同时每隔预设时间播报人员动作指令，所述人员动作指令包括人脸转动方向和/或人脸转动角度，所述人员动作指令用于提示人员根据所述人脸转动方向和/或人脸转动角度转动人脸。
8.一种三维人脸建模装置，其特征在于，包括：
关键帧选取单元，用于基于待建模的人脸视频流中每帧人脸深度图的人脸角度值，选取多帧人脸深度图作为关键深度图；
建模单元，用于对每帧关键深度图的点云数据进行配准，并基于配准后的每帧关键深度图的点云数据构建三维人脸模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述三维人脸建模方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述三维人脸建模方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011331307.1A CN112562060A (zh) | 2020-11-24 | 2020-11-24 | 三维人脸建模方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011331307.1A CN112562060A (zh) | 2020-11-24 | 2020-11-24 | 三维人脸建模方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112562060A true CN112562060A (zh) | 2021-03-26 |
Family
ID=75043363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011331307.1A Pending CN112562060A (zh) | 2020-11-24 | 2020-11-24 | 三维人脸建模方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112562060A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242961A (zh) * | 2018-09-26 | 2019-01-18 | 北京旷视科技有限公司 | 一种脸部建模方法、装置、电子设备和计算机可读介质 |
| CN110060336A (zh) * | 2019-04-24 | 2019-07-26 | 北京华捷艾米科技有限公司 | 三维人脸重建方法、装置、介质以及设备 |
| CN110378994A (zh) * | 2018-04-12 | 2019-10-25 | Oppo广东移动通信有限公司 | 人脸建模方法及相关产品 |
| CN111160232A (zh) * | 2019-12-25 | 2020-05-15 | 上海骏聿数码科技有限公司 | 正面人脸重建方法、装置及系统 |
-
2020
- 2020-11-24 CN CN202011331307.1A patent/CN112562060A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378994A (zh) * | 2018-04-12 | 2019-10-25 | Oppo广东移动通信有限公司 | 人脸建模方法及相关产品 |
| CN109242961A (zh) * | 2018-09-26 | 2019-01-18 | 北京旷视科技有限公司 | 一种脸部建模方法、装置、电子设备和计算机可读介质 |
| CN110060336A (zh) * | 2019-04-24 | 2019-07-26 | 北京华捷艾米科技有限公司 | 三维人脸重建方法、装置、介质以及设备 |
| CN111160232A (zh) * | 2019-12-25 | 2020-05-15 | 上海骏聿数码科技有限公司 | 正面人脸重建方法、装置及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158908A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| WO2022012192A1 (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN111199579B (zh) | 一种目标物的三维模型构建方法、装置、设备及介质 | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| CN109660783B (zh) | 虚拟现实视差校正 | |
| CN106033621B (zh) | 一种三维建模的方法及装置 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN108230384B (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
| EP4036863A1 (en) | Human body model reconstruction method and reconstruction system, and storage medium | |
| CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
| CN112802208B (zh) | 一种航站楼内三维可视化方法及装置 | |
| CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| US20230024396A1 (en) | A method for capturing and displaying a video stream | |
| US20180213215A1 (en) | Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| CN111680573A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| CN112562060A (zh) | 三维人脸建模方法、装置、电子设备及存储介质 | |
| CN113989434A (zh) | 一种人体三维重建方法及设备 | |
| CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| EP4227903A1 (en) | Method for head image registration and head model generation and corresponding devices | |
| CN113240811B (zh) | 三维人脸模型创建方法、系统、设备及存储介质 | |
| US20230144111A1 (en) | A method for generating a 3d model | |
| CN114399800A (zh) | 人脸姿态估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
| RJ01 | Rejection of invention patent application after publication |