CN116563432A - 三维数字人生成方法及装置、电子设备和存储介质 - Google Patents
三维数字人生成方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116563432A CN116563432A CN202310544701.0A CN202310544701A CN116563432A CN 116563432 A CN116563432 A CN 116563432A CN 202310544701 A CN202310544701 A CN 202310544701A CN 116563432 A CN116563432 A CN 116563432A
- Authority
- CN
- China
- Prior art keywords
- face
- feature vector
- image
- dimensional digital
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 296
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 25
- 238000009877 rendering Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 210000000887 face Anatomy 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 210000000216 zygoma Anatomy 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种三维数字人生成方法及装置、电子设备和存储介质。该方法包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。因此，可以提高确定目标三维数字人的效率和正确率。
Description
技术领域
本公开涉及动画制作领域，尤其涉及一种三维数字人生成方法及装置、电子设备和存储介质。
背景技术
在工业界面、电影、游戏等多个行业应用场景中，都有建立三维数字人的需求。
通常，工程师先进行三维数字人脸重建，再将三维数字人脸与三维数字人体对接。由于二维图像质量参差不齐，所以三维数字人脸的准确性不高。因此还需要人工手动捏脸，准确性较低。且，降低了生成三维数字人的效率。
发明内容
有鉴于此，本公开提出了一种三维数字人生成方案，可以提升生成三维数字人的准确性和效率。
根据本公开的一方面，提供了一种三维数字人生成方法，包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
在一种可能的实现方式中，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；在所述第一人脸分割结果中，确定所述第一人脸特征向量。
在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；根据所述第一反射特征向量，得到纹理贴图。
在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
在一种可能的实现方式中，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
在一种可能的实现方式中，所述方法应用于第一神经网络，所述第一神经网络的训练过程，包括：对图像样本进行第一下采样操作，确定第三潜在特征向量；对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
根据本公开的另一方面，提供了一种三维数字人生成装置，包括：
关键点检测单元，用于对待处理人脸图像进行关键点检测，得到第一特定关键点数据；
第一人脸特征向量确定单元，用于确定所述待处理人脸图像对应的第一人脸特征向量；
三维数字人脸数据确定单元，用于根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；
目标三维数字人生成单元，用于利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述三维数字人脸数据确定单元，包括：
坐标替换单元，用于使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
在一种可能的实现方式中，所述第一人脸特征向量确定单元，包括：
分割单元，用于对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；
第一人脸特征确定子单元，用于在所述第一人脸分割结果中，确定所述第一人脸特征向量。
在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述装置还包括：
法线贴图生成单元，用于根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；
纹理贴图生成单元，用于根据所述第一反射特征向量，得到纹理贴图。
在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述三维数字人脸数据确定单元，包括：
初始数字人脸数据生成单元，用于根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
在一种可能的实现方式中，所述目标三维数字人生成单元，包括：
第一坐标确定单元，用于基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；
渲染单元，用于基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
在一种可能的实现方式中，所述装置应用于第一神经网络，所述第一神经网络的训练过程，包括：
对图像样本进行第一下采样操作，确定第三潜在特征向量；
对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；
对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；
对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；
基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，
所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：
对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；
对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；
对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；
将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；
所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：
对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；
将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
在本公开实施例中，可以单独对待处理人脸图像进行关键点检测，得到第一特定关键点。并且，确定出待处理人脸图像对应的第一人脸特征向量。根据所述第一人脸特征向量，生成初始数字人脸数据。并且，利用第一特定关键点数据对初始人脸数据进行更新，以获得表征更准确信息的三维数字人脸数据，提高后续生成目标三维数字人的准确性。然后，利用数字人生成软件对三维数字人脸数据进行处理，得到目标三维数字人。由于，可以利用第一特定关键点更新初始人脸数据，所以提高了三维数字人脸数据的准确性，无需人工捏脸。所以，总体上提高了生成三维数字人的准确性和效率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1提供本公开实施例的三维数字人生成方法的流程示意图。
图2提供本公开实施例的三维数字人生成方法的另一流程示意图。
图3提供本公开实施例的三维数字人生成装置的结构示意图。
图4提供本公开实施例的一种用于三维数字人生成的电子设备的结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
通常，在生成三维数字人的场景中，工程师可以利用二维图像，通过模型生成三维数字人脸。但是由于二维图像的质量参差不齐，所以三维数字人脸的准确性不高。虽然，增加模型的层的数量可以在一定程度上提高三维数字人脸的准确性，但是需要重新建模、训练模型成本较高。而且，模型效果与训练样本强相关，准确性提升不明显。
另外，还可以通过人工手动捏脸，调整生成的三维数字人脸，但是准确性也不高。而且，降低了生成三维数字人的效率。
图1提供本公开实施例的三维数字人生成方法的流程示意图。如图1所示，该方法包括：
S11，对待处理人脸图像进行关键点检测，得到第一特定关键点数据。
待处理人脸图像可以为包含人脸的二维图像。第一特征关键点数据可以为待处理人脸图像中人脸的关键点数据的一部分。例如：第一特征关键点数据可以为待处理人脸图像中五官、人脸轮廓的关键点数据。第一特征关键点数据可以表征三维人脸的部分区域的形状。
在本公开实施例中，可以预先训练特定关键点数据提取模型；可以使用特定关键点数据提取模型对待处理人脸图像进行关键点检测，获得第一特征关键点数据。
S12，确定所述待处理人脸图像对应的第一人脸特征向量。
第一人脸特征向量可以为表征待处理人脸图像中人脸的特征向量。在本公开实施例中，可以从待处理人脸图像中提取出第一人脸特征向量。
S13，根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据。
初始数字人脸数据可以表征三维数字人脸的初始状态，以及三维数字人脸各位置上的初始光线强度。初始状态可以包括：三维数字人脸的初始形状、初始姿态、初始五官相对位置。在本公开实施例中，可以利用第一特定关键点数据对初始数字人脸数据进行更新，以实现对于三维数字人脸状态、三维数字人脸各位置上的光线强度的更新，得到三维数字人脸数据。三维数字人脸数据可以表征三维数字人脸更新后的状态，以及三维数字人脸各位置上更新后的光线强度。更新后的状态可以包括：三维数字人脸更新后的形状、更新后的姿态、更新后的五官相对位置。三维数字人脸数据表征的信息比初始数字人脸表征的信息更加准确。
S14，利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
数字人生成软件可以将三维数字人脸与三维数字人体进行对接，得到初始三维数字人。再对初始三维数字人进行渲染，对初始三维数字人的脸部光线、颜色进行更新，生成目标三维数字人。
在本公开实施例中，可以单独对待处理人脸图像进行关键点检测，得到第一特定关键点。并且，确定出待处理人脸图像对应的第一人脸特征向量。根据所述第一人脸特征向量，生成初始数字人脸数据。并且，利用第一特定关键点数据对初始人脸数据进行更新，以获得表征更准确信息的三维数字人脸数据，提高后续生成目标三维数字人的准确性。然后，利用数字人生成软件对三维数字人脸数据进行处理，得到目标三维数字人。由于，可以利用第一特定关键点更新初始人脸数据，所以提高了三维数字人脸数据的准确性，无需人工捏脸。所以，总体上提高了生成三维数字人的准确性和效率。
在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
第一特定关键点可以为初始三维人脸关键点中的一部分关键点。第一特定关键点可以为人脸五官和人脸轮廓部分的关键点。所以初始三维人脸关键点中有一部分关键点与第一特定关键点相对应。第一特定关键点的坐标比与第一特定关键点对应的初始三维人脸关键点的坐标更加准确。在本公开实施例中，可以利用第一特定关键点的坐标，替换掉与第一特定关键点相对应的初始三维人脸关键点的坐标。这样，可以提高三维数字人脸数据的准确性。
在一种可能的实现方式中，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；在所述第一人脸分割结果中，确定所述第一人脸特征向量。
由于待处理图像中，人物与背景的对比度、颜色各异。有些待处理图像，背景颜色与人物较贴近；有些待处理图像人物占比较小等等。这样一来，背景容易对于提取第一人脸特征向量造成了干扰。所以，在本公开实施例中可以先对待处理图像中的人脸进行分割。即，执行第一分割操作，以获得第一人脸分割结果。然后，在第一人脸分割结果中，确定第一人脸特征向量。由此，可以降低背景对于提取第一人脸特征向量的影响，提高确定第一人脸特征向量的准确性。
在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；根据所述第一反射特征向量，得到纹理贴图。
第一反射特征向量可以表征待处理图像中的在人脸的各关键点上的颜色。
人的相貌各异。通过对人的某些部位进行对比，便可以对人脸做出区分。例如：对五官、颧骨、脸部轮廓等进行对比。为了便于下文描述，将这些用来区分人脸的部位命名为细节部位。以上仅为示例，本实施例对于细节部位不做限定。
第一细节特征向量可以表征待处理图像中人脸的细节部位的关键点的坐标。第一姿势特征向量可以表征待处理图像中人脸的朝向，以及相对于标准头部的位置偏移角度。第一表情特征向量可以表征待处理图像中的人脸各关键点与标准人脸关键点的映射关系。
在本公开实施例中，可以将第一细节特征向量、第一姿势特征向量、第一表情特征向量拼接，作为一个整体，即第一拼接向量。并对第一拼接向量进行上采样，得到法线贴图。法线贴图可以展现三维数字人脸数据所表征的人脸的各关键点上的反射光强度。
并且，可以对第一反射特征向量进行处理，例如：对第一反射特征向量进行上采样操作，得到纹理贴图。纹理贴图可以展现三维数字人脸数据所表征的人脸的各关键点上的颜色。
由于，人脸部的细节部位的位置、人脸部的朝向及转动角度、人脸部的表情都会影响人脸上的各关键点的反射光强度。所以可以对第一细节特征向量、第一姿势特征向量、第一表情特征向量进行处理，提高确定出法线贴图的准确性。而且，可以直接根据第一反射特征向量，得到纹理贴图，提高获得纹理贴图的效率。
在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
第一形状特征向量可以表征待处理图像中人脸的轮廓，以及人脸各部分的轮廓，例如：五官、脸颊、额头等的轮廓、以及人脸的各部分的位置关系。
在本公开实施例中，可以将第一形状特征向量、第一姿势特征向量、第一表情特征向量拼接，作为一个整体，即第二拼接向量。并对第二拼接向量进行上采样，得到初始数字人脸数据。由于，综合了待处理图像中人脸的形状、姿势、表情，提高了初始数字人脸数据的准确性。
在一种可能的实现方式中，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
标准三维数字人可以是预先生成的三维数字人。标准三维数字人包括：标准三维人脸、标准三维人体。标准三维人脸可以由脸部关键点构成。通过改变标准三维人脸的脸部关键点的坐标，可以改变标准三维人脸的形状、姿势、表情等。标准三维人脸的脸部关键点，可以与三维数字人脸数据中关键点一一对应。
在本公开实施例中，可以基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整。经过调整后，可以得到目标三维数字人的脸部关键点的第一坐标。各第一坐标与三维数字人脸数据中对应的关键点的坐标相同。即，自动将标准三维人脸的脸部调整成三维数字人脸数据表征的三维人脸，提高了效率。
另外，由于各第一坐标与三维数字人脸数据中对应的关键点的坐标相同，且法线贴图可以展现三维数字人脸数据所表征的人脸的各关键点上的反射光强度、纹理贴图可以展现三维数字人脸数据所表征的人脸的各关键点上的颜色。因此，可以基于第一坐标将纹理贴图和/或法线贴图，与目标三维数字人的脸部进行渲染，确定所述目标三维数字人。
在一种可能的实现方式中，所述方法应用于第一神经网络，即利用第一神经网络提取第一人脸特征向量，或者进一步的，由第一神经网络提取第一人脸特征向量，并生成对应的初始数字人脸数据。第一神经网络可以是被预先训练好的，或者，可以理解的是，在使用第一神经网络进行推理前，可以首先对其进行训练。具体的，所述第一神经网络的训练过程，包括：对图像样本进行第一下采样操作，确定第三潜在特征向量；对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
其中，第一神经网络的具体类型不做限定，例如可以为卷积神经网络、循环神经网络等。在第一神经网络中可以包括多个编码器和多个解码器，各个编码器和解码器之间相互配合，不同编码器和解码器的输出数据可以能够表征输入图像在某一方面的物理含义，例如光线、反射、形状、姿势、细节等。在一种可行的实施方式中，第三潜在特征可以被视为在第一神经网络基于当前网络参数提取得到的图像样本对应的人脸特征向量；在另一种实施方式中，第三潜在特征向量可以与第三细节特征向量配合生成第一神经网络基于当前网络参数提取得到的图像样本对应的人脸特征向量；在另一种实施方式中，基于第三潜在特征向量，或基于第三潜在特征向量以及第三细节特征向量，经过解码器处理后，得到第一神经网络基于当前网络参数提取得到的初始数字人脸数据。第三潜在特征可以是低维的特征向量。第三潜在特征可以表征图像样本的特征，可以包括：图像自身的特征、图像中人脸的特征，比如：人脸的姿势、形状、表情等特征，以及根据人脸的姿势、形状、表情所确定的各人脸关键点的反射光强度特征。图像样本的人脸细节关键点可以是图像样本的人脸关键点的一部分，且位于图像样本人脸的细节部位。
在本公开实施例中，一方面通过对图像样本进行第一下采样操作，确定第三潜在特征；再对第三潜在特征进行第一上采样操作，确定出第三人脸图像。另一方面，对图像样本进行第二上采样操作，确定出第三细节特征向量；对第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像其中，第三人脸图像可以为二维图像，第四人脸图像可以为二维图像。第四人脸图像比第三人脸图像在人脸细节上更加准确。这里，第一下采样、第二下采样可以不相同；第一上采样、第二上采样可以不相同。
实际上，第三人脸图像可以为重建的图像样本。第四人脸图像为另一重建的图像样本。所以，第三人脸图像、第四人脸图像越接近图像样本，第一神经网络的准确性越高。因此，可以基于图像样本与第三人脸图像的第一差异、图像样本与第四人脸图像的第二差异，调节所述第一神经网络的参数。
这样，经过训练的第一神经网络不仅可以准确的表现人脸的轮廓、外形、姿势，还可以准确的表现人脸的细节部位的特征，提高了第一神经网络的准确性。
在一种可能的实现方式中，所述第三细节特征向量包括以下至少一种：鼻子细节特征向量、眼角细节特征向量、嘴角细节特征向量、下巴细节特征向量、额头细节特征向量、颧骨细节特征向量。
由于图像样本中的人脸与实际使用时输入图像中的人脸的可能会有较大差异。例如，图像样本的人脸为西方人的人脸，输入图像的人脸为亚洲人的人脸。所以，即使在训练过程中第一神经网络的准确度满足要求；但是有可能在使用过程中，第一神经网络的准确性有所降低。
无论不同人种，还是不同人物个体，在鼻子、眼角、嘴角、下巴、额头、颧骨会有明显差异。所以，可以将鼻子、眼角、嘴角、下巴、额头、颧骨确定为细节部位；并将这些细节部位对应的特征向量中的一种或多种作为第三细节特征向量。减少了第一神经网络的准确性对图像样本的依赖，提高第一神经网络稳定性、普适性。
在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
第三相机特征向量可以表征采集图像样本的图像采集设备相对于被采集对象的角度、距离。第三反射特征向量可以表征图像样本中人脸各关键点的颜色。第三光线特征向量可以表征拍摄图像样本时入射光的强度、角度。第三形状特征向量可以表征图像样本中人脸对应的第四三维人脸的关键点坐标(即，第四人脸关键点的坐标)。第三形状特征向量可以表征图像样本中人脸的轮廓、五官的轮廓。第三姿势特征向量可以表征图像样本中人脸整体的朝向，以及相对于标准人脸的偏移量、旋转角度。第三表情特征向量可以表征图像样本中人脸的各部分相对于标准人脸的对应的各部分的偏移量、以及图像样本中人脸的各部分的位置关系。
在本公开实施例中，可以利用第三形状特征向量、第三姿势特征向量、第三表情特征向量，确定第四人脸关键点的坐标、第四人脸关键点上的反射光强度。所以，第四人脸关键点表征的第四三维人脸不仅展现图像样本中人脸的外形、姿势、表情，还可以展现图像样本中人脸各部分的光线强度。第四人脸关键点的坐标为三维坐标。
并且，还可以利用第三反射特征向量，确定表征第四人脸关键点的颜色的样本纹理贴图。然后，基于第三相机特征向量、光线信息、样本纹理贴图、第四人脸关键点的坐标、第四人脸关键点的反射光强度进行渲染，确定出第三人脸图像。
第三细节特征向量表征图像样本人脸的细节关键点的坐标。在本公开实施例中，可以利用第三细节特征向量、第三姿势特征向量、第三表情特征向量，确定出表征图像样本中各细节关键点的反射光线强度的样本法线贴图。并且，将第四人脸关键点的坐标、第四人脸关键点的反射光强度、样本法线贴图进行渲染，可以获得第五人脸关键点的坐标、第五人脸关键点的反射光强度。第五人脸关键点表征第五三维人脸。第五三维人脸比第四三维人脸可以更准确的展现图像样本中人脸的细节部位的特征。并且，可以将五人脸关键点的坐标、第五人脸关键点的反射光强度、样本纹理贴图进行渲染，确定第四人脸图像。
在本公开实施例中，图像样本、第三人脸图像、第四人脸图像均为二维图像。本公开实施例包括两个环节，分别为生成第三人脸图像环节、生成第四人脸图像环节。在生成第三人脸图像环节中，关注图像样本中人脸整体的形状、姿势、表情、颜色。在生成第四人脸图像环节，着重关注图像样本中人脸细节部位的特征。并且，将细节特征对于人脸整体的形状、姿势、表情的影响，展现在第四图像中。由此，使用第三人脸图像、第四人脸图像分别与图像样本的差异(第一差异、第二差异)调整第一神经网络的参数，可以在整体和细节上均提高生成三维人脸的准确性。
图2提供本公开实施例的三维数字人生成方法的另一流程示意图。如图2所示，在生成目标三维数字人的过程中，需要使用人工智能服务平台和渲染引擎平台。
在人工智能服务平台中，进行如下操作：
S21，预处理人脸图像，获得待处理人脸图像，其中，预处理可以包括对人脸图像进行属性编辑、图像增强等操作；
S22，根据所述待处理图像，生成初始数字人脸数据、法线贴图、纹理贴图；
在渲染引擎平台，进行如下操作：
S23，基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；
S24，基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人；
S25，基于所述第一坐标，为目标三维数字人添加以下至少一种：皮肤、牙齿、毛发、材质。
图3提供本公开实施例的三维数字人生成装置的结构示意图。所述装置30，包括：
关键点检测单元31，用于对待处理人脸图像进行关键点检测，得到第一特定关键点数据；
第一人脸特征向量确定单元32，用于确定所述待处理人脸图像对应的第一人脸特征向量；
三维数字人脸数据确定单元33，用于根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；
目标三维数字人生成单元34，用于利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述三维数字人脸数据确定单元33，包括：
坐标替换单元，用于使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
在一种可能的实现方式中，所述第一人脸特征向量确定单元32，包括：
分割单元，用于对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；
第一人脸特征确定子单元，用于在所述第一人脸分割结果中，确定所述第一人脸特征向量。
在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述装置30还包括：
法线贴图生成单元，用于根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；
纹理贴图生成单元，用于根据所述第一反射特征向量，得到纹理贴图。
在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述三维数字人脸数据确定单元32，包括：
初始数字人脸数据生成单元，用于根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
在一种可能的实现方式中，所述目标三维数字人生成单元34，包括：
第一坐标确定单元，用于基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；
渲染单元，用于基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
在一种可能的实现方式中，所述装置30应用于第一神经网络，所述第一神经网络的训练过程，包括：
对图像样本进行第一下采样操作，确定第三潜在特征向量；
对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；
对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；
对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；
基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，
所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：
对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；
对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；
对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；
将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；
所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：
对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；
将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
图4提供本公开实施例的一种用于三维数字人生成的电子设备的结构示意图。例如，电子设备1900可以被提供为一服务器或终端设备。参照图4，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出接口1958(I/O接口)。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (11)
1.一种三维数字人生成方法，其特征在于，包括：
对待处理人脸图像进行关键点检测，得到第一特定关键点数据；
确定所述待处理人脸图像对应的第一人脸特征向量；
根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；
利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
2.根据权利要求1所述的方法，其特征在于，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：
使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。
3.根据权利要求1所述的方法，其特征在于，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：
对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；
在所述第一人脸分割结果中，确定所述第一人脸特征向量。
4.根据权利要求1所述的方法，其特征在于，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：
根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；
根据所述第一反射特征向量，得到纹理贴图。
5.根据权利要求4所述的方法，其特征在于，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：
根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。
6.根据权利要求4所述的方法，其特征在于，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：
基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；
基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。
7.根据权利要求1所述的方法，其特征在于，所述第一人脸特征向量或所述初始数字人脸数据由第一神经网络生成，所述第一神经网络的训练过程，包括：
利用所述第一神经网络对图像样本进行第一下采样操作，确定第三潜在特征向量；
对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；
利用所述第一神经网络对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；
对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；
基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。
8.据权利要求7所述的方法，其特征在于，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，
所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：
对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；
对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；
对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；
将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；
所述对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像，包括：
对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；
将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。
9.三维数字人生成装置，其特征在于，包括：
关键点检测单元，用于对待处理人脸图像进行关键点检测，得到第一特定关键点数据；
第一人脸特征向量确定单元，用于确定所述待处理人脸图像对应的第一人脸特征向量；
三维数字人脸数据确定单元，用于根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；
目标三维数字人生成单元，用于利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为在执行所述存储器存储的指令时，实现权利要求1至8中任意一项所述的方法。
11.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310544701.0A CN116563432B (zh) | 2023-05-15 | 2023-05-15 | 三维数字人生成方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310544701.0A CN116563432B (zh) | 2023-05-15 | 2023-05-15 | 三维数字人生成方法及装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563432A true CN116563432A (zh) | 2023-08-08 |
| CN116563432B CN116563432B (zh) | 2024-02-06 |
Family
ID=87491300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310544701.0A Active CN116563432B (zh) | 2023-05-15 | 2023-05-15 | 三维数字人生成方法及装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563432B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643397A (zh) * | 2021-08-05 | 2021-11-12 | 广州帕克西软件开发有限公司 | 一种基于人脸识别的虚拟试妆方法 |
| CN114373044A (zh) * | 2021-12-16 | 2022-04-19 | 深圳云天励飞技术股份有限公司 | 生成脸部三维模型的方法、装置、计算设备和存储介质 |
| CN114429518A (zh) * | 2021-12-28 | 2022-05-03 | 清华大学 | 人脸模型重建方法、装置、设备和存储介质 |
| CN114693876A (zh) * | 2022-04-06 | 2022-07-01 | 北京字跳网络技术有限公司 | 数字人生成方法、装置、存储介质和电子设备 |
| WO2022148083A1 (zh) * | 2021-01-07 | 2022-07-14 | 深圳追一科技有限公司 | 仿真3d数字人交互方法、装置、电子设备及存储介质 |
| CN114758090A (zh) * | 2020-12-29 | 2022-07-15 | 华为技术有限公司 | 三维模型生成方法及装置 |
| CN114972601A (zh) * | 2022-06-13 | 2022-08-30 | 北京奇艺世纪科技有限公司 | 模型生成方法、人脸渲染方法、装置及电子设备 |
| CN115393486A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、设备及存储介质 |
| CN115512039A (zh) * | 2022-08-10 | 2022-12-23 | 科大讯飞华南人工智能研究院（广州）有限公司 | 一种3d人脸构建方法 |
| CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
| CN115965735A (zh) * | 2022-12-22 | 2023-04-14 | 百度时代网络技术（北京）有限公司 | 纹理贴图的生成方法和装置 |
-
2023
- 2023-05-15 CN CN202310544701.0A patent/CN116563432B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758090A (zh) * | 2020-12-29 | 2022-07-15 | 华为技术有限公司 | 三维模型生成方法及装置 |
| WO2022148083A1 (zh) * | 2021-01-07 | 2022-07-14 | 深圳追一科技有限公司 | 仿真3d数字人交互方法、装置、电子设备及存储介质 |
| CN113643397A (zh) * | 2021-08-05 | 2021-11-12 | 广州帕克西软件开发有限公司 | 一种基于人脸识别的虚拟试妆方法 |
| CN114373044A (zh) * | 2021-12-16 | 2022-04-19 | 深圳云天励飞技术股份有限公司 | 生成脸部三维模型的方法、装置、计算设备和存储介质 |
| CN114429518A (zh) * | 2021-12-28 | 2022-05-03 | 清华大学 | 人脸模型重建方法、装置、设备和存储介质 |
| CN114693876A (zh) * | 2022-04-06 | 2022-07-01 | 北京字跳网络技术有限公司 | 数字人生成方法、装置、存储介质和电子设备 |
| CN114972601A (zh) * | 2022-06-13 | 2022-08-30 | 北京奇艺世纪科技有限公司 | 模型生成方法、人脸渲染方法、装置及电子设备 |
| CN115512039A (zh) * | 2022-08-10 | 2022-12-23 | 科大讯飞华南人工智能研究院（广州）有限公司 | 一种3d人脸构建方法 |
| CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
| CN115393486A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、设备及存储介质 |
| CN115965735A (zh) * | 2022-12-22 | 2023-04-14 | 百度时代网络技术（北京）有限公司 | 纹理贴图的生成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| ZHONG LI ET AL.: ""Animated 3D Human Avatars from a Single Image with GAN-based Texture Inference"", 《COMPUTERS & GRAPHICS》 * |
| 王静婷等: ""单张图像三维人脸重建方法综述"", 《计算机工程与应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563432B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113793408B (zh) | 一种实时音频驱动人脸生成方法、装置及服务器 | |
| US20230237841A1 (en) | Occlusion Detection | |
| CN113327278B (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
| CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
| CN112614213A (zh) | 人脸表情确定方法、表情参数确定模型、介质及设备 | |
| CN111553284A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN115345980A (zh) | 个性化纹理贴图的生成方法及装置 | |
| CN112967196A (zh) | 图像修复方法及装置、电子设备和介质 | |
| CN114187624A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN117274491A (zh) | 三维重建模型的训练方法、装置、设备和介质 | |
| CN112967355A (zh) | 图像填充方法及装置、电子设备和介质 | |
| WO2011162352A1 (ja) | ３次元データ生成装置、生成方法およびプログラム | |
| CN108573192B (zh) | 匹配人脸的眼镜试戴方法和装置 | |
| CN111899159A (zh) | 用于变换发型的方法、装置、设备以及存储介质 | |
| CA3180427A1 (en) | Synthesizing sequences of 3d geometries for movement-based performance | |
| US10803677B2 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
| GB2612881A (en) | Techniques for re-aging faces in images and video frames | |
| CN111754431A (zh) | 一种图像区域替换方法、装置、设备及存储介质 | |
| CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US11893681B2 (en) | Method for processing two-dimensional image and device for executing method | |
| CN116563432B (zh) | 三维数字人生成方法及装置、电子设备和存储介质 | |
| US20240013464A1 (en) | Multimodal disentanglement for generating virtual human avatars | |
| CN113223128B (zh) | 用于生成图像的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |