CN114782596A - 语音驱动的人脸动画生成方法、装置、设备及存储介质 - Google Patents
语音驱动的人脸动画生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114782596A CN114782596A CN202210185835.3A CN202210185835A CN114782596A CN 114782596 A CN114782596 A CN 114782596A CN 202210185835 A CN202210185835 A CN 202210185835A CN 114782596 A CN114782596 A CN 114782596A
- Authority
- CN
- China
- Prior art keywords
- image
- audio
- features
- visual angle
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000005855 radiation Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 210000005036 nerve Anatomy 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000009499 grossing Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims description 41
- 238000013507 mapping Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 11
- 210000000256 facial nerve Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000001308 synthesis method Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及计算机视觉技术领域，特别涉及一种语音驱动的人脸动画生成方法、装置、设备及存储介质，其中，方法包括：基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征；逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。由此，解决了现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。
Description
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种语音驱动的人脸动画生成方法、装置、设备及存储介质。
背景技术
语音驱动的人脸动画合成是以一段说话音频作为驱动信号来控制嘴型，生成和给定音频相配合的目标人脸视频。这种新兴技术具有广泛的应用场景，例如电影配音、视频会议、在线教育和虚拟替身等。虽然最近涌现了大量的相关研究，但是如何生成自然且逼真的语音驱动人脸动画视频仍然具有相当大的挑战。
目前，语音驱动的人脸动画合成方法大致可以分为基于2D的方法和基于3D的方法。其中，基于2D的方法通常依赖于生成对抗模型(Generative Adversarial Networks，GAN)，然而，由于缺乏对于头部三维结构的建模，大部分这类方法都难以产生生动自然的说话人脸动画。语音驱动的人脸动画合成流派依赖于3D人脸形变模型(3d Morphable Model，3DMM)，得益于对于人脸的3D建模，这类方法可以生成比基于2D的方法更加生动的说话人脸。然而，由于使用中间3DMM参数会导致一些信息丢失，生成视频的视听一致性可能会受到影响。
相关技术中，基于神经辐射场(Neural Radiance Field，NeRF)的语音驱动的人脸动画合成方法取得了很大的进步，NeRF使用深度全连接网络以体素的形式存储物体的三维几何和外观信息。基于NeRF的方法可以更好地捕捉面部的3D结构信息。并且它直接将音频特征映射到神经辐射场，用于说话人脸的肖像渲染，不引入额外的中间表示。
然而，该方法只把特定人的3D特征表示编码到了网络中，因此无法推广到新的身份。对于每个新身份，都需要使用大量的数据来训练一个特定的模型，导致在一些只有少量数据可用的实际应用场景中，这类方法的性能将受到极大的限制。
发明内容
本申请提供一种语音驱动的人脸动画生成方法、装置、设备及存储介质，以解决现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。
本申请第一方面实施例提供一种语音驱动的人脸动画生成方法，包括以下步骤：
基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征；
逐帧提取音频的初始音频特征，并对所述音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；以及
利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
可选地，所述基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征，包括：
从所述任一查询视角出发，向所述待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；
将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取所述多张参考图像的像素级别特征；
基于融合后的像素级别特征生成所述图像特征。
可选地，在将所述任意一个3D采样点映射到所述每张参考图像上对应的2D像素位置之前，还包括：
利用预设的音频信息感知的变形场，将所述多张参考图像转化到预设空间中。
可选地，所述利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，包括：
对于每张图像，获取头部的旋转向量和平移向量，并根据所述旋转向量和平移向量确定所述头部的实际位置；
基于所述头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；
基于所述3D空间采样点的坐标、所述观察视角方向、所述音频特征与所述图像特征，利用多层感知器获取3D采样点的RGB颜色和空间密度。
可选地，所述利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，还包括：
将所述RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
本申请第二方面实施例提供一种语音驱动的人脸动画生成装置，包括：
提取模块，用于基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征；
第一获取模块，用于逐帧提取音频的初始音频特征，并对所述音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；以及
第二获取模块，用于利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
可选地，所述提取模块，具体用于：
从所述任一查询视角出发，向所述待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；
将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取所述多张参考图像的像素级别特征；
基于融合后的像素级别特征生成所述图像特征。
可选地，在将所述任意一个3D采样点映射到所述每张参考图像上对应的2D像素位置之前，所述提取模块，还用于：
利用预设的音频信息感知的变形场，将所述多张参考图像转化到预设空间中。
可选地，所述第二获取模块，具体用于：
对于每张图像，获取头部的旋转向量和平移向量，并根据所述旋转向量和平移向量确定所述头部的实际位置；
基于所述头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；
基于所述3D空间采样点的坐标、所述观察视角方向、所述音频特征与所述图像特征，利用多层感知器获取3D采样点的RGB(RGB color mode，RGB色彩模式)颜色和空间密度。
可选地，所述第二获取模块，还用于：
将所述RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的语音驱动的人脸动画生成方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的语音驱动的人脸动画生成方法。
由此，本申请实施例的语音驱动的人脸动画生成方法具有以下优点：
(1)基于三维感知图像特征的动态人脸神经辐射场，得益于三维感知图像特征参考机制，人脸神经辐射场可以通过很少的微调训练迭代次数快速泛化到新的身份类别上；
(2)音频感知的可微分人脸变形场，借助于这一人脸变形模块，本申请实施例可以将所有的参考图像映射到标准空间中，更加准确地建模动态人脸，从而生成更加真实准确的音频驱动嘴型；
(3)基于可微分人脸变形场和动态人脸神经辐射场的语音驱动人脸动画生成框架，该框架可以进行端到端训练，并且只使用少量训练样本就可以快速泛化到新的身份类别上，生成生动自然的语音驱动人脸动画视频。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种语音驱动的人脸动画生成方法的流程图；
图2为根据本申请一个具体实施例的语音驱动的人脸动画生成方法的流程图；
图3为根据本申请一个实施例的可微分人脸变形模块的处理示意图；
图4为根据本申请实施例的语音驱动的人脸动画生成装置的示例图；
图5为根据本申请实施例的电子设备的示例图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的语音驱动的人脸动画生成方法、装置、设备及存储介质。针对上述背景技术中心提到的现有语音驱动的人脸动画合成方法的低泛化性问题，本申请提供了一种语音驱动的人脸动画生成方法，在该方法中，可以基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征，并逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征，并利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。由此，解决现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。
具体而言，图1为本申请实施例所提供的一种语音驱动的人脸动画生成方法的流程示意图。
如图1所示，该语音驱动的人脸动画生成方法包括以下步骤：
在步骤S101中，基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征。
可选地，基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征，包括：从任一查询视角出发，向待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取多张参考图像的像素级别特征；基于融合后的像素级别特征生成图像特征。
可选地，在将任意一个3D采样点映射到每张参考图像上对应的2D像素位置之前，还包括：利用预设的音频信息感知的变形场，将多张参考图像转化到预设空间中。
具体而言，如图2所示，图2为本申请一个具体实施例的语音驱动的人脸动画生成方法的流程图，整个流程图可以被划分为图像流、音频流和人脸神经辐射场三部分。在图像流中，给定任意的一个查询视角以及N张参考图像，本申请实施例可以得到该视角下对应的图像特征。对于每张参考图像，本申请实施例都使用一个卷积神经网络(ConvolutionalNeural Networks，CNN)来提取像素级别的特征图。从查询视角出发，向待渲染图像中的每个像素发射射线，并且在每条射线上都采样一系列的3D点，对于任意一个3D采样点，本申请实施例可以将其映射到每张参考图像上的对应2D像素位置。考虑到说话人脸的动态性，本申请实施例可以进一步设计了一个音频信息感知的变形场将所有的参考图像转化到一个标准空间中，以消除人脸变形对相应点之间映射的影响。之后，提取N张参考图像对应的像素级别特征，并且使用一个基于注意力的特征融合模块来将这N个特征融合为一个整体特征。
在步骤S102中，逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征。
具体而言，如图2所示，在音频流中，本申请实施例可以使用一个基于循环神经网络(Recurrent Neural Network，RNN)的DeepSpeech模块来逐帧提取音频特征，之后使用一个音频注意力模块来进行时序滤波，以得到帧间平滑的音频特征。在得到了以上的图像特征和音频特征之后，本申请实施例可以使用它们作为条件来驱动动态人脸神经辐射场，经过体素渲染之后便可以得到该帧的生成图像。
接下来详细介绍动态人脸神经辐射场的构建、可微分人脸变形模块和最终的体素渲染步骤。
在步骤S103中，利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
可选地，利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，包括：对于每张图像，获取头部的旋转向量和平移向量，并根据旋转向量和平移向量确定头部的实际位置；基于头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；基于3D空间采样点的坐标、观察视角方向、音频特征与图像特征，利用多层感知器获取3D采样点的RGB颜色和空间密度。
可选地，利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，还包括：将RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
具体地，本申请实施例的动态人脸神经辐射场使用一个多层感知器(MultilayerPerceptron，MLP)作为主干网络。对于每张图像，本申请实施例都可以通过人脸跟踪技术得到头部的旋转向量R以及平移向量T以确定头部的位置，从而得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列3D空间采样点。该MLP网络使用3D空间采样点的坐标、观察视角的方向、音频特征A以及参考图像特征F作为输入，输出该3D采样点的RGB颜色以及空间密度。其中，音频特征的获取使用了基于RNN的DeepSpeech模型，为了加强音频特征的帧间一致性，本申请实施例引入了一种时域滤波模块来进一步平滑音频特征A，这个时域滤波器可以表示为基于自注意力机制的相邻帧音频特征融合。以音频特征作为控制条件，本申请实施例可以基本实现音频驱动的人脸动画合成。然而，由于身份信息被隐式地编码到了人脸神经辐射场中，而渲染时并没有提供有关身份特征的输入，因此需要使用大量的训练数据为每个人脸身份类别都优化一个独立的人脸神经辐射场。这将导致庞大的计算成本，并需要长时间的训练视频片段。
为了消除这些限制，本申请实施例进一步设计了一种参考图像机制。利用参考图像作为人脸外观指导，只需要很短的一段目标人脸视频来对基础模型进行微调，就能使一个经过充分预训练的基础模型快速泛化到参考图像所指示的新的目标身份类别上。具体地，使用n张参考图像以及他们对应的相机位置作为输入，本申请实施例使用一个两层的卷积神经网络得到每张参考图像的像素级别的特征图。之后，对于一个3D采样点，本申请实施例利用它的3D空间坐标以及相机内外参数，通过世界坐标系到图像坐标系的转化将这个3D点映射到参考图像的对应像素位置(u,v)。并使用这个像素位置来索引得到相应的参考图像特征F。
对于可微分人脸变形模块，本申请实施例可以从查询3D点到参考图像空间的映射只是通过一个简单的世界坐标系到图像坐标系的转化，这种简单的转化基于这样的先验假设：在神经辐射场NeRF中，从不同角度发射出的射线的交点应该对应着相同的空间物理位置以及相同的颜色。这一假设对于刚体是完全成立的，然而对于人脸这种具有高度动态性的物体来说这一假设不能完全成立，因此会造成映射上的偏差。
为了解决这一问题，本申请实施例设计了一个以音频信号为条件的可微分人脸形变模块，来将所有的参考图像都转化到一个标准空间中，以解决人脸的动态性对坐标映射所造成的影响。具体地，本申请实施例使用一个音频信号感知的三层MLP网络来实现该人脸变形模块，该网络使用3D空间坐标、该3D坐标映射得到的参考图像中对应坐标(u,v)以及音频特征A为输入，输出一个坐标偏置Δo＝(Δu,Δv)。将得到的这一坐标偏置作用于参考图像中对应的坐标(u,v)，就可以得到矫正之后的映射坐标(u+Δu,v+Δv)，如图3(a)所示。为了将预测得到的偏置量控制在一个合理范围内，本申请实施例还对这个预测量施加了一个正则化约束项Lr，使预测出的偏置量的二范数尽可能地小，
其中，N是参考图像的个数，P是神经渲染场体素空间中3D采样点的集合。由于索引操作没有梯度，为了优化这个人脸变形模块，本申请实施例不能再直接根据坐标(u+Δu,v+Δv)来索引图像特征。为此，本申请实施例使用了双线性插值策略来代替直接的索引操作以得到对应位置(u+Δu,v+Δv)上的图像特征F’，如图3(b)所示。在这种策略下，本申请实施例可以获得从特征F’到人脸变形模块MLP参数的梯度，实现整体网络的端到端优化。相比于F，可微分人脸变形模块的使用可以使得图像之间的映射关系将变得更加准确，从而可以从参考图像中得到更加准确的图像特征F’。
进一步地，体素渲染将动态人脸神经辐射场输出的RGB颜色c以及密度σ进行积分以合成人脸图像。本申请实施例可以将背景、躯干和颈部三个部分一起作为一个新的“背景”，并从原始视频中逐帧恢复这些背景。本申请实施例可以设置每条射线的最后一个点的颜色为相应的背景颜色，以渲染出自然的背景。这里，本申请实施例可以遵循原NeRF中的设置，在音频信号A和图像特征F’的控制下，每条相机射线利用体素渲染技术得到的最终RGB颜色C为：
其中，R,T分别是用以确定头部位置的旋转向量以及平移向量。θ,η分别是神经辐射场MLP网络以及可微分人脸变形模块所对应的网络参数。znear和zfar分别是相机射线的远近边界。T是沿相机射线的积分透明度，可以表示为：
本申请实施例遵循NeRF设计了一个MSE损失函数LMSE＝||C-I||2来作为主要的监督信号，其中，I是真实的颜色，C是网络生成的颜色。结合上一模块中的正则化项Lr，整体的损失函数可以表示为：
L＝LMSE+λ·Lr；
其中，系数λ的值被设置为5e-8。
需要说明的是，在基础模型训练阶段，本申请实施例使用不同身份类别的人脸图像来作为训练数据进行从粗到细的训练。在粗训练阶段，在LMSE的监督下对面部辐射场进行训练，掌握大体的对头部结构的建模，同时建立从音频到唇动的一般映射。然后在细训练阶段，本申请实施例将可微分人脸变形模块添加到整体网络中，同时增加Lr损失函数来与LMSE进行共同优化。在训练好上述基础模型之后，在实际应用阶段，对于一个只有很短的可用视频段的新身份类别，本申请实施例只需要使用其10秒的讲话视频对训练好的基础模型进行微调，就可以快速泛化到这个新类别上。本申请实施例强调这种微调过程的重要性，因为这个过程可以学习到个性化的发音方式，并且生成的图像质量也可以在很短的迭代次数之后大大提升。在微调过程结束之后，这个微调模型就可以被用于测试，来合成这个身份类别的各种各样的讲话视频。
根据本申请实施例提出的语音驱动的人脸动画生成方法，可以基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征，并逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征，并利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。由此，解决现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。
其次参照附图描述根据本申请实施例提出的语音驱动的人脸动画生成装置。
图4是本申请实施例的语音驱动的人脸动画生成装置的方框示意图。
如图4所示，该语音驱动的人脸动画生成装置10包括：提取模块100、第一获取模块200和第二获取模块300。
其中，提取模块100用于基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征；
第一获取模块200用于逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；以及
第二获取模块300用于利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
可选地，提取模块100具体用于：
从任一查询视角出发，向待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；
将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取多张参考图像的像素级别特征；
基于融合后的像素级别特征生成图像特征。
可选地，在将任意一个3D采样点映射到每张参考图像上对应的2D像素位置之前，提取模块100还用于：
利用预设的音频信息感知的变形场，将多张参考图像转化到预设空间中。
可选地，第二获取模块300具体用于：
对于每张图像，获取头部的旋转向量和平移向量，并根据旋转向量和平移向量确定头部的实际位置；
基于头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；
基于3D空间采样点的坐标、观察视角方向、音频特征与图像特征，利用多层感知器获取3D采样点的RGB颜色和空间密度。
可选地，第二获取模块300还用于：
将RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
需要说明的是，前述对语音驱动的人脸动画生成方法实施例的解释说明也适用于该实施例的语音驱动的人脸动画生成装置，此处不再赘述。
根据本申请实施例提出的语音驱动的人脸动画生成装置，可以基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征，并逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征，并利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。由此，解决现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。
图5为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的语音驱动的人脸动画生成方法。
进一步地，电子设备还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的语音驱动的人脸动画生成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种语音驱动的人脸动画生成方法，其特征在于，包括以下步骤：
基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征；
逐帧提取音频的初始音频特征，并对所述音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；以及
利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
2.根据权利要求1所述的方法，其特征在于，所述基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征，包括：
从所述任一查询视角出发，向所述待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；
将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取所述多张参考图像的像素级别特征；
基于融合后的像素级别特征生成所述图像特征。
3.根据权利要求2所述的方法，其特征在于，在将所述任意一个3D采样点映射到所述每张参考图像上对应的2D像素位置之前，还包括：
利用预设的音频信息感知的变形场，将所述多张参考图像转化到预设空间中。
4.根据权利要求2或3所述的方法，其特征在于，所述利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，包括：
对于每张图像，获取头部的旋转向量和平移向量，并根据所述旋转向量和平移向量确定所述头部的实际位置；
基于所述头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；
基于所述3D空间采样点的坐标、所述观察视角方向、所述音频特征与所述图像特征，利用多层感知器获取3D采样点的RGB颜色和空间密度。
5.根据权利要求4所述的方法，其特征在于，所述利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像，还包括：
将所述RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
6.一种语音驱动的人脸动画生成装置，其特征在于，包括：
提取模块，用于基于任一查询视角与多张参考图像，提取所述任一查询视角下对应的图像特征；
第一获取模块，用于逐帧提取音频的初始音频特征，并对所述音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；以及
第二获取模块，用于利用所述图像特征和所述音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。
7.根据权利要求6所述的装置，其特征在于，所述提取模块，具体用于：
从所述任一查询视角出发，向所述待渲染图像中的每个像素发射多条射线，并在每条射线上采样一系列的3D采样点；
将任意一个3D采样点映射到每张参考图像上对应的2D像素位置，并提取所述多张参考图像的像素级别特征；
基于融合后的像素级别特征生成所述图像特征。
8.根据权利要求7所述的装置，其特征在于，在将所述任意一个3D采样点映射到所述每张参考图像上对应的2D像素位置之前，所述提取模块，还用于：
利用预设的音频信息感知的变形场，将所述多张参考图像转化到预设空间中。
9.根据权利要求7或8所述的装置，其特征在于，所述第二获取模块，具体用于：
对于每张图像，获取头部的旋转向量和平移向量，并根据所述旋转向量和平移向量确定所述头部的实际位置；
基于所述头部的实际位置，得到等效的相机观察视角方向以及从每个人脸像素发出的射线所对应的一系列的3D空间采样点；
基于所述3D空间采样点的坐标、所述观察视角方向、所述音频特征与所述图像特征，利用多层感知器获取3D采样点的RGB颜色和空间密度。
10.根据权利要求9所述的装置，其特征在于，所述第二获取模块，还用于：
将所述RGB颜色和空间密度进行积分，并利用积分结果合成人脸图像。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的语音驱动的人脸动画生成方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的语音驱动的人脸动画生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185835.3A CN114782596A (zh) | 2022-02-28 | 2022-02-28 | 语音驱动的人脸动画生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185835.3A CN114782596A (zh) | 2022-02-28 | 2022-02-28 | 语音驱动的人脸动画生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782596A true CN114782596A (zh) | 2022-07-22 |
Family
ID=82422884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210185835.3A Pending CN114782596A (zh) | 2022-02-28 | 2022-02-28 | 语音驱动的人脸动画生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782596A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664731A (zh) * | 2023-06-21 | 2023-08-29 | 华院计算技术(上海)股份有限公司 | 人脸动画生成方法及装置、计算机可读存储介质、终端 |
| CN117689783A (zh) * | 2024-02-02 | 2024-03-12 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于超参数神经辐射场的人脸语音驱动方法及装置 |
| WO2024078243A1 (zh) * | 2022-10-13 | 2024-04-18 | 腾讯科技（深圳）有限公司 | 视频生成模型的训练方法、装置、存储介质及计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554737A (zh) * | 2020-12-04 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 目标对象的动作驱动方法、装置、设备及存储介质 |
| CN113793408A (zh) * | 2021-09-15 | 2021-12-14 | 宿迁硅基智能科技有限公司 | 一种实时音频驱动人脸生成方法、装置及服务器 |
-
2022
- 2022-02-28 CN CN202210185835.3A patent/CN114782596A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554737A (zh) * | 2020-12-04 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 目标对象的动作驱动方法、装置、设备及存储介质 |
| CN113793408A (zh) * | 2021-09-15 | 2021-12-14 | 宿迁硅基智能科技有限公司 | 一种实时音频驱动人脸生成方法、装置及服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 郭玉东: ""三维人脸重建及其应用"", 《中国博士学位论文全文数据库 信息科技辑》, 15 September 2021 (2021-09-15), pages 5 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078243A1 (zh) * | 2022-10-13 | 2024-04-18 | 腾讯科技（深圳）有限公司 | 视频生成模型的训练方法、装置、存储介质及计算机设备 |
| CN116664731A (zh) * | 2023-06-21 | 2023-08-29 | 华院计算技术(上海)股份有限公司 | 人脸动画生成方法及装置、计算机可读存储介质、终端 |
| CN116664731B (zh) * | 2023-06-21 | 2024-03-29 | 华院计算技术(上海)股份有限公司 | 人脸动画生成方法及装置、计算机可读存储介质、终端 |
| CN117689783A (zh) * | 2024-02-02 | 2024-03-12 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于超参数神经辐射场的人脸语音驱动方法及装置 |
| CN117689783B (zh) * | 2024-02-02 | 2024-04-30 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于超参数神经辐射场的人脸语音驱动方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325794B (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| Tewari et al. | Fml: Face model learning from videos | |
| Liu et al. | Semantic-aware implicit neural audio-driven video portrait generation | |
| CN113822969B (zh) | 训练神经辐射场模型和人脸生成方法、装置及服务器 | |
| CN112887698B (zh) | 基于神经辐射场的高质量人脸语音驱动方法 | |
| CN106780543B (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
| CN114782596A (zh) | 语音驱动的人脸动画生成方法、装置、设备及存储介质 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
| CN111275518A (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| CN107204010A (zh) | 一种单目图像深度估计方法与系统 | |
| KR102602112B1 (ko) | 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체 | |
| Yu et al. | A video, text, and speech-driven realistic 3-D virtual head for human–machine interface | |
| Tu et al. | Consistent 3d hand reconstruction in video via self-supervised learning | |
| CN113255457A (zh) | 基于人脸表情识别的动画角色面部表情生成方法及系统 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN112101262A (zh) | 一种多特征融合手语识别方法及网络模型 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| CN116563459A (zh) | 一种文本驱动的沉浸式开放场景神经渲染与混合增强方法 | |
| CN115565039A (zh) | 基于自注意力机制的单目输入动态场景新视图合成方法 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN117333604A (zh) | 一种基于语义感知神经辐射场的人物面部重演方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |