CN117557695A - 一种音频驱动单张照片生成视频的方法及装置 - Google Patents

一种音频驱动单张照片生成视频的方法及装置 Download PDF

Info

Publication number
CN117557695A
CN117557695A CN202311481775.0A CN202311481775A CN117557695A CN 117557695 A CN117557695 A CN 117557695A CN 202311481775 A CN202311481775 A CN 202311481775A CN 117557695 A CN117557695 A CN 117557695A
Authority
CN
China
Prior art keywords
audio
image
data set
texture
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311481775.0A
Other languages
English (en)
Inventor
袁海杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoduo Intelligent Technology Beijing Co ltd
Original Assignee
Xiaoduo Intelligent Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaoduo Intelligent Technology Beijing Co ltd filed Critical Xiaoduo Intelligent Technology Beijing Co ltd
Priority to CN202311481775.0A priority Critical patent/CN117557695A/zh
Publication of CN117557695A publication Critical patent/CN117557695A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种音频驱动单张照片生成视频的方法及装置，涉及音频驱动人脸动画技术领域，通过获取图像数据集和音频数据集；将图像数据集和音频数据集进行数据预处理和匹配；提取音频数据集的音频特征；将图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；将音频特征和虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；将图像帧按照时序顺序进行组合，得到完整的视频文件；将视频文件进行渲染，得到最终的视频文件。本申请提供的一种音频驱动单张照片生成视频的方法及装置可以准确地捕捉人脸的形状和纹理信息，从而生成逼真的人脸动画，使得音频内容与人脸图像更加匹配。

Description

一种音频驱动单张照片生成视频的方法及装置
技术领域
本申请涉及音频驱动人脸动画技术领域，具体涉及一种音频驱动单张照片生成视频的方法及装置。
背景技术
随着科技的不断发展与进步，跨模态学习和建模技术在计算机视觉、计算机图形学和多媒体等领域得到了广泛的研究和应用。音频驱动人脸动画技术作为其中的一种跨模态技术，在虚拟主播、角色扮演类游戏以及三维动画制作等领域有着重要的应用。
音频驱动人脸动画技术是一种利用音频信号来生成人脸动画的技术。它通过分析音频中的声音特征和语音内容，以及与之相关联的人脸运动数据，从而生成与音频相匹配的逼真人脸动画，能够为虚拟形象和角色赋予更真实、生动的语音表达能力。
现有的音频驱动人脸动画技术主要包括DeepAudioFace、Face2Face、Deepfake、LipGAN和Wav2Pix。
DeepAudioFace是一种使用深度学习技术生成音频驱动人脸动画的方法，它通过将人脸表情与音频特征进行关联，然后使用生成对抗网络(GAN)来生成逼真的人脸动画，该方法可以根据音频的内容和情感生成具有丰富表情的人脸动画。但是，该方法在生成音频驱动的人脸动画时，存在人脸形状和纹理失真的问题。由于模型对人脸的形状和纹理进行学习，如果输入的音频与训练数据中的音频差异较大，生成的人脸动画可能会失真或不准确。
Face2Face也是一种使用深度学习技术实现音频驱动人脸动画的方法，它通过将人脸的形状和纹理与音频特征进行对齐，并使用卷积神经网络(CNN)对人脸进行重建，该方法可以生成具有高度准确性和逼真性的人脸动画，能够根据音频的内容和情感进行表情变化。但是，该方法在音频驱动的人脸动画生成中，存在嘴唇同步不准确的问题。由于模型对音频和人脸之间的对齐进行学习，如果音频与人脸的运动不完全匹配，生成的嘴唇动画可能会与音频不同步，导致出现不自然的效果。
Deepfake是一种以深度学习为基础的技术，它可以将一个人的脸部特征合成到另一个人的图像或视频中，从而实现逼真的人脸替换。该方法可以将音频驱动的人脸生成与图像合成相结合，从而生成具有音频驱动的人脸动画。但是，该方法存在伦理道德和隐私问题。由于其能够将一个人的脸部特征合成到另一个人的图像或视频中，因此可能被滥用于虚假信息传播、身份欺诈等，从而损害个人隐私和社会安全。
LipGAN是一种使用深度学习技术生成音频驱动的嘴唇动画的方法，它通过将音频的声音特征与嘴唇的运动进行关联，并使用生成对抗网络(GAN)生成逼真的嘴唇动画。该方法可以根据音频的内容和情感生成准确的嘴唇运动，实现逼真的嘴唇同步效果。但是，该方法在音频驱动的嘴唇动画生成中，存在嘴唇形状和运动不准确的问题。由于模型对音频和嘴唇之间的关联进行学习，如果音频的语音内容复杂或存在口音等特殊情况，生成的嘴唇动画可能会出现错误的形状和运动。
Wav2Pix是一种使用深度学习技术实现音频驱动的图像生成的方法，它通过将音频特征与图像特征进行关联，并使用生成对抗网络(GAN)生成逼真的图像。该方法可以根据音频的内容和情感生成具有高质量和真实感的图像。但是，该方法在音频驱动的图像生成中，可能存在生成图像质量不高的问题。由于模型对音频和图像之间的关联进行学习，如果音频的内容和情感较复杂，生成的图像可能会出现模糊、失真或不真实的情况。
综上可知，现有的音频驱动人脸动画技术由于模型复杂度高、所需算力过多以及训练时间过长等导致训练过程中特征图的冗余信息过多，从而导致生成的图像可能会出现细节不清晰、纹理模糊或形状失真等问题，使得生成的结果与真实图像之间存在明显的差异，而且对于包含复杂语音内容或多种情感表达的音频，其难以准确地捕捉到其细微的变化和特征，导致生成的人脸动画缺乏对应的表情和情感变化，无法准确地反映音频内容的丰富性。
发明内容
为此，本申请提供一种音频驱动单张照片生成视频的方法及装置，以解决现有技术生成的人脸动画不逼真以及与音频不匹配的问题。
为了实现上述目的，本申请提供如下技术方案：
第一方面，一种音频驱动单张照片生成视频的方法，包括：
步骤1：获取图像数据集和音频数据集；
步骤2：将所述图像数据集和所述音频数据集进行数据预处理和匹配；
步骤3：提取所述音频数据集的音频特征；
步骤4：将所述图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
步骤5：将所述音频特征和所述虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
步骤6：将所述图像帧按照时序顺序进行组合，得到完整的视频文件；
步骤7：将所述视频文件进行渲染，得到最终的视频文件。
作为优选，所述步骤3中，提取所述音频特征时采用torch audio库中的Mel频率倒谱系数转换来提取。
作为优选，所述步骤5中，所述生成器网络为StyleGAN模型或VAE-GAN模型。
作为优选，所述步骤5中，所述生成器网络生成对应的图像帧时采用U-Net进行图像分割。
作为优选，所述步骤5中，所述生成器网络生成对应的图像帧时使用FILM根据所述音频特征动态调整所述生成器网络中的特征表示。
作为优选，所述步骤5中，所述生成器网络生成对应的图像帧时使用混合自注意力学习来提取图像的局部特征。
作为优选，所述步骤5中，所述生成器网络生成对应的图像帧时使用感知损失和L1损失来衡量生成图像与原图像之间的差异。
作为优选，所述步骤5中，所述生成器网络生成对应的图像帧时使用AdaIN将所述音频特征和所述虚拟人脸的形状和纹理进行融合。
第二方面，一种音频驱动单张照片生成视频的装置，包括：
数据获取模块，用于获取图像数据集和音频数据集；
数据处理模块，用于将所述图像数据集和所述音频数据集进行数据预处理和匹配；
特征提取模块，用于提取所述音频数据集的音频特征；
人脸形状和纹理生成模块，用于将所述图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
图像生成模块，用于将所述音频特征和所述虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
视频合成模块，用于将所述图像帧按照时序顺序进行组合，得到完整的视频文件；
视频渲染模块，用于将所述视频文件进行渲染，得到最终的视频文件。
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种音频驱动单张照片生成视频的方法的步骤。
相比现有技术，本申请至少具有以下有益效果：
本申请提供了一种音频驱动单张照片生成视频的方法及装置，通过获取图像数据集和音频数据集；将图像数据集和音频数据集进行数据预处理和匹配；提取音频数据集的音频特征；将图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；将音频特征和虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；将图像帧按照时序顺序进行组合，得到完整的视频文件；将视频文件进行渲染，得到最终的视频文件。本申请提供的一种音频驱动单张照片生成视频的方法及装置可以准确地捕捉人脸的形状和纹理信息，从而生成逼真的人脸动画，使得音频内容与人脸图像更加匹配。
附图说明
为了更直观地说明现有技术以及本申请，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本申请时的限定条件；例如，本领域技术人员基于本申请揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
图1为本申请实施例一提供的一种音频驱动单张照片生成视频的方法流程图。
具体实施方式
以下结合附图，通过具体实施例对本申请作进一步详述。
在本申请的描述中：除非另有说明，“多个”的含义是两个或两个以上。本申请中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。
本申请中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本申请揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本申请表述的范畴。
实施例一
请参阅图1，本实施例提供了一种音频驱动单张照片生成视频的方法，包括：
步骤1：获取图像数据集和音频数据集；
步骤2：将图像数据集和音频数据集进行数据预处理和匹配；
具体的，将图像数据集和音频数据集进行数据预处理和匹配是为了确保它们可以在后续的步骤中正确地对应和使用。
步骤3：提取音频数据集的音频特征；
具体的，音频特征提取是将原始音频信号转换为可用于模型处理的特征表示的过程。本步骤采用torch audio库中的MFCC(Mel频率倒谱系数)转换来提取音频特征。
步骤4：将图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
具体的，3DMM(3D Morphable Model)是一种用于对人脸形状和纹理进行建模的统计模型，它通过对大量人脸数据进行分析和建模，可以捕捉人脸的形状和纹理的变化。本步骤使用3DMM来生成虚拟人脸的形状和纹理，可以准确地捕捉人脸的形状和纹理信息，从而生成逼真的人脸动画。
步骤5：将音频特征和虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
具体的，生成器网络可以是StyleGAN模型，也可以是VAE-GAN模型。StyleGAN是一种生成对抗网络(GAN)的变体，可以用于生成逼真的图像，它通过引入样式向量来控制生成图像的风格和变化。在本方法中，StyleGAN可以用于生成器网络的训练和生成过程中，以提高生成图像的质量和多样性。VAE-GAN模型是一种结合了VAE和GAN的生成模型，它可以同时考虑图像的重构和生成质量，在本方法中，可以使用VAE-GAN模型，通过学习音频特征的潜在表示和对应的图像生成，实现高质量的人脸图像生成。
本步骤中，生成器网络输入音频特征和3DMM生成的虚拟人脸的形状和纹理参数，并生成对应的图像帧。为了提高生成图像的质量和逼真度，本步骤采用了U-Net、FILM、混合自注意力学习、感知损失、L1损失和AdaIN等技术。
U-Net是一种用于图像分割的深度学习网络结构。它由一个编码器和一个解码器组成，它通过跳跃连接的方式将低级特征和高级特征进行融合，提高了图像分割的准确性。在本方法中，U-Net可以用于图像生成过程中的图像分割任务，以提高生成图像的质量和真实感。
FILM(Feature-wise LinearModulation)是一种用于图像生成的技术，通过线性调制特征图的均值和方差，以增强生成器网络对不同条件的适应能力。在本方法中，FILM可以用于生成器网络的条件输入，以根据音频特征动态调整生成器网络中的特征表示，从而生成与音频内容相匹配的人脸图像。
混合自注意力学习是一种用于提取特征的技术，它可以在特征图中学习不同的特征。在本方法中，使用混合自注意力学习来提取图像的局部特征，以提高生成图像与音频的一致性，从而增强低分辨率特征。自注意力机制可以有效地捕捉图像中的长程依赖关系，并提高图像特征的表示能力。
感知损失是一种损失函数，它可以衡量生成图像与真实图像之间的差异。在本方法中，可以使用感知损失来衡量生成图像与原图像之间的差异，帮助优化生成模型的训练，从而生成更逼真的人脸图像。
L1损失是一种基于像素级别的损失函数，用于衡量生成图像和真实图像之间的差异，它计算生成图像和真实图像之间每个像素的绝对差值，并求和得到总的损失值。在本方法中，L1损失可以用作生成器网络的损失函数之一，以促使生成图像与真实图像在像素级别上更加接近。
AdaIN(Adaptive Instance Normalization)是一种用于图像风格迁移的技术，通过调整图像的均值和方差，将一个图像的风格应用到另一个图像上。在本方法中，AdaIN可以用于生成器网络的条件输入，以将音频特征和虚拟人脸的形状和纹理进行融合，生成具有音频驱动特征的图像。AdaIN通过对抗训练的自编码器网络，能够学习到音频和图像之间的对应关系，从而实现根据音频生成对应的人脸图像。
在图像生成过程中，根据音频的时序信息逐帧生成图像，从而生成完整的视频。通过将连续的图像帧组合在一起，形成一个流畅的人脸动画，使其与音频内容和情感一致。
通过本步骤的图像生成能够将虚拟人脸的形状和纹理转换为逼真的图像帧，实现根据音频内容和情感生成动态的人脸动画，这为最终的音频驱动单张图片生成视频的目标提供了基础，使的能够以视觉的方式呈现音频的内容和情感。
步骤6：将图像帧按照时序顺序进行组合，得到完整的视频文件；
在视频合成阶段，将生成的图像帧按照一定的时序顺序组合起来，形成一个完整的视频。
步骤7：将视频文件进行渲染，得到最终的视频文件。
在视频渲染和输出阶段，将合成的视频进行渲染，各种后处理然后输出为最终的视频文件。
本实施例提供的一种音频驱动单张照片生成视频的方法可以准确地捕捉人脸的形状和纹理信息，从而生成逼真的人脸动画，使得音频内容与人脸图像更加匹配。
实施例二
本实施例提供了一种音频驱动单张照片生成视频的装置，包括：
数据获取模块，用于获取图像数据集和音频数据集；
数据处理模块，用于将图像数据集和音频数据集进行数据预处理和匹配；
特征提取模块，用于提取音频数据集的音频特征；
人脸形状和纹理生成模块，用于将图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
图像生成模块，用于将音频特征和虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
视频合成模块，用于将图像帧按照时序顺序进行组合，得到完整的视频文件；
视频渲染模块，用于将视频文件进行渲染，得到最终的视频文件。
关于一种音频驱动单张照片生成视频的装置的具体限定可以参见上文中对于一种音频驱动单张照片生成视频的方法的限定，在此不再赘述。
实施例三
本实施例提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现一种音频驱动单张照片生成视频的方法的步骤。
以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。
上文中通过一般性说明及具体实施例对本申请作了较为具体和详细的描述。应当理解，基于本申请的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本申请的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本申请的权利要求保护范围。

Claims (10)

1.一种音频驱动单张照片生成视频的方法，其特征在于，包括：
步骤1：获取图像数据集和音频数据集；
步骤2：将所述图像数据集和所述音频数据集进行数据预处理和匹配；
步骤3：提取所述音频数据集的音频特征；
步骤4：将所述图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
步骤5：将所述音频特征和所述虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
步骤6：将所述图像帧按照时序顺序进行组合，得到完整的视频文件；
步骤7：将所述视频文件进行渲染，得到最终的视频文件。
2.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤3中，提取所述音频特征时采用torch audio库中的Mel频率倒谱系数转换来提取。
3.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络为StyleGAN模型或VAE-GAN模型。
4.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络生成对应的图像帧时采用U-Net进行图像分割。
5.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络生成对应的图像帧时使用FILM根据所述音频特征动态调整所述生成器网络中的特征表示。
6.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络生成对应的图像帧时使用混合自注意力学习来提取图像的局部特征。
7.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络生成对应的图像帧时使用感知损失和L1损失来衡量生成图像与原图像之间的差异。
8.根据权利要求1所述的音频驱动单张照片生成视频的方法，其特征在于，所述步骤5中，所述生成器网络生成对应的图像帧时使用AdaIN将所述音频特征和所述虚拟人脸的形状和纹理进行融合。
9.一种音频驱动单张照片生成视频的装置，其特征在于，包括：
数据获取模块，用于获取图像数据集和音频数据集；
数据处理模块，用于将所述图像数据集和所述音频数据集进行数据预处理和匹配；
特征提取模块，用于提取所述音频数据集的音频特征；
人脸形状和纹理生成模块，用于将所述图像数据集输入到3DMM中生成虚拟人脸的形状和纹理；
图像生成模块，用于将所述音频特征和所述虚拟人脸的形状和纹理输入到生成器网络中生成对应的图像帧；
视频合成模块，用于将所述图像帧按照时序顺序进行组合，得到完整的视频文件；
视频渲染模块，用于将所述视频文件进行渲染，得到最终的视频文件。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
CN202311481775.0A 2023-11-08 2023-11-08 一种音频驱动单张照片生成视频的方法及装置 Pending CN117557695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311481775.0A CN117557695A (zh) 2023-11-08 2023-11-08 一种音频驱动单张照片生成视频的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311481775.0A CN117557695A (zh) 2023-11-08 2023-11-08 一种音频驱动单张照片生成视频的方法及装置

Publications (1)

Publication Number Publication Date
CN117557695A true CN117557695A (zh) 2024-02-13

Family

ID=89819618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311481775.0A Pending CN117557695A (zh) 2023-11-08 2023-11-08 一种音频驱动单张照片生成视频的方法及装置

Country Status (1)

Country Link
CN (1) CN117557695A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172452A (zh) * 2024-05-15 2024-06-11 广东工业大学 一种基于时间相关性的头部动画生成方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172452A (zh) * 2024-05-15 2024-06-11 广东工业大学 一种基于时间相关性的头部动画生成方法及装置

Similar Documents

Publication Publication Date Title
US7027054B1 (en) Do-it-yourself photo realistic talking head creation system and method
Mattheyses et al. Audiovisual speech synthesis: An overview of the state-of-the-art
US11514634B2 (en) Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses
US6919892B1 (en) Photo realistic talking head creation system and method
US8553037B2 (en) Do-It-Yourself photo realistic talking head creation system and method
CN113901894A (zh) 一种视频生成方法、装置、服务器及存储介质
CN117557695A (zh) 一种音频驱动单张照片生成视频的方法及装置
CN114863533A (zh) 数字人生成方法和装置及存储介质
Li et al. A survey of computer facial animation techniques
CN115393480A (zh) 基于动态神经纹理的说话人合成方法、装置和存储介质
Shakir et al. Facial Modelling and Animation: An Overview of The State-of-The Art.
Liu et al. Data-driven 3d neck modeling and animation
Gowda et al. From pixels to portraits: A comprehensive survey of talking head generation techniques and applications
CN117456587A (zh) 一种基于多模态信息控制的说话人脸视频生成方法及装置
Hwang et al. Audio-driven Facial Animation: A Survey
CN117115310A (zh) 一种基于音频和图像的数字人脸生成方法及系统
CN116524087A (zh) 融合神经辐射场的音频驱动的说话人视频合成方法及系统
Deng et al. Automatic dynamic expression synthesis for speech animation
Liu et al. Optimization of an image-based talking head system
Han et al. A Keypoint Based Enhancement Method for Audio Driven Free View Talking Head Synthesis
Du et al. Realistic mouth synthesis based on shape appearance dependence mapping
He et al. EmoTalk3D: high-fidelity free-view synthesis of emotional 3D talking head
Liu Audio-Driven Talking Face Generation: A Review
Wang et al. Expression-aware neural radiance fields for high-fidelity talking portrait synthesis
Ma et al. Audio-Driven Lips and Expression on 3D Human Face

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination