CN110677598B - 视频生成方法、装置、电子设备和计算机存储介质 - Google Patents

视频生成方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN110677598B
CN110677598B CN201910883605.2A CN201910883605A CN110677598B CN 110677598 B CN110677598 B CN 110677598B CN 201910883605 A CN201910883605 A CN 201910883605A CN 110677598 B CN110677598 B CN 110677598B
Authority
CN
China
Prior art keywords
face
image
frame
information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910883605.2A
Other languages
English (en)
Other versions
CN110677598A (zh
Inventor
宋林森
吴文岩
钱晨
赫然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910883605.2A priority Critical patent/CN110677598B/zh
Publication of CN110677598A publication Critical patent/CN110677598A/zh
Priority to KR1020217034706A priority patent/KR20210140762A/ko
Priority to JP2021556974A priority patent/JP2022526148A/ja
Priority to SG11202108498RA priority patent/SG11202108498RA/en
Priority to PCT/CN2020/114103 priority patent/WO2021052224A1/zh
Priority to US17/388,112 priority patent/US20210357625A1/en
Application granted granted Critical
Publication of CN110677598B publication Critical patent/CN110677598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本实施例公开了一种视频生成方法、装置、电子设备、计算机存储介质，该方法包括：从每帧人脸图像提取出人脸形状信息和头部姿势信息；根据每帧人脸图像对应的音频片段，得出人脸表情信息；根据人脸表情信息、人脸形状信息和头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据人脸关键点信息，对预先获取的人脸图像进行补全处理，得到每帧生成图像；根据各帧生成图像，生成目标视频；在本公开实施例中，由于人脸关键点信息是考虑头部姿势信息的基础上得出的，因而，目标视频可以体现出头部姿势信息；而头部姿势信息是根据每帧人脸图像得出的，因此，本公开实施例可以使得目标视频符合关于头部姿势的实际需求。

Description

视频生成方法、装置、电子设备和计算机存储介质
技术领域
本公开涉及图像处理技术，尤其涉及一种视频生成方法、装置、电子设备和计算机存储介质。
背景技术
在相关技术中，说话人脸的生成是语音驱动人物以及视频生成任务中重要的研究方向；然而，相关的说话人脸生成方案并不能满足与头部姿势相关的实际需求。
发明内容
本公开实施例期望提供视频生成的技术方案。
本公开实施例提供了一种视频生成方法，所述方法包括：
获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；
从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；
根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像；
根据各帧生成图像，生成目标视频。
可选地，所述根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：
根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。
可选地，所述根据所述每帧人脸图像对应的音频片段，得出人脸表情信息，包括：
提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。
可选地，所述消除所述音频特征的音色信息，包括：
通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。
可选地，所述根据各帧生成图像，生成目标视频，包括：
针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。
可选地，所述方法还包括：对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
可选地，所述对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，包括：
在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
可选地，所述对所述目标视频中的图像进行消抖处理，包括：
在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
可选地，所述获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段，包括：
获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。
可选地，所述从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：
将所述多帧人脸图像和所述每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于所述第一神经网络执行以下步骤：从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息。
可选地，所述第一神经网络采用以下步骤训练完成：
获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段；
将所述每帧人脸样本图像和所述每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息；
根据所述第一神经网络的损失，调整所述第一神经网络的网络参数；所述第一神经网络的损失包括表情损失和/或人脸关键点损失，所述表情损失用于表示所述预测人脸表情信息和人脸表情标记结果的差异，所述人脸关键点损失用于表示所述预测人脸关键点信息和人脸关键点标记结果的差异；
重复执行上述步骤，直至第一神经网络的损失满足第一预定条件，得到训练完成的第一神经网络。
可选地，所述根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像，包括：
将所述每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像。
可选地，所述第二神经网络采用以下步骤训练完成：
向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
对所述样本人脸图像进行鉴别，得到第一鉴别结果；对所述生成图像进行鉴别，得到第二鉴别结果；
根据所述第二神经网络的损失，调整所述第二神经网络的网络参数，所述第二神经网络的损失包括对抗损失，所述对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的；
重复执行上述步骤，直至第二神经网络的损失满足第二预定条件，得到训练完成的第二神经网络。
可选地，所述第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；所述像素重建损失用于表征样本人脸图像和生成图像的差异，所述感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；所述伪影损失用于表征生成图像的尖峰伪影，所述梯度惩罚损失用于限制第二神经网络的更新梯度。
本公开实施例还提供了一种视频生成装置，所述装置包括第一处理模块、第二处理模块、第三处理模块和生成模块；其中，
第一处理模块，用于获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；
第二处理模块，用于从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像；
生成模块，用于根据各帧生成图像，生成目标视频。
可选地，所述第二处理模块，用于根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。
可选地，所述第二处理模块，用于提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。
可选地，所述第二处理模块，用于通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。
可选地，所述生成模块，用于针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。
可选地，所述装置还包括消抖模块，其中，
消抖模块，用于对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
可选地，所述消抖模块，用于在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
可选地，所述消抖模块，用于在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
可选地，所述第一处理模块，用于获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。
可选地，所述第二处理模块，用于将所述多帧人脸图像和所述每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于所述第一神经网络执行以下步骤：从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息。
可选地，所述第一神经网络采用以下步骤训练完成：
获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段；
将所述每帧人脸样本图像和所述每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息；
根据所述第一神经网络的损失，调整所述第一神经网络的网络参数；所述第一神经网络的损失包括表情损失和/或人脸关键点损失，所述表情损失用于表示所述预测人脸表情信息和人脸表情标记结果的差异，所述人脸关键点损失用于表示所述预测人脸关键点信息和人脸关键点标记结果的差异；
重复执行上述步骤，直至第一神经网络的损失满足第一预定条件，得到训练完成的第一神经网络。
可选地，所述第二处理模块，用于将所述每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像。
可选地，所述第二神经网络采用以下步骤训练完成：
向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
对所述样本人脸图像进行鉴别，得到第一鉴别结果；对所述生成图像进行鉴别，得到第二鉴别结果；
根据所述第二神经网络的损失，调整所述第二神经网络的网络参数，所述第二神经网络的损失包括对抗损失，所述对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的；
重复执行上述步骤，直至第二神经网络的损失满足第二预定条件，得到训练完成的第二神经网络。
可选地，所述第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；所述像素重建损失用于表征样本人脸图像和生成图像的差异，所述感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；所述伪影损失用于表征生成图像的尖峰伪影，所述梯度惩罚损失用于限制第二神经网络的更新梯度。
本公开实施例还提出了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行上述任意一种视频生成方法。
本公开实施例还提出了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种视频生成方法。
本公开实施例提出的视频生成方法、装置、电子设备和计算机存储介质中，获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像；根据各帧生成图像，生成目标视频。如此，在本公开实施例中，由于人脸关键点信息是考虑头部姿势信息的基础上得出的，因而，根据人脸关键点信息生成的每帧生成图像可以体现出头部姿势信息，进而，目标视频可以体现出头部姿势信息；而头部姿势信息是根据每帧人脸图像得出的，每帧人脸图像可以根据与头部姿势相关的实际需求来获取，因此，本公开实施例可以根据符合关于头部姿势的实际需求的每帧人脸图像，生成相应的目标视频，使得生成目标视频符合关于头部姿势的实际需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的视频生成方法的流程图；
图2为本公开实施例的第一神经网络的架构的示意图；
图3为本公开实施例中得出每帧人脸图像的人脸关键点信息的实现过程的示意图；
图4为本公开实施例的第二神经网络的架构的示意图；
图5为本公开实施例的第一神经网络的训练方法的流程图；
图6为本公开实施例的第二神经网络的训练方法的流程图；
图7为本公开实施例的视频生成装置的组成结构示意图；
图8为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的视频生成方法包含了一系列的步骤，但是本公开实施例提供的视频生成方法不限于所记载的步骤，同样地，本公开实施例提供的视频生成装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在本公开的一些实施例中，提出了一种视频生成方法，本公开实施例可以应用于人工智能、互联网、图片与视频识别等领域，示例性地，本公开实施例可以在人机交互、虚拟对话、虚拟客服等应用中实施。
图1为本公开实施例的视频生成方法的流程图，如图1所示，该流程可以包括：
步骤101：获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段。
在实际应用中，可以获取源视频数据，从源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，每帧人脸图像对应的音频片段为所述音频数据的一部分。
这里，源视频数据的每帧图像包括人脸图像，源视频数据中音频数据包含说话者语音；本公开实施例中，并不对源视频数据的来源和格式进行限定。
本公开实施例中，每帧人脸图像对应的音频片段的时间段包含所述每帧人脸图像的时间点；在实际实施时，在源视频数据中分离出包含说话者语音的音频数据后，可以将包含语音的音频数据划分为多个音频片段，每个音频片段与一帧人脸图像相对应。
示例性地，可以从预先获取的源视频数据中分离出第1帧至第n帧人脸图像和包含语音的音频数据；将包含语音的音频数据划分为第1音频片段至第n音频片段，n为大于1的整数；在i依次取1至n的情况下，第i音频片段的时间段包含出现第i帧人脸图像的时间点。
步骤102：从每帧人脸图像提取出人脸形状信息和头部姿势信息；根据每帧人脸图像对应的音频片段，得出人脸表情信息；根据人脸表情信息、人脸形状信息和头部姿势信息，得到每帧人脸图像的人脸关键点信息。
在实际应用中，可以将多帧人脸图像和每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于第一神经网络执行以下步骤：从每帧人脸图像提取出人脸形状信息和头部姿势信息；根据每帧人脸图像对应的音频片段，得出人脸表情信息；根据人脸表情信息、人脸形状信息和头部姿势信息，得到每帧人脸图像的人脸关键点信息。
本公开实施例中，人脸形状信息可以表示人脸各个部位的形状和尺寸信息，例如，人脸形状信息可以表示嘴形、唇部厚度、眼睛大小等等；人脸形状信息与个人身份相关，可以理解地，与个人身份相关的人脸形状信息可以根据包含人脸的图像得出。在实际应用中，人脸形状信息可以是与人脸形状相关的参数。
头部姿势信息可以表示人脸朝向等信息，例如，头部姿势可以表示抬头、低头、人脸朝向左侧、人脸朝向右侧等；可以理解地，头部姿势信息可以根据包含人脸的图像得出。在实际应用中，头部姿势信息可以是与头部姿势相关的参数。
示例性地，人脸表情信息可以表示开心、悲伤、痛苦等表情，这里仅仅是对人脸表情信息进行了示例说明，本公开实施例中，人脸表情信息并不局限于上述记载的表情；人脸表情信息与面部动作相关，因而，在人说话的情况下，可以根据包含语音的音频信息，得到面部动作信息，进而得出人脸表情信息。在实际应用中，人脸表情信息可以是与人脸表情相关的参数。
对于从每帧人脸图像中提取出人脸形状信息和头部姿势信息的实现方式，示例性地，可以将每帧人脸图像输入至三维人脸形态学模型(3D Face Morphable Model，3DMM)，利用三维人脸形态学模型提取出每帧人脸图像的人脸形状信息和头部姿势信息。
对于根据每帧人脸图像对应的音频片段，得出人脸表情信息的实现方式，示例性地，可以提取上述音频片段的音频特征，然后，根据上述音频片段的音频特征，得出人脸表情信息。
本公开实施例中，并不对音频片段的音频特征种类进行限定，例如，音频片段的音频特征可以是梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)或其它频域特征。
下面通过图2对本公开实施例的第一神经网络的架构进行示例性说明，如图2所示，在第一神经网络的应用阶段，将源视频数据分离出多帧人脸图像和包含语音的音频数据，将包含语音的音频数据划分为多个音频片段，每个音频片段与一帧人脸图像相对应；针对每帧人脸图像，可以将每帧人脸图像输入至3DMM中，利用3DMM提取出每帧人脸图像的人脸形状信息和头部姿势信息；针对每帧人脸图像对应的音频片段，可以提取音频特征，然后将提取的音频特征通过音频归一化网络进行处理，以消除音频特征的音色信息；将消除音色信息后的音频特征通过映射网络进行处理后，得到人脸表情信息；图2中，将通过映射网络处理后得到的人脸表情信息记为人脸表情信息1；利用3DMM对人脸表情信息1、人脸形状信息和头部姿势信息进行处理，得到人脸关键点信息；图2中，将利用3DMM得到的人脸关键点信息记为人脸关键点信息1。
对于根据每帧人脸图像对应的音频片段，得出人脸表情信息的实现方式，示例性地，可以提取音频片段的音频特征，消除音频特征的音色信息；根据消除音色信息后的音频特征，得出人脸表情信息。
本公开实施例中，音色信息为与说话者身份相关的信息，而人脸表情与说话者身份无关，因而，在音频特征中消除与说话者身份相关的音色信息后，根据消除音色信息后的音频特征，可以更加准确地得出人脸表情信息。
对于消除所述音频特征的音色信息的实现方式，示例性地，可以对音频特征进行归一化处理，以消除所述音频特征的音色信息；在具体的示例中，可以基于特征空间的最大似然线性回归(feature-based Maximum Likelihood Linear Regression，fMLLR)方法，对音频特征进行归一化处理，以消除所述音频特征的音色信息。
本公开实施例中，基于fMLLR方法对音频特征进行归一化处理的过程可以用公式(1)进行说明。
Figure BDA0002206634810000101
其中，x表示进行归一化处理前的音频特征，x′表示经归一化处理后得到的消除音色信息的音频特征，Wi和bi分别表示说话者的不同的特定归一化参数，Wi表示权重值，bi表示偏置；
Figure BDA0002206634810000102
对于音频片段中的音频特征表示多个说话者语音的音频特征的情况，可以按照公式(2)，将
Figure BDA0002206634810000103
分解为若干子矩阵和单位矩阵的加权和。
Figure BDA0002206634810000104
其中，I表示单位矩阵，
Figure BDA0002206634810000105
表示第i个子矩阵，λi表示第i个子矩阵对应的权重系数，k表示说话者的个数，k可以是预先设置的参数。
在实际应用中，第一神经网络可以包括音频归一化网络，在音频归一化网络中，基于fMLLR方法，对音频特征进行归一化处理。
示例性地，音频归一化网络为浅层神经网络；在一个具体的示例中，参照图2，音频归一化网络可以至少包括长短期记忆(Long Short-Term Memory，LSTM)层和全连接(FullyConnected，FC)层，在将音频特征输入至LSTM层，经LSTM层和FC层依次处理后，可以得到偏置bi、各个子矩阵和各个子矩阵对应的权重系数，进而可以根据公式(1)和(2)，可以得出经归一化处理后得到的消除音色信息的音频特征x′。
对于根据消除音色信息后的音频特征，得出人脸表情信息的实现方式，示例性地，参照图2，FC1和FC2表示两个FC层，LSTM表示一个多层的LSTM层，可以看出，针对消除音色信息后的音频特征，经FC1、多层的LSTM层和FC2依次处理后，可以得到人脸表情信息。
如图2所示，在第一神经网络的训练阶段，将样本视频数据分离出多帧人脸样本图像和包含语音的音频数据，将包含语音的音频数据划分为多个音频样本片段，每个音频样本片段与一帧人脸样本图像相对应；对于每帧人脸样本图像和每帧人脸样本图像对应的音频样本片段，执行第一神经网络的应用阶段的数据处理过程，可以得到预测人脸表情信息和预测人脸关键点信息，这里，可以将预测人脸表情信息记为人脸表情信息1，将预测人脸关键点信息记为人脸关键点信息1；同时，在第一神经网络的训练阶段，将每帧人脸样本图像输入至3DMM中，利用3DMM提取出每帧人脸样本图像的人脸表情信息，根据每帧人脸样本图像可以直接得到人脸关键点信息，图2中，将利用3DMM提取出的每帧人脸样本图像的人脸表情信息(即人脸表情标记结果)记为人脸表情信息2，根据每帧人脸样本图像直接得到的人脸关键点信息(即人脸关键点标记结果)记为人脸关键点信息2；在第一神经网络的训练阶段，可以根据人脸关键点信息1与人脸关键点信息2的差异，和/或，人脸表情信息1与人脸表情信息2的差异，计算第一神经网络的损失；根据第一神经网络的损失对第一神经网络进行训练，直至得到训练完成的第一神经网络。
对于根据人脸表情信息、人脸形状信息和头部姿势信息，得到每帧人脸图像的人脸关键点信息的实现方式，示例性地，可以根据人脸表情信息和人脸形状信息，得出人脸点云数据；根据头部姿势信息，将人脸点云数据投影到二维图像，得到每帧人脸图像的人脸关键点信息。
图3为本公开实施例中得出每帧人脸图像的人脸关键点信息的实现过程的示意图，图3中，人脸表情信息1、人脸表情信息2、人脸形状信息和头部姿势信息的含义与图2保持一致，可见，参照前述记载的内容，在第一神经网络的训练阶段和应用阶段，均需要获取人脸表情信息1、人脸形状信息和头部姿势信息；而人脸表情信息2仅需要在第一神经网络的训练阶段获取，无需在第一神经网络的应用阶段获取。
参照图3，在实际实施时，在将一帧人脸图像输入至3DMM后，可以利用3DMM提取出每帧人脸图像的人脸形状信息、头部姿态信息和人脸表情信息2，根据音频特征得出人脸表情信息1后，用人脸表情信息1替代人脸表情信息2，将人脸表情信息1和人脸形状信息输入至3DMM中，基于3DMM对人脸表情信息1和人脸形状信息进行处理，得到人脸点云数据；这里得到的人脸点云数据表示点云数据的集合，可选地，参照图3，人脸点云数据可以三维人脸网格(3D face mesh)的形式进行呈现。
本公开实施例中，将上述人脸表情信息1记为
Figure BDA0002206634810000113
将上述人脸表情信息2记为e，将上述头部姿势信息记为p，将上述人脸形状信息记为s，此时，得出每帧人脸图像的人脸关键点信息的过程可以通过公式(3)进行说明。
Figure BDA0002206634810000111
其中，
Figure BDA0002206634810000112
表示对人脸表情信息1和人脸形状信息进行处理并得到上述三维人脸网格的函数，M表示上述三维人脸网格；project(M,p)表示根据头部姿势信息，将三维人脸网格投影到二维图像的函数；
Figure BDA0002206634810000121
表示人脸图像的人脸关键点信息。
本公开实施例中，人脸关键点是对于图像中人脸五官与轮廓定位的标注,主要用来对人脸的关键位置，如脸廓、眉毛、眼睛、嘴唇进行定位。这里，每帧人脸图像的人脸关键点信息至少包括说话相关部位的人脸关键点信息，示例性地，说话相关部位可以至少包括嘴部和下巴。
可以看出，由于人脸关键点信息是考虑头部姿势信息的基础上得出的，因而，人脸关键点信息可以表征头部姿势信息，进而，后续根据人脸关键点信息得到的人脸图像可以体现出头部姿势信息。
进一步地，参照图3，还可以将每帧人脸图像的人脸关键点信息编码到热图中，这样可以利用热图表示每帧人脸图像的人脸关键点信息。
步骤103：根据每帧人脸图像的人脸关键点信息，对预先获取的人脸图像进行补全处理，得到每帧生成图像。
在实际应用中，可以将每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对预先获取的人脸图像进行补全处理，得到每帧生成图像。
在一个示例中，可以针对每帧人脸图像，预先获取不带遮挡部分的人脸图像，例如，对于从预先获取的源视频数据中分离出的第1帧至第n帧人脸图像，可以预先获取不带遮挡部分的第1帧人脸图像至第n帧人脸图像，在i依次取1至n的情况下，从预先获取的源视频数据中分离出的第i帧人脸图像与预先获取的不带遮挡部分的第i帧人脸图像对应；在具体实施时，可以根据每帧人脸图像的人脸关键点信息，对预先获取的不带遮挡的人脸图像进行人脸关键点部分的覆盖处理，得到每帧生成图像。
在另一个示例中，可以针对每帧人脸图像，预先获取带遮挡部分的人脸图像，例如，对于从预先获取的源视频数据中分离出的第1帧至第n帧人脸图像，可以预先获取带遮挡部分的第1帧人脸图像至第n帧人脸图像，在i依次取1至n的情况下，从预先获取的源视频数据中分离出的第i帧人脸图像与预先获取的带遮挡部分的第i帧人脸图像对应。带遮挡部分的人脸图像表示说话相关部位被遮挡的人脸图像。
本公开实施例中，对于将每帧人脸图像的人脸关键点信息和预先获取的带遮挡部分的人脸图像输入至预先训练的第二神经网络中的实现方式，示例性地，在从预先获取的源视频数据中分离出第1帧至第n帧人脸图像的情况下，令i依次取1至n，可以将第i帧人脸图像的人脸关键点信息和带遮挡部分的第i帧人脸图像输入至预先训练的第二神经网络中。
下面通过图4对本公开实施例的第二神经网络的架构进行示例性说明，如图4所示，在第二神经网络的应用阶段，可以预先获取至少一帧不带遮挡部分的待处理人脸图像，然后通过向每帧不带遮挡部分的待处理人脸图像添加掩膜，得到带遮挡部分的人脸图像；示例性地，待处理人脸图像可以是真实人脸图像、动画人脸图像或其他种类的人脸图像。
对于根据每帧人脸图像的人脸关键点信息，对所述预先获取的带遮挡部分的一帧人脸图像进行遮挡部分的补全处理的实现方式，示例性地，第二神经网络可以包括用于进行图像合成的补全网络(Inpainting Network)；在第二神经网络的应用阶段，可以将每帧人脸图像的人脸关键点信息和预先获取的带遮挡部分的人脸图像输入至补全网络中；在补全网络中，根据每帧人脸图像的人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到每帧生成图像。
在实际应用中，参照图4，在将每帧人脸图像的人脸关键点信息编码到热图的情况下，可以将热图和和预先获取的带遮挡部分的人脸图像输入至补全网络中，利用补全网络根据热图对预先获取的带遮挡部分的人脸图像进行补全处理，得到生成图像；例如，补全网络可以是具有跳跃连接的神经网络。
本公开实施例中，利用补全网络进行图像补全处理的过程可以通过公式(4)进行说明。
Figure BDA0002206634810000131
其中，N表示预先获取的带遮挡部分的人脸图像，H为表示人脸关键点信息的热图，Ψ(N,H)表示对热图和预先获取的带遮挡部分的人脸图像进行补全处理的函数，
Figure BDA0002206634810000132
表示生成图像。
参照图4，在第二神经网络的训练阶段，可以获取不带遮挡部分的样本人脸图像；按照第二神经网络对待处理人脸图像的上述处理方式，针对样本人脸图像进行处理，得到对应的生成图像。
进一步地，参照图4，在第二神经网络的训练阶段，还需要将样本人脸图像和生成图像输入至鉴别器中，鉴别器用于确定样本人脸图像为真实图像的概率、以及用于确定生成图像为真实图像的概率；通过鉴别器的鉴别后，可以得到第一鉴别结果和第二鉴别结果，第一鉴别结果表示样本人脸图像为真实图像的概率，第二鉴别结果表示生成图像为真实图像的概率；然后，可以根据第二神经网络的损失，对第二神经网络进行训练，直至得到训练完成的第二神经网络。这里，第二神经网络的损失包括对抗损失，对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的。
步骤104：根据各帧生成图像，生成目标视频。
对于步骤104的实现方式，在一个示例中，针对每帧生成图像，可以根据预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频；如此，本公开实施例中，可以使得调整后的每帧生成图像除人脸关键点外的其它区域图像与预先获取的待处理人脸图像更符合，调整后的每帧生成图像更加符合实际需求。
在实际应用中，可以在第二神经网络中执行以下步骤：针对每帧生成图像，根据所述预先获取的待处理人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像。
示例性地，参照图4，在第二神经网络的应用阶段，可以采用拉普拉斯金字塔融合(Laplacian Pyramid Blending)对预先获取的不带遮挡部分的待处理人脸图像和生成图像进行图像融合，得到调整后的生成图像。
当然，在另一示例中，可以利用各帧生成图像直接组成目标视频，这样便于实现。
在实际应用中，步骤101至步骤104可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、FPGA、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出，在本公开实施例中，由于人脸关键点信息是考虑头部姿势信息的基础上得出的，因而，根据人脸关键点信息得到的每帧生成图像可以体现出头部姿势信息，进而，目标视频可以体现出头部姿势信息；而头部姿势信息是根据每帧人脸图像得出的，每帧人脸图像可以根据与头部姿势相关的实际需求来获取，因此，本公开实施例可以根据符合关于头部姿势的实际需求的每帧人脸图像，生成相应的目标视频，使得生成目标视频符合关于头部姿势的实际需求。
进一步地，参照图4，在第二神经网络的应用阶段，还可以对目标视频执行以下至少一项操作：对目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
可以理解的是，通过对目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，可以减少目标视频中存在的说话相关部位的抖动，提升目标视频的展示效果；通过对目标视频中的图像进行消抖处理，可以目标视频中存在的图像闪烁，提升目标视频的展示效果。
对于对所述目标视频的图像的说话相关部位的人脸关键点进行运动平滑处理的实现方式，示例性地，可以在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
需要说明的是，在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离大于设定距离阈值的情况下，可以直接将所述目标视频的第t帧图像的说话相关部位的人脸关键点信息作为：目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息，也就是说，不对目标视频的第t帧图像的说话相关部位的人脸关键点信息进行运动平滑处理。
在一个具体的示例中，令lt-1表示目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，lt表示目标视频的第t帧图像的说话相关部位的人脸关键点信息，dth表示设定距离阈值，s表示设定的运动平滑处理的强度，lt′表示目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息；ct-1表示目标视频的第t-1帧图像的说话相关部位的中心位置，ct表示目标视频的第t帧图像的说话相关部位的中心位置。
在||ct-ct-1||2＞dth的情况下，lt′＝lt。
在||ct-ct-1||2≤dth的情况下，lt′＝αlt-1+(1-α)lt，其中，α＝exp(-s||ct-ct-1||2)。
对于对目标视频的图像进行消抖处理的实现方式，示例性地，可以在t大于或等于2的情况下，根据目标视频的第t-1帧图像至第t帧图像的光流、目标视频的经消抖处理后的第t-1帧图像、以及目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
在一个具体的示例中，对目标视频的第t帧图像进行消抖处理的过程可以用公式(5)进行说明。
Figure BDA0002206634810000151
其中，Pt表示目标视频的未经消抖处理的第t帧图像，Ot表示目标视频的经消抖处理的第t帧图像，Ot-1表示目标视频的经消抖处理的第t-1帧图像；F()表示傅里叶变换，f表示目标视频的视频帧率，dt表示目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，warp(Ot-1)表示将从目标视频的第t-1帧图像至第t帧图像的光流作用于Ot-1后得出的图像。
本公开实施例的视频生成方法可以多种场景中，一种示例性的应用场景为：在终端上需要显示包含客服人员人脸图像的视频信息，每次接收输入信息或请求某种服务时，会要求播放客服人员的讲解视频；此时，可以根据本公开实施例的视频生成方法，对预先获取的多帧人脸图像和每帧人脸图像对应的音频片段进行处理，得到每帧人脸图像的人脸关键点信息；然后，可以根据每帧人脸图像的人脸关键点信息，对各帧客服人员人脸图像进行补全处理，得到每帧生成图像；进而在在后台合成客户人员说话的讲解视频。
需要说明的是，上述仅仅是对本公开实施例的应用场景进行了示例性说明，本公开实施例的应用场景并不局限于此。
图5为本公开实施例的第一神经网络的训练方法的流程图，如图5所示，该流程可以包括：
A1：获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段。
在实际应用中，可以从样本视频数据中分离出多帧人脸样本图像和包含语音的音频样本数据；确定每帧人脸样本图像对应的音频样本片段，所述每帧人脸样本图像对应的音频样本片段为所述音频样本数据的一部分；
这里，样本视频数据的每帧图像包括人脸样本图像，样本视频数据中音频数据包含说话者语音；本公开实施例中，并不对样本视频数据的来源和格式进行限定。
本公开实施例中，从样本视频数据中分离出多帧人脸样本图像和包含语音的音频样本数据的实现方式，与从预先获取的源视频数据中分离出多帧人脸图像和包含语音的音频数据的实现方式相同，这里不再赘述。
A2：将每帧人脸样本图像和每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息。
本公开实施例中，本步骤的实现方式已经在步骤102中作出说明，这里不再赘述。
A3：根据第一神经网络的损失，调整第一神经网络的网络参数。
这里，第一神经网络的损失包括表情损失和/或人脸关键点损失，表情损失用于表示预测人脸表情信息和人脸表情标记结果的差异，人脸关键点损失用于表示预测人脸关键点信息和人脸关键点标记结果的差异。
在实际实施时，可以从每帧人脸样本图像提取出人脸关键点标记结果，也可以将每帧人脸图像输入至3DMM中，将利用3DMM提取出的人脸表情信息作为人脸表情标记结果。
这里，表情损失和人脸关键点损失可以根据公式(6)计算得出。
Figure BDA0002206634810000161
其中，e表示人脸表情标记结果，
Figure BDA0002206634810000162
表示基于第一神经网络得到的预测人脸表情信息，Lexp表示表情损失，l表示人脸关键点标记结果，
Figure BDA0002206634810000171
表示基于第一神经网络得到的预测人脸关键点信息，Lldmk表示人脸关键点损失，||·||1表示取1范数。
参照图2，人脸关键点信息2表示人脸关键点标记结果，人脸表情信息2表示人脸表情标记结果，如此，根据人脸关键点信息1和人脸关键点信息2可以得出人脸关键点损失，根据人脸表情信息1和人脸表情信息2可以得出表情损失。
A4：判断网络参数调整后的第一神经网络的损失是否满足第一预定条件，如果不满足，则重复执行步骤A1至步骤A4；如果满足，则执行步骤A5。
可选地，第一预定条件可以是表情损失小于第一设定损失值、人脸关键点损失小于第二设定损失值、或表情损失与人脸关键点损失的加权和小于第三设定损失值。本公开实施例中，第一设定损失值、第二设定损失值和第三设定损失值均可以按照实际需求预先设置。
这里，表情损失与人脸关键点损失的加权和L1可以通过公式(7)进行表示。
L1＝α1Lexp+α2Lldmk (7)
其中，α1表示表情损失的权重系数，α2表示人脸关键点损失的权重系数，α1和α2均可以根据实际需求进行经验性设置。
A5：将网络参数调整后的第一神经网络作为训练完成的第一神经网络。
在实际应用中，步骤A1至步骤A5可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，在第一神经网络的训练过程中，由于预测人脸关键点信息是考虑头部姿势信息的基础上得出的，而头部姿势信息是根据源视频数据中的人脸图像得出的，源视频数据可以根据关于头部姿势的实际需求得出，因此，可以使训练完成的第一神经网络能够更好地根据符合关于头部姿势的实际需求的源视频数据，生成相应的人脸关键点信息。
图6为本公开实施例的第二神经网络的训练方法的流程图，如图6所示，该流程可以包括：
B1：向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
本步骤的实现方式已经在步骤103中作出说明，这里不再赘述。
B2：对样本人脸图像进行鉴别，得到第一鉴别结果；对生成图像进行鉴别，得到第二鉴别结果。
B3：根据第二神经网络的损失，调整第二神经网络的网络参数。
这里，第二神经网络的损失包括对抗损失，对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的。
这里，对抗损失可以根据公式(8)计算得出。
Figure BDA0002206634810000181
其中，Ladv表示对抗损失，
Figure BDA0002206634810000182
表示第二鉴别结果，F表示样本人脸图像，D(F)表示第一鉴别结果。
可选地，第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；其中，像素重建损失用于表征样本人脸图像和生成图像的差异，感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；伪影损失用于表征生成图像的尖峰伪影，梯度惩罚损失用于限制第二神经网络的更新梯度。
本公开实施例中，像素重建损失可以根据公式(9)计算得出。
Lrecon＝||Ψ(N,H)-F||1 (9)
其中，Lrecon表示像素重建损失，||·||1表示取1范数。
在实际应用中，可以将样本人脸图像输入至用于提取不同尺度图像特征的神经网络中，以提取出样本人脸图像在不同尺度的特征；可以将生成图像输入至用于提取不同尺度图像特
征的神经网络中，以提取出生成图像在不同尺度的特征；这里，可以用
Figure BDA0002206634810000184
表示生成图像在第i个尺度的特征，用feati(F)表示样本人脸图像在第i个尺度的特征，感知损失可以表示为Lvgg。
在一个示例中，用于提取不同尺度图像特征的神经网络为VGG16网络，可以将样本人脸图像或生成图像输入至VGG16网络中，以提取出样本人脸图像或生成图像在第1个尺度至第4个尺度的特征，这里可以使用relu1_2层、relu2_2层、relu3_3层和relu3_4层得出的特征分别作为样本人脸图像或生成图像在第1个尺度至第4个尺度的特征。此时，感知损失可以根据公式(10)计算得出。
Figure BDA0002206634810000183
B4：判断网络参数调整后的第二神经网络的损失是否满足第二预定条件，如果不满足，则重复执行步骤B1至步骤B4；如果满足，则执行步骤B5。
可选地，第二预定条件可以是对抗损失小于第四设定损失值。本公开实施例中，第四设定损失值可以按照实际需求预先设置。
可选地，第二预定条件还可以是对抗损失与以下至少一种损失的加权和小于第五设定损失值：像素重建损失、感知损失、伪影损失、梯度惩罚损失；本公开实施例中，第五设定损失值可以按照实际需求预先设置。
在一个具体的示例中，对抗损失、像素重建损失、感知损失、伪影损失以及梯度惩罚损失的加权和L2可以根据公式(11)进行说明。
L2＝β1Lrecon+β2Ladv+β3Lvgg+β4Ltv+β5Lgp (11)
其中，Ltv表示伪影损失，Lgp表示梯度惩罚损失，β1表示像素重建损失的权重系数，β2表示对抗损失的权重系数，β3表示感知损失的权重系数，β4表示伪影损失的权重系数，β5表示梯度惩罚损失的权重系数；β1、β2、β3、β4和β5均可以根据实际需求进行经验性设置。
B5：将网络参数调整后的第二神经网络作为训练完成的第二神经网络。
在实际应用中，步骤B1至步骤B5可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，在第二神经网络的训练过程中，可以根据鉴别器的鉴别结果来对神经网络的参数进行调整，有利于得到逼真的生成图像，即，可以使训练完成的第二神经网络能够得到更加逼真的生成图像。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定
在前述实施例提出的视频生成方法的基础上，本公开实施例提出了一种视频生成装置。
图7为本公开实施例的视频生成装置的组成结构示意图，如图7所示，所述装置包括：第一处理模块701、第二处理模块702和生成模块703；其中，
第一处理模块701，用于获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；
第二处理模块702，用于从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像；
生成模块703，用于根据各帧生成图像，生成目标视频。
可选地，所述第二处理模块702，用于根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。
可选地，所述第二处理模块702，用于提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。
可选地，所述第二处理模块702，用于通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。
可选地，所述生成模块703，用于针对每帧生成图像，根据所述预先获取的对应一帧人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。
可选地，参照图7，所述装置还包括消抖模块704，其中，消抖模块704，用于对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
可选地，所述消抖模块704，用于在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
可选地，所述消抖模块704，用于在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
可选地，所述第一处理模块701，用于获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。
可选地，所述第二处理模块702，用于将所述多帧人脸图像和所述每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于所述第一神经网络执行以下步骤：从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息。
可选地，所述第一神经网络采用以下步骤训练完成：
获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段；
将所述每帧人脸样本图像和所述每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息；
根据所述第一神经网络的损失，调整所述第一神经网络的网络参数；所述第一神经网络的损失包括表情损失和/或人脸关键点损失，所述表情损失用于表示所述预测人脸表情信息和人脸表情标记结果的差异，所述人脸关键点损失用于表示所述预测人脸关键点信息和人脸关键点标记结果的差异；
重复执行上述步骤，直至第一神经网络的损失满足第一预定条件，得到训练完成的第一神经网络。
可选地，所述第二处理模块702，用于将所述每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像。
可选地，所述第二神经网络采用以下步骤训练完成：
向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
对所述样本人脸图像进行鉴别，得到第一鉴别结果；对所述生成图像进行鉴别，得到第二鉴别结果；
根据所述第二神经网络的损失，调整所述第二神经网络的网络参数，所述第二神经网络的损失包括对抗损失，所述对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的；
重复执行上述步骤，直至第二神经网络的损失满足第二预定条件，得到训练完成的第二神经网络。
可选地，所述第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；所述像素重建损失用于表征样本人脸图像和生成图像的差异，所述感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；所述伪影损失用于表征生成图像的尖峰伪影，所述梯度惩罚损失用于限制第二神经网络的更新梯度。
在实际应用中，第一处理模块701、第二处理模块702、生成模块703和消抖模块704均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种视频生成方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种视频生成方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种视频生成方法。
基于前述实施例相同的技术构思，参见图8，其示出了本公开实施例提供的一种电子设备80，可以包括：存储器81和处理器82；其中，
所述存储器81，用于存储计算机程序和数据；
所述处理器82，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种视频生成方法。
在实际应用中，上述存储器81可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器82提供指令和数据。
上述处理器82可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (30)

1.一种视频生成方法，其特征在于，所述方法包括：
获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；
从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；
根据所述每帧人脸图像的人脸关键点信息，对从所述多帧人脸图像中预先获取的人脸图像进行补全处理，得到每帧生成图像；其中，所述预先获取的人脸图像，包括预先获取的带遮挡部分的人脸图像；
根据各帧生成图像，生成目标视频。
2.根据权利要求1所述的视频生成方法，其特征在于，所述根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：
根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。
3.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据所述每帧人脸图像对应的音频片段，得出人脸表情信息，包括：
提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。
4.根据权利要求3所述的视频生成方法，其特征在于，所述消除所述音频特征的音色信息，包括：
通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。
5.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据各帧生成图像，生成目标视频，包括：
针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。
6.根据权利要求1或2所述的视频生成方法，其特征在于，所述方法还包括：对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
7.根据权利要求6所述的视频生成方法，其特征在于，所述对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，包括：
在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
8.根据权利要求6所述的视频生成方法，其特征在于，所述对所述目标视频中的图像进行消抖处理，包括：
在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
9.根据权利要求1或2所述的视频生成方法，其特征在于，所述获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段，包括：
获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。
10.根据权利要求1或2所述的视频生成方法，其特征在于，所述从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：
将所述多帧人脸图像和所述每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于所述第一神经网络执行以下步骤：从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息。
11.根据权利要求10所述的视频生成方法，其特征在于，所述第一神经网络采用以下步骤训练完成：
获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段；
将所述每帧人脸样本图像和所述每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息；
根据所述第一神经网络的损失，调整所述第一神经网络的网络参数；所述第一神经网络的损失包括表情损失和/或人脸关键点损失，所述表情损失用于表示所述预测人脸表情信息和人脸表情标记结果的差异，所述人脸关键点损失用于表示所述预测人脸关键点信息和人脸关键点标记结果的差异；
重复执行上述步骤，直至第一神经网络的损失满足第一预定条件，得到训练完成的第一神经网络。
12.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据所述每帧人脸图像的人脸关键点信息，对从所述多帧人脸图像中预先获取的人脸图像进行补全处理，得到每帧生成图像，包括：
将所述每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像。
13.根据权利要求12所述的视频生成方法，其特征在于，所述第二神经网络采用以下步骤训练完成：
向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
对所述样本人脸图像进行鉴别，得到第一鉴别结果；对所述生成图像进行鉴别，得到第二鉴别结果；
根据所述第二神经网络的损失，调整所述第二神经网络的网络参数，所述第二神经网络的损失包括对抗损失，所述对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的；
重复执行上述步骤，直至第二神经网络的损失满足第二预定条件，得到训练完成的第二神经网络。
14.根据权利要求13所述的视频生成方法，其特征在于，所述第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；所述像素重建损失用于表征样本人脸图像和生成图像的差异，所述感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；所述伪影损失用于表征生成图像的尖峰伪影，所述梯度惩罚损失用于限制第二神经网络的更新梯度。
15.一种视频生成装置，其特征在于，所述装置包括第一处理模块、第二处理模块、第三处理模块和生成模块；其中，
第一处理模块，用于获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；
第二处理模块，用于从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据所述每帧人脸图像的人脸关键点信息，对从所述多帧人脸图像中预先获取的人脸图像进行补全处理，得到每帧生成图像；其中，所述预先获取的人脸图像，包括预先获取的带遮挡部分的人脸图像；
生成模块，用于根据各帧生成图像，生成目标视频。
16.根据权利要求15所述的视频生成装置，其特征在于，所述第二处理模块，用于根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。
17.根据权利要求15或16所述的视频生成装置，其特征在于，所述第二处理模块，用于提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。
18.根据权利要求17所述的视频生成装置，其特征在于，所述第二处理模块，用于通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。
19.根据权利要求15或16所述的视频生成装置，其特征在于，所述生成模块，用于针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。
20.根据权利要求15或16所述的视频生成装置，其特征在于，所述装置还包括消抖模块，其中，
消抖模块，用于对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。
21.根据权利要求20所述的视频生成装置，其特征在于，所述消抖模块，用于在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。
22.根据权利要求20所述的视频生成装置，其特征在于，所述消抖模块，用于在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。
23.根据权利要求15或16所述的视频生成装置，其特征在于，所述第一处理模块，用于获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。
24.根据权利要求15或16所述的视频生成装置，其特征在于，所述第二处理模块，用于将所述多帧人脸图像和所述每帧人脸图像对应的音频片段输入至预先训练的第一神经网络中；基于所述第一神经网络执行以下步骤：从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息。
25.根据权利要求24所述的视频生成装置，其特征在于，所述第一神经网络采用以下步骤训练完成：
获取多帧人脸样本图像和每帧人脸样本图像对应的音频样本片段；
将所述每帧人脸样本图像和所述每帧人脸样本图像对应的音频样本片段输入至未经训练的第一神经网络中，得到每帧人脸样本图像的预测人脸表情信息和预测人脸关键点信息；
根据所述第一神经网络的损失，调整所述第一神经网络的网络参数；所述第一神经网络的损失包括表情损失和/或人脸关键点损失，所述表情损失用于表示所述预测人脸表情信息和人脸表情标记结果的差异，所述人脸关键点损失用于表示所述预测人脸关键点信息和人脸关键点标记结果的差异；
重复执行上述步骤，直至第一神经网络的损失满足第一预定条件，得到训练完成的第一神经网络。
26.根据权利要求15或16所述的视频生成装置，其特征在于，所述第二处理模块，用于将所述每帧人脸图像的人脸关键点信息和预先获取的人脸图像输入至预先训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像。
27.根据权利要求26所述的视频生成装置，其特征在于，所述第二神经网络采用以下步骤训练完成：
向预先获取不带遮挡部分的样本人脸图像添加掩膜，获取到带遮挡部分的人脸图像；将预先获取的样本人脸关键点信息和所述带遮挡部分的人脸图像输入至未经训练的第二神经网络中；基于所述第二神经网络执行以下步骤：根据所述样本人脸关键点信息，对所述预先获取的带遮挡部分的人脸图像进行遮挡部分的补全处理，得到生成图像；
对所述样本人脸图像进行鉴别，得到第一鉴别结果；对所述生成图像进行鉴别，得到第二鉴别结果；
根据所述第二神经网络的损失，调整所述第二神经网络的网络参数，所述第二神经网络的损失包括对抗损失，所述对抗损失是根据所述第一鉴别结果和所述第二鉴别结果得出的；
重复执行上述步骤，直至第二神经网络的损失满足第二预定条件，得到训练完成的第二神经网络。
28.根据权利要求27所述的视频生成装置，其特征在于，所述第二神经网络的损失还包括以下至少一种损失：像素重建损失、感知损失、伪影损失、梯度惩罚损失；所述像素重建损失用于表征样本人脸图像和生成图像的差异，所述感知损失用于表征样本人脸图像和生成图像在不同尺度的差异之和；所述伪影损失用于表征生成图像的尖峰伪影，所述梯度惩罚损失用于限制第二神经网络的更新梯度。
29.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至14任一项所述的视频生成方法。
30.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至14任一项所述的视频生成方法。
CN201910883605.2A 2019-09-18 2019-09-18 视频生成方法、装置、电子设备和计算机存储介质 Active CN110677598B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910883605.2A CN110677598B (zh) 2019-09-18 2019-09-18 视频生成方法、装置、电子设备和计算机存储介质
KR1020217034706A KR20210140762A (ko) 2019-09-18 2020-09-08 비디오 생성 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
JP2021556974A JP2022526148A (ja) 2019-09-18 2020-09-08 ビデオ生成方法、装置、電子機器及びコンピュータ記憶媒体
SG11202108498RA SG11202108498RA (en) 2019-09-18 2020-09-08 Method and device for generating video, electronic equipment, and computer storage medium
PCT/CN2020/114103 WO2021052224A1 (zh) 2019-09-18 2020-09-08 视频生成方法、装置、电子设备和计算机存储介质
US17/388,112 US20210357625A1 (en) 2019-09-18 2021-07-29 Method and device for generating video, electronic equipment, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883605.2A CN110677598B (zh) 2019-09-18 2019-09-18 视频生成方法、装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110677598A CN110677598A (zh) 2020-01-10
CN110677598B true CN110677598B (zh) 2022-04-12

Family

ID=69078255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883605.2A Active CN110677598B (zh) 2019-09-18 2019-09-18 视频生成方法、装置、电子设备和计算机存储介质

Country Status (6)

Country Link
US (1) US20210357625A1 (zh)
JP (1) JP2022526148A (zh)
KR (1) KR20210140762A (zh)
CN (1) CN110677598B (zh)
SG (1) SG11202108498RA (zh)
WO (1) WO2021052224A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020092457A1 (en) * 2018-10-29 2020-05-07 Artrendex, Inc. System and method generating synchronized reactive video stream from auditory input
CN110677598B (zh) * 2019-09-18 2022-04-12 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
CN111368137A (zh) * 2020-02-12 2020-07-03 百度在线网络技术（北京）有限公司 视频的生成方法、装置、电子设备及可读存储介质
CN111294665B (zh) * 2020-02-12 2021-07-20 百度在线网络技术（北京）有限公司 视频的生成方法、装置、电子设备及可读存储介质
SG10202001693VA (en) * 2020-02-26 2021-09-29 Pensees Pte Ltd Methods and Apparatus for AI (Artificial Intelligence) Movie Producer System
CN111429885B (zh) * 2020-03-02 2022-05-13 北京理工大学 一种将音频片段映射为人脸嘴型关键点的方法
CN113689527B (zh) * 2020-05-15 2024-02-20 武汉Tcl集团工业研究院有限公司 一种人脸转换模型的训练方法、人脸图像转换方法
CN113689538B (zh) * 2020-05-18 2024-05-21 北京达佳互联信息技术有限公司 一种视频生成方法、装置、电子设备及存储介质
US11538140B2 (en) * 2020-11-13 2022-12-27 Adobe Inc. Image inpainting based on multiple image transformations
CN112669441B (zh) * 2020-12-09 2023-10-17 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN112699263B (zh) * 2021-01-08 2023-05-23 郑州科技学院 基于ai的二维美术图像动态展示方法及装置
CN112927712B (zh) * 2021-01-25 2024-06-04 网易（杭州）网络有限公司 视频生成方法、装置和电子设备
CN113132815A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 视频生成方法和装置、计算机可读存储介质、电子设备
CN113077537B (zh) * 2021-04-29 2023-04-25 广州虎牙科技有限公司 一种视频生成方法、存储介质及设备
CN113299312B (zh) * 2021-05-21 2023-04-28 北京市商汤科技开发有限公司 一种图像生成方法、装置、设备以及存储介质
CN113378697B (zh) * 2021-06-08 2022-12-09 安徽大学 一种基于卷积神经网络的说话人脸视频生成方法及装置
US20230035306A1 (en) * 2021-07-21 2023-02-02 Nvidia Corporation Synthesizing video from audio using one or more neural networks
CN113868472A (zh) * 2021-10-18 2021-12-31 深圳追一科技有限公司 数字人视频的生成方法以及相关设备
CN114093384A (zh) * 2021-11-22 2022-02-25 上海商汤科技开发有限公司 说话视频生成方法、装置、设备以及存储介质
WO2023097633A1 (en) * 2021-12-03 2023-06-08 Citrix Systems, Inc. Telephone call information collection and retrieval
CN114373033B (zh) * 2022-01-10 2024-08-20 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序
CN116152122B (zh) * 2023-04-21 2023-08-25 荣耀终端有限公司 图像处理方法和电子设备
CN117593442B (zh) * 2023-11-28 2024-05-03 拓元(广州)智慧科技有限公司 一种基于多阶段细粒度渲染的人像生成方法
CN117474807B (zh) * 2023-12-27 2024-05-31 科大讯飞股份有限公司 一种图像修复方法、装置、设备及存储介质
CN117556084B (zh) * 2023-12-27 2024-03-26 环球数科集团有限公司 一种基于多模态的视频情感分析系统
CN118279453A (zh) * 2024-01-08 2024-07-02 南京硅基智能科技有限公司 基于音频生成动态图像的方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1971621A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 语音和文本联合驱动的卡通人脸动画生成方法
CN101944238A (zh) * 2010-09-27 2011-01-12 浙江大学 基于拉普拉斯变换的数据驱动人脸表情合成方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法
CN105551071A (zh) * 2015-12-02 2016-05-04 中国科学院计算技术研究所 一种文本语音驱动的人脸动画生成方法及系统
CN105957129A (zh) * 2016-04-27 2016-09-21 上海河马动画设计股份有限公司 一种基于语音驱动及图像识别的影视动画制作方法
CN109801349A (zh) * 2018-12-19 2019-05-24 武汉西山艺创文化有限公司 一种声音驱动的三维动画角色实时表情生成方法和系统
CN110381266A (zh) * 2019-07-31 2019-10-25 百度在线网络技术（北京）有限公司 一种视频生成方法、装置以及终端

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2795084B2 (ja) * 1992-07-27 1998-09-10 国際電信電話株式会社 口形状画像合成方法及び装置
JPH1166272A (ja) * 1997-08-13 1999-03-09 Sony Corp 画像または音声の処理装置および処理方法ならびに記録媒体
JPH11149285A (ja) * 1997-11-17 1999-06-02 Matsushita Electric Ind Co Ltd 映像音響システム
KR100411760B1 (ko) * 2000-05-08 2003-12-18 주식회사 모리아테크놀로지 애니메이션 영상 합성 장치 및 방법
JP5109038B2 (ja) * 2007-09-10 2012-12-26 株式会社国際電気通信基礎技術研究所 リップシンクアニメーション作成装置及びコンピュータプログラム
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US10438631B2 (en) * 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
US9779775B2 (en) * 2014-02-24 2017-10-03 Lyve Minds, Inc. Automatic generation of compilation videos from an original video based on metadata associated with the original video
CN107818785A (zh) * 2017-09-26 2018-03-20 平安普惠企业管理有限公司 一种从多媒体文件中提取信息的方法及终端设备
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN108197604A (zh) * 2018-01-31 2018-06-22 上海敏识网络科技有限公司 基于嵌入式设备的快速人脸定位跟踪方法
JP2019201360A (ja) * 2018-05-17 2019-11-21 住友電気工業株式会社 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法
CN109101919B (zh) * 2018-08-03 2022-05-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN108985257A (zh) * 2018-08-03 2018-12-11 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109522818B (zh) * 2018-10-29 2021-03-30 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109409296B (zh) * 2018-10-30 2020-12-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN109829431B (zh) * 2019-01-31 2021-02-12 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110147737B (zh) * 2019-04-25 2021-06-18 北京百度网讯科技有限公司 用于生成视频的方法、装置、设备和存储介质
CN110516696B (zh) * 2019-07-12 2023-07-25 东南大学 一种基于语音和表情的自适应权重双模态融合情感识别方法
CN110677598B (zh) * 2019-09-18 2022-04-12 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1971621A (zh) * 2006-11-10 2007-05-30 中国科学院计算技术研究所 语音和文本联合驱动的卡通人脸动画生成方法
CN101944238A (zh) * 2010-09-27 2011-01-12 浙江大学 基于拉普拉斯变换的数据驱动人脸表情合成方法
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法
CN105551071A (zh) * 2015-12-02 2016-05-04 中国科学院计算技术研究所 一种文本语音驱动的人脸动画生成方法及系统
CN105957129A (zh) * 2016-04-27 2016-09-21 上海河马动画设计股份有限公司 一种基于语音驱动及图像识别的影视动画制作方法
CN109801349A (zh) * 2018-12-19 2019-05-24 武汉西山艺创文化有限公司 一种声音驱动的三维动画角色实时表情生成方法和系统
CN110381266A (zh) * 2019-07-31 2019-10-25 百度在线网络技术（北京）有限公司 一种视频生成方法、装置以及终端

Also Published As

Publication number Publication date
WO2021052224A1 (zh) 2021-03-25
SG11202108498RA (en) 2021-09-29
KR20210140762A (ko) 2021-11-23
JP2022526148A (ja) 2022-05-23
US20210357625A1 (en) 2021-11-18
CN110677598A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110677598B (zh) 视频生成方法、装置、电子设备和计算机存储介质
Chen et al. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss
US10789456B2 (en) Facial expression recognition utilizing unsupervised learning
JP2021503662A (ja) ニューラルネットワークのモデルの訓練
CN108269254A (zh) 图像质量评估方法和装置
WO2020150689A1 (en) Systems and methods for realistic head turns and face animation synthesis on mobile device
WO2022179401A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN108446390A (zh) 用于推送信息的方法和装置
CN110298319B (zh) 图像合成方法和装置
Chatterjee et al. Sound2sight: Generating visual dynamics from sound and context
RU2764125C1 (ru) Способ оценки качества видео и аппарат, устройство и носитель данных
CN113299312B (zh) 一种图像生成方法、装置、设备以及存储介质
CN113192162A (zh) 语音驱动图像的方法、系统、装置及存储介质
CN108241855A (zh) 图像生成方法和装置
CN110418148B (zh) 视频生成方法、视频生成设备及可读存储介质
CN114299944A (zh) 视频处理方法、系统、装置及存储介质
CN117409121A (zh) 基于音频和单幅图像驱动的细粒度情感控制说话人脸视频生成方法、系统、设备及介质
Chen et al. Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss
Purps et al. Reconstructing facial expressions of hmd users for avatars in vr
CN116980697A (zh) 一种说话人脸视频生成方法、装置、设备及存储介质
CN115798005A (zh) 基准照片的处理方法及装置、处理器和电子设备
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN114333786A (zh) 语音情感识别方法及相关装置、电子设备和存储介质
CN116758601A (zh) 人脸识别模型的训练方法、装置、电子设备及存储介质
Koumparoulis et al. Audio-assisted image inpainting for talking faces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant