CN112887789B - 视频生成模型的构建和视频生成方法、装置、设备及介质 - Google Patents
视频生成模型的构建和视频生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112887789B CN112887789B CN202110088850.1A CN202110088850A CN112887789B CN 112887789 B CN112887789 B CN 112887789B CN 202110088850 A CN202110088850 A CN 202110088850A CN 112887789 B CN112887789 B CN 112887789B
- Authority
- CN
- China
- Prior art keywords
- sample
- voice
- phoneme
- character image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title description 5
- 239000012634 fragment Substances 0.000 claims abstract description 85
- 230000009471 action Effects 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000002372 labelling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种视频生成模型的构建和视频生成方法、装置、设备及介质，涉及计算机技术领域，尤其涉及深度学习、计算机视觉和语音技术等人工智能技术领域。具体实现方案为：将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息；根据样本语音片段的音素标签、样本语音片段关联的样本视频帧序列、音素信息和人物图像序列，对初始模型进行训练，得到视频生成模型。为图像驱动技术的发展提供了一种新思路。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习、计算机视觉和语音技术等人工智能技术领域。
背景技术
随着人工智能技术和视频技术的发展，将静态图像驱动成动态视频的图像驱动技术逐渐兴起，具体过程为通过一段人物视频，去驱动一张静态的目标人物图像，从而得到该目标人物图像关联的人物视频，但是，现有的图像驱动技术无法满足跨模态驱动图像的需求，例如，通过一段语音将一张静态的人物图像驱动成一段表达该段语音的动态人物视频，亟需改进。
发明内容
本申请提供了一种视频生成模型的构建和视频生成方法、装置、设备及介质。
根据本申请的第一方面，提供了一种视频生成模型的构建方法，包括：
将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；
根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型。
根据本申请的第二方面，提供了一种视频生成方法，该方法使用本申请任一实施例所述的方法构建的视频生成模型实现，该方法包括：
将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；
根据所述人物图像序列，生成目标人物视频。
根据本申请的第三方面，提供了一种视频生成模型的构建装置，包括：
数据输入模块，用于将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；
模型训练模块，用于根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型。
根据本申请的第四方面，提供了一种视频生成装置，该装置使用本申请任一实施例所述的方法构建的视频生成模型实现，该装置包括：
图像序列生成模块，用于将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；
视频生成模块，用于根据所述人物图像序列，生成目标人物视频。
根据本申请的第五方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的视频生成模型的构建方法或视频生成方法。
根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本申请任一实施例所述的视频生成模型的构建方法或视频生成方法。
根据本申请的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例所述的视频生成模型的构建方法或视频生成方法。
本申请实施例的技术方案，给出了一种能够实现跨模态驱动图像的视频生成模型的构建和视频生成方法，为图像驱动技术的发展提供了新思路。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1A是根据本申请实施例提供的一种视频生成模型的构建方法的流程图；
图1B是根据本申请实施例提供的一种初始模型的结构示意图；
图2是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图；
图3是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图；
图4A是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图；
图4B是根据本申请实施例提供的另一种初始模型的结构示意图；
图5是根据本申请实施例提供的一种视频生成方法的流程图；
图6是根据本申请实施例提供的一种视频生成模型的构建装置的结构示意图；
图7是根据本申请实施例提供的一种视频生成装置的结构示意图；
图8是用来实现本申请实施例的视频生成模型的构建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1A是根据本申请实施例提供的一种视频生成模型的构建方法的流程图；图1B是根据本申请实施例提供的一种初始模型的结构示意图。本实施例适用于构建能够执行通过语音驱动人物图像生成人物视频的视频生成模型的情况。该实施例可以由电子设备中配置的视频生成模型的构建装置来执行，该装置可以采用软件和/或硬件来实现。如图1A-1B所示，该方法包括：
S101，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息。
其中，所谓初始模型可以是已经构建好，但未经训练的用于根据语音驱动人物图像生成人物视频的视频生成模型。可选的，如图1B所示，该初始模型1可以包括编码器网络10、解码器网络11和音素预测网络12三部分，其中，编码器网络10和解码器网络11为初始模型1的主干网络，音素预测网络12为初始模型1的辅助训练网络。具体的，初始模型的1的输入即为编码器网络10的输入，编码器网络10的输出连接解码器网络11和音素预测网络12，解码器网络11的输出即为初始网络1的输出。优选的，编码器网络10又可以进一步包括图像编码器网络101和语音编码器网络102，其中，图像编码器网络101和语音编码器网络102的输出都连接解码器网络11，语音编码器网络102的输出还连接音素预测网络12。
可选的，本申请实施例训练初始模型所需的样本数据包括：样本人物图像、样本语音片段，以及样本语音片段关联的音素标签和样本视频帧序列。其中样本人物图像可以是模型训练时使用的待驱动的静态人物图像，例如，可以是图1B所示的静态人脸图像。样本语音片段可以是模型训练时使用的需要驱动样本人物图像的音频数据。可选的，本申请实施例驱动样本人物图像的样本语音片段的个数为至少一个。样本语音片段关联的音素标签可以是对样本语音片段进行音素识别后，为样本语音片段标注的音素标签，该音素标签可以包括但不限于：样本语音片段中包含的所有音素，以及各音素在样本语音片段中对应的开始时间和结束时间。样本语音片段关联的样本视频帧序列可以是静态人物图像中的人物表达该样本语音片段时录制的视频中各视频帧构成的序列。
在本申请实施例中，图像特征可以是从人物图像(如样本人物图像)中提取出的人物特征，例如，可以包括但不限于：人物的五官和肢体的关键点特征、肤色特征、姿态特征等。语音动作关联特征可以是从语音片段(如样本语音片段)中提取出来的语音与人物动作形态之间的关联关系。例如，人在表达语音片段的过程中，变化最大的是唇部形态，因此，可以将语音与人脸唇部形态之间的关联关系作为语音动作关联特征，若在表达语音片段的过程中还加入了肢体形态的变化，则还可以将语音与肢体形态之间的关联关系作为语音动作关联特征。
可选的，本申请实施例可以是将样本数据中的样本人物图像和样本语音片段输入初始模型1的编码器网络10中，编码器网络10会对输入的样本人物图像和样本语音片段进行解析，输出图像特征和语音动作关联特征，具体的，可以是将样本人物图像输入初始模型1的图像编码器网络101，由图像编码器网络101解析样本人物图像，得到样本人物图像的图像特征；将样本语音片段输入初始模型1的语音编码器网络102，由语音编码器网络102解析样本语音片段，得到样本语音片段的语音动作关联特征。编码器网络10(即图像编码器网络101和语音编码器网络102)输出的图像特征和语音动作关联特征进行拼接后，会进一步输入到初始模型1的解码器网络11中，由解码器网络11对拼接后的图像特征和语音动作关联特征进行解码分析，生成包含该图像特征，且被语音动作关联特征驱动后的人物图像序列。其中，该人物图像序列可以是由至少一帧驱动后的人物图像帧构成，语音片段时长越长，生成的该人物图像序列中包含的人物图像帧的数量越多。示例性的，如图1B所示，若图像特征为人脸的五官关键点特征、肤色特征和姿态特征，语音动作关联特征为语音与人脸唇部形态之间的关联关系，则此时驱动后的人物图像序列中的各帧图像中的人脸都具同样的五官关键点特征、肤色特征和姿态特征，只是受语音动作关联特征的驱动，不同图像帧中唇部关键点的位置发生了变化。
另外，对于初始模型1中编码器网络10(即语音编码器网络102)输出的语音动作关联特征，还会进一步的输入到初始模型1的音素预测网络12，由音素预测网络12对该语音动作关联特征进行分析，通过该语音动作关联特征预测样本语音片段的音素信息。其中，该音素信息包含的内容可以与为样本语音片段标注的音素标签包含的内容相同，即可以包括样本语音片段中包含的所有音素，以及各音素在语音片段中对应的开始时间和结束时间。
S102，根据样本语音片段的音素标签、样本语音片段关联的样本视频帧序列、音素信息和人物图像序列，对初始模型进行训练，得到视频生成模型。
可选的，在本申请实施例可以以样本数据中的样本语音片段的音素标签和样本语音片段关联的样本视频帧序列为监督数据，结合初始模型1的主干网络的预测结果，即样本语音片段驱动样本人物图像的人物图像序列，以及辅助训练网络的预测结果，即样本语音片段的音素信息，来对初始模型1进行训练，不断更新优化初始模型1中的编码器网络10、解码器网络11和音素预测网络12的网络参数直到模型收敛，得到视频生成模型。
优选的，本申请实施例可以是将样本语音片段的音素标签作为音素信息的监督数据，对初始模型的编码器网络和音素预测网络进行训练；将样本语音片段关联的样本视频帧序列作为人物图像序列的监督数据，对初始模型的编码器网络和解码器网络进行训练。
具体的，可以是将样本语音片段的音素标签作为音素信息的监督数据，对初始模型1的编码器网络10中的语音编码器网络102和音素预测网络12进行训练，以此来引导语音编码器网络102能够提取到有效的语音动作关联特征，将样本语音片段关联的样本视频帧序列作为人物图像序列的监督数据，对初始模型1的语音编码器网络101、图像编码器网络102和解码器网络11进行训练，以此来引导图像编码器网络101和语音编码器网络102提取到有效的图像特征和语音动作关联特征，以及引导解码器网络11生成真实准确的表达语音片段的人物图像序列。
需要说明的是，本申请实施例中，样本视频帧序中的各视频帧与人物图像序列中的各图像帧一一对应，即针对人物图像序列中的每一图像帧，在样本视频帧序列中都有唯一的一个视频帧作为其监督数据，对初始模型进行训练。
可选的，本申请实施例可以在对初始模型训练达到预设时长，或者预设次数后，可以采用测试数据对训练后的初始模型进行精确度测试，若训练后的初始模型的精确度达到预设要求，则训练后的初始模型即为能够执行通过语音驱动人物图像生成人物视频的视频生成模型。
本申请实施例的技术方案，构建包含编码器网络、解码器网络和音素预测网络的初始模型，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到的图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息，再结合样本语音片段的音素标签和样本视频帧序列，对初始模型进行训练，得到视频生成模型。本申请实施例在模型训练的过程中，引入了音素标签对初始模型的编码器网络(即语音编码器网络)进行监督训练，增强了语音编码器网络对语音动作关联特征的提取能力，提升了语音驱动人物动作形态变化的准确率，进而提高了基于该视频生成模型驱动的人物视频中人物动作变化与语音内容的同步性和真实性。
图2是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图，本实施例在上述实施例的基础上，进行了进一步的优化，给出了构建视频生成模型之前，对音频数据进行预处理操作的具体情况介绍。如图2所示，该方法包括：
S201，将样本语音数据的频率转换为预设频率。
可选的，本申请实施例可以是选择录制至少一个人朗诵任意一段语料的视频和音频，此时录制的该音频即为样本语音数据，该视频为样本语音数据关联的样本视频。由于不同样本语音数据的频率可能不同，所以为了降低不同频率的语音数据对图像驱动效果的影响，本申请实施例在获取了样本语音数据后，可以先对获取的样本语音数据进行频率转换处理，如将样本语音数据的频率转换为统一的预设频率，如160kHz。
S202，根据样本语音数据关联的样本视频的视频帧数，将转换后的样本语音数据划分为至少一个样本语音片段。
可选的，通常情况下，音频数据的时长较长，为了后续更精准的提取出该音频数据的语音动作关联特征，本实施例可以将转换为统一频率的样本语音数据分割为一个或多个样本语音片段。具体的，本申请实施例可以是根据样本语音数据关联的样本视频的视频帧的数量(即视频帧数)，来对语音数据进行分割。可选的，可以是针对样本视频的每一视频帧，都为其分割出一个样本语音片段，例如，若样本视频中的每一视频帧对应0.2s的时长，样本语音数据总时长为2秒，则可以是采用0.2s的滑动窗口，每隔0.2s对样本语音数据进行一次分割，得到10个样本语音片段。也可以是针对样本视频的连续若干帧(如连续3帧)，分割出一个样本语音片段。对此本实施例不进行限定。
需要说明的是，本实施例中，样本语音片段关联的样本视频帧序列，可以是样本语音片段在样本视频中对应的至少一个视频帧构成的序列。
S203，对至少一个样本语音片段进行音素标注，得到至少一个样本语音片段的音素标签。
可选的，本申请实施例需要对每个样本语音片段都进行音素标注，具体的标注方式可以是：通过一个开源的音素识别工具，对整个样本语音数据(或每个样本语音片段)进行音素的提取，提取出整个样本语音数据(或每个样本语音片段)中包含的音素，各音素在整个样本语音数据(或每个样本语音片段)中对应的开始时间和结束时间，然后根据提取的每个音素对应的开始时间和结束时间，对各样本语音片段进行音素标注，标注各样本语音片段的哪个时间区间对应哪个音素，从而得到各样本语音片段的音素标签。
S204，将样本人物图像和各样本语音片段输入初始模型的编码器网络，得到图像特征和各样本语音片段的语音动作关联特征，将图像特征和各样本语音片段的语音动作关联特征输入初始模型的解码器网络，预测各样本语音片段驱动样本人物图像的人物图像序列，并将各语音动作关联特征输入初始模型的音素预测网络，预测各样本语音片段的音素信息。
需要说明的是，本实施例需要对S202划分后的每个样本语音片段，都执行一次S204的操作预测出该样本语音片段对应的人物图像序列和音素信息。具体的执行过程上述实施例已经介绍，在此不进行赘述。
S205，根据各样本语音片段的音素标签、各样本语音片段关联的样本视频帧序列、各样本语音片段的音素信息和人物图像序列，对初始模型进行训练，得到视频生成模型。
可选的，本申请实施例可以是将每个样本语音片段的音素标签、样本视频帧序列、音素信息和人物图像序列作为一组训练数据，对初始模型进行一次训练，通过多组训练数据的训练，方可得到最终的视频生成模型。
需要说明的是，后续使用本申请实施例构建的视频生成模型进行人物图像驱动时，若需要驱动目标人物图像的目标语音数据时长较长，为了提高生成的人物视频的真实性，可以先将该语音数据的频率转换为预设的频率，然后按照模型训练时S202采用的滑动窗口的尺寸(如0.2s)将该语音数据划分为多个目标语音片段，然后分别将目标人物图像和划分后的每个目标语音片段输入到该视频生成模型中，针对每个目标语音片段生成对应的人物图像序列，将各目标语音片段的人物图像序列，按照目标语音片段的先后顺序进行排序后，生成目标语音数据驱动目标人物图像得到的目标人物视频。
本申请实施例的方案，对于样本语音数据进行频率转换和语音分割操作，得到统一频率的至少一个样本语音片段后，对各样本语音片段标注音素标签，将各样本语音片段与样本人物图像输入到初始模型的编码器网络，得到的图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息，再结合样本语音片段的音素标签和样本视频帧序列，对初始模型进行训练，得到视频生成模型。本申请实施例的方案，对于获取的样本语音数据，先进行频率的转换，降低了不同频率的语音数据对图像驱动效果的影响，对样本语音数据进行分割，便于后续更精准的提取整个样本语音数据的语音动作关联特征，对每个样本语音片段进行音素标注，为后续基于音素标签对模型训练进行监督提供了保证。
图3是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图，本实施例在上述实施例的基础上，进行了进一步的优化，给出了构建视频生成模型之前，对样本视频进行预处理操作的具体情况介绍。如图3所示，该方法包括：
S301，对样本语音片段关联的样本视频帧序列进行人物区域定位，截取样本视频帧序列中视频帧的人物定位区域。
可选的，在本申请实施例中，可以通过人物定位模型或图像处理算法对样本语音片段关联的样本视频帧序列中的每一视频帧画面进行人物区域定位，然后根据定位结果，从各视频帧画面中截取人物定位区域。可选的，在对视频帧画面进行人物区域定位时，若通过检测框标注出人物区域，则此时可通过该检测框将该人物定位区域从每一视频帧画面中截取出来。可选的，本申请实施例还可以是对视频帧画面进行人物区域定位后，通过边缘检测技术确定人物轮廓，截取每一视频帧画面中人物轮廓内的区域作为该视频帧的人物定位区域。
S302，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息。
S303，根据样本语音片段的音素标签、样本视频帧序列中视频帧的人物定位区域、音素信息和人物图像序列，对初始模型进行训练，得到视频生成模型。
可选的，由于S301已经对样本语音片段关联的样本视频帧序列截取了人物定位区域，此时可以将样本视频帧序列中每一视频帧的人物定位区域作为对应人物图像序列中的图像帧的监督数据，对初始模型的编码器网络(即图像编码器网络和语音编码器网络)和解码器网络进行训练，同时，将样本语音片段的音素标签作为样本语音片段的音素信息的监督数据，对初始模型的编码器网络中的语音编码器网络和音素预测网络进行训练。
本申请实施例的方案，对于样本语音片段关联的样本视频帧序列，对其中各视频帧画面进行人物区域定位，并截取各视频帧的人物定位区域。在模型训练过程中，将各样本语音片段与样本人物图像输入到初始模型的编码器网络，得到的图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息，再结合样本语音片段的音素标签和样本视频帧序列中各视频帧的人物定位区域，对初始模型进行训练，得到视频生成模型。本申请实施例通过对样本语音片段关联的样本视频帧序列进行人物定位区域的截取，使得样本视频序列中的每一视频画面只保留人物定位区域，极大的降低了非人物区域对模型训练精度的影响。
图4A是根据本申请实施例提供的另一种视频生成模型的构建方法的流程图；图4B是根据本申请实施例提供的另一种初始模型的结构示意图。本实施例在上述实施例的基础上，对构建的初始模型的结构进行了进一步的优化，如图4B所示，在初始模型1中增加了判别器网络13。该判别器网络13同样为初始模型的辅助训练网络，其仅在模型训练阶段使用，在模型训练完成后，使用训练好的该视频生成模型的过程中不在使用。该判别器网络13的第一输入端与解码器网络11的输出端连接，判别器网络13的第二输入端用于输入样本视频帧序列。可选的，如图4A所示，基于优化后的初始模型执行本申请实施例的视频生成模型的构建方法的具体情况介绍如下：
S401，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将图像特征和所述语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息。
S402，将人物图像序列和样本视频帧序列输入判别器网络，得到判别结果。
可选的，本申请实施例中解码器网络11预测的样本语音片段驱动样本人物图像的人物图像序列会输入到初始模型1的判别器网络13中，同时将样本语音片段关联的样本视频帧序列也输入到该判别器网络13中，此时该判别器网络13会基于对抗网络的工作原理对输入的人物图像序列和样本视频帧序列进行一致性比对，判断所述人物图像序列是否是真的样本视频帧序列，并给出“真”或“假”判断结果。
S403，根据样本语音片段的音素标签、样本语音片段关联的样本视频帧序列、音素信息、人物图像序列、实际判别标签和判别结果，对初始模型进行训练，得到视频生成模型。
其中，实际判别标签可以是人工将解码器网络输出的人物图像序列和样本语音片段关联的样本视频帧序列进行比对后，人工标注的预测结果的真实性判别结果。
可选的，在本申请实施例中，对视频生成模型进行训练时，不但包含前述实施例介绍的根据样本语音片段的音素标签、样本语音片段关联的样本视频帧序列、音素信息和人物图像序列，对初始模型进行训练；由于加入了判别器网络，所以还包括根据实际判别标签和判别结果，对所述初始模型进行训练。具体的，可以是将实际判别标签作为S402得到的判别结果在的监督数据，来对初始模型中的解码器网络和编码器网络和判别器网络进行训练，进一步提升训练后的视频生成模型生成人物视频的图像质量。
可选的，在本申请实施例中训练初始模型的过程中，还可以只采用将样本语音片段的音素标签作为样本语音片段的音素信息的监督数据，将实际判别标签作为判别结果的监督数据，对初始模型进行训练。对此本实施例不进行限定。
本申请实施例的技术方案，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到的图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息，将人物图像序列和样本视频帧序列输入判别器网络，得到判别结果，再结合样本语音片段的音素标签、样本视频帧序列和实际判别标签，对初始模型进行训练，得到视频生成模型。本申请实施例在模型训练的过程中，通过音素标签、样本视频帧序列和实际判别标签三组监督数据对初始模型进行训练，进一步提高了模型训练精度，在保证基于该视频生成模型驱动的人物视频中人物动作变化与语音内容的同步性和真实性的同时，还提升了生成的人物视频的图像质量。
图5是根据本申请实施例提供的一种视频生成方法的流程图。本实施例适用于将上述任一实施例构建的视频生成模型部署到图像驱动系统中，以实现通过语音驱动人物图像生成人物视频的情况。该实施例可以由电子设备中配置的视频生成装置来执行，该装置可以采用软件和/或硬件来实现。如图5所示，该方法包括：
S501，将目标人物图像和目标语音片段输入到视频生成模型中，得到目标语音片段驱动目标人物图像的人物图像序列。
可选的，本申请上述实施例训练好的视频生成模型可以部署到图像驱动系统中，用于根据输入的目标语音片段驱动输入的目标人物图像，生成目标人物表达该目标语音片段的人物视频。具体的，若图1B为训练好的视频生成模型，用户想要通过某段语音片段(即目标语音片段)驱动某张人物图像(即目标人物图像)时，可以将目标语音片段输入到图像驱动系统中的视频生成模型中，视频生成模型的图像编码器网络101会对输入的目标人物图像进行解析，得到目标人物图像的图像特征，视频生成模型的语音编码器网络102会对输入的目标语音片段进行解析，得到目标语音片段的语音动作关联特征，然后将得到的图像特征和语音动作关联特征作为解码器网络11的输入，得到由目标语音片段驱动目标人物图像得到的人物图像序列，其中，该人物图像序列可以是由目标语音片段驱动目标人物图像得到的至少一帧人物图像帧构成，目标语音片段时长越长，生成的该人物图像序列中包含的人物图像帧的数量越多。可选的，各帧人物图像在人物图像序列中的顺序取决与该帧人物图像的生成顺序。
S502，根据人物图像序列，生成目标人物视频。
可选的，本申请实施例通过视频生成模型得到的人物图像序列之后，可以按照人物图像序列中各帧人物图像的生成顺序生成目标人物视频。
需要说明的是，本申请实施例在训练视频生成模型时，需要对主干网络(如编码器网络10和解码器网络11)和辅助训练网络(如音素预测网络12)都进行训练，来不断优化主干网络的网络参数，但是在实际应用于图像驱动技术时，只使用了视频生成模型的主干网络，无需进行音素信息的提取。
本申请实施例的方案，采用上述任一实施例构建的视频生成模型，将目标人物图像和目标语音片段输入到视频生成模型中，即可得到由目标语音片段驱动目标人物图像的人物图像序列，进而基于得到的人物图像序列来生成目标人物视频。由于视频生成模型训练过程中引入了音素标签，增强了视频生成模型对语音动作关联特征的提取能力。所以后续基于该视频生成模型驱动人物视频时，可以精准提取到语音动作关联特征，从而提高了语音驱动的人物视频中人物动作变化与语音内容的同步性和真实性。
图6是根据本申请实施例提供的一种视频生成模型的构建装置的结构示意图。本实施例适用于构建能够执行通过语音驱动人物图像生成人物视频的视频生成模型的情况。该装置可实现本申请任意实施例所述的视频生成模型的构建方法。该装置600具体包括如下：
数据输入模块601，用于将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；
模型训练模块602，用于根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型。
本申请实施例的技术方案，构建包含编码器网络、解码器网络和音素预测网络的初始模型，将样本人物图像和样本语音片段输入初始模型的编码器网络，得到的图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息，再结合样本语音片段的音素标签和样本视频帧序列，对初始模型进行训练，得到视频生成模型。本申请实施例在模型训练的过程中，引入了音素标签对初始模型的编码器网络(即语音编码器网络)进行监督训练，增强了语音编码器网络对语音动作关联特征的提取能力，提升了语音驱动人物动作形态变化的准确率，进而提高了基于该视频生成模型驱动的人物视频中人物动作变化与语音内容的同步性和真实性。
进一步的，所述模型训练模块602具体用于：
将所述样本语音片段的音素标签作为所述音素信息的监督数据，对所述初始模型的编码器网络和音素预测网络进行训练；
将所述样本语音片段关联的样本视频帧序列作为所述人物图像序列的监督数据，对所述初始模型的编码器网络和解码器网络进行训练。
进一步的，所述装置还包括：
音频转换模块，用于将所述样本语音数据的频率转换为预设频率；
音频划分模块，用于根据所述样本语音数据关联的样本视频的视频帧数，将转换后的样本语音数据划分为至少一个样本语音片段；
音素标注模块，用于对所述至少一个样本语音片段进行音素标注，得到所述少一个样本语音片段的音素标签。
进一步的，所述装置还包括：
视频处理模块，用于对样本语音片段关联的样本视频帧序列进行人物区域定位，截取所述样本视频帧序列中视频帧的人物定位区域；
相应的，所述模型训练模块603具体用于：
根据所述样本语音片段的音素标签、所述样本视频帧序列中视频帧的人物定位区域、所述音素信息和所述人物图像序列，对所述初始模型进行训练。
进一步的，所述初始模型还包括：判别器网络，
所述数据输入模块601还用于：将所述人物图像序列和所述样本视频帧序列输入所述判别器网络，得到判别结果；
所述模型训练模块602还用于：根据实际判别标签和所述判别结果，对所述初始模型进行训练。
进一步的，所述数据输入模块601具体用于：
将样本人物图像输入初始模型的图像编码器网络，得到所述样本人物图像的图像特征；
将样本语音片段输入初始模型的语音编码器网络，得到所述样本语音片段的语音动作关联特征。
图7是根据本申请实施例提供的一种视频生成装置的结构示意图。本实施例适用于将上述任一实施例构建的视频生成模型部署到图像驱动系统中，以实现通过语音驱动人物图像生成人物视频的情况。该装置可实现本申请任意实施例所述的视频生成方法。该装置700具体包括如下：
图像序列生成模块701，用于将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；
视频生成模块702，用于根据所述人物图像序列，生成目标人物视频。
本申请实施例的方案，采用上述任一实施例构建的视频生成模型，将目标人物图像和目标语音片段输入到视频生成模型中，即可得到由目标语音片段驱动目标人物图像的人物图像序列，进而基于得到的人物图像序列来生成目标人物视频。由于视频生成模型训练过程中引入了音素标签，增强了视频生成模型对语音动作关联特征的提取能力。所以后续基于该视频生成模型驱动人物视频时，可以精准提取到语音动作关联特征，从而提高了语音驱动的人物视频中人物动作变化与语音内容的同步性和真实性。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如视频生成模型的构建和视频生成方法。例如，在一些实施例中，视频生成模型的构建和视频生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的视频生成模型的构建和视频生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频生成模型的构建和视频生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种视频生成模型的构建方法，包括：
将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；
根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型；音素标签包括：样本语音片段中包含的所有音素，以及各音素在样本语音片段中对应的开始时间和结束时间；
其中，所述根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，包括：
将所述样本语音片段的音素标签作为所述音素信息的监督数据，对所述初始模型的编码器网络和音素预测网络进行训练；
将所述样本语音片段关联的样本视频帧序列作为所述人物图像序列的监督数据，对所述初始模型的编码器网络和解码器网络进行训练。
2.根据权利要求1所述的方法，还包括：
将样本语音数据的频率转换为预设频率；
根据所述样本语音数据关联的样本视频的视频帧数，将转换后的样本语音数据划分为至少一个样本语音片段；
对所述至少一个样本语音片段进行音素标注，得到所述至少一个样本语音片段的音素标签。
3.根据权利要求1所述的方法，还包括：
对样本语音片段关联的样本视频帧序列进行人物区域定位，截取所述样本视频帧序列中视频帧的人物定位区域；
相应的，根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，包括：
根据所述样本语音片段的音素标签、所述样本视频帧序列中视频帧的人物定位区域、所述音素信息和所述人物图像序列，对所述初始模型进行训练。
4.根据权利要求1所述的方法，其中，所述初始模型还包括：判别器网络，所述方法还包括:
将所述人物图像序列和所述样本视频帧序列输入所述判别器网络，得到判别结果；
根据实际判别标签和所述判别结果，对所述初始模型进行训练。
5.根据权利要求1所述的方法，其中，所述将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，包括：
将样本人物图像输入初始模型的图像编码器网络，得到所述样本人物图像的图像特征；
将样本语音片段输入初始模型的语音编码器网络，得到所述样本语音片段的语音动作关联特征。
6.一种视频生成方法，使用权利要求1-5中任一项所述的方法构建的视频生成模型实现，所述方法包括：
将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；
根据所述人物图像序列，生成目标人物视频。
7.一种视频生成模型的构建装置，包括：
数据输入模块，用于将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；
模型训练模块，用于根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型；音素标签包括：样本语音片段中包含的所有音素，以及各音素在样本语音片段中对应的开始时间和结束时间；
其中，所述模型训练模块具体用于：
将所述样本语音片段的音素标签作为所述音素信息的监督数据，对所述初始模型的编码器网络和音素预测网络进行训练；
将所述样本语音片段关联的样本视频帧序列作为所述人物图像序列的监督数据，对所述初始模型的编码器网络和解码器网络进行训练。
8.根据权利要求7所述的装置，还包括：
音频转换模块，用于将样本语音数据的频率转换为预设频率；
音频划分模块，用于根据所述样本语音数据关联的样本视频的视频帧数，将转换后的样本语音数据划分为至少一个样本语音片段；
音素标注模块，用于对所述至少一个样本语音片段进行音素标注，得到所述至少一个样本语音片段的音素标签。
9.根据权利要求7所述的装置，还包括：
视频处理模块，用于对样本语音片段关联的样本视频帧序列进行人物区域定位，截取所述样本视频帧序列中视频帧的人物定位区域；
相应的，所述模型训练模块具体用于：
根据所述样本语音片段的音素标签、所述样本视频帧序列中视频帧的人物定位区域、所述音素信息和所述人物图像序列，对所述初始模型进行训练。
10.根据权利要求7所述的装置，其中，所述初始模型还包括：判别器网络，
所述数据输入模块还用于：将所述人物图像序列和所述样本视频帧序列输入所述判别器网络，得到判别结果；
所述模型训练模块还用于：根据实际判别标签和所述判别结果，对所述初始模型进行训练。
11.根据权利要求7所述的装置，其中，所述数据输入模块具体用于：
将样本人物图像输入初始模型的图像编码器网络，得到所述样本人物图像的图像特征；
将样本语音片段输入初始模型的语音编码器网络，得到所述样本语音片段的语音动作关联特征。
12.一种视频生成装置，使用权利要求1-5中任一项所述的方法构建的视频生成模型实现，所述装置包括：
图像序列生成模块，用于将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；
视频生成模块，用于根据所述人物图像序列，生成目标人物视频。
13. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的视频生成模型的构建方法，或执行权利要求6所述的视频生成方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的视频生成模型的构建方法，或执行权利要求6所述的视频生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110088850.1A CN112887789B (zh) | 2021-01-22 | 2021-01-22 | 视频生成模型的构建和视频生成方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110088850.1A CN112887789B (zh) | 2021-01-22 | 2021-01-22 | 视频生成模型的构建和视频生成方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112887789A CN112887789A (zh) | 2021-06-01 |
| CN112887789B true CN112887789B (zh) | 2023-02-21 |
Family
ID=76050358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110088850.1A Active CN112887789B (zh) | 2021-01-22 | 2021-01-22 | 视频生成模型的构建和视频生成方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112887789B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837083A (zh) * | 2021-09-24 | 2021-12-24 | 焦点科技股份有限公司 | 一种基于Transformer的视频片段分割方法 |
| CN116091661A (zh) * | 2021-11-04 | 2023-05-09 | 中兴通讯股份有限公司 | 多模式的人脸驱动方法、装置、电子设备和存储介质 |
| CN114051105B (zh) * | 2021-11-09 | 2023-03-10 | 北京百度网讯科技有限公司 | 多媒体数据处理方法、装置、电子设备及存储介质 |
| CN114267376B (zh) * | 2021-11-24 | 2022-10-18 | 北京百度网讯科技有限公司 | 音素检测方法及装置、训练方法及装置、设备和介质 |
| CN115278297B (zh) * | 2022-06-14 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 基于驱动视频的数据处理方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
| CN109545193A (zh) * | 2018-12-18 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 用于生成模型的方法和装置 |
| CN110446066A (zh) * | 2019-08-28 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法和装置 |
| CN111415677A (zh) * | 2020-03-16 | 2020-07-14 | 北京字节跳动网络技术有限公司 | 用于生成视频的方法、装置、设备和介质 |
| CN111432233A (zh) * | 2020-03-20 | 2020-07-17 | 北京字节跳动网络技术有限公司 | 用于生成视频的方法、装置、设备和介质 |
| WO2020190050A1 (ko) * | 2019-03-19 | 2020-09-24 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
| CN111933110A (zh) * | 2020-08-12 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 视频生成方法、生成模型训练方法、装置、介质及设备 |
| CN112041924A (zh) * | 2018-05-18 | 2020-12-04 | 渊慧科技有限公司 | 通过音素预测进行视觉语音识别 |
| WO2020256472A1 (ko) * | 2019-06-21 | 2020-12-24 | 주식회사 머니브레인 | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 |
| CN112131988A (zh) * | 2020-09-14 | 2020-12-25 | 北京百度网讯科技有限公司 | 确定虚拟人物唇形的方法、装置、设备和计算机存储介质 |
| CN112233664A (zh) * | 2020-10-15 | 2021-01-15 | 北京百度网讯科技有限公司 | 网络的训练方法、装置、设备以及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205121B2 (en) * | 2018-06-20 | 2021-12-21 | Disney Enterprises, Inc. | Efficient encoding and decoding sequences using variational autoencoders |
| US11094311B2 (en) * | 2019-05-14 | 2021-08-17 | Sony Corporation | Speech synthesizing devices and methods for mimicking voices of public figures |
-
2021
- 2021-01-22 CN CN202110088850.1A patent/CN112887789B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112041924A (zh) * | 2018-05-18 | 2020-12-04 | 渊慧科技有限公司 | 通过音素预测进行视觉语音识别 |
| CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
| CN109545193A (zh) * | 2018-12-18 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 用于生成模型的方法和装置 |
| WO2020190050A1 (ko) * | 2019-03-19 | 2020-09-24 | 휴멜로 주식회사 | 음성 합성 장치 및 그 방법 |
| WO2020256472A1 (ko) * | 2019-06-21 | 2020-12-24 | 주식회사 머니브레인 | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 |
| CN110446066A (zh) * | 2019-08-28 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法和装置 |
| CN111415677A (zh) * | 2020-03-16 | 2020-07-14 | 北京字节跳动网络技术有限公司 | 用于生成视频的方法、装置、设备和介质 |
| CN111432233A (zh) * | 2020-03-20 | 2020-07-17 | 北京字节跳动网络技术有限公司 | 用于生成视频的方法、装置、设备和介质 |
| CN111933110A (zh) * | 2020-08-12 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 视频生成方法、生成模型训练方法、装置、介质及设备 |
| CN112131988A (zh) * | 2020-09-14 | 2020-12-25 | 北京百度网讯科技有限公司 | 确定虚拟人物唇形的方法、装置、设备和计算机存储介质 |
| CN112233664A (zh) * | 2020-10-15 | 2021-01-15 | 北京百度网讯科技有限公司 | 网络的训练方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于机器学习的语音驱动人脸动画方法;陈益强等;《软件学报》;20030223(第02期);全文 * |
| 结合有监督联合一致性自编码器的跨音视频说话人标注;柳欣等;《电子与信息学报》;20180509(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112887789A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112887789B (zh) | 视频生成模型的构建和视频生成方法、装置、设备及介质 | |
| CN112466288B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| EP3944199A2 (en) | Video generation method and apparatus, device and storage medium | |
| US20210327427A1 (en) | Method and apparatus for testing response speed of on-board equipment, device and storage medium | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| CN114863437B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN113344089B (zh) | 模型训练方法、装置及电子设备 | |
| US20220301547A1 (en) | Method for processing audio signal, method for training model, device and medium | |
| CN113971828A (zh) | 虚拟对象唇形驱动方法、模型训练方法、相关装置及电子设备 | |
| CN114267375B (zh) | 音素检测方法及装置、训练方法及装置、设备和介质 | |
| CN115861462A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN113379877A (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN114495101A (zh) | 文本检测方法、文本检测网络的训练方法及装置 | |
| CN113947189A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN116166125B (zh) | 虚拟形象构建方法、装置、设备和存储介质 | |
| CN114267376B (zh) | 音素检测方法及装置、训练方法及装置、设备和介质 | |
| CN114627556B (zh) | 动作检测方法、动作检测装置、电子设备以及存储介质 | |
| CN116013354A (zh) | 深度学习模型的训练方法、控制虚拟形象口型变化的方法 | |
| CN115376137A (zh) | 一种光学字符识别处理、文本识别模型训练方法及装置 | |
| CN114549904A (zh) | 视觉处理及模型训练方法、设备、存储介质及程序产品 | |
| CN114333848A (zh) | 声纹识别方法、装置、电子设备及存储介质 | |
| CN114549695A (zh) | 图像生成方法、装置、电子设备及可读存储介质 | |
| CN114220163A (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
| CN114218393A (zh) | 数据分类方法、装置、设备和存储介质 | |
| CN113920987A (zh) | 一种语音识别的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |