CN114338959A - 端到端即文本到视频的视频合成方法、系统介质及应用 - Google Patents
端到端即文本到视频的视频合成方法、系统介质及应用 Download PDFInfo
- Publication number
- CN114338959A CN114338959A CN202110406372.4A CN202110406372A CN114338959A CN 114338959 A CN114338959 A CN 114338959A CN 202110406372 A CN202110406372 A CN 202110406372A CN 114338959 A CN114338959 A CN 114338959A
- Authority
- CN
- China
- Prior art keywords
- face
- video
- model
- voice
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 64
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明属于图像数据处理技术领域，公开了一种端到端即文本到视频的视频合成方法、系统、介质及应用，包括：构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；利用GAN网络进行视频合成。本发明效率更高，资源占用更低。
Description
技术领域
本发明属于图像数据处理技术领域，尤其涉及一种端到端即文本到视频的视频合成方法、系统、介质及应用。
背景技术
目前，新闻已经走进人们的日常生活，读新闻、听新闻、看新闻，已经成为人们获取外部信息的重要手段。随着信息传播技术的迅猛发展，以及互联网的普及，除了传统广播、电视，人们可以快速方便地通过互联网获取内容丰富、种类多样、时效性更强的新闻。
目前，由于看新闻已成为人们获取外部信息的重要手段之一，因此，人们对看新闻的视频内容也有了越来越高的时效性要求。
但是，现有的媒体新闻播报视频的制作需要真人主播熟悉稿件、读稿录制、审查勘误、后期编辑等，需要数小时消耗，效率不高，且质量很难保证。
通过上述分析，现有技术存在的问题及缺陷为：现有的媒体新闻播报视频的制作效率不高，且质量很难保证。
解决以上问题及缺陷的难度为：很大，传统视频录制及后期制作效率较低，新闻播报视频产出存在严重的时间滞后性。真人主播需要熟悉稿件，在读稿录制的过程中，难免出现失误造成整段视频的重新录制或剪辑，录制效率低。
解决以上问题及缺陷的意义为：本发明用多项人工智能技术，极大地提高了播报视频的产出效率，降低了企业在播报视频制作上的人力成本及时间成本。
发明内容
针对现有技术存在的问题，本发明提供了一种端到端即文本到视频的视频合成方法、系统、介质及应用。
本发明是这样实现的，一种端到端即文本到视频的视频合成方法，所述端到端即文本到视频的视频合成方法包括：
步骤一，构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成。生成的音频是后续步骤的基础，据此驱动了人脸模型的唇部动作；
步骤二，采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像。基于输入2维人脸图像重构3维立体人脸，提供步骤三中所需的3D人脸；
步骤三，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测。基于步骤一合成的音频和步骤二重构的3维立体人脸，捕捉嘴唇位置并通过音频驱动，生成包含唇部动作信息的局部数组；
步骤四，基于步骤三中生成的局部数组，利用GAN网络进行视频合成。
进一步，步骤四中，所述利用GAN网络进行视频合成包括：利用GAN网络生成模型和判别模型进行互相博弈学习，对每次对生成的图像进行自动判别，产生视频合成的最优结果。
所述端到端即文本到视频的视频合成方法具体包括：
采用3DMM方法，从视频Tv中提取连续的仅下半部分人脸帧组成的窗口V和一个大小为Ta×D的语音段S，其中Tv和Ta分别是视频和音频的时间步长，输入到口型同步专家，通过随机抽取一个音频窗口Ta×D的样本，对音频和视频之间的同步进行辨别，包含一个面状编码器和一个音频编码器，两者都由二维卷积组成，计算编码器生成的嵌入物之间的L2距离，并用最大边际损失来训练模型，以最小化或最大化同步或不同步对之间的距离，达到对每个样本产生一个介于[0,1]之间的单一值，表示输入的音视频对同步的概率；
GAN生成器网络主要有三个模块，(i)身份编码器，(ii)语音编码器，和(iii)人脸解码器，身份编码器是一个残差卷积层的堆栈，对随机参考帧R进行编码，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集，并沿信道轴线与一个位置-优先级P进行连接；语音编码器也是一个二维卷积的堆栈，对输入的语音段S进行编码，将其与人脸表示并联；解码器也是一个卷积层的堆栈，还有用于上采样的转置卷积，生成器被训练成最小化生成帧Lg和地面真实帧LG之间的L1重建损失；
生成器就是一个2D-CNN编解码器网络，独立生成每一帧；
惩罚不准确的唇语生成，在训练过程中，由于训练的口型同步专家一次处理Tv＝5个连续帧，也需要生成器G来生成所有Tv＝5个帧；对参考帧的随机连续窗口进行采样；在输入参考帧的同时，将时间步长沿批次维度堆叠，得到(N-Tv,H,W,3)的输入形状，其中N、H、W分别为批次大小、高度和宽度；在将生成的帧送入专家鉴别器的同时，将时间步长沿信道维度进行串联；结果输入到专家鉴别器中，得到的输入形状为(N-Tv,H,W,3)；识别器的输入形状为(N,H/2,W,3-Tv)，其中只有生成的人脸的下半部分被用于识别；同时对生成器进行训练，使专家判别器的"专家同步损失"Esyncf最小化；
其中
是根据公式(1)计算。请注意，在生成器的训练过程中，专家判别器的权重保持冻结；当损失达到最小时训练结束，输入任意音频数据到模型所得到的数值，就是生成连续真实的人脸图像。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
利用GAN网络进行视频合成。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
利用GAN网络进行视频合成。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的端到端即文本到视频的视频合成方法。
本发明的另一目的在于提供一种实施所述端到端即文本到视频的视频合成方法的端到端即文本到视频的视频合成系统，所述端到端即文本到视频的视频合成系统包括：
语音合成模块，用于基于采用espnet2框架并利用业级人声数据库训练的语音合成模型进行语音合成；
人脸建模模块，用于采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
唇形预测模块，用于利用face_alignment模型对3D人脸识别，进行人脸模型的数据采集；使用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合起来；
图像处理模块，用于利用GAN网络进行图像合成处理。
本发明的另一目的在于提供一种所述端到端即文本到视频的视频合成方法在生成媒体新闻控制系统中的应用。
本发明的另一目的在于提供一种所述端到端即文本到视频的视频合成方法在生成培训课件控制系统中的应用。
本发明的另一目的在于提供一种所述端到端即文本到视频的视频合成方法在生成广告视频控制系统中的应用。
本发明的另一目的在于提供一种所述端到端即文本到视频的视频合成方法在导游、导览、讲解控制系统中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明结合人工智能相关新兴技术(TTS、GAN网络、人脸建模等)提出了一种端到端(文本到视频)的视频合成技术，效率更高，资源占用更低。
本发明从文本直接生成绘声绘色的虚拟主播进行新闻报道，只需要11秒左右(本数据基于：GTX 1060算力6.1T，生成4秒视频，分辨率为256X256，23帧/秒的视频)，如果投入算力进一步提高，生成视频需要的时间将进一步减少。
本发明可以迅速完成紧急、突发状况下新闻视频的制作；本发明用户可以将喜欢的新闻文本(或其它内容文本)，按需进行视频化播放。
本发明基于专业级人声数据库对语音合成模型进行训练，不仅在发音方面有极高的正确率；而且生成速度极快，效率极高(例：15秒的音频生成只需要1-2秒)。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的端到端即文本到视频的视频合成方法流程图。
图2是本发明实施例提供的端到端即文本到视频的视频合成系统结构示意图；
图中：1、语音合成模块；2、人脸建模模块；3、唇形预测模块；4、图像处理模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种端到端即文本到视频的视频合成方法、系统、介质及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的端到端即文本到视频的视频合成方法包括以下步骤：
S101，构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
S102，采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
S103，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
S104，利用GAN网络进行视频合成。
本发明提供的端到端即文本到视频的视频合成方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的端到端即文本到视频的视频合成方法仅仅是一个具体实施例而已。
在本发明的实施例中步骤S104中，本发明实施例提供的利用GAN网络进行视频合成包括：利用GAN网络生成模型和判别模型进行互相博弈学习，对每次对生成的图像进行自动判别，产生视频合成的最优结果。
本发明实施例提供的端到端即文本到视频的视频合成方法具体包括以下步骤：
文本到语音的合成模型espnet2不再赘述，相关资料很多，本发明直接从视频数据的处理开始。
采用3DMM方法，从视频Tv中提取连续的仅下半部分人脸帧(BFM数据库将人脸关键点标记为68个顶点坐标，可以轻易得到仅包含嘴部的像素数据)组成的窗口V和一个大小为Ta×D的语音段S，其中Tv和Ta分别是视频和音频的时间步长，输入到口型同步专家。它通过随机抽取一个音频窗口Ta×D的样本，对音频和视频之间的同步进行辨别，该音频窗口要么与视频对齐(同步)，要么来自不同的时间步长(不同步)。它包含一个面状编码器和一个音频编码器，两者都由二维卷积组成。计算这些编码器生成的嵌入物之间的L2距离，并用最大边际损失来训练模型，以最小化(或最大化)同步(或不同步)对之间的距离。以达到对每个样本产生一个介于[0,1]之间的单一值，表示输入的音视频对同步的概率。
本发明的GAN生成器网络主要有三个模块。(i)身份编码器，(ii)语音编码器，和(iii)人脸解码器。身份编码器是一个残差卷积层的堆栈，它对随机参考帧R进行编码，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集，并沿信道轴线与一个位置-优先级P(目标-脸部，下半部被遮挡)进行连接。语音编码器也是一个二维卷积的堆栈，对输入的语音段S进行编码，然后将其与人脸表示并联。解码器也是一个卷积层的堆栈，还有用于上采样的转置卷积。生成器被训练成最小化生成帧Lg和地面真实帧LG之间的L1重建损失。
因此，生成器就是一个2D-CNN编解码器网络，独立生成每一帧。
惩罚不准确的唇语生成。在训练过程中，由于训练的口型同步专家一次处理Tv＝5个连续帧，本发明也需要生成器G来生成所有Tv＝5个帧。本发明对参考帧的随机连续窗口进行采样，以确保整个Tv窗口中姿势等的时间一致性。由于本发明的生成器是独立处理每一帧，所以本发明在输入参考帧的同时，将时间步长沿批次维度堆叠，得到(N-Tv,H,W,3)的输入形状，其中N、H、W分别为批次大小、高度和宽度。在将生成的帧送入专家鉴别器的同时，将时间步长沿信道维度进行串联，这在鉴别器的训练过程中也是如此，结果输入到专家鉴别器中，得到的输入形状为(N-Tv,H,W,3)。识别器的输入形状为(N,H/2,W,3-Tv)，其中只有生成的人脸的下半部分被用于识别。同时对生成器进行训练，使专家判别器的"专家同步损失"Esyncf最小化。
其中
是根据公式(1)计算。请注意，在生成器的训练过程中，专家判别器的权重保持冻结。这种纯粹基于从真实视频中学习到的唇语同步概念的强辨别，迫使生成器也要实现真实的唇语同步，以最小化唇语同步损失Esync。当损失达到最小时训练结束。这时输入任意音频数据到模型所得到的数值，就是生成连续真实的人脸图像。
如图2所示，本发明实施例提供的端到端即文本到视频的视频合成系统包括：
语音合成模块1，用于基于采用espnet2框架并利用业级人声数据库训练的语音合成模型进行语音合成；
人脸建模模块2，用于采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
唇形预测模块3，用于利用face_alignment模型对3D人脸识别，进行人脸模型的数据采集；使用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合起来；
图像处理模块4，用于利用GAN网络进行图像合成处理。
下面结合具体实施例对本发明的技术方案作进一步描述。
AI虚拟主播利用先进的语音合成、人脸建波、唇形预测、图像处理等多项人工智能技术，实现了端到端(文本到视频)的自动播报视频输出。
语音合成：采用espnet2框架，基于专业级人声数据库进行训练，不仅在发音方面有极高的正确率；而且生成速度极快，效率极高(例：15秒的音频生成只需要1-2秒)。
人脸建模：采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像。
唇形预测：利用face_alignment模型对3D人脸良好的识别，进行人脸模型的数据采集；使用LSTM根据唇部动作得到人脸特征后，把唇部动作和语音文字结合起来。
图像处理：为得到更加清晰的人脸图像，本发明给模型添加了GAN网络(生成式对抗网络)。网络通过框架中两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习，对每次对生成的图像进行自动判别，产生图像输出的最优结果。
本发明从文本直接生成绘声绘色的虚拟主播进行新闻报道，只需要11秒左右(本数据基于：GTX 1060算力6.1T，生成4秒视频，分辨率为256X256，23帧/秒的视频)，如果投入算力进一步提高，生成视频需要的时间将进一步减少。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种端到端即文本到视频的视频合成方法，其特征在于，所述端到端即文本到视频的视频合成方法包括：
构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
利用GAN网络进行视频合成。
2.如权利要求1所述的端到端即文本到视频的视频合成方法，其特征在于，所述利用GAN网络进行视频合成包括：利用GAN网络生成模型和判别模型进行互相博弈学习，对每次对生成的图像进行自动判别，产生视频合成的最优结果；
所述端到端即文本到视频的视频合成方法具体包括：
采用3DMM方法，从视频Tv中提取连续的仅下半部分人脸帧组成的窗口V和一个大小为Ta×D的语音段S，其中Tv和Ta分别是视频和音频的时间步长，输入到口型同步专家，通过随机抽取一个音频窗口Ta×D的样本，对音频和视频之间的同步进行辨别，包含一个面状编码器和一个音频编码器，两者都由二维卷积组成，计算编码器生成的嵌入物之间的L2距离，并用最大边际损失来训练模型，以最小化或最大化同步或不同步对之间的距离，达到对每个样本产生一个介于[0,1]之间的单一值，表示输入的音视频对同步的概率；
GAN生成器网络主要有三个模块，(i)身份编码器，(ii)语音编码器，和(iii)人脸解码器，身份编码器是一个残差卷积层的堆栈，对随机参考帧R进行编码，通过face_alignment模型对3D人脸识别进行人脸模型的数据采集，并沿信道轴线与一个位置-优先级P进行连接；语音编码器也是一个二维卷积的堆栈，对输入的语音段S进行编码，将其与人脸表示并联；解码器也是一个卷积层的堆栈，还有用于上采样的转置卷积，生成器被训练成最小化生成帧Lg和地面真实帧LG之间的L1重建损失；
生成器就是一个2D-CNN编解码器网络，独立生成每一帧；
惩罚不准确的唇语生成，在训练过程中，由于训练的口型同步专家一次处理Tv＝5个连续帧，也需要生成器G来生成所有Tv＝5个帧；对参考帧的随机连续窗口进行采样；在输入参考帧的同时，将时间步长沿批次维度堆叠，得到(N-Tv,H,W,3)的输入形状，其中N、H、W分别为批次大小、高度和宽度；在将生成的帧送入专家鉴别器的同时，将时间步长沿信道维度进行串联；结果输入到专家鉴别器中，得到的输入形状为(N-Tv,H,W,3)；识别器的输入形状为(N,H/2,W,3-Tv)，其中只有生成的人脸的下半部分被用于识别；同时对生成器进行训练，使专家判别器的"专家同步损失"Esyncf最小化；
其中
是根据公式(1)计算。请注意，在生成器的训练过程中，专家判别器的权重保持冻结；当损失达到最小时训练结束，输入任意音频数据到模型所得到的数值，就是生成连续真实的人脸图像。
3.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
利用GAN网络进行视频合成。
4.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
构建基于espnet2框架的语音合成模型，基于专业级人声数据库对构建的语音合成模型进行训练，并利用训练好的语音合成模型进行语音合成；
采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
通过face_alignment模型对3D人脸识别进行人脸模型的数据采集；利用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合，进行唇形预测；
利用GAN网络进行视频合成。
5.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1-2任意一项所述的端到端即文本到视频的视频合成方法。
6.一种实施权利要求1-2任意一项所述端到端即文本到视频的视频合成方法的端到端即文本到视频的视频合成系统，其特征在于，所述端到端即文本到视频的视频合成系统包括：
语音合成模块，用于基于采用espnet2框架并利用业级人声数据库训练的语音合成模型进行语音合成；
人脸建模模块，用于采用3DMM方法，在BFM数据库给定的人脸顶点坐标上，运用图形学技术进行渲染，生成人脸图像；
唇形预测模块，用于利用face_alignment模型对3D人脸识别，进行人脸模型的数据采集；使用LSTM根据唇部动作得到人脸特征后，将唇部动作和语音文字结合起来；
图像处理模块，用于利用GAN网络进行图像合成处理。
7.一种如权利要求1-2任意一项所述端到端即文本到视频的视频合成方法在生成媒体新闻控制系统中的应用。
8.一种如权利要求1-2任意一项所述端到端即文本到视频的视频合成方法在生成培训课件控制系统中的应用。
9.一种如权利要求1-2任意一项所述端到端即文本到视频的视频合成方法在生成广告视频控制系统中的应用。
10.一种如权利要求1-2任意一项所述端到端即文本到视频的视频合成方法在导游、导览、讲解控制系统中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406372.4A CN114338959A (zh) | 2021-04-15 | 2021-04-15 | 端到端即文本到视频的视频合成方法、系统介质及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406372.4A CN114338959A (zh) | 2021-04-15 | 2021-04-15 | 端到端即文本到视频的视频合成方法、系统介质及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114338959A true CN114338959A (zh) | 2022-04-12 |
Family
ID=81044470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110406372.4A Pending CN114338959A (zh) | 2021-04-15 | 2021-04-15 | 端到端即文本到视频的视频合成方法、系统介质及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114338959A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115996303A (zh) * | 2023-03-23 | 2023-04-21 | 科大讯飞股份有限公司 | 视频生成方法、装置、电子设备和存储介质 |
| CN116403559A (zh) * | 2023-03-30 | 2023-07-07 | 东南大学 | 一种文本驱动视频生成系统的实现方法 |
| CN116884066A (zh) * | 2023-07-10 | 2023-10-13 | 深锶科技(北京)有限公司 | 一种基于唇型合成技术的2d真人数字化身生成方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118562A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 虚拟形象的讲解视频制作方法、装置以及终端 |
| CN109308731A (zh) * | 2018-08-24 | 2019-02-05 | 浙江大学 | 级联卷积lstm的语音驱动唇形同步人脸视频合成算法 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN110880315A (zh) * | 2019-10-17 | 2020-03-13 | 深圳市声希科技有限公司 | 一种基于音素后验概率的个性化语音和视频生成系统 |
| CN111833843A (zh) * | 2020-07-21 | 2020-10-27 | 苏州思必驰信息科技有限公司 | 语音合成方法及系统 |
| CN112215050A (zh) * | 2019-06-24 | 2021-01-12 | 北京眼神智能科技有限公司 | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 |
| WO2021051606A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 基于双向lstm的唇形样本生成方法、装置和存储介质 |
| CN112562720A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 一种唇形同步的视频生成方法、装置、设备及存储介质 |
| CN112634860A (zh) * | 2020-12-29 | 2021-04-09 | 苏州思必驰信息科技有限公司 | 儿童语音识别模型训练语料筛选方法 |
-
2021
- 2021-04-15 CN CN202110406372.4A patent/CN114338959A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308731A (zh) * | 2018-08-24 | 2019-02-05 | 浙江大学 | 级联卷积lstm的语音驱动唇形同步人脸视频合成算法 |
| CN109118562A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 虚拟形象的讲解视频制作方法、装置以及终端 |
| CN112215050A (zh) * | 2019-06-24 | 2021-01-12 | 北京眼神智能科技有限公司 | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 |
| WO2021051606A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 基于双向lstm的唇形样本生成方法、装置和存储介质 |
| CN110880315A (zh) * | 2019-10-17 | 2020-03-13 | 深圳市声希科技有限公司 | 一种基于音素后验概率的个性化语音和视频生成系统 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN111833843A (zh) * | 2020-07-21 | 2020-10-27 | 苏州思必驰信息科技有限公司 | 语音合成方法及系统 |
| CN112562720A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 一种唇形同步的视频生成方法、装置、设备及存储介质 |
| CN112634860A (zh) * | 2020-12-29 | 2021-04-09 | 苏州思必驰信息科技有限公司 | 儿童语音识别模型训练语料筛选方法 |
Non-Patent Citations (1)
| Title |
|---|
| K R PRAJWAL 等: ""A Lip Sync Expert Is You Need for Speech to Lip Generation In The Wild"", pages 3, Retrieved from the Internet <URL:https://arxiv.org/pdf/2008.10010.pdf> * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115996303A (zh) * | 2023-03-23 | 2023-04-21 | 科大讯飞股份有限公司 | 视频生成方法、装置、电子设备和存储介质 |
| CN115996303B (zh) * | 2023-03-23 | 2023-07-25 | 科大讯飞股份有限公司 | 视频生成方法、装置、电子设备和存储介质 |
| CN116403559A (zh) * | 2023-03-30 | 2023-07-07 | 东南大学 | 一种文本驱动视频生成系统的实现方法 |
| CN116884066A (zh) * | 2023-07-10 | 2023-10-13 | 深锶科技(北京)有限公司 | 一种基于唇型合成技术的2d真人数字化身生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112562720B (zh) | 一种唇形同步的视频生成方法、装置、设备及存储介质 | |
| CN114338959A (zh) | 端到端即文本到视频的视频合成方法、系统介质及应用 | |
| CN112866586B (zh) | 一种视频合成方法、装置、设备及存储介质 | |
| WO2022052980A1 (en) | System and method for synthesizing photo-realistic video of a speech | |
| CN1860504A (zh) | 用于视听内容合成的系统和方法 | |
| CN111666831A (zh) | 一种基于解耦表示学习的说话人脸视频生成方法 | |
| CN115272537A (zh) | 基于因果卷积的音频驱动表情方法及装置 | |
| WO2021169825A1 (zh) | 语音合成方法、装置、设备和存储介质 | |
| CN115761075A (zh) | 脸部图像生成方法及其装置、设备、介质、产品 | |
| CN111883107A (zh) | 语音合成、特征提取模型训练方法、装置、介质及设备 | |
| CN114793300A (zh) | 一种基于生成对抗网络的虚拟视频客服机器人合成方法和系统 | |
| CN114360491B (zh) | 语音合成方法、装置、电子设备及计算机可读存储介质 | |
| CN114842826A (zh) | 语音合成模型的训练方法、语音合成方法及相关设备 | |
| CN114420097A (zh) | 语音定位方法、装置、计算机可读介质及电子设备 | |
| CN113782042A (zh) | 语音合成方法、声码器的训练方法、装置、设备及介质 | |
| CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
| CN117409121A (zh) | 基于音频和单幅图像驱动的细粒度情感控制说话人脸视频生成方法、系统、设备及介质 | |
| CN114155321B (zh) | 一种基于自监督和混合密度网络的人脸动画生成方法 | |
| WO2023142590A1 (zh) | 手语视频的生成方法、装置、计算机设备及存储介质 | |
| CN112653916A (zh) | 一种音视频同步优化的方法及设备 | |
| CN116013274A (zh) | 语音识别的方法、装置、计算机设备和存储介质 | |
| Li et al. | Unified Cross-Modal Attention: Robust Audio-Visual Speech Recognition and Beyond | |
| CN115052197A (zh) | 虚拟人像视频的生成方法及装置 | |
| CN113990295A (zh) | 一种视频生成方法和装置 | |
| CN113239158A (zh) | 基于虚拟现实场景的英文互动教学方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |