CN112233210B - 生成虚拟人物视频的方法、装置、设备和计算机存储介质 - Google Patents

Abstract

本申请公开了一种生成虚拟人物视频的方法、装置、设备和计算机存储介质，涉及人工智能技术，特别涉及计算机视觉和深度学习技术。具体实现方案为：将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。本申请能够降低虚拟人物视频播放对终端的性能影响，提高实时性。

Description

生成虚拟人物视频的方法、装置、设备和计算机存储介质

技术领域

本申请涉及人工智能技术，特别涉及计算机视觉和深度学习技术。

背景技术

虚拟人物指的是存在于创作型视频中虚构的人物。随着计算机技术的快速发展，出现了使用虚拟人物播报新闻、天气预报、教学、比赛解说等应用。其中一种典型的应用是，用户与终端进行语音交互的过程中，向用户响应语音的同时在终端上呈现虚拟人物视频，从而给用户以与虚拟人物进行交流的感受。然而，在目前虚拟人物视频的生成过程中，一般是将一条完整的语音提供给服务器端，由服务器端利用该一条完整的语音生成虚拟人物视频，下发给终端进行播放。但由于一条完整语音对应的视频文件较大，对其进行解码播放会对终端的性能产生较大影响，且很难保证实时性。

发明内容

有鉴于此，本申请提供了一种生成虚拟人物视频的方法、装置、设备和计算机存储介质，以便于降低对性能的影响，提高实时性。

第一方面，本申请提供了一种生成虚拟人物视频的方法，包括：

将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。

第二方面，本申请提供了一种生成虚拟人物视频的装置，包括：

语音切分模块，用于将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

图像预测模块，用于按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。

第三方面，本申请提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

第四方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一项所述的方法。

由以上技术方案可以看出，本申请通过将语音进行切分，分别针对各语音段生成图像帧序列并发送至终端的队列，使得终端能够逐一从队列中获取语音段及语音段对应的图像帧序列进行虚拟人物视频合成和播放，无需终端对较大的视频文件进行整体解码和播放，降低了对终端性能的影响，提高了虚拟人物视频播放的实时性。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1示出了可以应用本发明实施例的生成虚拟人物视频的装置的示例性系统架构；

图2为本申请实施例提供的主要方法流程图；

图3为本申请实施例提供的一种详细方法流程图；

图4为本申请实施例提供的终端“流水线式”生成视频的示意图；

图5为本申请实施例提供的另一详细方法流程图；

图6为本申请实施例提供的装置结构图；

图7是用来实现本申请实施例的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本发明实施例的生成虚拟人物视频的装置的示例性系统架构。

如图1所示，该系统架构可以包括终端设备101和102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和102上可以安装有各种应用，例如语音交互应用、媒体播放类应用、网页浏览器应用、通信类应用等。

终端设备101和102可以是各种有屏电子设备，包括但不限于智能手机、平板电脑、PC(Personal Computer，个人计算机)、智能电视等等。本发明所提供的确定虚拟人物唇形的装置可以设置并运行于上述终端设备101或102中，也可以设置并运行于上述服务器104中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。

例如，确定生成虚拟人物视频的装置设置并运行于上述终端设备101，终端设备从服务器端获取语音(该语音可以是服务器端针对文本进行语音合成得到的语音，也可以是服务器端利用文本查询语音库得到的文本对应的语音)，或者在本地针对文本进行语音合成得到语音，或者终端利用文本查询语音库得到的文本对应的语音；然后采用本申请实施例中的方法针对该语音生成虚拟人物视频，并进行播放。

再例如，确定生成虚拟人物视频的装置设置并运行于上述服务器104。服务器端可以针对文本进行语音合成得到语音，也可以利用文本查询语音库得到对应的语音。然后采用本申请实施例中的方法将语音段以及语音段对应的图像帧序列发送至终端设备102。由终端设备将该语音段及语音段对应的图像帧序列进行合成，得到语音对应的虚拟人物视频并进行播放。

服务器104可以是单一服务器，也可以是多个服务器构成的服务器群组。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2为本申请实施例提供的主要方法流程图，如图2中所示，该方法包括以下步骤：

在201中，将语音按照预设时长进行切分，得到n个语音段，n为正整数。

对于本申请中涉及的语音在不同应用场景下，可以是不同的内容。例如，对于新闻、天气预报、比赛解说等播报类场景下，语音是播报内容对应的语音。例如，对于智能交互场景下，语音是针对用户输入语音所产生的响应文本对应的语音。因此，在大多数场景下，本申请中涉及的语音是由文本所产生的。产生机制可以是对文本进行实时的语音合成后产生，也可以是利用文本实时查询语音库后，得到该文本对应的语音。其中语音库是采用离线方式预先对各种文本进行合成或采集后得到的。

其中，由于智能交互场景对于实时性要求很高，本申请尤其适用于上述智能交互场景，即针对用户输入的语音生成响应语音后，对响应语音采用本申请中的方式切分为各语音段，分别预测各语音段对应的图像帧序列。

具体的切分方式，将在后续实施例中详述。

在202中，按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便终端逐一从队列中获取语音段及语音段对应的图像帧序列进行合成，并实时播放合成的虚拟人物视频。

由于在语音段中可能会包含静音部分和语音部分，而往往在生成虚拟人物视频过程中，需要根据语音部分对应的音素配以与其对应的唇形，因此需要对语音段中的静音部分和语音部分进行区分。

本申请实施例中涉及的虚拟人物预测主要是对虚拟人物的动作和/或唇形进行的预测。后续实施例中将对该部分进行详细描述。

在这种方式下，终端无需对整个语音对应的视频数据进行解码和播放，而是以“分段”式的方式，逐一对各语音段及对应的图像帧序列进行合成和播放，降低了对终端的性能压力，也提高了实时性。

上述方法流程中步骤201和202中切分、静音识别、虚拟人物预测和发送的处理可以由服务器端执行，也可以由终端执行，下面分别结合两个实施例进行详细描述。

图3为本申请实施例提供的一种详细方法流程图，如图3中所示，该方法可以包括以下步骤：

在301中，终端从服务器端获取响应文本对应的语音。

本实施例中以智能交互场景为例，假设用户与终端进行语音交互。终端将用户输入的语音发送至服务器端，由服务器端对该语音进行识别后，针对识别结果进一步生成响应文本。然后服务器端对该响应文本进行语音合成并将合成的语音发送给终端，或者服务器端通过查询语音库得到响应文本对应的语音并发送给终端。

当然也可以采用其他的方式，例如，服务器端将响应文本发送给终端，由终端进行语音合成，或者由终端查询语音库获得响应文本对应的语音。

在302中，终端将语音按照预设时长进行切分，得到n个语音段，n为正整数。

在对语音进行切分时，采用的预设时长一方面要兼顾对终端性能的影响，不能设置的太长，否则终端对于语音段的响应也较慢。另一方面要兼顾终端对语音段的合成和播放速度，如果太短可能会导致当前语音段对应的视频已经播放完，但下一语音段对应的视频还未合成出来。参考上述两方面可以采用经验值或试验值来进行预设时长的设置，例如设置600ms作为一个切分。

在303中，终端从第一个语音段开始对各语音段分别执行：对语音段进行静音识别和虚拟人物预测，得到该语音段对应的图像帧序列，并将该语音段以及语音段对应的图像帧序列发送至终端的队列。

作为一种优选的实施方式，在对语音段进行静音识别和虚拟人物预测得到语音段对应的图像帧序列时，可以首先识别语音段中的静音部分和语音部分。关于静音识别可以采用现有比较成熟的技术，在此不做赘述，对于除了静音部分之外的部分，就是语音部分。

然后对语音段中的语音部分进行虚拟人物预测。本申请实施例中涉及的虚拟人物预测主要包括动作预测和唇形预测中的至少一种。进行动作预测可以得到语音部分对应的动作序列，进行唇形预测可以得到语音部分对应的唇形图像序列。其中动作序列包括该语音部分各时间点对应的动作信息，唇形图像序列包括该语音部分各时间点对应的唇形图像。这两部分也可以采用现有比较成熟的技术，在此不做赘述。

之后再将虚拟人物底板图像、语音部分对应的动作序列和唇形图像序列，按照语音段中对应的时间点进行合成，就能够得到该语音段对应的图像帧序列。

这种方式对语音段中的静音部分和语音部分进行区分，对其中的语音部分进行虚拟人物的动作和唇形的预测，然后结合虚拟人物底板对应各时间点进行动作和唇形图像的合成，使得得到的语音段对应的图像帧序列用于后续虚拟人物视频合成时，更加符合真实人物在该语音段中的动作和唇形。

由于在进行虚拟人物视频合成时，是需要一个虚拟人物的，而该虚拟人物的形象则可以预先设置成虚拟人物底板图像存储于底板库，在执行本步骤时，从底板库中获取该虚拟人物底板图像即可。通常在底板库中可以存储多种虚拟人物底板图像，例如不同年龄、不同性别、不同造型、不同背景等因素的虚拟人物，可以根据用户的预先设置或选择来从底板库中获取对应的虚拟人物底板图像。

作为一种优选的实施方式，对于语音段中静音部分的各时间点可以采用虚拟人物底板图像分别作为各时间点的图像帧。虚拟人物底板图像中的唇部可以就是一个闭合的唇部。对于语音段中语音部分的各时间点，可以将各时间点对应的动作和唇形图像合成至虚拟人物底板图像分别作为各时间点的图像帧。当然，为了使得动作更加流畅，对于静音部分中与语音部分过渡的时间点，也可以采用一些与语音部分的动作能平滑过渡的动作。这种实现方式实现简单、效率更高，且得到的图像帧序列中的虚拟人物动作和唇形更加符合真实人物在表达对应语音段时的状态。

另外，被切分后得到的各语音段原本之间是存在上下文关联的，为了保留这种上下文关联，提高虚拟人物预测的准确性，可以保存针对语音段进行虚拟人物预测的状态数据，以用于下一语音段进行虚拟人物预测的初始输入。其中状态数据可以包括该语音段所包含最后一个字的序号以及该语音段对应的图像帧序列的最后一帧等等。

以600ms作为一个语音段的切分为例，一条语音被切分为n个语音段后，对每个语音段进行静音识别和虚拟人物预测后，得到该语音段对应的15帧图像。向终端的队列发送该600ms的语音段以及15帧的图像序列。其中，一个语音段能够得到多少帧的图像是与码率相关的，在此例子中以15帧为例。

在304中，终端每从队列中获取一个语音段及语音段对应的图像帧序列，就对其进行合成并实时播放合成的虚拟人物视频。

在此需要做一个说明的是，上述步骤303和步骤304并非完全是在执行完步骤303之后才执行步骤304，而是在步骤303中完成针对一个语音段生成图像帧序列并发送至队列后，终端就从该队列中获取该语音段及其对应的图像帧序列进行视频合成和播放。步骤303针对各语音段的处理是持续不断的，与此同时，步骤304中针对各语音段的处理也是持续不断的。这种“流水线”式的处理方式，能够很大程度地提高视频播放的实时性。

对于步骤302、步骤303和步骤304的处理，在终端中可以采用两个独立的进程分别并行执行上述步骤303和步骤304以产生上述“流水线”式的处理效果。如图4中所示，第一进程对语音进行切分；第二进程对各语音段逐一进行静音识别和虚拟人物预测，产生语音段对应的图像帧序列，并将语音段以及语音段对应的图像帧序列发送至终端的队列；第三进程从队列中取出语音段及其对应的图像帧序列，进行合成并实时播放合成的虚拟人物视频。

对于队列中的语音段及其对应的图像帧序列，播放完即释放，从而减少内存占用，提高终端的性能。

图5为本申请实施例提供的另一详细方法流程图，如图5中所示，该方法可以包括以下步骤：

在501中，服务器端获取响应文本对应的语音。

本实施例中以智能交互场景为例，假设用户与终端进行语音交互。终端将用户输入的语音发送至服务器端，由服务器端对该语音进行识别后，针对识别结果进一步生成响应文本。然后服务器端对该响应文本进行语音合成，以获取响应文本对应的语音，或者服务器端通过查询语音库得到响应文本对应的语音。

在502中，服务器端将语音按照预设时长进行切分，得到n个语音段，n为正整数。

关于切分的具体方法可以参见图3所示实施例中关于302的描述，在此不做赘述。本步骤与步骤302的区别仅在于执行主体。

在503中，服务器端从第一个语音段开始对各语音段分别执行：对语音段进行静音识别和虚拟人物预测，得到该语音段对应的图像帧序列，并将该语音段以及语音段对应的图像帧序列发送至终端的队列。

本步骤中关于静音识别和虚拟人物预测的具体方式可以参见图3所示实施例中关于步骤303的描述，在此不做赘述，区别仅在于执行主体。

服务器端可以每得到一个语音段对应的图像帧序列，就将该语音段及其对应的图像帧序列发送给终端的队列，即采用了类似“流式传输”的方式。

在504中，终端每从队列中获取一个语音段及语音段对应的图像帧序列，就对其进行合成并实时播放合成的虚拟人物视频。

同样，上述步骤503和步骤504并非完全是在执行完步骤503之后才执行步骤504，而是在服务器端持续的生成各语音段对应的图像帧序列，并通过流式传输的方式发送给终端的队列。与此同时，终端对各语音段的处理也是持续不断的。这种“流水线”式的处理方式，能够很大程度地提高视频播放的实时性。

对于队列中的语音段及其对应的图像帧序列，播放完即释放，从而减少内存占用，提高终端的性能。

以上是对本申请所提供方法进行的详细描述，下面对本申请提供的装置进行详细描述。

图6为本申请实施例提供的装置结构图，该装置可以位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者，还可以位于服务器端。如图6中所示，该装置可以包括：语音切分模块10和图像预测模块20。

其中，语音切分模块10，用于将语音按照预设时长进行切分，得到n个语音段，n为正整数。

图像预测模块20，用于按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便终端逐一从队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。

作为其中一种实现方式，该装置可以设置于服务器端。此时，上述语音为服务器端对文本进行语音合成后得到的语音，或者，在语音库中查询得到的文本对应的语音。

作为另一种优选的实施方式，该装置可以设置于终端。此时，上述语音为服务器端对文本进行语音合成后发送给终端的语音，或者，终端向服务器端的语音库查询得到的文本对应的语音。

若该装置设置于终端，则在该终端中的装置还可以进一步包括视频合成模块30和视频播放模块40，图6中以这种情况为例。

其中，视频合成模块30，用于逐一从队列中获取语音段及语音段对应的图像帧序列进行合成。

视频播放模块40，用于播放视频合成模块30合成的虚拟人物视频。

作为一种优选的实施方式，上述图像预测模块20可以具体包括：识别子模块21、预测子模块22和合成子模块23。

识别子模块21，用于识别语音段中的静音部分和语音部分。

预测子模块22，用于对语音部分进行虚拟人物预测，虚拟人物预测包括动作预测和/或唇形预测，得到语音部分对应的动作序列和唇形图像序列。

合成子模块23，用于将虚拟人物底板图像、语音部分对应的动作序列和唇形图像序列按照语音段中对应的时间点进行合成，得到语音段对应的图像帧序列。

其中，合成子模块23对于语音段中静音部分的各时间点可以采用虚拟人物底板图像分别作为各时间点的图像帧；对于语音段中语音部分的各时间点，将各时间点对应的动作和唇形图像合成至虚拟人物底板图像分别作为各时间点的图像帧；按照各时间点的顺序，由各时间点的图像帧构成语音段对应的图像帧序列。

作为一种优选的实施方式是，图像预测模块20在针对语音段进行虚拟人物预测后，还用于：

保存针对该语音段进行虚拟人物预测的状态数据，以用于下一语音段进行虚拟人物预测的初始输入，状态数据包括该语音段所包含最后一个字的序号以及该语音段对应的图像帧序列的最后一帧。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的生成虚拟人物视频的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的生成虚拟人物视频的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的生成虚拟人物视频的方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的生成虚拟人物视频的方法对应的程序指令/模块。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的生成虚拟人物视频的方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据该电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

该电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与该电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种生成虚拟人物视频的方法，包括：

采用第一进程，将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

采用第二进程，按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端采用第三进程逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频；所述第二进程和所述第三进程是并行执行的；

所述队列中的语音段及其对应的图像帧序列，在播放完被释放；

在针对语音段进行虚拟人物预测后，还包括：

保存针对该语音段进行虚拟人物预测的状态数据，以用于下一语音段进行虚拟人物预测的初始输入，所述状态数据包括该语音段所包含最后一个字的序号以及该语音段对应的图像帧序列的最后一帧。

2.根据权利要求1所述的方法，其中，所述切分、所述静音识别、所述虚拟人物预测和所述发送的处理由服务器端执行；

所述语音为所述服务器端对文本进行语音合成后得到的语音，或者，在语音库中查询得到的文本对应的语音。

3.根据权利要求1所述的方法，其中，所述切分、所述静音识别、所述虚拟人物预测和所述发送的处理由所述终端执行；

所述语音为服务器端对文本进行语音合成后发送给所述终端的语音，或者，所述终端向服务器端的语音库查询得到的文本对应的语音。

4.根据权利要求1所述的方法，其中，对语音段进行静音识别和虚拟人物预测得到语音段对应的图像帧序列包括：

识别所述语音段中的静音部分和语音部分；

对所述语音部分进行虚拟人物预测，所述虚拟人物预测包括动作预测和/或唇形预测，得到所述语音部分对应的动作序列和唇形图像序列；

将虚拟人物底板图像、所述语音部分对应的动作序列和唇形图像序列按照所述语音段中对应的时间点进行合成，得到所述语音段对应的图像帧序列。

5.根据权利要求4所述的方法，其中，所述将虚拟人物底板图像、所述语音部分对应的动作序列和唇形图像序列按照所述语音段中对应的时间点进行合成包括：

对于语音段中静音部分的各时间点采用所述虚拟人物底板图像分别作为各时间点的图像帧；

对于语音段中语音部分的各时间点，将各时间点对应的动作和唇形图像合成至所述虚拟人物底板图像分别作为各时间点的图像帧；

按照各时间点的顺序，由各时间点的图像帧构成所述语音段对应的图像帧序列。

6.一种生成虚拟人物视频的装置，包括：

语音切分模块，用于采用第一进程，将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

图像预测模块，用于采用第二进程，按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端采用第三进程逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频；所述第二进程和所述第三进程是并行执行的；

所述队列中的语音段及其对应的图像帧序列，在播放完被释放；

所述图像预测模块在针对语音段进行虚拟人物预测后，还用于：

保存针对该语音段进行虚拟人物预测的状态数据，以用于下一语音段进行虚拟人物预测的初始输入，所述状态数据包括该语音段所包含最后一个字的序号以及该语音段对应的图像帧序列的最后一帧。

7.根据权利要求6所述的装置，所述装置设置于服务器端；

所述语音为所述服务器端对文本进行语音合成后得到的语音，或者，在语音库中查询得到的文本对应的语音。

8.根据权利要求6所述的装置，所述装置设置于终端；

所述语音为服务器端对文本进行语音合成后发送给所述终端的语音，或者，所述终端向服务器端的语音库查询得到的文本对应的语音；

所述装置还包括：

视频合成模块，用于逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成；

视频播放模块，用于播放所述视频合成模块合成的虚拟人物视频。

9.根据权利要求6所述的装置，其中，所述图像预测模块包括：

识别子模块，用于识别所述语音段中的静音部分和语音部分；

预测子模块，用于对所述语音部分进行虚拟人物预测，所述虚拟人物预测包括动作预测和/或唇形预测，得到所述语音部分对应的动作序列和唇形图像序列；

合成子模块，用于将虚拟人物底板图像、所述语音部分对应的动作序列和唇形图像序列按照所述语音段中对应的时间点进行合成，得到所述语音段对应的图像帧序列。

10.根据权利要求9所述的装置，其中，所述合成子模块，具体用于对于语音段中静音部分的各时间点采用所述虚拟人物底板图像分别作为各时间点的图像帧；对于语音段中语音部分的各时间点，将各时间点对应的动作和唇形图像合成至所述虚拟人物底板图像分别作为各时间点的图像帧；按照各时间点的顺序，由各时间点的图像帧构成所述语音段对应的图像帧序列。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。