CN113570686A - 虚拟视频直播处理方法及装置、存储介质、电子设备 - Google Patents

虚拟视频直播处理方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN113570686A
CN113570686A CN202110169456.0A CN202110169456A CN113570686A CN 113570686 A CN113570686 A CN 113570686A CN 202110169456 A CN202110169456 A CN 202110169456A CN 113570686 A CN113570686 A CN 113570686A
Authority
CN
China
Prior art keywords
action
background image
image
data
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110169456.0A
Other languages
English (en)
Inventor
朱绍明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110169456.0A priority Critical patent/CN113570686A/zh
Publication of CN113570686A publication Critical patent/CN113570686A/zh
Priority to PCT/CN2022/073997 priority patent/WO2022166709A1/zh
Priority to US17/974,771 priority patent/US20230039789A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种虚拟视频直播处理方法、装置、电子设备和计算机可读存储介质；涉及视频处理技术领域。该方法包括：获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识；根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像；根据开始位置标识和动作标识生成包含指定动作的背景图像序列；所述背景图像序列包括背景图像；对脸部图像与背景图像进行图像融合处理，得到直播视频帧；将直播视频帧与音频数据实时合成直播视频流。本公开可以根据用户的个性化需求指定虚拟直播中的虚拟对象的对象动作，并使得虚拟对象的对象动作与文本相匹配。

Description

虚拟视频直播处理方法及装置、存储介质、电子设备
技术领域
本公开涉及视频处理技术领域，具体而言，涉及一种虚拟视频直播处理方法、虚拟视频直播处理装置、电子设备以及计算机可读存储介质。
背景技术
随着通信技术的发展，网络通信带宽得到很大的提高，视频直播技术也日趋成熟，在各个方面得到应用。同时随着人工智能技术的发展，从文本到语音(Text To Speech，TTS)技术与图像合成技术也成为了人们的研究热点。视频直播技术与人工智能技术的结合可以在许多地方发挥作用，比如代替真人进行新闻虚拟播报、代替游戏主播进行游戏虚拟解说等，具有广阔的应用前景。
在虚拟视频直播技术中，音频与图片的生成需要耗费大量的计算时间，为保证虚拟视频直播的实时性，虚拟视频实时推流的实现成为影响最终直播视频质量的重要因素。现有的视频实时直播方法大都是针对已有稳定的音频、图片数据输入(如本地视频推流)，或者是能够快速获取到音频、图片数据(如摄像头获取数据)等应用场景。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种虚拟视频直播处理方法、虚拟视频直播处理装置、电子设备以及计算机可读存储介质，进而在一定程度上克服现有的虚拟视频直播技术无法支持个性化地为虚拟对象指定动作，且存在虚拟人物的默认动作与文本不匹配的问题。
根据本公开的一个方面，提供一种虚拟视频直播处理方法，包括：获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识；根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像；根据开始位置标识和动作标识生成包含指定动作的背景图像序列；所述背景图像序列包括背景图像；对脸部图像与背景图像进行图像融合处理，得到直播视频帧；将直播视频帧与音频数据实时合成直播视频流。
根据本公开的一个方面，提供一种虚拟视频直播处理装置，包括：数据获取模块，用于获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识；脸部图像确定模块，用于根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像；背景图像确定模块，用于根据开始位置标识和动作标识生成包含指定动作的背景图像序列；所述背景图像序列包括背景图像；图像融合模块，用于对脸部图像与背景图像进行图像融合处理，得到直播视频帧；直播视频合成模块，用于将直播视频帧与音频数据实时合成直播视频流。
在本公开的一种示例性实施例中，脸部图像确定模块包括：文本确定单元，用于根据文本数据确定对应的待转化文本；音频数据生成单元，用于对文本数据进行文本转语音处理，生成音频数据；表情数据生成单元，用于根据音频数据生成虚拟对象的表情数据。
在本公开的一种示例性实施例中，音频数据生成单元被配置为：将待转化文本转化为对应的目标词向量，对目标词向量进行编码处理和解码处理，以生成目标词向量的音频特征；对音频特征进行合成处理，以生成音频数据。
在本公开的一种示例性实施例中，表情数据生成单元被配置为：确定表情数据中包含的表情帧数，将表情帧数确定为第一数量；确定图像播放帧率，并根据第一数量和图像播放帧率确定表情数据的播放时长；播放时长与音频数据的音频时长相同。
在本公开的一种示例性实施例中，背景图像确定模块包括：默认图像获取单元，用于获取默认背景图像；动作图像获取单元，用于根据动作标识获取指定动作对应的动作背景图像；图像顺序确定单元，用于根据开始位置标识确定默认背景图像与动作背景图像的图像排列顺序；图像排列单元，用于根据图像排列顺序对多个背景图像进行排序，生成背景图像序列。
在本公开的一种示例性实施例中，动作图像获取单元被配置为：确定动作数据中包含的动作序列；动作序列包括一个或多个指定动作；根据动作标识从预设动作库中获取每个指定动作对应的动作背景图像。
在本公开的一种示例性实施例中，图像顺序确定单元还包括：文本长度确定子单元，用于确定文本数据的文本长度；开始标识确定子单元，用于获取第一数量，并根据文本长度、开始位置标识与第一数量确定指定动作在背景图像中的开始帧标识；结束标识确定子单元，用于将动作背景图像的数量确定为动作图像数量，根据开始帧标识和动作图像数量确定结束帧标识；顺序确定子单元，用于对比结束帧标识与第一数量的大小，以根据对比结果确定图像排列顺序。
在本公开的一种示例性实施例中，顺序确定子单元包括第一顺序确定子单元，第一顺序确定子单元被配置为：将开始帧标识之前的背景图像确定为默认背景图像；将开始帧标识与结束帧标识之间的背景图像确定为动作背景图像；将结束帧标识与第一数量标识之间的背景图像确定为默认背景图像。
在本公开的一种示例性实施例中，顺序确定子单元包括第二顺序确定子单元，第二顺序确定子单元被配置为：确定当前指定动作对应的当前开始帧标识和当前结束帧标识；将前一指定动作的结束帧标识与当前开始帧标识之间的背景图像确定为默认背景图像；将当前开始帧标识与当前结束帧标识之间的背景图像确定为动作背景图像；将当前结束帧标识与后一指定动作的开始帧标识之间的背景图像确定为默认背景图像。
在本公开的一种示例性实施例中，顺序确定子单元包括第三顺序确定子单元，第三顺序确定子单元被配置为：将开始帧标识之前的背景图像配置为默认背景图像；根据第一数量与开始帧标识确定筛选帧数量；根据筛选帧数量从多个动作背景图像中确定筛选动作图像集；将开始帧标识与第一数量标识之间的背景图像配置为筛选动作图像集。
在本公开的一种示例性实施例中，第三顺序确定子单元包括图像筛选子单元，所述图像筛选子单元被配置为：从多个动作背景图像中依次选取筛选帧数量个动作背景图像作为筛选动作图像集；或从多个动作背景图像中随机选取筛选帧数量个动作背景图像作为筛选动作图像集。
在本公开的一种示例性实施例中，图像融合模块被配置为：将与脸部图像匹配的背景图像确定为匹配背景图像；获取预先构建的图像融合模型；通过图像融合模型对脸部图像与匹配背景图像进行图像融合处理，以生成直播视频帧。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的虚拟视频直播处理方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的虚拟视频直播处理方法中，根据获取到的文本数据可以生成音频数据和虚拟对象的脸部图像，根据获取到的动作标识和开始位置标识可以生成包含指定动作的背景图像，将虚拟对象的脸部图像与背景图像进行图像融合处理，生成直播视频帧；基于直播视频帧和音频数据可以实时合成直播视频流。一方面，所述动作数据可以是用户为虚拟对象指定的对象动作，根据动作数据生成直播视频流，可以达到在虚拟直播视频中用户为虚拟对象指定动作的目的。另一方面，根据动作标识和开始位置标识确定指定动作与文本数据的对应播放位置，使指定动作在指定位置处播放，可以有效解决虚拟对象的动作与文本不匹配的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种虚拟视频直播处理方法及装置的示例性系统架构的示意图。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
图3示意性示出了根据本公开的一个实施例的虚拟视频直播处理方法的流程图。
图4示意性示出了根据本公开的一个实施例的虚拟视频直播服务的整体框架图。
图5示意性示出了根据本公开的一个实施例的根据动作标识和开始位置标识确定背景图像序列的流程图。
图6示意性示出了根据本公开的一个实施例的根据开始位置标识确定图像排列顺序的流程图。
图7示意性示出了根据本公开的一个实施例的确定图像排列顺序的流程图。
图8示意性示出了根据本公开的另一实施例的确定图像排列顺序的流程图。
图9示意性示出了根据本公开的又一实施例的确定图像排列顺序的流程图。
图10示意性示出了根据本公开的一个实施例的虚拟视频推流服务的实现框架图。
图11示意性示出了根据本公开的一个实施例的虚拟视频直播处理装置的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的虚拟视频直播处理等技术，具体通过如下实施例进行说明：
图1示出了可以应用本公开实施例的一种虚拟视频直播处理方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的虚拟视频直播处理方法一般由服务器105执行，相应地，虚拟视频直播处理装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的虚拟视频直播处理方法也可以由终端设备101、102、103执行，相应的，虚拟视频直播处理装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将文本数据和动作数据上传至服务器105，服务器通过本公开实施例所提供的虚拟视频直播处理方法根据文本数据生成音频数据和虚拟对象的脸部图像，根据动作数据生成包含指定动作的背景图像，将脸部图像和背景图像进行图像融合处理生成直播视频帧，对直播视频帧和音频数据进行实时合成处理生成直播视频流，并将直播视频流传输给终端设备101、102、103等。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3～图10所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
在虚拟视频直播技术中，主要是根据音频与图像生成对应的直播视频流，并将直播视频流实时推送至客户端。音频与图像的生成需要耗费大量的计算时间，为保证虚拟视频直播的实时性，虚拟视频实时推流的实现成为影响最终直播视频质量的重要因素。
在不影响实时性的前提下，现有的虚拟直播视频技术大都不支持用户为虚拟人物指定动作的功能，而是使用服务提供的默认动作。在使用默认动作的虚拟直播方案中，可能产生虚拟视频中虚拟人物的动作无法与文本相搭配、且表现不自然的问题。例如，打招呼的默认动作均为虚拟人物进行招手动作，当打招呼对应的文本为“欢迎”时，可能出现动作与文本不匹配的问题。
另外，由于虚拟直播中的虚拟人物只能使用提供的默认动作，而仅采用默认动作可能无法满足用户的个性化需求。例如，文本“加油”仅对应一种默认动作，用户无法根据自己的意愿为虚拟人物指定自己设计出的动作。
基于上述一个或多个问题，本示例实施方式提供了一种虚拟视频直播处理方法。该虚拟视频直播处理方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该虚拟视频直播处理方法可以包括以下步骤S310至步骤S350：
步骤S310.获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识。
步骤S320.根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像。
步骤S330.根据开始位置标识和动作标识生成包含指定动作的背景图像序列；背景图像序列包括背景图像。
步骤S340.对脸部图像与背景图像进行图像融合处理，得到直播视频帧。
步骤S350.将直播视频帧与音频数据实时合成直播视频流。
在本示例实施方式所提供的虚拟视频直播处理方法中，根据获取到的文本数据可以生成音频数据和虚拟对象的脸部图像，根据获取到的动作标识和开始位置标识可以生成包含指定动作的背景图像，将虚拟对象的脸部图像与背景图像进行图像融合处理，生成直播视频帧；基于直播视频帧和音频数据可以实时合成直播视频流。一方面，所述动作数据可以是用户为虚拟对象指定的对象动作，根据动作数据生成直播视频流，可以达到在虚拟直播视频中用户为虚拟对象指定动作的目的。另一方面，根据动作标识和开始位置标识确定指定动作与文本数据的对应播放位置，使指定动作在指定位置处播放，可以有效解决虚拟对象的动作与文本不匹配的问题。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识。
本示例实施方式中，文本数据可以是虚拟对象在虚拟直播视频中将说出的文字。例如，用户可以通过直播客户端自行输入文本数据，用户还可以从直播客户端提供的众多可选文本中选择出相应的文本数据；文本数据还可以是预先存储于服务器中的文本数据。虚拟对象可以是在虚拟直播视频中建模出的虚拟形象。虚拟对象可以是人物形象、动物形象、植物形象或其他事物的虚拟对象等，虚拟对象不同于真实存在的事物对象。例如，虚拟对象可以是卡通人物形象，虚拟对象还可以是如企鹅等动物形象，也可以是如向日葵等植物形象。动作数据可以用于驱动虚拟对象展示出相应动作的数据。指定动作可以是用户根据自己的个性化需求指定虚拟对象在虚拟视频中生成的相关动作。动作标识可以是某一特定的指定动作的标识，一个指定动作可以对应一个的唯一标识，动作标识可以采用motion-id表示。开始位置标识可以是指定动作在文本数据中开始的相对字节位置的标识。开始位置标识可以用于确定指定动作与具体的文本数据相对应的位置，例如，文本数据中包括10个文字，指定动作从第3个文字处开始播放，则开始位置标识可以设定为3。
在进行虚拟视频直播时，虚拟视频直播服务端可以先获取文本数据和动作数据，进而对获取到的文本数据和动作数据进行相应处理后，以生成虚拟直播视频。参考图4，图4示意性示出了根据本公开的一个实施例的虚拟视频直播服务的整体框架图。虚拟视频直播服务可以包括直播客户端410和虚拟视频直播服务端420，虚拟视频直播服务端420中可以包括文本转语音模块421、三维渲染模块422和视频推流模块423。虚拟视频直播服务端420可以通过直播客户端410中获取文本数据和动作数据，例如，用户可以通过直播客户端输入或选择相应的文本数据和动作数据；虚拟视频直播服务端420还可以从服务端数据库中获取预先存储的文本数据和动作数据。虚拟视频直播服务端420在获取到文本数据和动作数据后，可以对文本数据和动作数据进行解析处理。
虚拟视频直播服务端420对文本数据进行解析处理之后，可以得到文本数据对应的文本长度L，例如，文本长度可以为10。虚拟视频直播服务端420对动作数据进行解析处理之后，可以得到指定动作的动作标识和指定动作在文本数据中的开始位置标识，例如，开始位置标识可以采用index表示，index＝I；动作标识可以为：motion-id＝D。
在步骤S320中，根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像。
本示例实施方式中，表情数据可以是文本数据对应于虚拟视频中的虚拟对象的脸部表情的相关数据。音频数据可以是模拟的人声，用于匹配虚拟对象的直播视频输出图像。脸部图像可以是直播视频中输出的虚拟对象的脸部图像。
参考图4，虚拟视频直播服务端420在获取到文本数据和动作数据后，可以确定出文本数据对应的目标文本，并通过文本转语音模块421对目标文本进行文本转语音处理，生成虚拟对象的音频数据和表情数据。在得到表情数据后，可以通过三维渲染模块422对表情数据进行渲染处理，生成虚拟对象的脸部图像。
在步骤S330中，根据开始位置标识和动作标识生成包含指定动作的背景图像序列；背景图像序列包括背景图像。
本示例实施方式中，背景图像可以是与虚拟对象脸部图像对应且包含虚拟对象其他特征的图像；例如，背景图像可以包括虚拟对象的肢体动作以及生成视频输出图像对应的环境背景信息。由于用户针对某些文本数据指定了相应动作，因此背景图像为包含虚拟对象的指定动作的图像。
在确定出开始位置标识和动作标识后，虚拟视频直播服务端420中的三维渲染模块422可以根据文本数据、开始位置标识和动作标识确定出与文本数据对应的背景图像，且背景图像中包含指定动作，以便虚拟直播视频中的虚拟对象可以进行指定动作。
在步骤S340中，对脸部图像与背景图像进行图像融合处理，得到直播视频帧。
本示例实施方式中，图像融合处理可以将虚拟对象的脸部图像和与之匹配的背景图像进行融合处理，以得到直播视频帧的过程。直播视频帧可以是虚拟直播视频对应的所有视频帧。根据直播视频帧可以生成虚拟直播视频。
在生成虚拟对象的脸部图像和背景图像后，虚拟视频直播服务端420可以对脸部图像与背景图像进行图像融合处理，形成一个个完整的直播视频帧。
在步骤S350中，将直播视频帧与音频数据实时合成直播视频流。
本示例实施方式中，直播视频流可以是根据直播视频帧与音频数据实时合成的视频流。虚拟视频直播服务端可以将直播视频流推送至客户端，客户端可以是直播客户端，客户端可以用于接收直播视频流，并根据直播视频流在客户端实时呈现虚拟直播视频。
参考图4，虚拟视频直播服务端420中的视频推流模块423在接收到直播视频帧和音频数据后，可以对直播视频帧与音频数据进行视频合成处理，实时合成直播视频流，并将直播视频流推送至直播客户端410中，以便直播客户端410根据直播视频流实时呈现虚拟直播视频。直播客户端410获取直播视频流，并实时呈现与直播视频流对应的虚拟直播视频，可以通过以下技术方案实现，虚拟视频直播服务端420将直播视频流推送至相应流媒体播放地址的流媒体接口，以使直播客户端410基于流媒体播放地址拉取直播视频流，并通过直播客户端410的用户界面实时呈现实时合成的虚拟直播视频。
例如，可以通过下述步骤生成虚拟对象的音频数据和表情数据。
本公开的一个示例实施例中，根据文本数据确定对应的待转化文本；对待转化文本进行文本转语音处理，生成音频数据；根据音频数据生成虚拟对象的表情数据。
其中，待转化文本可以是待进行文本转语音处理的文本，待转化文本数据可以是文本数据包含的原始文本以及与原始文本相关联的关联文本。例如，在一些人机交互场景中，当文本数据中的原始文本为“产品A如何使用”，关联文本可以是产品A具体使用说明所对应的文本。文本转语音处理可以将待转化文本转化为自然语音流的处理过程。音频数据可以是待转化文本经过文本语音转换处理后所生成的对应音频。
具体的，参考图4，虚拟视频直播服务端420可以通过文本转语音模块421将待转化文本进行文本转语音处理，文本转语音模块中可以包含一个训练后的文本转语音模型，即预先构建一个初始的深度学习文本转语音模型，采用深度学习方法对该初始模型进行训练，模型训练完成后，得到训练后的文本转语音模型。采用文本转语音模型对待转化文本进行处理，生成音频数据。
另外，文本转语音模块421还可以根据待转化文本生成对应的表情数据，可以根据下述技术方案实现：根据待转化文本的音频数据预测虚拟直播视频中虚拟对象的嘴部关键点，对嘴部关键点进行归一化处理，以使嘴部关键点适应于标准面部模板；对经过归一化处理的嘴部关键点进行降维处理，得到对应虚拟对象的口型特征；对待转化文本进行语义分析，得到待转化文本所表征的语义；根据待转化文本所表征的语义，确定与语义匹配的表情数据。
本公开的一个示例实施例中，将待转化文本转化为对应的目标词向量，对目标词向量进行编码处理和解码处理，以生成目标词向量的音频特征；对音频特征进行合成处理，以生成音频数据。
其中，目标词向量可以是对待转化文本进行向量化处理后生成的对应向量。音频特征可以是目标词向量转换为音频数据所对应的关键特征，例如，音频特征可以包括短时过零率、短时能量、频谱质心等。
具体的，虚拟视频直播服务端420根据文本数据确定出待转化文本后，可以由文本转语音模块421将待转化文本输入至文本转语音模型后，可以先把待转化文本转化为对应的目标词向量，例如，待转化文本可以是一句话，对待转化文本进行分词，可以确定各个词对应的词向量。在得到目标词向量后，可以对目标词向量进行编码处理得到中间语义标识，再通过解码处理得到目标词向量的音频特征，采用音频合成算法，对得到的音频特征进行合成处理，可以生成待转化文本对应的音频数据。
本公开的一个示例实施例中，确定表情数据中包含的表情帧数，将表情帧数确定为第一数量；确定图像播放帧率，并根据第一数量和图像播放帧率确定表情数据的播放时长；播放时长与音频数据的音频时长相同。
其中，表情帧数可以是根据表情数据可以生成的表情图像帧的数量，第一数量等于表情帧数。图像播放帧率可以是以帧称为单位的位图图像连续出现在显示器上的频率(速率)。表情数据的播放时长可是播放表情数据的时间长度。音频时长可以是音频数据播放的时间长度。
具体的，通过文本转语音模块421将待转化文本转化为对应的表情数据后，可以确定表情数据中包含的表情帧数，例如，对待转化文本进行转化处理后，得到的表情帧数可以是N，即第一数量为N。确定出图像播放帧率后，可以根据图像播放帧率和第一数量确定表情数据的播放时长。为了保证最终生成的虚拟直播视频中视频的口型与音频是对齐的，则在生成音频数据和表情数据的时，需确保音频数据的音频时长与表情数据的播放时长相同。
本公开的一个示例实施例中，获取默认背景图像；根据动作标识获取指定动作对应的动作背景图像；根据开始位置标识确定默认背景图像与动作背景图像的图像排列顺序；根据图像排列顺序对多个背景图像进行排序，生成背景图像序列。
其中，默认背景图像可以是背景图像库中提供的默认背景图像，例如，默认背景图像可以是仅包括虚拟对象的环境背景信息而不包括虚拟对象的任何动作的图像，默认背景图像还可以是包含虚拟对象的环境背景信息与基本动作的图像。动作背景图像可以是包含虚拟对象的指定动作的背景图像。图像排列顺序可以是所有的默认背景图像和动作背景图像的排列顺序。
具体的，由于用户可以针对文本数据中一部分文本为虚拟对象指定相应动作，而另一部分文本可能不具有指定动作，因此，背景图像可以包括默认背景图像和动作背景图像两部分。虚拟视频直播服务端420中的三维渲染模块422可以根据指定动作在文本数据中的开始位置标识和指定动作的动作标识确定出与文本数据对应的背景图像。
参考图5，图5示意性示出了根据本公开的一个实施例的根据动作标识和开始位置标识确定背景图像的流程图。在步骤S510中，获取默认背景图像。例如，可以从背景图像库中获取默认背景图像，默认背景图像可以是包括招手、摆手、点头、摇头等基本动作的图像。针对用户没有指定相应动作的文本数据，可以将获取到的默认背景图像作为这部分文本对应的背景图像。在步骤S520中，针对指定动作的文本数据，可以根据指定动作的动作标识获取指定动作对应的动作背景图像。在确定出默认背景图像和动作背景图像后，在步骤S530中，可以根据指定动作的开始位置标识确定这些默认背景图像和动作背景图像的图像排列顺序。在步骤S540中，根据图像排列顺序将多个背景图像进行排序，即对默认背景图像和动作背景图像进行排序，生成背景图像序列。
本公开的一个示例实施例中，确定动作数据中包含的动作序列；动作序列包括一个或多个指定动作；根据动作标识从预设动作库中获取每个指定动作对应的动作背景图像。
其中，动作序列可以是由一个指定动作或多个指定动作组成的序列，如果动作序列中包含多个指定动作，则同时包含这多个指定动作的动作先后顺序。预设动作库可以是预先存储指定动作对应的动作背景图像的图像库。
具体的，在获取到动作数据后，由于动作数据中包括指定动作的动作标识，根据指定动作的动作标识可以确定出动作数据中的包含的动作序列；另外，基于动作数据中动作标识的先后顺序可以确定动作序列中指定动作的先后顺序。虚拟视频直播服务端420获取到的动作数据的数据结构可以为“index：motion-id”，其中，index可以表示指定动作在文本数据中的开始位置标识。预设动作库中预先存储的动作背景图像均是由一个动作标识和一组动作背景图像绑定的存储形式。虚拟视频直播服务端420在获取到指定动作的动作标识后，可以根据动作标识逐一从预设动作库中获取与该动作标识对应的一组动作背景图像。
本公开的一个示例实施例中，确定文本数据的文本长度；获取第一数量，并根据文本长度、开始位置标识与第一数量确定指定动作在背景图像中的开始帧标识；将动作背景图像的数量确定为动作图像数量，根据开始帧标识和动作图像数量确定结束帧标识；对比结束帧标识与第一数量的大小，以根据对比结果确定图像排列顺序。
其中，文本长度可以是文本数据对应的长度，例如，文本数据中包含的文本为“今天是风和日丽的一天”，则文本数据对应的文本长度可以定义为10。另外，还可以根据文本数据占用的字节数定义文本数据的长度，例如，一个中文字符占用两个字节，采用此种计算方式，上述文本数据对应的文本长度则为20。本公开对文本长度的计算方式不作任何特殊限定。帧标识可以是所有背景图像对应的图像帧的标识。开始帧标识可以是某一指定动作的动作背景图像在所有背景图像中开始播放的位置标识。动作图像数量可以是指定动作包含的动作背景图像的数量。结束帧标识可以是某指定动作的最后一个动作背景图像对应的帧标识。结束帧标识可以根据开始帧标识和动作图像数量确定。对比结果可以是结束帧标识和第一数量进行大小对比后得到的结果。
参考图6，图6示意性示出了根据本公开的一个实施例的根据开始位置标识确定图像排列顺序的流程图。虚拟视频直播服务端420在获取到文本数据后，在步骤S610中，可以确定文本数据对应的文本长度。在步骤S620中，获取第一数量，根据确定出的文本长度，获取到的开始位置标识和第一数量可以确定出指定动作在背景图像中的开始帧标识。由于根据一帧表情数据，可以对应渲染生成一个虚拟对象的脸部图像，则第一数量可以是虚拟对象对应的脸部图像的数量。同时，由于虚拟对象的脸部图像与背景图像一一对应，因此，虚拟对象的脸部图像的数量与背景图像的数量相同，即第一数量同时也为背景图像的数量。
举例而言，指定动作的开始帧标识可以表示为n；第一数量可以表示为N；开始位置标识可以表示为I；文本长度可以表示为L。则开始帧表示可以根据公式1计算，且0<n<N+1。
n＝N*I/L (公式1)
在步骤S630中，将动作背景图像的数量确定为动作图像数量，根据开始帧标识和动作图像数量可以确定指定动作对应的结束帧标识。其中，动作图像数量可以采用f表示，结束帧标识可以采用n-1+f表示。由于背景图像中可能包含默认背景图像，因此，在步骤S640中，对比结束帧标识和第一数量的大小，进而根据对比结果确定所有背景图像的图像排列顺序。
例如，可以通过下述步骤确定背景图像的图像排列顺序。
本公开的一个示例实施例中，如果对比结果为结束帧标识小于等于第一数量，则将开始帧标识之前的背景图像确定为默认背景图像；将开始帧标识与结束帧标识之间的背景图像确定为动作背景图像；将结束帧标识与第一数量标识之间的背景图像确定为默认背景图像。
由于背景图像包括默认背景图像和动作背景图像两部分，当对比结果为结束帧标识小于等于第一数量时，可以将用户没有设置指定动作的那一部分文字数据对应的背景图像配置为默认背景图像，而将对应指定动作的文字数据的背景图像配置为对应的动作背景图像。
参考图7，图7示意性示出了根据本公开的一个实施例的确定图像排列顺序的流程图。在步骤S710中，将开始帧标识之前的文字部分对应的背景图像确定为默认背景图像。由于从开始帧标识开始，文字数据具有对应的指定动作，在步骤S720中，可以将从开始帧标识开始到结束帧标识之间的文字部分的背景图像确定为动作背景图像。结束帧标识之后的文字部分没有对应的指定动作，在步骤S730中，可以将结束帧标识与第一数量标识之间的背景图像确定为默认背景图像。即，当n-1+f<＝N时，将N个背景图像的前n-1帧的背景图像配置为默认背景图像；将第n到n-1+f帧之间的背景图像配置为指定动作对应的动作背景图像；将第n+f到N帧之间的背景图像配置为默认背景图像。
本公开的一个示例实施例中，如果动作数据中包括当前指定动作、前一指定动作和后一指定动作，则确定当前指定动作对应的当前开始帧标识和当前结束帧标识；将前一指定动作的结束帧标识与当前开始帧标识之间的背景图像确定为默认背景图像；将当前开始帧标识与当前结束帧标识之间的背景图像确定为动作背景图像；将当前结束帧标识与后一指定动作的开始帧标识之间的背景图像确定为默认背景图像。
其中，当前指定动作可以是当前处理的指定动作。前一指定动作可以是顺序处于当前指定动作之前的指定动作。后一指定动作可以是紧随于当前指定动作之后的一个指定动作。前一指定动作与当前指定动作之前没有其他的指定动作。当前指定动作与后一指定动作之间也没有其他的指定动作。当前开始帧标识可以是当前指定动作在背景图像中开始位置的标识。当前结束帧标识可以是当前指定动作在背景图像中结束位置的标识。前一指定动作的结束帧标识可以是前一指定动作在背景图像中结束位置的标识。后一指定动作的开始帧标识可以是后一指定动作在背景图像中开始位置的标识。
本公开以动作数据中包含三个指定动作为例进行说明。参考图8，图8示意性示出了根据本公开的另一实施例的确定图像排列顺序的流程图。在步骤S810中，确定当前指定动作对应的当前开始帧标识和当前结束帧标识。当对比结果为结束帧标识小于等于第一数量，且动作数据中包括当前指定动作、前一指定动作和后一指定动作时，在步骤S820中，将前一指定动作的结束帧标识与当前开始帧标识之间的背景图像确定为默认背景图像。在步骤S830中，将当前开始帧标识与当前结束帧标识之间的背景图像确定为动作背景图像。在步骤S840中，将当前结束帧标识与后一指定动作的开始帧标识之间的背景图像确定为默认背景图像。前一指定动作的开始帧标识与前一指定动作的结束帧标识之间的背景图像为前一指定动作对应的动作背景图像。后一指定动作的开始帧标识与后一指定动作的结束帧标识之间的背景图像为后一指定动作对应的动作背景图像。
另外，如果前一指定动作的开始帧标识之前包含文字数据，则将这部分文字数据的背景图像配置为默认背景图像；同样地，如果后一指定动作的结束帧标识之后包还含文字数据，则将这部分文字数据的背景图像配置为默认背景图像。
本领域技术人员容易理解的是，当对比结果为结束帧标识小于等于第一数量，且动作数据中包含其他数量(如2、4、5等)个指定动作时，背景图像的配置方式与上述方式类似，本公开对此不再进行赘述。
本公开的一个示例实施例中，如果对比结果为结束帧标识大于第一数量，则将开始帧标识之前的背景图像配置为默认背景图像；根据第一数量与开始帧标识确定筛选帧数量；根据筛选帧数量从多个动作背景图像中确定筛选动作图像集；将开始帧标识与第一数量标识之间的背景图像配置为筛选动作图像集。
其中，筛选帧数量可以从指定动作对应的动作背景图像中选取一部分动作背景图像在虚拟视频中进行播放的图像数量。筛选动作图像集可以是从指定动作对应的全部动作背景图像中选取出的那一部分动作背景图像。筛选动作图像集可以包括一个图像或多个图像。
参考图9，图9示意性示出了根据本公开的又一实施例的确定图像排列顺序的流程图。当对比结果为结束帧标识大于第一数量时，在步骤S910中，可以将用户没有设置指定动作的那一部分文字数据对应的背景图像配置为默认背景图像，将对应指定动作的文字数据的背景图像配置为对应的动作背景图像。然而，当结束帧标识大于第一数量时，如果按照图像顺序播放指定动作对应的全部动作背景图像，则指定动作的结束帧将超过第一数量，可能出现虚拟对象的语音播报已经结束，而虚拟对象还在继续相应动作的情况，因此，可以从指定动作的动作背景图像中选取一部分动作背景图像进行播放。
对于默认背景图像，由于开始帧标识之前的文字数据不具有对应的指定动作，因此，可以将开始帧标识之前的文字部分对应的背景图像配置为默认背景图像，即将前n-1帧的背景图像配置为默认背景图像。在步骤S920中，根据第一数量与开始帧标识确定筛选帧数量，以文字数据对应一个指定动作为例，开始帧标识与第一数量标识之间可以播放N-(n-1)帧动作背景图像，因此，可以将筛选帧数量确定为N-(n-1)。在步骤S930中，根据筛选帧数量从多个动作背景图像中确定筛选动作图像集。例如，根据筛选帧数量可以从指定动作的动作背景图像中选取出N-(n-1)个动作背景图像，作为筛选动作图像集。在确定出筛选动作图像集之后，在步骤S940中，可以将开始帧标识与第一数量标识之间的背景图像配置为筛选动作图像集。
本公开的一个示例实施例中，从多个动作背景图像中依次选取筛选帧数量个动作背景图像作为筛选动作图像集；或从多个动作背景图像中随机选取筛选帧数量个动作背景图像作为筛选动作图像集。
其中，依次选取可以是按照动作背景图像的顺序选取出筛选动作图像集的方式。随机选取可以是从动作背景图像中随机选取出筛选动作图像集的方式。
具体的，从多个动作背景图像中选取筛选动作图像集可以通过两种方式进行。在确定出筛选帧数量后，可以根据筛选帧数量从多个动作背景图像中依次选取筛选帧数量个动作背景图图像，作为筛选动作图像集。例如，从指定动作的动作背景图像中依次选取前N-(n-1)帧图像作为筛选动作图像集。另外，还可以从指定动作的动作背景图像中随机选取N-(n-1)帧图像作为筛选动作图像集；也可以按照一定的帧间隔从指定动作的动作背景图像中随机选取N-(n-1)帧图像作为筛选动作图像集。
本公开的一个示例实施例中，将与脸部图像匹配的背景图像确定为匹配背景图像；获取预先构建的图像融合模型；通过图像融合模型对脸部图像与匹配背景图像进行图像融合处理，以生成直播视频帧。
其中，图像融合模型可以是对虚拟对象的脸部图像和背景图像进行图像融合处理的模型。
具体的，在虚拟视频直播服务端420通过三维渲染模块422根据虚拟对象的表情数据渲染得到虚拟对象的脸部图像，以及根据文本数据、开始位置标识和动作标识得到背景图像后，可以确定出与每一个虚拟对象的脸部图像匹配的背景图像。获取预先构建的图像融合模型，图像融合模型可以是卷积神经网络(Convolutional Neural Networks，CNN)模型。将脸部图像和背景图像输入至图像融合模型中，可以由图像融合模型对脸部图像与背景图像进行图像融合处理，生成一张完整的视频输出图像，即直播视频帧。
参考图10，图10示意性示出了根据本公开的一个实施例的虚拟视频推流服务的实现框架图。在图10中，虚拟视频推流服务可以包括文本转语音模块、三维渲染模块和视频推流模块。
直播客户端向虚拟视频直播服务端发送文本数据和动作数据，虚拟视频直播服务端可以接收并解析文本数据和动作数据，确定出文本数据的文本长度和动作数据中指定动作的动作标识以及指定动作在文本数据中的开始位置标识。
虚拟视频直播服务端根据文本数据确定出待转化文本后，文本转语音模块可以根据待转化文本生成对应的音频数据和表情数据，将音频数据和表情数据打包为一个数据包，并将该数据包推送至三维渲染模块。具体的，文本转语音模块可以流式地获取待转化文本相对应的音频数据与表情数据，文本转语音模块每获取到一个包含音频数据与表情数据的数据包，就将该数据包推送给三维渲染模块。另外，虚拟视频直播服务端可以将包含文本长度、指定动作的动作标识和开始位置标识发送至三维渲染模块。
三维渲染模块接收到包含表情数据和音频数据的数据包时，可以提取其中的表情数据进行三维渲染获取一组对应脸部图像。三维渲染模块可以根据文本长度、指定动作的动作标识和开始位置标识确定出与文本数据对应的背景图像，背景图像中包含默认背景图像和动作背景图像，并对背景图像进行排序。虚拟视频直播服务端可以对每一个脸部图像以及与脸部图像匹配的背景图像进行图像融合处理，得到直播视频帧，并将直播视频帧和音频数据发送至视频推流模块。
视频推流模块每获取到一个三维渲染模块推送过来的数据包时，可以提取其中的音频数据与直播视频帧，通过快进动态图像专家组(Fast Forward Moving PictureExpert Group，FFMPEG)工具将音频数据、直播视频帧进行合成处理后生成直播视频流，并将直播视频流同步推送至直播客户端。并且，视频推流模块可以发送一个结束信号至客户端，结束本次视频推流服务，断开与直播客户端之间的通信连接。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种虚拟视频直播处理装置。该虚拟视频直播处理装置可以应用于一服务器或终端设备。参考图11所示，该虚拟视频直播处理装置1100可以包括数据获取模块1110、脸部图像确定模块1120、背景图像确定模块1130、图像融合模块1140以及直播视频合成模块1150。其中：
数据获取模块1110，用于获取文本数据和虚拟对象的动作数据；动作数据包括指定动作的动作标识以及指定动作在文本数据中的开始位置标识；脸部图像确定模块1120，用于根据文本数据生成虚拟对象的音频数据和表情数据，并根据表情数据生成虚拟对象的脸部图像；背景图像确定模块1130，用于根据开始位置标识和动作标识生成包含指定动作的背景图像序列；所述背景图像序列包括背景图像；图像融合模块1140，用于对脸部图像与背景图像进行图像融合处理，得到直播视频帧；直播视频合成模块1150，用于将直播视频帧与音频数据实时合成直播视频流。
在本公开的一种示例性实施例中，脸部图像确定模块包括：文本确定单元，用于根据文本数据确定对应的待转化文本；音频数据生成单元，用于对文本数据进行文本转语音处理，生成音频数据；表情数据生成单元，用于根据音频数据生成虚拟对象的表情数据。
在本公开的一种示例性实施例中，音频数据生成单元被配置为：将待转化文本转化为对应的目标词向量，对目标词向量进行编码处理和解码处理，以生成目标词向量的音频特征；对音频特征进行合成处理，以生成音频数据。
在本公开的一种示例性实施例中，表情数据生成单元被配置为：确定表情数据中包含的表情帧数，将表情帧数确定为第一数量；确定图像播放帧率，并根据第一数量和图像播放帧率确定表情数据的播放时长；播放时长与音频数据的音频时长相同。
在本公开的一种示例性实施例中，背景图像确定模块包括：默认图像获取单元，用于获取默认背景图像；动作图像获取单元，用于根据动作标识获取指定动作对应的动作背景图像；图像顺序确定单元，用于根据开始位置标识确定默认背景图像与动作背景图像的图像排列顺序；图像排列单元，用于根据图像排列顺序对多个背景图像进行排序，生成背景图像序列。
在本公开的一种示例性实施例中，动作图像获取单元被配置为：确定动作数据中包含的动作序列；动作序列包括一个或多个指定动作；根据动作标识从预设动作库中获取每个指定动作对应的动作背景图像。
在本公开的一种示例性实施例中，图像顺序确定单元还包括：文本长度确定子单元，用于确定文本数据的文本长度；开始标识确定子单元，用于获取第一数量，并根据文本长度、开始位置标识与第一数量确定指定动作在背景图像中的开始帧标识；结束标识确定子单元，用于将动作背景图像的数量确定为动作图像数量，根据开始帧标识和动作图像数量确定结束帧标识；顺序确定子单元，用于对比结束帧标识与第一数量的大小，以根据对比结果确定图像排列顺序。
在本公开的一种示例性实施例中，顺序确定子单元包括第一顺序确定子单元，第一顺序确定子单元被配置为：将开始帧标识之前的背景图像确定为默认背景图像；将开始帧标识与结束帧标识之间的背景图像确定为动作背景图像；将结束帧标识与第一数量标识之间的背景图像确定为默认背景图像。
在本公开的一种示例性实施例中，顺序确定子单元包括第二顺序确定子单元，第二顺序确定子单元被配置为：确定当前指定动作对应的当前开始帧标识和当前结束帧标识；将前一指定动作的结束帧标识与当前开始帧标识之间的背景图像确定为默认背景图像；将当前开始帧标识与当前结束帧标识之间的背景图像确定为动作背景图像；将当前结束帧标识与后一指定动作的开始帧标识之间的背景图像确定为默认背景图像。
在本公开的一种示例性实施例中，顺序确定子单元包括第三顺序确定子单元，第三顺序确定子单元被配置为：将开始帧标识之前的背景图像配置为默认背景图像；根据第一数量与开始帧标识确定筛选帧数量；根据筛选帧数量从多个动作背景图像中确定筛选动作图像集；将开始帧标识与第一数量标识之间的背景图像配置为筛选动作图像集。
在本公开的一种示例性实施例中，第三顺序确定子单元包括图像筛选子单元，所述图像筛选子单元被配置为：从多个动作背景图像中依次选取筛选帧数量个动作背景图像作为筛选动作图像集；或从多个动作背景图像中随机选取筛选帧数量个动作背景图像作为筛选动作图像集。
在本公开的一种示例性实施例中，图像融合模块被配置为：将与脸部图像匹配的背景图像确定为匹配背景图像；获取预先构建的图像融合模型；通过图像融合模型对脸部图像与匹配背景图像进行图像融合处理，以生成直播视频帧。
上述虚拟视频直播处理装置中各模块或单元的具体细节已经在对应的虚拟视频直播处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种虚拟视频直播处理方法，其特征在于，包括：
获取文本数据和虚拟对象的动作数据；所述动作数据包括指定动作的动作标识以及所述指定动作在所述文本数据中的开始位置标识；
根据所述文本数据生成所述虚拟对象的音频数据和表情数据，并根据所述表情数据生成所述虚拟对象的脸部图像；
根据所述开始位置标识和所述动作标识生成包含所述指定动作的背景图像序列；所述背景图像序列包括背景图像；
对所述脸部图像与所述背景图像进行图像融合处理，得到直播视频帧；
将所述直播视频帧与所述音频数据实时合成直播视频流。
2.根据权利要求1所述的方法，其特征在于，所述根据所述文本数据生成所述虚拟对象的音频数据和表情数据，包括：
根据所述文本数据确定对应的待转化文本；
对所述文本数据进行文本转语音处理，生成所述音频数据；
根据所述音频数据生成所述虚拟对象的表情数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述文本数据进行文本转语音处理，生成所述音频数据，包括：
将所述待转化文本转化为对应的目标词向量，对所述目标词向量进行编码处理和解码处理，以生成所述目标词向量的音频特征；
对所述音频特征进行合成处理，以生成所述音频数据。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定所述表情数据中包含的表情帧数，将所述表情帧数确定为第一数量；
确定图像播放帧率，并根据所述第一数量和所述图像播放帧率确定所述表情数据的播放时长；所述播放时长与所述音频数据的音频时长相同。
5.根据权利要求1所述的方法，其特征在于，所述根据所述开始位置标识和所述动作标识生成包含所述指定动作的背景图像序列，包括：
获取默认背景图像；
根据所述动作标识获取所述指定动作对应的动作背景图像；
根据所述开始位置标识确定所述默认背景图像与所述动作背景图像的图像排列顺序；
根据所述图像排列顺序对多个背景图像进行排序，生成所述背景图像序列。
6.根据权利要求5所述的方法，其特征在于，所述根据所述动作标识获取所述指定动作对应的动作背景图像，包括：
确定所述动作数据中包含的动作序列；所述动作序列包括一个或多个指定动作；
根据所述动作标识从预设动作库中获取每个所述指定动作对应的动作背景图像。
7.根据权利要求5所述的方法，其特征在于，所述根据所述开始位置标识确定所述默认背景图像与所述动作背景图像的图像排列顺序，包括：
确定所述文本数据的文本长度；
获取第一数量，并根据所述文本长度、所述开始位置标识与所述第一数量确定所述指定动作在所述背景图像中的开始帧标识；
将所述动作背景图像的数量确定为动作图像数量，根据所述开始帧标识和所述动作图像数量确定结束帧标识；
对比所述结束帧标识与所述第一数量的大小，以根据对比结果确定所述图像排列顺序。
8.根据权利要求7所述的方法，其特征在于，所述对比结果包括所述结束帧标识小于等于所述第一数量，所述根据对比结果确定所述图像排列顺序，包括：
将所述开始帧标识之前的背景图像确定为所述默认背景图像；
将所述开始帧标识与所述结束帧标识之间的背景图像确定为所述动作背景图像；
将所述结束帧标识与第一数量标识之间的背景图像确定为所述默认背景图像。
9.根据权利要求8所述的方法，其特征在于，所述动作数据中包括当前指定动作、前一指定动作和后一指定动作，所述根据对比结果确定所述图像排列顺序，还包括：
确定所述当前指定动作对应的当前开始帧标识和当前结束帧标识；
将所述前一指定动作的结束帧标识与所述当前开始帧标识之间的背景图像确定为所述默认背景图像；
将所述当前开始帧标识与所述当前结束帧标识之间的背景图像确定为所述动作背景图像；
将所述当前结束帧标识与所述后一指定动作的开始帧标识之间的背景图像确定为所述默认背景图像。
10.根据权利要求7所述的方法，其特征在于，所述对比结果包括所述结束帧标识大于所述第一数量，所述根据对比结果确定所述图像排列顺序，包括：
将所述开始帧标识之前的背景图像配置为所述默认背景图像；
根据所述第一数量与所述开始帧标识确定筛选帧数量；
根据所述筛选帧数量从多个所述动作背景图像中确定筛选动作图像集；
将所述开始帧标识与第一数量标识之间的背景图像配置为所述筛选动作图像集。
11.根据权利要求10所述的方法，其特征在于，所述根据所述筛选帧数量从多个所述动作背景图像中确定筛选动作图像集，包括：
从多个所述动作背景图像中依次选取所述筛选帧数量个动作背景图像作为所述筛选动作图像集；或
从多个所述动作背景图像中随机选取所述筛选帧数量个动作背景图像作为所述筛选动作图像集。
12.根据权利要求1所述的方法，其特征在于，所述对所述脸部图像与所述背景图像进行图像融合处理，得到直播视频帧，包括：
将与所述脸部图像匹配的背景图像确定为匹配背景图像；
获取预先构建的图像融合模型；
通过所述图像融合模型对所述脸部图像与所述匹配背景图像进行图像融合处理，以生成所述直播视频帧。
13.一种虚拟视频直播处理装置，其特征在于，包括：
数据获取模块，用于获取文本数据和虚拟对象的动作数据；所述动作数据包括指定动作的动作标识以及所述指定动作在所述文本数据中的开始位置标识；
脸部图像确定模块，用于根据所述文本数据生成所述虚拟对象的音频数据和表情数据，并根据所述表情数据生成所述虚拟对象的脸部图像；
背景图像确定模块，用于根据所述开始位置标识和所述动作标识生成包含所述指定动作的背景图像；
图像融合模块，用于对所述脸部图像与所述背景图像进行图像融合处理，得到直播视频帧；
直播视频合成模块，用于将所述直播视频帧与所述音频数据实时合成直播视频流。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至12中任意一项所述的虚拟视频直播处理方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任意一项所述的虚拟视频直播处理方法。
CN202110169456.0A 2021-02-07 2021-02-07 虚拟视频直播处理方法及装置、存储介质、电子设备 Pending CN113570686A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110169456.0A CN113570686A (zh) 2021-02-07 2021-02-07 虚拟视频直播处理方法及装置、存储介质、电子设备
PCT/CN2022/073997 WO2022166709A1 (zh) 2021-02-07 2022-01-26 虚拟视频直播处理方法及装置、存储介质、电子设备
US17/974,771 US20230039789A1 (en) 2021-02-07 2022-10-27 Method and apparatus for processing virtual video livestreaming, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169456.0A CN113570686A (zh) 2021-02-07 2021-02-07 虚拟视频直播处理方法及装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN113570686A true CN113570686A (zh) 2021-10-29

Family

ID=78161148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169456.0A Pending CN113570686A (zh) 2021-02-07 2021-02-07 虚拟视频直播处理方法及装置、存储介质、电子设备

Country Status (3)

Country Link
US (1) US20230039789A1 (zh)
CN (1) CN113570686A (zh)
WO (1) WO2022166709A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187405A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 确定虚拟形象的方法及装置、设备、介质和产品
CN114401438A (zh) * 2021-12-31 2022-04-26 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN114501060A (zh) * 2022-01-24 2022-05-13 广州繁星互娱信息科技有限公司 直播背景的切换方法和装置、存储介质及电子设备
WO2022166709A1 (zh) * 2021-02-07 2022-08-11 腾讯科技（深圳）有限公司 虚拟视频直播处理方法及装置、存储介质、电子设备
CN114979682A (zh) * 2022-04-19 2022-08-30 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN115209180A (zh) * 2022-06-02 2022-10-18 阿里巴巴（中国）有限公司 视频生成方法以及装置
CN115426536A (zh) * 2022-11-02 2022-12-02 北京优幕科技有限责任公司 音视频生成方法及装置
CN116527956A (zh) * 2023-07-03 2023-08-01 世优（北京）科技有限公司 基于目标事件触发的虚拟对象直播方法、装置及系统
CN116708899A (zh) * 2022-06-30 2023-09-05 北京生数科技有限公司 应用于合成虚拟形象的视频处理方法、装置及存储介质
CN117255231A (zh) * 2023-11-10 2023-12-19 腾讯科技（深圳）有限公司 一种虚拟视频合成方法、装置及相关产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220385748A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Conveying motion data via media packets

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10283163B1 (en) * 2018-02-16 2019-05-07 Wipro Limited Method and system for generating video content based on user data
CN109637518B (zh) * 2018-11-07 2022-05-24 北京搜狗科技发展有限公司 虚拟主播实现方法及装置
CN110688911B (zh) * 2019-09-05 2021-04-02 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN111010589B (zh) * 2019-12-19 2022-02-25 腾讯科技（深圳）有限公司 基于人工智能的直播方法、装置、设备及存储介质
CN112333179B (zh) * 2020-10-30 2023-11-10 腾讯科技（深圳）有限公司 虚拟视频的直播方法、装置、设备及可读存储介质
CN113570686A (zh) * 2021-02-07 2021-10-29 腾讯科技（深圳）有限公司 虚拟视频直播处理方法及装置、存储介质、电子设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166709A1 (zh) * 2021-02-07 2022-08-11 腾讯科技（深圳）有限公司 虚拟视频直播处理方法及装置、存储介质、电子设备
CN114187405A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 确定虚拟形象的方法及装置、设备、介质和产品
WO2023124933A1 (zh) * 2021-12-31 2023-07-06 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN114401438A (zh) * 2021-12-31 2022-04-26 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN114401438B (zh) * 2021-12-31 2022-12-09 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN114501060A (zh) * 2022-01-24 2022-05-13 广州繁星互娱信息科技有限公司 直播背景的切换方法和装置、存储介质及电子设备
CN114979682A (zh) * 2022-04-19 2022-08-30 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN114979682B (zh) * 2022-04-19 2023-10-13 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN115209180A (zh) * 2022-06-02 2022-10-18 阿里巴巴（中国）有限公司 视频生成方法以及装置
CN116708899A (zh) * 2022-06-30 2023-09-05 北京生数科技有限公司 应用于合成虚拟形象的视频处理方法、装置及存储介质
CN116708899B (zh) * 2022-06-30 2024-01-23 北京生数科技有限公司 应用于合成虚拟形象的视频处理方法、装置及存储介质
CN115426536B (zh) * 2022-11-02 2023-01-20 北京优幕科技有限责任公司 音视频生成方法及装置
CN115426536A (zh) * 2022-11-02 2022-12-02 北京优幕科技有限责任公司 音视频生成方法及装置
CN116527956A (zh) * 2023-07-03 2023-08-01 世优（北京）科技有限公司 基于目标事件触发的虚拟对象直播方法、装置及系统
CN116527956B (zh) * 2023-07-03 2023-08-22 世优（北京）科技有限公司 基于目标事件触发的虚拟对象直播方法、装置及系统
CN117255231A (zh) * 2023-11-10 2023-12-19 腾讯科技（深圳）有限公司 一种虚拟视频合成方法、装置及相关产品
CN117255231B (zh) * 2023-11-10 2024-03-22 腾讯科技（深圳）有限公司 一种虚拟视频合成方法、装置及相关产品

Also Published As

Publication number Publication date
WO2022166709A1 (zh) 2022-08-11
US20230039789A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
CN113570686A (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
CN112543342B (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
CN111010586B (zh) 基于人工智能的直播方法、装置、设备及存储介质
CN110971964B (zh) 智能解说生成、播放方法、装置、设备及存储介质
CN111010589B (zh) 基于人工智能的直播方法、装置、设备及存储介质
CN107979763B (zh) 一种虚拟现实设备生成视频、播放方法、装置及系统
WO2023011221A1 (zh) 混合变形值的输出方法及存储介质、电子装置
CN112333179A (zh) 虚拟视频的直播方法、装置、设备及可读存储介质
CN110880198A (zh) 动画生成方法和装置
CN112738557A (zh) 视频处理方法及装置
KR20230098068A (ko) 동영상 처리 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
CN113395569B (zh) 视频生成方法及装置
CN113282791A (zh) 视频生成方法和装置
CN115220682A (zh) 一种音频驱动虚拟人像的方法、装置及电子设备
CN113704390A (zh) 虚拟对象的交互方法、装置、计算机可读介质及电子设备
CN112785669A (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN116756285A (zh) 虚拟机器人的互动方法、设备和存储介质
CN117292022A (zh) 基于虚拟对象的视频生成方法、装置及电子设备
CN116168108A (zh) 文本生成图像的方法及装置、存储介质及电子设备
CN115690277A (zh) 视频生成方法、系统、装置、电子设备和计算机存储介质
CN116389853A (zh) 视频生成方法
CN115767206A (zh) 基于扩展现实的数据处理方法以及系统
CN115767195A (zh) 直播方法及装置、存储介质及电子设备
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
CN112562733A (zh) 媒体数据处理方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052855

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination