CN113365085B - 一种直播视频生成方法及装置 - Google Patents

Abstract

本发明实施例提供了一种直播视频生成方法及装置，涉及视频处理技术领域。包括：实时获取实体对象的第一特征数据；实体对象包括：躯干、大臂、肘关节以及小臂，第一特征数据用于表征小臂的多个部位围绕轴线方向的转动角度，小臂的多个部位围绕轴线方向的转动角度与小臂的多个部位到实体对象的肘关节的距离正相关；基于实时获取的第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，小臂蒙皮的多个部位围绕轴线方向的转动角度与小臂蒙皮的多个部位到虚拟模型的肘关节的距离正相关；根据虚拟模型进行直播视频的图像帧的生成。本发明实施例用于解决现有虚拟直播方式生成的直播视频中虚拟模型的动作不自然的问题。

Description

一种直播视频生成方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种直播视频生成方法及装置。

背景技术

近年来，随着流媒体技术的进步以及网络带宽的飞速增长，直播业务日趋火热，直播平台也已成为时下最为热门的娱乐媒体之一。

随着直播形式的丰富，现有技术中提出了虚拟直播的直播方式。虚拟直播可以通过3D建模和实时动作捕捉将实体对象的动作实时同步到虚拟模型上，从而使主播侧用户可以通过虚拟模型的形象进行直播，极大提升了直播的灵活性。现有技术中将实体对象的动作同步到虚拟模型上的方式为：使用简单重定向技术将实体对象的动作迁移到虚拟模型上。然而，这种动作同步方式仅能够使虚拟模型在整体姿势与实体对象同步，无法对动作细节也进行同步，从而导致直播视频中虚拟模型的动作很不自然。

发明内容

有鉴于此，本发明提供了一种直播视频生成方法及装置，用于解决现有虚拟直播方式生成的直播视频中虚拟模型的动作不自然的问题。

为了实现上述目的，本发明实施例提供技术方案如下：

第一方面，本发明的实施例提供一种直播视频生成方法，包括：

实时获取实体对象的第一特征数据；所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征所述小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关；

基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关；

根据所述虚拟模型进行直播视频的图像帧的生成。

作为本发明实施例一种可选的实施方式，所述虚拟模型的小臂包括：主骨骼、套接于所述主骨骼上的多段附加骨骼以及覆盖于所述多段附加骨骼上的所述小臂蒙皮；

所述基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，包括：

基于实时获取的所述第一特征数据控制所述多段附加骨骼中的至少一段附加骨骼围绕所述主骨骼转动，以驱动所述小臂蒙皮围绕轴线方向转动。

作为本发明实施例一种可选的实施方式，所述根据所述虚拟模型进行直播视频的图像帧的生成，包括：

确定所述图像帧对应的镜头方位，所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系；

根据所述图像帧对应的镜头方位和所述虚拟模型，进行所述图像帧的生成。

作为本发明实施例一种可选的实施方式，所述确定所述图像帧对应的镜头方位，包括：

显示镜头控件，所述镜头控件用于进行镜头方位的选择；

响应于用户对所述镜头控件的操作，确定所述图像帧对应的镜头方位。

作为本发明实施例一种可选的实施方式，所述确定所述图像帧对应的镜头方位，包括：

基于所述第一特征数据和预设规则，确定所述图像帧对应的镜头方位。

作为本发明实施例一种可选的实施方式，所述方法还包括：

实时获取所述实体对象的第二特征数据；所述第二特征数据用于表征所述实体对象的面部表情；

基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。

作为本发明实施例一种可选的实施方式，所述基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情，包括：

将所述第二特征数据输入表情算法模型，并获取所述表情算法模型输出的表情驱动参数；其中，所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型，所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数；

基于所述表情驱动参数对所述虚拟模型的面部进行驱动，生成所述虚拟模型的面部表情。

作为本发明实施例一种可选的实施方式，所述实时获取实体对象的第一特征数据，包括：

实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息；

根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。

作为本发明实施例一种可选的实施方式，所述实时获取所述实体对象的第二特征数据，包括：

通过图像采集设备对所述实体对象进行图像采集，实时获取所述实体对象的面部图像；

基于实时获取的所述实体对象的面部图像，提取所述实体对象的第二特征数据。

作为本发明实施例一种可选的实施方式，所述方法还包括：

对所述实体对象所处空间的环境音进行录制，获取环境音频数据；

根据所述环境音频数据生成所述直播视频的音频数据。

第二方面，本发明实施例提供一种直播视频生成装置，包括：

获取单元，用于实时获取实体对象的第一特征数据；所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征所述小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关；

处理单元，用于基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关；

生成单元，用于根据所述虚拟模型进行直播视频的图像帧的生成。

作为本发明实施例一种可选的实施方式，所述虚拟模型的小臂包括：主骨骼、套接于所述主骨骼上的多段附加骨骼以及覆盖于所述多段附加骨骼上的所述小臂蒙皮；

所述处理单元，具体用于基于实时获取的所述第一特征数据控制所述多段附加骨骼中的至少一段附加骨骼围绕所述主骨骼转动，以驱动所述小臂蒙皮围绕轴线方向转动。

作为本发明实施例一种可选的实施方式，所述装置还包括：

确定单元，用于确定所述图像帧对应的镜头方位，所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系；

所述生成单元，具体用于根据所述图像帧对应的镜头方位和所述虚拟模型，进行所述图像帧的生成。

作为本发明实施例一种可选的实施方式，所述确定单元，具体用于显示镜头控件，响应于用户对所述镜头控件的操作，确定所述图像帧对应的镜头方位；

其中，所述镜头控件用于进行镜头方位的选择；

作为本发明实施例一种可选的实施方式，所述确定单元，具体用于基于所述第一特征数据和预设规则，确定所述图像帧对应的镜头方位。

作为本发明实施例一种可选的实施方式，

所述获取单元，还用于实时获取所述实体对象的第二特征数据；所述第二特征数据用于表征所述实体对象的面部表情；

所述处理单元，还用于基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。

作为本发明实施例一种可选的实施方式，

所述处理单元，具体用于将所述第二特征数据输入表情算法模型，并获取所述表情算法模型输出的表情驱动参数；基于所述表情驱动参数对所述虚拟模型的面部进行驱动，生成所述虚拟模型的面部表情；

其中，所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型，所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数。

作为本发明实施例一种可选的实施方式，所述获取单元，具体用于实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息；根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。

作为本发明实施例一种可选的实施方式，所述获取单元，具体用于通过图像采集设备对所述实体对象进行图像采集，实时获取所述实体对象的面部图像；基于实时获取的所述实体对象的面部图像，提取所述实体对象的第二特征数据。

作为本发明实施例一种可选的实施方式，所述获取单元，还用于对所述实体对象所处空间的环境音进行录制，获取环境音频数据；

所述生成单元，还用于根据所述环境音频数据生成所述直播视频的音频数据。

第三方面，本发明实施例提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行第一方面或第一方面任一种可选的实施方式所述的直播视频生成方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面或第一方面任一种可选的实施方式所述的直播视频生成方法。

第五方面，本发明实施例提供一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现实现第一方面或第一方面任一种可选的实施方式所述的直播视频生成方法。

本发明实施例提供的直播视频生成方法首先获取用于表征实体对象的小臂的多个部位围绕轴线方向的转动角度的第一特征数据，然后基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，最后根据所述虚拟模型进行直播视频的图像帧的生成。由于本发明实施例中获取的实体对象的小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关，在基于第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度时，也可以使虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关，因此本发明实施例可以将实体对象的小臂的动作更加细致的同步到虚拟模型上，进而使直播视频中虚拟模型的动作更加自然。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的直播视频生成方法的应用场景示意图；

图2为本发明实施例提供的直播视频生成方法的步骤流程图之一；

图3为本发明实施例提供的虚拟模型的小臂结构示意图；

图4为本发明实施例提供的直播视频生成方法的步骤流程图之二；

图5为本发明实施例提供的直播视频生成装置的结构示意图之一；

图6为本发明实施例提供的直播视频生成装置的结构示意图之二；

图7为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。

本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别同步的对象，而不是用于描述对象的特定顺序。例如，第一对应关系和第二对应关系是用于区别不同的对应关系，而不是用于描述对应关系的特定顺序。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本文中术语“和/或”，用于描述关联对象的关联关系，具体表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下首先对本发明实施例提供的直播视频生成方法所应用的场景架构进行说明。示例性的，参照图1所示，本发明实施例提供的直播视频生成方法所应用的场景架构包括：追踪设备11、深度图像采集设备12、音频录制设备13、设置于实体对象上的跟踪标记14、直播服务器15以及终端设备16。追踪设备11、图像采集设备12、音频录制设备13以及终端设备16均与直播服务器15互联。追踪设备11用于实时获取设置于实体对象上的跟踪标记14的位置信息，并将跟踪标记14的位置信息发送至直播服务器15。深度图像采集设备12用于实时获取实体对象的面部的深度图像，并将实体对象的面部的深度图像发送至直播服务器15。音频录制设备13用于录制实体对象所处空间的环境音，并将录制的环境音发送至直播服务器15。直播服务器15用于根据追踪设备11发送的跟踪标记14的位置信息、深度图像采集设备12发送的实体对象的面部深度图像以及音频录制设备13发送的音频数据生成直播视频，并将生成的直播视频发送至终端设备16。终端设备16用于在直播界面播放直播服务器15发送的直播视频。

其中，终端设备16可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、智能手表、智能手环等终端设备，或者该终端设备还可以为其他类型的终端设备。直播服务器15可以为任意形式的服务器，本发明实施例对追踪设备11、深度图像采集设备12以及音频录制设备13的类型均不作限定，以能够实现对应功能为准。

需要说明的是，图1中以追踪设备11、深度图像采集设备12、音频录制设备13为相互独立的设备为例示出，但本发明实施例并不限定于此，在上述实施例的基础上，本发明实施例中的追踪设备11、深度图像采集设备12、音频录制设备13中的两个或全部还可以集成与同一实体设备之中。例如：深度图像采集设备12和音频录制设备13还可以集成于同一深度摄像机中。

在一种实现方式中，本发明实施例提供了一种直播视频生成方法，参照图2所示，该直播视频生成方法包括如下步骤S201至S203：

S201、实时获取实体对象的第一特征数据。

其中，所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂。所述第一特征数据用于表征所述小臂的多个部位围绕轴线方向的转动角度。所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关。

示例性的，本发明实施例中的实体对象可以为人、灵长类动物、机器人等，本发明实施例对此不做限定。

本发明实施中的所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关是指：对于小臂上的任意两个部位，若相比于小臂上的第一部位，小臂上的第二部位距离肘关节的距离越较近，则第二部位围绕轴线方向的转动角度小于或等于第一部位围绕轴线方向的转动角度，而若相比于小臂上的第一部位，小臂上的第二部位距离肘关节的距离越较远，则第二部位围绕轴线方向的转动角度大于或等于第一部位围绕轴线方向的转动角度。

S202、基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度。

其中，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关。

示例性的，可以将第一特征数据通过重定向的方式迁移到虚拟模型的小臂骨骼上，并通过虚拟模型的小臂骨骼驱动虚拟模型的小臂蒙皮转动，从而实现基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度。

作为本发明实施例一种可选的实施方式，参照图3所示，所述虚拟模型的小臂包括：主骨骼31、套接于所述主骨骼31上的多段附加骨骼32以及所述覆盖于所述多段附加骨骼32上的所述小臂蒙皮33。

上述步骤S202(基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度)包括：

基于实时获取的所述第一特征数据控制所述多段附加骨骼32中的至少一段附加骨骼32围绕所述主骨骼31转动，以驱动所述小臂蒙皮33围绕轴线方向转动。

其中，所述多段附加骨骼围绕所述主骨骼的转动角度与多段附加骨骼到所述虚拟模型的肘关节的距离正相关。

S203、根据所述虚拟模型进行直播视频的图像帧的生成。

本发明实施例提供的直播视频生成方法首先获取用于表征实体对象的小臂的多个部位围绕轴线方向的转动角度的第一特征数据，然后基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，最后根据所述虚拟模型进行直播视频的图像帧的生成。由于本发明实施例中获取的实体对象的小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关，在基于第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度时，也可以使虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关，因此本发明实施例可以将实体对象的小臂的动作更加细致的同步到虚拟模型上，进而使直播视频中虚拟模型的动作更加自然。

作为对上述实施例的扩展和细化，本发明实施例提供了另一种直播视频生成方法，参照图4所示，该直播视频生成方法包括如下步骤S401至S405：

S401、实时获取实体对象的第一特征数据和第二特征数据。

其中，所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征所述小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关。所述第二特征数据用于表征所述实体对象的面部表情。

可选的，上述步骤S401中实时获取实体对象的第一特征数据的实现方式可以包括如下步骤1和步骤2：

步骤1、实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息。

步骤2、根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。

可选的，上述步骤S401中实时获取实体对象的第二特征数据的实现方式可以包括如下步骤a和步骤b：

步骤a、通过图像采集设备对所述实体对象进行图像采集，实时获取所述实体对象的面部图像。

步骤b、基于实时获取的所述实体对象的面部图像，提取所述实体对象的第二特征数据。

S402、基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度。

其中，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关。

S403、基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。

作为本发明实施例一种可选的实施方式，上述步骤S403(基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情)的一种实现方式包括如下步骤Ⅰ和步骤Ⅱ：

步骤Ⅰ、将所述第二特征数据输入表情算法模型，并获取所述表情算法模型输出的表情驱动参数。

其中，所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型，所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数。

示例性的，预设算法模型可以为深度学习神经网络模型、卷积神经网络模型等机器学习算法模型，本发明实施例对预设算法模型的具体类型不做限定。

步骤Ⅱ、基于所述表情驱动参数对所述虚拟模型的面部进行驱动，生成所述虚拟模型的面部表情。

S404、确定图像帧对应的镜头方位。

其中，所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系。

需要说明的是：图像帧对应的镜头方位可以为一个，也可以为多个。当图像帧对应的镜头方位为多个时，图像帧可以由该多个镜头方位对应的图像拼接而成。

作为本发明实施例一种可选的实施例方式，上述步骤S404(确定图像帧对应的镜头方位)一种实现方式为：

显示镜头控件，所述镜头控件用于进行镜头方位的选择；

响应于用户对所述镜头控件的操作，确定所述图像帧对应的镜头方位。

具体的，上述实施例中的用户可以为主播侧用户，也可以为观众侧用户。主播侧用户和/或观众侧用户可以通过操作镜头控件选择的待生成图像帧对应的镜头方位。

上述实施例中用户可以对直播视频的各图像帧对应的镜头方位进行选择，因此用户可以根据需求控制直播视频呈现为轨道镜头、手持镜头、航拍镜头等镜头所拍摄视频，进而丰富用户选择，提升用户体验。

作为本发明实施例一种可选的实施例方式，上述步骤S404(确定图像帧对应的镜头方位)另一种实现方式为：

基于所述第一特征数据和预设规则，确定所述图像帧对应的镜头方位。

即，也可以根据第一特征数据和预设规则自动调整直播视频的各个图像帧对应的镜头方位。

示例性的，所述预设规则可以为：当实体对象的小臂的指定部位围绕轴线方向的转动角度为预设角度时，将确定图像帧对应的镜头方位确定为预设角度对应的镜头方位。例如：示例性的，可以根据第一特征数据将待生成图像帧对应的镜头方位切换为面部特写镜头，也可以根据第一特征数据将待生成图像帧对应的镜头方位切换全景镜头。

S405、根据所述图像帧对应的镜头方位和所述虚拟模型，进行所述图像帧的生成。

需要说明的是，上述实施例中的直播视频生成方法是实时进行的。因此，每获取一个图像帧对应的第一特征数据、第二特征数据以及镜头方位后，立即根据该图像帧对应的第一特征数据、第二特征数据以及镜头方位生成该图像帧，并在生成该图像帧同时获取下一个图像帧对应的第一特征数据、第二特征数据以及镜头方位。

本发明实施例提供的直播视频生成方法首先获取用于表征实体对象的小臂的多个部位围绕轴线方向的转动角度的第一特征数据，然后基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，最后根据所述虚拟模型进行直播视频的图像帧的生成。由于本发明实施例中获取的实体对象的小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关，在基于第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度时，也可以使虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关，因此本发明实施例可以将实体对象的小臂的动作更加细致的同步到虚拟模型上，进而使直播视频中虚拟模型的动作更加自然。

作为本发明实施例一种可选的实施方式，在上述任一实施例的基础上，本发明实施例提供的直播视频生成方法还包括：

对所述实体对象所处空间的环境音进行录制，获取环境音频数据；

根据所述环境音频数据生成所述直播视频的音频数据。

可选的，根据所述环境音频数据生成所述直播视频的音频数据可以为：将所述环境音频数据作为所述直播视频的音频数据。

可选的，根据所述环境音频数据生成所述直播视频的音频数据具体可以为：融合所述环境音频数据和预设音频数据生成所述直播视频的音频数据。例如：对所述实体对象所处空间的环境音进行录制获取的环境音频数据为清唱音频，则可以融合获取的环境音频数据和伴奏音乐生成所述直播视频的音频数据。

基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种直播视频生成装置，该直播视频生成装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的直播视频生成装置能够对应实现前述方法实施例中的全部内容。

图5为本发明实施例提供的直播视频生成装置的结构示意图，如图5所示，本实施例提供的直播视频生成装置500包括：

获取单元51，用于实时获取实体对象的第一特征数据；所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征所述小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关；

处理单元52，用于基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关；

生成单元53，用于根据所述虚拟模型进行直播视频的图像帧的生成。

作为本发明实施例一种可选的实施方式，所述虚拟模型的小臂包括：主骨骼、套接于所述主骨骼上的多段附加骨骼以及覆盖于所述多段附加骨骼上的所述小臂蒙皮；

所述处理单元52，具体用于基于实时获取的所述第一特征数据控制所述多段附加骨骼中的至少一段附加骨骼围绕所述主骨骼转动，以驱动所述小臂蒙皮围绕轴线方向转动。

作为本发明实施例一种可选的实施方式，参照图6所示，所述直播视频生成装置500还包括：

确定单元54，用于确定所述图像帧对应的镜头方位，所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系；

所述生成单元53，具体用于根据所述图像帧对应的镜头方位和所述虚拟模型，进行所述图像帧的生成。

作为本发明实施例一种可选的实施方式，所述确定单元54，具体用于显示镜头控件，响应于用户对所述镜头控件的操作，确定所述图像帧对应的镜头方位；

其中，所述镜头控件用于进行镜头方位的选择；

作为本发明实施例一种可选的实施方式，所述确定单元54，具体用于基于所述第一特征数据和预设规则，确定所述图像帧对应的镜头方位。

作为本发明实施例一种可选的实施方式，

所述获取单元51，还用于实时获取所述实体对象的第二特征数据；所述第二特征数据用于表征所述实体对象的面部表情；

所述处理单元52，还用于基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。

作为本发明实施例一种可选的实施方式，

所述处理单元52，具体用于将所述第二特征数据输入表情算法模型，并获取所述表情算法模型输出的表情驱动参数；基于所述表情驱动参数对所述虚拟模型的面部进行驱动，生成所述虚拟模型的面部表情；

其中，所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型，所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数。

作为本发明实施例一种可选的实施方式，所述获取单元51，具体用于实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息；根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。

作为本发明实施例一种可选的实施方式，所述获取单元51，具体用于通过图像采集设备对所述实体对象进行图像采集，实时获取所述实体对象的面部图像；基于实时获取的所述实体对象的面部图像，提取所述实体对象的第二特征数据。

作为本发明实施例一种可选的实施方式，所述获取单元51，还用于对所述实体对象所处空间的环境音进行录制，获取环境音频数据；

所述生成单元53，还用于根据所述环境音频数据生成所述直播视频的音频数据。

本实施例提供的直播视频生成装置可以执行上述方法实施例提供的直播视频生成方法，其实现原理与技术效果类似，此处不再赘述。

基于同一发明构思，本发明实施例还提供了一种电子设备。图7为本发明实施例提供的电子设备的结构示意图，如图7所示，本实施例提供的电子设备包括：存储器71和处理器72，所述存储器71用于存储计算机程序；所述处理器72用于在调用计算机程序时，使得所述计算设备执行上述方法实施例提供的直播视频生成方法。

具体的，存储器71可用于存储软件程序以及各种数据。存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器72是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各部分，通过运行或执行存储在存储器71中的软件程序和/或模块，以及调用存储在存储器71中的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器72可包括一个或多个处理单元。

此外，应当理解的是，本发明实施例提供的电子设备还可以包括：射频单元、网络模块、音频输出单元、接收单元、传感器、显示单元、用户接收单元、接口单元、以及电源等部件。本领域技术人员可以理解，上述描述出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，射频单元可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器72处理；另外，将上行的数据发送给基站。通常，射频单元包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元可以将射频单元或网络模块接收的或者在存储器71中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元还可以提供与电子设备执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元包括扬声器、蜂鸣器以及受话器等。

接收单元用于接收音频或视频信号。接收单元可以包括图形处理器(GraphicsProcessing Unit，GPU)和麦克风，图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元上。经图形处理器处理后的图像帧可以存储在存储器(或其它存储介质)中或者经由射频单元或网络模块进行发送。麦克风可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元发送到移动通信基站的格式输出。

电子设备还包括至少一种传感器，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元用于显示由用户输入的信息或提供给用户的信息。显示单元可包括显示面板，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置显示面板。

用户接收单元可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户接收单元包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)。触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器72，接收处理器72发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，用户接收单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板可覆盖在显示面板上，当触控面板检测到在其上或附近的触摸操作后，传送给处理器72以确定触摸事件的类型，随后处理器72根据触摸事件的类型在显示面板上提供相应的视觉输出。一般情况下，触控面板与显示面板是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板与显示面板集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元为外部装置与电子设备连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备中的一个或多个元件或者可以用于在电子设备和外部装置之间传输数据。

电子设备还可以包括给各部件供电的电源(比如电池)，可选的，电源可以通过电源管理系统与处理器72逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述方法实施例提供的直播视频生成方法。

本发明实施例还提供一种一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述方法实施例提供的直播视频生成方法。

本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所述的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种直播视频生成方法，其特征在于，包括：

实时获取实体对象的第一特征数据；所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关；

基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关；

根据所述虚拟模型进行直播视频的图像帧的生成。

2.根据权利要求1所述的方法，其特征在于，所述虚拟模型的小臂包括：主骨骼、套接于所述主骨骼上的多段附加骨骼以及覆盖于所述多段附加骨骼上的所述小臂蒙皮；

所述基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，包括：

基于实时获取的所述第一特征数据控制所述多段附加骨骼中的至少一段附加骨骼围绕所述主骨骼转动，以驱动所述小臂蒙皮围绕轴线方向转动。

3.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟模型进行直播视频的图像帧的生成，包括：

确定所述图像帧对应的镜头方位，所述镜头方位用于表征用于所述图像帧对应的虚拟镜头与所述虚拟模型的位置关系；

根据所述图像帧对应的镜头方位和所述虚拟模型，进行所述图像帧的生成。

4.根据权利要求3所述的方法，其特征在于，所述确定所述图像帧对应的镜头方位，包括：

显示镜头控件，所述镜头控件用于进行镜头方位的选择；

响应于用户对所述镜头控件的操作，确定所述图像帧对应的镜头方位。

5.根据权利要求3所述的方法，其特征在于，所述确定所述图像帧对应的镜头方位，包括：

基于所述第一特征数据和预设规则，确定所述图像帧对应的镜头方位。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时获取所述实体对象的第二特征数据；所述第二特征数据用于表征所述实体对象的面部表情；

基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情。

7.根据权利要求6所述的方法，其特征在于，所述基于实时获取的所述第二特征数据控制所述虚拟模型的面部表情，包括：

将所述第二特征数据输入表情算法模型，并获取所述表情算法模型输出的表情驱动参数；其中，所述表情算法模型为基于样本数据对预设算法模型进行训练获取的模型，所述样本数据包括所述实体对象的样本表情数据和所述样本表情数据对应的表情驱动参数；

基于所述表情驱动参数对所述虚拟模型的面部进行驱动，生成所述虚拟模型的面部表情。

8.根据权利要求1所述的方法，其特征在于，所述实时获取实体对象的第一特征数据，包括：

实时获取设置于所述实体对象的小臂上的多个追踪标记的位置信息；

根据所述多个追踪标记的位置信息实时获取所述实体对象的第一特征数据。

9.根据权利要求6所述的方法，其特征在于，所述实时获取所述实体对象的第二特征数据，包括：

通过图像采集设备对所述实体对象进行图像采集，实时获取所述实体对象的面部图像；

基于实时获取的所述实体对象的面部图像，提取所述实体对象的第二特征数据。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

对所述实体对象所处空间的环境音进行录制，获取环境音频数据；

根据所述环境音频数据生成所述直播视频的音频数据。

11.一种直播视频生成装置，其特征在于，包括：

获取单元，用于实时获取实体对象的第一特征数据；所述实体对象包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述第一特征数据用于表征小臂的多个部位围绕轴线方向的转动角度，所述小臂的多个部位围绕轴线方向的转动角度与所述小臂的多个部位到所述实体对象的肘关节的距离正相关；

处理单元，用于基于实时获取的所述第一特征数据控制虚拟模型的小臂蒙皮的多个部位围绕轴线方向的转动角度，所述虚拟模型包括：躯干、通过肩关节与所述躯干连接的大臂以及通过肘关节与所述大臂连接的小臂，所述小臂蒙皮覆盖于所述虚拟模型的小臂的外表面，所述小臂蒙皮的多个部位围绕轴线方向的转动角度与所述小臂蒙皮的多个部位到所述虚拟模型的肘关节的距离正相关；

生成单元，用于根据所述虚拟模型进行直播视频的图像帧的生成。

12.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-10任一项所述的直播视频生成方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-10任一项所述的直播视频生成方法。

Images