CN109922354A - 直播互动方法、装置、直播系统及电子设备 - Google Patents

Abstract

本申请实施例提供了一种直播互动方法、装置、直播系统及电子设备，当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测主播互动动作的动作姿态和动作类型，其中，主播互动动作包括佩戴目标道具和/或目标肢体动作。而后，根据主播互动动作的动作姿态和动作类型生成主播对应的虚拟形象的互动视频流，并通过直播服务器将虚拟形象的互动视频流发送给直播接收终端进行播放。如此，通过将主播的虚拟形象的互动内容与主播互动动作的动作姿态和动作类型产生关联，可以提高直播过程中的互动效果，减少主播发起虚拟形象互动时的人为操作，实现虚拟形象的自动互动。

Description

直播互动方法、装置、直播系统及电子设备

技术领域

本申请涉及互联网直播领域，具体而言，涉及一种直播互动方法、装置、直播系统及电子设备。

背景技术

为了丰富主播和观众之间的互动，在网络直播过程中，在一些实施方式中，可以在直播界面展示虚拟形象，以通过该虚拟形象与观众进行互动。然而，该方案中虚拟形象仅仅只是单纯地演示某个互动动作，难以与主播产生动作关联，导致实际互动效果不佳。

发明内容

有鉴于此，本申请实施例的目的在于提供一种直播互动方法、装置、直播系统及电子设备，以解决或者改善上述问题。

根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，处理器执行所述机器可执行指令，以执行直播互动方法。

根据本申请实施例的另一方面，提供一种直播互动方法，应用于直播提供终端，所述方法包括：

当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型；

其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

根据所述主播互动动作的动作姿态和动作类型生成所述主播对应的虚拟形象的互动视频流，并通过所述直播服务器将所述虚拟形象的互动视频流发送给所述直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种直播互动装置，应用于直播提供终端，所述装置包括：

检测模块，用于当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型，其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

生成模块，用于根据所述主播互动动作的动作姿态和动作类型生成所述主播对应的虚拟形象的互动视频流，并通过所述直播服务器将所述虚拟形象的互动视频流发送给所述直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种直播系统，所述直播系统包括直播提供终端、直播接收终端以及分别与所述直播提供终端和所述直播接收终端通信连接的直播服务器；

所述直播提供终端用于当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型，其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

所述直播服务器用于将所述虚拟形象的互动视频流发送给所述直播接收终端；

所述直播接收终端用于在直播界面中播放所述虚拟形象的互动视频流。

根据本申请实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有机器可执行指令，该计算机程序被处理器运行时可以执行上述的直播互动方法的步骤。

基于上述任一方面，本申请实施例在从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测主播互动动作的动作姿态和动作类型，其中，主播互动动作包括佩戴目标道具和/或目标肢体动作。而后，根据主播互动动作的动作姿态和动作类型生成主播对应的虚拟形象的互动视频流，并通过直播服务器将虚拟形象的互动视频流发送给直播接收终端进行播放。如此，通过将主播的虚拟形象的互动内容与主播互动动作的动作姿态和动作类型产生关联，可以提高直播过程中的互动效果，减少主播发起虚拟形象互动时的人为操作，实现虚拟形象的自动互动。

为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的直播系统的应用场景示意框图；

图2示出了本申请实施例所提供的直播互动方法的流程示意图；

图3示出了本申请实施例所提供的直播提供终端的直播界面示意图；

图4示出了本申请实施例所提供的图1所示的直播提供终端的示例性组件示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请实施例提供的直播系统10的应用场景示意图。例如，直播系统10可以是用于诸如互联网直播之类的服务平台。参照图1所示，直播系统10可以包括直播服务器200、直播提供终端100以及直播接收终端300，直播服务器200分别与直播提供终端100以及直播接收终端300通信连接，用于为直播提供终端100以及直播接收终端300提供直播服务。例如，直播提供终端100可以将直播间的直播视频流发送给直播服务器200，观众可以通过直播接收终端300访问直播服务器200以观看直播间的直播视频。又例如，主播服务器也可以在观众订阅的直播间开播时向该观众的直播接收终端300发送通知消息。直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。

可以理解，图1所示的直播系统10仅为一种可行的示例，在其它可行的实施例中，该直播系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

在一些实施场景中，直播提供终端100和直播接收终端300可以互换使用。例如，直播提供终端100的主播可以使用直播提供终端100来为观众提供直播视频服务，或者作为观众查看其它主播提供的直播视频。又例如，直播接收终端300的观众也可以使用直播接收终端300观看所关注的主播提供的直播视频，或者作为主播为其它观众提供直播视频服务。

本实施例中，直播系统10还可以包括用于采集主播的主播视频帧的视频采集装置400，视频采集装置400直接安装或者集成于直播提供终端100，也可以独立于直播提供终端100并与直播提供终端100连接。

图2示出了本申请实施例提供的直播互动方法的流程示意图，该直播互动方法可由图1中所示的直播提供终端100执行。应当理解，在其它实施例中，本实施例的直播互动方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该直播互动方法的详细步骤介绍如下。

步骤S110，当从视频采集装置400实时采集的主播视频帧中检测到主播发起主播互动动作时，检测主播互动动作的动作姿态和动作类型。

作为一种可能的实施方式，视频采集装置400可以根据预设的实时主播视频帧采集速率，采集主播的主播视频帧。前述实时主播视频帧采集速率可以根据实际网络带宽、直播提供终端100的处理性能以及网络传输协议而设定。通常三维引擎可提供60/s或者30/s等不同的渲染速率，本实施例可以根据实际网络带宽、播提供终端的处理性能以及目标传输协议等客观因素来确定所需的实时主播视频帧采集速率，由此可以确保后续渲染虚拟形象的视频流的实时性及流畅性。

本实施例中，主播互动动作可包括佩戴目标道具和/或目标肢体动作。例如，在从主播视频帧中检测到主播佩戴目标道具时，可检测目标道具的道具属性和参考点位置向量，并根据道具属性查找目标肢体动作的动作类型，而后根据参考点位置向量采用逆向运动学算法预测主播互动动作的动作姿态。

其中，目标道具可以是直播平台为主播提供的用于指示主播互动动作的动作类型的各种互动道具，这些互动道具的属性可以包括形状信息，在此情况下，互动道具可以依据具体主播互动动作的动作类型进行设计。例如，若互动道具A用于指示“剪刀手的卖萌动作”，则该互动道具A可以设计为剪刀手的形状。又例如，若互动道具B用于指示“手比爱心的温馨动作”，则该互动道具B可以设计为手比爱心的形状。

或者，这些互动道具的道具属性还可以包括颜色信息，在此情况下，互动道具的颜色可以依据具体主播互动动作的动作类型进行设计，例如，若互动道具A用于指示“剪刀手的卖萌动作”，则该互动道具A可以设计为红色，又例如，若互动道具A用于指示“手比爱心的温馨动作”，则该互动道具B可以设计为蓝色。如此设计，主播提供终端可以通过识别互动道具的属性快速识别到目标肢体动作的动作类型，无需进行深度神经网络算法识别，从而大大减少计算量，提高识别速度和识别精度。

除此之外，在另一种实施方式中，在从主播视频帧中检测到主播发起目标肢体动作时，可以检测目标肢体动作的参考点位置向量，并采用深度神经网络模型识别目标肢体动作的动作类型。而后，根据参考点位置向量采用逆向运动学(Inverse Kinematic，IK)算法预测主播互动动作的动作姿态。

可选地，目标肢体动作可包括但并不限于起立、坐下、转圈、倒立、身体晃动、挥手、剪刀手、握拳、手比爱心、托手、鼓掌、手掌张开、手掌闭合、竖大拇指、手枪姿势、V手势和OK手势等直播常用的肢体动作。

作为一种可能的实施方式，采用深度神经网络模型识别目标肢体动作的动作类型的具体过程可以是：将主播视频帧输入到深度神经网络模型，得到识别结果图，并根据识别结果图确定主播视频帧中包含的目标肢体动作的动作类型。

其中，上述识别结果图中包含至少一个目标框，目标框为标记识别结果图中的目标肢体动作的动作类型的几何框。下面对具体识别过程进行详细阐述。

第一、通过深度神经网络模型将主播视频帧分割为多个网格。

第二、为了适应直播场景的多样性，针对每个网格，会在该网格内生成多个不同属性参数的几何预测框，其中，每个几何预测框对应一个基准框，每个几何预测框的属性参数包括相对于基准框的中心点坐标、宽度、高度以及类别。

第三、计算每个几何预测框的置信度得分，并根据计算结果剔除置信度得分低于预设得分阈值的几何预测框。

例如，可以针对每个几何预测框，判断该几何预测框的区域内是否存在目标肢体动作：若不存在目标肢体动作，则判定该几何预测框的置信度得分为0；若存在目标肢体动作，则计算该几何预测框的区域属于目标肢体动作的后验概率，并计算该几何预测框的检测评价函数值，其中，检测评价函数值用于表征目标肢体动作与该几何预测框的交集与目标肢体动作与该几何预测框的并集之间的比值。最后，可以根据后验概率与检测评价函数值的乘积得到该几何预测框的置信度得分。

在此基础上，可以预先设定一个预设得分阈值，若该几何预测框的置信度得分低于该预设得分阈值的几何预测框，表示该几何预测框中的目标不可能是直播互动动作的预测目标，若该几何预测框的置信度得分大于等于该预设得分阈值的几何预测框，表示该几何预测框中的目标有可能是直播互动动作的预测目标。由此，可以剔除所有置信度得分低于该预设得分阈值的几何预测框，从而一次性剔除大量的不可能存在直播互动动作的目标的几何预测框，只对有可能存在直播互动动作的目标的几何预测框进行后续的处理，从而大大减少后续计算量，进一步提高识别速度。

第四、按照置信度得分由大到小的顺序对该网格内剩余的几何框进行排序，并根据排序结果将置信度得分最大的几何框确定为目标框，以得到识别结果图。

由此，通过直播图像的识别结果图，若存在标记有目标肢体动作的目标框，则确定主播视频帧中包含目标肢体动作，并可以确定该目标肢体动作的互动动作类型。

在前述基础上，为了实现后续虚拟形象与主播之间的整体动作同步，还需要根据目标肢体动作的参考点位置向量或者目标道具的参考点位置向量，采用逆向运动学算法预测主播互动动作的动作姿态。

例如，可以根据参考点位置向量计算主播的互动肢体的中心点高度以及主播的互动肢体相对于视频采集装置400的姿态旋转矩阵。接着，根据姿态旋转矩阵、参考点位置向量和中心点高度，计算主播的互动肢体的各个肢体关节的位置向量，其中，位置向量包括主播的互动肢体在各个参考轴方向上的分量。最后，根据计算得到的各个肢体关节的位置向量得到主播互动动作的动作姿态。

其中，参考轴方向可以预先进行配置，以二维空间为例，参考轴方向可以包括相互垂直的X轴方向和Y轴方向；以三维空间为例，参考轴方向可以包括相互垂直的X轴方向、Y轴方向以及Z轴方向。

主播的互动肢体相对于视频采集装置400的姿态旋转矩阵主要是指互动肢体相对于视频采集装置400在二维空间或者三维空间的位置和姿态。以三维空间为例，该位置可以用一个位置矩阵来描述，该姿态可以用坐标系三个坐标轴两两夹角的余弦值组成的姿态矩阵来表示。

步骤S120，根据主播互动动作的动作姿态和动作类型生成主播对应的虚拟形象的互动视频流，并通过直播服务器200将虚拟形象的互动视频流发送给直播接收终端300进行播放。

其中，虚拟形象可以采用与主播的外貌、体态、气质等相符的虚拟人物形象，并可以以二维虚拟形象、三维虚拟形象、VR虚拟形象、AR虚拟形象等显示在直播界面中，从而与观众进行直播互动。

本实施例中，直播提供终端100中预先存储有预设互动内容库，预设互动内容库包括各个动作类型对应的虚拟形象互动内容，虚拟形象互动内容包括对话互动内容、特效互动内容以及肢体互动内容中的一种或者多种组合。可选地，主播可以在直播提供终端100本地配置预设互动内容库，也可以通过直播提供终端100从直播服务器200中下载预设互动内容库，本实施例对此不作具体限制。

可选地，对话互动内容可以可以包括字幕图片、字幕特效等互动信息，特效互动内容可以包括静态特效图片、动态特效图片等图像信息，肢体互动内容可以包括面部表情(诸如开心、愤怒、激动、痛苦和悲伤等)特效图片等图像信息。

由此，在主播互动动作的动作姿态和动作类型后，可以从预设互动内容库中获取动作类型对应的虚拟形象互动内容，然后根据动作姿态和虚拟形象互动内容生成虚拟形象的互动视频流。详细地，可以按照动作姿态关联的各个目标关节点的位移坐标，控制虚拟形象的各个目标关节点沿对应的位移坐标移动，并按照虚拟形象互动内容控制虚拟形象执行对应的互动动作，以生成对应的互动视频流。

作为一种可能的实施方式，在上述过程中，可以通过使用的图形图像绘制或渲染方法等生成虚拟形象的互动视频流。可选地，可以基于OpenGL图形绘制引擎或Unity 3D渲染引擎等进行2D图形形象或3D图形形象的绘制生成虚拟形象的互动视频流，以使带有虚拟形象的互动效果的互动视频流得到展现。OpenGL定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，其与硬件无关，可以方便地进行2D或3D图形图像的绘制。通过OpenGL和/或Unity 3D渲染引擎等，不仅可以实现2D效果如2D贴纸或特效的绘制，还可以实现3D特效的绘制及粒子特效的绘制等等。

仅作为示例，请参阅图3，示出了直播提供终端100的一种直播界面示例图，在该直播界面中，可以包括直播界面显示框、主播视频帧显示框以及虚拟形象区域。其中，直播界面显示框用于显示当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流，主播视频帧显示框用于显示视频采集装置400实时采集到的主播视频帧，虚拟形象区域用于展示主播的虚拟形象。

当主播发起主播互动动作时，该主播视频帧显示框中会显示主播的发起的主播互动动作，同时可以检测到主播互动动作的动作姿态和动作类型，然后获取动作类型对应的虚拟形象互动内容，并控制虚拟形象区域中的虚拟形象执行对应的互动动作。例如，若识别到的主播互动动作为手比爱心的温馨动作，此时控制虚拟形象执行对应的手比爱心的温馨动作，并且显示对话互动内容“比心”以及特效互动内容“比心”的特效，然后生成虚拟形象的互动视频流，并通过直播服务器200将互动视频流发送给直播接收终端300进行播放。

如此，本实施例通过将主播的虚拟形象的互动内容与主播互动动作的动作姿态和动作类型产生关联，可以提高直播过程中的互动效果，减少主播发起虚拟形象互动时的人为操作，实现虚拟形象的自动互动。

图4示出了本申请实施例提供的图1中所示的直播提供终端100的示例性组件示意图，直播提供终端100可包括存储介质110、处理器120以及直播互动装置500。本实施例中，存储介质110与处理器120均位于直播提供终端100中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于直播提供终端100之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

直播互动装置500可以理解为上述直播提供终端100，或直播提供终端100的处理器120，也可以理解为独立于上述直播提供终端100或处理器120之外的在直播提供终端100控制下实现上述直播互动方法的软件功能模块。如图4所示，该直播互动装置500可以包括检测模块510以及生成模块520，下面分别对该直播互动装置500的各个功能模块的功能进行详细阐述。

检测模块510，用于当从视频采集装置400实时采集的主播视频帧中检测到主播发起主播互动动作时，检测主播互动动作的动作姿态和动作类型，其中，主播互动动作包括佩戴目标道具和/或目标肢体动作。可以理解，该检测模块510可以用于执行上述步骤S110，关于该检测模块510的详细实现方式可以参照上述对步骤S110有关的内容。

生成模块520，用于根据主播互动动作的动作姿态和动作类型生成主播对应的虚拟形象的互动视频流，并通过直播服务器200将虚拟形象的互动视频流发送给直播接收终端300进行播放。可以理解，该生成模块520可以用于执行上述步骤S120，关于该生成模块520的详细实现方式可以参照上述对步骤S120有关的内容。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的直播互动方法。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种直播互动方法，其特征在于，应用于直播提供终端，所述方法包括：

当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型；

其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

根据所述主播互动动作的动作姿态和动作类型生成所述主播对应的虚拟形象的互动视频流，并通过直播服务器将所述虚拟形象的互动视频流发送给直播接收终端进行播放。

2.根据权利要求1所述的直播互动方法，其特征在于，所述检测所述主播互动动作的动作姿态和动作类型的步骤，包括：

在检测到所述主播佩戴目标道具时，检测所述目标道具的道具属性和参考点位置向量，并根据所述道具属性查找所述目标肢体动作的动作类型；

根据所述参考点位置向量采用逆向运动学算法预测所述主播互动动作的动作姿态。

3.根据权利要求1所述的直播互动方法，其特征在于，所述检测所述主播互动动作的动作姿态和动作类型的步骤，包括：

在检测到所述主播发起目标肢体动作时，检测所述目标肢体动作的参考点位置向量，并采用深度神经网络模型识别所述目标肢体动作的动作类型；

根据所述参考点位置向量采用逆向运动学算法预测所述主播互动动作的动作姿态。

4.根据权利要求2或3所述的直播互动方法，其特征在于，所述根据所述参考点位置向量，采用逆向运动学算法预测所述主播互动动作的动作姿态的步骤，包括：

根据所述参考点位置向量计算所述主播的互动肢体的中心点高度以及所述主播的互动肢体相对于所述视频采集装置的姿态旋转矩阵；

根据所述姿态旋转矩阵、所述参考点位置向量和所述中心点高度，计算所述主播的互动肢体的各个肢体关节的位置向量，所述位置向量包括所述主播的互动肢体在各个参考轴方向上的分量；

根据计算得到的所述各个肢体关节的位置向量得到所述主播互动动作的动作姿态。

5.根据权利要求1所述的直播互动方法，其特征在于，所述直播提供终端中预先存储有预设互动内容库，所述预设互动内容库包括各个动作类型对应的虚拟形象互动内容，所述虚拟形象互动内容包括对话互动内容、特效互动内容以及肢体互动内容中的一种或者多种组合；

所述根据所述主播互动动作的动作姿态和动作类型生成所述虚拟形象的互动视频流的步骤，包括：

从所述预设互动内容库中获取所述动作类型对应的虚拟形象互动内容；

根据所述动作姿态和所述虚拟形象互动内容生成所述虚拟形象的互动视频流。

6.根据权利要求5所述的直播互动方法，其特征在于，所述根据所述动作姿态和所述虚拟形象互动内容生成所述虚拟形象的互动视频流的步骤，包括：

按照所述动作姿态关联的各个目标关节点的位移坐标，控制所述虚拟形象的各个目标关节点沿对应的位移坐标移动，并按照所述虚拟形象互动内容控制所述虚拟形象执行对应的互动动作，以生成对应的互动视频流。

7.一种直播互动装置，其特征在于，应用于直播提供终端，所述装置包括：

检测模块，用于当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型，其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

生成模块，用于根据所述主播互动动作的动作姿态和动作类型生成所述主播对应的虚拟形象的互动视频流，并通过直播服务器将所述虚拟形象的互动视频流发送给直播接收终端进行播放。

8.一种直播系统，其特征在于，所述直播系统包括直播提供终端、直播接收终端以及分别与所述直播提供终端和所述直播接收终端通信连接的直播服务器；

所述直播提供终端用于当从视频采集装置实时采集的主播视频帧中检测到主播发起主播互动动作时，检测所述主播互动动作的动作姿态和动作类型，并根据所述主播互动动作的动作姿态和动作类型生成所述主播对应的虚拟形象的互动视频流，将所述虚拟形象的互动视频流发送给直播服务器，其中，所述主播互动动作包括佩戴目标道具和/或目标肢体动作；

所述直播服务器用于将所述虚拟形象的互动视频流发送给所述直播接收终端；

所述直播接收终端用于在直播界面中播放所述虚拟形象的互动视频流。

9.一种电子设备，其特征在于，所述电子设备包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行权利要求1-6中任意一项所述的直播互动方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-6中任意一项所述的直播互动方法。