CN113365130B - 直播显示方法、直播视频获取方法及相关装置 - Google Patents

Abstract

本发明提供一种直播显示方法、直播视频获取方法及相关装置，涉及互联网直播领域。该直播显示方法应用于直播的观看终端，观看终端与直播提供系统通信连接，该直播显示方法包括：通过解析接收到直播提供系统发送的直播视频流，获取直播的实体直播对象、虚拟直播对象和虚拟直播对象所处的虚拟场景；在观看终端的第一显示界面显示虚拟场景；在观看终端的第二显示界面显示实体直播对象和虚拟直播对象；第二显示界面置于第一显示界面上层。将虚拟场景显示在第一界面，将实体直播对象和虚拟直播对象显示在第二显示界面，相较于现有的直播软件，观看终端在播放视频流对应的直播视频中，实体直播对象和虚拟直播对象可以在同一个显示界面进行互动。

Description

直播显示方法、直播视频获取方法及相关装置

技术领域

本发明涉及互联网直播领域，具体而言，涉及一种直播显示方法、直播视频获取方法及相关装置。

背景技术

随着网络技术的进步发展，更多的视频内容推送已经不局限于将录制好的视频源推送给用户终端，为了增加更多的视频观看方式，直播应运而生。

在目前的直播方式中，主播大多通过介绍现实生活中的物品，通过观看直播间的用户发送的弹幕，或与直播间的用户利用直播软件内置或外接的小游戏，进而实现主播和观看用户之间的互动。

目前的直播软件中，主播仅可以根据一些指定的动作，生成虚拟的显示效果，以便用户可以观看直播中主播以及指定动作对应的显示效果。但是，目前直播软件中，主播不能与数字人或虚拟直播形象进行互动。

发明内容

有鉴于此，本发明的目的在于提供一种直播显示方法、直播视频获取方法及相关装置，以实现直播中，实体直播对象和虚拟直播对象在同一个显示界面进行显示。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种直播显示方法，应用于直播的观看终端，所述观看终端与直播提供系统通信连接，所述方法包括：通过解析接收到所述直播提供系统发送的直播视频流，获取所述直播的实体直播对象、虚拟直播对象和所述虚拟直播对象所处的虚拟场景；在所述观看终端的第一显示界面显示所述虚拟场景；在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象；所述第二显示界面置于所述第一显示界面上层。

在可选的实施方式中，所述直播视频流还包括所述实体直播对象和所述虚拟直播对象的互动信息，所述在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象，包括：解析所述直播视频流以获取所述互动信息对应的第一视频；所述第一视频包括所述实体直播对象和所述虚拟直播对象互动的至少一帧第一图像；在所述第二显示界面显示所述至少一帧第一图像。

在可选的实施方式中，所述虚拟直播对象为根据主播生成的，所述互动信息包括所述虚拟直播对象的身体动作信息和面部表情信息，所述解析所述直播视频流以获取所述互动信息对应的第一视频，包括：解析所述直播视频流中的身体动作信息以获取所述虚拟直播对象的身体动作；解析所述直播视频流中的面部表情信息以获取所述虚拟直播对象的面部表情；根据所述身体动作和所述面部表情，获取所述第一视频。

在可选的实施方式中，所述至少一帧第一图像具有序列标识，所述在所述第二显示界面显示所述至少一帧第一图像，包括：按照所述序列标识，依次显示所述至少一帧第一图像。

第二方面，本发明提供一种直播视频获取方法，应用于直播提供系统，所述直播提供系统与直播的观看终端通信连接，所述方法包括：采集所述直播的实体直播对象的第一视频信号；获取所述直播的虚拟直播对象的第二视频信号；所述第二视频信号包括所述虚拟直播对象的身体动作信息和面部表情信息；根据所述第一视频信号和所述第二视频信号，获取直播视频流；将所述直播视频流发送至所述观看终端，以使所述观看终端解析所述直播视频流以显示所述实体直播对象、虚拟直播对象以及所述虚拟直播对象所处的虚拟场景。

在可选的实施方式中，所述实体直播对象处于绿幕棚中，所述采集所述直播的实体直播对象的第一视频信号，包括：获取所述实体直播对象在所述绿幕棚中的初始视频；删除所述初始视频中的绿色像素，以获取所述第一视频信号。

在可选的实施方式中，所述虚拟直播对象是由演员穿戴动捕服装生成的虚拟形象，所述获取所述直播的虚拟直播对象的第二视频信号，包括：接收所述动捕服装发送的身体动作信息；所述身体动作信息与所述演员的身体动作一致；采集所述演员的面部表情以获取所述面部表情信息；根据所述身体动作信息和所述面部表情信息，获取所述第二视频信号。

在可选的实施方式中，所述根据所述第一视频信号和所述第二视频信号，获取直播视频流，包括：为所述虚拟场景添加第一标记；所述第一标记用于指示所述观看终端将所述虚拟场景显示在第一显示界面；为所述实体直播对象和所述虚拟直播对象均添加第二标记；所述第二标记用于指示所述终端将所述实体直播对象和所述虚拟直播对象均显示在第二显示界面，所述第二显示界面置于所述第一显示界面上层。

第三方面，本发明提供一种直播显示装置，应用于直播的观看终端，所述观看终端与直播提供系统通信连接，所述直播显示装置包括：第一处理模块和显示模块；所述第一处理模块用于通过解析接收到所述直播提供系统发送的直播视频流，获取所述直播的实体直播对象、虚拟直播对象和所述虚拟直播对象所处的虚拟场景；所述显示模块用于在所述观看终端的第一显示界面显示所述虚拟场景；所述显示模块还用于在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象；所述第二显示界面置于所述第一显示界面上层。

在可选的实施方式中，所述直播视频流还包括所述实体直播对象和所述虚拟直播对象的互动信息；所述第一处理模块还用于解析所述直播视频流以获取所述互动信息对应的第一视频；所述第一视频包括所述实体直播对象和所述虚拟直播对象互动的至少一帧第一图像；所述显示模块还用于在所述第二显示界面显示所述至少一帧第一图像。

在可选的实施方式中，所述虚拟直播对象为根据主播生成的，所述互动信息包括所述虚拟直播对象的身体动作信息和面部表情信息。所述第一处理模块还用于解析所述直播视频流中的身体动作信息以获取所述虚拟直播对象的身体动作。所述第一处理模块还用于解析所述直播视频流中的面部表情信息以获取所述虚拟直播对象的面部表情。所述第一处理模块还用于根据所述身体动作和所述面部表情，获取所述第一视频。

在可选的实施方式中，所述至少一帧第一图像具有序列标识，所述显示模块还用于按照所述序列标识，依次显示所述至少一帧第一图像。

第四方面，本发明提供一种直播视频获取装置，应用于直播提供系统，所述直播提供系统与直播的观看终端通信连接，所述直播视频获取装置包括：获取模块、第二处理模块和通信模块。所述获取模块用于采集所述直播的实体直播对象的第一视频信号；所述获取模块还用于获取所述直播的虚拟直播对象的第二视频信号；所述第二视频信号包括所述虚拟直播对象的身体动作信息和面部表情信息；所述第二处理模块用于根据所述第一视频信号和所述第二视频信号，获取直播视频流；所述通信模块用于将所述直播视频流发送至所述观看终端，以使所述观看终端解析所述直播视频流以显示所述实体直播对象、所述虚拟直播对象以及所述虚拟直播对象所处的虚拟场景。

在可选的实施方式中，所述实体直播对象处于绿幕棚中，所述获取模块还用于获取所述实体直播对象在所述绿幕棚中的初始视频；所述第二处理模块还用于删除所述初始视频中的绿色像素，以获取所述第一视频信号。

在可选的实施方式中，所述虚拟直播对象是由演员穿戴动捕服装生成的虚拟形象，所述通信模块还用于接收所述动捕服装发送的身体动作信息；所述身体动作信息与所述演员的身体动作一致；所述获取模块还用于采集所述演员的面部表情以获取所述面部表情信息；所述获取模块还用于根据所述身体动作信息和所述面部表情信息，获取所述第二视频信号。

在可选的实施方式中，所述第二处理模块还用于为所述虚拟场景添加第一标记；所述第一标记用于指示所述观看终端将所述虚拟场景显示在第一显示界面；所述第二处理模块还用于为所述实体直播对象和所述虚拟直播对象均添加第二标记；所述第二标记用于指示所述终端将所述实体直播对象和所述虚拟直播对象均显示在第二显示界面，所述第二显示界面置于所述第一显示界面上层。

第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现上述任一项所述的方法。

第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时以实现上述任一项所述的方法。

相较于现有技术，本发明提供一种直播显示方法、直播视频获取方法及相关装置，涉及互联网直播领域。该直播显示方法应用于直播的观看终端，所述观看终端与直播提供系统通信连接，所述方法包括：通过解析接收到所述直播提供系统发送的直播视频流，获取所述直播的实体直播对象、虚拟直播对象和所述虚拟直播对象所处的虚拟场景；在所述观看终端的第一显示界面显示所述虚拟场景；在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象；所述第二显示界面置于所述第一显示界面上层。将虚拟场景显示在第一界面，将实体直播对象和虚拟直播对象显示在第二显示界面，相较于现有的直播软件，观看终端在播放视频流对应的直播视频中，实体直播对象和虚拟直播对象可以在同一个显示界面进行互动。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种直播提供系统和观看终端的示意图；

图2为本发明实施例提供的一种直播显示方法的流程示意图；

图3为本发明实施例提供的一种直播显示图；

图4为本发明实施例提供的另一种直播显示方法的流程示意图；

图5为本发明实施例提供的另一种直播显示方法的流程示意图；

图6为本发明实施例提供的另一种直播显示图；

图7为本发明实施例采用的另一种直播显示方法的流程示意图；

图8为本发明实施例提供的一种直播视频获取方法的流程示意图；

图9为本发明实施例提供的另一种直播视频获取方法；

图10为本发明实施例提供的另一种直播视频获取方法的流程示意图；

图11为本发明实施例提供的另一种直播视频获取方法的流程示意图；

图12为本发明实施例提供的一种直播显示装置的方框示意图；

图13为本发明实施例提供的一种直播视频获取方法的方框示意图。

图标：直播提供系统-30，采集单元-31，处理单元-32，观看终端-40，直播显示装置-70，第一处理模块-71，显示模块-72，直播视频获取装置-80，获取模块-81，第二处理模块-82，通信模块-83。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在目前的直播方式中，主播大多通过介绍现实生活中的物品，通过观看直播间的用户发送的弹幕，或与直播间的用户利用直播软件内置或外接的小游戏，进而实现主播和观看用户之间的互动。目前的直播软件中，主播仅可以根据一些指定的动作，生成虚拟的显示效果，以便用户可以观看直播中主播以及指定动作对应的显示效果。但是，目前直播软件中，主播不能与数字人或虚拟直播形象进行互动。

为了至少解决上述问题和背景技术提出的不足，本发明提供一种直播显示方法，应用于直播的观看终端，请参见图1，图1为本发明实施例提供的一种直播提供系统和观看终端的示意图。

观看终端40与直播提供系统30通信连接，直播提供系统30包括至少一个采集单元31和处理单元32；直播提供系统30和观看终端40和还可以是手机、平板电脑等电子设备，该电子设备可以包括存储器、处理器和通信接口。该存储器、处理器和通信接口相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块，如本发明实施例所提供的直播显示方法对应的程序指令/模块，处理器通过执行存储在存储器内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。在本发明中该观看终端60可以具有多个通信接口。

其中，存储器可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

上述的采集单元31可以是单独的摄像机等采集设备，也可以是集成了相机的手机、平板电脑、可穿戴设备等个人终端；处理单元32可以是服务器、平板电脑、上网本等，本申请不对其进行限定。

应理解，上述的直播提供系统30和观看终端40均可以是，但不限于手机、平板电脑、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(VirtualReality，VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等电子设备。

下面在图1示出的观看终端40的基础上，本发明提供一种直播显示方法，应用于观看终端40，请参见图2，图2为本发明实施例提供的一种直播显示方法的流程示意图。该直播显示方法包括：

S51，通过解析接收到直播提供系统发送的直播视频流，获取直播的实体直播对象、虚拟直播对象和虚拟直播对象所处的虚拟场景。

例如，该实体直播对象可以是直播中的真人主播；虚拟直播对象可以是依据直播中另一个真人主播生成的虚拟形象或数字人等。

S52，在观看终端的第一显示界面显示虚拟场景。

该虚拟场景可以根据直播中主播或用户的需求进行设置或改变；例如，主播可以通过直播提供系统调整虚拟场景；在一种可能的情况下，用户可以通过观看终端的直播软件调整直播中的虚拟场景，以使直播中的虚拟场景更为多样化。

S53，在观看终端的第二显示界面显示实体直播对象和虚拟直播对象。

该第二显示界面置于第一显示界面上层。应理解，第一显示界面和第二显示界面可以是集成在观看终端的一个显示模块上，以观看终端是手机为例，第一显示界面和第二显示界面可以是手机的显示屏上的不同显示层级对应的界面，将第二显示界面置于第一显示界面上层，可以保证实体直播对象和虚拟直播对象不被虚拟场景所遮挡。

应理解，上述将虚拟场景显示在第一界面，将实体直播对象和虚拟直播对象显示在第二显示界面，相较于现有的直播软件，观看终端在播放视频流对应的直播视频中，实体直播对象和虚拟直播对象可以在同一个显示界面进行互动。

为了便于理解上述的直播显示方法，请参见图3，图3为本发明实施例提供的一种直播显示图。左侧拿住话筒的为实体直播对象，右侧手上带有“光环”的“数字人”为虚拟直播对象，实体直播对象和虚拟直播对象均处在一个“虚拟实验室”(虚拟场景)中。应理解，右侧的虚拟直播对象还可以是一个动漫形象，或是其它类型的数字人。

在视频直播的过程中，主播为了增加直播的人气或观看直播的人数，通常会与用户进行互动，但其可操作性不方便，需要观看用户配合才可以成功，而在可选的实施方式中，在图2的基础上，以直播视频流还包括实体直播对象和虚拟直播对象的互动信息为例，请参见图4，图4为本发明实施例提供的另一种直播显示方法的流程示意图。上述的S53可以包括：

S531，解析直播视频流以获取互动信息对应的第一视频。

该第一视频包括实体直播对象和虚拟直播对象互动的至少一帧第一图像。应理解，实体直播对象可以和虚拟直播对象进行互动，再通过视频直播软件的实时传输，将直播视频流发送给观看终端，观看终端在显示实体直播对象和虚拟直播对象的基础上，通过多帧图像的连续播放，将实体直播对象和虚拟直播对象的互动进行展示。

S532，在第二显示界面显示至少一帧第一图像。

应理解，在视频直播场景中，实体直播对象(例如真人主播)和虚拟直播对象(例如数字人)进行互动，相较于现有的直播中主播仅能根据指定动作显示虚拟效果或介绍物品，具有更多的直播显示效果。

对于上述的互动信息，虽然人工智能发展较为迅速，但是要实现实体直播对象和虚拟直播对象之间的互动，人工智能并不能满足直播的实时性等需求，在图4的基础上，以虚拟直播对象为根据主播生成的为例，上述的互动信息可以包括虚拟直播对象的身体动作信息和面部表情信息，请参见图5，图5为本发明实施例提供的另一种直播显示方法的流程示意图。上述的S531可以包括：

S531a，解析直播视频流中的身体动作信息以获取虚拟直播对象的身体动作。

上述虚拟直播对象的身体动作可以与虚拟直播对象的动作保持一致。例如，当视频直播的过程中，该虚拟直播对象为一个动漫形象，主播可以通过动作的改变，来调整该动漫形象的身体动作，以实现虚拟直播对象和实体直播对象的互动。

S531b，解析直播视频流中的面部表情信息以获取虚拟直播对象的面部表情。

上述虚拟直播对象的面部表情可以与虚拟直播对象的面部表情保持一致，也可以是将虚拟直播对象的面部表情处经过处理后获得的面部表情。例如，当虚拟直播形象为一只“松鼠”时，“松鼠”(虚拟直播形象)的表情与主播的表情保持一致。

S531c，根据身体动作和面部表情，获取第一视频。

应理解，根据主播的身体动作和面部表情生成虚拟直播对象的身体动作信息和面部表情信息，并根据拟直播对象的身体动作信息和面部表情信息生成第一视频，当在观看终端播放该第一视频时，用户看到的就是实体直播对象和虚拟直播对象(如图3示出的“数字人”)进行互动，极大的增加了视频直播场景的互动效果和显示效果。

为了便于理解上述的直播显示方法，在图3的基础上，给出以虚拟直播对象为“松鼠”的示意图，请参见图6，图6为本发明实施例提供的另一种直播显示图。左侧的真人主播为实体直播对象，右侧的“松鼠”为虚拟直播对象，“松鼠”的身体动作和面部表情是根据另一主播的身体动作和面部表情获取的。

在可选的实施方式中，视频直播场景中，直播提供系统和观看终端可能会出现通信断开的情况，导致直播视频断断续续，为了解决上述问题，在图4的基础上，以至少一帧第一图像具有序列标识为例，请参见图7，图7为本发明实施例采用的另一种直播显示方法的流程示意图，上述的S532可以包括：

S532a，按照序列标识，依次显示至少一帧第一图像。

应理解，上述的序列标识可以是按照时间顺序进行标记的。例如，当观看终端在第一时间通信断开而导致卡顿、在第二时间通信恢复，那么观看终端可以继续接收第一时间至第二时间内的直播视频流，也可以选择返回到当前时间继续播放，有利于提供给用户更多的直播观看选择。

下面在图1示出的直播提供系统30的基础上，为了至少解决背景技术提出的不足和实现上述的直播显示方法，本发明提供一种直播视频获取方法，应用于直播提供系统30，请参见图8，图8为本发明实施例提供的一种直播视频获取方法的流程示意图。该直播视频获取方法包括：

S61，采集直播的实体直播对象的第一视频信号。

例如，该第一视频信号可以通过摄像机采集主播(实体直播对象)在绿幕棚中的直播节目，例如，通过摄像机采集在绿幕棚中真人实时动作视频画面信号，画面信号通过在创建渲染引擎的色键器材质球，对带通道的画面去除绿色背景获取真人实时画面(第一视频信号)。

S62，获取直播的虚拟直播对象的第二视频信号。

该第二视频信号包括虚拟直播对象的身体动作信息和面部表情信息。例如，由主播穿戴光学动捕服装或设备，通过摄像机捕捉真人实时表情和肢体动作结构化数据，将摄像机获取到的画面通过在创建渲染引擎的色键器材质球对带通道的画面去除绿色背景获取“纸片人”画面(即待处理画面)，将“纸片人”画面输入至渲染引擎构建的3D虚拟场景，结合“纸片人”与捕捉到结构化数据、实时表情，以驱动虚拟场景中的数字人模型(虚拟直播对象)，以获取第二视频信号。

S63，根据第一视频信号和第二视频信号，获取直播视频流。

应理解，将第一视频信号和第二视频信号进行组合得到直播视频流，以便实体直播对象和虚拟直播对象进行同屏互动，来展示现实真人之间互动方式。

S64，将直播视频流发送至观看终端，以使观看终端解析直播视频流以显示实体直播对象、虚拟直播对象以及虚拟直播对象所处的虚拟场景。

可以理解的，通过将实体直播对象和虚拟直播对象互动的直播视频流发送到观看终端，用户可以在观看终端看到实体直播对象和虚拟直播对象进行同屏互动，而不是现有技术中仅能根据主播的指定动作或操作才能实现虚拟效果的展示。

在可选的实施方式中，上述第一视频信号的获取方式是多种多样的，如通过手机采集信号，而手机等个人终端的处理能力有限，为了提高直播的显示效果，在图8的基础上，以实体直播对象处于绿幕棚中为例，请参见图9，图9为本发明实施例提供的另一种直播视频获取方法的流程示意图。上述的S61可以包括：

S611，获取实体直播对象在绿幕棚中的初始视频。

例如，通过高清摄像机设备采集绿幕棚的真人实时视频画面，摄像机输出高清数字分量串行接口(Serial Digital Interface，SDI)信号至处理单元(如具有渲染引擎的电脑)，搭建3D场景的渲染引擎电脑通过Deck Link SDI采集卡采集SDI信号，以获取初始视频。

S612，删除初始视频中的绿色像素，以获取第一视频信号。

例如，具有渲染引擎的电脑通过DeckLink驱动，获取带透明的图像数据；电脑在渲染引擎创建色键器材质球，去除透明的图像数据中的绿色像素，生成透明背景的真人画面，以获取第一视频信号。

应理解，通过去除实体直播对象在绿幕棚中的绿色像素数据，可以获取到第一视频信号，以便将实体直播对象显示在虚拟场景中，增加直播中的显示效果。可以预见的，在处理能力允许的情况下，为了进一步增加直播的显示效果，如将直播置为“粉色泡泡”背景，上述的绿幕棚也可以换为其它颜色进行适配。

为了获取直播中的虚拟直播对象，现有技术一般是通过计算机技术生成“3D虚拟形象”，并将该“3D虚拟形象”通过全息投影到直播间，但是该全息投影技术对投影设备要求高，且对直播的录制环境有一定的要求，容易造成直播的源视频，且通过全息投影技术将“3D虚拟形象”投影的直播录制中，其可复制性较低，直播录制的成本较高。

在可选的实施方式中，为了解决至少上述问题，在图8的基础上，以虚拟直播对象是由演员穿戴动捕服装生成的虚拟形象为例，请参见图10，图10为本发明实施例提供的另一种直播视频获取方法的流程示意图。上述的S62可以包括：

S621，接收动捕服装发送的身体动作信息。

该身体动作信息与演员的身体动作一致。例如，请继续参见图6，右侧的“松鼠”为虚拟直播对象，“松鼠”的身体动作信息可以是演员穿戴动捕服装(如具有53个光学捕捉点的动捕服装)采集的演员身体动作的光捕数据。

S622，采集演员的面部表情以获取面部表情信息。

该虚拟直播对象(虚拟形象)的面部表情与演员的面部表情匹配。例如，请继续参见图6，右侧的“松鼠”为虚拟直播对象，可以使用深度摄像机来采集演员的面部表情，再根据需要将采集到的演员的面部表情进行处理，以获取“松鼠”(虚拟直播对象)的面部表情信息。

S623，根据身体动作信息和面部表情信息，获取第二视频信号。

可以理解的，根据上述的身体动作信息和面部表情信息，驱动视频直播中的虚拟直播对象(如“数字人”模型或“虚拟形象”)，即可实现观看终端中，实体直播对象和虚拟直播对象的互动。

例如，具有渲染引擎的电脑通过LiveLink插件读取光捕数据(即身体动作信息)、通过有线网线或无线网络获取人脸表情数据(即面部表情信息)，将该光捕数据和人脸表情数据输入至视频直播中的虚拟直播对象模型(如“数字人”模型或“虚拟形象”)之中，以驱动虚拟直播对象。

将第一视频信号和第二视频信号进行组合的过程中，可能会造成虚拟场景、实体直播对象和虚拟直播对象之间的混乱，如错误的将虚拟场景置为顶层，观看终端不能显示实体直播对象和虚拟直播对象的情况。为了至少解决上述问题，在图8的基础上，给出一种可能的实现方式，请参见图11，图11为本发明实施例提供的另一种直播视频获取方法的流程示意图。上述的S63可以包括：

S631，为虚拟场景添加第一标记。

该第一标记用于指示观看终端将虚拟场景显示在第一显示界面。例如，该第一标记可以是设置虚拟场景时，为该虚拟场景上添加的一个标记或记号，以便在视频直播过程中，观看终端依据该标记或记号(第一标记)将虚拟场景显示在第一显示界面。

S632，为实体直播对象和虚拟直播对象均添加第二标记。

该第二标记用于指示终端将实体直播对象和虚拟直播对象均显示在第二显示界面，第二显示界面置于第一显示界面上层。例如，当采集到实体直播对象的真人实时画面时，为实体直播对象添加第二标记，当获取到处理后的虚拟直播对象时，为虚拟直播对象添加第二标记，以便观看终端在判定直播视频流中存在第二标记时，将带有第二标记的画面显示在第二显示界面。

可以理解的，在观看终端解析直播视频流时，将实体直播对象和虚拟直播对象显示在虚拟场景上层，有利于视频直播过程中，观看终端提供一个清晰生动的直播画面，避免虚拟场景占据了直播内容；观看终端还可以通过解析直播视频流提供实体直播对象和虚拟直播对象的互动过程。

应理解，通过使用本发明所提供的直播显示方法和直播视频获取方法，实体直播对象(如真人主播)可以进入3D虚拟场景中，并与虚拟直播对象(如“数字人”或“虚拟形象”)同屏实时进行互动，实体直播对象和虚拟直播对象在虚拟场景中，可以在视频直播过程中创造更多具有视觉冲击的交互方式。

为了实现上述任一实施例提供的直播显示方法，本发明实施例提供一种直播显示装置，以便实现上述实施例中提供的直播显示方法的步骤，请参见图12，图12为本发明实施例提供的一种直播显示装置的方框示意图。该直播显示装置70应用于直播的观看终端，观看终端与直播提供系统通信连接，直播显示装置70包括：第一处理模块71和显示模块72。

第一处理模块71用于通过解析接收到直播提供系统发送的直播视频流，获取直播的实体直播对象、虚拟直播对象和虚拟直播对象所处的虚拟场景。

显示模块72用于在观看终端的第一显示界面显示虚拟场景。

显示模块72还用于在观看终端的第二显示界面显示实体直播对象和虚拟直播对象。第二显示界面置于第一显示界面上层。

应理解，第一处理模块71和显示模块72可以协同实现上述S51～S53及其可能的子步骤。

在可选的实施方式中，直播视频流还包括实体直播对象和虚拟直播对象的互动信息。第一处理模块71还用于解析直播视频流以获取互动信息对应的第一视频。第一视频包括实体直播对象和虚拟直播对象互动的至少一帧第一图像。显示模块72还用于在第二显示界面显示至少一帧第一图像。

应理解，第一处理模块71和显示模块72可以协同实现上述S531～S532及其可能的子步骤。

在可选的实施方式中，虚拟直播对象为根据主播生成的，互动信息包括虚拟直播对象的身体动作信息和面部表情信息。第一处理模块71还用于解析直播视频流中的身体动作信息以获取虚拟直播对象的身体动作。第一处理模块71还用于解析直播视频流中的面部表情信息以获取虚拟直播对象的面部表情。第一处理模块71还用于根据身体动作和面部表情，获取第一视频。

应理解，第一处理模块71可以实现上述S531a～S531c及其可能的子步骤。

在可选的实施方式中，至少一帧第一图像具有序列标识，显示模块72还用于按照序列标识，依次显示至少一帧第一图像。

应理解，显示模块72可以实现上述S532a及其可能的子步骤。

为了实现上述任一实施例所提供的直播视频获取方法，本发明实施例提供一种直播视频获取装置，以便实现上述实施例中直播视频获取方法的步骤，请参见图13，图13为本发明实施例提供的一种直播视频获取方法的方框示意图。该直播视频获取装置80应用于直播提供系统，直播提供系统与直播的观看终端通信连接，直播视频获取装置80包括：获取模块81、第二处理模块82和通信模块83。

获取模块81用于采集直播的实体直播对象的第一视频信号。

获取模块81还用于获取直播的虚拟直播对象的第二视频信号。第二视频信号包括虚拟直播对象的身体动作信息和面部表情信息。

第二处理模块82用于根据第一视频信号和第二视频信号，获取直播视频流。

通信模块83用于将直播视频流发送至观看终端，以使观看终端解析直播视频流以显示实体直播对象、虚拟直播对象以及虚拟直播对象所处的虚拟场景。

应理解，获取模块81、第二处理模块82和通信模块83可以协同实现上述S61～S64及其可能的子步骤。

在可选的实施方式中，实体直播对象处于绿幕棚中，获取模块81还用于获取实体直播对象在绿幕棚中的初始视频。第二处理模块82还用于删除初始视频中的绿色像素，以获取第一视频信号。

应理解，获取模块81和第二处理模块82可以协同实现上述S611～S612及其可能的子步骤。

在可选的实施方式中，虚拟直播对象是由演员穿戴动捕服装生成的虚拟形象，通信模块83还用于接收动捕服装发送的身体动作信息。身体动作信息与演员的身体动作一致。获取模块81还用于采集演员的面部表情以获取面部表情信息。获取模块81还用于根据身体动作信息和面部表情信息，获取第二视频信号。

应理解，获取模块81和通信模块83可以协同实现上述S621～S623及其可能的子步骤。

在可选的实施方式中，第二处理模块82还用于为虚拟场景添加第一标记。第一标记用于指示观看终端将虚拟场景显示在第一显示界面。第二处理模块82还用于为实体直播对象和虚拟直播对象均添加第二标记。第二标记用于指示终端将实体直播对象和虚拟直播对象均显示在第二显示界面，第二显示界面置于第一显示界面上层。

应理解，第二处理模块82可以实现上述S631～S632及其可能的子步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备执行本发明各个实施例所述方法的全部或部分步骤，该电子设备可以是，但不限于手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA等。而前述的存储介质包括：U盘、移动硬盘、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提供一种直播显示方法、直播视频获取方法及相关装置，涉及互联网直播领域。该直播显示方法应用于直播的观看终端，观看终端与直播提供系统通信连接，该直播显示方法包括：通过解析接收到直播提供系统发送的直播视频流，获取直播的实体直播对象、虚拟直播对象和虚拟直播对象所处的虚拟场景；在观看终端的第一显示界面显示虚拟场景；在观看终端的第二显示界面显示实体直播对象和虚拟直播对象；第二显示界面置于第一显示界面上层。将虚拟场景显示在第一界面，将实体直播对象和虚拟直播对象显示在第二显示界面，相较于现有的直播软件，观看终端在播放视频流对应的直播视频中，实体直播对象和虚拟直播对象可以在同一个显示界面进行互动。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种直播显示方法，其特征在于，应用于直播的观看终端，所述观看终端与直播提供系统通信连接，所述方法包括：

通过解析接收到所述直播提供系统发送的直播视频流，获取所述直播的实体直播对象、虚拟直播对象和所述虚拟直播对象所处的虚拟场景；

在所述观看终端的第一显示界面显示所述虚拟场景；

在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象；所述第二显示界面置于所述第一显示界面上层；

所述方法还包括：

根据用户的需求对所述第一显示界面显示的虚拟场景进行设置。

2.根据权利要求1所述的方法，其特征在于，所述直播视频流还包括所述实体直播对象和所述虚拟直播对象的互动信息，所述在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象，包括：

解析所述直播视频流以获取所述互动信息对应的第一视频；所述第一视频包括所述实体直播对象和所述虚拟直播对象互动的至少一帧第一图像；

在所述第二显示界面显示所述至少一帧第一图像。

3.根据权利要求2所述的方法，其特征在于，所述虚拟直播对象为根据主播生成的，所述互动信息包括所述虚拟直播对象的身体动作信息和面部表情信息，所述解析所述直播视频流以获取所述互动信息对应的第一视频，包括：

解析所述直播视频流中的身体动作信息以获取所述虚拟直播对象的身体动作；

解析所述直播视频流中的面部表情信息以获取所述虚拟直播对象的面部表情；

根据所述身体动作和所述面部表情，获取所述第一视频。

4.根据权利要求2所述的方法，其特征在于，所述至少一帧第一图像具有序列标识，所述在所述第二显示界面显示所述至少一帧第一图像，包括：

按照所述序列标识，依次显示所述至少一帧第一图像。

5.一种直播视频获取方法，其特征在于，应用于直播提供系统，所述直播提供系统与直播的观看终端通信连接，所述方法包括：

采集所述直播的实体直播对象的第一视频信号；

获取所述直播的虚拟直播对象的第二视频信号；所述第二视频信号包括所述虚拟直播对象的身体动作信息和面部表情信息；

根据所述第一视频信号和所述第二视频信号，获取直播视频流；

将所述直播视频流发送至所述观看终端，以使所述观看终端解析所述直播视频流以显示所述实体直播对象、所述虚拟直播对象以及所述虚拟直播对象所处的虚拟场景，所述虚拟场景显示在所述观看终端的第一显示界面，所述实体直播对象、所述虚拟直播对象显示在所述观看终端的第二显示界面，所述第二显示界面置于所述第一显示界面上层；

所述方法还包括：

根据主播的需求对所述第一显示界面显示的虚拟场景进行调整。

6.根据权利要求5所述的方法，其特征在于，所述实体直播对象处于绿幕棚中，所述采集所述直播的实体直播对象的第一视频信号，包括：

获取所述实体直播对象在所述绿幕棚中的初始视频；

删除所述初始视频中的绿色像素，以获取所述第一视频信号。

7.根据权利要求5或6所述的方法，其特征在于，所述虚拟直播对象是由演员穿戴动捕服装生成的虚拟形象，所述获取所述直播的虚拟直播对象的第二视频信号，包括：

接收所述动捕服装发送的身体动作信息；所述身体动作信息与所述演员的身体动作一致；

采集所述演员的面部表情以获取所述面部表情信息；

根据所述身体动作信息和所述面部表情信息，获取所述第二视频信号。

8.根据权利要求5所述的方法，其特征在于，所述根据所述第一视频信号和所述第二视频信号，获取直播视频流，包括：

为所述虚拟场景添加第一标记；所述第一标记用于指示所述观看终端将所述虚拟场景显示在第一显示界面；

为所述实体直播对象和所述虚拟直播对象均添加第二标记；所述第二标记用于指示所述终端将所述实体直播对象和所述虚拟直播对象均显示在第二显示界面。

9.一种直播显示装置，其特征在于，应用于直播的观看终端，所述观看终端与直播提供系统通信连接，所述直播显示装置包括：第一处理模块和显示模块；

所述第一处理模块，用于通过解析接收到所述直播提供系统发送的直播视频流，获取所述直播的实体直播对象、虚拟直播对象和所述虚拟直播对象所处的虚拟场景；

所述显示模块，用于在所述观看终端的第一显示界面显示所述虚拟场景；

所述显示模块还用于在所述观看终端的第二显示界面显示所述实体直播对象和所述虚拟直播对象；所述第二显示界面置于所述第一显示界面上层；

所述第一处理模块，还用于根据用户的需求对所述第一显示界面显示的虚拟场景进行设置。

10.一种直播视频获取装置，其特征在于，应用于直播提供系统，所述直播提供系统与直播的观看终端通信连接，所述直播视频获取装置包括：获取模块、第二处理模块和通信模块；

所述获取模块，用于采集所述直播的实体直播对象的第一视频信号；

所述获取模块还用于获取所述直播的虚拟直播对象的第二视频信号；所述第二视频信号包括所述虚拟直播对象的身体动作信息和面部表情信息；

所述第二处理模块，用于根据所述第一视频信号和所述第二视频信号，获取直播视频流；

所述通信模块，用于将所述直播视频流发送至所述观看终端，以使所述观看终端解析所述直播视频流以显示所述实体直播对象、所述虚拟直播对象以及所述虚拟直播对象所处的虚拟场景，所述虚拟场景显示在所述观看终端的第一显示界面，所述实体直播对象、所述虚拟直播对象显示在所述观看终端的第二显示界面，所述第二显示界面置于所述第一显示界面上层；

所述第二处理模块，还用于根据主播的需求对所述第一显示界面显示的虚拟场景进行调整。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4中任一项所述的方法或权利要求5-8中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时以实现权利要求1-4中任一项所述的方法或权利要求5-8中任一项所述的方法。

Images