CN111263178A - 直播方法、装置、用户端及存储介质 - Google Patents

Abstract

本申请提出一种直播方法、装置、用户端及存储介质，涉及互联网技术领域，在显示屏幕的第一显示区域播放当前视频帧时，通过获取当前视频帧对应的当前骨骼动作信息，以获取到当前视频帧中目标对象的动作轨迹，从而根据该当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息；相比于现有技术，能够当显示屏幕的第一显示区域连续播放多个视频帧时，第二显示区域可以连续地同步显示在播放每一视频帧时与叠加模型匹配的显示信息，使得叠加模型可以动态的模拟视频帧中目标对象的动作，提升模拟效果。

Description

直播方法、装置、用户端及存储介质

技术领域

本申请涉及互联网技术领域，具体而言，涉及一种直播方法、装置、用户端及存储介质。

背景技术

在网络直播领域，利用AR(Augmented Reality，增强现实)技术，能够将主播的直播界面与观众的现实场景相结合，从而能够增强用户观看网络直播的乐趣，以提升用户的观看体验。

其中，在利用AR技术进行网络直播的场景中，可以在影射的AR场景中添加一些虚拟的叠加模型，以模拟例如网络主播等角色。

然而，目前添加的虚拟的叠加模型仅能够完成一些固定的动作，而无法完整的模拟对应角色的动作，模拟效果较差。

发明内容

本申请的目的在于提供一种直播方法、装置、用户端及存储介质，能够当显示屏幕的第一显示区域连续播放多个视频帧时，第二显示区域可以连续地同步显示在播放每一视频帧时与叠加模型匹配的显示信息，使得叠加模型可以动态的模拟视频帧中目标对象的动作，提升模拟效果。

为了实现上述目的，本申请采用的技术方案如下：

第一方面，本申请提供一种直播方法，所述方法包括：

在显示屏幕的第一显示区域播放当前视频帧时，获取所述当前视频帧对应的当前骨骼动作信息；其中，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹；

根据所述当前骨骼动作信息，在所述显示屏幕的第二显示区域上同步显示与所述当前骨骼动作信息匹配的叠加模型显示信息。

第二方面，本申请提供一种直播装置，所述装置包括：

处理模块，用于在显示屏幕的第一显示区域播放当前视频帧时，获取所述当前视频帧对应的当前骨骼动作信息；其中，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹；

显示模块，用于根据所述当前骨骼动作信息，在所述显示屏幕的第二显示区域上同步显示与所述当前骨骼动作信息匹配的叠加模型显示信息。

第三方面，本申请提供一种用户端，所述用户端包括存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现上述的直播方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的直播方法。

本申请提供的一种直播方法、装置、用户端及存储介质，在显示屏幕的第一显示区域播放当前视频帧时，通过获取当前视频帧对应的当前骨骼动作信息，以获取到当前视频帧中目标对象的动作轨迹，从而根据该当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息；相比于现有技术，能够当显示屏幕的第一显示区域连续播放多个视频帧时，第二显示区域可以连续地同步显示在播放每一视频帧时与叠加模型匹配的显示信息，使得叠加模型可以动态的模拟视频帧中目标对象的动作，提升模拟效果。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出显示屏幕的一种示意图；

图2示出本申请提供的直播方法的一种示意性应用场景图；

图3示出本申请提供的用户端的一种示意性结构框图；

图4示出本申请提供的直播方法的一种示意性流程图；

图5示出显示屏幕的另一种示意图；

图6示出图4中步骤203的子步骤的一种示意性流程图；

图7示出图4中步骤203的子步骤的另一种示意性流程图；

图8示出图7中步骤205的子步骤的一种示意性流程图；

图9示出图8中步骤205-2的子步骤的一种示意性流程图；

图10示出本申请提供的直播方法的另一种示意性流程图；

图11示出本申请提供的直播方法的再一种示意性流程图；

图12示出本申请提供的直播装置的一种示意性流程图。

图中：100-用户端；101-存储器；102-处理器；103-存储控制器；104-外设接口；105-射频单元；106-通讯总线/信号线；107-摄像单元；108-显示单元；300-直播装置；301-处理模块；302-显示模块。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的一些实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请选定的一些实施例。基于本申请中的一部分实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

结合图1所示，在例如上述的利用AR技术进行网络直播的场景中，当用户在结合现实场景观看网络直播时，用户端可以在拍摄的现实场景中虚拟一叠加模型，以利用该叠加模型模拟网络主播。

然而，在目前的直播方案中，例如图1中的叠加模型仅能够完成一些固定的动作，比如站立、以固定的姿势摆动等等，而无法完成的模拟例如网络主播等对应角色当前在执行的动作，模拟效果较差。

为此，基于上述缺陷，本申请提供的一种可能的实现方式为：在显示屏幕的第一显示区域播放当前视频帧时，通过获取当前视频帧对应的当前骨骼动作信息，以获取到当前视频帧中目标对象的动作轨迹，从而根据该当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息；使得当显示屏幕的第一显示区域连续播放多个视频帧时，第二显示区域可以连续地同步显示在播放每一视频帧时与叠加模型匹配的显示信息，即叠加模型可以动态的模拟视频帧中目标对象的动作，提升模拟效果。

请参阅图2，图2示出本申请提供的直播方法的一种示意性应用场景图，在本申请的一些实施例中，服务器与用户端位于无线网络或有线网络中，通过该无线网络或有线网络，服务器与用户端进行数据交互。

在本申请的一些实施例中，用户端可采用移动终端设备，例如可以包括智能手机、平板电脑、穿戴式移动终端等等。

本申请提供的一种场景处理方法，可以应用于如图1所示的用户端，该用户端中安装有应用程序，与服务器相对应，用于为用户提供服务，本申请提供的直播方法可以通过该用户端中安装的应用程序实现。

比如，该用户端中可以安装有用于提供网络直播服务的应用程序，用户端在启动该应用程序后，能够接收服务器发送的视频直播码流以及骨骼动作信息，并通过执行本申请提供的直播方法所述的各个步骤，使得用户端可以对接收的视频直播码流以及骨骼动作信息进行处理并在显示屏幕上进行显示后，用户可以通过显示屏幕观看到在现实场景下叠加模型与视频直播码流相配合的网络直播。

请参阅图3，图3示出本申请提供的用户端100的一种示意性结构框图，在一实施例中，该用户端100可以包括存储器101、一个或多个(图中仅示出一个)处理器102、存储控制器103、外设接口104、射频单元105、摄像单元107、显示单元108等。这些组件通过一条或多条通讯总线/信号线106相互通讯。

存储器101可用于存储软件程序以及模组，如本申请提供的直播装置对应的程序指令/模组，处理器102通过运行存储在存储器101内的软件程序以及模组，从而执行各种功能应用以及图像处理等，以实现本申请提供的直播方法。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。上述的处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。可以实现或者执行本申请的一些实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器102也可以是任何常规的处理器等。

外设接口104将各种输入/输入装置耦合至处理器102以及存储器101。在一些实施例中，外设接口104、处理器102以及存储控制器103可以在单个芯片中实现。在本申请其他的一些实施例中，他们还可以分别由独立的芯片实现。

射频单元105用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

摄像单元107用于拍摄图片，以使处理器102对拍摄的照片进行处理；比如摄像单元107可以用于拍摄现实场景的图片，使得处理器102对现实场景的图片以及视频直播码流进行处理后，得到处于现实场景中的主播界面的视频直播码流。

显示单元108用于为用户提供图形输出界面，显示图像信息，以供用户观看处于现实场景的主播界面。

当然，可以理解的是，图3所示的结构仅为示意，用户端100还可以包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。

下面以图3所示的用户端100作为示意性执行主体，对本申请提供的直播方法进行示意性说明。

请参阅图4，图4示出本申请提供的直播方法的一种示意性流程图，可以包括以下步骤：

步骤201，显示屏幕的第一显示区域播放当前视频帧；

步骤203，获取当前视频帧对应的当前骨骼动作信息；

步骤205，根据当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息。

在一实施例中，用户端的显示屏幕可以包括有第一显示区域和第二显示区域；例如，结合图1所示，第一显示区域可以为显示屏幕中用于播放视频帧的区域，第二显示区域可以为显示屏幕中用于显示叠加模型的区域。

其中，需要说明的是，显示屏幕的第一显示区域与第二显示区域可以不存在重叠区域，也可以存在至少部分重叠区域；比如结合图1所示，当第一显示区域仅包括显示直播界面的区域，且第二显示区域仅包括显示叠加模型的区域时，第一显示区域与第二显示区域即不存在重叠区域；或者，当第一区域显示包括显示屏幕的所有显示区域，而第二显示区域仅包括显示叠加模型的区域时，第一显示区域与第二显示区域即可能存在重叠区域。

如此，当用户端接收到视频帧时，比如持续接收到服务器发送的直播码流，用户端可以利用显示屏幕中的第一显示区域，以播放接收到的每一视频帧。

其中，当显示屏幕的第一显示区域播放有当前视频帧时，用户端可以通过在AR场景中加载叠加模型，并通过显示屏幕的第二显示区域对该叠加模型进行显示，从而在用户端的显示屏幕播放如图1所示的画面。

可以理解的是，在采用前述方案加载叠加模型后得到的如图1所示的画面中，叠加模型可以默认保持静止状态，或者是以固定的动态信息进行显示，使得显示屏幕连续的显示多帧图像时，叠加模型在显示屏幕上以固定的姿势保持摆动。

另外，用户端还可以保存有多个骨骼动作信息，每一骨骼动作信息与一视频帧对应，比如，骨骼动作信息与视频帧之间可以通过各自携带的显示时间戳(presentationtime stamp，pts)进行对应关联，即：携带有相同pts的骨骼动作信息与视频帧存在对应关系；并且，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹。

例如，以图2所示场景进行说明，可以在服务器侧，由服务器对视频码流中的每一视频帧进行处理，从而由服务器识别每一视频帧中目标对象一些设定的骨骼点在视频帧中位置，进而获得每一视频帧中表征目标对象动作轨迹的骨骼动作信息，然后由服务器将该骨骼动作信息发送给用户端，由用户端保存在本地。

需要说明的是，上述仅为举例说明，采用时间戳的方式建立视频帧与骨骼动作信息两者的对应关系；在本申请其他一些可能的实现方式，还可以采用例如标识序列号等其他方式建立视频帧与骨骼动作信息两者的对应关系，本申请对此不进行限定。

如此，当采用例如上述方案使得显示屏幕的第一显示区域播放有当前视频帧时，用户端可以获取当前视频帧对应的当前骨骼动作信息，比如通过查找前述方式保存在用户端本地的所有骨骼动作信息，从而获取到该当前骨骼动作信息；然后根据该当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息。

可见，基于上述设计，本申请提供的直播方法，在显示屏幕的第一显示区域播放当前视频帧时，通过获取当前视频帧对应的当前骨骼动作信息，以获取到当前视频帧中目标对象的动作轨迹，从而根据该当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息；相比于现有技术，能够当显示屏幕的第一显示区域连续播放多个视频帧时，第二显示区域可以连续地同步显示在播放每一视频帧时与叠加模型匹配的显示信息，使得叠加模型可以动态的模拟视频帧中目标对象的动作，提升模拟效果。

需要说明的是，结合图1及图5所示，在本申请所述的直播方法中，叠加模型包括有两种状态，比如可以定义图1中的叠加模型所处的状态为待机状态，处于待机状态下的叠加模型，显示屏幕的第二显示区域没有同步显示与第一显示区域播放的视频帧匹配的显示信息；另外，可以定义图5中的叠加模型所处的状态为跳舞状态，处于跳舞状态下的叠加模型，显示屏幕的第二显示区域同步显示的有与第一显示区域播放的视频帧匹配的显示信息。

因此，在图4的基础上，请参阅图6，图6示出图4中步骤203的子步骤的一种示意性流程图，作为一种可能的实现方式，当用户端确定叠加模型处于例如图5所示的跳舞状态时，步骤203可以包括以下子步骤：

步骤203-1，将具有与当前视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息。

在一实施例中，用户端可以采用例如上述获取显示时间戳的方式，获取视频帧与骨骼动作信息的关联关系；如此，当用户端确定叠加模型处于跳舞状态时，用户端可以获取第一显示区域播放的当前视频帧的时间戳，从而将具有与该当前视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息，从而使得多个视频帧在第一显示区域连续播放时，第二显示区域连续显示的叠加模型的显示信息能够与每一视频帧分别对应匹配；如此，第二显示区域即可连续显示叠加模型与视频帧中的目标对象匹配的显示信息，比如连续模拟目标对象的动作。

另一方面，在图4的基础上，请参阅体图7，图7示出图4中步骤203的子步骤的另一种示意性流程图，作为另一种可能的实现方式，当用户端确定叠加模型处于例如图1所示的待机状态时，步骤203可以包括以下子步骤：

步骤203-5，将时间戳在当前视频帧之后的第N帧确定为目标视频帧。

步骤203-6，将具有与目标视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息。

在一实施例中，叠加模型同步产生与当前骨骼动态信息匹配的显示信息可以由用户输入的同步指令触发，即：当用户端接收用户输入的同步指令后，用户端即可以根据第一显示区域播放的当前视频帧所对应的当前骨骼动作信息，在第二显示区域显示的处于待机状态的叠加模型显示信息，调整为同步显示与当前骨骼动作信息匹配的叠加模型显示信息。

然而，在一些可能的实现方式中，在第二显示区域加载显示的有叠加模型之前，或者是叠加模型在处于待机状态时，视频帧中的目标对象即存在运动信息，从用户侧的视觉来看，即视频帧中的目标对象处于运动的状态；因此，当显示屏幕的第二显示区域所显示叠加模型，由显示待机状态时的显示信息切换为显示与当前骨骼动作信息相匹配的显示信息时，显示屏幕连续的两帧中，第二显示区域所显示的叠加模型动作变化幅度可能较大。

为此，在一实施例中，当叠加模型处于待机状态时，若用户端执行步骤201，则用户端可以先根据所有视频帧中每一视频帧的时间戳的先后顺序，将时间戳在当前视频帧之后的第N帧确定为目标视频帧，比如可以选择将当前视频帧的后第12帧确定为目标视频帧；然后将具有与目标视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息。

如此，当叠加模型由待机状态切换至跳舞状态时，假设连续的两帧视频帧间的时间间隔为M秒，则用户端具有M*N秒的冗余时间，将第二显示区域所显示的叠加模型，平滑地由显示的待机状态过渡切换至显示与当前骨骼动作信息相匹配的显示状态。

需要说明的是，在例如ARKit的环境中，物体的旋转时遵循的规律为依次旋转X方向、Y方向、Z方向的旋转角度；然而，这种旋转操作可能会导致叠加模型在由待机状态切换至跳舞状态时，叠加模型的例如上下两端可能会出现翻转等奇异效果，而使得叠加模型的显示信息与目标对象的动作不符。

为此，在图7的基础上，请参阅图8，图8示出图7中步骤205的子步骤的一种示意性流程图，作为一种可能的实现方式，步骤205可以包括以下子步骤：

步骤205-1，根据当前骨骼动作信息，确定出叠加模型中多个骨骼点各自对应的YXZ旋转角；

步骤205-2，在第二显示区域上，显示多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后叠加模型的显示信息。

在一实施例中，用户端在对叠加模型的状态进行旋转处理时，可以先根据当前骨骼动作信息，计算出叠加模型中多个骨骼点各自对应的YXZ旋转角，该YXZ旋转角表征叠加模型依次在Y方向、X方向以及Z方向上进行旋转的角度，即：在申请所述的方案中，叠加模型的旋转不再按照X方向、Y方向、Z方向的顺序进行旋转处理，而是按照Y方向、X方向、Z方向的顺序进行旋转处理。

然后，用户端再按照多个骨骼点中每一骨骼点各自对应的YXZ旋转角，分别对每一骨骼点进行旋转处理后，用户端可以在第二显示区域上，显示多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后叠加模型的显示信息，从而使叠加模型在由待机状态切换至跳舞状态时，叠加模型不会产生奇异状态。

另外，用户端在按照多个骨骼点各自对应的YXZ旋转角进行旋转处理时，由于采用了平滑过渡的处理方式，将第二显示区域显示的叠加模型由待机状态调整为跳舞状态，使得每一骨骼点宣传处理的YXZ旋转角较大。

为此，在图8的基础上，请参阅图9，图9示出图8中步骤205-2的子步骤的一种示意性流程图，作为一种可能的实现方式，步骤205-2可以包括以下子步骤：

步骤205-2a，对多个骨骼点中每一骨骼点各自对应的YXZ旋转角进行切片处理，得到每一骨骼点各自对应的多个YXZ旋转信息；

步骤205-2b，将叠加模型按照多个YXZ旋转信息进行连续旋转后对应得到的多个中间显示信息，依次在第二显示区域上进行显示。

在一实施例中，用户端在执行步骤205-2时，可以结合上述的冗余时间M*N秒，对多个骨骼点钟每一骨骼点各自对应的YXZ旋转角进行切片处理，从而得到每一骨骼点各自对应的多个YXZ旋转信息。

然后，用户端可以按照每一骨骼点各自对应的多个YXZ旋转信息，将叠加模型包括的多个骨骼点中的全部骨骼点，均按照对应的YXZ旋转信息旋转后，得到叠加模型在每一YXZ旋转信息下的状态信息，并将此作为中间显示信息，从而使第二显示区域依次显示得到的多个中间显示信息。

比如，假设叠加模型旋转的骨骼点为Q个，在切片处理后，每一骨骼点各自得到N个YXZ旋转信息，将所有的YXZ旋转信息按照时间序列进行组合，即得到N组YXZ旋转策略，每一组YXZ旋转策略包括Q个YXZ旋转信息；然后，可以将每一组YXZ旋转策略中每一YXZ旋转信息转换成对应的旋转矩阵，并将该旋转矩阵按照YXZ-角度等维度，转换为四元数值进行记录，并将每一组YXZ旋转策略包含的所有YXZ旋转信息按照一个四元数值组进行记录，从而得到N组四元数值组；如此，用户端可以按照每一组YXZ旋转策略，将叠加模型依次旋转处理N次，从而得到N个中间显示信息，并在第二显示区域依次显示N个中间显示信息，从而减小过渡处理时对叠加模型进行旋转的角度。

另外，在图4的基础上，请参阅图10，图10示出本申请提供的直播方法的另一种示意性流程图，作为一种可能的实现方式，在执行步骤203之前，该直播方法还可以包括以下步骤：

步骤202，将接收的骨骼动作信息保存到创建的缓冲池对象中。

如上所述，为了使第二显示区域显示的叠加模型的显示信息能够与第一显示区域显示的视频帧相匹配，需要按照第一显示区域播放的当前视频帧，采用例如上述的匹配时间戳的方式，获得与当前视频帧对应的当前骨骼动作信息。

因此，在一实施例中，用户端可以创建一缓冲池对象，该缓冲池对象可以用于保存骨骼动作信息，当用户端接收到例如服务器发送的骨骼动作信息时，用户端即将接收到的骨骼动作信息保存到该缓冲池对象中；如此，当在执行步骤203时，用户端即可采用例如上述的方案，根据当前视频帧的时间戳，在缓冲池对象中，能够快速的获取与当前视频帧对应的当前骨骼动作信息。

另外，在一些可能的场景中，用户存在停止模拟视频帧中目标对象的可能；因此，在图4的基础上，请参阅图11，图11示出本申请提供的直播方法的再一种示意性流程图，作为一种可能的实现方式，该直播方法还可以包括以下步骤：

步骤206，在接收到静止指令后，在第二显示区域上显示设定的叠加模型显示信息。

在一实施例中，用户端可以通过接收用户的静止指令的方式，确定用户需要停止模拟视频帧中目标对象，此时用户端可以将显示屏幕的第二显示区域设置为显示设定的叠加模型显示信息，比如可以将第二显示区域上显示的例如图5示出的处于跳舞状态的叠加模型，调整为显示例如图1示出的处于待机状态的叠加模型。

其中，可以理解的是，在将第二显示区域显示的处于跳舞状态的叠加模型，调整为显示处于待机状态的叠加模型时，可以按照例如步骤203的方式进行调整，从而使第二显示区域能够将处于跳舞状态的叠加模型，平滑过渡至处于待机状态的叠加模型。

并且，基于与本申请提供的上述直播方法相同的发明构思，请参阅图12，图12示出本申请提供的直播装置300的一种示意性流程图，该直播装置300包括处理模块301及显示模块302；其中：

处理模块301，用于在显示屏幕的第一显示区域播放当前视频帧时，获取当前视频帧对应的当前骨骼动作信息；其中，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹；

显示模块302，用于根据当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息。

可选地，作为一种可能的实现方式，当叠加模型处于待机状态时，处理模块301在获取当前视频帧对应的当前骨骼动作信息时，具体用于：

将时间戳在当前视频帧之后的第N帧确定为目标视频帧；

将具有与目标视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息。

可选地，作为一种可能的实现方式，显示模块302在根据当前骨骼动作信息，在显示屏幕的第二显示区域上同步显示与当前骨骼动作信息匹配的叠加模型显示信息时，具体用于：

根据当前骨骼动作信息，确定出叠加模型中多个骨骼点各自对应的YXZ旋转角；其中，YXZ旋转角表征叠加模型依次在Y方向、X方向以及Z方向上进行旋转的角度；

在第二显示区域上，显示多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后叠加模型的显示信息。

可选地，作为一种可能的实现方式，显示模块302在第二显示区域上，显示多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后叠加模型的显示信息时，具体用于：

对多个骨骼点中每一骨骼点各自对应的YXZ旋转角进行切片处理，得到每一骨骼点各自对应的多个YXZ旋转信息；

将叠加模型按照多个YXZ旋转信息进行连续旋转后对应得到的多个中间显示信息，依次在第二显示区域上进行显示；其中，每一中间显示信息为多个骨骼点中的全部骨骼点，按照对应的YXZ旋转信息旋转后得到的叠加模型的状态信息。

可选地，作为一种可能的实现方式，当叠加模型处于跳舞状态时，处理模块301在获取目标视频帧对应的当前骨骼动作信息时，具体用于：

将具有与当前视频帧相同时间戳的骨骼动作信息，确定为当前视频帧对应的当前骨骼动作信息。

可选地，作为一种可能的实现方式，处理模块301在获取当前视频帧对应的当前骨骼动作信息之前，还用于：

将接收的骨骼动作信息保存到创建的缓冲池对象中；

处理模块301在获取当前视频帧对应的当前骨骼动作信息时，具体用于：

在缓冲池对象中获取当前视频帧对应的当前骨骼动作信息。

可选地，作为一种可能的实现方式，显示模块302还用于：

在接收到静止指令后，在第二显示区域上显示设定的叠加模型显示信息。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的一些实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请的一些实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请的一些实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的部分实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种直播方法，其特征在于，所述方法包括：

在显示屏幕的第一显示区域播放当前视频帧时，获取所述当前视频帧对应的当前骨骼动作信息；其中，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹；

根据所述当前骨骼动作信息，在所述显示屏幕的第二显示区域上同步显示与所述当前骨骼动作信息匹配的叠加模型显示信息。

2.如权利要求1所述的方法，其特征在于，当所述叠加模型处于待机状态时，获取所述当前视频帧对应的当前骨骼动作信息的步骤，包括：

将时间戳在所述当前视频帧之后的第N帧确定为目标视频帧；

将具有与所述目标视频帧相同时间戳的骨骼动作信息，确定为所述当前视频帧对应的所述当前骨骼动作信息。

3.如权利要求2所述的方法，其特征在于，根据所述当前骨骼动作信息，在所述显示屏幕的第二显示区域上同步显示与所述当前骨骼动作信息匹配的叠加模型显示信息的步骤，包括：

根据所述当前骨骼动作信息，确定出所述叠加模型中多个骨骼点各自对应的YXZ旋转角；其中，所述YXZ旋转角表征所述叠加模型依次在Y方向、X方向以及Z方向上进行旋转的角度；

在所述第二显示区域上，显示所述多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后所述叠加模型的显示信息。

4.如权利要求3所述的方法，其特征在于，在所述第二显示区域上，显示所述多个骨骼点中每一骨骼点按照各自对应的YXZ旋转角旋转后所述叠加模型的显示信息的步骤，包括：

对所述多个骨骼点中每一骨骼点各自对应的YXZ旋转角进行切片处理，得到每一骨骼点各自对应的多个YXZ旋转信息；

将所述叠加模型按照所述多个YXZ旋转信息进行连续旋转后对应得到的多个中间显示信息，依次在所述第二显示区域上进行显示；其中，每一中间显示信息为所述多个骨骼点中的全部骨骼点，按照对应的YXZ旋转信息旋转后得到的所述叠加模型的状态信息。

5.如权利要求1所述的方法，其特征在于，当所述叠加模型处于跳舞状态时，获取所述当前视频帧对应的当前骨骼动作信息的步骤，包括：

将具有与所述当前视频帧相同时间戳的骨骼动作信息，确定为所述当前视频帧对应的所述当前骨骼动作信息。

6.如权利要求1所述的方法，其特征在于，在获取所述当前视频帧对应的当前骨骼动作信息的步骤之前，所述方法还包括：

将接收的骨骼动作信息保存到创建的缓冲池对象中；

获取所述当前视频帧对应的当前骨骼动作信息的步骤，包括：

在所述缓冲池对象中获取所述当前视频帧对应的所述当前骨骼动作信息。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到静止指令后，在所述第二显示区域上显示设定的叠加模型显示信息。

8.一种直播装置，其特征在于，所述装置包括：

处理模块，用于在显示屏幕的第一显示区域播放当前视频帧时，获取所述当前视频帧对应的当前骨骼动作信息；其中，每一骨骼动作信息表征对应视频帧中目标对象的动作轨迹；

显示模块，用于根据所述当前骨骼动作信息，在所述显示屏幕的第二显示区域上同步显示与所述当前骨骼动作信息匹配的叠加模型显示信息。

9.一种用户端，其特征在于，包括：

存储器，用于存储一个或多个程序；

处理器；

当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images