CN113660503A - 同屏互动控制方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种同屏互动控制方法及装置、电子设备、存储介质，涉及计算机技术领域。该同屏互动控制方法包括：确定应答发起请求的同屏互动接受方；调用与发起请求对应的虚拟场景模板，并建立与虚拟场景模板对应的目标虚拟场景实例；获取第一关键图像和与同屏互动接受方对应的第二关键图像；通过目标虚拟场景实例对第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景，并生成同屏互动场景对应的同屏直播视频流；将同屏直播视频流发送至服务端，以通过服务端将同屏直播视频流同步至直播客户端。本公开实施例的技术方案可以实现多个同屏互动参与方能够在同一个虚拟场景中进行同屏互动。

Description

同屏互动控制方法及装置、电子设备、存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种同屏互动控制方法、同屏互动控制装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，直播活动越来越多样化，特别是基于虚拟场景的直播活动越来越受欢迎。如何提高虚拟直播场景中交互活动的多样性，成为直播领域的新挑战。

然而，在相关的虚拟直播场景中，同一时间内只能渲染一个场景实例，无法实现多个主播在相同虚拟场景中进行同屏互动，以及用户和多个直播间的主播进行互动，使得虚拟直播场景中的互动形式较单一，用户在虚拟直播场景中的交互体验较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种同屏互动控制方法、同屏互动控制装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服虚拟直播场景中无法实现多人同屏，以及互动形式单一的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种同屏互动控制方法，包括：响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；通过所述目标虚拟场景实例对所述第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

在本公开的一些示例实施例中，基于前述方案，所述虚拟场景模板包括关键图像拼合逻辑和虚拟场景渲染数据。

在本公开的一些示例实施例中，基于前述方案，所述建立与所述虚拟场景模板对应的目标虚拟场景实例，包括：复制用于播放第一直播视频流的第一虚拟场景实例，得到第二虚拟场景实例；基于所述第二虚拟场景实例，并按照所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据建立目标虚拟场景实例。

在本公开的一些示例实施例中，基于前述方案，所述获取第一关键图像和与所述同屏互动接受方对应的第二关键图像，包括：对第一直播视频流进行锁帧处理，得到第一空闲帧，并获取所述同屏互动接受方对应的第二空闲帧；基于所述目标虚拟场景实例提取所述第一空闲帧中的所述第一关键图像，以及提取所述第二空闲帧中的所述第二关键图像。

在本公开的一些示例实施例中，基于前述方案，所述通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，包括：基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理；结合所述虚拟场景渲染数据对拼合处理的结果进行渲染处理，得到同屏互动场景。

在本公开的一些示例实施例中，基于前述方案，所述基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理，包括：基于所述目标虚拟场景实例，按照所述关键图像拼合逻辑确定所述第一关键图像的第一互动位置坐标，以及所述第二关键图像的第二互动位置坐标；通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理。

在本公开的一些示例实施例中，基于前述方案，所述通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理，包括：识别所述第一关键图像的第一姿势数据，以及识别所述第二关键图像的第二姿势数据；确定所述第一互动位置坐标的第一轮廓数据，以及所述第二互动位置坐标的第二轮廓数据；在检测到所述第一姿势数据与所述第一轮廓数据匹配时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二姿势数据与所述第二轮廓数据匹配时，将所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理，包括：读取所述第一关键图像在所述第一虚拟场景实例中的第一初始位置坐标，以及所述第二关键图像在同屏互动接受方的初始虚拟场景实例中的第二初始位置坐标；在检测到所述第一初始位置坐标与所述第一互动位置坐标相同时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二初始位置坐标与所述第二互动位置坐标不相同时，对所述第二关键图像进行缩放处理，并将缩放处理后的所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述方法还包括：读取所述虚拟场景模板中的新增虚拟道具数据，并将所述新增虚拟道具数据对应的虚拟道具渲染至所述同屏互动场景中；对所述虚拟道具，以及所述第一关键图像和所述第二关键图像进行边缘缝合处理，并对缝合处理后的所述同屏互动场景添加标准滤镜效果。

在本公开的一些示例实施例中，基于前述方案，所述生成同屏互动场景对应的同屏直播视频流，包括：采集第一音频数据流，以及获取所述同屏互动接受方的第二音频数据流；通过所述目标虚拟场景实例将所述第一音频数据流以及所述第二音频数据流同步至所述同屏互动场景中，生成所述同屏互动场景对应的同屏直播视频流。

在本公开的一些示例实施例中，基于前述方案，所述方法还包括：识别交互操作，并确定所述交互操作对应的交互结果；读取所述同屏互动场景中所述交互结果的展示类型数据；在检测到所述展示类型数据为单独展示类型数据时，确定响应所述交互操作对应的目标主播标识，并将所述交互结果以及所述单独展示类型数据和所述目标主播标识发送至所述服务端，以使所述服务端向所述目标主播标识关联的直播客户端展示所述交互结果。

在本公开的一些示例实施例中，基于前述方案，所述方法还包括：在检测到所述展示类型数据为同屏展示类型数据时，将所述交互结果以及所述同屏展示类型数据发送至所述服务端，以使所述服务端向所述同屏互动场景中所述主播关联的直播客户端展示所述交互结果。

根据本公开实施例的第二方面，提供了一种同屏互动控制装置，包括：同屏互动请求模块，用于响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；目标虚拟场景实例建立模块，用于调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；关键图像获取模块，用于获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；同屏互动场景生成模块，用于通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；同屏直播视频流发送模块，用于将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置包括虚拟场景模板调用单元，所述虚拟场景调用单元用于调用所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据。

在本公开的一些示例实施例中，基于前述方案，所述目标虚拟场景实例建立模块还包括目标虚拟场景实例建立单元，所述目标虚拟场景实例建立单元，用于复制用于播放第一直播视频流的第一虚拟场景实例，得到第二虚拟场景实例；基于所述第二虚拟场景实例，并按照所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据建立目标虚拟场景实例。

在本公开的一些示例实施例中，基于前述方案，所述关键图像获取模块还包括关键图像获取单元，所述关键图像获取单元，用于对第一直播视频流进行锁帧处理，得到第一空闲帧，并获取所述同屏互动接受方对应的第二空闲帧；基于所述目标虚拟场景实例提取所述第一空闲帧中的所述第一关键图像，以及提取所述第二空闲帧中的所述第二关键图像。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动场景生成模块包括同屏互动场景生成单元，所述同屏互动场景生成单元，用于基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理；结合所述虚拟场景渲染数据对拼合处理的结果进行渲染处理，得到同屏互动场景。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动场景生成模块还包括关键图像拼合单元，所述关键图像拼合单元，用于基于所述目标虚拟场景实例，按照所述关键图像拼合逻辑确定第一关键图像的第一互动位置坐标，以及第二关键图像的第二互动位置坐标；通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置还包括数据匹配模块，所述数据匹配模块，用于识别所述第一关键图像的第一姿势数据，以及识别所述第二关键图像的第二姿势数据；确定所述第一互动位置坐标的第一轮廓数据，以及所述第二互动位置坐标的第二轮廓数据；在检测到所述第一姿势数据与所述第一轮廓数据匹配时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二姿势数据与所述第二轮廓数据匹配时，将所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置还包括数据检测模块，所述数据检测模块，用于读取所述第一关键图像在所述第一虚拟场景实例中的第一初始位置坐标，以及所述第二关键图像在同屏互动接受方的初始虚拟场景实例中的第二初始位置坐标；在检测到所述第一初始位置坐标与所述第一互动位置坐标相同时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二初始位置坐标与所述第二互动位置坐标不相同时，对所述第二关键图像进行缩放处理，并将缩放处理后的所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置还包括图像处理模块，所述图像处理模块，用于读取所述虚拟场景模板中的新增虚拟道具数据，并将所述新增虚拟道具数据对应的虚拟道具渲染至所述同屏互动场景中；对所述虚拟道具，以及所述第一关键图像和所述第二关键图像进行边缘缝合处理，并对缝合处理后的所述同屏互动场景添加标准滤镜效果。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置还包括同屏直播视频流生成模块，所述同屏直播视频流生成模块，用于采集第一音频数据流，以及获取所述同屏互动接受方的第二音频数据流；将所述第一音频数据流以及所述第二音频数据流同步至所述目标虚拟场景实例中，生成所述同屏互动场景对应的同屏直播视频流。

在本公开的一些示例实施例中，基于前述方案，同屏直播视频流发送模块还包括展示类型数据检测模块，所述展示类型数据检测模块，用于识别交互操作，并确定所述交互操作对应的交互结果；读取所述同屏互动场景中所述交互结果的展示类型数据；在检测到所述展示类型数据为单独展示类型数据时，确定响应所述交互操作对应的目标主播标识，并将所述交互结果以及所述单独展示类型数据和所述目标主播标识发送至所述服务端，以使所述服务端向所述目标主播标识关联的直播客户端展示所述交互结果。

在本公开的一些示例实施例中，基于前述方案，同屏直播视频流发送模块还包括同屏展示类型数据确定单元，所述同屏展示类型数据确定单元，用于在检测到所述展示类型数据为同屏展示类型数据时，将所述交互结果以及所述同屏展示类型数据发送至所述服务端，以使所述服务端向所述同屏互动场景中所述主播关联的直播客户端展示所述交互结果。

根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意一项所述的同屏互动控制方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的同屏互动控制方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开的示例实施例中的同屏互动控制方法，响应同屏互动的发起请求，并确定应答发起请求的同屏互动接受方；调用与发起请求对应的虚拟场景模板，并建立与虚拟场景模板对应的目标虚拟场景实例；获取第一关键图像和与同屏互动接受方对应的第二关键图像；通过目标虚拟场景实例对第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景，并生成与同屏互动场景对应的同屏直播视频流；将同屏直播视频流发送至服务端，以通过服务端将同屏直播视频流同步至直播客户端。一方面，可以调用与同屏互动的发起请求对应虚拟场景模板，并建立与虚拟场景模板对应的目标虚拟场景实例，以及通过目标虚拟场景实例对第一关键图像和第二关键图像进行拼合，生成同屏互动场景，进而渲染得到多个同屏互动参与方在同一个虚拟场景中进行同屏互动的画面，提高了虚拟直播场景的多样性；另一方面，可以生成同屏直播视频流，并通过服务端将同屏直播视频流同步至直播客户端，直播客户端的用户可以在同一时间观看同屏互动场景中的多个参与方的直播，提高了用户观看虚拟直播场景的使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的一些实施例的同屏互动控制方法流程的示意图；

图2示意性示出了根据本公开的一些实施例的目标虚拟场景实例建立方法流程的示意图；

图3示意性示出了根据本公开的一些实施例的目标虚拟场景实例生成方法流程的示意图；

图4示意性示出了根据本公开的一些实施例的同屏互动场景生成方法流程的示意图；

图5示意性示出了根据本公开的一些实施例的关键图像拼合方法流程的示意图；

图6示意性示出了根据本公开的一些实施例的另一关键图像拼合方法流程的示意图；

图7示意性示出了根据本公开的一些实施例的同屏互动场景处理方法流程的示意图；

图8示意性示出了根据本公开的一些实施例的交互结果处理方法流程的示意图；

图9示意性示出了根据本公开的一些实施例的同屏互动控制装置的示意图；

图10示意性示出了根据本公开的一些实施例的电子设备的计算机系统的结构示意图；

图11示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

此外，附图仅为示意性图解，并非一定是按比例绘制。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种同屏互动控制方法，该同屏互动控制方法可以应用于终端设备，例如，电脑终端。图1示意性示出了根据本公开的一些实施例的同屏互动控制方法流程的示意图。参考图1所示，该同屏互动控制方法可以包括以下步骤：

在步骤S110中，响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；

在步骤S120中，调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；

在步骤S130中，获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；

在步骤S140中，通过所述目标虚拟场景实例对所述第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；

在步骤S150中，将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

根据本示例实施例中的同屏互动控制方法，一方面，可以调用与同屏互动的发起请求对应虚拟场景模板，并建立与虚拟场景模板对应的目标虚拟场景实例，以及通过目标虚拟场景实例对第一关键图像和第二关键图像进行拼合，生成同屏互动场景，进而渲染得到多个同屏互动参与方在同一个虚拟场景中进行同屏互动的画面，提高了虚拟直播场景的多样性；另一方面，可以生成同屏直播视频流，并通过服务端将同屏直播视频流同步至直播客户端，直播客户端的用户可以在同一时间观看同屏互动场景中的多个参与方的直播，提高了用户观看虚拟直播场景的使用体验。

下面，将对本示例实施例中的同屏互动控制方法进行进一步的说明。

在步骤S110中，响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方。

在本公开的一个示例实例中，发起请求可以指包含同屏互动相关信息的请求，例如，发起请求可以是包含同屏互动的互动模式信息的请求，也可以是包含同屏互动发起方的主播账号信息的请求，当然，发起请求还可以是包含同屏互动的其他关键信息的请求，本例实施例对此不作特殊限定。

可以在直播客户端提供同屏互动入口如同屏互动控件，在检测到用户对同屏互动控件的触发操作即同屏互动的发起请求时，将与同屏互动入口对应的发起请求发送至与同屏互动发起主播端关联的其他主播端，该其他主播端在接收到同屏互动请求时，可以选择加入同屏互动，进而可以确定加入同屏互动的所有参与方。

在步骤S120中，调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例。

在本公开的一个示例实例中，虚拟场景模板可以指包含用于生成与同屏互动请求对应的同屏互动场景的模板数据，例如，虚拟场景模板可以是包含用于生成与同屏互动请求对应的同屏互动场景的虚拟场景渲染数据，虚拟场景模板也可以是包含用于拼合与同屏互动请求对应的同屏互动场景中关键图像的拼合逻辑，当然，虚拟场景模板还可以是包含用于生成与同屏互动请求对应的同屏互动场景的其他模板数据，本例实施例对此不作特殊限定。

目标虚拟场景实例可以指用于展示同屏互动场景的底层数据，例如，目标虚拟场景实例可以是用于展示同屏互动场景的窗口，目标虚拟场景实例也可以是用于展示同屏互动场景的进程，当然，目标虚拟场景实例还可以是用于展示同屏互动场景的其他底层数据，本例实施例对此不作特殊限定。

可以通过从服务端调用与同屏互动玩法对应的虚拟场景模板，并通过建立用于展示同屏互动场景的目标虚拟场景实例，以通过目标虚拟场景实例对同屏互动场景中的多个同屏互动参与方的关键图像进行拼合，得到同屏互动场景。

在步骤S130中，获取第一关键图像和与所述同屏互动接受方对应的第二关键图像。

第一关键图像可以指虚拟摄像头拍摄的同屏互动发起方在虚拟场景中的人物图像；第二关键图像可以指虚拟摄像头拍摄的同屏互动接受方的在虚拟场景中的人物图像。

在虚拟开播场景中，同屏互动发起方终端设备中的摄像头可以拍摄到同屏互动发起方的主播图像数据，进而可以将该主播图像数据发送至同屏互动发起方的初始虚拟场景实例中，以使与初始虚拟场景实例对应的初始虚拟场景中的虚拟摄像头可以拍摄到带有滤镜效果的主播图像数据，从而得到第一关键图像。其中，初始虚拟场景实例可以是用于展示包含虚拟场景的当前直播数据流的底层数据，例如，初始虚拟场景实例可以是用于展示包含虚拟场景的当前直播数据流的窗口，也可以是用于展示包含虚拟场景的当前直播数据流的进程，当然，初始虚拟场景实例还可以用于展示包含虚拟场景实例的其他底层数据，本例实施例对此不作特殊限定。同理，也可以通过同屏互动接受方终端设备中的摄像头采集得到同屏互动接受方的主播图像数据，并将同屏互动接受方的主播图像数据传输至同屏互动接受方的初始虚拟场景实例中，通过与初始虚拟场景实例对应的初始虚拟场景中的虚拟摄像头获取初始虚拟场景中带有滤镜效果的第二关键图像。在得到第一关键图像和第二关键图像后，可以通过目标虚拟场景实例将第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景。

在步骤S140中，通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流。

在本公开的一个示例实例中，同屏互动场景可以指包含由目标虚拟场景实例展示的互动场景，例如，同屏互动场景可以是由目标虚拟场景实例展示的包含基于虚拟场景渲染数据渲染的虚拟场景，以及拼合后的第一关键图像和第二关键图像的互动场景，同屏互动场景还可以是由目标虚拟场景实例展示的包含虚拟场景模板中的额外虚拟道具的互动场景，当然，同屏互动场景还可以是由目标虚拟场景实例展示的包含其他对象的互动场景，本例实施例对此不作特殊限定。

可以通过目标虚拟场景实例读取虚拟场景模板中的关键图像拼合逻辑，并按照关键图像拼合逻辑对第一关键图像和第二关键图像进行拼合处理，得到同屏互动场景。同时，采集同屏互动发起方的音频数据流，并获取同屏互动接受方的音频数据流，通过目标虚拟场景实例将同屏互动发起方的音频数据流以及同屏互动接受方的音频数据流同步至同屏互动场景中，生成同屏直播视频流。

在步骤S150中，将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

在本公开的一个示例实例中，同屏直播视频流可以指通过目标虚拟场景实例将同屏互动参与方的音频数据流同步至同屏互动场景中得到的直播视频流。

可以将包含多个同屏互动参与方在同一个虚拟场景中的图像数据和音频数据的同屏直播视频流发送至服务端，并通过服务端将该同屏直播视频流同步至各同屏互动参与方的直播间以及与各直播间建立连接的直播客户端，以使进入各同屏互动参与方的直播间的客户端，也可以观看该同屏直播视频流，并与同屏直播视频流中的同屏互动参与方进行交互，提高了虚拟直播的多样性，也实现了用户可以同时观看在相同的虚拟场景中多个同屏互动参与方的直播行为，提高了用户观看直播的使用体验，用户还可以从多个同屏互动参与方中选择一个目标参与方作为交互目标，直接与选择的目标参与方进行交互，提高了同屏互动场景中直播交互的趣味性。

在本公开的一个示例实施例中可以读取虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据，并将关键图像拼合逻辑用于第一关键图像和第二关键图像的拼合处理，以及将虚拟场景渲染数据用于同屏互动场景的渲染。

其中，关键图像拼合逻辑可以指用于拼合关键图像的逻辑，例如，关键图像拼合逻辑可以是用于确定关键图像在同屏互动场景中的拼合位置的逻辑，当然，关键图像拼合逻辑还可以是用于拼合关键图像的其他逻辑，本例实施例对此不作特殊限定。

虚拟场景渲染数据可以指用于渲染同屏互动场景的数据，例如，虚拟场景渲染数据可以是用于渲染同屏互动场景的虚拟场景数据，也可以是用于调整同屏互动场景滤镜效果的数据，当然，虚拟场景渲染数据还可以是用于渲染同屏互动场景的其他数据如虚拟场景道具数据，本例实施例对此不作特殊限定。

可以通过目标虚拟场景实例按照关键图像拼合逻辑对第一关键图像和第二关键图像进行拼合，并结合虚拟场景渲染数据对拼合后的第一关键图像和第二关键图像进行渲染，得到同屏互动场景。

图2示意性示出了根据本公开的一些实施例的目标虚拟场景实例建立方法流程的示意图。参考图2所示，该目标虚拟场景实例建立方法可以包括以下步骤：

在步骤S210中，复制用于播放第一直播视频流的第一虚拟场景实例，得到第二虚拟场景实例；

在步骤S220中，基于所述第二虚拟场景实例，并按照所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据建立目标虚拟场景实例。

其中，第一直播视频流可以指同屏互动发起方当前正在直播的视频流，例如，同屏互动发起方发起棋牌游戏，第一直播视频流可以是同屏互动发起方的虚拟直播间中当前播放的棋牌游戏的视频流，当然，第一直播视频流还可以是同屏互动发起方当前正在播放的其他视频流，本例实施例对此不作特殊限定。

第一虚拟场景实例可以指用于展示与第一直播视频流对应的虚拟场景的底层数据，例如，第一虚拟场景实例可以是用于展示与第一直播视频流对应的虚拟场景的窗口，也可以是用于展示与第一直播视频流对应的虚拟场景的进程，当然，第一虚拟场景实例还可以是用于展示与第一直播视频流对应的虚拟场景的其他底层数据，本例实施例对此不作特殊限定。第二虚拟场景实例可以指第一虚拟场景实例的副本。

由于第一虚拟场景实例中包含与第一直播视频流对应的虚拟场景的关键数据，例如，第一虚拟场景实例中包含与第一直播视频流对应的虚拟场景、第一关键图像、滤镜效果、虚拟道具数据等，进而可以复制第一虚拟场景实例得到第二虚拟场景实例，并按照虚拟场景模板中的关键图像拼合逻辑以及虚拟场景渲染数据建立目标虚拟场景实例，以将目标虚拟场景实例用于同屏互动场景中关键图像的拼合，进而生成同屏互动场景。

同理，其他同屏互动接受方同样需要对用于播放各自当前直播视频流的虚拟场景实例进行复制，并将复制后的虚拟场景实例中的关键数据如关键图像、滤镜效果、虚拟道具数据传输至目标虚拟场景实例中，以使目标虚拟场景实例将同屏互动接受方的关键图像拼合至与第一关键图像相同的虚拟场景中，得到同屏互动场景。

图3示意性示出了根据本公开的一些实施例的目标虚拟场景实例生成方法流程的示意图。参考图3所示，该目标虚拟场景实例生成方法可以包括以下步骤：

在步骤S310中，对第一直播视频流进行锁帧处理，得到第一空闲帧，并获取所述同屏互动接受方对应的第二空闲帧；

在步骤S320中，基于所述目标虚拟场景实例提取所述第一空闲帧中的所述第一关键图像，以及提取所述第二空闲帧中的所述第二关键图像。

其中，可以对第一直播视频流进行锁帧处理，例如，第一直播视频流每秒播放90帧画面，可以在不影响第一直播视频流正常播放以及观看的情况下，可以从90帧画面抽取30帧作为第一空闲帧，用于同屏互动场景中的关键图像拼合。同理，可以通过同屏互动接受方的终端对当前播放的直播视频流进行锁帧处理，并从每秒中播放的帧画面中，提取与第一空闲帧的帧数据相同的空闲帧，作为第二空闲帧。

可以通过目标虚拟场景实例提取第一空闲帧的关键图像，以及第二空闲帧的关键图像，并将从第一空闲帧中提取的关键图像作为第一关键图像，以及将从第二空闲帧中提取的关键图像作为第二关键图像。

图4示意性示出了根据本公开的一些实施例的同屏互动场景生成方法流程的示意图。参考图4所示，该同屏互动场景生成方法可以包括以下步骤：

在步骤S410中，基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理；

在步骤S420中，结合所述虚拟场景渲染数据对拼合处理结果进行渲染处理，得到同屏互动场景。

其中，可以通过目标虚拟场景实例读取关键图像拼合逻辑，确定第一关键图像在同屏互动场景中的第一互动位置坐标，以及第二关键图像的第二互动位置坐标，并基于第一互动位置坐标和第二互动位置坐标，对第一关键图像和第二关键图像进行拼合；也可以读取第一关键图像的姿势数据，以及第二关键图像的姿势数据，基于关键图像拼合逻辑，将第一关键图像拼合至与第一关键图像的姿势数据匹配的互动位置处，以及将第二关键图像拼合至与第二关键图像的姿势数据匹配的互动位置处，实现第一关键图像和第二关键图像的拼合。

在完成第一关键图像和第二关键图像的拼合之后，可以通过目标虚拟场景实例结合虚拟场景渲染数据对拼合后的第一关键图像和第二关键图像进行渲染，可以得到包含第一关键图像和第二关键图像的同屏互动场景。

在本公开的一个示例实施例基于所述目标虚拟场景实例，按照关键图像拼合逻辑确定第一关键图像的第一互动位置坐标，以及第二关键图像的第二互动位置坐标；通过第一互动位置坐标和第二互动位置坐标，将第一关键图像和第二关键图像进行拼合处理。

其中，第一互动位置坐标可以指用于确定第一关键图像在同屏互动场景中的拼合位置的三维坐标。第二互动位置坐标可以指用于确定第二关键图像在同屏互动场景中的拼合位置的三维坐标。

可以根据虚拟场景模板中的关键图像拼合逻辑确定第一关键图像的第一互动位置坐标，以及第二关键图像的第二互动位置坐标；通过目标虚拟场景实例，将第一关键图像拼合至第一互动位置坐标处，以及将第二关键图像拼合至第二互动位置坐标处，实现第一关键图像和第二关键图像的拼合。

图5示意性示出了根据本公开的一些实施例的关键图像拼合方法流程的示意图。参考图5所示，该关键图像拼合方法可以包括以下步骤：

在步骤S510中，识别所述第一关键图像的第一姿势数据，以及识别所述第二关键图像的第二姿势数据；

在步骤S520中，确定所述第一互动位置坐标的第一轮廓数据，以及所述第二互动位置坐标的第二轮廓数据；

在步骤S530中，在检测到所述第一姿势数据与所述第一轮廓数据匹配时，将所述第一关键图像拼合至所述第一互动位置坐标处；

在步骤S540中，在检测到所述第二姿势数据与所述第二轮廓数据匹配时，将所述第二关键图像拼合至所述第二互动位置坐标处。

其中，第一姿势数据可以指与第一关键图像中人物身体摆放姿势对应的三维轮廓数据，例如，第一关键图像中人物身体摆放姿势可以是站立姿势，第一姿势数据可以是与第一关键图像中人物站立姿势对应的三维轮廓数据，第一关键图像中人物身体摆放姿势也可以是盘腿坐姿势，第一姿势数据也可以是与第一关键图像中人物盘腿坐姿势对应的三维轮廓数据，当然，第一姿势数据还可以是与第一关键图像中其他的人物身体摆放姿势对应的三维轮廓数据，本例实施例对此不作特殊限定。

第二姿势数据可以指与第二关键图像中人物身体摆放姿势对应的三维轮廓数据，例如，第二关键图像中人物身体摆放姿势可以是伏桌坐姿势，第二姿势数据可以是与第二关键图像中人物伏桌坐姿势对应的三维轮廓数据，第二关键图像中人物身体摆放姿势也可以是下蹲姿势，第二姿势数据也可以是与第二关键图像中人物下蹲姿势对应的三维轮廓数据，当然，第二姿势数据还可以是与第二关键图像中其他的人物身体摆放姿势对应的三维轮廓数据，本例实施例对此不作特殊限定。第一轮廓数据可以指由第一互动位置坐标对应的坐标点组成的三维轮廓数据。第二轮廓数据可以指由第二互动位置坐标对应的坐标点组成的三维轮廓数据。

可以通过检测与第一关键图像的第一互动位置坐标对应的第一轮廓数据是否与第一关键图像的第一姿势数据是否匹配，以及检测与第二关键图像的第二互动位置坐标对应的第二轮廓数据是否与第二关键图像的第二姿势数据是否匹配；若检测到第一轮廓数据与第一姿势数据匹配，可以通过目标虚拟场景实例将第一关键图像拼合至第一互动位置处；同理，若检测到第二轮廓数据与第二姿势数据匹配，可以通过目标虚拟场景实例将第二关键图像拼合至第二互动位置处；进而，实现第一关键图像和第二关键图像的拼合。

图6示意性示出了根据本公开的一些实施例的另一关键图像拼合方法流程的示意图。参考图6所示，该关键图像拼合方法可以包括以下步骤：

在步骤S610中，读取所述第一关键图像在所述第一虚拟场景实例中的第一初始位置坐标，以及所述第二关键图像在同屏互动接受方的初始虚拟场景实例中的第二初始位置坐标；

在步骤S620中，在检测到所述第一初始位置坐标与所述第一互动位置坐标相同时，将所述第一关键图像拼合至所述第一互动位置坐标处；

在步骤S630中，在检测到所述第二初始位置坐标与所述第二互动位置坐标不相同时，对所述第二关键图像进行缩放处理，并将缩放处理后的所述第二关键图像拼合至所述第二互动位置坐标处。

其中，第一初始位置坐标可以指第一关键图像在第一虚拟场景实例中的三维位置坐标。第二初始位置坐标可以指第二关键图像在同屏互动接受方的初始虚拟场景实例中的三维位置坐标。

可以通过检测第一关键图像的第一初始位置坐标是否与第一互动位置坐标相同，并根据检测结果确定是否需要对第一关键图像进行缩放处理。具体的，当检测到第一关键图像的第一初始位置坐标与第二互动位置坐标相同时，可以将第一关键图像直接拼合至虚拟场景模板中的第一互动位置坐标处；然而，当检测到第一关键图像的第一初始位置坐标与第一互动位置坐标不相同时，可以根据第一互动位置坐标对第一关键图像进行缩放处理，并将缩放处理后的第一关键图像拼合至第一互动位置坐标处。同理，可以通过检测第二关键图像的第二初始位置坐标是否与第二互动位置坐标相同，若检测到第二初始位置坐标与第二互动位置坐标相同，则可以将第二关键图像拼合至第二互动位置坐标处，否则，根据第二互动位置坐标对第二关键图像进行缩放处理，并将缩放处理后的第二关键图像拼合至第二互动位置坐标处；进而，实现对第一关键图像和第二关键图像的拼合。

图7示意性示出了根据本公开的一些实施例的同屏互动场景处理方法流程的示意图。参考图7所示，该同屏互动场景处理方法可以包括以下步骤：

在步骤S710中，读取所述虚拟场景模板中的新增虚拟道具数据，并将所述新增虚拟道具数据对应的虚拟道具渲染至所述同屏互动场景中；

在步骤S720中，对所述虚拟道具，以及所述第一关键图像和所述第二关键图像进行边缘缝合处理，并对缝合处理后的所述同屏互动场景添加标准滤镜效果。

其中，新增虚拟道具数据可以指相对于第一虚拟场景实例和同屏互动接受方的初始虚拟场景实例而言，虚拟场景模板中新增的虚拟道具数据，例如，第一虚拟场景实例中的虚拟道具数据是与单人沙发对应的虚拟道具数据，初始虚拟场景实例中的虚拟道具数据是与摇椅对应的虚拟道具数据，新增虚拟道具数据可以是与单人沙发和摇椅不同的新增坐墩对应的虚拟道具数据，当然，新增虚拟道具数据还可以是相对于第一虚拟场景实例和同屏互动接受方的初始虚拟场景实例而言，虚拟场景模板中新增的其他虚拟道具数据，本例实施例对此不作特殊限定。

可以读取虚拟模板中新增虚拟道具数据，并将新增虚拟道具数据对应的虚拟道具渲染至同屏互动场景中，实现同屏互动场景的初步搭建；进而，可以对同屏互动场景中第一关键图像、第二关键图像、虚拟模板中新增虚拟道具数据对应的虚拟道具、第一虚拟场景实例和同屏互动接受方的初始场景实例中的虚拟道具或挂件等渲染对象对应的边缘增加蒙版与高斯模糊处理，避免主播人物形象与场景道具在触碰边缘时过于突兀，得到拼合完成的同屏互动场景。

优选的，由于第一虚拟场景实例和同屏互动接受方的初始场景实例中各自的滤镜效果可能不相同，为了统一同屏互动场景的风格，可以对完成最终拼合的同屏互动场景增加标准滤镜效果，提高了同屏互动场景的真实性。

在本公开的一个示例实施例中，可以采集第一音频数据流，以及获取同屏互动接受方的第二音频数据流，并通过目标虚拟场景实例将第一音频数据流以及第二音频数据流同步至同屏互动场景中，生成同屏互动场景对应的同屏直播视频流。

其中，第一音频数据流可以指同屏互动发起方的终端设备采集到的音频数据流。第二音频数据流可以指同屏互动接受方的终端设备采集到的音频数据流。同屏直播视频流可以指通过目标虚拟场景实例将第一音频数据流和第二音频数据流同步至同屏互动场景中得到的直播数据流。

可以通过同屏互动参与方各自的终端设备采集音频数据流，并通过目标虚拟场景实例将各音频数据流同步至同屏互动场景中生成同屏直播视频流。例如，可以通过同屏互动发起方的终端设备采集第一音频数据流，并接收同屏互动接受方的终端设备采集的第二音频数据流，进而，通过目标虚拟场景实例将第一音频数据流和第二音频数据流同步至同屏互动场景中，生成同屏直播视频流。

优选的，可以采用平行轮询切换的方式播放各同屏互动参与方的当前直播数据流以及同屏直播视频流。具体的，各同屏互动参与方的终端可以检测用于播放当前直播数据流的初始虚拟场景实例以及用于播放同屏直播视频流的目标虚拟场景实例是否存在播放需求，若检测到有播放当前直播数据流的需求时，可以通过初始虚拟场景实例播放当前直播数据流；若检测到有播放同屏直播视频流的需求，则将初始虚拟场景实例切换为目标虚拟场景实例，以通过目标虚拟场景实例播放同屏直播视频流，提高了虚拟直播场景中直播内容的多样性。

图8示意性示出了根据本公开的一些实施例的交互结果处理方法流程的示意图。参考图8所示，该交互结果处理方法可以包括以下步骤：

在步骤S810中，识别交互操作，并确定所述交互操作对应的交互结果；

在步骤S820中，读取所述同屏互动场景中所述交互结果的展示类型数据；

在步骤S830中，在检测到所述展示类型数据为单独展示类型数据时，确定响应所述交互操作对应的目标主播标识，并将所述交互结果以及所述单独展示类型数据和所述目标主播标识发送至所述服务端，以使所述服务端向所述目标主播标识关联的直播客户端展示所述交互结果。

其中，展示类型数据可以指确定交互结果的展示方式的类型数据，例如，展示类型可以是单独展示类型数据，也可以是同屏展示类型数据，当然，展示类型数据还可以是确定交互结果的展示方式的其他类型数据，本例实施例对此不作特殊限定。

目标主播标识可以指同屏互动场景中响应交互操作的主播标识，例如，目标主播标识可以是同屏互动场景中响应交互操作的主播的账号，也可以是同屏互动场景中响应交互操作的主播终端的MAC(Media Access Control Address，媒体存取控制位址)地址，还可以是同屏互动场景中响应交互操作的主播终端的IMEI(International Mobile EquipmentIdentity，国际移动设备识别码)序列号，当然，目标直播标识还可以是同屏互动场景中响应交互操作的其他主播标识，本例实施例对此不作特殊限定。

可以通过识别当前用户对同屏直播视频流画面的交互操作，例如，识别当前用户对同屏直播视频流画面的交互手势，也可以识别当前用户对同屏直播视频流画面的触控操作对应的位置坐标数据，并获取与交互操作如交互手势或位置坐标数据对应的目标主播标识和交互逻辑，以及根据交互逻辑确定交互操作对应的交互结果。同时，读取与交互结果对应的展示类型数据。进而，将交互结果以与检测到的展示类型数据对应的展示方式展示在直播终端。

举例而言，检测到当前用户1向主播账号为A的主播赠送鲜花的交互操作，并获取与交互操作对应的交互逻辑，以根据该交互逻辑确定与交互操作对应的交互结果，例如，交互结果可以是当前用户1向主播账号为A的主播赠送鲜花的文字特效，以及展示鲜花特效；进而，可以通过读取与交互结果对应的展示类型数据，在检测到展示类型数据为单独展示类型数据时，可以将主播账号A、交互结果、单独展示类型数据发送至服务端，以使服务端可以按照单独展示类型数据将交互结果单独展示在与主播账号A关联的直播端客户端，以使主播账号A的直播端可以展示当前用户1向主播账号为A的主播赠送鲜花的文字特效，以及展示鲜花特效，同时，也可以使得进入主播账号A的直播间的其他用户也可以看见当前用户1向主播账号为A的主播赠送鲜花的文字特效，以及鲜花特效，提高了当前用户与同屏互动场景中目标主播标识对应的主播之间交互的针对性。此外，可以将该交互结果只显示在与目标主播标识对应的直播端，并不会影响其他用户观看同屏互动场景中其他主播的直播内容，提高了其他用户观看同屏互动场景中其他主播的直播内容的体验。

在本公开的一个示例实施例中，可以在检测到交互结果的展示类型数据为同屏展示类型数据时，将交互结果以及同屏展示类型数据发送至服务端，以使服务端向同屏互动场景中主播关联的直播客户端展示所述交互结果。

其中，同屏展示类型数据可以指用于确定将交互结果展示在同屏互动场景中所有主播的直播端的类型数据。

可以通过检测交互结果的展示类型数据，并根据检测的展示类型数据确定交互结果的展示方式；例如，当检测到交互结果的展示类型为同屏展示类型数据时，可以将交互结果以及同屏展示类型数据发送至服务端，以使服务端将交互结果展示在同屏互动场景中所有主播关联的直播客户端，以使同屏互动场景中所有主播以及进入各主播直播间的所有用户可以观看得到交互结果，增强了虚拟直播场景下的互动效果、扩展玩法维度。

举例而言，在检测到当前用户1向同屏互动场景中主播账号为B的主播表白的交互操作时，可以获取当前用户1的等级信息以及与交互操作对应的交互逻辑，并根据当前用户1的等级信息以及交互逻辑自动匹配得到当前用户1向主播账号为B的主播表白的交互结果，如一个昵称为当前用户1的虚拟人物图像单膝向主播账号为B的主播赠送一束带有钻戒和卡片的玫瑰花的动态特效。同时，在读取得到该交互结果对应的展示类型数据为同屏展示类型数据时，可以将该交互结果和同屏展示类型数据发送至服务端，以使服务端可以将该交互结果展示在同屏互动场景中所有主播关联的直播客户端。在此过程中，未进入主播账号为B的主播的直播间的用户也可以观看主播账号为B的主播的直播内容，实现了当前用户1向主播账号为B的主播交互的满足感，提高了当前用户1的个性化交互体验，也丰富了同屏互动场景中除主播账号为B的主播的直播间的直播内容。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种同屏互动控制装置。参照图9所示，该同屏互动控制装置900包括：同屏互动请求模块910、目标虚拟场景实例建立模块920、关键图像获取模块930、同屏互动场景生成模块940、同屏直播视频流发送模块950。其中：同屏互动请求模块910，用于响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；目标虚拟场景实例建立模块920，用于调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；关键图像获取模块930，用于获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；同屏互动场景生成模块940，用于通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；同屏直播视频流发送模块950，用于将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置900包括虚拟场景模板调用单元，所述虚拟场景调用单元用于调用所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据。

在本公开的一些示例实施例中，基于前述方案，所述目标虚拟场景实例建立模块920还包括目标虚拟场景实例建立单元，所述目标虚拟场景实例建立单元，用于复制用于播放第一直播视频流的第一虚拟场景实例，得到第二虚拟场景实例；基于所述第二虚拟场景实例，并按照所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据建立目标虚拟场景实例。

在本公开的一些示例实施例中，基于前述方案，所述关键图像获取模块930还包括关键图像获取单元，所述关键图像获取单元，用于对第一直播视频流进行锁帧处理，得到第一空闲帧，并获取所述同屏互动接受方对应的第二空闲帧；基于所述目标虚拟场景实例提取所述第一空闲帧中的所述第一关键图像，以及提取所述第二空闲帧中的所述第二关键图像。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动场景生成模块940包括同屏互动场景生成单元，所述同屏互动场景生成单元，用于基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理；结合所述虚拟场景渲染数据对拼合处理的结果进行渲染处理，得到同屏互动场景。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动场景生成模块940还包括关键图像拼合单元，所述关键图像拼合单元，用于基于所述目标虚拟场景实例，按照所述关键图像拼合逻辑确定第一关键图像的第一互动位置坐标，以及第二关键图像的第二互动位置坐标；通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置900还包括数据匹配模块，所述数据匹配模块，用于识别所述第一关键图像的第一姿势数据，以及识别所述第二关键图像的第二姿势数据；确定所述第一互动位置坐标的第一轮廓数据，以及所述第二互动位置坐标的第二轮廓数据；在检测到所述第一姿势数据与所述第一轮廓数据匹配时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二姿势数据与所述第二轮廓数据匹配时，将所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置900还包括数据检测模块，所述数据检测模块，用于读取所述第一关键图像在所述第一虚拟场景实例中的第一初始位置坐标，以及所述第二关键图像在同屏互动接受方的初始虚拟场景实例中的第二初始位置坐标；在检测到所述第一初始位置坐标与所述第一互动位置坐标相同时，将所述第一关键图像拼合至所述第一互动位置坐标处；在检测到所述第二初始位置坐标与所述第二互动位置坐标不相同时，对所述第二关键图像进行缩放处理，并将缩放处理后的所述第二关键图像拼合至所述第二互动位置坐标处。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置900还包括图像处理模块，所述图像处理模块，用于读取所述虚拟场景模板中的新增虚拟道具数据，并将所述新增虚拟道具数据对应的虚拟道具渲染至所述同屏互动场景中；对所述虚拟道具，以及所述第一关键图像和所述第二关键图像进行边缘缝合处理，并对缝合处理后的所述同屏互动场景添加标准滤镜效果。

在本公开的一些示例实施例中，基于前述方案，所述同屏互动控制装置900还包括同屏直播视频流生成模块，所述同屏直播视频流生成模块，用于采集第一音频数据流，以及获取所述同屏互动接受方的第二音频数据流；将所述第一音频数据流以及所述第二音频数据流同步至所述目标虚拟场景实例中，生成所述同屏互动场景对应的同屏直播视频流。

在本公开的一些示例实施例中，基于前述方案，同屏直播视频流发送模块950还包括展示类型数据检测模块，所述展示类型数据检测模块，用于识别交互操作，并确定所述交互操作对应的交互结果；读取所述同屏互动场景中所述交互结果的展示类型数据；在检测到所述展示类型数据为单独展示类型数据时，确定响应所述交互操作对应的目标主播标识，并将所述交互结果以及所述单独展示类型数据和所述目标主播标识发送至所述服务端，以使所述服务端向所述目标主播标识关联的直播客户端展示所述交互结果。

在本公开的一些示例实施例中，基于前述方案，同屏直播视频流发送模块950还包括同屏展示类型数据确定单元，所述同屏展示类型数据确定单元，用于在检测到所述展示类型数据为同屏展示类型数据时，将所述交互结果以及所述同屏展示类型数据发送至所述服务端，以使所述服务端向所述同屏互动场景中所述主播关联的直播客户端展示所述交互结果。

上述中同屏互动控制装置各模块的具体细节已经在对应的同屏互动控制方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了同屏互动控制装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述同屏互动控制方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本公开的这种实施例的电子设备1000。图10所示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元820和处理单元1010)的总线1030、显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤S110，响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；步骤S120，调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；步骤S130，获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；步骤S140，通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；步骤S150，将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1070(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

参考图11所示，描述了根据本公开的实施例的用于实现上述同屏互动控制方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种网络直播中的同屏互动控制方法，用于实现同屏互动发起方和同屏互动接受方在同一虚拟直播场景中直播互动，其特征在于，包括：

响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；

调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；

获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；

通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；

将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

2.根据权利要求1所述的网络直播中的同屏互动控制方法，其特征在于，所述虚拟场景模板包括关键图像拼合逻辑和虚拟场景渲染数据。

3.根据权利要求1或2所述的网络直播中的同屏互动控制方法，其特征在于，所述建立与所述虚拟场景模板对应的目标虚拟场景实例，包括：

复制用于播放第一直播视频流的第一虚拟场景实例，得到第二虚拟场景实例；

基于所述第二虚拟场景实例，并按照所述虚拟场景模板中的关键图像拼合逻辑和虚拟场景渲染数据建立目标虚拟场景实例。

4.根据权利要求1或3所述的网络直播中的同屏互动控制方法，其特征在于，所述获取第一关键图像和与所述同屏互动接受方对应的第二关键图像，包括：

对第一直播视频流进行锁帧处理，得到第一空闲帧，并获取所述同屏互动接受方对应的第二空闲帧；

基于所述目标虚拟场景实例提取所述第一空闲帧中的所述第一关键图像，以及提取所述第二空闲帧中的所述第二关键图像。

5.根据权利要求1或2所述的网络直播中的同屏互动控制方法，其特征在于，所述通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，包括：

基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理；

结合所述虚拟场景渲染数据对拼合处理的结果进行渲染处理，得到同屏互动场景。

6.根据权利要求2所述的网络直播中的同屏互动控制方法，其特征在于，所述基于所述目标虚拟场景实例按照所述关键图像拼合逻辑将所述第一关键图像和所述第二关键图像进行拼合处理，包括：

基于所述目标虚拟场景实例，按照所述关键图像拼合逻辑确定所述第一关键图像的第一互动位置坐标，以及所述第二关键图像的第二互动位置坐标；

通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理。

7.根据权利要求6所述的网络直播中的同屏互动控制方法，其特征在于，所述通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理，包括：

识别所述第一关键图像的第一姿势数据，以及识别所述第二关键图像的第二姿势数据；

确定所述第一互动位置坐标的第一轮廓数据，以及所述第二互动位置坐标的第二轮廓数据；

在检测到所述第一姿势数据与所述第一轮廓数据匹配时，将所述第一关键图像拼合至所述第一互动位置坐标处；

在检测到所述第二姿势数据与所述第二轮廓数据匹配时，将所述第二关键图像拼合至所述第二互动位置坐标处。

8.根据权利要求3或6所述的网络直播中的同屏互动控制方法，其特征在于，所述通过所述第一互动位置坐标和所述第二互动位置坐标，将所述第一关键图像和所述第二关键图像进行拼合处理，包括：

读取所述第一关键图像在所述第一虚拟场景实例中的第一初始位置坐标，以及所述第二关键图像在同屏互动接受方的初始虚拟场景实例中的第二初始位置坐标；

在检测到所述第一初始位置坐标与所述第一互动位置坐标相同时，将所述第一关键图像拼合至所述第一互动位置坐标处；

在检测到所述第二初始位置坐标与所述第二互动位置坐标不相同时，对所述第二关键图像进行缩放处理，并将缩放处理后的所述第二关键图像拼合至所述第二互动位置坐标处。

9.根据权利要求1所述的网络直播中的同屏互动控制方法，其特征在于，所述方法还包括：

读取所述虚拟场景模板中的新增虚拟道具数据，并将所述新增虚拟道具数据对应的虚拟道具渲染至所述同屏互动场景中；

对所述虚拟道具，以及所述第一关键图像和所述第二关键图像进行边缘缝合处理，并对缝合处理后的所述同屏互动场景添加标准滤镜效果。

10.根据权利要求1所述的网络直播中的同屏互动控制方法，其特征在于，所述生成所述同屏互动场景对应的同屏直播视频流，包括：

采集第一音频数据流，以及获取所述同屏互动接受方的第二音频数据流；

通过所述目标虚拟场景实例将所述第一音频数据流以及所述第二音频数据流同步至所述同屏互动场景中，生成所述同屏互动场景对应的同屏直播视频流。

11.根据权利要求1所述的网络直播中的同屏互动控制方法，其特征在于，所述方法还包括：

识别交互操作，并确定所述交互操作对应的交互结果；

读取所述同屏互动场景中所述交互结果的展示类型数据；

在检测到所述展示类型数据为单独展示类型数据时，确定响应所述交互操作对应的目标主播标识，并将所述交互结果以及所述单独展示类型数据和所述目标主播标识发送至所述服务端，以使所述服务端向所述目标主播标识关联的直播客户端展示所述交互结果。

12.根据权利要求11所述的网络直播中的同屏互动控制方法，其特征在于，所述方法还包括：

在检测到所述展示类型数据为同屏展示类型数据时，将所述交互结果以及所述同屏展示类型数据发送至所述服务端，以使所述服务端向所述同屏互动场景中所述主播关联的直播客户端展示所述交互结果。

13.一种同屏互动控制装置，其特征在于，包括：

同屏互动请求模块，用于响应同屏互动的发起请求，并确定应答所述发起请求的同屏互动接受方；

目标虚拟场景实例建立模块，用于调用与所述发起请求对应的虚拟场景模板，并建立与所述虚拟场景模板对应的目标虚拟场景实例；

关键图像获取模块，用于获取第一关键图像和与所述同屏互动接受方对应的第二关键图像；

同屏互动场景生成模块，用于通过所述目标虚拟场景实例对所述第一关键图像和所述第二关键图像进行拼合处理，得到同屏互动场景，并生成所述同屏互动场景对应的同屏直播视频流；

同屏直播视频流发送模块，用于将所述同屏直播视频流发送至服务端，以通过所述服务端将所述同屏直播视频流同步至直播客户端。

14.一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至12中任一项所述的同屏互动控制方法。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的同屏互动控制方法。

Images