CN113457123A - 基于云游戏的互动方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于云游戏的互动方法、装置、电子设备及可读存储介质，涉及互联网、云技术、区块链、游戏以及音视频等技术领域。该方法包括：若获取到针对直播间和云游戏的同屏显示指示信息，则获取直播间对应的初始直播数据流、以及获取云游戏对应的初始游戏数据流；对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送目标多媒体数据流，其中，以使客户端在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

Description

基于云游戏的互动方法、装置、电子设备及可读存储介质

技术领域

本申请涉及互联网、云技术、区块链、游戏以及音视频等技术领域，尤其涉及一种基于云游戏的互动方法、装置、电子设备及可读存储介质。

背景技术

目前，随着互联网技术的发展以及应用需求的提升，出现了新的游戏体验方式，即云游戏(Cloud gaming)，随着云游戏受众度的扩展，云游戏越来越火热，云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在云游戏服务器端运行，云游戏服务器将渲染完毕后的游戏画面压缩后通过网络传送给终端。

由于云游戏的这种特殊的数据传输方式，在对云游戏进行直播时，需要将云游戏画面传输到直播平台，在直播平台的直播界面来显示云游戏的画面，用户在观看直播的过程中，如果想要玩云游戏，就必须退出直播界面，也就是不再观看直播，然后再进入云游戏的游戏显示界面进行游戏操作，导致用户的体验非常不好，因此，现有的游戏互动方式有待改善，用户体验有待提升。

发明内容

本申请实施例提供了一种基于云游戏的互动方法、装置、电子设备及可读存储介质，提升了用户同时参与云游戏和直播的参与感，能够更好的满足用户需求，提升了用户感知。

一方面，本申请实施例提供一种基于云游戏的互动方法，该方法由流媒体服务器执行，该方法包括：

获取通过直播间发起的针对云游戏的游戏启动操作；

响应于游戏启动操作，并基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

一方面，本申请实施例提供一种基于云游戏的互动装置，该装置包括：

数据流获取模块，用于若获取到针对直播间和云游戏的同屏显示指示信息，则获取直播间对应的初始直播数据流、以及获取云游戏对应的初始游戏数据流；

第一处理模块，用于对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送目标多媒体数据流，其中，以使客户端在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

在一种可选的实施例中，初始直播数据流包括直播视频数据和直播音频数据，初始游戏数据流包括游戏视频数据和游戏音频数据，第一处理模块，用于：

基于直播视频数据的时间戳和游戏视频数据的时间戳，对直播视频数据和游戏视频数据进行同步处理，得到同步后的视频数据；

基于获取到的针对音频数据的音频播放方式指示信息，确定目标音频数据，其中，目标音频数据包括云游戏对应的游戏音频数据或直播间对应的直播音频数据中的至少之一；

对同步后的视频数据和目标音频数据进行同步处理，得到目标多媒体数据流。

在一种可选的实施例中，上述装置还包括第四处理模块，该模块用于：

若获取到来自客户端的显示区域调整指令，则响应于显示区域调整指令，按照显示区域调整指令对应的显示区域调整初始直播数据流和初始游戏数据流；

第一处理模块，用于对调整后的初始直播数据流和调整后的初始游戏数据流进行同步处理，得到目标多媒体数据流，其中，显示区域调整指令是显示区域调节操作对应的指令，显示区域调节操作是针对第二显示区域的显示区域的调整操作。

在一种可选的实施例中，第一处理模块，还用于：

获取由云游戏对应的云游戏服务器发送的互动指令，其中，互动指令是互动操作对应的指令，互动操作是通过第二显示区域发起的针对直播间的互动操作；

向直播间对应的直播服务器发送互动指令；

获取由直播间服务器响应于互动指令所返回的包含互动信息的初始直播数据流；

对包含互动信息的初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，其中，目标多媒体数据流包括包含互动信息的目标视频数据。

在一种可选的实施例中，互动操作包括第一虚拟道具赠送操作，互动指令包括第一虚拟道具赠送操作对应的第一虚拟道具赠送指令，第一虚拟道具赠送指令对应的互动信息包括第一虚拟道具和云游戏对应的游戏用户的第一虚拟形象，第一处理模块，具体用于：

将包含第一虚拟道具和游戏用户的第一虚拟形象的初始游戏数据流和初始直播数据流进行同步处理。

在一种可选的实施例中，初始直播数据流包括直播视频数据，直播视频数据包括至少一帧直播画面，初始游戏数据流包括游戏视频数据，游戏视频数据包括至少一帧游戏画面，第一处理模块，具体用于：

对于每一帧游戏画面和与该游戏画面对应的直播画面，将直播画面按照第二显示区域的显示尺寸进行压缩，得到压缩后的直播画面，基于压缩后的直播画面，更新游戏画面中对应于第二显示区域部分的画面，得到目标渲染画面；

基于各游戏画面对应的目标渲染画面，得到目标多媒体数据流。

在一种可选的实施例中，上述装置还包括提示信息发送模块，该提示信息发送模块用于：若获取到的初始游戏数据流不连续，则向客户端发送提示信息，其中，提示信息用于指示云游戏出现卡顿；

第一处理模块，还用于向客户端发送未包含目标游戏视频数据的目标视频数据。

在一种可选的实施例中，在云游戏出现卡顿时，云游戏服务器记录有云游戏出现卡顿之前的最后一帧游戏画面，第一处理模块，还用于：

若云游戏在距离当前时间最近的指定时长内未发生卡顿，则向客户端发送以最后一帧游戏画面为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

在一种可选的实施例中，上述装置还包括第五处理模块，该第五处理模块用于：

基于获取到的云游戏的游戏类型，向客户端发送与游戏类型对应的目标直播间的直播间推荐切换请求；

获取客户端响应于直播间推荐切换请求返回的反馈消息，若反馈消息对应于接受切换至推荐的目标直播间，则向目标直播间对应的直播服务器发送针对目标直播间的播放请求；

获取直播服务器响应于播放请求返回的目标直播间的相关信息，并向客户端发送目标直播间的相关信息。

一方面，本申请实施例提供一种基于云游戏的互动方法，该方法包括：

获取通过直播间发起的针对云游戏的游戏启动操作；

响应于游戏启动操作，并基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

一方面，本申请实施例提供一种基于云游戏的互动装置，该装置包括：

游戏启动操作获取模块，用于获取通过直播间发起的针对云游戏的游戏启动操作；

第二处理模块，用于响应于游戏启动操作，并基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

在一种可选的实施例中，装置还包括同屏显示指令获取模块，该模块用于：

响应于游戏启动操作，显示针对多媒体播放方式的操作界面；

通过操作界面，接收针对直播间和云游戏的同屏显示指令，其中，同屏显示指令包括同屏显示指示信息。

在一种可选的实施例中，目标多媒体数据流还包括与目标视频数据对应的目标音频数据，第二处理模块，还用于：

在云游戏的显示界面显示目标视频数据，并同步播放目标音频数据，其中，目标音频数据包括云游戏对应的游戏音频数据或直播间对应的直播音频数据中的至少之一，目标音频数据是基于获取到的音频播放方式指示信息确定的。

在一种可选的实施例中，上述装置还包括第三处理模块，该模块用于：

响应于获取到的针对第二显示区域的显示区域调整操作，在调整后的第二显示区域中显示目标直播数据，调整后的第二显示区域是基于显示区域调节操作对应的显示区域调整的。

在一种可选的实施例中，装置还包括互动信息处理模块，该模块用于：

通过第二显示区域获取针对直播间的互动操作；

获取包含互动操作对应的互动信息的目标视频数据，并在第二显示区域显示包含互动信息的目标视频数据。

在一种可选的实施例中，互动操作包括第一虚拟道具赠送操作，第一虚拟道具赠送操作对应的互动信息包括第一虚拟道具和云游戏对应的游戏用户的第一虚拟形象，第三处理模块，具体用于：

在第二显示区域显示云游戏对应的游戏用户的第一虚拟形象针对第一虚拟道具的第一虚拟道具赠送过程。

在一种可选的实施例中，上述装置还包括提示信息接收模块，该提示信息接收模块，用于接收提示信息，其中，提示信息用于指示云游戏出现卡顿；

第二处理模块，具体用于在云游戏的显示界面显示未包含目标游戏视频数据的目标视频数据。

在一种可选的实施例中，若云游戏在距离当前时间最近的指定时长内未发生卡顿，第二处理模块，具体用于：

在云游戏的显示界面显示以云游戏出现卡顿之前的最后一帧游戏画为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

在一种可选的实施例中，上述装置还包括第六处理模块，该第六处理模块用于：

接收直播间推荐切换请求，其中，直播间推荐切换请求所推荐的目标直播间是基于云游戏的游戏类型确定的；

响应于直播间推荐切换请求，发送与直播间推荐切换请求对应的反馈消息；

若反馈消息对应于接受切换至推荐的目标直播间，则在云游戏的显示界面显示目标直播间的相关信息。

一方面，本申请实施例提供了一种基于云游戏的互动系统，系统包括客户端、云游戏服务器和流媒体服务器，其中：

客户端，用于获取通过直播间发起的针对云游戏的游戏启动操作，并向云游戏服务器发送游戏启动操作对应的第一游戏启动请求；

云游戏服务器，用于响应于接收到的第一游戏启动请求，得到初始游戏数据流；

流媒体服务器，用于若获取到针对直播间和云游戏的同屏显示指示信息，则从直播间对应的直播服务器获取初始直播数据流、以及获取云游戏对应的初始游戏数据流；对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送目标多媒体数据流；

客户端，还用于在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

在一种可选的实施例中，系统还包括客户端服务器，其中：

客户端，还用于向客户端服务器发送游戏启动操作对应的第一游戏启动请求；

客户端服务器，用于响应于接收到的第一游戏启动请求，向云游戏服务发送发起游戏启动操作对应的第二游戏启动请求，第二游戏启动请求包括目标对象的相关信息；

云游戏服务器，用于基于接收到的第二游戏启动请求，启动云游戏。

一方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，该处理器和存储器相互连接；该存储器用于存储计算机程序；该处理器被配置用于在调用计算机程序时，执行基于云游戏的互动方法的任一种可能的实现方式提供的方法。

一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上基于云游戏的互动方法的任一种可能的实现方式提供的方法。

一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于云游戏的互动方法的任一种可能的实现方式提供的方法。

本申请提供的技术方案带来的有益效果是：

在本申请实施例中，本申请实施例所提供的基于云游戏的互动方法、装置、电子设备以及可读存储介质，响应于获取到的针对直播间和云游戏的同屏显示指示信息，获取直播间对应的初始直播数据流、以及获取云游戏对应的初始游戏数据流，然后对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送该目标多媒体数据流，对于客户端，可以在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，该目标视频数据包括目标游戏视频数据和目标直播视频数据，该目标游戏视频数据在云游戏的显示界面的第一显示区域显示，该目标直播视频数据在云游戏的显示界面的第二显示区域显示。采用本申请实施例提供的该方法，当用户通过直播间启动云游戏时，可以一边玩游戏，一边观看直播间的内容，实现了云游戏和直播内容同屏显示的技术效果，从而使用户可以同时参与游戏和直播，更好的满足了实际应用需求，提升了用户感知。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据共享系统的架构示意图；

图2是本申请实施例提供的一种基于云游戏的互动系统在一种应用场景下的结构示意图；

图3是本申请实施例提供的一种直播间的显示界面的界面示意图；

图4是本申请实施例提供的一种开黑口令操作界面的界面示意图；

图5是本申请实施例提供的一种基于云游戏的互动方法的流程示意图；

图6是本申请实施例提供的一种直播画面和云游戏画面同屏显示的界面示意图；

图7a是本申请实施例提供的一种第一虚拟形象赠送第一虚拟道具的示意图；

图7b是本申请实施例提供的一种第二虚拟形象赠送第二虚拟道具的示意图；

图8是本申请实施例提供的另一种基于云游戏的互动方法的流程示意图；

图9是本申请实施例提供的一种基于云游戏的互动装置的结构示意图；

图10是本申请实施例提供的另一种基于云游戏的互动装置的结构示意图；

图11是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请是针对现有技术中在对云游戏进行直播时，需要将云游戏画面传输到直播平台，在直播平台的直播界面来显示云游戏的画面，用户在观看直播的过程中，如果想要玩云游戏，就必须退出直播界面，也就是不再观看直播，然后再进入云游戏的游戏显示界面进行游戏操作，存在用户感知差的问题，而提出的一种基于云游戏的互动方法。

云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器(可以称为云游戏服务器)中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端(即云游戏客户端)。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。

其中，本申请实施例中的云游戏服务器可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端(本申请实施例中也称为终端设备、用户终端、玩家终端、游戏终端等)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本申请实施例所提供的互动方法，正是基于云技术的一种基于云游戏的互动方法，由于是基于云游戏环境，硬件要求低，用户的游戏设备即用户终端可以不需要高端的处理器和显卡，无需下载游戏，即可方便快捷的申请参与到游戏中，提升用户的游戏参与感知。

本申请实施例所提供的该互动方法中，用户终端通过网络与云游戏服务器通信，云游戏服务器响应于用户的游戏启动操作对应的第一游戏启动请求为用户终端创建对应的云端设备即云端实例。本申请实施例中所涉及的客户端、客户端服务器、云游戏服务器、直播服务器和流媒体服务器可以作为数据共享系统中的多个节点，多个节点之间可以进行数据共享。图1示出了本申请实施例提供的一种数据共享系统的架构示意图，如图1所示，数据共享系统100是指用于进行节点与节点之间数据共享的系统，该数据共享系统中可以包括多个节点101，多个节点101可以是指数据共享系统中各个客户端。每个节点101在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该数据共享系统内的共享数据。为了保证数据共享系统内的信息互通，数据共享系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当数据共享系统中的任意节点接收到输入信息时，数据共享系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享系统中全部节点上存储的数据均一致。对于数据共享系统中的每个节点，均具有与其对应的节点标识，而且数据共享系统中的每个节点均可以存储有数据共享系统中其他节点的节点标识，以便后续根据其他节点的节点标识，与其他节点进行信息交互。本申请实施例所提供的互动方法可以实现为如图1所示的数据共享系统，其中，云游戏服务器可以通过区块链技术实现。本申请实施例中基于云游戏的互动方法或装置中涉及到的数据，如目标多媒体数据流等数据可保存于区块链上。

以下结合一具体实施例对本申请实施例中的基于云游戏的互动系统进行详细说明。如图2所示，图2中示出了本申请实施例所适用的一种基于云游戏的互动系统在一种应用场景下的实施流程示意图，可以理解的是，本申请实施例所提供的基于云游戏的互动方法可以适用于但不限于应用于如图2所示的应用场景中。

如图2所示，该示例中的基于云游戏的互动系统可以包括但不限于客户端201、客户端服务器202、云游戏服务器203、直播服务器204和流媒体服务器205。其中，客户端201可以通过网络与客户端服务器202、云游戏服务器203、直播服务器204和流媒体服务器205通信。客户端服务器202可以通过网络与客户端201以及云游戏服务器203通信。云游戏服务器203可以通过网络与客户端201、客户端服务器202、直播服务器204以及流媒体服务器205通信。流媒体服务器可以通过网络与客户端201、云游戏服务器203以及直播服务器204通信。该应用场景下的基于云游戏的互动系统的具体交互可以包括步骤S201-S205：

步骤S201，客户端201，用于游戏玩家通过该客户端观看主播用户所开启的直播间的直播内容。

其中，直播内容的来源是该直播间对应的直播服务器204，该直播服务器204主要输出主播用户在直播过程中的数据流(即初始直播数据流，还可以称为直播音视频流，包括直播视频数据和直播音频数据)，直播服务器204把收集到的主播用户的音视频流向客户端传输，游戏玩家即可在客户端201看到直播间的直播内容。具体地，主播用户在本地通过设备获取音视频数据，传递到直播服务器，直播服务器处理直播内容(可以加滤镜或者特效或者鉴黄等行为)。然后将处理后的音视频事件下发给观众(即观看直播的用户)，观众下拉直播数据，在本地播放器播放就可以观看直播数据。

可选的，假设直播间和云游戏对应于同一个客户端，即客户端201，在这种情况下，对于游戏玩家而言，可以在同一个客户端即可参与直播，又可以参与云游戏，避免了下载两个客户端，可以在同一个客户端满足用户的多种需求，对于流媒体服务器而言，在后续实现直播画面和游戏画面同屏显示时，可以直接从同一个客户端获取相关数据(如来自直播间的初始直播数据流、来自云游戏初始游戏数据流、来自游戏玩家对云游戏进行执行的各种用户操作指令等)，避免了流媒体服务器处理来自两个客户端的数据，处理逻辑相对更加简单。主播用户如游戏主播，可以通过该客户端创建一个直播间(即游戏直播间)进行直播。游戏玩家如果对该主播用户的直播内容感兴趣，可以根据该客户端201提供的直播间链接，进入该直播间，观看主播的直播表演或者游戏讲解。如图3所示，是直播间的显示界面，该直播间界面中显示有以下信息：游戏主播正在直播的直播画面31，云游戏的相关信息(如图中所示的云游戏图标32)，游戏玩家的相关信息(如图中所示的用户头像33)，开黑口令输入按钮/按键(即图中所示的“输入开黑口令”34)，游戏玩家可以通过该按钮输入开黑口令，与主播一起体验云游戏，互动按钮/按键(即图中所示的“和主播聊聊吧”35、表情按钮/按键36)、互动信息发送按钮/按键(即图中所示的“发送”37)。其中，游戏主播正在直播的直播画面中的云游戏可以与云游戏图标32是同一个云游戏，此时，游戏玩家即可和主播用户体验同一个云游戏。在一些实施例中，游戏主播正在直播的直播画面中的云游戏与云游戏图标32可以是两个不同的云游戏，此时，游戏玩家可以根据自己的喜好开一局和主播用户正在直播的云游戏不同的云游戏，本实施在此不作限定。

步骤S202，客户端201，用于获取通过直播间发起的针对云游戏的游戏启动操作，并向云游戏服务器发送游戏启动操作对应的第一游戏启动请求。

可选的，在主播讲解过程中，主播可以邀请游戏玩家一起开黑云游戏，通过主播侧邀请或者主播分享的开黑码，通过具备云游戏能力的客户端201拉取和主播一样的云游戏，进入云游戏页面，此时游戏玩家可以开始和主播一起开黑。例如，当主播分享了开黑口令时，游戏玩家可以点击/触摸图3所示的输入开黑口令34，此时，会弹出开黑口令操作界面，该开黑口令操作界面如图4中所示的界面40，通过该操作界面，游戏玩家可以输入相应的开黑口令，会在文本框41显示游戏玩家输入的开黑口令(如图中所示的“123456”)，输入完成且确认无误后，游戏玩家可以点击/触摸图中所示的确认按钮/按键42，上传开黑口令，当然游戏玩家也可以点击/触摸图中所示的取消按钮/按键43，取消输入开黑口令。或者，游戏玩家在观看直播的过程中，也可以自己开一局云游戏。

此时，在客户端会获取到通过直播间发起的针对云游戏的游戏启动操作，响应于该游戏启动操作，在客户端拉起云游戏，此时需要传递游戏玩家、直播间和云游戏等相关信息，其中，直播间的相关信息可以包括直播间的标识信息(如房间号homeID)或者直播间的链接等信息。其中，homeID是当前直播间的唯一标识符。

以下详述如何传递游戏玩家、直播间和云游戏等相关信息。

在一可选的示例中，客户端可以直接将游戏启动操作对应的第一游戏启动请求发送至云游戏服务器，该第一游戏启动请求中包含了启动的云游戏和直播间的相关数据，比如可以包括以下信息：客户端的分辨率，启动的云游戏的游戏标识(即游戏ID，该游戏ID是游戏的唯一标识符)，启用游戏的用户标识(即用户userID，是当前体验云游戏的用户的id，也就是游戏玩家的用户标识)，直播间信息(homeID)，用户登录方式等关键信息。云游戏服务器获取到该第一游戏启动请求后，可以根据该第一游戏启动请求，得到该游戏玩家是否可以玩游戏，游戏时长是多少，游戏是否需要登录等信息，云游戏服务器可以基于得到的这些信息决定是否启动云游戏。

实际应用中，对于每个游戏玩家来说，体验云游戏是有一定的限制的，在判断游戏玩家是否可以玩游戏时，可以通过一定的限制因素来确定游戏玩家是否可以玩游戏，例如，限制因素可以包括时间限制、等级限制(如每个玩家需要满足一定的等级才可以体验云游戏等)、或会员限制(如每个玩家需要是会员才可以体验云游戏等)等其他可能的限制因素中的至少一种，在此不作任何限定。

其中，对于每个游戏玩家，时间限制可以理解为游戏玩家体验云游戏时，可用游戏时长是否满足要求，本申请实施例中对于该游戏时长具体设置方式不作任何限定。

可选的，可以为游戏玩家分配指定的能够玩云游戏的在线时长(如20小时、3小时等)，该在线时长以游戏玩家在线时间为准，不限登录次数，用完即止，当游戏玩家用使用完该在线时长后，可以重新获取新的在线时长，当然游戏玩家也可以在未使用完该在线时长的情况下，获取新的在线时长，并将新的在线时长与之前的在线时长叠加，例如，游戏玩家获取到的新的在线时长为20小时，之前的在线时长的剩余时长为10小时，叠加后的在线时长即为30小时。其中，游戏玩家在获取新的在线时长时，可以通过以下至少一种方式获取在线时长：虚拟游戏币购买、充值购买、做相关的游戏任务、分享游戏链接、分享客户端链接等，在此不作任何限定。其中，上述在线时长可以是对应于一个指定时段的，当该指定时段相对较短时，可以设置在线时长也相对较短，当该指定时段相对较长时，可以设置在线时长相对较长，在此不作限定。例如，该指定时段可以是每一天，此时可以设置每天的在线时长不超过3小时等，又如，该指定时段可以是一周，此时可以设置一周的在线时长不超过24小时等。

可选的，该游戏时长可以是固定时段，其中，固定时段可以以每天、每周、每月等作为单位，例如，以天为单位，该固定时段可以是每天的19:00-23:00。以周为单位，该固定时段可以是每周的周六和周日。以月为单位，该固定时段可以是每月的月初、月中、月末等时间。可理解，以上仅为一种示例，本实施例在此不作限定。

其中，基于时间限制确定游戏玩家是否可以玩游戏的具体过程如下：当云游戏服务器接收到第一游戏启动请求后，可以基于第一游戏启动请求中包含的游戏玩家的标识信息(如userID)获取该游戏玩家对应的可用游戏时长，如果该游戏玩家的可用游戏时长大于或等于第一游戏启动请求所请求的一局云游戏的游戏时长，此时，云游戏服务器可以启动第一游戏启动请求所请求的云游戏。其中，云游戏的游戏时长可以基于云游戏本身的性质确定，对于一局游戏是固定时长的云游戏来说，该云游戏的游戏时长是固定的，对于一局游戏是非固定时长的云游戏来说，该云游戏的游戏时长可以是统计得到的平均游戏时长，在此不作限定。

对于每个游戏玩家，等级限制可以理解为游戏玩家体验云游戏的需要满足的游戏等级要求，本申请实施例中对于游戏等级的具体设置方式不作任何限定。可选的，游戏等级可以是游戏玩家体验云游戏需要达到的等级。其中，基于等级限制确定游戏玩家是否可以玩游戏的具体过程如下：当云游戏服务器接收到第一游戏启动请求后，可以基于第一游戏启动请求中包含的游戏玩家的想要体验的云游戏的游戏ID(即gameID)，如果该云游戏的游戏ID对应于游戏玩家和主播用户一起开黑的云游戏，将该云游戏记为云游戏A，假设该云游戏A按照游戏等级的高低分为等级1、等级2、等级3、等级4、等级5，那么游戏玩家体验该云游戏A的游戏等级必须达到等级2或者等级1才可以与主播用户一起开黑。如果游戏玩家的游戏等级为等级1，满足等级要求，此时，云游戏服务器可以启动第一游戏启动请求所请求的云游戏。

对于每个游戏玩家，会员限制可以理解为游戏玩家体验云游戏的需要满足是会员要求，本申请实施例中对于会员的具体设置方式不作任何限定。例如，每个游戏玩家需要是客户端对应的应用的会员才可以体验云游戏，或者，游戏玩家如果想要与主播用户一起体验云游戏，需要满足是该主播用户的粉丝团的会员才可以与该主播用户一起体验云游戏。其中，基于会员限制确定游戏玩家是否可以玩游戏的具体过程如下：当云游戏服务器接收到第一游戏启动请求后，可以基于第一游戏启动请求中包含的游戏玩家的标识信息(如userID)获取该游戏玩家对应的会员信息，如果该游戏玩家对应的会员信息满足想要玩的云游戏的会员要求，此时，云游戏服务器可以启动第一游戏启动请求所请求的云游戏。

需要说明的是，也可以不对游戏玩家设置上述限制因素，此时，就无需执行判断游戏玩家是否可以玩游戏的步骤，本实施例在此不作限定。

可选的，云游戏服务器获取到该第一游戏启动请求后，还可以确定出游戏是否需要登录，具体过程如下：云游戏服务器根据第一游戏启动请求包含的游戏玩家的标识信息(如userID)获取该游戏玩家的登录信息，如果该游戏玩家是新用户，需要提示游戏玩家注册账号并登录，输入完成后启动云游戏；如果游戏玩家未保存云游戏的账户密码等信息，需要提示用户输入云游戏的账户密码等信息，输入完成后启动云游戏；如果游戏玩家保存了云游戏的账户密码等信息，则可以直接登录并启动云游戏。

可理解，以上仅为示例性的说明，本实施例在此不作限定。

在一可选的示例中，客户端还可以通过客户端对应的客户端服务器向云游戏服务器发送游戏启动请求。

可选的，基于云游戏的互动系统还可以包括客户端服务器202，其中：

客户端201，还用于向客户端服务器202发送游戏启动操作对应的第一游戏启动请求；

客户端服务器202，用于响应于接收到的第一游戏启动请求，向云游戏服务203发送发起游戏启动操作对应的第二游戏启动请求，该第二游戏启动请求包括目标对象的相关信息；

云游戏服务器203，用于基于接收到的第二游戏启动请求，启动云游戏。

可选的，客户端可以将游戏启动操作对应的第一游戏启动请求发送至客户端服务器，客户端服务器接收到该第一游戏启动请求后，根据该第一游戏启动请求中包含的云游戏和直播间的相关数据，得到该游戏玩家是否可以玩游戏，游戏时长是多少，游戏是否需要登录等信息，然后将这些信息打包至第二游戏启动请求，发送至云游戏服务器。其中，第二游戏启动请求包括目标对象的相关信息。其中，该目标对象即为发起针对云游戏的游戏启动操作的对象，也就是文中的游戏玩家，目标对象的相关信息是指云游戏和直播间的相关数据，游戏玩家是否可以玩游戏，游戏时长，游戏是否需要登录等信息，例如，目标对象的ID(即userID)、目标对象的游戏时长、目标对象的登录方式、启动的云游戏的游戏ID(即gameID)、直播间的ID(即homeID)等信息。

步骤S203，云游戏服务器203，用于响应于接收到的第一游戏启动请求(或者第二游戏启动请求)，得到初始游戏数据流。

可选的，当云游戏接收到第一游戏启动请求(或者第二游戏启动请求)后，即可响应该游戏启动请求，启动云游戏。以下详述云游戏服务器启动云游戏的过程。

云游戏服务器在接受到客户端服务器或者客户端传递的关于游戏玩家、直播间和云游戏的相关信息时，可以根据传递进来的参数(比如游戏信息的gameID，用户信息的userID)来决定启动什么云游戏，云游戏服务器获取当前用户(即游戏玩家)在游戏内的基础数据，启动安卓容器(即Android容器)。其中，安卓容器是将Android操作系统打包到容器镜像中，之后再通过标准容器镜像进行发布的容器。一个安卓容器就是一个完整的Android系统。

启动安卓容器后开始启动云游戏，在该安卓容器中可以进行云游戏的渲染工作，得到云游戏对应的初始游戏数据流(包括云游戏视频流和云游戏音频流)。其中，可以采用安卓容器内渲染的技术实现游戏的渲染，在该安卓容器内可以直接访问图形处理器(Graphics Processing Unit，简称GPU)实现游戏渲染，GPU具有高并发的计算能力，可以直接在安卓容器内完成渲染，并且可以提升渲染性能。

然后，云游戏服务器会把初始游戏数据流下发给客户端，接下来客户端可以和云游戏服务器相互交互，云游戏服务器不断的接收客户端传递过来的用户操作指令，从而加载最新的游戏画面，把更新后的游戏画面再实时传递给客户端。

为了能够给游戏玩家更好的游戏体验和直播体验，实现同屏显示云游戏的游戏画面和直播间的直播画面的目的，可以加入流媒体服务器，并建立云游戏服务器和流媒体服务器之间的通信连接。

可选的，如果云游戏服务器接收到了来自客户端所传递的同屏显示指示信息，则表明需要同屏显示游戏画面和直播画面。其中，同屏显示指示信息可以通过一个字段进行表示，如可以通过直播游戏同屏模式(isOnlyScreen)这个字段来表示，这个字段会决定是否进行直播画面和游戏画面同屏处理。如果需要的话就会通过流媒体服务器，处理音视频流数据。也就是说，该流媒体服务器可以理解为用于实现直播画面和游戏画面同屏显示的处理设备，用于处理来自直播间的流媒体数据(即初始直播数据流)和来自云游戏的流媒体数据(即初始游戏数据流)，实现两路流媒体数据的同屏显示。如果不需要的话，云游戏服务器输出的云游戏音视频流(即初始游戏数据流)就会直接下发给游戏玩家的客户端。对于该同屏显示指示信息的获取方式可参考后文描述，在此不再详述。

可选的，如果云游戏服务器接收到了来自客户端所传递的音频播放方式指示信息，则表明需要对来自云游戏的游戏音频数据和直播间的直播音频数据这两路音频数据进行一定的处理，需要将该音频播放方式指示信息发送至流媒体服务器，以指示流媒体服务器进行相应的处理。对于该音频播放方式指示信息的获取方式可参考后文描述，在此不再详述。

其中，音频播放方式指示信息需要包含是否需要混合两路音频的相关信息、以及播放哪路音频的相关信息，具体地，音频播放方式指示信息可以包含以下信息：

音频播放方式指示信息可以包含混合音频字段isMixtureAudio的相关信息，其中，如果isMixtureAudio＝＝yes，表示需要混合这两路音频，如果isMixtureAudio＝＝no，表示不需要混合这两路音频。

在不混合情况下，音频播放方式指示信息需要包含播放哪一路的音频的指示信息。可以通过字段liveAudio代表是否播放直播间音频，如果liveAudio＝＝yes，表示需要播放直播音频，如果liveAudio＝＝no，表示不需要播放直播音频。可以通过gameAudio代表是否播放游戏音频，如果gameAudio＝＝yes，表示需要播放游戏音频，如果gameAudio＝＝no，表示不需要播放游戏音频。

按照上述方式，当云游戏服务器接收到了同屏显示指示信息和音频播放方式指示信息后，需要向流媒体服务器发送同屏显示指示信息和音频播放方式指示信息。其中，本申请实施例对于接收同屏显示指示信息和音频播放方式指示信息的先后顺序不作限定，可以同时接收同屏显示指示信息和音频播放方式指示信息，也可以分别接收同屏显示指示信息和音频播放方式指示信息，如果同屏显示指示信息和音频播放方式指示信息是通过游戏玩家的操作指令触发的，那么，云游戏服务器接收这两个信息的接收时间以游戏玩家的实际操作的先后顺序为准。如果同屏显示指示信息和音频播放方式指示信息是预先配置的，那么，云游戏服务器可以同时接收这两个信息。

步骤S204，流媒体服务器205，用于若获取到针对直播间和云游戏的同屏显示指示信息，则从直播间对应的直播服务器204获取初始直播数据流、以及获取云游戏对应的初始游戏数据流；对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送目标多媒体数据流。

需要特别说明的是，本申请实施例中来自直播服务器204的初始直播数据流是随着时间一直在变化的，为避免造成歧义，将所有来自直播服务器204的数据流统称为初始直播数据流。相应地，本申请实施例中来自云游戏服务器203的初始游戏数据流也是随着时间一直在变化的，为避免造成歧义，将所有来自云游戏服务器203的数据流统称为初始游戏数据流。相应地，本申请实施例中来自流媒体服务器205的目标多媒体数据流也是随着时间一直在变化的，为避免造成歧义，将通过流媒体服务器205对初始直播数据流和初始游戏数据流进行同步处理所得到的数据流，统称为目标多媒体数据流，也就是将所有来自流媒体服务器205的数据流统称为目标多媒体数据流。

可选的，如果流媒体服务器接收到了来自于云游戏服务器的针对直播间和云游戏的同屏显示指示信息和音频播放方式指示信息后，可以根据云游戏服务器传递进来的直播间信息(homeID)，去直播间服务器拉取直播间(homeID)的音视频数据(即初始直播数据流)，将获取到的初始直播数据流进入流媒体处理服务器中，并拉取来自于云游戏服务器所渲染的云游戏的初始游戏数据流，对初始直播数据流和初始游戏数据流进行同步处理。

如果同屏显示指示信息和音频播放方式指示信息是用户操作指令对应的相关指令，对于流媒体服务器来说，需要对云游戏服务器传输的用户操作指令进行判断，也就是需要对这些用户操作指令对应的指令进行判断，比如判断以下指令：是否关闭直播数据流(包括直播视频和直播音频)，是否关闭直播音频，是否关闭直播视频(保留直播音频)，是否放大直播画面，是否缩小直播画面等指令，这里的指令决定着流媒体服务最终输出的音视频数据内容(即目标多媒体数据流)。

流媒体服务器在处理初始游戏数据流和初始直播数据流时，由于初始游戏数据流和初始直播数据流都包含着音频数据和视频数据，由于音频数据和视频数据是属于两路数据流，可以对音频数据和视频数据分开单独处理。

可选的，对于初始游戏数据流的游戏音频数据和初始直播数据流的直播音频数据，可以根据isMixtureAudio该字段的参数值判断是否需要同时播放这两路音频数据，如果参数值是no，代表不需要混合这两路音频数据，如果参数值是yes代表需要混合这两路音频数据。如果需要把两路音频数据进行混合播放，由于这两路音频数据的获取来源不同，在处理这两路音频数据时，需要把两路音频数据进行合并对齐，得到目标音频数据，让游戏玩家在玩游戏的同时，同步的收到直播间的音频数据。在混合音频的过程中，其实就是将两路音频数据通过技术手段合并在一起播放的过程。在进行音频混合时需要注意的是，用户在体验游戏中，游戏体验更重要，混合这两路音频数据时，需要以云游戏的游戏音频数据为基准。

可选的，对于初始游戏数据流的游戏视频数据和初始直播数据流的直播视频数据，可以基于直播视频数据的时间戳和游戏视频数据的时间戳，实现直播内容和游戏内容的同步播放，为了使游戏玩家有更好的游戏体验，可以将来自于云游戏的游戏视频数据作为主要的参考视频数据(还可以称为基准视频数据)，来对游戏视频数据和直播视频数据进行同步处理，得到同步后的视频数据(即目标视频数据)。详细的处理过程可参考后文描述，在此不再详述。

通过上述过程，流媒体服务器可以得到两路数据，即一路音频数据(即目标音频数据)、一路视频数据(即目标视频数据)，游戏玩家可以自主的选择播放哪一路数据。

可选的，如果游戏玩家选择同时播放目标音频数据和目标视频数据，流媒体服务器还需要对目标音频数据和目标视频数据进行同步处理。其中，音频数据和视频数据有本质的区别，大小不一样，音频数据更小，音频数据和视频数据的数据类型有明显的区别，有音频数据的数据类型为Audio数据，视频数据的数据类型video数据。在对目标音频数据和目标视频数据进行同步处理时，可以将目标音频数据和目标视频数据的时间戳数据进行对比，一般会精确到毫秒，然后比对音视频数据，时间戳相同的音频数据和视频数据就会在播放器的缓冲区被整合，此时，流媒体服务器可以将整合得到的目标多媒体数据流下发至客户端。

在流媒体处理服务器将直播画面和云游戏的游戏画面的第一帧数据合并完成时，可以告知云游戏服务器持续的进行云游戏数据输出(即持续输出初始游戏数据流)，并告知直播服务器持续的输出初始直播数据流，相应地，流媒体处理服务器会持续处理数据，输出目标多媒体数据流。此时，云游戏服务器可以告知客户端服务器容器已经开始渲染，可以做相关数据记录和处理，比如，记录用户游玩时长，用户剩余时长等相关信息。并且，客户端服务器需要通知客户端云游戏对应的容器已经开始初始化云游戏，并通知客户端容器已经准备完成，可以做业务处理，比如动画消息等。

然后，客户端和云游戏服务器建立长连接，其中，长连接是指在一个连接上可以连续发送多个数据包，在连接保持期间，如果没有数据包发送，需要双方发链路检测包。当建立长连接后，客户端需要和云游戏服务器不断的传递用户操作指令，用户操作指令主要是指游戏玩家在操作云游戏过程中产生的多种指令，比如游戏玩家的点击和拖拽等动作，还有对直播画面的控制操作，然后把执行信息传递给云游戏服务器，云游戏服务器获取新的指令进行数据计算后进行再次渲染下发初始游戏数据流，并且，将对直播间的控制指令信息传递到流媒体处理服务器中，来控制直播画面的处理。通过流媒体服务器，可以不断地向客户端传送最新的目标多媒体数据流。

步骤S205，客户端201，还用于在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据或同步播放目标音频数据中的至少之一。其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标音频数据包括目标游戏音频数据或目标直播音频数据中的至少之一。目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

其中，关于在客户端如何显示目标视频数据的详细过程可参考后文描述，在此不再赘述。

可理解，以上仅为一种示例，本申请实施例，在此不作任何限定。

通过本申请实施例，通过流媒体服务器，可以对直播间的音视频流和云游戏的音视频流进行整合，达到直播画质和云游戏画质同屏显示的效果，使得用户在观看直播的同时还可以体验云游戏，也可以在体验云游戏的同时参与直播间互动，大大提升了用户感知，满足了用户需求。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、Wi-Fi及其他实现无线通信的网络。用户终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、笔记本电脑、数字广播接收器、MID(Mobile InternetDevices，移动互联网设备)、PDA(个人数字助理)、台式计算机、车载终端(例如车载导航终端)、智能音箱、智能手表等，用户终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。具体也可基于实际应用场景需求确定，在此不作限定。

参见图5，图5是本申请实施例提供的一种基于云游戏的互动方法的流程示意图，该方法的执行主体为云游戏玩家的用户终端，也就是从游戏玩家的角度对本申请提供的方法进行的说明，其中，该用户终端中安装有客户端，该客户端可以是直播间和云游戏对应的同一个客户端，即该客户端即可以支持体验云游戏，也可以支持直播。当然，该客户端也可以是直播间对应的客户端，该直播间对应的客户端支持直播和体验云游戏，并且该直播间对应的客户端中的云游戏和直播间支持互相跳转。当然，该客户端也可以是云游戏对应的客户端(可以称为云游戏客户端)，该云游戏对应的客户端支持直播和体验云游戏，并且该云游戏对应的客户端中的云游戏和直播间支持互相跳转。以上仅为一种示例，本申请实施例在此不作任何限定。如图5所示，本申请实施例提供的基于云游戏的互动方法包括如下步骤：

步骤S501，获取通过直播间发起的针对云游戏的游戏启动操作。

步骤S502，响应于上述游戏启动操作，并基于获取到的针对上述直播间和上述云游戏的同屏显示指示信息，在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，上述目标视频数据包括目标游戏视频数据和目标直播视频数据，上述目标游戏视频数据在上述显示界面的第一显示区域显示，上述目标直播视频数据在上述显示界面的第二显示区域显示。

可选的，上述直播间是主播用户正在直播的直播间，具体哪些用户可以作为主播用户，可以根据实际需求配置，本申请实施例不做限定。可选的，主播用户可以是具有游戏主播权限的用户即游戏主播，也可以是满足预设条件的用户，比如，游戏能力满足设定条件的用户，其中，游戏能力可以通过用户的游戏账号的游戏等级表征，还可以是通过游戏账号的游戏胜率、游戏对战次数等表征。

主播用户可以在其终端设备上安装云游戏客户端(即文中描述的客户端)，并进行云游戏账号的注册，在注册通过后，后续即可以采用该云游戏账号登录云游戏的客户端参与云游戏。其中，如果一个云游戏平台提供多种云游戏，对于一个用户而言，不同云游戏对应的游戏账号可以相同，也可以不同。本申请实施例中，主播用户可以是云游戏平台认证的主播用户，即一个用户可以通过云游戏客户端向云游戏服务器发送主播申请请求，在云游戏服务器认证通过后成为主播用户，该用户的游戏账号则为主播用户的游戏账号，云游戏服务器保存该主播用户的信息，用户在登录云游戏客户端时，云游戏服务器则可以根据用户的游戏账号确定该用户是否为主播用户。主播用户也可以是与云游戏平台具有关联的直播平台的主播用户，云游戏服务器可以从直播平台的直播服务器获取到各主播用户的信息，并可以将主播用户的信息与其对应的游戏账号关联，在一个用户登录云游戏客户端时，可以根据该关联识别出一个用户是否为主播用户。主播用户在想要开启云游戏直播时，可以使用其云游戏账号登录云游戏客户端，如在云游戏的网页客户端(即web客户端)或者移动客户端进行登录。在登录成功后，可以在客户端的用户界面上选择自己想要玩的云游戏(即目标云游戏)，并通过该游戏的游戏开启入口发起启动触发操作。目标云游戏即为主播用户选中的想要开启的云游戏。其中，主播用户可以发起该启动触发操作的用户界面，具体是云游戏客户端的哪个或哪些用户界面本申请不做限定，界面的具体形式也不做限定，均可以根据需求配置，比如，可以是用户登录之后的首页，也可以是其他界面。

游戏玩家(还可以称为非主播用户，玩家，游戏用户等)可以观看该主播用户开启的云游戏直播的直播间，游戏玩家是任意想要参与(即可以申请参与)主播用户开启的云游戏的用户，该游戏玩家可以是云游戏平台的注册用户，也可以不是。该游戏玩家是具有游戏参与权限(也可以称为游戏操作权限)的游戏用户，也就是能够对云游戏进行游戏操控的用户，比如，游戏玩家可以在其用户终端上对云游戏的虚拟场景中该游戏玩家的虚拟对象(即虚拟游戏角色)进行控制，如控制虚拟玩家的行走、技能释放等。

游戏玩家可以通过在客户端的游戏参与界面(即直播间的显示界面)发起针对云游戏的参与请求(即针对云游戏的游戏启动操作)来申请参与该云游戏(即主播开启的目标云游戏)。例如，游戏玩家可以在直播间接受主播用户邀请或者通过主播分享的开黑码，进入主播的云游戏开黑房间，或者游戏玩家自己想要开一局游戏等，启动客户端云游戏。

然后，响应于游戏启动操作，并基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，该目标多媒体数据流是流媒体服务器向用户终端传输的数据流，该目标多媒体数据流是流媒体服务器，基于从直播间对应的直播服务器获取到的初始直播数据流、以及从云游戏对应的云游戏服务器获取到的初始游戏数据流，并通过对该初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流。其中，关于如何得到目标多媒体数据流和同屏显示指示信息的详细过程参见后文描述，在此不再详述。

上述目标多媒体数据流中包含的目标视频数据包括两部分内容，一部分内容是目标游戏视频数据，一部分内容是目标直播视频数据。其中，目标游戏视频数据来源于云游戏对应的云游戏服务器，也就是游戏玩家在体验云游戏的过程中产生的游戏数据，目标直播视频数据来源于直播间对应的直播服务器，也就是通过直播间直播的过程中产生的直播数据。在云游戏的显示界面，游戏玩家可以看到在第一显示区域显示的目标游戏视频数据，以及在第二显示区域显示的目标直播视频数据。

本申请实施例对于如何显示目标游戏视频数据和目标直播视频数据不作限定。也就是说，本申请实施例中对于第一显示区域和第二显示区域的显示尺寸、显示位置、显示形状等不作任何限定。其中，可以采用嵌入式的方式，将第二显示区域嵌入第一显示区域，或者，可以采用悬浮式的方式，以悬浮窗的形式将第二显示区域置于第一显示区域之上，在此不作限定。

可选的，可以设置第一显示区域与游戏玩家所使用的用户终端的屏幕适配，第一显示区域的显示尺寸大于第二显示区域的显示尺寸，并且，游戏玩家可以根据自己的需求随意调整第二显示区域的显示尺寸，即游戏玩家可以对第二显示区域进行缩小、放大等操作，本申请实施例在此不作任何限定。

可选的，第二显示区域的显示位置可以是预先设定好的显示位置，并且，游戏玩家可以根据自己的需求随意调整第二显示区域的显示位置。例如，游戏玩家可以调整第二显示区域在用户终端的显示屏幕的左上角、右上角、左下角、右下角等多个位置，本申请实施例在此不作任何限定。

可选的，对于第二显示区域的显示形状本申请实施例不作任何限定，可以是预先设定好的形状，该预先设定好的形状可以包括至少一种形状，例如，可以是正方形、长方形等、圆形、椭圆形等，游戏玩家可以根据需要自行选择喜欢的形状。该显示形状也可以是基于游戏玩家自定义的显示形状，即游戏玩家可以自己绘制喜欢的形状。本申请实施例在此不作任何限定。

如图6所示，是本申请实施例提供的一种直播画面和云游戏画面同屏显示的界面示意图，可以看出，该显示界面包括第一显示区域61和第二显示区域62，第二显示区域62的显示位置位于该显示界面的左上角，显示形状为正方形，显示尺寸可以是游戏玩家自行调整的尺寸或者默认的显示尺寸。其中，第二显示区域62播放的是直播内容(即直播视频数据)，第一显示区域61播放的是游戏内容(即游戏视频数据)。

可选的，游戏玩家在体验云游戏的过程中，不仅可以观看视频数据，即观看目标游戏视频数据和目标直播视频数据，还可以根据需要选择自己感兴趣的音频。

在一种可选的实施例中，上述目标多媒体数据流还包括与上述目标视频数据对应的目标音频数据，上述在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，包括：

在上述云游戏的显示界面显示上述目标视频数据，并同步播放上述目标音频数据，其中，上述目标音频数据包括上述云游戏对应的游戏音频数据或上述直播间对应的直播音频数据中的至少之一，上述目标音频数据是基于获取到的音频播放方式指示信息确定的。

可选的，目标音频数据可以基于音频播放方式指示信息确定，该目标音频数据包括云游戏对应的游戏音频数据或直播间对应的直播音频数据中的至少之一。其中，音频播放方式指示信息可以通过多种方式获取到，本申请实施例在此不作限定。以下是本申请实施例提供的几种可能的方式：

方式1：通过游戏玩家的操作触发音频设置指令，该音频设置指令中包含音频播放方式指示信息。

在一种可选的实施例中，上述在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据之前，还包括：

响应于上述游戏启动操作，显示针对多媒体播放方式的操作界面；

通过上述操作界面，接收针对上述直播间和上述云游戏的音频设置指令，其中，上述音频设置指令包括上述音频播放方式指示信息。

可选的，游戏玩家可以在进入云游戏的显示界面之前根据需要选择音频的播放方式。具体地，游戏玩家可以通过直播间的显示界面发起游戏启动操作，即游戏玩家接受主播用户的邀请或者输入主播用户的开黑码之后，然后响应于游戏启动操作，显示针对多媒体播放方式的操作界面，通过该操作界面，游戏玩家可以选择音频的播放方式，游戏玩家可以对以下至少一项进行设置：选择播放哪路音频数据(即对游戏音频或直播间音频中的至少一项进行选择)，选择哪路音频数据作为主音频，选择哪路音频数据作为次音频，对音频的音量、音效进行设置，等等。当游戏玩家执行完音频的播放方式的操作后，即可获取到音频设置指令。

其中，前文描述中，同屏显示指令和音频设置指令均可以通过同一个多媒体显示播放方式的操作界面获取到，实际应用中，还可以设置获取同屏显示指令的操作界面和获取音频设置指令的操作界面为两个不同的操作界面，本申请实施例在此不作任何限定。

在一种可选的实施例中，游戏玩家可以在进入云游戏的显示界面之后根据需要选择音频的播放方式。具体地，当用户进入云游戏的显示界面后，如果需要对音频的播放方式进行相关的设置，可以通过云游戏的显示界面，打开多媒体显示播放方式的操作界面，通过该操作界面，进行音频的播放方式的相关操作，此时，可以接收到针对音频的播放方式的音频设置指令。

方式2：音频播放方式指示信息是基于预先配置的音频播放方式所获取到的。

可选的，可以基于游戏玩家的历史设置信息，获取到音频播放方式指示信息。例如，基于游戏玩家的历史数据，如果游戏玩家的历史数据中包含了音频播放方式的相关历史设置信息，则可以将该音频播放方式的相关历史设置信息作为音频播放方式指示信息。

或者，该音频播放方式指示信息是客户端默认的配置信息，例如，由于游戏玩家在体验游戏中，游戏体验更重要，可以默认配置以云游戏的游戏音频数据为主音频、以直播间的直播音频数据为次音频，即音频播放方式指示信息可以指示将云游戏的游戏音频数据作为基准音频，将云游戏的游戏音频数据和直播间的直播音频数据合并为一路混合音频数据，来得到目标音频数据。

可理解，上述方式仅为几种可能的方式，本申请实施例中对于如何获取到音频播放方式指示信息不作任何限定。

通过本申请实施例，当用户通过直播间启动云游戏时，实现了云游戏和直播内容同屏显示的技术效果，并且，用户可以根据需要自行选择喜欢的目标音频数据进行播放，从而使用户可以同时参与到云游戏和直播中，更好的满足了实际应用需求，提升了用户感知。

以下详述如何获取到同屏显示指示信息，本申请实施例中的同屏显示指示信息可以通过多种方式获取到，在此不作限定。以下是本申请实施例提供的几种可能的方式：

方式1：通过游戏玩家的操作触发同屏显示指令，该同屏显示指令中包含同屏显示指示信息。

在一种可选的实施例中，上述在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据之前，还包括：

响应于上述游戏启动操作，显示针对多媒体播放方式的操作界面；

通过上述操作界面，接收针对上述直播间和上述云游戏的同屏显示指令，其中，上述同屏显示指令包括上述同屏显示指示信息。

可选的，游戏玩家可以在进入云游戏的显示界面之前确认是否同屏显示直播间和云游戏。具体地，游戏玩家可以通过直播间的显示界面发起游戏启动操作，即游戏玩家接受主播用户的邀请或者输入主播用户的开黑码之后，然后响应于游戏启动操作，显示针对多媒体播放方式的操作界面，通过该操作界面，游戏玩家可以选择是否接受直播间和云游戏同屏显示，如果接受，即获取到了针对直播间和云游戏的同屏显示指令，其中，该同屏显示指令包括同屏显示指示信息。

其中，本申请实施例中对于多媒体显示播放方式的操作界面的具体显示方式不作任何限定，可以通过弹窗的方式弹出，或者，可以通过更新直播间的显示界面的方式显示等。

在一种可选的实施例中，游戏玩家可以在进入云游戏的显示界面之后确认是否同屏显示直播间和云游戏。具体地，当用户进入云游戏的显示界面后，如果还想要观看直播间的直播内容，可以通过云游戏的显示界面，打开多媒体显示播放方式的操作界面，通过该操作界面，进行云游戏和直播间同屏显示的相关操作，此时，可以接收到针对直播间云游戏的同屏显示指令，该同屏显示指令包括同屏显示指示信息。

方式2：同屏显示指示信息基于预先配置的多媒体显示方式获取到的。

可选的，可以基于游戏玩家的历史设置信息，获取到同屏显示指示信息。例如，基于游戏玩家的历史数据，如果游戏玩家的历史数据中包含了直播间和云游戏同屏显示的设置信息，则可以基于该历史的同屏显示的设置信息获取到同屏显示指示信息。

或者，该同屏显示指示信息是客户端默认的配置信息，即只要游戏用户通过直播间开启云游戏，就默认云游戏和直播间同屏显示，当然，游戏玩家可以根据需要随时关闭/开启直播间和云游戏同屏显示的功能。

可理解，上述方式仅为几种可能的方式，本申请实施例中对于如何获取到同屏显示指示信息不作任何限定。

通过本申请实施例，可以通过多种方式获取到同屏显示指示信息，方式灵活多样，可以根据实际需求选择合适的方式，能够适应实际应用中的多种需求，提高了适应性。

可选的，在实际应用中，游戏玩家可以根据需求自行调整第二显示区域的大小、位置、形状等，以下详述针对第二显示区域的调整过程。

在一种可选的实施例中，上述方法还包括：响应于获取到的针对上述第二显示区域的显示区域调整操作，在调整后的第二显示区域中显示上述目标直播数据，上述调整后的第二显示区域是基于上述显示区域调节操作对应的显示区域调整的。

可选的，游戏玩家在体验云游戏的过程中，可以随时根据游戏需求对第二显示区域进行调整，上述显示区域调整操作可以是来自于游戏玩家对第二显示区域的以下任一种情形的调整：显示尺寸的调整(即第二显示区域的区域大小的调整)、显示位置的调整(即第二显示区域在用户终端的屏幕的哪个位置进行显示)、显示形状的调整(即第二显示区域以何种形状进行显示)等。

当接收到来自游戏玩家的显示区域的调整操作后，可以响应该操作，使得第二显示区域按照调整后的第二显示区域，显示目标直播数据。例如，以显示区域调整操作是缩小第二显示区域为例，当游戏玩家对第二显示区域进行了缩小显示的操作后，游戏玩家可以在云游戏的显示界面看到相对缩小的第二显示区域，同时，会看到相对增大的第一显示区域，也就是说，游戏玩家可以观看到相对更多的游戏画面，例如，相比于对第二显示区域进行缩小显示操作之前，游戏玩家可以看到之前没有看到的更多的游戏画面，即游戏场景会相对更加丰富，或者，可以将游戏画面等比例放大。并且，游戏玩家会看到相对缩小的直播画面，可以是直播画面内容的相对减少、也可以是将直播画面等比例缩小。可理解，以上仅为一种示例，本申请实施例在此不作任何限定。

作为一种可选的示例，上述显示区域调整操作，还可以是针对第一显示区域和第二显示区域的显示位置的位置切换操作，即游戏玩家可以根据需求将第一显示区域和第二显示区域的显示位置进行对调。例如，假设原本的第一显示区域为主画面显示区域、第二显示区域为辅画面显示区域，游戏玩家可以根据需求将第二显示区域作为主画面显示区域，将第一显示区域作为辅画面显示区域。以上仅为一种示例，本申请实施例在此不作任何限定。举例来说，游戏玩家在云游戏中需要参加直播间互动时，可以放大直播间画质，参与直播间互动，互动结束后，可以缩小直播间画质，继续云游戏。

通过本申请实施例，游戏玩家可以根据需求随意调整第二显示区域，即游戏玩家可以在参与云游戏的过程中，随意调整直播画面，能够同时满足玩家的游戏需求和直播需求，提升了用户体验。

可选的，在实际应用中，游戏玩家在体验云游戏的过程中，还可以参与到直播间的互动中，以下详述游戏玩家在体验云游戏的过程中与直播间进行互动的过程。

在一种可选的实施例中，上述方法还包括：

通过上述第二显示区域获取针对上述直播间的互动操作；

获取包含上述互动操作对应的互动信息的目标视频数据，并在上述第二显示区域显示包含上述互动信息的目标视频数据。

可选的，上述互动操作是游戏玩家在体验云游戏的过程中与直播间进行互动时发起的，换言之，该互动操作是通过第二显示区域所发起的。本申请实施例中对于上述互动操作的形式不作任何限定，游戏玩家可以根据需求发起针对直播间的各种形式的互动，例如，该互动操作可以是针对直播间特效触发操作(包括点赞、赠送礼物等)、评论信息触发操作(包括发表弹幕、向评论区发表文字信息等)，等等。

当游戏玩家通过云游戏的显示界面的第二显示区域发起直播间的互动操作后，用户终端可以获取到包含该互动操作对应的互动信息的目标视频数据，并在该第二显示区域显示包含该互动信息的目标视频数据。其中，关于包含该互动信息的目标视频数据的来源，可以参考后文描述，在此不再详述。

通过本申请实施例，游戏玩家在体验云游戏的过程中，不仅可以观看直播间，还可以实时的参与到直播间的互动中，极大地保证了游戏玩家边玩游戏、边看直播的需求，提升了用户感知。

在一种可选的实施例中，上述互动操作包括第一虚拟道具赠送操作，上述第一虚拟道具赠送操作对应的互动信息包括第一虚拟道具和上述云游戏对应的游戏用户的第一虚拟形象，上述在上述第二显示区域显示包含上述互动信息的目标视频数据，包括：

在上述第二显示区域显示上述云游戏对应的游戏用户的第一虚拟形象针对上述第一虚拟道具的第一虚拟道具赠送过程。

可选的，对于游戏玩家而言，当游戏玩家和主播用户一起开黑，或者，游戏玩家一边看主播的直播，一边开一局云游戏时，可以通过云游戏的显示界面与主播用户进行各种形式的交互，即发起互动操作，该互动操作可以是针对主播用户的第一虚拟道具赠送操作(即打赏主播用户)，第一虚拟道具赠送操作对应的互动信息包括第一虚拟道具，第一虚拟道具可以是虚拟金币、虚拟礼物、虚拟点券等各种形式的第一虚拟道具，在此不作限定。第一虚拟道具赠送操作对应的互动信息还包括云游戏对应的游戏用户(即游戏玩家)的第一虚拟形象，该游戏用户的第一虚拟形象可以包括基于游戏用户的真实形象所得到的虚拟形象，例如，该第一虚拟形象可以是游戏用户的卡通/动漫形象等。可以预先配置至少一个通用虚拟形象，该游戏用户的第一虚拟形象可以包括游戏玩家根据自己的喜好选择的预配置的通用虚拟形象。该游戏用户的第一虚拟形象还可以包括游戏用户在云游戏中所使用的虚拟形象，例如，游戏玩家和主播用户一起体验云游戏A，游戏用户在该云游戏A中所使用的虚拟形象是角色A，那么在云游戏的显示界面的第二显示区域显示的该游戏用户的第一虚拟形象可以是该角色A。以上仅为示例性的说明，本实施在此不作限定。

当游戏玩家触发了第一虚拟道具赠送操作时，可以在云游戏的显示界面的第二显示区域显示该第一虚拟道具赠送操作对应的第一虚拟道具和游戏用户的第一虚拟形象，此时，对于主播用户而言，可以在直播间看到游戏玩家的第一虚拟形象针对第一虚拟道具的赠送过程，通俗来讲，主播用户可以在直播间看到游戏玩家的第一虚拟形象携带者第一虚拟道具向主播用户赠送第一虚拟道具的动态过程，例如，游戏玩家的第一虚拟形象发射爱心(即第一虚拟道具)的过程，游戏玩家的第一虚拟形象带着虚拟花束(即第一虚拟道具)献花的过程，等等，在此不作限定。如图7a所示，可以在第二显示区域显示第一虚拟道具63和游戏用户的第一虚拟形象64，该示例中，第二显示区域显示的是游戏玩家的第一虚拟形象拿着棒棒糖(即第一虚拟道具)向主播用户赠送礼物的过程。

可选的，对于主播用户而言，当主播用户看到来自游戏玩家以第一虚拟形象的方式赠送第一虚拟道具时，主播用户也可以以第二虚拟形象的方式出现在游戏玩家的云游戏的显示界面和游戏玩家互动，当主播用户在直播间发起针对游戏玩家的第二虚拟道具赠送操作时，对于游戏玩家而言，可以在云游戏的显示界面看到主播用户的第二虚拟形象针对第二虚拟道具的赠送过程，通俗来讲，游戏玩家可以在云游戏的显示界面看到主播用户的第二虚拟形象携带者第二虚拟道具向游戏玩家赠送第二虚拟道具的动态过程。其中，关于第二虚拟道具和第二虚拟形象具体如何配置，可参考对第一虚拟道具和第二虚拟形象的描述，在此不再赘述。如图7b所示，可以在云游戏的显示界面的第一显示区域显示第二虚拟道具65和主播用户的第二虚拟形象66，该示例中，第一显示区域显示的是主播用户的第二虚拟形象向游戏玩家表示感谢的表情(即第二虚拟道具)，该过程中，第二虚拟形象可以做出感谢的动作，表情可以动态展示，在此不作限定。

可理解，上述仅为一种示例，本实施例在此不作任何限定。

通过本申请实施例，在直播间和云游戏同屏显示的情况下，游戏玩家可以与主播用户进行互动，当游戏玩家向主播用户发起第一虚拟道具赠送操作时，可以在直播间展示游戏玩家的第一虚拟形象向主播用户发送第一虚拟道具的动态过程，相应地，主播用户也可以向游戏玩家表示感谢，发起第二虚拟道具赠送操作，游戏玩家可以在云游戏的显示界面看到主播用户的第二虚拟形象向游戏玩家表示感谢的动态过程，这种通过虚拟形象的方式展示赠送虚拟道具的过程，极大地增强了游戏玩家和主播用户之间的互动性，提高了用户感知。

在一种可选的实施例中，上述方法还包括：

接收提示信息，其中，上述提示信息用于指示上述云游戏出现卡顿；

上述在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，包括：

在上述云游戏的显示界面显示未包含上述目标游戏视频数据的目标视频数据。

可选的，在直播间和云游戏同屏显示的情况下，云游戏服务器在渲染云游戏时，可能会因为一些原因(如网络原因、机器故障、机器断电等)出现卡顿的情形，此时，云游戏服务器可以向客户端发送提示信息，客户端会接收到该提示信息，该提示信息用于提示云游戏出现卡顿，游戏玩家可以休息一段时间，为了避免游戏玩家有不好的游戏体验，可以自动切换到直播间的直播画面，此时，可以在云游戏的显示界面显示未包含目标游戏视频数据的目标视频数据，也就是在云游戏的显示界面只显示直播间的直播画面，不显示云游戏的游戏画面。当云游戏不卡顿时，游戏玩家可以继续从出现卡顿之前的一帧画面开始体验云游戏。

可选的，在直播间和云游戏同屏显示的情况下，当直播间的直播画面在直播过程中出现卡顿时，可以自动切换为只显示云游戏的游戏画面，不显示直播间的画面，当直播间不卡顿时，在云游戏的显示界面播放当前时间对应的直播画面。

可理解，上述仅为一种示例性的描述，本申请实施例在此不作限定。

通过本申请实施例，当云游戏出现卡顿时，可以自动的切换显示为直播间的直播画面，当云游戏不卡顿时，可以继续使游戏玩家接着出现卡顿之前的一帧游戏画面开始玩云游戏，提高了用户体验。

在一种可选的实施例中，若上述云游戏在距离当前时间最近的指定时长内未发生卡顿，上述在上述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，包括：

在上述云游戏的显示界面显示以上述云游戏出现卡顿之前的最后一帧游戏画为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

可选的，如前文描述，云游戏在运行过程中，可能会出现卡顿的情形，为了提高用户感知，可以在云游戏的显示界面播放直播间的直播画面，使得游戏玩家可以休息一段时间，当云游戏在距离当前时间最近的指定时长内没有出现卡顿时，可以恢复云游戏的运行，为了使游戏玩家有更好的游戏体验，可以在云游戏的显示界面显示以云游戏出现卡顿之前的最后一帧游戏画面为起始画面的目标游戏视频数据、并展示以当前时间对应的直播画面为起始画面的目标直播视频数据。

通过本申请实施例，当云游戏出现卡顿时，可以播放直播间的直播画面，当云游戏恢复正常运行即不卡顿时，可以使游戏玩家从出现卡顿之前的最后一帧画面继续体验云游戏，避免了出现画面一直处于卡顿状态的情况，提高了用户体验。

在一种可选的实施例中，上述方法还包括：

接收直播间推荐切换请求，其中，上述直播间推荐切换请求所推荐的目标直播间是基于上述云游戏的游戏类型确定的；

响应于上述直播间推荐切换请求，发送与上述直播间推荐切换请求对应的反馈消息；

若上述反馈消息对应于接受切换至推荐的上述目标直播间，则在上述云游戏的显示界面显示上述目标直播间的相关信息。

可选的，在一些场景中，游戏玩家可以开一局自己喜欢的云游戏，并且观看喜欢的直播(对应于直播间1)，如果接收到了来自直播服务器的发送的直播间推荐切换请求，该直播间推荐切换请求所推荐的目标直播间是基于云游戏的游戏类型确定的。例如，假设该云游戏是射击类游戏，那么该直播间推荐切换请求所推荐目标直播间可以是关于射击类游戏的直播间。实际应用中，可以选择优先推荐与该云游戏是同一个云游戏的目标直播间。

其中，该直播间推荐切换请求用于询问游戏玩家是否接受推送除了当前直播间之外的其他直播间，如果不接受推送，则继续在第二显示区域播放直播间1的直播内容，如果接收推送，则响应于该直播间推荐切换请求，则发送与该直播间推荐切换请求对应的反馈消息，此时反馈消息对应于接受切换至推荐的目标直播间(可以记为直播间2)，可以在云游戏的显示界面显示该目标直播间的相关信息。其中，关于显示目标直播间的详细过程参见后文描述，在此不再赘述。

可选的，可以按照预设时间间隔向游戏玩家发送该直播间推荐切换请求，可以使游戏玩家看到多个新的目标直播间。

通过本申请实施例，可以通过推送的方式，向游戏玩家推送与云游戏相关的目标直播间，提高了用户体验。

在一种可选的实施例中，本申请实施例提供的信息显示方法可以由流媒体服务器执行，也就是从流媒体服务器的角度对本申请提供的方法进行的说明，如图8所示，本申请实施例提供的信息显示方法包括如下步骤：

步骤S801，若获取到针对直播间和云游戏的同屏显示指示信息，则获取上述直播间对应的初始直播数据流、以及获取上述云游戏对应的初始游戏数据流；

步骤S802，对上述初始直播数据流和上述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送上述目标多媒体数据流，其中，以使上述客户端在上述云游戏的显示界面显示上述目标多媒体数据流中包括的目标视频数据，其中，上述目标视频数据包括目标游戏视频数据和目标直播视频数据，上述目标游戏视频数据在上述显示界面的第一显示区域显示，上述目标直播视频数据在上述显示界面的第二显示区域显示。

可选的，游戏玩家在观看主播用户的直播时，可以通过接收主播用户的邀请，或者输入主播分享的开黑码，或者游戏玩家自己想要开一局游戏等，进入云游戏。对于流媒体服务器，当获取到针对直播间的云游戏的同屏显示指示信息时，可以向直播间对应的直播服务器获取初始直播数据流，以及向云游戏对应的云游戏服务器获取初始游戏数据流，该流媒体服务器的核心功能就是将两路数据流进行合并，也就是对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并将合并后得到的目标多媒体数据流对外输出，传递给客户端。

当客户端接收到该目标多媒体数据流后，即可在云游戏的显示界面显示该目标多媒体数据流所包括的目标视频数据。对于如何显示该目标视频数据，可参考前文描述，在此不再详述。

通过本申请实施例，由流媒体服务器获取直播间对应的初始直播数据流，以及获取云游戏对应的初始游戏数据流，并对这两路数据流进行同步处理，能够得到目标多媒体数据流，使得游戏玩家可以在客户端同时体验云游戏和观看直播内容，两者互不耽误，极大地提高了用户感知。

以下对流媒体服务器如何得到目标多媒体数据流进行详细说明。

在一种可选的实施例中，上述初始直播数据流包括直播视频数据和直播音频数据，上述初始游戏数据流包括游戏视频数据和游戏音频数据，上述对上述初始直播数据流和上述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

基于上述直播视频数据的时间戳和上述游戏视频数据的时间戳，对上述直播视频数据和上述游戏视频数据进行同步处理，得到同步后的视频数据；

基于获取到的针对音频数据的音频播放方式指示信息，确定目标音频数据，其中，上述目标音频数据包括上述云游戏对应的游戏音频数据或上述直播间对应的直播音频数据中的至少之一；

对上述同步后的视频数据和上述目标音频数据进行同步处理，得到上述目标多媒体数据流。

可选的，对于从直播间对应的直播服务器获取到的初始直播数据来说，包括两部分的内容，一部分内容是直播视频数据(即直播视频流)，也就是通过直播间对应的图像采集设备所获取到的视频数据，包括至少一帧直播画面，一部分是直播音频数据(即直播音频流)，也就是通过直播间所对应的音频采集设备所采集到的音频数据。对于从云游戏对应的云游戏服务器获取到的初始游戏数据来说，包括两部分的内容，一部分内容是游戏视频数据(即游戏视频流)，也就是游戏玩家在体验云游戏的过程中所产生游戏视频数据，该游戏视频数据包括云游戏对应的虚拟游戏场景中的至少一帧游戏画面，一部分是游戏音频数据(即游戏音频流)，也就是游戏玩家在体验云游戏的过程中所产生的游戏音频数据，包括游戏玩家所体验的各种游戏元素所产生的音频数据、云游戏对应的游戏音乐、游戏玩家自行播放的音乐、或者游戏玩家在开启游戏语音后所收录的音频中的至少一项。可理解，上述仅为一种示例，本实施例在此不作任何限定。

当流媒体服务器基于同屏显示指示信息获取到初始游戏数据流和初始直播数据流之后，可以基于对该初始游戏数据流和初始直播数据流进行时间同步处理，得到同步后的数据流(即目标多媒体数据流)。

作为一种可选的示例，可以基于直播视频数据的时间戳和游戏视频数据的时间戳，实现直播内容和游戏内容的同步播放，为了使游戏玩家有更好的游戏体验，可以将来自于云游戏的游戏视频数据作为主要的参考视频数据(还可以称为基准视频数据)，来对游戏视频数据和直播视频数据进行同步处理。

在进行同步处理时，可以基于游戏视频数据的每一帧游戏画面进行处理，对于游戏视频数据中的每一帧游戏画面，可以基于该游戏画面的时间戳，记为时间戳1，确定出与该游戏画面的时间戳对应的直播画面，该直播画面的时间戳可以记为时间戳2，可理解，该时间戳1和时间戳2可以是完全相同的，也可以是时间戳1和时间戳2的时间差值在一定的阈值内(即该时间差值小于或等于该阈值)，如该阈值可以是0.05秒至0.2秒中的任一数值，人眼的注意力在0.05秒至0.2秒这个时间范围，当大于0.2秒时人眼可以识别到画面不同步。以下详述如何处理该游戏画面和与之对应的直播画面，具体如下：

作为一种可选的示例，可以在该游戏画面中将一片区域(该区域可以是预先设定的显示区域，即第二显示区域)进行直播画面的填充，其实就是在云游戏的游戏画面中取出一部分像素点，将云游戏的游戏画面对应于该区域(例如，可以是游戏画面左上角200*200的像素区域)部分的数据不做云游戏数据的渲染，然后将直播画面压缩成该区域大小，再将压缩后的直播画面的填充到云游戏的游戏画面中，主要原理就是在云游戏的帧数据(即一帧游戏画面)中填充对应的直播的帧数据(即一帧直播画面)，来合并游戏画面和与之对应的直播画面，采用这种方式，能够减少流媒体服务器对游戏画面的渲染的计算量，节省算力。在对直播视频数据中的每一帧直播画面进行压缩时，可以逐帧压缩，然后将其填充至对应的游戏画面中，也可以将整个直播视频数据进行压缩，然后将每一帧直播画面填充至对应的游戏画面中，本实施例对于直播画面的压缩方式不作任何限定。可选的，可以采用多媒体视频处理工具(Fast Forward Mpeg，简称FFmpeg)进行视频的实时压缩处理，FFmpeg是领先的多媒体框架，能够解码、编码、转码、混合、解密、流媒体、过滤和播放人类和机器创造的几乎所有东西。

作为一种可选的示例，在合并游戏画面和与之对应的直播画面时，可以采用将直播画面压缩成第二显示区域的大小，然后将压缩后的直播画面采用覆盖或者替换的方式，覆盖或者替换掉游戏画面对应于第二显示区域部分的像素点。

作为一种可选的示例，在合并游戏画面和与之对应的直播画面时，可以采用将直播画面压缩成第二显示区域的大小，然后将压缩后的直播画面采用悬浮显示的方式，悬浮显示于游戏画面对应于第二显示区域之上。

可理解，上述过程中，直播视频数据对应的第二显示区域是可以通过游戏玩家的操作控制的，当第二显示区域发生变化时，可以对应的处理直播视频数据和游戏视频数据，处理方式同上，在此不再详述，以上仅为一种示例，本实施例在此不作任何限定。

按照上述方式对直播视频数据和游戏视频数据进行同步处理，可以得到同步后的视频数据。

以下描述如何确定目标多媒体数据流中包括的目标音频数据。

目标音频数据是基于获取到的针对音频数据的音频播放方式指示信息确定的，该指示信息可以由云游戏对应的云游戏服务器发送的，关于音频播放方式指示信息的相关描述可以参考前文，在此不再赘述。通过该音频播放方式指示信息，流媒体服务器可以知晓目标音频数据应该包含哪些音频数据，该目标音频数据至少包含云游戏对应的游戏音频数据，或者，直播间对应的直播音频数中的至少一项。当目标音频数据包含游戏音频数据和直播音频数据两路音频数据时，需要对这两路音频数据进行同步处理。

作为一种可选的示例，可以基于直播音频数据的时间戳和游戏音频数据的时间戳，实现直播音频和游戏音频的同步播放，为了使游戏玩家有更好的游戏体验，可以将来自于云游戏的游戏音频数据作为主要的参考音频数据(还可以称为基准音频数据)，来对游戏音频数据和直播音频数据进行同步处理，可以基于游戏音频数据的时间戳和直播音频数据的时间戳进行音频合并对齐处理。可选的，混合游戏音频数据和直播音频数据的过程中，其实就是将两路音频数据通过技术手段合并在一起播放的过程，例如，可以通过FFmpeg这个框架进行音频的合并，得到目标音频数据，可理解，该目标音频数据是一种混合音频。

按照上述方式可以得到同步后的视频数据和目标音频数据，由于人耳对声音的感知比较敏感，还需要对这两部份数据进行同步处理，避免出现音画不同步的情况，可以将目标音频数据的时间戳作为基准时钟，来对目标音频数据和同步后的视频数据进行音画同步处理。可选的，可以设置音频数据的时间戳和同步后的视频数据的时间戳之间的时间差值小于在一定的阈值内，即设置该时间差值小于或等于该阈值，该阈值可以参考人耳对声音的感知程度确定，例如，可以设置该阈值为50毫秒。

按照上述方式，对目标音频数据和同步后的视频数据进行音画同步处理后，即可得到目标多媒体数据流。

可理解，本申请实施例中对于确定同步后的视频数据和确定目标音频数据的先后顺序不作任何限定，可以先确定同步后的视频数据，也可以先确定目标音频数据，也可以同时确定同步后的视频数据和目标音频数据。

上述过程仅为一种示例，本申请实施例在此不作任何限定。

通过本申请实施例，流媒体服务器可以通过时间戳对齐的方式，对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，不仅能够保证直播画面和游戏画面的同步播放，还可以保证音画同步播放，提高了游戏玩家的视觉感知、声音感知，提高了用户体验，提高了音视频数据处理的准确性。

在一种可选的实施例中，上述方法还包括：

若获取到来自上述客户端的显示区域调整指令，则响应于上述显示区域调整指令，按照上述显示区域调整指令对应的显示区域调整上述初始直播数据流和上述初始游戏数据流；

上述对上述初始直播数据流和上述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

对调整后的初始直播数据流和调整后的初始游戏数据流进行同步处理，得到上述目标多媒体数据流，其中，上述显示区域调整指令是显示区域调节操作对应的指令，上述显示区域调节操作是针对上述第二显示区域的显示区域的调整操作。

可选的，当接收到来自客户端的显示区域调整指令后，可以响应于该显示区域调整指令，按照该显示区域调整指令对应的显示区域调整初始直播数据流和初始游戏数据流，也就是说，需要同步处理直播画面和游戏画面，保证直播画面和游戏画面能够与该显示区域调整指令对应的显示区域相适配。其中，显示区域调整指令是显示区域调节操作对应的指令，显示区域调节操作是针对第二显示区域的显示区域的调整操作，关于该显示区域调整指令的详细描述可参考前文，本实施例在此不再赘述。

例如，流媒体服务器需要按照显示区域调整指令所指示的信息，同步处理来自直播服务器的初始直播数据流和来自云游戏服务器的游戏数据流，举例来说，假设显示区域调整指令是放大直播间对应的第二显示区域，那么，需要对初始直播数据流按照调整后的第二显示区域的大小进行压缩处理，得到与调整后的第二显示区域的大小相匹配的、压缩后的初始直播数据流，即得到了调整后的初始直播数据流。相应地，当第二显示区域放大之后，第一显示区域会相对缩小，此时，需要将初始游戏数据流与该缩小后的第一显示区域的大小相匹配，即得到了调整后的初始游戏数据流，对调整后的初始直播数据流和调整后的初始游戏数据流进行同步处理，可以得到目标多媒体数据流。

通过本申请实施例，当用户执行了显示区域调整操作后，流媒体服务器会返回与该显示区域调整操作对应的目标多媒体数据流，保证了用户对显示区域进行调整的需求，提高了用户操作与画面匹配的同步性。

在一种可选的实施例中，上述对上述初始直播数据流和上述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送上述目标多媒体数据流，包括：

获取由上述云游戏对应的云游戏服务器发送的互动指令，其中，上述互动指令是互动操作对应的指令，上述互动操作是通过上述第二显示区域发起的针对上述直播间的互动操作；

向上述直播间对应的直播服务器发送上述互动指令；

获取由上述直播间服务器响应于上述互动指令所返回的包含互动信息的上述初始直播数据流；

对包含互动信息的上述初始直播数据流和上述初始游戏数据流进行同步处理，得到上述目标多媒体数据流，其中，上述目标多媒体数据流包括包含上述互动信息的目标视频数据。

可选的，当游戏玩家从第二显示区域发起针对直播间的互动操作时，客户端会向云游戏服务器发送该互动操作对应的互动指令，并且云游戏服务器会向流媒体服务器发送该互动指令，该互动指令是与直播服务器对应的，此时，流媒体服务器会向直播服务器发送该互动指令，直播服务器会响应于该互动指令，得到包含该互动指令对应的互动信息的初始直播数据流，流媒体服务器可以获取到该包含互动指令对应的互动信息的初始直播数据流。然后，流媒体服务器对包含互动信息的初始直播数据流和初始游戏数据流进行同步处理，可以得到目标多媒体数据流，其中，该目标多媒体数据流包括包含互动信息的目标视频数据。对于互动指令和互动信息的相关信息可参考前文，在此不再赘述。

作为一种可选的示例，云游戏服务器在获取到互动指令后，还可以直接向直播服务器发送该互动指令，无需经由流媒体服务器。可理解，本申请实施例对于互动指令的发送方式不作任何限定。

通过本申请实施例，用户在体验云游戏时，可以根据需要同时参与到直播间的互动中，通过流媒体服务器，可以保证用户能够同时参与直播间以及体验云游戏，极大地满足了用户需求。

在一种可选的实施例中，上述互动操作包括第一虚拟道具赠送操作，上述互动指令包括上述第一虚拟道具赠送操作对应的第一虚拟道具赠送指令，上述第一虚拟道具赠送指令对应的互动信息包括第一虚拟道具和上述云游戏对应的游戏用户的第一虚拟形象，上述对包含互动信息的上述初始直播数据流和上述初始游戏数据流进行同步处理，包括：

将包含上述第一虚拟道具和上述游戏用户的第一虚拟形象的初始游戏播数据流和上述初始直播数据流进行同步处理。

可选的，游戏玩家可以通过客户端发起第一虚拟道具赠送操作，并向云游戏服务器发送该第一虚拟道具赠送操作对应的第一虚拟道具赠送指令，云游戏服务器向流媒体服务器发送接收到的第一虚拟道具赠送指令。然后，流媒体服务器向直播间对应的直播服务器发送第一虚拟道具赠送指令，并获取由直播间服务器响应于第一虚拟道具赠送指令所返回的包含互动信息的初始直播数据流。其中，该第一虚拟道具赠送指令对应的互动信息包括第一虚拟道具和云游戏对应的游戏用户的第一虚拟形象。然后，流媒体服务器对包含第一虚拟道具和第一虚拟形象的初始游戏数据流和初始直播数据流进行同步处理，得到包含第一虚拟道具和第一虚拟形象目标多媒体数据流，其中，该目标多媒体数据流包括包含第一虚拟道具和第一虚拟形象的目标视频数据。然后，流媒体服务器向客户端发送该包含第一虚拟道具和第一虚拟形象目标多媒体数据流，此时，当客户端接收到该包含第一虚拟道具和第一虚拟形象目标多媒体数据流时，即可在第二显示区域显示云游戏对应的游戏用户的第一虚拟形象针对第一虚拟道具的虚拟道具赠送过程，关于在客户端显示第一虚拟形象针对第一虚拟道具的虚拟道具赠送过程可参考前文描述，在此不再赘述。

可选的，主播用户可以通过直播间发起第二虚拟道具赠送操作，该第二虚拟道具赠送操作对应于第二虚拟道具和主播用户的第二虚拟形象。当流媒体服务器获取到来自直播间的初始直播数据流(包含第二虚拟道具和第二虚拟形象)后，即可对包含第二虚拟道具和第二虚拟形象的初始直播数据流和初始游戏数据流进行同步处理，得到包含第二虚拟道具和第二虚拟形象目标多媒体数据流，其中，该目标多媒体数据流包括包含第二虚拟道具和第二虚拟形象的目标视频数据。然后，流媒体服务器向客户端发送该包含第二虚拟道具和第二虚拟形象目标多媒体数据流，此时，当客户端接收到该包含第二虚拟道具和第二虚拟形象目标多媒体数据流时，即可在第一显示区域显示直播间对应的主播用户的第二虚拟形象针对第二虚拟道具的虚拟道具赠送过程，关于在客户端显示第二虚拟形象针对第二虚拟道具的虚拟道具赠送过程可参考前文描述，在此不再赘述。

通过本申请实施例，可以在直播间展示游戏玩家的第一虚拟形象，可以在云游戏的显示界面展示主播用户的第二虚拟形象，极大地增强了游戏玩家和主播用户之间的互动性，提高了用户感知。

在一种可选的实施例中，上述初始直播数据流包括直播视频数据，上述直播视频数据包括至少一帧直播画面，上述初始游戏数据流包括游戏视频数据，上述游戏视频数据包括至少一帧游戏画面，上述对上述初始直播数据流和上述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

对于每一帧游戏画面和与该游戏画面对应的直播画面，将上述直播画面按照上述第二显示区域的显示尺寸进行压缩，得到压缩后的直播画面，基于上述压缩后的直播画面，更新上述游戏画面中对应于上述第二显示区域部分的画面，得到目标渲染画面；

基于各上述游戏画面对应的上述目标渲染画面，得到上述目标多媒体数据流。

可选的，初始直播数据流包括直播视频数据，直播视频数据由至少一帧直播画面组成，初始游戏数据流包括游戏视频数据，游戏视频数据由至少一帧游戏画面组成。对初始直播数据流和初始游戏数据流进行同步处理的具体过程如下：

对于每一帧游戏画面和与之对应的直播画面，即该游戏画面的时间戳和直播画面的时间戳相对应，可以将该直播画面按照第二显示区域的显示尺寸的大小进行压缩，得到压缩后的直播画面，然后基于该压缩后的直播画面更新游戏画面对应于第二显示区域部分的画面，更新方式可以是替换、覆盖、填充等，可参考前文描述，在此不作限定，得到目标渲染画面，可理解，该目标渲染画面是包含了游戏画面和直播画面的一个完整的图像，即该目标渲染画面是游戏画面和直播画面的合并画面。然后，按照同样的方式，得到初始游戏数据流中所有的游戏画面对应的目标渲染画面，基于各目标渲染画面得到目标多媒体数据流，此时该目标多媒体数据流是融合了初始游戏数据流和初始直播数据流这两路数据流的，该目标多媒体数据流是一路完整的数据流。

通过本申请实施例，可以将游戏画面和与之对应的直播画面合并为一个完整的目标渲染画面，并基于各目标渲染画面得到目标多媒体数据流，使得在云游戏的显示界面显示的画面更加具有完整性。

在一种可选的实施例中，上述方法还包括：

若获取到的上述初始游戏数据流不连续，则向上述客户端发送提示信息，其中，上述提示信息用于指示上述云游戏出现卡顿；

上述向客户端发送上述目标多媒体数据流，包括：

向上述客户端发送未包含上述目标游戏视频数据的目标视频数据。

可选的，对于流媒体服务器而言，当获取到的初始游戏数据流不连续时，表明云游戏出现了卡顿，此时，可以向客户端发送提示信息，以提示游戏玩家云游戏出现了卡顿，此时，流媒体服务器向客户端发送得目标多媒体数据流中是没有包含目标游戏视频数据的，即客户端接收到的目标多媒体数据流是不包含目标游戏视频数据的。对于客户端而言，可以在云游戏的显示界面全屏观看直播间的直播内容。

通过本申请实施例，当云游戏出现卡顿时，可以向游戏玩家发出提示信息，并且自动将画面切换为直播间的画面，避免画面长期卡顿，造成玩家观感差的问题，而且也可以让玩家休息一段时间，提高了用户体验。

在一种可选的实施例中，在上述云游戏出现卡顿时，上述云游戏服务器记录有上述云游戏出现卡顿之前的最后一帧游戏画面，上述向客户端发送上述目标多媒体数据流，包括：

若上述云游戏在距离当前时间最近的指定时长内未发生卡顿，则向上述客户端发送以上述最后一帧游戏画面为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

可选的，对于流媒体服务器而言，当检测到所获取到的初始游戏数据流，在距离当前时间最近的指定时长内不再卡顿时，可以继续向客户端发送初始游戏数据流。其中，云游戏服务器记录有云游戏出现卡顿之前的最后一帧游戏画面，流媒体服务器可以对以该最后一帧游戏画面作为起始画面的初始游戏数据流、以及以当前时间对应的直播画面作为起始画面的初始直播数据流进行同步处理，得到处理后的目标多媒体数据流，并向客户端发送以最后一帧游戏画面为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。此时，对于客户端，可以在云游戏的显示界面显示以云游戏出现卡顿之前的最后一帧游戏画为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

通过本申请实施例，当云游戏恢复正常运行即不卡顿时，可以使游戏玩家从出现卡顿之前的最后一帧画面继续体验云游戏，避免了出现画面一直处于卡顿状态的情况，提高了用户体验。

在一种可选的实施例中，上述方法还包括：

基于获取到的上述云游戏的游戏类型，向上述客户端发送与上述游戏类型对应的目标直播间的直播间推荐切换请求；

获取上述客户端响应于上述直播间推荐切换请求返回的反馈消息，若上述反馈消息对应于接受切换至推荐的上述目标直播间，则向上述目标直播间对应的直播服务器发送针对上述目标直播间的播放请求；

获取上述直播服务器响应于上述播放请求返回的上述目标直播间的相关信息，并向上述客户端发送上述目标直播间的相关信息。

可选的，流媒体服务器可以基于获取到的云游戏的游戏类型，向游戏玩家推送与该云游戏的游戏类型相关的目标直播间，即向客户端发送该游戏类型对应的目标直播间的直播间推荐切换请求，并接收客户端响应于该直播间推荐切换请求所返回的反馈消息，如果该反馈消息对应于不接受切换至推荐的目标直播间，假设游戏玩家当前正在观看的直播间是直播间1，则继续向游戏玩家发送该直播间1的直播内容。如果该反馈消息对应于接受切换至推荐的目标直播间，则向直播服务器发送针对该目标直播间的播放请求，获取对应于该播放请求的初始直播数据流，该初始直播数据流中包含了该目标直播间的相关信息(即目标直播间的直播内容)，并对包含了该目标直播间的相关信息和初始游戏数据流进行同步处理，向客户端发送包含了该目标直播间的相关信息的目标多媒体数据流，此时，客户端的显示界面显示有包含了目标直播间的相关信息的目标多媒体数据流。

通过本申请实施例，可以通过推送的方式，向游戏玩家推送与云游戏相关的目标直播间，提高了用户体验。

参见图9，图9是本申请实施例提供的一种基于云游戏的互动装置的结构示意图。本申请实施例提供的基于云游戏的互动装置1包括：

游戏启动操作获取模块11，用于获取通过直播间发起的针对云游戏的游戏启动操作；

第二处理模块12，用于响应于游戏启动操作，并基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

在一种可选的实施例中，装置还包括同屏显示指令获取模块，该模块用于：

响应于游戏启动操作，显示针对多媒体播放方式的操作界面；

通过操作界面，接收针对直播间和云游戏的同屏显示指令，其中，同屏显示指令包括同屏显示指示信息。

在一种可选的实施例中，目标多媒体数据流还包括与目标视频数据对应的目标音频数据，第二处理模块，还用于：

在云游戏的显示界面显示目标视频数据，并同步播放目标音频数据，其中，目标音频数据包括云游戏对应的游戏音频数据或直播间对应的直播音频数据中的至少之一，目标音频数据是基于获取到的音频播放方式指示信息确定的。

在一种可选的实施例中，上述装置还包括第三处理模块，该模块用于：

响应于获取到的针对第二显示区域的显示区域调整操作，在调整后的第二显示区域中显示目标直播数据，调整后的第二显示区域是基于显示区域调节操作对应的显示区域调整的。

在一种可选的实施例中，装置还包括互动信息处理模块，该模块用于：

通过第二显示区域获取针对直播间的互动操作；

获取包含互动操作对应的互动信息的目标视频数据，并在第二显示区域显示包含互动信息的目标视频数据。

在一种可选的实施例中，互动操作包括第一虚拟道具赠送操作，第一虚拟道具赠送操作对应的互动信息包括第一虚拟道具和云游戏对应的游戏用户的第一虚拟形象，第三处理模块，具体用于：

在第二显示区域显示云游戏对应的游戏用户的第一虚拟形象针对第一虚拟道具的第一虚拟道具赠送过程。

在一种可选的实施例中，上述装置还包括提示信息接收模块，该提示信息接收模块，用于接收提示信息，其中，提示信息用于指示云游戏出现卡顿；

第二处理模块，具体用于在云游戏的显示界面显示未包含目标游戏视频数据的目标视频数据。

在一种可选的实施例中，若云游戏在距离当前时间最近的指定时长内未发生卡顿，第二处理模块，具体用于：

在云游戏的显示界面显示以云游戏出现卡顿之前的最后一帧游戏画为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

在一种可选的实施例中，上述装置还包括第六处理模块，该第六处理模块用于：

接收直播间推荐切换请求，其中，直播间推荐切换请求所推荐的目标直播间是基于云游戏的游戏类型确定的；

响应于直播间推荐切换请求，发送与直播间推荐切换请求对应的反馈消息；

若反馈消息对应于接受切换至推荐的目标直播间，则在云游戏的显示界面显示目标直播间的相关信息。

参见图10，图10是本申请实施例提供的一种基于云游戏的互动装置的结构示意图。本申请实施例提供的基于云游戏的互动装置2包括：

数据流获取模块21，用于若获取到针对直播间和云游戏的同屏显示指示信息，则获取直播间对应的初始直播数据流、以及获取云游戏对应的初始游戏数据流；

第一处理模块22，用于对初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送目标多媒体数据流，其中，以使客户端在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，目标视频数据包括目标游戏视频数据和目标直播视频数据，目标游戏视频数据在显示界面的第一显示区域显示，目标直播视频数据在显示界面的第二显示区域显示。

在一种可选的实施例中，初始直播数据流包括直播视频数据和直播音频数据，初始游戏数据流包括游戏视频数据和游戏音频数据，第一处理模块，用于：

基于直播视频数据的时间戳和游戏视频数据的时间戳，对直播视频数据和游戏视频数据进行同步处理，得到同步后的视频数据；

基于获取到的针对音频数据的音频播放方式指示信息，确定目标音频数据，其中，目标音频数据包括云游戏对应的游戏音频数据或直播间对应的直播音频数据中的至少之一；

对同步后的视频数据和目标音频数据进行同步处理，得到目标多媒体数据流。

在一种可选的实施例中，上述装置还包括第四处理模块，该模块用于：

若获取到来自客户端的显示区域调整指令，则响应于显示区域调整指令，按照显示区域调整指令对应的显示区域调整初始直播数据流和初始游戏数据流；

第一处理模块，用于对调整后的初始直播数据流和调整后的初始游戏数据流进行同步处理，得到目标多媒体数据流，其中，显示区域调整指令是显示区域调节操作对应的指令，显示区域调节操作是针对第二显示区域的显示区域的调整操作。

在一种可选的实施例中，第一处理模块，还用于：

获取由云游戏对应的云游戏服务器发送的互动指令，其中，互动指令是互动操作对应的指令，互动操作是通过第二显示区域发起的针对直播间的互动操作；

向直播间对应的直播服务器发送互动指令；

获取由直播间服务器响应于互动指令所返回的包含互动信息的初始直播数据流；

对包含互动信息的初始直播数据流和初始游戏数据流进行同步处理，得到目标多媒体数据流，其中，目标多媒体数据流包括包含互动信息的目标视频数据。

在一种可选的实施例中，互动操作包括第一虚拟道具赠送操作，互动指令包括第一虚拟道具赠送操作对应的第一虚拟道具赠送指令，第一虚拟道具赠送指令对应的互动信息包括第一虚拟道具和云游戏对应的游戏用户的第一虚拟形象，第一处理模块，具体用于：

将包含第一虚拟道具和游戏用户的第一虚拟形象的初始游戏数据流和初始直播数据流进行同步处理。

在一种可选的实施例中，初始直播数据流包括直播视频数据，直播视频数据包括至少一帧直播画面，初始游戏数据流包括游戏视频数据，游戏视频数据包括至少一帧游戏画面，第一处理模块，具体用于：

对于每一帧游戏画面和与该游戏画面对应的直播画面，将直播画面按照第二显示区域的显示尺寸进行压缩，得到压缩后的直播画面，基于压缩后的直播画面，更新游戏画面中对应于第二显示区域部分的画面，得到目标渲染画面；

基于各游戏画面对应的目标渲染画面，得到目标多媒体数据流。

在一种可选的实施例中，上述装置还包括提示信息发送模块，该提示信息发送模块用于：若获取到的初始游戏数据流不连续，则向客户端发送提示信息，其中，提示信息用于指示云游戏出现卡顿；

第一处理模块，还用于向客户端发送未包含目标游戏视频数据的目标视频数据。

在一种可选的实施例中，在云游戏出现卡顿时，云游戏服务器记录有云游戏出现卡顿之前的最后一帧游戏画面，第一处理模块，还用于：

若云游戏在距离当前时间最近的指定时长内未发生卡顿，则向客户端发送以最后一帧游戏画面为起始画面的目标游戏视频数据、以及以当前时间对应的直播画面为起始画面的目标直播视频数据。

在一种可选的实施例中，上述装置还包括第五处理模块，该第五处理模块用于：

基于获取到的云游戏的游戏类型，向客户端发送与游戏类型对应的目标直播间的直播间推荐切换请求；

获取客户端响应于直播间推荐切换请求返回的反馈消息，若反馈消息对应于接受切换至推荐的目标直播间，则向目标直播间对应的直播服务器发送针对目标直播间的播放请求；

获取直播服务器响应于播放请求返回的目标直播间的相关信息，并向客户端发送目标直播间的相关信息。

本申请实施例所提供的基于云游戏的互动方法、装置、电子设备以及可读存储介质，可以获取到用户通过直播间发送的针对云游戏的游戏启动操作，响应于该游戏启动操作，并且基于获取到的针对直播间和云游戏的同屏显示指示信息，在云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，该目标视频数据包括目标游戏视频数据和目标直播视频数据，该目标游戏视频数据在云游戏的显示界面的第一显示区域显示，该目标直播视频数据在云游戏的显示界面的第二显示区域显示。采用本申请实施例提供的该方法，当用户通过直播间启动云游戏时，可以一边玩游戏，一边观看直播间的内容，实现了云游戏和直播内容同屏显示的技术效果，从而使用户可以同时参与游戏和直播，更好的满足了实际应用需求，提升了用户感知。

具体实现中，上述基于云游戏的互动装置可通过其内置的各个功能模块执行如上述图5和图8中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

上文主要介绍说明了执行主体为硬件，来实施本申请中的基于云游戏的互动方法，但是本申请的基于云游戏的互动方法的执行主体并不仅限于硬件，本申请中的基于云游戏的互动方法的执行主体还可以为软件，上述基于云游戏的互动装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如，该基于云游戏的互动装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。

在一些实施例中，本申请实施例提供的基于云游戏的互动装置可以采用软硬件结合的方式实现，作为示例，本申请实施例提供的基于云游戏的互动装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的基于云游戏的互动方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

在另一些实施例中，本申请实施例提供的基于云游戏的互动装置可以采用软件方式实现，基于云游戏的互动装置1可以是程序和插件等形式的软件，并包括一系列的模块，包括游戏启动操作获取模块11和第二处理模块12，用于实现本申请实施例提供的基于云游戏的互动方法。基于云游戏的互动装置2可以是程序和插件等形式的软件，并包括一系列的模块，包括数据流获取模块21和第一处理模块22，用于实现本申请实施例提供的基于云游戏的互动方法。

参见图11，图11是本申请实施例提供的一种电子设备的结构示意图。如图10所示，本实施例中的电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图11所示的电子设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的计算机程序。

应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。

具体实现中，上述电子设备1000可通过其内置的各个功能模块执行如上述图5或图8中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图5或者图8中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

上述计算机可读存储介质可以是前述任一实施例提供的基于云游戏的互动装置的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart mediacard,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图5或者图8中任一种可能的实施方式所提供的方法。

本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (20)

1.一种基于云游戏的互动方法，其特征在于，所述方法由流媒体服务器执行，所述方法包括：

若获取到针对直播间和云游戏的同屏显示指示信息，则获取所述直播间对应的初始直播数据流、以及获取所述云游戏对应的初始游戏数据流；

对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送所述目标多媒体数据流，其中，以使所述客户端在所述云游戏的显示界面显示所述目标多媒体数据流中包括的目标视频数据，其中，所述目标视频数据包括目标游戏视频数据和目标直播视频数据，所述目标游戏视频数据在所述显示界面的第一显示区域显示，所述目标直播视频数据在所述显示界面的第二显示区域显示。

2.根据权利要求1所述的方法，其特征在于，所述初始直播数据流包括直播视频数据和直播音频数据，所述初始游戏数据流包括游戏视频数据和游戏音频数据，所述对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

基于所述直播视频数据的时间戳和所述游戏视频数据的时间戳，对所述直播视频数据和所述游戏视频数据进行同步处理，得到同步后的视频数据；

基于获取到的针对音频数据的音频播放方式指示信息，确定目标音频数据，其中，所述目标音频数据包括所述云游戏对应的游戏音频数据或所述直播间对应的直播音频数据中的至少之一；

对所述同步后的视频数据和所述目标音频数据进行同步处理，得到所述目标多媒体数据流。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若获取到来自所述客户端的显示区域调整指令，则响应于所述显示区域调整指令，按照所述显示区域调整指令对应的显示区域调整所述初始直播数据流和所述初始游戏数据流；

所述对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

对调整后的初始直播数据流和调整后的初始游戏数据流进行同步处理，得到所述目标多媒体数据流，其中，所述显示区域调整指令是显示区域调节操作对应的指令，所述显示区域调节操作是针对所述第二显示区域的显示区域的调整操作。

4.根据权利要求1所述的方法，其特征在于，所述对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送所述目标多媒体数据流，包括：

获取由所述云游戏对应的云游戏服务器发送的互动指令，其中，所述互动指令是互动操作对应的指令，所述互动操作是通过所述第二显示区域发起的针对所述直播间的互动操作；

向所述直播间对应的直播服务器发送所述互动指令；

获取由所述直播间服务器响应于所述互动指令所返回的包含互动信息的所述初始直播数据流；

对包含互动信息的所述初始直播数据流和所述初始游戏数据流进行同步处理，得到所述目标多媒体数据流，其中，所述目标多媒体数据流包括包含所述互动信息的目标视频数据。

5.根据权利要求4所述的方法，其特征在于，所述互动操作包括第一虚拟道具赠送操作，所述互动指令包括所述第一虚拟道具赠送操作对应的第一虚拟道具赠送指令，所述第一虚拟道具赠送指令对应的互动信息包括第一虚拟道具和所述云游戏对应的游戏用户的第一虚拟形象，所述对包含互动信息的所述初始直播数据流和所述初始游戏数据流进行同步处理，包括：

将包含所述第一虚拟道具和所述游戏用户的第一虚拟形象的初始游戏数据流和所述初始直播数据流进行同步处理。

6.根据权利要求1所述的方法，其特征在于，所述初始直播数据流包括直播视频数据，所述直播视频数据包括至少一帧直播画面，所述初始游戏数据流包括游戏视频数据，所述游戏视频数据包括至少一帧游戏画面，所述对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，包括：

对于每一帧游戏画面和与该游戏画面对应的直播画面，将所述直播画面按照所述第二显示区域的显示尺寸进行压缩，得到压缩后的直播画面，基于所述压缩后的直播画面，更新所述游戏画面中对应于所述第二显示区域部分的画面，得到目标渲染画面；

基于各所述游戏画面对应的所述目标渲染画面，得到所述目标多媒体数据流。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若获取到的所述初始游戏数据流不连续，则向所述客户端发送提示信息，其中，所述提示信息用于指示所述云游戏出现卡顿；

所述向客户端发送所述目标多媒体数据流，包括：

向所述客户端发送未包含所述目标游戏视频数据的目标视频数据。

8.根据权利要求7所述的方法，其特征在于，在所述云游戏出现卡顿时，所述云游戏服务器记录有所述云游戏出现卡顿之前的最后一帧游戏画面，所述向客户端发送所述目标多媒体数据流，包括：

若所述云游戏在距离当前时间最近的指定时长内未发生卡顿，则向所述客户端发送以所述最后一帧游戏画面为起始画面的目标游戏视频数据、以及以所述当前时间对应的直播画面为起始画面的目标直播视频数据。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于获取到的所述云游戏的游戏类型，向所述客户端发送与所述游戏类型对应的目标直播间的直播间推荐切换请求；

获取所述客户端响应于所述直播间推荐切换请求返回的反馈消息，若所述反馈消息对应于接受切换至推荐的所述目标直播间，则向所述目标直播间对应的直播服务器发送针对所述目标直播间的播放请求；

获取所述直播服务器响应于所述播放请求返回的所述目标直播间的相关信息，并向所述客户端发送所述目标直播间的相关信息。

10.一种基于云游戏的互动方法，其特征在于，所述方法包括：

获取通过直播间发起的针对云游戏的游戏启动操作；

响应于所述游戏启动操作，并基于获取到的针对所述直播间和所述云游戏的同屏显示指示信息，在所述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，所述目标视频数据包括目标游戏视频数据和目标直播视频数据，所述目标游戏视频数据在所述显示界面的第一显示区域显示，所述目标直播视频数据在所述显示界面的第二显示区域显示。

11.根据权利要求10所述的方法，其特征在于，所述目标多媒体数据流还包括与所述目标视频数据对应的目标音频数据，所述在所述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，包括：

在所述云游戏的显示界面显示所述目标视频数据，并同步播放所述目标音频数据，其中，所述目标音频数据包括所述云游戏对应的游戏音频数据或所述直播间对应的直播音频数据中的至少之一，所述目标音频数据是基于获取到的音频播放方式指示信息确定的。

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

通过所述第二显示区域获取针对所述直播间的互动操作；

获取包含所述互动操作对应的互动信息的目标视频数据，并在所述第二显示区域显示包含所述互动信息的目标视频数据。

13.根据权利要求12所述的方法，其特征在于，所述互动操作包括第一虚拟道具赠送操作，所述第一虚拟道具赠送操作对应的互动信息包括第一虚拟道具和所述云游戏对应的游戏用户的第一虚拟形象，所述在所述第二显示区域显示包含所述互动信息的目标视频数据，包括：

在所述第二显示区域显示所述云游戏对应的游戏用户的第一虚拟形象针对所述第一虚拟道具的第一虚拟道具赠送过程。

14.根据权利要求10所述的方法，其特征在于，所述方法还包括：

接收提示信息，其中，所述提示信息用于指示所述云游戏出现卡顿；

所述在所述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，包括：

在所述云游戏的显示界面显示未包含所述目标游戏视频数据的目标视频数据。

15.根据权利要求10所述的方法，其特征在于，所述方法还包括：

接收直播间推荐切换请求，其中，所述直播间推荐切换请求所推荐的目标直播间是基于所述云游戏的游戏类型确定的；

响应于所述直播间推荐切换请求，发送与所述直播间推荐切换请求对应的反馈消息；

若所述反馈消息对应于接受切换至推荐的所述目标直播间，则在所述云游戏的显示界面显示所述目标直播间的相关信息。

16.一种基于云游戏的互动装置，其特征在于，所述装置包括：

数据流获取模块，用于若获取到针对直播间和云游戏的同屏显示指示信息，则获取所述直播间对应的初始直播数据流、以及获取所述云游戏对应的初始游戏数据流；

第一处理模块，用于对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向客户端发送所述目标多媒体数据流，其中，以使所述客户端在所述云游戏的显示界面显示所述目标多媒体数据流中包括的目标视频数据，其中，所述目标视频数据包括目标游戏视频数据和目标直播视频数据，所述目标游戏视频数据在所述显示界面的第一显示区域显示，所述目标直播视频数据在所述显示界面的第二显示区域显示。

17.一种基于云游戏的互动装置，其特征在于，所述装置包括：

游戏启动操作获取模块，用于获取通过直播间发起的针对云游戏的游戏启动操作；

第二处理模块，用于响应于所述游戏启动操作，并基于获取到的针对所述直播间和所述云游戏的同屏显示指示信息，在所述云游戏的显示界面显示目标多媒体数据流中包括的目标视频数据，其中，所述目标视频数据包括目标游戏视频数据和目标直播视频数据，所述目标游戏视频数据在所述显示界面的第一显示区域显示，所述目标直播视频数据在所述显示界面的第二显示区域显示。

18.一种基于云游戏的互动系统，其特征在于，所述系统包括客户端、云游戏服务器和流媒体服务器，其中：

所述客户端，用于获取通过直播间发起的针对云游戏的游戏启动操作，并向所述云游戏服务器发送所述游戏启动操作对应的第一游戏启动请求；

所述云游戏服务器，用于响应于接收到的所述第一游戏启动请求，得到初始游戏数据流；

所述流媒体服务器，用于若获取到针对所述直播间和所述云游戏的同屏显示指示信息，则从所述直播间对应的直播服务器获取初始直播数据流、以及获取所述云游戏对应的初始游戏数据流；对所述初始直播数据流和所述初始游戏数据流进行同步处理，得到目标多媒体数据流，并向所述客户端发送所述目标多媒体数据流；

所述客户端，还用于在所述云游戏的显示界面显示所述目标多媒体数据流中包括的目标视频数据，其中，所述目标视频数据包括目标游戏视频数据和目标直播视频数据，所述目标游戏视频数据在所述显示界面的第一显示区域显示，所述目标直播视频数据在所述显示界面的第二显示区域显示。

19.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器在运行所述计算机程序时用于执行权利要求1至9中任一项所述的方法，或者用于执行权利要求10至15中任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算器程序在处理器中运行时，所述处理器用于执行权利要求1至9中任一项所述的方法，或者用于执行权利要求10至15中任一项所述的方法。

Images