CN115052186B - 投屏方法及相关设备 - Google Patents

Abstract

本公开提供一种投屏方法，包括：收到会议信息后，视频会议客户端依据会议信息初始化一个实时通信(RTC)引擎，并加入与会议信息中会议标识对应的RTC房间；在接收到RTC客户端回调的用户加入事件后，视频会议客户端创建视图，并创建渲染器；在接收到RTC客户端回调的流加入事件后，视频会议客户端依据其中的屏幕流标识将屏幕流与已创建的视图进行绑定，并将渲染器设置到RTC客户端；视频会议客户端刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上；在RTC客户端回调出帧之后，视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。基于上述投屏方法，本公开还提供了一种投屏装置、电子设备、存储介质以及程序产品。

Description

投屏方法及相关设备

技术领域

本公开涉及互联网技术领域，尤其涉及一种投屏方法、投屏装置、电子设备、存储介质及程序产品。

背景技术

投屏已经成为目前生活、学习以及工作中分享信息的重要手段，例如，企业内部可以通过投屏系统进行企业会议；学校可以通过投屏系统进行交互式在线教学等等。通过投屏可以将个人电脑、平板或移动终端等终端设备采集的屏幕流通过网络传输到其他终端，并显示在与这些终端连接的例如电视机或显示器等显示设备上。可以理解，出于实时性和互动性的需要，投屏过程中的时延，特别是首帧时延，是影响使用者体验的重要指标之一。因此，如何尽可能地降低投屏过程的首帧时延，是当前需要解决的关键问题之一。

发明内容

有鉴于此，本公开的实施例提供一种投屏方法，可以减小建立投屏过程的时延，也就是投屏首帧时延，从而提高2s投屏成功率。

根据本公开的一些实施例，上述方法可以包括：收到会议信息后，视频会议客户端依据所述会议信息初始化一个实时通信(RTC)引擎，并加入与会议信息中会议标识对应的RTC房间；在接收到RTC客户端回调的用户加入事件后，所述视频会议客户端创建视图，并创建渲染器；在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；所述视频会议客户端刷新共享屏幕，将绑定过屏幕流的视图显示在屏幕上；在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。

基于上述方法，本公开的实施例提供了一种投屏装置，包括：

第一会议设置模块，用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎，并加入与会议信息中会议标识对应的RTC房间；

视图及渲染器设置模块，用于在接收到RTC客户端回调的用户加入事件后，创建视图，并创建渲染器；

绑定模块，用于在接收到所述RTC客户端回调的流加入事件后，依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；

第一屏幕刷新模块，用于刷新共享屏幕，将绑定过屏幕流的视图显示在屏幕上；以及

渲染模块，用于在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。

此外，本公开的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述投屏方法。

本公开的实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述投屏方法。

本公开的实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述投屏方法。

通过上述投屏方法或者投屏装置，在建立投屏过程中，视频会议客户端创建视图，创建渲染器以及将创建的视图显示在屏幕上的操作可以不依赖于RTC客户端的首帧回调，而可以提前执行，也即与RTC客户端的内部操作以及首包事件等操作并行执行，从而大大地压缩了投屏过程从初始化RTC引擎到首帧渲染完毕的时间，降低了建立投屏过程的时延，或者说首帧时延，从而大大提高了2s投屏成功率。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示了本公开一个实施例所述的用于投屏的系统100的内部结构示意图；

图2显示了现有建立投屏过程的交互示意图；

图3显示了现有在建立投屏的过程中第二终端104内部的具体操作流程；

图4显示了本公开一些实施例所述投屏方法的内部交互示意图；

图5显示了本公开另一些实施例所述投屏方法的内部交互示意图；

图6显示了本公开一些实施例所述投屏装置的内部结构示意图；

图7显示了本公开另一些实施例所述投屏装置的内部结构示意图；以及

图8示出了本公开一些实施例所述的一种更为具体的电子设备硬件结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如前所述，如何尽可能地降低投屏过程中的时延是当前需要解决的关键问题之一。为此，本申请的实施例提供一种投屏方法，可以有效降低建立投屏过程的时延。

在描述本申请实施例之前先对本申请实施例的描述中即将出现的部分名词或者术语进行如下简要说明：

1.实时通信(Real-time Communications，RTC)，狭义上一般将RTC称为实时音视频，其典型的应用为直播连麦、实时音视频通话、视频会议、交互式在线教育等等。RTC从功能流程上来说，一般包含音视频采集端(采集、前处理以及编码)、传输端(音视频采集端至服务器、服务器之间、服务器至播放端的传输)、音视频播放端(解码、缓冲以及渲染)等很多环节。投屏也是RTC的一种应用。在投屏业务中，音视频采集端一般是指投屏操作的发起端，音视频播放端一般是指投屏内容的显示端。

2.RTC引擎，是指基于RTC技术建立的音视频引擎，负责进行媒体流的编解码和媒体流传输。在投屏业务中，分别在投屏端和播放端建立的RTC引擎主要负责进行投屏端和播放端屏幕流的编解码和屏幕流传输。

3.首帧时延，也可称为建立投屏过程的时延，通常指从投屏端请求投屏开始直至播放端渲染完成第一个图像帧也就是渲染完成首帧图像的时间间隔。

4.2s投屏成功率，在投屏业务中是指建立投屏过程的时延小于等于2秒的概率，也就是指从投屏端请求投屏开始2秒钟之内投屏内容的播放端完成首帧图像渲染并显示的概率。2s投屏成功率是目前投屏业务投屏体验的重要指标之一。很明显，2s投屏成功率与建立投屏过程的时延有关，其中，建立投屏过程的时延越小，2s投屏成功率就越高。

图1显示了本申请一个实施例所述的用于投屏的系统100的内部结构示意图。如图1所示，上述系统100可以包括：用于采集并提供待投放屏幕流的第一终端102、用于接收待投放屏幕流的第二终端104、用于播放待投放屏幕流的显示设备106、用于在第一终端102以及第二终端104之间建立视频会议的视频会议服务端108以及用于在第一终端102以及第二终端104之间传输屏幕流的RTC服务端110。

其中，上述第一终端102通常可以是计算机或个人电脑(PC)、平板电脑或移动终端等终端设备。上述第二终端104可以是投屏盒子等终端设备。上述显示设备106可以是显示器或者电视机。上述第二终端104和上述显示设备106可以是独立的两个设备，例如，第二终端104和显示设备106可以通过HDMI线缆连接。此外，上述第二终端104和上述显示设备106也可以是集成在一起的一个设备。此外，第一终端102与视频会议服务端108之间、视频会议服务端108与第二终端104之间、第一终端102与RTC服务端110之间以及RTC服务端110与第二终端104之间可以通过网络连接。其中，上述网络可以是局域网也可以是互联网。

图2显示了现有建立投屏过程的交互示意图。如图2所示，现有的建立投屏过程可以包括如下交互过程。

在步骤202，第一终端102发送投屏请求到视频会议服务端108；其中，上述投屏请求中包括投屏码。

在本公开的实施例中，上述投屏码与第二终端104相关联。在实际的应用中，如果投屏系统100中包括多个第二终端104，则每个第二终端104将分别对应一个投屏码。在这种情况下，第一终端102的用户可以在第一终端102上输入或选择某个第二终端104对应的投屏码来确定即将用于接收和处理自身屏幕流的第二终端104。在接收到用户输入或者选择的投屏码之后，第一终端102将发送携带有上述投屏码的投屏请求至与其通过网络连接的视频会议服务端108。

在实际的应用中，第一终端102上可以安装有视频会议客户端。上述视频会议客户端可以为用户提供预约视频会议、参加视频会议、共享屏幕以及投屏等功能。具体地，在启动了安装在第一终端102上的视频会议客户端后，用户可以直接点击其中的会议室投屏选项，以直接选择加入某个视频会议并同时实现投屏。此时，视频会议客户端将在界面上显示一个输入框请用户输入投屏码。在收到用户输入的投屏码之后，视频会议客户端将发送携带有投屏码的投屏请求至视频会议服务端108，以选择加入该投屏码所对应第二终端104所在的视频会议并实现投屏。

此外，为了实现屏幕流的传输，上述第一终端102上还将安装有RTC客户端，例如，在本公开的一些实施例中，上述RTC客户端可以是RTC软件开发工具包(SDK)。上述RTC客户端用于建立RTC引擎以实现屏幕流的编解码和传输。在用户点击视频会议客户端中的会议室投屏选项后，视频会议客户端还将调用RTC客户端提供的初始化RTC引擎的方法来初始化一个RTC引擎。

需要说明的是，相对应的，为了实现屏幕流的传输，上述第二终端104也将安装有相应的视频会议客户端和RTC客户端。

在步骤204，在收到投屏请求之后，视频会议服务端108根据上述投屏请求中的投屏码确定对应的第二终端104，并生成会议信息。

在本公开的实施例中，由于每个投屏码均与一个第二终端104相关联，因此，上述视频会议服务端108可以根据上述投屏请求中的投屏码确定本次投屏请求对应的第二终端104。

在本公开的实施例中，上述会议信息可以包括：会议标识(Meeting ID)以及参会人信息(包括：参会人标识以及姓名或名称等)。在本公开的另一些实施例中，上述会议信息还可以包括：会议状态信息(例如，结束或者开始)以及会议设置项等等。

在步骤206，视频会议服务端108将生成的会议信息分别推送至上述第一终端102和确定的第二终端104。

在步骤208，收到上述会议信息之后，上述第一终端102和上述第二终端104分别根据收到的会议信息加入本次视频会议对应的RTC房间。

在本公开的实施例中，上述第一终端102中的视频会议客户端可以先从上述会议信息中获取会议标识，然后调用RTC客户端提供的加入RTC房间的方法(joinChannel)加入与上述会议标识对应的RTC房间。如前所述，上述第一终端102侧的RTC引擎可以在用户点击视频会议客户端中的会议室投屏选项后就预先初始化完成。具体方法包括：响应于用户点击视频会议客户端中的会议室投屏选项，视频会议客户端调用RTC客户端提供的初始化RTC引擎的方法来初始化一个RTC引擎。

在本公开的实施例中，上述第二终端104中的视频会议客户端则需要先调用自身的RTC客户端提供的初始化RTC引擎的方法来初始化一个RTC引擎；然后，再从上述会议信息中获取会议标识，并调用RTC客户端提供的加入RTC房间的方法加入与上述会议标识对应的RTC房间。

可见，上述第一终端102和第二终端104将加入同一个RTC房间。需要说明的是，上述描述仅是以一个第二终端104为例进行的说明，如果视频会议中有多个第二终端104，则在上述步骤中，每个第二终端104均将执行上述操作，也就是说，视频会议的所有参与者都将加入到同一个RTC房间内，从而通过RTC服务端实现屏幕流从第一终端102(投屏端)到所有第二终端104(播放端)之间的传输。

在步骤210，第一终端102开始屏幕采集得到屏幕的首帧图像，对上述首帧图像进行编码，并将经过编码得到的数据包发送至RTC服务端110。

在本公开的实施例中，上述数据包通常是实时传输协议(RTP)数据包。

此外，需要说明的是，在执行完上述步骤之后，上述第一终端102还将继续进行屏幕采集、图像编码和数据包发送的操作，直至投屏结束。

在步骤212，上述RTC服务端110将接收的数据包转发至上述第二终端104。

在步骤214，上述第二终端104对接收的数据包进行解码得到上述首帧图像，对上述首帧图像进行渲染，并将渲染后的图像发送至显示设备106。

在步骤216，上述显示设备106显示接收的图像。

可见，上述步骤210至步骤214描述的是第一终端102和第二终端104之间通过RTC服务端110传输屏幕流的情况。这种情况可以认为终端之间的投屏连接状态是点对服务器(P2S)的，也即终端之间的屏幕流是通过RTC服务器110转发的。需要说明的是，本公开的实施例并不限于上述一种投屏连接状态。在另一些实施例中，第一终端102和第二终端104之间还可以先通过RTC服务端110建立直接连接的传输信道，然后再通过直接连接的传输信道传输屏幕流。也就是说，此时屏幕流的传输并不需要RTC服务端110的中转。这种情况可以认为投屏连接状态是端到端(P2P)的。也就是说，在本公开的实施例中，终端之间的投屏连接状态主要包括P2P以及P2S两种。P2P的方式通常适用于第一终端102和第二终端104在同一个局域网的情况下，例如在同一个会议室中的情况。此时，在上述步骤212，第一终端102经过屏幕采集、编码等操作得到数据包后，将直接将数据包通过建立的直接连接的传输信道发送至第二终端104。

至此，第二终端104完成了对第一终端102采集的首帧图像的渲染以及显示。因此，可以看出，建立投屏过程的时延就是完成上述步骤202-214的耗时。

具体地，从上述流程可以看出，在建立投屏的过程中，由第二终端104的操作所造成的时延主要包括：执行上述步骤208以及执行上述步骤214的耗时，也即建立RTC引擎过程的耗时、等待首个数据包(简称为首包)以及接收到首包后处理过程的耗时。因此，从第二终端104的角度来看，如果可以尽可能减少上述步骤208或步骤214的耗时即可以减小建立投屏过程的时延，从而提高2s投屏成功率。

图3显示了本公开的实施例所述的在建立投屏的过程中第二终端104内部的具体操作流程。其中，如前所述，第二终端104内部包括视频会议客户端以及RTC客户端。图3所示的建立投屏的过程主要包括如下步骤。

在步骤302，视频会议客户端在从视频会议服务端108收到会议信息后，调用RTC客户端提供的初始化RTC引擎的方法，初始化一个RTC引擎。

由于建立的RTC引擎具有对应的RTC环境属性(Vendor Type)，因此，在本公开的实施例中，在收到会议信息之后，视频会议客户端将先从会议信息中提取RTC环境属性，然后依据提取的RTC环境属性调用RTC客户端提供的初始化RTC引擎的方法初始化一个RTC引擎。

此外，在RTC引擎初始化完成后，视频会议客户端可以进一步调用RTC客户端提供的配置会议设置项方法进行会议设置项的设置。

在本公开的一些实施例中，上述会议设置项的设置包括设置RTC房间属性(ChannelProfile)以及解码模式(DecoderMode)等等。

在步骤304，视频会议客户端调用RTC客户端提供的加入RTC房间的方法加入与会议信息中会议标识对应的RTC房间。

在步骤306，在接收到RTC客户端回调的首帧事件后，视频会议客户端创建视图，将订阅的屏幕流与视图进行绑定，创建渲染器以及将创建的视图显示在屏幕上。

在步骤308，视频会议客户端将上述创建的渲染器设置到RTC客户端。

在步骤310，在RTC客户端回调出帧之后，视频会议客户端进行上屏渲染，得到可以显示在显示设备上的首帧图像。

针对上述图3所示的过程，在研发过程中发现，在上述步骤306中，视频会议客户端执行的创建视图，创建渲染器以及将创建的视图显示在屏幕上的操作实际上并不依赖于RTC客户端回调的首帧事件，而目前这些操作都是要等到RTC客户端回调首帧事件后才执行的，无疑会增加建立投屏过程的时延。

基于此，本公开的实施例给出了一种投屏方法，该投屏方法由第二终端104执行，可以有效减少上述建立投屏过程的时延。

本公开实施例所述的投屏方法的具体实现过程可以参考图4，包括如下步骤：

在步骤402，在从视频会议服务端108收到会议信息后，视频会议客户端初始化一个RTC引擎。

具体地，在本公开的实施例中，在从视频会议服务端108收到会议信息后，视频会议客户端可以调用RTC客户端提供的初始化RTC引擎的方法(init)初始化一个RTC引擎。

更进一步，在RTC引擎初始化完成后，视频会议客户端还可以进一步进行会议设置项的设置。

具体地，在本公开的实施例中，视频会议客户端可以调用RTC客户端提供的配置会议设置项方法(preJoinConfig)进行会议设置项的设置。如前所述，上述配置会议设置项可以包括设置RTC房间属性以及解码模式等等。

在步骤404，视频会议客户端加入与会议信息中会议标识对应的RTC房间。

具体地，在本公开的实施例中，视频会议客户端可以调用RTC客户端提供的加入RTC房间的方法(joinChannel)加入与会议信息中会议标识对应的RTC房间。

在步骤406，在接收到RTC客户端回调的用户加入事件(onUserJoined)后，视频会议客户端创建视图。

在本公开的实施例中，上述第二终端104还将包括一个RTC客户端封装(RTC SDKWrapper)，上述RTC客户端封装主要用于提供RTC客户端之外的部分功能以及提供RTC客户端交互的能力。

在本步骤中，视频会议客户端可以调用RTC客户端封装提供的创建视图(createRenderView)的接口，由RTC客户端封装执行初始化渲染实例(init eglRender)的方法创建上述视图。需要说明的是，上述创建视图的接口封装了初始化渲染实例的方法。这样，在视频会议客户端调用RTC客户端封装提供的创建视图的接口时，RTC客户端封装就将执行初始化渲染实例的方法以创建上述视图。

需要说明的是，上述用户加入事件的回调通常是在视频会议客户端加入到RTC房间之后但是在接收到来自第一终端102的首包之前发生的事件，因此，要上述用户加入事件的回调要早于RTC客户端的首帧回调。

在步骤408，视频会议客户端创建渲染器。

在本公开的实施例中，视频会议客户端可以调用RTC客户端封装提供的建立远端屏幕(setupRemoteScreen)的接口，由RTC客户端封装执行创建渲染器的方法(createVideoSink)创建上述渲染器。需要说明的是，上述建立远端屏幕的接口封装了创建渲染器的方法。这样，在视频会议客户端调用RTC客户端封装提供的建立远端屏幕的接口时，RTC客户端封装就将执行创建渲染器的方法以创建上述渲染器。

需要说明的是，在上述步骤408中，虽然创建了渲染器，但由于此时并没有收到屏幕流，因此该渲染器其实并没有设置成功。也就是说，RTC客户端封装的提供的建立远端屏幕的接口中并未封装将视图和屏幕流进行绑定的方法，也即未进行渲染器的注册，而只是提前创建了渲染器。

在步骤410，在接收到RTC客户端回调的流加入事件(onStreamAdd)后，视频会议客户端依据其中的屏幕流标识将收到的屏幕流与已创建的视图进行绑定。

在步骤412，在接收到RTC客户端回调的流加入事件后，RTC客户端封装将创建的渲染器设置到RTC客户端。

在本公开的实施例中，在上述步骤412，RTC客户端封装将调用RTC客户端的设置渲染器的方法(setupRemoteScreenRender)，将创建的渲染器设置到RTC客户端。

在步骤414，视频会议客户端刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上。

在步骤416，在RTC客户端回调出帧之后，视频会议客户端进行上屏渲染，得到可以显示在显示设备上的首帧图像。

在本公开的实施例中，在RTC客户端回调出帧，也即在接收到所述RTC客户端回调的屏幕流首帧之后，RTC客户端封装通过开放图形库(Open GL)提供的渲染方法(swapBuffers)进行上述上屏渲染。具体地，上述建立远端屏幕的接口还可以进一步封装上述swapBuffers渲染方法。这样，在接收到所述RTC客户端回调的屏幕流首帧之后，RTC客户端封装可以直接通过开放图形库提供的swapBuffers渲染方法对上述屏幕流首帧进行上述上屏渲染。

由于在上述方法中第二终端104内部执行的渲染过程不依赖于RTC客户端的首帧回调，因此，在本公开的实施例中，可以将第一次RTC客户端回调出帧定义为首帧并进行埋点上报，从而可以更加准确确定首帧出图的时刻。

需要说明的是，为了向用户直观显示建立投屏过程正在进行中的状态，可以在上述步骤402，在从视频会议服务端108收到会议信息后，视频会议客户端可以在显示设备上显示加载中(Loading)提示信息。进一步的，在上述步骤416，在RTC客户端回调出帧之后，视频会议客户端可以隐藏上述加载中(Loading)提示信息。

可见，在上述的建立投屏过程中，视频会议客户端创建视图，创建渲染器以及将创建的视图显示在屏幕上的操作可以不依赖于RTC客户端的首帧回调，而可以提前执行，也即可以与RTC客户端的内部操作以及首包事件等操作并行执行，从而大大地压缩了第二终端104从初始化RTC引擎到首帧渲染完毕的时间，降低了建立投屏过程的时延，或者说首帧时延，从而大大提高了2s投屏成功率。

在本公开的另一些实施例中，为了进一步对投屏清晰度进行优化，根据第一终端102的不同，第二终端104可以差异化选择不同的渲染方式。

具体地，如果第二终端104的视频会议客户端根据会议信息确定上述第一终端102是计算机，例如PC，则可以通过RTC客户端的视频媒体解码模块(Video MediaCodec)直接完成屏幕流的解码及渲染操作。而如果确定第一终端102是移动终端，则屏幕流则存在角度信息，而由于RTC的视频媒体解码模块解码渲染不支持图像旋转，因此，无法使用RTC的视频媒体解码模块完成解码及渲染的操作，此时仍可以采用上述图4所述示的方法。

本公开实施例所述的通过RTC客户端的视频媒体解码模块完成屏幕流的解码及渲染操作的具体实现过程可以参考图5，包括如下步骤：

在步骤502，视频会议客户端在从视频会议服务端108收到会议信息后，调用RTC客户端提供的初始化RTC引擎的方法(init)初始化一个RTC引擎。

在本公开的实施例中，在上述步骤502，在初始化RTC引擎时，视频会议客户端需要进一步调用RTC客户端提供的屏幕流自动订阅方法(enableScreenCastingAutoSub)关闭屏幕流自动订阅。

此外，视频会议客户端可以进一步在显示设备上显示加载中(Loading)提示信息。

进一步，视频会议客户端还可以调用RTC客户端提供的配置会议设置项方法(preJoinConfig)进行会议设置项的设置。

在步骤504，视频会议客户端调用RTC客户端提供的加入RTC房间的方法加入与会议信息中会议标识对应的RTC房间。

在步骤506，视频会议客户端创建视图层组件(SurfaceView)。

其中，在本公开的实施例中，上述SurfaceView是一个组件，可用于在视图(View)层次结构中嵌入其他合成层。SurfaceView采用与其他视图相同的布局参数，因此可以像对待其他任何视图一样对其进行操作，但是SurfaceView的内容是透明的。

在本公开的实施例中，视频会议客户端可以根据接收的会议信息中的参会人标识拼接出流标识(streamId)，并依据上述流标识调用RTC客户端封装的创建RTC视图层组件(createRtcRenderSurfaceView)的接口，由RTC客户端封装调用操作系统例如安卓(android系统)的相应方法进行创建。操作系统创建成功后会回调视图层组件已创建消息(surfaceCreated)向RTC客户端封装进行通知，之后再设置给RTC客户端。

在步骤508，在接收到RTC客户端回调的流加入事件(onStreamAdd)后，视频会议客户端刷新共享屏幕。

在步骤510，响应于确定视图层组件已创建成功，视频会议客户端将创建的视图层组件以及上述流加入事件中的流标识设置到RTC客户端的视频媒体解码模块。

在本公开的实施例中，RTC客户端封装可以通过调用RTC客户端提供的设置视图层组件方法(setExternalSurface)将创建的视图层组件以及上述流标识设置到RTC客户端的视频媒体解码模块。具体地，上述创建RTC视图层组件的接口可以封装在收到流加入事件后RTC客户端封装调用RTC客户端提供的设置视图层组件方法的操作。这样，在接收到RTC客户端回调的流加入事件并确定视图层组件已创建成功时，RTC客户端封装就可以直接通过调用RTC客户端提供的设置视图层组件方法将创建的视图层组件以及上述流标识设置到RTC客户端的视频媒体解码模块。

在步骤512，视频会议客户端向RTC客户端订阅与上述流标识对应的屏幕流。

在本公开的实施例中，RTC客户端封装可以通过调用RTC客户端提供的流订阅方法(subscribeStream)订阅与上述流加入事件中的流标识对应的屏幕流。类似地，上述创建RTC视图层组件的接口还可以封装在收到流加入事件后RTC客户端封装调用RTC客户端提供的流订阅方法的操作。这样，在接收到RTC客户端回调的流加入事件并确定视图层组件已创建成功时，RTC客户端封装就可以直接通过调用RTC客户端提供的流订阅方法订阅与上述流加入事件中的流标识对应的屏幕流。

在步骤514，RTC客户端通过上述设置了视图层组件以及流标识的视频媒体解码模块完成上述屏幕流的首帧解码以及渲染，得到屏幕流首帧。

在步骤516，RTC客户端回调视图层组件首帧出帧方法将上述屏幕流首帧返回至视频会议客户端。

在步骤518，视频会议客户端调整视图比例，得到可以显示在显示设备上的首帧图像。

在本公开的实施例中，上述视图比例的调整可以依据显示装置显示界面的宽高比由RTC客户端封装执行调整视图比例方法(updateLayoutSize)实现视图比例的调整，以适配视频帧宽高比，避免显示拉伸。类似地，上述创建RTC视图层组件的接口还可以进一步封装在收到RTC客户端回调的屏幕流首帧之后，执行调整视图比例方法进行视图比例调整的操作。这样，在接收到RTC客户端回调的屏幕流首帧时，RTC客户端封装就可以直接执行调整视图比例方法进行视图比例的调整。

经过上述视图比例调整后，RTC客户端封装将首帧事件通过开始渲染(onBeginRender)回调进行通知。与图4类似的，此时，视频会议客户端可以隐藏上述加载中(Loading)提示信息。

基于上述图4和图5所示的方法，在本公开的实施例中，上述投屏方法可以进一步包括：视频会议客户端在从视频会议服务端108收到会议信息后，根据会议信息中携带的第一终端102的信息判断第一终端102的类型，如果是移动终端，则执行图4所示的流程；如果是计算机，则执行后续图5所示的流程。

在上述图5所示的建立投屏过程中，视频会议客户端创建视图层组件，刷新共享屏幕，以及将创建的视图层组件以及流标识设置到RTC客户端的视频媒体解码模块的操作均不依赖于RTC客户端的首帧回调，而可以提前执行，也即可以与RTC客户端的内部操作以及首包事件等操作并行执行，从而大大地压缩了第二终端104从初始化RTC引擎到首帧渲染完毕的时间，降低了建立投屏过程的时延，或者说首帧时延，从而大大提高了2s投屏成功率。

通过多次实验可以发现，通过采用本公开实施例所述的投屏方法可以有效减小建立投屏过程的时延近300毫秒，2s投屏成功率可以从原来的37％左右上升至71％左右。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

对应上述投屏方法，本公开的实施例还公开了一种投屏装置。图6显示了本公开实施例所述的装置的内部结构。

如图6所示，该投屏装置可以包括：

第一会议设置模块602，用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎，并加入与会议信息中会议标识对应的RTC房间；

视图及渲染器设置模块604，用于在接收到RTC客户端回调的用户加入事件后，创建视图，并创建渲染器；

绑定模块606，用于在接收到所述RTC客户端回调的流加入事件后，依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；

第一屏幕刷新模块608，用于刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上；以及

渲染模块610，用于在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。

对应上述投屏方法，本公开的实施例还公开了另一种投屏装置。图7显示了本公开实施例所述的装置的内部结构。

如图7所示，该投屏装置可以包括：上述会议设置模块602、视图及渲染器设置模块604、绑定模块606、刷新共享屏幕模块608以及渲染模块610。除了上述模块之外，上述投屏装置还可以包括：投屏端类型确定模块702以及第二会议设置模块712；视图层组件创建模块714；设置模块718；订阅模块720；以及视图比例调整模块722。

其中，投屏端类型确定模块702用于在收到会议信息后，根据所述会议信息确定第一终端的类型，响应于确定所述第一终端是移动终端，触发上述会议设置模块602、视图及渲染器设置模块604、绑定模块606、刷新共享屏幕模块608以及渲染模块610的操作；以及响应于确定所述第一终端是计算机，触发上述第二会议设置模块712；视图层组件创建模块714；设置模块718；订阅模块720；以及视图比例调整模块722操作。

具体地，上述第二会议设置模块712用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎，并加入与会议信息中会议标识对应的RTC房间；

视图层组件创建模块714用于创建视图层组件；

第二屏幕刷新模块716用于在接收到所述RTC客户端回调的流加入事件后，刷新共享屏幕；

设置模块718用于响应于确定所述视图层组件已创建成功，将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块；

订阅模块720用于向所述RTC客户端订阅与所述流标识对应的屏幕流；

视图比例调整模块722用于在接收到所述RTC客户端回调的屏幕流首帧后，调整视图比例，得到显示在显示设备上的首帧图像；其中，所述屏幕流首帧是由RTC客户端使用已设置所述平面视图以及所述流标识的视频媒体解码模块对所述屏幕流的首帧进行解码以及渲染后得到的。

上述各个模块的具体实现可以参考前述方法以及附图，在此不再重复说明。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的投屏方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的投屏方法。

图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器2010、存储器2020、输入/输出接口2030、通信接口2040和总线2050。其中处理器2010、存储器2020、输入/输出接口2030和通信接口2040通过总线2050实现彼此之间在设备内部的通信连接。

处理器2010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器2020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器2020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器2020中，并由处理器2010来调用执行。

输入/输出接口2030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口2040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线2050包括一通路，在设备的各个组件(例如处理器2010、存储器2020、输入/输出接口2030和通信接口2040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器2010、存储器2020、输入/输出接口2030、通信接口2040以及总线2050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的投屏方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的投屏方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的任务处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (13)

1.一种投屏方法，包括：

收到会议信息后，视频会议客户端依据所述会议信息初始化实时通信RTC引擎，并加入与所述会议信息中会议标识对应的RTC房间；

在接收到RTC客户端回调的用户加入事件后，所述视频会议客户端创建视图，并创建渲染器；

在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端依据其中的屏幕流标识将屏幕流与已创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；

所述视频会议客户端刷新共享屏幕，将已绑定屏幕流的视图显示在屏幕上；以及

在所述RTC客户端回调出帧之后，所述视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。

2.根据权利要求1所述的投屏方法，其中，所述创建视图包括：所述视频会议客户端调用RTC客户端封装的创建视图的接口，由所述RTC客户端封装执行初始化渲染实例的方法创建所述视图。

3.根据权利要求1所述的投屏方法，其中，所述创建渲染器包括：所述视频会议客户端调用所述RTC客户端封装的建立远端屏幕的接口，由所述RTC客户端封装执行创建渲染器的方法创建所述渲染器。

4.根据权利要求1所述的投屏方法，其中，所述视频会议客户端进行上屏渲染包括：调用所述RTC客户端封装开放图形库提供的渲染方法进行所述上屏渲染。

5.根据权利要求1所述的投屏方法，在收到会议信息后，进一步包括：

所述视频会议客户端根据所述会议信息确定用于提供待投放屏幕流的第一终端的类型，

响应于确定所述第一终端是计算机，所述视频会议客户端依据所述会议信息初始化实时通信RTC引擎，并加入与所述会议信息中会议标识对应的RTC房间；所述视频会议客户端创建视图层组件；在接收到所述RTC客户端回调的流加入事件后，所述视频会议客户端刷新共享屏幕；响应于确定所述视图层组件已创建成功，所述视频会议客户端将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块；所述视频会议客户端向所述RTC客户端订阅与所述流标识对应的屏幕流；以及在接收到所述RTC客户端回调的屏幕流首帧后，所述视频会议客户端调整视图比例，得到显示在显示设备上的首帧图像；其中，所述屏幕流首帧是由RTC客户端使用已设置平面视图以及所述流标识的视频媒体解码模块对所述屏幕流的首帧进行解码以及渲染后得到的。

6.根据权利要求5所述的投屏方法，其中，所述视频会议客户端创建视图层组件包括：

所述视频会议客户端根据所述会议信息中的参会人标识拼接出流标识；

所述视频会议客户端依据所述流标识调用所述RTC客户端封装的创建RTC视图层组件的接口，由所述RTC客户端封装指令操作系统创建所述视图层组件。

7.根据权利要求5所述的投屏方法，其中，所述视频会议客户端将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块包括：所述RTC客户端封装调用RTC客户端提供的设置视图层组件方法将所述视图层组件以及所述流标识设置到所述RTC客户端的视频媒体解码模块。

8.根据权利要求5所述的投屏方法，其中，所述视频会议客户端向所述RTC客户端订阅与所述流标识对应的屏幕流包括：所述RTC客户端封装调用RTC客户端提供的流订阅方法订阅与所述流标识对应的屏幕流。

9.根据权利要求5所述的投屏方法，其中，所述视频会议客户端调整视图比例包括：所述视频会议客户端依据所述显示设备显示界面的宽高比调用所述RTC客户端封装的调整视图比例方法调整视图比例。

10.一种投屏装置，包括：

第一会议设置模块，用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎，并加入与会议信息中会议标识对应的RTC房间；

视图及渲染器设置模块，用于在接收到RTC客户端回调的用户加入事件后，创建视图，并创建渲染器；

绑定模块，用于在接收到所述RTC客户端回调的流加入事件后，依据其中的屏幕流标识将屏幕流与创建的视图进行绑定，并将所述渲染器设置到所述RTC客户端；

第一屏幕刷新模块，用于刷新共享屏幕，将绑定过屏幕流的视图显示在屏幕上；以及

渲染模块，用于在所述RTC客户端回调出帧之后，视频会议客户端进行上屏渲染，得到显示在显示设备上的首帧图像。

11.根据权利要求10所述的投屏装置，进一步包括：投屏端类型确定模块、第二会议设置模块、视图层组件创建模块、第二屏幕刷新模块、设置模块、订阅模块、以及视图比例调整模块；其中，

所述投屏端类型确定模块用于在收到会议信息后，根据所述会议信息确定用于提供待投放屏幕流的第一终端的类型，响应于确定所述第一终端是计算机，触发所述第二会议设置模块操作；

所述第二会议设置单元用于在收到会议信息后，依据所述会议信息初始化一个实时通信RTC引擎并加入与会议信息中会议标识对应的RTC房间；

所述视图层组件创建模块用于创建视图层组件；

所述第二屏幕刷新模块用于在接收到所述RTC客户端回调的流加入事件后，刷新共享屏幕；

所述设置模块用于响应于确定所述视图层组件已创建成功，将创建的视图层组件以及所述流加入事件中的流标识设置到所述RTC客户端的视频媒体解码模块；

所述订阅模块用于向所述RTC客户端订阅与所述流标识对应的屏幕流；

所述视图比例调整用于在接收到所述RTC客户端回调的屏幕流首帧后，调整视图比例，得到显示在显示设备上的首帧图像；其中，所述屏幕流首帧是由RTC客户端使用已设置平面视图以及所述流标识的视频媒体解码模块对所述屏幕流的首帧进行解码以及渲染后得到的。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-9中任意一项所述的投屏方法。

13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1-9中任意一项所述的投屏方法。