CN112203126A - 投屏方法、投屏装置及存储介质 - Google Patents

Abstract

本公开是关于一种投屏方法、投屏装置及存储介质。所述投屏方法包括：响应于所述投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至所述投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。通过本公开，在投屏时，可实现跨设备协议的投屏，避免了投屏发送端和投屏接收端协议不兼容导致无法投屏的问题，实现投屏便捷高效。

Description

投屏方法、投屏装置及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及投屏方法、投屏装置及存储介质。

背景技术

随着多媒体技术的快速发展，最初的有线投屏已发展成为了当前的无线投屏。

无线投屏被广泛应用于会议室、报告厅、教室等众多场所，基于无线投屏，用户可以轻松地将移动终端上的公文、报告以及课件等内容快速投放到更大屏幕的设备(如电视、投影仪等)上，获得更为舒适的视觉体验。

然而，对于当前的无线投屏技术，由于受到投屏协议的限制，设备之间并不能很好地实现投屏，例如，设备A遵守的是AirPlay投屏协议，而向设备A发送投屏内容的设备B并非AirPlay投屏协议授权认证的设备，那么，投屏将不能进行。

发明内容

为克服相关技术中存在的问题，本公开提供一种投屏方法、投屏装置及存储介质。

根据本公开实施例的第一方面，提供一种投屏方法，应用于投屏发送端，所述方法包括：

响应于所述投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至所述投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。

在一示例中，所述投屏发送端内建有RTMP服务器，所述将所述投屏内容发送至所述投屏接收端，包括：对所述投屏内容进行实时编码压缩处理，得到所述投屏内容对应的码流数据；将所述码流数据推流至所述RTMP服务器，通过所述RTMP服务器将所述投屏内容发送至所述投屏接收端。

在一示例中，所述确定投屏内容，包括：实时截屏所述投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容。

在一示例中，所述实时截屏所述投屏发送端显示界面上显示的图像数据，包括：获取所述投屏发送端显示界面上实时显示图像数据的实时帧间数据相似度；根据帧间数据相似度与截屏帧率的对应关系，确定与所述实时帧间数据相似度对应的目标截屏帧率，其中，帧间数据相似度越大，截屏帧率越小；按照所述目标截屏帧率实时截屏所述投屏发送端显示界面上显示的图像数据。

在一示例中，所述投屏内容包括音频数据，所述投屏发送端具有音频采集设备，所述方法还包括：通过所述音频采集设备实时采集所述投屏发送端播放的音频数据，将实时采集的音频数据发送至所述投屏接收端。

在一示例中，对所述投屏内容进行实时编码压缩处理，包括：确定目标编码码率；采用硬件编码器按照目标编码码率对所述投屏内容进行编码压缩处理。

在一示例中，所述确定目标编码码率，包括：获取将所述码流数据推流至所述RTMP服务器的丢包率；若所述丢包率小于预设的最小编码码率，则将当前编码码率增加第一编码码率得到目标编码码率；若所述丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。

根据本公开实施例的第二方面，提供一种投屏方法，应用于投屏接收端，所述方法包括：响应于所述投屏接收端与投屏发送端建立了通信连接，接收所述投屏发送端发送的网络流地址，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；基于所述网络流地址发送投屏内容获取请求；接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，对所述投屏内容进行投屏显示。

在一示例中，所述接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，包括：接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

在一示例中，对所述投屏内容进行投屏显示之前，所述方法还包括：采用硬件解码器解码所述投屏内容，并对解码得到的硬件解码数据进行表面渲染，得到对所述投屏内容进行投屏显示的渲染数据。

根据本公开实施例的第三方面，提供一种投屏装置，应用于投屏发送端，所述装置包括：发送单元，用于响应于所述投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至所述投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；确定单元，用于响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。

在一示例中，所述投屏发送端内建有RTMP服务器，所述发送单元采用如下方式将所述投屏内容发送至所述投屏接收端：对所述投屏内容进行实时编码压缩处理，得到所述投屏内容对应的码流数据；将所述码流数据推流至所述RTMP服务器，通过所述RTMP服务器将所述投屏内容发送至所述投屏接收端。

在一示例中，所述确定单元采用如下方式确定投屏内容：实时截屏所述投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容。

在一示例中，所述确定单元采用如下方式实时截屏所述投屏发送端显示界面上显示的图像数据；获取所述投屏发送端显示界面上实时显示图像数据的实时帧间数据相似度；根据帧间数据相似度与截屏帧率的对应关系，确定与所述实时帧间数据相似度对应的目标截屏帧率，其中，帧间数据相似度越大，截屏帧率越小；按照所述目标截屏帧率实时截屏所述投屏发送端显示界面上显示的图像数据。

在一示例中，所述投屏内容包括音频数据，所述投屏发送端具有音频采集设备，所述确定单元还用于：通过所述音频采集设备实时采集所述投屏发送端播放的音频数据，将实时采集的音频数据发送至所述投屏接收端。

在一示例中，所述发送单元还用于：确定目标编码码率；采用硬件编码器按照目标编码码率对所述投屏内容进行编码压缩处理。

在一示例中，所述发送单元采用如下方式确定目标编码码率：获取将所述码流数据推流至所述RTMP服务器的丢包率；若所述丢包率小于预设的最小编码码率，则将当前编码码率增加第一编码码率得到目标编码码率；若所述丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。

根据本公开实施例的第四方面，提供一种投屏装置，应用于投屏接收端，所述装置包括：接收单元，用于响应于所述投屏接收端与投屏发送端建立了通信连接，接收所述投屏发送端发送的网络流地址，所述网络流地址中包括实时消息传输协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；发送单元，用于基于所述网络流地址发送投屏内容获取请求；投屏单元，用于接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，对所述投屏内容进行投屏显示。

在一示例中，所述投屏单元还用于：接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

根据本公开实施例的第五方面，提供一种投屏装置，包括：

处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：用于执行第一方面或第一方面任意一种实施方式中所述的投屏方法。

根据本公开实施例的第六方面，提供一种投屏装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：用于执行第二方面或第二方面任意一种实施方式中所述的投屏方法。

根据本公开实施例的第七方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第一方面或第一方面任意一种实施方式中所述的投屏方法。

根据本公开实施例的第八方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第二方面或第二方面任意一种实施方式中所述的投屏方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的投屏方法，投屏发送端与投屏接收端建立了通信连接之后，投屏发送端通过向投屏接收端发送包括实时消息传输协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径的网络流地址，进而投屏接收端根据接收的网络流地址，可以按照实时数据包传输协议获取到投屏内容，实现跨设备协议的投屏，避免了投屏发送端和投屏接收端协议不兼容导致无法投屏的问题，实现投屏便捷高效。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种投屏方法的流程图；

图2是根据一示例性实施例示出的一种投屏方法的流程图；

图3是根据一示例性实施例示出的一种投屏方法的流程图；

图4是根据一示例性实施例示出的一种投屏装置的装置框图；

图5是根据一示例性实施例示出的一种投屏装置的装置框图；

图6是根据一示例性实施例示出的一种投屏装置的装置框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开提供的投屏方法应用于工作会议、报告讲座等需要进行无线投屏的场景。

相关技术中，投屏时，作为投屏发送端的设备和作为投屏接收端的设备需要遵循同一投屏协议。若作为投屏发送端的设备和作为投屏接收端的设备非同一投屏协议，将无法进行投屏，用户需要寻找符合要求的设备才能完成投屏。相关技术在实际应用中给用户带来了较多的困扰。

本公开提供的投屏方法在投屏发送端与投屏接收端建立了通信连接之后，基于投屏发送端发送的包括实时消息传输协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径的网络流地址来实现内容投屏，使得投屏时不再受投屏协议限制，无论在任何场地，无论是用笔记本电脑还是移动手机投送内容，都可以实现快速投屏。

图1是根据一示例性实施例示出的一种投屏方法的流程图。如图1所示，本公开的投屏方法可以包括以下步骤S101和步骤S102。

在步骤S101中，响应于投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至投屏接收端，网络流地址中包括实时消息传输RTMP协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径。

本实施例中，投屏发送端可以是安卓手机、Windows/Mac电脑等，投屏接收端可以是电视机、智能交互平板、投影仪等。投屏，即屏幕共享，通过投屏技术将投屏发送端显示屏显示的内容实时地显示到投屏接收端的屏幕上。

一种实施方式中，若投屏发送端被绑定了固定的投屏接收端，那么，当投屏发送端与投屏接收端均处于同一局域网时，用户点击投屏播放之后，投屏发送端直接将投屏的内容发送至已绑定的固定投屏接收端进行投屏。

另一种实施方式中，若投屏发送端未绑定有固定的投屏接收端，则当投屏发送端与投屏接收端均处于同一局域网时，若要进行投屏，用户可以在投屏发送端输入投屏接收端显示的投屏验证码，基于投屏验证码，投屏接收端可以确定与其连接的投屏接收端，并将投屏内容发送至投屏接收端进行投屏。

投屏发送端与投屏接收端之间建立连接，例如可以是投屏发送端与投屏接收端之间建立socket链接，使得投屏发送端与投屏接收端之间进入可通信状态后，投屏发送端将网络流地址发送给投屏接收端。

其中，网络流地址例如可以包括实时消息传输协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径。

在步骤S102中，响应于接收到投屏内容获取请求，确定投屏内容，并将投屏内容发送至投屏接收端，投屏内容获取请求由投屏接收端基于网络流地址发送。

本公开中，在投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至投屏接收端之后，在接收到投屏接收端基于网络流地址发送的投屏内容获取请求，基于所接收的投屏请求，确定投屏内容，并将投屏内容发送至投屏接收端。

其中，将投屏内容发送至投屏接收端，例如可通过如下方式实现：

本公开中在投屏发送端内建有RTMP服务器，投屏发送端对投屏内容进行实时编码压缩处理，得到投屏内容对应的码流数据后，通过将码流数据推流至投屏发送端内建的RTMP服务器，通过RTMP服务器将投屏内容发送至投屏接收端。

其中，RTMP服务器具有将包括实时消息传输协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径的网络流地址等传输至投屏接收端的功能。

在本公开的示例性实施例中，基于RTMP服务器使得投屏发送端与投屏接收端建立了通信连接之后，投屏发送端通过向投屏接收端发送包括实时消息传输协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径的网络流地址，进而投屏接收端根据接收的网络流地址，可以按照实时数据包传输协议获取到投屏内容，实现跨设备协议的投屏，避免了投屏发送端和投屏接收端协议不兼容导致无法投屏的问题，实现投屏便捷高效。

投屏发送端待投屏至投屏接收端的投屏内容可以是图像数据或者音频数据。以下实施例是对投屏内容为图像数据或者音频数据的具体说明。

图2是根据一示例性实施例示出的一种投屏方法的流程图。

如图2所示，针对投屏内容的处理可以包括以下步骤：

在步骤S201中，响应于投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至投屏接收端，网络流地址中包括实时消息传输RTMP协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径。

本公开中，投屏内容可以包括图像数据和音频数据等。

在步骤S202中，响应于接收到投屏接收端基于网络流地址发送的投屏内容获取请求，实时截屏投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容，并将投屏内容发送至投屏接收端。

相关技术中，设备仅能对投屏协议所支持的内容进行投屏。例如，协议仅支持视频投屏，那么，设备只能对视频投屏，对于文档、PPT等格式的内容则无法进行投屏。本实施例是基于截屏技术解决了相关技术中投屏内容受限的问题，通过截屏，无论是办公用的文档还是视频均可实时投屏到投屏接收端。

当投屏内容为显示在投屏发送端显示界面上的图像数据时，投屏发送端接收用户输入的投屏请求，实时对显示界面所显示的图像数据进行截屏处理，截屏得到的图像数据即为要在投屏接收端显示的内容。

其中，实时截屏投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容时，可以采用下述方式实现：

获取投屏发送端显示界面上实时显示图像数据的实时帧间数据相似度，根据帧间数据相似度与截屏帧率的对应关系，确定与实时帧间数据相似度对应的目标截屏帧率，其中，帧间数据相似度越大，截屏帧率越小。

其中，帧间数据相似度即指两帧图像数据间的相似度，对于两帧内容基本一致的图像而言，帧间相似度就很高，对于两帧内容完全不一致的图像而言，帧间相似度就很低。基于帧间相似度可以对图像截屏的帧率进行调整。帧率也就是每秒截屏的次数。

以演示文稿PPT为例，一份PPT中的内容基本都围绕着一个核心，各页之间内容差别不大，那么对于这份文档中的相邻两帧PPT来说，其帧间相似度是很大的，在进行投屏时便可以适度降低截屏的帧率，比如，将截屏帧率从每秒25帧降低至每秒10帧，通过降低截屏帧率可以减少频繁截屏带来的性能损耗。对于视频类的投屏，帧与帧之间的图像内容差别较大，就需要提高截屏帧率。

实际应用中，截屏帧率可以根据投屏内容的帧间相似度来做适应性调节，即在帧间数据相似度较高时，降低截屏帧率，在帧间数据相似度较低时，提高截屏帧率。具体来说也就是当第一帧间数据相似度小于第二帧间数据相似度时，第一帧间数据相似度对应的目标截屏帧率要大于第二帧间数据相似度对应的目标截屏帧率。

投屏发送端存储有截屏帧率自适应调节规则，应用时，实时根据所截取的图像数据进行帧间相似度判断，继而确定出对应的目标截屏帧率并以此对待投屏数据进行截屏处理。

当投屏内容为投屏发送端播放的音频时，投屏发送端也可以对其进行投屏。具体的，投屏发送端接收用户输入的投屏请求，音频采集设备实时采集播放的音频并将此作为投屏内容发送至投屏接收端进行播放。

相关技术中，设备仅能对投屏协议所支持的内容进行投屏。尤其是对于纯音频，现有技术无法做到。本实施例是基于截屏技术解决了相关技术中投屏内容受限的问题，通过截屏，无论音频数据也可以实时投屏到投屏接收端。

在步骤S203中，对投屏内容进行实时编码压缩处理，得到投屏内容对应的码流数据，将码流数据推流至RTMP服务器，通过RTMP服务器将投屏内容发送至投屏接收端。

一些实施例中，向投屏接收端发送投屏内容时，还可以先对投屏内容进行编码压缩处理，编码压缩处理可以减轻数据传输负担，提高传输效率。

经过压缩处理后的投屏内容称为码流数据，投屏发送端对码流数据分配统一资源标识符。

本公开实施例中，确定目标编码码率，采用硬件编码器按目标编码码率对投屏内容进行编码压缩处理。

对投屏内容进行编码压缩处理，例如可以采用以下方式实现：

获取将码流数据推流至RTMP服务器的丢包率，基于丢包率以及预设的编码规则，确定目标编码码率。

其中，预设的编码规则例如可以是基于预设的最小编码码率和最大编码码率，若获取的丢包率小于预设的最小编码码率，则将当前编码码率增加，增加第一编码码率得到目标编码码率，若所述丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。本公开中的目标编码码率可以是处于最小编码码率和最大编码码率之间的编码码率。

投屏发送端内建的RTMP服务器，例如可以是RTMP流媒体服务器，RTMP流媒体服务器用于实现直播与点播等多终端支持功能，经过压缩处理后的投屏内容被推流至RTMP流媒体服务器中，在推流过程中，存在推流失败的情况，为减少推流过程中码流数据的丢失，本实施例基于丢包率自适应调整编码码率。也就是，在丢包率高时，降低当前的编码码率，在丢包率低时，提高当前的编码码率。

编码规则可以满足这样的条件：以两个不同的丢包率为例，相对较高的丢包率其对应的编码码率应大于相对较低的丢包率对应的编码码率。

应当说明的是，丢包率较低时，其对应的编码码率不能小于预置的编码码率最小值，丢包率较高时，其对应的编码码率不能大于预置的编码码率最大值。

相关技术中，采用软件编码器编码时负担重且速度慢，本实施例中，对投屏内容编码采用的是硬件编码器，硬件编码的编码速度快且效率高，此外，采用硬件编码可以将数据处理任务放置在GPU上，以此能够减轻CPU的占用率，提高设备性能。更为具体的，采用硬件编码时可以选用H264硬件编码器来对数据进行压缩。

其他实施例中，编码规则还可以是丢包率与编码码率之间形成的一种对应关系。

以1920*1080分辨率为例进行说明。该分辨率下设置最小编码码率为800k，最大编码码率为3.2M；当丢包率达到8％或以上，为缓解网络传输压力，会采用800k进行编码；当丢包率为0，证明网络状态良好，用3.2M编码码率进行编码；当丢包率在0～8％之间，根据公式y＝3.2-2.4*x/0.08进行自适应调整，其中，x是丢包率，y是当前编码码率。该公式是将丢包率范围映射到码率的范围，无论网络状况良好或极差，都可以通过自适应公式确定实时的编码码率。

投屏发送端与投屏接收端建立了通信连接之后，投屏发送端基于内建的RTMP服务器，向投屏接收端发送网际协议地址以及网络流统一资源标识符来实现投屏，方法不受现有的投屏协议限制，任何设备之间均可实现屏幕共享。

在本公开的示例性实施例中，投屏发送端与投屏接收端建立了通信连接之后，投屏发送端通过向投屏接收端可基于实时截屏所投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容，并将投屏内容发送至投屏接收端，进而使得投屏接收端根据接收的网络流地址，可以按照实时数据包传输协议获取到投屏内容，实现跨设备协议的投屏，避免了投屏发送端和投屏接收端协议不兼容导致无法投屏的问题，实现投屏便捷高效投屏便捷，后期维护成本低。

本公开实施例提供的投屏方法还涉及投屏接收端，下面对投屏接收端的投屏过程进行说明。

图3是根据一示例性实施例示出的一种投屏方法流程图。如图3所示，本公开的投屏方法，可以包括如下步骤：

在步骤S301中，响应于投屏接收端与投屏发送端建立了通信连接，接收投屏发送端发送的网络流地址，网络流地址中包括实时消息传输RTMP协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径。

在投屏发送端与投屏接收端之间建立连接例如socket连接，投屏发送端与投屏接收端之间进入可通信状态后，投屏接收端接收投屏发送端发送的网络流地址，并执行下一步骤。

一种实施方式中，若投屏发送端被绑定了固定的投屏接收端，那么，当投屏发送端与投屏接收端均处于同一局域网时，用户点击投屏播放之后，投屏发送端将直接将投屏的内容发送至已绑定的固定投屏接收端进行投屏。

另一种实施方式中，若投屏发送端未绑定有固定的投屏接收端，则当投屏发送端与投屏接收端均处于同一局域网时，若要进行投屏，用户可以在投屏发送端输入投屏接收端显示的投屏验证码，基于投屏验证码，投屏接收端可以确定与其连接的投屏接收端，并将投屏内容发送至投屏接收端进行投屏。

在步骤S302中，基于网络流地址发送投屏内容获取请求。

对所接收的网络流地址进行组装，基于组装结果，投屏接收端可以从投屏发送端获取到投屏内容。

在步骤S303中，接收投屏发送端基于投屏内容获取请求发送的投屏内容，对投屏内容进行投屏显示。

投屏接收端对所接收的投屏内容进行投屏。当投屏内容为图像数据时，通过投屏接收端的显示屏对其进行显示，当投屏内容为音频数据时，在投屏接收端播放该音频数据。

一些实施例中，接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容可以包括：接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

可选的，对所述投屏内容进行投屏显示之前，上述方法还可以包括：采用硬件解码器解码所述投屏内容，并对解码得到的硬件解码数据进行表面渲染，得到对所述投屏内容进行投屏显示的渲染数据。

在一个实施例中，接收投屏发送端发送的待投屏至投屏接收端的投屏内容，包括以下步骤：接收投屏发送端发送的对应于待投屏至投屏接收端的投屏内容的码流数据；采用硬件解码器对码流数据进行解码处理，获得待投屏至投屏接收端的投屏内容。

当投屏发送端对投屏内容进行编码压缩形成码流数据后，投屏接收端基于配置信息从投屏发送端获取到对应的码流数据后，需要使用硬件解码器对码流数据进行解码，从而获得投屏内容。上述步骤采用硬件解码器对数据进行解码同样减轻了设备负荷，降低了功耗。

要特别说明的是，本实施例中硬件解码器内部包含surface结构，基于该结构，数据解码后无需经过格式转换便可直接渲染。相比于现有方案中软件解码器与surface结构相互独立，数据解码后还需要经过格式的转换才能进行渲染，采用本申请的上述方式可降低投屏延时，特别是对于4k超高清投屏数据，投屏清晰度更高，播放更流畅。

投屏发送端与投屏接收端建立了通信连接之后，投屏发送端通过向投屏接收端发送网际协议地址以及网络流统一资源标识符来实现投屏，方法不受现有的投屏协议限制，任何设备之间均可实现屏幕共享。

在本公开的示例性实施例中，在投屏接收端与投屏发送端建立了通信连接并接收投屏发送端发送的网络流地址后，投屏接收端根据接收的网络流地址，可以按照实时数据包传输协议获取到投屏内容，实现跨设备协议的投屏，避免了投屏发送端和投屏接收端协议不兼容导致无法投屏的问题，实现投屏便捷高效。

基于相同的构思，本公开实施例还提供一种投屏装置。

可以理解的是，本公开实施例提供的投屏装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为大于本公开实施例的技术方案的范围。

图4是根据一示例性实施例示出的一种投屏装置框图。

如图4所示，投屏装置100应用于投屏发送端，该装置100包括发送单元110和确定单元120。

发送单元110，用于响应于投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

确定单元120，用于响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。

在一实施例中，所述投屏发送端内建有RTMP服务器，发送单元110采用如下方式将投屏内容发送至投屏接收端：对所述投屏内容进行实时编码压缩处理，得到所述投屏内容对应的码流数据；将所述码流数据推流至所述RTMP服务器，通过所述RTMP服务器将所述投屏内容发送至所述投屏接收端。

在一实施例中，确定单元120采用如下方式确定投屏内容：实时截屏投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容。

在一实施例中，确定单元120采用如下方式实时截屏投屏发送端显示界面上显示的图像数据；获取所述投屏发送端显示界面上实时显示图像数据的实时帧间数据相似度；根据帧间数据相似度与截屏帧率的对应关系，确定与所述实时帧间数据相似度对应的目标截屏帧率，其中，帧间数据相似度越大，截屏帧率越小；按照目标截屏帧率实时截屏投屏发送端显示界面上显示的图像数据。

在一实施例中，投屏内容包括音频数据，投屏发送端具有音频采集设备，确定单元120还用于：通过音频采集设备实时采集投屏发送端播放的音频数据，将实时采集的音频数据发送至投屏接收端。

在一实施例中，发送单元110还用于：确定目标编码码率；采用硬件编码器按照目标编码码率对投屏内容进行编码压缩处理。

在一实施例中，发送单元110采用如下方式确定目标编码码率：获取将码流数据推流至所述RTMP服务器的丢包率；若丢包率小于预设的最小编码码率，则将当前编码码率增加第一编码码率得到目标编码码率；若丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。

图5是根据一示例性实施例示出的一种投屏装置框图。

如图5所示，投屏装置200应用于投屏发送端，该装置200包括接收单元210、发送单元220和投屏单元230。

接收单元210，用于响应于投屏接收端与投屏发送端建立了通信连接，接收投屏发送端发送的网络流地址，网络流地址中包括实时消息传输RTMP协议、投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

发送单元220，用于基于网络流地址发送投屏内容获取请求；

投屏单元230，用于接收投屏发送端基于投屏内容获取请求发送的投屏内容，对投屏内容进行投屏显示。

一种实施方式中，投屏单元230具体还用于：

接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

一种实施方式中，投屏单元230还可以用于在对所述投屏内容进行投屏显示之前，采用硬件解码器解码所述投屏内容，并对解码得到的硬件解码数据进行表面渲染，得到对所述投屏内容进行投屏显示的渲染数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处不再做详细阐述。

图6是根据一示例性实施例示出的一种投屏装置的框图。

如图6所示，投屏装置600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

投屏装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

处理组件602通常控制投屏装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在投屏装置600的操作。这些数据的示例包括用于在投屏装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEP ROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件606为投屏装置600的各种组件提供电力。电力组件606可以包括电源管理系统，一个或多个电源，及其他与为投屏装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在投屏装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当投屏装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当投屏装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为投屏装置600提供各个方面的状态评估。例如，传感器组件614可以检测到投屏装置600的打开/关闭状态，组件的相对定位，例如所述组件为投屏装置600的显示器和小键盘，传感器组件614还可以检测投屏装置600或投屏装置600一个组件的位置改变，用户与投屏装置600接触的存在或不存在，投屏装置600方位或加速/减速和投屏装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于投屏装置600和其他设备之间有线或无线方式的通信。投屏装置600可以接入基于通信标准的无线网络，如WiFi，4G或2G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，投屏装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中任一项所述的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由投屏装置600的处理器620执行以完成上述方法。

所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-RO M、磁带、软盘和光数据存储设备等。

在本公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

可以理解的是，本公开中单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种投屏方法，其特征在于，应用于投屏发送端，所述方法包括：

响应于所述投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至所述投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。

2.根据权利要求1所述的投屏方法，其特征在于，所述投屏发送端内建有RTMP服务器，所述将所述投屏内容发送至所述投屏接收端，包括：

对所述投屏内容进行编码压缩处理，得到所述投屏内容对应的码流数据；

将所述码流数据推流至所述RTMP服务器，通过所述RTMP服务器将所述投屏内容发送至所述投屏接收端。

3.根据权利要求1或2所述的投屏方法，其特征在于，所述确定投屏内容，包括：

实时截屏所述投屏发送端显示界面上显示的图像数据，将截屏到的图像数据作为投屏内容。

4.根据权利要求3所述的投屏方法，其特征在于，所述实时截屏所述投屏发送端显示界面上显示的图像数据，包括：

获取所述投屏发送端显示界面上实时显示图像数据的实时帧间数据相似度；

根据帧间数据相似度与截屏帧率的对应关系，确定与所述实时帧间数据相似度对应的目标截屏帧率，其中，帧间数据相似度越大，截屏帧率越小；

按照所述目标截屏帧率实时截屏所述投屏发送端显示界面上显示的图像数据。

5.根据权利要求3所述的投屏方法，其特征在于，所述投屏内容包括音频数据，所述投屏发送端具有音频采集设备，所述方法还包括：

通过所述音频采集设备实时采集所述投屏发送端播放的音频数据，将实时采集的音频数据发送至所述投屏接收端。

6.根据权利要求2所述的投屏方法，其特征在于，对所述投屏内容进行实时编码压缩处理，包括：

确定目标编码码率；

采用硬件编码器按照目标编码码率对所述投屏内容进行编码压缩处理。

7.根据权利要求6所述的投屏方法，其特征在于，所述确定目标编码码率，包括：

获取将所述码流数据推流至所述RTMP服务器的丢包率；

若所述丢包率小于预设的最小编码码率，则将当前编码码率增加第一编码码率得到目标编码码率；

若所述丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。

8.一种投屏方法，其特征在于，应用于投屏接收端，所述方法包括：

响应于所述投屏接收端与投屏发送端建立了通信连接，接收所述投屏发送端发送的网络流地址，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

基于所述网络流地址发送投屏内容获取请求；

接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，对所述投屏内容进行投屏显示。

9.根据权利要求8所述的投屏方法，其特征在于，所述接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，包括：

接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

10.根据权利要求9所述的投屏方法，其特征在于，对所述投屏内容进行投屏显示之前，所述方法还包括：

采用硬件解码器解码所述投屏内容，并对解码得到的硬件解码数据进行表面渲染，得到对所述投屏内容进行投屏显示的渲染数据。

11.一种投屏装置，其特征在于，应用于投屏发送端，所述装置包括：

发送单元，用于响应于所述投屏发送端与投屏接收端之间建立了通信连接，发送网络流地址至所述投屏接收端，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

确定单元，用于响应于接收到投屏内容获取请求，确定投屏内容，并将所述投屏内容发送至所述投屏接收端，所述投屏内容获取请求由所述投屏接收端基于所述网络流地址发送。

12.根据权利要求11所述的投屏装置，其特征在于，所述投屏发送端内建有RTMP服务器，所述发送单元采用如下方式将所述投屏内容发送至所述投屏接收端：

对所述投屏内容进行实时编码压缩处理，得到所述投屏内容对应的码流数据；将所述码流数据推流至所述RTMP服务器，通过所述RTMP服务器将所述投屏内容发送至所述投屏接收端。

13.根据权利要求11或12所述的投屏装置，其特征在于，所述发送单元还用于：

确定目标编码码率；

采用硬件编码器按照目标编码码率对所述投屏内容进行编码压缩处理。

14.根据权利要求13所述的投屏装置，其特征在于，所述发送单元采用如下方式确定目标编码码率：

获取将码流数据推流至所述RTMP服务器的丢包率；

若所述丢包率小于预设的最小编码码率，则将当前编码码率增加第一编码码率得到目标编码码率；

若所述丢包率大于预设的最大编码码率，则将当前编码码率降低第二编码码率得到目标编码码率。

15.一种投屏装置，其特征在于，应用于投屏接收端，所述装置包括：

接收单元，用于响应于所述投屏接收端与投屏发送端建立了通信连接，接收所述投屏发送端发送的网络流地址，所述网络流地址中包括实时消息传输RTMP协议、所述投屏发送端作为实时消息传输服务器的主机域名地址、以及投屏内容的获取路径；

发送单元，用于基于所述网络流地址发送投屏内容获取请求；

投屏单元，用于接收所述投屏发送端基于所述投屏内容获取请求发送的投屏内容，对所述投屏内容进行投屏显示。

16.根据权利要求15所述的投屏装置，其特征在于，所述投屏单元具体还用于：

接收所述投屏发送端内建的RTMP服务器发送的投屏内容，所述RTMP服务器通过所述投屏发送端对投屏内容进行编码压缩处理得到的码流数据进行推流得到。

17.一种投屏装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：用于执行权利要求1至7中任意一项所述的投屏方法。

18.一种投屏装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：用于执行权利要求8至10中任意一项所述的投屏方法。

19.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至7中任意一项所述的投屏方法。

20.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求8至10中任意一项所述的投屏方法。

Images