CN110740363B - 投屏方法和系统、电子设备 - Google Patents

Abstract

本申请公开了一种投屏方法和系统、电子设备，本申请的投屏方法用于将在终端设备上播放的多媒体数据显示于终端设备以外的播放设备，可以包括获取多媒体数据，将多媒体数据处理成投屏数据，将投屏数据发送至播放设备进行显示，其中多媒体数据包括流媒体数据，投屏数据包括具有目标编码格式的帧数据；即在投屏时将多媒体数据处理成包括目标编码格式的帧数据的投屏数据发送至播放设备，可以使播放设备直接根据该投屏数据实现多媒体数据的投屏显示，可以提高用户的体验感。

Description

投屏方法和系统、电子设备

技术领域

本申请涉及通信领域，特别涉及一种投屏方法和系统、电子设备。

背景技术

通过多屏互动技术可以实现在不同电子设备上共享多媒体数据(比如进行视频等流媒体数据的共享)，当前常见的实现多媒体数据投屏的多屏互动手段典型地有数据共享方式和录屏方式。

在数据共享方式中，终端设备采用地址信息共享的方式将多媒体数据的地址信息共享给播放设备，以使播放设备根据地址信息去获取多媒体数据在本地进行显示。对于录屏方式，终端设备采用录屏方式对本地屏幕进行录屏以获取录屏数据，然后将录屏数据发送至播放设备进行显示。

为了提升用户的体验感，需要尽量规避播放设备的播放能力的影响。

发明内容

本申请的目的在于解决现有技术中的多媒体数据的投屏方法，影响用户体验感的问题。本申请提供了一种投屏方法和系统、电子设备，可以在投屏时实现直接投屏多媒体数据，以提高用户的体验感。

为解决上述技术问题，第一方面，本申请的实施方式提供了一种用于手机、平板电脑等的终端设备的投屏方法，该方法用于将在终端设备上播放的多媒体数据显示于终端设备以外的播放设备，诸如电视屏幕、视频盒子、投影设备等。本申请的投屏方法包括：获取多媒体数据，将多媒体数据处理成投屏数据，输出投屏数据至播放设备以用于显示，其中多媒体数据包括流媒体数据，投屏数据包括具有目标编码格式的帧数据。

在进行投屏时终端设备将多媒体数据处理成包括目标编码格式的帧数据的投屏数据发送至播放设备，即向播放设备发送的是多媒体数据的帧数据，可以使播放设备直接根据该帧数据实现多媒体数据的投屏显示，可以避免现有技术中录屏方式的投屏方案中终端设备的显示屏分辨率与播放设备所支持的分辨率不匹配的问题，以及只投多媒体数据，可以避免将整个终端设备的屏幕都投到播放设备而泄露隐私的问题。另外，还可以避免共享地址信息进行投屏的方案存在的播放设备需要与多媒体数据所在网络建立通信连接并再去获取多媒体数据的问题，可以有效地提高用户的体验感。

在上述第一方面的一种可能的实现中，将多媒体数据处理成投屏数据的步骤包括：判断多媒体数据是否是目标编码格式；如果判断结果为多媒体数据为目标编码格式，则从多媒体数据中采集帧数据，作为投屏数据；以及如果判断结果为多媒体数据并非目标编码格式，则先将多媒体数据处理成具有目标编码格式，并从处理后的多媒体数据中采集帧数据，作为投屏数据。

在上述第一方面的一种可能的实现中，如果判断结果为多媒体数据并非目标编码格式，则先将多媒体数据解码，再利用目标编码格式对多媒体数据进行编码，得到具有目标编码格式的多媒体数据。

在上述第一方面的一种可能的实现中，流媒体数据包括视频数据，视频数据的目标编码格式为H264格式。

在上述第一方面的一种可能的实现中，流媒体数据包括音频数据，音频数据的目标编码格式为AAC格式或PCM格式。

在上述第一方面的一种可能的实现中，根据多媒体数据的路径信息获取多媒体数据。

在上述第一方面的一种可能的实现中，还包括：投屏数据基于Miracast协议被封装为目标格式文件输出。

基于Miracast协议，可以实现终端设备和播放设备之间的投屏连接，且投屏数据的传输也基于Miracast协议进行。

在上述第一方面的一种可能的实现中，还包括：根据终端设备支持的分辨率和播放设备支持的分辨率，对视频数据的分辨率进行调整。

根据终端设备支持的分辨率和播放设备支持的分辨率，对视频数据的分辨率进行调整，可以使得视频数据的分辨率更加适宜播放设备的显示，以提高投屏显示效果，从而提高用户的体验感。

第二方面，本申请的实施方式提供了一种电子设备，电子设备作为终端设备以将其播放的多媒体数据显示于其本身以外的播放设备，包括：获取模块，用于获取多媒体数据，多媒体数据包括流媒体数据；数据处理模块，用于将多媒体数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据；发送模块，用于输出投屏数据以用于显示。

在上述第二方面的一种可能的实现中，还包括：封装模块，用于基于Miracast协议将投屏数据封装为目标格式文件输出。

在上述第二方面的一种可能的实现中，还包括分辨率调整模块，流媒体数据包括视频数据，分辨率调整模块用于根据终端设备支持的分辨率和播放设备支持的分辨率，对视频数据的分辨率进行调整。

本申请提供的电子设备，包括用于执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的投屏方法的模块，因此也能实现第一方面提供的投屏方法所具备的有益效果(或优点)。

第三方面，本申请的实施方式提供了一种投屏系统，包括：终端设备，用于获取多媒体数据，将多媒体数据处理成投屏数据，将投屏数据输出至播放设备；其中，多媒体数据包括流媒体数据；投屏数据包括具有目标编码格式的帧数据；播放设备，用于接收并显示投屏数据。

本申请提供的投屏系统，包括用于执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的投屏方法的终端设备和播放设备，因此也能实现第一方面提供的投屏方法所具备的有益效果(或优点)。

第四方面，本申请的实施方式提供了一种电子设备，包括：存储器，用于存储计算机程序，计算机程序包括程序指令；处理器，用于执行程序指令，以执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的投屏方法。

第五方面，本申请的实施方式提供了一种计算机可读取存储介质，计算机可读取存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被计算机运行以使计算机执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的投屏方法。

第六方面，本申请的实施方式提供了一种投屏方法，用于将在终端设备上播放的多媒体数据显示于终端设备以外的播放设备，包括：终端设备接收投屏指令，根据投屏指令判断投屏类型，当投屏类型为第一投屏类型时，获取多媒体数据，多媒体数据包括流媒体数据；将多媒体数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据；将投屏数据输出至播放设备进行显示；当投屏类型为第二投屏类型时，从终端设备获取录屏数据，录屏数据为对多媒体数据进行录屏得到的数据；将录屏数据输出至播放设备进行显示。

实施第六方面实施方式，可以根据用户的选择确定投屏类型，以实现不同的投屏方式，提高了投屏的多样性，增强了用户的体验感。

第七方面，本申请的实施方式提供了一种投屏方法，用于将在终端设备上播放的多媒体数据显示于终端设备以外的播放设备，包括：当多媒体数据包括流媒体数据时，获取流媒体数据，将流媒体数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据；将投屏数据输出至播放设备进行显示；当多媒体数据包括非流媒体数据时，获取非流媒体数据，将非流媒体数据直接输出至播放设备进行显示。

实施第七方面实施方式，可以实现流媒体数据和非流媒体数据的不同模式的投屏显示，以满足用户对不同类型数据的投屏需求，以提高用户的体验感。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所使用的附图作简单介绍。

图1是根据本申请的一些实施例，示出了一种投屏系统的框架示意图；

图2是根据本申请的一些实施例，示出了一种终端设备的模块示意图；

图3是根据本申请的一些实施例，示出了另一种终端设备的模块示意图；

图4是根据本申请的一些实施例，示出了一种投屏方法的流程示意图；

图5是根据本申请的一些实施例，示出了另一种投屏方法的流程示意图；

图6是根据本申请的一些实施例，示出了又一种投屏方法的流程示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其他优点及功效。虽然本申请的描述将结合较佳实施例一起介绍，但这并不代表此申请的特征仅限于该实施方式。恰恰相反，结合实施方式作申请介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解，以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外，为了避免混乱或模糊本申请的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本申请涉及的投屏是指将在某个电子设备上的多媒体数据(如音频、视频、图片等流媒体数据)传输至另外的电子设备上呈现，实现多个电子设备之间同步显示相同多媒体数据的效果。本申请的投屏系统包括至少两个电子设备，其中包括投屏发起设备，及至少一个用于播放投屏数据的电子设备。在该投屏发起设备和其他电子设备之间建立有线或无线连接，并可以传输多媒体数据，以实现本申请涉及的多媒体数据的投屏方法。

参见图1，图1所示为根据本申请的一实施例提供的投屏系统的系统框架图，该投屏系统包括终端设备100和播放设备200。在本实施例中仅以系统中只包含一个播放设备200为例进行说明，终端设备100和播放设备200通过投屏端口(图中未示出)建立投屏连接，该投屏端口具体可以是有线端口，也可以是无线端口，其具体可以包括终端设备投屏端口和播放设备投屏端口，其中终端设备投屏端口可以集成在终端设备100上，也可以独立于终端设备100存在；播放设备投屏端口可以集成在播放设备200上，也可以独立于播放设备200存在。本申请实施例对此不做限定。可选的，终端设备100可以为手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)或台式电脑等电子设备，播放设备200可以为电视、平板电脑或台式电脑等电子设备。其中，终端设备100至少可以运行流媒体数据应用(音频、视频、图片等)，且至少具备投屏发送能力。播放设备200至少可以具备播放/显示流媒体数据功能，且至少具备投屏接收能力。

为便于理解，下面将对本申请提供的终端设备100的结构进行示例说明。参见图2，图2为根据本申请的一实施例提供的终端设备100的模块示意图。如图2所示，终端设备100包括处理器110，存储器120，通信模块130、视频播放器140、显示屏150、音频模块160、扬声器160A和传感器模块170等。

可选的，上述处理器110可以包括一个或多个处理单元。例如，处理器110可以包括应用处理器、控制器、音视频编码解码器、打包器等，其中不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

存储器120用于存储指令和数据，且存储的指令用于执行终端设备100执行本申请实施例中的投屏方法，以及用于执行终端设备100的包括音视频播放等各种功能应用以及数据处理。在本申请的一些可行实施方式中，存储器120中存储的数据可包括多媒体数据，该多媒体数据包括流媒体数据，流媒体数据具体包括视频数据、音频数据、图片数据等。

通信模块130可以使终端设备100与其他设备进行通信，例如，终端设备100与播放设备200通过通信模块130进行通信，使二者建立投屏连接，终端设备100通过通信模块130输出投屏数据至播放设备200。另外，通信模块130还可以实现终端设备100接入局域网。通讯模块130可以包括无线通信模块和/或有线通信模块，另外，通讯模块130具体可以包括信号发射器和信号接收器。

视频播放器140、显示屏150以及应用处理器等配合以实现视频播放、显示功能。音频模块160和扬声器160A以及应用处理器等配合以实现音频播放功能。在一些可行的实施方式中，音频模块160通过扬声器160A可用于播放视频对应的声音。例如，显示屏150显示视频播放画面，音频模块160输出视频播放的声音。

音视频编码解码器用于对数字音视频进行压缩或解压缩。终端设备100可以支持多种音视频编码解码器。具体的音视频编码解码器可以包括多个视频编码器、视频解码器、音频编码器以及音频解码器。示例性的，视频编码器和视频解码器皆可以包括分别支持H264(即H.264)、WMA-HD以及MPEG(Moving Picture Experts Group，动态图像专家组)中的MPEG-4、MPEG-2等编码格式的视频编码器和视频解码器，音频编码器和音频解码器皆包括分别支持AAC(Advanced Audio Coding，高级音频编码)、PCM(Pulse Code Modulation，脉冲编码调制)、APE(Adaptive Prencdictive Encoding，自适应预测编码)等编码格式的视频编码器和视频解码器。

传感器模块170具体可以包括触摸传感器，其具体可以设置于显示屏150，用于检测作用于其上或相关附件上的触摸操作。在一些可行的实施方式中，显示屏150上显示操作选择项供用户触摸选择，触摸传感器接收用户的触摸操作，并将其传递给应用传感器，以确定触摸事件类型。

需要理解的是，本实施例示意的终端设备的结构不构成对终端设备100的具体限定，该终端设备200还包括比如电源相关模块、各类数据接口等实现终端设备功能的部件。在本申请另一些可行的实施方式中，终端设备100包括比图示更多的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可以根据应用场景确定，在此不做限定。图2所示的部件可以以硬件、软件，或硬件与软件的组合实现。

作为常用的投屏方法，无论是录屏投屏的方法，还是DLNA(Digital LivingNetwork Alliance，数字生活网络联盟)投屏的方法，皆存在影响用户体验感的问题。

对于录屏投屏方法，具体而言，如基于Miracast协议，终端设备100不断录屏，并将录屏数据发送至播放设备200进行播放，其可以实现终端设备100(如手机)显示什么，播放设备200(如电视)就显示什么。由于得到的投屏画面是录屏后得到的录屏数据的显示，因此终端设备100的屏幕分辨率对播放设备200显示的投屏画面的分辨率存在一定影响，比如当播放设备200的显示屏大于终端设备100的屏幕时，投屏画面显示会存在不清楚的问题，这会影响用户的体验感。另外，录屏会对整个屏幕进行录屏，因此录屏得到的录屏数据包括在终端设备100的屏幕上播放的多媒体数据的画面数据，以及多媒体数据的播放区域以外的屏幕上显示的内容的数据(即可以称之为屏幕框架数据)也发送给播放设备200，因此投屏画面上经常会显示一些用户并不想投屏的内容(如屏幕框架数据)，这也会影响用户的体验感。

对于另一种投屏方法，DLNA投屏方法，其具体是终端设备100(如手机)获取视频的播放地址，然后把播放地址推送至播放设备200，播放设备200根据播放地址获取视频数据以播放视频。在根据播放地址获取视频数据的过程中，播放设备200需要与视频所在的网络也建立另外的连接，不仅需要建立额外的通信连接，而且这样的方式还可能受制于播放设备200对视频数据的不匹配，导致视频难以被正常播放，从而影响用户的体验感。

本申请提供了一种与现有技术不同的投屏方法，提升了用户体验感。

本申请实施例中，其中终端设备100用于将在其上播放的多媒体数据显示于终端设备100以外的播放设备200，终端设备100将其上播放的多媒体数据显示于播放设备200具体可以包括：终端设备100获取多媒体数据，将多媒体数据处理成投屏数据，将投屏数据发送至播放设备200进行显示，其中多媒体数据包括流媒体数据，投屏数据包括具有目标编码格式的帧数据；即在投屏时终端设备100将多媒体数据处理成包括目标编码格式的帧数据的投屏数据发送至播放设备200，可以使播放设备200直接根据该投屏数据实现多媒体数据的投屏显示。

本方案可以只投屏被用于播放的多媒体数据的帧数据，可以避免投放终端设备100的整个屏幕的信息，而且本方案也不需播放设备200再去根据播放地址信息去获取视频数据进行播放，其皆可以提高用户的体验感。

示例性的，参见图3，图3为根据本申请的一实施例提供的终端设备100的结构示意图，该终端设备100包括获取模块111、数据处理模块112和发送模块131，其中，获取模块111用于获取多媒体数据，数据处理模块112用于将多媒体数据处理成包括具有目标编码格式的帧数据投屏数据，发送模块131用于将投屏数据发送至播放设备200进行显示。

本实施例中的获取模块111和数据处理模块112的功能具体可以由处理器110实现，发送模块131的功能具体可以由通信模块130实现，比如具体由通讯模块130中的信号发射器实现。

进一步地，在本申请的一种可能的实现中，终端设备100还包括封装模块113和分辨率调整模块114。

封装模块113用于基于Miracast协议将投屏数据封装为目标格式文件后发送至发送模块131。本实施例中的封装模块113的功能具体可以由打包器实现。

在根据本申请的实施例中，用于投屏的协议具体可以是Miracast协议，且用于投屏的Miracast协议也只是实现方式的其中一种，本申请不限于此，采用其他的支持投屏的协议，在基于本申请的申请本质精神的前提下，也能够实现本申请的目的。

分辨率调整模块114用于根据终端设备支持的分辨率和播放设备支持的分辨率，对视频数据的分辨率进行调整。分辨率调整模块114的功能具体可以由视频编码器实现。

因为视频数据是以帧数据的形式存在，通过对其分辨率进行适应性调整，可以避免终端设备100的分辨率对投屏画面的分辨率存在影响的问题，保证投屏画面的清晰度。

以下参照图4说明根据本申请的一实施例提供的投屏方法。

本实施例中的终端设备100中安装有视频播放应用，其中视频播放应用可以用于播放视频等，该视频播放应用具备投屏发送功能。该视频播放应用可以是终端设备100出厂时预装的，也可以是用户下载后安装的。该视频播放应用可以是终端设备100的厂商开发的视频应用(Application，APP)，也可以是第三方厂商开发的视频APP。本实施例以视频APP为例进行说明。该视频APP用于在用户终端中被执行以实施根据本申请的一实施例提供的投屏方法。

参见图4，图4所示为根据本申请的一实施例的投屏方法的方法流程图，该方法用于将在终端设备上播放的多媒体数据显示于所述终端设备以外的播放设备，该多媒体数据具体包括播放视频的视频数据和音频数据。具体包括如下步骤：

S101，终端设备100接收投屏指令。

S102，终端设备100根据投屏指令获取视频数据和音频数据。

S103，终端设备100将视频数据和音频数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据。

S104，终端设备100将投屏数据发送至播放设备200进行显示。

示例性的，对于步骤S101，具体包括，终端设备100播放视频，用户在视频播放界面上点击投屏控件(该投屏控件具体可以是显示在显示屏150上的投屏图标或字样，比如具体是显示在屏幕上的弹框，且显示有“仅投视频”字样)，终端设备100例如通过传感器模块170接收用户点击投屏控件所产生的投屏指令。

对于步骤S102，终端设备100接收到投屏指令后，还包括，判断是否已与播放设备200建立投屏连接，若未建立投屏连接，则进行投屏连接建立处理以建立投屏连接，在投屏连接建立后，终端设备100获取当前所播放视频的视频数据和音频数据。

进一步地，终端设备100获取视频数据和音频数据，这些视频数据和音频数据既可以是已经存在于终端设备100本地的数据，也可以是根据该视频的路径信息获取其视频数据和音频数据，该路径信息具体包括播放资源路径信息。具体的，视频播放过程中会设置播放资源路径，并传递给视频播放器140，在接收到前述投屏指令后，视频播放器140根据该播放资源路径判断该视频的文件类型，并解析该视频文件，获取其视频数据和音频数据，及得到该视频数据和音频数据的编码格式。

示例性的，对于步骤S103，将视频数据和音频数据处理成投屏数据，投屏数据是具有目标编码格式的帧数据，包括：获得视频数据和音频数据后，判断其编码格式是否分别为目标编码格式，如果判断结果为视频数据和音频数据为目标编码格式，则从视频数据和音频数据中采集帧数据，作为投屏数据。

如果判断结果为视频数据和音频数据并非目标编码格式，则先将视频数据和音频数据处理成具有目标编码格式，并从处理后的视频数据和音频数据中采集帧数据，作为投屏数据。

更具体地，如果判断结果为多媒体数据并非目标编码格式，将视频数据和音频数据处理成具有目标编码格式具体包括：先将多媒体数据解码，再利用目标编码格式对多媒体数据进行编码，得到具有目标编码格式的多媒体数据。

示例性的，对于步骤S104，终端设备100将投屏数据发送至播放设备200进行显示，具体可以是终端设备100将投屏数据基于Miracast协议被封装为对应的目标格式文件发送至播放设备，由播放设备进行显示。具体的，终端设备100和播放设备200建立基于Miracast协议的连接，并且终端设备100基于Miracast协议将投屏数据发送至播放设备200进行显示。

示例性的，本实施例中，对于步骤S101-S104，视频数据的目标编码格式设定为H264格式，音频数据的目标编码格式设定为AAC格式或PCM格式，目标格式文件设定为TS格式文件，即MPEG2-TS(TS即Transport Stream)。

例如，播放视频资源的文件格式是MP4格式，视频播放器140解析该MP4格式的视频资源文件得到视频数据和音频数据，并发现视频数据的视频编码格式是H264格式，音频数据的音频编码格式是AAC格式或PCM格式，则直接从解析得到的视频数据和音频数据采集视频帧数据和音频帧数据，并将视频帧数据和音频帧数据封装成TS格式文件。

如果视频编码格式不是H264格式，且音频编码格式是AAC格式或PCM格式，则需要先将视频数据转码成H264格式，然后从转码后生成的H264格式的视频数据中采集视频帧数据，从前述解析得到的目标编码格式的音频数据中采集音频帧数据，并一起封装成TS格式文件。

如果视频编码格式是H264格式，且音频编码格式不是AAC格式和PCM格式，则需要先将音频数据转码成AAC格式或PCM格式，然后从转码后生成的AAC格式或PCM格式的音频数据中采集音频帧数据，从前述解析得到的目标编码格式的视频数据中采集视频帧数据，并一起封装成TS格式文件。

如果视频编码格式不是H264格式，且音频编码格式也不是AAC格式和PCM格式，则需要将视频数据转码成H264格式，将音频数据转码成AAC格式或PCM格式，然后从转码后生成的H264格式的视频数据和AAC格式或PCM格式的音频数据中分别采集视频帧数据和音频帧数据，并一起封装成TS格式文件。

更具体地，视频数据转码成H264格式，具体转码方法包括：视频数据先经过视频解码器解码，然后对解码后的视频数据再进行H264格式的视频编码器编码。音频数据转码成AAC格式或PCM格式，具体转码方法包括：音频数据先经过音频解码器解码，然后对解码后数据经过AAC格式或PCM格式的音频编码器编码。另外，对视频数据进行解码具体为通过支持该视频数据的编码格式的视频解码器进行解码(如视频数据为MPEG-4格式，则视频解码器为支持MPEG-4格式的视频解码器)，然后通过支持H264格式的视频编码器编码；多音频数据进行解码具体为通过支持该音频数据的编码格式的音频解码器进行解码(如音频编码格式为APE格式，则音频解码器为支持APE格式的音频解码器)，然后通过支持AAC格式或PCM格式的音频编码器编码。

终端设备100将视频帧数据和音频帧数据在打包器中进行封装，封装成TS格式文件后，将封装成TS格式文件的视频帧数据和音频帧数据基于Miracast协议发送至播放设备200。

示例性的，播放设备200接收到TS格式文件后，对该TS格式文件进行解析以获取其中的视频帧数据和音频帧数据，然后通过其本地的视频播放器在其本地的显示屏上输出(显示)该视频帧数据，通过其本地的扬声器输出(播放)该音频帧数据，从而实现视频的投屏播放/显示。

进一步地，视频帧数据和音频帧数据也可以被封装为其他如TP(TransportProgram)格式文件等文件形式，其可以根据需要具体选择。

进一步地，本申请中，在进行前述步骤S101-S104之前，还需要对该终端设备100进行预先配置和处理。具体的，需要预定义该目标编码格式和目标格式文件，例如视频数据的目标编码格式设定为H264格式，音频数据的目标编码格式设定为AAC格式或PCM格式，目标格式文件设定为TS格式文件等。还需要配置对应的视频编码器和视频解码器，音频编码器和音频解码器，另外，需要在该终端设备100中创建多媒体数据，即创建视频数据源和音频数据源。本实施例提供的投屏方法，终端设备100具体是将视频数据源和音频数据源以帧数据的形式发送至播放设备200进行显示，即其投屏的是多媒体数据的源数据，可以避免现有技术中录屏方式进行的投屏方案中终端设备100的显示屏分辨率对投屏画面的影响的问题，以提高投屏显示清晰度，另外，不投屏屏幕框架数据，还可以避免投屏用户不想投屏的信息的问题，以避免泄露用户隐私，以及避免共享视频地址进行投屏的方案存在的播放设备需要额外建立与视频源所在网络的通信连接的问题，有效地提高了用户的体验感。

以下根据图5描述根据本申请的另一实施例的投屏方法的方法流程图。

参见图5，图5所示为根据本申请的另一实施例的投屏方法的方法流程图，该方法用于将在终端设备100播放的多媒体数据显示于该终端设备100以外的播放设备200，该多媒体数据具体包括视频数据和音频数据。具体包括如下步骤：

S201，终端设备100接收投屏指令。

S202，终端设备100根据投屏指令获取视频数据和音频数据。

S203，终端设备100将视频数据和音频数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据。

S204，终端设备100对视频数据的分辨率进行调整。

S205，终端设备100将调整分辨率后的投屏数据发送至所述播放设备200进行显示。

本实施例方案中，步骤S201-S203与前述一实施例中的步骤S101-S103分别对应且相同，此处不再赘述。

本实施例方案相比于前述一实施例，其具体还包括对视频数据的分辨率进行调整，即将视频数据的分辨率调整为与终端设备100与播放设备200所支持的分辨率相适宜。具体的，在终端设备100与播放设备200建立连接的时候，会协商二者都支持的分辨率，通常会选择两端都支持的最大分辨率对视频数据的分辨率进行调整，即将视频数据的分辨率调整为两端都支持的最大分辨率。需要说明的是，对视频数据的分辨率进行调整，具体可以是对视频帧数据的分辨率进行调整。

进一步地，在本实施例的一种实施方式中，将视频数据的分辨率调整为播放设备200支持的最大分辨率。比如视频数据的分辨率有360P，480P，720P，1080P等，终端设备支持的最大分辨率为480P，播放设备支持的最大分辨率为720P，则将视频数据的分辨率调整为720P。然后将调整分辨率后的投屏数据封装后发送给播放设备200。

本实施例方案，可以根据终端设备100和播放设备200所支持的最大分辨率动态调整视频数据的分辨率，使其适宜播放设备200进行播放。

进一步地，若终端设备100为手机，播放设备200为电视，则通常手机的最大分辨率低于电视。

终端设备100和播放设备200所支持的分辨率具体为各自显示屏所支持的显示分辨率。视频数据的分辨率即为视频图像的分辨率。

另外，本方案中，基于Miracast协议封装该投屏数据，且Miracast协议要求视频数据的最低分辨率是640P。

以下根据图6描述根据本申请的又一实施例的投屏方法的方法流程图。

本实施例的实施方式提供了一种投屏方法，可以实现两种投屏方式的选择，示例性的，包括：终端设备100接收投屏指令，根据投屏指令判断投屏类型，当投屏类型为第一投屏类型时，终端设备100获取多媒体数据，多媒体数据包括流媒体数据；将多媒体数据处理成投屏数据，投屏数据包括具有目标编码格式的帧数据；将投屏数据发送至播放设备200进行显示；当投屏类型为第二投屏类型时，从终端设备100获取录屏数据，录屏数据为对多媒体数据进行录屏得到的数据；将录屏数据发送至播放设备200进行显示。即用户可以根据需要选择投屏方式，然后终端设备100根据用户选择的投屏方式确定投屏类型以进行对应的投屏处理，具体的，第一种投屏类型直接获取多媒体数据可以实现只投多媒体数据，而不投屏幕框架数据，第二种投屏类型中录屏方式的投屏，可以实现投屏整个屏幕，提供两种投屏方式，提高了投屏的多样性，增强了用户体验感。

参见图6，图6所示为根据本申请的又一实施例的投屏方法的方法流程图，该方法用于将在终端设备100播放的多媒体数据显示于所述终端设备100以外的播放设备200，并且终端设备100和播放设备200具体可以是建立基于Miracast协议的投屏连接；该多媒体数据具体包括视频数据和音频数据，终端设备100具体为手机，播放设备200具体为电视，手机与电视之间建立Miracast连接，以实现基于Miracast协议的只投多媒体数据，不投屏幕的方案。具体包括如下步骤：

S301，手机与电视建立Miracast连接；并协商确定两端都支持的最大分辨率。

示例性的，该最大分辨率具体为1080P。

S302，手机播放视频。

S303，用户选择投屏类型。

示例性的，第一投屏类型为“仅投视频”，第二投屏类型为“投屏整个手机屏幕”。具体的，用户播放视频，点击“Miracast”投屏按钮进行投屏，弹出对话框，提示用户选择投屏类型，如手机弹框提示用户选择“仅投视频”和“投屏整个手机屏幕”；用户选择“仅投视频”，则执行步骤S304，用户选择“投屏整个手机屏幕”，则执行步骤S313。

S304，获取视频的数据源及数据源的编码格式。

具体的，视频播放器140获取播放视频的视频路径信息，并通过该视频路径信息获取视频源文件，然后解析该源文件，得到视频的数据源以及数据源的编码格式，具体的视频的数据源包括视频数据(即视频数据源)和音频数据(即音频数据源)，以及得到视频数据和音频数据的编码格式。之后执行步骤S305或步骤S306，其可以根据需要具体设置。

S305，判断视频数据的编码格式是否为H264格式；若否，则执行步骤S307；若是，则执行步骤S309。

S306，判断音频数据的编码格式是否为AAC格式或PCM格式；若否，则执行步骤S308；若是，则执行步骤S311。

S307，将视频数据的编码格式转换为H264格式；并执行步骤S310。

S308，将音频数据的编码格式转换为AAC格式或PCM格式；并执行步骤S312。

S309，从视频数据源中采集视频帧数据；执行步骤S314。

S310，从视频编码器输出中采集视频帧数据；执行步骤S314。

S311，从音频数据源中采集音频帧数据；执行步骤S315。

S312，从音频编码器输出中采集音频帧数据；执行步骤S315。

S313，手机进行录屏处理，得到录屏数据；执行步骤S316。

S314，对视频数据的分辨率进行调整；执行步骤S315。

具体的，调整为前述协商确定的手机和电视两端都支持的最大分辨率1080P。

S315，基于Miracast协议封装视频帧数据、音频帧数据形成数据包发送给电视。

S316，基于Miracast协议封装录屏数据形成数据包发送给电视。

本实施例提供的投屏方案，提供两种投屏方案供用户选择，并根据用户选择的投屏方案执行相应的投屏处理以实现投屏，提高了投屏的多样性，增强了用户体验感。

对于第一投屏类型的投屏方案，可以实现基于Miracast协议的只投多媒体数据的方案，可以避免录屏方式中投屏整个屏幕的方案中手机的显示屏分辨率对投屏画面的影响的问题，以提高投屏显示清晰度；另外只投多媒体数据，不投屏屏幕框架数据，还可以避免投屏用户不想投屏的信息的问题，以避免泄露用户隐私，可以有效地提高用户的体验。

进一步地，示例性的，对于第一投屏类型的投屏方案，在终端设备100将所播放的视频投屏至播放设备200后，即投屏成功后，终端设备100可以将播放视频切换至进入后台播放，由于该方案是直接投屏视频数据和音频数据，因此在播放视频进入后台播放后，也可以继续实现投屏，而且用户可以通过终端设备100在显示屏150上进行其他操作或显示其他内容，亦可提高用户的体验感。

本实施例的实施方式还提供了一种投屏方法，用于将终端设备100播放的多媒体数据显示于终端设备100以外的播放设备200，该多媒体数据包括流媒体数据和非流媒体数据。投屏时，用户选择投屏，终端设备100接收到投屏指令后，先判断需要投屏的多媒体数据是流媒体数据，还是非流媒体数据，当多媒体数据为流媒体数据时，终端设备执行如前述实施方式所提供的投屏方法中的任意一种以实现流媒体数据的投屏显示。当多媒体数据为非流媒体数据时，终端设备100获取非流媒体数据，直接将非流媒体数据打包后发送至播放设备200进行显示。比如该非流媒体数据具体为Word文本，则直接将Word文本打包封装后发送给播放设备200进行显示。具体的，可以基于Miracast协议封装Word文本并实现发送。

本实施方式提供的投屏方案，可以实现流媒体数据和非流媒体数据的不同模式的投屏显示，以满足用户对不同类型多媒体数据的投屏需求，以提高用户体验感。

本申请公开的机制的各实施例均可以以软件、硬件、固件或这些实现方法的组合等方式实现。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程程序包括至少一个处理器、存储器(或存储系统，包括易失性和非易失性存储器和/或存储单元)。

可将程序代码应用于输入指令，以执行文本描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。可以理解，在本申请的实施例中，处理系统可以是微处理器、数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)等，和/或其任何组合。根据另一方面，处理器可以是单核处理器、多核处理器等，和/或其任何组合。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理器通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，文本中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其他任何组合来实现。所公开的实施例可以被实现为一个或多个暂时或非暂时性及其可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个多个处理器读取和执行。例如，指令通过网络或气压计算机可读取介质分发。因此，机器可读取介质可以包括用于机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪卡、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字等)的有形的机器可读取存储器。因此，机器可读取介质包括适合于以机器可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

至少一个实施例的一个或多个方面可以由存储在计算机可读取存储介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机制作用于执行文本所述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的计算机可读取存储介质上，并被提供给多个客户或生产设备实施以加载到实际制造该逻辑或处理器的制造机器中。

在一些情况下，指令转换器可用来将指令从源指令集转移至目标指令集。例如，指令转换器可以变换(例如使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其他方式将指令转换成由核来处理的一个或多个其他指令。指令转换器可以用软件、硬件、固件、或其他组合实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

需要说明的是，如本文所使用的，术语“模块”可以指代或者专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组合的一部分。即本申请各设备实施例中的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理单元，也可以是一个物理单元的一部分，还可以是多个物理单元的组合实现。另外，本申请上述各设备实施例并没有将于解决本申请所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施例并不存在其他的模块。

需要说明的是，本申请中的通信模块具体可以包括发射器和接收器，或收发器，用于为所处的设备提供无线通信功能，使得所处的设备与其他设备进行通信。例如使得终端设备发送投屏数据，播放设备接收投屏数据。

需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

虽然通过参照本申请的某些优选实施方式，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本申请的精神和范围。

Claims (13)

1.一种投屏方法，用于在终端设备上播放的多媒体数据显示于所述终端设备以外的播放设备，其特征在于，包括：

接收投屏指令，根据所述投屏指令判断投屏类型；

当所述投屏类型为第一投屏类型时，根据所述多媒体数据的路径信息从所述多媒体数据的源文件中，获取所述多媒体数据，所述多媒体数据包括流媒体数据；

判断所述多媒体数据是否是目标编码格式；如果判断结果为所述多媒体数据为所述目标编码格式，则从所述多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据；以及如果判断结果为所述多媒体数据并非所述目标编码格式，则先将所述多媒体数据解码，再利用所述目标编码格式对所述多媒体数据进行编码，得到具有目标编码格式的处理后的多媒体数据，并从所述处理后的多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据；以及

输出所述投屏数据以用于显示；

当所述投屏类型为第二投屏类型时，获取录屏数据，所述录屏数据为对所述多媒体数据进行录屏得到的数据；

输出所述录屏数据以用于显示。

2.根据权利要求1所述的投屏方法，其特征在于，输出所述投屏数据以用于显示之后，所述方法还包括：将所述多媒体数据切换至后台播放。

3.根据权利要求2所述的投屏方法，其特征在于，所述多媒体数据包括视频数据，所述方法还包括：根据所述终端设备支持的分辨率和所述播放设备支持的分辨率，对所述视频数据的分辨率进行调整。

4.根据权利要求3所述的投屏方法，其特征在于，所述视频数据的分辨率为所述终端设备和所述播放设备都支持的最大分辨率，或者为所述播放设备支持的最大分辨率。

5.根据权利要求1-4任一项所述的投屏方法，其特征在于，所述流媒体数据包括视频数据，所述视频数据的目标编码格式为H264格式。

6.根据权利要求1-4任一项所述的投屏方法，其特征在于，所述流媒体数据包括音频数据，所述音频数据的目标编码格式为AAC格式或PCM格式。

7.根据权利要求1所述的投屏方法，其特征在于，还包括：所述投屏数据基于Miracast协议被封装为目标格式文件输出。

8.一种电子设备，所述电子设备作为终端设备以将其播放的多媒体数据显示于其本身以外的播放设备，其特征在于，包括：

获取模块，用于在根据接收到的投屏指令判断投屏类型为第一投屏类型时，根据所述多媒体数据的路径信息从所述多媒体数据的源文件中，获取所述多媒体数据，所述多媒体数据包括流媒体数据；

数据处理模块，用于判断所述多媒体数据是否是目标编码格式；如果判断结果为所述多媒体数据为所述目标编码格式，则从所述多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据；以及如果判断结果为所述多媒体数据并非所述目标编码格式，则先将所述多媒体数据解码，再利用所述目标编码格式对所述多媒体数据进行编码，得到具有目标编码格式的处理后的多媒体数据，并从所述处理后的多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据；

发送模块，用于输出所述投屏数据，以用于显示；

所述获取模块，还用于在根据接收到的投屏指令判断投屏类型为第二投屏类型时，获取录屏数据，所述录屏数据为对所述多媒体数据进行录屏得到的数据；

所述发送模块，还用于输出所述录屏数据以用于显示。

9.根据权利要求8所述的电子设备，其特征在于，还包括：封装模块，用于基于Miracast协议将所述投屏数据封装为目标格式文件输出。

10.根据权利要求8或9所述的电子设备，其特征在于，还包括分辨率调整模块，所述流媒体数据包括视频数据，所述分辨率调整模块用于根据所述终端设备支持的分辨率和所述播放设备支持的分辨率，对所述视频数据的分辨率进行调整。

11.一种投屏系统，其特征在于，包括：

终端设备，

用于接收投屏指令，根据所述投屏指令判断投屏类型；以及

用于当所述投屏类型为第一投屏类型时，根据多媒体数据的路径信息从所述多媒体数据的源文件中，获取多媒体数据，并判断所述多媒体数据是否是目标编码格式；如果判断结果为所述多媒体数据为所述目标编码格式，则从所述多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据；以及如果判断结果为所述多媒体数据并非所述目标编码格式，则先将所述多媒体数据解码，再利用所述目标编码格式对所述多媒体数据进行编码，得到具有目标编码格式的处理后的多媒体数据，并从所述处理后的多媒体数据中采集所述目标编码格式的帧数据，作为投屏数据，

将所述投屏数据输出至播放设备；其中，所述多媒体数据包括流媒体数据；所述投屏数据包括具有目标编码格式的帧数据；

播放设备，用于接收并显示所述投屏数据；

终端设备，还用于当所述投屏类型为第二投屏类型时，获取录屏数据，所述录屏数据为对所述多媒体数据进行录屏得到的数据；

将所述录屏数据输出至播放设备；

播放设备，还用于接收并显示所述投屏数据。

12.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序，所述计算机程序包括程序指令；

处理器，用于执行所述程序指令，以执行根据权利要求1-7任一项所述的投屏方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被计算机运行以使所述计算机执行根据权利要求1-7任一项所述的投屏方法。

Images