CN111629239B - 投屏处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请的实施例揭示了一种投屏处理方法、装置、设备和计算机可读存储介质。该方法包括：获取投屏设备的网络数据端口以及终端设备的物理数据端口；构建所述网络数据端口与所述物理数据端口之间的映射；若基于所述投屏设备与所述终端设备之间的有线通信连接接收到从所述终端设备的物理数据端口传输的投屏数据，则将所述投屏数据转发至所述网络数据端口；基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面。本申请实施例的技术方案能够。本申请采用有线方式进行投屏数据的传输，避免了由于网络波动导致的数据传输不稳定的问题，能够提升投屏数据传输的稳定性。

Description

投屏处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及投屏应用技术领域，具体涉及一种投屏处理方法、装置、设备和计算机可读存储介质。

背景技术

手机投屏是通过手机中运行的客户端程序捕获屏幕画面，并将捕获到的屏幕画面编码压缩后发送到投屏设备，由投屏设备对屏幕画面进行解码和显示，从而实现在投屏设备中展示手机屏幕画面的技术方案。

为保证手机投屏过程中的流畅性，需要保证手机与投屏设备之间进行稳定的数据传输。因此，如何提升投屏过程中的数据传输稳定性是本领域需要解决的技术问题。

发明内容

为提升投屏过程中进行数据传输的稳定性，本申请的实施例提供一种投屏处理方法、装置、设备以及计算机可读存储介质。

其中，本申请所采用的技术方案为：

一种投屏处理方法，包括：获取投屏设备的网络数据端口以及终端设备的物理数据端口；构建所述网络数据端口与所述物理数据端口之间的映射；若基于所述投屏设备与所述终端设备之间的有线通信连接接收到从所述终端设备的物理数据端口传输的投屏数据，则将所述投屏数据转发至所述网络数据端口；基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面。

一种投屏处理方法，包括：检测终端设备与投屏设备之间的有线通信连接；获取所述终端设备的投屏数据；基于所述有线通信连接，将所述投屏数据通过所述终端设备的物理数据端口传输至所述投屏设备，以使所述投屏设备将接收到的从所述终端设备的物理数据端口传输的投屏数据转发至所述投屏设备的网络数据端口，并显示对应的投屏画面。

一种投屏处理装置，包括：端口获取模块，用于获取投屏设备的网络数据端口以及终端设备的物理数据端口；映射构建模块，用于构建所述网络数据端口与所述物理数据端口之间的映射；数据接收模块，用于在基于所述投屏设备与所述终端设备之间的有线通信连接接收到从所述终端设备的物理数据端口传输的投屏数据的情况下，将所述投屏数据转发至所述网络数据端口；投屏显示模块，用于基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面。

一种投屏处理装置，包括：通信检测模块，用于检测终端设备与投屏设备之间的有线通信连接；投屏数据获取模块，用于获取所述终端设备的投屏数据；数据传输模块，用于基于所述有线通信连接，将所述投屏数据通过所述终端设备的物理数据端口传输至所述投屏设备，以使所述投屏设备将接收到的从所述终端设备的物理数据端口传输的投屏数据转发至所述投屏设备的网络数据端口，并显示对应的投屏画面。

一种投屏处理设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的投屏处理方法。

一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的投屏处理方法。

在上述技术方案中，基于投屏设备与终端设备之间的有线通信连接进行投屏数据的传输，并基于投屏设备的网络数据端口与终端设备的物理数据之间的映射保证有线传输的投屏数据能够传输至网络数据端口，以使得投屏设备能够基于网络数据端口获取到的投屏数据显示对应的投屏画面，整个投屏数据的传输过程中避免了由于网络波动导致的数据传输不稳定的问题，极大地提升了投屏过程中进行数据传输的稳定性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请涉及的实施环境的示意图；

图2是根据一示例性示出的一种投屏处理方法的流程图；

图3是图2所示实施例中步骤130在一个实施例的流程图；

图4是一示例性实施例示出的一种投屏过程中构建端口映射的示意图；

图5是根据另一示例性实施例示出的一种投屏处理方法的流程图；

图6是根据另一示例性实施例示出的一种投屏处理方法的流程图；

图7是根据另一示例性实施例示出的一种投屏处理方法的流程图；

图8是图7所示实施例中步骤450在一个实施例的流程图；

图9是根据另一示例性实施例示出的一种投屏处理方法的流程图；

图10是根据一示例性实施例示出的一种投屏处理装置的框图；

图11是根据另一示例性实施例示出的一种投屏处理装置的框图；

图12是根据一示例性实施例示出的一种投屏处理设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1是本申请所涉及的一种实施环境的示意图，该实施环境为一手机投屏场景。

如图1所示，该实施环境包括用户手机100和电视机200，用户手机100与电视机200之间连接有USB(Universal Serial Bus，通用串行总线)数据线。用户手机100的屏幕画面经由捕获和编码压缩后，通过USB数据线传输至电视机200中，再由电视机200对屏幕画面进行解码和显示，从而在电视机200中显示用户手机100的屏幕画面，实现用户手机100的投屏显示。

在此实施环境中，由于用户手机100和电视机200之间的投屏数据是通过USB数据线进行传输的，相比于通过Wi-Fi(一种创建于IEEE 802.11标准的无线局域网技术)等无线方式进行传输，避免了由于网络波动导致的数据传输不稳定的问题，因此电视机200中能够流畅地进行用户手机100的屏幕画面的显示。

请参阅图2，图2是根据一示例性示出的一种投屏处理方法的流程图。该方法由投屏设备具体执行，例如在图1所示的实施环境中，该方法由电视机200具体执行。

如图2所示，在一示例性实施例中，该方法至少包括如下步骤：

步骤110，获取投屏设备的网络数据端口以及终端设备的物理数据接口。

首先需要说明的是，投屏设备是指进行投屏数据对应的投屏画面的显示设备，例如为电视机、计算机等电子设备。终端设备则是指屏幕画面的来源设备，用于将自身的屏幕画面传输至投屏设备中进行显示，例如为智能手机、平板等电子设备。在图1所示的实施环境中，将电视机200作为投屏设备，将用户手机100作为终端设备。

在现有的投屏方案中，通常是基于无线网络进行投屏数据的传输。无线网络的传输带宽较高，能够实现投屏数据的高速率传输，但是传输过程中会存在较多的不稳定因素，导致投屏设备中显示的投屏画面不流畅。例如无线信号容易受到干扰、多设备抢占无线网络等因素均是导致投屏数据传输不稳定的因素。

并且，投屏数据需基于投屏设备和终端设备配置的无线模块进行收/发，无线模块耗电快并且发烫严重，导致投屏过程中的用户体验不佳。

基于上述问题，本实施例提出一种投屏处理方法，投屏设备和终端设备之间基于有线通信连接进行数据传输，从而避免由于使用无线传输所引起的一系列问题。

首先，本实施例需要获取投屏设备的网络数据端口以及终端设备的物理数据接口。投屏设备的网络数据端口是指为投屏设备提供数据服务的投屏服务器对应的网络端口，该网络端口对应于投屏服务器的IP(Internet Protocol，网际互连协议)地址。

应理解，由于投屏设备中提供的投屏应用功能需要投屏服务器中提供的数据服务实现，因此本实施例中描述的投屏设备应包含投屏设备与投屏服务器构成的整体。当投屏设备通过无线网络接收投屏数据时，投屏设备的网络数据端口也为投屏服务器对应的网络端口。

终端设备的物理数据端口则是为终端设备的物理数据接口所配置的端口信息，终端设备的物理数据接口为USB数据接口等。

还需要说明的是，投屏设备中也配置有物理数据接口，例如为USB数据接口等。基于投屏设备的物理数据接口与终端设备的物理数据接口之间的数据连接，以实现投屏设备与终端设备之间的有线通信连接。

对投屏设备来说，网络数据端口可以从投屏设备自身存储的配置信息中获取。终端设备的物理数据端口也可以预先存储在投屏设备的配置信息中，以供投屏设备获取。或者，终端设备在进行投屏操作之前将自身的物理数据端口信息生成图形码，并向投屏设备展示图形码，投屏设备扫描图形码即可获取到终端设备的物理数据端口。

步骤130，构建投屏设备的网络数据端口与终端设备的物理数据端口之间的映射。

如前所述的，投屏设备与终端设备之间的有线通信连接基于投屏设备的物理数据接口与终端设备的物理数据接口之间的数据连接实现，因此仅基于投屏设备与终端设备之间的有线通信连接，只能实现投屏设备的物理数据端口与终端设备的物理数据端口之间的数据传输，而无法实现投屏设备的网络数据端口与其物理数据接口之间的通信连接，终端设备中的投屏数据也无法传输至投屏设备的网络数据端口。

本实施例通过构建网络数据端口与终端设备的物理数据端口之间的映射，并基于投屏设备与终端设备之间的有线通信连接，以实现投屏设备的网络数据端口与终端设备的物理数据端口之间的数据连通。

其中，投屏设备的网络数据端口与终端设备的物理数据端口之间的映射，是指通过在投屏设备中运行命令，例如下述实施例中描述的端口转发命令，使得投屏设备的物理数据端口接收到从终端设备的物理数据端口传输的数据时，将投屏设备的物理数据端口所接收到的数据转发至网络数据端口。基于此映射，即可实现数据从终端设备的物理数据端口向投屏设备的网络数据端口的传输。

需要说明的是，投屏设备所运行的命令不仅能够实现投屏设备的物理数据端口向网络数据端口的数据传输，还能够实现网络数据端口向物理数据端口的数据传输。投屏设备中的数据从网络数据端口传输至投屏设备的数据端口之后，基于投屏设备与终端设备之间的通信连接，该数据即可传输至终端设备的物理数据端口。因此，基于投屏设备的网络数据端口与终端设备的物理数据端口之间的映射，还能够实现数据从投屏设备的网络数据端口向终端设备的物理数据端口的传输。

因此，投屏设备的网络数据端口与终端设备的物理数据端口之间的映射是指该网络数据端口与物理数据端口之间的双向通信过程，在投屏设备与终端设备之间建立有线通信连接的条件下，基于网络数据端口与终端设备的物理数据端口之间的映射，投屏设备与终端设备之间能够以有线方式进行数据交互。

步骤150，若基于投屏设备与所述终端设备之间的有线通信连接接收到从终端设备的物理数据端口传输的投屏数据，则将投屏数据转发至网络数据端口。

首先需要说明的是，终端设备中传输的投屏数据是采集终端设备的屏幕画面，并对采集到的每一帧屏幕画面进行视频编码后得到的与终端设备的屏幕画面对应的数据。

当终端设备中的屏幕画面为图片时，投屏数据为图片对应的编码数据。当终端设备中的屏幕画面为视频画面时，投屏数据则为终端设备屏幕中实时显示的每一帧视频图像对应的编码流数据。

终端设备将编码得到的投屏数据发送至物理数据端口，以基于投屏设备与所述终端设备之间的有线通信连接，经由投屏设备的物理数据接口传输至投屏设备。因此投屏设备接收到的投屏数据即是指投屏设备的物理数据接口接收到的投屏数据，该投屏数据是从终端设备的物理数据端口传输的。

为使得投屏服务器能够获取到投屏数据，投屏设备在接收到终端设备传输的投屏数据后，还需将投屏数据转发至网络数据端口。

步骤170，基于网络数据端口获取到的投屏数据，显示对应的投屏画面。

投屏服务器接收到投屏设备转发的投屏数据后，通过对投屏数据进行解码等处理，以使投屏设备根据处理后的投屏数据显示对应的投屏画面，从而实现终端设备中的屏幕画面在投屏设备中的投屏显示。

在一个实施例中，通过监听投屏设备的网络数据端口可获得基于网络数据端口获取到的投屏数据，然后对获取到的投屏数据进行解码，以及对解码后的投屏数据进行投屏画面渲染，即可将渲染的投屏画面在投屏设备中进行显示。

由此，本实施例基于投屏设备与终端设备之间的有线通信连接进行投屏数据的传输，整个投屏数据的传输过程中避免了由于网络波动导致的数据传输不稳定的问题，极大地提升了投屏过程中进行数据传输的稳定性。与无线投屏方案相比，由于无线信号干扰、网络存在防火墙等问题，导致投屏连接率约为70％，而本采用本实施例的有线投屏方案后，投屏连接率提升约为90％。

并且本实施例避免使用投屏设备和终端设备的无线模块，减缓了设备的耗电量，进而减轻投屏过程中设备发烫的情况。

另外值得提及的是，本实施例提供的有线投屏方案能够兼容现有的无线投屏方案，并以较低的技术成本对现有的无线投屏方案进行改造。具体来说，由于本实施例实现了投屏设备的网络数据端口与终端设备的物理数据端口之间的映射，对投屏设备来说，仍是基于投屏服务器接收到的投屏数据而进行的投屏显示，与无线投屏方案相比，投屏设备在业务层面并不涉及任何变化，实现了从无线投屏到有线投屏的扩展。

基于本实施例的技术方案，将使得投屏设备自身具有无线和有线两种可实施的投屏实现，因此当投屏设备与终端设备之间的有线通信连接断开时，可以切换无线投屏方案，以保证投屏的正常进行。或者，为实现更高速率的投屏数据传输，也可以利用无线和有线两种方式共同传输投屏传输，以进一步提升数据传输的带宽，增加传输网络的抗干扰性。

如果终端设备和投屏设备的物理数据接口均采用USB3.0(是USB规范的一种版本)及以上的USB数据接口，能够保证终端设备和投屏设备之间具有较高的数据传输速率，并且传输速率不易受到干扰。

图3是图2所示实施例中步骤130在一个实施例的流程图。如图3所示，在一示例性实施例中，构建投屏设备的网络数据端口与终端设备的物理数据端口之间的映射，至少包括如下步骤：

步骤131，根据终端设备中运行的操作系统的类型、终端设备的物理数据端口以及投屏设备的网络数据端口，生成端口转发命令；

首先需要说明的是，端口转发命令用于指示将终端设备的物理数据端口的数据转发给投屏设备的网络数据端口，具体包括终端设备的物理数据端口对于终端设备所传输数据的接收以及将接收的数据转发至网络数据端口两个过程。

终端设备中运行的操作系统类型包括Android(是一种基于Linux内核的自由及开放源代码的操作系统)、IOS(是由苹果公司开发的移动操作系统)等类型，本处不进行限制。

基于不同的操作系统，端口转发命令执行的具体执行不同。示例性的，如果假设终端设备的物理数据端口号为1988，投屏设备的网络数据端口号为1935，当终端设备中运行的是Android系统时，端口转发命令为：adb.exereverse tcp：2022tcp：1935；当终端设备中运行的是IOS系统时，端口转发命令为：iproxy.exe tcp：2022tcp：1935。

具体来说，当终端设备向投屏设备发起socket(套接字，是传输层实现端到端通信时，传输层连接的端点)连接时，端口转发命令在投屏设备和终端设备之间建立连接的socketA，当终端设备对物理数据端口127.0.0.0：2022建立连接的socket B时，由端口转发命令自动实现将所有socket B要发送的数据写入socket A，因此投屏设备就能够接收到这份数据。相应的，当投屏设备向终端设备发送数据时，是将要发送的数据写入socket A，然后由端口转发命令实现将socket A中的所有数据写入socket B，终端设备即可接收到终端设备传输的数据。

由此，投屏设备的网络数据端口与终端设备的物理数据端口之间的映射包括了网络数据端口与物理数据端口之间的双向通信过程。

步骤133，运行端口转发命令，以实现网络数据端口与物理数据端口之间的映射。

如前所述，端口转发命令用于指示将终端设备的物理数据端口的数据转发给投屏设备的网络数据端口，投屏设备运行端口转发命令，即可实现投屏设备的网络数据端口与终端设备的物理数据端口之间的双向通信。

图4是一示例性实施例示出的一种投屏过程中构建端口映射的示意图。如图4所示，投屏设备和终端设备之间预先通过USB数据线建立通信连接，终端设备与物理数据端口127.0.0.0：2022建立连接，投屏设备中运行有端口转发命令。当终端设备需要进行投屏时，由终端设备将投屏数据发送至物理数据端口127.0.0.0：202，投屏数据经由USB数据线传输至投屏设备，然后经端口转发命令将投屏数据转发至网络数据端口192.168.1.22：1935。

需要说明的是，投屏设备中还需监听该网络数据端口，以获取到该网络数据端口接收到的投屏数据。

可以看出，本实施例在投屏设备中运行端口转发命令，实现投屏设备的网络数据端口与终端设备的物理数据端口之间的映射的过程中，无需修改投屏设备和终端设备中的原有的传输协议，因此本实施例提供的有线投屏方案是无侵入的，对终端设备来说，只需要在传输投屏数据时将投屏设备的IP地址和网络数据端口号替换为自身的物理数据端口号即可。

图5是根据另一示例性实施例示出的一种投屏处理方法的流程图。如图5所示，在一示例性实施例中，该投屏处理方法还包括如下步骤：

步骤210，获取投屏设备中存储的投屏素材，投屏素材在投屏画面中生成投屏特效；

步骤230，基于投屏设备与终端设备之间的有线通信连接，将投屏素材从网络数据端口传输至物理数据端口。

首先需要说明的是，考虑在投屏过程中，可以使用投屏特效来提升投屏过程中的用户体验，但是这些投屏特效对应的投屏素材的数据量较大，需要在终端设备中预先进行下载。终端设备在下载这些投屏素材时需要耗费大量的网络流量，容易出现网络挤占引起的卡顿等问题。

基于此，本实施例预先通过投屏设备下载投屏素材，并基于投屏设备与终端设备之间的有线通信连接，将下载好的投屏素材传输至终端设备的物理端口，以使终端设备获得投屏设备传输的投屏素材。下载好的投屏素材可以是以缓存等方式存储在投屏设备中。

终端设备即可使用这些投屏素材，使得投屏设备进行投屏画面的显示时，同时在投屏画面中显示投屏特效，由此提升投屏体验。

在另外的实施例中，投屏设备在下载投屏素材之前，还检测投屏设备与终端设备之间的有线通信连接是否存在。如果检测到投屏设备与终端设备之间预先建立有线通信连接，则表示投屏设备中的数据能够传输至终端设备，因此投屏设备进行投屏素材的下载。

或者，投屏设备预先下载投屏素材，并在检测到投屏设备与终端设备之间预先建立有线通信连接时，将下载好的投屏素材基于此有线通信连接传输至终端设备。

因此在本实施例中，投屏素材无需终端设备进行下载，并且投屏素材是以有线的方式从投屏设备中传输至终端设备中的，能够避免终端设备中出现网络挤占引起的卡顿等问题。

需要说明的是，由于投屏设备中运行有端口转发命令，即投屏设备的网络数据端口与终端设备的物理数据端口之间存在映射，因此本实施例为保证投屏素材能传输至终端设备，只需检测投屏设备与终端设备之间的有线通信连接是否建立。

图6是根据另一示例性实施例示出的一种投屏处理方法的流程图。如图6所示，在一示例性实施例中，该投屏处理方法还包括如下步骤：

步骤310，检测输入的操作指令。

操作操作包括在投屏设备所显示的投屏画面中触发的操作指令，或者在投屏设备进行投屏画面显示的过程中，从与投屏设备相连接的输入设备发送的操作指令。

与投屏设备相连接的输入设备可以包括键盘、鼠标等常见的输入设备，也可以是针对投屏画面进行控制的专用设备，本处不进行限制。

步骤330，基于投屏设备与终端设备之间的有线通信连接，将操作指令从投屏设备的网络数据端口传输至终端设备的物理数据端口，以使终端设备响应该操作指令。

在本实施例中，基于投屏设备与终端设备之间的有线通信连接，投屏设备将操作指令发送至终端设备，终端设备接收到操作指令后即执行操作指令的响应，因此基于本实施例提供的方法，能够在投屏过程中实现投屏设备对于终端设备的操控。

示例性的，在投屏设备进行投屏画面的显示过程中，用户通过鼠标点击投屏画面或者触摸投屏设备上显示的终端设备屏幕画面，例如通过鼠标点击了投屏画面中的一个功能按钮，投屏设备即向终端设备发送相应的功能指令，以使终端设备根据该功能指令执行功能按钮对应的功能。

应理解，投屏画面中显示的功能按钮与终端设备的屏幕画面上显示的功能按钮是相对应的，投屏设备检测到投屏画面上的功能按钮被触发可以是检测到投屏画面上相应的按钮区域被触发。示例性的，如果终端设备的屏幕画面上的功能按钮是隐藏的按钮，例如终端设备的屏幕画面上播放电视剧画面，暂停/播放按钮、上一集/下一集按钮被隐藏，投屏画面中则不含有这些按钮，如果投屏设备检测到投屏画面中对应于暂停/播放按钮的画面区域被触发，则表示投屏设备检测到暂停/播放按钮被触发。

另外，也可以通过与投屏设备相连接的键盘上输入的快捷键或者快捷键组合来对终端设备进行控制。

请参阅图7，本申请的实施例提供另一种投屏处理方法，该投屏处理方法由终端设备具体执行，例如在图1所示的实施环境中，该投屏处理方法由用户手机100具体执行。

如图7所示，在一示例性实施例中，该投屏处理方法至少包括如下步骤：

步骤410，检测终端设备与投屏设备之间的有线通信连接。

如前所述，由于投屏设备中运行有端口转发命令，投屏设备的网络数据端口与终端设备的物理数据端口之间存在映射，因此在终端设备与投屏设备之间建立有线通信连接的情况下，终端设备中的数据能够出传输至投屏设备的网络数据端口。

因此终端设备在向投屏设备传输投屏数据之前，需要检测终端设备与投屏设备之间的有线通信连接，如果检测到有线通信连接存在，即证明终端设备中的投屏数据能够以有线方式传输至投屏设备中，进而能够实现有线投屏的方案。

而如果终端设备未检测到终端设备与投屏设备之间的有线通信连接，则表示终端设备中的投屏数据不能够以有线的方式传输至投屏设备，则可以根据投屏设备对应的网络地址，将投屏数据发送至投屏设备的网络数据端口。其中，投屏设备对应的网络地址是指投屏设备对应的投屏服务器的IP地址，例如为192.168.1.22：1935。

或者终端设备还可以继续检测终端设备与投屏设备之间的有线通信连接，直至检测到有线通信连接存在之后，再向投屏设备传输投屏数据。

步骤430，获取终端设备的投屏数据。

如前所述，终端设备的投屏数据是采集终端设备的屏幕画面之后，对采集到的每一帧屏幕画面进行视频编码后得到的与终端设备的屏幕画面对应的数据。

当终端设备中的屏幕画面为图片时，投屏数据为图片对应的编码数据，投屏设备即针对终端设备中的图片进行投屏。当终端设备中的屏幕画面为视频画面时，投屏数据则为终端设备屏幕中实时显示的每一帧视频图像对应的流数据，投屏设备即针对终端设备中的视频画面进行投屏，例如投屏显示终端设备中播放的电视剧，或者投屏显示终端设备中的游戏画面。

示例性的，终端设备可通过调用操作系统的Media Projection接口获取当前屏幕中的画面数据。其中，所获取的画面数据为YUV(是一种颜色编码方法)格式，数据量很大，因此需要对画面数据进行编码压缩处理。

步骤450，基于该有线通信连接，将投屏数据通过终端设备的物理数据端口传输至投屏设备，以使投屏设备将接收到的从终端设备的物理数据端口传输的投屏数据转发至投屏设备的网络数据端口，并显示对应的投屏画面。

由于终端设备的物理数据端口与投屏设备的网络数据端口之间预先建立映射，因此在终端设备与投屏设备之间具有通信连接的情况下，终端设备将投屏数据发送至自身的物理数据端口，投屏数据即可从此物理数据端口传输至投屏设备的网络数据端口，并使得投屏设备基于网络数据端口接收到的投屏数据进行对应投屏画面的显示，从而实现终端设备与投屏设备之间的有线投屏。

需要说明的是，终端设备将投屏数据传输至投屏设备的具体原理和实施细节请参见前述实施例中的描述，本实施例不进行赘述。

图8是图7所示实施例中步骤450在一个实施例的流程图。如图8所示，在一示例性实施例中，将投屏数据通过终端设备的物理数据端口传输至投屏设备，至少包括如下步骤：

步骤451，获取投屏素材，投屏素材用于在投屏画面中生成投屏特效。

其中，投屏素材可以是终端设备预先下载的，例如投屏素材可以基于终端设备的屏幕画面中触发的下载指令进行下载。

但考虑到投屏素材对应的数据量较大，下载过程需占用较多的网络带宽，导致终端设备容易出现网络挤占引起的卡顿等问题，为避免出现这些问题，终端设备可以在网络状态空闲时下载投屏素材。

在另外的实施例中，投屏素材可以是投屏设备基于终端设备与投屏设备之间的有线通信连接传输给终端设备的。投屏素材无需由终端设备进行下载，并且投屏素材是以有线的方式从投屏设备中传输至终端设备中的，从而能够避免终端设备中出现网络挤占引起的卡顿等问题。

步骤453，将投屏素材携带在投屏数据中，并通过终端设备的物理数据端口传输至投屏设备。

为使得投屏设备显示的投屏画面含有投屏特效，以提升用户的投屏体验，终端设备需将投屏素材携带在投屏数据中，并将携带有投屏素材的投屏数据通过终端设备的物理数据端口传输至投屏设备的网络数据端口。

投屏设备通过解码网络数据接口接收到的投屏数据，并对解码后的投屏数据进行投屏画面渲染以及投屏素材渲染，从而在投屏数据对应的投屏画面中显示投屏素材对应的投屏特效。

图9是根据另一示例性实施例示出的一种投屏处理方法的流程图。如图9所示，在一示例性实施例中，该投屏处理方法还包括如下步骤：

步骤510，从终端设备的物理数据端口接收投屏设备发送的操作指令；

步骤530，响应该操作指令。

如前所述，投屏设备发送的操作指令包括在投屏设备所显示的投屏画面中触发的操作指令，或者在投屏设备进行投屏画面显示的过程中，从与投屏设备相连接的输入设备发送的操作指令。

基于投屏设备与终端设备之间的有线通信连接，投屏设备将操作指令发送至终端设备，终端设备接收到操作指令后即执行操作指令的响应，因此能够在投屏过程中实现投屏设备对于终端设备的操控。

示例性的，当投屏设备中显示终端设备播放的电视剧画面的过程中，通过鼠标点击投屏画面中含有的播放/暂停、上一集/下一集等按钮，即可实现对于终端设备中播放的电视剧的播放控制。

图10是根据一示例性实施例示出的一种投屏处理装置的框图，该投屏处理装置对应于图2所示的投屏处理方法，适用于配置在投屏设备中，例如配置在图1所示的实施环境所示的电视机200中。

如图10所示，该投屏处理装置包括端口获取模块610、映射构建模块630、数据接收模块650和投屏显示模块670。

其中，端口获取模块610用于获取投屏设备的网络数据端口以及终端设备的物理数据端口。映射构建模块630用于构建网络数据端口与物理数据端口之间的映射。数据接收模块650用于在基于投屏设备与终端设备之间的有线通信连接接收到从终端设备的物理数据端口传输的投屏数据的情况下，将投屏数据转发至所述网络数据端口。投屏显示模块670用于基于网络数据端口获取到的投屏数据，显示对应的投屏画面。

在另一示例性实施例中，映射构建模块630包括命令生成单元和命令运行单元。命令生成单元用于根据终端设备中运行的操作系统的类型、终端设备的物理数据端口以及投屏设备的网络数据端口，生成端口转发命令。命令运行单元用于运行端口转发命令，以实现投屏设备的网络数据端口与终端设备的物理数据端口之间的映射。

在另一示例性实施例中，投屏显示模块670包括端口监听单元、解码渲染单元和画面显示单元。端口监听单元用于监听投屏设备的网络数据端口。解码渲染单元用于对网络数据端口接收到的投屏数据进行解码，并对解码后的投屏数据进行投屏画面渲染。画面显示单元用于显示渲染得到的投屏画面。

在另一示例性实施例中，该投屏处理装置还包括素材获取模块和素材传输模块。素材获取模块用于获取投屏设备中存储的投屏素材，投屏素材用于在投屏画面中生成投屏特效。素材传输模块用于基于投屏设备与终端设备之间的有线通信连接，将投屏素材从投屏设备的网络数据端口传输至终端设备的物理数据端口。

在另一示例性实施例中，该投屏处理装置还包括指令检测模块和指令传输模块。指令检测模块用于检测输入的操作指令。指令传输模块用于基于投屏设备与终端设备之间的有线通信连接，将操作指令从投屏设备的网络数据端口传输至终端设备的物理数据端口，以使终端设备响应该操作指令。

在另一示例性实施例中，指令检测模块用于检测在投屏画面中触发的操作指令；或者检测与投屏设备相连接的输入设备发送的操作指令。

图11是根据另一示例性实施例示出的一种投屏处理装置的框图，该投屏处理装置对应于图7所示的投屏处理方法，适用于配置在终端设备中，例如配置在图1所示的实施环境所示的用户手机100中。

如图11所示，该投屏处理装置包括通信检测模块710、投屏数据获取模块730和数据传输模块750。

其中，通信检测模块710用于检测终端设备与投屏设备之间的有线通信连接。投屏数据获取模块730用于获取终端设备的投屏数据。数据传输模块750用于基于有线通信连接，将投屏数据通过终端设备的物理数据端口传输至投屏设备，以使投屏设备将接收到的从终端设备的物理数据端口传输的投屏数据转发至投屏设备的网络数据端口，并显示对应的投屏画面。

在另一示例性实施例中，投屏数据获取模块730包括画面采集单元和画面编码单元。画面采集单元用于采集终端设备的屏幕画面。画面编码单元用于分别对采集到的每一帧屏幕画面进行编码，获得与屏幕画面对应的投屏数据。

在另一示例性实施例中，数据传输模块750包括素材获取单元和素材携带单元。素材获取单元用于获取投屏素材，投屏素材用于在投屏画面中生成投屏特效。素材携带单元用于将投屏素材携带在投屏数据中，并通过终端设备的物理数据端口传输至投屏设备。

在另一示例性实施例中，该投屏处理装置还包括指令接收模块和指令响应模块。指令接收模块用于从终端设备的物理数据端口接收投屏设备发送的操作指令。指令响应模块用于响应该操作指令。

在另一示例性实施例中，该投屏处理装置还包括切换发送模块，该切换发送模块用于在通信检测模块710未检测到终端设备与所述投屏设备之间的有线通信连接的情况下，根据投屏设备对应的网络地址，将投屏数据发送至投屏设备的网络数据端口。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

在另外的实施例中，本申请还提供了一种投屏处理设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的投屏处理方法。

图12是根据一示例性实施例示出的一种投屏处理设备的结构示意图。

需要说明的是，该投屏处理设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该投屏处理设备也不能解释为需要依赖于或者必须具有图12中示出的示例性的投屏处理设备中的一个或者多个组件。

如图12所示，在一示例性实施例中，投屏处理设备包括处理组件801、存储器802、电源组件803、多媒体组件804、音频组件805、传感器组件807和通信组件808。其中，上述组件并不全是必须的，投屏处理设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件801通常控制投屏处理设备的整体操作，诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件801可以包括一个或多个处理器809来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件801可以包括一个或多个模块，便于处理组件801和其他组件之间的交互。例如，处理组件801可以包括多媒体模块，以方便多媒体组件804和处理组件801之间的交互。

存储器802被配置为存储各种类型的数据以支持在投屏处理设备的操作，这些数据的示例包括用于在投屏处理设备上操作的任何应用程序或方法的指令。存储器802中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器809执行，以完成上述实施例中所描述的投屏处理方法中的全部或者部分步骤。

电源组件803为投屏处理设备的各种组件提供电力。电源组件803可以包括电源管理系统，一个或多个电源，及其他与为投屏处理设备生成、管理和分配电力相关联的组件。

多媒体组件804包括在投屏处理设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板)和LCD(Liquid CrystalDisplay，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件805被配置为输出和/或输入音频信号。例如，音频组件805包括一个麦克风，当投屏处理设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件805还包括一个扬声器，用于输出音频信号。

传感器组件807包括一个或多个传感器，用于为投屏处理设备提供各个方面的状态评估。例如，传感器组件807可以检测到投屏处理设备的打开/关闭状态，还可以检测投屏处理设备的温度变化。

通信组件808被配置为便于投屏处理设备和其他设备之间有线或无线方式的通信。投屏处理设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。

可以理解，图12所示的结构仅为示意，投屏处理设备该可以包括比图12中所示更多或更少的组件，或者具有与图12所示不同的组件。图12中所示的各组件均可以采用硬件、软件或者其组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的投屏处理方法。该计算机可读存储介质可以是上述实施例中描述的投屏处理设备中所包含的，也可以是单独存在，而未装配入该投屏处理设备中。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种投屏处理方法，其特征在于，包括：

获取投屏设备的网络数据端口以及终端设备的物理数据端口，所述网络数据端口是为所述投屏设备提供数据服务的投屏服务器对应的网络端口，所述网络端口对应于所述投屏服务器的IP地址；

构建所述网络数据端口与所述物理数据端口之间的映射，所述映射是指通过在所述投屏设备中运行端口转发命令，使得当所述投屏设备的物理数据端口接收到从所述终端设备的物理数据端口传输的数据时，将所述投屏设备的物理数据端口所接收到的数据转发至所述网络数据端口，并且所述投屏设备中的数据从所述网络数据端口传输至所述投屏设备的物理数据端口之后，将所述投屏设备的物理数据端口接收到的数据传输至所述终端设备的物理数据端口；其中，在所述投屏设备与所述终端设备之间建立有线通信连接的条件下，基于所构建的映射，所述投屏设备与所述终端设备之间能够以有线方式进行数据交互；

若基于所述投屏设备与所述终端设备之间的有线通信连接，由所述投屏设备的物理数据接口接收到从所述终端设备的物理数据端口传输的投屏数据，则将所述投屏数据转发至所述网络数据端口；

基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面；

基于所述有线通信连接，将检测到输入的操作指令从所述网络数据端口传输至所述终端设备的物理数据端口，以使所述终端设备响应所述操作指令。

2.根据权利要求1所述的方法，其特征在于，构建所述网络数据端口与所述物理数据端口之间的映射，包括：

根据所述终端设备中运行的操作系统的类型、所述物理数据端口以及所述网络数据端口，生成端口转发命令；

运行所述端口转发命令，以实现所述网络数据端口与所述物理数据端口之间的映射。

3.根据权利要求1所述的方法，其特征在于，基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面，包括：

监听所述投屏设备的网络数据端口；

对所述网络数据端口接收到的投屏数据进行解码，并对解码后的投屏数据进行投屏画面渲染；

显示渲染得到的投屏画面。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述投屏设备中存储的投屏素材，所述投屏素材用于在所述投屏画面中生成投屏特效；

基于所述有线通信连接，将所述投屏素材从所述网络数据端口传输至所述物理数据端口。

5.根据权利要求1所述的方法，其特征在于，在所述基于所述有线通信连接，将检测到输入的操作指令从所述网络数据端口传输至所述终端设备的物理数据端口，以使所述终端设备响应所述操作指令之前，所述方法包括：

检测在所述投屏画面中触发的操作指令；或者

检测与所述投屏设备相连接的输入设备发送的操作指令。

6.一种投屏处理方法，其特征在于，包括：

检测终端设备与投屏设备之间的有线通信连接，所述有线通信连接是基于所述终端设备的物理数据接口与所述投屏设备的物理数据接口之间的数据连接；

获取所述终端设备的投屏数据；

基于所述有线通信连接，将所述投屏数据通过所述终端设备的物理数据端口传输至所述投屏设备，以使所述投屏设备将接收到的从所述终端设备的物理数据端口传输的投屏数据转发至所述投屏设备的网络数据端口，并显示对应的投屏画面，其中，所述网络数据端口是为所述投屏设备提供数据服务的投屏服务器对应的网络端口，所述网络端口对应于所述投屏服务器的IP地址，所述投屏数据在所述投屏设备中的转发是通过在所述投屏设备中运行端口转发命令实现的，所述端口转发命令的运行使得当所述投屏设备的物理数据端口接收到从所述终端设备的物理数据端口传输的数据时，将所述投屏设备的物理数据端口所接收到的数据转发至所述网络数据端口，并且所述投屏设备中的数据从所述网络数据端口传输至所述投屏设备的物理数据端口之后，将所述投屏设备的物理数据端口接收到的数据传输至所述终端设备的物理数据端口；

基于所述有线通信连接，若接收到从所述网络数据端口传输至所述终端设备的物理数据端口的操作指令，则响应所述操作指令。

7.根据权利要求6所述的方法，其特征在于，获取所述终端设备的投屏数据，包括：

采集所述终端设备的屏幕画面；

分别对采集到的每一帧屏幕画面进行编码，获得与所述屏幕画面对应的投屏数据。

8.根据权利要求6所述的方法，其特征在于，将所述投屏数据通过所述终端设备的物理数据端口传输至所述投屏设备，包括：

获取投屏素材，所述投屏素材用于在所述投屏画面中生成投屏特效；

将所述投屏素材携带在所述投屏数据中，并通过所述终端设备的物理数据端口传输至所述投屏设备。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

如果未检测到所述终端设备与所述投屏设备之间的有线通信连接，则根据所述投屏设备对应的网络地址，将所述投屏数据发送至所述投屏设备的网络数据端口。

10.一种投屏处理装置，其特征在于，包括：

端口获取模块，用于获取投屏设备的网络数据端口以及终端设备的物理数据端口，所述网络数据端口是为所述投屏设备提供数据服务的投屏服务器对应的网络端口，所述网络端口对应于所述投屏服务器的IP地址；

映射构建模块，用于构建所述网络数据端口与所述物理数据端口之间的映射，所述映射是指通过在所述投屏设备中运行端口转发命令，使得当所述投屏设备的物理数据端口接收到从所述终端设备的物理数据端口传输的数据时，将所述投屏设备的物理数据端口所接收到的数据转发至所述网络数据端口，并且所述投屏设备中的数据从所述网络数据端口传输至所述投屏设备的物理数据端口之后，将所述投屏设备的物理数据端口接收到的数据传输至所述终端设备的物理数据端口；其中，在所述投屏设备与所述终端设备之间建立有线通信连接的条件下，基于所构建的映射，所述投屏设备与所述终端设备之间能够以有线方式进行数据交互；

数据接收模块，用于在基于所述投屏设备与所述终端设备之间的有线通信连接，由所述投屏设备的物理数据接口接收到从所述终端设备的物理数据端口传输的投屏数据的情况下，将所述投屏数据转发至所述网络数据端口；

投屏显示模块，用于基于所述网络数据端口获取到的投屏数据，显示对应的投屏画面；

指令传输模块，用于基于所述有线通信连接，将检测到输入的操作指令从所述网络数据端口传输至所述终端设备的物理数据端口，以使所述终端设备响应所述操作指令。

11.如权利要求10所述的装置，其特征在于，所述映射构建模块包括：

命令生成单元，用于根据所述终端设备中运行的操作系统的类型、所述物理数据端口以及所述网络数据端口，生成端口转发命令；

命令运行单元，用于运行所述端口转发命令，以实现所述网络数据端口与所述物理数据端口之间的映射。

12.一种投屏处理装置，其特征在于，包括：

通信检测模块，用于检测终端设备与投屏设备之间的有线通信连接，所述有线通信连接是基于所述终端设备的物理数据接口与所述投屏设备的物理数据接口之间的数据连接；

投屏数据获取模块，用于获取所述终端设备的投屏数据；

数据传输模块，用于基于所述有线通信连接，将所述投屏数据通过所述终端设备的物理数据端口传输至所述投屏设备，以使所述投屏设备将接收到的从所述终端设备的物理数据端口传输的投屏数据转发至所述投屏设备的网络数据端口，并显示对应的投屏画面，其中，所述网络数据端口是为所述投屏设备提供数据服务的投屏服务器对应的网络端口，所述网络端口对应于所述投屏服务器的IP地址，所述投屏数据在所述投屏设备中的转发是通过在所述投屏设备中运行端口转发命令实现的，所述端口转发命令的运行使得当所述投屏设备的物理数据端口接收到从所述终端设备的物理数据端口传输的数据时，将所述投屏设备的物理数据端口所接收到的数据转发至所述网络数据端口，并且所述投屏设备中的数据从所述网络数据端口传输至所述投屏设备的物理数据端口之后，将所述投屏设备的物理数据端口接收到的数据传输至所述终端设备的物理数据端口；

指令响应模块，用于基于所述有线通信连接，若接收到从所述网络数据端口传输至所述终端设备的物理数据端口的操作指令，则响应所述操作指令。

13.根据权利要求12所述的装置，其特征在于，所述投屏数据获取模块包括：

画面采集单元，用于采集所述终端设备的屏幕画面；

画面编码单元，用于分别对采集到的每一帧屏幕画面进行编码，获得与所述屏幕画面对应的投屏数据。

14.一种投屏处理设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1－9中的任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1－9中的任一项所述的方法。

Images