CN105068774B - 一种基于wfd的影像分享方法和系统 - Google Patents

Abstract

发明人提供一种基于WFD的影像分享方法和系统，涉及屏幕分享领域，主要涉及基于WFD的影像分享领域。包括步骤：目的端向已连接的源端发送更新图层指令，源端接收更新图层指令后，源端将当前显示图层作为同屏图像通过WFD协议向目的端发送。区别于现有技术，通过目的端发起更新图层指令，源端根据更新图层指令更新一帧同屏共享的图像，使得源端的屏幕显示信息中的隐私数据共享的过程中得到较好的保护。

Description

一种基于WFD的影像分享方法和系统

技术领域

本发明涉及屏幕分享领域，主要涉及基于WFD的影像分享领域。

背景技术

Wi-Fi Display(缩写WFD)经常和Miracast联系在一起。实际上，Miracast是Wi-Fi联盟(Wi-Fi Alliance)对支持Wi-Fi Display功能的设备的认证名称。连接Wi-Fi Display后，手机和电视机之间可以直接借助Wi-Fi，而无需硬连线(如HDMI)就可将手机中的视频投递到TV上去显示。

WFD设备之间的搜索探测功能，是使用现有的wifi p2p技术为基础，并在wifi信标、探测信号中加入了wfd特有格式的探测信号,使得WFD设备之间能相互发现。在发现的WFD设备列表中，用户选择一个需要连接的设备，或根据默认设置连接。选择后WFD使用Wi-Fi Direct和TDLS技术，建立WFD基础线路。设备建立TCP连接，并创建一个控制端口来建立和维护会话，该端口跑的协议是RTSP。通过RTSP协议协定参数，决定需要使用的最佳参数，包括音视频解码率，分辨率，信道负载等等，在参数协定确认完成后，源端以设定的视频码率和分辨率向目的端发送源端的屏幕显示画面。

在实现本发明的过程中，发明人发现现有技术中，基于Wi-Fi Display的影像分享系统是将源端的影像直接投射到目的端的设备屏幕上。这样就意味着一旦WFD连接完成后，源端用户的所有操作都会被投射到目的端，此时用户需操作源端执行其他任务是，其他任务的画面也会被投射到目的端。这样的现实不利于屏幕的分享。

发明内容

发明人提供一种基于WFD的影像分享方法，其特征在于，包括步骤：

目的端向已连接的源端发送更新图层指令，源端接收更新图层指令后，源端将当前显示图层作为同屏图像通过WFD协议向目的端发送。

进一步，所述源端接收更新图层指令后,还包括步骤：

源端复制当前显示图层存为副本并删除源端当前显示图层，源端将所述副本作为同屏图像通过WFD协议发送到目的端。

进一步，还包括步骤：目的端生成透明图层，并采集绘制动作生成绘制信息，将绘制信息保留到透明图层中，将透明图层与接收到的同屏图像叠加产生新的同屏图像并显示。

进一步，还包括步骤：源端向目的端发送发送源端设备的屏幕方向信息，当目的端接收到所述屏幕方向信息后判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。

进一步，还包括步骤：在影像分享过程中源端还检测源端设备的电量，当检测到源端设备的电量低于第一设置值时，则可以降低生成的同屏图像的分辨率或发送帧率，也可以通知目的端，并开始分辨率或帧率协商。

进一步，还包括步骤：

在影像分享过程中源端还检测目的端设备的电量，当检测到目的端的电量低于第二设置值时，则可以通知源端，并开始分辨率或帧率的协商。

进一步，还包括步骤：

在影像分享过程中，源端或目的端还检测源端与目的端之间的丢包率，当丢包率达到第三设置值时，则探测可用的信道并切换到最优的信道。

发明人还提供一种基于WFD的影像分享系统，包括源端设备，所述源端设备包括同屏数据生成单元，同屏控制单元；

所述同屏控制单元用于接收目的端向已连接的源端发送更新图层指令，并将获得的同屏图像数据发送给目的端；

所述同屏数据生成单元用于获得源端当前显示图层并根据设定的分辨率生成同屏图像数据。

进一步，所述同屏控制单元还可用于复制当前显示图层存为副本并删除源端当前显示图层并根据设定的分辨率和副本生成同屏图像数据。

进一步，所述方向采集单元用于采集源端设备的屏幕方向信息，并通过同屏控制单元发送给目的端设备。

进一步，所述源端设备还包括：分辨率和帧率控制单元、电量检测单元；

所述电量检测单元用于检测源端设备的电量，当源端设备的电量小于第一设置值时，通知分辨率和帧率控制单元；

所述分辨率和帧率控制单元用于当电量小于第一设置值时，或降低用于生成同屏图像的分辨率，或通过同屏控制单元通知目的端，并当通知到达后开始分辨率或帧率的协商。

进一步，所述源端设备还包括：信道协商单元；

所述信道协商单元用于在影像分享过程中，检测源端与目的端之间的丢包率，并当丢包率达到第三设置值时，还用于探测可用的信道并切换到最优的信道。

进一步，包括目的端设备，所述目的端设备还包括：同屏控制单元；

所述同屏控制单元用于向已连接的源端发送更新图层指令，控制显示接收到的同屏图像；

进一步，所述目的端设备还包括：绘制单元和图层合成单元；

所述绘制单元用于采集绘制动作生成绘制信息；

所述图层合成单元用于生成透明图层，并将绘制信息保留到透明图层中，将透明图层和接收到的同屏图像叠加生成新的同屏图像并显示。

进一步，所述目的端设备包括：旋转控制单元；

所述旋转控制单元用于接收到源端的屏幕方向信息，并当根据接收到的屏幕信息判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。

进一步，所述目的端设备还包括：分辨率和帧率控制单元、电量检测单元；

所述电量检测单元用于检测目的端设备的电量，当目的端设备的电量小于第一设置值时，通知分辨率和帧率控制单元；

所述分辨率和帧率控制单元用于当电量小于第一设置值时，或通过同屏控制单元通知源端的分辨率和帧率控制单元，或当所述通知到达后开始分辨率或帧率的协商。

进一步，所述源端设备还包括：信道协商单元；

所述信道协商单元用于在影像分享过程中，检测源端与目的端之间的丢包率，并当丢包率达到第三设置值时，还用于探测可用的信道并切换到最优的信道。

区别于现有技术，通过目的端发起更新图层指令，源端根据更新图层指令更新一帧同屏共享的图像，使得源端的屏幕显示信息中的隐私数据共享的过程中得到较好的保护。

附图说明

图1为本发明的一种具体实施方式；

图2为本发明的一种具体实施方式；

图3为本发明的一种具体实施方式；

图4为本发明的一种具体实施方式；

图5为本发明的一种模块结构示意图。

附图标记说明：

101、同屏数据生成单元；

102、同屏控制单元；

103、方向采集单元；

104、信道协商单元；

105、分辨率和帧率控制单元；

106、电量检测单元；

202同屏控制单元；

203旋转控制单元；

204信道协商单元；

205分辨率和帧率控制单元；

206电量检测单元；

207绘制单元；

208图层合成单元；

301本地图层；

302共享图层。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。在以下描述中，出于解释目的阐述了众多的具体细节以提供对一个或更多个方面的透彻理解。但是显而易见的是，没有这些具体细节也可实践此类方面。

参照图1，发明人提供一种基于WFD的影像分享方法，目的端向已连接的源端发送更新图层指令，源端接收更新图层指令后，源端将当前显示图层作为同屏图像数据通过WFD协议向目的端发送。

所述源端是WFD协议中的源端，所述目的端是WFD协议中的目的端。在WFD设备互相发现、连接和协商参数之后，所述源端可以不即刻向目的端发送源端当前显示图层。而是当目的端发起更新图层指令，并当该指令到达源端之后，源端根据协商的参数向目的端发送源端的显示数据。优选的参数中帧率为0，即源端发送显示数据后，不再主动发送显示数据，直到源端接收到下一更新图层指令。在另一些实施例中，源端在接收到跟新图层指令后，用户根据具体使用场景可以选择接受该指令立即发送源端的屏幕显示图像，也可以选择接受该指令但不立即执行，也可以稍后接受该指令。

区别于现有技术，通过目的端发起更新图层指令，源端根据更新图层指令更新一帧同屏共享的图像，使得源端的屏幕显示信息中的隐私数据共享的过程中得到较好的保护。

参照图2，在另一些实施例中源端在接收更新图层指令后，源端存在两个图层缓冲区，一个图层缓冲区，也被称作共享图层302，用于存储分享到目的端的屏幕显示图像信息；另一个图层，也被称作本地图层301，用于存储源端的本地屏幕图像，所述本地屏幕图像包括了本地操作各种响应图像。在一些实施例中，用户可以手动将本地图层中的数据更新到共享图层中；共享图层以一定的帧率发送到目的端。帧率可以设置为常量也可以是变化量，例如根据局域网网速或丢包率设置动态帧率。通过两个不同的图层缓冲区将本地显示图像与共享的图像区分开来，实现源端与目的端显示不同内容。

在另一些实施例中当更新本地图层到共享图层后，删除本地图层以节约内存。

参照图3在另一些实施例中，目的端设备还存在透明图层，所述透明图层用于保存在目的端的绘制信息，该绘制信息是指在手动或自动在目的端屏幕或通过其他输入设备绘制的信息。例如在显示PPT显示信息时，通过鼠标在PPT上绘制的线条等。优选的在绘制时实时显示绘制结果，以及将绘制信息保存到透明图层中，将透明图层和接收到的图片图像数据叠加显示。

参照图4在另一些实施例中，远端设备还监测源端设备的屏幕方向信息，并将检测的屏幕方向发生改变时，将改变后屏幕方向信息发送给目的端设备。例如源端设备从横屏显示切换为竖屏显示，则目的端设备在接受到源端屏幕方向改变信息后，优选的，根据接收到同屏显示画面的长宽比，调整同屏画面的显示。

在另一些实施例中，在基于WFD影像分享的过程中，源端或目的端还检测各自的电量。在一种实施例中，源端设备检测到源端设备的电量低于设置值时，将主动降低源端设备发送同屏图像的分辨率和发送帧率，以控制电量的消耗。WFD协议的参数协定，决定需要使用的最佳参数，包括音视频解码率，分辨率，信道负载等等。在另一些源端设备在检测到源端设备电量低于设置值或目的端检测到目的端设备的电量低于设置值时，启动分辨率和帧率的协定，协定是基于源端和目的端的分辨率、帧率和电量优先级，以及源端和目的之间的优先级。源端设备以协协定后的分辨率和帧率发送同屏图像。在一些实施例中，当一方电量低时，在开始协定之前，还包括通知另一方。

在另一些实施例中，在基于WFD影像分享的过程中，源端或目的端还检测源端与目的端之间的丢包率，当丢包率达到设置值时，则可以通知源端，并开始信道协定。优选的当丢包率达到设置值时，则探测可用的信道并切换到最优的信道。

将上述各方面或特征将以可包括数个设备、组件、模块、单元及类似物的系统的方式来呈现。将理解和领会，各种系统可包括附加的设备、组件、模块等，和/或可以并不完全包括结合这些附图所讨论的设备、组件、模块等。也可以使用这些办法的组合。

发明人还提供一种影像分享系统，包括源端设备和目的端设备，源端设备和目的端设备可以是膝上型计算机、个人数字助理(PDA)、移动电话等，优选的源端和目的端设备都具有Wi-Fi模块。源端设备包含一个或多个屏幕，目的端包含至少一个显示设备。

参照图5所述源端设备包括：同屏数据生成单元101，同屏控制单元102；所述同屏控制单元101用于接收目的端向已连接的源端发送更新图层指令，并将获得的同屏图像数据发送给目的端；所述同屏数据生成单元102用于获得源端当前显示图层并根据设定的分辨率生成同屏图像数据。

在另一些实施例中，所述同屏控制单元102还可用于复制当前显示图层存为副本并删除源端当前显示图层并根据设定的分辨率和副本生成同屏图像数据。

在另一些实施例中，所述源端设备还包括：方向采集单元103；所述方向采集单元用于采集源端设备的屏幕方向信息，并通过同屏控制单元102发送给目的端设备。

在另一些实施例中，所述源端设备还包括：分辨率和帧率控制单元105、电量检测单元106；所述电量检测单元106用于检测源端设备的电量，当源端设备的电量小于第一设置值时，通知分辨率和帧率控制单元105；所述分辨率和帧率控制单元105用于当电量小于第一设置值时，或降低用于生成同屏图像的分辨率，或通过同屏控制单元通知目的端，并当通知到达后开始分辨率或帧率的协商。在另一些场景中帧率也被称作是解码率或码率。

在另一些实施例中，所述源端设备还包括：信道协商单元104；所述信道协商单元104用于在影像分享过程中，检测源端与目的端之间的丢包率，并当丢包率达到第三设置值时，还用于探测可用的信道并切换到最优的信道。

在另一些实施例中，包括目的端设备，所述目的端设备还包括：同屏控制单元202；所述同屏控制单元202用于向已连接的源端发送更新图层指令，控制显示接收到的同屏图像；

在另一些实施例中，所述目的端设备还包括：绘制单元207和图层合成单元208；所述绘制单元207用于采集绘制动作生成绘制信息；所述图层合成单元208用于生成透明图层，并将绘制信息保留到透明图层中，将透明图层和接收到的同屏图像叠加生成新的同屏图像并显示。

在另一些实施例中，所述目的端设备包括：旋转控制单元203；所述旋转控制单元203用于接收到源端的屏幕方向信息，并当根据接收到的屏幕信息判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。

在另一些实施例中，所述目的端设备还包括：分辨率和帧率控制单元205、电量检测单元206；所述电量检测单元206用于检测目的端设备的电量，当目的端设备的电量小于第一设置值时，通知分辨率和帧率控制单元205；所述分辨率和帧率控制单元205用于当电量小于第一设置值时，或通过同屏控制单元通知源端的分辨率和帧率控制单元，或当所述通知到达后开始分辨率或帧率的协商。

在另一些实施例中，所述源端设备还包括：信道协商单元204；所述信道协商单元用于在影像分享过程中，检测源端与目的端之间的丢包率，并当丢包率达到第三设置值时，还用于探测可用的信道并切换到最优的信道。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (13)

1.一种基于WFD的影像分享方法，其特征在于，包括步骤：

目的端向已连接的源端发送更新图层指令，源端接收更新图层指令后，源端将当前显示图层作为同屏图像通过WFD协议向目的端发送；

还包括步骤：目的端生成透明图层，并采集绘制动作生成绘制信息，将绘制信息保留到透明图层中，将透明图层与接收到的同屏图像叠加产生新的同屏图像并显示。

2.如权利要求1所述的一种基于WFD的影像分享方法，其特征在于，

所述源端接收更新图层指令后,还包括步骤：

源端复制当前显示图层存为副本并删除源端当前显示图层，源端将所述副本作为同屏图像通过WFD协议发送到目的端。

3.如权利要求1或2所述的一种基于WFD的影像分享方法，其特征在于，

还包括步骤：源端向目的端发送源端设备的屏幕方向信息，当目的端接收到所述屏幕方向信息后判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。

4.如权利要求1所述的一种基于WFD的影像分享方法，其特征在于，

还包括步骤：在影像分享过程中源端还检测源端设备的电量，当检测到源端设备的电量低于第一设置值时，则降低生成的同屏图像的分辨率或发送帧率，或通知目的端，并开始分辨率或帧率协商。

5.如权利要求1所述的一种基于WFD的影像分享方法，其特征在于，

还包括步骤：

在影像分享过程中目的端还检测目的端设备的电量，当检测到目的端的电量低于第二设置值时，则通知源端，并开始分辨率或帧率的协商。

6.如权利要求1所述的一种基于WFD的影像分享方法，其特征在于，

还包括步骤：

在影像分享过程中，源端或目的端还检测源端与目的端之间的丢包率，当丢包率达到第三设置值时，则探测可用的信道并切换到最优的信道。

7.一种基于WFD的影像分享系统，其特征在于，

包括源端设备，所述源端设备包括：

同屏数据生成单元，同屏控制单元；

所述同屏控制单元用于接收目的端向已连接的源端发送更新图层指令，并将获得的同屏图像数据发送给目的端；

所述同屏数据生成单元用于获得源端当前显示图层并根据设定的分辨率生成同屏图像数据；

包括目的端设备，所述目的端设备还包括：同屏控制单元；

所述同屏控制单元用于向已连接的源端发送更新图层指令，控制显示接收到的同屏图像；

所述目的端设备还包括：绘制单元和图层合成单元；

所述绘制单元用于采集绘制动作生成绘制信息；

所述图层合成单元用于生成透明图层，并将绘制信息保留到透明图层中，将透明图层和接收到的同屏图像叠加生成新的同屏图像并显示。

8.如权利要求7所述的一种基于WFD的影像分享系统，其特征在于，

所述同屏数据生成单元还用于复制当前显示图层存为副本并删除源端当前显示图层并根据设定的分辨率和副本生成同屏图像数据。

9.如权利要求7所述的一种基于WFD的影像分享系统，其特征在于，

所述源端设备还包括：方向采集单元；

所述方向采集单元用于采集源端设备的屏幕方向信息，并通过同屏控制单元发送给目的端设备。

10.如权利要求7所述的一种基于WFD的影像分享系统，其特征在于，

所述源端设备还包括：分辨率和帧率控制单元、电量检测单元；

所述电量检测单元用于检测源端设备的电量，当源端设备的电量小于第一设置值时，通知分辨率和帧率控制单元；

所述分辨率和帧率控制单元用于当电量小于第一设置值时，或降低用于生成同屏图像的分辨率，或通过同屏控制单元通知目的端，并当通知到达后开始分辨率或帧率的协商。

11.如权利要求7所述的一种基于WFD的影像分享系统，其特征在于，

所述源端设备还包括：信道协商单元；

所述信道协商单元用于在影像分享过程中，检测源端与目的端之间的丢包率，并当丢包率达到第三设置值时，还用于探测可用的信道并切换到最优的信道。

12.如权利要求7所述一种基于WFD的影像分享系统，其特征在于，

所述目的端设备包括：旋转控制单元；

所述旋转控制单元用于接收到源端的屏幕方向信息，并当根据接收到的屏幕方向信息判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。

13.如权利要求7所述一种基于WFD的影像分享系统，其特征在于，

所述目的端设备还包括：分辨率和帧率控制单元、电量检测单元；

所述电量检测单元用于检测目的端设备的电量，当目的端设备的电量小于第二设置值时，通知分辨率和帧率控制单元；

所述分辨率和帧率控制单元用于当电量小于第二设置值时，通过同屏控制单元通知源端的分辨率和帧率控制单元，当所述通知到达后开始分辨率或帧率的协商。