CN109508162A - 一种投屏显示方法、系统及存储介质 - Google Patents

Abstract

本发明涉及图像显示技术领域，提供了一种投屏显示方法、系统及存储介质，所述方法包括以下步骤：实时接收一个以上的投屏设备发送的投屏图像；从所述投屏图像中选取子图像；将所述子图像处理后实时显示于显示屏上。区别于现有技术，上述技术方案中投屏设备只需发送完整的投屏图像，由显示设备从所述投屏图像中选取子图像进行显示，并且所述显示设备可对所述子图像进行处理后进行显示，使图像投屏显示更灵活，使其达到更好的显示效果以及具有更好的通用性。

Description

一种投屏显示方法、系统及存储介质

技术领域

本发明涉及图像显示技术领域，特别是涉及将图像由一个设备投屏至另一设备的投屏显示方法、系统及存储介质。

背景技术

投屏是指将设备A的显示图像投屏至设备B中，使设备B也能够同步显示设备A的显示图像。通过投屏技术可以将显示屏较小的设备的显示图像(例如手机、平板电脑)，投射至大屏显示设备上(例如电视、车载多媒体显示屏)，从而达到更好的观看效果，以及便于与多人分享显示图像。

在现有技术中，常见的投屏方式主要有两种，一种是屏幕镜像投屏，即将设备A(即投屏设备)显示的全部内容完整的投射至设备B(即显示设备)上，使设备B显示的内容与设备A显示的内容完全一致。另一种是特定内容投屏，即投屏设备A通过发送点播地址的方式将显示资源发送给显示设备进行显示。具体为：所述设备A只给设备B提供一个点播地址(该点播地址的播放内容为设备A某一显示区域的显示内容)，由设备A和设备B同时点播该数据源，从而在视觉上实现部分显示区域投屏的效果。

然而，上述屏幕镜像投屏和特定投屏无法对投屏图像的显示范围进行调整，即显示设备无法对显示图像的显示大小、显示区域等参数进行调整，显示设备只能以全屏的方式显示投屏设备发送的图像；并且当投屏设备为竖屏设备显示设备为横屏设备时，投屏设备发送的为竖屏投屏图像，而显示设备只能对投屏图像进行缩小后显示，从而使显示画面中存在大量的黑边区域，严重影响显示效果。

发明内容

为此，需要提供一种投屏显示方法，用于解决上述现有投屏技术所存在的技术问题。

为实现上述目的，发明人提供了一种投屏显示方法，所述方法包括以下步骤：

实时接收一个以上的投屏设备发送的投屏图像；

从所述投屏图像中选取子图像；

将所述子图像处理后实时显示于显示屏上。

进一步的，所述步骤“从所述投屏图像中选取子图像”包括：从所述投屏图像的不同区域选取两个以上的子图像；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：将两个以上的所述子图像处理后实时显示于所述显示屏上的不同位置。

进一步的，所述步骤“从所述投屏图像中选取子图像”包括：从不同投屏设备发送的两个以上的所述投屏图像中分别选取子图像；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：将所选取的两个以上所述子图像处理后实时显示于所述显示屏上的不同位置。

进一步的，在所述步骤“将所述子图像处理后实时显示于显示屏上”中，对所述子图像的处理包括：

对单个所述子图像的大小进行缩放处理；或对两个以上所述子图像的大小进行缩放处理以及对所述子图像的显示位置进行调整。

进一步的，选取的所述子图像为矩形图像，所述“所述子图像的大小进行缩放处理”包括：

根据所述子图像以及所述子图像的预定显示区域的大小，计算转换矩阵；

根据所述转换矩阵对所述子图像进行转换，使转换后的子图像的大小与所述预定显示区域相适配。

进一步的，在所述步骤“将所述子图像处理后实时显示于显示屏上”之前，还包括：

获取本地图像；以及

对所述子图像和所述本地图像进行合成；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：

将合成后所得到的图像实时显示于所述显示屏上。

进一步的，所述步骤“对所述子图像和所述本地图像进行合成”是通过GPU或HWC完成。

进一步的，在所述步骤“实时接收投屏设备发送的投屏图像”之前还包括步骤：

投屏设备向显示设备发送屏幕镜像图像，或投屏设置从显示图像中选取子图像发送给显示设备。

进一步的，所述方法是基于Android操作系统。

为解决上述技术问题，本发明还提供了一种投屏显示系统，包括投屏设备和显示设备；

所述投屏设备用于向所述显示设备实时发送投屏图像，所述投屏图像为屏幕镜像图像或屏幕镜像的局部图像；

所述显示设备用于将所述投屏图像中的子图像实时显示于显示屏上，其中，所述显示设备通过执行以上任一技术方案所述的投屏显示方法将所述子图像实时显示于显示屏上。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以上任一项技术方案所述的步骤。

区别于现有技术，上述技术方案中投屏设备只需发送投屏图像，由显示设备从所述投屏图像中选取子图像进行显示，从而大大减少了投屏设备的数据处理量，并且所述显示设备可对所述子图像进行处理后进行显示，使图像投屏显示更灵活，使其达到更好的显示效果以及具有更好的通用性。

并且，上述技术方案的投屏端发送的投屏图像可以为屏幕镜像的局部图像，显示设备也可从投屏图像中选取子图像进行显示，因此在投屏设备与显示设备上均可对显示图像进行选择操作，使投屏显示操作更加灵活方便。

并且，上述技术方案的显示设备可同时接收两个投屏设备发送的投屏图像，并从中选取子图像进行集中显示，使显示的内容带丰富，应用更加广泛。

并且，上述技术方案可将接收的投屏图像与显示设备的本地图像进行结合显示，使显示的内容带丰富，应用更广泛，实现一机多用。

并且，上述技术方案显示设备在显示前可对图像进行处理，可对子图像的显示区域大小以及位置进行任意调整，因此可在横屏显示设备中以满屏或任意大小的显示竖屏设备发送的竖屏投屏图像。

附图说明

图1a为具体实施方式投屏显示的示意图；

图1b为具体实施方式中显示设备同时显示两个投屏设备发送的图像的示意图；

图2a为具体实施方式所述投屏显示方法的流程图；

图2b为另一具体实施方式中投屏显示的示意图；

图3为具体实施方式所述投屏显示方法的流程图；

图4为具体实施方式所述投屏显示方法的流程图；

图5为具体实施方式所述计算机存储介质的框图；

附图标记说明：

101、投屏设备；

102、显示设备；

103、投屏图像；

500、计算机可读存储介质；

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1a，为本发明具体实施方式一种投屏显示方法的示意图。其中，该投屏显示方法涉及到投屏设备101和显示设备102，由图上可知，其中所述投屏设备101生成投屏图像103，并发送给显示设备102，所述显示设备102显示投屏图像103中的部分区域的图像，从而实现特定投屏显示。其中，所述显示设备102可接收并显示一个投屏设备101发送的投屏图像103的部分区域的图像。例如，在图1a中，投屏设备101所发送的投屏图像中包括了窗口A和窗口B，而在显示设备102中只同步显示所述窗口A，而不显示所述窗口B。所述显示设备102也可接收并显示两个以上的投屏设备101发送的投屏图像103的部分区域的图像。例如，在图1b中，所述显示设备102可同时接收两个以上所述投屏设备101发送的投屏图像103，并将第一个投屏设备(左侧)的投屏图像中的窗口A，以及第二个投屏设备(右侧)的投屏图像中的窗口D显示于屏幕上。

请参阅图2a，为所述投屏显示方法的具体流程图。所述投屏显示方法包括以下步骤：

首先进入步骤S201、实时接收一个以上投屏设备发送的投屏图像。

其中，所述投屏图像是由投屏设备发送的，所述投屏图像的具体内容可以与所述投屏设备的显示屏所显示的内容相一致，并且所述投屏图像可以为静态图像、动态图像或静动态相结合的混合图像。所述静动态相结合的混合图像是指同一图像中即包含静态图像(例如静态背景图像)，又包含动态图像(例如视频播放窗口或字幕)。例如，如图1a所示，在本实施方式中，所述投屏图像103中至少包含有窗口A和窗口B，其中，窗口A和窗口B可以由两个不同的应用程序的交互窗口，例如窗口A为视频播放窗口，窗口B为微信聊天窗口。

所述投屏图像可以由所述投屏设备通过现有的Airplay、DLNA或Miracast等投屏技术生成的，用于发送给显示设备进行显示的图像，在通常情况下，这种投屏图像为投屏设备显示屏的显示图像。该投屏图像可由投屏设备的内核生成，并通过现有的投屏协议发送给显示设备。其中所述内核生成的图像还发送给投屏设备的显存，由显存推送至显示屏进行显示，从而使显示屏显示的图像与投屏图像保持一致。

当然，在一些实施方式中，所述投屏设备可以使用上述投屏技术之外的其他方式向显示设备发送投屏图像，只要能够向所述显示设备实时发送所述投屏设备的显示器所显示的图像即可。

所述在接收所述投屏图像之前，显示设备因与所述投屏设备建立通信连接，其中，通信连接可采用有线通信连接，也可以采用蓝牙、WIFI等无线通信连接。优选的，所述显示设备与所述投屏设备之间采用蓝牙通信连接，并且采用以上所述Airplay、DLNA或Miracast中的一种投屏协议进行投屏图像的发送与实时接收。

在所述显示端接收到所述投屏图像之后，进行步骤S202、从所述投屏图像中选取子图像。

其中，所述子图像是指所述投屏图像中某一区域的图像，该子图像可由显示设备102在所述投屏图像上进行选择，也可在接收到所述投屏图像之前预先进行设定。例如所述子图像可以为投屏图像左上角的一矩形区域的图像。如图1a所示，所述子图像即为窗口A，其中，窗口A可以视频播放窗口，窗口B为微信聊天窗口，为了能够在微信聊天的同时分享视频，而又不想聊天窗口影响显示设备上的视频观看效果，此时可将所述视频播放窗口即窗口A设为(或预设为)所述子图像。

在所述投屏图像上标识所述子图像区域时，可使用子图像所在矩形区域的顶点相对屏幕端点坐标的偏移量来确定。例如当投屏设备与显示设备的显示分辨率均为1280x720时，预将投屏设备中四个顶点<100,100>，<200,100>,<100,200>,<200,200>连接起的矩形区域内的图像标识为子图像，此时可使用矩形区域的四个顶点相对显示屏四个端点的偏移量<left,top,right,bottom>，即<100,100,200,200>，作为子图像区域的标识坐标。

在确定好子图像的选取区域之后，即可从选定区域(即所述标识坐标)截取图像得到所述子图像。

在获取到所述子图像之后，进入步骤S203、将所述子图像处理后实时显示于显示屏上。其中，所述显示设备102可将所述子图像实时发送给显存，由显存推送至显示器进行显示。在子图像显示前可对所述子图像进行图像处理，具体可包括对子图像的大小进行缩放处理，以及对子图像在显示屏上的显示位置进行调整，使其向上、下、左、右各方向移动。

在本实施方式中，所述步骤S201是由显示设备102执行，所述投屏图像由投屏设备101发送，而步骤S202至步骤S203是由显示设备102执行，因此投屏设备101只需将投屏图像103发送给显示设备102，而是由显示设备102从所述投屏图像103中选取子图像进行显示，并且所述显示设备102可对所述子图像进行处理后进行显示，使图像投屏显示更灵活，使其达到更好的显示效果以及具有更好的通用性。

在所述步骤“S202、从所述投屏图像中选取子图像”包括：从不同投屏设备发送的两个以上的所述投屏图像中分别选取子图像；

所述步骤“S203、将所述子图像处理后实时显示于显示屏上”包括：将所选取的两个以上所述子图像处理后实时显示于所述显示屏上的不同位置。

如图1b所示，所述显示设备102可同时接收两个以上所述投屏设备101发送的投屏图像103，并将第一个投屏设备(左侧)的投屏图像中的窗口A，以及第二个投屏设备(右侧)的投屏图像中的窗口D显示于屏幕上。在该实施方式中，显示设备102可同时接收两个投屏设备101发送的投屏图像103，并从中分别选取子图像进行集中显示，使显示的内容带丰富，应用更加广泛。例如，以多人会议为例，假设在会议上需要两位参会人员A和B展示其各自电脑上的内容。在现有技术中，可能需要先将人员A的电脑内容进行投屏显示(或通过数据线连接投影设备)，以分享其电脑上的内容，然后再由人员B分享其电脑上的内容，每次只能显示其中一个参与者的电脑内容。而通过本实施方式中，显示设备可同时与人员A和人员B的电脑连接，分别接收两台电脑发送的投屏图像，并将两台电脑的投屏图像一同显示于显示屏幕上，从而使参会人员可同时观看人员A和人员B的电脑内容，大大提高了图像投屏分享的便捷性。

在上述实施方式中，在步骤S202中，在显示设备在显示所述子图像时，可预先设定所述子图像在显示设备显示屏上的显示位置以及大小，使所述子图像只在显示设备的显示屏的某一区域显示，也可使所述子图像在显示设备全屏显示。

在步骤S201中，所述投屏图像可以是与所述投屏设备101的显示屏图像完全一致的屏幕镜像图像。在另一些实施方式中，所述投屏图像也可以只是所述屏幕镜像图像中的局部图像，即投屏设备101在发送投屏图像之前，预先对屏幕镜像图像进行处理，可只截取屏幕镜像图像的一部分，即选择屏幕镜像图像的局部图像当作投屏图像发送给显示设备。例如，在图2b中，所述投屏设备101的屏幕镜像图像中具有窗口A和窗口B，而所述投屏设备101所发送的投屏图像103中只有窗口B(而没有窗口A)。

而在所述步骤S202中，所述显示设备102从所述投屏图像103中选取子图像，除了可以只选取所述投屏图像103中的部分图像，也可以将整个所述投屏图像当做所述子图像进行显示。因此，使所述显示设备102上所显示的图像与所述投屏设备101所发送的投屏图像完全一致。例如，在图2b中，所示显示设备102将所述投屏设备101所发送的投屏图像(窗口B)完全显示于屏幕上。在该实施方式中，可仅在投屏设备101上进行图像选取操作，从投屏设备101的显示图像中选择要分享的投屏图像(如图2b中，选取窗口B，而排除窗口A)，投屏设备101的使用者可根据需要选择需要分享的投屏图像，而在显示设备102上则无需进行选取操作，显示设备102使用者也无法知道投屏设备101屏幕所显示的所有内容，因此，使投屏显示更加灵活、方便。

如图3所示，在一实施方式中提供了一投屏显示方法，该投屏显示方法包括步骤S301至S304，其中，步骤S301和步骤S302与上述图2a所示实施方式中的步骤S101和S102一致。相对于图2a所示的投屏显示方法，在本实施方式中，显示设备102在执行步骤将所述子图像处理后实时显示显示屏上之前，包括步骤：S303、对所述子图像进行调整，使调整后的子图像与所述显示屏中的预定显示区域相适配，其中，所述调整包括对所述子图像进行平移或子图像显示大小缩放等操作。

例如将以上所述的标识坐标<100,100,200,200>的子图像进行平移时，只需在显示设备上按相同的偏移量a修改所述标识坐标，得到修改后的标识坐标<100+a,100+a,200+a,200+a>，然后在标识坐标<100+a,100+a,200+a,200+a>的区域内显示所述子图像即可。

而在显示设备对所述子图像进行缩小或放大显示时，可通过转换矩阵对所述子图像的标识坐标进行转换，然后再进行显示。例如，在分辨率为1280*780的所述显示设备上全屏显示所述子图像时(显示区域为<0,0,1280,720>)，先根据所述标识坐标<100,100,200,200>以及显示设备的分辨率1280*780，得到转换矩阵：

然后所述显示设备根据所述转换矩阵对所述子图像进行转换：

使投屏图像中标识坐标<100,100,200,200>区域内图像在显示设备整个显示屏<0,0,1280,720>上显示。进步骤S303之后进入步骤S304、将调整后的所述子图像实时显示于显示屏上。

对所述子图像在显示设备上缩小显示或非全屏的放大显示的情况均可通过对应的转换矩阵而得，此处就不再赘述。

除了以上所述的采用矩形区域选取子图像，在其他实施方式中，还可采用圆形、椭圆形、星形等其他形状框选子图像，使子图像能够呈现不同的轮廓，从而达到不同的视觉效果。当采用圆形框选子图像时，可使用圆形的圆心坐标以及半径来确定所框选的子图像；而采用星形等其他形状框选子图像时，可使用各顶点的坐标来确定所框选的子图像。所述子图像选取的具体方式与以上所述的矩形区域选取方式相似，这里就不再详细赘述。

在上述实施方式中，所述显示设备102可以在所述投屏图像中仅选择一个子图像进行投屏显示，也可以同时选择两个以上不同区域的子图像进行投屏显示。其中，如图4所示，所述投屏显示方法包括步骤S401至步骤S404，其中，S401与上述实施方式中步骤S101相同，当显示设备102选择两个以上不同区域的子图像进行投屏显示时，具体的执行步骤包括：S401至S404，其中，显示设备102在步骤S403中从所述投屏图像中选取子图像时，需要从所述投屏图像103的不同区域选取两个以上的子图像；并且在将所述子图像实时显示于显示屏上时，需要将两个以上的所述子图像显示于所述显示屏上的不同位置。

现有的智能手机等设备能够同时执行两个以上的应用程序并在显示屏上显示相应的应用程序窗口，通过上述同时投屏两个以上子图像，可在显示设备上同时投屏显示两个以上的应用程序窗口，而对一些应用程序窗口则可选择不显示，从而大大提高了投屏的灵活性和便捷性。

当所述显示设备102仅选取一个所述子图像时，可对该子图像进行以上所述的平移或显示大小缩放操作；而当所述显示设备102选取两个以上所述子图像时，同样可对各所述子图像进行平移或大小缩放操作，使各子图像能够在显示设备的屏幕上合理的分布，或能够按照使用者的设置进行显示。

在一些实施方式中，所示显示设备102除了显示所述子图像之外，还可显示其他应用程序的显示界面；

在上述实施方式中，所涉及的均是在所述显示设备102上显示来自投屏设备101的投屏图像103中的一个或两个以上的子图像。而在另一些实施方式中，所述显示设备102除了投屏显示所述子图像之外，还可同时显示来自显示设备自身的本地图像。其具体的实施方式为，在执行上述实施方式的步骤S201至S203之外，还包括步骤：

获取显示设备的本地图像；所述本地图像可由显示设备102所运行的应用程序所产生的，例如聊天窗口，视频播放窗口或游戏显示窗口等。

在获取到所述本地图像后进入步骤：对所述子图像和所述本地图像进行合成；其中，所述合成包括了通过以上实施方式所述的平移或缩放步骤对所述子图像以及本地图像进行调整，使其在显示设备的显示屏上合理的分布。

在对所述子图像和所述本地图像进行合成后，进入步骤：将合成后所得到的图像实时显示于所述显示屏上。

现有的投屏技术中，显示设备只能显示来至投屏设备的投屏显像，在这种情况下，显示设备的使用者无法对显示设备中运行的其他应用程序进行操作(除非退出投屏显示状态)。而在本实施方式中，通过将来至投屏设备的子图像与来至显示设备自身的本地图像进行合成，然后再进行实现显示，因此即能显示投屏设备的子图像(例如投屏设备分享的视频)，又能显示自身应用程序的图像(微信聊天窗口)，大大提高了显示设备的使用灵活性。

为了提高图像处理效率，保证投屏显示的同步性，对所述子图像和所述其他图像进行合成可通过GPU完成。在一些实施方式中，对所述子图像和所述其他图像进行合成也可通过HWC完成。

其中，所述GPU为图形处理器，用于将显示信息进行处理和转换，并向显示器提供行扫描信号，控制显示器的正确显示。所述HWC是指利用硬件完成图像数据的组合并显示，具体到代码级别它是由多个类如SurfaceFlinger、HWComposer、DisplayDevice等协同完成的一种功能(能力)。通过所述GPU或HWC可进一步缩短显示设备投屏显示的延迟时间，达到更好的同步性。

在上述实施方式中，所述显示设备和所述投屏设备可以为智能手机、平板电脑或机顶盒等基于Android操作系统的终端，即所述投屏显示方法是基于Android操作系统执行的。在另一些实施方式中，所述显示设备和所述投屏设备也可以为基于IOS操作系统的终端，或者所述显示设备和所述投屏设备其中一方为Android操作系统的终端，另一方为基于IOS操作系统的终端。

本发明还提供了一种投屏显示系统，如图1a所示，所述投屏显示系统包括投屏设备101和显示设备102。其中，所述投屏设备101可以为以上实施方式所述的投屏设备，用于向所述显示设备实时发送投屏图像，其中，如图1a和图2b所示，所述投屏图像为屏幕镜像图像或屏幕镜像的局部图像。

所述显示设备102可以为以上实施方式所述的显示设备，用于接收所述投屏图像103，从所述投屏设备101发送的投屏图像中选取子图像，以及将所述子图像显示于显示屏上。如图1b所示，投屏显示系统中一台显示设备102可同时接收两个以上的投屏设备101发送的投屏图像，并分别从所述投屏图像中选取子图像在显示设备屏幕上一同显示。

如图5所示，本发明还提供了一种计算机可读存储介质500。所述计算机可读存储介质500上存储有计算机程序，所述程序被处理器执行时执行以下步骤：

S201、实时接收一个以上投屏设备发送的投屏图像；

其中，所述投屏图像是由投屏设备发送的，所述投屏图像的具体内容可以与所述投屏设备的显示屏所显示的内容相一致，并且所述投屏图像可以为静态图像、动态图像或静动态相结合的混合图像。所述静动态相结合的混合图像是指同一图像中即包含静态图像(例如静态背景图像)，又包含动态图像(例如视频播放窗口或字幕)。例如，如图1a所示，在本实施方式中，所述投屏图像103中至少包含有窗口A和窗口B，其中，窗口A和窗口B可以由两个不同的应用程序的交互窗口，例如窗口A为视频播放窗口，窗口B为微信聊天窗口。

所述投屏图像可以由所述投屏设备通过现有的Airplay、DLNA或Miracast等投屏技术生成的，用于发送给显示设备进行显示的图像，在通常情况下，这种投屏图像为投屏设备显示屏的显示图像。该投屏图像可由投屏设备101的内核生成，并通过现有的投屏协议发送给显示设备。其中所述内核生成的图像还发送给投屏设备的显存，由显布推送至显示屏进行显示，从而使显示屏显示的图像与投屏图像保持一致。

当然，在一些实施方式中，所述投屏设备101可以使用上述投屏技术之外的其他方式向显示设备发送投屏图像，只要能够向所述显示设备实时发送所述投屏设备的显示器所显示的图像即可。

所述在接收所述投屏图像之前，显示设备102因与所述投屏设备建立通信连接，其中，通信连接可采用有线通信连接，也可以采用蓝牙、WIFI等无线通信连接。优选的，所述显示设备与所述投屏设备之间采用蓝牙通信连接，并且采用以上所述Airplay、DLNA或Miracast中的一种投屏协议进行投屏图像的发送与实时接收。

步骤S202、从所述投屏图像中选取子图像。

其中，所述子图像是指所述投屏图像中某一区域的图像，该子图像可由显示设备在所述投屏图像上进行选择，也可在接收到所述投屏图像之前预先进行设定。例如所述子图像可以为投屏图像左上角的一矩形区域的图像。如图1a所示，所述子图像即为窗口A，其中，窗口A可以视频播放窗口，窗口B为微信聊天窗口，为了能够在微信聊天的同时分享视频，而又不想聊天窗口影响显示设备上的视频观看效果，此时可将所述视频播放窗口即窗口A设为(或预设为)所述子图像。

在所述投屏图像上标识所述子图像区域时，可使用子图像所在矩形区域的顶点相对屏幕端点坐标的偏移量来确定。例如当投屏设备与显示设备的显示分辨率均为1280x720时，预将投屏设备中四个顶点<100,100>，<200,100>,<100,200>,<200,200>连接起的矩形区域内的图像标识为子图像，此时可使用矩形区域的四个顶点相对显示屏四个端点的偏移量<left,top,right,bottom>，即<100,100,200,200>，作为子图像区域的标识坐标。

在确定好子图像的选取区域之后，即可从选定区域(即所述标识坐标)截取图像得到所述子图像。

步骤S203、将所述子图像处理后实时显示于显示屏上。其中，所述显示设备可将所述子图像实时发送给显存，由显存推送至显示器进行显示。在子图像显示前可对所述子图像进行图像处理，具体可包括对子图像的大小进行缩放处理，以及对子图像在显示屏上的显示位置进行调整，使其向上、下、左、右各方向移动。

在本实施方式中，所述步骤S201是由显示设备102执行，所述投屏图像由投屏设备101，而步骤S202至步骤S203是由显示设备102执行，因此投屏设备101只需将投屏图像103发送给显示设备102，而是由显示设备102从所述投屏图像103中选取子图像进行显示，从而大大减少了投屏设备的数据处理量，对投屏设备的性能要求低，使其具有良好的通用性。

在所述步骤“S202、从所述投屏图像中选取子图像”包括：从不同投屏设备发送的两个以上的所述投屏图像中分别选取子图像；

所述步骤“S203、将所述子图像处理后实时显示于显示屏上”包括：将所选取的两个以上所述子图像处理后实时显示于所述显示屏上的不同位置。

如图1b所示，所述显示设备102可同时接收两个以上所述投屏设备101发送的投屏图像103，并将第一个投屏设备(左侧)的投屏图像中的窗口A，以及第二个投屏设备(右侧)的投屏图像中的窗口D显示于屏幕上。在该实施方式中，显示设备102可同时接收两个投屏设备101发送的投屏图像103，并从中分别选取子图像进行集中显示，使显示的内容带丰富，应用更加广泛。例如，以多人会议为例，假设在会议上需要两位参会人员A和B展示其各自电脑上的内容。在现有技术中，可能需要先将人员A的电脑内容进行投屏显示(或通过数据线连接投影设备)，以分享其电脑上的内容，然后再由人员B分享其电脑上的内容，每次只能显示其中一个参与者的电脑内容。而通过本实施方式中，显示设备可同时与人员A和人员B的电脑连接，分别接收两台电脑发送的投屏图像，并将两台电脑的投屏图像一同显示于显示屏幕上，从而使参会人员可同时观看人员A和人员B的电脑内容，大大提高了图像投屏分享的便捷性。

在上述实施方式中，在步骤S202中，在显示设备在显示所述子图像时，可预先设定所述子图像在显示设备显示屏上的显示位置以及大小，使所述子图像只在显示设备的显示屏的某一区域显示，也可使所述子图像在显示设备全屏显示。

在步骤S201中，所述投屏图像可以是与所述投屏设备101的显示屏图像完全一致的屏幕镜像图像。在另一些实施方式中，所述投屏图像也可以只是所述屏幕镜像图像中的局部图像，即投屏设备101在发送投屏图像之前，预先对屏幕镜像图像进行处理，可只截取屏幕镜像图像的一部分，即选择屏幕镜像图像的局部图像当作投屏图像发送给显示设备。例如，在图2b中，所述投屏设备101的屏幕镜像图像中具有窗口A和窗口B，而所述投屏设备101所发送的投屏图像103中只有窗口B(而没有窗口A)。

而在所述步骤S202中，所述显示设备102从所述投屏图像103中选取子图像，除了可以只选取所述投屏图像103中的部分图像，也可以将整个所述投屏图像当做所述子图像进行显示。因此，使所述显示设备102上所显示的图像与所述投屏设备101所发送的投屏图像完全一致。例如，在图2b中，所示显示设备102将所述投屏设备101所发送的投屏图像(窗口B)完全显示于屏幕上。在该实施方式中，可仅在投屏设备101上进行图像选取操作，从投屏设备101的显示图像中选择要分享的投屏图像(如图2b中，选取窗口B，而排除窗口A)，投屏设备101的使用者可根据需要选择需要分享的投屏图像，而在显示设备102上则无需进行选取操作，显示设备102使用者也无法知道投屏设备101屏幕所显示的所有内容，因此，使投屏显示更加灵活、方便。

如图3所示，在一实施方式中所述程序被处理器执行时执行以下步骤：

步骤S301至S304，其中，步骤S301和步骤S302与上述图2a所示实施方式中的步骤S101和S102一致。相对于图2a所示的投屏显示方法，在本实施方式中，显示设备102在执行步骤将所述子图像处理后实时显示显示屏上之前，包括步骤：S303、对所述子图像进行调整，使调整后的子图像与所述显示屏中的预定显示区域相适配，其中，所述调整包括对所述子图像进行平移或放大或缩小等操作。

例如将以上所述的标识坐标<100,100,200,200>的子图像进行平移时，只需在显示设备上按相同的偏移量a修改所述标识坐标，得到修改后的标识坐标<100+a,100+a,200+a,200+a>，然后在标识坐标<100+a,100+a,200+a,200+a>的区域内显示所述子图像即可。

而在显示设备对所述子图像进行缩小或放大显示时，可通过转换矩阵对所述子图像的标识坐标进行转换，然后再进行显示。例如，在分辨率为1280*780的所述显示设备上全屏显示所述子图像时(显示区域为<0,0,1280,720>)，先根据所述标识坐标<100,100,200,200>以及显示设备的分辨率1280*780，得到转换矩阵：

然后所述显示设备根据所述转换矩阵对所述子图像进行转换：

使投屏图像中标识坐标<100,100,200,200>区域内图像在显示设备整个显示屏<0,0,1280,720>上显示。进步骤S303之后进入步骤S304、将调整后的所述子图像实时显示于显示屏上。

对所述子图像在显示设备上缩小显示或非全屏的放大显示的情况均可通过对应的转换矩阵而得，此处就不再赘述。

除了以上所述的采用矩形区域选取子图像，在其他实施方式中，还可采用圆形、椭圆形、星形等其他形状框选子图像，使子图像能够呈现不同的轮廓，从而达到不同的视觉效果。当采用圆形框选子图像时，可使用圆形的圆心坐标以及半径来确定所框选的子图像；而采用星形等其他形状框选子图像时，可使用各顶点的坐标来确定所框选的子图像。所述子图像选取的具体方式与以上所述的矩形区域选取方式相似，这里就不再详细赘述。

在上述实施方式中，所述显示设备102可以在所述投屏图像中仅选择一个子图像进行投屏显示，也可以同时选择两个以上不同区域的子图像进行投屏显示。其中，如图4所示，所述投屏显示方法包括步骤S401至步骤S404，其中，S401与上述实施方式中步骤S101相同，当显示设备102选择两个以上不同区域的子图像进行投屏显示时，具体的执行步骤包括：S401至S404，其中，显示设备102在步骤S403中从所述投屏图像中选取子图像时，需要从所述投屏图像103的不同区域选取两个以上的子图像；并且在将所述子图像实时显示于显示屏上时，需要将两个以上的所述子图像显示于所述显示屏上的不同位置。

现有的智能手机等设备能够同时执行两个以上的应用程序并在显示屏上显示相应的应用程序窗口，通过上述同时投屏两个以上子图像，可在显示设备上同时投屏显示两个以上的应用程序窗口，而对一些应用程序窗口则可选择不显示，从而大大提高了投屏的灵活性和便捷性。

当所述显示设备102仅选取一个所述子图像时，可对该子图像进行以上所述的平移或显示大小缩放操作；而当所述显示设备102选取两个以上所述子图像时，同样可对各所述子图像进行平移或大小缩放操作，使各子图像能够在显示设备的屏幕上合理的分布，或能够按照使用者的设置进行显示。

在一些实施方式中除了显示所述子图像之外，还显示其他应用程序的显示界面；

在上述实施方式中，所涉及的均是在所述显示设备102上显示来自投屏设备101的投屏图像103中的一个或两个以上的子图像。而在另一些实施方式中，所述程序被处理器执行时除了投屏显示所述子图像之外，执行以还可同时显示来自显示设备自身的图像。其具体的实施方式为，所述程序被处理器执行时除了执行上述实施方式的步骤S201至S203之外，还包括执行步骤：

获取显示设备的本地图像；所述本地图像可由显示设备102所运行的应用程序所产生的，例如聊天窗口，视频播放窗口或游戏显示窗口等。

在获取到所述本地图像后进入步骤：对所述子图像和所述本地图像进行合成；其中，所述合成包括了通过以上实施方式所述的平移或缩放步骤对所述子图像以及本地图像进行调整，使其在显示设备的显示屏上合理的分布。

在对所述子图像和所述本地图像进行合成后，进入步骤：将合成后所得到的图像实时显示于所述显示屏上。

现有的投屏技术中，显示设备只能显示来至投屏设备的投屏显像，在这种情况下，显示设备的使用者无法对显示设备中运行的其他应用程序进行操作(除非退出投屏显示状态)。而在本实施方式中，通过将来至投屏设备的子图像与来至显示设备自身的图像进行合成，然后再进行实现显示，因此即能显示投屏设备的子图像(例如投屏设备分享的视频)，又能显示自身应用程序的图像(微信聊天窗口)，大大提高了显示设备的使用灵活性。

为了提高图像处理效率，保证投屏显示的同步性，对所述子图像和所述本地图像进行合成可通过GPU完成。在一些实施方式中，对所述子图像和所述本地图像进行合成也可通过HWC完成。

其中，所述GPU为图形处理器，用于将显示信息进行处理和转换，并向显示器提供行扫描信号，控制显示器的正确显示。所述HWC是指利用硬件完成图像数据的组合并显示，具体到代码级别它是由多个类如SurfaceFlinger、HWComposer、DisplayDevice等协同完成的一种功能(能力)。通过所述GPU或HWC可进一步缩短显示设备投屏显示的延迟时间，达到更好的同步性。

在上述实施方式中，所述显示设备和所述投屏设备可以为智能手机、平板电脑或机顶盒等基于Android操作系统的终端，即所述投屏显示方法是基于Android操作系统执行的。在另一些实施方式中，所述显示设备和所述投屏设备也可以为基于IOS操作系统的终端，或者所述显示设备和所述投屏设备其中一方为Android操作系统的终端，另一方为基于IOS操作系统的终端。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (11)

1.一种投屏显示方法，其特征在于，所述方法包括以下步骤：

实时接收一个以上的投屏设备发送的投屏图像；

从所述投屏图像中选取子图像；

将所述子图像处理后实时显示于显示屏上。

2.根据权利要求1所述的投屏显示方法，其特征在于，所述步骤“从所述投屏图像中选取子图像”包括：从所述投屏图像的不同区域选取两个以上的子图像；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：将两个以上的所述子图像处理后实时显示于所述显示屏上的不同位置。

3.根据权利要求1所述的投屏显示方法，其特征在于，所述步骤“从所述投屏图像中选取子图像”包括：从不同投屏设备发送的两个以上的所述投屏图像中分别选取子图像；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：将所选取的两个以上所述子图像处理后实时显示于所述显示屏上的不同位置。

4.根据权利要求1所述的投屏显示方法，其特征在于，在所述步骤“将所述子图像处理后实时显示于显示屏上”中，对所述子图像的处理包括：

对单个所述子图像的大小进行缩放处理；或对两个以上所述子图像的大小进行缩放处理以及对所述子图像的显示位置进行调整。

5.根据权利要求4所述的投屏显示方法，其特征在于，选取的所述子图像为矩形图像，所述“所述子图像的大小进行缩放处理”包括：

根据所述子图像以及所述子图像的预定显示区域的大小，计算转换矩阵；

根据所述转换矩阵对所述子图像进行转换，使转换后的子图像的大小与所述预定显示区域相适配。

6.根据权利要求1所述的投屏显示方法，其特征在于，在所述步骤“将所述子图像处理后实时显示于显示屏上”之前，还包括：

获取本地图像；以及

对所述子图像和所述本地图像进行合成；

所述步骤“将所述子图像处理后实时显示于显示屏上”包括：

将合成后所得到的图像实时显示于所述显示屏上。

7.根据权利要求6所述的投屏显示方法，其特征在于，所述步骤“对所述子图像和所述本地图像进行合成”是通过GPU或HWC完成。

8.根据权利要求1所述的投屏显示方法，其特征在于，在所述步骤“实时接收投屏设备发送的投屏图像”之前还包括步骤：

投屏设备向显示设备发送屏幕镜像图像，或投屏设置从显示图像中选取子图像发送给显示设备。

9.根据权利要求1所述的投屏显示方法，其特征在于，所述方法是基于Android操作系统。

10.一种投屏显示系统，包括投屏设备和显示设备，其特征在于：

所述投屏设备用于向所述显示设备实时发送投屏图像，所述投屏图像为屏幕镜像图像或屏幕镜像的局部图像；

所述显示设备用于将所述投屏图像中的子图像实时显示于显示屏上，其中，所述显示设备通过执行权利要求1至9任一所述的投屏显示方法将所述子图像实时显示于显示屏上。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9任一项所述的步骤。