CN114706550A - 投屏显示方法、投屏显示系统、电子设备及存储介质 - Google Patents

Abstract

本申请涉及投屏技术领域，尤其涉及一种投屏显示方法、投屏显示系统、电子设备及存储介质。该投屏显示方法包括以下步骤：接收至少一个源端设备所发送的投屏内容；获取投屏内容对应的投屏界面数量及/或投屏内容的内容信息；获取目标设备显示界面上的空白区域数量；基于投屏界面数量及/或投屏内容的内容信息，确定待显示的虚拟控件组的数量；基于虚拟控件组数量及空白区域数量，自动调整在空白区域内待显示的虚拟控件组；及于空白区域内显示待显示的虚拟控件组。本申请的投屏显示方法，可以根据空白区域数量、虚拟控件组数量，在空白区域中生成并调整虚拟控件组，以方便用户调整投屏内容，提高了用户体验感。

Description

投屏显示方法、投屏显示系统、电子设备及存储介质

技术领域

本申请涉及投屏技术领域，尤其涉及一种投屏显示方法、投屏显示系统、电子设备及存储介质。

背景技术

随着技术的发展，现有的电子设备已可以通过投屏等方式，实现多媒体数据在多个电子设备之间进行切换和显示。

但是，由于不同电子设备的尺寸大小、长宽比例不同，将一个电子设备(即源端设备)的屏幕投屏到目标设备后，目标设备侧边一般都会留有较宽的空白区域，即黑色框边。例如，将电视机播放内容投屏到手机上，用户通常会调整手机上投屏内容所属界面，使投屏内容所属界面与屏幕之间的比值，达到用户正常观看的比例。此时，由于电视的尺寸与手机的尺寸完全不同，投屏内容所属界面无法填充满整个屏幕，这就很容易使目标设备侧边留有较宽的空白区域，如此造成了屏幕的极大浪费，同时也影响了用户体验。

另外，如果用户把多个源端设备投屏至一个目标设备，然后调整投屏内容所属界面大小，使投屏内容所属界面达到正常观看的尺寸大小；此时，目标设备的屏幕上可能会出现更多的空白区域。

综上，投屏时目标设备存在闲置的空白区域，使目标设备的屏幕看起来不够美观，也导致了用户体验感不佳的问题。

发明内容

本申请提供了一种投屏显示方法、投屏显示系统、电子设备及存储介质，可以根据空白区域数量、投屏界面数量，在空白区域中生成虚拟控件，克服了空白区导致的不够美观的问题，以提高用户的体验感。

第一方面，本申请的实施例提供了一种投屏显示方法，所述投屏显示方法包括：

接收至少一个源端设备所发送的投屏内容；

获取所述投屏内容对应的投屏界面数量及/或所述投屏内容的内容信息；

获取所述目标设备显示界面上的空白区域数量；

基于所述投屏界面数量及/或所述投屏内容的内容信息，确定待显示的虚拟控件组的数量；

基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组；及

于所述空白区域内显示待显示的所述虚拟控件组。

目标设备可以确定虚拟控件组的数量，并根据空白区域数量、虚拟控件组数量，自动调整在空白区域中待生成的虚拟控件组，避免了空白区域处的屏幕闲置且无法利用，提高了用户体验感。

在本申请提供的投屏显示方法中，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组，包括：

当所述空白区域数量大于所述虚拟控件组数量时，选择对应虚拟控件组数量的空白区域，并在每个选择的空白区域内，分别分配一组虚拟控件组；在剩余未选择的空白区域内，分配对目标设备的显示参数进行调节的参数调节控件组。

在本申请提供的投屏显示方法中，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量等于所述虚拟控件组数量时，在每个所述空白区域内，分别分配一组虚拟控件组。

在本申请提供的投屏显示方法中，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量小于所述虚拟控件组数量时，为至少一个空白区域分配至少两个投屏内容的虚拟控件组，该空白区域将基于用户对对应投屏内容的界面选择来切换分配对应的虚拟控件组。

在本申请提供的投屏显示方法中，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组，包括：

当所述空白区域数量小于所述虚拟控件组数量时，至少一个所述空白区域及/或所述投屏界面内，分配至少一个选择控件，以供用户切换所述空白区域显示的所述虚拟控件组。

在本申请提供的投屏显示方法中，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量小于所述虚拟控件组数量时，在至少一个所述空白区域内分配至少两个投屏内容的虚拟控件组，当间隔第一预设时间时，该至少一个所述空白区域内将轮流显示至少两个以上的所述投屏界面对应的所述虚拟控件组。

在本申请提供的投屏显示方法中，所述方法还包括：

接收所述源端设备发送的所述投屏内容及/或所述投屏内容相对应的功能控件信息；

根据所述投屏内容或者所述功能控件信息，从预存储的虚拟控件库中选择与所述投屏内容或者所述功能控件信息对应的虚拟控件；

将所述虚拟控件，组成所述虚拟控件组，并于所述空白区域内显示。

第二方面，本申请还提供了一种电子设备，所述电子设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述投屏显示方法的步骤。

第三方面，本申请还提供了一种投屏显示系统，包括至少一个源端设备和目标设备，其中，所述目标设备用于执行上述的投屏显示方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述投屏显示方法的步骤。

相比于现有技术，本申请实施例提供的投屏显示方法中，目标设备显示源端设备发送的投屏内容，根据投屏界面数量及/或投屏内容的内容信息，确定待显示的虚拟控件组的数量，当目标设备屏幕上存在空白区域时，根据空白区域数量、虚拟控件组数量，在空白区域中生成并调整虚拟控件组，以方便用户调整投屏内容，提高了用户体验感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为将源端设备投屏到目标设备的结构示意图。

图2为本申请实施方式提供的第一种投屏显示方法的流程示意图。

图3为本申请实施方式提供的目标设备显示第一种投屏内容的结构示意图。

图4为本申请实施方式提供的目标设备显示第二种投屏内容的结构示意图。

图5a为本申请实施方式提供的目标设备显示第三种投屏内容的结构示意图。

图5b为本申请实施方式提供的目标设备显示第四种投屏内容的结构示意图。

图6a为本申请实施方式提供的目标设备显示第五种投屏内容的结构示意图。

图6b为本申请实施方式提供的目标设备显示第六种投屏内容的第一状态示意图。

图6c为本申请实施方式提供的目标设备显示第六种投屏内容的第二状态示意图。

图6d为本申请实施方式提供的目标设备显示第七种投屏内容的结构示意图。

图7为本申请实施例提供的第二种投屏显示方法的流程示意图。

图8为适于用来实现根据本申请实施方式的投屏显示方法的电子设备的结构示意图。

主要元件及符号说明：

101、源端设备；102、目标设备；103、选择控件。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

应当理解，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一凹槽和第二凹槽仅仅是为了区分不同的凹槽，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

参见图1所示，图1为将源端设备投屏到目标设备的结构示意图。本申请发明人发现，将源端设备投影到目标设备时，目标设备的屏幕可能会存在一些空白区域(即图1中目标设备的黑框区域)。这是因为多数情况下，源端设备与目标设备的尺寸大小是不同的，目标设备接收到投屏内容后，投屏内容所属界面无法填充目标设备的整个屏幕，所以目标设备的屏幕会存在若干个空白区域。

可以理解的是，投屏内容可以包括但不限于：源端设备的屏幕界面，或者源端设备所播放的视频、音频、图像、文档、游戏等等。接收投屏后，目标设备的屏幕上能够显示这些内容。

此外，源端设备可以为电子设备，诸如电视机、手机、平板电脑、膝上型计算机(Laptop)、可穿戴设备(如智能手表)等。需要说明的是，本申请实施方式对电子设备的物理形态不作限定。例如，电子设备可以为可折叠设备、直板设备、翻盖设备等。还需要说明的是，本申请实施方式中的电子设备上还可以安装有智能保护套。在本申请的另一些实施方式中，源端设备也可以为一体机、台式机、智能音箱等。

目标设备主要为用户可以触屏操控或键盘鼠标操控的设备，例如可以为平板电脑、一体机、台式机、可触屏智能电视机、智能手机等，目标设备可以接收并呈现或显示投屏内容的电子设备。

为了解决目标设备的屏幕显示投屏内容时，屏幕上可能存在无用且不美观的空白区域，使用户体验感降低的问题；本申请实施方式提供了一种投屏显示方法，应用于目标设备，该投屏显示方法能够在目标设备屏幕上的空白区域内，显示具有不同功能的虚拟控件，不仅增加了空白区域的利用率，同时克服了不够美观的问题。用户可以通过触碰相应功能的虚拟控件，操控对应的投屏内容，以提高用户体验感。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

参见图2所示，图2为本申请实施方式提供的第一种投屏显示方法的流程示意图。该投屏显示方法可以包括步骤S101-S106。

步骤S101、目标设备接收至少一个源端设备所发送的投屏内容。

在接收投屏之前，该目标设备会与该至少一个源端设备建立连接，并进行通信。其中，源端设备和目标设备可以通过通信网络相连，使源端设备和目标设备处于同一网络下。

上述通信网络可以是局域网(local area networks，LAN)，也可以是广域网(widearea networks，WAN)，例如互联网。该通信网络可使用任何已知的网络通信协议来实现，上述网络通信协议可以是各种有线或无线通信协议，例如，可以是以太网、通用串行总线(universal serial bus，USB)、火线(FIREWIRE)、全球移动通讯系统(global system formobile communications，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址接入(code divisionmultiple access，CDMA)、宽带码分多址(widebandcode division multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)、蓝牙、无线保真(wireless fidelity，Wi-Fi)、NFC、基于互联网协议的语音通话(voice over Internetprotocol，VoIP)、支持网络切片架构的通信协议或任何其他合适的通信协议。示例性地，在一些实施方式中，源端设备可以通过Wi-Fi协议与目标设备建立Wi-Fi连接。

用户可以先打开源端设备，然后使源端设备屏幕所显示的界面，映射到目标设备上，最终目标设备的屏幕可以显示投屏内容。

在一些实施方式中，目标设备可以与一台源端设备相连。例如，目标设备可以为手机，源端设备可以为一台智能电视。智能电视的投屏内容投屏到手机上后，用户可以通过手机观看并操控投屏内容。

在另一些实施方式中，目标设备还可以与两台源端设备相连。例如，目标设备可以为手机，一台源端设备为智能电视，另外一台源端设备为平板电脑。此时，手机可以获取智能电视的投屏内容以及平板电脑的投屏内容，然后同时显示智能电视映射的投屏内容、平板电脑映射的投屏内容。

又或者，用户可以先将手机与智能电视相连。此时，手机可以获取智能电视的投屏内容，然后再通过手机观看并操作智能电视的投屏内容。当用户观看投屏内容一段时间后，或者，将投屏内容调整好后，再将手机与平板电脑相连。然后平板电脑的界面映射到手机上。此时，在手机上，能够显示智能电视映射的投屏内容、平板电脑映射的投屏内容。

可以理解的是，智能电视的投屏内容，可以为智能电视的桌面，也可以为智能电视所播放的音乐、视频等；平板电脑的投屏内容可以为平板电脑的桌面，也可以为平板电脑所播放的音乐、视频等。

步骤S102、获取投屏内容对应的投屏界面数量及/或投屏内容的内容信息。

其中，投屏界面的数量为大于0的整数。

为方便理解投屏界面数量，下面结合附图进行举例说明：

当源端设备仅为一台时，参见图3或者图4所示，此时目标设备获取到投屏内容对应的投屏界面数量为1。

当源端设备为两台时，参见图5a所示，此时目标设备获取到投屏内容对应的投屏界面数量为2。

当源端设备为三台时，参见图6a所示，此时目标设备获取到投屏内容对应的投屏界面数量为3。

内容信息可以为游戏操作界面、音视频内容、图片或文档内容、输入框内容、桌面内容中的一种。

此外，本申请对内容信息进行分类，为方便理解本申请的分类规则，以两个投屏界面为例进行说明：

考虑到，音频内容与视频内容的操控控件可以相同，所以将音频内容与视频内容归为相同类别。如果屏幕上多个投屏内容显示的内容信息为视频内容与视频内容、视频内容与音频内容、音频内容与音频内容中的一种，则将所述内容信息定义为音视频内容。其中，音视频内容对应的虚拟控件组至少包括以下两个虚拟控件：音量调节控件、进度调节控件。

如果内容信息，是图片内容与文档内容，同理，则对应的虚拟控件组至少包括上翻控件、下翻控件等虚拟控件；

如果内容信息，是视频内容与图片内容，则将视频内容及图片内容归为不同类别，所以对应的虚拟控件组为两组，一组虚拟控件组至少可以包括音量调节控件、进度调节控件等虚拟控件，另一组虚拟控件组则至少可以包括上翻控件、下翻控件等虚拟控件；

如果内容信息是文字输入框，则对应的虚拟控件组至少包括字母按键控件、数字及符号按键控件。

步骤S103、目标设备获取其屏幕的显示界面上的空白区域数量。其中，空白区域的数量为大于0的整数。空白区域可以为多个连续且不间断的边界(该边界包括了投屏界面的边界、屏幕显示界面的边界)围设所形成的封闭空间，具体包括：屏幕上显示界面的边界及投屏界面之间封闭的空白空间、相邻两个投屏界面之间封闭的空白空间。当然在其他实施方式中，获取投屏界面数量、投屏内容的内容信息、空白区域数量的步骤没有先后顺序，可以根据实际情况进行选择，在此不再赘述。

其中，当目标设备获取到投屏内容对应的投屏界面数量为1时，参见图3或者图4所示，此时目标设备获取到的空白区域数量为2；

当目标设备获取到投屏内容对应的投屏界面数量为2时，参见图5a所示，此时目标设备获取到的空白区域数量也为2。以图5a的视角作为参考，视频所属界面与音频所属界面的上下两条边与屏幕上下边框均未重合，两个界面还有一条边界重合，此时可以将两个投屏界面看成一个整体投屏界面。其中，整体投屏界面左侧、右侧边界，分别与屏幕的左侧、右侧边界基本上重合，而整体投屏界面上方边界与屏幕上方边界存在的间距形成一个空白区域，整体投屏界面下方边界与屏幕下方边界存在的间距形成一个空白区域，所以此时存在的两个间距，分别对应了两个空白区域。

当目标设备获取到投屏内容对应的投屏界面数量为3时，参见图6a所示，此时目标设备获取到的空白区域数量为2。以图6a的视角作为参考，图6a中仅图片所属界面的上方边界、图片所属界面的下方边界分别与屏幕上下边界存在的间距形成了空白区域。此时存在的两个间距，分别对应了两个空白区域数量。

步骤S104、基于投屏界面数量及/或投屏内容的内容信息，确定于空白区域内待显示的虚拟控件组的数量。以下分情形对以上内容进行说明：

第一种情形，根据投屏界面数量，确定虚拟控件组的数量。参见图3及图4所示，此时投屏界面数量为一个，确定出对应的虚拟控件组数量为一个。当然，当投屏界面的数量为两个时，确定出对应的虚拟控件组数量为两个，以此类推。第二种情形，根据投屏内容的内容信息，确定虚拟控件组的数量。参见图5a所示，此时投屏内容的内容信息为相同类别的音频内容、视频内容，因此应当定义内容信息为一种，进而确定出对应的虚拟控件组数量为一个。当然，当投屏内容的内容信息包括音视频内容、及图片或文档内容时，此时应当定义为两类类别，进而确定出对应的虚拟控件组数量为两个，以此类推。

第三种情形，根据投屏界面数量及投屏内容的内容信息，确定虚拟控件组的数量。参见图5a所示，此时获取到投屏界面的数量为两个，接着获取该两个投屏界面的内容信息，分别为音频内容、视频内容，鉴于音频内容及视频内容为相同类别，均为音视频内容，因此应当定义内容信息为一种，进而确定出对应的虚拟控件组数量为一个。当然，当获取到的投屏界面数量为更多个时，亦可通过以上方法来确定出虚拟控件组的数量。

步骤S105、基于确定的虚拟控件组数量及空白区域数量，自动调整在空白区域内待显示的虚拟控件组。

需要强调的是，自动调整在空白区域内待显示的虚拟控件组，主要是根据分配原则，将待显示的虚拟控件组自动分配在空白区域内。以下内容主要是针对第一种情形：根据投屏界面数量，确定虚拟控件组的数量，来对步骤S105进行详细说明。

此外，还需要注意的是，当源端设备数量为两个以上时，空白区域数量、投屏界面数量都可能是多个。因此，当投屏界面数量为两个以上时，可以按照分配原则在靠近每个投屏界面的空白区域内，优先显示与之对应的虚拟控件组。通过该种分配方式，可以保证投屏内容与对应的虚拟控件组间距较近，方便用户识别每个虚拟控件组对应的投屏内容，而且方便了用户操作，同时亦可避免误操作。

又或者，可以事先按照第一预设方向，分别对每个界面(包括投屏界面及空白区域界面)设置先后顺序标识，以方便目标设备根据设置的先后顺序标识进行一一匹配虚拟控件组。

当按照第一预设方向，无法给至少两个以上的界面(包括投屏界面及空白区域界面)标记时，则按照第二预设方向，对该至少两个以上的界面进行标记。

例如，参照图3所示，第一预设方向可以包括从左往右，此时视频所属界面被标记为一号界面，而左边的空白区域被标记为一号空白区域，右边的空白区域被标记为二号空白区域。所以，左边的空白区域，显示与视频所属界面对应的虚拟控件组。而右边的空白区域，则可以显示有参数调节控件组。

当两个以上的空白区域或者投屏界面，沿着第一预设方向的长度相同，此时按照第一预设方向就无法对空白区域或者投屏界面进行标记。参照图5b方向所示，第一预设方向包括从左往右，图5b中上下两个空白区域沿着从水平方向(从左往右)的长度是相同的；按照第一预设方向，对空白区域进行标记时，因两个空白区域没有先后顺序，所以无法标记。此时，目标设备可以按照第二预设方向(从上往下)，对该至少两个空白区域进行标记。所以，目标设备可以将图5b中包括视频所属界面、音频所属界面依次标记为一号界面、二号界面，而空白区域按照从上往下依次标记为一号空白区域、二号空白区域。这种情况下，目标设备可以优先将一号界面对应的虚拟控件分配在空白区域一号内，将二号界面对应的虚拟控件分配在空白区域二号内。

具体地，基于确定的虚拟控件组数量及空白区域数量，自动调整在空白区域内待显示的虚拟控件组包括，即分配原则包括：当空白区域数量大于虚拟控件组数量时，选择对应虚拟控件组数量的空白区域，并在每个选择的空白区域内，分别分配一组虚拟控件组。而在多余且并未分配虚拟控件的空白区域内，优先分配有对目标设备的显示参数进行调节的参数调节控件组，或者分配有参数调节控件组中的至少一个参数调节控件，当然也可以为其他控件，在此不再例举。

例如，虚拟控件组为一个，空白区域数量为两个。目标设备自动启用该分配原则，优先随机选择靠近投屏界面的空白区域内，并随机将虚拟控件组分配至该空白区域。如果每一空白区域，与投屏界面间距相等，可以将虚拟控件组分配在任一空白区域内。而在多余且并未分配虚拟控件的空白区域，可用于分配对目标设备进行设备显示参数调节的控件，即参数调节控件组，包括对亮度及/或对比度进行调节的亮度调节控件、对比度调节控件等，进而确保能够充分利用所有的空白区域。

为方便理解，下面以源端设备为智能电视，目标设备为手机为例说明。其中，目标设备手机的屏幕上，投屏界面数量为一个、空白区域数量为两个。该种情况下，可以在任意一个空白区域显示虚拟控件组，用户通过虚拟控件组能够调整投屏内容。

当手机屏幕所显示的投屏内容为视频时，该虚拟控件组可以包括：进度调节控件以及音量调节控件。在一实施方式中，如图3所示，虚拟控件组显示于一侧，另一侧分配参数调节控件组。

具体而言，以图3的视角为例，进度调节控件及音量调节控件位于视频所属界面的左侧，通过该进度调节控件可以进行视频前进或视频后退操作，通过该音量调节控件，可以调整视频的音量大小。参数调节控件组可以位于视频所属界面的右侧，通过该参数调节控件组，可以调节视频所属界面的亮度/对比度。

此外，鉴于每组虚拟控件组可能会有多个虚拟控件，因此在另一实施方式中，当空白区域数量大于虚拟控件组数量时，也可将至少一虚拟控件组进行拆分并分别显示于不同的空白区域内。例如，当虚拟控件组包括进度调节控件、音量调节控件，投屏界面为一个，空白区域为两个；此时，投屏界面一侧的空白区域内可以显示进度调节控件，另一侧的空白区域内可以显示音量调节控件，进而实现充分利用空白区域的目的，避免浪费。

虚拟控件组拆分后如图4展示。当手机屏幕所显示的投屏界面为文本输入框时，该投屏界面对应的虚拟控件组可以包括：字母按键控件、数字及符号按键控件两个虚拟控件。

具体而言，字母按键控件可以位于文字输入框所属界面的一侧，数字及符号按键控件可以位于文字输入框所属界面的另一侧。例如，以图4的视角作为参考，文字输入框所属界面的上侧或者下侧显示字母按键控件、显示数字及符号按键控件。

具体地，基于确定的虚拟控件组数量及空白区域数量，自动调整在空白区域内待显示的虚拟控件组包括，即分配原则还包括：当空白区域数量等于虚拟控件组数量时，为每一空白区域随机分配一组虚拟控件组。

值得一提的是，空白区域数量等于虚拟控件组数量时，目标设备可以不再显示参数调节控件组或者参数调节控件。

参见图5b所示，下面以源端设备数量为两个、目标设备为一个进行说明。两个源端设备分别为智能电视、智能手环，一个目标设备为手机。此时，用户可以将智能电视的视频所属界面及智能手环的音频所属界面，分别映射到手机上。鉴于本实施方式中虚拟控件组的数量是根据投屏界面的数量来确定的，此时虚拟控件组为两个，同时空白区域数量也为两个。

此时，可以在至少一个空白区域内靠近视频所属界面的位置，分配该视频所属界面对应的虚拟控件组，包括进度调节控件、音量调节控件；在至少一个空白区域内靠近音频所属界面的位置，分配该音频所属界面对应的虚拟控件组，包括进度调节控件、音量调节控件。

具体而言，以图5b视角为例，可以在上方(或者下方)空白区域内靠近视频所属界面的位置处，显示进度调节控件以及音量调节控件。相对应地，在上方(或者下方)空白区域内靠近音频所属界面的位置处，显示进度调节控件及音量调节控件。

具体地，基于确定的虚拟控件组数量及空白区域数量，自动调整在空白区域内待显示的虚拟控件组包括，即分配原则还包括：当空白区域数量小于虚拟控件组数量时，优选地，为至少一个空白区域分配至少两个投屏内容分别对应的虚拟控件组，该空白区域将基于用户对对应投屏内容的界面选择来切换分配对应的虚拟控件组。

也就是说，可以在至少一个空白区域上，至少分配两个以上的虚拟控件组。该两个以上的虚拟控件组将根据用户对投屏内容的界面选择切换显示至该空白区域内。

以两个投屏界面、一个空白区域为例，且两个投屏界面分别为视频界面、图片界面，两个投屏界面分别对应了两个虚拟控件组。当用户点击投屏界面中的视频界面时，视频界面被选中，该空白区域将显示视频界面对应的虚拟控件组，以方便用户操作。

参见图6a所示，三个源端设备可以分别为两个智能电视机以及一个智能手环，一个目标设备为平板电脑。用户可以将两个智能电视的屏幕及智能手环的屏幕，映射至平板电脑上后，平板电脑的屏幕上形成三个投屏内容的界面，三个投屏内容分别为视频、音频、图片；同时，平板电脑的屏幕上还显示有两个空白区域。鉴于本实施方式中虚拟控件组的数量是根据投屏界面的数量来确定的，因此，虚拟控件组的数量为三个，此时，空白区域数量小于虚拟控件组数量。

此时，目标设备为至少一个空白区域分配至少两个投屏内容的虚拟控件组，该空白区域将基于用户对对应投屏内容的界面选择来切换分配对应的虚拟控件组。参照图6a所示，在图6a中上方的空白区域，可以同时显示视频所属界面对应的虚拟控件组、音频所属界面对应的虚拟控件组。当用户点击视频所属界面时，视频所属界面被选中，该空白区域会居中显示视频所属界面对应的虚拟控件组，当用户点击音频所属界面时，音频所属界面被选中，该空白区域将切换显示音频所属界面对应的虚拟控件组，进而实现两组虚拟控件组的切换显示。

当然，在上述方案中，当目标设备将两个以上的虚拟控件组分配至一个空白区域内时，也可以默认在该空白区域内并不显示所有的虚拟控件组。等用户点击投屏界面时，在该空白区域内显示该投屏界面对应的虚拟控件组。例如，用户点击音频所属界面时，空白区域内将显示音频所属界面对应的虚拟控件组。

在另一实施方式中，当空白区域数量小于虚拟控件组数量时，在至少一个空白区域或者投屏界面内，分配至少一个选择控件，该空白区域/或者投屏界面内将基于用户点击选择控件，切换并显示对应的虚拟控件组。

也就是说，响应于用户触发选择控件的操作，目标设备能够确定用户选择的投屏内容，并在至少一个空白区域内，显示用户选择的投屏内容对应的虚拟控件组。

以两个投屏界面、一个空白区域为例，两个投屏界面分别为视频界面、图片界面。在该空白区域内，可以显示一个选择控件。用户通过选择控件选择视频界面时，该空白区域切换至与视频界面对应的虚拟控件组；当用户选择图片界面时，该空白区域切换至与图片界面对应的虚拟控件组。

进一步地，参照图6b-图6d所示，该投屏显示方法还进一步包括：

目标设备响应于用户触发选择控件的操作，以确定用户选择的投屏界面；

并在至少一个空白区域内，显示用户选择的投屏界面对应的虚拟控件组。

如图6b所示，在上方的空白区域内显示选择控件。当用户点击选择控件时，弹出弹窗，如图6c所示，该弹窗上显示有投屏界面1、投屏界面2……投屏界面n，其中n为自然数。这种情况下，用户点击任一个投屏界面x，x为0至n中任意整数，此时在至少一个空白区域内，显示投屏界面x对应的虚拟控件组。

在另一实施方式中，也可以在每个投屏界面的拐角处显示选择控件，然后用户通过手指触摸选择控件时，在至少一个空白区域内，显示用户所触摸的选择控件对应的投屏界面的虚拟控件组。进一步地，因为投屏界面显示有选择控件，且该选择控件可以较为透明地显示，以提高用户的体验。

在另一实施方式中，在至少一个空白区域内，轮流显示至少两个以上的投屏信息对应的虚拟控件组。

参见图6d所示，在目标设备屏幕的一个空白区域内，显示第一源端设备投屏内容对应的虚拟控件组，在另一个空白区域内，间隔第一预设时间，轮流显示另外两台第二源端设备投屏内容对应的虚拟控件组。

第一预设时间可以为一分钟。此时，在另一个空白区域内，先展示第一台第二源端设备投屏内容对应的虚拟控件组，间隔一分钟后，显示第二台第二源端设备投屏内容对应的虚拟控件组。

此外，如果多个空白区域中，存在一个较大空白区域。则可以在该较大的空白区域内显示多个投屏内容对应的虚拟控件组。例如，当虚拟控件组数量为三个、空白区域数量为两个时，可以在一个较大的空白区域内，显示两个投屏界面对应的虚拟控件组，另外一个空白区域显示第三个投屏界面对应的全部虚拟控件组。

关于较大空白区域的判断方法，可以为：目标设备获取最小的投屏界面面积以及最大空白区域的面积，当最大空白区域的面积大于最小的投屏界面面积时，该空白区域为较大空白区域。

当然，较大空白区域的判定标准，还可以为：较大空白区域面积为目标设备的屏幕面积的1/7-1/9之间。

较大空白区域显示多个投屏内容对应的虚拟控件组，可以克服因空白区域较少，无法显示所有的虚拟控件的问题。

示例性地，以平板电脑屏幕具有两个空白区域、三组虚拟控件组为例：

两个空白区域中，存在一个较大空白区域。该较大空白区域，可以显示两个投屏界面对应的虚拟控件组，剩余的一个空白区域，显示第三个投屏界面对应的虚拟控件组。

以上方案主要适用于虚拟控件组的数量是根据投屏界面的数量来确定的情况。

而如果虚拟控件组的数量是通过第二种情形：根据投屏内容的内容信息，确定虚拟控件组的数量；或者第三种情形：根据投屏界面数量及投屏内容的内容信息，确定虚拟控件组的数量。当确定好虚拟控件组数量后，目标设备可以根据上述内容的分配原则，将虚拟控件组分配至相应的空白区域中。而下方的空白区域则会显示有参数调节控件。

下面举例进行说明：

参见图5a所示，投屏内容可以包括视频信息、音频信息，空白区域数量为两个。因为视频信息、音频信息被归属为同一类，所以对应的虚拟控件组数量为一个。目标设备，根据上述内容的分配原则，将该虚拟控件组分配至上方的空白区域内，下方的空白区域显示有参数调节控件。

进一步地，当用户需要通过虚拟控件组调整投屏内容时，用户可以将虚拟控件组，与相应的投屏界面(如视频所属界面、音频所属界面)相关联，然后即可通过点击虚拟控件组，控制相对应的投屏界面(如视频所属界面、音频所属界面)。为方便理解，下面分情形进行说明：

第一种情形：参见图5a所示，用户可以通过手指或者触控笔等触碰虚拟控件组中的任一虚拟控件，如进度调节控件，然后按住不动拖动至任一投屏界面处，如视频所属界面处，进度调节控件便与视频所属界面相关联；然后用户把手指或者触控笔等离开屏幕，进度调节控件会自动返回至原来的位置。此时，用户通过点击进度调节控件，即可调整视频内容。而参数调节控件可以采用相同的关联方法，与视频所属界面或者音频所属界面相关联。

第二种情形：用户可以通过手指或者触控笔等按压虚拟控件组中的任一虚拟控件若干秒，如连续按压进度调节控件5s以上；然后再点击任一投屏界面，如点击视频所属界面，此时进度调节控件便与视频所属界面相关联。此时，用户通过点击进度调节控件，即可调整视频内容。

此外，目标设备确定及获取每一虚拟控件组的虚拟控件，可以通过以下方式完成：

第一种方式，每一源端设备将投屏内容发送至目标设备，同时进一步将投屏内容对应的功能控件信息发送至目标设备，目标设备根据功能控件信息，从预先存储的虚拟控件库中选择对应上述功能控件信息的虚拟控件，并将虚拟控件，组合形成对应的虚拟控件组，于投屏内容相对应的空白区域内显示。

第二种方式，目标设备的虚拟控件库中已预先存储有每一类内容信息所对应的虚拟控件组，比如音视频内容所对应的虚拟控件组包括了音量调节控件、进度调节控件。当源端设备将投屏内容发送至目标设备的同时，目标设备根据投屏内容的内容信息，从虚拟控件库中选择与内容信息相对应的虚拟控件，并组合成相应的虚拟控件组，于投屏内容相对应的空白区域内显示。

步骤S106、于对应的空白区域内显示待显示的虚拟控件组。虚拟控件优先位于对应空白区域的中间位置，这样可以更加美观。当目标设备显示虚拟控件组后，用户通过点击虚拟控件组，便可以调整源端设备屏幕的投屏内容。

综上，目标设备显示源端设备发送的投屏内容，当目标设备屏幕上存在空白区域时，根据空白区域数量、投屏界面数量，选择在空白区域中生成虚拟控件，以方便用户调整投屏内容，提高了用户体验感。

本申请发明人还发现，不同用户的使用习惯是不同的。所以为了提高用户的体验，参见图7所示，本申请另一个实施方式中，投屏显示方法还包括步骤S107。

步骤S107、获取用户触摸虚拟控件组中某一虚拟控件的连续时间；在按压时间大于第二预设时间时，激发该虚拟控件的可移动功能；获取用户滑动屏幕的轨迹，根据轨迹，使虚拟控件跟随轨迹移动至目标空白区域内。

具体而言，用户可以长时间将手指或者触控笔触碰虚拟控件上，然后目标设备可以获取用户触碰虚拟控件的连续时间；当连续时间大于第二预设时间时，激发虚拟控件的可移动功能，使虚拟控件变为可移动状态。

在虚拟控件变为可移动状态的情况下，目标设备可以获取用户滑动屏幕的轨迹，根据轨迹，使虚拟控件跟随轨迹运动至相应的目标空白区域内。所以，通过这种方式，用户可以拖动虚拟控件移动至任一个空白区域内。

示例性的，第二预设时间可以为2s。当用户触摸一虚拟控件时间长达2s以上时，该虚拟控件的可移动功能被激发，也就是该虚拟控件变为可移动状态。然后用户可以根据自己需要，将该虚拟控件拖曳至其他空白区域内。

需要强调的是，本申请实施方式中，需要将源端设备与目标设备的数据能够等比显示。例如，智能电视分辨率为1920*1080，显示比例应为16:9，手机则可根据自己的屏幕大小按照16:9的比例显示投屏内容。

同时还需要强调的是，以上所有对虚拟控件的操作，不仅可以是触控屏操作，还可以通过输入设备来操作虚拟控件，输入设备可以为键盘，鼠标、触控笔等。

此外，本申请实施方式还提供了一种投屏显示系统，包括至少一个源端设备101和目标设备102，其中，目标设备用于执行上述的投屏显示方法的步骤。

其中，上述投屏装置中各个模块与上述投屏显示方法实施方式中各步骤相对应，其功能和实现过程在此处不再一一赘述。本申请还提供了一种电子设备，参见图8所示，电子设备50可以包括处理器(CPU、GPU、FPGA等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行上述附图所示的实施方式中的部分或全部处理。在RAM503中，还存储有系统500操作所需的各种程序和数据。处理器501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本申请的实施方式，上文参考附图描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中投屏装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，程序被一个或者一个以上的处理器用来执行描述于本申请的投屏显示方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种投屏显示方法，其特征在于，应用于目标设备，所述方法包括以下步骤：

接收至少一个源端设备所发送的投屏内容；

获取所述投屏内容对应的投屏界面数量及/或所述投屏内容的内容信息；

获取所述目标设备显示界面上的空白区域数量；

基于所述投屏界面数量及/或所述投屏内容的内容信息，确定待显示的虚拟控件组的数量；

基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组；及

于所述空白区域内显示待显示的所述虚拟控件组。

2.根据权利要求1所述的投屏显示方法，其特征在于，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组，包括：

当所述空白区域数量大于所述虚拟控件组数量时，选择对应虚拟控件组数量的空白区域，并在每个选择的空白区域内，分别分配一组虚拟控件组；在剩余未选择的空白区域内，分配对目标设备的显示参数进行调节的参数调节控件组。

3.根据权利要求1所述的投屏显示方法，其特征在于，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量等于所述虚拟控件组数量时，在每个所述空白区域内，分别分配一组虚拟控件组。

4.根据权利要求1所述的投屏显示方法，其特征在于，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量小于所述虚拟控件组数量时，为至少一个空白区域分配至少两个投屏内容的虚拟控件组，该空白区域将基于用户对对应投屏内容的界面选择来切换分配对应的虚拟控件组。

5.根据权利要求1所述的投屏显示方法，其特征在于，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件组，包括：

当所述空白区域数量小于所述虚拟控件组数量时，至少一个所述空白区域及/或所述投屏界面内，分配至少一个选择控件，以供用户切换所述空白区域显示的所述虚拟控件组。

6.根据权利要求1所述的投屏显示方法，其特征在于，所述基于所述虚拟控件组数量及所述空白区域数量，自动调整在所述空白区域内待显示的所述虚拟控件，包括：

当所述空白区域数量小于所述虚拟控件组数量时，在至少一个所述空白区域内分配至少两个投屏内容的虚拟控件组，当间隔第一预设时间时，该至少一个所述空白区域内将轮流显示至少两个以上的所述投屏界面对应的所述虚拟控件组。

7.根据权利要求1-6任一项所述的投屏显示方法，其特征在于，所述方法还包括：

接收所述源端设备发送的所述投屏内容及/或所述投屏内容相对应的功能控件信息；

根据所述投屏内容或者所述功能控件信息，从预存储的虚拟控件库中选择与所述投屏内容或者所述功能控件信息对应的虚拟控件；

将所述虚拟控件，组成所述虚拟控件组，并于所述空白区域内显示。

8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的投屏显示方法的步骤。

9.一种投屏显示系统，其特征在于，包括至少一个源端设备和目标设备，其中，所述目标设备用于执行所述权利要求1至7中任一项所述的投屏显示方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的投屏显示方法的步骤。

Images