CN114647395A

CN114647395A - 投屏方法、装置、电子设备及存储介质

Info

Publication number: CN114647395A
Application number: CN202210312803.5A
Authority: CN
Inventors: 赵增浩; 王宇
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2022-03-28
Filing date: 2022-03-28
Publication date: 2022-06-21

Abstract

本公开是关于投屏方法、装置、电子设备及存储介质，方法包括：根据目标设备的屏幕参数，确定页面布局方式；其中，页面布局方式用于指示目标设备显示多个投屏分区的方式；在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表；其中，多个应用分区与多个投屏分区具有一一对应的映射关系；根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至目标设备中的至少一个投屏分区；其中，每对应的一组应用分区与投屏分区用于显示相同应用。本公开的方法中，根据用户的选择，可将源设备中的多个应用投屏至目标设备，并且多个应用可在目标设备上分区显示，提升投屏操作的灵活性，提升用户体验。

Description

投屏方法、装置、电子设备及存储介质

技术领域

本公开涉及电子设备领域，尤其涉及一种投屏方法、装置、电子设备及存储介质。

背景技术

随着技术发展及人们生活水平的提高，一个用户或一个家庭通常拥有多个电子设备。相关技术中为提升使用体验，可将小屏幕电子设备上的内容投屏至大屏幕电子设备上进行显示。但相关技术中的投屏方式较为单一，不能适用于用户更多的使用需求。

发明内容

为克服相关技术中存在的问题，本公开提供一种投屏方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提出了一种投屏方法，应用于源设备，方法包括：

根据目标设备的屏幕参数，确定页面布局方式；其中，所述页面布局方式用于指示所述目标设备显示多个投屏分区的方式；

在预设界面的第一区域按所述页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表；其中，所述多个应用分区与所述多个投屏分区具有一一对应的映射关系；

根据用户在预设界面的第一操作指令，控制所述应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区；其中，每对应的一组所述应用分区与所述投屏分区用于显示相同应用。

在一些实施方式中，所述根据目标设备的屏幕参数，确定页面布局方式，包括：

根据所述目标设备的屏幕参数，确定所述目标设备的屏幕的宽高比；

根据所述宽高比，确定对应的所述页面布局方式。

在一些实施方式中，所述根据所述宽高比，确定对应的所述页面布局方式，包括：

根据所述宽高比，确定对应的所述页面布局方式包括：所述多个投屏分区沿正方形或长方形排布；

在屏幕坐标系中，确定所述页面布局方式中每个投屏分区的分布范围。

在一些实施方式中，所述根据所述宽高比，确定对应的所述页面布局方式包括：所述多个投屏分区沿正方形或长方形排布，包括：

响应于所述宽高比小于第一阈值，确定所述页面布局方式为第一方式；其中，所述第一方式用于指示：第一预设数量个投屏分区均匀分布在目标设备的屏幕上，且所述屏幕宽度方向上分布的投屏分区数量多于高度方向上分布的投屏分区数量；

响应于所述宽高比不小于所述第一阈值且小于第二阈值，确定所述页面布局方式为第二方式；其中，所述第二方式用于指示：第二预设数量个投屏分区均匀分布在目标设备的屏幕上，且所述屏幕宽度方向上分布的投屏分区数量等于高度方向上分布的投屏分区数量；所述第二阈值大于所述第一阈值；

响应于所述宽高比不小于所述第二阈值，确定所述页面布局方式为第三方式；其中，所述第三方式用于指示：第一预设数量个投屏分区均匀分布在目标设备的屏幕上，且所述屏幕宽度方向上分布的投屏分区数量小于高度方向上分布的投屏分区数量。

在一些实施方式中，所述确定所述页面布局方式中每个投屏分区的分布范围，包括：

根据所述屏幕参数以及所述页面布局方式中所指示的所述多个投屏分区的分布数量，确定每个投屏分区的对角点在屏幕坐标系中坐标；

根据所述对角点坐标，确定所述投屏分区的分布范围。

在一些实施方式中，在所述预设界面的第三区域还显示有确认控件；

所述根据用户在预设界面的第一操作指令，控制所述应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区：

根据所述第一操作指令，确定待投屏显示的至少一个应用，以及所述至少一个应用分别对应的至少一个应用分区；

确定所述至少一个应用分区分别对应的至少一个投屏分区；

响应于接收到基于所述确认控件的确认指令，控制所述至少一个应用对应显示至所述至少一个投屏分区。

在一些实施方式中，所述根据所述第一操作指令，确定待投屏显示的至少一个应用，以及所述至少一个应用分别对应的至少一个应用分区，包括：

确定所述第一操作指令在所述应用列表中的操作起点所对应的第一预设应用；

确定所述第一操作指令的操作终点所在的第一预设应用分区。

在一些实施方式中，所述方法还包括：

根据用户的第二操作指令，调整所述页面布局方式。

在一些实施方式中，所述第二操作指令为：所述源设备的第一区域上的操作指令；

所述根据用户的第二操作指令，调整所述页面布局方式，包括：

确定所述第二操作指令的操作起点对应的第二预设应用分区，以及所述第二操作指令的移动路径所经过的第三预设应用分区；

响应于所述移动路径满足预设条件，将所述第二预设应用分区和所述第三预设应用分区合并为所述第二预设应用分区，并对应调整所述页面布局方式中第一投屏分区的区域。

在一些实施方式中，所述第二操作指令为：在所述目标设备的屏幕上的操作指令；

接收所述目标设备发送的所述第二操作指令对应的触控信息；

根据所述触控信息，确定触控起点对应的第二预设应用分区，以及移动路径经过的第三预设应用分区；

在一些实施方式中，所述预设条件包括：所述移动路径在所述第三预设应用分区范围内的移动长度不小于长度阈值；

其中，所述长度阈值为：根据所述第三预设应用分区中与所述移动路径延伸方向一致的侧边长度设定的。

在一些实施方式中，所述方法还包括：

与所述目标设备建立连接后，获取所述目标设备的硬件参数；

响应于所述硬件参数满足投屏条件，获取所述屏幕参数。

根据本公开实施例的第二方面，提出了一种投屏方法，应用于目标设备，方法包括：

根据源设备发送的页面布局方式，显示多个投屏分区；其中，所述页面布局方式是所述源设备根据所述目标设备的屏幕参数确定的，用于指示所述目标设备显示多个投屏分区的方式；

根据所述源设备的控制指令，在至少一个投屏分区分别投屏显示所述源设备中的至少一个应用。

在一些实施方式中，所述方法还包括：

接收用户的第二操作指令；

向所述源设备发送与所述第二操作指令对应的触控信息；

接收所述源设备发送的与所述触控信息对应的指令。

根据本公开实施例的第三方面，提出了一种投屏装置，应用于源设备，装置包括：

确定模块，用于根据目标设备的屏幕参数，确定页面布局方式；其中，所述页面布局方式用于指示所述目标设备显示多个投屏分区的方式；

显示模块，用于在预设界面的第一区域按所述页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表；其中，所述多个应用分区与所述多个投屏分区具有一一对应的映射关系；

控制模块，用于根据用户在预设界面的第一操作指令，控制所述应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区；其中，每对应的一组所述应用分区与所述投屏分区用于显示相同应用。

根据本公开实施例的第四方面，提出了一种投屏装置，应用于目标设备，装置包括：

接收模块，用于根据源设备发送的页面布局方式，显示多个投屏分区；其中，所述页面布局方式是所述源设备根据所述目标设备的屏幕参数确定的，用于指示所述目标设备显示多个投屏分区的方式；

投屏模块，用于根据所述源设备的控制指令，在至少一个投屏分区分别投屏显示所述源设备中的至少一个应用。

根据本公开实施例的第五方面，提出了一种电子设备，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，所述处理器被配置为执行如上任一项所述的投屏方法。

根据本公开实施例的第六方面，提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上任一项所述的投屏方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的方法中，根据用户的选择，可将源设备中的多个应用投屏至目标设备，并且多个应用可在目标设备上分区显示，提升投屏操作的灵活性，有利于提升用户的使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的方法的流程图。

图2是根据一示例性实施例示出的方法的流程图。

图3是根据一示例性实施例示出的方法的流程图。

图4是根据一示例性实施例示出的预设界面的示意图。

图5是根据一示例性实施例示出的目标设备的屏幕示意图。

图6是根据一示例性实施例示出的页面布局方式的示意图。

图7是根据另一示例性实施例示出的页面布局方式的示意图。

图8是根据另一示例性实施例示出的页面布局方式的示意图。

图9是根据一示例性实施例示出的屏幕坐标系示意图。

图10是根据一示例性实施例示出的调节页面布局示意图。

图11是根据另一示例性实施例示出的调节页面布局示意图。

图12是根据一示例性实施例示出的长度阈值的示意图。

图13是根据一示例性实施例示出的调节页面布局后的示意图。

图14是根据另一示例性实施例示出的长度阈值的示意图。

图15是根据另一示例性实施例示出的长度阈值的示意图。

图16是根据另一示例性实施例示出的调节页面布局后的示意图。

图17是根据一示例性实施例示出的音频通道示意图。

图18是根据一示例性实施例示出的系统架构示意图。

图19是根据一示例性实施例示出的装置的框图。

图20是根据一示例性实施例示出的电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

相关技术中，在跨设备投屏过程中，每次投屏仅支持投屏显示一个应用，使用灵活性受限，不能满足用户多方面的使用需求。

本公开实施例提出了一种投屏方法，方法包括：根据目标设备的屏幕参数，确定页面布局方式；其中，页面布局方式用于指示目标设备显示多个投屏分区的方式；在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表；其中，多个应用分区与多个投屏分区具有一一对应的映射关系；根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至目标设备中的至少一个投屏分区；其中，每对应的一组应用分区与投屏分区用于显示相同应用。本公开的方法中，根据用户的选择，可将源设备中的多个应用投屏至目标设备，并且多个应用可在目标设备上分区显示，提升投屏操作的灵活性，有利于提升用户的使用体验。

在一个示例性的实施例中，本实施例的投屏方法应用于源设备。本实施例的应用场景为：将源设备中的应用投屏至目标设备上显示。其中，源设备可以是手机、平板电脑、笔记本电脑等便携式电子设备。目标设备可以是智能电视、智能屏幕、笔记本电脑、车载电脑等屏幕尺寸较大、显示性能更好的电子设备。

如图1所示，本实施例的方法可以包括如下步骤：

S110、根据目标设备的屏幕参数，确定页面布局方式。

S120、在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表。

S130、根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区。

其中，在步骤S110中，页面布局方式用于指示目标设备显示多个投屏分区的方式。目标设备的屏幕参数比如可以是：目标设备的屏幕尺寸、分辨率等参数。

本步骤中，源设备与目标设备可基于有线方式或无线方式建立连接。源设备能够基于连接关系获取目标设备的屏幕参数，并且还能够基于连接将所确定的页面布局方式发送给目标设备，以指示目标设备按页面布局方式进行分区显示。

在步骤S120中，多个应用分区与多个投屏分区具有一一对应的映射关系。

结合图4所示，在源设备的预设界面400中包括第一区域401和第二区域402，第一区域401中以与目标设备相同的页面布局方式显示多个应用分区4011，第二区域402中显示包含多个应用图标4021的应用列表。第一区域401中的应用分区4011可映射至图5所示的目标设备中对应的投屏分区501，每对应的一组应用分区4011与投屏分区501用于显示相同应用。第一区域401的尺寸还可以是与目标设备的屏幕500存在设定的比例关系。

在步骤S130中，第一操作指令比如包括：在预设界面400的第二区域402选取至少一个应用图标4021的指令，以及在预设界面400的第一区域401选取至少一个应用分区4011的指令。

本步骤中，根据应用分区4011与目标设备中投屏分区501的映射关系，源设备可根据第一操作指令，控制用户选取的至少一个应用投屏至目标设备中对应的至少一个投屏分区501。每对应的一组应用分区4011与投屏分区501用于显示相同应用。

在一个示例中，结合图4所示，在预设界面400的第三区域403还显示有确认控件(投屏图标)和取消控件(取消图标)，第三区域403可位于第一区域401和第二区域402之间。本步骤S130可以是包括如下步骤：

S1301、根据第一操作指令，确定待投屏显示的至少一个应用，以及至少一个应用分别对应的至少一个应用分区。

S1302、确定至少一个应用分区分别对应的至少一个投屏分区。

S1303、响应于接收到基于确认控件的确认指令，控制至少一个应用对应显示至至少一个投屏分区。

在步骤S1301中，第一操作指令比如可以是长按滑动、拖动等指令。源设备可接收用户在预设界面中的第一操作指令，根据第一操作指令确定用户所分别选取的至少一个应用。以选取至少一个应用中的第一预设应用为例，此步骤可以包括如下步骤：

S1301-1、确定第一操作指令在应用列表中的操作起点所对应的第一预设应用。此步骤中，源设备根据第一操作指令，确定第一操作指令的操作起点对应的应用，记为第一预设应用，从而可获知用户所选择的想要投屏的第一预设应用。

S1301-2、确定第一操作指令的操作终点所在的第一预设应用分区。此步骤中，当第一操作指令是长按滑动或拖动指令时，第一操作指令的起点对应预设界面的第二区域中的第一预设应用，第一操作指令的终点对应预设界面的第一区域中的第一预设应用分区。由此，源设备根据第一操作指令可确定：用户选取的第一预设应用以及指定的第一预设应用分区。在其他实施方式中，第一操作指令还可以是点击指令：将一次点击作为操作起点，用于选取第一预设应用；在一次点击的预设时长内再次点击作为操作重点，用于选定第一预设应用分区。

本步骤中以第一预设应用代表用户选取的至少一个应用中的任一应用。参照步骤S1301-1和步骤S1301-2选取第一预设应用的方式，用户可多次执行此两个步骤来依次选取多个应用，获得多个待投屏的应用。

在步骤S1302中，设备在根据第一操作指令确定应用分区后，可基于应用分区与目标设备的投屏分区的映射关系，分别确定每个应用分区所对应的投屏分区，比如第一预设应用分区对应的预设投屏分区。

在步骤S1303中，源设备在收到确认指令后，会对用户所选取的全部应用进行同时投屏至目标设备，从而目标设备可对全部应用进行分区域显示，实现多个应用的同时投屏。

在一个示例性的实施例中，本实施例的方法可以包括如图1所示的步骤S110至步骤S130，其中，步骤S110可以包括如下步骤：

S1101、根据目标设备的屏幕参数，确定目标设备的屏幕的宽高比。

S1102、根据宽高比，确定对应的页面布局方式。

其中，在步骤S1101中，源设备在获得目标设备的屏幕尺寸后，可结合其屏幕尺寸计算确定目标设备的屏幕的宽高比。结合图5所示意的目标设备的屏幕500示意图，其宽高比k为：k＝w/h，其中，w表示屏幕的宽度，h表示屏幕的高度，单位均为像素。

在步骤S1102中，目标设备的宽高比可表明目标设备屏幕的形状特征，结合宽高比的不同，源设备可确定对应的页面布局方式。

在一种实施方式中，本步骤S1102可以包括如下步骤：

S1102-10、根据宽高比，确定对应的页面布局方式包括：多个投屏分区沿正方形或长方形排布。此步骤中，源设备结合目标设备的宽高比，确定贴合目标设备屏幕形状的布局方式。例如，当宽高比表明目标设备的屏幕为正方形，则多个投屏分区可按照正方形排布。

在第一个示例中，此步骤S1102-10包括：响应于宽高比小于第一阈值，确定页面布局方式为第一方式。其中，第一方式用于指示：第一预设数量个投屏分区均匀分布在目标设备的屏幕上，且屏幕宽度方向上分布的投屏分区数量多于高度方向上分布的投屏分区数量。本示例中，第一阈值比如设置为0.85，当宽高比k满足：k＜0.85时，按如图6所示的第一方式布局，第一方式中多个投屏分区501沿长方形分布。第一预设数量比如设置为6个，即目标设备的屏幕被均匀划分为6个投屏分区501。第一方式中可支持6个应用同时分屏显示。

在第二个示例中，此步骤S1102-10包括：响应于宽高比不小于第一阈值且小于第二阈值，确定页面布局方式为第二方式。其中，第二方式用于指示：第二预设数量个投屏分区均匀分布在目标设备的屏幕上，且屏幕宽度方向上分布的投屏分区数量等于高度方向上分布的投屏分区数量；第二阈值大于第一阈值。本示例中，第二阈值比如设置为1.15，当宽高比k满足：0.85≤k＜1.15时，按如图7所示的第二方式布局，第二方式中多个投屏分区沿正方形分布。第二预设数量比如设置为9个，即目标设备的屏幕被均匀划分为9个投屏分区。第二方式中可支持9个应用同时分屏显示。

在第三个示例中，此步骤S1102-10包括：响应于宽高比不小于第二阈值，确定页面布局方式为第三方式。其中，第三方式用于指示：第一预设数量个投屏分区均匀分布在目标设备的屏幕上，且屏幕宽度方向上分布的投屏分区数量小于高度方向上分布的投屏分区数量。本示例中，当宽高比k满足：k≥1.15时，按如图8所示的第三方式布局，第三方式中多个投屏分区沿长方形分布。第三方式中目标设备的屏幕被均匀划分为6个投屏分区，可支持6个应用同时分屏显示。

本步骤的上述三个示例中，每个投屏分区可作为一个独立的虚拟屏幕(VirtualDisplay，VD)，用以显示一个应用的内容。

S1102-20、在屏幕坐标系中，确定页面布局方式中每个投屏分区的分布范围。此步骤中，目标设备的屏幕坐标系中，结合图9所示，可以屏幕左上角的像素点作为坐标原点O，屏幕的宽度延伸方向为x轴，高度方向为y轴。源设备根据所确定的适应于宽高比的页面布局方式，可确定每个投屏分区在此坐标系中的分布范围。

在一个示例中，此步骤S1102-20可以包括如下步骤：

S1102-21、根据屏幕参数以及页面布局方式中所指示的多个投屏分区的分布数量，确定每个投屏分区的对角点在屏幕坐标系中坐标。此步骤中，屏幕参数包括宽度w和高度h，多个投屏分区的分布数量包括：对应的布局方式中在屏幕的宽度方向分布的数量和高度方向上分布的数量。每个投屏分区的对角点即指：位于该投屏分区对角线上的两个点的坐标。

以图8中第三方式为例进行说明，第三方式中共布局有6个投屏分区，沿屏幕x轴或宽度方向上分布有3个投屏分区，沿屏幕y轴或高度方向上分布有2个投屏分区。如图9所示的投屏分区5011中对角点分别为：原点O(0，0)和点P(x，y)，其中，x＝w/3，y＝h/2。投屏分区5012中对角点分别为：原点P1(x₁，y₁)和点P2(x₂，y₂)，其中，x₁＝x，y₁＝0，x₂＝2x，y₂＝y。可以理解的，为了保证x和y是整数，计算结果向下取整，即若所得结果含小数部分，省去小数部分。依照此计算方式，可确定第三方式中6个投屏分区中每个投屏分区501的对角点坐标。

S1102-22、根据对角点坐标，确定投屏分区的分布范围。此步骤中，源设备根据每个投屏分区的对角点坐标即可有效定位此投屏分区在屏幕坐标系中的分布范围。例如，结合图9所示，根据对角点原点O(0，0)和点P(x，y)可确定投屏分区5011在x轴方向及y轴方向上延伸的范围，该投屏分区5011的分布范围包括：在x轴上的分布范围[0，x]，在y轴上的分布范围[0，y]。依照此计算方式，可确定第一方式中6个投屏分区501的分布范围。本步骤中，采用1组对角点表示所对应的投屏分区501，从而第三方式中可采用6组对角点分别表示6个投屏分区501。

本实施例中，获得投屏分区501之后，可为每个投屏分区501配置ID。从而在页面布局方式中的每个投屏分区501均具有设定的ID标识，便于与源设备中的应用分区4011建立映射关系。

本公开实施例中，结合目标设备的屏幕参数，可以将目标设备划分为1到9个独立的投屏分区501，以便于实现多个应用的同时投屏。并且，在源设备的预设界面400上会显示与目标设备上相对应的应用分区4011，便于用户直观的进行选择或调整，提升投屏过程中的灵活性及便捷性。

在一个示例性的实施例中，如图2所示，本实施例的方法可以包括如下步骤：

S210、根据目标设备的屏幕参数，确定页面布局方式。

S220、在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表。

S230、根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区。

S240、根据用户的第二操作指令，调整页面布局方式。

其中，步骤S210至步骤S230的实施方式参见上述实施例中的步骤S110至步骤S230，此处不再赘述。

在步骤S240中，在源设备为触控设备，而目标设备非触控设备的场景中，第二操作指令可以是用户在第一区域上的触控指令。在源设备与目标设备均为触控设备的场景中，第二操作指令既可以是用户在第一区域上的触控指令，也可以是在目标设备上的触控指令。

在第一个示例中，第二操作指令为：在源设备的第一区域上的操作指令。本示例中，步骤S240可以包括如下步骤：

S240-11、确定第二操作指令的操作起点对应的第二预设应用分区，以及第二操作指令的移动路径所经过的第三预设应用分区。此步骤中，第二操作指令比如是滑动或拖动指令，第三预设应用分区可以是一个或多个。结合图10所示，第二操作指令起点所在的第二预设应用分区为应用1的应用分区，第二操作指令经过的第三预设应用分区为应用2的应用分区。结合图11所示，第二操作指令起点所在的第二预设应用分区为应用1的应用分区，第二操作指令经过的第三预设应用分区包括：应用2的应用分区、应用4的分区以及应用5的应用分区。

S240-12、响应于移动路径满足预设条件，将第二预设应用分区和第三预设应用分区合并为第二预设应用分区，并对应调整页面布局方式中第一投屏分区的区域。此步骤中，预设条件包括：移动路径在第三预设应用分区范围内的移动长度不小于长度阈值。长度阈值为：根据第三预设应用分区中与移动路径延伸方向一致的侧边长度设定的，比如长度阈值是此侧边长度的设定百分比(如20％)。

在图10的示例中，结合图12所示，移动路径沿x轴方向移动，设应用2的应用分区在x方向上的延伸长度为x，则长度阈值可设置为0.2x。当移动路径在应用2的应用分区中的移动长度大于或等于0.2x，则满足预设条件。此步骤S240-12中，关闭应用2，销毁应用2所在的应用分区，释放资源；将应用1的应用分区和应用2的应用分区合并变为应用1的应用分区，获得图13所示的调整后的页面布局。

在图11的示例中，移动路径分别沿x轴和y轴方向移动，需按图12、图14至图15所示分别判断在每个应用分区的移动长度。在水平或者垂直方向上超过原来应用投屏区域的20％时，均认为满足预设条件。例如，当移动路径同时满足如下三个条件：在应用2的应用分区中的移动长度大于或等于0.2x，在应用4的应用分区中的移动长度大于或等于0.2y，以及在应用5的应用分区中的移动长度满足以下之一：不小于0.2y或者不小于0.2x，则确定满足三个分区合并的预设条件。此步骤S240-12中，关闭应用2、应用4和应用5，并销毁应用2、应用4、应用5所对应的应用分区，释放资源；将应用1的应用分区、应用2的应用分区、应用4的应用分区以及应用5的应用分区合并变为应用1的应用分区，获得图16所示的调整后的页面布局。若满足其中的一个或两个条件，则满足对应的一个或两个应用分区合并的预设条件。

在第二个示例中，第二操作指令为：在目标设备的屏幕上的操作指令。本示例中，步骤S240可以包括如下步骤：

S240-21、接收目标设备发送的第二操作指令对应的触控信息。此步骤中，触控信息比如包括触控的路径上的多个触控点的坐标信息。当目标设备是触控设备，用户在目标设备的屏幕上滑动或拖动，第二操作指令的起点位置可在第一投屏分区，第二操作指令的移动路径可经过第二投屏分区。目标设备将第二操作指令对应的触控信息通过用户输入方向通道(User Input Back Channel，UIBC)方式传输到源设备。

S240-22、根据触控信息，确定触控起点对应的第二预设应用分区，以及移动路径经过的第三预设应用分区。此步骤中，源设备根据触控信息，可根据第一区域与目标设备的屏幕的比例关系，转换为在第一区域中的移动信息。确定触控起点对应的第二预设应用分区以及移动路径经过的至少一个地儿应用分区。此步骤所对应的示例仍可参照图10至图16对应的示例。

S240-23、响应于移动路径满足预设条件，将第二预设应用分区和第三预设应用分区合并为第二预设应用分区，并对应调整页面布局方式中第一投屏分区的区域。此步骤中，源设备基于转换后的移动路径仍可参照前一示例的判决方式，确定移动路径是否满足如下预设条件：移动路径在第三预设应用分区范围内的移动长度不小于长度阈值，长度阈值为：根据第三预设应用分区中与移动路径延伸方向一致的侧边长度设定的，比如长度阈值是此侧边长度的设定百分比(如20％)。此步骤所对应的示例仍可参照图10至图16对应的示例。

本公开实施例中，在确定页面布局方式后，可以结合用户的需求进行调整，合并不使用的应用分区，以进一步提升使用体验。并且，在触发页面布局调整时的操作移动路径需要满足一定的长度阈值条件，以避免因误操作引发布局调整。

在一个示例性的实施例中，如图3所示，本实施例的方法可以包括如下步骤：

S310、根据目标设备的屏幕参数，确定页面布局方式。

S320、在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表。

S330、根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至所述目标设备中的至少一个投屏分区。

S340、响应于至少一个应用均为媒体播放类应用，根据用户的第三操作指令，分别调节至少一个应用的播放方式。

其中，本实施例中步骤S310至步骤S330的实施方式可以参照前述实施例中步骤S110至步骤S130的实施方式，此处不再赘述。

在步骤S340中，媒体播放类应用包括能够输出音频应用，不同音频的传输通道不同，例如如下音频类型：互联网语音协议(Voice Over Internet Protocol，VOIP)通道、电话通道、音乐/媒体通道、系统音通道、铃声通道等。播放方式比如包括：播放参数和播放渠道，播放参数指音量、声道等参数，播放渠道指通过源设备或目标设备实现播放。当源设备和目标设备均为触控设备，播放参数和播放渠道均可以通过用户在预设界面或目标设备的屏幕设置。当仅源设备为触控设备，播放参数和播放渠道可通过用户在预设界面设置。

为进一步描述本步骤所涉及的调节播放方式的音频策略，以下将列举两个示例描述：

在第一个示例中，当播放方式包括：播放参数。本示例中步骤S340可以包括如下步骤：

S340-11、根据用户在目标应用分区或目标投屏分区上的第三操作指令，确定目标应用分区或目标投屏分区所显示的目标应用的目标应用标识，以及用户设定的播放参数。

此步骤中，目标应用分区或者目标投屏分区用于指代用户所触控操作的任一应用分区或任一投屏分区，目标应用分区和目标投屏分区对应于相同的应用。应用标识可采用用户身份标识(User Identification，UID)。

当源设备与目标设备均为触控设备，第三操作指令既可以是源设备的目标应用分区上的触控指令，也可以是目标投屏分区上的触控指令。当用户在目标投屏分区上执行第三操作指令，目标设备可基于UIBC的方式将用户的触控信息发送至源设备。源设备确定用户所选定的目标应用的应用标识。根据第三操作指令，源设备还可以控制在目标应用分区或目标投屏分区处显示：弹窗菜单，此弹窗菜单包括播放选项、音频调节选项等多个设置选项。源设备确定用户基于弹窗菜单所选取的播放参数。

S340-12、根据目标应用标识，确定目标应用的音频通道中的音频数据。此步骤中，结合图17所示，为每个媒体播放类应用设置单独的音频通道。当源设备获知目标应用标识，可根据其标识确定对应的音频通道，从音频通道中获取此目标应用的音频数据。

S340-13、控制目标设备以播放参数在目标投屏分区播放目标应用。此步骤中，可调节所获取的音频数据的播放参数，然后发送至目标设备进行播放。

本示例中，为每个应用设置单独的音频通道，以便于根据用户所选定的应用和播放参数，实现单独调节多个投屏应用中单个应用的播放参数。以解决相关技术中视频应用和音乐应用同时播放造成干扰的问题。可以理解的，当用户调节多个应用的播放参数，可多次执行本示例，依次调节每个应用所对应的播放参数。

在第二个示例中，当播放方式包括：播放渠道。本示例中步骤S340可以包括如下步骤：

S340-21、根据用户在目标应用分区或目标投屏分区上的第三操作指令，确定目标应用分区或目标投屏分区所显示的目标应用的目标应用标识，以及用户设定的播放渠道。其中，播放渠道用于指示通过目标设备播放目标应用的音频数据，或者通过源设备播放目标应用的音频数据。

此步骤中，可参考步骤S340-11的描述，源设备结合用户的操作指令，还可以确定用户所设定的任一应用的播放渠道。当用户设置多个应用的播放渠道，可多次执行本步骤，依次确定每个应用所对应的播放渠道。

S340-22、响应于播放渠道指示：通过目标设备播放第一目标应用的音频数据，通过源设备播放第二目标应用的音频数据时，根据第一目标应用的第一目标应用标识，获取第一目标应用的第一音频通道中的第一音频数据；根据第二目标应用的第二目标应用标识，确定第二目标应用的第二音频通道中的第二音频数据。

此步骤中，第一目标应用指代通过目标设备播放的应用，其可以是至少一个。第二目标应用指代通过源设备播放的应用。结合用户的操作指令确定具体应用的播放渠道后，结合其应用标识定位至对应的音频通道。结合图17所示，第一目标应用包括APP2和APP3，第二目标应用为APP1。对于指示通过目标设备播放的第一音频数据：APP2的数据2和APP3的数据3，源设备可分别对第一音频通道中的第一音频数据进行拦截获取，发送至目标设备处播放。而对于源设备播放的第二音频数据：APP1的数据1，源设备可不对第二音频数据进行拦截，以便于使其正常通过源设备的扬声器播放。

S340-23、控制目标设备播放所获取的第一音频数据，并调用源设备的扬声器播放第二音频数据。

此步骤中，源设备将拦截的第一音频数据发送给目标设备后，可控制目标设备播放第一音频数据，并调用自身扬声器同时播放第二音频数据。

本示例中，对于相同类型的媒体播放类应用，源设备可基于用户的选择，控制目标设备的扬声器和本地扬声器同时播放不同应用的音频，有效改善相关技术在同一设备上无法同时播放相同类型音频的问题。

结合图18所示的源设备的Android系统架构，上述两个示例所涉及的调节播放方式的音频策略，可通过算法的方式集成在硬件抽象层。源设备的处理器可通过调用算法的方式执行上述示例所示意的音频策略。在上述示例中，所涉及的目标应用位于应用层，源设备的扬声器位于硬件层，在音频播放过程中，音频数据由应用层逐层传输至硬件层。本实施例基于此架构，在硬件抽象层增加音频策略处理方法，可对每个应用对应的音频通道的数据进行获取或拦截，从而进行单独调节，或者通过源设备和目标设备进行同时播放。

在一个示例性的实施例中，本实施例的方法可以包括如图1、图2或图3中的步骤。在步骤S110、S210或步骤S310之前，本实施例的步骤还包括如下步骤：

S101、与目标设备建立连接后，获取目标设备的硬件参数。

S102、响应于硬件参数满足投屏条件，获取屏幕参数。

其中，在步骤S101中，源设备与目标设备可以是基于有线方式连接或无线方式连接。

在一个示例中，有线连接比如可以通过USB连接的方式，将源设备和目标设备连接。当检测到源设备通过USB接线连接到目标设备上，目标设备会获取源设备的设备描述符、配置描述符等信息。同时，源设备会获取到目标设备的硬件参数，比如获取目标设备的显示屏、扬声器等硬件条件。

在另一个示例中，无线连接可以有多种方式，比如基于蓝牙、近场通讯(NFC)或超宽带(UWB)的无线连接。在无线连接之前，可经过相关协议的搜索发现过程。例如，当源设备和目标设备均具备蓝牙功能时，在源设备上开启蓝牙，源设备会通过蓝牙搜索附近设备，获取支持分屏投屏的设备列表，用户可以在列表中选择需要连接的目标设备。再例如，当源设备和目标设备均带有NFC传感器时，用户可通过扫描NFC标签的方式将源设备和目标设备连接，源设备获取目标设备的硬件参数。再例如，当源设备和目标设备均支持UWB传感器时，用户通过将源设备和目标设备靠近进行连接，源设备获取目标设备的硬件参数。

在步骤S102中，硬件参数满足投屏条件即：目标设备至少具有显示屏及扬声器，能够实现投屏所需的硬件条件。基于有线或无线连接，源设备根据所获取目标设备的硬件参数，判断是否满足投屏条件。若不满足，则输出目标设备不支持投屏的提示信息。若满足，则可以建立如下投屏连接：基于数字生活网络联盟(Digistal Living Network Alliance，DLNA)协议、无线显示分享(Miracast)或隔空播放(AirPlay)协议等实现的无线连接。

基于有线连接或投屏连接，源设备可获取目标设备的屏幕参数，如目标设备的宽高像素信息。

结合前述实施例的描述，本公开实施例提出的跨设备的投屏和分屏方法，至少能够实现如下几个方面的技术效果：

第一、对源设备的第一区域和目标设备进行分屏，以实现同时在目标设备分区投屏显示多个应用，提升投屏的灵活性，扩充使用场景。

第二、基于多个媒体播放类应用具有独立的音频通道，可实现单独调节任一音频通道中音频数据的播放参数，提升用户体验，贴近用户的使用习惯。

第三、基于多个媒体播放类应用具有独立的音频通道，还可以实现相同类型的多媒体应用同时在目标设备和源设备上播放，进一步提升投屏的灵活性。

在一个示例性的实施例中，本公开实施例还提出了一种投屏方法，应用于目标设备。方法包括：

S410、根据源设备发送的页面布局方式，显示多个投屏分区。

S420、根据源设备的控制指令，在至少一个投屏分区分别投屏显示源设备中的至少一个应用。

其中，在步骤S410中，页面布局方式是源设备根据目标设备的屏幕参数确定的，用于指示目标设备显示多个投屏分区的方式。在步骤S420中，目标设备可以结合源设备传递的数据和控制指令，将源设备所指定的至少一个应用投屏显示在对应的投屏分区。本实施例中的实施方式可以参见前述实施例中的描述，此处不再赘述。

在一个示例性的实施例中，本实施例的方法还可以包括如下步骤：

S430、接收用户的操作指令；其中，操作指令包括第二操作指令或第三操作指令。

S440、向源设备发送与操作指令对应的触控信息。

S450、接收源设备发送的与触控信息对应的指令。

本实施例中，适用于对页面布局方式进行调整的场景，或者对投屏显示的应用调节播放方式的场景，具体实施方式可以参见前述实施例的描述，此处不再赘述。

在一个示例性的实施例中，本公开实施例还提出了一种投屏装置，应用于源设备。如图19所示，本实施例的装置包括：确定模块110、显示模块120以及控制模块130。本实施例的装置用于实现如图1至图3由源设备执行的方法。其中，确定模块110用于根据目标设备的屏幕参数，确定页面布局方式；其中，页面布局方式用于指示目标设备显示多个投屏分区的方式。显示模块120用于在预设界面的第一区域按页面布局方式显示多个应用分区，在预设界面的第二区域显示应用列表；其中，多个应用分区与多个投屏分区具有一一对应的映射关系。控制模块130用于根据用户在预设界面的第一操作指令，控制应用列表中至少一个应用对应投屏至目标设备中的至少一个投屏分区；其中，每对应的一组应用分区与投屏分区用于显示相同应用。

在一个示例性的实施例中，本公开实施例还提出了一种投屏装置，应用于目标设备，装置包括：接收模块和投屏模块。本实施例的装置用于实现前述由目标设备执行的方法。其中，接收模块，用于根据源设备发送的页面布局方式，显示多个投屏分区；其中，页面布局方式是源设备根据目标设备的屏幕参数确定的，用于指示目标设备显示多个投屏分区的方式。投屏模块，用于根据源设备的控制指令，在至少一个投屏分区分别投屏显示源设备中的至少一个应用。

如图20所示是一种电子设备的框图。本公开还提供了一种电子设备，例如，设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

设备600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件606为设备600的各种组件提供电力。电力组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。

本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种投屏方法，其特征在于，应用于源设备，方法包括：

2.根据权利要求1所述的投屏方法，其特征在于，所述根据目标设备的屏幕参数，确定页面布局方式，包括：

根据所述宽高比，确定对应的所述页面布局方式。

3.根据权利要求2所述的投屏方法，其特征在于，所述根据所述宽高比，确定对应的所述页面布局方式，包括：

4.根据权利要求3所述的投屏方法，其特征在于，所述根据所述宽高比，确定对应的所述页面布局方式包括：所述多个投屏分区沿正方形或长方形排布，包括：

5.根据权利要求3所述的投屏方法，其特征在于，所述确定所述页面布局方式中每个投屏分区的分布范围，包括：

根据所述对角点坐标，确定所述投屏分区的分布范围。

6.根据权利要求1所述的投屏方法，其特征在于，在所述预设界面的第三区域还显示有确认控件；

确定所述至少一个应用分区分别对应的至少一个投屏分区；

7.根据权利要求6所述的投屏方法，其特征在于，所述根据所述第一操作指令，确定待投屏显示的至少一个应用，以及所述至少一个应用分别对应的至少一个应用分区，包括：

8.根据权利要求1至7任一项所述的投屏方法，其特征在于，所述方法还包括：

根据用户的第二操作指令，调整所述页面布局方式。

9.根据权利要求8所述的投屏方法，其特征在于，所述第二操作指令为：所述源设备的第一区域上的操作指令；

10.根据权利要求8所述的投屏方法，其特征在于，所述第二操作指令为：在所述目标设备的屏幕上的操作指令；

11.根据权利要求9或10所述的投屏方法，其特征在于，所述预设条件包括：所述移动路径在所述第三预设应用分区范围内的移动长度不小于长度阈值；

12.根据权利要求1至7任一项所述的投屏方法，其特征在于，所述方法还包括：

响应于所述硬件参数满足投屏条件，获取所述屏幕参数。

13.一种投屏方法，其特征在于，应用于目标设备，方法包括：

14.根据权利要求13所述的投屏方法，其特征在于，所述方法还包括：

接收用户的第二操作指令；

向所述源设备发送与所述第二操作指令对应的触控信息；

接收所述源设备发送的与所述触控信息对应的指令。

15.一种投屏装置，其特征在于，应用于源设备，装置包括：

16.一种投屏装置，其特征在于，应用于目标设备，装置包括：

17.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1至12任一项或权利要求13至14任一项所述的投屏方法。

18.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至12任一项或权利要求13至14任一项所述的投屏方法。