CN112527174B - 一种信息处理方法及电子设备 - Google Patents

一种信息处理方法及电子设备 Download PDF

Info

Publication number
CN112527174B
CN112527174B CN201910922739.0A CN201910922739A CN112527174B CN 112527174 B CN112527174 B CN 112527174B CN 201910922739 A CN201910922739 A CN 201910922739A CN 112527174 B CN112527174 B CN 112527174B
Authority
CN
China
Prior art keywords
electronic device
cursor
screen
electronic
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910922739.0A
Other languages
English (en)
Other versions
CN112527174A (zh
Inventor
薛朝栋
邵凯
徐亚
刘建滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2020/116328 priority Critical patent/WO2021052488A1/zh
Publication of CN112527174A publication Critical patent/CN112527174A/zh
Application granted granted Critical
Publication of CN112527174B publication Critical patent/CN112527174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

本申请提供了一种信息处理方法，包括：第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。通过上述方式，可以将带有触摸屏的第一电子设备代替手柄作为AR设备/VE设备/MR设备的控制设备。

Description

一种信息处理方法及电子设备
技术领域
本申请涉及电子技术领域，尤其涉及一种信息处理方法及电子设备。
背景技术
随着增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)技术和混合现实(mix reality，MR)的普及，AR设备、VR设备和MR设备已经被广泛使用在工作、娱乐等许多场景。与传统的终端设备不同，当前AR设备、VR设备和MR设备使用独立手柄作为主要交互方案。
然而，AR设备、VR设备和MR设备的手柄较大较重，长时间使用容易导致疲劳。
发明内容
第一方面，本申请实施例提供了一种信息处理方法，包括：
第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
获取对所述第一电子设备的第一操作；
基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第一方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第一方面的一种设计中，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第一方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第一方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第一方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第一方面的一种设计中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述方法还包括：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，在第一方面的一种设计中，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第一方面的一种设计中，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述方法还包括：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，在第一方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，在第一方面的一种设计中，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述方法还包括：
屏蔽所述第四对象对所述点击操作的响应。
可选的，在第一方面的一种设计中，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，在第一方面的一种设计中，所述方法还包括：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，在第一方面的一种设计中，所述方法还包括：
接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作；
所述第一电子设备响应于所述第二操作。
可选的，在第一方面的一种设计中，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，在第一方面的一种设计中，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，在第一方面的一种设计中，所述方法还包括：
降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
第二方面，本申请提供了一种信息处理方法，所述方法应用于第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述方法包括：
当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，在第二方面的一种设计中，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，在第二方面的一种设计中，所述接收第一交互模式切换指令，包括：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选的，在第二方面的一种设计中，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述第一电子设备作为所述第二电子设备的控制设备；
接收第二交互模式切换指令；
响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，在第二方面的一种设计中，所述接收第二交互模式切换指令，包括：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，在第二方面的一种设计中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第二方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第二方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第二方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第二方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第二方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
第三方面，本申请提供了一种电子设备，包括：
发送模块，用于与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第三方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第三方面的一种设计中，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，在第三方面的一种设计中，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第三方面的一种设计中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，在第三方面的一种设计中，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，在第三方面的一种设计中，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第三方面的一种设计中，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，在第三方面的一种设计中，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，在第三方面的一种设计中，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，在第三方面的一种设计中，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
可选的，在第三方面的一种设计中，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，在第三方面的一种设计中，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，在第三方面的一种设计中，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，在第三方面的一种设计中，所述处理模块，具体用于：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
第四方面，本申请提供了一种电子设备，该电子设备为第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
将所述第一电子设备作为所述第二电子设备的控制设备；
所述第一电子设备还包括获取模块，用于接收第二交互模式切换指令；
所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，在第四方面的一种设计中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第四方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
第五方面，本申请提供了一种信息处理方法，所述方法包括：
将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，在第五方面的一种设计中，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，在第五方面的一种设计中，所述方法还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，在第五方面的一种设计中，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，在第五方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第五方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第五方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第五方面的一种设计中，所述方法还包括：
将所述菜单栏显示在所述第二电子设备中。
第六方面，本申请提供了一种电子设备，包括：
发送模块，用于将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，在第六方面的一种设计中，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，在第六方面的一种设计中，所述方法还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，在第六方面的一种设计中，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，在第六方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第六方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第六方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第六方面的一种设计中，所述方法还包括：
将所述菜单栏显示在所述第二电子设备中。
第七方面，本申请提供了一种电子设备，所述电子设备用作第一电子设备，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第八方面，本申请提供一种投屏系统，包括：如上述第一方面、第二方面或第五方面所述的第一电子设备，以及第二电子设备，所述第一电子设备与所述第二电子设备连接。
第九方面，本申请的实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第十方面，本申请提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第十一方面，本申请提供一种操控方法，应用于与第二电子设备连接的第一电子设备，其中，所述第二电子设备包括成像系统；所述方法包括：
将所述第一电子设备运行的N个应用的界面内容分别显示在所述成像系统中的N个显示区域中；所述第一电子设备包括第一显示屏，N为大于1的整数；
将光标显示在所述成像系统中，所述光标用于在所述成像系统显示的内容中确定操作对象；
接收作用于所述第一显示屏上的第一滑动操作；
根据所述第一滑动操作确定所述光标在所述成像系统显示的内容中的位移；
其中，所述第一滑动操作的起始位置在所述第一电子设备的当前界面内容中对应于第一对象，所述第一对象不响应所述第一滑动操作，所述当前界面内容为所述N个应用的界面内容中的一个应用的界面内容。
可选的，在第十一方面的一种设计中，所述第二电子设备包括电视、AR设备、VR设备或MR设备。
可选的，在第十一方面的一种设计中，所述方法还包括：
根据所述光标在所述成像系统显示的N个应用的界面内容中确定第一操作对象，所述第一对象至少包括应用程序和功能控件；
接收第二操作，使所述第一操作对象响应于所述第二操作。
可选的，在第十一方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第十一方面的一种设计中，所述方法还包括：
将菜单栏显示在所述成像系统中；所述菜单栏包括用于在所述成像系统中增加或删减应用的界面内容的功能控件。
第十二方面，本申请提供一种第一电子设备，其特征在于，所述第一电子设备与第二电子设备连接；所述第一电子设备包括第一显示屏，所述第二电子设备包括成像系统；所述第一电子设备包括：
发送模块，用于将所述第一电子设备运行的N个应用的界面内容分别显示在所述成像系统中的N个显示区域中；所述第一电子设备包括第一显示屏，N为大于1的整数；还用于将光标显示在所述成像系统中，所述光标用于在所述成像系统显示的内容中确定操作对象；
处理模块，用于接收作用于所述第一显示屏上的第一滑动操作；并根据所述第一滑动操作确定所述光标在所述成像系统显示的内容中的位移；
其中，所述第一滑动操作的起始位置在所述第一电子设备的当前界面内容中对应于第一对象，所述第一对象不响应所述第一滑动操作，所述当前界面内容为所述N个应用的界面内容中的一个应用的界面内容。
可选的，在第十二方面的一种设计中，所述第二电子设备包括电视、AR设备、VR设备或MR设备。
可选的，在第十二方面的一种设计中，所述处理模块还具体用于：
根据所述光标在所述成像系统显示的N个应用的界面内容中确定第一操作对象，所述第一对象至少包括应用程序和功能控件；
接收第二操作，使所述第一操作对象响应于所述第二操作。
可选的，在第十二方面的一种设计中，所述处理模块还用于：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第十二方面的一种设计中，所述发送模块还用于：
将菜单栏显示在所述成像系统中；所述菜单栏包括用于在所述成像系统中增加或删减应用的界面内容的功能控件。
第十三方面，本申请提供一种电子设备，其特征在于，该电子设备为第一电子设备，所述第一电子设备包括：
处理器、输入设备、输出设备和存储器；
其中，所述输入设备用于接收数据和指令；所述输出设备用于发送数据和指令；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如第十一方面所述的方法。
本申请实施例提供了一种信息处理方法，包括：第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；获取对所述第一电子设备的第一操作；基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。通过上述方式，可以将带有触摸屏的第一电子设备代替手柄作为AR设备/VE设备/MR设备的控制设备。
附图说明
图1是本申请实施例提供的投屏系统的系统架构图；
图2是本申请实施例提供的第一电子设备的结构示意图；
图3a是本申请实施例的电子设备的软件结构框图；
图3b为本申请实施例提供的一种信息处理方法的流程图示意图；
图4a为本申请实施例提供的一种第一电子设备的界面示意图；
图4b为本申请实施例提供的一种第一电子设备的界面示意图；
图4c为本申请实施例提供的一种第一电子设备的界面示意图；
图5a为本申请实施例提供的一种第一电子设备的界面示意图；
图5b为本申请实施例提供的一种第一电子设备的界面示意图；
图5c为本申请实施例提供的一种第一电子设备的界面示意图；
图6a为一种投屏的实际场景示意图；
图6b为一种投屏的实际场景示意图；
图6c为一种投屏的实际场景示意图；
图6d为一种投屏的实际场景示意图；
图7a为一种投屏的实际场景示意图；
图7b为一种第一电子设备在水平方向上转动的姿态变化示意图；
图7c为一种第二电子设备显示的光标的位移示意图；
图7d为一种投屏的实际场景示意图；
图7e为一种第一电子设备在竖直方向上转动的姿态变化示意图；
图7f为一种第二电子设备显示的光标的位移示意图；
图7g为一种投屏的实际场景示意图；
图7h为一种用户的滑动操作示意图；
图7i为一种用户的滑动操作示意图；
图7j为一种第二电子设备显示的光标的位移示意图；
图8a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图8b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9c为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图10a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图10b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图10c为本申请实施例提供的一种第一电子设备的交互示意图；
图10d为本申请实施例提供的一种第一电子设备的界面内容示意图；
图11a为一种第一电子设备和第二电子设备的交互示意图；
图11b为一种第一电子设备和第二电子设备的交互示意图；
图11c为一种第一电子设备和第二电子设备的交互示意图；
图11d为一种第一电子设备和第二电子设备的交互示意图；
图11e为一种第一电子设备和第二电子设备的交互示意图；
图11f为一种第一电子设备和第二电子设备的交互示意图；
图11g为一种第一电子设备和第二电子设备的交互示意图；
图12a为本申请实施例提供的一种第二电子设备的界面示意图；
图12b为本申请实施例提供的一种第二电子设备的界面示意图；
图12c为本申请实施例提供的一种第二电子设备的界面示意图；
图12d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12e为本申请实施例提供的一种第二电子设备的界面示意图；
图12f为本申请实施例提供的一种第二电子设备的界面示意图；
图12g为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12h为本申请实施例提供的一种第二电子设备的界面示意图；
图12i为本申请实施例提供的一种第二电子设备的界面示意图；
图12j为本申请实施例提供的一种第二电子设备的界面示意图；
图12k为本申请实施例提供的一种第二电子设备的界面示意图；
图12l为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12m为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12n为本申请实施例提供的一种第二电子设备的界面示意图；
图12o为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12p为本申请实施例提供的一种第二电子设备的界面示意图；
图12q为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12r为本申请实施例提供的一种第二电子设备的界面示意图；
图12s为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12t为本申请实施例提供的一种第二电子设备的界面示意图；
图12u为本申请实施例提供的一种用户操作第一电子设备的示意图；
图13为本申请实施例提供的一种投屏场景的示意图；
图14a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14c为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图14e为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14f为本申请实施例提供的一种用户操作第一电子设备的示意图；
图14g为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图15为本申请实施例提供的一种信息处理方法的流程图示意；
图16为本申请实施例的一种架构示意图；
图17为本申请实施例的一种架构示意图；
图18为本申请实施例提供的电子设备的一种结构示意图；
图19为本申请实施例提供的电子设备的一种结构示意图；
图20为一种第一电子设备与第二电子设备的交互示意图；
图21a示出了第一电子设备连接到第二电子设备的连接方式示意图；
图21b示出了第一电子设备连接到第二电子设备的连接方式示意图；
图22包括图22a,22b,22c和22d示出了第一电子设备与第二电子设备的一种交互示意图；
图23a为一种用户使用第一电子设备的交互示意图；
图23b为一种用户使用第一电子设备的交互示意图；
图23c为一种用户使用第一电子设备的交互示意图；
图23d为一种用户使用第一电子设备的交互示意图；
图24a为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图24b为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图24c为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图25为本申请实施例提供的一种第一电子设备的操作示意图；
图26为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图27为本申请实施例提供的一种系统架构的示意图；
图28为本申请实施例提供的一种系统架构的示意图；
图29为本申请实施例提供的一种信息处理方法的流程图示意；
图30为本申请实施例提供的一种多屏幕的操控示意图。
具体实施方式
本申请实施例提供了一种信息处理方法及电子设备，用户可以使用手机作为增强现实 AR设备、虚拟现实VR设备或混合现实MR设备的控制设备。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请所涉及的投屏可包括有线投屏和无线投屏，其中有线投屏可以通过高清多媒体接口(high definition multimedia interface，HDMI)建立电子设备之间的连接，并通过 HDMI传输线传输媒体数据；无线投屏可以通过例如Miracast协议建立多个电子设备之间的连接，并通过例如无线局域网(wireless fidelity，WIFI)传输媒体数据。
本申请的投屏系统可以至少包括两个电子设备和一个投屏端口，这里的投屏端口可包括有线端口和/或无线端口。有线端口可以为HDMI；无线端口可以为应用编程接口(application programming interface，API)，也可以为硬件投屏模块。参见图1，图1是本申请实施例提供的投屏系统的系统架构图。如图1所示，投屏系统包括第一电子设备100 和第二电子设备200，第一电子设备100可以包括第一有线端口101和/或第一无线端口102，第二电子设备200可以包括第二有线端口201和/或第二无线端口202。第一有线端口101和第一无线端口102可以集成在第一电子设备100上，也可独立于第一电子设备100存在；第二有线端口201和第二无线端口202可以集成在第二电子设备200上，也可以独立于第二电子设备200存在，本申请实施例不做限定。第一电子设备100与第二电子设备200可通过投屏端口(有线端口或无线端口)建立投屏连接。其中，第一电子设备100至少具备投屏发送(Source)能力。
第一电子设备100可以包括增强交互服务，该增强交互服务可以获取到电子设备的传感器信息(例如可以是从图1中的传感器输入获取)，该传感器信息包括但不限于第一电子设备的姿态信息，该增强交互服务还可以获取到电子设备的触摸屏信息(例如可以是从图1中的触摸屏输入获取)，该触摸屏信息包括但不限于对触摸屏的触摸信息。关于第一电子设备的增强交互服务如何使用获取到的传感器信息以及触摸屏信息，将在后面的实施例中说明，这里不再赘述。
在一种实现方式中，该增强交互服务也可以获取到第一电子设备前端应用的界面内容，并在界面内容上绘制其他图像(例如光标以及菜单栏)，并将绘制好的界面内容发送至投屏服务，投屏服务可以基于绘制好的界面内容生成投屏内容，并将投屏内容发送至第二电子设备200，以使得所述第二电子设备的显示屏显示所述投屏内容。
在另一种实现方式中，该增强交互服务也可以通过系统的悬浮窗接口将其他图像(例如光标以及菜单栏)添加至第一电子设备前端应用的界面内容，投屏服务可以获取到添加有其他图像的第一电子设备前端应用的界面内容，并基于获取到的添加有其他图像的第一电子设备前端应用的界面内容生成投屏内容，并将投屏内容发送至第二电子设备200，以使得所述第二电子设备的显示屏显示所述投屏内容。
第一电子设备100可包括投屏服务，该投屏服务用于实现投屏发送(source)能力，例如，投屏服务可以获取到第一电子设备的界面内容作为投屏数据，或者将增强交互服务绘制好的界面内容作为投屏内容，并将投屏内容通过第一无线端口或第一有线端口发送至第二电子设备200。
第二电子设备100可以但不限于具备投屏接收(Sink)能力和图像显示能力。第二电子设备200可包括投屏服务，该投屏服务用于实现投屏接收(sink)能力，该投屏服务可以将接收到的投屏内容显示在第二电子设备的显示屏上。
第一电子设备100的示例包括但不限于搭载iOS、android、microsoft或者其他操作系统的电子设备，可选的，第一电子设备100可以为手机、平板电脑、个人数字助理(personal digital assistant，PDA)或台式电脑等电子设备。第二电子设备200可以为电视、平板电脑或台式电脑等电子设备。
需要说明的是，第一电子设备可以为具有显示功能的电子设备。
需要说明的是，在一些场景中，若第二电子设备为电视、平板电脑或台式电脑，其显示屏的显示区域的尺寸可以大于第一电子设备的显示屏的显示区域的尺寸。
为便于理解，下面将对本申请实施例提供的第一电子设备100的结构进行示例说明。参见图2，图2是本申请实施例提供的第一电子设备的结构示意图。
如图2所示，第一电子设备100可以包括处理器110，外部存储器接口120，内部存储器 121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达 191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器 180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对第一电子设备100的具体限定。在本申请另一些实施例中，第一电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit， GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是第一电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I1C)接口，集成电路内置音频(inter-integrated circuitsound，I1S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和 /或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对第一电子设备100的结构限定。在本申请另一些实施例中，第一电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
第一电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
在一些可行的实施方式中，第一电子设备100可以使用无线通信功能和其他设备通信。例如，第一电子设备100可以和第二电子设备200通信，第一电子设备100与第二电子设备 200建立投屏连接，第一电子设备100输出投屏数据至第二电子设备200等。其中，第一电子设备100输出的投屏数据可以为音视频数据。第一电子设备100与第二电子设备200的通信过程可参照后续实施例的相关描述，在此暂不赘述。
天线1和天线2用于发射和接收电磁波信号。第一电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在第一电子设备100上的包括1G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块 150还可以对经调制解调处理器调制后的信号放大，经天线2转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在第一电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙 (bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication， NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线1接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，第一电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得第一电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioningsystem，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统 (quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentationsystems，SBAS)。
第一电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode， FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，第一电子设备100可以包括1个或N个显示屏194， N为大于1的正整数。
在一些可行的实施方式中，显示屏194可用于显示第一电子设备100的系统输出的各个界面。第一电子设备100输出的各个界面可参考后续实施例的相关描述。
第一电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP 还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193 中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，第一电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。
视频编解码器用于对数字视频压缩或解压缩。第一电子设备100可以支持一种或多种视频编解码器。这样，第一电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG1，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现第一电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展第一电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行第一电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储第一电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
第一电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。在一些可行的实施方式中，音频模块170可用于播放视频对应的声音。例如，显示屏194显示视频播放画面时，音频模块170输出视频播放的声音。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA) 标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定第一电子设备100的运动姿态。气压传感器180C用于测量气压。
加速度传感器180E可检测第一电子设备100在各个方向上(一般为三轴)加速度的大小。当第一电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于采集指纹。
温度传感器180J用于检测温度。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于第一电子设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。第一电子设备100可以接收按键输入，产生与第一电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。
以上是对第一电子设备100的结构进行的描述，接下来对第一电子设备的软件结构进行说明。第一电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。第一电子设备100的示例包括但不限于搭载iOS、android、microsoft或者其他操作系统的电子设备，本申请实施例以第一电子设备100搭载Android系统为例，示例性说明第一电子设备100的软件结构。
图3a是本申请实施例的第一电子设备100的软件结构框图。
如图3a所示，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图3a所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3a所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。界面内容可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
图形处理库用于实现对2D或3D图形进行绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
需要说明的是，第二电子设备可以具有图2和图3a所示结构的全部或一部分，这里并不限定。为了便于理解，本申请以下实施例将以具有图2和图3a所示结构的第一电子设备为例，结合附图和应用场景，对本申请实施例提供的一种投屏方法进行具体阐述。
本申请实施例中，第二电子设备200可以为电视、平板电脑或台式电脑等电子设备，接下来以第二电子设备为电视为例，对本申请实施例提供的投屏方法进行说明。
首先介绍第一电子设备100和第二电子设备200建立投屏连接的过程。
需要说明的是，第二电子设备的数量可以为一个或多个，即，第一电子设备可以与一个第二电子设备建立投屏连接，也可以同时与多个第二电子设备建立投屏连接。
接下来说明，第一电子设备如何与第二电子设备建立投屏连接。
在一种可选方式中，第一电子设备可以通过选择系统自带的投屏控件来实现与第二电子设备的投屏连接。
可选地，参照图4a，图4a为本申请实施例提供的一种第一电子设备的界面示意图，如图4a中示出的那样，用户的手指可以在第一电子设备100主界面的顶部区域向下滑动。当第一电子设备100在主界面上检测到下滑操作时，显示如图4b所示的通知管理界面40。如图4b所示，通知管理界面40包括移动数据图标402、无线网络图标403以及无线投屏图标401等等。用户在通知管理界面40上点击无线投屏图标401，第一电子设备100可以启动无线投屏功能。
可选地，本申请实施例中，如果用户在通知管理界面40上点击无线投屏图标401时，无线网络未打开，则第一电子设备100可以提示或自动打开无线网络，并提示用户选择一个无线网络连接。本申请实施例中，第一电子设备100通过无线保真(wirelessfidelity， WIFI)自动搜索连接到该WIFI上的投屏设备(表示具有投屏发送/接收能力的电子设备)。第一电子设备100可以在通知管理界面40上显示如图4c所示的搜索/选择框404，搜索/选择框404中包括搜索到的一个或多个投屏设备的名称，以提示用户从搜索到的投屏设备中选择一个投屏设备建立投屏连接。用户选定想要投屏的投屏设备后，第一电子设备100可以与用户选定的投屏设备建立投屏连接。
在一种可选方式中，第一电子设备还可以通过选择一些应用(例如，视频应用或用于演示的应用)中的投屏控件来实现与第二电子设备的投屏连接。
可选地，参照图5a，图5a为本申请实施例提供的一种第一电子设备的界面示意图，如图5a中示出的那样，第一电子设备100中可以安装有多个应用，例如视频应用(application， APP)等。其中，该视频APP可用于观看视频、直播、小说和/或漫画等。该视频APP至少具备投屏发送功能。该视频APP可以是第一电子设备100出厂时预装的，也可以是用户下载后安装的。该视频APP可以是第一电子设备100的厂商开发的视频应用，也可以是第三方厂商开发的视频APP。
如图5a中示出的那样，第一电子设备的界面还可以包括：状态栏、以及多个其他应用程序的图标，例如社交APP的图标等。其中，状态栏可包括WiFi图标、信号强度、当前的剩余电量和/或当前的时间等。在一些可行的实施方式中，状态栏还可包括蓝牙图标、闹钟图标等。当第一电子设备100检测到用户的手指或者触控笔针对某一个应用图标的点击事件后，响应于该点击事件，第一电子设备100启动应用，显示与该应用图标对应的用户界面。例如，当第一电子设备100检测到用户的手指触摸视频APP的图标501时，第一电子设备100响应于该触摸事件启动视频APP，并显示视频APP的主界面。用户可以在视频APP的主界面上选定视频，相应的，第一电子设备100可以接收用户选定的视频并显示视频播放界面。
可选地，在一种实施方式中，第一电子设备100启动视频APP之后，用户可以在视频APP 的主界面中搜索或选择自己想要播放的视频，第一电子设备100从云平台中搜索用户在搜索栏中输入的视频名称，并显示搜索到的视频的图标。在用户选定想要播放的视频之后，可以点击视频的图标进入视频播放界面。第一电子设备100的视频APP从云平台获取用户选定的视频的资源(如视频流)，并解析输出该视频的视频图像。参见图5b，图5b是本申请实施例提供的第一电子设备的视频APP的视频播放界面的示意图。示例性地，用户选定的视频为《可爱的自己》第一集，对应的视频播放界面50可以如图5b所示。示例性的，视频播放界面50可包括视频图像504、投屏控件502、选集506、返回控件503以及全屏控件505等。
除了上述元素以及控件，视频播放界面40还可包括更多内容，例如还可包括缓存控件、评论控件等。用户可通过手指在视频播放界面50上触摸缓存控件下载视频400；或用户可通过手指在视频播放界面50上触摸评论控件查看评论、发表评论等。可理解的，上述界面的描述仅为示例，不同的视频APP或者不同视频，其对应的视频播放界面、全屏播放界面包含的元素及控件、各个元素及控件的排布方式等有可能不同，这里不做限制。
如果用户想要将视频投屏到第二电子设备200上播放，则可以通过手指或触控笔在视频播放界面50上点击投屏控件502，相应的，第一电子设备100可以接收用户点击投屏控件 502所产生的投屏指示。第一电子设备100可以探测第一电子设备100当前是否已经建立投屏连接。当第一电子设备100探测到当前未建立投屏连接时，第一电子设备100可以搜索投屏设备，并显示搜索到的投屏设备并提示用户选择投屏设备。
示例性的，当第一电子设备100探测到当前未建立投屏连接时，第一电子设备100会通过无线网络搜索连接到该无线网络上的一个或多个投屏设备。本申请实施例所涉及的投屏设备为具备投屏发送(Source)/接收(Sink)能力的电子设备。当第一电子设备100搜索到一个或多个投屏设备时，参照图5c，图5c为本申请实施例提供的一种投屏设备选择的界面内容示意，如图5c中示出的那样，第一电子设备100可以在该界面上显示如图5c所示的搜索/ 选择框507，搜索/选择框507中包括搜索到的一个或多个投屏设备的名称，以提示用户从搜索到的投屏设备中选择一个投屏设备建立投屏连接。示例性地，搜索/选择框507包括搜索到的具备投屏接收能力的设备名称：办公室1的电视、办公室2的电视、我的电脑。用户选定想要投屏的设备后，第一电子设备100与用户选定的设备通过无线视频显示(Wi-Fidisplay，WFD)技术中的无线显示标准Miracast协议建立投屏连接。示例性地，用户选定的投屏设备为办公室1的电视，则第一电子设备100与办公室1的电视建立投屏连接。为方便描述，以下描述将用户选定的投屏设备称为第二电子设备200。
需要说明的是，投屏设备选择的界面内容还可以包括刷新控件509和退出控件508，本申请并不限定。
可选地，在另一种实施例中，用户还可以在第一电子设备100的上通过其他控件的点击来启动第一电子设备100的无线投屏功能，本申请并不限定。
接下来说明，第一电子设备与第二电子设备建立投屏连接的实现过程。
可选地，在一种实施例中，用户可以将第一电子设备100与第二电子设备200通过高清多媒体接口(high Definition multimedia interface，HDMI)来建立有线投屏连接。
可选地，在另一种实施例中，第一电子设备100可以与第二电子设备200通过信号分发端建立投屏连接，本实施例中，信号分发端可以包括信号分发器或信号分配器等，本申请并不对此进行限制。在运行过程中，作为信号分发端的电子设备可以运行某一应用程序，从而接收第一电子设备发送的投屏数据，并将该投屏数据进一步分发至第二电子设备，以实现本申请中的投屏功能。其中，应用程序可以为专用于投屏功能的投屏应用，也可以为包含投屏功能的其他应用。
需要说明的是，目前常用的电子设备已能够利用常规处理方式达到支持无线投屏服务的功能；如，配置智能设备支持无线投屏相关协议，目前常用的协议有Miracast、 DLNA(digital living network alliance，数字生活网络联盟)、AirPlay协议等，其中，常规处理方式是在电子设备上安装符合智能操作系统的无线投屏应用，这样，智能设备就能够支持无线投屏服务。当然，也可以采用其他方式配置电子设备(第一电子设备和第二电子设备)，使其支持无线投屏服务，在本申请中对此不作具体限制。
可选地，在本实施例中，第一电子设备在与第二电子设备建立投屏连接后，第一电子设备可以将投屏数据发送至第二电子设备，第二电子设备可以显示第一电子设备发送的投屏数据对应的投屏数据。
可选地，在本实施例中，第一电子设备在与第二电子设备建立投屏连接后，第一电子设备可以将投屏数据间接发送至第二电子设备：第一电子设备可以将投屏数据发送至信号分发端，然后由信号分发端将投屏数据进一步发送至第二电子设备。
实际上，本申请只是为了说明投屏数据来源于第一电子设备，并且最终由第二电子设备获得并展示该投屏数据，而对于该投屏数据如何由第一电子设备传输至第二电子设备，本申请并不对此进行限制。
以上描述了第一电子设备100和第二电子设备200建立投屏连接的过程，接下来描述用户如何基于对第一电子设备的操作实现投屏过程中与第二电子设备显示的投屏内容的交互。
参照图3b，图3b为本申请实施例提供的一种信息处理方法的流程图，如图3b中示出的那样，信息处理方法包括：
301、第一电子设备生成投屏内容。
本申请实施例中，第一电子设备可以在检测到第一电子设备与第二电子设备建立投屏连接后，生成投屏内容。
本申请实施例中，所述投屏内容可以但不限于包括光标以及第一电子设备的界面内容。
可选的，本申请实施例中，第一电子设备可以获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标，得到投屏内容。
其中，光标的形状可以是鼠标形状或者是其他形状，本申请并不限定。需要说明的是，光标可以用于定位在所述界面内容中的操作位置，且光标可以响应于用户对第一电子设备的操作(改变姿态信息或滑动第一电子设备的显示屏)，在第二电子设备的显示屏上移动，关于光标如何基于用户对第一电子设备的操作在第二电子设备的显示屏上移动将在后面的实施例中描述，这里不再赘述。
具体的，第一电子设备可以获取当前前端应用的界面内容。例如，第一电子设备可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制光标，第一电子设备可以将上述绘制好的内容作为投屏内容，第一电子设备的投屏服务可以获取到该投屏内容，并将投屏内容(可以经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
可选的，本申请实施例中，第一电子设备还可以基于悬浮窗接口将光标对应的图像信息添加到当前第一电子设备前端应用的界面内容中，生成投屏数据，此时，第一电子设备的投屏服务可以获取到上述投屏数据，并将投屏数据(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏数据对应的投屏内容。
需要说明的是，第二电子设备在与第一电子设备建立连接后，可以直接在第二电子设备的显示屏上显示光标，也可以不直接在第二电子设备的显示屏上显示光标，而是需要基于用户对第一电子设备执行一定的操作后，才在第二电子设备的显示屏上显示光标。
具体的，第二电子设备在与第一电子设备建立连接后，可以直接在显示的投屏内容的中心区域或者是其他预设的区域显示光标。
此外，第二电子设备在与第一电子设备建立连接后，也可以先不在显示的投屏内容的中心区域或者是其他预先确定的区域显示光标，而是检测第一电子设备的姿态信息，若检测到第一电子设备的姿态信息发生改变，则在显示的投屏内容的中心区域或者是其他预先确定的区域显示光标。从用户的角度来说，若用户未在第二电子设备的显示屏上看到光标，则用户可以通过挥动第一电子设备来改变第一电子设备的姿态信息，进而触发光标在第二电子设备上的显示。
可选地，在一种实施例中，第一电子设备和第二电子设备建立投屏连接后，可以先不在第二电子设备上显示光标，用户可以通过在第一电子设备的显示屏上进行触摸操作，来激活第二电子设备的光标显示，上述触摸操作可以为在第一电子设备显示屏上的预设区域进行点击操作、双击操作或长按操作，本申请并不限定。
示例性的，参照图6a，图6a为一种投屏的实际场景示意，如图6a中示出的那样，此时用户手持第一电子设备100，而第二电子设备200显示了第一电子设备100发送的投屏内容 60，其中，投屏内容60包括第一电子设备100当前的界面内容(例如，图4a示出的界面)。需要说明的是，第一电子设备100的界面内容可以但不限于是前端应用的界面内容。
可选地，在另一种实施例中，基于图5c中示出的那样，用户选择投屏设备之后，参照图6d，图6d为一种投屏的实际场景示意，如图6d中示出的那样，第二电子设备200显示了第一电子设备100发送的投屏内容60，其中，投屏内容60包括第一电子设备100当前的界面内容(图5b中示出的视频播放界面)，此外，投屏内容60还包括：光标601。
本申请实施例中，在第一电子设备检测到与第二电子设备建立投屏连接后，还可以降低所述第一电子设备的显示屏的显示亮度，或者对所述第一电子设备的显示屏执行熄屏操作。
可选地，本申请实施例中，参照图6b，图6b为一种投屏的实际场景示意，如图6b中示出的那样，此时用户手持的第一电子设备100的界面内容为图4a示出的界面(第一电子设备的主界面)，而在第一电子设备和第二电子设备建立了投屏连接后，如图6c中示出的那样，此时，第一电子设备熄屏。需要说明的是，此时第一电子设备可以并不显示图4a的页面，图4a仅仅是第一电子设备本应该呈现的页面，第一电子设备此时显示的是图6c。
可选地，在另一种实施例中，第一电子设备和第二电子设备建立了投屏连接后，可以在第一电子设备上显示是否进入熄屏状态的控件(或者是通过其他预定操作)，用户可以通过点击进入熄屏状态的控件来使得第一电子设备进入熄屏状态。
相比于现有技术中，在投屏时，第一电子设备需要保持亮屏的状态，本申请实施例中，第一电子设备和第二电子设备建立了投屏连接后，第一电子设备可以降低显示屏的显示亮度，或者直接进入熄屏状态，从而降低了第一电子设备的能耗。
需要说明的是，本申请实施例中，在第一电子设备检测到与第二电子设备建立投屏连接后，可以通过系统的亮度调节接口来降低所述第一电子设备的显示屏的显示亮度，或者对所述第一电子设备的显示屏执行熄屏操作。
需要说明的是，本申请实施例中，第一电子设备仅仅处于熄屏状态，此时，第一电子设备中的应用还在运行，第一电子设备中的投屏控件仍然可以获取到当前前端应用的界面内容。
302、第一电子设备向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
本申请实施例中，第一电子设备生成投屏内容之后，可以向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
步骤302的实现方式可以参考上述实施例中，第一电子设备向第二电子设备发送投屏数据的相关描述，这里不再赘述。
本申请实施例中，为了降低第一电子设备的耗能，可以在第一电子设备和第二电子设备建立了投屏连接后，第一电子设备进入熄屏状态，此时，第一电子设备的显示屏是黑的，用户无法通过在界面内容上操作来操作第一电子设备上的对象，例如，在图6d示出的场景中，用户想点击返回控件，或者拖动进度条，然而由于第一电子设备的界面内容是黑的，用户无法在第一电子设备的显示屏上定位到第一电子设备中的返回控件和进度条，进而无法执行点击返回控件，或者拖动进度条的操作。接下来论述本申请实施例中，在第一电子设备处于熄屏的状态下，用户如何对第二电子设备显示的投屏内容进行操作。
首先介绍，用户如何调整光标在第二电子设备显示屏上的显示位置。
本申请实施例中，第二电子设备显示的光标进可以用于定位在所述界面内容中的操作位置，因此，用户可以通过改变光标在第二电子设备显示屏上的显示位置来改变操作位置，接下来描述，用户如何改变光标在第二电子设备显示屏上的显示位置。
本申请实施例中，用户可以通过改变第一电子设备的姿态来调节光标在第二电子设备显示屏上的显示位置，也可以通过在第一电子设备的显示屏上执行滑动操作姿态来调节光标在第二电子设备显示屏上的显示位置。
一、通过改变第一电子设备的姿态来调节光标在第二电子设备显示屏上的显示位置。
本申请实施例中，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
本申请实施例中，第二电子设备的投屏内容上显示有光标601，该光标601可以随着第一电子设备的姿态的变化而进行对应的位移。具体的，用户可以通过挥动第一电子设备来改变第一电子设备在三维空间中的姿态，进而第二电子设备上的光标601可以根据第一电子设备在三维空间中的姿态变化而在第二电子设备的投屏内容上进行相应的位移。
可选地，参照图7a，图7a为一种投屏的实际场景示意，如图7a中示出的那样，用户可以通过挥动第一电子设备来该改变第一电子设备的姿态(水平方向角度和/或竖直方向角度)，相应的，第二电子设备200上显示的光标601可以在水平方向和/或竖直方向上进行相应的位移。
接下来分别说明第二电子设备200上显示的光标601如何在水平方向以及竖直方向上进行相应的位移。
1)、水平方向：
本申请实施例中，第一电子设备可以根据所述第二旋转角确定所述光标的水平位移，并根据所述水平位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
具体的，参照图7b，图7b为一种第一电子设备在水平方向上转动的姿态变化示意，如图7b中示出的那样，第一电子设备在水平面上由姿态1转动到姿态2，转动的角度变化分量为θ1。本申请实施例中，第一电子设备100可以监测在三维空间中的姿态变化，并获得空间方位参数，以图7a示出的姿态变化为例，第一电子设备100可以获取到空间方位参数(水平方向转动的角度变化分量)为θ1。
本申请实施例中，第一电子设备可以获取水平方向转动的角度变化分量与第二电子设备中光标601水平位移方向上的大小L1之间的映射关系，其中，映射关系可以表示第一电子设备水平方向转动的角度变化分量越大，相应的，第二电子设备中光标601水平位移方向上的大小L1可以越大。第一电子设备可以基于获取到的水平方向转动的角度变化分量以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L1。
示例性的，第一电子设备获取到的水平方向转动的角度变化分量与第二电子设备中光标601水平位移大小之间的映射关系为：第一电子设备在水平面上每转动1°时，光标601 在第二电子设备的投屏内容中的水平像素坐标变化30个像素。
例如，若用户挥动第一电子设备以使得第一电子设备在水平面上转动15°时，则光标 601在第二电子设备的投屏内容中的水平像素坐标变化450个像素。
需要说明的是，第一电子设备100与第二电子设备200建立投屏连接的过程中，第一电子设备100与第二电子设备200会进行性能参数的交换与协商，即第一电子设备100可以获取第二电子设备200上界面内容的尺寸参数等等。第一电子设备可以基于第二电子设备200 上界面内容的尺寸参数调整上述映射关系。例如，第二电子设备200上界面内容的水平尺寸越大，则第一电子设备在水平方向转动相同的角度变化分量的情况下，光标601在第二电子设备的投屏内容中的水平像素坐标变化越大。
需要说明的是，第一电子设备可以向左或向右转动(从第一电子设备的主界面的视角上看即为逆时针或顺时针转动)，相应的，光标601可以在第二电子设备的投屏内容中向左或向右位移。例如，第一电子设备可以向左转动，相应的，光标601可以在第二电子设备的投屏内容中向左位移。又例如，第一电子设备可以向右转动，相应的，光标601可以在第二电子设备的投屏内容中向右位移。
参照图7c，图7c为一种第二电子设备显示的光标的位移示意，如图7c中示出的那样，在第一电子设备获取到三维空间中水平方向转动的角度变化分量为θ1的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的水平像素坐标变化为L1，并将携带有水平像素坐标变化L1的信息发送至第二电子设备，相应的，第二电子设备可以基于水平像素坐标变化L1来改变光标601的显示位置。此时，由于第一电子设备从姿态1转动到姿态2时，是向左(逆时针)转动的，因此，光标601在第二电子设备的投屏内容上也是向左位移的，保证了光标601的移动与用户操作的一致性。
2)、竖直方向：
本申请实施例中，第一电子设备可以根据所述第二旋转角确定所述光标的竖直位移，并根据所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
类似的，参照图7d，图7d为一种投屏的实际场景示意，如图7d中示出的那样，用户可以通过挥动第一电子设备来该改变第一电子设备的姿态(竖直方向角度)，相应的，第二电子设备200上显示的光标601可以在竖直方向上进行相应的位移。
需要说明的是，所谓第一电子设备在三维空间中竖直方向角度的变化，可以指第一电子设备在三维空间中竖直方向转动的角度变化分量。
需要说明的是，所谓第一电子设备在三维空间中竖直方向角度的变化，可以指第一电子设备在三维空间中竖直方向转动的角度变化分量。参照图7e，图7e为一种第一电子设备在竖直方向上转动的姿态变化示意，如图7b中示出的那样，第一电子设备在竖直方向上由姿态1转动到姿态2，转动的角度变化分量为θ2。本申请实施例中，第一电子设备100可以监测在三维空间中的姿态变化，并获得空间方位参数，以图7a示出的姿态变化为例，第一电子设备100可以获取到空间方位参数(竖直方向转动的角度变化分量)为θ2。
本申请实施例中，第一电子设备可以获取竖直方向转动的角度变化分量与第二电子设备中光标601竖直位移大小L2之间的映射关系，并基于获取到的竖直方向转动的角度变化分量以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L2。
关于第一电子设备如何确定光标601在第二电子设备的投屏内容中的位移大小L2可以参照上述实施例中的描述，这里不再赘述。
参照图7f，图7f为一种第二电子设备显示的光标的位移示意，如图7f中示出的那样，在第一电子设备获取到三维空间中竖直方向转动的角度变化量为θ2的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的竖直像素坐标变化为L2，并将携带有竖直像素坐标变化L2的信息发送至第二电子设备，相应的，第二电子设备可以基于竖直像素坐标变化L2来改变光标601的显示位置。此时，由于第一电子设备从姿态1转动到姿态2时，是向上转动的，因此，光标601在第二电子设备的投屏内容上也是向上位移的，保证了光标601的移动与用户操作的一致性。
可选的，在另一种实施例中，第一电子设备可以获取到第一电子设备在第一水平方向的位移大小，并基于第一电子设备在水平方向的平移大小确定光标在界面内容上的水平位移。其中，第一水平方向可以为与第二电子设备的显示屏平行的水平方向。
本申请实施例中，第一电子设备可以获取水平方向的位移大小与第二电子设备中光标 601水平位移之间的映射关系，并基于获取到的水平方向的位移大小以及映射关系，确定光标601在第二电子设备的投屏内容中的水平位移。
可选的，在另一种实施例中，第一电子设备可以获取到第一电子设备在第一竖直方向的位移大小，并基于第一电子设备在竖直方向的平移大小确定光标在界面内容上的竖直位移。其中，第一水平方向可以为与第二电子设备的显示屏垂直的竖直方向。
本申请实施例中，第一电子设备可以获取竖直方向的位移大小与第二电子设备中光标 601竖直位移之间的映射关系，并基于获取到的竖直方向的位移大小以及映射关系，确定光标601在第二电子设备的投屏内容中的竖直位移。
需要说明的是，在实际应用中，第一电子设备可以通过其内置的重力加速度传感器(例如陀螺仪)监测姿态变化并获得空间方位参数，也可以通过红外线空间检测技术或声波检测技术监测姿态变化并获得空间方位参数。本实施例不对第一电子设备获取空间方位参数的手段进行具体限制。
二、用户可以通过在第一电子设备中的显示屏上执行滑动操作来调整光标601在第二电子设备的投屏内容的位置。
本申请实施例中，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
需要说明的是，第二滑动操作的轨迹在所述第一电子设备的界面内容中经过的一个或多个对象，其中，上述“一个或多个对象“可以是与第二滑动操作的轨迹经过的所有对象。
具体的，本申请实施例中，第二电子设备的投屏内容上可以显示有光标601，该光标 601可以基于用户在第一电子设备的显示屏(处于熄屏状态)上的滑动操作而进行对应的位移。具体的，用户可以通过手指或者触摸笔在显示屏上进行滑动，相应的，第二电子设备上的光标601可以基于用户的滑动操作在第二电子设备的投屏内容上进行相应的位移。
可选地，参照图7g，图7g为一种投屏的实际场景示意，如图7g中示出的那样，用户可以通过手指或者触摸笔在显示屏上进行滑动，相应的，第二电子设备上的光标601可以基于用户的滑动操作在第二电子设备的投屏内容上进行相应的位移。
本申请实施例中，第一电子设备可以获取用户在第一电子设备显示屏上的滑动位移L3 与第二电子设备中光标601位移大小L3之间的映射关系，并基于获取到的第一电子设备显示屏上的滑动位移L3以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L3。
示例性的，第一电子设备获取到的第一电子设备显示屏上的滑动位移L3与第二电子设备中光标601位移大小L3之间的映射关系为：用户每在第一电子设备的显示屏滑动1像素时，光标601在第二电子设备的投屏内容中的像素坐标变化30个像素。需要说明的是，以上仅为一种举例，并不构成对本申请的限定。
需要说明的是，第一电子设备100与第二电子设备200建立投屏连接的过程中，第一电子设备100与第二电子设备200会进行性能参数的交换与协商，即第一电子设备100可以获取第二电子设备200上界面内容的尺寸参数等等。第一电子设备可以基于第二电子设备200 上界面内容的尺寸参数调整上述映射关系。例如，第二电子设备200上界面内容的水平尺寸越大，则用户在第一电子设备显示屏上滑动相同的位移的情况下，光标601在第二电子设备的投屏内容中的像素位移(像素坐标变化)越大。
需要说明的是，上述用户在第一电子设备显示屏上的滑动位移可以包括互为垂直的两个方向(x方向和y方向)的位移，参照图7h，图7h为一种用户的滑动操作示意，相应的，如图7i中示出的那样，用户在第一电子设备显示屏上的滑动位移L3可以包括第一方向的位移L5和第二方向的位移L6，其中第一方向与第一电子设备的中轴线垂直，第二方向与第一电子设备的中轴线平行。相应的，光标601在第二电子设备的投屏内容中的像素位移包括水平方向的位移分量和竖直方向的位移分量。此时，第一电子设备可以基于上述映射关系分别确定光标601在第二电子设备的投屏内容中水平方向的位移大小和竖直方向的位移大小。
参照图7j，图7j为一种第二电子设备显示的光标的位移示意，如图7j中示出的那样，在第一电子设备获取到用户在第一电子设备显示屏上的滑动位移L3的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的位移为L4，并将携带有L4的信息发送至第二电子设备，相应的，第二电子设备可以基于L4来改变光标601的显示位置。此时，由于用户在第一电子设备的显示屏上是向右斜上方滑动的，因此，光标601在第二电子设备的投屏内容上也是向右斜上方的，保证了光标601的移动与用户操作的一致性。
本申请实施例中，所述第二滑动操作对应的操作位置对应于所述第一电子设备的界面内容中的第三对象，第一电子设备可以屏蔽所述第三对象对所述第二触摸操作的响应。
本申请实施例中，用户可以通过上述方式，基于对第一电子设备的操作(改变姿态或在第一电子设备的显示屏上滑动)，实现了光标601在第二电子设备显示屏中的移动。
接下来说明，用户如何通过对第一电子设备的操作，在光标所在的对象上执行点击、滑动等操作。
本申请实施例中，当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若第一电子设备接收到对所述第一电子设备的显示屏的第一触摸操作，则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一触摸操作。
示例性的，第一触摸操作可以是点击操作或滑动操作。
本申请实施例中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，第一电子设备可以屏蔽所述第二对象对所述第一触摸操作的响应。
具体的，第一电子设备在接收到对第一电子设备显示屏的第一触摸操作后，可以屏蔽所述界面内容对所述第一触摸操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一触摸操作的响应位置。例如，若用户对第一电子设备的显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。
第一触摸操作可以但不限于是点击操作或者是滑动操作，接下来以第一触摸操作为点击操作为例进行说明。
本申请实施例中，用户在通过将光标601在第二电子设备显示的投屏内容上移动到想操作的目标对象所在的区域后，用户可以对第一电子设备的显示屏进行点击操作，相应的，可以在光标601所在的区域执行点击操作。
具体的，在一种实施例中，光标601在第二电子设备的投屏内容上移动到想操作的对象区域后，第一电子设备可以获取到光标601在第二电子设备的投屏内容中的具体像素坐标位置，并根据光标601在第二电子设备的投屏内容中的具体像素坐标位置确定该位置在第一电子设备前端应用的界面内容中所对应的像素坐标位置。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，此时，第一电子设备可以确定光标601在第一电子设备中界面内容所对应的像素坐标位置(视频APP图标的区域的像素坐标位置)。
用户对第一电子设备的显示屏执行点击操作，此时，第一电子设备可以屏蔽第一电子设备前端应用的界面内容对点击操作的操作位置上的响应，第一电子设备会在光标601在第一电子设备中界面内容所对应的像素坐标位置执行点击操作对应的事件，相当于使得第一电子设备在光标601在第一电子设备中所对应的像素坐标位置执行上述点击操作。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，并在第一电子设备的显示屏上执行点击操作，则第一电子设备可以对当前界面内容中的视频APP执行点击操作，并将打开后的界面(投屏数据)发送到第二电子设备，第二电子设备可以将接收到的投屏数据进行显示。
接下来以第一触摸操作为滑动操作为例进行说明。
本申请实施例中，第一电子设备可以生成所述第一滑动操作对应的滑动事件，在所述第一电子设备的界面内容中的目标对象上执行所述滑动事件，以使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一滑动操作。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，并在第一电子设备的显示屏上执行滑动操作，则第一电子设备可以对当前界面内容中的视频APP图标执行拖动的操作。
需要说明的，第二电子设备的显示屏上除了显示光标601，还可以显示菜单栏。
本申请实施例中，第一电子设备可以获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标和菜单栏，得到投屏内容；其中，所述菜单栏不属于所述第一电子设备的界面内容。也就是说，菜单栏并非是原本第一电子设备上的界面内容，而是新增的内容。
具体的，第一电子设备可以基于悬浮窗接口将菜单栏添加到当前第一电子设备前端应用的界面内容中，生成投屏内容，此时，第一电子设备的投屏服务可以获取到上述投屏内容，并将投屏内容(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
可选地，第一电子设备也可以获取当前前端应用的界面内容。例如，第一电子设备可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制菜单栏，第一电子设备可以将上述绘制好的内容作为投屏内容，第一电子设备的投屏服务可以获取到投屏内容，并将投屏内容(需要经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
本申请实施例中，第二电子设备的投屏内容上还可以包括不属于第一电子设备的界面内容的菜单栏，例如参照图8a中示出的功能控件800，如图8a中示出的那样，用户可以通过改变第一电子设备100的姿态来使得第二电子设备上的光标601移动至功能控件800所在的区域，并执行点击操作80，第一电子设备可以响应于上述点击操作80，在光标601所在的目标对象上执行点击操作，并显示功能选择区域801，相应的，参照图8b，图8b为本申请实施例提供的一种第二电子设备的投屏内容示意，如图8b中示出的那样，第二电子设备显示功能选择区域801，其中，功能选择区域801可以包括灵敏度调节控件、鼠标大小调节控件、滑动模式控件802、亮度调节控件和普通模式控件。
示例性的，用户可以通过点击滑动模式控件802来实现图7a和图7d中的示出的基于姿态的交互模式和图7g中的示出的滑动交互模式之间的模式切换。如图8b示出的那样，用户可以点击滑动模式控件802，此时可以由基于调整第一电子设备的姿态来改变光标601位置的模式，切换到图7g中的示出的滑动交互模式，需要说明的是，在一种实施例中，切换到滑动交互模式后，功能选择区域801中的滑动模式控件802可以替换为姿态模式控件，若用户点击上述姿态模式控件，则可以由图7g中的示出的滑动交互模式切换到图7a和图7d中的示出的基于姿态的交互模式。
需要说明的是，在第一电子设备和第二电子设备建立投屏连接后，可以默认使用图7a 和图7d中的示出的基于姿态的交互模式，也可以默认使用图7g中的示出的滑动交互模式，本申请并不限定。
参照图9a，图9a为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9a中示出的那样，用户可以点击灵敏度调节控件901，相应的，第二电子设备可以显示灵敏度调节区域90，参照图9b，图9b为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9b中示出的那样，第二电子设备显示灵敏度调节区域90，灵敏度调节区域90可以包括滑动控件，用户可以通过拖动滑动控件来调节对于光标601操控的敏感度。此外，灵敏度调节区域90还可以包括灵敏度的大小提示，需要说明的是，以上界面和控件的排布仅为一种示意，本申请并不限定。
可选的，在基于第一电子设备的姿态来调整光标601的位置的模式中，第一电子设备可以获取水平方向或竖直方向转动的角度变化量，并基于水平方向的角度变化量与第二电子设备中光标601水平位移大小之间的映射关系，以及竖直方向的角度变化量与第二电子设备中光标601竖直位移大小之间的映射关系，确定光标601在第二电子设备的投屏内容中的位移大小。通过上述的灵敏度调节可以调整上述水平方向的角度变化量与第二电子设备中光标601水平位移大小之间的映射关系，以及竖直方向的角度变化量与第二电子设备中光标601竖直位移大小之间的映射关系，以使得当第一电子设备发生了同样的姿态变化时，第二电子设备上的光标601的位移大小发生改变。
示例性的，若用户在操作光标601时，觉得光标601的移动过于缓慢，用户可以通过向右拖动图9b示出的滑动控件，增加光标601的灵敏度，相反的，若用户在操作光标601时，觉得光标601的移动过快，用户可以通过向左拖动图9b示出的滑动控件，减小光标601的灵敏度。
示例性的，在灵敏度为40时，第一电子设备在水平面上每转动1°时，光标601在第二电子设备的投屏内容中的水平像素坐标变化30个像素，第一电子设备在竖直面上每转动1°时，光标601在第二电子设备的投屏内容中的竖直像素坐标变化50个像素。用户可以通过向右拖动图9b示出的滑动控件，调整灵敏度至58时，第一电子设备在水平面上每转动1°时，光标601在第二电子设备的投屏内容中的水平像素坐标变化45个像素，第一电子设备在竖直面上每转动1°时，光标601在第二电子设备的投屏内容中的竖直像素坐标变化75个像素。需要说明的是，以上映射关系的描述仅为一种实例，并不构成对本申请的限定。
可选的，在一种实施例中，第一电子设备和第二电子设备建立了投屏连接后，第一电子设备可以将功能控件800对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了功能控件800，此时，第一电子设备的投屏服务可以获取到包括上述功能控件800的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示有包括功能控件800的界面内容，第一电子设备可以获取到用户的操作(滑动/改变第一电子设备的姿态)来改变光标601在当前的界面内容中的位置，当用户控制第二电子设备上的光标601移动至功能控件800的范围内时，第一电子设备可以确定光标601在当前的界面内容中的位置在功能控件800的范围内，若用户对第一电子设备的显示屏进行了点击操作，第一电子设备可以将功能选择区域801对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了功能选择区域801，此时，第一电子设备的投屏服务可以获取到包括上述功能选择区域801的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示有包括功能选择区域801 的界面内容。
以图8b示出的功能选择区域801为例，功能选择区域801可以包括灵敏度调节控件、鼠标大小调节控件、滑动模式控件802、亮度调节控件和普通模式控件。此时，第一电子设备可以获取到功能选择区域801各个控件在当前界面内容中的位置。用户操作第一电子设备来调整光标601的位置，第一电子设备可以获取到光标601的位置，若光标601的位置在功能选择区域801中某一个控件的区域内，且第一电子设备检测到了用户在显示屏上的点击操作，第一电子设备可以响应用户的操作，例如，如图9a示出的那样，若用户点击了灵敏度控件，响应于用户的点击操作，第一电子设备可以将灵敏度调节区域90对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了灵敏度调节区域90，并去除原有的功能选择区域801(或者将灵敏度调节区域90叠加在功能选择区域801之上)，此时，第一电子设备的投屏服务可以获取到包括上述灵敏度调节区域90的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示如图9b中示出的包括灵敏度调节区域90的界面内容。此时，用户可以在第一电子设备的显示屏上进行滑动操作，并拖动灵敏度调节区域90中的滑动按钮，相应地，第一电子设备响应于用户的滑动操作，将拖动滑动按钮对应的图像数据通过悬浮窗接口加到当前的界面内容中，同时，基于用户的拖动大小，修改用户操作光标601的灵敏度的相关参数。以上描述仅为一种示例，并不构成对本申请的限定。
需要说明的是，上述功能选择区域801包括的控件今为一种示意，实际应用中，还可以设置结束投屏控件，用户可以通过将第二电子设备中的光标移动到结束投屏控件，并点击第一电子设备的显示屏来触发第一电子设备结束与第二电子设备的投屏连接。
可选的，用户还可以通过其他方式来触发第一电子设备结束与第二电子设备的投屏连接，例如按压电源键等，这里并不限定。
可选的，参照图9c，图9c为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9c中示出的那样，用户可以点击普通模式控件902，相应的，第一电子设备可以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。
可选的，参照图9d，图9d为本申请实施例提供的一种用户操作第一电子设备的示意，如图9d中示出的那样，用户可以按压第一电子设备的电源按键，相应的，第一电子设备可以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。
需要说明的是，以上将第一电子设备切换为普通交互模式的方式今为一种示意，并不构成对本申请的限定。
接下来结合一个具体的场景对上述将第一电子设备切换为普通交互模式进行描述。
参照图10a，图10a为本申请实施例提供的一种第二电子设备的投屏内容示意，如图10a 中示出的那样，第一电子设备接收到其他电子设备发送的聊天消息，此时第二电子设备上会显示聊天的提示窗口(该提示窗口的数据是由第一电子设备发送的，具体细节可参照上述实施例，这里不再赘述)。
如图10a中示出的那样，用户可以将光标601移动至提示窗口的区域内，并在第一电子设备上执行点击操作，相应的，第二电子设备可以显示如图10b中示出的聊天界面(该过程的实现为第一电子设备检测到用户的点击操作，并在光标所在的位置上执行上述点击事件，具体细节可参照上述实施例，这里不再赘述)，该聊天界面包括输入键盘，此时，如果通过调整第二电子设备上显示的光标的位置结合对第一电子设备执行点击操作，来进行语句输入，用户的体验性会很差(由于第二电子设备的显示屏大小会很大，且用户并不适应通过上述交互方式来使用输入键盘)。
参照图10c，图10c为本申请实施例提供的一种第一电子设备的交互示意，如图10c中示出的那样，用户可以按压第一电子设备的电源按键，相应的，第一电子设备可以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。参照图10d，图10d为本申请实施例提供的一种第一电子设备的界面内容示意，如图10d中示出的那样，用户可以直接在第一电子设备显示的输入键盘上进行操作。可选的，在完成语句的输入后，可以再次按压第一电子设备的电源按键，将第一电子设备切换到熄屏以及上述交互模式。
需要说明的是，以上仅为一种场景的示意性描述，在实际应用中，只要为需要通过面向第一电子设备显示屏进行操作的场景，用户都可以通过上述方式，切换到投屏的普通模式。
可选的，第一电子设备与第二电子设备建立了投屏连接之后，可以接收到其他电子设备的通话请求(例如可以是语音通话请求或视频通话请求)，以通话请求为语音通话请求为例，此时第二电子设备上可以显示第一电子设备的通话请求对应的界面内容，该界面内容包括接收通话控件和拒绝通话控件。
可选的，用户可以通过操作第一电子设备将第二电子设备上显示的光标移动到接收通话控件，并点击第一电子设备的显示屏上，进而，用户可以通过第一电子设备进行通话。
可选的，用户可以通过按压第一电子设备的电源键或其他方式，将当前的交互方式切换为正常手机交互方式(通过点击第一电子设备的显示屏中的将第二电子设备上显示的光标移动到接收通话控件，并点击第一电子设备的显示屏上的接收通话控件，进而，用户可以通过第一电子设备进行通话。
接下来说明，如何结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
本申请实施例中，在第一电子设备与第二电子设备建立投屏连接后，第一电子设备可以将光标的601设置在界面内容中的预设位置上，例如可以是界面内容的几何中心处，参照图11a，图11a为一种第一电子设备和第二电子设备的交互示意，在第一电子设备与第二电子设备建立投屏连接后，第一电子设备可以将光标的601设置在界面内容的几何中心处，相应的，第二电子设备的显示内容可以如图11a中示出的那样，然而，由于在第一电子设备与第二电子设备建立投屏连接时，第一电子设备的前端可能并不朝向第二电子设备的中心位置，此时，第一电子设备的前端朝向偏左，此时，用户向右挥动第一电子设备，使得第二电子设备上的光标的显示位置向右位移，此时用户控制光标进行位移时，第一电子设备的朝向都偏左，不符合用户的理想操作方式(理想的用户操作方式为：第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致)。为了解决上述技术问题，当用户向右挥动第一电子设备，使得第一电子设备的前端朝向第二电子设备的中心位置附近，如图11b中示出的那样，第二电子设备上的光标的显示位置在右端的边界处，此时用户可以继续向右挥动第一电子设备，如图11c中示出的那样，光标可以停留在第二电子设备上的右端边界处，在用户将第一电子设备向右转动一定的角度后，用户可以向左转动第一电子设备，如图11d示出的那样，第二电子设备上的光标向左位移，当第一电子设备的前端朝向第二电子设备的中心位置时，光标在第二电子设备的显示位置，相比调整前更靠左。用户可以通过上述方式将第一电子设备的前端朝向第二电子设备的中心位置时，光标调整至位于第二电子设备的中心位置附近，并结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
本申请实施例中，第一电子设备可以获取到第二电子设备的显示屏的显示区域的尺寸大小，进而，第一电子设备可以根据第二电子设备的显示屏的显示区域的尺寸大小以及光标在第二电子设备显示的投屏内容的像素坐标位置，判断出光标是否移动至第二电子设备的显示区域的边界处，当第一电子设备判断出光标是否移动至第二电子设备的显示区域的边界，则光标在第二电子设备的显示屏上的显示位置可以停留在第二电子设备的显示区域的边界处。此处应当理解，当光标移动至第二电子设备的显示屏上的显示区域的左右边界时，虽然光标不会超出显示屏上的显示区域的左右边界，但光标仍然可以上下移动。类似的，当光标移动至第二电子设备的显示屏上的显示区域的上下边界时，虽然光标不会超出显示屏上的显示区域的上下边界，但光标仍然可以左右移动。类似的，当光标移动至第二电子设备的显示屏上的显示区域的角点(左上角点、左下角点、右上角点或右下角点)时，虽然光标不会超出显示屏上的显示区域的边界，但光标仍然可以朝某一方向移动，例如，当光标移动至第二电子设备的显示屏上的显示区域的左上角点时，光标仍然可以朝右方向、向下的方向以及向右下的方向移动。
可选的，在另一种实施例中，可以设置光标位置的快捷调节机制，例如，当用户触摸第一电子设备的显示屏超过预设时间后，第一电子设备可以响应于用户的上述操作，初始化光标在界面内容中的位置。
示例性的，参照图11e，图11e为一种第一电子设备和第二电子设备的交互示意，如图 11e中示出的那样，在第一电子设备与第二电子设备建立投屏连接后，由于第一电子设备的前端朝向第二电子设备的几何中心偏左的位置，此时，用户向右挥动第一电子设备，并使得第一电子设备的前端朝向第二电子设备的中心位置附近，如图11f中示出的那样，光标的显示位置在第二电子设备的中心位置附近，此时，用户可以长按第一电子设备的显示屏5秒或超过5秒，如图11g中示出的那样，第一电子设备可以响应于用户长按显示屏5S的操作，将光标的显示位置调整为界面内容的几何中心处。用户可以通过上述方式将第一电子设备的前端朝向第二电子设备的中心位置时，光标调整至位于第二电子设备的中心位置附近，并结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
需要说明的是，以上调整光标位置的方式仅为一种示例，并不构成对本申请的限定。
可选地，在一种实施例中，若第一电子设备和第二电子设备建立投屏连接后，用户在一定时间内都没有操作第一电子设备，则第二电子设备上显示的光标可以隐藏，用户可以通过上述触摸操作和/或通过改变第一电子设备的姿态来激活第二电子设备显示屏中的光标显示。
本申请实施例中，第一电子设备还可以接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作，所述第一电子设备可以响应于所述第一操作。
本申请实施例中，第一电子设备可以检测到对所述第一电子设备的显示屏的第一操作，并识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成另一个事件(为了与第一操作区分，这里称作第二操作)，第一电子设备可以确定出第一操作与第二操作的优先级，并基于第一操作与第二操作的优先级高低，确定到底是执行第一操作还是第二操作。
可选的，本申请实施例中，若第一电子设备识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成第二操作，第一事件的执行优先级高于第二事件的执行优先级，则第一电子设备执行上述第一事件。此时，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，由于第二事件的执行优先级低于第一事件的执行优先级，则所述第五对象不响应所述第一操作。
接下来，结合两个应用场景对本申请提供的投屏方法进行进一步的描述。
一、视频播放
参照图12a，图12a为本申请实施例提供的一种第二电子设备的界面示意图，如图12a 中示出的那样，用户可以通过操作第一电子设备来点击视频APP应用，在用户点击了想播放的视频后，第二电子设备可以显示如图12b中示出的视频播放界面。
参照图12a，图12a为本申请实施例提供的一种第二电子设备的界面示意图，如图12a 中示出的那样，用户可以点击界面中的全屏控件，来实现视频的全屏播放，在另一种实施例中，如图12d中示出的那样，用户可以旋转第一电子设备(由竖屏旋转至横屏)，来实现视频的全屏播放，视频的全屏播放界面可以参照图12e，全屏播放界面可以包括但不限于视频图像、暂停/播放控件、切换下一集控件等。
本申请实施例中，用户可以点击图12e中的视频播放区域，相应的，参照图12f，第二电子设备的投屏内容中可以仅包括视频图像，或者，若用户长时间未操作第一电子设备，相应的，第二电子设备的投屏内容中可以仅包括视频图像(参照图12f)。
参照图12g，图12g为本申请实施例提供的一种第一电子设备的操作示意图，如图12g 中示出的那样，在第二电子设备显示视频播放界面时，用户在第一电子设备的显示屏上执行横向的滑动操作，第二电子设备显示的视频可以快进或快退，第二电子设备显示如图12e 所示的界面，且用户在第一电子设备的显示屏上向右滑动时，如图12h中示出的那样，第二电子设备的投屏内容包括快进的预览图像，以及快进的进度条，如图12i示出的那样，第二电子设备的投屏内容包括快进的预览图像，以及快进的进度条，当用户基于第二电子设备上显示的预览图像确定快进的目标位置后，可以结束在第一电子设备显示屏上的滑动操作，如图12j和图12k示中示出的那样，第二电子设备显示的视频快进至用户确定快进的目标位置(10:03)。
参照图12l，图12l为本申请实施例提供的一种第一电子设备的操作示意图，如图12l 中示出的那样，用户可以在第一电子设备显示屏的右侧区域进行竖直方向的滑动操作来调节当前播放的视频的音量大小，或者如图12m中示出的那样，用户可以通过第一电子设备的物理音量调节按键1201来调节当前播放的视频的音量大小，如图12n中示出的那样，图12n示出了第二电子设备的音量调节界面。
参照图12o，图12o为本申请实施例提供的一种第一电子设备的操作示意图，如图12o 中示出的那样，用户可以在第一电子设备显示屏的左侧区域进行竖直方向的滑动操作来调节当前播放的视频的显示亮度大小，如图12p中示出的那样，图12p示出了第二电子设备的亮度调节界面。
参照图12q，图12q为本申请实施例提供的一种第一电子设备的操作示意图，如图12q 中示出的那样，用户可以在第一电子设备的显示屏上，从右侧边界区域向屏幕中心滑动，此时，第二电子设备可以显示上一级的界面内容(即第一电子设备执行返回操作，返回至前一次的界面内容)，如图12r示出的那样，此时第二电子设备的投屏内容为视频全屏播放界面的上一级界面(视频播放界面)。
参照图12s，图12s为本申请实施例提供的一种第一电子设备的操作示意图，如图12s 中示出的那样，用户可以在第一电子设备的显示屏上，从下侧边界区域向屏幕中心滑动，此时，第二电子设备可以显示主界面(即第一电子设备执行返回至主界面的操作)，如图12t示出的那样，此时第二电子设备的投屏内容为第一电子设备的主界面。
本申请实施例中，第一电子设备还可以接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作，所述第一电子设备可以响应于所述第一操作。
本申请实施例中，第一电子设备可以检测到对所述第一电子设备的显示屏的第一操作，并识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成另一个事件(为了与第一操作区分，这里称作第二操作)，第一电子设备可以确定出第一操作与第二操作的优先级，并基于第一操作与第二操作的优先级高低，确定到底是执行第一操作还是第二操作。
可选的，本申请实施例中，若第一电子设备识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成第二操作，第一事件的执行优先级高于第二事件的执行优先级，则第一电子设备执行上述第一事件。此时，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，由于第二事件的执行优先级低于第一事件的执行优先级，则所述第五对象不响应所述第一操作。
示例性的，参照图12u，图12u为本申请实施例提供的一种第一电子设备的操作示意图，第一电子设备除了单击的确认操作，还可以支持常用的全面屏手势操作(快捷操作)，与原有使用第一电子设备的方式保持一致，减少用户的学习成本。如图12u中示出的那样，从左边缘或右边缘向中间滑动代表返回键，从下边缘向中间滑动代表home键，从下边缘向中间滑动并停留代表菜单键，上下左右的滑动操作可用来在视频场景中实现快进和快退。
接下来介绍一下实现上述全面屏手势操作的原理：
1、返回键
本申请实施例中，从左边缘或右边缘向中间滑动代表返回键，具体的，第一电子设备在熄屏状态时，若检测到从左边缘或右边缘向中间的滑动操作，可以拦截在当前光标位置执行的滑动操作，而是直接将返回事件注入到当前的前端应用中，响应于该返回事件，此时系统的界面内容返回至上一级，相当于在普通模式时，用户从左边缘或右边缘向中间滑动时，手机执行的返回操作。
2、home键
本申请实施例中，从下边缘向中间滑动代表home键，具体的，第一电子设备在熄屏状态时，若检测到从下边缘向中间的滑动操作，可以拦截在当前光标位置执行的滑动操作，而是直接将返回主界面的事件注入到当前的前端应用中，响应于该返回主界面的事件，此时系统的界面内容返回主界面，相当于在普通模式时，用户点击home键。
3、菜单键
本申请实施例中，从下边缘向中间滑动并停留代表菜单键，具体的，第一电子设备在熄屏状态时，若检测到从下边缘向中间并停留的操作，可以拦截在当前光标位置执行上述操作，而是直接将显示菜单的事件注入到当前的前端应用中，响应于该显示菜单的事件，此时系统的界面内容显示上拉菜单，相当于在普通模式时，用户点击从下边缘向中间滑动并停留，手机会显示上拉菜单(该菜单可以包括当前运行的应用列表，或应用的历史运行列表等，本申请并不限定)。
本申请实施例中，第一电子设备可以接收对所述第一电子设备的显示屏的第二触摸操作，根据所述第二触摸操作的操作形式确定对应的第三事件，其中，不同的操作形式对应不同的第三事件，并对所述第一电子设备前端应用执行所述第三事件，其中第二触摸操作的操作形式至少包括如下的一种操作形式：接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
具体的，增强交互服务在获取到触摸屏输入的第一操作后，可以识别该第一操作是否为预设的快捷操作，并基于第一操作符合预设的快捷操作，生成与预设的快捷操作对应的事件，此时增强交互服务可以直接将该事件注入到前端应用中，而不是在光标所在的位置上执行(即第一电子设备可以直接响应于所述第一操作)。具体可以参照图12u以及对应的实施例的描述，这里不再赘述。
可选的，在另一种实现方式中，可以将显示屏划分为两个区域(例如是上半区域和下班区域)，若用户在显示屏的上半区域触摸显示屏，则可以控制光标在界面内容的显示位置，若用户在显示屏的下半区域触摸显示屏，则可以按照类似于图12u中的操作方式。
此外，需要说明的是，在上述视频播放的场景中，在用户选择要播放的视频后，第二电子设备可以直接全屏播放视频。
可选地，第一电子设备100可以获取当前视频播放界面所对应视频400，并将视频400 处理成视频流。在一些可行的实施方式中，第一电子设备100获取视频的图像数据，并将视频的图像数据中各个图像帧对应的图像进行压缩，该各个图像帧对应的图像压缩后的图像尺寸与第二电子设备上的图像尺寸相同。示例性地，当图像尺寸以像素点为单位时，假设第二电子设备上的图像尺寸为400×800个像素点，该各个图像帧对应的图像的图像尺寸为800×800个像素点，则第一电子设备将各图像帧对应的图像进行压缩时，可将各图像帧对应的图像的图像尺寸800×800个像素点压缩至400×800个像素点以得到各图像帧对应的压缩后的图像。第一电子设备可以将多个图像帧对应的压缩后的图像进行视频压缩编码后得到视频流。该多个图像帧可以为视频的图像数据在多个连续的时间节点上的图像帧，其中视频的图像数据在一个时间节点上存在一个图像帧。在另一些可行的实施方式中，第一电子设备在获得视频的图像数据之后，可以直接将该图像数据在多个连续的时间节点上的多个图像帧进行视频压缩编码后得到视频流。
在一些可行的实施方式中，第一电子设备可以获取视频在一段时间内的音频数据，这一段时间由上述多个连续的时间节点确定。第一电子设备可以对这一段时间内的音频数据进行音频压缩编码，如高级音频编码(advanced audio coding，AAC)。第一电子设备将上述多个图像帧经过视频压缩编码后与该段时间内的音频数据经过音频压缩编码后混成视频流。该视频流的数据格式为第二电子设备能够接收的任一数据格式，如MP4(MPEG-4part 14)格式的视频流。该视频流对应的图像和音频在第二电子设备上同步呈现。
第一电子设备可以将视频流发送给第二电子设备。相应的，第二电子设备接收到视频流后，将视频流处理成图像和音频输出。在一些可行的实施方式中，第一电子设备可将视频流作为投屏数据通过投屏端口以视频流媒体协议(如实时流传输协议(real timestreaming protocol，RTSP))承载输出给第二电子设备。第二电子设备对投屏数据(即视频流)进行视频流媒体协议接收处理以及视频音频解码处理，再渲染输出，此时第二电子设备全屏显示投屏数据对应的图像和/或播放投屏数据对应的音频。例如，第一电子设备 100的屏幕宽为S-W1，屏幕高为SH1；第二电子设备100的屏幕宽为S-W2，屏幕高为S-H2。第二电子设备200在显示投屏数据对应的图像时，可以将该投屏数据对应的图像的宽高比例调整至与第二电子设备200的屏幕宽高比例S-W2:S-H2相同后，再显示。假设视频400在第一电子设备100上全屏播放且无黑或白边，且第一电子设备100的屏幕宽高比例 S-W1:S-H1与第二电子设备200的屏幕宽高比例S-W2:S-H2相同，那么第二电子设备200显示的视频播放画面也无黑边或白边，第一电子设备100与第二电子设备200显示相同的图像且播放相同的音频。
在一些可行的实施方式中，如果用户通过移动第二电子设备上的光标至暂停控件，并在第一电子设备的显示屏上执行点击操作，则第一电子设备响应上述操作，暂停视频400 的播放。同时，第一电子设备100会暂停视频400的视频流的传输，第二电子设备200会因为没有视频流传输过来也暂停播放。如果用户通过移动第二电子设备上的光标至暂停控件，并在第一电子设备的显示屏上执行点击操作，则第一电子设备响应上述操作，从视频400 的当前播放进度开始继续播放，并且，第一电子设备100继续视频400的视频流的传输，故第二电子设备200接收到视频流也继续播放。如果视频流的传输是分片传输的，所以第一电子设备100每次传输视频流时，只传输固定时间段内的视频流。示例性地，如果视频400的播放时长为25分34秒，第一电子设备100可以每次传输10秒长的视频流，那么视频400需要传输154次才能全部传输到第二电子设备200中。
以上介绍了在视频播放场景中，本申请提供的投屏方法的一种实施例的描述，接下来介绍另一种应用场景下，本申请提供的投屏方法的一种实施例。
二、演示场景
图13为本申请实施例提供的一种投屏场景的示意图。如图13所示，假定在某一企业的会议室中，用户A、用户B、用户C、用户D、用户E、用户F、用户G、用户H和用户I召开会议；其中，用户A通过第一电子设备将包含会议信息的投屏数据发送至第二电子设备200上，并由第二电子设备200对该投屏数据进行展示。通常而言，第一电子设备100的设备屏幕较小，用户A难以通过第一电子设备100向其他用户分享会议信息，而第二电子设备200(例如电视)则可以通过较大屏幕对投屏数据进行展示，以便于其他用户进行查看。
对于与第二电子设备200的距离较近的用户B、用户C、用户D和用户E等而言，可以通过观看第二电子设备200的展示内容，查看到用户A分享的会议信息，而无需单独携带和使用额外的电子设备予以辅助。然而，基于第二电子设备200的屏幕尺寸限制，以及一些用户可能存在的近视等视力问题，导致诸如用户F、用户G、用户H和用户I等用户可能无法看清第二电子设备200的展示内容，影响会议的正常进行。
因此，第一电子设备100可以同时与多个第二电子设备200建立投屏连接，基于本申请的技术方案，用户F、用户G、用户H和用户I等可以分别使用各自的第二电子设备200，接收并展示第一电子设备100发送的投屏数据，以便于相应的用户进行查看。其中，对于多个第二电子设备200中的每一设备，在本申请中的处理过程相同。
参照图14a，图14a为本申请实施例提供的一种第二电子设备的投屏内容示意图，如图 14a示出的那样，用户可以通过操作第一电子设备来点击PPT应用，在用户点击了想演示的 PPT后，第二电子设备可以显示如图14b中示出的PPT展示界面。
如图14a中示出的那样，PPT展示界面可以包括演示控件1403、当前胶片展示区域1404、胶片列表区域1405。当前胶片展示区域1404为当前要演示的胶片，胶片列表区域1405中可以包括胶片的列表，用户可以在胶片列表区域1405中选择要演示的胶片，例如，用户可以通过操作第一电子设备来选择胶片C，相应的，此时胶片展示区域1404中显示的胶片为选择的胶片C。
如图14b中示出的那样，用户可以点击PPT展示界面中的演示控件1403，来实现胶片的演示，胶片的演示界面可以参照图14c。参照图14d，图14d为本申请实施例提供的一种第一电子设备的操作示意，如图14d中示出的那样，用户可以在第一电子设备的显示屏上执行向左的活动操作，此时，第二电子设备可以显示如图14e中示出的演示界面(其中的演示胶片切换为下一张)。参照图14f，图14f为本申请实施例提供的一种第一电子设备的操作示意，如图14f中示出的那样，用户可以提供旋转第一电子设备(由竖屏旋转至横屏)，来实现胶片的全屏演示，如图14g中示出的那样，图14g中示出了一种胶片的全屏演示界面。
接下来针对于本申请实施例提供的信息处理方法的具体流程进行介绍，参照图15，图 15为本申请实施例提供的一种信息处理方法的流程图示意，如图15中示出的那样，本申请提供的信息处理方法包括：
1501、第一电子设备监听投屏连接状态。
本申请实施例中，第一电子设备可以安装增强交互服务，增强交互服务可以监听第一电子设备的投屏连接状态。
1502、第一电子设备检测到与第二电子设备建立投屏连接。
本申请实施例中，增强交互服务可以检测到第一电子设备与第二电子设备建立投屏连接，关于第一电子设备与第二电子设备建立投屏的方式可参照图4a至图5c对应的实施例的描述，这里不再赘述。
1503、第一电子设备生成投屏内容。
本申请实施例中，第一电子设备的增强交互服务可以获取所述第一电子设备前端应用的界面内容，在所述界面内容上生成所述光标，得到所述投屏内容。
本申请实施例中，第一电子设备的增强交互服务还可以在所述界面内容上生成所述光标和所述菜单栏，得到投屏内容。
具体的，参照图16，图16为本申请实施例的一种架构示意图，如图16中示出的那样，增强交互服务可以基于悬浮窗接口将光标和菜单栏添加到当前第一电子设备前端应用的界面内容中，生成投屏数据，此时，第一电子设备的投屏服务可以获取到上述投屏数据，并将投屏数据(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏数据对应的投屏内容。
可选的，第一电子设备可以获取到传感器输入的第一电子设备的姿态变化信息，并基于第一电子设备的姿态变化信息移动所述光标在界面内容中的位置，关于增强交互服务如何基于第一电子设备的姿态变化信息将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述位移在所述投屏内容上移动所述光标，关于增强交互服务如何根据所述第二滑动操作将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以获取到触摸屏输入的第一触摸操作，并根据所述第一触摸操作生成对应的第一事件，在所述界面内容的所述目标对象处(此时光标所在的目标对象) 执行所述第一事件。例如，第一触摸操作可以是点击操作或滑动操作，相应的，第一事件可以是点击事件或滑动事件。
可选的，第一电子设备可以屏蔽所述界面内容对所述第一触摸操作的操作位置上的响应。具体的，第一电子设备在接收到对第一电子设备显示屏的第一触摸操作后，可以屏蔽当前前端应用的界面内容对所述第一触摸操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一触摸操作的响应位置。例如，若用户对第一电子设备的显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。
可选地，第一电子设备可以接收到对所述第一电子设备的物理按键的按压操作，根据所述按压操作生成对应的第二事件，并对所述第一电子设备前端应用执行所述第二事件。例如，第一电子设备可以接收到对所述第一电子设备的音量键的按压操作(例如是音量降低)，根据所述按压操作生成对应的降低音量事件，并对所述第一电子设备前端应用执行降低音量事件，使得第一电子设备前端应用播放的音量降低。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二触摸操作，根据所述第二触摸操作的操作形式确定对应的第三事件，其中，不同的操作形式对应不同的第三事件，并对所述第一电子设备前端应用执行所述第三事件，其中第二触摸操作的操作形式至少包括如下的一种操作形式：接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
具体的，增强交互服务在获取到触摸屏输入的触摸操作后，可以识别该触摸操作是否符合预设的操作形式，并基于触摸操作符合预设的操作形式，生成预设的操作形式对应的事件，此时增强交互服务可以直接将该事件注入到前端应用中，而不是在光标所在的位置上执行。
可选的，参照图17，图17为本申请实施例的一种架构示意图，如图17中示出的那样，增强交互服务可以获取当前前端应用的界面内容。可选的，增强交互服务可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制光标和菜单栏，增强交互服务可以将上述绘制好的内容作为投屏数据发送至第一电子设备的投屏服务，此时，第一电子设备的投屏服务获取到投屏数据，并将投屏数据(需要经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备。
1504、第一电子设备向第二电子设备发送投屏内容。
本申请实施例中，第一电子设备向第二电子设备发送投屏数据之后，所述第二电子设备的显示屏可以显示所述投屏数据对应的投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
步骤1504的实现方式可以参考上述实施例中，第一电子设备向第二电子设备发送投屏数据的相关描述，这里不再赘述。
需要说明的是，以上步骤1503和步骤1504可以独立实现，而不是需要建立在步骤1501 以及步骤1502执行完的基础上再执行。
本申请实施例提供了一种信息处理方法，包括：生成投屏内容；向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。通过上述方式，将光标添加至投屏内容中，以使得用户可以通过第二电子设备显示的光标来确定要操作的位置，使得用户可以不看第一电子设备的界面内容，基于第二电子设备显示屏显示的投屏内容中的光标的位置就可以确定要操作的位置，进而在光标所在的位置上执行操作。
本申请实施例还提供一种电子设备，请参阅图18，图18为本申请实施例提供的电子设备的一种结构示意图，电子设备包括：
处理模块1801，用于生成生成投屏内容；
发送模块1802，用于向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
可选的，所述处理模块1801，具体用于：
获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标，得到投屏内容。
可选的，所述处理模块1801，具体用于：
获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标和菜单栏，得到投屏内容；其中，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，所述处理模块1801，还用于检测到所述第一电子设备与所述第二电子设备建立投屏连接。
可选的，所述处理模块1801，还用于获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块1801，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备的显示屏上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备的显示屏上显示的光标的上下移动方向平行，所述处理模块1801，还用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述处理模块1801，还用于：
当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一触摸操作。
可选的，所述处理模块1801，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，所述处理模块1801，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述第二滑动操作对应的操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块1801，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，所述处理模块1801，还用于：
当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述点击操作。
可选的，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块1801，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，所述处理模块1801，还用于：
接收到对所述第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，所述处理模块1801，还用于：
接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作；
所述第一电子设备响应于所述第一操作。
可选的，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块1801，还用于：
降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，所述第一电子设备的显示屏的显示区域小于所述第二电子设备的显示屏的显示区域。
接下来介绍本申请实施例提供的一种电子设备，请参阅图19，图19为本申请实施例提供的电子设备的一种结构示意图，电子设备1900具体可以表现为手机、平板、智能穿戴设备等，此处不做限定。具体的，电子设备1900包括：接收器1901、发射器1902、处理器1903和存储器1904(其中电子设备1900中的处理器1903的数量可以一个或多个，图19中以一个处理器为例)，其中，处理器1903可以包括应用处理器19031和通信处理器19032。在本申请的一些实施例中，接收器1901、发射器1902、处理器1903和存储器 1904可通过总线或其它方式连接。
存储器1904可以包括只读存储器和随机存取存储器，并向处理器1903提供指令和数据。存储器1904的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1904存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1903控制电子设备的操作。具体的应用中，电子设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1903中，或者由处理器1903实现。处理器1903可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1903可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1903可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1904，处理器1903读取存储器1904中的信息，结合其硬件完成上述方法的步骤。
接收器1901可用于接收输入的数字或字符信息，以及产生与电子设备的相关设置以及功能控制有关的信号输入。发射器1902可用于通过第一接口输出数字或字符信息；发射器1902还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1902还可以包括显示屏等显示设备。
本申请实施例中，在一种情况下，处理器1903，用于执行上述实施例中对应的实施例中的信息处理方法。
接下来以第二电子设备200为头戴式显示器(head-mounted display，HMD)为例，描述本申请提供的一种实施例，其中该头戴式显示器可以是VR设备显示器，AR设备显示器或MR设备显示器。
本申请实施例中，用户可以通过佩戴头戴式显示器(HMD)来沉浸在增强现实环境、虚拟现实环境或混合显示环境中，用户可以沉浸在3D虚拟环境并且通过各种不同类型的输入来与虚拟环境进行交互。例如，这些输入可以包括物理交互，例如对与HMD分离的第一电子设备100的操纵、对HMD本身的操纵(基于头部移动)等。
参照图20，图20为一种第一电子设备与第二电子设备的交互示意，如图20中示出的那样，佩戴第二电子设备200(HMD)的用户正拿着第一电子设备100作为第二电子设备200的控制设备。需要说明的是，尽管在图20所示的示例中仅图示一个第一电子设备100 作为第二电子设备200的控制设备，但是两个(或多个)额外的外部装置也可以与HMD100 在虚拟环境中进行配对和/或交互。在操作过程中(在配对之后)，第一电子设备100(和/ 或其它外部装置)可以经由例如有线连接、或者无线连接诸如例如WiFi或者蓝牙连接、或者可用于两个装置的其它通信模式来与第二电子设备200通信。
图21a示出了使用电缆1600将第一电子设备100连接到第二电子设备200的示意图。第一电子设备100可以使用一个或多个高速通信协议(例如USB 2.0、USB 3.0和USB3.1) 连接到第二电子设备200。在一些情况下，第一电子设备100可以使用例如高清晰度多媒体接口(HDMI)的音频/视频接口连接到第二电子设备200。在一些情况下，第一电子设备100可以使用用于USB C型标准接口的DisplayPort备用模式连接到第二电子设备200。DisplayPort备用模式可以包括高速USB通信接口和DisplayPort功能。
电缆2100可以包括在任一端插入到第二电子设备200和第一电子设备100中的合适连接器。例如，电缆可以在两端包括通用串行总线(USB)连接器。USB连接器可以是相同的USB型连接器，或者每个USB连接器可以是不同类型的USB连接器。各种类型的USB连接器可以包括但不限于USB A型连接器、USB B型连接器、micro-USB A连接器、micro-USB B连接器、micro-USB AB连接器、USB五引脚Mini-b连接器、USB四引脚Mini-b连接器、 USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0Micro B连接器和USB C型连接器等。
图21b是示出了在不需要电缆(例如，不需要图21a所示的电缆102)的情况下使用无线连接1601将第一电子设备100连接到第二电子设备100的示意图。第一电子设备100 可以通过实现一个或多个高速通信协议(例如WiFi、蓝牙或低功耗蓝牙(LE))使用无线连接1601连接到第二电子设备200。
需要说明的是，第二电子设备200还可以同时与其他控制设备连接，例如手柄等。
如图22a所示，此时，用户以手柄作为交互设备，然而，在一些场景中，手柄的便携性较差，独立手柄需要使用电池，并通过无线连接到第一电子设备100，需要额外功耗，且一些AR/VR设备的手柄较大较重，长时间使用容易导致用户疲劳。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图22b是本申请实施例的第一电子设备100的一种软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图22b所示，应用程序包可以包括电话、相机，图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息、VR眼镜应用等应用程序。其中，VR眼镜应用中包括 3D背景绘制模块、手柄事件管理模块、应用图标加载模块、虚拟屏幕管理模块、虚拟屏幕内容获取模块。
其中，3D背景绘制模块，用于完成在3D虚拟环境中显示背景画面的绘制，使用户可获得仿佛置身在某个真实场景中的感觉。
手柄事件管理模块，用于处理来自手柄的事件，以达到用户可通过操作手柄触控虚拟显示界面中控件的目的。
应用图标加载模块，用于在VR眼镜的虚拟环境中加载并显示电子设备上的若干应用的图标(例如微信、微博、抖音等)。
虚拟屏幕管理模块，用于在用户点击应用图标启动应用时，可以创建虚拟屏幕，在用户关闭应用时可以销毁虚拟屏幕。
虚拟屏幕内容获取模块，用于在用户点击启动的应用时，获取应用中的内容，并将应用中的内容通过畸变渲染，以实现在虚拟环境中显示。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图22b所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
本申请实施例中，应用程序框架层中活动内容管理服务(Activity ManagerService， AMS)、窗口管理服务(Window Manager Service，WMS)和下载管理服务(DownloadManager Service，DMS)中还可以包括应用保活模块、事件注入模块、虚拟屏幕管理模块。
其中，应用保活模块，用于在具有多屏显示模式功能的应用启动之后，控制电子设备进入VR多屏显示模式。在该模式下，电子设备可以同时运行多个应用，并支持各应用同时处于活动状态。
事件注入模块，用于在多屏显示模式下，获取用户的操作对应事件，并将事件分发到应用对应的虚拟屏幕上。
虚拟屏幕管理模块，用于为电子设备提供创建虚拟屏幕和销毁虚拟屏幕的能力。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
如图22c所示，本申请实施例中，VR场景显示适配模块(HwVRDisplayAdaper)实现在多屏模式下创建虚拟屏幕和销毁虚拟屏幕，实现对虚拟屏幕的管理，并为其它服务(例如显示管理模块(DisplayManager)、显示管理全局模块(DisplayManagerGlobal)和显示管理服务模块(DisplayManagerService)等)开放创建虚拟屏幕接口 (createVRDisplay{})和销毁虚拟屏幕接口(destroyVRDisplay{})。显示管理模块、显示管理全局模块和显示管理服务模块通过层层调用创建虚拟屏幕接口完成在进入VR多屏显示模式时创建虚拟屏幕的功能，另外显示管理模块、显示管理全局模块和显示管理服务模块通过层层调用创建虚拟屏幕接口完成在退出VR多屏显示模式下销毁虚拟屏幕的功能。在图22c中，显示管理服务模块会在电子设备的开机初始化时注册创建虚拟屏幕所需的回调，即显示管理服务模块先通过调用注册VR场景显示适配模块的接口(registerVRDisplayAdapterLoked{})，然后调用注册接口(registerLocked{})完成注册创建虚拟屏幕。
如图22d所示，本申请实施例中，Android支持对指定的屏幕注入事件，并自定义接口将该屏幕注入事件能力开放给其它服务。图22d中，输入管理模块(IputManager)依次调用injectInputEvent(event,mode,displayid)接口、 injectInputEventToDisplay(event,mode,displayid)接口、 injectInputEventInternal(event,displayId,mode))接口注入事件到指定虚拟屏幕。
参照图23a，图23a为一种用户使用第一电子设备的交互示意，用户基于手柄来操作第一电子设备上的VR/AR应用，如图23a中示出的那样，第二电子设备的显示界面上包括第一电子设备当前的显示图像2300、功能选择区域2302以及交互方式显示区域2301，其中，交互方式显示区域2301表示当前的交互方式为手柄，用户可以操作手柄对当前界面进行操作。
参照图23b，图23b为一种用户使用第一电子设备的交互示意，如图23b中示出的那样，用户可以通过滑动手柄上的触摸屏2303来点击交互方式显示区域2301，使其由基于手柄的交互模式切换为基于第一电子设备的交互模式(如图23d示出的界面)。
本申请实施例中，当手柄与所述第二电子设备建立连接时，可以将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；当仅有所述第一电子设备与所述第二电子设备建立连接时，可以将所述第一电子设备作为所述第二电子设备的控制设备。
本申请实施例中，可以将所述手柄作为所述第二电子设备的控制设备，并基于接收第一交互模式切换指令，响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
本申请实施例中，第一电子设备可以接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选地，在一种实施例中，还可以在手柄设置对应的物理按键来实现切换到基于第一电子设备的交互模式的功能，本申请实施例中，用户可以按压上述物理按键来切换到基于第一电子设备的交互模式(将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备)。
可选地，在另一种实施例中，还可以通过按压第一电子设备上的物理按键来切换到基于第一电子设备的交互模式(例如图23c中示出的电源按键)，本申请实施例中，用户可以点击上述电源按键来切换到基于第一电子设备的交互模式。
可选地，在另一种实施例中，还可以通过按压第二电子设备上的物理按键来切换到基于第一电子设备的交互模式，本申请实施例中，用户可以按压击上述物理按键来切换到基于第一电子设备的交互模式。
可选地，在另一种实施例中，若检测到手柄未与第二电子设备建立连接，则可以直接使用基于第一电子设备的交互模式。
类似的，第一电子设备可以基于相同的方式，切换到基于手柄的交互模式。
在基于手柄的交互模式中，用户可以基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置。
在基于第一电子设备的交互模式中，用户可以基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
关于用户如何通过基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置可以参照上述实施例中的描述，这里不再赘述。
可选地，在一种实施例中，和上述通过显示光标来表示用户操作对象方式不同的是，本申请实施例中，第二电子设备中可以显示一条由屏幕底侧(或者从第二电子设备显示的手机图像)出射到当前显示内容的射线，射线包括一终点，该终点可以表示用户当前选择的位置(相当于上述的光标)。
此时，用户可以通过调整第一电子设备的姿态，来调整射线的方向，以使得用户可以将该射线的终点的位置调整到想要操作的目标对象，参照图24a，图24a为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24a示出的那样，用户若想操作区域 A对应的位置，则可以通过调整第一电子设备的姿态，来调整射线的方向，以使得用户可以将该射线的终点的位置调整到想要操作的目标位置(区域A)。
参照图24b，图24b为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24b示出的那样，用户可以在水平面上转动第一电子设备，相应的，第二电子设备显示的射线的方向会发生相应的改变，且射线的终点位置会在水平方向上位移。
参照图24c，图24c为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24c示出的那样，用户可以在竖直面上转动第一电子设备，相应的，第二电子设备显示的射线的终点位置会在竖直方向上位移。
本申请实施例中，用户在将射线的终点的位置调整到想要操作的目标位置后，用户可以对第一电子设备的显示屏进行点击操作，相应的，可以在射线的终点的位置执行点击操作。
具体的，在一种实施例中，用户在将射线的终点的位置调整到想要操作的目标位置后，第一电子设备可以获取到射线的终点的位置在第二电子设备的显示界面中的具体像素坐标位置，并根据射线的终点的位置在第二电子设备的显示界面中的具体像素坐标位置确定其在第一电子设备中显示界面所对应的像素坐标位置。
用户对第一电子设备的显示屏执行点击操作，此时，点击操作并不会被前台应用(此时第一电子设备的显示界面)响应，第一电子设备会将该点击操作对应的事件注入到射线的终点在第一电子设备中显示界面所对应的像素坐标位置，相当于使得第一电子设备在射线的终点在第一电子设备中所对应的像素坐标位置执行上述点击操作。
可选地，在另一种实施例中，用户对第一电子设备的显示屏执行滑动操作，此时，滑动操作并不会被前台应用(此时第一电子设备的显示界面)响应，第一电子设备会将滑动操作对应的事件注入到射线的终点在第一电子设备中显示界面所对应的像素坐标位置，相当于使得第一电子设备在射线的终点在第一电子设备中所对应的像素坐标位置执行上述滑动操作。更多细节描述可以参照上述实施例，这里不再赘述。
参照图25，图25为本申请实施例提供的一种第一电子设备的操作示意图，第一电子设备除了单击的确认操作，还可以支持常用的全面屏手势操作，与原有使用手柄的方式保持一致，减少用户的学习成本。如图25中示出的那样，从左边缘或右边缘向中间滑动代表返回键(对应手柄中的返回按键)，从下边缘向中间滑动代表home键(对应手柄中的home按键)，上下左右的滑动操作可用来在视频场景中实现快进和快退(对应手柄中的触摸屏滑动)，音量键调整音量大小(对应手柄中的音量调节按键)，从下边缘向中间滑动并停留来实现视角回中(对应手柄中的home键长按操作来实现视角回中)，音量下键和电源键的同时按压来实现截图等。
实现上述全面屏手势操作的原理可以参照投屏场景中实施例的描述，这里不再赘述。
参照图26，图26为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图 26示出的那样，用户可以在第一电子设备的显示屏上进行滑动操作，相应的，第二电子设备显示的指针位移，关于用户如何通过在第一电子设备的显示屏上进行滑动操作来实现第二电子设备显示的指针位移可以参照上述实施例中的描述，这里不再赘述。
参照图27，图27为本申请实例提供的一种系统架构的示意图，如图27中示出的那样，以第一电子设备为手机为例，系统架构包括：AR设备/VR设备/MR设备，手机以及独立手柄。其中，独立手柄可以与AR设备/VR设备/MR设备连接，手机可以与AR设备/VR设备/MR 设备连接。
在一种实现方式中，用户可以通过操作独立手柄来实现与第一电子设备的交互，并控制AR设备/VR设备/MR设备的显示内容。
具体的，独立手柄可以获取自身的姿态信息或在触摸板上的滑动信息，并将获取到的姿态信息或滑动信息通过AR设备/VR设备/MR设备发送至手机，手机可以基于独立手柄交互方式，处理上述姿态信息或滑动信息，并基于姿态信息或滑动信息在界面内容中移动指针，此外，独立手柄可以获取选择指令(例如通过独立手柄上的物理按键)，并将选择指令发送至手机，手机可以基于独立手柄交互方式，处理上述选择指令。
在一种实现方式中，用户可以通过操作手机来实现与第一电子设备的交互，并控制AR 设备/VR设备/MR设备的显示内容。
具体的，手机可以获取自身的姿态信息或在显示屏中的滑动信息，手机可以基于手机交互方式，处理上述姿态信息或滑动信息，并基于姿态信息或滑动信息在界面内容中移动指针，此外，独立手柄可以获取触摸操作，生成相应的事件，并执行生成的事件，并在当前的前端应用中执行事件。
参照图28，图28为本申请实施例提供的一种系统架构的示意图，如图28中示出的那样，系统架构包括系统(例如是Android系统)、增强交互服务、熄屏亮屏服务、AR/VR/MR服务。
其中，系统可以将传感器输入的信息(例如姿态信息)发送至增强交互服务，系统可以将触摸屏输入的信息(例如触摸事件)发送至AR/VR/MR服务，AR/VR/MR服务可以将触摸屏输入的信息发送至增强交互服务，增强交互服务可以将熄屏或亮屏的指令发送至亮屏熄屏服务，亮屏熄屏服务可以将熄屏或亮屏的指令发送至系统，以实现第一电子设备的熄屏或亮屏。
增强交互服务可以处理接收到的信息(传感器输入的信息或触摸屏输入的信息)，进行指针的绘制，并对AR/VR/MR应用执行相应的事件(例如可以是基于指针的位置)。
本申请实施例还提供一种电子设备，电子设备包括：
发送模块，用于与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，所述处理模块，还用于：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
可选的，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，所述处理模块，具体用于：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
本申请实施例还提供一种第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，所述处理模块，具体用于：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，所述处理模块，具体用于：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选的，所述处理模块，具体用于：
将所述第一电子设备作为所述第二电子设备的控制设备；
所述第一电子设备还包括获取模块，用于接收第二交互模式切换指令；
所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，所述处理模块，具体用于：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，所述处理模块，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
本申请实施例还提供了一种电子设备，包括：
发送模块，用于将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，所述电子设备还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述电子设备还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，所述电子设备还包括：
将所述菜单栏显示在所述第二电子设备中。
参照图29，图29为本申请实施例提供的一种应用于投屏的操作方法的流程示意图，其中，第一电子设备具有第一显示屏，第二电子设备具有第二显示屏；如图29中示出的那样，本申请实施例提供的应用于投屏的操作方法，包括：
2901、所述第一电子设备将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容。
本申请实施例中，第一电子设备可以安装增强交互服务，增强交互服务可以监听第一电子设备的投屏连接状态。增强交互服务可以检测到第一电子设备与第二电子设备建立投屏连接，关于第一电子设备与第二电子设备建立投屏的方式可参照图4a至图5c对应的实施例的描述，这里不再赘述。
本申请实施例中，在检测到第一电子设备与第二电子设备建立投屏连接之后，第一电子设备将第一显示屏显示的界面内容投屏在所述第二电子设备中，使得所述第二显示屏显示所述界面内容。
可选地，第一电子设备可以生成光标，并将所述光标投屏在所述第二电子设备中，使得所述第二显示屏显示所述光标。关于第一电子设备如何生成光标可以参照步骤301中对应的实施例描述，这里不再赘述。
可选地，第一电子设备可以生成菜单栏，并将所述菜单栏投屏在所述第二电子设备中，使得所述第二显示屏显示所述菜单栏。关于第一电子设备如何生成菜单栏可以参照步骤 301中对应的实施例描述，这里不再赘述。
可选地，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二显示屏显示的所述内容上移动。关于如何基于第一电子设备的姿态变化信息将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选地，第一电子设备可以在所述第一电子设备显示的界面内容中确定出第一位置，使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。此时，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选地，第一电子设备还可以接收作用于所述第一显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述光标的位移使得所述光标在所述第二显示屏显示的所述内容上移动。关于如何根据所述第二滑动操作将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
本申请实施例中，在所述第一电子设备显示的界面内容中确定出第一位置之后，可以使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应。关于第一位置如何对所述第一操作做出响应，可以参照上述实施例中步骤302的描述，这里不再赘述。
可选地，第一电子设备在检测到第一电子设备与第二电子设备建立投屏连接之后，还可以降低所述第一显示屏的显示亮度；或，对所述第一显示屏执行熄屏操作。
2902、所述第一电子设备接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
本申请实施例中，所述第一对象可以至少包括应用程序和功能控件中的一种。
本实施例中，第一电子设备可以屏蔽当前端应用的所述内容对所述第一操作的操作位置上的响应，即，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象，而所述第一对象不响应所述第一操作。
具体的，第一电子设备在接收到对第一电子设备显示屏的第一操作后，可以屏蔽所述界面内容对所述第一操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一操作的响应位置(第一位置)。例如，若用户对第一电子设备的第一显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。相当于，第一位置与第一操作的操作位置无关，而只是与光标在第二电子设备的第二显示屏上的位置有关。
本申请实施例中，第一电子设备在所述第一显示屏显示的内容的所述第一位置上响应第一操作，第二电子设备的第二显示屏上也会同步显示第一显示屏显示的内容在所述第一位置上响应第一操作后更新的内容，即，使得所述第二显示屏显示的所述内容响应于所述第一操作。
本申请实施例中，将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容；接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。通过上述方式，第一电子设备和第二电子设备建立投屏连接后，第一显示屏中的所述内容对所述第一操作所在的操作位置对应的第一对象不作响应，而第二显示屏显示的所述内容响应于所述第一操作，使得用户可以不看第一电子设备的第一显示屏的内容，而是可以通过基于第二显示屏显示的内容来操作第一显示屏的内容。
本申请实施例还提供一种第一电子设备，第一电子设备包括：
处理模块，用于将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容；
所述处理模块，还用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，所述处理模块，具体用于：
在所述第一电子设备显示的界面内容中确定出第一位置；使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，所述处理模块，还用于：
将所述光标投屏在所述第二电子设备中，使得所述第二显示屏显示所述光标。
可选的，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备的显示屏上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备的显示屏上显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述第一操作为预设的快捷操作，所述处理模块，还用于：
使得所述第一电子设备响应于所述第一操作。
可选的，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第三对象，所述第三对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块，还用于：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，所述处理模块，还用于：
生成菜单栏；
将所述菜单栏投屏在所述第二电子设备中，使得所述第二显示屏显示所述菜单栏。
可选的，所述处理模块，还用于：
检测到所述第一电子设备与所述第二电子设备建立投屏连接。
本申请实施例还提供一种多应用显示的操控方法。
具体的，第二电子设备(如大屏、电视、AR、VR、或MR设备等)可以在其中的成像系统(如显示屏、眼镜等成像系统)显示第一电子设备的多个显示界面。
可选的，第一电子设备可以在于第二电子设备建立内容传输时，生成一个菜单栏，这个菜单栏可以在第二电子设备中成像系统中显示，用户根据菜单栏中的“添加”按钮，就可以在第二电子设备的成像系统中增加一个新的独立的第一电子设备的显示界面(如手机界面)。如图30所示；
可选的，用户每点击一个添加，就可以在成像系统中新增一个独立的手机界面，新增界面的状态可以是手机的home界面，也可以是手机当前的显示界面，也可以是预先设定的默认界面，也可以是某一个预设应用的界面，可以是成像系统当前已显示的手机界面的一个复制界面，还可以是一个随机的界面；本发明中仅做举例，不做限定。由于成像系统中可以呈现出手机的多个独立的界面(如第一界面、第二界面)，因此大屏中的内容会变得更加丰富。
可选的，用户还可以成像系统中，选择运行一个新的应用，就会在第二电子设备的成像系统中生成一个新的独立的应用界面。
可选的，用户点击应用中某个标题，还可以打开该应用扩展的第二层级的一个新的独立界面，例如微信中某个具体联系人的聊天，例如新闻APP中某个具体的文章。
可选的，用户将第一电子设备与第二电子设备建立内容连接和传输时，第一电子设备已经运行了N个应用，则对应地可以将N个应用的界面内容分别显示在所述成像系统中的 N个显示区域中。
可选的，上述多个界面内容可以无重叠的分布，也可以层叠分布(保持当前正在运行的最前端的应用的显示界面显示在最前端)，本申请不予以限定。
第一电子设备可以在于第二电子设备建立内容传输时，第一电子设备可以生成一个光标(如上述生成光标的方法)，通过数据传输，并可以显示在成像系统中。光标的移动范围可以适配于成像系统的全部范围。具体地，第一电子设备可以先获取到成像系统的参数信息，如大屏的显示屏的大小规格，ARVR设备的视野参数等；基于该参数信息确定出光标的移动范围和映射规则，不再限于单个的第一电子设备显示界面，而是能够跨多个不同的第一电子设备显示界面进行操作，可以达到整个成像系统的显示边界。这样，在成像系统中生成多个第一电子设备显示界面时，光标在成像系统中的操作范围可以覆盖到多个第一电子设备显示界面中的内容，可以在多个第一电子设备显示界面中自由移动。光标用于在成像系统的整个显示范围的内容中确定操作对象。操作对象可以是第一电子设备显示界面中的对象，也可以是成像系统中不属于第一电子设备显示界面中的对象中的其他对象。
可选的，用户可以通过前述的调整第一电子设备的位姿或对第一电子设备的屏幕进行滑动，控制光标在成像系统中的位置，进而可以根据用户的操作在成像系统中显示的内容中确定操作对象。其中，滑动操作的起始位置在第一电子设备的界面内容中对应于第一对象；第一对象不响应该滑动操作。应理解，滑动操作是可以多次执行的随机操作。第一滑动操作的轨迹越长，对应光标在成像系统中的移动范围越大。
可选的，当在成像系统中光标位于某一对象(包括但不限于应用图标、功能键、不限定类型的选项、或预设位置(如空白处、)等)上的时候，表明已经将该对象确认为操作对象了，此时，用户在终端上输入表示“确认”的操作，如按键、触摸、点击或特殊的滑动等，则该操作对象将会响应于所述“确认”的命令。例如，进入应用、某功能键使能、某种选项的选择、产生某种快捷方式的操作等等，本发明不予以穷举。应理解，此时，“确认”操作若为对触摸屏的操作，且“确认”操作的触摸位置在第一电子设备的界面内容中对应于第二对象；则第二对象不响应该“确认”操作。
在具体实现过程中，第一电子设备界面的内容可以与成像系统中的内容适配。
可选的，第一电子设备当前的界面内容可以是“单屏”。例如，如果成像系统中显示界面中光标位于第一应用界面，则此时第一电子设备的界面内容也同步为第一应用界面；如果成像系统中的光标从第一应用界面转换到第二应用界面，则此时第一电子设备的界面内容也从第一应用界面切换到第二应用界面。
可选的，在具体实现过程中，第一电子设备界面的内容可以是“多屏”，例如，第一电子设备的显示界面与第二电子设备中的全部显示界面保持对应。具体地，如果成像系统中显示界面中包含第一应用界面和第二应用界面，则此时第一电子设备的界面内容也同步为第一应用界面和第二应用界面；如果成像系统中显示界面中包含第一应用界面、第二应用界面和第三应用界面，则此时第一电子设备的界面内容也同步为第一应用界面、第二应用界面和第三应用界面。
为了节约功耗，在第一电子设备传输内容显示到成像系统时，可以降低第一电子设备的显示亮度；或，对第一电子设备执行熄屏操作。
应理解，本发明中实施例极度丰富，在不违背自然规律的前提下，以上任意步骤可以自由组合，本申请中无法针对所有的可能的场景和实现进行一一赘述。相关特征的描述也可以适用于另外的实施例。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (88)

1.一种信息处理方法，其特征在于，包括：
第一电子设备与第二电子设备建立投屏连接，并获取所述第一电子设备前端的界面内容，在所述界面内容上生成光标，以得到投屏内容，所述投屏内容由所述第一电子设备发送给所述第二电子设备，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
获取对所述第一电子设备的第一操作；
基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。
2.根据权利要求1所述的方法，其特征在于，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
3.根据权利要求1所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
4.根据权利要求3所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
5.根据权利要求3所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
6.根据权利要求3至5任一所述的方法，其特征在于，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
7.根据权利要求6所述的方法，其特征在于，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述方法还包括：
屏蔽所述第二对象对所述第一触摸操作的响应。
8.根据权利要求6所述的方法，其特征在于，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
9.根据权利要求1或2所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
10.根据权利要求9所述的方法，其特征在于，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述方法还包括：
屏蔽所述第三对象对所述第二触摸操作的响应。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
12.根据权利要求11所述的方法，其特征在于，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述方法还包括：
屏蔽所述第四对象对所述点击操作的响应。
13.根据权利要求1至5任一所述的方法，其特征在于，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
14.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
15.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作；
所述第一电子设备响应于所述第二操作。
16.根据权利要求15所述的方法，其特征在于，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
17.根据权利要求15所述的方法，其特征在于，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
18.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
19.根据权利要求1或2所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
20.一种信息处理方法，其特征在于，所述方法应用于第一电子设备，所述第一电子设备与所述第二电子设备投屏连接，并获取所述第一电子设备前端的界面内容，在所述界面内容上生成光标，以得到投屏内容，所述投屏内容由所述第一电子设备发送给所述第二电子设备，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述方法包括：
当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
21.根据权利要求20所述的方法，其特征在于，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
22.根据权利要求21所述的方法，其特征在于，所述接收第一交互模式切换指令，包括：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
23.根据权利要求21所述的方法，其特征在于，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述第一电子设备作为所述第二电子设备的控制设备；
接收第二交互模式切换指令；
响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
24.根据权利要求23所述的方法，其特征在于，所述接收第二交互模式切换指令，包括：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
25.根据权利要求22至24任一所述的方法，其特征在于，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
26.根据权利要求24所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
27.根据权利要求26所述的方法，其特征在于，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
28.根据权利要求24所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
29.根据权利要求28所述的方法，其特征在于，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
30.一种电子设备，其特征在于，包括：
发送模块，用于与第二电子设备建立投屏连接，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于获取所述第一电子设备前端的界面内容，在所述界面内容上生成光标，以得到投屏内容，所述投屏内容由所述第一电子设备发送给所述第二电子设备，并获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动。
31.根据权利要求30所述的电子设备，其特征在于，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
32.根据权利要求30所述的电子设备，其特征在于，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
33.根据权利要求32所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
34.根据权利要求32所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
35.根据权利要求32所述的电子设备，其特征在于，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
36.根据权利要求35所述的电子设备，其特征在于，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
37.根据权利要求35所述的电子设备，其特征在于，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
38.根据权利要求30所述的电子设备，其特征在于，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
39.根据权利要求38所述的电子设备，其特征在于，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
40.根据权利要求38所述的电子设备，其特征在于，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
41.根据权利要求40所述的电子设备，其特征在于，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
屏蔽所述第四对象对所述点击操作的响应。
42.根据权利要求30至41任一所述的电子设备，其特征在于，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
43.根据权利要求30至41任一所述的电子设备，其特征在于，所述处理模块，还用于：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
44.根据权利要求30至41任一所述的电子设备，其特征在于，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
45.根据权利要求44所述的电子设备，其特征在于，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
46.根据权利要求44所述的电子设备，其特征在于，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
47.根据权利要求30至41任一所述的电子设备，其特征在于，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
48.根据权利要求30至41任一所述的电子设备，其特征在于，所述处理模块，具体用于：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
49.一种电子设备，其特征在于，所述电子设备为第一电子设备，所述第一电子设备与所述第二电子设备投屏连接，并获取所述第一电子设备前端的界面内容，在所述界面内容上生成光标，以得到投屏内容，所述投屏内容由所述第一电子设备发送给所述第二电子设备，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
50.根据权利要求49所述的电子设备，其特征在于，所述处理模块，具体用于：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
51.根据权利要求50所述的电子设备，其特征在于，所述处理模块，具体用于：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
52.根据权利要求51所述的电子设备，其特征在于，所述处理模块，具体用于：
将所述第一电子设备作为所述第二电子设备的控制设备；
所述第一电子设备还包括获取模块，用于接收第二交互模式切换指令；
所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
53.根据权利要求51所述的电子设备，其特征在于，所述处理模块，具体用于：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
54.根据权利要求51至53任一所述的电子设备，其特征在于，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
55.根据权利要求53所述的电子设备，其特征在于，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
56.根据权利要求53所述的电子设备，其特征在于，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
57.根据权利要求53所述的电子设备，其特征在于，所述处理模块，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
58.根据权利要求57所述的电子设备，其特征在于，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
59.一种信息处理方法，其特征在于，所述方法包括：
将第一电子设备的投屏内容投屏显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，其中，所述投屏内容是所述第一电子设备获取前端的界面内容，在所述界面内容上生成光标得到的，所述投屏内容由所述第一电子设备发送给所述第二电子设备，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动；
接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
60.根据权利要求59所述的方法，其特征在于，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
61.根据权利要求60所述的方法，其特征在于，所述方法还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
62.根据权利要求61所述的方法，其特征在于，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
63.根据权利要求61所述的方法，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
64.根据权利要求63所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
65.根据权利要求63所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
66.根据权利要求59至65任一所述的方法，其特征在于，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
67.根据权利要求62或63所述的方法，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
68.根据权利要求67所述的方法，其特征在于，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
69.根据权利要求59至65任一所述的方法，其特征在于，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
70.根据权利要求59至65任一所述的方法，其特征在于，所述方法还包括：
将菜单栏显示在所述第二电子设备中。
71.一种电子设备，其特征在于，包括：
发送模块，用于将第一电子设备的投屏内容投屏显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，其中，所述投屏内容是所述第一电子设备获取前端的界面内容，在所述界面内容上生成光标得到的，所述投屏内容由所述第一电子设备发送给所述第二电子设备，所述光标用于定位在所述界面内容中的操作位置，且所述光标响应于用户对所述第一电子设备的操作，在所述第二电子设备的显示屏上移动；
处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
72.根据权利要求71所述的电子设备，其特征在于，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
73.根据权利要求72所述的电子设备，其特征在于，所述电子设备还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
74.根据权利要求73所述的电子设备，其特征在于，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
75.根据权利要求73所述的电子设备，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
76.根据权利要求75所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
77.根据权利要求76所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
78.根据权利要求71至77任一所述的电子设备，其特征在于，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
79.根据权利要求73或74所述的电子设备，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
80.根据权利要求79所述的电子设备，其特征在于，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
81.根据权利要求71至77任一所述的电子设备，其特征在于，所述电子设备还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
82.根据权利要求71至77任一所述的电子设备，其特征在于，所述电子设备还包括：
将菜单栏显示在所述第二电子设备中。
83.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述电子设备执行如权利要求1至29任一项所述的方法。
84.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述电子设备执行如权利要求59至70任一项所述的方法。
85.一种投屏系统，其特征在于，包括：第一电子设备和第二电子设备，所述第一电子设备为如权利要求83所述的电子设备，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备与所述第二电子设备连接。
86.一种投屏系统，其特征在于，包括：第一电子设备和第二电子设备，所述第一电子设备为如权利要求84所述的电子设备，所述第二电子设备为增强现实AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备与所述第二电子设备连接。
87.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求1至29任一项所述的方法。
88.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求59至70任一项所述的方法。
CN201910922739.0A 2019-09-19 2019-09-26 一种信息处理方法及电子设备 Active CN112527174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/116328 WO2021052488A1 (zh) 2019-09-19 2020-09-19 一种信息处理方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910888955 2019-09-19
CN2019108889558 2019-09-19

Publications (2)

Publication Number Publication Date
CN112527174A CN112527174A (zh) 2021-03-19
CN112527174B true CN112527174B (zh) 2022-10-11

Family

ID=74974534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910922739.0A Active CN112527174B (zh) 2019-09-19 2019-09-26 一种信息处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN112527174B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873679B (zh) * 2021-09-17 2022-08-19 荣耀终端有限公司 协同窗口处理方法、系统及电子设备
CN113850921A (zh) * 2021-09-28 2021-12-28 惠州Tcl移动通信有限公司 Vr投影方法、装置、存储介质及终端
CN114397961A (zh) * 2021-12-28 2022-04-26 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备组件和介质
CN117193583A (zh) * 2022-05-31 2023-12-08 华为技术有限公司 光标显示的方法及电子设备
CN115243088A (zh) * 2022-07-21 2022-10-25 苏州金螳螂文化发展股份有限公司 一种多主机视频帧级同步渲染方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512086A (zh) * 2016-02-16 2016-04-20 联想(北京)有限公司 信息处理设备以及信息处理方法
CN107122148A (zh) * 2017-03-17 2017-09-01 广州视源电子科技股份有限公司 远程协作方法及系统
CN109002198A (zh) * 2018-10-08 2018-12-14 陈超 投影设备激光笔输入系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106484117A (zh) * 2016-10-31 2017-03-08 维沃移动通信有限公司 一种vr设备的辅助控制装置、控制方法及vr设备
CN106896920B (zh) * 2017-03-01 2020-09-25 网易（杭州）网络有限公司 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
CN107071539B (zh) * 2017-05-08 2020-04-17 深圳小辣椒科技有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
CN110221798A (zh) * 2019-05-29 2019-09-10 华为技术有限公司 一种投屏方法、系统及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512086A (zh) * 2016-02-16 2016-04-20 联想(北京)有限公司 信息处理设备以及信息处理方法
CN107122148A (zh) * 2017-03-17 2017-09-01 广州视源电子科技股份有限公司 远程协作方法及系统
CN109002198A (zh) * 2018-10-08 2018-12-14 陈超 投影设备激光笔输入系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实的人机交互综述;张凤军等;《中国科学:信息科学》;20161220(第12期);1711-1736 *

Also Published As

Publication number Publication date
CN112527174A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112558825A (zh) 一种信息处理方法及电子设备
CN110109636B (zh) 投屏方法、电子设备以及系统
WO2020238874A1 (zh) 一种vr多屏显示方法及电子设备
WO2021013158A1 (zh) 显示方法及相关装置
CN112527174B (zh) 一种信息处理方法及电子设备
CN112269527B (zh) 应用界面的生成方法及相关装置
CN112527222A (zh) 一种信息处理方法及电子设备
WO2022100237A1 (zh) 投屏显示方法及相关产品
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
US20210342044A1 (en) System navigation bar display method, system navigation bar control method, graphical user interface, and electronic device
CN112398855B (zh) 应用内容跨设备流转方法与装置、电子设备
WO2022105445A1 (zh) 基于浏览器的应用投屏方法及相关装置
JP2023503679A (ja) マルチウィンドウ表示方法、電子デバイス及びシステム
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
WO2023030099A1 (zh) 跨设备交互的方法、装置、投屏系统及终端
WO2022042769A2 (zh) 多屏交互的系统、方法、装置和介质
CN112383664A (zh) 一种设备控制方法、第一终端设备及第二终端设备
WO2021254113A1 (zh) 一种三维界面的控制方法和终端
WO2021052488A1 (zh) 一种信息处理方法及电子设备
US20230236714A1 (en) Cross-Device Desktop Management Method, First Electronic Device, and Second Electronic Device
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
CN114356195B (zh) 一种文件传输的方法及相关设备
CN113946302B (zh) 一种打开文件的方法及设备
WO2023045597A1 (zh) 大屏业务的跨设备流转操控方法和装置
WO2022152174A1 (zh) 一种投屏的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant