CN110377250A - 一种投屏场景下的触控方法及电子设备 - Google Patents

Abstract

本申请的实施例提供一种投屏场景下的触控方法及电子设备，涉及终端技术领域，目的设备可接收并响应用户对投屏界面执行的控制操作，从而提高用户在投屏场景下的触控使用体验。该方法包括：源设备显示第一显示界面；响应于用户输入的投屏指令，所述源设备将所述第一显示界面中的N个控件投射至第一目的设备显示的投屏界面中，N为大于0的整数；所述源设备接收所述第一目的设备发送的第一触摸事件；所述源设备执行与所述第一触摸事件对应的操作指令。

Description

一种投屏场景下的触控方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种投屏场景下的触控方法及电子设备。

背景技术

随着智能家居技术的发展，一个用户或家庭中往往具备多个能够互相通信的电子设备。各类电子设备一般具有各自的设备特点，例如，手机的便携性更好，电视屏幕的显示效果更好，而音箱的音质效果更好。为了充分发挥不同电子设备的设备特点，电子设备可以通过投屏等方式实现多媒体数据在多个设备之间的切换和显示。

示例性的，用户使用手机中的视频应用观看视频时，可将手机设置为源设备，进而将源设备中的显示界面发送至其他支持投屏功能的目的设备中进行显示。当用户需要操作视频应用当前的显示界面时，仍需要在手机(即源设备)中执行相应的操作以更新手机的显示数据，再由手机将更新后的显示数据投射至目的设备中显示。

那么，当源设备不在用户身边或用户不方便操作源设备时，用户无法对正在投屏的显示界面进行相关控制，导致投屏显示时用户的使用体验不高。

发明内容

本申请提供一种投屏场景下的触控方法及电子设备，目的设备可接收并响应用户对投屏界面执行的控制操作，从而提高用户在投屏场景下的触控使用体验。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种投屏场景下的触控方法，包括：源设备显示第一显示界面；响应于用户输入的投屏指令，源设备将第一显示界面中的N(N为大于0的整数)个控件投射至第一目的设备显示的投屏界面中；后续，如果源设备接收到第一目的设备发送的第一触摸事件，则源设备可执行与第一触摸事件对应的操作指令。这样，在投屏场景下，目的设备可响应用户输入的触摸操作生成触摸事件，并将该触摸事件发送给源设备实现相应的功能，实现反向控制源设备的控制功能，从而提高用户在投屏场景下的触控使用体验。

示例性的，上述第一触摸事件中可以包括触摸点的坐标以及触摸事件的类型(例如，单击、双击或滑动等事件类型)。

在一种可能的实现方式中，在源设备接收第一目的设备发送的第一触摸事件之后，还包括：源设备确定与第一触摸事件对应的目标控件，该目标控件为上述N个控件中的一个；此时，源设备执行的操作指令为目标控件在源设备上被触发时对应的操作指令。例如，当第一触摸事件对应的目标控件为播放按钮时，与第一触摸事件对应的操作指令为播放按钮被触发时的操作指令。

示例性的，上述第一触摸事件可以为：用户上述投屏界面中输入第一触摸操作时，第一目的设备产生的触摸事件。其中，第一触摸操作为投屏时用户实际输入的一次触摸操作。

又例如，上述第一触摸事件还可以为：第一目的设备响应于用户在投屏界面中输入的触摸操作产生一个触摸事件(例如第五触摸事件)后，第一目的设备将第五触摸事件映射为在第一显示界面中的触摸事件。

在一种可能的实现方式中，源设备可存储与上述第一显示界面对应的配置文件，该配置文件中记录了上述N个控件在第一显示界面中的显示位置，以及这N个控件在投屏界面中的显示位置；此时，源设备确定与第一触摸事件对应的目标控件，具体包括：源设备可根据配置文件中记录的上述N个控件在投屏界面中的显示位置，确定与第一触摸事件对应的目标控件。

例如，当第一触摸事件中触摸点的坐标(即第一坐标)落入上述配置文件中第一控件的显示位置内时，源设备可将第一控件确定为上述目标控件。

又例如，当第一触摸事件中触摸点的坐标(即第一坐标)既落入上述配置文件中第一控件的显示位置内，同时又落入该配置文件中第二控件的显示位置内时，源设备可将位于顶层的第一控件确定为上述目标控件。

在一种可能的实现方式中，在源设备确定出与第一触摸事件对应的目标控件之后，还包括：源设备根据上述配置文件，将第一触摸事件映射为第二触摸事件，第二触摸事件为：用户在第一显示界面中向目标控件输入第二触摸操作时源设备将会产生的触摸事件；需要说明的是，用户实际并没有在第一显示界面中输入该第二触摸操作，源设备是根据第一触摸事件映射出了与第二触摸操作对应的第二触摸事件。

此时，源设备执行与第一触摸事件对应的操作指令是指：源设备执行与映射后的第二触摸事件上报给第一应用(源设备正在显示的第一显示界面为第一应用的界面)，使得第一应用执行与第二触摸事件对应的操作指令。例如，第一触摸事件中触摸点的坐标为A，映射后第二触摸事件中触摸点的坐标为B，那么，源设备执行与第一触摸事件对应的操作指令实际是第一应用在响应坐标为B的第二触摸事件。这样，用户在投屏界面中的触摸操作也可以反向控制源设备中的相关应用实现对应的功能。

在一种可能的实现方式中，源设备根据上述配置文件，将第一触摸事件映射为第二触摸事件，包括：源设备根据配置文件中记录的目标控件在第一显示界面中的第一显示位置以及在该投屏界面中的第二显示位置之间的对应关系，将第一触摸事件中的第一坐标转换为第二坐标，得到第二触摸事件。例如，源设备可根据配置文件中记录的目标控件在投屏前后发生的平移、缩放或旋转等变化，反向推算在第一显示界面中与上述第一坐标对应的第二坐标。

在一种可能的实现方式中，源设备确定出与第一触摸事件对应的目标控件后，还可以将该目标控件的标识和第一触摸事件的事件类型上报给第一应用，以使得第一应用执行第一功能，即第一应用在目标控件被上述事件类型所指示的操作触发时所对应的功能，从而实现用户在投屏界面中反向控制源设备中的相关应用的功能。

在一种可能的实现方式中，在源设备确定与第一触摸事件对应的目标控件之后，还包括：源设备根据上述配置文件中记录的目标控件在第一显示界面中的第一显示位置生成第三触摸事件，第三触摸事件的事件类型与第一触摸事件的事件类型相同，第三触摸事件中的第三坐标位于第一显示位置内；此时，源设备执行与第一触摸事件对应的操作指令，包括：源设备将第三触摸事件上报给第一应用。也就是说，源设备将用户在投屏界面中的第一触摸事件转换为了在第一显示界面中的第三触摸事件，那么，源设备响应该第三触摸事件的过程实际为源设备响应该第一触摸事件的过程。

需要说明的是，上述实现方式中是以源设备确定第一触摸事件的目标控件，并将第一触摸事件映射为第二触摸事件举例说明的。可以理解的是，目的设备接产生第一触摸事件后，也可以按照上述方法确定第一触摸事件的目标控件，并将第一触摸事件映射为第二触摸事件。进而，目的设备可将映射后的第二触摸事件发送给源设备，又源设备将该第二触摸事件上报给第一应用，使得第一应用执行与第二触摸事件对应的操作指令，也即与第一触摸事件对应的操作指令。

在一种可能的实现方式中，在源设备显示第一显示界面之后，还包括：响应于用户输入的第二投屏指令，源设备将第一显示界面中的M(M为大于0的整数)个控件投射至第二目的设备中显示；源设备接收第二目的设备发送的第四触摸事件；源设备执行与第四触摸事件对应的操作指令。也就是说，当源设备将其显示界面中的显示内容同时投射至多个目的设备中显示时，用户可在任意目的设备中输入触摸操作反向控制源设备实现与该触摸操作对应的控制功能，从而提高用户在投屏场景下的触控使用体验。

第二方面，本申请提供一种投屏场景下的触控方法，包括：目的设备接收第一源设备发送的第一消息，第一消息中包括第一目标控件的绘制指令，第一目标控件为第一源设备显示的第一显示界面中的一个或多个控件；目的设备调用第一目标控件的绘制指令绘制投屏界面，该投屏界面中包括第一目标控件；响应于用户在投屏界面中向第一目标控件输入的第一触摸操作，目的设备生成第一触摸事件；目的设备指示第一源设备执行与第一触摸事件对应的操作指令。

在一种可能的实现方式中，目的设备指示第一源设备执行与第一触摸事件对应的操作指令，包括：目的设备将第一触摸事件发送给第一源设备，以使得第一源设备执行与第一触摸事件对应的操作指令。第一源设备接收到该第一触摸事件后，可按照上述第一方面中的方法执行与第一触摸事件对应的操作指令。

在一种可能的实现方式中，在目的设备生成第一触摸事件之后，还包括：目的设备将第一触摸事件映射为第二触摸事件，第二触摸事件为：用户在第一显示界面中向第一目标控件输入第二触摸操作时第一源设备将产生的触摸事件。其中，目的设备将第一触摸事件映射为第二触摸事件的方法，与第一方面中源设备将第一触摸事件映射为第二触摸事件的方法相同。

此时，目的设备指示第一源设备执行与第一触摸事件对应的操作指令，包括：目的设备将映射后的第二触摸事件发送给第一源设备，以使得第一源设备执行与第二触摸事件对应的操作指令。

在一种可能的实现方式中，上述方法还包括：目的设备接收第二源设备发送的第二消息，第二消息中包括第二目标控件的绘制指令，第二目标控件为第二源设备显示的第二显示界面中的一个或多个控件；目的设备调用第二目标控件的绘制指令在该投屏界面中绘制第二目标控件；响应于用户在该投屏界面中向第二目标控件输入的第三触摸操作，目的设备生成第三触摸事件；目的设备指示第二源设备执行与第三触摸事件对应的操作指令。也就是说，当多个源设备同时将其显示界面中的显示内容投射至同一个目的设备中显示时，用户可在目的设备中对不同源设备投射来的控件输入触摸操作，从而控制相应的源设备实现与该触摸操作对应的功能，从而提高用户在投屏场景下的触控使用体验。

第三方面，本申请提供一种电子设备，包括：触摸屏、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与触摸屏以及存储器均耦合，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述任一项所述的联系人的推荐方法。

第四方面，本申请提供一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的联系人的推荐方法。

第五方面，本申请提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的联系人的推荐方法。

第六方面，本申请提供一种触控系统，该系统中可包括至少一个源设备和至少一个目的设备；源设备可用于执行如第一方面中任一项所述的投屏场景下的触控方法，目的设备可用于执行如第二方面中任一项所述的投屏场景下的触控方法。

可以理解地，上述提供的第三方面所述的电子设备、第四方面所述的计算机存储介质、第五方面所述的计算机程序产品以及第六方面所述的触控系统均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种通信系统的架构图一；

图2为本申请实施例提供的一种通信系统的架构图二；

图3为本申请实施例提供的一种电子设备的结构示意图一；

图4为本申请实施例提供的一种电子设备内操作系统的架构图；

图5为本申请实施例提供的一种投屏场景下的触控方法的场景示意图一；

图6为本申请实施例提供的一种投屏场景下的触控方法的场景示意图二；

图7为本申请实施例提供的一种投屏场景下的触控方法的场景示意图三；

图8为本申请实施例提供的一种投屏场景下的触控方法的场景示意图四；

图9为本申请实施例提供的一种投屏场景下的触控方法的场景示意图五；

图10为本申请实施例提供的一种投屏场景下的触控方法的场景示意图六；

图11为本申请实施例提供的一种投屏场景下的触控方法的场景示意图七；

图12为本申请实施例提供的一种投屏场景下的触控方法的场景示意图八；

图13为本申请实施例提供的一种投屏场景下的触控方法的场景示意图九；

图14为本申请实施例提供的一种投屏场景下的触控方法的场景示意图十；

图15为本申请实施例提供的一种投屏场景下的触控方法的场景示意图十一；

图16为本申请实施例提供的一种投屏场景下的触控方法的场景示意图十二；

图17为本申请实施例提供的一种投屏场景下的触控方法的场景示意图十三；

图18为本申请实施例提供的一种电子设备的结构示意图二。

具体实施方式

下面将结合附图对本实施例的实施方式进行详细描述。

如图1所示，本申请实施例提供的一种投屏场景下的触控方法可应用于通信系统100，通信系统100中可以包括N(N＞1)个电子设备。例如，通信系统100中可包括电子设备101和电子设备102。

示例性地，电子设备101可以通过一个或多个通信网络104与电子设备102连接。

通信网络104可以是有线网络，也可以是无线网络)。例如，上述通信网络104可以是局域网(local area networks，LAN)，也可以是广域网(wide area networks，WAN)，例如互联网。该通信网络104可使用任何已知的网络通信协议来实现，上述网络通信协议可以是各种有线或无线通信协议，诸如以太网、通用串行总线(universal serial bus，USB)、火线(FIREWIRE)、全球移动通讯系统(global system for mobile communications，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址接入(code divisionmultiple access，CDMA)、宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)、蓝牙、无线保真(wireless fidelity，Wi-Fi)、NFC、基于互联网协议的语音通话(voice over Internet protocol，VoIP)、支持网络切片架构的通信协议或任何其他合适的通信协议。示例性地，在一些实施例中，电子设备101可以通过Wi-Fi协议与电子设备102建立Wi-Fi连接。

示例性的，电子设备101可以作为源设备，电子设备102可以作为目的设备，电子设备101(即源设备)可将其显示界面中的显示内容投射至电子设备102(即目的设备)中显示。当然，也可以将电子设备102作为源设备，由电子设备102将其显示界面中的显示内容投射至电子设备101(即目的设备)中显示。

仍如图1所示，上述通信系统100中还可以包括电子设备103等其他一个或多个电子设备，例如，电子设备103可以为可穿戴设备。示例性的，电子设备103也可以作为源设备或目的设备进行投屏显示。

示例性的，如图2中的(a)所示，以电子设备101为源设备举例，电子设备102和电子设备103均可作为电子设备101的目的设备。电子设备101可将其显示界面中的显示内容投同时射至电子设备102和电子设备103中显示。也就是说，一个源设备可以同时向多个目的设备进行投屏显示。

又或者，如图2中的(b)所示，以电子设备101为目的设备举例，电子设备102和电子设备103均可作为电子设备101的源设备。此时，电子设备102和电子设备103可同时将其显示界面中的显示内容投射至电子设备101中显示。也就是说，一个目的设备可以同时接收并显示多个源设备发来的显示内容。

需要说明的是，源设备向目的设备投射显示内容时，可以将其显示界面中的所有控件均投射至目的设备中显示，也可以将其显示界面中的部分控件投射至目的设备中显示，本申请实施例对此不做任何限制。另外，上述通信系统100中的任意电子设备均可作为源设备或目的设备，本申请实施例对此不做任何限制。

在一些实施例中，上述电子设备101、电子设备102以及电子设备103的具体结构可以是相同的，也可以是不同的。

例如，上述各个电子设备具体可以是手机、平板电脑、智能电视、可穿戴电子设备、车机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant，PDA)、虚拟现实设备等，本申请实施例对此不做任何限制。

以电子设备101举例，图3示出了电子设备101的结构示意图。

电子设备101可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，摄像头193，显示屏194等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备101的具体限定。在本申请另一些实施例中，电子设备101可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备101的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备101的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备101上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括一个或多个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备101上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(Bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成一个或多个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备101的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备101可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备101通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备101可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备101可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备101可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备101在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备101可以支持一种或多种视频编解码器。这样，电子设备101可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备101的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本申请一些实施例中所提供的方法，以及各种功能应用和数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。在另一些实施例中，处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，来使得电子设备101执行本申请实施例中提供的方法，以及各种功能应用和数据处理。

电子设备101可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备101可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备101接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备101可以设置一个或多个麦克风170C。在另一些实施例中，电子设备101可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备101还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

另外，上述电子设备中还可以包括按键、马达、指示器以及SIM卡接口等一种或多种部件，本申请实施例对此不做任何限制。

上述电子设备101的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备101的软件结构。

图4是本申请实施例的电子设备101的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

1、应用程序层

应用程序层可以包括一系列应用程序。

如图4所示，上述应用程序可以包括通话，联系人，相机，图库，日历，地图，导航，蓝牙，音乐，视频，短信息等APP(应用，application)。

2、应用程序框架层

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图4所示，应用程序框架层中可以包括视图系统(view system)，通知管理器，活动管理器，窗口管理器，内容提供器，资源管理器，输入管理器等。

其中，视图系统可用于构建应用程序的显示界面。每个显示界面可以由一个或多个控件组成。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素。显示界面中的多个控件可按照树状结构分层组织，形成一个完整的ViewTree(视图树)。视图系统可根据显示界面的ViewTree绘制显示界面，在绘制显示界面中的每一个控件时都对应一组绘制指令，例如DrawLine、DrawPoint、DrawBitmap等。

例如，图5中的(a)示出了微信APP的聊天界面401，聊天界面401中最底层的控件为根节点(root)，根节点下设置有底图402这一控件，底图402中还包括以下控件：标题栏403、聊天背景404以及输入栏405。其中，标题栏403中进一步包括返回按钮406和标题407，聊天背景404中进一步包括头像408和气泡409，输入栏405中进一步包括语音输入按钮图标410、输入框411以及发送按钮412。

上述控件按照顺序分层可形成如图5中(b)所示的视图树A。其中，底图402为根节点的子节点，标题栏403、聊天背景404以及输入栏405均为底图402的子节点。返回按钮406和标题407均为标题栏403的子节点。头像408和气泡409均为聊天背景404的子节点。语音输入按钮图标410、输入框411以及发送按钮412均为输入栏405的子节点。视图系统在显示聊天界面401时可按照视图树A中各个控件之间的图层关系，从根节点开始逐层调用对应控件的绘制指令绘制每个控件，最终形成聊天界面401。

在本申请实施例中，如果电子设备101为源设备，当电子设备101向目的设备投屏时，视图系统可对当前显示界面的视图树中的控件进行拆分、删减或重组，从而确定本次需要投射至目的设备中显示的一个或多个目标控件。进而，电子设备101可将确定出的目标控件投射至目的设备中形成投屏界面，从而适应目的设备的显示尺寸等设备特点，提高投屏场景下目的设备的显示效果和用户体验。

另外，在本申请实施例中，电子设备101将显示界面中的目标控件投射至目的设备(例如电子设备102)的投屏界面中显示后，用户可在电子设备102中对投屏界面中的目标控件输入相应的触摸操作，以控制电子设备101实现与该触摸操作对应的功能。

示例性的，应用程序层中运行的APP(以应用A为例)获取到触摸屏上用户输入的触摸操作是一个从底层向上层逐层分发消息的过程。

用户手指与触摸屏接触时，触摸屏可得到这一触摸操作的相关信息(例如，触摸点的坐标等)，进而，触摸屏可通过相应的驱动以中断的形式向内核层上报该触摸操作产生的原始触摸事件。如图4所示，内核层得到上述原始触摸事件后，可将该触摸事件封装为上层能够读取的高级触摸事件(例如，action down事件、action move事件以及action up事件等)，并将该高级触摸事件发送给Framework层。进而，Framework层可将上述高级触摸事件上报至应用程序层中正在运行的应用A的应用进程。应用A的应用进程调用相应的库函数确定该高级触摸事件所作用的具体控件，以及该高级触摸事件的事件类型，例如，该事件类型可以包括单击、双击、滑动等。以用户单击播放按钮举例，应用A确定出本次高级触摸事件作用的控件为播放按钮、事件类型为单击后，应用A的进程可调用与单击播放按钮这一触摸事件对应的回调函数实现与本次触摸操作对应的应用功能。

在本申请实施例中，仍如图4所示，可以在目的设备的应用程序框架层中设置坐标转换模块。目的设备的触摸屏向内核层上报的原始触摸事件中包括触摸点的坐标(x，y)，该坐标(x，y)是用户在投屏后的投屏界面中的触摸位置。同样，内核层向Framework层上报的高级触摸事件中触摸点(x，y)也是用户在投屏界面中的触摸位置。Framework层接收到该高级触摸事件后，其坐标转换模块可将该坐标(x，y)映射为在源设备的显示界面中相应的坐标(x’，y’)。进而，目的设备可将携带坐标(x’，y’)的高级触摸事件发送给源设备，由源设备的Framework层将该高级触摸事件上报给正在投屏的应用。该应用接收到触摸点为(x’，y’)的高级触摸事件后，相当于接收到用户在源设备中对触摸坐标(x’，y’)所产生的触摸事件，那么，该应用可响应携带坐标(x’，y’)的触摸事件实现对应的应用功能。

也就是说，用户在目的设备中向投屏界面中输入触摸点为(x，y)的第一触摸操作后，目的设备可生成携带坐标(x，y)第一触摸事件。进而，目的设备可将第一触摸事件映射为在源设备的显示界面中触摸点为(x’，y’)的第二触摸事件。这样，源设备接收到目的设备发来的第二触摸事件后，可响应该第二触摸事件执行对应的应用功能，实现投屏后目的设备对源设备中显示界面的反向控制功能。

当然，也可以将上述坐标转换模块设置在源设备的Framework层中。此时，目的设备可将触摸点为(x，y)的第一触摸事件发送给源设备，进而由源设备的坐标转换模将第一触摸事件映射为触摸点为(x’，y’)的第二触摸事件，并响应第二触摸事件执行对应的应用功能，本申请实施例对此不做任何限制。

需要说明的是，上述实施例是以触摸屏检测并生成一件触摸事件，并对该触摸事件中触摸点的坐标进行坐标转换举例说明的。可以理解的是，用户在触摸屏上输入单击、长按或滑动触摸操作时，触摸屏可检测到一系列触摸事件。对于每件触摸事件，目的设备(或源设备)均可按照上述方法转换触摸事件中触摸点的坐标，本申请实施例对此不做任何限制。

另外，上述活动管理器可用于管理每个应用的生命周期。应用通常以activity的形式运行在操作系统中。活动管理器可以调度应用的activity进程管理每个应用的生命周期。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。

3、Android runtime和系统库

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

其中，表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。

4、内核层

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等，本申请实施例对此不做任何限制。

以下将结合附图详细阐述本申请实施例提供的一种投屏场景下的触控方法。

示例性的，以手机为源设备，智能手表为目的设备举例，手机可将自身显示界面中的一个或多个控件投射至智能手表中显示。

如图6所示，如果手机开启向智能手表的投屏功能后显示音乐APP的播放界面600，说明此时需要将播放界面600中的显示内容投射至智能手表中显示。示例性的，播放界面600中包括以下控件：底图601、状态栏602、标题栏603、专辑封面604、歌词605以及控制栏606。其中，状态栏602中包括时间、信号强度以及电池容量等控件。标题栏603中包括歌曲名称6031和演唱者6032等控件。控制栏606中包括进度条6061、暂停按钮6062、上一首按钮6063以及下一首按钮6064等控件。

进而，手机可获取view system绘制上述播放界面600时对应的视图树，以及视图树中各个控件的绘制指令和绘制资源。例如，如图7所示，为上述播放界面600的视图树701。视图树701记录了上述播放界面600中各个控件的之间的图层关系。在视图树701中，播放界面600的根节点下包括底图601这一子节点，状态栏602、标题栏603、专辑封面604、歌词605以及控制栏606均为底图601的子节点。歌曲名称6031和演唱者6041为标题栏603的子节点。进度条6061、暂停按钮6062、上一首按钮6063以及下一首按钮6064为控制栏606的子节点。

手机基于上述播放界面600的视图树701，可进一步确定播放界面600中需要投射至手机500中显示的一个或多个控件(即目标控件)。

示例性的，手机中可预先设置与上述播放界面600对应的配置文件。或者，手机可从服务器中获取与播放界面600对应的配置文件。该配置文件中记录了手机在播放界面600中需要投射至智能手表上的一个或多个控件(即目标控件)。

其中，上述配置文件可以采用JSON(JavaScript Object Notation)格式、XML(Extensible Markup Language)格式或文本格式等格式存储在手机中或服务器中，本申请实施例对此不做任何限制。

示例性的，与播放界面600对应的配置文件1可以为：

可以看出，配置文件1中包含多个“src”字段(例如上述“src1”字段和“src2”字段)。每个“src”字段中记录了播放界面600中一个控件的具体位置。例如，每个控件的位置均可通过left，top，widht，height这4个参数的取值唯一确定。其中，left为控件左上角顶点在x轴的大小，top为控件左上角顶点在y轴的大小，width为控件的宽度，height为控件的高度。配置文件1中记录的一个或多个控件即为手机需要投射至智能手表中显示的目标控件。

那么，手机根据配置文件1中“src”字段记录的各个控件的位置，可基于视图树701识别出播放界面600中需要投射至手机500中显示的目标控件。例如，该目标控件包括：标题栏603中的歌曲名称6031和演唱者6041，控制栏606中的暂停按钮6062、上一首按钮6063以及下一首按钮6064，以及专辑封面604。

在一些实施例中，上述配置文件1中还可以记录目标控件投屏后在投屏界面中的具体显示位置。例如，可以在上述配置文件1设置与“src1”字段对应的“dest1”字段，“dest1”字段用于指示控件1在目的设备中的显示位置。示例性的，“dest1”字段如下所示：

那么，手机根据配置文件1中的各个“dest”字段，可以确定出每播放界面600中的每个目标控件投屏后在智能手表的投屏界面中的显示位置。示例性的，如图8中的(a)所示，手机(即源设备)的播放界面600位于第一坐标系中，“src1”字段记录的控件1在投屏前位于第一坐标系的区域801中。如图8中的(b)所示，智能手表(即目的设备)的投屏界面位于第二坐标系中，“dest1”字段记录的控件1在投屏前后位于第二坐标系的区域802中。区域801中的任意位置与区域802中的一个位置唯一对应。

在另一些实施例中，上述配置文件1中还可以记录目标控件在投屏前后显示位置的变化关系。例如，配置文件1中针对控件1还设置有如下字段：

其中，“translationx”字段和“translationy”字段分别用于指示控件1投屏后在x轴和y轴上的平移距离；“scalex”字段和“scaley”字段分别用于指示控件1投屏后在x轴和y轴上的缩放比例；“rotatedegree”字段用于指示控件1投屏后的旋转角度；“order”字段用于指示控件1投屏后所在的图层位置(例如在最底层图层还是在最顶层图层中)。

同样，手机根据上述字段中记录的控件1在投屏前后显示位置的变化关系，也可以确定出控件1投屏后在智能手表的投屏界面中的显示位置。也即确定控件1在第一坐标系中的位置和控件1在第二坐标系中的位置。

示例性的，手机识别出播放界面600中的目标控件，以及各个目标控件投屏后的具体显示位置后，可对播放界面600的视图树701进行拆分、裁剪和重组等操作，生成投屏后在智能手表上显示的投屏界面的视图树901。如图9中的(a)所示，在视图树901中，手机删除了视图树701中不是目标控件的节点，例如上述底图601、状态栏602、状态栏602中的各个控件以及控制栏606中的进度条6061。并且，如果配置文件1中记录了投屏后标题栏603和控制栏606中的目标控件位于专辑封面604的图层之上，则在视图树901中，手机可将标题栏603中的歌曲名称6031和演唱者6041设置为专辑封面604的子节点，并将控制栏606中的暂停按钮6062、上一首按钮6063以及下一首按钮6064也设置为专辑封面604的子节点。

进而，手机(即源设备)可通过上述通信网络104向智能手表(即目的设备)发送UI消息，该UI消息中包括上述视图树901以及视图树901中每个控件相关的绘制指令和绘图资源。

智能手表接收到与上述播放界面600对应的UI消息后，可按照视图树901中的层次和顺序，依次调用视图树901中每一个目标控件的绘制指令，在配置文件1中指定的位置绘制目标控件。最终，如图9中的(b)所示，智能手表可绘制出上述播放界面600投屏后的投屏界面902。投屏界面902中的各个控件与视图树901中各个控件一一对应。

可以看出，手机在将上述播放界面600投屏至智能手表中显示时，可对播放界面600中的控件进行拆分、删减和重组等操作，使得最终投屏在智能手表中的投屏界面902能够适用智能手表中显示屏的显示尺寸以及用户的使用需求，从而提高多设备之间投屏时的显示效果和用户体验。

仍以手机将播放界面600投屏至智能手表中显示上述投屏界面902举例，用户可在投屏界面902中对投屏后的各个目标控件输入相应的触摸操作，智能手表可响应该触摸操作生成对应的触摸事件，进而，智能手表可控制手机实现与该触摸事件对应的功能。例如，该触摸事件中可以包括触摸点的坐标以及触摸事件的时间类型(例如单击、双击、滑动等)。

例如，当用户希望音乐APP暂停正在播放的歌曲时，可点击投屏界面902中的暂停按钮6062。又例如，当用户希望音乐APP播放上一首歌曲时，可点击投屏界面902中的上一首按钮6063。又例如，当用户希望音乐APP播放下一首歌曲时，可点击投屏界面902中的下一首按钮6064。

以用户点击投屏界面902中的暂停按钮6062举例，如图10所示，智能手表显示的投屏界面902位于第二坐标系中。智能手表的触摸传感器可实时检测用户在投屏界面902上输入的触摸操作。当检测到用户手指接触投屏界面902时，智能手表的触摸传感器可将检测到的触摸信息(例如，触摸点A的坐标信息、触摸时间等)封装为第一触摸事件，并将该第一触摸事件上报给智能手表的内核层。其中，该第一触摸事件是智能手表响应于用户点击投屏界面902中的暂停按钮6062这一第一触摸操作产生的。

以触摸点的坐标为A(x，y)举例，触摸传感器通过驱动可将检测到的触摸操作封装为第一原始触摸事件上报给内核层，进而由内核层将该原始触摸事件封装为上层可读取的第一高级触摸事件上报给应用程序框架层。应用程序框架层接收到携带有坐标A(x，y)的第一高级触摸事件后，可根据上述配置文件1中记录的各个控件在投屏界面902中的显示位置确定用户本次触摸的目标控件为哪一个。

例如，上述配置文件1中的“dest1”字段记录了暂停按钮6062位于投屏界面902的区域1中。那么，当坐标A(x，y)落入区域1时，智能手表可确定用户本次触摸操作所作用的目标控件为暂停按钮6062。

在一些实施例中，坐标A(x，y)可能会同时落入两个控件中。例如，坐标A(x，y)既位于暂停按钮6062所在的区域内，同时也位于专辑封面604所在的区域内。此时，智能手表可根据配置文件1中记录的“order”字段，将位于最上层的控件作确定为用户本次触摸操作所作用的目标控件。

以用户点击投屏界面902中的暂停按钮6062举例，应用程序框架层确定出本次第一触摸事件是对暂停按钮6062的触摸事件后，可根据配置文件1中记录的暂停按钮6062在投屏前后的位置关系，还原出上述触摸点A在手机(即源设备)的第一坐标系内对应的触摸点A’点。

示例性的，手机在向智能手表投射暂停按钮6062时，对第一坐标系中的暂停按钮6062执行了平移、缩放或旋转等一项或多项操作后，形成了第二坐标系中的暂停按钮6062。那么，智能手表在还原与触摸点A对应的触摸点A’时，可对上述坐标A(x，y)执行相应的反向平移、反向缩放或反向旋转等操作，从而还原出在手机的播放界面600中与坐标A(x，y)对应的A’(x’，y’)点。

例如，如图11中的(a)所示，播放界面600显示在手机(即源设备)所在的第一坐标系时，暂停按钮6062中A’点的坐标为A’(100，20)。在投射暂停按钮6062时，如图11中的(b)所示，将暂停按钮6062在x轴上的负方向上平移了20个单位，并将暂停按钮6062在y轴上的正方向上平移了30个单位。并且，将暂停按钮6062放大了1.5倍。暂停按钮6062投射至投屏界面902所在的第二坐标系后，暂停按钮6062上与A’点对应的A点的坐标为A((100-20)*1.5，(20+30*1.5))，即A(120，75)。那么，智能手表检测到用户对暂停按钮6062的A点输入触摸事件后，智能手表可将A点在x轴和y轴上的坐标缩小1.5倍，再将x轴上的坐标反向平移20个单位，并将A点在y轴上的坐标反向平移30个单位，得到坐标A(120，75)在第一坐标系中对应的坐标A’(100，20)。

示例性的，当配置文件1中记录了暂停按钮6062在x轴和y轴上的平移距离时，智能手表可按照该平移距离反向推算本次触摸点A点的平移距离。当配置文件1中记录了暂停按钮6062在x轴和y轴上的缩放比例时，智能手表可按照该缩放比例反向推算本次触摸点A点的缩放比例。当配置文件1中记录了暂停按钮6062的旋转角度时，智能手表可按照该旋转角度反向推算本次触摸点A点的旋转角度。

又或者，智能手表也可以预先设置第一坐标系与第二坐标系之间的坐标映射公式。这样，智能手表获取到本次触摸事件的触摸点A后，可根据该坐标映射公式计算触摸点A在手机的第一坐标系中对应的触摸点A’。

智能手表还原出与投屏界面902上的触摸点A对应在播放界面600中的触摸点A’后，可将触摸点A’的坐标A’(x’，y’)代替第一触摸事件中触摸点A的坐标A(x，y)，形成第二触摸事件。此时，第二触摸事件是指当用户在播放界面600中输入点击暂停按钮6062这一第二触摸操作时，手机将产生的触摸事件。可以理解的是，在本申请实施例中，用户实际并没有在播放界面600中点击暂停按钮6062，而是智能手表通过将触摸点A转换为触摸点A’模拟出了用户在播放界面600中点击暂停按钮6062的第二触摸操作。

进而，智能手表可将上述第二触摸事件发送给手机。手机的应用程序框架层可将该第二触摸事件上报给应用层中正在运行的音乐APP，使得音乐APP可以响应A’点的第二触摸事件暂停正在播放的音频。可以理解的是，音乐APP可响应A’点的第二触摸事件相当于音乐APP响应了用户在投屏界面902中A点的第一触摸事件。

也就是说，用户在目的设备的投屏界面902中输入了在A(x，y)点的第一触摸操作，目的设备生成了与第一触摸操作对应的第一触摸事件。目的设备(或源设备)对第一触摸事件中触摸点的坐标进行坐标转换后生成了第二触摸事件，使得源设备中的音乐APP基于第二触摸事件认为用户在播放界面600的A’(x’，y’)点执行了第二触摸操作。进而，音乐APP可响应该第二触摸事件执行对应的应用功能，实现投屏时目的设备对源设备的反向控制。

在另一些实施例中，智能手表(即目的设备)也可将携带A(x，y)点的触摸事件发送给手机(即源设备)，进而由手机中的应用程序框架层按照上述方法将A(x，y)点还原为播放界面600中的A’(x’，y’)点，并将触摸点为A’(x’，y’)点的触摸事件上报给手机中的音乐APP，实现暂停播放音频的功能。

在另一些实施例中，还可以在上述配置文件1中记录每个控件的标识，例如“dest1”字段对应的控件为暂停按钮6062，暂停按钮6062的标识为001。那么，智能手表(即目的设备)根据检测到的一些列触摸事件中触摸点的坐标、触摸时间等信息，可以确定出用户对投屏界面902中的暂停按钮6062执行了单击操作。进而，智能手表可将暂停按钮6062的标识(例如001)以及确定出的触摸事件的类型(例如单击操作)发送给手机(即源设备)。进而，手机可确定出用户执行了单击暂停按钮6062的事件，那么，手机中的应用程序框架层可向正在运行的音乐APP上报用户单击暂停按钮6062的事件，使得音乐APP调用与单击暂停按钮6062对应的函数实现暂停播放音频的功能，即执行与第一触摸事件对应的操作指令。

又或者，智能手表(即目的设备)确定出用户对投屏界面902中的暂停按钮6062执行了单击操作后，还可以根据配置文件1中记录的暂停按钮6062在播放界面600中的具体位置，生成对应的触摸事件(例如第三触摸事件)。其中，第三触摸事件的事件类型与第一触摸事件的事件类型相同，均为单击事件。第三触摸事件中触摸点的坐标B可以位于暂停按钮6062在播放界面600内的任意位置。这样，智能手表将生成的第三触摸事件发送给手机(即源设备)后，手机也可将该第三触摸事件上报给应用层中正在运行的音乐APP，使得音乐APP可以响应B点的第三触摸事件暂停正在播放的音频。同样，音乐APP响应B点的第三触摸事件相当于音乐APP响应了用户在投屏界面902中A点的第一触摸事件。

当然，用户也可以在手机(即源设备)显示的播放界面600中输入相应的触摸操作，手机检测到与该触摸操作对应的触摸事件后，无需对触摸点的坐标进行转换，便可将该触摸事件上报给音乐APP实现相应的应用功能。

也就是说，在投屏场景下，用户既可以在源设备中输入触摸操作控制源设备实现相应的功能，也可以在目的设备中输入触摸操作控制源设备实现相应的功能，从而提高用户在投屏场景下的触控使用体验。

另外，如果源设备响应用户在源设备或目的设备中输入的触摸操作更新了自身的显示画面，则源设备可继续使用上述投屏方法将更新后的显示界面投射至目的设备中显示，本申请实施例对此不做任何限制。

在一些使用场景下，用户可以将一个源设备中的显示内容投射到多个不同的目的设备中显示。那么，按照上述触控方法，用户在每个目的设备中均可输入相应的触摸操作控制源设备实现相关的应用功能。

示例性的，如图12所示，手机作为源设备开启投屏功能后，可将视频APP正在显示的播放界面1201同时投屏至两个目的设备中。其中，一个目的设备为智能手表，另一个目的设备为智能电视。

与上述投屏方法类似的，手机可根据与智能手表对应的配置文件1，识别出播放界面1201需要投射至智能手表显示的第一目标控件为：控制栏1205以及控制栏1205中的控件1206、控件1207以及控件1208。进而，如图12所示，手机可将控制栏1205以及控制栏1205中的各个控件投射至智能手表中，形成第一投屏界面1301。

同时，手机可根据与智能电视对应的配置文件2，识别出播放界面1201需要投射至智能电视显示的第二目标控件为：视频画面1202以及视频画面1202中的文本控件1203和进度条1204。进而，仍如图12所示，手机可将视频画面1202以及视频画面1202中的各个控件投射至智能电视中，形成第二投屏界面1302。

那么，用户可以在第一投屏界面1301中输入触摸操作，以控制手机(即源设备)中运行的视频APP。并且，用户还可以在第二投屏界面1302中输入触摸操作，以控制手机(即源设备)中运行的视频APP。

示例性的，如图13所示，如果智能手表(即第一目的设备)检测到用户点击第一投屏界面1301中的暂停按钮1106，则智能手表可生成包含触摸点P1的第一触摸事件。并且，智能手表可根据配置文件1中记录的暂停按钮1106在投屏前后的位置关系，将第一投屏界面1301中的触摸点P1转换为上述播放界面1201中的触摸点P1’。进而，智能手表可将包含触摸点P1’的第二触摸事件发送给手机，使得手机中的视频APP可响应触摸点为P1’的第二触摸事件执行暂停视频的指令。

示例性的，如图14所示，如果智能电视(即第二目的设备)检测到用户拖动第二投屏界面1302中的进度条1104，则智能电视可生成包含触摸点P2的第一触摸事件。并且，智能手表可根据配置文件2中记录的进度条1104在投屏前后的位置关系，将第二投屏界面1302中的触摸点P2转换为上述播放界面1201中的触摸点P2’。进而，智能电视可将包含触摸点P2’的第二触摸事件发送给手机，使得手机中的视频APP可响应触摸点为P2’的第二触摸事件将视频切换至与进度条1104上P2’点对应的位置播放。

另外，如果手机不仅接收到第一目的设备发来的触摸事件，还接收到第二目的设备发来的触摸事件，则手机可按照接收各个触摸事件的先后时间顺序依次响应每个触摸事件。又或者，每个目的设备检测到用户输入的触摸操作时，还可以记录该触摸操作的触摸时间。进而，目的设备在向源设备发送对应的触摸事件时，可一并发送该触摸事件的触摸时间。这样，源设备可根据触摸时间的先后顺序依次响应不同目的设备发来的触摸事件。

可以看出，当源设备将其显示界面中的显示内容同时投射至多个目的设备中显示时，用户可在任意目的设备中输入触摸操作反向控制源设备实现与该触摸操作对应的控制功能，从而提高用户在投屏场景下的触控使用体验。

在一些使用场景下，用户可以将多个源设备中的显示内容投射到同一个目的设备中显示。那么，按照上述触控方法，用户在目的设备中对某一控件输入相应的触摸操作后，可控制与该控件对应的源设备实现相关的应用功能。

示例性的，如图15所示，用户可将手机和智能手表同时作为智能电视(即目的设备)的源设备。其中，手机可将正在显示的锁屏界面1501中的显示内容投射至智能电视中，同时，智能手表可将正在显示的检测界面1502中的显示内容投射至智能电视中。当然，智能电视除了显示手机和智能手表投射来的内容外，还可以显示智能电视自身的显示画面。

与上述投屏方法类似的，手机可根据与锁屏界面1501对应的配置文件1，识别出锁屏界面1501中需要投射至智能电视显示的第一目标控件为：通知消息1511中的图标1512和消息内容1513。并且，智能手表可根据与检测界面1502对应的配置文件2，识别出检测界面1502中需要投射至智能电视显示的第二目标控件为：心率信息1521和热量信息1522。

智能电视接收到手机发来的第一目标控件和智能手表发来的第二目标控件后，可对第一目标控件、第二目标控件以及自身显示界面中的控件1503进行拆分、重组等操作。进而，仍如图15所示，智能电视可在投屏界面1504中显示上述第一目标控件、第二目标控件和控件1503。这样，目的设备可以同时显示多个源设备中的显示内容。

进一步地，用户可以在投屏界面1504中对相应的控件输入触摸操作。如果用户对投屏界面1504中的第一目标控件输入触摸操作，则可控制手机(即第一源设备)实现相应的功能。如果用户对投屏界面1504中的第二目标控件输入触摸操作，则可控制智能手表(即第二源设备)实现相应的功能。

示例性的，如图16所示，智能电视(即目的设备)检测到用户点击投屏界面1504中的消息内容1513后，可生成包含触摸点Q1的第一触摸事件。由于消息内容1513属于手机(即第一源设备)投射的第一目标控件，因此，智能电视可根据配置文件1中记录的消息内容1513在投屏前后的位置关系，将投屏界面1504中的触摸点Q1转换为上述锁屏界面1501中的触摸点Q1’。进而，智能手表可将包含触摸点Q1’的第二触摸事件发送给手机，使得手机可响应触摸点为P1’的第二触摸事件展开消息内容1513。

示例性的，如图17所示，智能电视(即目的设备)检测到用户点击投屏界面1504中的心率信息1521后，可生成包含触摸点Q2的第一触摸事件。由于心率信息1521属于智能手表(即第二源设备)投射的第二目标控件，因此，智能电视可根据配置文件2中记录的心率信息1521在投屏前后的位置关系，将投屏界面1504中的触摸点Q2转换为上述检测界面1502中的触摸点Q2’。进而，智能电视可将包含触摸点Q2’的第二触摸事件发送给智能手表，使得智能手表可响应触摸点为P2’的第二触摸事件显示心率信息1521的详情内容。

可以看出，当多个源设备同时将其显示界面中的显示内容投射至同一个目的设备中显示时，用户可在目的设备中对不同源设备投射来的控件输入触摸操作，从而控制相应的源设备实现与该触摸操作对应的控制功能，从而提高用户在投屏场景下的触控使用体验。

需要说明的是，上述实施例中仅示例性的示出了在目的设备中输入触摸操作反向控制源设备的应用场景，可以理解的是，上述投屏时的触控方法还可以应用在其他场景中，本申请实施例对此不做任何限制。

示例性的，在召开视频会议时，某一会场中的电子设备可作为目的设备，其他会场中的各个电子设备可作为源设备。各个源设备可按照上述方法将目标控件投射至目的设备中显示。进而，用户可在目的设备中向目标控件输入相应的控制操作，从而控制相应的源设备响应该控制操作实现投屏时的反向控制。

又例如，学生可以在自己的手机或电脑或平板中安装教辅APP。学生在使用教辅APP答题时，其电子设备可作为源设备将答题区域的显示内容投射至老师使用的手机或电脑或平板中显示。那么，老师不仅可以实时预览多个学生在各自答题区域中的答题过程，还可以在自己的电子设备中远程控制学生的源设备，在线辅导学生解题，提高教辅APP的教学效果。

本申请实施例公开了一种电子设备，包括处理器，以及与处理器相连的存储器、输入设备、输出设备和通信模块。其中，输入设备和输出设备可集成为一个设备，例如，可将触摸传感器作为输入设备，将显示屏作为输出设备，并将触摸传感器和显示屏集成为触摸屏。

此时，如图18所示，上述电子设备可以包括：触摸屏1801，所述触摸屏1801包括触摸传感器1806和显示屏1807；一个或多个处理器1802；存储器1803；通信模块1808；一个或多个应用程序(未示出)；以及一个或多个计算机程序1804，上述各器件可以通过一个或多个通信总线1805连接。其中该一个或多个计算机程序1804被存储在上述存储器1803中并被配置为被该一个或多个处理器1802执行，该一个或多个计算机程序1804包括指令，上述指令可以用于执行上述实施例中的各个步骤。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述，在此不再赘述。

示例性的，上述处理器1802具体可以为图3所示的处理器110，上述存储器1803具体可以为图3所示的内部存储器121和/或外部存储器120，上述显示屏1807具体可以为图3所示的显示屏194，上述触摸传感器1806具体可以为图3所示的传感器模块180中的触摸传感器，上述通信模块1808具体可以为图3所示的移动通信模块150和/或无线通信模块160，本申请实施例对此不做任何限制。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种投屏场景下的触控方法，其特征在于，包括：

源设备显示第一显示界面；

响应于用户输入的投屏指令，所述源设备将所述第一显示界面中的N个控件投射至第一目的设备显示的投屏界面中，N为大于0的整数；

所述源设备接收所述第一目的设备发送的第一触摸事件；

所述源设备执行与所述第一触摸事件对应的操作指令。

2.根据权利要求1所述的方法，其特征在于，在所述源设备接收所述第一目的设备发送的第一触摸事件之后，还包括：

所述源设备确定与所述第一触摸事件对应的目标控件，所述目标控件为所述N个控件中的一个；

其中，所述操作指令为所述目标控件在所述源设备上被触发时对应的操作指令。

3.根据权利要求1所述的方法，其特征在于，所述第一触摸事件为：所述第一目的设备响应于用户在所述投屏界面中输入的触摸操作产生第五触摸事件后，将所述第五触摸事件映射为在所述第一显示界面中的触摸事件。

4.根据权利要求2所述的方法，其特征在于，所述第一触摸事件为：用户在所述投屏界面中输入第一触摸操作时所述第一目的设备产生的触摸事件。

5.根据权利要求4所述的方法，其特征在于，所述源设备存储有与所述第一显示界面对应的配置文件，所述配置文件中记录了所述N个控件在所述第一显示界面中的显示位置，以及所述N个控件在所述投屏界面中的显示位置；

其中，所述源设备确定与所述第一触摸事件对应的目标控件，包括：

所述源设备根据所述配置文件中记录的所述N个控件在所述投屏界面中的显示位置，确定与所述第一触摸事件对应的目标控件。

6.根据权利要求5所述的方法，其特征在于，所述第一触摸事件包括所述第一触摸操作在所述投屏界面中的第一坐标；

其中，所述源设备根据所述配置文件中记录的所述N个控件在所述投屏界面中的显示位置，确定与所述第一触摸事件对应的目标控件，包括：

当所述第一坐标落入所述配置文件中第一控件的显示位置内时，所述源设备将所述第一控件确定为所述目标控件。

7.根据权利要求5所述的方法，其特征在于，所述第一触摸事件包括所述第一触摸操作在所述投屏界面中的第一坐标；

其中，所述源设备根据所述配置文件中记录的所述N个控件在所述投屏界面中的显示位置，确定与所述第一触摸事件对应的目标控件，包括：

当所述第一坐标既落入所述配置文件中第一控件的显示位置内，同时又落入所述配置文件中第二控件的显示位置内时，所述源设备将位于顶层的第一控件确定为所述目标控件。

8.根据权利要求5-7中任一项所述的方法，其特征在于，在所述源设备确定与所述第一触摸事件对应的目标控件之后，还包括：

所述源设备根据所述配置文件，将所述第一触摸事件映射为第二触摸事件，所述第二触摸事件为：用户在所述第一显示界面中向所述目标控件输入第二触摸操作时所述源设备将产生的触摸事件；

其中，所述源设备执行与所述第一触摸事件对应的操作指令，包括：

所述源设备将所述第二触摸事件上报给第一应用；所述第一显示界面为所述第一应用的界面。

9.根据权利要求8所述的方法，其特征在于，所述源设备根据所述配置文件，将所述第一触摸事件映射为第二触摸事件，包括：

所述源设备根据所述配置文件中记录的所述目标控件在所述第一显示界面中的第一显示位置以及在所述投屏界面中的第二显示位置之间的对应关系，将所述第一触摸事件中的第一坐标转换为第二坐标，得到所述第二触摸事件。

10.根据权利要求5-6中任一项所述的方法，其特征在于，所述源设备执行与所述第一触摸事件对应的操作指令，包括：

所述源设备将所述目标控件的标识和所述第一触摸事件的事件类型上报给第一应用，以使得所述第一应用执行第一功能，所述第一功能为所述第一应用在所述目标控件被所述事件类型所指示的操作触发时，所对应的功能；所述第一显示界面为所述第一应用的界面。

11.根据权利要求5-6中任一项所述的方法，其特征在于，在所述源设备确定与所述第一触摸事件对应的目标控件之后，还包括：

所述源设备根据所述配置文件中记录的所述目标控件在所述第一显示界面中的第一显示位置生成第三触摸事件，所述第三触摸事件的事件类型与所述第一触摸事件的事件类型相同，所述第三触摸事件中的第三坐标位于所述第一显示位置内；

其中，所述源设备执行与所述第一触摸事件对应的操作指令，包括：

所述源设备将所述第三触摸事件上报给第一应用；所述第一显示界面为所述第一应用的界面。

12.根据权利要求1-11中任一项所述的方法，其特征在于，在源设备显示第一显示界面之后，还包括：

响应于用户输入的第二投屏指令，所述源设备将所述第一显示界面中的M个控件投射至第二目的设备中显示，M为大于0的整数；

所述源设备接收所述第二目的设备发送的第四触摸事件；

所述源设备执行与所述第四触摸事件对应的操作指令。

13.一种投屏场景下的触控方法，其特征在于，包括：

目的设备接收第一源设备发送的第一消息，所述第一消息中包括第一目标控件的绘制指令，所述第一目标控件为所述第一源设备显示的第一显示界面中的一个或多个控件；

所述目的设备调用所述第一目标控件的绘制指令绘制投屏界面，所述投屏界面中包括所述第一目标控件；

响应于用户在所述投屏界面中向所述第一目标控件输入的第一触摸操作，所述目的设备生成第一触摸事件；

所述目的设备指示所述第一源设备执行与所述第一触摸事件对应的操作指令。

14.根据权利要求13所述的方法，其特征在于，所述目的设备指示所述第一源设备执行与所述第一触摸事件对应的操作指令，包括：

所述目的设备将所述第一触摸事件发送给所述第一源设备，以使得所述第一源设备执行与所述第一触摸事件对应的操作指令。

15.根据权利要求13所述的方法，其特征在于，在所述目的设备生成第一触摸事件之后，还包括：

所述目的设备将所述第一触摸事件映射为第二触摸事件，所述第二触摸事件为：用户在所述第一显示界面中向所述第一目标控件输入第二触摸操作时所述第一源设备将产生的触摸事件；

其中，所述目的设备指示所述第一源设备执行与所述第一触摸事件对应的操作指令，包括：

所述目的设备将所述第二触摸事件发送给所述第一源设备，以使得所述第一源设备执行与所述第二触摸事件对应的操作指令。

16.根据权利要求13-15中任一项所述的方法，其特征在于，所述方法还包括：

所述目的设备接收第二源设备发送的第二消息，所述第二消息中包括第二目标控件的绘制指令，所述第二目标控件为所述第二源设备显示的第二显示界面中的一个或多个控件；

所述目的设备调用所述第二目标控件的绘制指令在所述投屏界面中绘制所述第二目标控件；

响应于用户在所述投屏界面中向所述第二目标控件输入的第三触摸操作，所述目的设备生成第三触摸事件；

所述目的设备指示所述第二源设备执行与所述第三触摸事件对应的操作指令。

17.一种电子设备，其特征在于，包括：

触摸屏，所述触摸屏包括触摸传感器和显示屏；

通信模块；

一个或多个处理器；

一个或多个存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-12或权利要求13-16中任一项所述的投屏场景下的触控方法。

18.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-12或权利要求13-16中任一项所述的投屏场景下的触控方法。

19.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-12或权利要求13-16中任一项所述的投屏场景下的触控方法。

20.一种投屏场景下的触控系统，其特征在于，所述系统包括至少一个源设备和至少一个目的设备；其中，所述源设备用于执行如权利要求1-12中任一项所述的投屏场景下的触控方法，所述目的设备用于执行如权利要求13-16中任一项所述的投屏场景下的触控方法。