CN113949923A - 一种控制方法及控制装置 - Google Patents

Abstract

本申请实施例公开了一种控制方法，该方法包括：如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得所述目标操作的操作数据，所述投屏窗口是第二电子设备投屏至所述第一电子设备产生的界面窗口；将所述操作数据发送给所述第二电子设备，以使得所述第二电子设备执行所述目标操作，并将执行结果同步至所述投屏窗口。本申请实施例还公开了一种控制装置。

Description

一种控制方法及控制装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种控制方法及控制装置。

背景技术

随着计算机技术的飞速发展，计算机成为人们生活、学习、娱乐等各个领域中不可或缺的部分。目前，可以采用通信电缆将一个计算机设备与另一个计算机设备进行通信连接，可以将一个计算机设备显示的画面投屏至另一个计算机设备的显示屏幕上，在另一个计算机设备中实现画中画模式，以便用户在另一个计算机设备上进行远端操作和远程演示操作。

但是，目前用实时截图并传输的截图至另一计算机设备的方式来实现鼠标移动过程的显示时，由于鼠标移动速度很快，而图像传输帧率远不及鼠标快速移动的速率，导致在另一计算机设备中出现鼠标移动过程出现卡顿、不顺畅的现象。

申请内容

本申请的技术方案是这样实现的：

第一方面，一种控制方法，包括：

如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得所述目标操作的操作数据，所述投屏窗口是第二电子设备投屏至所述第一电子设备产生的界面窗口；

将所述操作数据发送给所述第二电子设备，以使得所述第二电子设备执行所述目标操作，并将执行结果同步至所述投屏窗口。

可选的，所述获得所述目标操作的操作数据，包括：

检测到作用于所述投屏窗口内的目标对象的控制操作，确定获得目标操作，将所述控制操作的控制参数作为所述目标操作的操作数据；或，

检测到调整所述投屏窗口的显示参数的调整操作，确定获得目标操作，将所述调整操作的调整参数作为所述目标操作的操作数据。

可选的，将所述操作数据发送给所述第二电子设备，包括：

确定所述操作数据的操作结果；

如果所述操作结果能够使得所述投屏窗口和/或所述第二电子设备的目标显示数据发生变化，将所述操作数据发送给所述第二电子设备；且/或，

如果所述操作结果无法使得所述投屏窗口和/或所述第二电子设备的目标显示数据发生变化，不向所述第二电子设备发送所述操作数据。

可选的，将所述操作数据发送给所述第二电子设备，包括：

获得所述第二电子设备的显示屏幕的屏幕信息，至少基于所述屏幕信息将所述操作数据处理成与所述第二电子设备的显示屏幕匹配的第一操作数据，将所述第一操作数据发送给所述第二电子设备；或，

获得所述投屏窗口的窗口信息，将所述窗口信息和所述操作数据发送给所述第二电子设备，以使得所述第二电子设备能够基于所述窗口信息得到匹配其显示屏幕的第一操作数据。

可选的，还包括：

在第一电子设备与第二电子设备建立投屏连接的情况下，创建所述第一电子设备与所述第二电子设备之间的至少两传输通道，以通过所述至少两传输通道分别传输所述操作数据和至少需要通过所述投屏窗口输出的待投屏内容。

可选的，所述创建所述第一电子设备与所述第二电子设备之间的至少两传输通道，包括：

在所述第一电子设备与所述第二电子设备通过物理总线建立所述投屏连接的情况下，至少基于人机交互接口和远程网络驱动程序接口规范分别创建所述第一电子设备与所述第二电子设备之间的至少两传输通道；或，

在所述第一电子设备与所述第二电子设备通过物理总线建立所述投屏连接的情况下，至少基于通用驱动程序、人机交互接口、远程网络驱动程序接口规范分别创建所述第一电子设备与所述第二电子设备之间的至少两传输通道；或者，

在所述第一电子设备与所述第二电子设备通过无线网卡建立所述投屏连接的情况下，至少基于远程网络驱动程序接口规范创建所述第一电子设备与所述第二电子设备之间的至少两传输通道。

可选的，所述通过所述至少两传输通道分别传输所述操作数据和所述至少需要通过所述投屏窗口输出的待投屏内容，包括：

控制第二电子设备通过所述至少两传输通道中的第一传输通道传输所述待投屏内容，控制所述第一电子设备通过所述至少两传输通道中的第二传输通道传输所述操作数据，其中，所述第一传输通道至少基于远程网络驱动程序接口规范创建，所述第二传输通道至少基于通用驱动程序或人机交互接口创建；或，

控制第二电子设备通过所述至少两传输通道中的第三传输通道传输所述待投屏内容中的显示内容、通过所述至少两传输通道中的第四传输通道传输所述待投屏内容中的音频内容，控制所述第一电子设备通过所述至少两传输通道中的第二传输通道传输所述操作数据，其中，所述第三传输通道至少基于远程网络驱动程序接口规范创建，所述第四传输通道至少基于通用驱动程序或远程网络驱动程序接口规范或音频驱动程序创建，所述第二传输通道至少基于通用驱动程序或人机交互接口创建。

可选的，控制第二电子设备通过所述第一传输通道传输所述待投屏内容，包括：

控制所述第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，以将所述待投屏内容下发至相应的第一底层硬件，由所述第一底层硬件将所述待投屏内容传输给所述第一电子设备，以在所述投屏窗口输出；且/或，

控制所述第一电子设备通过所述第二传输通道传输所述操作数据，包括：

控制所述第一电子设备调用人机交互接口将所述操作数据下发至相应的第二底层硬件，由所述第二底层硬件将所述操作数据传输给所述第二电子设备，以使得所述第二电子设备执行所述目标操作。

可选的，将执行结果同步至所述投屏窗口，包括：

控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，将所述执行结果下发至响应的第一底层硬件，由所述第一底层硬件将所述执行结果传输给所述第一电子设备，以在所述投屏窗口输出所述执行结果。

第二方面，一种控制装置，所述装置包括：获得单元和发送单元；其中：

所述获得单元，用于如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得所述目标操作的操作数据，所述投屏窗口是第二电子设备投屏至所述第一电子设备产生的界面窗口；

所述发送单元，用于将所述操作数据发送给所述第二电子设备，以使得所述第二电子设备执行所述目标操作，并将执行结果同步至所述投屏窗口。

第三方面，一种第一电子设备，所述设备包括：处理器、存储器和通信总线，其中：

存储器，用于存储可执行指令；

通信总线，用于实现处理器和存储器之间的通信连接；

处理器，用于执行存储器中存储的控制程序，以实现上述任一项所述的控制方法中的步骤。

第四方面，一种存储介质，所述存储介质上存储有控制程序，所述控制程序被处理器执行时实现如上述任一项所述的控制方法的步骤。

本申请实施例提供了一种控制方法及控制装置，如果获得作用域第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据，并将操作发送给第二电子设备。这样，第一电子设备检测到作用于其显示的投屏窗口的目标操作时，获得目标操作的操作数据，并将操作数据发送给第二电子设备，以是的第二电子设备执行目标操作，并将执行结果同步至投屏窗口，解决了目前至少两个计算机设备之间投屏时，作用于电子设备的输入操作，如鼠标操作在另一个计算机设备中表现为出现卡顿、不顺畅的问题，实现了输入操作在另一个计算机设备中能够被及时响应，提高了输入操作的及时性和高效性。

附图说明

图1为本申请实施例提供的一种控制方法的流程示意图；

图2为本申请实施例提供的另一种控制方法的流程示意图；

图3为本申请实施例提供的一种应用场景示意图；

图4为本申请实施例提供的另一种应用场景示意图；

图5为本申请实施例提供的又一种应用场景示意图；

图6为本申请实施例提供的一种控制装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请的实施例提供一种控制方法，参照图1所示，方法应用于第一电子设备，该方法包括以下步骤：

步骤101、如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据。

其中，投屏窗口是第二电子设备投屏至第一电子设备产生的界面窗口。

在本申请实施例中，第一电子设备和第二电子设备为具备显示功能、能与外接输入设备通信连接的设备，例如可以是计算机设备、智能移动终端设备等。第二电子设备将自己的显示界面内容投屏至第一电子设备，并在第一电子设备的显示界面上进行显示，从而得到对应的投屏窗口。目标操作为外接输入设备对投屏窗口进行的能够触发响应的操作，对应的，可以得到目标操作对应的操作数据。外接输入设备可以是鼠标设备、键盘、麦克风等设备。

步骤102、将操作数据发送给第二电子设备。

其中，将操作数据发送给第二电子设备，以使得第二电子设备执行目标操作，并将执行结果同步至投屏窗口。

在本申请实施例中，第一电子设备可以将确定的目标操作的操作数据通过有线或无线的形式发送给第二电子设备，第二电子设备可以基于操作数据执行对应的目标操作，并将目标操作对应的执行结果同步至投屏窗口，即第二电子设备响应操作数据后对应的响应结果，并将响应结果作为执行结果发送至第一电子设备的投屏窗口内，实现第一电子设备和第二电子设备之间同步显示。

本申请实施例提供的一种控制方法，如果获得作用域第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据，并将操作发送给第二电子设备。这样，第一电子设备检测到作用于其显示的投屏窗口的目标操作时，获得目标操作的操作数据，并将操作数据发送给第二电子设备，以是的第二电子设备执行目标操作，并将执行结果同步至投屏窗口，解决了目前至少两个计算机设备之间投屏时，作用于电子设备的输入操作，如鼠标操作在另一个计算机设备中表现为出现卡顿、不顺畅的问题，实现了输入操作在另一个计算机设备中能够被及时响应，提高了输入操作的及时性和高效性。

基于前述实施例，本申请的实施例提供一种控制方法，方法应用于第一电子设备，该方法包括以下步骤：

步骤201、如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据。

其中，投屏窗口是第二电子设备投屏至第一电子设备产生的界面窗口。

在本申请实施例中，第一电子设备与第二电子设备通信连接时，第二电子设备将自身的显示内容投屏显示于第一电子设备的显示屏幕上，在第一电子设备上显示的第二电子设备对应的显示内容所在窗口即为投屏窗口，第一电子设备检测作用于投屏窗口的目标操作后，确定目标操作对应的操作数据。

目标操作为鼠标设备作用于第一电子设备显示的投屏窗口时的操作时，对应的操作数据可以是鼠标光标标识移动后静止的坐标数据，也可以是鼠标光标标识移动过程中的移动位置和移动方向，或者移动速度和移动方向等数据。

步骤202、将操作数据发送给第二电子设备。

其中，将操作数据发送给第二电子设备，以使得第二电子设备执行目标操作，并将执行结果同步至投屏窗口。

示例性的，若鼠标设备控制鼠标光标标识在第一电子设备显示的投屏窗口中移动时，第一电子设备实时获取鼠标设备的鼠标光标标识在投屏窗口中的移动位置参数，并将获取到的移动位置参数发送至第二电子设备，第二电子设备对接收到的移动位置参数进行映射处理，确定移动位置参数在第二电子设备中对应的实际位置，并在实际位置处显示鼠标设备的鼠标光标标识。

基于前述实施例，在本申请其他实施例中，步骤201可以由步骤201a或步骤201b来实现：

步骤201a、检测到作用于投屏窗口内的目标对象的控制操作，确定获得目标操作，将控制操作的控制参数作为目标操作的操作数据。

在本申请实施例中，目标对象为投屏窗口中的显示内容，例如可以是投屏窗口中显示的快捷图标、显示的文档、显示的视屏窗口等。控制操作可以是目标对象进行控制管理的操作，例如可以是目标对象为显示的文档时，控制操作可以是编辑操作、也可以是鼠标对文档进行的打开或关闭的操作，或对文档显示大小的调整操作等，控制操作的控制参数包括控制位置参数和/或控制操作的操作参数，例如输入操作时，控制位置参数至少包括输入位置，操作参数至少包括输入内容等。这样，由于目标操作为控制操作，因此，可以确定对应的目标操作的操作数据为控制操作的控制参数。

步骤201b、检测到调整投屏窗口的显示参数的调整操作，确定获得目标操作，将调整操作的调整参数作为目标操作的操作数据。

在本申请实施例中，调整操作可以是针对投屏窗口的拖拽操作，还可以是指令输入操作，例如可以是文字形式的控制指令，还可以是语音控制指令等，调整操作可以用于改变投屏窗口的所在位置和/或投屏窗口的大小等，调整操作对应的调整参数可以是调整过程中，投屏窗口的移动位置参数和/或投屏窗口的窗口大小参数。将调整操作确定为目标操作，并将调整参数确定时目标操作的操作数据。

基于前述实施例，在本申请其他实施例中，步骤202可以由步骤202a～202b或步骤202a和步骤202c来实现：

步骤202a、确定操作数据的操作结果。

在本申请实施例中，操作数据的操作结果例如可以是输入操作时，最终输入的内容，鼠标设备移动时鼠标设备对应的鼠标光标标识最后停止的位置，调整投屏窗口的窗口大小后，最终的窗口大小，目标对象为一个应用程序的快捷图标，对应的操作为双击目标对象以打开目标对象时，对应的操作结果为打开目标对象，例如目标对象为文档编辑应用程序的快捷图标时，目标操作为双击操作，对应的操作结果为打开文档编辑应用程序。

步骤202b、如果操作结果能够使得投屏窗口和/或第二电子设备的目标显示数据发生变化，将操作数据发送给第二电子设备。

在本申请实施例中，操作结果能够使得投屏窗口发生变化可以是指使投屏窗口的大小和/或投屏窗口的位置等发生变化，操作结果能够使得第二电子设备的目标显示数据发生变化中的目标显示数据可以是第二电子设备以下数据至少之一：第二电子设备的显示内容、第二电子设备的显示内容的显示窗口位置、显示内容的显示窗口大小。第二电子设备显示内容例如可以是显示的文档内容、图像信息、甚至还可以是鼠标设备的鼠标光标标识在显示界面上的显示位置发生变化等。

步骤202c、如果操作结果无法使得投屏窗口和/或第二电子设备的目标显示数据发生变化，不向第二电子设备发送操作数据。

在本申请实施例中，在操作结果不改边投屏窗口的窗口大小和投屏窗口的位置和/或也不改变第二电子设备的目标显示数据时，无需将操作数据发送给第二电子设备。

基于前述实施例，在本申请其他实施例中，步骤202b中“将操作数据发送给第二电子设备”可以由步骤a11或步骤a12来实现：

步骤a11、获得第二电子设备的显示屏幕的屏幕信息，至少基于屏幕信息将操作数据处理成与第二电子设备的显示屏幕匹配的第一操作数据，将第一操作数据发送给第二电子设备。

在本申请实施例中，第二电子设备的显示屏幕的屏幕信息可以是第二电子设备发送给第一电子设备的，第二电子设备的显示屏幕的屏幕信息可以是针对第二电子设备的显示屏幕的配置信息，例如可以是针对显示屏幕的分辨率参数、屏幕亮度参数等。第一电子设备获得第二电子设备的显示屏幕的屏幕信息后，根据屏幕信息和第一电子设备的投屏窗口之间的映射关系，对操作数据进行处理，得到与第二电子设备的显示屏幕匹配的第一操作数据，并将第一操作数据发送给第二电子设备，以使第二电子设备可以直接响应第一操作数据。示例性的，例如操作数据为鼠标光标标识的移动位置数据时，第一电子设备根据第二电子设备的屏幕信息和投屏窗口之间的映射关系以及投屏窗口在第一电子设备的显示屏幕中的位置参数，对鼠标光标标识的移动位置数据进行对应的映射处理，从而可以确定得到鼠标光标标识实际在第二电子设备的显示屏幕上的实际位置数据。

步骤a12、获得投屏窗口的窗口信息，将窗口信息和操作数据发送给第二电子设备，以使得第二电子设备能够基于窗口信息得到匹配其显示屏幕的第一操作数据。

在本申请实施例中，投屏窗口的窗口信息可以是投屏窗口的窗口大小以及投屏窗口在第一电子设备的显示屏幕上的位置参数，第一电子设备将窗口信息和操作数据发送给第二电子设备，第二电子设备基于接收到的第一电子设备发送的投屏窗口的窗口信息和第二电子设备自身的显示屏幕的屏幕信息，对操作数据进行分析处理，得到与第二电子设备匹配的第一操作数据。

基于前述实施例，在本申请其他实施例中，参照图2所示，第一电子设备执行步骤201之前，还用于执行步骤203：

步骤203、在第一电子设备与第二电子设备建立投屏连接的情况下，创建第一电子设备与第二电子设备之间的至少两传输通道。

在本申请实施例中，在第一电子设备与第二电子设备建立投屏连接的过程中，需在第一电子设备与第二电子设备之间创建至少两个不同的传输通道，以保证在投屏过程中，投屏内容的实时性，保证投屏质量。

至少两个传输通道可以是有线传输通道，也可以是无线传输通道，还可以是部分传输通道为有线传输通道，部分传输通道有无线传输通道，具体哪些传输通道为有线传输通道，哪些传输通道为无线传输通道，可以由实际需求来决定，此处不做具体限定。

对应的，步骤202或步骤202b中的步骤“将操作数据发送给第二电子设备”可以通过步骤b11来实现：

步骤b11、通过至少两传输通道分别传输操作数据和至少需要通过投屏窗口输出的待投屏内容。

在本申请实施例中，第一电子设备至少利用创建的至少两个传输通道中的一个传输通道来传输操作数据，至少另一个传输通道来传输待投屏内容，如此，使用两个不同的传输通道分别传输操作数据和待投屏内容，可以保证在待投屏内容的实时性较差时，保证目标操作的操作数据的实时性，这样，在投屏窗口显示时，能够有效保证目标操作的连贯性，进而提高了用户的使用体验效果。

基于前述实施例，在本申请其他实施例中，步骤203中“创建第一电子设备与第二电子设备之间的至少两传输通道”可以由步骤203a、步骤203b或步骤203c来实现：

步骤203a、在第一电子设备与第二电子设备通过物理总线建立投屏连接的情况下，至少基于人机交互接口和远程网络驱动程序接口规范分别创建第一电子设备与第二电子设备之间的至少两传输通道。

在本申请实施例中，若第一电子设备与第二电子设备之间是通过有线通信连接实现投屏连接，此时，第一电子设备与第二电子设备可以通过物理总线的形式来实现投屏连接，物理总线例如可以是通用串行总线(Universal Serial Bus)，此时至少可以确定人机交互接口(Human Interface Device，HID)和远程网络驱动程序接口规范(Remote NetworkDriver Interface Specification，RNDIS)接口来分别创建得到至少两个传输通道。

步骤203b、在第一电子设备与第二电子设备通过物理总线建立投屏连接的情况下，至少基于通用驱动程序、人机交互接口、远程网络驱动程序接口规范分别创建第一电子设备与第二电子设备之间的至少两传输通道。

在本申请实施例中，通用驱动程序例如可以是WinUSB。

步骤203c、在第一电子设备与第二电子设备通过无线网卡建立投屏连接的情况下，至少基于远程网络驱动程序接口规范创建第一电子设备与第二电子设备之间的至少两传输通道。

在本申请实施例中，基于远程网络驱动程序接口规范创建第一电子设备与第二电子设备之间的至少两个传输通道时，是采用无线通信连接的方式来实现第一电子设备和第二电子设备之间投屏连接的，即采用至少两个独立的无线通信连接通道来实现投屏过程中的操作数据的传输。

基于前述实施例，在本申请其他实施例中，步骤b11可以由步骤b111或步骤b112来实现：

步骤b111、控制第二电子设备通过至少两传输通道中的第一传输通道传输待投屏内容，控制第一电子设备通过至少两传输通道中的第二传输通道传输操作数据。

其中，第一传输通道至少基于远程网络驱动程序接口规范创建，第二传输通道至少基于通用驱动程序或人机交互接口创建。

在本申请实施例中，第一电子设备与第二电子设备之间可以通过RNDIS创建的第一传输通道，来实现第二电子设备需要投屏至第一电子设备的待投屏内容的传输过程。待投屏内容可以是第二电子设备采用高频率截屏的形式对第二电子设备的显示界面进行截屏操作得到的截屏内容。其中，第一传输通道可以是有线传输通道，也可以是无线传输通道。

第一电子设备与第二电子设备之间可以通过通用驱动程序或HID接口创建的第二传输通道，来实现第一电子设备确定得到的目标操作的操作数据传输至第二电子设备的传输过程。第二传输通道对应的为有线传输通道。

步骤b112、控制第二电子设备通过至少两传输通道中的第三传输通道传输待投屏内容中的显示内容、通过至少两传输通道中的第四传输通道传输待投屏内容中的音频内容，控制第一电子设备通过至少两传输通道中的第二传输通道传输操作数据。

其中，第三传输通道至少基于远程网络驱动程序接口规范创建，第四传输通道至少基于通用驱动程序或远程网络驱动程序接口规范或音频驱动程序创建，第二传输通道至少基于通用驱动程序或人机交互接口创建。

在本申请实施例中，在待投屏内容除了显示内容外，还包括音频内容时，可以针对显示内容、音频内容、以及操作数据分别创建一个传输通道，保证传输效率，提高传输内容的质量，进而保证了传输内容的实时性，提高了用户的视听使用体验效果。此时，显示内容可以是第二电子设备对当前显示内容进行屏幕截屏操作得到的显示屏幕截屏图像内容。

第二电子设备将待投屏内容中的显示内容发送给第一电子设备时，至少可以通过RNDIS创建的第三传输通道，来实现第二电子设备需要投屏至第一电子设备的显示内容的传输过程，但在一些应用场景下，第三传输通道也可以是通用驱动程序等来创建得到的。第二电子设将待投屏内容中的音频内容发送给第一电子设备时，可以通过通用驱动程序、远程网络驱动程序接口规范、音频驱动程序等创建的有线或无线通道来实现。第一电子设备与第二电子设备之间可以通过通用驱动程序或HID接口创建的第二传输通道，来实现第一电子设备确定得到的目标操作的操作数据传输至第二电子设备的传输过程。

基于前述实施例，在本申请其他实施例中，步骤b111中的“控制第二电子设备通过第一传输通道传输待投屏内容”可以通过步骤c11来实现：

步骤c11、控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，以将待投屏内容下发至相应的第一底层硬件，由第一底层硬件将待投屏内容传输给第一电子设备，以在投屏窗口输出。

在本申请实施例中，在第二电子设备发送待投屏内容至第一电子设备时，第二电子设备通过应用驱动接口(USB Driver Layer)调用RNDIS或WinUSB，发送待投屏内容至第二电子设备的第一底层硬件例如USB端口物理层(USB Physical，USB PHY)，以从第一底层硬件将待投屏内容发送至第一电子设备，实现待投屏内容的输出过程。

基于前述实施例，在本申请其他实施例中，步骤b111和步骤b112中“控制第一电子设备通过第二传输通道传输操作数据”可以由步骤c12来实现：

步骤c12、控制第一电子设备调用人机交互接口将操作数据下发至相应的第二底层硬件，由第二底层硬件将操作数据传输给第二电子设备，以使得第二电子设备执行目标操作。

在本申请实施例中，在第一电子设备与第二电子设备之间通过HID创建的传输通道传输操作数据时，第一电子设备将操作数据发送至HID，HID将操作数据发送至第一电子设备的第二底层硬件，例如第一电子设备的USB PHY处，从而通过第一电子设备的第二底层应将将操作数据传输至第二电子设备，以便第二电子设备执行与操作数据匹配的目标操作。

基于前述实施例，在本申请其他实施例中，步骤202中的步骤“将执行结果同步至投屏窗口”可以由步骤d11来实现：

步骤d11、控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，将执行结果下发至响应的第一底层硬件，由第一底层硬件将执行结果传输给第一电子设备，以在投屏窗口输出执行结果。

在本申请实施例中，执行结果为第二电子设备响应操作数据，得到的响应结果，例如操作数据是鼠标设备对应的用于指示启动某一应用程序的单击操作时，对应的第二电子设备对应的执行结果为显示该应用程序的显示界面内容。第二电子设备执行与操作数据对应的操作后，得到执行结果时，将执行结果发送至通过应用驱动接口调用的RNDIS或WinUSB处，以使RNDIS或WinUSB将执行结果发送至第一底层硬件，并通过第一底层硬件将执行结果传输给第一电子设备，从而使执行结果在第一电子设备中实时显示。

基于前述实施例，本申请实施例提供一种控制方法的应用场景可以参照图3所示，外接输入设备例如鼠标设备31与第一计算机设备32通信连接，第一计算机设备32与第二计算机设备33之间通过用于实现计算机设备与计算机设备通信连接的USB线缆(Cable)34实现主机与主机之间的通信连接，第一计算机设备32投屏至第二计算机设备33，以在第二计算机设备33中显示投屏窗口，对应的两个设备进行投屏显示时的屏幕显示示意图可以参照图4所示。其中，实线35为待投屏内容在第一计算机设备32和第二计算机设备33之间的输出传输路径，实线36为鼠标事件信息(包括第一鼠标事件信息和第二鼠标事件信息)为在第一计算机设备32和第二计算机设备33之间的输出传输路径。其中，待投屏第一计算设备32与前述第二电子设备对应，第二计算机设备33与前述第一电子设备对应。对应的控制方法的实现流程可以参照以下步骤来实现：

步骤e101、第一计算机设备32中的鼠标驱动应用程序对鼠标设备31进行实时侦测，若侦测到鼠标设备31对第一计算机设备32投屏至第二计算机设备33的投屏区域内容的操作时，确定鼠标设备31对应的第一鼠标事件信息。

其中，鼠标设备31对第一计算机设备32投屏至第二计算机设备33的投屏区域内容的操作对应前述目标操作，第一鼠标事件信息对应前述操作数据。

步骤e102、第一计算机设备32通过HID 1发送第一鼠标事件信息至第一计算机设备32的USB PHY 1。

步骤e103、第一计算机设备32的USB PHY 1将第一鼠标事件信息发送至第二计算机设备33的USB PHY 2。

步骤e104、第二计算机设备33的USB PHY 2将接收到的第一鼠标事件信息发送至第二计算机设备33的HID 2。

步骤e105、第二计算机设备33的HID 2将第一鼠标事件信息发送至第二解散及设备的视频捕捉驱动模块2。

步骤e106、第一计算机设备32通过视频捕捉驱动模块1实时捕捉第一计算机设备32的待投屏内容。

步骤e107、第一计算机设备32的视频捕捉驱动模块1将捕捉到的待投屏内容发送至第一计算机设备32的USB Driver Layer 1。

步骤e108、第一计算机设备32的USB Driver Layer 1将待投屏内容发送至第一计算机设备32的RNDIS 1。

步骤e109、第一计算机设备32的RNDIS 1将待投屏内容发送至第一计算机设备32的USB PHY 1。

步骤e110、第一计算机设备32的USB PHY 1将待投屏内容发送至第二计算机设备33的USB PHY 2。

步骤e111、第二计算机设备33的USB PHY 2将待投屏内容发送至第二计算机设备33的RNDIS 2。

步骤e112、第二计算机设备33的RNDIS 2将待投屏内容发送至第二计算机设备的USB Driver Layer 2。

步骤e113、第二计算机设备33的USB Driver Layer 2将待投屏内容发送至第二计算机设备33的视频捕捉驱动模块2。

其中，需说明的是，步骤e101～e105与步骤e106～e113可以是同时执行的。

步骤e114、第二计算机设备33的视屏捕捉驱动模块2将接收到的第一鼠标事件信息在接收到的对应的待投屏内容中复现出来。

这样，将鼠标设备的鼠标事件信息从HID进行实时单独发送，有效解决了鼠标设备由于移动速度很快，用实时截图并传输到另外一台电脑屏幕的进行显示时，传输图片的帧率远远达不到鼠标快速移动的帧率，导致显示的电脑屏幕上看到的效果为鼠标移动不灵敏，存在延时卡顿感、不顺畅的问题，提高了鼠标设备的鼠标事件信息的实时发送，提高了用户的体验效果。

基于前述实施例，本申请实施例提供一种控制方法的应用场景可以参照图5所示，其中，鼠标设备31与第二计算机设备33通信连接，对应的控制方法可以参照如下步骤所示：

步骤f101、第二计算机设备33中的鼠标驱动应用程序对鼠标设备31进行实时侦测，若侦测到鼠标设备31对第一计算机设备32投屏至第二计算机设备33的投屏区域内容的操作时，确定鼠标设备31对应的第二鼠标事件信息。

其中，鼠标设备31对第一计算机设备32投屏至第二计算机设备33的投屏区域内容的操作对应前述目标操作，第二鼠标事件信息对应前述操作数据。第二计算设备33根据第二鼠标事件信息中的鼠标位置参数在投屏区域内对鼠标标识信息进行复现处理，即在第二计算机设备33的投屏区域内显示鼠标箭头。

步骤f102、第二计算机设备33通过HID 2发送第二鼠标事件信息至第二计算机设备33的USB PHY 2。

步骤f103、第二计算机设备33的USB PHY 2将第二鼠标事件信息发送至第一计算机设备32的USB PHY 1。

步骤f104、第一计算机设备32的USB PHY 1将接收到的第二鼠标事件信息发送至第一计算机设备32的HID 1。

步骤f105、第一计算机设备32的HID 1接收到第二鼠标事件信息后，对第二鼠标事件信息进行分析处理，得到与第一计算机设备32匹配的第三鼠标事件信息。

步骤f105、第一计算机设备32执行第三鼠标事件信息，得到对应的执行结果。

步骤f106、第一计算机设备32通过视频捕捉驱动模块1实时捕捉第一计算机设备32的待投屏内容。其中，待投屏内容包括执行结果。

步骤f107、第一计算机设备32的视频捕捉驱动模块1将捕捉到的待投屏内容发送至第一计算机设备32的USB Driver Layer 1。

步骤f108、第一计算机设备32的USB Driver Layer 1将待投屏内容发送至第一计算机设备32的RNDIS 1。

步骤f109、第一计算机设备32的RNDIS 1将待投屏内容发送至第一计算机设备32的USB PHY 1。

步骤f110、第一计算机设备32的USB PHY 1将待投屏内容发送至第二计算机设备33的USB PHY 2。

步骤f111、第二计算机设备33的USB PHY 2将待投屏内容发送至第二计算机设备33的RNDIS 2。

步骤f112、第二计算机设备33的RNDIS 2将待投屏内容发送至第二计算机设备的USB Driver Layer 2。

步骤f113、第二计算机设备33的USB Driver Layer 2将待投屏内容发送至第二计算机设备33的视频捕捉驱动模块2。

步骤f114、第二计算机设备33的视屏捕捉驱动模块2将接收到的待投屏内容进行显示处理。

这样，通过HID将第二计算机设备上对应的鼠标设备在投屏窗口的操作时对应的鼠标事件信息实时发送至第一计算机设备，使第一计算机设备能够实时响应鼠标设备的操作，保证了第一计算机设备的响应界面的生成并快速发送至第二计算机设备进行显示，保证了用户的视觉效果，降低了表现出的延时卡顿的情况，提高了用户的使用体验效果。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

本申请实施例提供的一种控制方法，如果获得作用域第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据，并将操作发送给第二电子设备。这样，第一电子设备检测到作用于其显示的投屏窗口的目标操作时，获得目标操作的操作数据，并将操作数据发送给第二电子设备，以是的第二电子设备执行目标操作，并将执行结果同步至投屏窗口，解决了目前至少两个计算机设备之间投屏时，作用于电子设备的输入操作，如鼠标操作在另一个计算机设备中表现为出现卡顿、不顺畅的问题，实现了输入操作在另一个计算机设备中能够被及时响应，提高了输入操作的及时性和高效性。

基于前述实施例，本申请的实施例提供一种控制装置，该控制装置可以应用于图1～2及前述对应的实施例提供的控制方法中，参照图6所示，该控制装置4可以包括：获得单元41和发送单元42，其中：

获得单元41，用于如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据，投屏窗口是第二电子设备投屏至第一电子设备产生的界面窗口；

发送单元42，用于将操作数据发送给第二电子设备，以使得第二电子设备执行目标操作，并将执行结果同步至投屏窗口。

在本申请其他实施例中，获得单元41还用于：

检测到作用于投屏窗口内的目标对象的控制操作，确定获得目标操作，将控制操作的控制参数作为目标操作的操作数据；或，

检测到调整投屏窗口的显示参数的调整操作，确定获得目标操作，将调整操作的调整参数作为目标操作的操作数据。

在本申请其他实施例中，发送单元42还用于：

确定操作数据的操作结果；

如果操作结果能够使得投屏窗口和/或第二电子设备的目标显示数据发生变化，将操作数据发送给第二电子设备；且/或，

如果操作结果无法使得投屏窗口和/或第二电子设备的目标显示数据发生变化，不向第二电子设备发送操作数据。

在本申请其他实施例中，发送单元42还用于：

获得第二电子设备的显示屏幕的屏幕信息，至少基于屏幕信息将操作数据处理成与第二电子设备的显示屏幕匹配的第一操作数据，将第一操作数据发送给第二电子设备；或，

获得投屏窗口的窗口信息，将窗口信息和操作数据发送给第二电子设备，以使得第二电子设备能够基于窗口信息得到匹配其显示屏幕的第一操作数据。

在本申请实施例中，控制装置还包括创建单元；其中：

创建单元，用于在第一电子设备与第二电子设备建立投屏连接的情况下，创建第一电子设备与第二电子设备之间的至少两传输通道，以通过至少两传输通道分别传输操作数据和至少需要通过投屏窗口输出的待投屏内容。

在本申请其他实施例中，创建单元还用于：

在第一电子设备与第二电子设备通过物理总线建立投屏连接的情况下，至少基于人机交互接口和远程网络驱动程序接口规范分别创建第一电子设备与第二电子设备之间的至少两传输通道；或，

在第一电子设备与第二电子设备通过物理总线建立投屏连接的情况下，至少基于通用驱动程序、人机交互接口、远程网络驱动程序接口规范分别创建第一电子设备与第二电子设备之间的至少两传输通道；或者，

在第一电子设备与第二电子设备通过无线网卡建立投屏连接的情况下，至少基于远程网络驱动程序接口规范创建第一电子设备与第二电子设备之间的至少两传输通道。

在本申请其他实施例中，发送单元42还用于：

控制第二电子设备通过至少两传输通道中的第一传输通道传输待投屏内容，控制第一电子设备通过至少两传输通道中的第二传输通道传输操作数据，其中，第一传输通道至少基于远程网络驱动程序接口规范创建，第二传输通道至少基于通用驱动程序或人机交互接口创建；或，

控制第二电子设备通过至少两传输通道中的第三传输通道传输待投屏内容中的显示内容、通过至少两传输通道中的第四传输通道传输待投屏内容中的音频内容，控制第一电子设备通过至少两传输通道中的第二传输通道传输操作数据，其中，第三传输通道至少基于远程网络驱动程序接口规范创建，第四传输通道至少基于通用驱动程序或远程网络驱动程序接口规范或音频驱动程序创建，第二传输通道至少基于通用驱动程序或人机交互接口创建。

在本申请其他实施例中，发送单元42还用于：

控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，以将待投屏内容下发至相应的第一底层硬件，由第一底层硬件将待投屏内容传输给第一电子设备，以在投屏窗口输出；且/或，

控制第一电子设备通过第二传输通道传输操作数据，包括：

控制第一电子设备调用人机交互接口将操作数据下发至相应的第二底层硬件，由第二底层硬件将操作数据传输给第二电子设备，以使得第二电子设备执行目标操作。

在本申请其他实施例中，发送单元42还用于：

控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，将执行结果下发至响应的第一底层硬件，由第一底层硬件将执行结果传输给第一电子设备，以在投屏窗口输出执行结果。

需要说明的是，本实施例中单元和模块所执行的步骤的具体实现过程，可以参照图1～2及前述对应的实施例提供的控制方法中的实现过程，此处不再赘述。

本申请实施例提供的一种控制装置，如果获得作用域第一电子设备显示的投屏窗口的目标操作，获得目标操作的操作数据，并将操作发送给第二电子设备。这样，第一电子设备检测到作用于其显示的投屏窗口的目标操作时，获得目标操作的操作数据，并将操作数据发送给第二电子设备，以是的第二电子设备执行目标操作，并将执行结果同步至投屏窗口，解决了目前至少两个计算机设备之间投屏时，作用于电子设备的输入操作，如鼠标操作在另一个计算机设备中表现为出现卡顿、不顺畅的问题，实现了输入操作在另一个计算机设备中能够被及时响应，提高了输入操作的及时性和高效性。

基于前述实施例，本申请的实施例提供一种第一电子设备，该第一电子设备可以应用于图1～2及前述对应的实施例提供的控制方法中，参照图7所示，该第一电子设备5可以包括：处理器51、存储器52和通信总线53，其中：

存储器52，用于存储可执行指令；

通信总线53，用于实现处理器51和存储器52之间的通信连接；

处理器51，用于执行存储器52中存储的控制程序，以实现如图1～2及前述对应的实施例提供的控制方法中的实现过程，此处不再赘述。

基于前述实施例，本申请的实施例提供一种计算机可读存储介质，简称为存储介质，该计算机可读存储介质存储有一个或者多个程序，以实现如图1～2及前述对应的实施例提供的控制方法中的实现过程，此处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种控制方法，包括：

如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得所述目标操作的操作数据，所述投屏窗口是第二电子设备投屏至所述第一电子设备产生的界面窗口；

将所述操作数据发送给所述第二电子设备，以使得所述第二电子设备执行所述目标操作，并将执行结果同步至所述投屏窗口。

2.根据权利要求1所述的方法，所述获得所述目标操作的操作数据，包括：

检测到作用于所述投屏窗口内的目标对象的控制操作，确定获得目标操作，将所述控制操作的控制参数作为所述目标操作的操作数据；或，

检测到调整所述投屏窗口的显示参数的调整操作，确定获得目标操作，将所述调整操作的调整参数作为所述目标操作的操作数据。

3.根据权利要求1或2所述的方法，其中，将所述操作数据发送给所述第二电子设备，包括：

确定所述操作数据的操作结果；

如果所述操作结果能够使得所述投屏窗口和/或所述第二电子设备的目标显示数据发生变化，将所述操作数据发送给所述第二电子设备；且/或，

如果所述操作结果无法使得所述投屏窗口和/或所述第二电子设备的目标显示数据发生变化，不向所述第二电子设备发送所述操作数据。

4.根据权利要求3所述的方法，其中，将所述操作数据发送给所述第二电子设备，包括：

获得所述第二电子设备的显示屏幕的屏幕信息，至少基于所述屏幕信息将所述操作数据处理成与所述第二电子设备的显示屏幕匹配的第一操作数据，将所述第一操作数据发送给所述第二电子设备；或，

获得所述投屏窗口的窗口信息，将所述窗口信息和所述操作数据发送给所述第二电子设备，以使得所述第二电子设备能够基于所述窗口信息得到匹配其显示屏幕的第一操作数据。

5.根据权利要求1、2或4所述的方法，还包括：

在第一电子设备与第二电子设备建立投屏连接的情况下，创建所述第一电子设备与所述第二电子设备之间的至少两传输通道，以通过所述至少两传输通道分别传输所述操作数据和至少需要通过所述投屏窗口输出的待投屏内容。

6.根据权利要求5所述的方法，所述创建所述第一电子设备与所述第二电子设备之间的至少两传输通道，包括：

在所述第一电子设备与所述第二电子设备通过物理总线建立所述投屏连接的情况下，至少基于人机交互接口和远程网络驱动程序接口规范分别创建所述第一电子设备与所述第二电子设备之间的至少两传输通道；或，

在所述第一电子设备与所述第二电子设备通过物理总线建立所述投屏连接的情况下，至少基于通用驱动程序、人机交互接口、远程网络驱动程序接口规范分别创建所述第一电子设备与所述第二电子设备之间的至少两传输通道；或者，

在所述第一电子设备与所述第二电子设备通过无线网卡建立所述投屏连接的情况下，至少基于远程网络驱动程序接口规范创建所述第一电子设备与所述第二电子设备之间的至少两传输通道。

7.根据权利要求5所述的方法，所述通过所述至少两传输通道分别传输所述操作数据和所述至少需要通过所述投屏窗口输出的待投屏内容，包括：

控制第二电子设备通过所述至少两传输通道中的第一传输通道传输所述待投屏内容，控制所述第一电子设备通过所述至少两传输通道中的第二传输通道传输所述操作数据，其中，所述第一传输通道至少基于远程网络驱动程序接口规范创建，所述第二传输通道至少基于通用驱动程序或人机交互接口创建；或，

控制第二电子设备通过所述至少两传输通道中的第三传输通道传输所述待投屏内容中的显示内容、通过所述至少两传输通道中的第四传输通道传输所述待投屏内容中的音频内容，控制所述第一电子设备通过所述至少两传输通道中的第二传输通道传输所述操作数据，其中，所述第三传输通道至少基于远程网络驱动程序接口规范创建，所述第四传输通道至少基于通用驱动程序或远程网络驱动程序接口规范或音频驱动程序创建，所述第二传输通道至少基于通用驱动程序或人机交互接口创建。

8.根据权利要求7所述的方法，其中，控制第二电子设备通过所述第一传输通道传输所述待投屏内容，包括：

控制所述第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，以将所述待投屏内容下发至相应的第一底层硬件，由所述第一底层硬件将所述待投屏内容传输给所述第一电子设备，以在所述投屏窗口输出；且/或，

控制所述第一电子设备通过所述第二传输通道传输所述操作数据，包括：

控制所述第一电子设备调用人机交互接口将所述操作数据下发至相应的第二底层硬件，由所述第二底层硬件将所述操作数据传输给所述第二电子设备，以使得所述第二电子设备执行所述目标操作。

9.根据权利要求5至7任一项所述的方法，其中，将执行结果同步至所述投屏窗口，包括：

控制第二电子设备通过其应用驱动接口调用远程网络驱动程序接口规范或通用驱动程序，将所述执行结果下发至响应的第一底层硬件，由所述第一底层硬件将所述执行结果传输给所述第一电子设备，以在所述投屏窗口输出所述执行结果。

10.一种控制装置，所述装置包括：获得单元和发送单元；其中：

所述获得单元，用于如果获得作用于第一电子设备显示的投屏窗口的目标操作，获得所述目标操作的操作数据，所述投屏窗口是第二电子设备投屏至所述第一电子设备产生的界面窗口；

所述发送单元，用于将所述操作数据发送给所述第二电子设备，以使得所述第二电子设备执行所述目标操作，并将执行结果同步至所述投屏窗口。

Images