CN107229453A - 终端控制方法及装置 - Google Patents

Abstract

本发明实施例提供了一种终端控制方法及装置。当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，获取该操控动作在该屏幕截图所在的区域中的动作位置；获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；向服务器发送该操控动作、该相对位置和第二终端的终端标识。服务器接收该操控动作、该相对位置和第二终端的终端标识；根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。第二终端接收该操控动作和该相对位置；根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

Description

终端控制方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种终端控制方法及装置。

背景技术

随着通信技术的发展，例如手机、平板电脑智能手表等终端得到了广泛的使用。人们不仅可以利用这些终端与他人进行通话，还可以利用这些终端访问移动网络，获取数据信息。

当前，对用户需要对终端进行控制时，用户只能通过人为直接触控终端上的虚拟键或者直接按压终端上的实体键来控制终端，而无法对终端进行远程控制，因此，如何对终端进行远程控制是一个亟待解决的技术问题。

发明内容

为克服相关技术中存在的问题，本发明提供一种终端控制方法及装置。

根据本发明实施例的第一方面，提供一种终端控制方法，应用于第一终端，所述方法包括：

当所述第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在所述屏幕截图所在的区域中执行的操控动作；

当接收到所述操控动作时，获取所述操控动作在所述屏幕截图所在的区域中的动作位置；

获取所述动作位置映射在所述第二终端的屏幕所在的区域中的相对位置；

向服务器发送所述操控动作、所述相对位置和第二终端的终端标识；以使所述服务器根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述方法还包括：

接收服务器发送屏幕截图；所述屏幕截图是所述服务器对接收的所述第二终端发送的屏幕截图的图像编码进行解码得到的；所述屏幕截图的图像编码为将当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后对所述第二终端的屏幕的进行截图得到的图像进行编码得到的；

从所述第一终端的屏幕上删除正在显示的所述第二终端的屏幕截图；

将所述服务器发送的屏幕截图显示在所述第一终端的屏幕上。

根据本发明实施例的第二方面，提供一种终端控制方法，应用于服务器，所述方法包括：

接收第一终端发送的操控动作、相对位置和第二终端的终端标识；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述方法还包括：

根据所述第二终端的终端标识将所述第一终端的终端标识发送给所述第二终端。

进一步地，所述方法还包括：

接收所述第二终端发送的屏幕截图的图像编码和所述第一终端的终端标识；所述屏幕截图为当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后，对所述第二终端的屏幕的进行截图得到的；所述屏幕截图的图像编码为对所述屏幕截图进行编码得到的；

对所述屏幕截图的图像编码进行解码得到所述屏幕截图；

根据所述第一终端的终端标识向第一终端发送所述屏幕截图。

根据本发明实施例的第三方面，提供一种终端控制方法，应用于第二终端，所述方法包括：

接收服务器发送的操控动作和相对位置；所述操控动作和所述相对位置是第一终端发送给所述服务器的；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

根据所述操控动作和所述相对位置对所述第二终端进行控制。

进一步地，所述方法还包括：

接收服务器发送的所述第一终端的终端标识。

进一步地，所述方法还包括：

当根据所述操控动作和所述相对位置对所述第二终端进行控制之后，如果所述第二终端的屏幕上显示的内容发生变化，则对所述第二终端的屏幕的进行截图得到所述第二终端的屏幕截图；

对所述屏幕截图进行编码得到所述屏幕截图的图像编码；

向所述服务器发送所述屏幕截图的图像编码和所述第一终端的终端标识。

根据本发明实施例的第四方面，提供一种终端控制装置，应用于第一终端，所述装置包括：

检测模块，用于当所述第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在所述屏幕截图所在的区域中执行的操控动作；

第一获取模块，用于当接收到所述操控动作时，获取所述操控动作在所述屏幕截图所在的区域中的动作位置；

第二获取模块，用于获取所述动作位置映射在所述第二终端的屏幕所在的区域中的相对位置；

第一发送模块，用于向服务器发送所述操控动作、所述相对位置和第二终端的终端标识；以使所述服务器根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述装置还包括：

第一接收模块，用于接收服务器发送屏幕截图；所述屏幕截图是所述服务器对接收的所述第二终端发送的屏幕截图的图像编码进行解码得到的；所述屏幕截图的图像编码为将当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后对所述第二终端的屏幕的进行截图得到的图像进行编码得到的；

删除模块，用于从所述第一终端的屏幕上删除正在显示的所述第二终端的屏幕截图；

显示模块，用于将所述服务器发送的屏幕截图显示在所述第一终端的屏幕上。

根据本发明实施例的第五方面，提供一种终端控制装置，应用于服务器，所述装置包括：

第二接收模块，用于接收第一终端发送的操控动作、相对位置和第二终端的终端标识；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

第二发送模块，用于根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述装置还包括：

第三发送模块，用于根据所述第二终端的终端标识将所述第一终端的终端标识发送给所述第二终端。

进一步地，所述装置还包括：

第三接收模块，用于接收所述第二终端发送的屏幕截图的图像编码和所述第一终端的终端标识；所述屏幕截图为当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后，对所述第二终端的屏幕的进行截图得到的；所述屏幕截图的图像编码为对所述屏幕截图进行编码得到的；

解码模块，用于对所述屏幕截图的图像编码进行解码得到所述屏幕截图；

第四发送模块，用于根据所述第一终端的终端标识向第一终端发送所述屏幕截图。

根据本发明实施例的第六方面，提供一种终端控制装置，应用于第二终端，所述装置包括：

第四接收模块，用于接收服务器发送的操控动作和相对位置；所述操控动作和所述相对位置是第一终端发送给所述服务器的；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

控制模块，用于根据所述操控动作和所述相对位置对所述第二终端进行控制。

进一步地，所述装置还包括：

第五接收模块，用于接收服务器发送的所述第一终端的终端标识。

进一步地，所述装置还包括：

截图模块，用于当根据所述操控动作和所述相对位置对所述第二终端进行控制之后，如果所述第二终端的屏幕上显示的内容发生变化，则对所述第二终端的屏幕的进行截图得到所述第二终端的屏幕截图；

编码模块，用于对所述屏幕截图进行编码得到所述屏幕截图的图像编码；

第五发送模块，用于向所述服务器发送所述屏幕截图的图像编码和所述第一终端的终端标识。

本发明的实施例提供的技术方案可以包括以下有益效果：

在本发明中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识；服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识；服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端；第二终端接收服务器发送的该操控动作和该相对位置；第二终端根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种场景示意图；

图2是根据一示例性实施例示出的一种终端控制方法的流程图；

图3是根据一示例性实施例示出的一种终端控制方法的流程图；

图4是根据一示例性实施例示出的一种终端控制方法的流程图；

图5是根据一示例性实施例示出的一种终端控制方法的流程图；

图6是根据一示例性实施例示出的一种终端控制方法的流程图；

图7是根据一示例性实施例示出的一种终端控制装置的框图；

图8是根据一示例性实施例示出的一种终端控制装置的框图；

图9是根据一示例性实施例示出的一种终端控制装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种场景示意图，参见图1，图中包括第一终端1、服务器2和第二终端3，其中，第一终端1和第二终端3可以为常见的终端，例如：手机、平板电脑、笔记本电脑或台式电脑等等，第一终端1和服务器2之间可以通过无线网络或有线网络进行通信，第一终端1与服务器2之间可以利用HTML5(HyperText MarkupLanguage，超文本标记语言)的websocket协议进行通信，实现了第一终端1与服务器2之间的全双工通信。服务器2与第二终端3可以通过无线网络或有线网络进行通信。在图1中，以第一终端1为台式电脑且第二终端3为手机进行举例说明，但不作为对本发明保护范围的限制。在本发明人实施例中，第一终端1所有者和第二终端3的所有者可以为同一用户。

图2是根据一示例性实施例示出的一种终端控制方法的流程图，如图2所示，该方法应用于第一终端，该方法包括以下步骤。

在步骤S101中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在该屏幕截图所在的区域中执行的操控动作；

当接收到该操控动作时，在步骤S102中，获取该操控动作在该屏幕截图所在的区域中的动作位置；

在步骤S103中，获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；

在步骤S104中，向服务器发送该操控动作、该相对位置和第二终端的终端标识。

以使服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端；并使第二终端根据该操控动作和该相对位置对第二终端进行控制。

在本发明图2所示的实施例中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识。以使服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识，并根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。以及使第二终端接收服务器发送的该操控动作和该相对位置，并根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

图3是根据一示例性实施例示出的一种终端控制方法的流程图，如图3所示，该方法应用于服务器，该方法包括以下步骤。

在步骤S201中，接收第一终端发送的操控动作、相对位置和第二终端的终端标识；

在步骤S202中，根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。

以使第二终端根据该操控动作和该相对位置对第二终端进行控制。

在本发明图3所示的实施例支持当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识。并当服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识时，服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。以使第二终端接收服务器发送的该操控动作和该相对位置，并根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

图4是根据一示例性实施例示出的一种终端控制方法的流程图，如图4所示，该方法应用于第二终端，该方法包括以下步骤。

在步骤S301中，接收服务器发送的操控动作和相对位置；

在步骤S302中，根据该操控动作和该相对位置对第二终端进行控制。

在本发明图4所示的实施例支持当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作，当接收到该操控动作时，获取该操控动作在该屏幕截图所在的区域中的动作位置，获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置，向服务器发送该操控动作、该相对位置和第二终端的终端标识。并支持服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识，根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。并当第二终端接收服务器发送的该操控动作和该相对位置时，第二终端根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

图5是根据一示例性实施例示出的一种终端控制方法的流程图，如图5所示，该方法包括以下步骤。

在步骤S401中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；

在本发明实施例中，当用户需要通过第一终端对第二终端进行远程控制时，用户可以控制第一终端向服务器发送远程控制请求，该远程控制请求至少携带源地址和目的地址，其中，源地址为第一终端的终端标识，目的地址为第二终端的终端标识。

服务器接收第一终端发送的该远程控制请求，从该远程控制请求中提取出目的地址，也即提取出第二终端的终端标识，根据第二终端的终端标识将该远程控制请求发送给第二终端。

第二终端接收服务器发送的该远程控制请求，从该远程控制请求中提取出源地址，也即提取出第一终端的终端标识，然后第二终端点亮第二终端的屏幕，再对第二终端的屏幕进行截图得到第二终端的屏幕截图；将该屏幕截图进行编码得到该屏幕截图的图像编码，然后向服务器发送该图像编码和第一终端的终端标识。

服务器接收第二终端发送的该屏幕截图的图像编码和第一终端的终端标识；对第二终端发送的该屏幕截图的图像编码进行解码得到该屏幕截图；然后根据第一终端的终端标识将该屏幕截图发送给第一终端。

第一终端接收服务器发送的该屏幕截图，在第一终端上打开该屏幕截图，以实现将该屏幕截图显示在第一终端的屏幕上。

此时用户在第一终端的屏幕上就可以看到第二终端的当前屏幕的屏幕截图，也即可以看到第二终端的屏幕上当前显示的内容。

之后用户就可以在第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图所在的区域中执行操控动作。其中，该操控动作为：用户直接在第二终端的屏幕上执行的能够对第二终端进行控制的操控动作。也即，用户直接在第二终端的屏幕上执行该操控动作就能够对第二终端进行控制。

例如，假设第二终端的当前屏幕上显示了多个应用程序的图标，当用户需要第二终端打开该多个应用程序中的某一应用程序时，用户需要在第二终端的屏幕上点击一下该应用程序的图标，这样第二终端就会打开该应用程序。

当第二终端的当前屏幕上显示了多个应用程序的图标时，第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图中也包括多个应用程序的图标，当用户需要通过第一终端控制第二终端打开某一应用程序时，用户需要在第一终端显示的第二终端的当前屏幕的屏幕截图中的该应用程序所在的区域中执行一个点击的动作。这样，第一终端就会接收到在该屏幕截图所在的区域中执行的操控动作。

当接收到该操控动作时，在步骤S402中，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；

例如，接上述步骤的例子，当第一终端接收到用户在第一终端显示的第二终端的当前屏幕的屏幕截图中的该应用程序所在的区域中执行的点击的动作时，就会获取执行的该点击的动作在该屏幕截图所在的区域中的位置。

在步骤S403中，第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；

其中，由于第二终端的屏幕尺寸与第一终端的屏幕尺寸可能不一致，因此，第一终端在屏幕上显示第二终端的当前屏幕的屏幕截图时，如果第一终端的屏幕尺寸大于第二终端的屏幕尺寸，第一终端可以将第二终端的当前屏幕的屏幕截图以原始尺寸显示在第一终端的屏幕上。这样，在本发明实施例中，第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为：第二终端对第二终端的屏幕进行截图后得到的屏幕截图的原始图像。

或者，为了使用户能够更加清楚地看到第二终端的当前屏幕的屏幕截图中的内容，第一终端也可以将第二终端的当前屏幕的屏幕截图的尺寸按某一比例进行放大后再显示在第一终端的屏幕上。这样，在本发明实施例中，第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为：将第二终端对第二终端的屏幕进行截图后得到的屏幕截图的原始图像按该比例将尺寸放大后的图像。

或者，如果第一终端的屏幕尺寸小于第二终端的屏幕尺寸，此时就无法将第二终端的当前屏幕的屏幕截图以原始尺寸显示在第一终端的屏幕上，第一终端就需要将第二终端的当前屏幕的屏幕截图的尺寸按某一比例进行缩小后再显示在第一终端的屏幕上。这样，在本发明实施例中，第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为：将第二终端对第二终端的屏幕进行截图后得到的屏幕截图的原始图像按该比例将尺寸缩小后的图像。

在本发明实施例中，当第一终端接收到服务器发送的第二终端对的第二终端的屏幕进行截图得到的屏幕截图之后，就会生成该屏幕截图的第一坐标系，例如，在显示的该截图截图的四条边中，选择出两个相邻的边，分别作为X轴和Y轴，这两条边相交的点作为坐标原点，在该屏幕截图中的每一个像素点都具有一个坐标值。

当第一终端在第一终端的屏幕上显示了第二终端的当前屏幕的屏幕截图之后，就会生成的显示的该屏幕截图的第二坐标系，且第一坐标系的坐标原点、X轴方向、X轴的单位长度Y轴方向、Y轴方向和Y轴的单位长度分别与第二坐标系的坐标原点、X轴方向、X轴的单位长度Y轴方向、Y轴方向和Y轴的单位长度相同。

当第一终端接收到第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图所在的区域中执行的操控动作时，就会获取该操控动作在显示的该屏幕截图中的像素点的坐标值。

如果此时第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为第二终端对第二终端屏幕进行截图后的原始图像，则将该像素点的坐标值作为该动作位置在第二终端的屏幕所在的区域中的相对位置。

如果此时第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为将第二终端对第二终端的屏幕进行截图后的原始图像尺寸按一个比例进行缩小后的图像。则将该像素点的坐标值按照该比例进行放大，将放大后的坐标值作为该动作位置在第二终端的屏幕所在的区域中的相对位置。

如果此时第一终端的屏幕上显示的第二终端的当前屏幕的屏幕截图为将第二终端对第二终端的屏幕进行截图后的原始图像的尺寸按一个比例进行放大后的图像。则将该像素点的坐标值按照该比例进行缩小，将缩小后的坐标值作为该动作位置在第二终端的屏幕所在的区域中的相对位置。

在步骤S404中，第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识；

其中，参见步骤S401中的内容，当第一终端的屏幕上第一次显示第二终端的当前屏幕的屏幕截图时，第一终端已经获取到了第二终端的终端标识。由于用户是在第一终端显示的第二终端的当前屏幕的屏幕截图上执行的操控动作。因此，第一终端需要获取第二终端的终端标识。然后第一终端根据该操控动作和该相对位置和第二终端的终端标识生成操控请求，并向服务器发送该操控请求。

其中，第一终端可以通过websocket协议向服务器发送该操控动作、该相对位置和第二终端的终端标识。

在步骤S405中，服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识；

其中，服务器可以通过websocket协议接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识。

其中，服务器接收第一终端发送的该操控请求。

在步骤S406中，服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端；

其中，服务器从该操控请求中提取出第二终端的终端标识，然后根据第二终端的终端标识将该操控请求发送给第二终端。

在步骤S407中，第二终端接收服务器发送的该操控动作和该相对位置；

其中，第二终端接收服务器发送的该操控请求，从该操控请求中提取出该操控动作和该相对位置。

在步骤S408中，第二终端根据该操控动作和该相对位置对第二终端进行控制。

其中，第一终端获取本地存储的操控动作与处理方式之间的对应关系；在该对应关系中查找与该操控动作相对应的处理方式。处理方式可以为处理函数等。

在本发明实施例中，不同的操控动作对应的处理方式不同。例如，单击第二终端的屏幕上显示的某一可操控对象的动作对应的处理方式为：第二终端启动该可操控对象。双击第二终端的屏幕上显示的某一可操控对象的动作对应的处理方式为：第二终端删除该可操控对象等等。可操控对象可以为虚拟按钮或应用程序的图标等等，当得到与该操控动作相对应的处理方式之后，第二终端可以在第二终端的屏幕所在的区域中获取位于该相对作位置处的可操控对象，并利用该处理方式对该可操控对象进行处理，以实现根据该操控动作和该相对位置对第二终端进行控制。

在本发明图5所示的实施例中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识；服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识；服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端；第二终端接收服务器发送的该操控动作和该相对位置；第二终端根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

进一步地，当第二终端根据该操控动作和该相对位置对第二终端进行控制之后，在本发明另一实施例中，为了使得用户获知第二终端根据该操控动作和该相对位置对第二终端进行控制完毕，并告知用户第二终端根据该操控动作和该相对位置对第二终端进行控制之后第二终端的屏幕上显示的内容。

当服务器在执行步骤S406“服务器根据第二终端的终端标识将该操控动作和该相对位置和发送至第二终端”的同时或之后还向第二终端发送第一终端的终端标识。以及第二终端在执行步骤S407“第二终端接收服务器发送该操控动作和该相对位置”的同时或之后就会接收到服务器发送的第一终端的终端标识。

进一步地，参见图6，该方法还包括：

在步骤S501中，当第二终端根据该操控动作和该相对位置对第二终端进行控制之后，如果第二终端的屏幕上显示的内容发生变化，则第二终端对第二终端的屏幕的进行截图得到第二终端的屏幕截图；

在步骤S502中，第二终端对该屏幕截图进行编码得到该屏幕截图的图像编码；

需要说明的是，对屏幕截图进行编码的编码方式有很多种，本发明实施例不对编码方式进行限定。

在步骤S503中，第二终端向服务器发送该屏幕截图的图像编码和第一终端的终端标识；

在步骤S504中，服务器接收第二终端发送的该屏幕截图的图像编码和第一终端的终端标识；

在步骤S505中，服务器对该屏幕截图的图像编码进行解码得到该屏幕截图；

其中，该屏幕截图可以为bmp格式的图像或者jpg格式的图像等等。

其中，服务器对该屏幕截图的图像编码进行解码的解码方式为步骤S502中的使用的编码方式对应的解码方式。

在步骤S506中，服务器根据第一终端的终端标识向第一终端发送该屏幕截图；

其中，服务器可以通过websocket协议向第一终端发送该屏幕截图。

在步骤S507中，第一终端接收服务器发送该屏幕截图；

其中，第一终端可以通过websocket协议接收服务器发送该屏幕截图。

在步骤S508中，第一终端从第一终端的屏幕上删除正在显示的第二终端的屏幕截图；

在步骤S509中，第一终端将服务器发送的该屏幕截图显示在第一终端的屏幕上。

其中，当第一终端将服务器发送的该屏幕截图显示在第一终端的屏幕上之后，用户在第一终端的屏幕上显示的服务器发送的该屏幕截图上就可以看到在第二终端根据该操控动作和该相对位置对第二终端进行控制之后的第二终端的屏幕上显示的内容，用户根据该显示的内容就可以确定出第二终端是否根据该操控动作和该相对位置对第二终端控制完毕。

进一步地，如果之后用户需要继续通过第一终端对第二终端进行远程控制，用户可以在第一终端在步骤S509中显示的该屏幕截图所在的区域中执行操控动作，之后第一终端、服务器和第二终端就会根据执行的该操控动作和该操控动作在该屏幕截图所在的区域中的动作位置通过上述实施例的流程来对第二终端进行控制。

在本发明实施例中，第一终端与服务器之间采用双通道通信，数据传输和指令传输采用不同的通道，从而提高数据效率，提高传输的稳定性。例如，在步骤S404中的“第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识”和步骤S406中“服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端”均是通过指令通道发送的。例如，在步骤S503中的“第二终端向服务器发送该屏幕截图的图像编码和第一终端的终端标识”和步骤S506中的“服务器根据第一终端的终端标识向第一终端发送该屏幕截图”均是通过数据通道发送的。

在本发明实施例中，服务器本地中有多个不同的工作线程，通过每一个工作线程都可以支持一个第二终端对一个第一终端进行远程控制。通过多个不同的工作线程可以同时支持多个不同的第一终端分别对不同的第二终端进行远程控制。

图7是根据一示例性实施例示出的一种终端控制装置的框图，应用于第一终端，参照图7，该装置包括：

检测模块11，用于当所述第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在所述屏幕截图所在的区域中执行的操控动作；

第一获取模块12，用于当接收到所述操控动作时，获取所述操控动作在所述屏幕截图所在的区域中的动作位置；

第二获取模块13，用于获取所述动作位置映射在所述第二终端的屏幕所在的区域中的相对位置；

第一发送模块14，用于向服务器发送所述操控动作、所述相对位置和第二终端的终端标识；以使所述服务器根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述装置还包括：

第一接收模块，用于接收服务器发送屏幕截图；所述屏幕截图是所述服务器对接收的所述第二终端发送的屏幕截图的图像编码进行解码得到的；所述屏幕截图的图像编码为将当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后对所述第二终端的屏幕的进行截图得到的图像进行编码得到的；

删除模块，用于从所述第一终端的屏幕上删除正在显示的所述第二终端的屏幕截图；

显示模块，用于将所述服务器发送的屏幕截图显示在所述第一终端的屏幕上。

在本发明图7所示的实施例中，当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识。以使服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识，并根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。以及使第二终端接收服务器发送的该操控动作和该相对位置，并根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

图8是根据一示例性实施例示出的一种终端控制装置的框图，应用于服务器，参照图8，该装置包括：

第二接收模块21，用于接收第一终端发送的操控动作、相对位置和第二终端的终端标识；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

第二发送模块22，用于根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

进一步地，所述装置还包括：

第三发送模块，用于根据所述第二终端的终端标识将所述第一终端的终端标识发送给所述第二终端。

进一步地，所述装置还包括：

第三接收模块，用于接收所述第二终端发送的屏幕截图的图像编码和所述第一终端的终端标识；所述屏幕截图为当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后，对所述第二终端的屏幕的进行截图得到的；所述屏幕截图的图像编码为对所述屏幕截图进行编码得到的；

解码模块，用于对所述屏幕截图的图像编码进行解码得到所述屏幕截图；

第四发送模块，用于根据所述第一终端的终端标识向第一终端发送所述屏幕截图。

在本发明图8所示的实施例支持当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作；当接收到该操控动作时，第一终端获取该操控动作在该屏幕截图所在的区域中的动作位置；第一终端获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置；第一终端向服务器发送该操控动作、该相对位置和第二终端的终端标识。并当服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识时，服务器根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。以使第二终端接收服务器发送的该操控动作和该相对位置，并根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

图9是根据一示例性实施例示出的一种终端控制装置的框图，应用于第二终端，参照图9，该装置包括：

第四接收模块31，用于接收服务器发送的操控动作和相对位置；所述操控动作和所述相对位置是第一终端发送给所述服务器的；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

控制模块32，用于根据所述操控动作和所述相对位置对所述第二终端进行控制。

进一步地，所述装置还包括：

第五接收模块，用于接收服务器发送的所述第一终端的终端标识。

进一步地，所述装置还包括：

截图模块，用于当根据所述操控动作和所述相对位置对所述第二终端进行控制之后，如果所述第二终端的屏幕上显示的内容发生变化，则对所述第二终端的屏幕的进行截图得到所述第二终端的屏幕截图；

编码模块，用于对所述屏幕截图进行编码得到所述屏幕截图的图像编码；

第五发送模块，用于向所述服务器发送所述屏幕截图的图像编码和所述第一终端的终端标识。

在本发明图9所示的实施例支持当第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，第一终端检测是否接收到在该屏幕截图所在的区域中执行的操控动作，当接收到该操控动作时，获取该操控动作在该屏幕截图所在的区域中的动作位置，获取该动作位置映射在第二终端的屏幕所在的区域中的相对位置，向服务器发送该操控动作、该相对位置和第二终端的终端标识。并支持服务器接收第一终端发送的该操控动作、该相对位置和第二终端的终端标识，根据第二终端的终端标识将该操控动作和该相对位置发送至第二终端。并当第二终端接收服务器发送的该操控动作和该相对位置时，第二终端根据该操控动作和该相对位置对第二终端进行控制。通过上述流程可以实现通过第一终端对第二终端进行远程控制。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种终端控制方法，应用于第一终端，其特征在于，所述方法包括：

当所述第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在所述屏幕截图所在的区域中执行的操控动作；

当接收到所述操控动作时，获取所述操控动作在所述屏幕截图所在的区域中的动作位置；

获取所述动作位置映射在所述第二终端的屏幕所在的区域中的相对位置；

向服务器发送所述操控动作、所述相对位置和第二终端的终端标识；以使所述服务器根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收服务器发送屏幕截图；所述屏幕截图是所述服务器对接收的所述第二终端发送的屏幕截图的图像编码进行解码得到的；所述屏幕截图的图像编码为将当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后对所述第二终端的屏幕的进行截图得到的图像进行编码得到的；

从所述第一终端的屏幕上删除正在显示的所述第二终端的屏幕截图；

将所述服务器发送的屏幕截图显示在所述第一终端的屏幕上。

3.一种终端控制方法，应用于服务器，其特征在于，所述方法包括：

接收第一终端发送的操控动作、相对位置和第二终端的终端标识；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述第二终端的终端标识将所述第一终端的终端标识发送给所述第二终端。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述第二终端发送的屏幕截图的图像编码和所述第一终端的终端标识；所述屏幕截图为当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后，对所述第二终端的屏幕的进行截图得到的；所述屏幕截图的图像编码为对所述屏幕截图进行编码得到的；

对所述屏幕截图的图像编码进行解码得到所述屏幕截图；

根据所述第一终端的终端标识向第一终端发送所述屏幕截图。

6.一种终端控制方法，应用于第二终端，其特征在于，所述方法包括：

接收服务器发送的操控动作和相对位置；所述操控动作和所述相对位置是第一终端发送给所述服务器的；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

根据所述操控动作和所述相对位置对所述第二终端进行控制。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

接收服务器发送的所述第一终端的终端标识。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

当根据所述操控动作和所述相对位置对所述第二终端进行控制之后，如果所述第二终端的屏幕上显示的内容发生变化，则对所述第二终端的屏幕的进行截图得到所述第二终端的屏幕截图；

对所述屏幕截图进行编码得到所述屏幕截图的图像编码；

向所述服务器发送所述屏幕截图的图像编码和所述第一终端的终端标识。

9.一种终端控制装置，应用于第一终端，其特征在于，所述装置包括：

检测模块，用于当所述第一终端的屏幕上显示第二终端的当前屏幕的屏幕截图时，检测是否接收到在所述屏幕截图所在的区域中执行的操控动作；

第一获取模块，用于当接收到所述操控动作时，获取所述操控动作在所述屏幕截图所在的区域中的动作位置；

第二获取模块，用于获取所述动作位置映射在所述第二终端的屏幕所在的区域中的相对位置；

第一发送模块，用于向服务器发送所述操控动作、所述相对位置和第二终端的终端标识；以使所述服务器根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第一接收模块，用于接收服务器发送屏幕截图；所述屏幕截图是所述服务器对接收的所述第二终端发送的屏幕截图的图像编码进行解码得到的；所述屏幕截图的图像编码为将当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后对所述第二终端的屏幕的进行截图得到的图像进行编码得到的；

删除模块，用于从所述第一终端的屏幕上删除正在显示的所述第二终端的屏幕截图；

显示模块，用于将所述服务器发送的屏幕截图显示在所述第一终端的屏幕上。

11.一种终端控制装置，应用于服务器，其特征在于，所述装置包括：

第二接收模块，用于接收第一终端发送的操控动作、相对位置和第二终端的终端标识；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

第二发送模块，用于根据所述第二终端的终端标识将所述操控动作和所述相对位置发送至所述第二终端。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第三发送模块，用于根据所述第二终端的终端标识将所述第一终端的终端标识发送给所述第二终端。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第三接收模块，用于接收所述第二终端发送的屏幕截图的图像编码和所述第一终端的终端标识；所述屏幕截图为当所述第二终端根据所述操控动作和所述相对位置对所述第二终端进行控制之后，对所述第二终端的屏幕的进行截图得到的；所述屏幕截图的图像编码为对所述屏幕截图进行编码得到的；

解码模块，用于对所述屏幕截图的图像编码进行解码得到所述屏幕截图；

第四发送模块，用于根据所述第一终端的终端标识向第一终端发送所述屏幕截图。

14.一种终端控制装置，应用于第二终端，其特征在于，所述装置包括：

第四接收模块，用于接收服务器发送的操控动作和相对位置；所述操控动作和所述相对位置是第一终端发送给所述服务器的；所述操控动作是在所述第一终端的屏幕上显示所述第二终端的当前屏幕的屏幕截图所在的区域中执行的，所述相对位置为所述操控动作在所述屏幕截图所在的区域中的动作位置映射在所述第二终端的屏幕所在的区域中的位置；

控制模块，用于根据所述操控动作和所述相对位置对所述第二终端进行控制。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

第五接收模块，用于接收服务器发送的所述第一终端的终端标识。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

截图模块，用于当根据所述操控动作和所述相对位置对所述第二终端进行控制之后，如果所述第二终端的屏幕上显示的内容发生变化，则对所述第二终端的屏幕的进行截图得到所述第二终端的屏幕截图；

编码模块，用于对所述屏幕截图进行编码得到所述屏幕截图的图像编码；

第五发送模块，用于向所述服务器发送所述屏幕截图的图像编码和所述第一终端的终端标识。