CN113253891B - 终端的控制方法及装置、存储介质、终端 - Google Patents

Abstract

终端的控制方法及装置、存储介质、终端，所述方法包括：获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；获取用户在所述控制终端上执行的操作；如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域；计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息；将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。通过本发明的方案，可以提高控制被控终端的效率。

Description

终端的控制方法及装置、存储介质、终端

技术领域

本发明涉及终端控制技术领域，尤其涉及一种终端的控制方法及装置、存储介质、终端。

背景技术

目前，远程控制(Remote Control)技术的应用越来越广泛，例如，远程办公和软件的自动化测试等。在远程控制的过程中，将用户在控制终端(又称为“主控端”或“客户端”)上执行的操作通过指令发送给被控终端(又称为“被控端”或“服务器端”)，被控终端根据接收到的指令执行相同的操作。

现有技术中，通常采用坐标控制的方法来实现对被控终端的用户界面的控制。具体而言，被控终端的屏幕上显示的用户界面显示在控制终端的屏幕上，然后将用户在控制终端的屏幕上执行的操作的位置转化为被控终端屏幕上对应的位置，再将转化得到的位置作为指令的一部分发送至被控终端，以使被控终端在该位置处执行同样的操作。当需要对不同的被控终端进行相同的控制时，采用这样的方案需要分别计算用户在控制终端上执行的操作的位置在各个被控终端上对应的位置，控制的效率较低。

因此，亟需一种效率更高的终端的控制方法。

发明内容

本发明解决的技术问题是提供一种效率更高的终端的控制方法。

为解决上述技术问题，本发明实施例提供一种终端的控制方法，所述方法包括：获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；获取用户在所述控制终端上执行的操作；如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

可选的，所述方法还包括：如果所述用户选择的控制方式为坐标控制，则将所述操作的位置记为目标位置；生成坐标控制指令，所述坐标控制指令包含所述目标位置和所述操作的信息；将所述坐标控制指令发送至所述被控终端，以使所述被控终端运行所述坐标控制指令。

可选的，确定所述操作的位置在所述用户界面内所处的区域包括：将所述用户界面划分为多个第一区域，并确定所述操作的位置所处的第一区域，记为第一定位区域；将所述第一定位区域划分为多个第二区域，并确定所述操作的位置所处的第二区域，记为第二定位区域；将所述第二定位区域作为所述目标区域。

可选的，在确定所述操作的位置在所述用户界面内所处的区域之前，所述方法还包括：从所述被控终端接收所述多个界面控件的控件信息，所述控件信息包括以下一项或多项：各个界面控件的属性信息和位置信息。

可选的，所述控件控制指令包含所述目标控件的内容，所述被控终端基于所述目标控件的内容从所述多个界面控件中识别出所述目标控件，所述生成控件控制指令包括：获取所述用户选择的属性信息的类型；根据所述用户选择的属性信息的类型和所述目标控件的属性信息确定所述目标控件的内容；根据所述目标控件的内容和所述操作的类型生成所述控件控制指令。

可选的，所述被控终端包括帧缓冲存储器，所述帧缓冲存储器用于存储所述被控终端的屏幕上显示的用户界面，获取所述用户在控制终端的屏幕上执行的操作之前，所述方法还包括：从所述被控终端的帧缓冲存储器中读取所述用户界面。

可选的，获取所述用户在控制终端的屏幕上执行的操作之前，所述方法还包括：向所述被控终端发送硬件参数查询请求，所述硬件参数查询请求用于请求所述被控终端的硬件设备参数；从所述被控终端获取所述硬件设备参数，所述控制终端基于所述硬件设备参数对所述用户界面进行处理，以使所述用户界面适应于所述控制终端的屏幕。

为了解决上述技术问题，本发明实施例还提供一种终端的控制装置，所述装置包括：界面显示模块，用于获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；操作获取模块，用于获取用户在所述控制终端上执行的操作；目标区域确定模块，用于如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；目标控件确定模块，用于计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；指令模块，用于生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述终端的控制方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的终端的控制方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例的方案中，由于用户界面被划分为多个区域，因此获取到用户在控制终端上执行的操作之后，可以确定用户执行的操作在用户界面内所处的目标区域。然后计算操作的位置和落入目标区域内的各个界面控件之间的距离，从而可以将距离最近的界面控件作为目标控件。进一步地，基于目标控件和用户执行的操作生成控件控制指令，将控件控制指令发送给被控终端，可以使被控终端根据控制指令中包含的目标控件和操作的信息对目标控件执行该操作，从而实现对被控终端的控制。由于本发明实施例的方案中确定的是操作对应的目标控件，当需要对不同的被控终端进行相同的控制时，只需将包含目标控件和操作的信息的控件控制指令发送给被控终端即可，因此控制的效率较高。

进一步，本发明实施例的方案中，先将用户界面划分为多个第一区域，并确定操作的位置所处的第一定位区域，然后再将第一定位区域划分为多个第二区域，最后将操作的位置所处的第二区域作为目标区域，然后从落入目标区域内的界面控件中确定目标控件，采用这种方法可以快速地确定目标控件，进一步提高了控制效率。

附图说明

图1是本发明实施例中一种终端的控制方法的应用场景示意图；

图2是本发明实施例中一种终端的控制方法的流程示意图；

图3是本发明实施例中一种通信协议的格式示意图；

图4是本发明实施例中一种终端的控制装置的结构示意图。

具体实施方式

如背景技术所述，亟需一种效率更高的终端的控制方法。

本发明的发明人经过研究发现，现有技术中，通常采用坐标控制的方法来实现对被控终端的用户界面的控制。具体而言，控制终端显示被控终端的屏幕上显示的用户界面，将用户在控制终端的屏幕上执行的操作的位置转化为被控终端的屏幕上的对应的位置，然后将该转化得到的位置作为指令的一部分发送至被控终端，以使被控终端在对应的该位置处执行同样的操作。当需要对不同的被控终端进行相同的远程控制时，但采用这样的方案需要分别计算用户在控制终端上执行的操作的位置在各个被控终端上对应的位置，控制的效率较低。

为了解决上述技术问题，本发明实施例提供一种终端的控制方法，在本发明实施例的方案中，由于用户界面被划分为多个区域，因此获取到用户在控制终端上执行的操作之后，可以确定用户执行的操作在用户界面内所处的目标区域。然后计算操作的位置和落入目标区域内的各个界面控件之间的距离，从而可以将距离最近的界面控件作为目标控件。进一步地，基于目标控件和用户执行的操作生成控件控制指令，将控件控制指令发送给被控终端，可以使被控终端根据控制指令中包含的目标控件和操作的信息对目标控件执行该操作，从而实现对被控终端的控制。由于本发明实施例的方案中确定的是操作对应的目标控件，当需要对不同的被控终端进行相同的控制时，只需将包含目标控件的信息的控件控制指令发送给被控终端即可，因此控制的效率较高。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参考图1，图1是本发明实施例中一种终端的控制方法的应用场景示意图。下面结合图1对本发明实施例的应用场景进行非限制性的说明。

控制终端11可以与被控终端12通信连接。具体而言，控制终端11可以与被控终端12蓝牙连接，或者通过通用串行总线(Universal Serial Bus，USB)与被控终端12连接，还可以通过无线网络(Wireless Network)与被控终端12连接，但并不限于此，本发明实施例对于控制终端11和被控终端12之间的连接方式和距离并不进行任何限制。其中，控制终端11和被控终端12可以是具有数据处理能力的各种恰当的终端，例如，可以是手机、计算机、物联网设备等。

进一步地，控制终端11与被控终端12可以采用套接字(Socket)的方式进行通信，但并不限于此。

进一步地，控制终端11可以从被控终端12处获取被控终端12的屏幕上显示的用户界面，并在控制终端11的屏幕上显示该用户界面。所述用户界面包括多个界面控件，所述界面控件是指用户界面内的可视化图形，例如，按钮、文本编辑框等，界面控件具有执行功能，也即，通过对界面控件进行操作可以引发代码运行以完成对该操作的响应。

在一个非限制性的例子中，本发明实施例的应用场景为终端的自动化测试的场景。具体而言，被控终端12上安装有待测试的应用程序，需要对安装在被控终端12上的应用程序进行测试，此时所述用户界面可以为该待测试的应用程序的用户界面。

进一步地，用户在控制终端11上执行操作，所述操作可以是通过键盘、鼠标等外部设备在控制终端的屏幕上执行的，例如，通过鼠标点击用户界面上的某一个界面控件、通过键盘在某一个界面控件内输入文字等，也可以是通过语音对某一个界面控件进行选择等，所述操作还可以是用户在屏幕上执行的手势等，但并不限于此。

进一步地，控制终端11可以确定用户在控制终端11上执行的操作的位置在用户界面内所处的区域，然后在落入该区域内的界面控件中确定该操作对应的界面控件，也即，控制终端11可以确定用户执行的操作对应的目标控件，然后生成控件控制指令并发送至被控终端12。由于控件控制指令包含目标控件和操作的信息，因此，被控终端12获取到控件控制指令后，可以对目标控件执行该操作，从而实现对被控终端12的控制。关于更多控制被控终端12的内容将在下文中具体描述。

在本发明的一个非限制性实施例中，控制终端11还可以与被控终端13连接，被控终端13的用户界面与被控终端12的用户界面相同。控制终端11还可以将控件控制指令发送至被控终端13，以使被控终端13运行控件控制指令时对目标控件执行相同的操作。需要说明的是，被控终端12的屏幕分辨率与被控终端13的屏幕分辨率可以相同，也可以不同，本发明实施例对此并不进行限制。

参考图2，图2是本发明实施例中一种终端的控制方法的流程示意图。所述方法可以由终端执行，所述终端可以是各种恰当的终端，例如，手机、计算机、物联网设备等，但并不限于此。又例如，所述终端可以是图1所示的控制终端11。图2示出的终端的控制方法可以包括如下步骤：

步骤S201：获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；

步骤S202：获取用户在所述控制终端上执行的操作；

步骤S203：如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；

步骤S204：计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；

步骤S205：生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

在步骤S201的具体实施中，可以获取被控终端的屏幕上显示的用户界面，并显示在控制终端的屏幕上。具体而言，所述被控终端可以包括帧缓冲存储器(Frame Buffer，又称“帧缓存”)，所述帧缓冲存储器可以用于存储被控终端的屏幕上显示的用户界面。所述用户界面可以是待测试的应用程序的用户界面，但并不限于此。所述用户界面内可以包括多个界面控件，更多关于用户界面的内容可以参照图1中的相关描述，在此不再赘述。

在一个具体的实施例中，获取用户界面之前，控制终端可以先向被控终端发送用户界面获取请求，所述用户界面获取请求用于向被控终端请求用户界面。被控终端获取到控制终端发送的用户界面获取请求后，可以将帧缓冲存储器存储的用户界面发送至控制终端。

进一步地，控制终端还可以向被控终端发送硬件参数查询请求，所述硬件参数查询请求用于向被控终端请求被控终端的硬件设备参数，所述硬件设备参数可以是屏幕的显示参数，例如，屏幕分辨率等，但并不限于此。

进一步地，可以根据获取到的硬件设备参数对获取到的用户界面进行处理，以使处理后的用户界面适应于控制终端的屏幕。具体而言，控制终端的屏幕分辨率可能与被控终端的屏幕分辨率不同，因此控制终端在显示用户界面之前，可以先根据控制终端的硬件设备参数以及被控终端的硬件设备参数确定转化矩阵，然后根据所述转化矩阵对从帧缓冲存储器中读取的用户界面进行处理，从而得到处理后的用户界面并进行显示。其中，所述转化矩阵用于描述控制终端和被控终端的屏幕分辨率之间的关系。

需要说明的是，可以先获取用户界面，再获取硬件设备参数，然后根据硬件设备参数对用户界面进行处理后，再在控制终端的屏幕上显示处理后的用户界面；也可以先获取硬件设备参数，再获取用户界面，然后根据硬件设备参数对用户界面进行处理；还可以一并从被控终端处获取硬件设备参数和用户界面。本发明实施例对于获取用户界面和获取硬件设备参数的顺序并不进行限制。

在一个非限制性的例子中，控制终端与多个被控终端连接，该多个被控终端具有相同的用户界面，可以从多个被控终端中选择任意一个被控终端，并向该被控终端发送用户界面获取请求，以获取所述用户界面。

在步骤S202的具体实施中，可以获取用户在控制终端上执行的操作，用户在控制终端上执行的操作可以是用户在控制终端的屏幕上的执行的各种操作，例如，点击、双击、长按、拖动等，还可以是输入文本等，但并不限于此。需要说明的是，所述操作是针对用户界面的界面控件的，也即，操作的对象是界面控件。

在步骤S203的具体实施中，可以先获取用户选择的控制方式，所述控制方式可以包括控件控制和坐标控制。在一个具体的实施例中，当获取到用户在控制终端执行的操作，可以显示用户可选择的控制方式，例如，控件控制、坐标控制等，然后获取用户选择的控制方式。如果用户选择的控制方式为控件控制，则生成控件控制指令，控件控制指令包含操作对应的目标控件的信息。如果用户选择的控制方式为坐标控制，则生成坐标控制指令，坐标控制指令包含操作的对应的目标位置的信息。

进一步地，可以判断用户选择的控制方式，如果用户选择的控制方式为控件控制，则确定用户执行的操作的位置在用户界面内所处的区域，记为目标区域。

在第一个具体的实施例中，确定目标区域之前，可以先将用户界面划分为预设数量个区域，获取到用户执行的操作之后，确定所述操作所处的区域，并将该区域作为所述目标区域。需要说明的是，可以是在获取用户执行的操作之前，将用户界面划分为预设数量个区域，也可以是获取用户执行的操作之后，将用户界面划分为预设数量个区域，本发明实施例对此并不进行限制。

在第二个具体实施例中，可以先将用户界面划分为多个第一区域，并确定所述操作的位置所处的第一区域，记为第一定位区域；再将所述第一定位区域划分为多个第二区域，并确定所述操作的位置所处的第二区域，记为第二定位区域；将所述第二定位区域作为所述目标区域。更具体地，可以将用户界面等分为四个第一区域，然后确定第一定位区域，再将第一定位区域等分为四个第二区域，再确定所述第二定位区域，以作为目标区域。

需要说明的是，还可以进一步将第二定位区域划分为多个第三区域，并确定操作的位置所处的第三区域，记为第三定位区域，并将该第三定位区域作为所述目标区域，本发明实施例对划分的次数并不进行限制。还需要说明的是，每次进行划分时，可以是等分地进行划分，也可以是非等分地进行划分。

在第三个具体实施例中，所述用户界面的区域可以是由被控终端进行划分的。具体而言，控制终端可以从被控终端处获取用户界面的区域信息，用户界面的区域信息可以包括各个区域的标识和范围。由此，控制终端获取到用户的操作时，可以直接将操作的位置所处的区域作为目标区域。

在步骤S204的具体实施中，可以先筛选出落入所述目标区域内的各个界面控件。具体而言，可以根据各个控件的坐标信息筛选出落入目标区域内的界面控件。

在一个具体实施例中，在确定所述操作的位置在用户界面内所处的区域之前，可以从被控终端接收多个界面控件的控件信息。具体而言，控制终端可以向被控终端发送控件信息请求，所述控件信息请求用于向被控终端请求用户界面内各个界面控件的信息，所述控件信息可以包括以下一项或多项：界面控件的属性信息和位置信息。

具体而言，所述属性信息用于描述界面控件的内容，所述属性信息可以包括以下一项或多项：标识、文本和描述，但并不限于此。其中，所述标识可以唯一确定界面控件，所述标识可以是字符串；所述文本是界面控件在用户界面上显示的内容；所述描述是界面控件在用户界面上未显示的除标识以外的其他内容。

进一步地，所述位置信息是用于描述界面控件在用户界面内所处的位置的信息。所述位置信息可以是坐标，所述位置信息可以是界面控件的参考点的坐标，但并不限于此。其中，所述参考点可以是预先设置的，例如，可以是各个界面控件的中心点，但并不限于此。所述位置信息可以用于计算界面控件与操作的位置之间的距离。

在一个非限制性的例子中，控件信息还可以包括界面控件的区域标识。具体而言，被控终端可以将用户界面划分为多个区域，每个界面控件可以具有区域标识，所述区域标识用于指示各个界面控件所在的区域。由此，确定目标区域后，即可根据各个界面控件的区域标识筛选出落入目标区域内的各个界面控件。

进一步地，可以计算操作的位置与筛选出的各个界面控件之间的距离。更具体地，可以计算操作的位置和各个界面控件的参考点之间的距离。其中，计算操作的位置和各个界面控件之间的距离的方法可以是各种现有的距离计算的方法，本发明实施例对此并不进行任何限制。

进一步地，可以将与操作的位置之间的距离最小的界面控件作为目标控件，也即，用户在控制终端上对目标控件执行了所述操作。

在步骤S205的具体实施中，可以生成控件控制指令并将控件控制指令发送至被控终端，其中，所述控件控制指令包含所述目标控件和操作的信息。被控终端接收到控件控制指令后，被控终端可以基于目标控件的信息从多个界面控件中识别出目标控件，被控终端可以基于操作的信息识别出用户执行的操作的类型。

具体而言，控件控制指令可以包括目标控件的内容，所述目标控件的内容可以选自目标控件的属性信息。

在一个具体的实施例中，在确定目标控件之后，可以显示用户可选择的属性信息的类型，用户可选择的属性信息的类型可以包括标识、文本和描述等，但并不限于此。然后可以获取用户选择的属性信息的类型，再根据用户选择的属性信息的类型和目标控件的属性信息确定目标控件的内容。例如，如果用户选择的属性信息的类型为标识，则目标控件的内容即为所述目标控件的标识。进一步地，根据目标控件的内容和操作的类型生成控件控制指令，由此，被控终端可以基于控件控制指令中目标控件的内容从多个界面控件中识别出目标控件。

进一步地，被控终端接收到所述控件控制指令后，可以运行所述控件控制指令。具体而言，被控终端运行控件控制指令时，可以针对所述目标控件执行所述操作。

由上，在本发明实施例的方案中，由于用户界面被划分为多个区域，因此获取到用户在控制终端上执行的操作之后，可以确定用户执行的操作在用户界面内所处的目标区域。然后计算操作的位置和落入目标区域内的各个界面控件之间的距离，从而可以将距离最近的界面控件作为目标控件。进一步地，基于目标控件和用户执行的操作生成控件控制指令，将控件控制指令发送给被控终端，可以使被控终端根据控制指令中包含的目标控件和操作的信息对目标控件执行该操作，从而实现对被控终端的控制。

在另一个具体的实施例中，如果用户选择的控制方式为坐标控制，则可以将所述操作的位置记为目标位置。进一步地，可以生成坐标控制指令并将所述坐标控制指令发送至被控终端。其中，所述坐标控制指令包含所述目标位置和所述操作的信息，被控终端接收到坐标控制指令后，被控终端可以基于目标位置的信息识别出操作的位置，可以基于操作的信息识别出用户执行的操作的类型，由此，被控终端运行所述坐标控制指令时，可以在目标位置处执行所述操作。

在一个非限制性的例子中，控制终端与多个被控终端连接，该多个被控终端具有相同的用户界面，控制终端从任意一个被控终端处获取用户界面并生成控件控制指令后，可以将控件控制指令发送给连接的各个被控终端，以实现对各个被控终端的控制。由于本发明实施例的方案中确定的是操作对应的目标控件，当需要对不同的被控终端进行相同的控制时，只需将包含目标控件和操作的信息的控件控制指令发送给被控终端即可，因此控制的效率较高。其中，多个被控终端的屏幕分辨率可以是相同的，也可以是不同的。

参考图3，图3是本发明实施例中一种通信协议的格式示意图，所述通信协议是指控制终端和被控终端进行通信时所遵循的规定，也即，控制终端和被控终端之间通信的数据满足图3示出的格式。

如图3所示，控制终端和被控终端之间通信的数据可以包括：头部标签31、指令请求类型32、指令请求子类型33、数据内容34和尾部标签35。

具体而言，所述头部标签31和尾部标签35可以是预设的字段，所述头部标签31和尾部标签35可以是相同的，也可以是不同的。例如，头部标签31可以是7E，尾部标签35也可以是7E。

进一步地，指令请求类型32用于描述控制终端向被控终端发送的请求和/或指令的类型。具体而言，控制终端发送的用户界面获取请求和控件信息请求中，指令请求类型32可以为预先设置的第一类型，例如可以是“Dump”，也即，第一类型用于指示控制终端向被控终端请求用户界面和/或用户界面内的界面控件的信息。控制终端可以向被控终端发送参数查询请求，参数查询请求用于请求被控终端的一项或多项参数，所述参数查询请求中，指令请求类型32可以为预先设置的第二类型，例如可以是“Query”，也即，第二类型用于指示控制终端向被控终端请求被控终端的参数。控制终端发送的控件控制指令和/或坐标控制指令中，指令请求类型32可以为预先设置的第三类型，例如，可以是“Action”，也即，第三类型用于指示控制终端发送的是控制指令，以使被控终端执行所控制指令中的操作。其中，第一类型、第二类型和第三类型互不相同。

进一步地，指令请求类型32可以包括多个指令请求子类型33，指令请求子类型33可以进一步细化控制终端向被控终端发送的请求和/或指令的类型。具体而言，第一类型可以包括用户界面子类型，用户界面子类型用于指示控制终端向被控终端请求用户界面。第一类型还可以包括界面控件子类型，界面控件子类型用于指示控制终端向被控终端请求界面控件的控件信息。第二类型可以包括硬件参数子类型，例如，硬件参数查询请求中的第二类型为硬件参数子类型，硬件参数子类型用于指示控制终端向被控终端请求被控终端的硬件参数。第三类型可以包括多个操作子类型，例如，第三类型可以包括点击、长按、拖动等操作子类型，所述第三类型包括的多个操作子类型用于指示用户执行的操作的类型。

进一步地，控制终端发送的请求中，数据内容34为空。被控终端响应控制终端发送的请求时，可以将控制终端请求的内容封装在数据内容34的部分。控制终端发送的控制指令中，如果控制指令为控件控制指令，则数据内容34为所述目标控件的内容，如果控件控制指令为坐标控制指令，则数据内容34为目标位置的信息。

参考图4，图4是本发明实施例中一种终端的控制装置的结构示意图，所述装置可以包括：界面显示模块41、操作获取模块42、目标区域确定模块43、目标控件确定模块44和指令模块45。

具体而言，界面显示模块41用于获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；操作获取模块42用于获取用户在所述控制终端上执行的操作；目标区域确定模块43用于如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；目标控件确定模块44用于计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；指令模块45用于生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

在具体实施中，上述终端的控制装置可以对应于终端内具有数据处理功能的芯片；或者对应于终端内具有数据处理功能的芯片模组，或者对应于终端。

关于图4示出的终端的控制装置的工作原理、工作方式和有益效果等更多内容，可以参照上文关于图1至图3的相关描述，在此不再赘述。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的终端的控制方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的终端的控制方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。例如，所述终端可以是图1中的控制终端11。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种终端的控制方法，其特征在于，所述方法包括：

获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；

获取用户在所述控制终端上执行的操作；

如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；

计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；

生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

2.根据权利要求1所述的终端的控制方法，其特征在于，所述方法还包括：如果所述用户选择的控制方式为坐标控制，则将所述操作的位置记为目标位置；

生成坐标控制指令，所述坐标控制指令包含所述目标位置和所述操作的信息；

将所述坐标控制指令发送至所述被控终端，以使所述被控终端运行所述坐标控制指令。

3.根据权利要求1所述的终端的控制方法，其特征在于，确定所述操作的位置在所述用户界面内所处的区域包括：

将所述用户界面划分为多个第一区域，并确定所述操作的位置所处的第一区域，记为第一定位区域；

将所述第一定位区域划分为多个第二区域，并确定所述操作的位置所处的第二区域，记为第二定位区域；

将所述第二定位区域作为所述目标区域。

4.根据权利要求1所述的终端的控制方法，其特征在于，在确定所述操作的位置在所述用户界面内所处的区域之前，所述方法还包括：

从所述被控终端接收所述多个界面控件的控件信息，所述控件信息包括以下一项或多项：各个界面控件的属性信息和位置信息。

5.根据权利要求4所述的终端的控制方法，其特征在于，所述控件控制指令包含所述目标控件的内容，所述被控终端基于所述目标控件的内容从所述多个界面控件中识别出所述目标控件，所述生成控件控制指令包括：

获取所述用户选择的属性信息的类型；

根据所述用户选择的属性信息的类型和所述目标控件的属性信息确定所述目标控件的内容；

根据所述目标控件的内容和所述操作的类型生成所述控件控制指令。

6.根据权利要求1所述的终端的控制方法，其特征在于，所述被控终端包括帧缓冲存储器，所述帧缓冲存储器用于存储所述被控终端的屏幕上显示的用户界面，获取所述用户在控制终端的屏幕上执行的操作之前，所述方法还包括：

从所述被控终端的帧缓冲存储器中读取所述用户界面。

7.根据权利要求6所述的终端的控制方法，其特征在于，获取所述用户在控制终端的屏幕上执行的操作之前，所述方法还包括：

向所述被控终端发送硬件参数查询请求，所述硬件参数查询请求用于请求所述被控终端的硬件设备参数；

从所述被控终端获取所述硬件设备参数，所述控制终端基于所述硬件设备参数对所述用户界面进行处理，以使所述用户界面适应于所述控制终端的屏幕。

8.一种终端的控制装置，其特征在于，所述装置包括：

界面显示模块，用于获取被控终端的屏幕上显示的用户界面并显示在控制终端的屏幕上，所述用户界面包括多个界面控件；

操作获取模块，用于获取用户在所述控制终端上执行的操作；

目标区域确定模块，用于如果所述用户选择的控制方式为控件控制，则确定所述操作的位置在所述用户界面内所处的区域，记为目标区域，其中，所述用户界面被划分为多个区域；

目标控件确定模块，用于计算所述操作的位置与落入所述目标区域内的各个界面控件之间的距离，并将距离最小的界面控件作为目标控件；

指令模块，用于生成控件控制指令，所述控件控制指令包含所述目标控件和所述操作的信息，并将所述控件控制指令发送至所述被控终端，以使所述被控终端运行所述控件控制指令。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至7中任一项所述的终端的控制方法的步骤。

10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述的终端的控制方法的步骤。

Images