CN109324741A - 一种操作控制方法、装置和系统 - Google Patents

Abstract

本申请涉及终端领域，尤其涉及一种操作控制方法、装置和系统，用以解决现有技术中由于坐标体系不同导致的操作控制错误的问题。该方法包括：确定主控设备接收到的第一操作信息，第一操作信息包括接收到的触控操作的第一坐标；根据主控设备的界面特征和第一坐标，确定主控设备中与第一操作信息对应的目标组件；根据从控设备的界面特征，确定目标组件在从控设备中的第二坐标；在第二坐标所在位置执行与触控操作相对应的操作。本方案能保证主控设备的目标组件与从控设备的目标组件相对应，保证从控设备能接收到与第一操作信息等效的操作指令，提高批量操作可靠性，有利于提高单次批量操作的从控设备的数量和种类，进而提高批量操作的效率。

Description

一种操作控制方法、装置和系统

技术领域

本申请涉及终端领域，尤其涉及一种操作控制方法、装置和系统。

背景技术

在现有的终端领域，为了提高移动设备上应用程序的兼容性，往往需要通过多种型号的移动设备对应用程序进行测试，以便及时发现应用程序的漏洞，保证良好的用户体验。

在测试的过程中，如果仅利用人工进行操作测试，对大量的移动终端进行测试需要花费过多的人力，且效率较低。现有技术中通过软机械手技术，根据主控设备的坐标系统，将测试人员对主控设备的操作映射到多个从控设备上，以此实现批量测试。但是，由于不同型号的移动设备硬件存在差异性，坐标系统往往不同，由此导致测试人员对主控设备的操作无法准确映射到从控设备上，在映射的过程中操作位置往往会出现偏差，由此导致批量操作的效率较低，难以实现对大量移动设备进行批量操作。

发明内容

本申请实施例提供一种操作控制方法、装置和系统，用以解决现有技术中由于主控设备与从控设备的坐标体系不同导致的操作位点映射错误的问题。

本申请实施例采用下述技术方案：

第一方面，提供了一种操作控制方法，包括：

确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；

根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；

根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；

在所述第二坐标所在位置执行与所述触控操作相对应的操作。

第二方面，提供了一种操作控制装置，包括：

第一确定模块，确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；

第二确定模块，根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；

第三确定模块，根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；

执行模块，在所述第二坐标所在位置执行与所述触控操作相对应的操作。第三方面，提供了一种操作控制系统，包括：

如第二方面所述的操作控制装置；

与所述操作控制装置连接的主控设备和至少一个从控设备；

所述操作控制装置用于在所述至少一个从控设备上执行与所述主控设备接收到的操作相对应的操作。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请提供的技术方案根据主控设备接收到的第一操作信息识别相对应的目标组件，确定目标组件在从控设备中的第二坐标，并在第二坐标所在位置执行与触控操作相对应的操作。通过上述方案，能使从控设备接收到与主控设备等效的操作，避免由于坐标体系不同导致从控设备接收到位点错误的操作指令，提高批量操作可靠性，有利于提高单次批量操作的从控设备的数量和种类，进而提高批量操作的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为现有技术中一种测试设备的结构示意图；

图1b为现有技术中映射操作指令效果示意图；

图2为本申请提供的一种操作控制方法流程示意图之一；

图3为本申请提供的一种操作控制方法流程示意图之二；

图4a为本申请提供的一种操作控制方法流程示意图之三；

图4b为本申请提供的一种操作控制方法的操作界面示意图之一；

图5为本申请提供的一种操作控制方法流程示意图之四；

图6a为本申请提供的一种操作控制方法流程示意图之五；

图6b为本申请提供的一种操作控制方法的操作界面示意图之二；

图6c为本申请提供的一种操作控制方法的操作界面示意图之三；

图7为本申请提供的一种操作控制方法流程示意图之六；

图8为本申请提供的一种操作控制装置的结构示意图；

图9a为本申请提供的一种操作控制系统的场景示意图之一；

图9b为本申请提供的一种操作控制系统的场景示意图之二；

图10为实现本发明各个实施例的一种移动终端的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有的测试领域，测试设备可以包括有主控设备和从控设备，测试设备往往具有显示尺寸相同的显示屏，但是，部分手机的显示屏与触控屏的尺寸不同，导致主控设备的触控屏尺寸与从控设备的触控屏尺寸不同。如图1a所示，图中示出的阴影区域为显示屏所在区域，手机的触控屏所在区域不仅包括显示屏所在区域还包括虚线框中所示的非显示区域，触控屏尺寸大于显示屏尺寸，与显示屏不重合的触控屏位于显示屏下方，用作虚拟键盘，具体可以用于实现菜单键、返回键等虚拟按键的触控，对于图1a示出的这种触控屏大于显示屏的手机，在进行应用程序测试的过程中，有可能出现坐标错误的情况，如图1b所示。

当主控设备是显示屏与触控屏尺寸相同的手机时，当点击图中示出的A位置时，根据A位置在主控设备的触控屏的位置坐标，由软机械手将该坐标位置映射至从控设备的A’位置。在主控设备中，A位置对应的触控屏位点位于显示屏所在区域内，但是，在从控设备中，与A位置相对应的触控屏位点A’有可能位于显示屏所在区域外。在主控设备中，对应于A位置的点击操作有可能触发了一个显示屏显示的图标，但在从控设备上，由软机械手根据A位置映射的位点有可能位于图1b中示出的A’位置，该位置对应于功能按键，如菜单键。由此使得映射到从控设备的操作不对应显示屏中的内容，进而导致从控设备不能接收到与主控设备等效的操作指令，使得批量操作的效率低，局限性大，可靠性不足。

本申请提供的一种批量操作的方法、装置和系统，可以应用于软件测试，测试的主控设备和从控设备可以是各种电子设备，如手机、平板电脑、智能手表等，尤其适用于具有触控功能的电子设备。本申请提供的方案用以解决现有技术中由于主控设备与从控设备的坐标体系不同导致的操作位点映射错误的问题。以下结合附图，详细说明本申请各实施例提供的技术方案。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。

本申请实施例提供一种操作控制方法，如图2所示，本申请提供的方法包括以下步骤：

S21：确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标。

在本申请实施例中，主控设备接收到的第一操作信息可以是点击、滑动等触控操作所产生的相关信息，该第一操作信息包括触控操作的第一坐标。当该触控操作为点击操作时，该第一坐标可以为点击的位置坐标。当触控操作为滑动操作时，该第一坐标可以包括滑动操作的起始位置坐标和终点位置坐标。除此之外，还可以包括滑动操作的轨迹等信息。

具体的，上述第一操作信息可以是由操作人员通过手指、触控笔等进行的操作所产生的信息。该第一操作信息不仅可以包括上述第一坐标、操作类型，还可以包括操作的时间，例如：主控设备接收到的触控操作可以是按压操作和拖动操作，第一操作信息则可以包括按压操作的位置、按压的时间、拖动操作的终点位置、拖动轨迹等。

S22：根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件。

主控设备的界面特征具体可以包括主控设备屏幕上显示的多个组件，根据第一操作信息中的第一坐标，确定主控设备中与第一操作信息对应的目标组件。

对于不同的应用程序，本申请中所述的组件也可称为控件、对象或者部件。具体的，可以通过对数据进行封装而产生组件，一个组件可以包括软件代码(源代码，二进制代码，可执行代码)或者脚本、命令文件等内容。

较优的，如图3所示，上述步骤S22具体包括：

S221：识别所述主控设备的界面特征中的至少一个待选组件。

其中，主控设备中的至少一个待选组件可以是指主控设备屏幕中显示的至少一个组件。由于手机屏幕面积有限，在手机屏幕边缘区域往往会有显示不完全的组件，即组件仅有部分区域显示在屏幕内。较优的，这些显示不完全的组件也包含在待选组件中。

S222：将所述至少一个待选组件中位于所述第一坐标所在位置的组件确定为与所述第一操作信息对应的目标组件。

具体的，先确定每个待选组件在屏幕中所在的区域，然后判断第一坐标位于哪个待选组件所在的区域中，进而从多个待选组件中确定出与第一操作信息对应的目标组件。

通过本申请提供的方案，能从主控设备中的至少一个待选组件中筛选出与第一操作信息对应的目标组件，即确定出主控设备接收到的操作所对应的目标组件，以便随后在从控设备中，对目标组件执行操作，保证对从控设备执行与主控设备等效的操作。

基于上述实施例提供的方法，所述第一操作信息还包括：操作组件特征。

则参见图4a，上述步骤S22具体包括：

S224：识别所述主控设备的界面特征中的至少一个待选组件。

具体的，上述操作组件特征包括以下至少一项：组件id、文本信息、图像信息、叶节点。

其中，组件id也可称为控件id，是指一个组件的身份信息，在同一时刻，一个电子设备中的组件id往往是唯一的，通过组件id能够定位到电子设备中唯一一个相对应的组件。

上述文本信息可以是组件中包含的文本信息，例如，参见图4b，在文档编辑程序中，对编辑后的文档进行保存时，往往在屏幕中会弹出确认对话框，该对话框中可以包含有提示性的文字，如：“是否保存当前文件？”。在对话框中还往往包含有选项按键，如：“保存”、“取消”。其中，“是否保存当前文件？”、“保存”、“取消”均可视为组件中的文本信息，包含于操作组件特征中。

上述图像信息可以是指组件中包含的图像的相关信息，具体可以包括图像的尺寸、分辨率等属性信息，还可以包括图像的颜色、形状等特征信息。

当应用软件具有树形结构时，操作组件特征可以包括叶节点，该叶节点也可称为叶子节点，通过组件的叶节点可以查询与该组件相关联的父节点，进而查询到与该组件相关联的根节点，从而实现对组件的识别与定位。

本步骤识别主控设备的界面特征中的至少一个待选组件，具体可以是识别主控设备屏幕画面上显示的至少一个组件。

S225：根据所述操作组件特征和第一坐标，计算所述主控设备中至少一个待选组件与所述第一操作信息的匹配参数。

具体的，以对话框为例进行说明，对话框中包含两个选项按键，分别是“确认”选项和“取消”选项。当主控设备接收到对应于“确认”选项的触控操作时，第一操作信息中的操作组件特征中包含的文本信息可以为“确认”。

本步骤中，根据操作组件特征和第一坐标对屏幕中的组件进行筛选，现有两个待选组件，分别是“确认”选项和“取消”选项，根据第一操作信息中的第一坐标和文本信息分别计算这两个待选组件的匹配参数。

首先，判断第一坐标是否位于待选组件所在的区域中，经过判断可知，第一坐标在“确认”选项所在区域内，且在“取消”选项所在区域外。由此生成与坐标相关的匹配参数，“确认”选项的匹配参数可以为1，“取消”选项的匹配参数可以为0。

然后，判断文本信息与待选组件的文本信息是否对应，经过判断可知，文本信息“确认”与“确认”选项中的文本相对应，与“取消”选项中的文本不对应。由此生成与文本信息相关的匹配参数，“确认”选项的匹配参数可以为1，“取消”选项的匹配参数可以为0。

S226：根据所述匹配参数，从所述主控设备的界面特征中的至少一个待选组件中确定与所述第一操作信息对应的目标组件。

计算获得上述匹配参数之后，汇总上述两种匹配参数可知，“确认”选项的匹配参数较高，“取消”选项的匹配参数较低，因此，“确认”选项是与第一操作信息对应的目标组件。

需要说明的是，在实际操作过程中，匹配参数不限于本实例中所述的计算方式，还可以对第一操作信息中的多种操作组件特征的重要性进行预设，例如：组件id占匹配参数中的50％，文本信息占匹配参数中的20％，图像信息占匹配参数中的20％，叶节点占匹配参数中的10％，综合上述多种操作组件特征，计算得到至少一个待选组件与第一操作信息的匹配参数。

本步骤计算出主控设备中每个待选组件与第一操作信息的匹配参数，该匹配参数表征待选组件与操作信息的匹配度。

通过本申请提供的上述方法，能从主控设备的界面特征中的至少一个待选组件中确定出目标组件，该目标组件与第一操作信息相对应。具体的，根据至少一种操作组件特征，计算每个待选组件的匹配参数，能使确定的目标组件与操作组件特征相对应，进而保证确定出的目标组件与第一操作信息相对应。

从主控设备中确定目标组件之后，通过以下步骤对从控设备执行与主控设备等效的操作：

S23：根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标。

与主控设备同理，从控设备的界面特征可以包括至少一个待选组件，在从控设备中的至少一个待选组件中筛选出目标组件，随后确定该目标组件在从控设备中的第二坐标。

较优的，参见图5，本步骤S23，具体包括以下步骤：

S231：识别所述从控设备的界面特征中的至少一个待选组件。

具体的，从控设备的界面特征中的至少一个待选组件可以是从控设备屏幕中显示的至少一个待选组件。较优的，在屏幕中显示不完全的组件，也包含于从控设备的界面特征中的至少一个待选组件之内。

S232：将所述从控设备中至少一个待选组件中具有所述操作组件特征的组件确定为目标组件。

具体可以根据目标组件的组件id、文本信息、图像信息、叶节点等操作组件特征。对于安装在不同电子设备中的同一种应用程序，组件id往往是相同的，基于多种操作组件特征确定从控设备中的目标组件，能保证从控设备中的目标组件与上述步骤中主控设备中确定的目标组件一致。进而保证随后在从控设备上执行的操作与主控设备接收到的触控操作等效。

S233：确定所述目标组件在从控设备中的第二坐标。

通常情况下，目标组件位于从控设备屏幕中的部分区域，具体可以根据目标组件所占区域确定第二坐标。例如，将目标组件所占区域的中心点确定为第二坐标。

本申请提供的方案能在从控设备中的至少一个待选组件中确定出目标组件，并确定目标组件在从控设备中的坐标。以便随后对从控设备的第二坐标执行的操作能准确作用于目标组件。对于分辨率或屏幕尺寸不同的电子设备，本申请提供的方案能使从控设备接收到的触控操作与主控设备接收到的触控操作等效，避免主控设备接收到的指令与从控设备接收到的指令有差异的情况。

S24：在所述第二坐标所在位置执行与所述触控操作相对应的操作。

具体的，根据第一操作信息，在从控设备的第二坐标所在位置执行与触控操作相对应的操作。例如，当触控操作为点击操作时，在从控设备的第二坐标处执行点击操作，使从控设备接收到的触控指令与主控设备接收到的触控指令等效。当触控操作为滑动操作时，可以根据第一操作信息中记录的滑动起点与滑动终点，基于第二坐标执行滑动操作。

本申请提供的技术方案根据主控设备接收到的第一操作信息识别相对应的目标组件，确定目标组件在从控设备中的第二坐标，并在第二坐标所在位置执行与触控操作相对应的操作。通过上述方案，能使从控设备接收到与主控设备等效的操作，避免由于坐标体系不同导致从控设备接收到位点错误的操作指令，提高批量操作可靠性，有利于提高单次批量操作的从控设备的数量和种类，进而提高批量操作的效率。

基于上述实施例提供的方法，参见图6a，当与所述第一操作信息对应的目标组件包括多个子目标组件时，在上述步骤S22之后，还包括以下步骤：

S26：识别所述主控设备的目标组件中的多个待选子目标组件。

S27：确定与所述第一操作信息相对应的多个被选子目标组件以及所述多个被选子目标组件的触发顺序。

下面以手势密码为例说明本方案，对于部分应用软件，启动时需要进行手势密码认证，以认证用户身份，提高软件保密性。参见图6b，手势密码认证界面具体可以包括3行3列阵列排布的9个虚拟按键，用户可以通过滑动操作，依次触发多个虚拟按键，电子设备根据触发虚拟按键的顺序对用户身份进行验证。

在手势密码认证界面，手势密码键盘为第一操作信息对应的目标组件，手势密码键盘中的9个虚拟按键为主控设备的目标组件中的待选子目标组件。参见图6b所示的界面，待选子目标组件包括虚拟按键a-i共9个虚拟按键。用户输入的手势密码之后，主控设备接收到的第一操作信息可以包括虚拟按键的数量、顺序等信息。

具体的，用户输入的手势密码如图6c所示，主控设备接收到的第一操作信息可以包括“虚拟按键a→虚拟按键d→虚拟按键g→虚拟按键h”，另外，第一操作信息还可以包括被触发的虚拟按键的总数量、输入手势密码的时间等信息。

对于包含多个待选子目标组件的目标组件，本申请提供的方案能识别出主控设备的目标组件中的多个待选子目标组件，根据第一操作信息确定被选子目标组件以及触发顺序，以便随后在从控设备中的目标组件内，执行相同的触控操作，保证从控设备接收到的触控指令与主控设备接收到的触控指令等效。

基于上述实施例提供的方法，参见图7，上述步骤S23，具体包括以下步骤：

S235：识别所述从控设备的界面特征中的目标组件。

其中，从控设备的界面特征中可以包括多个待选组件，当目标组件是手势密码组件时，识别从控设备中的手势密码组件。具体的，本步骤可以识别从控设备中手势密码组件的位置、组件id等信息。

S236：识别所述从控设备中的目标组件中的多个待选子目标组件。

本步骤识别手势密码组件中包含的9个虚拟按键，具体的，可以识别每个虚拟按键的位置、每个虚拟按键的id等信息。

S237：根据所述第一操作信息从所述多个待选子目标组件中确定多个被选子目标组件，将所述多个被选子目标组件的坐标确定为第二坐标。

第一操作信息可以包括多个被选子目标组件，根据被选子目标组件的触发顺序生成第二坐标，第二坐标具体可以包括多个子坐标，每个子坐标与一个被选子目标组件相对应。

上述步骤S24具体包括：

S241：根据所述多个被选子目标组件的触发顺序，对所述多个被选子目标组件执行与所述触控操作相对应的操作。

根据多个被选子目标组件的触发顺序，依次对子坐标执行操作，使多个被选子目标组件依次触发，保证从控设备接收到的触控指令与主控设备接收到的触控指令等效。

本申请实施例在此示出了前述步骤的一种具体实现方式。当然，应理解，上述步骤也可以采用其它的方式实现，本申请实施例对此不作限制。

本申请提供一种操作控制装置80，参见图8，包括：

第一确定模块,81，确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；

第二确定模块82，根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；

第三确定模块83，根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；

执行模块84，在所述第二坐标所在位置执行与所述触控操作相对应的操作。

本申请提供的操作控制装置能根据主控设备接收到的第一操作信息识别相对应的目标组件，确定目标组件在从控设备中的第二坐标，并在第二坐标所在位置执行与触控操作相对应的操作。通过上述方案，能使从控设备接收到与主控设备等效的操作，避免由于坐标体系不同导致从控设备接收到位点错误的操作指令，提高批量操作可靠性，有利于提高单次批量操作的从控设备的数量和种类，进而提高批量操作的效率。

本发明实施例提供的装置还可执行图2-图7中的方法，并实现图2-图7所示实施例的功能，在此不再赘述。

本申请还提供一种操作控制系统，如图9a所示，包括：

上述操作控制装置80；

与所述操作控制装置连接的主控设备91和至少一个从控设备92；

所述操作控制装置80用于在所述至少一个从控设备92上执行与所述主控设备91接收到的操作相对应的操作。

本系统可以应用于硬件或软件测试，操作控制装置、主控设备以及从控设备之间可以采用有线或无线的方式连接。采用有线的连接方式能提高数据传输稳定性，避免无线连接存在的数据延迟等问题。

基于上述实施例提供的系统，较优的，参见图9b，该系统中还包括：

连接于所述操作控制装置80和所述至少一个从控设备92之间的上位机93；

所述上位机93用于收集连接的至少一个从控设备92的界面信息，并将所述操作控制装置80发送的指令下发至与所述指令相对应的从控设备92。

在图9b中，在操作控制装置与从控设备之间连接了一台上位机，实际上，根据上位机的性能，可以设置多台与操作控制装置连接的上位机，每台上位机连接有至少一台从控设备。其中，每台从控设备仅与一台上位机相连。本申请中所述的上位机可以是任何一种电子设备，具体可以是服务器、计算机等具有数据处理功能的电子设备。该上位机能在从控设备与操作控制装置之间传递数据，具体可以用于收集从控设备的数据上传至操作控制装置，还可以用于将操作控制装置下发的数据分发至从控设备。本申请中的上位机能降低操作控制装置处理的数据量，提高系统整体数据处理能力。

图10为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、以及电源1011等部件。本领域技术人员可以理解，图10中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器1010，用于确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；在所述第二坐标所在位置执行与所述触控操作相对应的操作。

本申请提供的技术方案根据主控设备接收到的第一操作信息识别相对应的目标组件，确定目标组件在从控设备中的第二坐标，并在第二坐标所在位置执行与触控操作相对应的操作。通过上述方案，能使从控设备接收到与主控设备等效的操作，避免由于坐标体系不同导致从控设备接收到位点错误的操作指令，提高批量操作可靠性，有利于提高单次批量操作的从控设备的数量和种类，进而提高批量操作的效率。

应理解的是，本发明实施例中，射频单元1001可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1010处理；另外，将上行的数据发送给基站。通常，射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元1001还可以通过无线通信系统与网络和其他设备通信。

移动终端通过网络模块1002为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1003还可以提供与移动终端1000执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。

输入单元1004用于接收音频或视频信号。输入单元1004可以包括图形处理器(Graphics Processing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1009(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。

移动终端1000还包括至少一种传感器1005，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度，接近传感器可在移动终端1000移动到耳边时，关闭显示面板10061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。

用户输入单元1007可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1010，接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071，用户输入单元1007还可以包括其他输入设备10072。具体地，其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板10071可覆盖在显示面板10061上，当触控面板10071检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图10中，触控面板10071与显示面板10061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板10071与显示面板10061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元1008为外部装置与移动终端1000连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端1000内的一个或多个元件或者可以用于在移动终端1000和外部装置之间传输数据。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1009可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1010是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器1009内的软件程序和/或模块，以及调用存储在存储器1009内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

移动终端1000还可以包括给各个部件供电的电源1011(比如电池)，优选的，电源1011可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，移动终端1000包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种移动终端，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的计算机程序，该计算机程序被处理器1010执行时实现上述一种操作控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种操作控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种操作控制方法，其特征在于，包括：

确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；

根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；

根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；

在所述第二坐标所在位置执行与所述触控操作相对应的操作。

2.如权利要求1所述的方法，其特征在于，根据所述主控设备的界面特征和所述第一坐标，确定所述第一操作信息在所述主控设备中对应的目标组件，具体包括：

识别所述主控设备的界面特征中的至少一个待选组件；

将所述至少一个待选组件中位于所述第一坐标所在位置的组件确定为与所述第一操作信息对应的目标组件。

3.如权利要求1所述的方法，其特征在于，所述第一操作信息还包括：操作组件特征；

根据所述主控设备的界面特征和所述第一坐标，确定所述第一操作信息在所述主控设备中对应的目标组件，具体包括：

识别所述主控设备的界面特征中的至少一个待选组件；

根据所述操作组件特征和第一坐标，计算所述主控设备中至少一个待选组件与所述第一操作信息的匹配参数；

根据所述匹配参数，从所述主控设备的界面特征中的至少一个待选组件中确定与所述第一操作信息对应的目标组件。

4.如权利要求3所述的方法，其特征在于，所述操作组件特征包括以下至少一项：组件id、文本信息、图像信息、叶节点。

5.如权利要求3所述的方法，其特征在于，根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标，具体包括：

识别所述从控设备的界面特征中的至少一个待选组件；

将所述从控设备中至少一个待选组件中具有所述操作组件特征的组件确定为目标组件；

确定所述目标组件在从控设备中的第二坐标。

6.如权利要求1所述的方法，其特征在于，当与所述第一操作信息对应的目标组件包括多个子目标组件时，

在根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件之后，还包括：

识别所述主控设备的目标组件中的多个待选子目标组件；

确定与所述第一操作信息相对应的多个被选子目标组件以及所述多个被选子目标组件的触发顺序。

7.如权利要求6所述的方法，其特征在于，

根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标，具体包括：

识别所述从控设备的界面特征中的目标组件；

识别所述从控设备中的目标组件中的多个待选子目标组件；

根据所述第一操作信息从所述多个待选子目标组件中确定多个被选子目标组件，将所述多个被选子目标组件的坐标确定为第二坐标；

在所述第二坐标所在位置执行与所述触控操作相对应的操作，具体包括：

根据所述多个被选子目标组件的触发顺序，对所述多个被选子目标组件执行与所述触控操作相对应的操作。

8.一种操作控制装置，其特征在于，包括：

第一确定模块，确定主控设备接收到的第一操作信息，所述第一操作信息包括接收到的触控操作的第一坐标；

第二确定模块，根据所述主控设备的界面特征和所述第一坐标，确定所述主控设备中与所述第一操作信息对应的目标组件；

第三确定模块，根据从控设备的界面特征，确定所述目标组件在所述从控设备中的第二坐标；

执行模块，在所述第二坐标所在位置执行与所述触控操作相对应的操作。

9.一种操作控制系统，其特征在于，包括：

如权利要求8所述的操作控制装置；

与所述操作控制装置连接的主控设备和至少一个从控设备；

所述操作控制装置用于在所述至少一个从控设备上执行与所述主控设备接收到的操作相对应的操作。

10.如权利要求9所述的系统，其特征在于，还包括：

连接于所述操作控制装置和所述至少一个从控设备之间的上位机；

所述上位机用于收集连接的至少一个从控设备的界面信息，并将所述操作控制装置发送的指令下发至与所述指令相对应的从控设备。