CN109871324B - 一种控件的操作方法和装置 - Google Patents

Abstract

本发明公开了一种控件的操作方法，包括：确定待测试应用中的辅助控件；根据位置关联关系，确定与辅助控件的位置关联的目标操作位置；在目标操作位置上，对目标操作位置对应的待测试控件执行点击操作。本发明实施例能够准确而快速地对需要测试的控件进行操作，从而提高应用自动化测试的效率。

Description

一种控件的操作方法和装置

技术领域

本发明涉及自动化测试领域，尤其涉及一种控件的操作方法和装置。

背景技术

在应用交付使用前，通常会通过应用测试来检查应用的性能。在进行应用测试时，可以利用测试工具，按照测试用例，在规定的条件下对被测试的应用进行操作，以发现应用错误，衡量应用质量，并对应用是否能满足设计要求进行评估。

另外，在应用自动化测试前会进行脚本录制，而在脚本录制过程中，会发现有些控件的控件信息是可动态变化的，而有些控件的控件信息是相对静态固定的，增加了应用自动化测试过程中对控件进行操作的难度。

因此，在应用自动化测试过程中，如何准确而快速地对需要测试的控件进行操作，以提高应用自动化测试的效率，成为亟待解决的技术问题。

发明内容

本发明实施例提供一种控件的操作方案，旨在对需要测试的控件进行准确而快速地操作，从而提升应用自动化测试的效率。

本发明实施例采用下述技术方案：

第一方面，本发明实施例提供一种控件的操作方法，包括：

确定待测试应用中的辅助控件；

根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作。

可选的，本申请第一方面提供的控件的操作方法中，所述根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置，包括：

获取所述辅助控件在终端设备的屏幕内对应的第一位置；

根据所述第一位置和所述位置关联关系，确定所述屏幕内的第二位置；

将所述第二位置确定为所述目标操作位置。

可选的，本申请第一方面提供的控件的操作方法中，所述第一位置为所述屏幕对应的直角坐标系内的第一坐标点；

其中，所述根据所述第一位置和所述位置关联关系，确定所述屏幕内的第二位置，包括：

根据所述第一坐标点和所述位置关联关系，确定所述直角坐标系内的第二坐标点；

将所述第二坐标点确定为所述第二位置。

可选的，本申请第一方面提供的控件的操作方法中，所述位置关联关系基于所述辅助控件对应的第一矩形区域的尺寸信息确定。

可选的，本申请第一方面提供的控件的操作方法中，所述第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，所述位置关联关系根据所述矩形长度、所述矩形宽度以及分别对应于所述矩形长度、所述矩形宽度的第一比例和第二比例确定。

可选的，本申请第一方面提供的控件的操作方法中，所述第二位置位于所述待测试控件在所述直角坐标系内对应的第二矩形区域内。

可选的，本申请第一方面提供的控件的操作方法中，所述辅助控件的控件信息在测试所述待测试应用的过程中发生变化的概率小于所述待测试控件的控件信息发生变化的概率。

可选的，本申请第一方面提供的控件的操作方法中，所述位置关联关系基于用户输入的设置指令确定。

可选的，本申请第一方面提供的控件的操作方法中，所述位置关联关系在所述待测试控件被选中时，基于所述辅助控件在包括所述待测试控件的截图中的位置确定。

第二方面，本发明实施例提供一种控件的操作装置，包括：

第一确定模块，用于确定待测试应用中的辅助控件；

第二确定模块，用于根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

操作模块，用于在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作。

可选的，本申请第二方面提供的控件的操作装置中，所述第二确定模块包括：

获取子模块，用于获取所述辅助控件在终端设备的屏幕内对应的第一位置；

第一确定子模块，用于根据所述第一位置和所述位置关联关系，确定所述屏幕内的第二位置；

第二确定子模块，用于将所述第二位置确定为所述目标操作位置。

可选的，本申请第二方面提供的控件的操作装置中，所述第一位置为所述屏幕对应的直角坐标系内的第一坐标点；

其中，所述第一确定子模块具体用于：

根据所述第一坐标点和所述位置关联关系，确定所述直角坐标系内的第二坐标点；

将所述第二坐标点确定为所述第二位置。

可选的，本申请第二方面提供的控件的操作装置中，所述位置关联关系基于所述辅助控件对应的第一矩形区域的尺寸信息确定。

可选的，本申请第二方面提供的控件的操作装置中，所述第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，所述位置关联关系根据所述矩形长度、所述矩形宽度以及分别对应于所述矩形长度、所述矩形宽度的第一比例和第二比例确定。

可选的，本申请第二方面提供的控件的操作装置中，所述第二位置位于所述待测试控件在所述直角坐标系内对应的第二矩形区域内。

可选的，本申请第二方面提供的控件的操作装置中，所述辅助控件的控件信息在测试所述待测试应用的过程中发生变化的概率小于所述待测试控件的控件信息发生变化的概率。

可选的，本申请第二方面提供的控件的操作装置中，所述位置关联关系基于用户输入的设置指令确定。

可选的，本申请第二方面提供的控件的操作装置中，所述位置关联关系在所述待测试控件被选中时，基于所述辅助控件在包括所述待测试控件的截图中的位置确定。

第三方面，本申请实施例提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

确定待测试应用中的辅助控件；

根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

确定待测试应用中的辅助控件；

根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作。

本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明实施例，在对待测试应用进行测试前，可以建立待测试应用中的辅助控件的位置与目标操作位置间的位置关联关系，则对待测试应用进行测试时，在确定该辅助控件的位置后，即可以根据位置关联关系确定能够执行点击操作的目标操作位置，从而实现对目标操作位置对应的待测试控件的操作。如此，通过辅助控件的已知的位置，根据位置关联关系查找能够对真正需要测试的控件进行有效的点击操作的目标操作位置，即将目标操作位置对应的控件作为真正需要操作的待测试控件，以实现对需要测试的控件准确而快速地操作，从而提升应用自动化测试的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例提供的一种控件的操作方法的流程示意图；

图2是本发明实施例提供的控件间的位置关系示意图；

图3是本发明实施例提供的一种控件的操作装置的结构示意图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于背景技术部分陈述的由于待测试应用中控件的控件信息的多样性，增加了应用自动化测试过程中控件查找的难度，也就是说，对于控件信息可动态变化的控件，比如说，由于测试待测试应用的终端设备的机型或终端设备所使用的操作系统版本的不同，会使待测试应用运行在不同场景下时，控件的控件信息与脚本录制时的不同，导致在应用自动化测试过程中，基于控件的控件信息不能查找到相应的控件，从而无法操作控件，影响应用自动化测试的效率。

因此，本发明实施例提供了一种控件的操作方案，以能够在应用自动化测试过程中，准确而快速地对需要测试的控件进行操作，从而提高应用自动化测试的效率。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图1是本发明实施例提供的一种控件的操作方法的流程示意图。

参见图1所示，本发明实施例提供的一种控件的操作方法，该方法可具体包括：

步骤S101：确定待测试应用中的辅助控件。

步骤S103：根据位置关联关系，确定与辅助控件的位置关联的目标操作位置。

步骤S105：在目标操作位置上，对目标操作位置对应的待测试控件执行点击操作。

本发明实施例，在对待测试应用进行测试前，可以建立待测试应用中的辅助控件的位置与目标操作位置间的位置关联关系，则对待测试应用进行测试时，在确定该辅助控件的位置后，即可以根据位置关联关系确定能够执行点击操作的目标操作位置，从而实现对目标操作位置对应的待测试控件的操作。如此，通过辅助控件的已知的位置，根据位置关联关系查找能够对真正需要测试的控件进行有效的点击操作的目标操作位置，即将目标操作位置对应的控件作为真正需要操作的待测试控件，以实现对需要测试的控件准确而快速地操作，从而提升应用自动化测试的效率。

可选的，本发明实施例中，上述辅助控件的控件信息在测试待测试应用的过程中发生变化的概率小于待测试控件的控件信息发生变化的概率。

可以理解，可以将待测试应用中控件信息不易发生变化的控件作为辅助控件，则在对待测试应用进行过程中，可以根据辅助控件的控件信息准确地确定其位置，进而可以根据辅助控件的位置和位置关联关系准确而快速地确定目标操作位置，以对目标操作位置对应的待测试控件进行有效的操作，提高对控件的操作效率。

其中，控件信息至少可以包括：ID(标识)、class(类型)、text(文本)、xpath(路径)和position(位置)。

当然，本发明实施例中的目标操作位置对应的待测试控件也可以为与辅助控件不同的、且在测试待测试应用的过程中发生变化的概率较小的其他控件。

以待测试应用为微信应用为例进行说明，不论微信应用运行在哪种机型的终端设备中或者使用哪个版本操作系统的终端设备中，其顶栏的

展开和收缩控件的控件信息基本不发生变化，以及其底栏的“微信”、“通信录”、“发现”和“我”等控件的控件信息基本不发生变化，而顶栏和底栏之间不同位置的控件信息发生变化的概率比较大，比如，进行脚本录制时，挨着顶栏的第一行位置的控件对应的为与A好友的聊天内容，而当刷新后显示的可能为与B好友的聊天内容，则在测试过程中查找控件信息对应A的控件时，则不易查找，因为其位置等的变动。

而当使用本发明实施例记载的控件的操作方案时，在测试过程中，可以根据已知的

控件的位置、以及

控件的位置与上述第一行位置间偏移的位置的关联关系，准确地确定第一行位置，进而可以对其当前对应的控件进行操作，实现对微信应用的测试，如此，通过准确地查找位置实现对待测试应用的控件的操作，高效而准确。

可选的，本发明实施例中，上述位置关系可以由与用于测试该待测试应用的终端设备建立通信连接的PC(Personal Computer，个人计算机)端，该PC端作为测试控制端可以通过连接多台终端设备，以实现在不同机型的终端设备或使用不同版本的操作系统的终端设备中的上述待测试应用的测试。具体的，位置关联关系的确定可以通过不同的方式实现，能够保证建立待测试应用中的辅助控件的位置与待测试应用中的目标操作位置间的关联关系的方案均可以落入本发明实施例的保护范围中。

可选的，在本发明的一个具体实施例中，上述位置关联关系基于用户输入的设置指令确定。

可以理解，本发明实施例中使用的位置关联关系，可以在测试脚本录制过程中，基于用户在PC端输入的设置指令确定，并可以在设置完进行验证，是否可以根据辅助控件的位置和当前设置的位置关联关系，确定目标操作位置，以保证位置关联关系设置的准确性和可靠性。

可选的，在本发明的另一个具体实施例中，上述位置关联关系在待测试控件被选中时，基于辅助控件在包括待测试控件的截图中的位置确定。

可以理解，本发明实施例中使用的位置关联关系，可以在测试脚本录制过程中，自动截取同时包括辅助控件和真正要操作的控件的图片，也就是说，在真正要操作的控件被选中时，根据已知的辅助控件在上述截取的图片中的位置计算该真正要操作的控件所在的位置，以作为目标操作位置，并建立二者间的关联关系，即通过程序自动计算确定，以在自动化测试过程中，准确而快速地根据辅助控件的位置和该位置关联关系，确定目标操作位置，进而可以对目标操作位置上的待测试控件进行操作。

可选的，本发明实施例中上述步骤S103，可以具体执行为如下内容：

获取辅助控件在终端设备的屏幕内对应的第一位置；

根据第一位置和位置关联关系，确定屏幕内的第二位置；

将第二位置确定为目标操作位置。

可以理解，考虑到，在终端设备上对待测试应用进行测试的过程中，待测试应用中需要测试的控件均可以在终端设备的屏幕范围内找到，则可以终端设备的屏幕作为参照，确定辅助控件的第一位置，进而根据该第一位置和位置关联关系，在同一屏幕内准确地确定对应的目标操作位置，高效而准确。

进一步可选的，本发明实施例中，可以采用坐标点的形式表示各控件在终端设备的屏幕内的位置。

具体的，第一位置为屏幕对应的直角坐标系内的第一坐标点；其中，上述根据第一位置和位置关联关系，确定第二位置的过程，可以具体执行为：

根据第一坐标点和位置关联关系，确定直角坐标系内的第二坐标点；

将第二坐标点确定为第二位置。

可以理解，在用屏幕对应的直角坐标系内的第一坐标点表示第一位置的情况下，位置关联关系可以表示为坐标间的计算关系，则进而可以根据该第一坐标点对应的坐标和坐标间的计算关系，计算出位于该直角坐标系内的一组横、纵坐标，以作为对应于第二位置的第二坐标点的坐标，从而将目标操作位置精确到具有相应横、纵坐标的点，以保证在目标操作位置上对待测试控件执行点击操作时，点击准确且有效，不会出现点击无反应的现象。

可选的，本发明实施例中，上述位置关联关系基于辅助控件对应的第一矩形区域的尺寸信息确定。

可以理解，考虑到，待测试应用中的控件通常呈现为矩形，则在确定控件对应的坐标点之间的位置关联关系时，可以基于辅助控件对应的第一矩形区域的尺寸信息进行确定，也就是说，在已知辅助控件对应的第一矩形区域的尺寸信息的情况下，基于其易量化等特点，则在相应的直角坐标系内可以方便的确定与辅助控件关联的坐标点的坐标。

可选的，本发明实施例中，上述第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，位置关联关系根据矩形长度、矩形宽度以及分别对应于矩形长度、矩形宽度的第一比例和第二比例确定。

可以理解，在基于辅助控件对应的第一矩形区域的尺寸信息，确定第一坐标点和第二坐标点间的位置关联关系时，可以具体根据第一坐标点所在的第一矩形区域的矩形长度及其对应的第一比例、第一矩形区域的矩形宽度及其对应的第二比例，也就是说，以辅助控件对应的第一矩形区域的长、宽为基准，计算第二坐标点与第一坐标点间的偏移量；如此，基于明确的已知量计算第二坐标点，可以确保第二坐标点的准确性和可靠性，从而可以准确确定可以用于对控件进行操作的目标操作位置。

可选的，本发明实施例中，上述第二位置位于待测试控件在直角坐标系内对应的第二矩形区域内。

可以理解，待测试控件在终端设备的屏幕对应的直角坐标系内对应的区域，可以呈现为矩形区域，如此，第一位置和第二位置均落入同一直角坐标系内对应的矩形区域中，从而基于相同的计量单位，便于确定第一位置和第二位置间的位置关联关系，高效而准确。

下面结合图2对本发明实施例中上述步骤S103描述的内容进行详细说明，具体以辅助控件在终端设备的屏幕对应的直角坐标系呈现为矩形的控件1、目标操作位置对应的待测试控件可以包括同一直角坐标系内分别呈现为矩形的控件2和控件3为例进行说明，即控件1的控件信息是相对固定的，为静态控件，控件2和控件3的控件信息相对易发生变化的，为动态控件，以通过不变静态控件1辅助定位目标操作位置，从而可以对目标操作位置对应的变化动态控件进行准确而高效的操作。

其中，可以在测试脚本录制的过程中，录制完对控件的点击步骤后，退出当前页并再次进入这一页，进行回放，发现点击操作无法正常执行，则再次录制控件的点击步骤后，对比前后两次录制时控件对应的控件信息，发现控件信息是不同的，已发生变化，则可以确定该控件为动态控件。

其中，如图2所示，以终端设备的屏幕的左上角为原点确定对应的直角坐标系，作为辅助控件的控件1，已知其左上角的第一坐标点(x₀,y₀)，且已知控件1对应的矩形区域的长度H和宽度W。

进一步地，可以根据第一坐标点(x₀,y₀)，结合基于控件1对应的矩形区域的长度H和宽度W以及分别与W、H对应的比例确定的位置关联关系，确定目标操作位置即第二坐标点(X₁,Y₁)，该目标操作位置对应的待测试控件为控件2，则在确定了该第二坐标点(X₁,Y₁)后，可以在该第二坐标点(X₁,Y₁)上对控件2执行点击操作，实现通过控件1辅助定位找到目标操作位置，进而对真正需要测试的控件2进行操作；其中，X₁可以表示为(x₀+a×W)以及Y₁可以表示为(y₀+b×H)，a与b分别表示与W、H对应的比例，取为常数。

同理，可以根据第一坐标点(x₀,y₀)，结合基于控件1对应的矩形区域的长度H和宽度W以及分别与W、H对应的比例确定的位置关联关系，确定目标操作位置即第二坐标点(X₂,Y₂)，该目标操作位置对应的待测试控件为控件3，则在确定了该第二坐标点(X₂,Y₂)后，可以在该第二坐标点(X₂,Y₂)上对控件3执行点击操作，实现通过控件1辅助定位找到目标操作位置，进而对真正需要测试的控件3进行操作；其中，X₂可以表示为(x₀+c×W)以及Y₂可以表示为(y₀+d×H)，c与d分别表示与W、H对应的比例，取为常数。

另外，由图2可知，控件2和控件3在终端设备的屏幕内对应的呈现为矩形区域，且第二坐标点(X₁,Y₁)、(X₂,Y₂)位于相应的矩形区域内。

图3是本发明实施例提供的一种控件的操作装置的结构示意图。

参见图3所示，该装置可具体包括：第一确定模块301、第二确定模块303和操作模块305，其中：

第一确定模块301，用于确定待测试应用中的辅助控件；

第二确定模块303，用于根据位置关联关系，确定与辅助控件的位置关联的目标操作位置；

操作模块305，用于在目标操作位置上，对目标操作位置对应的待测试控件执行点击操作。

优选的，本发明实施例提供的控件的操作装置中，上述第二确定模块303可具体包括：

获取子模块，用于获取辅助控件在终端设备的屏幕内对应的第一位置；

第一确定子模块，用于根据第一位置和位置关联关系，确定屏幕内的第二位置；

第二确定子模块，用于将第二位置确定为目标操作位置。

优选的，本发明实施例提供的控件的操作装置中，第一位置为屏幕对应的直角坐标系内的第一坐标点；

其中，第一确定子模块具体用于：

根据第一坐标点和位置关联关系，确定直角坐标系内的第二坐标点；

将第二坐标点确定为第二位置。

优选的，本发明实施例提供的控件的操作装置中，位置关联关系基于辅助控件对应的第一矩形区域的尺寸信息确定。

优选的，本发明实施例提供的控件的操作装置中，第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，位置关联关系根据矩形长度、矩形宽度以及分别对应于矩形长度、矩形宽度的第一比例和第二比例确定。

优选的，本发明实施例提供的控件的操作装置中，第二位置位于待测试控件在直角坐标系内对应的第二矩形区域内。

优选的，本发明实施例提供的控件的操作装置中，辅助控件的控件信息在测试待测试应用的过程中发生变化的概率小于待测试控件的控件信息发生变化的概率。

可选的，本发明实施例提供的控件的操作装置中，位置关联关系基于用户输入的设置指令确定。

可选的，本发明实施例提供的控件的操作装置中，位置关联关系在待测试控件被选中时，基于辅助控件在包括待测试控件的截图中的位置确定。

可见，本发明实施例，在对待测试应用进行测试前，可以建立待测试应用中的辅助控件的位置与目标操作位置间的位置关联关系，则对待测试应用进行测试时，在确定该辅助控件的位置后，即可以根据位置关联关系确定能够执行点击操作的目标操作位置，从而实现对目标操作位置对应的待测试控件的操作。如此，通过辅助控件的已知的位置，根据位置关联关系查找能够对真正需要测试的控件进行有效的点击操作的目标操作位置，即将目标操作位置对应的控件作为真正需要操作的待测试控件，以实现对需要测试的控件准确而快速地操作，从而提升应用自动化测试的效率。

另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。而且，应当注意的是，在本发明的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合。

图4为实现本发明各个实施例的一种电子设备的硬件结构示意图。

参见图4，该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解，图4中示出的电子设备400结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备400包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器410，用于执行以下过程：

确定待测试应用中的辅助控件；

根据位置关联关系，确定与辅助控件的位置关联的目标操作位置；

在目标操作位置上，对目标操作位置对应的待测试控件执行点击操作。

本发明实施例，在对待测试应用进行测试前，可以建立待测试应用中的辅助控件的位置与目标操作位置间的位置关联关系，则对待测试应用进行测试时，在确定该辅助控件的位置后，即可以根据位置关联关系确定能够执行点击操作的目标操作位置，从而实现对目标操作位置对应的待测试控件的操作。如此，通过辅助控件的已知的位置，根据位置关联关系查找能够对真正需要测试的控件进行有效的点击操作的目标操作位置，即将目标操作位置对应的控件作为真正需要操作的待测试控件，以实现对需要测试的控件准确而快速地操作，从而提升应用自动化测试的效率。

应理解的是，本发明实施例中，射频单元401可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器410处理；另外，将上行的数据发送给基站。通常，射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元401还可以通过无线通信系统与网络和其他设备通信。

电子设备400通过网络模块402为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元403还可以提供与电子设备400执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。

输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元406上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。

电子设备400还包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板4061的亮度，接近传感器可在电子设备400移动到耳边时，关闭显示面板4061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元406可包括显示面板4061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板4061。

用户输入单元407可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器410，接收处理器410发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071，用户输入单元407还可以包括其他输入设备4072。具体地，其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板4071可覆盖在显示面板4061上，当触控面板4071检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图4中，触控面板4071与显示面板4061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板4071与显示面板4061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元408为外部装置与电子设备400连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备400内的一个或多个元件或者可以用于在电子设备400和外部装置之间传输数据。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器409可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器410是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器409内的软件程序和/或模块，以及调用存储在存储器409内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器410可包括一个或多个处理单元；优选的，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

电子设备400还可以包括给各个部件供电的电源411(比如电池)，优选的，电源411可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备400包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器410，存储器409，存储在存储器409上并可在所述处理器410上运行的计算机程序，该计算机程序被处理器410执行时实现上述控件的操作方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述控件的操作方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (5)

1.一种控件的操作方法，其特征在于，包括：

确定待测试应用中的辅助控件；

根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作；

其中，所述根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置，包括：

获取所述辅助控件在终端设备的屏幕内对应的第一位置；

根据所述第一位置和所述位置关联关系，确定所述屏幕内的第二位置；

将所述第二位置确定为所述目标操作位置；

所述第一位置为所述屏幕对应的直角坐标系内的第一坐标点；

其中，所述根据所述第一位置和所述位置关联关系，确定所述屏幕内的第二位置，包括：

根据所述第一坐标点和所述位置关联关系，确定所述直角坐标系内的第二坐标点；

将所述第二坐标点确定为所述第二位置；

所述位置关联关系基于所述辅助控件对应的第一矩形区域的尺寸信息确定；

所述第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，所述位置关联关系根据所述矩形长度、所述矩形宽度以及分别对应于所述矩形长度、所述矩形宽度的第一比例和第二比例确定；

所述第二位置位于所述待测试控件在所述直角坐标系内对应的第二矩形区域内；

根据第一坐标点所在的第一矩形区域的矩形长度及其对应的第一比例、第一矩形区域的矩形宽度及其对应的第二比例，也就是说，以辅助控件对应的第一矩形区域的长、宽为基准，计算第二坐标点与第一坐标点间的偏移量。

2.根据权利要求1所述方法，其特征在于，

所述辅助控件的控件信息在测试所述待测试应用的过程中发生变化的概率小于所述待测试控件的控件信息发生变化的概率。

3.根据权利要求1或2所述方法，其特征在于，

所述位置关联关系基于用户输入的设置指令确定。

4.根据权利要求1或2所述方法，其特征在于，

所述位置关联关系在所述待测试控件被选中时，基于所述辅助控件在包括所述待测试控件的截图中的位置确定。

5.一种控件的操作装置，其特征在于，包括：

第一确定模块，用于确定待测试应用中的辅助控件；

第二确定模块，用于根据位置关联关系，确定与所述辅助控件的位置关联的目标操作位置；

操作模块，用于在所述目标操作位置上，对所述目标操作位置对应的待测试控件执行点击操作；

其中，所述第二确定模块具体包括：

获取子模块，用于获取辅助控件在终端设备的屏幕内对应的第一位置；

第一确定子模块，用于根据第一位置和位置关联关系，确定屏幕内的第二位置；

第二确定子模块，用于将第二位置确定为目标操作位置；

所述第一位置为屏幕对应的直角坐标系内的第一坐标点；

其中，第一确定子模块具体用于：

根据第一坐标点和位置关联关系，确定直角坐标系内的第二坐标点；

将第二坐标点确定为第二位置；

所述位置关联关系基于辅助控件对应的第一矩形区域的尺寸信息确定；

所述第一矩形区域的尺寸信息包括矩形长度和矩形宽度；

其中，位置关联关系根据矩形长度、矩形宽度以及分别对应于矩形长度、矩形宽度的第一比例和第二比例确定；

所述第二位置位于待测试控件在直角坐标系内对应的第二矩形区域内；

根据第一坐标点所在的第一矩形区域的矩形长度及其对应的第一比例、第一矩形区域的矩形宽度及其对应的第二比例，也就是说，以辅助控件对应的第一矩形区域的长、宽为基准，计算第二坐标点与第一坐标点间的偏移量。

Images