CN109408367A - 一种识别交互界面的控件元素的方法及终端 - Google Patents
一种识别交互界面的控件元素的方法及终端 Download PDFInfo
- Publication number
- CN109408367A CN109408367A CN201811021412.8A CN201811021412A CN109408367A CN 109408367 A CN109408367 A CN 109408367A CN 201811021412 A CN201811021412 A CN 201811021412A CN 109408367 A CN109408367 A CN 109408367A
- Authority
- CN
- China
- Prior art keywords
- control element
- target
- information
- relative position
- relative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Abstract
本发明适用于计算机技术领域，提供了一种识别交互界面的控件元素的方法及终端，该方法包括：获取待测试的人机交互界面UI的信息，以及确定UI中待识别的目标控件元素；UI的信息包括UI的唯一界面标识；根据UI的信息获取用于辅助定位的参考控件元素的位置信息；参考控件元素具有唯一的控件标识；根据参考控件元素的位置信息确定目标控件元素相对于参考控件元素的目标相对位置信息；基于参考控件元素与UI的各控件元素之间的相对位置信息、目标相对位置信息，识别目标控件元素。本发明实施例，参考控件元素具有唯一的控件标识，根据目标控件元素相对于参考控件元素的目标相对位置能够唯一确定目标控件元素，能够提高识别准确度。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种识别交互界面的控件元素的方法及终端。
背景技术
开发人员在开发出移动终端的应用程序(Application，App)的人机交互界面(User Interface，UI)之后，通常需要对UI进行测试，测试UI是否能够实现预设功能。一个UI通常由多个控件元素组成，在UI测试过程中，需要识别UI的控件元素。现有技术中，通常是通过控件元素的身份标识(ID)、名称以及类型进行识别；或者基于控件在屏幕上的可扩展标记语言路径语言(Xml Path Language，XPath)的绝对路径与相对路径进行识别。其中，XPath是一种用来确定可扩展标记语言(Extensible Markup Language，XML)文档中某部分位置的语言。XPath使用路径表达式来选取XML文档中的节点或者节点集，路径表达式是从一个XML节点(当前的上下文节点)到另一个节点、或一组节点的书面步骤顺序。
现有技术中，在识别UI的控件元素存在以下几个问题：
1、当控件元素没有ID与名称时，无法识别控件元素；
2、重复的控件元素ID与类型及名称导致无法准确识别控件元素；
3、控件元素在不同的显示设备的显示屏显示时，其Xpath绝对路径与相对路径可能不一样，也无法唯一识别。
发明内容
有鉴于此，本发明实施例提供了一种识别交互界面的控件元素的方法及终端，以解决现有技术中，在测试App的UI时无法准确识别UI的控件元素的问题。
本发明实施例的第一方面提供了一种识别交互界面的控件元素的方法，包括：
获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
本发明实施例的第二方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
实施本发明实施例提供的一种识别交互界面的控件元素的方法及终端具有以下有益效果：
本发明实施例，通过确定当前的UI中待识别的目标控件元素与用于辅助定位的参考控件元素之间的相对位置信息；基于参考控件元素与UI的各控件元素之间的相对位置信息、目标相对位置信息，对目标控件元素进行识别。由于用于辅助定位的参考控件元素具有唯一的控件标识，参考控件元素与UI的其他各控件元素之间的相对位置是确定的，这样根据目标相对位置就能够唯一确定目标控件元素并对其进行准确识别，以避免因控件元素没有唯一ID或在不同的显示设置上显示时，其相对路径或绝对路径发生变化，而无法识别的情况，能够提高UI中识别控件元素的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种识别交互界面的控件元素的方法的实现流程图；
图2是本发明另一实施例提供的一种识别交互界面的控件元素的方法的实现流程图；
图3是本发明一实施例提供的一种终端的示意图；
图4是本发明另一实施例提供的一种终端的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参见图1，图1是本发明实施例提供的一种识别交互界面的控件元素的方法的实现流程图。本实施例中识别交互界面的控件元素的方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是台式电脑等。如图所示的识别交互界面的控件元素的方法可包括：
S101：获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识。
终端运行测试应用程序的人机交互界面的测试脚本文件，获取终端内已安装的应用程序的包名，调用应用程序的管理器获取正在运行的应用程序的包名集合，将该包名集合中的第一个包名对应的应用程序识别为当前正在前台运行的应用程序，并获取在前台运行的应用程序的人机交互界面(User Interface，UI)的信息。UI的信息包括UI的唯一界面标识，UI的唯一界面标识用于获取该人机交互界面包含的控件元素的相关信息。
每一个人机交互界面中均包括至少两个控件元素，且至少有一个控件元素具有唯一控件标识。唯一控件标识是控件元素的身份标识。
终端获取通过运行中的测试脚本文件模拟人工操控的控件元素，将当前模拟人工操控的控件元素识别为待识别的控件元素。
S102：根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识。
终端根据获取到的UI的信息中包含的UI的唯一界面标识，从数据库中查找与该UI的唯一界面标识关联的唯一控件标识，并获取与该唯一控件标识关联的用于辅助定位的参考控件元素的位置信息。该参考控件元素的唯一控件标识是该人机交互界面中用于辅助定位的控件元素的标识，以使得在识别待识别的控件元素的过程中，能够通过具有唯一控件标识的控件元素作为参照物，辅助确定待识别的目标相对于参考控件元素的目标相对位置信息，从而识别目标控件元素。用于辅助定位的参考控件元素的位置信息是指参考控件元素在终端的显示屏中的位置信息。
具体地，数据库中预先存储有终端预先配置并存储的唯一界面标识与唯一控件标识之间的关联关系、与唯一控件标识关联的控件元素的信息、以及唯一界面标识对应的人机交互界面包含的所有控件元素的信息，人机交互界面包含的所有控件元素的信息通过唯一界面标识进行关联。
终端在获取到人机交互界面的唯一界面标识时，基于该唯一界面标识以及数据库中存储的唯一界面标识与唯一控件标识之间的关联关系，获取与该唯一界面标识关联唯一控件标识，并根据获取到的唯一控件标识获取与该唯一控件标识关联的控件元素的信息，得到参考控件元素的信息，并从参考控件元素的信息中获取参考控件元素的位置信息。参考控件元素的信息包括但不限于参考控件元素的唯一控件标识、位置信息以及可实现的功能等。
其中，当获取到至少两个唯一控件标识的数量为至少两个时，可以从中选一个唯一控件标识对应的控件元素作为用于辅助定位的控件元素，也可以将所有的唯一控件标识对应的控件元素都作为用于辅助定位的控件元素。
S103：根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息。
终端根据用于辅助定位的参考控件元素的位置信息，以及待识别的目标控件元素当前在显示屏中所处的位置，确定目标控件元素相对于用于辅助定位的参考控件元素的相对位置信息。参考控件元素以及目标控件元素的位置均以其中心的位置为原点。
S104：基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
终端基于数据库中存储的每个UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息，查找与UI的唯一界面标识匹配的用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息，得到该UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息。每个相对位置信息关联有控件元素的信息，即控件元素对应的相对位置信息与控件元素的信息相关联，以使得终端在某控件元素的相对位置信息之后，能够获取与该相对位置信息关联的控件元素的信息。
终端基于待识别的目标控件元素对应的目标相对位置信息、当前UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息，确定目标相对位置信息相对应的控件元素，并获取目标相对位置信息相对应的控件元素的信息，从而得到目标控件元素的信息。其中，目标相对位置信息相对应的控件元素为目标控件元素。目标控件元素的信息包括但不限于部门控件元素的控件标识、可实现的功能等。
本发明实施例，通过确定当前的UI中待识别的目标控件元素与用于辅助定位的参考控件元素之间的相对位置信息；基于参考控件元素与UI的各控件元素之间的相对位置信息、目标相对位置信息，对目标控件元素进行识别。由于用于辅助定位的参考控件元素具有唯一的控件标识，参考控件元素与UI的其他各控件元素之间的相对位置是确定的，这样根据目标相对位置就能够唯一确定目标控件元素并对其进行准确识别，以避免因控件元素没有唯一ID或在不同的显示设置上显示时，其相对路径或绝对路径发生变化，而无法识别的情况，能够提高UI中识别控件元素的准确性。
请参见图2，图2是本发明另一实施例提供的一种识别交互界面的控件元素的方法的实现流程图。本实施例中识别交互界面的控件元素的方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是台式电脑等。本实施例中识别交互界面的控件元素的方法的执行主体为终端。如图所示的识别交互界面的控件元素的方法可包括：
S201：获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识。
本实施例中S201与上一实施例中的S101相同，具体请参阅上一实施例中S101的相关描述，此处不赘述。
S202：根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识。
本实施例中S202与上一实施例中的S102相同，具体请参阅上一实施例中S102的相关描述，此处不赘述。
S203：根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息。
终端根据用于辅助定位的参考控件元素的位置信息，以及待识别的目标控件元素当前在显示屏中所处的位置，确定目标控件元素相对于用于辅助定位的参考控件元素的相对位置信息。参考控件元素以及目标控件元素的位置均以其中心的位置为原点。
目标相对位置信息可以为目标相对方位信息，也可以为目标相对位置偏移量。
目标相对方位信息用于标识待识别的目标控件元素相对于用于辅助定位的参考控件元素所处的方位。例如，待识别的控件元素在用于辅助定位的参考控件元素的上方、下方、左边、右边。当用于辅助定位的参考控件元素的某个方位存在至少两个待识别的控件元素时，相对方位信息还可以包括待识别的目标控件元素的中心与辅助定位的参考控件元素的中心之间的连线与水平方向所成的角度。
进一步地，当目标相对位置信息为目标相对位置偏移量时，S203具体包括：根据所述参考控件元素对应的图片包含的像素点以及所述目标控件元素对应的图片包含的像素点，确定所述目标控件元素相对于所述参考控件元素的目标相对位置偏移量；其中，所述目标相对位置偏移量包括高度偏移量以及宽度偏移量。相对位置偏移量具有方向指向。可以理解的是，在其他实施例中，目标相对位置偏移量也可以为一向量。
相对位置偏移量包括相对于参考控件元素在竖直方向上的高度的偏移量以及相对于参考控件元素在水平方向上的宽度的偏移量。控件元素的宽度以及高度根据控件元素对应的图片的像素点进行确定。其中，控件元素的高度根据在竖直方向上控件元素对应的图片的首端与末端之间的像素点的个数以及一个像素点所占的宽度值计算得到；控件元素的宽度根据在水平方向上控件元素对应的图片的首端与末端之间的像素点的个数以及一个像素点所占的宽度值计算得到。
终端在获取到唯一控件标识对应的参考控件元素的中心点在显示屏中的坐标时，获取参考控件元素的高度信息以及宽度信息，并获取待识别的目标控件元素的中心点的坐标，根据待识别的目标控件元素在中心点的上方或下方、在水平方向以及竖直方向各自所占的像素点的数量，确定目标控件元素相对于参考控件元素在水平方向以及竖直方向上的偏移量。
S204：基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
终端基于数据库中存储的每个UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息、待测试的UI的唯一界面标识，查找与该UI的唯一界面标识匹配的用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息，得到该UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息。每个相对位置信息关联有控件元素的信息，即控件元素对应的相对位置信息与控件元素的信息相关联，以使得终端在某控件元素的相对位置信息之后，能够获取与该相对位置信息关联的控件元素的信息。
终端基于待识别的目标控件元素对应的目标相对位置信息、当前UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置信息，确定目标相对位置信息相对应的控件元素，并获取目标相对位置信息相对应的控件元素的信息，从而得到目标控件元素的信息。其中，目标相对位置信息相对应的控件元素为目标控件元素。目标控件元素的信息包括但不限于部门控件元素的控件标识、可实现的功能等。
进一步地，当UI中包含的控件元素较少时，为了提高识别目标控件元素的效率，可以选取与所有控件元素相邻的控件元素作为用于辅助定位的参考控件元素，目标相对位置信息可以标识目标控件元素相对于参考控件元素的方位信息(例如，待识别的控件元素在用于辅助定位的参考控件元素的上方、下方、左边、右边)。具体地，当目标相对位置信息为目标相对方位信息时，S204具体为：基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对方位信息、所述目标相对方位信息，识别所述目标控件元素。
终端基于数据库中存储的每个UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对方位信息、待测试的UI的唯一界面标识，查找与该UI的唯一界面标识匹配的用于辅助定位的参考控件元素，并获取该参考控件元素与UI中各控件元素之间的相对方位信息。
终端在获取到用于辅助定位的参考控件元素的位置信息时，通过测试脚本文件获取待识别的目标控件元素相对于参考控件元素的目标相对方位信息，根据参考控件元素与UI中各控件元素之间的相对方位信息，获取与目标相对方位信息匹配的控件元素，并将匹配的控件元素识别为目标控件元素，从数据库中获取该目标控件元素的信息。
进一步地，为了提高识别目标控件元素的准确度，目标相对位置信息可以标识目标控件元素相对于参考控件元素的相对位置偏移量。具体地，当目标相对位置信息为目标相对位置偏移量时，S204具体为：基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对位置偏移量、所述目标相对位置偏移量，识别所述目标控件元素。
终端基于数据库中存储的每个UI中用于辅助定位的参考控件元素与UI中各控件元素之间的相对位置偏移量、待测试的UI的唯一界面标识，查找与该UI的唯一界面标识匹配的用于辅助定位的参考控件元素，并获取该参考控件元素与UI中各控件元素之间的相对位置偏移量。每个相对位置偏移量关联有控件元素的信息。目标相对位置偏移量包括目标控件元素相对于参考控件元素在水平方向的偏移量以及竖直方向上的偏移量。
终端在参考控件元素与UI中各控件元素之间的相对位置偏移量时，根据参考控件元素与UI中各控件元素之间的相对位置偏移量，获取与目标相对位置偏移量匹配的控件元素，根据每个相对位置偏移量各自对应的控件元素的信息，获取匹配的控件元素的信息，从而得到目标控件元素的信息。
在另一实施方式中，终端在获取到参考控件元素的中心点在显示屏中的坐标，且获取到目标控件元素相对于参考控件元素在水平方向的偏移量以及竖直方向上的偏移量时，根据在水平方向的偏移量、在竖直方向上的偏移量、参考控件元素的高度信息以及宽度信息、参考控件元素的中心点的坐标，确定目标控件元素的坐标，之后，基于数据库中控件元素的坐标与控件元素的信息之间的关联关系、目标控件元素的坐标，获取与目标控件元素的坐标匹配的控件元素的信息，得到目标控件元素的信息。
例如，待识别的目标控件元素为A，A在屏幕上的坐标点为(x，y)；在A的左边有一个有唯一控件标识的控件元素B，B的坐标点为(80,90)、高度为100、宽度为200；假定A相对于B在x轴的偏移量为B宽度的10％(200*10％)即x＝(80+200*10％)，因为两个控件都在同一水平位置，所以y是不变的即y＝90，所以A的坐标为(100,90)。
S205：获取所述目标控件元素的测试参数，根据所述测试参数对所述目标控件元素进行测试。
终端在根据目标控件元素的目标相对位置信息获取到与目标相对位置信息关联的目标控件元素的信息时，从目标控件元素的信息中获取目标控件元素的测试参数。测试参数包括在测试UI的过程中，需要模拟人工操作输入或选择的信息。
例如，当目标控件元素为登录界面中用于输入登录信息的输入框，终端从数据库中获取该登入界面中该输入框对应的预存的登录信息，并模拟人工操作，在该输入框中输入登录信息，模拟人工操作触发登录指令，以测试该通过输入框输入的登录信息是否能够成功登录。此时，预存的登录信息即为测试参数。
本发明实施例，通过确定当前的UI中待识别的目标控件元素与用于辅助定位的参考控件元素之间的相对位置信息；基于参考控件元素与UI的各控件元素之间的相对位置信息、目标相对位置信息，对目标控件元素进行识别。由于用于辅助定位的参考控件元素具有唯一的控件标识，参考控件元素与UI的其他各控件元素之间的相对位置是确定的，这样根据目标相对位置就能够唯一确定目标控件元素并对其进行准确识别，以避免因控件元素没有唯一ID或在不同的显示设置上显示时，其相对路径或绝对路径发生变化，而无法识别的情况，能够提高UI中识别控件元素的准确性。
终端通过获取与目标相对位置信息关联的目标控件元素的信息，并从中获取目标控件元素的测试参数，以通过测试参数验证目标控件元素的功能。由于测试参数是由目标控件元素的目标相对位置信息获取得到，能够保证获取到的测试参数的准确性，通过准确的测试参数进行验证，能够保证测试结果的准确度以及可信度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
请参阅图3，图3是本发明一实施例提供的一种终端的示意图。终端包括的各单元用于执行图1～图2对应的实施例中的各步骤。具体请参阅图1～图2各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图3，终端3包括：
第一获取单元310，用于获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
第二获取单元320，用于根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
确定单元330，用于根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
识别单元340，用于基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
进一步地，所述目标相对位置信息为目标相对方位信息，识别单元340具体用于：基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对方位信息、所述目标相对方位信息，识别所述目标控件元素。
进一步地，所述目标相对位置信息为目标相对位置偏移量；基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对位置偏移量、所述目标相对位置偏移量，识别所述目标控件元素。
进一步地，确定单元330具体用于：根据所述参考控件元素对应的图片包含的像素点以及所述目标控件元素对应的图片包含的像素点，确定所述目标控件元素相对于所述参考控件元素的目标相对位置偏移量；其中，所述目标相对位置偏移量包括高度偏移量以及宽度偏移量。
可选地，终端还可以包括：
测试单元350，用于获取所述目标控件元素的测试参数，根据所述测试参数对所述目标控件元素进行测试。
图4是本发明另一实施例提供的一种终端的示意图。如图4所示，该实施例的终端4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个终端的识别交互界面的控件元素的方法实施例中的步骤，例如图1所示的S101至S104。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元310至340功能。
示例性的，所述计算机程序42可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端4中的执行过程。例如，所述计算机程序42可以被分割成第一获取单元、第二获取单元、确定单元以及识别单元，各单元具体功能如上所述。
所述终端可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端4的示例，并不构成对终端4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出终端、网络接入终端、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端4的内部存储单元，例如终端4的硬盘或内存。所述存储器41也可以是所述终端4的外部存储终端，例如所述终端4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端4的内部存储单元也包括外部存储终端。所述存储器41用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种识别交互界面的控件元素的方法，其特征在于，包括：
获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
2.根据权利要求1所述的方法，其特征在于，所述目标相对位置信息为目标相对方位信息；所述基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素，包括：
基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对方位信息、所述目标相对方位信息，识别所述目标控件元素。
3.根据权利要求1所述的方法，其特征在于，所述目标相对位置信息为目标相对位置偏移量；所述基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素，包括：
基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对位置偏移量、所述目标相对位置偏移量，识别所述目标控件元素。
4.根据权利要求3所述的方法，其特征在于，所述根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息，包括：
根据所述参考控件元素对应的图片包含的像素点以及所述目标控件元素对应的图片包含的像素点，确定所述目标控件元素相对于所述参考控件元素的目标相对位置偏移量；其中，所述目标相对位置偏移量包括高度偏移量以及宽度偏移量。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素之后，还包括：
获取所述目标控件元素的测试参数，根据所述测试参数对所述目标控件元素进行测试。
6.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取待测试的人机交互界面UI的信息，以及确定所述UI中待识别的目标控件元素；其中，所述UI的信息包括所述UI的唯一界面标识；
根据所述UI的信息获取用于辅助定位的参考控件元素的位置信息；所述参考控件元素具有唯一的控件标识；
根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息；
基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素。
7.根据权利要求6所述的终端，其特征在于，所述目标相对位置信息为目标相对方位信息；所述基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素，包括：
基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对方位信息、所述目标相对方位信息，识别所述目标控件元素。
8.根据权利要求6所述的终端，其特征在于，所述目标相对位置信息为目标相对位置偏移量；所述基于所述参考控件元素与所述UI的各控件元素之间的相对位置信息、所述目标相对位置信息，识别所述目标控件元素，包括：
基于所述UI包含的各控件元素与所述参考控件元素之间预设的相对位置偏移量、所述目标相对位置偏移量，识别所述目标控件元素。
9.根据权利要求8所述的终端，其特征在于，所述根据所述参考控件元素的位置信息确定所述目标控件元素相对于所述参考控件元素的目标相对位置信息，包括：
根据所述参考控件元素对应的图片包含的像素点以及所述目标控件元素对应的图片包含的像素点，确定所述目标控件元素相对于所述参考控件元素的目标相对位置偏移量；其中，所述目标相对位置偏移量包括高度偏移量以及宽度偏移量。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811021412.8A CN109408367A (zh) | 2018-09-03 | 2018-09-03 | 一种识别交互界面的控件元素的方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811021412.8A CN109408367A (zh) | 2018-09-03 | 2018-09-03 | 一种识别交互界面的控件元素的方法及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109408367A true CN109408367A (zh) | 2019-03-01 |
Family
ID=65463885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811021412.8A Withdrawn CN109408367A (zh) | 2018-09-03 | 2018-09-03 | 一种识别交互界面的控件元素的方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109408367A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209572A (zh) * | 2019-05-06 | 2019-09-06 | 深圳法大大网络科技有限公司 | 用户界面测试方法、用户界面测试系统及终端 |
| CN110704320A (zh) * | 2019-09-27 | 2020-01-17 | 京东数字科技控股有限公司 | 控件操作方法及装置 |
| CN110990264A (zh) * | 2019-11-11 | 2020-04-10 | 中国建设银行股份有限公司 | Ui自动化测试的元素识别方法、装置、设备及存储介质 |
| CN111124903A (zh) * | 2019-12-16 | 2020-05-08 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111581091A (zh) * | 2020-04-30 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN111858331A (zh) * | 2020-07-16 | 2020-10-30 | 安徽听见科技有限公司 | 前端控件覆盖度检测方法、装置以及设备 |
| CN112231032A (zh) * | 2019-12-10 | 2021-01-15 | 北京来也网络科技有限公司 | 结合rpa与ai的软件界面元素的访问方法及装置 |
| CN117873907A (zh) * | 2024-03-12 | 2024-04-12 | 麒麟软件有限公司 | 控件元素测试方法、装置及存储介质 |
-
2018
- 2018-09-03 CN CN201811021412.8A patent/CN109408367A/zh not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209572A (zh) * | 2019-05-06 | 2019-09-06 | 深圳法大大网络科技有限公司 | 用户界面测试方法、用户界面测试系统及终端 |
| CN110704320A (zh) * | 2019-09-27 | 2020-01-17 | 京东数字科技控股有限公司 | 控件操作方法及装置 |
| CN110990264A (zh) * | 2019-11-11 | 2020-04-10 | 中国建设银行股份有限公司 | Ui自动化测试的元素识别方法、装置、设备及存储介质 |
| CN112231032A (zh) * | 2019-12-10 | 2021-01-15 | 北京来也网络科技有限公司 | 结合rpa与ai的软件界面元素的访问方法及装置 |
| CN111124903A (zh) * | 2019-12-16 | 2020-05-08 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111124903B (zh) * | 2019-12-16 | 2023-04-28 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111581091A (zh) * | 2020-04-30 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN111581091B (zh) * | 2020-04-30 | 2023-03-21 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN111858331A (zh) * | 2020-07-16 | 2020-10-30 | 安徽听见科技有限公司 | 前端控件覆盖度检测方法、装置以及设备 |
| CN117873907A (zh) * | 2024-03-12 | 2024-04-12 | 麒麟软件有限公司 | 控件元素测试方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408367A (zh) | 一种识别交互界面的控件元素的方法及终端 | |
| CN110348441B (zh) | 增值税发票识别方法、装置、计算机设备及存储介质 | |
| CN108197618B (zh) | 用于生成人脸检测模型的方法和装置 | |
| CN109784381A (zh) | 标注信息处理方法、装置及电子设备 | |
| CN109117358A (zh) | 用于电子设备的测试方法和测试装置 | |
| CN110688104A (zh) | 可视化流程处理方法、装置、电子设备及可读存储介质 | |
| CN108446227A (zh) | 一种基于selenium的虚拟机浏览器兼容性测试方法 | |
| CN106326802B (zh) | 二维码校正方法、装置及终端设备 | |
| CN108984388A (zh) | 一种生成自动化测试用例的方法及终端设备 | |
| CN108427941B (zh) | 用于生成人脸检测模型的方法、人脸检测方法和装置 | |
| CN106462572A (zh) | 用于分布式光学字符识别和分布式机器语言翻译的技术 | |
| CN109657675B (zh) | 图像标注方法、装置、计算机设备和可读存储介质 | |
| CN109934196A (zh) | 人脸姿态参数评估方法、装置、电子设备及可读存储介质 | |
| CN110378343A (zh) | 一种财务报销数据处理方法、装置及系统 | |
| CN110059637B (zh) | 一种人脸对齐的检测方法及装置 | |
| CN109858504A (zh) | 一种图像识别方法、装置、系统以及计算设备 | |
| CN108229418A (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN110175609A (zh) | 界面元素检测方法、装置及设备 | |
| CN109634579A (zh) | 代码生成方法、装置、计算机装置及存储介质 | |
| CN108171702A (zh) | 易损斑块识别方法、应用服务器及计算机可读存储介质 | |
| CN109324796A (zh) | 界面布局方法及装置 | |
| CN110084567A (zh) | 电子印章使用方法、装置、设备及计算机可读存储介质 | |
| CN109241485A (zh) | 一种页面间跳转关系建立方法，及装置 | |
| CN111311480A (zh) | 图像融合方法和装置 | |
| CN111475661A (zh) | 一种基于有限标签构造场景图的方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190301 |