CN114860574A - 应用软件画面元素识别方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及一种应用软件画面元素识别方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，属性信息包括类型和标题；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。采用本方法能够可以淘汰无效画面元素，避免在手工录制过程中，由于无效画面元素的弹出而影响录制结果，从而保证录制结果的准确性。

Description

应用软件画面元素识别方法、装置及计算机设备

技术领域

本申请涉及应用软件自动识别技术领域，特别是涉及一种应用软件画面元素识别方法、装置及计算机设备。

背景技术

在软件自动化测试领域，需要记录用户操作过程，并且可以编辑和修改用户的操作过程，同时需要可以满足用户的业务流程的控制需要，控制被测试系统的动作。因此需要自动识别被测试系统的窗口和画面控件，并且提供用户可以理解的画面控件的命名和定义，以及用户可以理解的操作过程，从而提高用户对业务操作流程的编辑和修改的可行性。在软件自动化控制和软件自动化测试中，对于画面控件的自动识别和查找定位，一直是最大的研究难点，而且没有成熟稳定的解决方案。

发明内容

基于此，有必要针对上述技术问题，提供一种应用软件画面元素识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种应用软件画面元素识别方法。所述方法包括：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

在其中一个实施例中，画面元素为窗口，其中，属性信息包括窗口类型、窗口标题和窗口执行文件名；画面元素黑名单列表与画面元素白名单列表分别为窗口黑名单列表与窗口白名单列表；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，包括：

确定多个窗口中的活跃窗口；

根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

在其中一个实施例中，窗口白名单列表包括有效窗口标题集合、有效窗口类型集合和有效窗口执行文件名集合；根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表，包括：

在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

在其中一个实施例中，画面元素为控件，其中，属性信息包括控件类型以及控件标题；画面元素黑名单列表与画面元素白名单列表分别为控件黑名单列表与控件白名单列表；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，还包括：

确定多个控件中的活跃控件；

根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断所述活跃控件是否属于所述控件黑名单列表；若所述活跃控件不属于所述控件黑名单列表，则确定所述活跃控件为指定应用场景中有效控件。

在其中一个实施例中，控件白名单列表包括有效控件标题集合以及有效控件类型集合；所述根据所述活跃控件的控件类型以及控件标题，判断所述活跃控件是否属于所述控件白名单列表，包括：

在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

在其中一个实施例中，所述方法还包括：

对于界面中的指定窗口，将指定窗口中每一控件均作为画面控件，将每一画面控件的位置坐标、控件内容和控件类型，作为对应画面控件的定义内容；

对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

第二方面，本申请还提供了一种应用软件画面元素识别装置。所述装置包括：

获取模块，用于获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

第一判断模块，用于根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

上述应用软件画面元素识别方法、装置、计算机设备、存储介质和计算机程序产品，获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。可以避免无效画面元素的干扰，从而可以提高自动识别结果的精准率，以及为画面元素排除干扰，进而提高执行步骤的正确率。

附图说明

图1为一个实施例中应用软件画面元素识别方法的流程示意图；

图2为另一个实施例中应用软件画面元素识别方法的流程示意图；

图3为一个实施例中应用软件画面元素识别装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词，但除非特别说明，这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说，在不脱离本申请的范围的情况下，第三预设阈值与第四预设阈值可以相同可以不同。

在一个实施例中，如图1所示，提供了一种应用软件画面元素识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

101、获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，属性信息包括类型和标题；

102、根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

在上述步骤101中，界面指是系统和用户之间进行交互和信息交换的媒介，它可以实现信息的内部形式与人类可以接受形式之间的转换，比如电脑桌面或手机界面等。画面元素指的是出现在界面上各种可以满足交互需求的软件或系统界面所包含的满足用户交互要求的一系列元素。属性信息是根据画面元素进行界定的，不同的画面元素的包含的属性信息可能相同，也可能不同。

画面元素黑名单列表中存储有无效画面元素对应的属性信息，画面元素白名单列表中存储有有效画面元素对应的属性信息。

具体地，根据属性信息、画面元素黑名单列表以及画面元素白名单列表，可以对画面元素进行过滤，滤除不需要的画面元素。值得一提的是，不同的应用场景中，画面元素滤除需求不同，画面元素黑名单列表以及画面元素白名单列表中将随着滤除需求进行改变。

比如，在软件自动化测试的应用场景中，对测试软件进行手工录制时，无效画面元素的干扰，会使得录制结果中引入无效画面元素的动作和操作过程，从而导致录制结果无法直接执行，最后需要测试人员手工修改录制结果中的操作流程，因此，无效画面元素的引入给测试人员增加了测试难度。所以，在手工录制时，可以通过对界面中的画面元素进行识别，提前过滤无效画面元素，使得手工录制可以顺利进行，得到的录制结果也无需额外的编辑修改。

另外，对于本方法的具体应用场景，本发明实施例对其不做具体限定，包括但不限于：软件自动化测试场景以及自动化控制应用场景等。

本发明实施例提供的方法，通过制定画面元素黑名单表以及画面元素白名单表，可以避免无效画面元素的干扰，从而可以提高自动识别结果的精准率，以及为画面元素排除干扰，进而提高执行步骤的正确率。

结合上述实施例的内容，在一个实施例中，如图2所示，提供了一种应用软件画面元素识别方法，其中，画面元素为窗口，属性信息包括窗口类型、窗口标题和窗口执行文件名；画面元素黑名单列表与画面元素白名单列表分别为窗口黑名单列表与窗口白名单列表；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，包括：

201、确定多个窗口中的活跃窗口；

202、根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

203、若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

上述步骤201中，窗口是指应用软件为使用数据而在图形用户界面中设置的基本单元，用户可以在窗口中操作应用软件，进行数据的管理、生成和编辑。通常在窗口四周设有菜单、图标，数据放在中央。活跃窗口指的是在某一时刻的工作界面中，用户可以进行交互的窗口。

在上述步骤202中，窗口类型指的是界面中窗口的种类，常见的窗口类型包括：标准窗口、对话框窗口以及桌面窗口。窗口标题指的是窗口的标题栏中显示的内容。

窗口分为有效窗口和无效窗口，有效窗口和无效窗口是根据应用场景来定义的。比如在软件自动化测试的应用场景中，被测试的软件显示的窗口则被定义有效窗口，其他诸如输入法、杀毒软件、插件软件、工具软件以及调试软件等显示的窗口则被定义为无效窗口。

具体地，根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，还包括：根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；若活跃窗口属于窗口白名单列表，则确定该活跃窗口为指定应用场景中有效窗口。

本发明实施例提供的方法，通过窗口黑名单列表和窗口白名单列表，可以淘汰无效窗口，避免在手工录制过程中，由于无效窗口的弹出而影响录制结果，从而保证录制结果的准确性。

结合上述实施例的内容，在一个实施例中，窗口白名单列表包括有效窗口标题集合、有效窗口类型集合和有效窗口执行文件名集合；根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表，包括：

301、在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

302、若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

具体地，判断活跃窗口的窗口类型是否属于有效窗口类型集合，并将对应的判断结果作为第一判断结果，包括：

将活跃窗口的窗口类型与白名单列表中的有效窗口类型集合进行匹配，若所有字母、数字以及字母的大小写都相同，则为全匹配，对应的判断结果为属于。比如，活跃窗口的窗口类型为GDI Hook Window Class，而有效窗口类型集合中包含GDI Hook WindowClass，则第一判断结果为属于。

或者，将活跃窗口的窗口类型与白名单列表中的有效窗口类型集合进行匹配，若所有字母、数字都相同以及部分字母的大小写相同，则为部分匹配，对应的判断结果为属于，比如，活跃窗口的窗口类型为GdI Hook window Class，而有效窗口类型集合中包含GDIHook Window Class，则第一判断结果为属于。

若存在任一一个字母(不包括大小写)或数字不相同，则为不匹配，对应的判断结果为不属于。比如，活跃窗口的窗口类型为GdI Hook vindow Class，在不区分大小写情况下，若有效窗口类型集合中不包含GdI Hook vindow Class，则第一判断结果为不属于。

判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合，并将对应的判断结果作为第二判断结果，包括：

将活跃窗口的窗口执行文件名与白名单列表中的有效窗口执行文件名进行匹配，若所有字母、数字以及字母的大小写都相同，则为全匹配，对应的判断结果为属于。比如，活跃窗口的窗口执行文件名为AsusHCenter64.exe，而有效窗口执行文件名集合中包含AsusHCenter64.exe，则第二判断结果为属于。

或者，将活跃窗口的窗口执行文件名与白名单列表中的有效窗口执行文件名进行匹配，若所有字母、数字都相同以及部分字母的大小写相同，则为部分匹配，对应的判断结果为属于。比如，活跃窗口的窗口执行文件名为AsusHCenter64.exe，而有效窗口执行文件名集合中包含AsusHCenter64.exe，则第一判断结果为属于。

若存在任一一个字母(不包括大小写)或数字不相同，则为不匹配，对应的判断结果为不属于。比如，活跃窗口的窗口执行文件名为AtusHCenter64.exe，在不区分大小写情况下，若有效窗口执行文件名集合中不包含AtusHCenter64.exe，则第二判断结果为不属于。

判断活跃窗口的窗口标题是否属于有效窗口标题集合，并将对应的判断结果作为第三判断结果，包括：

将活跃窗口的窗口标题与白名单列表中的有效窗口窗口标题进行匹配，若所有字母、数字以及字母的大小写都相同，则为全匹配，对应的判断结果为属于。比如，活跃窗口的窗口标题为GDI Window(AsusHWCenter64.exe)，而有效窗口标题集合中包含GDI Window(AsusHWCenter64.exe)，则第三判断结果为属于。

或者，将活跃窗口的窗口标题与白名单列表中的有效窗口窗口标题进行匹配，若所有字母、数字都相同以及字母的大小写部分相同，则为部分匹配，对应的判断结果为属于。比如，活跃窗口的窗口标题为GDI window(asushwcenter64.exe)，而有效窗口标题集合中包含GDI Window(AsusHWCenter64.exe)，则第三判断结果为属于。

若存在任一一个字母(不包括大小写)或数字不相同，则为不匹配，对应的判断结果为不属于。比如，活跃窗口的窗口标题为GDF window(asushwcenter64.exe)，在不区分大小写情况下，而有有效窗口标题集合中不包含GDF window(asushwcenter64.exe)，则第三判断结果为不属于。

若第一判断结果、第二判断结果或第三判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

本发明实施例提供的方法，通过窗口白名单列表，可以判断活跃窗口是否属于有效窗口，从而降低无效窗口的干扰。

结合上述实施例的内容，在一个实施例中，画面元素为控件，属性信息包括控件类型以及控件标题；画面元素黑名单列表与画面元素白名单列表分别为控件黑名单列表与控件白名单列表；根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，还包括：

401、确定多个控件中的活跃控件；

402、根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

403、若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则确定活跃控件为指定应用场景中有效控件。

上述步骤401中，控件是指对数据和方法的封装。控件可以有自己的属性和方法，其中属性是控件数据的简单访问者，方法则是控件的一些简单而可见的功能，控件创建过程包括设计、开发以及调试工作。活跃控件指的是在某一时刻的活跃控件中，可以与用户进行交互的控件。

控件可以分为有效控件和无效控件，有效控件和无效控件是根据应用场景来定义的。比如在软件自动化测试的应用场景中，被测试的软件显示的窗口中需要使用的控件被定义为有效控件，其他诸如输入法，杀毒软件，插件软件，工具软件以及调试软件等显示的窗口中的控件则被定义为无效控件。另外，由于不同界面框架以及开发团队的不同编写习惯，被测试的软件显示的窗口中也可能存在无效控件。

具体地，根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素，还包括：根据活跃控件的控件标题以及控件类型，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；若活跃控件属于控件白名单列表，则确定该活跃控件为指定应用场景中有效控件。

本发明实施例提供的方法，通过控件黑名单列表和控件白名单列表，可以淘汰无效控件，避免在手工录制过程中，由于无效控件而影响录制结果，从而保证录制结果的准确性。

结合上述实施例的内容，在一个实施例中，控件白名单列表包括有效控件标题集合以及有效控件类型集合；根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表，包括：

501、在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

502、若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

具体地，判断活跃控件的控件类型是否属于有效控件类型集合，并将对应的判断结果作为第四判断结果，包括：

将活跃控件的控件类型与白名单列表中的有效控件类型集合进行匹配，若所有字母、数字以及字母的大小写都相同，则为全匹配，对应的判断结果为属于。比如，活跃控件的控件类型为Document，而有效控件类型集合中包含Document，则第四判断结果为属于。

或者，将活跃控件的控件类型与白名单列表中的有效控件类型集合进行匹配，若所有字母、数字都相同以及部分字母的大小写相同，则为部分匹配，对应的判断结果为属于，比如，活跃控件的控件类型为document，而有效控件类型集合中包含Document，则第四判断结果为属于。

若存在任一一个字母(不包括大小写)或数字不相同，则为不匹配，则判断结果为不属于。比如，活跃控件的控件类型Dojument，在不区分大小写情况下，若有效控件类型集合中不包含Dojument，则第四判断结果为不属于。

判断活跃控件的控件标题是否属于有效控件标题集合，并将对应的判断结果作为第五判断结果，包括：

将活跃控件的控件标题与白名单列表中的有效控件标题集合进行匹配，若所有字母、数字以及字母的大小写都相同，则为全匹配，对应的判断结果为属于。比如，活跃控件的控件标题为Title，而有效控件标题集合中包含Title，则第五判断结果为属于。

或者，将活跃控件的控件标题与白名单列表中的有效控件标题集合进行匹配，若所有字母、数字都相同以及部分字母的大小写相同，则为部分匹配，对应的判断结果为属于，比如，活跃控件的控件标题为title，而有效控件标题集合中包含Title，则第五判断结果为属于。

若存在任一一个字母(不包括大小写)或数字不相同，则为不匹配，则判断结果为不属于。比如，活跃控件的控件标题为titlb，在不区分大小写情况下，若有效控件标题集合中不包含titlb，则第五判断结果为不属于。

若第四判断结果以及第五判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

本发明实施例提供的方法，通过控件白名单列表，可以判断活跃控件是否属于有效控件，从而降低无效控件的干扰。

结合上述实施例的内容，在一个实施例中，所述方法还包括：

601、对于界面中的指定窗口，将指定窗口中每一控件均作为画面控件，将每一画面控件的位置坐标、控件内容和控件类型，作为对应画面控件的定义内容；

602、对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

603、分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

604、根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

根据应用场景需求，可以对界面中的任一窗口中的每一画面控件定义内容，使得在需要查找或定位相同的画面控件时，可以根据定义内容，判断被查找画面控件与查找画面控件是否相同。一般情况下，界面中应用软件的所有的画面控件都具有位置坐标(x,y)、控件类型type以及控件内容value三种属性信息。因此，可以通过判断两个画面控件的定义内容中的位置坐标、控件类型以及控件内容，来判断两个画面控件是否相同。判断两个画面控件是否相同，包括：

(1)、若两个画面控件的控件内容不同，而两个画面控件的位置坐标和控件类型相同，则可以确定两个画面控件是同一种画面控件。

(2)、若两个画面控件的位置坐标不同，而两个画面控件的控件类型和控件内容相同时，则可以确定两个画面控件是同一种画面控件。

(3)、若两个画面控件的位置坐标以及控件内容不同，而两个画面控件的控件类型，则可以确定两个画面控件是同一种画面控件。

(4)、若通过上述步骤(1)、(2)以及(3)，仍未找到与查找画面控件相同的画面控件，则确定当前界面的窗口中的控件还未完全显示，需要等待预设时长，再进行上述步骤(1)、(2)以及(3)的判断过程，并每次对的等待的预设时长进行累加，得到累加时长，若累加时长超过预设累加时长，则不再查找与查找画面控件相同的画面控件，确定此次查找过程失败。

(5)、若界面中窗口发生滚动，或者有多个画面控件的坐标以及控件内容发生变化时，则将变化后的窗口当作新的窗口，可以对新的窗口执行上述步骤(1)、(2)、(3)以及(4)，查找与查找画面控件相同的画面控件。

(6)、若通过步骤(5)也无法查找出与查找画面控件相同的画面控件，则对该查找画面控件进行新的定义，确定查找画面控件的新的定义内容。

上述步骤603中，预设方位，包括上方、下方、左方以及右方。

具体地，每一画面控件的预选名称可以为第一预选名称以及第二预选名称中的任一一个。若经过上述步骤602以及603处理后，画面控件的预选名称仍未被确定，则将对应画面控件的控件内容作为该画面控件的预选名称。以完成对所有画面控件的命名处理。

此外，在对画面控件进行命名过程中，若可以确定多个画面控件以固定模式的进行组合，比如，开始日期与结束日期、开始时间与结束时间等，可以按照固定模式来给画面控件命名。对于固定模式，本发明实施例对其不做具体限定。

本发明实施例提供的方法，通过对每一画面控件进行定义内容以及命名，可以使得在下一次执行动作时，能精准定位操作对象的画面控件。同时还可以提高测试人员对业务流程理解速度，以及提高测试人员对操作内容的熟练度。

需要说明的是，上述阐述的技术方案在实际实施过程中可以作为独立实施例来实施，也可以彼此之间进行组合并作为组合实施例实施。另外，在对上述本发明实施例内容进行阐述时，仅基于方便阐述的思路，按照相应顺序对不同实施例进行阐述，如按照数据流流向的顺序，而并非是对不同实施例之间的执行顺序进行限定，也不是对实施例内部步骤的执行顺序进行限定。相应地，在实际实施过程中，若需要实施本发明提供的多个实施例，则不一定需要按照本发明阐述实施例时所提供的执行顺序，而是可以根据需求安排不同实施例之间的执行顺序。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的应用软件画面元素识别方法的应用软件画面元素识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个应用软件画面元素识别装置实施例中的具体限定可以参见上文中对于应用软件画面元素识别方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种应用软件画面元素识别装置，包括：获取模块301和判断模块302，其中：

获取模块301，用于获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

第一判断模块302，用于根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

结合上述实施例的内容，在一个实施例中，第一判断模块302，包括：

第一确定子模块，用于确定多个窗口中的活跃窗口；

第一判断子模块，用于根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

第二判断子模块，用于若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

结合上述实施例的内容，在一个实施例中，第一判断子模块，包括：

第一判断单元，用于在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

第一确定单元，用于若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

结合上述实施例的内容，在一个实施例中，第一判断模块302，还包括：

第二确定子模块，用于确定多个控件中的活跃控件；

第三判断子模块，用于根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

第四判断子模块，用于若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则确定活跃控件为指定应用场景中有效控件。

结合上述实施例的内容，在一个实施例中，第三判断子模块，包括：

第二判断单元，用于在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

第二确定单元，用于若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

结合上述实施例的内容，在一个实施例中，所述装置还包括：

第二判断模块，用于对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

第三判断模块，用于分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

确定模块，用于根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

上述应用软件画面元素识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种应用软件画面元素识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定多个窗口中的活跃窗口；

根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定多个控件中的活跃控件；

根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则确定活跃控件为指定应用场景中有效控件。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定多个窗口中的活跃窗口；

根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定多个控件中的活跃控件；

根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则确定活跃控件为指定应用场景中有效控件。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对于界面中的指定窗口，将指定窗口中每一控件均作为画面控件，将每一画面控件的位置坐标、控件内容和控件类型，作为对应画面控件的定义内容；

对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，其中，属性信息包括类型和标题；

根据属性信息，画面元素黑名单列表与画面元素白名单列表，判断画面元素是否为指定应用场景中有效画面元素。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定多个窗口中的活跃窗口；

根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口白名单列表；

若活跃窗口属于窗口白名单列表，则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断活跃窗口是否属于窗口黑名单列表；若活跃窗口不属于窗口黑名单列表，则确定活跃窗口为指定应用场景中有效窗口。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合，得到三个判断结果；

若三个判断结果中存在一个判断结果为属于，则确定活跃窗口属于窗口白名单列表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定多个控件中的活跃控件；

根据活跃控件的控件类型以及控件标题，判断活跃控件是否属于控件白名单列表；

若活跃控件属于控件白名单列表，则根据控件类型以及控件标题，判断活跃控件是否属于控件黑名单列表；若活跃控件不属于控件黑名单列表，则确定活跃控件为指定应用场景中有效控件。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在不区分大小写的情况下，分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合，得到两个判断结果；

若两个判断结果中存在一个判断结果为属于，则确定活跃控件属于控件白名单列表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对于界面中的指定窗口，将指定窗口中每一控件均作为画面控件，将每一画面控件的位置坐标、控件内容和控件类型，作为对应画面控件的定义内容；

对于任一画面控件，判断任一画面控件是否为编辑控件，若否，则将任一画面控件的控件内容作为第一预选名称；

分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

根据第一预选名称以及第二预选名称，确定任一画面控件的预选名称。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种应用软件画面元素识别方法，其特征在于，所述方法包括：

获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，所述属性信息包括类型和标题；

根据所述属性信息，所述画面元素黑名单列表与所述画面元素白名单列表，判断所述画面元素是否为指定应用场景中有效画面元素。

2.根据权利要求1所述的方法，其特征在于，所述画面元素为窗口，所述属性信息包括窗口类型、窗口标题和窗口执行文件名；所述画面元素黑名单列表与所述画面元素白名单列表分别为窗口黑名单列表与窗口白名单列表；所述根据所述属性信息，所述画面元素黑名单列表与所述画面元素白名单列表，判断所述画面元素是否为指定应用场景中有效画面元素，包括：

确定多个窗口中的活跃窗口；

根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断所述活跃窗口是否属于所述窗口白名单列表；

若所述活跃窗口属于所述窗口白名单列表，则根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断所述活跃窗口是否属于所述窗口黑名单列表；若所述活跃窗口不属于所述窗口黑名单列表，则确定所述活跃窗口为指定应用场景中有效窗口。

3.根据权利要求2所述的方法，其特征在于，所述窗口白名单列表包括有效窗口标题集合、有效窗口类型集合和有效窗口执行文件名集合；所述根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名，判断所述活跃窗口是否属于所述窗口白名单列表，包括：

在不区分大小写的情况下，分别判断所述活跃窗口的窗口标题是否属于所述有效窗口标题集合、判断所述活跃窗口的窗口执行文件名是否属于所述有效窗口执行文件名集合以及判断所述活跃窗口的窗口类型是否属于所述有效窗口类型集合，得到三个判断结果；

若所述三个判断结果中存在一个判断结果为属于，则确定所述活跃窗口属于所述窗口白名单列表。

4.根据权利要求1所述的方法，其特征在于，所述画面元素为控件，所述属性信息包括控件类型以及控件标题；所述画面元素黑名单列表与所述画面元素白名单列表分别为控件黑名单列表与控件白名单列表；所述根据所述属性信息，所述画面元素黑名单列表与所述画面元素白名单列表，判断所述画面元素是否为指定应用场景中有效画面元素，还包括：

确定多个控件中的活跃控件；

根据所述活跃控件的控件类型以及控件标题，判断所述活跃控件是否属于所述控件白名单列表；

若所述活跃控件属于所述控件白名单列表，则根据所述控件类型以及控件标题，判断所述活跃控件是否属于所述控件黑名单列表；若所述活跃控件不属于所述控件黑名单列表，则确定所述活跃控件为指定应用场景中有效控件。

5.根据权利要求4所述的方法，其特征在于，所述控件白名单列表包括有效控件标题集合以及有效控件类型集合；所述根据所述活跃控件的控件类型以及控件标题，判断所述活跃控件是否属于所述控件白名单列表，包括：

在不区分大小写的情况下，分别判断所述活跃控件的控件标题是否属于所述有效控件标题集合以及判断所述活跃控件的控件类型是否属于所述有效控件类型集合，得到两个判断结果；

若所述两个判断结果中存在一个判断结果为属于，则确定所述活跃控件属于所述控件白名单列表。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对于所述界面中的指定窗口，将所述指定窗口中每一控件均作为画面控件，将每一画面控件的位置坐标、控件内容和控件类型，作为对应画面控件的定义内容；

对于任一画面控件，判断所述任一画面控件是否为编辑控件，若否，则将所述任一画面控件的控件内容作为第一预选名称；

分别判断处于所述任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件，得到每一预设方位对应的判断结果，将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称；

根据所述第一预选名称以及第二预选名称，确定所述任一画面控件的预选名称。

7.一种应用软件画面元素识别装置，其特征在于，所述装置包括：

获取模块，用于获取界面中画面元素的属性信息，获取画面元素黑名单列表与画面元素白名单列表，所述属性信息包括类型和标题；

第一判断模块，用于根据所述属性信息，所述画面元素黑名单列表与所述画面元素白名单列表，判断所述画面元素是否为指定应用场景中有效画面元素。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images