CN114116441A - 一种ui界面测试方法、装置、电子设备及存储介质 - Google Patents
一种ui界面测试方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114116441A CN114116441A CN202011623361.3A CN202011623361A CN114116441A CN 114116441 A CN114116441 A CN 114116441A CN 202011623361 A CN202011623361 A CN 202011623361A CN 114116441 A CN114116441 A CN 114116441A
- Authority
- CN
- China
- Prior art keywords
- interface
- test
- determining
- test case
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 345
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010998 test method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 31
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3644—Software debugging by instrumenting at runtime
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种UI界面测试方法，所述UI界面测试方法包括：根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；记录所述界面元素在所述UI界面中的位置信息；确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。本申请能够提高UI界面测试效率，实现UI界面自动化测试。本申请还公开了一种UI界面测试装置、一种电子设备及一种存储介质，具有以上有益效果。
Description
技术领域
本申请涉及自动化测试技术领域，特别涉及一种UI界面测试方法、装置、一种电子设备及一种存储介质。
背景技术
软件测试过程中为了保障网站满足质量要求，一般需要对UI(User Interface)界面中的各个界面元素进行测试。由于UI界面中的界面元素分布不规律，且各个界面元素的测试过程各异，往往需要工作人员对每一界面元素进行手动测试，手动测试过程主要依赖人力完成，测试效率较低。
因此，如何提高UI界面测试效率，实现UI界面自动化测试是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种UI界面测试方法、装置、一种电子设备及一种存储介质，能够提高UI界面测试效率，实现UI界面自动化测试。
为解决上述技术问题，本申请提供一种UI界面测试方法，该UI界面测试方法包括：
根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；
记录所述界面元素在所述UI界面中的位置信息；
确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
可选的，确定所述界面元素对应的测试用例，包括：
确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系。
可选的，确定所述界面元素的元素种类，包括：
获取所述界面元素在所述UI界面中的元素图像；
对所述元素图像执行文字识别操作，并根据文字识别结果确定所述界面元素的元素种类；
或，将所述元素图像与数据库中的预设图像进行相似度比对，并根据相似度比对结果确定所述界面元素的元素种类；其中，所述数据库中包括多个元素种类对应的预设图像。
可选的，根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果，包括：
根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果；其中，所述元素测试结果包括测试结果截图和/或测试结果输出内容；
按照所述界面元素的元素种类对所述元素测试结果进行汇总得到所述UI界面测试结果。
可选的，记录所述界面元素在所述UI界面中的位置信息，包括：
记录所述界面元素在所述UI界面中的访问路径和/或中心点坐标；其中，所述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。
可选的，所述测试用例为基于Java编写的测试用例，所述UI界面为Windows系统或Linux系统上运行的UI界面。
可选的，所述根据接收的测试指令确定UI界面，包括：
若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；
若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；
若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面。
本申请还提供了一种UI界面测试装置，该装置包括：
元素查询模块，用于根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；
元素定位模块，用于记录所述界面元素在所述UI界面中的位置信息；
测试模块，用于确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
可选的，所述测试模块包括：
测试用例确定单元，用于确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系；
测试用例执行单元，用于根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
可选的，所述测试用例确定单元包括：
元素种类确定子单元，用于获取所述界面元素在所述UI界面中的元素图像；还用于对所述元素图像执行文字识别操作，并根据文字识别结果确定所述界面元素的元素种类；或，还用于将所述元素图像与数据库中的预设图像进行相似度比对，并根据相似度比对结果确定所述界面元素的元素种类；其中，所述数据库中包括多个元素种类对应的预设图像；
查询子单元，用于根据测试用例表查询与所述元素种类对应的测试用例。
可选的，所述测试模块包括：
元素测试单元，用于根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果；其中，所述元素测试结果包括测试结果截图和/或测试结果输出内容；
结果汇总单元，用于按照所述界面元素的元素种类对所述元素测试结果进行汇总得到所述UI界面测试结果。
可选的，所述元素定位模块用于记录所述界面元素在所述UI界面中的访问路径和/或中心点坐标；其中，所述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。
可选的，所述元素查询模块包括：
界面确定单元，用于若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；还用于若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；还用于若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面；
界面元素查询单元，用于查询所述UI界面中的界面元素。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述UI界面测试方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述UI界面测试方法执行的步骤。
本申请提供了一种UI界面测试方法，包括：根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；记录所述界面元素在所述UI界面中的位置信息；确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
本申请根据接收的测试指令确定UI界面，并查询UI界面中存在各个界面元素。由于测试用例是对UI界面的某一位置自动执行点击、输入文本等操作，故本申请还对界面元素在UI界面中的位置信息进行记录。不同的界面元素的测试方式不同，本申请在确定界面元素对应的测试用例后，根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果，进而实现了对于UI界面的自动化测试。本申请基于界面元素的位置信息自动运行测试用例，无需人工参与测试过程，因此本申请能够提高UI界面测试效率，实现UI界面自动化测试。本申请同时还提供了一种UI界面测试装置、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种UI自动化测试架构图；
图2为本申请实施例所提供的一种UI界面测试方法的流程图；
图3为本申请实施例所提供的一种界面元素的元素种类的确定方法的流程图；
图4为本申请实施例所提供的一种搜索框的元素图像示意图；
图5为本申请实施例所提供的一种UI界面测试结果的生成方法的流程示意图；
图6为本申请实施例所提供的一种UI界面测试装置的结构示意图；
图7为本申请实施例所提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
UI界面即人机交互界面，UI界面中可以包括按钮、输入框、弹框等界面元素，用户可以通过对UI界面上的界面元素执行一系列的操作实现人机交互。UI界面测试指对UI界面中的界面元素进行点击、输入文本等操作，以便对界面元素的可用性进行测试。由于不同UI界面中界面元素分布可能不完全相同，且各个种类的界面元素的测试过程各异，传统方案中主要通过人力手工测试的方式完成UI界面测试，故存在测试效率低的问题。为了解决上述技术问题，本申请提供了以下几种新的UI界面测试方案，能够提高UI界面测试效率，实现UI界面自动化测试。
请参见图1，图1为本申请实施例所提供的一种UI自动化测试架构图，如图1所示测试元数据包括对象库、测试数据和配置信息，可以通过对象库解析模块、测试数据读取模块和配置信息加载模块对测试元数据进行对象解析、测试数据读取和配置信息加载得到对界面元素的UI操作和业务逻辑。通过对UI操作和业务逻辑封装得到测试用例。测试执行调度模块根据界面元素种类选用对应的测试用例，以便测试驱动中的驱动插件化管理模块在界面元素所在的位置运行测试用例，该测试驱动可以为Chrome驱动、FireFox驱动等。在执行测试用例的过程中，还可以利用测试执行监听器对测试状态进行检测，具体的，可以利用结果记录模块记录测试用例的执行结果，可以利用报告生成模块生成最终的测试报告，还可以利用屏幕截图模块生成执行测试用例后的UI界面截图。UI自动化测试架构上述中web端主流框架可以选择selenium；对象库分离格式为json格式，以便提高阅读和维护的便利性；测试用例可以从excel读取，以便维护测试用例；测试调度选择testng框架，testng框架的dataprovider功能更适用数据驱动。UI自动化测试架构还可以利用extentreports生成测试报告，使得报告更清晰美观；可以选择mybatis+mysql的框架存储测试结果，日志系统可以选择log4j。基于上述UI自动化测试架构，能够对UI界面中的界面元素的自动化测试，提高UI界面测试效率。
下面请参见图2，图2为本申请实施例所提供的一种UI界面测试方法的流程图。
具体步骤可以包括：
S201：根据接收的测试指令确定UI界面，并查询UI界面中的界面元素；
其中，本实施例可以对网页、应用程序、接口等多种UI界面进行测试，在本步骤之前可以存在接收测试指令的操作，可以对测试指令进行解析得到需要进行测试的UI界面。例如，本步骤可以通过浏览器访问目标网页确定需要进行测试的UI界面，也可以运行相应的应用程序以确定需要进行测试的UI界面，还可以访问特定的接口以确定需要进行测试的UI界面。
UI界面中可以存在任意数量的界面元素，例如界面元素可以包括登录按钮、注册按钮、功能栏、搜索框等元素。作为一种可行的实施方式，本实施例可以通过获取UI界面的源文件查询UI界面中的界面元素。作为另一种可行的实施方式，本实施例还可以通过将UI界面的界面截图输入神经网络模型，以便根据神经网络模型的输出结果确定UI界面中的界面元素。
S202：记录界面元素在所述UI界面中的位置信息；
其中，本步骤建立在已经确定UI界面中的界面元素的基础上，可以将UI界面中的任一点为原点建立坐标系，得到界面元素在UI界面中的位置信息。由于界面元素具有形状和尺寸大小，因此上述位置信息可以为用于描述界面元素整体在UI界面中位置的信息，也可以为用于描述界面元素的一部分在UI界面中位置的信息。
在得到界面元素在所述UI界面中的位置信息，可以将位置信息与界面元素的对应关系进行存储。具体的，界面元素中可以包括位置信息不变化的静态界面元素，也可以包括位置信息变化的动态界面元素(如广告显示框)，因此本实施例可以按照预设周期记录并更新界面元素在UI界面中的位置信息，进一步的，本实施例也可以只按照预设周期记录并更新动态界面元素在UI界面中的位置信息。
作为一种可行的实施方式，本实施例可以通过以下操作记录所述界面元素在所述UI界面中的位置信息：记录所述界面元素在所述UI界面中的访问路径或中心点坐标，也可以记录所述界面元素在所述UI界面中的访问路径和中心点坐标。上述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。其中，部分UI界面中的界面元素需要用户按照特定的访问路径才能显示，例如部分用于进行搜索的界面元素需要用户下滑屏幕才会出现，因此本实施例中的位置信息可以包括界面元素在UI界面中的访问路径。此外，由于大多数测试用例的操作都包括对界面元素的点击，点击界面元素的中心点能够提高点击的成功率，因此本实施例中的位置信息也可以包括中心点坐标。
S203：确定界面元素对应的测试用例，并根据位置信息对界面元素执行测试用例得到UI界面测试结果。
不同类型的界面元素对应的测试用例可以不相同，例如登录按钮对应的测试用例为点击特定区域，滑动验证框对应的测试用例为点击特定区域并向预设方向移动一定距离，搜索框对应的测试用例为点击特定区域后输入文本。本步骤选取界面元素对应的测试用例对界面元素进行测试，由于测试用例的执行基于界面元素的位置实现，因此本实施例可以根据位置信息对界面元素执行测试用例得到UI界面测试结果。上述测试用例为基于Java编写的测试用例，上述UI界面为Windows系统或Linux系统上运行的UI界面。
具体的，执行每一界面元素对应的测试用例后可以得到该界面元素对应的元素测试结果，元素测试结果可以为测试正常或测试异常，在得到所有界面元素的元素测试结果之后，可以对所有元素测试结果进行汇总得到UI界面测试结果。UI界面测试结果中可以包括每一界面元素的元素测试结果，以及该UI界面的整体测试评估结果。进一步的，本实施例可以根据每一界面元素的种类设置对应的权重值，权重值为正数，将权重值与结果系数的乘积作为元素测试得分；若元素测试结果为测试正常，结果系数为1；若元素测试结果为测试异常，结果系数为0；将所有的元素测试得分相加得到UI界面测试得分，根据UI界面测试得分确定UI界面的整体测试评估结果。本实施例可以预先设置每一测试得分区间对应的整体测试评估结果，例如大于95分整体测试评估结果为优秀，大于80分且小于等于95分整体测试评估结果为达标，小于或等于80分整体测试评估结果为未达标。
作为一种可行的实施方式，在得到UI界面测试结果之后，还可以对测试异常的界面元素进行汇总和反馈，以便工作人员对存在测试异常的界面元素进行调整和修复。
本实施例根据接收的测试指令确定UI界面，并查询UI界面中存在各个界面元素。由于测试用例是对UI界面的某一位置自动执行点击、输入文本等操作，故本实施例还对界面元素在UI界面中的位置信息进行记录。不同的界面元素的测试方式不同，本实施例在确定界面元素对应的测试用例后，根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果，进而实现了对于UI界面的自动化测试。本实施例基于界面元素的位置信息自动运行测试用例，无需人工参与测试过程，因此本实施例能够提高UI界面测试效率，实现UI界面自动化测试。
作为对于上述实施例的进一步介绍，上述UI界面测试方法可以用于网页UI界面、应用程序UI界面和接口界面，因此本实施例可以根据接收到测试指令的不同确定对应的UI界面。若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面。
作为一种可行的实施方式，上述实施例可以通过以下方式确定所述界面元素对应的测试用例：确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系。
请参见表1，表1为本申请实施例所提供的一种测试用例表，表1中列举了几种界面元素的元素种类与测试用例的映射关系。如表1所示，本申请可以先确定界面元素的元素种类，在根据元素种类确定对应的测试用例。
表1测试用例表
请参见图3，图3为本申请实施例所提供的一种界面元素的元素种类的确定方法的流程图，可以将本实施例与上述实施例相结合得到进一步的实施方式，本实施例可以包括以下步骤：
S301：获取所述界面元素在所述UI界面中的元素图像；
其中，本实施例可以通过读取UI界面源文件确定界面元素的元素图像，元素图像即UI界面中界面元素所呈现的图标。
S302：判断所述元素图像中是否存在文字；若是，则进入S303；若否，则进入S305；
请参见图4，图4为本申请实施例所提供的一种搜索框的元素图像示意图，图4中的(a)为不存在文字仅用图形表示的搜索框元素图像，(b)为存在文字介绍的搜索框元素图像。
S303：对所述元素图像执行文字识别操作；
S304：根据文字识别结果确定所述界面元素的元素种类；
在元素图像中存在文字的基础上，本实施例可以对元素图像进行文字识别，进而根据文字识别结果确定该界面元素的元素种类。
S305：将所述元素图像与数据库中的预设图像进行相似度比对；
S306：根据相似度比对结果确定所述界面元素的元素种类；
其中，若元素图像中不包括文字，通常在元素中设置特定的图形以便用户理解界面元素的含义。例如，搜索框的元素图像中可以包括放大镜的图像，背景音乐开关的元素图像中可以包括音乐符号等。本实施例可以预先在数据库中设置多个元素种类对应的预设图像，通过将元素图像与数据库中的预设图像进行逐个比对，进而将相似度最高的预设图像对应的元素种类设置为元素图像对应的元素种类。此外，本实施例也可以使用神经网络模型输出元素图像对应的元素种类。
通过本实施例中基于文字识别或图像对比的方式能够快速识别界面元素的元素类型，进而提高查询测试用例的速度，提高UI界面测试效率。
请参见图5，图5为本申请实施例所提供的一种UI界面测试结果的生成方法的流程示意图，本实施例是对上述实施例中生成UI界面测试结果的进一步介绍，可以将本实施例与图1对应的实施例相结合得到进一步的实施方式，本实施例可以包括以下步骤：
S501：从UI界面中选取当前界面元素，并确定当前界面元素对应的当前测试用例；
S502：根据当前界面元素的位置信息对当前页面元素执行当前测试用例，得到当前界面元素的元素测试结果；
S503：判断UI界面中的所有界面元素是否均被测试；若是，则进入S504；若否，则进入S501；
其中，在S501～S503的过程中，本实施例可以根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果。上述元素测试结果包括测试结果截图和/或测试结果输出内容，测试结果截图指测试用例执行完毕时UI界面的截图，测试结果输出内容指测试用例执行完毕时UI界面反馈的内容。
S504：按照所述界面元素的元素种类对所有元素测试结果进行汇总得到所述UI界面测试结果。
在得到了所有界面元素的元素测试结果的基础上，本实施例可以按照元素种类对元素测试结果进行汇总，得到UI界面测试结果。UI界面测试结果中可以包括每一类界面元素的测试合格率，以及所有界面元素的测试合格率。通过上述方式汇总得到的UI界面测试结果有利于工作人员对UI界面的合理性进行快速分析和评估。
请参见图6，图6为本申请实施例所提供的一种UI界面测试装置的结构示意图；
该装置可以包括：
元素查询模块601，用于根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；
元素定位模块602，用于记录所述界面元素在所述UI界面中的位置信息；
测试模块603，用于确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
本实施例根据接收的测试指令确定UI界面，并查询UI界面中存在各个界面元素。由于测试用例是对UI界面的某一位置自动执行点击、输入文本等操作，故本实施例还对界面元素在UI界面中的位置信息进行记录。不同的界面元素的测试方式不同，本实施例在确定界面元素对应的测试用例后，根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果，进而实现了对于UI界面的自动化测试。本实施例基于界面元素的位置信息自动运行测试用例，无需人工参与测试过程，因此本实施例能够提高UI界面测试效率，实现UI界面自动化测试。
可选的，测试模块603包括：
测试用例确定单元，用于确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系；
测试用例执行单元，用于根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
进一步的，测试用例确定单元包括：
元素种类确定子单元，用于获取所述界面元素在所述UI界面中的元素图像；还用于对所述元素图像执行文字识别操作，并根据文字识别结果确定所述界面元素的元素种类；或，还用于将所述元素图像与数据库中的预设图像进行相似度比对，并根据相似度比对结果确定所述界面元素的元素种类；其中，所述数据库中包括多个元素种类对应的预设图像；
查询子单元，用于根据测试用例表查询与所述元素种类对应的测试用例。
进一步的，测试模块603包括：
元素测试单元，用于根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果；其中，所述元素测试结果包括测试结果截图和/或测试结果输出内容；
结果汇总单元，用于按照所述界面元素的元素种类对所述元素测试结果进行汇总得到所述UI界面测试结果。
进一步的，元素定位模块602用于记录所述界面元素在所述UI界面中的访问路径和/或中心点坐标；其中，所述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。
进一步的，所述测试用例为基于Java编写的测试用例，所述UI界面为Windows系统或Linux系统上运行的UI界面。
进一步的，元素查询模块601包括：
界面确定单元，用于若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；还用于若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；还用于若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面；
界面元素查询单元，用于查询所述UI界面中的界面元素。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，参见图7，本申请实施例提供的一种电子设备的结构图，如图7所示，可以包括处理器710和存储器720。
其中，处理器710可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器710可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器710也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器710可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器710还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器720可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器720还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器720至少用于存储以下计算机程序721，其中，该计算机程序被处理器710加载并执行之后，能够实现前述任一实施例公开的UI界面测试方法中的相关步骤。另外，存储器720所存储的资源还可以包括操作系统722和数据723等，存储方式可以是短暂存储或者永久存储。其中，操作系统722可以包括Windows、Linux、Android等。
在一些实施例中，电子设备还可包括有显示屏730、输入输出接口740、通信接口750、传感器760、电源770以及通信总线780。
当然，图7所示的电子设备的结构并不构成对本申请实施例中电子设备的限定，在实际应用中电子设备可以包括比图7所示的更多或更少的部件，或者组合某些部件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (15)
1.一种UI界面测试方法，其特征在于，包括：
根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；
记录所述界面元素在所述UI界面中的位置信息；
确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
2.根据权利要求1所述UI界面测试方法，其特征在于，确定所述界面元素对应的测试用例，包括：
确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系。
3.根据权利要求2所述UI界面测试方法，其特征在于，确定所述界面元素的元素种类，包括：
获取所述界面元素在所述UI界面中的元素图像；
对所述元素图像执行文字识别操作，并根据文字识别结果确定所述界面元素的元素种类；
或，将所述元素图像与数据库中的预设图像进行相似度比对，并根据相似度比对结果确定所述界面元素的元素种类；其中，所述数据库中包括多个元素种类对应的预设图像。
4.根据权利要求1所述UI界面测试方法，其特征在于，根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果，包括：
根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果；其中，所述元素测试结果包括测试结果截图和/或测试结果输出内容；
按照所述界面元素的元素种类对所述元素测试结果进行汇总得到所述UI界面测试结果。
5.根据权利要求1所述UI界面测试方法，其特征在于，记录所述界面元素在所述UI界面中的位置信息，包括：
记录所述界面元素在所述UI界面中的访问路径和/或中心点坐标；其中，所述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。
6.根据权利要求1所述UI界面测试方法，其特征在于，所述测试用例为基于Java编写的测试用例，所述UI界面为Windows系统或Linux系统上运行的UI界面。
7.根据权利要求1至6任一项所述UI界面测试方法，其特征在于，所述根据接收的测试指令确定UI界面，包括：
若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；
若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；
若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面。
8.一种UI界面测试装置，其特征在于，包括：
元素查询模块，用于根据接收的测试指令确定UI界面，并查询所述UI界面中的界面元素；
元素定位模块，用于记录所述界面元素在所述UI界面中的位置信息；
测试模块，用于确定所述界面元素对应的测试用例，并根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
9.根据权利要求8所述UI界面测试装置，其特征在于，所述测试模块包括：
测试用例确定单元，用于确定所述界面元素的元素种类，并根据测试用例表查询与所述元素种类对应的测试用例；其中，所述测试用例表包括元素种类与测试用例的映射关系；
测试用例执行单元，用于根据所述位置信息对所述界面元素执行所述测试用例得到UI界面测试结果。
10.根据权利要求9所述UI界面测试装置，其特征在于，所述测试用例确定单元包括：
元素种类确定子单元，用于获取所述界面元素在所述UI界面中的元素图像；还用于对所述元素图像执行文字识别操作，并根据文字识别结果确定所述界面元素的元素种类；或，还用于将所述元素图像与数据库中的预设图像进行相似度比对，并根据相似度比对结果确定所述界面元素的元素种类；其中，所述数据库中包括多个元素种类对应的预设图像；
查询子单元，用于根据所述测试用例表查询与所述元素种类对应的测试用例。
11.根据权利要求8所述UI界面测试装置，其特征在于，所述测试模块包括：
元素测试单元，用于根据所述位置信息对每一所述界面元素执行对应的所述测试用例，得到每一所述界面元素对应的元素测试结果；其中，所述元素测试结果包括测试结果截图和/或测试结果输出内容；
结果汇总单元，用于按照所述界面元素的元素种类对所述元素测试结果进行汇总得到所述UI界面测试结果。
12.根据权利要求8所述UI界面测试装置，其特征在于，所述元素定位模块用于记录所述界面元素在所述UI界面中的访问路径和/或中心点坐标；其中，所述中心点坐标为所述界面元素在所述UI界面中所处区域的中心点的坐标。
13.根据权利要求8至12任一项所述UI界面测试装置，其特征在于，所述元素查询模块包括：
界面确定单元，用于若接收的所述测试指令为网页UI测试指令，则通过浏览器登录目标网页确定所述UI界面；还用于若接收的所述测试指令为应用程序UI指令，则通过启动目标应用程序确定所述UI界面；还用于若接收的所述测试指令为接口UI指令，则通过访问目标接口确定所述UI界面；
界面元素查询单元，用于查询所述UI界面中的界面元素。
14.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述UI界面测试方法的步骤。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述UI界面测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623361.3A CN114116441A (zh) | 2020-12-30 | 2020-12-30 | 一种ui界面测试方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623361.3A CN114116441A (zh) | 2020-12-30 | 2020-12-30 | 一种ui界面测试方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114116441A true CN114116441A (zh) | 2022-03-01 |
Family
ID=80360519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011623361.3A Pending CN114116441A (zh) | 2020-12-30 | 2020-12-30 | 一种ui界面测试方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114116441A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416603A (zh) * | 2022-03-31 | 2022-04-29 | 北京搜狐新动力信息技术有限公司 | Ui元素测试方法、装置、存储介质和设备 |
| CN115827499A (zh) * | 2023-02-22 | 2023-03-21 | 江苏北弓智能科技有限公司 | 一种ui自动化测试方法 |
| CN116301456A (zh) * | 2023-02-21 | 2023-06-23 | 广州市保伦电子有限公司 | Windows客户端登陆测试管理方法、装置及系统 |
| CN117873899A (zh) * | 2024-01-30 | 2024-04-12 | 九科信息技术(深圳)有限公司 | Ui界面的自动测试方法、装置、终端设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252410A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 一种对页面中的控件进行测试的方法和设备 |
| CN108763068A (zh) * | 2018-05-15 | 2018-11-06 | 福建天泉教育科技有限公司 | 一种基于机器学习的自动化测试方法及终端 |
| CN109857673A (zh) * | 2019-02-25 | 2019-06-07 | 广州云测信息技术有限公司 | 控件识别方法和装置 |
| CN110046085A (zh) * | 2018-12-03 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 识别终端设备上显示的应用程序控件的方法及装置 |
| CN111767228A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的界面测试方法、装置、设备和介质 |
| CN111817916A (zh) * | 2020-07-02 | 2020-10-23 | 浙江同花顺智能科技有限公司 | 基于移动终端集群的测试方法、装置、设备和存储介质 |
| CN112015634A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术（北京）有限公司 | 页面结构信息生成方法、装置和电子设备 |
-
2020
- 2020-12-30 CN CN202011623361.3A patent/CN114116441A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252410A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 一种对页面中的控件进行测试的方法和设备 |
| CN108763068A (zh) * | 2018-05-15 | 2018-11-06 | 福建天泉教育科技有限公司 | 一种基于机器学习的自动化测试方法及终端 |
| CN110046085A (zh) * | 2018-12-03 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 识别终端设备上显示的应用程序控件的方法及装置 |
| CN109857673A (zh) * | 2019-02-25 | 2019-06-07 | 广州云测信息技术有限公司 | 控件识别方法和装置 |
| CN112015634A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术（北京）有限公司 | 页面结构信息生成方法、装置和电子设备 |
| CN111767228A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的界面测试方法、装置、设备和介质 |
| CN111817916A (zh) * | 2020-07-02 | 2020-10-23 | 浙江同花顺智能科技有限公司 | 基于移动终端集群的测试方法、装置、设备和存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416603A (zh) * | 2022-03-31 | 2022-04-29 | 北京搜狐新动力信息技术有限公司 | Ui元素测试方法、装置、存储介质和设备 |
| CN114416603B (zh) * | 2022-03-31 | 2022-07-12 | 北京搜狐新动力信息技术有限公司 | Ui元素测试方法、装置、存储介质和设备 |
| CN116301456A (zh) * | 2023-02-21 | 2023-06-23 | 广州市保伦电子有限公司 | Windows客户端登陆测试管理方法、装置及系统 |
| CN116301456B (zh) * | 2023-02-21 | 2024-06-11 | 广东保伦电子股份有限公司 | Windows客户端登陆测试管理方法、装置及系统 |
| CN115827499A (zh) * | 2023-02-22 | 2023-03-21 | 江苏北弓智能科技有限公司 | 一种ui自动化测试方法 |
| CN117873899A (zh) * | 2024-01-30 | 2024-04-12 | 九科信息技术(深圳)有限公司 | Ui界面的自动测试方法、装置、终端设备和存储介质 |
| CN117873899B (zh) * | 2024-01-30 | 2024-07-09 | 九科信息技术(深圳)有限公司 | Ui界面的自动测试方法、装置、终端设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7017613B2 (ja) | 自動検出されるターゲットラベルに基づくロボティックプロセスオートメーションアクティビティのネーミング（名付け） | |
| CN114116441A (zh) | 一种ui界面测试方法、装置、电子设备及存储介质 | |
| JP7568371B2 (ja) | ロボティック・プロセス・オートメーションのためのアクティビティ対象選択のシステム及び方法 | |
| US9910641B2 (en) | Generation of application behaviors | |
| CN104252410A (zh) | 一种对页面中的控件进行测试的方法和设备 | |
| US11093510B2 (en) | Relevance ranking of productivity features for determined context | |
| JP6201792B2 (ja) | 情報処理装置及び情報処理プログラム | |
| CN111243061A (zh) | 一种商品图片的生成方法、装置、系统 | |
| CN111340605B (zh) | 训练用户行为预测模型、用户行为预测的方法和装置 | |
| WO2020050894A1 (en) | Text to visualization | |
| CN107562710B (zh) | 一种图表处理装置及方法 | |
| CN111427760A (zh) | 页面测试方法、装置、设备及存储介质 | |
| KR101638511B1 (ko) | 온라인 학습 콘텐츠 저작을 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 및 온라인 학습 콘텐츠 저작 방법 | |
| CN113342954A (zh) | 一种应用于问答系统的图像信息处理方法、装置及电子设备 | |
| CN117389538A (zh) | 页面组件内容开发方法、装置、设备以及存储介质 | |
| EP4246365A1 (en) | Webpage identification method and apparatus, electronic device, and medium | |
| CN114265777B (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
| CN110544166A (zh) | 样本生成方法、装置及存储介质 | |
| CN116450111A (zh) | 一种业务对象的创建方法、装置、设备及存储介质 | |
| US20210312223A1 (en) | Automated determination of textual overlap between classes for machine learning | |
| CN112732681B (zh) | 数据平台迁移方法及系统 | |
| CN112783483B (zh) | 基于悬浮按钮组件的功能创建方法、装置、设备及介质 | |
| JP2015191277A (ja) | データ識別方法、データ識別プログラム及びデータ識別装置 | |
| CN110045961B (zh) | 业务规则的管理方法及管理平台 | |
| CN117874211B (zh) | 基于saas软件的智能问答方法、系统、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Information Technology Co.,Ltd. Address before: 601, 6th floor, building 2, yard 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |