CN116431461A - 桌面应用测试方法、装置、电子设备、及程序产品 - Google Patents

桌面应用测试方法、装置、电子设备、及程序产品 Download PDF

Info

Publication number
CN116431461A
CN116431461A CN202210002031.5A CN202210002031A CN116431461A CN 116431461 A CN116431461 A CN 116431461A CN 202210002031 A CN202210002031 A CN 202210002031A CN 116431461 A CN116431461 A CN 116431461A
Authority
CN
China
Prior art keywords
operated
image
desktop application
text
application interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210002031.5A
Other languages
English (en)
Inventor
陈佳滨
赵怡堃
万宇涛
臧永飞
黄小微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210002031.5A priority Critical patent/CN116431461A/zh
Publication of CN116431461A publication Critical patent/CN116431461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种桌面应用测试方法、装置、电子设备、及程序产品，涉及计算机技术领域。所述方法包括：获取待测试桌面应用对应的应用界面图像；根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。通过本申请实施例提供的桌面应用测试方法，测试人员能够直观地根据测试脚本判断待操作对象的类型，继而检验得到的待操作对象与测试脚本指定的待操作对象的一致性，保证桌面应用测试结果的准确性。

Description

桌面应用测试方法、装置、电子设备、及程序产品
技术领域
本申请涉及计算机技术领域，具体涉及桌面应用测试方法、装置、电子设备、及计算机程序产品。
背景技术
现有的桌面应用测试方法都是通过执行测试脚本的命令实现的，而测试脚本中的待操作对象都是以(x，y)格式的像素坐标表示的，所以目前的测试脚本无法直观反映待操作对象是桌面应用上的什么元素，也无法从测试脚本上得知当前像素坐标具体对应桌面应用的哪个按钮或者哪个输入框，一旦测试脚本的像素坐标出现错误，后续的测试步骤均无效，甚至会导致得到错误的测试结果，而且测试人员也难以直观地修改测试脚本。
发明内容
本申请实施例提供桌面应用测试方法、装置、电子设备、及程序产品，用以解决现有的桌面应用测试方法无法检验实际进行桌面应用测试的待操作对象与测试脚本指定的待操作对象的一致性，导致测试结果的准确性得不到保证的技术问题。
第一方面，本申请实施例提供一种桌面应用测试方法，包括：
获取待测试桌面应用对应的应用界面图像；
根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
在一个实施例中，所述根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象，包括：
当判定所述测试脚本指定的待操作对象为待操作文本对象时，通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象；
当判定所述测试脚本指定的待操作对象为待操作图像对象时，通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象。
在一个实施例中，所述通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象，包括：
通过文本识别模型的检测层对所述应用界面图像进行文本检测，得到文本信息；
根据所述文本信息，针对所述测试脚本指定的待操作文本对象，通过文本识别模型的识别层对所述应用界面图像进行文本识别，得到所述待操作文本对象在所述应用界面图像上的位置信息。
在一个实施例中，所述待操作文本对象在所述应用界面图像上的位置信息为所述待操作文本对象在所述应用界面图像上的像素坐标信息。
在一个实施例中，所述通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象，具体为：
针对所述测试脚本指定的待操作图像对象，通过所述图像识别模型根据模板匹配函数对所述应用界面图像进行图像识别，得到所述待操作图像对象在所述应用界面图像上的位置信息。
在一个实施例中，所述待操作图像对象在所述应用界面图像上的位置信息为所述待操作图像对象在所述应用界面图像上的像素坐标信息。
在一个实施例中，还包括：
通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验。
在一个实施例中，所述通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验，包括：
若所述文本信息中包含预设关键字信息，则判定所述桌面应用测试结果为有效结果。
在一个实施例中，所述通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验，包括：
当对所述应用界面图像进行图像识别时，获取图像识别内容；
若所述图像识别内容与预设图像内容的相似度大于预设阈值时，则判定所述桌面应用测试结果为有效结果。
在一个实施例中，所述对所述待操作对象进行桌面应用测试，具体为：
根据所述待操作文本对象在所述应用界面图像上的位置信息或所述待操作图像对象在所述应用界面图像上的像素坐标信息，通过鼠标器移动点击或键盘键入的方式对所述待操作对象进行桌面应用测试。
第二方面，本申请实施例提供一种一种桌面应用测试装置，包括：
应用界面图像获取模块，用于：获取待测试桌面应用对应的应用界面图像；
待操作对象得到模块，用于：根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
桌面应用测试模块，用于：对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的桌面应用测试方法的步骤。
第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的桌面应用测试方法的步骤。
本申请实施例提供的桌面应用测试方法、装置、电子设备、及程序产品，通过文本形式或图像形式配置测试脚本中的待操作对象，使得待操作对象包括待操作文本对象和待操作图像对象，然后在应用界面图像中得到待操作文本对象或待操作图像对象，再对待操作文本对象或待操作图像对象进行桌面应用测试，测试人员能够直观地根据测试脚本判断待操作对象的类型，继而检验得到的待操作对象与测试脚本指定的待操作对象的一致性，保证得到的桌面应用测试结果的准确性。另外，当发现得到的待操作对象与测试脚本指定的待操作对象不一致时，测试人员能够直接根据桌面应用的元素修改测试脚本，提高测试效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的桌面应用测试方法的流程示意图；
图2示出本申请实施例提供的测试脚本的样例之一；
图3示出现有技术中以像素坐标配置测试脚本中的待操作对象的样例；
图4示出现有技术中以框架程序语言配置测试脚本中的待操作对象的样例；
图5示出应用界面图像之一；
图6示出应用界面图像之二；
图7示出本申请实施例根据图6配置的测试脚本；
图8示出应用界面图像之三；
图9示出本申请实施例根据图8配置的测试脚本；
图10是本申请实施例提供的桌面应用测试装置的结构示意图；
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文结合图1至图11来说明本申请实施例提供的桌面应用测试方法、装置、电子设备。
图1为本申请实施例提供一种桌面应用测试方法的流程示意图。
参照图1，本申请实施例提供一种桌面应用测试方法，可以包括：
S110、获取待测试桌面应用对应的应用界面图像；
S120、根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
S130、对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
需要说明的是，本申请实施例提供一种桌面应用测试方法的执行主体可以是任何终端侧设备，例如桌面应用测试系统等。
在终端侧设备执行步骤S110-S130之前，会先执行步骤S100：
启动桌面应用。
需要说明的是，桌面应用可以是终端侧设备上的任何桌面应用程序。
在步骤S110中，终端侧设备会获取待测试桌面应用对应的应用界面图像。
需要说明的是，终端侧设备可以对待测试桌面应用的界面进行截图，以得到待测试桌面应用对应的应用界面图像，应用界面图像上可能包括文本元素、图像元素(例如形状元素、颜色元素)等等。
在步骤S120中，终端侧设备会根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象。
需要说明的是，所述测试脚本中的待操作对象基于文本形式或图像形式配置。例如如图2所示，第二行表示以图像形式配置测试脚本中的待操作对象，视为待操作图像对象，第三至五行表示以文本形式配置测试脚本中的待操作对象，视为待操作文本对象，该配置方式直观地示出测试脚本中的待操作对象，实现“可见即可得”的测试脚本配置，大大地提升测试人员对测试脚本的配置效率，同时该测试脚本也具备良好的可读性，即测试人员能够从测试脚本中清晰直观地分辨出待操作对象具体是桌面应用上的什么元素。
对比地，图3示出以像素坐标配置测试脚本中的待操作对象，图4示出以框架程序语言配置测试脚本中的待操作对象，这两种待操作对象的表现形式均无法直观反映待操作对象对应桌面应用的元素，可读性极差。
需要说明的是，由于基于文本形式或图像形式配置测试脚本，终端侧设备在得到待操作脚本之前可以先根据测试脚本来判断待操作对象为待操作文本对象还是待操作图像对象。
需要说明的是，当判定所述测试脚本指定的待操作对象为待操作文本对象时，终端侧设备可以通过文本识别模型对所述应用界面图像进行文本识别，以得到所述待操作文本对象。
需要说明的是，当判定所述测试脚本指定的待操作对象为待操作图像对象时，终端侧设备可以通过图像识别模型对所述应用界面图像进行图像识别，以得到所述待操作图像对象。
其中，文本识别模型和图像识别模型均可以根据现有技术预先训练得到，使得文本识别模型在应用界面图像上识别出对应测试脚本指定的待操作文本对象的文本信息，以及使得图像识别模型在应用界面图像上识别出对应测试脚本指定的待操作图像对象的图像信息。
在步骤S130中，终端侧设备会对所述待操作对象进行桌面应用测试，得到桌面应用测试结果。
需要说明的是，终端侧设备可以通过模拟鼠标器移动点击或键盘输入的行为对待操作文本对象或待操作图像对象进行桌面应用测试，从而得到桌面应用测试结果，桌面测试结果可以是根据模拟操作后的桌面应用的界面图像来判断得到，桌面应用测试结果可能是该桌面应用的设置效果良好或该桌面应用的设置效果欠佳，需改进，等等。
本申请实施例提供的桌面应用测试方法，通过文本形式或图像形式配置测试脚本中的待操作对象，使得待操作对象包括待操作文本对象和待操作图像对象，然后在应用界面图像中得到待操作文本对象或待操作图像对象，再对待操作文本对象或待操作图像对象进行桌面应用测试，测试人员能够直观地根据测试脚本判断待操作对象的类型，继而检验得到的待操作对象与测试脚本指定的待操作对象的一致性，保证得到的桌面应用测试结果的准确性。
另外，当发现得到的待操作对象与测试脚本指定的待操作对象不一致时，测试人员能够直接根据桌面应用的元素修改测试脚本，提高测试效率。
在一个实施例中，所述通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象，包括：
通过文本识别模型的检测层对所述应用界面图像进行文本检测，得到文本信息；
根据所述文本信息，针对所述测试脚本指定的待操作文本对象，通过文本识别模型的识别层对所述应用界面图像进行文本识别，得到所述待操作文本对象在所述应用界面图像上的位置信息。
需要说明的是，所述待操作文本对象在所述应用界面图像上的位置信息为所述待操作文本对象在所述应用界面图像上的像素坐标信息。
需要说明的是，文本识别模型可以是YOLOv3+CRNN算法模型，文本检测以及文字识别能力以http接口进行封装并对外提供服务，以应用界面图像作为YOLOv3+CRNN算法模型的输入，并以JSON格式输出结果。
需要说明的是，终端侧设备可以先通过文本识别模型的检测层对应用界面图像进行文本检测，得到应用界面图像上的文本信息，文本信息包括应用界面图像上的所有文字以及这些文字在应用界面图像上位置信息；然后终端侧设备可以通过文本识别模型的识别层在应用界面图像的所有文字中识别出测试脚本指定的待操作文本对象，继而得到待操作文本对象在应用界面图像上的位置信息，例如如图5所示，其中[[197，108]，[286，108]，[286，134]，[197，134]]为待操作文本对象“加入会议”所在矩形区域左下角、右下角、右上角、左上角四点的像素坐标信息，其JSON串作为模型输出结果。
通过文本识别模型直接在应用界面图像上识别出待操作文本对象，有利于提高确认待操作文本对象的准确性，从而进一步保证后续进行桌面应用测试方法得到的桌面应用测试结果的准确性，同时能够提高测试效率。
在一个实施例中，所述通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象，具体为：
针对所述测试脚本指定的待操作图像对象，通过所述图像识别模型根据模板匹配函数对所述应用界面图像进行图像识别，得到所述待操作图像对象在所述应用界面图像上的位置信息。
需要说明的是，所述待操作图像对象在所述应用界面图像上的位置信息为所述待操作图像对象在所述应用界面图像上的像素坐标信息。
需要说明的是，模板匹配函数可以是OpenCV开源项目的matchTemplate模板匹配函数，具体的，终端侧设备可以通过所述图像识别模型根据模板匹配函数利用模板图像在另一幅图像上滑动并依次计算相似度，以在另一幅图像寻找最匹配(相似)部分，即图像识别模型的模板匹配函数以源图像(应用界面图像)与模板图像(应用界面上的坐标小图)为输入参数，根据源图像(应用界面图像)与模板图像(应用界面上的坐标小图)的相似度最大值输出最佳匹配的矩形区域(表示待操作图像对象)的像素坐标信息。
通过图像识别模型直接在应用界面图像上识别出待操作图像对象，有利于提高确认待操作图像对象的准确性，从而进一步保证后续进行桌面应用测试方法得到的桌面应用测试结果的准确性，同时能够提高测试效率。
在一个实施例中，本申请实施例提供的桌面应用测试方法还包括：
通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验。
例如具体可以通过如下方式对桌面应用测试结果进行检验：
方式一：若所述文本信息中包含预设关键字信息，则判定所述桌面应用测试结果为有效结果。
需要说明的是，终端侧设备可以将应用界面图像上的唯一关键字作为预设关键字信息，当通过文本识别模型的检测层对应用界面图像进行文本检测而得到文本信息包含预设关键字信息时，判定桌面应用测试结果为有效结果，反之桌面应用测试结果为无效结果。
方式二：当对所述应用界面图像进行图像识别时，获取图像识别内容，若所述图像识别内容与预设图像内容的相似度大于预设阈值时，则判定所述桌面应用测试结果为有效结果。
需要说明的是，图像识别内容可以是对应用界面图像进行图像识别时的界面截图，预设图像内容可以是测试脚本指定的待操作图像对象对应的正确的图像，预设阈值可以是0.9。具体的，终端侧设备可以通过OpenCV开源项目的matchTemplate模板匹配函数将图像识别内容与预设图像内容进行比对(或称相似度计算)，若图像识别内容与预设图像内容的相似度大于预设阈值时，则判定桌面应用测试结果为有效结果，反之桌面应用测试结果为无效结果。
通过对桌面应用测试结果进行检验，能够再次保证桌面应用测试结果的有效性和准确性，而且本发明通过关键字匹配的方式或图像匹配的方式对桌面应用测试结果进行检验实质是利用步骤S120的信息对桌面应用测试结果进行检验，没有过多繁杂的步骤，能够提高资源利用率。
在一个实施例中，所述对所述待操作对象进行桌面应用测试，具体为：
根据所述待操作文本对象在所述应用界面图像上的位置信息或所述待操作图像对象在所述应用界面图像上的像素坐标信息，通过鼠标器移动点击或键盘键入的方式对所述待操作对象进行桌面应用测试。
需要说明的是，终端侧设备可以根据待操作文本对象在应用界面图像上的位置信息或待操作图像对象在应用界面图像上的像素坐标信息，根据测试脚本的命令，通过鼠标器移动点击或键盘键入的方式对待操作文本对象或待操作图像对象进行模拟应用测试。
例如，对于图6的应用界面图像，要验证“即时会议”功能时，参考应用界面图像显示的文字信息就可以配置如图7所示的测试脚本，测试人员对照测试脚本可以很直观地理解测试流程：
1、点击“即时会议”按钮，进入即时会议的配置页面；
2、在“请输入会议主题”输入框内配置会议主题信息；
3、点击“开始会议”按钮；
4、验证开始会议功能的结果页面上是否存在“结束会议”关键字。
当遇到测试按钮或输入框没有文本信息时，也可以借助图像识别配置待操作对象的方式。如图8，当需要测试左下角框标注的软件“设置”功能时，可以配置如图9所示的测试脚本。
本发明实现了“可见即可得”的测试脚本配置方式，大大简化脚本配置流程，提升测试人员的脚本配置效率。与此同时，测试脚本具备良好的可读性，测试人员从测试脚本中可以清楚直观地分辨出操作对象具体是桌面应用上的什么元素，当需要修改时也可以直接根据桌面应用的元素修改测试脚本。
本发明提供的桌面应用测试方法，在桌面应用升级或改版后，只要桌面应用上的文本元素或图像元素未发生改变，测试脚本无须修改依然可用。同时，本发明提供的桌面应用测试方法在应对不同像素的硬件设备的兼容性测试时，也可以移植使用，具备了通用性与可移植性，极大程度提升了健壮性。
下面对本申请实施例提供的桌面应用测试装置进行描述，下文描述的桌面应用测试装置与上文描述的桌面应用测试方法可相互对应参照。
图10为本申请实施例提供一种桌面应用测试装置的结构示意图。
参照图10，本申请实施例提供一种桌面应用测试装置，可以包括：
应用界面图像获取模块1010，用于：获取待测试桌面应用对应的应用界面图像；
待操作对象得到模块1020，用于：根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
桌面应用测试模块1030，用于：对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
在一种实施例中，所述待操作对象得到模块1020包括：
待操作文本对象识别子模块，用于：当判定所述测试脚本指定的待操作对象为待操作文本对象时，通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象；
待操作图像对象识别子模块，用于：当判定所述测试脚本指定的待操作对象为待操作图像对象时，通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象。
在一种实施例中，所述待操作文本对象识别子模块包括：
文本检测子模块，用于：通过文本识别模型的检测层对所述应用界面图像进行文本检测，得到文本信息；
文本识别子模块，用于：根据所述文本信息，针对所述测试脚本指定的待操作文本对象，通过文本识别模型的识别层对所述应用界面图像进行文本识别，得到所述待操作文本对象在所述应用界面图像上的位置信息。
在一种实施例中，所述待操作文本对象在所述应用界面图像上的位置信息为所述待操作文本对象在所述应用界面图像上的像素坐标信息。
在一种实施例中，所述待操作图像对象识别子模块具体用于：
针对所述测试脚本指定的待操作图像对象，通过所述图像识别模型根据模板匹配函数对所述应用界面图像进行图像识别，得到所述待操作图像对象在所述应用界面图像上的位置信息。
在一种实施例中，所述待操作图像对象在所述应用界面图像上的位置信息为所述待操作图像对象在所述应用界面图像上的像素坐标信息。
在一种实施例中，还包括：
桌面应用测试结果检验模块，用于：通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验。
在一种实施例中，所述桌面应用测试结果检验模块包括：
关键字匹配子模块，用于：若所述文本信息中包含预设关键字信息，则判定所述桌面应用测试结果为有效结果。
在一种实施例中，所述桌面应用测试结果检验模块包括：
图像识别内容获取子模块，用于：当对所述应用界面图像进行图像识别时，获取图像识别内容；
图像匹配子模块，用于：若所述图像识别内容与预设图像内容的相似度大于预设阈值时，则判定所述桌面应用测试结果为有效结果。
在一种实施例中，所述桌面应用测试模块1030具体用于：
根据所述待操作文本对象在所述应用界面图像上的位置信息或所述待操作图像对象在所述应用界面图像上的像素坐标信息，通过鼠标器移动点击或键盘键入的方式对所述待操作对象进行桌面应用测试。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行桌面应用测试方法的步骤，例如包括：
获取待测试桌面应用对应的应用界面图像；
根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的桌面应用测试方法的步骤，例如包括：
获取待测试桌面应用对应的应用界面图像；
根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例所提供的桌面应用测试方法的步骤，例如包括：
获取待测试桌面应用对应的应用界面图像；
根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种桌面应用测试方法，其特征在于，包括：
获取待测试桌面应用对应的应用界面图像；
根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
2.根据权利要求1所述的桌面应用测试方法，其特征在于，所述根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象，包括：
当判定所述测试脚本指定的待操作对象为待操作文本对象时，通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象；
当判定所述测试脚本指定的待操作对象为待操作图像对象时，通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象。
3.根据权利要求2所述的桌面应用测试方法，其特征在于，所述通过文本识别模型对所述应用界面图像进行文本识别，得到所述待操作文本对象，包括：
通过文本识别模型的检测层对所述应用界面图像进行文本检测，得到文本信息；
根据所述文本信息，针对所述测试脚本指定的待操作文本对象，通过文本识别模型的识别层对所述应用界面图像进行文本识别，得到所述待操作文本对象在所述应用界面图像上的位置信息。
4.根据权利要求3所述的桌面应用测试方法，其特征在于，所述待操作文本对象在所述应用界面图像上的位置信息为所述待操作文本对象在所述应用界面图像上的像素坐标信息。
5.根据权利要求3所述的桌面应用测试方法，其特征在于，所述通过图像识别模型对所述应用界面图像进行图像识别，得到所述待操作图像对象，具体为：
针对所述测试脚本指定的待操作图像对象，通过所述图像识别模型根据模板匹配函数对所述应用界面图像进行图像识别，得到所述待操作图像对象在所述应用界面图像上的位置信息。
6.根据权利要求5所述的桌面应用测试方法，其特征在于，所述待操作图像对象在所述应用界面图像上的位置信息为所述待操作图像对象在所述应用界面图像上的像素坐标信息。
7.根据权利要求5所述的桌面应用测试方法，其特征在于，还包括：
通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验。
8.根据权利要求7所述的桌面应用测试方法，其特征在于，所述通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验，包括：
若所述文本信息中包含预设关键字信息，则判定所述桌面应用测试结果为有效结果。
9.根据权利要求7所述的桌面应用测试方法，其特征在于，所述通过关键字匹配的方式或图像匹配的方式对所述桌面应用测试结果进行检验，包括：
当对所述应用界面图像进行图像识别时，获取图像识别内容；
若所述图像识别内容与预设图像内容的相似度大于预设阈值时，则判定所述桌面应用测试结果为有效结果。
10.根据权利要求5所述的桌面应用测试方法，其特征在于，所述对所述待操作对象进行桌面应用测试，具体为：
根据所述待操作文本对象在所述应用界面图像上的位置信息或所述待操作图像对象在所述应用界面图像上的像素坐标信息，通过鼠标器移动点击或键盘键入的方式对所述待操作对象进行桌面应用测试。
11.一种桌面应用测试装置，其特征在于，包括：
应用界面图像获取模块，用于：获取待测试桌面应用对应的应用界面图像；
待操作对象得到模块，用于：根据测试脚本，判断待操作对象的类型，并在所述应用界面图像中得到所述待操作对象；
桌面应用测试模块，用于：对所述待操作对象进行桌面应用测试，得到桌面应用测试结果；
其中，所述测试脚本中的待操作对象基于文本形式或图像形式配置。
12.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的桌面应用测试方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的桌面应用测试方法的步骤。
CN202210002031.5A 2022-01-04 2022-01-04 桌面应用测试方法、装置、电子设备、及程序产品 Pending CN116431461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210002031.5A CN116431461A (zh) 2022-01-04 2022-01-04 桌面应用测试方法、装置、电子设备、及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210002031.5A CN116431461A (zh) 2022-01-04 2022-01-04 桌面应用测试方法、装置、电子设备、及程序产品

Publications (1)

Publication Number Publication Date
CN116431461A true CN116431461A (zh) 2023-07-14

Family

ID=87081947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210002031.5A Pending CN116431461A (zh) 2022-01-04 2022-01-04 桌面应用测试方法、装置、电子设备、及程序产品

Country Status (1)

Country Link
CN (1) CN116431461A (zh)

Similar Documents

Publication Publication Date Title
CN109408384B (zh) 软件应用的测试方法、装置、处理器及电子装置
CN108763068B (zh) 一种基于机器学习的自动化测试方法及终端
CN111767228B (zh) 基于人工智能的界面测试方法、装置、设备和介质
CN109871326B (zh) 一种脚本录制的方法和装置
CN107783898B (zh) 移动应用的测试方法及测试设备
CN109815156A (zh) 页面中视觉元素的展示测试方法、装置、设备和存储介质
CN109194689B (zh) 异常行为识别方法、装置、服务器及存储介质
CN111832581B (zh) 肺部特征识别方法、装置、计算机设备及存储介质
WO2020151301A1 (zh) 一种基于强化学习的测试脚本生成方法和装置
WO2021159736A1 (zh) 应用程序兼容性测试的方法、装置及计算机设备
CN109783360A (zh) 操作系统对比测试方法与装置、电子设备、存储介质
CN111143188A (zh) 一种对应用进行自动化测试的方法及设备
CN113190444A (zh) 一种测试方法、装置及存储介质
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN116431468A (zh) 测试方法、装置、处理设备及存储介质
CN115687146A (zh) Bios测试方法、装置、计算机设备和存储介质
CN116431461A (zh) 桌面应用测试方法、装置、电子设备、及程序产品
CN112835807B (zh) 界面识别方法、装置、电子设备和存储介质
CN115062571A (zh) 应用于集成电路器件的数据区域动态选取方法、系统、设备和计算机可读存储介质
CN113297371A (zh) 推荐题目库的生成方法、装置、设备及存储介质
CN114860604B (zh) 自动识别动态验证码的自动测试方法、系统和存储介质
CN117389664B (zh) 唯一性控件区域划分方法、装置、电子设备和存储介质
Chu et al. Automated GUI testing for android news applications
Pan et al. Research on functional test of mobile app based on robot
CN111949510A (zh) 测试处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination