CN112380134A - 一种基于图像识别的WebUI自动化测试方法 - Google Patents
一种基于图像识别的WebUI自动化测试方法 Download PDFInfo
- Publication number
- CN112380134A CN112380134A CN202011383670.8A CN202011383670A CN112380134A CN 112380134 A CN112380134 A CN 112380134A CN 202011383670 A CN202011383670 A CN 202011383670A CN 112380134 A CN112380134 A CN 112380134A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- webui
- test
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 53
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 claims abstract description 6
- 229910052711 selenium Inorganic materials 0.000 claims abstract description 6
- 239000011669 selenium Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 238000010998 test method Methods 0.000 description 2
- XSQUKJJJFZCRTK-NJFSPNSNSA-N UREA C 14 Chemical compound N[14C](N)=O XSQUKJJJFZCRTK-NJFSPNSNSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于图像识别的WebUI自动化测试方法，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告。当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。
Description
技术领域
本发明涉及支付，金融领域，特别涉及一种基于图像识别的WebUI自动化测试方法。
背景技术
自动化测试(automation testing)是把以人为驱动的测试行为转化为机器执行的一种过程。在持续交付和持续集成的开发链路中，引入自动化测试来完成一些复杂或者重复性的测试工作，能够大量的节省人力、时间或硬件资源，极大提高测试效率。
图像识别技术，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。
目前针对复杂易变的WebUI的界面的自动化测试，业界传统的方案是应用pytest+selenium框架完成实现。由于此种方案的实现严格受限selenium组件本身的局限性，导致某些功能无法完全通过自动化方式覆盖，同时针对由于浏览器类型、版本不同导致WebUI界面产生的形变，乱序等场景的兼容性测试，当前的方案无法支持。因此业界目前缺缺少一种成熟稳定的WebUI自动化测试方案能够解决上述问题。本发明旨在WebUI自动化测试场景中，引入图像识别(picture recognization)技术，解决上述问题。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于图像识别的WebUI自动化测试方法，当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于图像识别的WebUI自动化测试方法，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告，具体包括以下步骤：
S1.首先获取标准模板图像base.jpg，此模板将作为检测界面异常的标准，而后进入图像截取模块，系统根据不同的配置参数，使用不同的浏览器，用户可以脚本语言调用此模块提供的api，从而控制界面的跳转，将需要测试的界面截取并且保存；
S2.随后进入图像匹配模块，由于浏览器兼容性测试，要求展示的界面与标准模板完全一致，因此可以设定匹配阈值为1，表示图像严格匹配，模块根据获取的图片，进一步清洗、加工特征，相似度计算，最终输出匹配的结果及问题元素的位置信息；
S3.报告生成模块解析匹配结果，生成测试结果报告，整个流程可以使用可以基于图形化编程框架sikuli构建，因为其简便性，可用户直接使用截图来进行UI自动化测试开发。
与现有技术相比，本发明的有益效果如下：
当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体方案示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明如图1所示，本发明提供一种基于图像识别的WebUI自动化测试方法，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告，具体包括以下步骤：
S1.首先获取标准模板图像base.jpg，此模板将作为检测界面异常的标准，而后进入图像截取模块，系统根据不同的配置参数，使用不同的浏览器，用户可以脚本语言调用此模块提供的api，从而控制界面的跳转，将需要测试的界面截取并且保存；
S2.随后进入图像匹配模块，由于浏览器兼容性测试，要求展示的界面与标准模板完全一致，因此可以设定匹配阈值为1，表示图像严格匹配，模块根据获取的图片，进一步清洗、加工特征，相似度计算，最终输出匹配的结果及问题元素的位置信息；
S3.报告生成模块解析匹配结果，生成测试结果报告，整个流程可以使用可以基于图形化编程框架sikuli构建，因为其简便性，可用户直接使用截图来进行UI自动化测试开发。
另一方面，在实际使用中，由于界面根据尺寸的变化，导致界面元素产生错位，导致界面布局混乱的现象，需要系统具有自适应的功能。保证界面元素不乱序，元素及元素之间能够保持固定的位置。针对此功能的测试，实现方案如图1所示：
首先选取元素模板menu.jpg和title.jpg，此模板将作为检测界面异常的标准。而后进入图像截取模块，系统根据不同的配置参数，使用不同的浏览器。用户可以脚本语言调用此模块提供的api，从而控制界面的跳转，定位到需要测试的元素，并且获取元素的坐标信息。随后进入图像匹配模块，同整体界面匹配的方式不同，对于元素位置的测试策略，此方案提供绝对匹配及相对匹配两种模式，绝对匹配主要用于检测固定图标的位置，相对匹配则着重解决两个元素之间的位置关系问题。最后将获取的位置信息与设定的位置数据进行比较，输出结果。由报告生成模块进行j结果解析，生成测试结果报告；
本申请相对现有技术而言，所具有的优点和效果。
当前对于WebUI的自动化测试，由于现有框架的局限性导致不能覆盖浏览器兼容性测试及自适应功能场景，本方案提出一种基于图像识别的WebUI自动化测试方案，能够在保持测试高效简易的同时，解决上述问题，极大的提高WebUI自动化测试的覆盖率，从而提升测试效率。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于图像识别的WebUI自动化测试方法，其特征在于，主要包含图像采集模块，图像匹配模块，报告生成模块，采用sikuli+selenium技术框架实现图像采集模块，应用opencv框架辅助实现图像识别模块，最后解析图像匹配的结果，获取差异元素的位置，最终生成测试报告，具体包括以下步骤：
S1.首先获取标准模板图像base.jpg，此模板将作为检测界面异常的标准，而后进入图像截取模块，系统根据不同的配置参数，使用不同的浏览器，用户可以脚本语言调用此模块提供的api，从而控制界面的跳转，将需要测试的界面截取并且保存；
S2.随后进入图像匹配模块，由于浏览器兼容性测试，要求展示的界面与标准模板完全一致，因此可以设定匹配阈值为1，表示图像严格匹配，模块根据获取的图片，进一步清洗、加工特征，相似度计算，最终输出匹配的结果及问题元素的位置信息；
S3.报告生成模块解析匹配结果，生成测试结果报告，整个流程可以使用可以基于图形化编程框架sikuli构建，因为其简便性，可用户直接使用截图来进行UI自动化测试开发。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011383670.8A CN112380134A (zh) | 2020-12-01 | 2020-12-01 | 一种基于图像识别的WebUI自动化测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011383670.8A CN112380134A (zh) | 2020-12-01 | 2020-12-01 | 一种基于图像识别的WebUI自动化测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380134A true CN112380134A (zh) | 2021-02-19 |
Family
ID=74589231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011383670.8A Pending CN112380134A (zh) | 2020-12-01 | 2020-12-01 | 一种基于图像识别的WebUI自动化测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380134A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115326424A (zh) * | 2022-08-11 | 2022-11-11 | 广州汽车集团股份有限公司 | 一种车窗开度测试方法及系统 |
-
2020
- 2020-12-01 CN CN202011383670.8A patent/CN112380134A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115326424A (zh) * | 2022-08-11 | 2022-11-11 | 广州汽车集团股份有限公司 | 一种车窗开度测试方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107025174B (zh) | 用于设备的用户界面异常测试的方法、装置和可读储介质 | |
| CN104391797A (zh) | Gui控件的识别方法和装置 | |
| CN109857663B (zh) | 关键字驱动与图像相似度结合的自动化测试平台 | |
| TWI678614B (zh) | 測試系統 | |
| CN104956339A (zh) | 从视频生成软件测试脚本 | |
| CN108509343A (zh) | 基于图像识别技术的自动化测试方法及系统 | |
| CN110851299A (zh) | 自动化流程的异常排除方法、装置、设备及存储介质 | |
| CN112131121B (zh) | 用户界面的模糊检测方法、装置、电子设备和存储介质 | |
| US20230162344A1 (en) | Appearance inspection apparatus and appearance inspection method | |
| CN113934630A (zh) | 基于图像识别的软件测试方法、装置、设备及介质 | |
| US20180336122A1 (en) | Generating application flow entities | |
| CN112380134A (zh) | 一种基于图像识别的WebUI自动化测试方法 | |
| CN113127349B (zh) | 软件测试方法和系统 | |
| CN113468066A (zh) | 用户界面测试方法及装置 | |
| WO2022252239A1 (zh) | 基于计算机视觉的移动端应用控件识别方法 | |
| Pan et al. | Research on functional test of mobile app based on robot | |
| CN110456955B (zh) | 暴露服饰检测方法、装置、系统、设备及存储介质 | |
| CN113407455B (zh) | 智能白电产品的自动化测评方法及装置 | |
| CN109358939B (zh) | 一种移动app轮播图自动选择点击方法 | |
| EP3053142A1 (en) | Record and replay of operations on graphical objects | |
| CN116185411B (zh) | Rpa界面的确定方法、装置、计算机设备及存储介质 | |
| Xie et al. | NiCro: Purely Vision-based, Non-intrusive Cross-Device and Cross-Platform GUI Testing | |
| CN117853712A (zh) | 一种移动设备gui控件的检测识别方法及测试脚本生成方法 | |
| CN115658531A (zh) | 一种应用于vr一体机平台应用层的自动化测试方法和系统 | |
| CN117687910A (zh) | 一种应用程序的测试方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210219 |