CN112199290B - 基于机器学习的ui元素定位方法及系统 - Google Patents

基于机器学习的ui元素定位方法及系统 Download PDF

Info

Publication number
CN112199290B
CN112199290B CN202011108778.6A CN202011108778A CN112199290B CN 112199290 B CN112199290 B CN 112199290B CN 202011108778 A CN202011108778 A CN 202011108778A CN 112199290 B CN112199290 B CN 112199290B
Authority
CN
China
Prior art keywords
elements
training
test
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011108778.6A
Other languages
English (en)
Other versions
CN112199290A (zh
Inventor
林建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wuyu Technology Co ltd
Original Assignee
Shenzhen Wuyu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wuyu Technology Co ltd filed Critical Shenzhen Wuyu Technology Co ltd
Priority to CN202011108778.6A priority Critical patent/CN112199290B/zh
Publication of CN112199290A publication Critical patent/CN112199290A/zh
Application granted granted Critical
Publication of CN112199290B publication Critical patent/CN112199290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668Testing of software
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668Testing of software
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于机器学习的UI元素定位方法及系统,所述方法包括:UI界面分解,提炼出待测试的UI元素;设计或者收集与待测试UI元素类似的一类UI元素;把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型;针对每类UI元素设计相应的测试脚本;将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练,提高准确度;将每类UI元素的测试用例集成到UI元素自动识别系统,并定期维护测试脚本;UI测试时,将UI图片上传到UI元素系统,自动定位UI图片中的元素,并生成相应的测试脚本。本发明可提高定位的准确性及定位效率。

Description

基于机器学习的UI元素定位方法及系统
技术领域
本发明属于计算机软件技术领域,涉及一种UI元素定位方法,尤其涉及一种基于机器学习的UI元素定位方法及系统。
背景技术
UI元素是指应用程序里可以看见的任何可视元素,一些元素用来响应用户的操作,如按钮、文本字段,还有一些元素显示更多内容,如图像、标签等。针对UI元素定位,目前主要通过UI元素的文本字段、后台控件ID等方式进行定位。
现有UI元素定位方式存在如下缺陷:(1)UI元素均需要通过查阅后台代码或者指定文本字段进行定位;(2)UI界面随时可能更改,UI元素也可能发生调整,增加维护难度;(3)针对UI元素的测试需要手工方式(录制脚本或者自动化脚本)进行用例设计,维护成本比较高。
有鉴于此,如今迫切需要设计一种新的UI元素定位方式,以便克服现有UI元素定位方式存在的上述至少部分缺陷。
发明内容
本发明提供一种基于机器学习的UI元素定位方法及系统,可提高定位的准确性及定位效率。
为解决上述技术问题,根据本发明的一个方面,采用如下技术方案:
一种基于机器学习的UI元素定位方法,所述方法包括:
把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型;将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练;
UI界面分解,提炼出待测试的UI元素;
设计或者收集与待测试UI元素相似度超过设定阈值的UI元素;
针对每类UI元素设计相应的测试脚本;
将每类UI元素的测试脚本集成到UI元素自动识别系统,并定期维护测试脚本;
UI测试时,将UI图片上传到UI元素自动识别系统,通过图像分割算法自动分割出中UI图片中的UI元素,通过训练好的UI元素模型识别出UI元素,同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。
作为本发明的一种实施方式,UI元素自动识别系统输出的结果为输入的UI图片包含的UI元素以及每个UI元素需要测试的测试脚本。
作为本发明的一种实施方式,UI界面分解采用阈值图像分割方法;将原始UI界面f(i,j)转化为输出图像g(i,j);其中,T为阈值,对于UI元素g(i,j)=1,对于UI界面背景元素g(i,j)=0;
采用直方图双峰法(也称mode法)确认阈值T;对比明显的UI元素和背景在灰度直方图总呈双峰分布,选择两峰之间的谷对应的像素Zt作为阈值T。
作为本发明的一种实施方式,训练UI元素模型时,基于UI元素识别的特点,采用监督式学习算法,接收已知的输入数据集合(x1,x2,...,xn,训练集)和已知的对数据的响应(y1,y2,...,yn,输出结果),然后训练出一个模型M,为新输入数据(x1’,x2’,...xn’,测试集)生成合理的预测结果(y1’,y2’,...,yn’);同时为提高UI元素模型的鲁棒性,模型训练过程中会加入少量噪声数据z;
UI元素模型训练中,每一类UI元素随机选择设定数量的UI元素作为训练数据,选择设定数量的UI元素作为噪音数据,选择设定数量的UI元素作为测试数据。
作为本发明的一种实施方式,所述UI元素包括登录、个人中心、注册、借款、还款、会员、购物车。
作为本发明的一种实施方式,在训练UI元素模型时,把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
根据本发明的另一个方面,采用如下技术方案:一种基于机器学习的UI元素定位系统,所述系统包括:
模型训练模块,用以把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型;将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练;
UI界面分解模块,用以提炼出待测试的UI元素;
UI元素获取模块,用以设计或者收集与待测试UI元素相似度超过设定阈值的UI元素;
测试脚本设计模块,用以针对每类UI元素设计相应的测试脚本;
UI元素集成模块,用以将每类UI元素的测试脚本集成到UI元素自动识别系统,并定期维护测试脚本;
UI元素定位模块,用以UI测试时将UI图片上传到UI元素自动识别系统,通过图像分割算法自动分割出中UI图片中的UI元素,通过训练好的UI元素模型识别出UI元素,同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。
作为本发明的一种实施方式,所述UI界面分解模块提炼的UI元素包括登录、个人中心、注册。
作为本发明的一种实施方式,所述模型训练模块把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
本发明的有益效果在于:本发明提出的基于机器学习的UI元素定位方法及系统,可提高定位的准确性及定位效率。
附图说明
图1为本发明一实施例中UI元素定位方法的流程图。
图2为本发明一实施例中UI元素定位系统的组成示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明,下面结合实施例对本发明优选实施方案进行描述,但是应当理解,这些描述只是为进一步说明本发明的特征和优点,而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例,本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
说明书中各个实施例中的步骤的表述只是为了方便说明,本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接,也包含间接连接。
本发明揭示了一种基于机器学习的UI元素定位方法,图1为本发明一实施例中UI元素定位方法的流程图;请参阅图1,所述方法包括:
【步骤S1】UI界面分解,提炼出待测试的UI元素。在一实施例中,所述UI元素包括登录、个人中心、注册。
【步骤S2】设计或者收集与待测试UI元素类似的一类UI元素。
【步骤S3】把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型。在一实施例中,把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
【步骤S4】针对每类UI元素设计相应的测试脚本。
【步骤S5】将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练,提高准确度。
【步骤S6】将每类UI元素的测试用例集成到UI元素自动识别系统,并定期维护测试脚本。
【步骤S7】UI测试时,将UI图片上传到UI元素系统,自动定位UI图片中的元素,并生成相应的测试脚本。
本发明还揭示一种基于机器学习的UI元素定位系统,所述系统包括:UI界面分解模块1、UI元素获取模块2、UI元素模型训练模块3、测试脚本设计模块4、模型训练模块5、UI元素集成模块6及UI元素定位模块7。
UI界面分解模块1用以提炼出待测试的UI元素。在一实施例中,所述UI界面分解模块提炼的UI元素包括登录、个人中心、注册。
UI元素获取模块2用以设计或者收集与待测试UI元素类似的一类UI元素。
UI元素模型训练模块3用以把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型。在一实施例中,所述UI元素模型训练模块把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
测试脚本设计模块4用以针对每类UI元素设计相应的测试脚本。
模型训练模块5用以将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练。
UI元素集成模块6用以将每类UI元素的测试用例集成到UI元素自动识别系统,并定期维护测试脚本。
UI元素定位模块7用以UI测试时将UI图片上传到UI元素系统,自动定位UI图片中的元素,并生成相应的测试脚本。
在一实施例中,机器学习指专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习的输入数据称为训练数据,每组训练数据都有明确的标识或者结果。监督式学习建立一个学习过程,将预测结果与“训练数据”的实际结果进行比较,不断的调整预测模型,直到模型的预测结果达到一个预期的准确率。
综上所述,本发明提出的基于机器学习的UI元素定位方法及系统,可提高定位的准确性及定位效率。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的,并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现,对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的,对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是,在不脱离本发明的精神或本质特征的情况下,本发明可以以其它形式、结构、布置、比例,以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下,可以对这里所披露的实施例进行其它变形和改变。

Claims (7)

1.一种基于机器学习的UI元素定位方法,其特征在于,所述方法包括:
把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型;将训练出的UI元素模型集成到
UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练;
UI界面分解,提炼出待测试的UI元素;
设计或者收集与待测试UI元素相似度超过设定阈值的UI元素;
针对每类UI元素设计相应的测试脚本;
将每类UI元素的测试脚本集成到UI元素自动识别系统,并定期维护测试脚本;
UI测试时,将UI图片上传到UI元素自动识别系统,通过图像分割算法自动分割出
UI图片中的UI元素,通过训练好的UI元素模型识别出UI元素,同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本;
UI界面分解采用阈值图像分割方法;将原始UI界面f(i,j)转化为输出图像g(i,j);其中,T为阈值,对于UI元素g(i,j)=1,对于UI界面背景元素g(i,j)=0;
采用直方图双峰法确认阈值T;对比明显的UI元素和背景在灰度直方图中呈双峰分布,选择两峰之间的谷对应的像素Zt作为阈值T;
训练UI元素模型时,基于UI元素识别的特点,采用监督式学习算法,接收已知的输入数据集合(x1,x2,...,xn,训练集)和已知的对数据的响应(y1,y2,...,yn,输出结果),然后训练出一个模型M,为新输入数据(x1’,x2’,...xn’,测试集)生成预测结果(y1’,y2’,...,yn’);模型训练过程中加入噪声数据z;
UI元素模型训练中,每一类UI元素随机选择设定数量的UI元素作为训练数据,选择设定数量的UI元素作为噪音数据,选择设定数量的UI元素作为测试数据。
2.根据权利要求1所述的基于机器学习的UI元素定位方法,其特征在于:
UI元素自动识别系统输出的结果为输入的UI图片包含的UI元素以及每个UI元素需要测试的测试脚本。
3.根据权利要求1所述的基于机器学习的UI元素定位方法,其特征在于:
所述UI元素包括登录、个人中心、注册、借款、还款、会员、购物车。
4.根据权利要求1所述的基于机器学习的UI元素定位方法,其特征在于:
在训练UI元素模型时,把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
5.一种基于机器学习的UI元素定位系统,其特征在于,所述系统包括:
模型训练模块,用以把每一类UI元素的部分作为训练数据,部分作为测试数据,训练数据进行监督式机器学习训练,测试数据进行验证,训练出UI元素模型;将训练出的UI元素模型集成到UI元素自动识别系统中,并定期增加新的UI元素对模型进行训练;训练UI元素模型时,基于UI元素识别的特点,采用监督式学习算法,接收已知的输入数据集合(x1,x2,...,xn,训练集)和已知的对数据的响应(y1,y2,...,yn,输出结果),然后训练出一个模型M,为新输入数据(x1’,x2’,...xn’,测试集)生成预测结果(y1’,y2’,...,yn’);模型训练过程中加入噪声数据z;UI元素模型训练中,每一类
UI元素随机选择设定数量的UI元素作为训练数据,选择设定数量的UI元素作为噪音数据,选择设定数量的UI元素作为测试数据;
UI界面分解模块,用以提炼出待测试的UI元素;UI界面分解采用阈值图像分割方法;将原始UI界面f(i,j)转化为输出图像g(i,j);其中,T为阈值,对于UI元素g(i,j)=1,
对于UI界面背景元素g(i,j)=0;采用直方图双峰法确认阈值T;对比明显的UI元素和背景在灰度直方图中呈双峰分布,选择两峰之间的谷对应的像素Zt作为阈值T;
UI元素获取模块,用以设计或者收集与待测试UI元素相似度超过设定阈值的UI元素;
测试脚本设计模块,用以针对每类UI元素设计相应的测试脚本;
UI元素集成模块,用以将每类UI元素的测试脚本集成到UI元素自动识别系统,并定期维护测试脚本;
UI元素定位模块,用以UI测试时将UI图片上传到UI元素自动识别系统,通过图像分割算法自动分割出UI图片中的UI元素,通过训练好的UI元素模型识别出UI元素,同时针对识别出的UI元素调用测试脚本模块生成相应的测试脚本。
6.根据权利要求5所述的基于机器学习的UI元素定位系统,其特征在于:
所述UI界面分解模块提炼的UI元素包括登录、个人中心、注册。
7.根据权利要求5所述的基于机器学习的UI元素定位系统,其特征在于:
所述模型训练模块把每一类UI元素的2/3作为训练数据,1/3作为测试数据。
CN202011108778.6A 2020-10-16 2020-10-16 基于机器学习的ui元素定位方法及系统 Active CN112199290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011108778.6A CN112199290B (zh) 2020-10-16 2020-10-16 基于机器学习的ui元素定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011108778.6A CN112199290B (zh) 2020-10-16 2020-10-16 基于机器学习的ui元素定位方法及系统

Publications (2)

Publication Number Publication Date
CN112199290A CN112199290A (zh) 2021-01-08
CN112199290B true CN112199290B (zh) 2023-11-03

Family

ID=74010471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011108778.6A Active CN112199290B (zh) 2020-10-16 2020-10-16 基于机器学习的ui元素定位方法及系统

Country Status (1)

Country Link
CN (1) CN112199290B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3170487A1 (en) 2021-10-26 2023-04-26 Myplanet Internet Solutions Ltd. System and method for automatic modification of a user interface
CN114419625A (zh) * 2022-01-11 2022-04-29 广东电网有限责任公司 基于边缘技术的界面识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309059A (zh) * 2019-05-24 2019-10-08 深圳壹账通智能科技有限公司 Ui界面测试方法、系统、计算机设备和存储介质
CN111309618A (zh) * 2020-02-24 2020-06-19 广州市百果园信息技术有限公司 页面元素定位方法、页面测试方法及相关装置
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162741B2 (en) * 2017-01-24 2018-12-25 International Business Machines Corporation Automatically correcting GUI automation using machine learning
US11099972B2 (en) * 2018-11-19 2021-08-24 Microsoft Technology Licensing, Llc Testing user interfaces using machine vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309059A (zh) * 2019-05-24 2019-10-08 深圳壹账通智能科技有限公司 Ui界面测试方法、系统、计算机设备和存储介质
CN111309618A (zh) * 2020-02-24 2020-06-19 广州市百果园信息技术有限公司 页面元素定位方法、页面测试方法及相关装置
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automating GUI Testing with Image-Based Deep Reinforcement Learning;Juha Eskonen等;《2020 IEEE International Conference on Autonomic Computing and Self-Organizing Systems (ACSOS)》;第160-167页 *
基于深度学习法的视频文本区域定位与识别;刘明珠等;《哈尔滨理工大学学报》;第61-66页 *

Also Published As

Publication number Publication date
CN112199290A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
EP2528034B1 (en) Image management device, image management method, program, recording medium, and integrated circuit
CN112199290B (zh) 基于机器学习的ui元素定位方法及系统
CN112257441B (zh) 一种基于反事实生成的命名实体识别增强方法
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
Che et al. Adversarial attack against deep saliency models powered by non-redundant priors
CN112149632A (zh) 一种视频识别方法、装置及电子设备
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN114638988A (zh) 一种基于不同呈现方式的教学视频自动化分类方法及系统
CN112819015A (zh) 一种基于特征相融的图像质量评估方法
Tavares et al. Crowdsourcing facial expressions for affective-interaction
CN115063866B (zh) 一种融合强化学习与递进学习的表情识别方法
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
CN113592765A (zh) 图像处理方法、装置、设备及存储介质
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN115995116B (zh) 基于计算机视觉的抑郁状态评估方法、装置、终端及介质
JP7293658B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117636326A (zh) 车牌检测方法、装置、存储介质和电子设备
CN104598866B (zh) 一种基于人脸的社交情商促进方法及系统
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
CN113610080B (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
CN113298265B (zh) 一种基于深度学习的异构传感器潜在相关性学习方法
Guo et al. Unanswerable visual question answering
Lu et al. MT-DSNet: Mix-mask teacher–student strategies and dual dynamic selection plug-in module for fine-grained image recognition
Im et al. Local feature‐based video captioning with multiple classifier and CARU‐attention
CN117953275B (zh) 一种基于ai分析的自适应教学质量评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant