CN117389664A - 唯一性控件区域划分方法、装置、电子设备和存储介质 - Google Patents

唯一性控件区域划分方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117389664A
CN117389664A CN202311282476.4A CN202311282476A CN117389664A CN 117389664 A CN117389664 A CN 117389664A CN 202311282476 A CN202311282476 A CN 202311282476A CN 117389664 A CN117389664 A CN 117389664A
Authority
CN
China
Prior art keywords
block
operation control
image
position information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311282476.4A
Other languages
English (en)
Other versions
CN117389664B (zh
Inventor
张辉
吴正中
李月强
刘喆
王晓东
张东东
邓能文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Urban Construction Intelligent Control Technology Co ltd
Original Assignee
Beijing Urban Construction Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Urban Construction Intelligent Control Technology Co ltd filed Critical Beijing Urban Construction Intelligent Control Technology Co ltd
Priority to CN202311282476.4A priority Critical patent/CN117389664B/zh
Priority claimed from CN202311282476.4A external-priority patent/CN117389664B/zh
Publication of CN117389664A publication Critical patent/CN117389664A/zh
Application granted granted Critical
Publication of CN117389664B publication Critical patent/CN117389664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机领域，提供一种唯一性控件区域划分方法、装置、电子设备和存储介质，方法包括：对用户界面图像进行控件检测和图像分割，得到各控件图块位置信息；响应于点击操作，获取点击位置信息，将点击位置信息与各控件图块位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定操作控件图块位置信息；获取操作控件图块的标识信息；基于操作控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块。本发明提供的唯一性控件区域划分方法、装置、电子设备和存储介质，能够保证测试工具可以唯一识别出操作控件并进行测试操作。

Description

唯一性控件区域划分方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种唯一性控件区域划分方法、装置、电子设备和存储介质。
背景技术
开发人员在开发出应用程序的用户界面(User Interface，UI)之后，通常需要对UI进行测试，测试UI是否能够实现预设功能。
在基于图像识别的自动化测试工具(例如Airtest)应用过程中，一个测试用例自动化测试脚本的形成，需要人工截取测试UI内涉及的控件区域图像。
然而，软件用户界面内有时会存在多个相同内容的控件，为了防止在既定阈值下测试工具同时检测出多个目标图像，需要测试人员反复截取控件周边区域图像，以保证测试工具可以唯一识别出操作控件并进行测试操作，从而增加了测试人员工作量，降低了自动化测试脚本编写效率。
发明内容
本发明提供一种唯一性控件区域划分方法、装置、电子设备和存储介质，用以解决现有技术中需要测试人员反复截取控件周边区域图像，增加工作量，降低效率的缺陷。
本发明提供一种唯一性控件区域划分方法，包括：
对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
根据本发明提供的唯一性控件区域划分方法，所述基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，包括：
将所述操作控件图块的图块特征、位置信息和标识信息进行拼接，得到所述操作控件图块的状态信息；
将所述操作控件图块的状态信息输入至已训练的强化学习网络，得到所述强化学习网络输出的区域划分动作信息，所述区域划分动作信息用于指示所述目标区域图块在所述用户界面图像中的位置；
基于所述区域划分动作信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到所述目标区域图块；
其中，所述强化学习网络基于多组样本数据训练得到，每组样本数据包括当前状态信息，当前区域划分动作信息，当前奖励权重和下一状态信息。
根据本发明提供的唯一性控件区域划分方法，所述当前奖励权重基于所述当前区域划分动作信息对应的当前目标区域图块的标识信息和面积确定；
所述下一状态信息基于当前目标区域图块的图块特征、位置信息和标识信息确定。
根据本发明提供的唯一性控件区域划分方法，所述区域划分动作信息用于指示所述目标区域图块与所述操作控件图块的长高比值，所述目标区域图块的中心与所述操作控件图块的中心相同，所述区域划分动作信息表示为：
α＝(λ1,λ2)
λ1＝l1/l0,λ2＝h1/h0
式中，a为区域划分动作信息，l1和h1分别为所述目标区域图块的长度和高度，l0和h0分别为所述操作控件图块的长度和高度。
根据本发明提供的唯一性控件区域划分方法，所述获取所述操作控件图块的标识信息，包括：
将所述操作控件图块与所述用户界面图像进行模板匹配操作，得到匹配结果；
基于所述匹配结果，确定所述操作控件图块的标识信息。
根据本发明提供的唯一性控件区域划分方法，所述将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，包括：
将所述点击位置信息中的横坐标与所述各控件图块的位置信息中的横坐标进行匹配，得到横向匹配结果；
并将所述点击位置信息中的纵坐标与所述各控件图块的位置信息中的纵坐标进行匹配，得到纵向匹配结果；
将所述横向匹配结果和所述纵向匹配结果均匹配成功的控件图块作为所述操作控件图块。
根据本发明提供的唯一性控件区域划分方法，所述操作控件图块的图块特征的确定步骤包括：
对所述用户界面图像进行特征提取，得到所述用户界面图像的图像特征；
基于所述操作控件图块的位置信息，对所述用户界面图像的图像特征进行双线性插值处理，得到所述操作控件图块的图块特征。
本发明还提供一种唯一性控件区域划分装置，包括：
控件检测单元，用于对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
位置匹配单元，用于响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
标识信息获取单元，用于获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
区域划分单元，用于基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述唯一性控件区域划分方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述唯一性控件区域划分方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述唯一性控件区域划分方法。
本发明提供的唯一性控件区域划分方法、装置、电子设备和存储介质，通过获取操作控件图块以及操作控件图块的位置信息，并获取操作控件图块的标识信息，在此基础上，基于操控控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，从而自动得到具有识别唯一性且包含操作控件图块，面积最小的目标区域图块。能够保证测试工具可以唯一识别出操作控件并进行测试操作，相比现有技术中需要测试人员反复截取，减少了测试人员工作量，提高了自动化测试脚本编写效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的唯一性控件区域划分方法的流程示意图之一；
图2是本发明提供的唯一性控件区域划分方法的流程示意图之二；
图3是本发明提供的唯一性控件区域划分装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
软件用户界面内有时会存在多个相同内容的控件，为了防止测试工具同时检测出多个目标图像，需要测试人员反复截取控件周边区域图像，以保证测试工具可以唯一识别出操作控件并进行测试操作，从而增加了测试人员工作量，降低了自动化测试脚本编写效率。
基于上述考虑，为了提升自动化测试脚本编写效率，本发明的发明构思在于：首先获取操作控件图块以及操作控件图块的位置信息，并获取操作控件图块的标识信息，在此基础上，基于操控控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，从而自动得到具有识别唯一性且包含操作控件图块，面积最小的目标区域图块。
基于上述发明构思，本发明提供一种唯一性控件区域划分方法、装置、电子设备和存储介质，应用于UI自动化测试场景技术中的控件区域划分，以减少测试人员工作量，提高自动化测试脚本编写效率。
下面将结合附图详细描述本发明的技术方案。图1是本发明提供的唯一性控件区域划分方法的流程示意图之一，该方法中各步骤的执行主体可以是唯一性控件区域划分装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。
如图1所示，该方法可以包括如下步骤：
步骤110，对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息。
具体地，用户界面图像即需要进行自动化测试的待测试用户界面图像。用户界面图像中通常包括多个控件元素，各控件图块的位置信息是指各个控件元素在待测试用户界面图像中的位置信息，例如可包括控件图块的中心点坐标，以及控件图块外接矩形框的长高信息。
针对各控件的图块位置信息，可通过现有的目标检测和图像分割技术得到，例如可通过已训练的目标检测模型实现。此处已训练的目标检测模型可以是Mask R-CNN模型，可将用户界面图像输入已训练的Mask R-CNN模型，由Mask R-CNN模型对用户界面图像进行控件检测和图像分割，得到模型输出的各控件图块，以及各控件图块的位置信息。
优选地，可首先对用户界面图像进行特征提取，得到用户界面图像的图像特征，然后基于图像特征进行控件检测和图像分割。此处可采用通用的特征提取网络实现特征提取，例如特征提取网络可选择VGG、ResNet、DenseNet等，本发明实施例对此不作具体限定。
需说明的是，此处得到的各控件图块的大小通常与各控件的外接矩形框大小相同，仅仅包含各控件，并不包含各控件周边的像素点。考虑到用户界面图像中可能会存在多个样式、大小和文字内容都相同的控件元素，即此处的各控件图块不具有唯一识别性。相关技术中是需要测试人员反复截取包括操作控件周边区域的图像，使得截取得到的区域图像具有唯一识别性，从而增加了测试人员工作量，降低了自动化测试脚本的编写效率。
步骤120，响应于点击操作，获取点击位置信息，将点击位置信息与各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定操作控件图块的位置信息。
具体地，为了实现自动截取包含操作控件且具有唯一识别性的控件区域，首先需要确定操作控件图块。
用户用鼠标点击用户界面图像之后，即可获取得到用户的点击位置信息。然后将点击位置信息与各控件图块的位置信息进行匹配，此处可以是基于坐标位置进行匹配，得到匹配结果。匹配结果可包括匹配成功或匹配失败，匹配成功表示点击位置信息在控件图块之内，匹配失败表示点击位置信息在控件图块之外。
随即，可将匹配成功的控件图块作为操作控件图块，并根据匹配成功的控件图块的位置信息确定操作控件图块的位置信息。
步骤130，获取操作控件图块的标识信息，标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一。
具体地，得到操作控件图块之后，可进一步获取操作控件图块在各控件图块中是否唯一，即操作控件图块的标识信息。标识信息用于表征操作控件图块在各控件图块中是否唯一，可以反映该操作控件图块与其他控件图块是否存在区别点和差异点，如果存在区别点和差异点，且通过该区别点和差异点能够唯一识别到该操作控件图，则表示该操作控件图具有唯一识别性；否则表示该操作控件图不具有唯一识别性。
步骤140，基于操作控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块，目标区域图块内包括操作控件图块，目标区域图块的面积最小且在用户界面图像中具有唯一识别性。
具体地，目标区域图块即需要得到的包括操作控件图块的图块，目标区域图块在用户界面图像中具有唯一识别性，同时为了使得目标区域图块的面积较小，相关技术中通常需要测试人员进行反复截取。
在本实施例中，操作控件图块的图块特征表征操控控件图块中各像素点自身的图像特征，以及各像素点之间的关联特征；位置信息表征操控控件图块在用户界面图像中的位置，标识信息表征操作控件图块在用户界面图像中是否具有唯一识别性。
通常情况下，操作控件图的标识信息为不唯一，可基于操作控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块。例如可在操作控件图的基础上，截取包含操作控件区域以及其周围像素点的区域，使得截取的区域具有识别唯一性，从而得到目标区域图块。
在一些实施例中，还可以通过已训练的控件区域划分模型实现区域划分，将操作控件图块的图块特征、位置信息和标识信息输入已训练的空间区域划分模型，由已训练的控件区域划分模型进行唯一性控件区域划分，得到目标区域图块。
可理解的是，如果在步骤130中得到操作控件图的标识信息为唯一，则可直接将该操作控件图作为目标区域图块。
本发明实施例提供的方法，通过获取操作控件图块以及操作控件图块的位置信息，并获取操作控件图块的标识信息，在此基础上，基于操控控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，从而自动得到具有识别唯一性且包含操作控件图块，面积最小的目标区域图块。能够保证测试工具可以唯一识别出操作控件并进行测试操作，相比现有技术中需要测试人员反复截取，减少了测试人员工作量，提高了自动化测试脚本编写效率。
基于上述实施例，步骤140具体包括：
步骤141，将操作控件图块的图块特征、位置信息和标识信息进行拼接，得到操作控件图块的状态信息；
步骤142，将操作控件图块的状态信息输入至已训练的强化学习网络，得到强化学习网络输出的区域划分动作信息，区域划分动作信息用于指示目标区域图块在用户界面图像中的位置；
步骤143，基于区域划分动作信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块；
其中，强化学习网络基于多组样本数据训练得到，每组样本数据包括当前状态信息，当前区域划分动作信息，当前奖励权重和下一状态信息。
具体地，针对操作控件图块的唯一性控件区域划分，可通过已训练的强化学习网络实现。首先将操作控件图块的图块特征、位置信息和标识信息进行拼接，得到操作控件图块的状态信息。此处并不限定三者的拼接顺序，例如可以按照图块特征、位置信息和标识信息的顺序依次进行拼接，也可以按照位置信息、标识信息和图块特征的顺序依次拼接。此处的状态信息可以用状态特征向量表示。
随即，将拼接得到的操作控件图块的状态信息输入至已训练的强化学习网络，得到强化学习网络输出的区域划分动作信息，该动作信息用于指示目标区域图块在用户界面图像中的位置。例如区域划分动作信息可以是目标区域图块的外接矩形框中各个顶点的坐标信息，也可以是矩形框的中心位置以及长高信息，还可以是相对于操作控件的长高比例信息，本发明实施例对此不作具体限定。
得到强化学习网络输出的区域划分动作信息之后，可基于该区域划分动作信息对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块。
在执行步骤142之前，可预先对强化学习网络进行训练。强化学习网络是基于多组样本数据训练得到的，其中，每组样本数据包括当前状态信息，当前区域划分动作信息，当前奖励权重和下一状态信息。
在强化学习中，当前奖励权重是指在某个时间步上，即时奖励的权重。当前奖励权重是一个重要的超参数，用于调整即时奖励在总奖励中所占的比重。当前奖励权重越高，即时奖励对总奖励的影响越大；反之，当前奖励权重越低，即时奖励对总奖励的影响越小。
此处，每组样本数据中的当前奖励权重基于当前区域划分动作信息对应的当前目标区域图块的标识信息和面积确定。
在模型训练过程中，针对当前状态信息可得到当前区域划分动作信息，进而基于当前区域划分动作信息得到当前目标区域图块。进一步可判断当前目标区域图块的标识信息和面积，并给予相应的奖励。可理解的是，如果当前目标区域图块是唯一的，则奖励越大，反之如果不是唯一的，则奖励越小。如果当前目标区域图块的面积越大，则奖励越小，反之如果面积越小，则奖励越大。
其中，每组样本数据中的下一状态信息基于当前目标区域图块的图块特征、位置信息和标识信息确定。
可理解的是，将当前目标区域图块的图块特征、位置信息和标识信息进行拼接，可作为下一状态信息。然后将下一状态信息输入至强化学习网络，得到下一区域划分动作信息，基于下一区域划分动作信息进行区域划分，得到下一目标区域图块，基于下一目标区域图块的标识信息和面积，得到下一奖励。依次类推，得到多组样本数据。基于该多组样本数据对初始强化学习网络进行参数迭代，得到已训练的强化学习网络。
本发明实施例提供的方法，通过强化学习网络对用户界面图像进行操作控件图块的唯一性控件区域划分，得到目标区域图块，实现了自动快速准确地得到目标区域图块，从而进一步减少了测试人员工作量，提高了自动化测试脚本编写效率。
基于上述实施例，区域划分动作信息用于指示目标区域图块与操作控件图块的长高比值，目标区域图块的中心与操作控件图块的中心相同，区域划分动作信息表示为：
a＝(λ1,λ2)
λ1＝l1/l0,λ2＝h1/h0
式中，a为区域划分动作信息，l1和h1分别为目标区域图块的长度和高度，l0和h0分别为操作控件图块的长度和高度。
具体地，强化学习网络输出的区域划分动作信息用于指示目标区域图块在用户界面图像中的位置，考虑到为了进一步提高区域划分的效率，目标区域图块的中心可以与操作控件图块的中心相同，即每一次迭代过程中，中心位置保持不变，只调整目标区域图块的长度和高度信息，即区域划分动作信息用于指示目标区域图块与操作控件图块的长高比值。
可理解的是，目标区域图块的长度l1＝λ1*l0，目标区域图块的高度h1＝λ2*h0。为了使得目标区域图块具有识别唯一性，通常会在额外截取操作控件图块的周围像素，形成目标区域图块，即目标区域图块的面积大于操作控件图块的面积。
基于上述实施例，步骤130具体包括：
步骤131，将所述操作控件图块，与所述用户界面图像进行模板匹配操作，得到匹配结果；
步骤132，基于匹配结果，确定操作控件图块的标识信息。
具体地，为了确定操作控件图块的标识信息，可将操作控件图块与用户界面图像进行模板匹配操作，得到匹配结果，匹配结果包括匹配成功或匹配失败，匹配成功表示在其他控件图块中匹配到与操作控件图块相似或相近的控件图块，则表示操作控件图块不唯一；匹配失败表示在其他控件图块中未匹配到与操作控件图块相似或相近的控件图块，则表示操作控件图块唯一，具有唯一识别性。
针对操作控件图块与软件用户界面的用户界面图像匹配，可通过操作控件图块，逐像素与用户界面图像进行模板匹配，确定相似度。相似度越大，则匹配成功的概率越大；反之相似度越小，则匹配成功的概率越小。
此处可预先设置相似度阈值，操作控件图块与用户界面图像逐像素模板匹配相似度大于等于相似度阈值，且次数大于1次，则认为匹配成功；反之则认为匹配失败。相似度计算可采用余弦相似度或相关性系数等方法，本发明实施例对此不作具体限定。
本发明实施例提供的方法，将所述操作控件图块，与所述用户界面图像进行模板匹配操作，得到匹配结果；基于匹配结果，确定操作控件图块的标识信息，能够进一步提高目标区域图块的唯一性识别的准确性。
基于上述任一实施例，步骤120中将点击位置信息与各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，具体包括：
步骤121，将点击位置信息中的横坐标与各控件图块的位置信息中的横坐标进行匹配，得到横向匹配结果；
步骤122，并将点击位置信息中的纵坐标与各控件图块的位置信息中的纵坐标进行匹配，得到纵向匹配结果；
步骤123，将横向匹配结果和纵向匹配结果均匹配成功的控件图块作为操作控件图块。
具体地，针对点击位置信息与各控件图块的位置信息的匹配，可通过横向匹配结果和纵向匹配结果确定，并将横向匹配结果和纵向匹配结果均匹配成功的控件图块作为操作控件图块。
其中，横向匹配结果是指点击位置信息中的横坐标与各控件图块的位置信息中的横坐标进行匹配得到的结果，纵向匹配结果是指点击位置信息中的纵坐标与各控件图块的位置信息中的纵坐标进行匹配得到的结果。
将图像分割结果中各控件图块范围内像素进行遍历，得出控件范围内最小和最大的横向和纵向坐标组合为：(i＝1,2,...,N，N为控件个数)。其中，/>表示第i个控件图块范围内的最小横向坐标，/>表示第i个控件图块范围内的最大横向坐标，/>表示第i个控件图块范围内的最小纵向坐标，/>表示第i个控件图块范围内的最大纵向坐标。即可确定各控件矩形的左上和右下坐标。
在此基础上，第i个控件外接矩形的长度l可表示为： 第i个控件外接矩形的高度h可表示为：/>
鼠标点击位置信息可表示为(x,y)，其中，x表示横向坐标，y表示纵向坐标，将点击位置信息中的横坐标与各控件图块的位置信息中的横坐标进行匹配，得到横向匹配结果。可理解的是，如果点击位置信息中的横坐标x在某一控件图块的横坐标范围内，则横向匹配结果为匹配成功，反之则匹配不成功。
同理，将点击位置信息中的纵坐标与各控件图块的位置信息中的纵坐标进行匹配，得到纵向匹配结果。如果点击位置信息中的纵坐标y在某一控件图块的纵坐标范围内，则纵向匹配结果为匹配成功，反之则匹配不成功。
只有横向匹配结果和纵向匹配结果均匹配成功的情况下，该控件图块才可以成为操作控件图块。可用公式表达如下：
为控件图块个数
式中，表示第j个控件图块范围内的最小横向坐标，/>表示第j个控件图块范围内的最大横向坐标，/>表示第j个控件图块范围内的最小纵向坐标，/>表示第j个控件图块范围内的最大纵向坐标。满足上式的第j个控件图块即可确定为操作控件图块。同时，还可得出操作控件图块的位置和长高信息。
基于上述任一实施例，操作控件图块的图块特征的确定步骤包括：
对用户界面图像进行特征提取，得到用户界面图像的图像特征；
基于操作控件图块的位置信息，对用户界面图像的图像特征进行双线性插值处理，得到操作控件图块的图块特征。
具体地，针对操作控件图块的图块特征实现，可通过操作控件图块的位置信息，对用户界面图像的图像特征进行双线性插值处理得到。例如对用户界面图像的图像特征进行ROI Align处理，得到操作控件图块的图块特征，图块特征可选用5×5的特征图。
此处可通过VGG、ResNet、DenseNet等图像特征提取网络，对用户界面图像进行特征提取，得到用户界面图像的图像特征。
本发明实施例提供的方法，基于操作控件图块的位置信息，对用户界面图像的图像特征进行双线性插值处理，得到操作控件图块的图块特征，能够进一步提高目标区域划分的准确性。
基于上述实施例，图2是本发明提供的唯一性控件区域划分方法的流程示意图之二，如图2所示，该方法包括：
对用户界面图像进行控件检测和图像分割，得到用户界面图像中各控件图块的位置信息。将软件用户用户界面图像输入训练好的Mask R-CNN模型，输出用户用户界面图像中各控件图块的图像分割结果，将图像分割结果进行解析，得出各控件图块的位置和长高信息。并保存Mask R-CNN中间过程1×1Conv层Feature Map结果，即用户界面图像的图像特征。
获取鼠标点击位置信息，与各控件图块的位置和长高信息进行比较，将匹配成功的控件图块作为操作控件图块，并确定操作控件图块的位置信息。
基于所述操作控件图块的位置信息，提取操作控件图块的图块特征。在用户界面图像的图像特征基础上结合操作控件图块的位置信息，进行ROI Align处理，得出操作控件图块的图块特征。
根据操作控件图块的位置信息，将操作控件图块与用户界面图像进行模板匹配操作，得到匹配结果，基于匹配结果，确定操作控件图块的标识信息，标识信息用于表征操作控件图块在各控件图块中是否唯一。
将所述操作控件图块的图块特征、位置信息和标识信息进行拼接，得到所述操作控件图块的状态信息。
将操作控件图块的状态信息输入训练好的控件区唯一性定位强化学习网络中的Actor网络，得出动作向量a；动作向量a执行划分区定位，得出区域划分动作信息，基于所述区域划分动作信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到所述目标区域图块。所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
需要说明的是，在程序开发过程中，针对用户界面内控件位置前后版本发生变化的情况，只记录鼠标点击位置的话，自动化测试脚本修改量会比较大，基于图片唯一性识别修改量相对会小一些。所以基于目标区域图块进行控件识别，比只记录鼠标点击位置在鼠标动作复现方面相对更加灵活。
下面对本发明提供的唯一性控件区域划分装置进行描述，下文描述的唯一性控件区域划分装置与上文描述的唯一性控件区域划分方法可相互对应参照。
图3是本发明提供的唯一性控件区域划分装置的结构示意图，如图3所示，唯一性控件区域划分装置包括：
控件检测单元310，用于对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
位置匹配单元320，用于响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
标识信息获取单元330，用于获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
区域划分单元340，用于基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
本发明实施例提供的唯一性控件区域划分装置，通过获取操作控件图块以及操作控件图块的位置信息，并获取操作控件图块的标识信息，在此基础上，基于操控控件图块的图块特征、位置信息和标识信息，对用户界面图像进行操作控件图块的唯一性控件区域划分，从而自动得到具有识别唯一性且包含操作控件图块，面积最小的目标区域图块。能够保证测试工具可以唯一识别出操作控件并进行测试操作，相比现有技术中需要测试人员反复截取，减少了测试人员工作量，提高了自动化测试脚本编写效率。
基于上述实施例，区域划分单元340，具体用于：
将所述操作控件图块的图块特征、位置信息和标识信息进行拼接，得到所述操作控件图块的状态信息；
将所述操作控件图块的状态信息输入至已训练的强化学习网络，得到所述强化学习网络输出的区域划分动作信息，所述区域划分动作信息用于指示所述目标区域图块在所述用户界面图像中的位置；
基于所述区域划分动作信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到所述目标区域图块；
其中，所述强化学习网络基于多组样本数据训练得到，每组样本数据包括当前状态信息，当前区域划分动作信息，当前奖励权重和下一状态信息。
基于上述实施例，所述当前奖励权重基于所述当前区域划分动作信息对应的当前目标区域图块的标识信息和面积确定；
所述下一状态信息基于当前目标区域图块的图块特征、位置信息和标识信息确定。
基于上述实施例，所述区域划分动作信息用于指示所述目标区域图块与所述操作控件图块的长高比值，所述目标区域图块的中心与所述操作控件图块的中心相同，所述区域划分动作信息表示为：
a＝(λ1,λ2)
λ1＝l1/l0,λ2＝h1/h0
式中，a为区域划分动作信息，l1和h1分别为所述目标区域图块的长度和高度，l0和h0分别为所述操作控件图块的长度和高度。
基于上述实施例，标识信息获取单元330，具体用于：
将所述操作控件图块，与所述用户界面图像进行模板匹配操作，得到匹配结果；
基于所述匹配结果，确定所述操作控件图块的标识信息。
基于上述实施例，位置匹配单元320，具体用于：
将所述点击位置信息中的横坐标与所述各控件图块的位置信息中的横坐标进行匹配，得到横向匹配结果；
并将所述点击位置信息中的纵坐标与所述各控件图块的位置信息中的纵坐标进行匹配，得到纵向匹配结果；
将所述横向匹配结果和所述纵向匹配结果均匹配成功的控件图块作为所述操作控件图块。
基于上述实施例，还包括图块特征确定单元，用于：
对所述用户界面图像进行特征提取，得到所述用户界面图像的图像特征；
基于所述操作控件图块的位置信息，对所述用户界面图像的图像特征进行双线性插值处理，得到所述操作控件图块的图块特征。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行唯一性控件区域划分方法，该方法包括：
对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一息；
基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的唯一性控件区域划分方法，该方法包括：
对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的唯一性控件区域划分方法，该方法包括：
对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种唯一性控件区域划分方法，其特征在于，包括：
对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
2.根据权利要求1所述的唯一性控件区域划分方法，其特征在于，所述基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，包括：
将所述操作控件图块的图块特征、位置信息和标识信息进行拼接，得到所述操作控件图块的状态信息；
将所述操作控件图块的状态信息输入至已训练的强化学习网络，得到所述强化学习网络输出的区域划分动作信息，所述区域划分动作信息用于指示所述目标区域图块在所述用户界面图像中的位置；
基于所述区域划分动作信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到所述目标区域图块；
其中，所述强化学习网络基于多组样本数据训练得到，每组样本数据包括当前状态信息，当前区域划分动作信息，当前奖励权重和下一状态信息。
3.根据权利要求2所述的唯一性控件区域划分方法，其特征在于，所述当前奖励权重基于所述当前区域划分动作信息对应的当前目标区域图块的标识信息和面积确定；
所述下一状态信息基于当前目标区域图块的图块特征、位置信息和标识信息确定。
4.根据权利要求2所述的唯一性控件区域划分方法，其特征在于，所述区域划分动作信息用于指示所述目标区域图块与所述操作控件图块的长高比值，所述目标区域图块的中心与所述操作控件图块的中心相同，所述区域划分动作信息表示为：
a＝(λ1,λ2)
λ1＝l1/l0,λ2＝h1/h0
式中，a为区域划分动作信息，l1和h1分别为所述目标区域图块的长度和高度，l0和k0分别为所述操作控件图块的长度和高度。
5.根据权利要求1-4中任一项所述的唯一性控件区域划分方法，其特征在于，所述获取所述操作控件图块的标识信息，包括：
将所述操作控件图块与所述用户界面图像进行模板匹配操作，得到匹配结果；
基于所述匹配结果，确定所述操作控件图块的标识信息。
6.根据权利要求1-4中任一项所述的唯一性控件区域划分方法，其特征在于，所述将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，包括：
将所述点击位置信息中的横坐标与所述各控件图块的位置信息中的横坐标进行匹配，得到横向匹配结果；
并将所述点击位置信息中的纵坐标与所述各控件图块的位置信息中的纵坐标进行匹配，得到纵向匹配结果；
将所述横向匹配结果和所述纵向匹配结果均匹配成功的控件图块作为所述操作控件图块。
7.根据权利要求1-4中任一项所述的唯一性控件区域划分方法，其特征在于，所述操作控件图块的图块特征的确定步骤包括：
对所述用户界面图像进行特征提取，得到所述用户界面图像的图像特征；
基于所述操作控件图块的位置信息，对所述用户界面图像的图像特征进行双线性插值处理，得到所述操作控件图块的图块特征。
8.一种唯一性控件区域划分装置，其特征在于，包括：
控件检测单元，用于对用户界面图像进行控件检测和图像分割，得到所述用户界面图像中各控件图块的位置信息；
位置匹配单元，用于响应于点击操作，获取点击位置信息，将所述点击位置信息与所述各控件图块的位置信息进行匹配，将匹配成功的控件图块作为操作控件图块，并确定所述操作控件图块的位置信息；
标识信息获取单元，用于获取所述操作控件图块的标识信息，所述标识信息用于表征所述操作控件图块在所述各控件图块中是否唯一；
区域划分单元，用于基于所述操作控件图块的图块特征、位置信息和标识信息，对所述用户界面图像进行所述操作控件图块的唯一性控件区域划分，得到目标区域图块，所述目标区域图块内包括所述操作控件图块，所述目标区域图块的面积最小且在所述用户界面图像中具有唯一识别性。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述唯一性控件区域划分方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述唯一性控件区域划分方法。
CN202311282476.4A 2023-09-28 唯一性控件区域划分方法、装置、电子设备和存储介质 Active CN117389664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311282476.4A CN117389664B (zh) 2023-09-28 唯一性控件区域划分方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311282476.4A CN117389664B (zh) 2023-09-28 唯一性控件区域划分方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117389664A true CN117389664A (zh) 2024-01-12
CN117389664B CN117389664B (zh) 2024-06-07

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276944A1 (en) * 2010-05-07 2011-11-10 Ruth Bergman Natural language text instructions
CN108509342A (zh) * 2018-04-04 2018-09-07 成都中云天下科技有限公司 一种精准快速的App自动化测试方法
CN110297759A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 一种制作测试页面脚本的方法、装置、设备及存储介质
CN111488109A (zh) * 2020-04-17 2020-08-04 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质
CN112631902A (zh) * 2020-12-16 2021-04-09 平安普惠企业管理有限公司 页面元素的测试方法、装置、电子设备及存储介质
CN113076257A (zh) * 2021-04-19 2021-07-06 西安闻泰信息技术有限公司 测试脚本录制方法、装置、介质及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276944A1 (en) * 2010-05-07 2011-11-10 Ruth Bergman Natural language text instructions
CN108509342A (zh) * 2018-04-04 2018-09-07 成都中云天下科技有限公司 一种精准快速的App自动化测试方法
CN110297759A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 一种制作测试页面脚本的方法、装置、设备及存储介质
CN111488109A (zh) * 2020-04-17 2020-08-04 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质
WO2021208512A1 (zh) * 2020-04-17 2021-10-21 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质
CN112631902A (zh) * 2020-12-16 2021-04-09 平安普惠企业管理有限公司 页面元素的测试方法、装置、电子设备及存储介质
CN113076257A (zh) * 2021-04-19 2021-07-06 西安闻泰信息技术有限公司 测试脚本录制方法、装置、介质及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季美辰: "Android UI错误自动化检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 June 2020 (2020-06-15) *

Similar Documents

Publication Publication Date Title
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
US20190279014A1 (en) Method and apparatus for detecting object keypoint, and electronic device
CN110969200B (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
CN111428448B (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN109685805B (zh) 一种图像分割方法及装置
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
JP2023166444A (ja) 拡大画像の取得およびストレージ
KR102330263B1 (ko) 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN117389664B (zh) 唯一性控件区域划分方法、装置、电子设备和存储介质
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN117389664A (zh) 唯一性控件区域划分方法、装置、电子设备和存储介质
CN116431468A (zh) 测试方法、装置、处理设备及存储介质
US11756319B2 (en) Shift invariant loss for deep learning based image segmentation
CN112446428B (zh) 一种图像数据处理方法及装置
CN114463613A (zh) 基于残差网络与Faster R-CNN的断层检测方法及系统
CN111199513B (zh) 图像处理方法、计算机设备和存储介质
CN114170485A (zh) 深度学习可解释方法及设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant