CN105740151B - 一种移动终端ui控件查看处理方法及系统 - Google Patents
一种移动终端ui控件查看处理方法及系统 Download PDFInfo
- Publication number
- CN105740151B CN105740151B CN201610075838.6A CN201610075838A CN105740151B CN 105740151 B CN105740151 B CN 105740151B CN 201610075838 A CN201610075838 A CN 201610075838A CN 105740151 B CN105740151 B CN 105740151B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- control information
- mouse
- current
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种移动终端UI控件查看处理方法及系统,方法包括:PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面。本发明中从手机端获取UI控件信息和截图,并在PC端显示出来,从而实现快速获取控件信息,提高自动化脚本撰写效率。
Description
技术领域
本发明涉及软件测试领域,尤其涉及一种移动终端UI控件查看处理方法及系统。
背景技术
随着自动化测试应用规模不断扩大,撰写测试脚本的测试工程师越来越多。撰写自动化测试脚本过程中需要经常查看手机UI界面的控件信息。但现有技术中无法测试工程师无法在PC上快速查看Android手机UI控件信息,降低了测试脚本的效率。
因此,现有技术还有待于改进和发展。
发明内容
鉴于现有技术的不足,本发明目的在于提供一种移动终端UI控件查看处理方法及系统,旨在解决现有技术中无法测试工程师无法在PC上快速查看Android手机UI控件信息,降低了测试脚本的效率的缺陷。
本发明的技术方案如下:
一种移动终端UI控件查看处理方法,其中,方法包括;
A、PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;
B、PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;
C、查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面。
所述的移动终端UI控件查看处理方法,其中,所述步骤A具体包括:
A1、PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;
A2、将移动终端的当前UI截图显示在PC显示界面上;
A3、解析控件信息文件后获取所有的控件,生成控件信息列表。
所述的移动终端UI控件查看处理方法,其中,所述步骤B具体包括:
B1、PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;
B2、将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点。
所述的移动终端UI控件查看处理方法,其中,所述步骤C具体包括:
C1、获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;
C2、若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;
C3、将控件的控件信息显示在PC的显示界面。
所述的移动终端UI控件查看处理方法,其中,所述移动终端为使用android系统的移动终端。
一种移动终端UI控件查看处理系统,其中,系统包括:
控件信息列表生成模块,用于PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;
检测模块,用于PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;
查找与显示模块,用于查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面。
所述的移动终端UI控件查看处理系统,其中,所述控件信息列表生成模块具体包括:
下载单元,用于PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;
第一显示单元,用于将移动终端的当前UI截图显示在PC显示界面上;
解析与列表生成单元,用于解析控件信息文件后获取所有的控件,生成控件信息列表。
所述的移动终端UI控件查看处理系统,其中,所述检测模块具体包括:
检测单元,用于PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;
坐标转化单元,用于将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点。
所述的移动终端UI控件查看处理系统,其中,所述查找与显示模块具体包括:
判断单元,用于获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;
查找单元,用于若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;
第二显示单元,用于将控件的控件信息显示在PC的显示界面。
所述的移动终端UI控件查看处理系统,其中,所述移动终端为使用android系统的移动终端。
本发明提供了一种移动终端UI控件查看处理方法及系统,本发明本发明中从手机端获取UI控件信息和截图,并在PC端显示出来,从而实现快速获取控件信息,提高自动化脚本撰写效率。
附图说明
图1为本发明中一种移动终端UI控件查看处理方法的较佳实施例的流程图。
图2为本发明的一种移动终端UI控件查看处理系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明还提供了一种移动终端UI控件查看处理方法的较佳实施例的流程图,如图1所示,其中,方法包括:
步骤S100、PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表。
具体实施时,测试人员一般通过PC来测试脚本,因此便于测试,PC端需要能够显示移动终端控件信息。其中移动终端包括但不限于手机,平板电脑等智能设备。优先的移动终端为使用android系统的移动终端。PC预先获取移动终端的当前显示界面即当前UI的截图及当前UI对应的控件信息文件,并解析后生成控件信息列表。
进一步实施时,所述步骤S100具体包括:
步骤S101、PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;
步骤S102、将移动终端的当前UI截图显示在PC显示界面上;
步骤S103、解析控件信息文件后获取所有的控件,生成控件信息列表。
具体实施时,本发明以android手机为例进行介绍。从手机端下载手机当前UI的截图和对应的Hierarchy信息文件,其中Hierarchy信息文件是android手机的控件信息文件,其中控件信息文件名为Hierarchy.xml,将该文件下载到PC端,并将手机界面截图在PC端显示出来,解析Hierarchy.xml文件并搜索所有的控件,生成控件信息列表。
步骤S200、PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点。
具体实施时,PC通过设置鼠标移动移动处理事件函数,用于检测鼠标在手机界面截图上移动时,则调用该函数。该函数用于将鼠标当前坐标点转换为当前手机界面截图上的坐标点。
具体地,所述步骤S200具体包括:
步骤S201、PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;
步骤S202、将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点。
具体实施时,当鼠标点击手机上的UI截图上移动时,首先获取鼠标对应的PC显示界面上的第一坐标点后,再将第一坐标点转化为手机UI截图上第二坐标点。
步骤S300、查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面。
具体实施时,查找鼠标对应的手机UI截图上的坐标点对应的控件信息列表中的控件,并将控件信息实时显示在PC的显示界面上供用户查看。
具体地,所述步骤S300具体包括:
步骤S301、获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;
步骤S302、若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;
步骤S303、将控件的控件信息显示在PC的显示界面。
具体实施时,通过获取鼠标在手机UI截图上坐标点,遍历Hierarchy控件列表,找到包含鼠标坐标点且面积最小的控件,若找到控件,则设置控件信息显示窗口的值为找到的控件信息,并显示在PC的显示界面上。若没有找到控件,则设置控件信息显示窗口的值为空。
本发明还提供了一种移动终端UI控件查看处理方法的具体应用实施例二的部分软件实施程序。该实施例定义了一个鼠标移动事件处理函数,一旦感知鼠标在手机UI截图上移动,则调用此函数。该函数的具体程序实现具体如下所示:
def mouseMoveEvent(self, event):
#获取鼠标坐标点
pos = event.pos()
#将鼠标的PC屏幕坐标点转换为在手机截图内部的坐标点
self.tracx, self.tracy = translate(pos)
#查找包含鼠标坐标点且面积最小的控件
#nodeList为控件信息列表
temp_ele = self.nodeList[1]
#遍历控件信息列表
for ele in self.nodeList:
#判断控件是否包含了鼠标坐标点,即鼠标是否落在控件范围内
if ele.check_in(self.tracx, self.tracx):
#比较控件面积,取面积较小的控件
if ele.width * ele.height <= temp_ele.width * temp_ele.height:
temp_ele = ele
#将控件信息显示在屏幕上
self.emit(SIGNAL("refreshTopele"), top_ele)
self.update()
由以上方法实施例可知,本发明提供了一种移动终端UI控件查看处理方法,通过从手机端获取UI控件信息和截图,并在PC端显示出来,从而实现快速获取控件信息,提高自动化脚本撰写效率,实现了快速查看手机UI控件信息。
本发明还提供了一种移动终端UI控件查看处理系统的较佳实施例的功能原理框图,如图2所示,其中,系统包括:
控件信息列表生成模块100,用于PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;具体如上方法实施例所述。
检测模块200,用于PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;具体如上方法实施例所述。
查找与显示模块300,用于查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面;具体如上方法实施例所述。
所述的移动终端UI控件查看处理系统,其中,所述控件信息列表生成模块具体包括:
下载单元,用于PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;具体如上方法实施例所述。
第一显示单元,用于将移动终端的当前UI截图显示在PC显示界面上;具体如上方法实施例所述。
解析与列表生成单元,用于解析控件信息文件后获取所有的控件,生成控件信息列表;具体如上方法实施例所述。
所述的移动终端UI控件查看处理系统,其中,所述检测模块具体包括:
检测单元,用于PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;具体如上方法实施例所述。
坐标转化单元,用于将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点;具体如上方法实施例所述。
所述的移动终端UI控件查看处理系统,其中,所述查找与显示模块具体包括:
判断单元,用于获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;具体如上方法实施例所述。
查找单元,用于若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;具体如上方法实施例所述。
第二显示单元,用于将控件的控件信息显示在PC的显示界面;具体如上方法实施例所述。
所述的移动终端UI控件查看处理系统,其中,所述移动终端为使用android系统的移动终端;具体如上方法实施例所述。
综上所述,本发明提供了一种移动终端UI控件查看处理方法及系统,方法包括:PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表; PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面。本发明中从手机端获取UI控件信息和截图,并在PC端显示出来,从而实现快速获取控件信息,提高自动化脚本撰写效率。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种移动终端UI控件查看处理方法,其特征在于,方法包括;
A、PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;
B、PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;
C、查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面;
所述步骤B具体包括:
B1、PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;
B2、将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点。
2.根据权利要求1所述的移动终端UI控件查看处理方法,其特征在于,所述步骤A具体包括:
A1、PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;
A2、将移动终端的当前UI截图显示在PC显示界面上;
A3、解析控件信息文件后获取所有的控件,生成控件信息列表。
3.根据权利要求2所述的移动终端UI控件查看处理方法,其特征在于,所述步骤C具体包括:
C1、获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;
C2、若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;
C3、将控件的控件信息显示在PC的显示界面。
4.根据权利要求3所述的移动终端UI控件查看处理方法,其特征在于,所述移动终端为使用android系统的移动终端。
5.一种移动终端UI控件查看处理系统,其特征在于,系统包括:
控件信息列表生成模块,用于PC获取移动终端的当前UI的截图及UI对应的控件信息文件,解析控件信息文件后生成控件信息列表;
检测模块,用于PC检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在当前UI截图上的坐标点;
查找与显示模块,用于查找坐标点对应控件信息列表中的控件,并将控件信息显示在PC的显示界面;
所述检测模块具体包括:
检测单元,用于PC实时检测鼠标的点击操作,当检测到鼠标在移动终端的当前UI截图上移动时,获取鼠标在PC显示界面上当前第一坐标点;
坐标转化单元,用于将鼠标在PC显示界面上当前坐标点转化为移动终端当前UI截图上的第二坐标点。
6.根据权利要求5所述的移动终端UI控件查看处理系统,其特征在于,所述控件信息列表生成模块具体包括:
下载单元,用于PC从移动终端下载移动终端当前UI的截图及UI对应的控件信息文件;
第一显示单元,用于将移动终端的当前UI截图显示在PC显示界面上;
解析与列表生成单元,用于解析控件信息文件后获取所有的控件,生成控件信息列表。
7.根据权利要求6所述的移动终端UI控件查看处理系统,其特征在于,所述查找与显示模块具体包括:
判断单元,用于获取当前UI截图中的控件信息列表中的所有控件,并判断控件是否包含鼠标的第二坐标点;
查找单元,用于若控件中包含鼠标的第二坐标点,获取所有包含鼠标的第二坐标点的控件,并比较控件面积大小,则面积最小的控件为鼠标点击的要查看控件信息的控件;
第二显示单元,用于将控件的控件信息显示在PC的显示界面。
8.根据权利要求7所述的移动终端UI控件查看处理系统,其特征在于,所述移动终端为使用android系统的移动终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610075838.6A CN105740151B (zh) | 2016-02-03 | 2016-02-03 | 一种移动终端ui控件查看处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610075838.6A CN105740151B (zh) | 2016-02-03 | 2016-02-03 | 一种移动终端ui控件查看处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105740151A CN105740151A (zh) | 2016-07-06 |
CN105740151B true CN105740151B (zh) | 2018-05-08 |
Family
ID=56244864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610075838.6A Active CN105740151B (zh) | 2016-02-03 | 2016-02-03 | 一种移动终端ui控件查看处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105740151B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193750B (zh) * | 2017-07-04 | 2020-09-22 | 北京云测信息技术有限公司 | 一种脚本录制方法和装置 |
CN107656816A (zh) * | 2017-08-17 | 2018-02-02 | 广州视源电子科技股份有限公司 | 一种多端同步操作的方法和装置 |
CN109408377A (zh) * | 2018-09-29 | 2019-03-01 | 北京京东金融科技控股有限公司 | 控件识别方法、装置、系统和计算机可读存储介质 |
CN109783379B (zh) * | 2019-01-03 | 2022-02-08 | 北京云测信息技术有限公司 | 脚本执行异常确定方法和装置 |
CN110312036A (zh) * | 2019-06-27 | 2019-10-08 | 维沃移动通信有限公司 | 一种内容发送、展示方法和终端 |
CN110309073B (zh) * | 2019-06-28 | 2021-07-27 | 上海交通大学 | 移动应用程序用户界面错误自动化检测方法、系统及终端 |
CN110533391A (zh) * | 2019-09-02 | 2019-12-03 | 苏州国泰新点软件有限公司 | 一种电子评标方法、装置、服务器和介质 |
CN113448832B (zh) * | 2020-06-18 | 2024-03-12 | 北京新氧科技有限公司 | 一种控件曝光检测方法及应用程序运行监测系统 |
CN113805775A (zh) * | 2021-09-15 | 2021-12-17 | 深圳市道通智能航空技术股份有限公司 | 一种无人机交互界面的显示方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881364A (zh) * | 2015-06-26 | 2015-09-02 | 上海斐讯数据通信技术有限公司 | 应用于安卓系统的自动化测试方法及系统 |
CN105224315A (zh) * | 2015-09-11 | 2016-01-06 | 北京金山安全软件有限公司 | 一种获取屏幕截图的方法及装置 |
-
2016
- 2016-02-03 CN CN201610075838.6A patent/CN105740151B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881364A (zh) * | 2015-06-26 | 2015-09-02 | 上海斐讯数据通信技术有限公司 | 应用于安卓系统的自动化测试方法及系统 |
CN105224315A (zh) * | 2015-09-11 | 2016-01-06 | 北京金山安全软件有限公司 | 一种获取屏幕截图的方法及装置 |
Non-Patent Citations (1)
Title |
---|
Android开放平台应用程序的安全检测系统设计与实现;马红素;《中国优秀硕士学位论文全文数据库》;20131115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105740151A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105740151B (zh) | 一种移动终端ui控件查看处理方法及系统 | |
CN106970790B (zh) | 一种应用程序创建的方法、相关设备及系统 | |
CN109857403B (zh) | 一种页面更新、页面处理方法及装置 | |
CN105404585A (zh) | 获取代码覆盖率的方法及装置 | |
CN105204875B (zh) | 网页调用native功能的方法和系统 | |
CN108536594B (zh) | 页面测试方法、装置及存储设备 | |
KR20050077787A (ko) | 개발 주기동안 사용자 인터페이스에 있어서의 차이점들을자동적으로 판정하는 방법 및 시스템 | |
JP2005251173A (ja) | ユーザインタフェース中の動的な領域をマスキングしてユーザインタフェースの整合性のテストを可能にする方法およびシステム | |
CN111723002A (zh) | 一种代码调试方法、装置、电子设备及存储介质 | |
US10235281B2 (en) | Automated test runs in an integrated development environment system and method | |
CN110196795B (zh) | 检测移动终端应用运行状态的方法及相关装置 | |
CN103164322A (zh) | 一种程序崩溃的签名方法和装置 | |
US9298594B2 (en) | Testing apparatus and testing method | |
CN111752826A (zh) | 一种接口测试方法、装置、电子设备及存储介质 | |
CN103617164A (zh) | 网页预取方法、装置及终端设备 | |
CN108984374B (zh) | 一种数据库性能的测试方法和系统 | |
CN104809054A (zh) | 实现程序测试的方法和系统 | |
CN104915228A (zh) | 应用程序语言设置方法及装置 | |
CN108089937B (zh) | 基于直接内存分配的重启定位方法、移动终端及存储介质 | |
CN109145598B (zh) | 脚本文件的病毒检测方法、装置、终端及存储介质 | |
CN108052437B (zh) | 重启定位方法、移动终端及计算机可读存储介质 | |
CN107967203A (zh) | 基于可执行文件的函数判定方法及装置 | |
CN105005529A (zh) | 一种对应用程序进行测试的方法及装置 | |
CN111813305A (zh) | 应用程序启动方法及装置 | |
CN108268274B (zh) | 应用管理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |