CN113760686B - 用户界面的测试方法、装置、终端和存储介质 - Google Patents
用户界面的测试方法、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN113760686B CN113760686B CN202010492493.0A CN202010492493A CN113760686B CN 113760686 B CN113760686 B CN 113760686B CN 202010492493 A CN202010492493 A CN 202010492493A CN 113760686 B CN113760686 B CN 113760686B
- Authority
- CN
- China
- Prior art keywords
- abnormal
- coordinate
- value
- abscissa
- ordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 92
- 238000004891 communication Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010998 test method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Debugging And Monitoring (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种用户界面的测试方法、装置、终端和存储介质，该方法包括：提供测试界面，并在所述测试界面建立坐标系；执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。解决了通过人工检查间距异常目标导致测试不准确且效率低的问题，达到了提升测试的效率，保证了测试的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种用户界面的测试方法、装置、终端和存储介质。
背景技术
随着手机、平板等终端的迅速发展，终端已经广泛进入人们的生活，并且为人们生活中的各个方面带来了极大的便捷。而随着终端的普及，终端中的应用也极大丰富，人们对应用中或网页中的用户界面使用要求也在不断提高。为实现用户界面的更好使用体验，往往需要进行用户界面的优化测试。
在UI测试中，常常遇到测试人员对已有页面进行UI的优化类测试，即找出页面文字或图片缩进类或行间距类上下前后不一致的问题，然后找出问题加以优化使得页面格式更加标准美观。但往往是通过人工比对操作找出文字段落中间距异常的目标进行测试修改，导致测试不准确且效率低。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请实施例通过提供一种用户界面的测试方法、装置、终端和存储介质，旨在解决通过人工检查间距异常目标导致测试不准确且效率低的问题。
为实现上述目的，本申请一方面提供一种用户界面的测试方法，所述用户界面的测试方法包括以下步骤：
提供测试界面，并在所述测试界面建立坐标系；
执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；
根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；
确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
可选地，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值的步骤，包括：
比对所有质心坐标中的横坐标值，确定横坐标值异常的单连通区域；
标识所述横坐标值异常的单连通区域中横坐标值相同的坐标；
获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值。
可选地，所述获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值的步骤之后，包括：
获取被标识的坐标中的横坐标值；
将所述异常的横坐标值修改为所述被标识的坐标中的横坐标值。
可选地，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值步骤，还包括：
比对所有质心坐标中的纵坐标值，确定纵坐标值异常的单连通区域；
标识所述纵坐标值异常的单连通区域中纵坐标值相同的坐标；
获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值。
可选地，所述获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值的步骤之后，包括：
获取被标识的坐标中的纵坐标值；
将所述异常的纵坐标值修改为所述被标识的坐标中的纵坐标值。
可选地，所述根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标的步骤，包括：
获取截图图片中所有的单连通区域；
确定每个单连通区域的质心，对所述每个单连通区域的质心执行坐标采样操作，获取每个单连通区域的质心坐标。
可选地，所述将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域的步骤，包括：
通过连通区域的分析算法对所述截图图片中的内容执行扫描操作；
完成所述扫描操作后，获取截图图片中所有的单连通区域，所述单连通区域是由截图图片中具有相同设定值的像素组成的。
此外，为实现上述目的，本申请另一方面还提供一种用户界面的测试装置，所述装置包括：
建立模块，用于提供测试界面，并在所述测试界面建立坐标系；
分析模块，用于执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；
获取模块，用于根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；
确定模块，用于确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
此外，为实现上述目的，本申请另一方面还提供一种终端，所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的用户界面的测试程序，所述处理器执行所述用户界面的测试程序时实现如上所述用户界面的测试方法的步骤。
此外，为实现上述目的，本申请另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述用户界面的测试方法的步骤。
在本实施例中，通过提供测试界面，并在所述测试界面建立坐标系；执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。通过对截图图片中的内容进行连通区域分析，比对所有质心坐标，获取间距异常的坐标值，从而对间距异常的坐标值执行修改操作，使得提高了UI测试的效率，保证了测试的准确性。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本申请用户界面的测试方法第一实施例的流程示意图；
图3为本申请用户界面的测试方法第二实施例的流程示意图；
图4为本申请用户界面的测试方法第三实施例的流程示意图；
图5为本申请用户界面的测试方法中执行连通区域的分析得到截图图片中所有的单连通区域的流程示意图；
图6为本申请用户界面的测试方法中获取每个单连通区域的质心坐标的流程示意图；
图7为本申请用户界面的测试方法中修改异常的横坐标值的流程示意图；
图8为本申请用户界面的测试方法中修改异常的纵坐标值的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提供测试界面，并在所述测试界面建立坐标系；执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
由于在UI测试中，往往是通过人工比对操作找出页面文字或图片缩进类或行间距类上下前后不一致的问题，然后进行优化操作，这导致测试不准确且效率低。因此，本申请通过提供测试界面，并在所述测试界面建立坐标系；执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。通过对截图图片中的内容进行连通区域分析，比对所有质心坐标，获取间距异常的坐标值，从而对间距异常的坐标值执行修改操作，使得提高了UI测试的效率，保证了测试的准确性
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、遥控器、音频电路、WiFi模块、检测器等等。当然，所述终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用户界面的测试程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的用户界面的测试程序，并执行以下操作：
提供测试界面，并在所述测试界面建立坐标系；
执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；
根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；
确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
参考图2，图2为本申请用户界面的测试方法第一实施例的流程示意图，所述用户界面的测试方法包括：
步骤S10，提供测试界面，并在所述测试界面建立坐标系；
通过计算平台对终端界面进行测试，其中，终端界面可以是移动终端应用界面，例如在安卓、iOS等操作系统展示的界面，也可以是PC终端浏览器界面，例如windows等操作系统中展示的界面。
确定需要执行测试操作的终端界面为测试界面，并在所述测试界面建立二维坐标区域，如：横轴用X表示，纵轴用Y表示，测试界面上的坐标点用X和Y表示，如点A(X，Y)。
步骤S20，执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；
在本实施例中，所述连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(Region，Blob)；连通区域分析是指将图像中的各个连通区域找出并标记。其中，连通区域分析是一种在CVPR和图像分析处理的众多应用领域中较为常用和基本的方法。例如：OCR识别中字符分割提取(文本识别、字幕识别等)、视觉跟踪中的运动前景目标分割与提取(基于视觉的车辆检测与跟踪等)、医学图像处理(感兴趣目标区域提取)等等。也就是说，在需要将前景目标提取出来以便后续进行处理的应用场景中都能够用到连通区域分析方法，通常连通区域分析处理的对象是一张二值化后的图像。
在测试界面建立坐标系后，执行所述测试界面的截图操作，可以理解为，对于用户界面而言，可以通过截屏图像获取界面展示内容。其中，对于测试界面的截图，可以通过在终端后台运行的脚本获取其对应的截屏图像。例如，后台运行的脚本可以包括“html2canvas()”命令，该命令中，括号中的参数作为截屏图像的区域范围，如“document.body”表示截取整个窗体。具体实现中，计算平台可以向终端发送获取截屏图像的信息，由终端调用后台程序进行截屏操作，也可以直接向终端发送调用相关命令进行截屏操作的信息，在此不做限定。此外，所述测试界面的截图可以是各种图片格式，例如PDF格式、JPG格式、tiff格式，等等。
对所述截图图片中所有的内容(如文字，图标，标点、空格等)通过Two-pass(两遍扫描法)、Seed-Filling种子填充等连通区域算法执行连通区域的分析操作，得到截图图片中所有的单连通区域，其中，通过连通区域分析算法执行截图图片中的内容的连通区域分析时，需要执行扫描操作，因此，参考图5，所述将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域的步骤，包括：
步骤S21，通过连通区域的分析算法对所述截图图片中的内容执行扫描操作；
步骤S22，完成所述扫描操作后，获取截图图片中所有的单连通区域，所述单连通区域是由截图图片中具有相同设定值的像素组成的。
在本实施例中，所述设定值是指label值，在扫描截图图片的过程中会赋予每个像素位置一个label值。通过Two-pass(两遍扫描法)、Seed-Filling种子填充等连通区域分析算法对截图图片中的内容执行扫描操作得到截图图片中所有的单连通区域，具体地，当采用Two-pass(两遍扫描法)算法时，指的是通过扫描两遍图像，就可以将图像中存在的所有连通区域找出并标记。Two-Pass算法的简单步骤：一次扫描：访问当前像素B(x,y)，如果B(x,y)＝＝1；a、如果B(x,y)的领域中，像素值都＝0，则赋予B(x,y)一个新的label：label+＝1，B(x,y)＝label；b、如果B(x,y)的领域中，像素值>1的像素Neighbors；(1)将Neighbors中的最小值赋予给B(x,y):B(x,y)＝min{Neighbors}；(2)记录Neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；labelSet[i]＝{label_m,..,label_n}，labelSet[i]中的所有label都属于同一个连通区域(这里可以有多种实现方式，只要能够记录这些具有相等关系的label之间的关系即可)；二次扫描：访问当前像素B(x,y)，如果B(x,y)>1：a、找到与label＝B(x,y)同属相等关系的一个最小label值，赋予给B(x,y)；完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。当采用Seed-Filling种子填充时，其连通区域分析方法：(1)扫描图像，直到当前像素点B(x，y)＝＝1：a、将B(x，y)作为种子(像素位置)，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；c、重复b步骤，直到栈为空；此时，便找到了图像B中的一个连通区域，该区域内的像素值被标记为label；(2)重复第(1)步，直到扫描结束；扫描结束后，就可以得到图像B中所有的连通区域。
由Two-pass(两遍扫描法)、Seed-Filling种子填充两种算法扫描结束后得到的连通区域即单连通区域，其中，所述单连通区域是由截图图片中具有相同label值的像素组成的。
步骤S30，根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；
根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标，例如，当前存在有三个单连通区域，每个单连通区域所处的位置不同，根据坐标系获取不同位置的单连通区域的质心坐标；其中，获取每个单连通区域的质心坐标需要执行坐标采集操作，因此，参考图6，所述根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标的步骤，包括：
步骤S31，获取截图图片中所有的单连通区域；
步骤S32，确定每个单连通区域的质心，对所述每个单连通区域的质心执行坐标采样操作，获取每个单连通区域的质心坐标。
由于执行连通区域分析算法后得到多个单连通区域，因此，需要获取截图图片中所有的单连通区域，把每个单连通区域标识成块，如文字块，标点块等；获取每个块的质心，对每个块的质心执行坐标采样操作，以a(X，Y)格式进行采集，从而获取每个块的质心坐标的位置信息，例如，质心定位出来后，在坐标系中即可获取到质心坐标的位置信息，比如a(5，2)，b(5，3)，c(5.2，3)。
步骤S40，确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值
获取所有单连通区域的质心坐标的坐标值，如横坐标X值和纵坐标Y值，将所述所有的质心坐标执行遍历操作，其中，遍历的顺序可以是从左到右或者是从上到下；在遍历的过程中对比所有质心坐标的X值与Y值，将同一行或同一列中不同的X值或Y值找出来，并标出质心坐标中异常的横坐标值和异常的纵坐标值，例如：采用不同的颜色标出异常的坐标值，又或者是采用不同的数字标出异常的坐标值等，在此不做限定；例如，当前获取到的质心坐标有a(4，2)，b(4，3)，c(4.2，4)，则说明质心a与b在同一列，而质心c没有与质心a与b对齐，因此，质心坐标c会别被以不同的颜色标识出来，进一步地，确定质心坐标c的X值为横向间距异常的坐标值。
在本实施例中，通过提供测试界面，并在所述测试界面建立坐标系；执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。通过对截图图片中的内容进行连通区域分析，比对所有质心坐标，获取间距异常的坐标值，从而对间距异常的坐标值执行修改操作，使得提高了UI测试的效率，保证了测试的准确性。
而在一实施例中，参考图3，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值的步骤，包括：
步骤S41，比对所有质心坐标中的横坐标值，确定横坐标值异常的单连通区域；
步骤S42，标识所述横坐标值异常的单连通区域中横坐标值相同的坐标；
步骤S43，获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值。
在本实施例中，获取到单连通区域所有的质心坐标后，单独将所有质心坐标的横向坐标X值执行对比操作，确定同一列中横坐标值异常的单连通区域，进一步地，在横坐标值异常的单连通区域中确定异常的横坐标，具体地，每个单连通区域除了质心坐标外，还有根据质心坐标确定的其他坐标值，例如：若当前的单连通区域是一个文字区域，则每个文字都确定有坐标值，对比单连通区域内所有文字的坐标，采用设定的标识(如颜色)标出单连通区域中横坐标值相同的文字坐标；获取没有被标识的文字坐标，确定没有被标识的文字坐标为异常的横坐标值，例如：当前获取到的文字坐标为a(1，2)，b(1，3)，c(1.2，4)，d(1，5)，由于文字坐标c与其他文字的X值不相同，则确定文字坐标c为横向间距异常的坐标值。获取所有单连通区域中的横向间距异常的坐标值后，执行横向间距异常的坐标值的修改操作，其中，参考图7，所述获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值的步骤之后，包括：
步骤S430，获取被标识的坐标中的横坐标值；
步骤S431，将所述异常的横坐标值修改为所述被标识的坐标中的横坐标值。
获取单连通区域中被标识的坐标的横坐标值，如获取文字a，b，d中其中一个文字坐标的X值，即获取的X值为1，将文字c的X值修改为1，即将1.2修改为1，完成修改后文字c的坐标为(1，4)；修改后的文字c与文字a，b，d的X值相同，说明所述文字位于同一列。
在本实施例中，通过比对所有坐标的横坐标X值，快速找出截图图片中横向间距异常的坐标值，并执行修改操作，使得提升了UI测试的效率。
而在一实施例中，参考图4，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值的步骤，包括：
步骤S44，比对所有质心坐标中的纵坐标值，确定纵坐标值异常的单连通区域；
步骤S45，标识所述纵坐标值异常的单连通区域中纵坐标值相同的坐标；
步骤S46，获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值。
在本实施例中，获取到单连通区域所有的质心坐标后，单独将所有质心坐标的纵向坐标Y值执行对比操作，确定同一行中纵坐标值异常的单连通区域，进一步地，在纵坐标值异常的单连通区域中确定异常的纵坐标，具体地，每个单连通区域除了质心坐标外，还有根据质心坐标确定的其他坐标值，例如：若当前的单连通区域是一个图片区域，则每张图片都确定有坐标值，对比单连通区域内所有图片的坐标，采用设定的标识(如颜色)标出单连通区域中纵坐标值相同的图片坐标；获取没有被标识的图片坐标，确定没有被标识的图片坐标为异常的纵坐标值，例如：当前获取到的图片坐标为a(2，2)，b(3，2)，c(4，2.2)，d(5，2)，由于图片坐标c与其他图片的Y值不相同，则确定图片坐标c为纵向间距异常的坐标值。获取所有单连通区域中的纵向间距异常的坐标值后，执行纵向间距异常的坐标值的修改操作，其中，参考图8，所述获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值的步骤之后，包括：
步骤S460，获取被标识的坐标中的纵坐标值；
步骤S461，将所述异常的纵坐标值修改为所述被标识的坐标中的纵坐标值。
获取单连通区域中被标识的坐标的纵坐标值，如获取图片a，b，d中其中一张图片坐标的Y值，即获取的Y值为2，将图片c的Y值修改为2，即将2.2修改为2，完成修改后图片c的坐标为(4，2)；修改后的图片c与图片a，b，d的Y值相同，说明所述图片位于同一行。
在本实施例中，通过比对所有坐标的纵坐标Y值，快速找出截图图片中纵向间距异常的坐标值，并执行修改操作，使得提升了UI测试的效率。
此外，本申请还提供了一种用户界面的测试装置，所述装置包括：建立模块，用于提供测试界面，并在所述测试界面建立坐标系；分析模块，用于执行所述测试界面的截图操作，将所述截图操作形成的截图图片中的内容执行连通区域的分析得到截图图片中所有的单连通区域；获取模块，用于根据在所述测试界面建立的坐标系获取每个单连通区域的质心坐标；确定模块，用于确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
此外，本申请还提供了一种终端，所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的用户界面的测试程序，所述处理器执行所述用户界面的测试程序时实现如上所述用户界面的测试方法的步骤。在本实施例中，所述终端还可以根据字符间距的大小划分区域，再确定间距异常的目标，其中，所述字符间距包括行间距、段间距等。例如：获取截图图片中显示内容(如文本、图片等)的字符间距，将所述字符间距与设定阈值执行比对操作，当字符间距等于设定阈值的情况下，确定字符是连续出现的，划分到同一个区域；当字符间距小于或大于设定阈值的情况下，确定字符为间距异常目标，采用设定的颜色或符号标识出来，如红色；修改所述字符间距异常的显示内容，具体地，将字符间距异常的显示内容修改为对应的设定阈值，例如：当前显示内容的行间距为3cm，而设定阈值的行间距为2cm，则执行将异常行间距修改为2cm的操作。通过字符间距的大小划分区域，再确定间距异常的目标，使得大大节约了测试时间，提高了测试的效率。
此外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述用户界面的测试方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种用户界面的测试方法，其特征在于，所述方法包括：
提供测试界面，并在所述测试界面建立坐标系；
执行所述测试界面的截图操作，通过连通区域的分析算法对所述截图操作形成的截图图片中的内容执行扫描操作；完成所述扫描操作后，获取截图图片中所有的单连通区域，所述单连通区域是由截图图片中具有相同设定值的像素组成的；
确定每个单连通区域的质心，对所述每个单连通区域的质心执行坐标采样操作，获取每个单连通区域的质心坐标；
确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
2.根据权利要求1所述的用户界面的测试方法，其特征在于，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值的步骤，包括：
比对所有质心坐标中的横坐标值，确定横坐标值异常的单连通区域；
标识所述横坐标值异常的单连通区域中横坐标值相同的坐标；
获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值。
3.根据权利要求2所述的用户界面的测试方法，其特征在于，所述获取未被标识的坐标中的横坐标值，确定所述未被标识的坐标中的横坐标值为异常的横坐标值的步骤之后，包括：
获取被标识的坐标中的横坐标值；
将所述异常的横坐标值修改为所述被标识的坐标中的横坐标值。
4.根据权利要求1所述的用户界面的测试方法，其特征在于，所述确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值步骤，还包括：
比对所有质心坐标中的纵坐标值，确定纵坐标值异常的单连通区域；
标识所述纵坐标值异常的单连通区域中纵坐标值相同的坐标；
获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值。
5.根据权利要求4所述的用户界面的测试方法，其特征在于，所述获取未被标识的坐标中的纵坐标值，确定所述未被标识的坐标中的纵坐标值为异常的纵坐标值的步骤之后，包括：
获取被标识的坐标中的纵坐标值；
将所述异常的纵坐标值修改为所述被标识的坐标中的纵坐标值。
6.一种用户界面的测试装置，其特征在于，所述装置包括：
建立模块，用于提供测试界面，并在所述测试界面建立坐标系；
分析模块，用于执行所述测试界面的截图操作，通过连通区域的分析算法对所述截图操作形成的截图图片中的内容执行扫描操作；完成所述扫描操作后，获取截图图片中所有的单连通区域，所述单连通区域是由截图图片中具有相同设定值的像素组成的；
获取模块，用于确定每个单连通区域的质心，对所述每个单连通区域的质心执行坐标采样操作，获取每个单连通区域的质心坐标；
确定模块，用于确定获取的所有质心坐标中异常的横坐标和异常的纵坐标的坐标值。
7.一种终端，其特征在于，包括存储器、处理器及存储在存储器上并在处理器上运行的用户界面的测试程序，所述处理器执行所述用户界面的测试程序时实现权利要求1至5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010492493.0A CN113760686B (zh) | 2020-06-02 | 2020-06-02 | 用户界面的测试方法、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010492493.0A CN113760686B (zh) | 2020-06-02 | 2020-06-02 | 用户界面的测试方法、装置、终端和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113760686A CN113760686A (zh) | 2021-12-07 |
| CN113760686B true CN113760686B (zh) | 2024-01-30 |
Family
ID=78783016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010492493.0A Active CN113760686B (zh) | 2020-06-02 | 2020-06-02 | 用户界面的测试方法、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760686B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025174A (zh) * | 2017-04-06 | 2017-08-08 | 网易（杭州）网络有限公司 | 用于设备的用户界面异常测试的方法、装置和可读储介质 |
| CN110008110A (zh) * | 2019-01-28 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 用户界面的测试方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793578B2 (en) * | 2011-07-11 | 2014-07-29 | International Business Machines Corporation | Automating execution of arbitrary graphical interface applications |
-
2020
- 2020-06-02 CN CN202010492493.0A patent/CN113760686B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025174A (zh) * | 2017-04-06 | 2017-08-08 | 网易（杭州）网络有限公司 | 用于设备的用户界面异常测试的方法、装置和可读储介质 |
| CN110008110A (zh) * | 2019-01-28 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 用户界面的测试方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113760686A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9697416B2 (en) | Object detection using cascaded convolutional neural networks | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| WO2019085971A1 (zh) | 图像中定位文本的方法、装置、电子设备和存储介质 | |
| US11586863B2 (en) | Image classification method and device | |
| CN111124888B (zh) | 录制脚本的生成方法和装置及电子装置 | |
| CN110136198B (zh) | 图像处理方法及其装置、设备和存储介质 | |
| CN108475431B (zh) | 图像处理装置、图像处理系统、图像处理方法和记录介质 | |
| KR102002024B1 (ko) | 객체 라벨링 처리 방법 및 객체 관리 서버 | |
| CN108764352B (zh) | 重复页面内容检测方法和装置 | |
| CN111291661B (zh) | 一种屏幕中图标的文本内容的识别方法及设备 | |
| CN108579094B (zh) | 一种用户界面检测方法及相关装置、系统和存储介质 | |
| CN108229232B (zh) | 批量扫描二维码的方法和批量扫描二维码的装置 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| KR20140091760A (ko) | 화상 내의 텍스트의 검출을 용이하게 하기 위한 방법 및 장치 | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN113760686B (zh) | 用户界面的测试方法、装置、终端和存储介质 | |
| JP2011087144A (ja) | テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
| CN113128470B (zh) | 笔划识别方法、装置、可读介质及电子设备 | |
| CN111950356A (zh) | 印章文本定位方法、装置及电子设备 | |
| CN111339341A (zh) | 模型的训练方法及装置、定位方法及装置、设备 | |
| CN114120016B (zh) | 字符串提取方法、装置、设备及存储介质 | |
| CN115422958B (zh) | 图片的操作方法、电子设备及存储介质 | |
| CN113886745B (zh) | 页面图片测试方法、装置及电子设备 | |
| CN112036365B (zh) | 信息导入方法和装置，以及图像处理方法和装置 | |
| CN114202520A (zh) | 色谱图处理方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |