CN116662211B - 显示界面测试方法、装置及设备和介质 - Google Patents
显示界面测试方法、装置及设备和介质 Download PDFInfo
- Publication number
- CN116662211B CN116662211B CN202310943393.9A CN202310943393A CN116662211B CN 116662211 B CN116662211 B CN 116662211B CN 202310943393 A CN202310943393 A CN 202310943393A CN 116662211 B CN116662211 B CN 116662211B
- Authority
- CN
- China
- Prior art keywords
- interface
- pattern
- area
- areas
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000010606 normalization Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/418—Document matching, e.g. of document images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种显示界面测试方法、装置及设备和介质，涉及测试技术领域，所述方法包括：对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的。
Description
技术领域
本申请涉及测试技术领域，特别是涉及一种显示界面测试方法、装置及设备和介质。
背景技术
目前显示界面的规范性测试主要依靠人工实现，测试人员需要对不同环境下所显示的每个界面逐个进行检查以发现其中不符合规范的检查项（即界面区域），耗时较长且容易检查遗漏。
发明内容
本申请实施例的目的是提供一种显示界面测试方法、装置及设备和介质，可以降低显示界面测试耗时并提高可靠性。
为解决上述技术问题，第一方面，本申请实施例提供了一种显示界面测试方法，所述方法包括：
对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；
通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的。
第二方面，本申请实施例还提供了一种显示界面测试装置，所述装置包括：
第一截图模块，用于对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；
第一测试模块，用于通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的。
第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述的显示界面测试方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的显示界面测试方法。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的显示界面测试方法。
由上述技术方案可以看出，根据界面规范对不同环境下训练图样中的界面区域进行标注以得到正负样本集，利用该正负样本集训练目标模型，使得目标模型能够具备测试图样中是否存在不符合界面规范的界面区域的能力，从而降低规范性测试过程中的人工参与，并提高显示界面测试的效率和可靠性。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种显示界面测试方法的实施流程图；
图2为本申请实施例提供的界面区域的示意图；
图3为本申请实施例提供的一种显示界面测试装置的结构示意图；
图4为本申请实施例提供的一种电子设备的示意图；
图5为本申请实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
界面规范性测试（如浏览器的显示界面（即WEB页面）的规范性测试）通常涉及多种硬件环境(如：不同显示屏尺寸的电脑、笔记本电脑、平板、信息一体机等)、多种浏览器、多种分辨率和不同的缩放尺寸等因素所组合出的多个环境（如标准测试环境或者非标准测试环境）下所显示界面的规范性检查，但目前的界面规范性测试主要通过人工实现，测试人员需要遍历被测试系统的每一个待测试显示界面在标准测试环境或者多个非标准测试环境中所显示的界面，并对该界面进行检查以发现其中不符合规范的检查项，故完成一轮全覆盖的界面规范性测试需要花费的人工就异常庞大，存在测试耗时长且容易检查遗漏等问题。
针对上述相关技术中存在的问题，本申请提出一种界面规范性测试方案，在完成对目标模型的训练后，即可藉由该目标模型通过自动化测试手段完成标准或者非标准测试环境中的规范性检查，无需人工干预，不但节省时间，而且不会检查遗漏，可以有效提高测试的效率和可靠性。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的一种显示界面测试方法、装置及设备和介质进行详细地说明。
第一方面，参见图1所示，为本申请实施例所提供的一种显示界面测试方法的实施流程图，该方法可以包括以下步骤：
步骤S101：对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样。
其中，该待测显示界面可以是待测试的小程序、手机软件、浏览器等程序软件在运行时所需显示的界面。
在具体实施时，测试人员可以根据对该待测显示界面进行规范性测试或兼容性测试（即测试显示界面在不同环境下是否均能规范显示）等显示界面测试所需覆盖的测试环境，设置目标环境。例如，该目标环境可以包括由一种或多种硬件环境、浏览器、分辨率和缩放尺寸等因素组合出的一个或多个环境。
测试人员通过自动化或者非自动化技术对待测显示界面在该一个或多个环境下所显示的界面进行截图，截图的尺寸可以设置为界面的尺寸，即对所显示的界面整体进行截图以得到该界面的图片（即图样），进而得到该一个或多个环境各自所对应的待测显示界面的图样（即目标图样），通过对该一个或多个图样进行规范性检查，即可对该待测显示界面实现覆盖不同环境的显示界面测试。
步骤S102：通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果。
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的。
在具体实施时，测试人员可以在标准测试环境(比如：电脑上，运行谷歌浏览器，1920*1080分辨率，WEB页面进行100%缩放)中对所显示的界面进行截图以得到训练图样，对该训练图样中的各检查项进行标注，形成正样本集。其中，标准测试环境可以为待测显示界面（如待测WEB页面）开发阶段所使用的环境，该标准测试环境所对应的训练图样中的检查项均为符合界面规范的界面区域。
在某非标准测试环境(比如：笔记本电脑、手机、平板、信息一体机等硬件环境，1920*1080或非1920*1080分辨率，WEB页面进行大于或者小于100%缩放)中对所显示的界面进行截图以得到训练图样，对训练图样中不符合规范性的检查项进行标注，形成负样本集。其中，上述不符合界面规范的检查项可以包括文字超出预定边界（如文字超出文本框、按钮文字超出按钮范围）的界面区域、显示不全（如下拉框的边框超出弹出显示界面范围）的界面区域、被遮挡（如组件或者文档形成遮挡）的界面区域、图片扭曲的界面区域、原本有分隔距离的文字形成重合的界面区域等，本申请实施例对界面规范的具体设置不作限制。
合并上述正样本集和负样本集以形成正负样本集，随后即可根据该正负样本集基于计算机视觉技术和机器学习技术进行模型训练，以得到具备测试图样中是否存在不符合界面规范的界面区域的能力的目标模型。
例如，可以将上述正负样本集按照60%训练集、20%验证集、20%测试集的比例进行随机拆分，先使用训练集，通过计算机视觉技术和机器学习技术对目标模型进行训练。完成训练后，分别使用验证集和测试集对目标模型进行验证和测试，确保准确率、精确率、召回率都在90%以上，否则重新训练目标模型。
作为一种可能的实施方式，可以将训练完成的目标模型封装为超文本传输协议（http，hypertext transfer protocol）服务，随后测试人员可以通过用户终端对该http服务的http接口传入目标图样，以使http服务测试目标图样中是否存在不符合界面规范的界面区域，随后测试人员即可通过用户终端接收所述http接口返回的测试结果。
在该实施例中，通过把训练完成的目标模型封装成http服务，使得测试人员可以在远端直接调用该http服务提供的http接口，使用更方便。其中，该http接口的传入参数为1张或多张图片（即图样），返回参数为目标模型标注后的图片。
在目标模型训练完成后，测试人员可以通过自动化或非自动化技术遍历在非标准测试环境中所显示的界面，在截图后将得到的目标图样提交给目标模型，通过目标模型对目标图样中不符合界面规范的检查项进行识别和标注，若目标模型输出的目标图样存在被标注的检查项，则说明该待测显示界面在该目标图样对应的环境下不具备规范性，若目标模型输出的目标图样不存在被标注的检查项，则说明该待测显示界面在该目标图样对应的环境下具备规范性，随后测试人员即可根据目标模型对各个目标图样的标注情况（即测试结果），知晓待测显示界面是否具备在不同环境下的兼容性或在相应环境下是否具备规范性，从而完成显示界面测试。其中，上述目标模型也可以通过输出文字、语音等方式反馈用于表征该待测显示界面是否具备规范性或兼容性的测试结果。
可选地，在确定所述待测显示界面的测试结果之后，在被测试系统（如WEB系统）中获取新的待测显示界面，对所述新的待测显示界面确定新的目标环境，并基于所述新的目标环境和所述目标模型确定所述新的待测显示界面的测试结果。
在该实施例中，测试人员可以使用自动化测试工具遍历被测试系统的每个待测显示界面，针对任一待测显示界面，对该待测显示界面在不同环境下所显示的界面进行截图，并在每一次截图后，调用http接口，传入截图得到的目标图样，在获取到被标注的目标图样后，将该目标图样分类（如按照是否被标注、所对应的环境等进行分类）保存在本地。也可以遍历所有待测显示界面并且截图保存后，分批次调用http接口，接收该http接口返回的标注后图样。其中，对不同环境的切换和配置也可以使用自动化测试工具和虚拟机实现。
可以理解的是，通过设置不同的样本集进行目标模型训练，使得目标模型可以是用于界面规范性测试的通用模型，也可以是用于针对某个项目或者产品进行界面规范性测试的特定模型。在上述目标模型训练完成后，测试人员即可通过自动化测试手段完成标准测试环境或者非标准测试环境下的对待测显示界面的规范性检查，无需人工干预，不但节省时间，而且不会检查遗漏。
由上述技术方案可以看出，根据界面规范对不同环境下训练图样中的界面区域进行标注以得到正负训练样本集，利用该正负训练样本集训练目标模型，使得目标模型能够具备测试图样中是否存在不符合界面规范的界面区域的能力，从而降低规范性测试过程中的人工参与，并提高显示界面测试的效率和可靠性。
可选地，在一个实施例中，目标模型可以基于信息比对的执行逻辑，对待测显示界面在两个不同环境下所显示的界面同时进行规范性测试，以提高测试效率和精度。具体地，测试人员对所述待测显示界面在第一环境和第二环境下各自所显示的界面分别进行截图，得到第一图样和第二图样，将所述第一图样和所述第二图样输入至所述目标模型，随后目标模型将自动执行以下步骤：
确定所述第一图样和所述第二图样各自的各个界面区域的信息；
根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果。
在具体实施时，第一图样和第二图样为待测显示界面在不同环境下所显示界面的截图，例如，两者可以是待测显示界面在不同缩放尺寸下所显示的界面的截图，如待测显示界面在缩放前后（即100%缩放和非100%缩放）所显示界面的截图，也可以是待测显示界面在标准测试环境下和非标准测试环境下所显示界面的截图。
考虑到不符合规范性或兼容性的待测显示界面，通常会在不同的环境（如不同的缩放尺寸）下出现不同的界面显示异常。故可以设置目标模型自动识别出第一图样和第二图样中所需进行规范性检查的各个界面区域，并对该各个界面区域的数量、所包含的文字内容以及位置关系等信息进行对比，以分析该第一图样和第二图样的界面显示内容是否一致，若第一图样和第二图样的界面显示内容不一致，则说明第一图样和第二图样中存在界面显示异常的图样，目标模型随即可输出该待测界面规范性测试不通过的测试结果。
作为一种可能的实施方式，目标模型所需识别的界面区域可以包括文字区域和非文字区域，其中，非文字区域可以为图片、按钮或表格等非文字元素所在的位置区域。
具体地，目标模型可以识别所述第一图样和所述第二图样各自的各个非文字区域和各个文字区域，以待测显示界面的非文字区域至少包括按钮区域为例，目标模型可以使用锚框确定出第一图样和第二图样各自的每个按钮所在的位置区域（即按钮区域）和每个文字段落（即文字元素）所在的位置区域（即文字区域），目标模型随后即可根据识别出的所述各个按钮区域和所述各个文字区域，确定所述第一图样和所述第二图样各自的各个界面区域的数量、位置坐标、文字内容等信息。如图2所示为目标模型使用锚框确定出的各个界面区域。
可选地，考虑到显示界面中通常还会包含由文字区域和非文字区域组合而成的区域，如由文字段落（其可以是由数字、符号、字、字母等一个或多个非空字符所组成的字符串）和按钮组合而成的文本框、或由文字段落、按钮和图片组合而成的导航栏等，为避免发生诸如将文本框所包含的文字段落和按钮误判为存在重叠的两个界面区域等误判情况，目标模型所需识别的界面区域还可以包括文字区域和非文字区域组合而成的区域（即融合区域）。
具体地，对于任一图样（如第一图样或第二图样），目标模型可以从所述图样的各个非文字区域和各个文字区域中确定各个第一组合，所述第一组合为：面积重合度大于第一阈值的非文字区域与文字区域的组合；对所述各个第一组合各自所包含的界面区域进行区域边界融合，得到各个融合区域；将所述各个融合区域的信息、以及除所述第一组合之外的各个非文字区域和各个文字区域的信息，确定为所述图样的各个界面区域的信息。
在该实施例中，目标模型可以包含识别子模型，该识别子模型的输入数据为图样，输出数据为该图样中所有界面区域的信息，如：文字框的坐标信息，文字框对应的文字内容（即文字框所包含的文字，如字母、数字等非空字符）等。目标模型可以使用锚框对各类界面区域进行标注，此时具体的输出数据格式分别为：[第一个框，第二个框……最后一个框]、[第一个框对应的文字，第二个框对应的文字……最后一个框对应的文字]，若某一界面区域内没有文字内容（即不包含文字），则可以使用空字符（即空字符串）代替。
以按钮区域的识别为例，识别子模型可以通过机器学习方法，识别出图样中的按钮及其轮廓信息以确定按钮区域，具体步骤为：a.读取输入的图样，将输入的图样从BGR颜色空间转换至gray颜色空间，得到灰度图；b.将灰度图自适应转为二值图；c.对二值图进行同尺寸大小的膨胀、腐蚀操作，减少无用的轮廓信息；d.通过OpenCV中cv2.findContours（）函数找到二值图中所有的轮廓信息，对单个轮廓统计最大的(x,y)点，作为锚框的区域坐标，以该区域坐标确定按钮区域。
该识别子模型还可以通过文字识别（OCR，Optical Character Recognition）模型，识别出输入图样的文字区域（即文字框所在位置区域）和文字内容。
随后该识别子模块可以将识别出的文字框和按钮框进行组合融合。例如，文字框和按钮框的框重复大于上述第一阈值，如交并比（IoU，Intersection over Union）>0.8，则将文字框和按钮框融合为文本框（即将文字框和按钮框的边界线进行融合以得到表征文本框边缘轮廓的边界线），否则保留该按钮框和文字框。其中，第一阈值的取值是可配置参数，可以是0.8、0.9等。
该目标模型还可以包括信息比对子模型，目标模型中的识别子模型在识别出所述第一图样的各个界面区域和所述第二图样的各个界面区域及其区域信息之后，即可通过信息比对子模型对第一图样和第二图样之间的各个界面区域的信息进行比对，从而得到测试结果。
具体地，信息比对子模型可以先粗粒度地比对第一图样和第二图样之间的各个界面区域的信息（如区域数量或文字数量（即字符数量）等）。
在一个实施例中，信息比对子模型可以检测所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量是否一致，在所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量不一致的情况下，说明第一图样和第二图样中的至少一者存在界面区域显示不全等异常，故可以输出用于表征显示界面测试不通过的测试结果。
在一个实施例中，信息比对子模型可以检测所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量是否一致，对于非文字区域（如按钮区域）可以设置其包含空字符；
在所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量不一致的情况下，说明第一图样和第二图样中的至少一者存在字符显示不全等异常，故可以输出用于表征显示界面测试不通过的测试结果。
随后，信息比对子模型可以细粒度地比对第一图样和第二图样之间的相互匹配的界面区域的信息（如文字内容，与其它界面区域之间的位置关系），其中，相互匹配的界面区域是指：待测显示界面中的同一显示界面元素（如按钮、文字框、文本框等）在不同环境下所对应的界面区域。
考虑到在界面规范显示的情况下，同一显示界面元素在不同环境下所对应的界面区域在其相应界面上的位置排布应相同，故目标模型可以根据所述各个界面区域的位置排布，将所述第一图样的各个界面区域与所述第二图样的各个界面区域进行匹配，再根据各个相互匹配的所述界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果，如相互匹配的界面区域的信息不一致，则说明第一图样和第二图样中的至少一者存在对该界面区域的显示异常问题，此时可以输出用于表征显示界面测试不通过的测试结果。
在具体实施时，信息比对子模型可以遍历第一图样中的所有框，以框的中心点作为基准，对框进行排序，如以从小到大的顺序遍历y坐标时嵌套从小到大的遍历x坐标，以对第一图样中的框进行排序，并按照该排序，生成记录了第一图样中各个框及其对应信息的表格，对第二图样中各个框以类似方式生成记录了该各个框及其对应信息的表格，后续即可通过顺序比对两个表格中各个框的信息实现对相互匹配的界面区域的信息对比。
在一个实施例中，考虑到在界面规范显示的情况下，待测显示界面中任一显示界面元素所对应的界面区域与其它显示界面元素所对应的界面区域的位置关系（如相对位置）应固定，若存在位置关系改变则说明存在界面区域重叠、遮挡、扭曲等异常显示情况，故信息比对子模型可以检测是否存在边界线位置关系不一致的相互匹配的所述界面区域，所述边界线位置关系用于表征单个界面区域与所述界面区域所在图样中的其它界面区域之间的位置关系（如交叉、重叠、互不干扰等），在存在边界线位置关系不一致的相互匹配的所述界面区域的情况下，将边界线位置关系不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中标注所述不符合界面规范的界面区域，输出标注后的所述第一图样和所述第二图样，从而针对该不符合界面规范的界面区域进行预警。
在具体实施时，信息比对子模型可以包括位置关系识别模型，该位置关系识别模型会先将图样中所有框的坐标信息中的x坐标、y坐标分别除以图样的长宽，将得到的值进行归一化（限制到0到1之间，实现计算加速），在循环遍历所有的框，基于归一化后的坐标信息对每个框与所有的框进行交并比计算，并以如下数据格式生成并保存该图样中各个框各自的边界线位置关系：[第一个框与所有框的交集值]，[第二个框与所有框的交集值]……[最后一个框与所有框的交集值]。
随后信息比对子模型中的位置比对模型可以比对第一图样与第二图样之间的边界线数量，和/或，相互匹配的框的上述边界线位置关系（即交并比的值）是否一致，若不一致，则确定存在显示异常问题，输出测试未通过的结果并进行预警。例如，可以将交并比的值不同的框全部标注出来，输出标注后的第一图样与第二图样。
作为一种可能的实施方式，每两个所述界面区域之间的位置关系通过以下步骤确定：对每两个所述界面区域的坐标信息进行归一化；根据归一化后的每两个所述界面区域的坐标信息，确定每两个所述界面区域之间的面积重合度；根据每两个所述界面区域之间的面积重合度，目标模型可以通过计算交并比计算该面积重合度，进而确定两个所述界面区域之间的位置关系。
在一个实施例中，考虑到在界面规范显示的情况下，待测显示界面中任一显示界面元素所对应的界面区域所包含的文字内容（即语义内容）通常固定，若存在文字内容变化则说明存在文字重叠、显示不全等异常显示情况，故目标模型可以检测是否存在文字内容不一致的相互匹配的所述界面区域，在存在文字内容不一致的相互匹配的所述界面区域的情况下，将文字内容不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中对检测出的存在不一致的文字内容进行标注，输出标注后的所述第一图样和所述第二图样。例如，可以将不一致的字符使用特殊颜色进行标注（如标红处理），并输出标注后的第一图样与第二图样。
在完成对上述待测显示界面在一个或多个环境下的规范性测试之后，可以设置程序自动获取被测试系统中的其它待测显示界面，并通过虚拟机等构建该其它待测显示界面所需的测试环境（即新的目标环境）并进行截图以得到新的目标图样，随后即可调用目标模型对该新的目标图样进行测试，从而实现对被测试系统的自动显示界面测试。该程序运行完成后会生成一个截图文件，其中包含多个显示界面测试不通过（即存在显示异常）的界面截图（或被目标模型标注后的界面截图）。
基于上述实施例，本申请通过训练目标模型可以节省界面规范性测试的人力投入，并且真正做到有效覆盖全场景的界面规范性测试、以及基于界面规范性测试的兼容性测试。
第二方面，本申请实施例提供了一种显示界面测试装置，如图3所示，该装置包括：
第一截图模块21，用于对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；
第一测试模块22，用于通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的。
可选地，所述第一截图模块21包括：
第一截图子模块，用于对所述待测显示界面在第一环境和第二环境下各自所显示的界面分别进行截图，得到第一图样和第二图样；
所述第一测试模块22包括：
第一输入模块，用于将所述第一图样和所述第二图样输入至所述目标模型；
第二测试模块，用于通过所述目标模型执行以下步骤：确定所述第一图样和所述第二图样各自的各个界面区域的信息，并根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果。
可选地，所述第二测试模块包括：
第一识别模块，用于识别所述第一图样和所述第二图样各自的各个非文字区域和各个文字区域；
第一处理模块，用于根据识别出的所述各个非文字区域和所述各个文字区域，确定所述第一图样和所述第二图样各自的各个界面区域的信息。
可选地，所述第一处理模块包括：
第一处理子模块，用于对于单个图样，从所述图样的各个非文字区域和各个文字区域中确定各个第一组合，所述第一组合为：面积重合度大于第一阈值的非文字区域与文字区域的组合；
第二处理子模块，用于对所述各个第一组合各自所包含的界面区域进行区域边界融合，得到各个融合区域；
第三处理子模块，用于将所述各个融合区域的信息、以及除所述第一组合之外的各个非文字区域和各个文字区域的信息，确定为所述图样的各个界面区域的信息。
可选地，所述第二测试模块包括：
第一匹配模块，用于根据所述各个界面区域的位置排布，将所述第一图样的各个界面区域与所述第二图样的各个界面区域进行匹配；
第三测试模块，用于根据各个相互匹配的所述界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果。
可选地，所述第三测试模块包括：
第一检测模块，用于检测是否存在边界线位置关系不一致的相互匹配的所述界面区域，所述边界线位置关系用于表征单个界面区域与所述界面区域所在图样中的其它界面区域之间的位置关系；
第四测试模块，用于在存在边界线位置关系不一致的相互匹配的所述界面区域的情况下，将边界线位置关系不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中标注所述不符合界面规范的界面区域，输出标注后的所述第一图样和所述第二图样。
可选地，所述装置还包括：
第二处理模块，用于对每两个所述界面区域的坐标信息进行归一化；
第三处理模块，用于根据归一化后的每两个所述界面区域的坐标信息，确定每两个所述界面区域之间的面积重合度；
第四处理模块，用于根据每两个所述界面区域之间的面积重合度，确定两个所述界面区域之间的位置关系。
可选地，所述第三测试模块包括：
第二检测模块，用于检测是否存在文字内容不一致的相互匹配的所述界面区域；
第五测试模块，用于在存在文字内容不一致的相互匹配的所述界面区域的情况下，将文字内容不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中对检测出的存在不一致的文字内容进行标注，输出标注后的所述第一图样和所述第二图样。
可选地，所述装置还包括：
第三检测模块，用于检测所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量是否一致；
第六测试模块，用于在所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量不一致的情况下，输出用于表征显示界面测试不通过的测试结果。
可选地，所述装置还包括：
第四检测模块，用于检测所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量是否一致；
第七测试模块，用于在所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量不一致的情况下，输出用于表征显示界面测试不通过的测试结果。
可选地，所述装置还包括：
第一封装模块，用于将所述目标模型封装为超文本传输协议http服务；
所述第一测试模块22包括：
第一传输模块，用于对所述超文本传输协议http服务的http接口传入所述目标图样，以使所述超文本传输协议http服务测试所述目标图样中是否存在不符合界面规范的界面区域；
第二传输模块，用于接收所述http接口返回的测试结果。
可选地，所述装置还包括：
第一获取模块，用于在确定所述待测显示界面的测试结果之后，在被测试系统中获取新的待测显示界面；
第五处理模块，用于对所述新的待测显示界面确定新的目标环境，并基于所述新的目标环境和所述目标模型确定所述新的待测显示界面的测试结果。
由上述技术方案可以看出，根据界面规范对不同环境下训练图样中的界面区域进行标注以得到正负样本集，利用该正负样本集训练目标模型，使得目标模型能够具备测试图样中是否存在不符合界面规范的界面区域的能力，从而降低规范性测试过程中的人工参与，并提高显示界面测试的效率和可靠性。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本申请实施例还提供了一种电子设备，参照图4，图4是本申请实施例提出的电子设备的示意图。如图4所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，进而实现本申请实施例公开的所述显示界面测试方法中的步骤。
本申请实施例还提供了一种计算机可读存储介质，参见图5，图5是本申请实施例提出的计算机可读存储介质的示意图。如图5所示，计算机可读存储介质200上存储有计算机程序/指令210，该计算机程序/指令210被处理器执行时实现如本申请实施例公开的所述显示界面测试方法中的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述显示界面测试方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、系统、设备、存储介质及程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种显示界面测试方法、装置及设备和介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种显示界面测试方法，其特征在于，所述方法包括：
对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；
通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的；
所述对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样，包括：
对所述待测显示界面在第一环境和第二环境下各自所显示的界面分别进行截图，得到第一图样和第二图样；
所述通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果，包括：
将所述第一图样和所述第二图样输入至所述目标模型；
通过所述目标模型执行以下步骤：
确定所述第一图样和所述第二图样各自的各个界面区域的信息；
根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果；
所述根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果，包括：
将所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致，所述各个界面区域的信息包括所述各个界面区域的数量、所包含的文字内容以及位置关系中的至少一项；
在所述第一图样和所述第二图样的界面显示内容不一致的情况下，确定所述第一图样和所述第二图样中存在不符合界面规范的界面区域，并输出所述待测界面的规范性测试不通过的测试结果。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图样和所述第二图样各自的各个界面区域的信息，包括：
识别所述第一图样和所述第二图样各自的各个非文字区域和各个文字区域；
根据识别出的所述各个非文字区域和所述各个文字区域，确定所述第一图样和所述第二图样各自的各个界面区域的信息。
3.根据权利要求2所述的方法，其特征在于，单个图样的各个界面区域的信息通过以下步骤确定：
从所述图样的各个非文字区域和各个文字区域中确定各个第一组合，所述第一组合为：面积重合度大于第一阈值的非文字区域与文字区域的组合；
对所述各个第一组合各自所包含的非文字区域和文字区域进行区域边界融合，得到各个融合区域；
将所述各个融合区域的信息、以及除所述第一组合之外的各个非文字区域和各个文字区域的信息，确定为所述图样的各个界面区域的信息。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致，包括：
根据所述各个界面区域的位置排布，将所述第一图样的各个界面区域与所述第二图样的各个界面区域进行匹配；
将各个相互匹配的所述界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致，包括：
检测是否存在边界线位置关系不一致的相互匹配的所述界面区域，所述边界线位置关系用于表征单个界面区域与所述界面区域所在图样中的其它界面区域之间的位置关系；
在存在边界线位置关系不一致的相互匹配的所述界面区域的情况下，确定所述第一图样和所述第二图样的界面显示内容不一致；
所述在所述第一图样和所述第二图样的界面显示内容不一致的情况下，确定所述第一图样和所述第二图样中存在不符合界面规范的界面区域，并输出所述待测界面的规范性测试不通过的测试结果，包括：
将边界线位置关系不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中标注所述不符合界面规范的界面区域，输出标注后的所述第一图样和所述第二图样。
6.根据权利要求5所述的方法，其特征在于，每两个所述界面区域之间的位置关系通过以下步骤确定：
对每两个所述界面区域的坐标信息进行归一化；
根据归一化后的每两个所述界面区域的坐标信息，确定每两个所述界面区域之间的面积重合度；
根据每两个所述界面区域之间的面积重合度，确定两个所述界面区域之间的位置关系。
7.根据权利要求4所述的方法，其特征在于，所述将各个相互匹配的所述界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致，包括：
检测是否存在文字内容不一致的相互匹配的所述界面区域；
在存在文字内容不一致的相互匹配的所述界面区域的情况下，确定所述第一图样和所述第二图样的界面显示内容不一致；
所述在所述第一图样和所述第二图样的界面显示内容不一致的情况下，确定所述第一图样和所述第二图样中存在不符合界面规范的界面区域，并输出所述待测界面的规范性测试不通过的测试结果，包括：
将文字内容不一致的相互匹配的所述界面区域确定为不符合界面规范的界面区域，并在所述第一图样和所述第二图样中对检测出的存在不一致的文字内容进行标注，输出标注后的所述第一图样和所述第二图样。
8.根据权利要求4所述的方法，其特征在于，所述根据所述各个界面区域的位置排布，将所述第一图样的各个界面区域与所述第二图样的各个界面区域进行匹配之前，所述方法还包括：
检测所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量是否一致；
在所述第一图样的各个界面区域的数量和所述第二图样的各个界面区域的数量不一致的情况下，输出用于表征显示界面测试不通过的测试结果。
9.根据权利要求4所述的方法，其特征在于，所述根据所述各个界面区域的位置排布，将所述第一图样的各个界面区域与所述第二图样的各个界面区域进行匹配之前，所述方法还包括：
检测所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量是否一致；
在所述第一图样的各个界面区域的字符数量和所述第二图样的各个界面区域的字符数量不一致的情况下，输出用于表征显示界面测试不通过的测试结果。
10.根据权利要求1-9任一所述的方法，其特征在于，所述方法还包括：
将所述目标模型封装为超文本传输协议http服务；
所述通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果，包括：
对所述超文本传输协议http服务的http接口传入所述目标图样，以使所述超文本传输协议http服务测试所述目标图样中是否存在不符合界面规范的界面区域；
接收所述http接口返回的测试结果。
11.根据权利要求1-9任一所述的方法，其特征在于，所述方法还包括：
在确定所述待测显示界面的测试结果之后，在被测试系统中获取新的待测显示界面；
对所述新的待测显示界面确定新的目标环境，并基于所述新的目标环境和所述目标模型确定所述新的待测显示界面的测试结果。
12.一种显示界面测试装置，其特征在于，所述装置包括：
第一截图模块，用于对待测显示界面在目标环境下所显示的界面进行截图，得到目标图样；
第一测试模块，用于通过目标模型测试所述目标图样中是否存在不符合界面规范的界面区域，得到测试结果；
所述第一截图模块包括：
第一截图子模块，用于对所述待测显示界面在第一环境和第二环境下各自所显示的界面分别进行截图，得到第一图样和第二图样；
所述第一测试模块包括：
第一输入模块，用于将所述第一图样和所述第二图样输入至所述目标模型；
第二测试模块，用于通过所述目标模型执行以下步骤：确定所述第一图样和所述第二图样各自的各个界面区域的信息，根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果；
其中，所述目标模型是以不同环境各自所对应的训练图样、以及所述训练图样中标注的符合所述界面规范的界面区域和不符合所述界面规范的界面区域为样本进行训练得到的；所述根据所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息，测试所述第一图样和所述第二图样中是否存在不符合界面规范的界面区域，得到测试结果，包括：
将所述第一图样的各个界面区域的信息和所述第二图样的各个界面区域的信息进行比对，确定所述第一图样和所述第二图样的界面显示内容是否一致，所述各个界面区域的信息包括所述各个界面区域的数量、所包含的文字内容以及位置关系中的至少一项；
在所述第一图样和所述第二图样的界面显示内容不一致的情况下，确定所述第一图样和所述第二图样中存在不符合界面规范的界面区域，并输出所述待测界面的规范性测试不通过的测试结果。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1至11中任一项所述的显示界面测试方法。
14.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至11中任一项所述的显示界面测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310943393.9A CN116662211B (zh) | 2023-07-31 | 2023-07-31 | 显示界面测试方法、装置及设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310943393.9A CN116662211B (zh) | 2023-07-31 | 2023-07-31 | 显示界面测试方法、装置及设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116662211A CN116662211A (zh) | 2023-08-29 |
| CN116662211B true CN116662211B (zh) | 2023-11-03 |
Family
ID=87722786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310943393.9A Active CN116662211B (zh) | 2023-07-31 | 2023-07-31 | 显示界面测试方法、装置及设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662211B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229485A (zh) * | 2018-02-08 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于测试用户界面的方法和装置 |
| CN109871316A (zh) * | 2019-01-10 | 2019-06-11 | 北京云测信息技术有限公司 | 一种控件识别方法和装置 |
| CN110245681A (zh) * | 2019-05-10 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 模型生成方法、应用界面异常检测方法、装置、终端设备及计算机可读存储介质 |
| CN111930622A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 基于深度学习的界面控件测试方法及系统 |
| CN113034421A (zh) * | 2019-12-06 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置及存储介质 |
| EP3842948A2 (en) * | 2020-04-17 | 2021-06-30 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method and apparatus for testing edge computing, device, and readable storage medium |
| CN114116514A (zh) * | 2021-12-03 | 2022-03-01 | 华人运通(上海)云计算科技有限公司 | 一种用户界面测试验收方法 |
| CN114942890A (zh) * | 2022-07-13 | 2022-08-26 | 杭州安恒信息技术股份有限公司 | 一种用户界面测试方法、装置、设备及介质 |
| CN115269359A (zh) * | 2021-04-29 | 2022-11-01 | 漳州立达信光电子科技有限公司 | 终端界面测试方法及装置 |
| CN116431468A (zh) * | 2023-02-17 | 2023-07-14 | 网易（杭州）网络有限公司 | 测试方法、装置、处理设备及存储介质 |
-
2023
- 2023-07-31 CN CN202310943393.9A patent/CN116662211B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229485A (zh) * | 2018-02-08 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于测试用户界面的方法和装置 |
| CN109871316A (zh) * | 2019-01-10 | 2019-06-11 | 北京云测信息技术有限公司 | 一种控件识别方法和装置 |
| CN110245681A (zh) * | 2019-05-10 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 模型生成方法、应用界面异常检测方法、装置、终端设备及计算机可读存储介质 |
| CN113034421A (zh) * | 2019-12-06 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置及存储介质 |
| EP3842948A2 (en) * | 2020-04-17 | 2021-06-30 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method and apparatus for testing edge computing, device, and readable storage medium |
| CN111930622A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 基于深度学习的界面控件测试方法及系统 |
| CN115269359A (zh) * | 2021-04-29 | 2022-11-01 | 漳州立达信光电子科技有限公司 | 终端界面测试方法及装置 |
| CN114116514A (zh) * | 2021-12-03 | 2022-03-01 | 华人运通(上海)云计算科技有限公司 | 一种用户界面测试验收方法 |
| CN114942890A (zh) * | 2022-07-13 | 2022-08-26 | 杭州安恒信息技术股份有限公司 | 一种用户界面测试方法、装置、设备及介质 |
| CN116431468A (zh) * | 2023-02-17 | 2023-07-14 | 网易（杭州）网络有限公司 | 测试方法、装置、处理设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| A deep learning-based automated framework for functional User Interface testing;Zubair Khaliq;《Information and Software Technology》;第150卷;1-13 * |
| 基于图像匹配的手机界面自动化测试优化方法研究与实现;李施施;《中国优秀硕士学位论文全文数据库 信息科技辑》(第3期);I136-385 * |
| 基于图像匹配的移动应用自动化测试方法研究;李昕宇 等;《计算机工程与应用》;第52卷(第13期);43-47 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116662211A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111078908B (zh) | 一种数据标注的检测方法和装置 | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| CN110059635B (zh) | 一种皮肤瑕疵检测方法及装置 | |
| CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN107256379A (zh) | 基于图像识别的信息采集方法、移动终端及存储介质 | |
| CN111709414A (zh) | Ar设备及其文字识别方法、装置和计算机可读存储介质 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN110346704A (zh) | 板卡测试中测试文件的确定方法、装置、设备及存储介质 | |
| CN110110110A (zh) | 一种以图搜图方法、装置、电子设备及存储介质 | |
| KR101842535B1 (ko) | 부호의 광학적 검출 방법 | |
| CN116662211B (zh) | 显示界面测试方法、装置及设备和介质 | |
| CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
| KR101576445B1 (ko) | 영상 신호를 이용한 이미지 평가 자동화 장치 및 방법 | |
| CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
| CN115496894A (zh) | 针对pcba的检测方法以及检测终端 | |
| CN112308062B (zh) | 一种复杂背景图像中的医疗影像访问号识别方法 | |
| CN110851349B (zh) | 页面异常显示的检测方法、终端设备及存储介质 | |
| CN114092542A (zh) | 一种基于二维视觉的螺栓测量方法以及系统 | |
| CN114596243A (zh) | 缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN115631493B (zh) | 文本区确定方法、系统及相关装置 | |
| US20170200383A1 (en) | Automated review of forms through augmented reality | |
| KR101936935B1 (ko) | 비율 측정방식을 통한 개체 인식 장치 | |
| CN117853440A (zh) | 一种用于文本缺陷检测模型的训练方法以及电子设备 | |
| CN115761344A (zh) | 基于深度学习vr渲染图像异常显示检测方法及系统 | |
| CN113221901A (zh) | 一种面向不成熟自检系统的图片识字转化方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |