CN109815156A - 页面中视觉元素的展示测试方法、装置、设备和存储介质 - Google Patents
页面中视觉元素的展示测试方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109815156A CN109815156A CN201910150300.0A CN201910150300A CN109815156A CN 109815156 A CN109815156 A CN 109815156A CN 201910150300 A CN201910150300 A CN 201910150300A CN 109815156 A CN109815156 A CN 109815156A
- Authority
- CN
- China
- Prior art keywords
- page
- test
- displaying
- visual element
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种页面中视觉元素的展示测试方法、装置、设备和存储介质。所述方法包括：在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。本发明实施例可以实现对页面中包括的全部视觉元素进行有效的校验，提高软件测试中测试案例的多样性。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种页面中视觉元素的展示测试方法、装置、设备和存储介质。
背景技术
随着科技的发展和互联网技术的不断进步，电子设备的更新换代的速度不断加快，软件需要通过不断升级适应快速更新的电子设备。
通常在应用程序(Application，APP)上线或者更新前，需要对应用程序的各项功能进行测试。现有技术中，可以对被测应用进行布局解析，例如对xml布局文件进行解析，得到文字、控件id和元素类别等软件底层控件元素信息，根据预设规则或用户需要对这些软件底层控件元素信息进行校验。
此外，APP页面中视觉元素的校验也是其中一项重要的测试项目。具体是当打开APP中的某一个页面时，校验该页面中是否包括有预期的一个或者多个视觉元素(例如，图标或者按钮等)。但现有技术中无法对APP页面中全部软件元素视觉元素进行校验，尤其是当APP页面为OpenGL窗口或者H5页面时，无法对上述页面中包括的由绘制对象构成的视觉元素进行有效识别，从而无法对该APP页面中包括的全部软件元素视觉元素进行校验。
发明内容
本发明实施例提供一种页面中视觉元素的展示测试方法、装置、设备和存储介质，可以实现对页面中包括的全部视觉元素进行有效的校验，提高软件测试中测试案例的多样性。
第一方面，本发明实施例提供了一种页面中视觉元素的展示测试方法，包括：
在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；
采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；
根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
第二方面，本发明实施例还提供了一种页面中视觉元素的展示测试装置，包括：
页面图像获取模块，用于在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；
视觉元素识别模块，用于采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；
展示测试结果确定模块，用于根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
第三方面，本发明实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的页面中视觉元素的展示测试方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的页面中视觉元素的展示测试方法。
本发明实施例通过获取测试页面的页面图像，并对页面图像进行图像识别，确定测试页面中的全部视觉元素，并将全部视觉元素与期望展示元素进行对比，得到展示测试结果，解决了现有技术中对通过解析文件得到控件元素信息进行测试导致测试无法覆盖页面中的绘制对象的问题，可以实现对页面中包括的全部视觉元素进行有效校验，增加软件测试对象的范围，从而提高软件测试的可靠性，同时提高软件测试中测试案例的多样性，满足多样化的测试需求和测试场景。
附图说明
图1是本发明实施例一提供的一种页面中视觉元素的展示测试方法的流程图；
图2a是本发明实施例二提供的一种页面中视觉元素的展示测试方法的流程图；
图2b是本发明实施例二提供的一种页面中视觉元素的展示测试方法的具体应用场景的示意图；
图3是本发明实施例三提供的一种页面中视觉元素的展示测试装置的结构示意图；
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种页面中视觉元素的展示测试方法的流程图，本实施例可适用于对软件测试中校验页面包含的全部视觉元素进行测试的情况。该方法可以由本发明实施例提供的页面中视觉元素的展示测试装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在提供软件测试功能的设备中，例如智能终端(台式机、智能手机或者平板电脑等)或服务器等。如图1所示，本实施例的方法具体包括：
S110，在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像。
其中，测试页面可以是指待测试的测试软件在软件测试的过程中的某个页面，在该页面中，具体可以包括文字、图像和控件等可视化元素中的至少一种。可选的，测试页面可以包括：OpenGL窗口或者H5页面。
为了满足用户多样化的需求，技术人员普遍采用Hybrid进行应用程序开发，Hybrid模型下的测试软件通常采用原生(Native)控件和非原生控件展示界面，也即采用至少一个非原生控件生成测试软件的展示界面，在这类展示界面中非原生(Native)控件可以显示OpenGL窗口或者H5页面等测试页面，通常上述测试页面无法通过xml布局文件直接快速解析出来，也即，测试页面中的部分元素无法有效识别出来，从而导致测试页面在测试时仅仅对能识别出的元素进行测试，使得遗漏测试内容，导致测试可靠性降低。采用本发明实施例提供的页面中视觉元素的展示测试方法，可以对上述测试页面进行视觉元素识别，可以避免遗漏识别任意一个视觉元素，突破传统自动化测试仅对低层次信息进行校验的瓶颈，以及突破传统自动化测试不能有效满足Hybrid软件测试的瓶颈。
展示测试指令可以是指用于指示测试软件展示测试页面，并获取测试页面图像的指令。示例性的，展示测试指令可以是指示测试软件在设定显示控件内显示设定内容的指令，在测试软件的展示测试过程中，形成的展示界面中包括至少一个测试页面，同时获取各测试页面的图像作为测试页面对应的页面图像。
页面图像可以是指获取包含测试页面的图像，可以是通过图像拍摄设备拍摄显示测试页面的显示屏的图像或是通过截图软件截取显示测试页面的显示屏的图像。
需要说明的是，本发明实施例中提供的页面中视觉元素的展示测试方法可以采用多种编程语言实现，包括但不限于python、java或C++等。
可选的，所述在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像，可以包括：向测试软件发送与所述测试页面对应的展示测试指令，以控制所述测试页面在设定显示控件内进行显示；对所述显示控件内的显示内容进行图像截取，以获取与所述测试页面对应的页面图像。
其中，设定显示控件可以是指测试软件中用于可视化展示页面的控件。可以理解的是，设定显示控件中可以嵌套至少一个显示控件，也即可以实现在测试页面中嵌套至少一个页面，由于顶层的测试页面上覆盖有嵌套的底层的测试页面，可以选择截取顶层测试页面的图像作为页面图像，该页面图像中实际包括底层的测试页面的图像。
通过展示测试指令，使测试软件显示测试页面，并进行图像截取，从而获取包括全部视觉元素的完整的页面图像，以便后续根据页面图像实现提取出全部的视觉元素，进而对全部视觉元素进行测试，以提高软件测试的可靠性。
S120，采用图像识别技术，识别出所述页面图像中包括的全部视觉元素。
视觉元素可以是指构成页面图像的可视化的基本单元，具体的，视觉元素可以包括文字、抽象的图形(如点、线、面、控件图像或页面框架等)和具象的图像(如人物形象、动物形象、植物形象和自然景观等)等中的至少一项。此外，视觉元素还可以包括其他内容，对此，本发明实施例不作具体限制。
图像识别技术具体可以是通过图像分割(如阈值分割方法、边缘检测方或基于遗传算法的分割方法等)、图像特征提取和分类(如通过提取和分析方向图、奇异点等全局结构特征来实现分类)、以及图像匹配(如模板匹配方法)。此外，还可以直接训练模型(如机器学习模型)，得到用于图像识别的模型。可以根据需要选择图像识别技术，或者还可以采用感知哈希算法进行图像识别，对此，本发明实施例不作具体限制。
S130，根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
期望展示元素可以是指测试页面在测试过程中展示的标准视觉元素。识别出的视觉元素与测试页面的期望展示元素之间的关系可以是指视觉元素与匹配的期望展示元素匹配或不匹配，其中，匹配具体可以是指视觉元素与对应的期望展示元素的各项参数相同、或者可以是指视觉元素与对应的期望展示元素相似(如相似度超过设定阈值)。不匹配具体可以是指视觉元素与对应的期望展示元素完全不相关。展示测试结果可以包括展示正常和展示异常。
具体的，测试过程可以包括：校验测试页面中的文字的参数是否与预期展示在页面中的文字的参数相同(如内容、尺寸、样式、位置和角度等)；校验测试页面中的图像的参数是否与预期展示在页面中的图像的参数的相似度(如尺寸、位置、颜色、亮度和对比度等)超过设定阈值；校验测试页面中的控件标识(Identity)信息是否与预期展示在页面中的控件ID信息相同；校验测试页面中的视觉元素的参数是否与预期展示在页面中视觉元素的参数(如视觉元素的类型、对应的数量和视觉元素之间的关系等)相同等等。此外，还可以包括其他的测试实例，对此，本发明实施例不作具体限制。
可选的，所述根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果，包括：判断识别出的所述视觉元素是否与所述测试页面的期望展示元素相匹配：若是，则确定所述展示测试结果为展示正常；若否，则确定所述展示测试结果为展示异常。
其中，展示正常可以表示该测试页面通过测试，或者表示该测试页面对应的测试项目的测试结果为测试通过；展示异常表示该测试页面未通过测试，表明该测试页面对应的测试功能出现问题，需要测试人员查找测试异常原因。通过将每个视觉元素与期望展示元素进行比对，并得到展示正常或展示异常的测试结果，可以实现对测试页面中的全部视觉元素进行测试，增加测试元素的覆盖范围，同时增加测试项目，从而提高软件测试的可靠性。
本发明实施例通过获取测试页面的页面图像，并对页面图像进行图像识别，确定测试页面中的全部视觉元素，并将全部视觉元素与期望展示元素进行对比，得到展示测试结果，解决了现有技术中对通过解析文件得到控件元素信息进行测试导致测试无法覆盖绘制对象的问题，可以实现对全部视觉元素进行校验，增加软件测试对象的范围，从而提高软件测试的可靠性，同时提高软件测试中测试案例的多样性，满足多样化的测试需求和测试场景。
在上述实施例的基础上，可选的，在根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果之后，还可以包括：在确定所述展示测试结果为展示异常时，根据异常类型调用匹配的异常处理接口对所述测试页面进行异常处理。
具体的，异常类型可以是展示异常的展示测试结果对应的，即与测试页面的期望展示元素不匹配的视觉元素信息对应的类型。示例性的，异常类型可以是包括视觉元素不存在匹配的期望展示元素，或不存在视觉元素与期望展示元素匹配；或者视觉元素的属性信息(如内容尺寸、位置、颜色和样式等中的至少一项)与匹配的期望展示元素的属性信息不匹配。此外，异常类型还可以是其他内容，对此，本发明实施例不作具体限制。
可以根据异常类型调用匹配的异常处理接口，用于执行与异常类型匹配的异常处理操作。预先配置多个分别与不同异常类型匹配的异常处理接口，同时不同异常处理接口可以实现执行不同异常处理操作。异常处理操作可以包括下述至少一项：提供测试人员展示异常结果、展示异常结果对应的异常视觉元素的标注结果和对应的修改建议信息等。
实施例二
图2a为本发明实施例二提供的一种页面中视觉元素的展示测试方法的流程图，本实施例以本发明实施例一为基础作出了进一步具体化，将步骤：采用图像识别技术，识别出所述页面图像中包括的全部视觉元素，具体化为：采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别；获取所述目标识别模型输出的，在所述页面图像中识别出的全部视觉元素；其中，所述目标识别模型是根据预先标注有期望识别视觉元素的多个训练样本，采用目标识别算法进行训练获得的。
如图2a所示，该方法具体包括：
S210，在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像。
本实施例中的测试页面、展示测试指令、页面图像、视觉元素和期望展示元素均可以参考上述实施例的描述。
S220，采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别。
其中，目标识别模型可以是指预先训练的神经网络模型，可以预先构建大量训练样本，借助深度学习方法采用训练样本对神经网络模型不断训练，形成目标识别模型，用于识别视觉元素。其中，可以采用多种神经网络框架(如Tensorflow(张量流)或PaddlePaddle(并行分布式深度学习))实现构建神经网络模型，对此，本发明实施例不做具体限制。
S230，获取所述目标识别模型输出的，在所述页面图像中识别出的全部视觉元素；其中，所述目标识别模型是根据预先标注有期望识别视觉元素的多个训练样本，采用目标识别算法进行训练获得的。
具体的，期望识别视觉元素可以是指页面图像中包括的测试人员期望能够识别到的视觉元素。标注有期望识别视觉元素的多个训练样本可以是采集大量页面图像，并由人工对页面图像中的视觉元素进行标注形成的训练样本。
可选的，实现所述目标识别模型所采用的目标识别算法包括但不限于：SSD(Single Shot MultiBox Detector，单次多尺度检测器)、Inception V2、YOLO(You OnlyLook Once，你只需看一遍)或者FasterRCNN(Faster Region Convolutional NeuralNetwork，快速区域卷积神经网络)。其中，SSD、Inception V2、YOLO和FasterRCNN的识别准确率、速度和优劣势不同，示例性的，YOLO方法和SSD方法对小目标的识别准确率较低，FasterRCNN方法的速度较低等，具体可以根据需要，选择符合需求的目标识别算法实现识别视觉元素。此外还可以采用其他方法，对此，本发明实施例不作具体限制。
可选的，所述目标识别模型预先暴露有调用接口；所述采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别，可以包括：通过所述调用接口调用所述目标识别模型对所述页面图像进行视觉元素的识别。
具体的，为目标识别模型设置调用接口，实际是将目标识别模型进行封装，由此可以将目标识别模型与外部数据进行隔离，从而对目标识别模型的修改不会影响到对目标识别模型的访问，而且还可以加快对同时多个测试页面进行视觉元素识别的速度，同时避免暴露目标识别模型的细节，以保证目标识别模型的安全性。
S240，根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
在一个具体的例子中，如图2b所示，本发明实施例的页面中视觉元素的展示测试方法的应用场景具体由目标识别模型生成环境、目标识别模型部署环境和测试校验执行环境构成。其中，目标识别模型生成环境用于生成目标识别模型。该目标识别模型生成环境封装放入目标识别模型部署环境中，预留调用接口。测试校验执行环境中运行由若干步骤组成的测试案例，在每个有视觉元素识别需求的步骤中，可以通过目标识别模型调用接口进行调用并获取返回结果，以返回结果为依据决定是否执行下一步或是进行异常处理。具体工作流程如下：
在目标识别模型生成环境中：通过训练数据搜集模块，对期望识别视觉元素进行训练数据的搜集，完成视觉元素标注、图像预处理、训练数据集的打包等工作。训练数据包输入预先构建的目标识别神经网络中以训练机器学习模型，其中，神经网络包括但不限于SSD、Inception V2、YOLO或FasterRCNN等。最终得到具有良好识别效果的目标识别模型。
在目标识别模型部署环境中：基于目标识别模型生成环境中生成的目标识别模型，将目标识别模型进行封装，预留用于调用该目标识别模型的调用接口，并暴露给外部对象，以使外部对象调用该目标识别模型，实现视觉元素识别的功能。此外，该调用接口具体包括输入/输出参数定义、识别异常处理、部署环境校验等功能。相应的，该目标识别模型部署环境还可以实现展示测试结果的判断，具体是判断根据目标识别模型识别出的视觉元素确定的展示测试结果是否展示正常，如果是，则输入到测试校验执行环境中执行下一步；否则，调用异常处理接口，执行异常处理。
在测试校验执行环境中：运行测试案例，实现测试目标。其中，测试案例由若干步骤组成，在测试校验执行环境中运行。期间，任意步骤中可通过目标识别模型部署环境中暴露接口，调用目标识别模型，对本步骤中关键视觉元素进行识别，根据展示测试结果确定本步骤是否达到预期测试目的，以决定是否进行异常处理。
本发明实施例通过预先生成的目标识别模型对页面图像进行视觉元素识别，通过目标识别，实现面向功能对象的自动化测试验证，同时可以提高视觉元素识别的准确性，从而在后续基于识别的视觉元素进行测试，以提高软件测试的准确率和可靠性，还可以减少人工成本，提高软件测试效率。
实施例三
图3是本发明实施例三提供的一种页面中视觉元素的展示测试装置的结构示意图，如图3所示，所述装置具体包括：
页面图像获取模块310，用于在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；
视觉元素识别模块320，用于采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；
展示测试结果确定模块330，用于根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
本发明实施例通过获取测试页面的页面图像，并对页面图像进行图像识别，确定测试页面中的全部视觉元素，并将全部视觉元素与期望展示元素进行对比，得到展示测试结果，解决了现有技术中对通过解析文件得到控件元素信息进行测试导致测试无法覆盖绘制对象的问题，可以实现对全部视觉元素进行校验，增加软件测试对象的范围，从而提高软件测试的可靠性，同时提高软件测试中测试案例的多样性，满足多样化的测试需求和测试场景。
进一步的，所述视觉元素识别模块320，具体用于：采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别；获取所述目标识别模型输出的，在所述页面图像中识别出的全部视觉元素；其中，所述目标识别模型是根据预先标注有期望识别视觉元素的多个训练样本，采用目标识别算法进行训练获得的。
进一步的，实现所述目标识别模型所采用的目标识别算法包括：SSD、InceptionV2、YOLO或者FasterRCNN。
进一步的，所述目标识别模型预先暴露有调用接口；所述视觉元素识别模块320，具体用于：通过所述调用接口调用所述目标识别模型对所述页面图像进行视觉元素的识别。
进一步的，所述展示测试结果确定模块330，具体用于：判断识别出的所述视觉元素是否与所述测试页面的期望展示元素相匹配：若是，则确定所述展示测试结果为展示正常；若否，则确定所述展示测试结果为展示异常。
进一步的，所述页面中视觉元素的展示测试装置，具体用于：在确定所述展示测试结果为展示异常时，根据异常类型调用匹配的异常处理接口对所述测试页面进行异常处理。
进一步的，所述测试页面包括：OpenGL窗口或者H5页面。
进一步的，所述页面图像获取模块310，具体用于：向测试软件发送与所述测试页面对应的展示测试指令，以控制所述测试页面在设定显示控件内进行显示；对所述显示控件内的显示内容进行图像截取，以获取与所述测试页面对应的页面图像。
上述页面中视觉元素的展示测试装置可执行本发明任意实施例所提供的页面中视觉元素的展示测试方法，具备执行的页面中视觉元素的展示测试方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备412的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备412以通用计算设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器或者处理单元416，系统存储器428，连接不同系统组件(包括系统存储器428和处理单元416)的总线418。设备412可以是车载设备。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统444可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的设备通信，和/或与使得该设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(WideArea Network，WAN)通信。如图所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图4中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、(Redundant Arrays ofInexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种页面中视觉元素的展示测试方法。
也即，所述处理单元执行所述程序时实现：在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的页面中视觉元素的展示测试方法：所述方法包括：在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种页面中视觉元素的展示测试方法，其特征在于，包括：
在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；
采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；
根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
2.根据权利要求1所述的方法，其特征在于，所述采用图像识别技术，识别出所述页面图像中包括的全部视觉元素，包括：
采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别；
获取所述目标识别模型输出的，在所述页面图像中识别出的全部视觉元素；
其中，所述目标识别模型是根据预先标注有期望识别视觉元素的多个训练样本，采用目标识别算法进行训练获得的。
3.根据权利要求2所述的方法，其特征在于，实现所述目标识别模型所采用的目标识别算法包括：SSD、Inception V2、YOLO或者FasterRCNN。
4.根据权利要求2所述的方法，其特征在于，所述目标识别模型预先暴露有调用接口；
所述采用预先生成的目标识别模型，对所述页面图像进行视觉元素的识别，包括：
通过所述调用接口调用所述目标识别模型对所述页面图像进行视觉元素的识别。
5.根据权利要求1所述的方法，其特征在于，所述根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果，包括：
判断识别出的所述视觉元素是否与所述测试页面的期望展示元素相匹配：
若是，则确定所述展示测试结果为展示正常；若否，则确定所述展示测试结果为展示异常。
6.根据权利要求1所述的方法，其特征在于，在根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果之后，还包括：
在确定所述展示测试结果为展示异常时，根据异常类型调用匹配的异常处理接口对所述测试页面进行异常处理。
7.根据权利要求1所述的方法，其特征在于，所述测试页面包括：OpenGL窗口或者H5页面。
8.根据权利要求7所述的方法，其特征在于，所述在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像，包括：
向测试软件发送与所述测试页面对应的展示测试指令，以控制所述测试页面在设定显示控件内进行显示；
对所述显示控件内的显示内容进行图像截取，以获取与所述测试页面对应的页面图像。
9.一种页面中视觉元素的展示测试装置，其特征在于，包括：
页面图像获取模块，用于在检测到针对测试页面的展示测试指令时，获取与所述测试页面对应的页面图像；
视觉元素识别模块，用于采用图像识别技术，识别出所述页面图像中包括的全部视觉元素；
展示测试结果确定模块，用于根据识别出的所述视觉元素与所述测试页面的期望展示元素之间的关系，确定与所述测试页面对应的展示测试结果。
10.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的页面中视觉元素的展示测试方法。
11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的页面中视觉元素的展示测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910150300.0A CN109815156A (zh) | 2019-02-28 | 2019-02-28 | 页面中视觉元素的展示测试方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910150300.0A CN109815156A (zh) | 2019-02-28 | 2019-02-28 | 页面中视觉元素的展示测试方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815156A true CN109815156A (zh) | 2019-05-28 |
Family
ID=66607742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910150300.0A Pending CN109815156A (zh) | 2019-02-28 | 2019-02-28 | 页面中视觉元素的展示测试方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815156A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413529A (zh) * | 2019-07-31 | 2019-11-05 | 中国工商银行股份有限公司 | 应用于电子设备的测试方法、装置、计算设备以及介质 |
| CN110879780A (zh) * | 2019-10-25 | 2020-03-13 | 北京奇艺世纪科技有限公司 | 页面异常检测方法、装置、电子设备及可读存储介质 |
| CN110991374A (zh) * | 2019-12-10 | 2020-04-10 | 电子科技大学 | 一种基于rcnn的指纹奇异点检测方法 |
| CN111104339A (zh) * | 2019-12-31 | 2020-05-05 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质 |
| CN111124903A (zh) * | 2019-12-16 | 2020-05-08 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111242187A (zh) * | 2020-01-03 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 一种图像相似度处理方法、装置、介质和电子设备 |
| CN111309618A (zh) * | 2020-02-24 | 2020-06-19 | 广州市百果园信息技术有限公司 | 页面元素定位方法、页面测试方法及相关装置 |
| CN111324535A (zh) * | 2020-02-18 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 一种控件异常检测方法、装置和计算机设备 |
| CN111581091A (zh) * | 2020-04-30 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN111651361A (zh) * | 2020-06-10 | 2020-09-11 | 宋文韬 | 一种基于可视化页面的无脚本自动化测试方法 |
| CN111782514A (zh) * | 2020-06-23 | 2020-10-16 | 京东数字科技控股有限公司 | 一种测试数据的比对方法和装置 |
| CN112015634A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术（北京）有限公司 | 页面结构信息生成方法、装置和电子设备 |
| CN112231214A (zh) * | 2020-10-16 | 2021-01-15 | 百度国际科技（深圳）有限公司 | 页面测试方法、装置、电子设备和介质 |
| CN112308069A (zh) * | 2020-10-29 | 2021-02-02 | 恒安嘉新（北京）科技股份公司 | 一种软件界面的点击测试方法、装置、设备及存储介质 |
| CN112559340A (zh) * | 2020-12-09 | 2021-03-26 | 上海米哈游天命科技有限公司 | 一种画面测试方法、装置、设备及存储介质 |
| CN112559331A (zh) * | 2020-12-10 | 2021-03-26 | 京东数字科技控股股份有限公司 | 测试方法和装置 |
| CN112965911A (zh) * | 2021-03-23 | 2021-06-15 | 北京三快在线科技有限公司 | 界面异常检测方法、装置、计算机设备及存储介质 |
| CN113392860A (zh) * | 2020-03-12 | 2021-09-14 | 中国移动通信集团山东有限公司 | 基于图像识别的用户感知评测方法及系统 |
| CN113609028A (zh) * | 2021-10-09 | 2021-11-05 | 统信软件技术有限公司 | 一种页面测试方法、计算设备及可读存储介质 |
| CN113657444A (zh) * | 2021-07-13 | 2021-11-16 | 珠海金智维信息科技有限公司 | 一种界面元素识别方法及系统 |
| CN113722203A (zh) * | 2020-05-26 | 2021-11-30 | 京东数字科技控股有限公司 | 程序测试方法及装置、电子设备和计算机可读存储介质 |
| CN114064790A (zh) * | 2021-11-12 | 2022-02-18 | 盐城金堤科技有限公司 | 关系图谱是否正常加载的判断方法及其装置 |
| CN114911549A (zh) * | 2021-02-08 | 2022-08-16 | 华为终端有限公司 | 一种页面显示方法、装置和电子设备 |
| CN114968458A (zh) * | 2022-05-24 | 2022-08-30 | 浪潮卓数大数据产业发展有限公司 | 一种ui设计的走查方法、装置、设备及设备 |
| CN115629993A (zh) * | 2022-12-19 | 2023-01-20 | 深圳依时货拉拉科技有限公司 | 软件的测试方法及装置、计算机设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150339213A1 (en) * | 2014-05-21 | 2015-11-26 | Cgi Technologies And Solutions Inc. | Automated testing of an application system |
| CN107622016A (zh) * | 2017-09-25 | 2018-01-23 | 无线生活（杭州）信息科技有限公司 | 一种页面测试方法及装置 |
| CN107832774A (zh) * | 2017-10-09 | 2018-03-23 | 无线生活（杭州）信息科技有限公司 | 一种页面异常检测方法及装置 |
| CN108536594A (zh) * | 2018-04-02 | 2018-09-14 | 腾讯科技（武汉）有限公司 | 页面测试方法、装置及存储设备 |
| CN108681508A (zh) * | 2018-05-15 | 2018-10-19 | 福建天泉教育科技有限公司 | 一种基于视觉识别的测试方法及终端 |
| CN109086203A (zh) * | 2018-07-20 | 2018-12-25 | 百度在线网络技术（北京）有限公司 | 页面的检测方法和装置 |
-
2019
- 2019-02-28 CN CN201910150300.0A patent/CN109815156A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150339213A1 (en) * | 2014-05-21 | 2015-11-26 | Cgi Technologies And Solutions Inc. | Automated testing of an application system |
| CN107622016A (zh) * | 2017-09-25 | 2018-01-23 | 无线生活（杭州）信息科技有限公司 | 一种页面测试方法及装置 |
| CN107832774A (zh) * | 2017-10-09 | 2018-03-23 | 无线生活（杭州）信息科技有限公司 | 一种页面异常检测方法及装置 |
| CN108536594A (zh) * | 2018-04-02 | 2018-09-14 | 腾讯科技（武汉）有限公司 | 页面测试方法、装置及存储设备 |
| CN108681508A (zh) * | 2018-05-15 | 2018-10-19 | 福建天泉教育科技有限公司 | 一种基于视觉识别的测试方法及终端 |
| CN109086203A (zh) * | 2018-07-20 | 2018-12-25 | 百度在线网络技术（北京）有限公司 | 页面的检测方法和装置 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015634A (zh) * | 2019-05-31 | 2020-12-01 | 百度在线网络技术（北京）有限公司 | 页面结构信息生成方法、装置和电子设备 |
| CN110413529A (zh) * | 2019-07-31 | 2019-11-05 | 中国工商银行股份有限公司 | 应用于电子设备的测试方法、装置、计算设备以及介质 |
| CN110879780A (zh) * | 2019-10-25 | 2020-03-13 | 北京奇艺世纪科技有限公司 | 页面异常检测方法、装置、电子设备及可读存储介质 |
| CN110991374A (zh) * | 2019-12-10 | 2020-04-10 | 电子科技大学 | 一种基于rcnn的指纹奇异点检测方法 |
| CN111124903B (zh) * | 2019-12-16 | 2023-04-28 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111124903A (zh) * | 2019-12-16 | 2020-05-08 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于视觉系统的元素坐标自动化测试方法及存储介质 |
| CN111104339B (zh) * | 2019-12-31 | 2023-06-16 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质 |
| CN111104339A (zh) * | 2019-12-31 | 2020-05-05 | 上海艺赛旗软件股份有限公司 | 基于多粒度学习的软件界面元素检测方法、系统、计算机设备和存储介质 |
| CN111242187A (zh) * | 2020-01-03 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 一种图像相似度处理方法、装置、介质和电子设备 |
| CN111324535A (zh) * | 2020-02-18 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 一种控件异常检测方法、装置和计算机设备 |
| CN111309618A (zh) * | 2020-02-24 | 2020-06-19 | 广州市百果园信息技术有限公司 | 页面元素定位方法、页面测试方法及相关装置 |
| CN111309618B (zh) * | 2020-02-24 | 2023-05-09 | 广州市百果园信息技术有限公司 | 页面元素定位方法、页面测试方法及相关装置 |
| CN113392860A (zh) * | 2020-03-12 | 2021-09-14 | 中国移动通信集团山东有限公司 | 基于图像识别的用户感知评测方法及系统 |
| CN111581091A (zh) * | 2020-04-30 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN111581091B (zh) * | 2020-04-30 | 2023-03-21 | 北京字节跳动网络技术有限公司 | 页面测试方法、装置、可读介质及电子设备 |
| CN113722203A (zh) * | 2020-05-26 | 2021-11-30 | 京东数字科技控股有限公司 | 程序测试方法及装置、电子设备和计算机可读存储介质 |
| CN111651361A (zh) * | 2020-06-10 | 2020-09-11 | 宋文韬 | 一种基于可视化页面的无脚本自动化测试方法 |
| CN111782514A (zh) * | 2020-06-23 | 2020-10-16 | 京东数字科技控股有限公司 | 一种测试数据的比对方法和装置 |
| CN112231214B (zh) * | 2020-10-16 | 2023-09-26 | 百度国际科技（深圳）有限公司 | 页面测试方法、装置、电子设备和介质 |
| CN112231214A (zh) * | 2020-10-16 | 2021-01-15 | 百度国际科技（深圳）有限公司 | 页面测试方法、装置、电子设备和介质 |
| CN112308069A (zh) * | 2020-10-29 | 2021-02-02 | 恒安嘉新（北京）科技股份公司 | 一种软件界面的点击测试方法、装置、设备及存储介质 |
| CN112559340A (zh) * | 2020-12-09 | 2021-03-26 | 上海米哈游天命科技有限公司 | 一种画面测试方法、装置、设备及存储介质 |
| CN112559331A (zh) * | 2020-12-10 | 2021-03-26 | 京东数字科技控股股份有限公司 | 测试方法和装置 |
| CN114911549A (zh) * | 2021-02-08 | 2022-08-16 | 华为终端有限公司 | 一种页面显示方法、装置和电子设备 |
| CN112965911B (zh) * | 2021-03-23 | 2022-04-26 | 北京三快在线科技有限公司 | 界面异常检测方法、装置、计算机设备及存储介质 |
| CN112965911A (zh) * | 2021-03-23 | 2021-06-15 | 北京三快在线科技有限公司 | 界面异常检测方法、装置、计算机设备及存储介质 |
| CN113657444A (zh) * | 2021-07-13 | 2021-11-16 | 珠海金智维信息科技有限公司 | 一种界面元素识别方法及系统 |
| CN113609028A (zh) * | 2021-10-09 | 2021-11-05 | 统信软件技术有限公司 | 一种页面测试方法、计算设备及可读存储介质 |
| CN114064790A (zh) * | 2021-11-12 | 2022-02-18 | 盐城金堤科技有限公司 | 关系图谱是否正常加载的判断方法及其装置 |
| CN114968458A (zh) * | 2022-05-24 | 2022-08-30 | 浪潮卓数大数据产业发展有限公司 | 一种ui设计的走查方法、装置、设备及设备 |
| CN115629993A (zh) * | 2022-12-19 | 2023-01-20 | 深圳依时货拉拉科技有限公司 | 软件的测试方法及装置、计算机设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815156A (zh) | 页面中视觉元素的展示测试方法、装置、设备和存储介质 | |
| CN109961008B (zh) | 基于文字定位识别的表格解析方法、介质及计算机设备 | |
| CN108154196B (zh) | 用于输出图像的方法和装置 | |
| CN110147786A (zh) | 用于检测图像中的文本区域的方法、装置、设备以及介质 | |
| CN109241709B (zh) | 基于滑块验证码验证的用户行为识别方法及装置 | |
| CN108304835A (zh) | 文字检测方法和装置 | |
| CN108229485B (zh) | 用于测试用户界面的方法和装置 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN106462572A (zh) | 用于分布式光学字符识别和分布式机器语言翻译的技术 | |
| CN108205685A (zh) | 视频分类方法、视频分类装置及电子设备 | |
| CN108984399A (zh) | 检测界面差异的方法、电子设备和计算机可读介质 | |
| CN108280455A (zh) | 人体关键点检测方法和装置、电子设备、程序和介质 | |
| CN108229418A (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN109558779A (zh) | 图像检测方法和装置 | |
| CN110232340A (zh) | 建立视频分类模型以及视频分类的方法、装置 | |
| CN109901996A (zh) | 辅助测试的方法、装置、电子设备及可读存储介质 | |
| CN109471805A (zh) | 资源测试方法及装置、存储介质、电子设备 | |
| CN109828906A (zh) | Ui自动化测试方法、装置、电子设备及存储介质 | |
| CN111797769A (zh) | 一种小目标敏感的车辆检测系统 | |
| CN110046279A (zh) | 视频文件特征的预测方法、介质、装置和计算设备 | |
| CN112633341A (zh) | 一种界面测试方法、装置、计算机设备和存储介质 | |
| CN111783062A (zh) | 验证码识别方法、装置、计算机设备和存储介质 | |
| CN116012612A (zh) | 内容检测方法和系统 | |
| CN110008923A (zh) | 图像处理方法和训练方法、以及装置、介质、计算设备 | |
| CN110427998A (zh) | 模型训练、目标检测方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |
|
| RJ01 | Rejection of invention patent application after publication |