CN117950983A - 用户界面测试方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提出一种用户界面测试方法、装置、电子设备和存储介质，该方法包括：获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征；根据候选特征，从至少一个候选对象中确定目标对象；以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试。通过本公开，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

Description

用户界面测试方法、装置、电子设备和存储介质

技术领域

本公开涉及测试技术领域，尤其涉及一种用户界面测试方法、装置、电子设备和存储介质。

背景技术

在测试技术领域，通常会进行用户界面测试，用户界面测试(User Interfacetesting，UI测试)是指测试用户界面的功能模块的布局是否合理，整体风格是否一致和各个控件的放置位置是否符合客户使用习惯，更重要的是要符合操作便捷，导航简单易懂，界面中文字是否正确，命名是否统一，页面是否美观，文字、图片组合是否完美等等。

相关技术中，在执行用户界面测试时，通常需要测试人员捕捉UI中各个对象(对象例如界面中的控件、一块指定界面区域)的动态变化情况，根据动态变化情况，来编写对应的自动化测试脚本，以支持用户界面UI测试。

这种方式下，用户界面UI中的内容越来越多元化、丰富化和定制化，用户界面UI中会随着时间、空间、位置、使用对象等展现各种各样的对象，从而会导致用户界面UI的测试难度较大，不够便捷，测试较为繁琐，导致用户界面测试效果不佳。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种用户界面测试方法、装置、电子设备、存储介质及计算机程序产品，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

本公开第一方面实施例提出的用户界面测试方法，包括：获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征；根据候选特征，从至少一个候选对象中确定目标对象；以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试。

在本公开的一些实施例中，在获取用户界面的第一视频图像之后，方法还包括：

获取第一视频图像的图像特征；

从第一视频图像中，识别候选对象和与候选对象关联的候选界面内容；

根据图像特征，确定候选对象特征和候选内容特征，其中，候选对象特征表示候选对象在第一视频图像中的特征，候选内容特征表示候选界面内容在第一视频图像中的特征；

将候选对象特征和候选内容特征共同作为候选特征。

在本公开的一些实施例中，根据候选特征，从至少一个候选对象中确定目标对象，包括：

根据候选特征，形成与候选对象对应的对象识别信息；

如果对象库中存在与对象识别信息匹配的待测试识别信息，则确定候选对象为目标对象，其中，对象库中包括：待测试识别信息，待测试识别信息是预先对用户界面中至少一个待测试对象进行特征分析所得。

在本公开的一些实施例中，根据候选特征，形成与候选对象对应的对象识别信息，包括：

根据候选对象特征，确定候选对象的尺寸特征和位置特征；

根据尺寸特征、位置特征以及候选内容特征生成对象识别信息。

在本公开的一些实施例中，根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，包括：

根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，其中，至少一帧视频图像包括：第一视频图像。

在本公开的一些实施例中，视频图像的帧数是多帧；其中，根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，包括：

根据目标特征，形成与目标对象对应的目标识别信息；

获取与目标识别信息对应的界面测试脚本文件，其中，界面测试脚本文件被执行时用于控制目标对象响应于测试交互操作，以在第二视频图像中产生与测试交互操作对应的待测界面效果，第一视频图像和第二视频图像属于多个视频图像；

根据待测界面效果，对用户界面进行测试。

在本公开的一些实施例中，根据待测界面效果，对用户界面进行测试，包括：

获取为界面测试脚本文件预设置的参考界面效果；

根据待测界面效果和参考界面效果生成界面断言信息，其中，界面断言信息用于对用户界面进行测试。

在本公开的一些实施例中，目标特征包括：目标对象特征和/或目标内容特征，其中，目标对象特征表示目标对象在第一视频图像中的特征，目标内容特征表示目标界面内容在第一视频图像中的特征，目标界面内容是与目标对象关联的界面内容。

在本公开的一些实施例中，候选界面内容或目标界面内容，包括以下至少一项：

应用程序信息；

场景信息；

文本信息；

元素信息；

状态信息。

本公开第一方面实施例提出的用户界面测试方法，通过获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征，并根据候选特征，从至少一个候选对象中确定目标对象，以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

本公开第二方面实施例提出的用户界面测试装置，包括：获取模块，用于获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征；确定模块，用于根据候选特征，从至少一个候选对象中确定目标对象；以及测试模块，用于根据目标对象在第一视频图像中的目标特征，对用户界面进行测试。

本公开第二方面实施例提出的用户界面测试装置，通过获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征，并根据候选特征，从至少一个候选对象中确定目标对象，以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本公开第一方面实施例提出的用户界面测试方法。

本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的用户界面测试方法。

本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的用户界面测试方法。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本公开一实施例提出的用户界面测试方法的流程示意图；

图2是本公开另一实施例提出的用户界面测试方法的流程示意图；

图3是本公开另一实施例提出的用户界面测试方法的流程示意图；

图4是本公开一实施例提出的用户界面测试装置的结构示意图；

图5示出了适于用来实现本公开实施方式的示例性电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

本公开中，术语“第一视频图像”，表示用于对用户界面进行自动化测试，且包含用户界面所呈现内容的视频图像。

本公开中，术语“候选对象”，表示第一视频图像中所包含的可以被用于测试的一个或者多个对象，术语“目标对象”，是指第一视频图像中满足待测试要求或者当前待测试的候选对象。

本公开中，术语“对象”，表示用户界面中所呈现的内容，比如用户界面中的功能模块、各个控件，界面中文字内容，页面布局、图片组合，或者还可以是用户界面中指定的一块待测区域。

本公开中，术语“候选特征”，表示每个候选对象在第一视频图像中的图像维度的特征。

本公开中，术语“目标特征”，表示目标对象在第一视频图像中的图像维度的特征。

本公开中，术语“图像特征”，表示对第一视频图像进行特征分析所得的特征。

本公开中，术语“候选界面内容”，表示在用户界面中与候选对象相关的界面内容，界面内容例如界面中所展示应用程序的类型、名称、状态、界面场景、界面中所呈现文件、元素、界面的模式状态等等。

本公开中，术语“对象识别信息”，是指用于对候选对象进行索引、识别的信息。

本公开中，术语“尺寸特征”，是指候选对象在第一视频图像中的尺寸大小。

本公开中，术语“位置特征”，是指候选对象在第一视频图像中的相对位置特征。

本公开中，术语“待测试对象”，是指由测试人员预先选定的需要进行测试的对象。

本公开中，术语“待测试识别信息”，是指能够被用于对待测试对象进行索引、识别的信息。

本公开中，术语“目标对象特征”，表示目标对象在第一视频图像中的特征。

本公开中，术语“目标内容特征”，表示目标界面内容在第一视频图像中的特征。

本公开中，术语“目标界面内容”，表示与目标对象关联的界面内容。

本公开中，术语“界面测试脚本文件”，是指可以被执行以模拟针对目标对象的用户交互操作的脚本文件。

本公开中，术语“第二视频图像”，是指第一视频图像的后续帧视频图像。

本公开中，术语“测试交互操作”，是指由界面自动化测试脚本模拟所得用户对目标对象所做出的交互操作。

本公开中，术语“待测界面效果”，是指用户界面的线上测试过程中，当自动地模拟出用户可能对目标对象所做出的交互操作之后，目标对象响应于该测试交互操作所产生的界面效果。

本公开中，术语“参考界面效果”，是指作为测试参考的界面效果。

本公开中，术语“界面断言信息”，是指比对待测界面效果和参考界面效果，得到的比对结果信息。

图1是本公开一实施例提出的用户界面测试方法的流程示意图。

本实施例以用户界面测试方法被配置为用户界面测试装置中来举例说明，本实施例中用户界面测试方法可以被配置在用户界面测试装置中，用户界面测试装置可以设置在服务器中，或者也可以设置在电子设备中，本公开实施例对此不作限制。

本实施例以用户界面测试方法被配置在电子设备中为例。其中，电子设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。

需要说明的是，本公开实施例的执行主体，在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者电子设备中的相关的后台服务，对此不作限制。

如图1所示，该用户界面测试方法，包括：

S101：获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征。

其中，在待对电子设备的用户界面进行测试时，可以捕获电子设备的用户界面的一帧视频图像，并基于该一帧视频图像来进行用户界面测试，也即是说，用于对用户界面进行自动化测试，且包含用户界面所呈现内容的视频图像，可以被称为第一视频图像。

举例而言，可以基于外设摄像设备对用户界面进行视频录制，并从所录制视频中解析一帧视频图像作为第一视频图像，或者，还可以基于电子设备自带的视频录制装置来对本电子设备的用户界面进行自动视频录制，而后从所录制视频中解析一帧视频图像作为第一视频图像，该第一视频图像，可以是触发进行用户界面自动化测试的时间节点上的一帧视频图像，也可以是确定用户界面中的动态变化内容中出现待测对象(对象例如界面中的控件、一块指定界面区域)时的一帧视频图像，还可以是多帧视频图像中满足测试质量要求的一帧视频图像，对此不做限制。

本公开实施例中，可以将多帧视频图像中包含可以被用于测试的一个或者多个对象的视频图像作为第一视频图像，从而保证用户界面测试的针对性和准确性，对此不做限制。

则第一视频图像中所包含的可以被用于测试的一个或者多个对象作为候选对象，而后，可以从一个或者多个候选对象中确定出的当前待测试的候选对象作为目标对象，具体可以参见下述描述。

其中，对象是指用户界面中所呈现的内容，比如用户界面中的功能模块、各个控件，界面中文字内容，页面布局、图片组合，或者还可以是用户界面中指定的一块待测区域，对此不做限制。

其中，第一视频图像具有相应的图像特征，第一视频图像中对应呈现至少一个候选对象，则每个候选对象在第一视频图像中的图像维度的特征，可以被称为候选特征，该候选特征可以被用于确定候选对象是否是当前待测试的对象。

本公开实施例中，针对获取用户界面的第一视频图像的方式可以举例说明如下：如果基于外设摄像设备对用户界面进行视频录制，则可以对外设摄像设备进行坐标校准，在电子设备的屏幕上展示标准坐标模板图片，外设摄像设备采集坐标模板图片，并对各个坐标点位校准，以减小拍摄远近、角度偏差等产生的误差，如果电子设备是手机、个人计算机设备等，还可以基于电脑录屏软件录制用户界面的视频流，则可以自动获取电子设备的屏幕尺寸进行校准，而后外设摄像设备或者录屏软件获取被测用户界面的视频流，将视频流发送至人工智能(Artificial Intelligence，AI)智能识别引擎，由人工智能AI智能识别引擎解析用户界面的第一视频图像，并基于该第一视频图像执行后续的自动化测试步骤。

S102：根据候选特征，从至少一个候选对象中确定目标对象。

其中，目标对象是指第一视频图像中满足待测试要求或者当前待测试的候选对象。上述在获取用户界面的第一视频图像，并确定第一视频图像中每个候选对象在第一视频图像中所具有的对应候选特征之后，可以基于候选特征，从至少一个候选对象中确定目标对象。

举例而言，可以对候选特征与针对目标对象所预设的特征进行比对，如果候选特征与针对目标对象所预设的特征相匹配，则确定候选对象为目标对象，还可以根据候选特征，选择满足测试需求的候选对象作为目标对象，比如可以根据一些预设选择规则，基于该预设选择规则联合候选特征，以从至少一个候选对象中确定目标对象，对此不做限制。

本实施例中，在根据候选特征生成与候选对象对应的检索信息，并基于该检索信息从预设库中进行检索，如果预设库中包含与候选对象的检索信息对应的索引信息，则可以将候选对象作为目标对象，其中，预设库中可以是包含了至少一个待测试对象对应的索引信息，以支持判断候选对象是否为目标对象。

S103：根据目标对象在第一视频图像中的目标特征，对用户界面进行测试。

上述在根据第一视频图像中候选对象的候选特征，从至少一个候选对象中确定目标对象之后，可以联合目标对象在第一视频图像中的目标特征，对用户界面进行测试。

其中，目标对象在第一视频图像中的图像维度的特征，可以被称为目标特征，如果将某个候选对象确定为目标对象，可以将该候选对象的候选特征直接作为目标特征，还可以对该候选对象的候选特征进行一些去噪、过滤、量化、规范化等处理，将去噪、过滤、量化、规范化等处理所得特征作为目标对象的目标特征。

本公开实施例中，在根据目标对象在第一视频图像中的目标特征，对用户界面进行测试时，可以是基于目标对象的一些信息调度为该目标对象预编写的自动化测试脚本，通过执行该自动化测试脚本的方式来获取目标对象在视频流中的动态变化情况，以实现基于目标对象在视频流中的动态变化情况进行用户界面测试。

另一些实施例中，还可以将目标对象在第一视频图像中的目标特征提供至测试模型中，以基于该测试模型追踪该目标对象在视频流中的动态变化情况，并输出基于该在视频流中的动态变化情况测试所得结果，对此不做限制。

当然，也可以采用其他任意可能的方式实现根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，比如工程方式、模型方式等等，也即是说，本公开实施例中支持基于用户界面的视频流的方式来捕捉待测试对象的动态变化情况，而不需要测试人员人工观测、识别、捕捉、分析待测对象在用户界面的动态变化情况，而后还支持基于所捕捉的待测试对象的动态变化情况来触发自动化地用户界面UI测试，从而能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

本实施例中，通过获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征，并根据候选特征，从至少一个候选对象中确定目标对象，以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

图2是本公开另一实施例提出的用户界面测试方法的流程示意图。

如图2所示，该用户界面测试方法，包括：

S201：获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象。

针对S201的描述说明可以具体参见上述实施例，在此不再赘述。

S202：获取第一视频图像的图像特征。

其中，对第一视频图像进行特征分析所得的特征，可以被称为图像特征，图像特征例如第一视频图像的内容特征、语义特征、上下文特征、色彩特征等等。

S203：从第一视频图像中，识别候选对象和与候选对象关联的候选界面内容。

其中，在用户界面中与候选对象相关的界面内容，可以被称为候选界面内容，界面内容例如界面中所展示应用程序的类型、名称、状态、界面场景、界面中所呈现文件、元素、界面的模式状态等等。

本公开实施例中，可以在获取用户界面的第一视频图像，并获取第一视频图像的图像特征之后，可以识别第一视频图像中的一个或者多个候选对象，而后确定与该候选对象所关联的候选界面内容，例如该候选对象所属应用程序名称、该候选对象中的文字内容等等，而后，可以分别对候选对象和候选界面内容进行特征识别，以确定能够描述候选对象在第一视频图像中的特征作为候选对象特征，确定能够描述候选界面内容在第一视频图像中的特征作为候选内容特征。

在本公开的一些实施例中，与候选对象关联的候选界面内容，包括以下至少一项：应用程序信息、场景信息、文本信息、元素信息，以及状态信息，从而有效地提升测试全面性。

S204：根据图像特征，确定候选对象特征和候选内容特征，其中，候选对象特征表示候选对象在第一视频图像中的特征，候选内容特征表示候选界面内容在第一视频图像中的特征。

举例而言，可以在第一视频图像中识别出候选对象以及与候选对象关联的候选界面内容，而后，从第一视频图像的图像特征中，解析出候选对象的局部的图像维度的特征，将解析所得候选对象的局部的图像维度的特征作为候选对象特征，还可以从第一视频图像的图像特征中，解析出候选界面内容的局部的图像维度的特征，将解析所得候选界面内容的局部的图像维度的特征作为候选对象特征。

其中，候选对象特征例如，第一视频图像中候选对象的位置坐标、形状、状态、语义内容，候选界面内容例如候选对象所属应用程序的运行状态、名称、界面效果，候选对象(假如是一个控件)被点击的情况信息(场景信息)，候选对象包括的文本(文本信息)，候选对象关联的上下文对象(比如点击该控件后所关联展示的控件)，候选对象关联的一些元素(比如图片、头像等，可以被称为元素信息)，以及候选对象所属页面的模式状态(可以被称为状态信息)等等。

S205：将候选对象特征和候选内容特征共同作为候选特征。

也即是说，本实施例中支持基于多维度的特征来描述第一视频图像中的候选对象，比如联合候选对象自身在第一视频图像中的图像维度特征，和候选对象所关联的候选界面内容在第一视频图像中的图像维度的特征，支持基于第一视频图像的图像特征来对候选对象特征和候选内容特征进行全面的识别分析，当基于识别分析所得候选对象特征和候选内容特征对用户界面进行测试时，能够有效地实现基于候选对象以及与候选对象关联的候选界面内容来支持对用户界面进行测试。

S206：根据候选特征，形成与候选对象对应的对象识别信息。

上述在基于第一视频图像的图像特征来对候选对象特征和候选内容特征进行全面的识别分析之后，可以根据候选对象特征和候选内容特征，形成对象识别信息。

其中，对象识别信息，可以是指用于对候选对象进行索引、识别的信息，该对象识别信息可以基于候选对象特征和候选内容特征得到，比如，可以对候选对象特征和候选内容特征进行一些编码处理，并将编码处理所得内容信息作为对象识别信息，或者，还可以对候选对象特征和候选内容特征进行筛选、提炼，概括出候选对象特征和候选内容特征的摘要信息作为对象识别信息，对此不做限制。

本公开实施例中，根据候选特征，形成与候选对象对应的对象识别信息，该对象识别信息可以被用于在对象库中进行检索，以确定候选对象是否能够被判定为目标对象。

在本公开的一些实施例中，根据候选特征，形成与候选对象对应的对象识别信息，可以是根据候选对象特征，确定候选对象的尺寸特征和位置特征，并根据尺寸特征、位置特征以及候选内容特征生成对象识别信息，从而有效地兼顾对象识别信息的描述便捷性和准确性，提升自动化测试中对目标对象定位的效率和定位效果，有效提升用户界面测试的效率。

其中，尺寸特征是指候选对象在第一视频图像中的尺寸大小。

其中，位置特征是指候选对象在第一视频图像中的相对位置特征。

举例而言，可以对尺寸特征、位置特征以及候选内容特征进行联合编码，并将联合编码所得内容信息作为对象识别信息。

S207：如果对象库中存在与对象识别信息匹配的待测试识别信息，则确定候选对象为目标对象，其中，对象库中包括：待测试识别信息，待测试识别信息是预先对用户界面中至少一个待测试对象进行特征分析所得。

其中，由测试人员预先选定的需要进行测试的对象，可以被称为待测试对象，能够被用于对待测试对象进行索引、识别的信息，可以被称为待测试识别信息。

其中，对象库可以是预先构建的，对象库中包含一个或者多个待测试识别信息，待测试识别信息是预先对用户界面中至少一个待测试对象进行特征分析所得，其中待测试对象可以是测试人员对用户界面中的部分对象标注所得，即测试人员可以选择用户界面中的部分对象作为待测试对象，而后基于上述各个实施例中所提及的相同方法对用户界面中的待测试对象，以捕获视频流的方式进行特征分析，以得到待测试对象在用户界面的视频图像中的特征(包括待测试对象的特征，和待测试对象所关联界面内容的特征)，并对待测试对象在用户界面的视频图像中的特征进行编码处理，以得到待测试识别信息，使得待测试识别信息能够被用于对待测试对象进行索引、识别。

本实施例中，基于上述方式确定若干个待测试对象的待测试识别信息后，可以基于若干个待测试识别信息构建一个对象库，以支持实际线上测试过程中，有效地判定出第一视频图像中的候选对象是否是目标对象。

S208：根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，其中，至少一帧视频图像包括：第一视频图像。

本实施例中支持基于对象库来判定第一视频图像中的候选对象是否为目标对象，如果对象库中存在与对象识别信息匹配的待测试识别信息，则确定候选对象为目标对象，而后，可以根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，至少一帧视频图像包括：第一视频图像。

举例而言，可以直接基于目标对象在第一视频图像中的界面效果来进行用户界面测试，或者，也可以联合多帧视频图像(比如以第一视频图像为第一帧，以及在第一视频图像之后的连续的多帧视频图像)，基于目标对象在每一帧中的界面效果，以及在多帧视频图像之间的动态变化效果来进行用户界面测试，该过程的实现可以是基于自动化测试脚本实现。

本公开实施例中，目标特征包括：目标对象特征和/或目标内容特征，其中，目标对象特征表示目标对象在第一视频图像中的特征，目标内容特征表示目标界面内容在第一视频图像中的特征，目标界面内容是与目标对象关联的界面内容，当将目标对象特征和目标内容特征共同作为目标特征时，有效地实现基于目标对象以及与目标对象关联的目标界面内容来支持对用户界面进行测试，能够实现全面的测试出目标对象在用户界面中的真实情况，能够有效提升测试的全面性。

举例而言，可以由人工智能AI智能识别引擎使用特征识别算法，对用户界面UI中的对象进行初步分类，得到对象初步识别结果，比如形成一个对象识别信息，而后，基于该对象识别信息在对象库中进行二次详细分析，识别出唯一对应评分最高的候选对象作为目标对象，而后，将目标对象的对象识别信息(可以包含目标对象的坐标位置、大小尺寸等信息)提供给自动化测试脚本，由自动化测试脚本触发对应的测试任务。

本实施例中，通过获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征，并根据候选特征，从至少一个候选对象中确定目标对象，以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。支持基于多维度的特征来描述第一视频图像中的候选对象，比如联合候选对象自身在第一视频图像中的图像维度特征，和候选对象所关联的候选界面内容在第一视频图像中的图像维度的特征，支持基于第一视频图像的图像特征来对候选对象特征和候选内容特征进行全面的识别分析，当基于识别分析所得候选对象特征和候选内容特征共同作为候选特征时，有效地实现基于候选对象以及与候选对象关联的候选界面内容来支持对用户界面进行测试，能够实现全面的测试出目标对象在用户界面中的真实情况，能够有效提升测试的全面性。从而有效地兼顾对象识别信息的描述便捷性和准确性，提升自动化测试中对目标对象定位的效率和定位效果，有效提升用户界面测试的效率。

图3是本公开另一实施例提出的用户界面测试方法的流程示意图。

如图3所示，该用户界面测试方法，包括：

S301：获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征。

S302：根据候选特征，从至少一个候选对象中确定目标对象。

针对S301-S302的描述说明可以具体参见上述实施例，在此不再赘述。

S303：根据目标对象的目标特征，形成与目标对象对应的目标识别信息，其中，目标特征包括：目标对象特征和/或目标内容特征，其中，目标对象特征表示目标对象在第一视频图像中的特征，目标内容特征表示目标界面内容在第一视频图像中的特征，目标界面内容是与目标对象关联的界面内容。

其中，目标识别信息，可以是指用于对目标对象进行索引、识别的信息，该对象识别信息可以基于目标对象特征和目标内容特征得到，比如，可以对目标对象特征和目标内容特征进行一些编码处理，并将编码处理所得内容信息作为目标识别信息，或者，还可以对目标对象特征和目标内容特征进行筛选、提炼，概括出目标对象特征和目标内容特征的摘要信息作为目标识别信息，对此不做限制。

本公开实施例中，与目标对象关联的目标界面内容，包括以下至少一项：应用程序信息、场景信息、文本信息、元素信息，以及状态信息，从而有效地提升测试全面性。

其中，目标对象特征例如，第一视频图像中目标对象的位置坐标、形状、状态、语义内容，目标界面内容例如目标对象所属应用程序的运行状态、名称、界面效果，目标对象(假如是一个控件)被点击的情况信息(场景信息)，目标对象包括的文本(文本信息)，目标对象关联的上下文对象(比如点击该控件后所关联展示的控件)，目标对象关联的一些元素(比如图片、头像等，可以被称为元素信息)，以及目标对象所属页面的模式状态(可以被称为状态信息)等等。

S304：获取与目标识别信息对应的界面测试脚本文件，其中，界面测试脚本文件被执行时用于控制目标对象响应于测试交互操作，以在第二视频图像中产生与测试交互操作对应的待测界面效果，第一视频图像和第二视频图像属于多个视频图像。

其中，界面测试脚本文件，是指可以被执行以模拟针对目标对象的用户交互操作的脚本文件。该界面测试脚本文件可以是开发人员预先针对用户界面中的若干个待测试对象编辑测试脚本所得，也可以是自动化测试用例生成工具针对用户界面中的若干个待测试对象编辑测试脚本所得。

本公开实施例中可以预先将目标对象的目标识别信息与一个界面测试脚本进行关联，当分析所得目标对象的目标识别信息之后，可以直接调用与目标识别信息对应的界面测试脚本文件，并执行该界面测试脚本文件，以使得界面测试脚本文件被执行时能够用于控制目标对象响应于测试交互操作，以在第二视频图像中产生与测试交互操作对应的待测界面效果，第二视频图像可以是第一视频图像的后续帧视频图像，即在第一视频图像中检测目标对象后，可以直接调用该目标对象的界面测试脚本文件，以对目标对象进行自动化测试控制，使得在线上测试的过程中自动地模拟出用户可能对目标对象所做出的交互操作，由界面自动化测试脚本模拟所得用户对目标对象所做出的交互操作，可以被称为测试交互操作，还可以在第二视频图像中产生与测试交互操作对应的待测界面效果。

其中，待测界面效果是指用户界面的线上测试过程中，当自动地模拟出用户可能对目标对象所做出的交互操作之后，目标对象响应于该测试交互操作所产生的界面效果，该待测界面效果可以被用于进行用户界面测试。

待测界面效果，例如目标对象被点击后所显示的文字内容，被拖动后所处的位置，被控制后所触发的后续响应动作等等，对此不做限制。

S305：根据待测界面效果，对用户界面进行测试。

举例而言，可以将待测界面效果与作为测试参考的界面效果进行比对，以对用户界面进行测试，或者还可以将待测试界面效果输入至自动化测试分析工具中，并获得该自动化测试分析工具输出的用户界面测试结果，或者，也可以采用其他任意可能的方式实现根据待测界面效果，对用户界面进行测试，对此不做限制。

本公开实施例中，根据待测界面效果，对用户界面进行测试，可以是获取为界面测试脚本文件预设置的参考界面效果，并根据待测界面效果和参考界面效果生成界面断言信息，其中，界面断言信息用于对用户界面进行测试，实现快速地对用户界面进行自动化测试。

其中，参考界面效果，可以是作为测试参考的界面效果，该参考界面效果可以预先设置，并将其与界面测试脚本文件进行关联，从而可以直接比对待测界面效果和参考界面效果，得到比对的结果信息，该比对的结果信息，即可以被称为界面断言信息，而后直接基于界面断言信息进行自动化测试，比如直接将界面断言信息作为界面测试结果，还可以基于界面断言信息生成界面测试报告，还可以将界面断言信息提供至测试管控平台，对此不做限制。

本实施例中，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。实现在第一视频图像中识别确定出目标对象之后，直接调用该目标对象的界面测试脚本文件，以对目标对象进行自动化测试控制，使得在线上测试的过程中自动地模拟出用户可能对目标对象所做出的交互操作，并及时地获取到界面测试脚本文件被执行时在第二视频图像中产生与测试交互操作对应的待测界面效果，而后，根据待测界面效果对用户界面进行测试，实现快速地对用户界面进行自动化测试。

图4是本公开一实施例提出的用户界面测试装置的结构示意图。

如图4所示，该用户界面测试装置40，包括：

获取模块401，用于获取用户界面的第一视频图像，其中，所述第一视频图像包括：至少一个候选对象，所述候选对象在所述第一视频图像中具有对应的候选特征。

确定模块402，用于根据所述候选特征，从所述至少一个候选对象中确定目标对象。

测试模块403，用于根据所述目标对象在所述第一视频图像中的目标特征，对所述用户界面进行测试。

在本公开的一些实施例中，在获取用户界面的第一视频图像之后，方法还包括：

获取第一视频图像的图像特征；

从第一视频图像中，识别候选对象和与候选对象关联的候选界面内容；

根据图像特征，确定候选对象特征和候选内容特征，其中，候选对象特征表示候选对象在第一视频图像中的特征，候选内容特征表示候选界面内容在第一视频图像中的特征；

将候选对象特征和候选内容特征共同作为候选特征。

在本公开的一些实施例中，根据候选特征，从至少一个候选对象中确定目标对象，包括：

根据候选特征，形成与候选对象对应的对象识别信息；

如果对象库中存在与对象识别信息匹配的待测试识别信息，则确定候选对象为目标对象，其中，对象库中包括：待测试识别信息，待测试识别信息是预先对用户界面中至少一个待测试对象进行特征分析所得。

在本公开的一些实施例中，根据候选特征，形成与候选对象对应的对象识别信息，包括：

根据候选对象特征，确定候选对象的尺寸特征和位置特征；

根据尺寸特征、位置特征以及候选内容特征生成对象识别信息。

在本公开的一些实施例中，根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，包括：

根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，其中，至少一帧视频图像包括：第一视频图像。

在本公开的一些实施例中，视频图像的帧数是多帧；其中，根据目标对象在至少一帧视频图像中的目标特征，对用户界面进行测试，包括：

根据目标特征，形成与目标对象对应的目标识别信息；

获取与目标识别信息对应的界面测试脚本文件，其中，界面测试脚本文件被执行时用于控制目标对象响应于测试交互操作，以在第二视频图像中产生与测试交互操作对应的待测界面效果，第一视频图像和第二视频图像属于多个视频图像；

根据待测界面效果，对用户界面进行测试。

在本公开的一些实施例中，根据待测界面效果，对用户界面进行测试，包括：

获取为界面测试脚本文件预设置的参考界面效果；

根据待测界面效果和参考界面效果生成界面断言信息，其中，界面断言信息用于对用户界面进行测试。

在本公开的一些实施例中，目标特征包括：目标对象特征和/或目标内容特征，其中，目标对象特征表示目标对象在第一视频图像中的特征，目标内容特征表示目标界面内容在第一视频图像中的特征，目标界面内容是与目标对象关联的界面内容。

在本公开的一些实施例中，候选界面内容或目标界面内容，包括以下至少一项：

应用程序信息；

场景信息；

文本信息；

元素信息；

状态信息。

需要说明的是，前述对用户界面测试方法的解释说明也适用于本实施例的用户界面测试装置，此处不再赘述。

本实施例中，通过获取用户界面的第一视频图像，其中，第一视频图像包括：至少一个候选对象，候选对象在第一视频图像中具有对应的候选特征，并根据候选特征，从至少一个候选对象中确定目标对象，以及根据目标对象在第一视频图像中的目标特征，对用户界面进行测试，能够有效地降低用户界面UI的测试难度，提升用户界面测试的便捷性，有效提升用户界面测试效果。

图5示出了适于用来实现本公开实施方式的示例性电子设备的框图。图5显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。

尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得人体能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的用户界面测试方法。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的用户界面测试方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的用户界面测试方法。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种用户界面测试方法，其特征在于，所述方法包括：

获取用户界面的第一视频图像，其中，所述第一视频图像包括：至少一个候选对象，所述候选对象在所述第一视频图像中具有对应的候选特征；

根据所述候选特征，从所述至少一个候选对象中确定目标对象；以及

根据所述目标对象在所述第一视频图像中的目标特征，对所述用户界面进行测试。

2.如权利要求1所述的方法，其特征在于，在所述获取用户界面的第一视频图像之后，所述方法还包括：

获取所述第一视频图像的图像特征；

从所述第一视频图像中，识别候选对象和与所述候选对象关联的候选界面内容；

根据所述图像特征，确定候选对象特征和候选内容特征，其中，所述候选对象特征表示所述候选对象在所述第一视频图像中的特征，所述候选内容特征表示所述候选界面内容在所述第一视频图像中的特征；

将所述候选对象特征和所述候选内容特征共同作为所述候选特征。

3.如权利要求2所述的方法，其特征在于，所述根据所述候选特征，从所述至少一个候选对象中确定目标对象，包括：

根据所述候选特征，形成与所述候选对象对应的对象识别信息；

如果对象库中存在与所述对象识别信息匹配的待测试识别信息，则确定所述候选对象为所述目标对象，其中，所述对象库中包括：所述待测试识别信息，所述待测试识别信息是预先对所述用户界面中至少一个待测试对象进行特征分析所得。

4.如权利要求3所述的方法，其特征在于，所述根据所述候选特征，形成与所述候选对象对应的对象识别信息，包括：

根据所述候选对象特征，确定所述候选对象的尺寸特征和位置特征；

根据所述尺寸特征、所述位置特征以及所述候选内容特征生成所述对象识别信息。

5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述目标对象在所述第一视频图像中的目标特征，对所述用户界面进行测试，包括：

根据所述目标对象在至少一帧视频图像中的目标特征，对所述用户界面进行测试，其中，所述至少一帧视频图像包括：所述第一视频图像。

6.如权利要求5所述的方法，其特征在于，所述视频图像的帧数是多帧；其中，所述根据所述目标对象在至少一帧视频图像中的目标特征，对所述用户界面进行测试，包括：

根据所述目标特征，形成与所述目标对象对应的目标识别信息；

获取与所述目标识别信息对应的界面测试脚本文件，其中，所述界面测试脚本文件被执行时用于控制所述目标对象响应于测试交互操作，以在第二视频图像中产生与所述测试交互操作对应的待测界面效果，所述第一视频图像和所述第二视频图像属于多个所述视频图像；

根据所述待测界面效果，对所述用户界面进行测试。

7.如权利要求6所述的方法，其特征在于，所述根据所述待测界面效果，对所述用户界面进行测试，包括：

获取为所述界面测试脚本文件预设置的参考界面效果；

根据所述待测界面效果和所述参考界面效果生成界面断言信息，其中，所述界面断言信息用于对所述用户界面进行测试。

8.如权利要求2所述的方法，其特征在于，所述目标特征包括：目标对象特征和/或目标内容特征，其中，所述目标对象特征表示所述目标对象在所述第一视频图像中的特征，所述目标内容特征表示目标界面内容在所述第一视频图像中的特征，所述目标界面内容是与所述目标对象关联的界面内容。

9.如权利要求8所述的方法，其特征在于，所述候选界面内容或所述目标界面内容，包括以下至少一项：

应用程序信息；

场景信息；

文本信息；

元素信息；

状态信息。

10.一种用户界面测试装置，其特征在于，所述装置包括：

获取模块，用于获取用户界面的第一视频图像，其中，所述第一视频图像包括：至少一个候选对象，所述候选对象在所述第一视频图像中具有对应的候选特征；

确定模块，用于根据所述候选特征，从所述至少一个候选对象中确定目标对象；以及

测试模块，用于根据所述目标对象在所述第一视频图像中的目标特征，对所述用户界面进行测试。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述方法的步骤。