CN115658544B - 一种基于模拟点击的测试方法 - Google Patents

Abstract

本发明公开了一种基于模拟点击的测试方法和系统，其中方法通过执行测试脚本，并获取反映实际使用过程中用户视角的第二测试画面数据，基于用户视角的第二测试画面数据自动分析用户界面的信息，从而自动标记测试中的异常数据，实现用户界面测试的自动化，提高测试准确度。本发明作为一种基于模拟点击的测试方法和系统可广泛应用于软件测试领域，尤其是用户界面测试自动化。

Description

一种基于模拟点击的测试方法

技术领域

本发明涉及计算机技术领域，具体涉及基于模拟点击的测试方法。

背景技术

软件测试是用来促进鉴定软件的正确性、完整性、安全性和质量的过程，在规定的条件下对程序进行操作，以发现程序错误，衡量软件质量，并对其是否能满足设计要求进行评估的过程。

以移动终端软件测试为例，测试方法包括人工操作或自动化运行。例如通过机械点击设备模仿手指点击，用于测试移动终端功能；或者通过程序控制生成虚拟点击信号，用于测试移动终端功能。

用户界面测试或UI测试是一种软件测试类型，通过该测试，我们检查程序界面的设计是否符合大众审美，对用户操作是否友好，是否工作正常等。用户界面测试需要测试工程师手动测试并观察，然后输出测试结果。

发明内容

由于现有方法存在上述问题，本发明提出一种基于模拟点击的测试方法，包括以下步骤：

在待测试终端设备上设置机械手，并根据测试脚本控制机械手在待测试终端执行动作；

在待测试终端设备上方设置视频采集设备，并获取待测试终端设备以及机械手的第一测试画面数据；

截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据；

将第二测试画面数据输入至数据分析模块，输出用户界面测试结果。

进一步，所述将第二测试画面数据输入至数据分析模块，输出用户界面测试结果这一步骤，具体包括：

将第二测试画面数据输入至数据分析模块；

数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面帧中是否存在用户界面按钮被机械手遮挡的区域；

根据用户界面按钮被机械手遮挡的区域计算遮挡比例；

当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

进一步，所述根据用户界面按钮被机械手遮挡的区域计算遮挡比例这一步骤，具体包括：

根据目标识别算法识别出用户界面按钮对应边界框计算用户界面按钮对应的区域面积S_obj；

根据目标识别算法识别出机械手对应的边界框；截取边界框画面并提取机械手对应的实际区域；

计算机械手对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积S_overlap；

计算遮挡比例F＝S_overlap/S_obj。

进一步，所述截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据这一步骤，具体包括：

截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，并对其进行纠偏处理生成第二测试画面数据。

进一步，所述当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果这一步骤，具体包括：

当遮挡比例大于设定阈值，且持续时间超过时间阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

进一步，所述当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果这一步骤，具体包括：

当遮挡比例大于设定阈值的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

本发明还提出一种基于模拟点击的测试系统，包括：

测试脚本执行模块，用于根据测试脚本控制机械手在待测试终端执行动作；

第一测试画面数据获取模块，用于在待测试终端设备上方采集待测试终端设备以及机械手的第一测试画面数据；

第二测试画面数据获取模块，用于截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据；

数据分析模块，用于获取第二测试画面数据进行分析，输出用户界面测试结果。

由于现有方法存在上述问题，本发明还提出一种基于模拟点击的测试方法，包括以下步骤：

根据测试脚本在待测试终端操作系统中执行动作并获取待测试终端设备的第一测试画面数据；

根据测试脚本在待测试终端操作系统中所执行动作的坐标位置，生成对应的用户遮挡图层数据；

将用户遮挡图层数据叠加于第一测试画面数据之上生成第二测试画面数据；

将第二测试画面数据输入至数据分析模块，输出用户界面测试结果。

进一步，所述执行动作包括点击动作和/或拖动动作。

进一步，所述根据测试脚本在待测试终端操作系统中所执行动作的坐标位置，生成对应的用户遮挡图层数据这一步骤，具体包括：

获取待测试终端的测试参数；

获取测试脚本在待测试终端操作系统中所执行动作的坐标位置；

根据测试参数和坐标位置生成对应的用户遮挡图层数据。

进一步，所述待测试终端的测试参数包括机型、屏幕长宽尺寸和测试对象类型中的至少一个。

进一步，所述根据测试参数和坐标位置生成对应的用户遮挡图层数据这一步骤，具体为：

根据机型确定操作用户界面的第一操作模式信息并根据第一操作模式信息和坐标位置生成对应的用户遮挡图层数据；和/或

根据屏幕长宽尺寸确定操作用户界面的画面比例信息并根据画面比例信息和坐标位置生成对应的用户遮挡图层数据；和/或

根据测试对象类型确定操作用户界面的第二操作模式信息并根据第二操作模式信息和坐标位置生成对应的用户遮挡图层数据。

进一步，所述将第二测试画面数据输入至数据分析模块，输出用户界面测试结果这一步骤，具体包括：

将第二测试画面数据输入至数据分析模块；

数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面帧中是否存在用户界面按钮被用户遮挡图层数据遮挡的区域；

根据用户界面按钮被用户遮挡图层数据遮挡的区域计算遮挡比例；

当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

进一步，所述根据用户界面按钮被用户遮挡图层数据遮挡的区域计算遮挡比例这一步骤，具体包括：

根据目标识别算法识别出第一测试画面数据部分中用户界面按钮对应边界框计算用户界面按钮对应的区域面积S_obj；

根据用户遮挡图层数据部分识别出遮挡区域对应的边界框；

计算上述边界框对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积S_overlap；

计算遮挡比例F＝S_overlap/S_obj。

进一步，所述当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果这一步骤，具体包括：

当遮挡比例大于设定阈值，且持续时间超过时间阈值时，将对应的第二测试画面数据标记为问题数据并记录至测试结果。

进一步，所述当遮挡比例大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果这一步骤，具体包括：

当遮挡比例大于设定阈值的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面数据标记为问题数据并记录至测试结果。

本发明还提出一种基于模拟点击的测试系统，包括：

测试脚本执行模块，用于根据测试脚本在待测试终端操作系统中执行动作；

第一测试画面数据获取模块，用于获取待测试终端操作系统中执行动作所对应的第一测试画面数据；

第二测试画面数据获取模块，用于根据测试脚本在待测试终端操作系统中所执行动作的坐标位置，生成对应的用户遮挡图层数据，并将用户遮挡图层数据叠加于第一测试画面数据之上生成第二测试画面数据；

数据分析模块，用于用于获取第二测试画面数据进行分析，输出用户界面测试结果。

由上述技术方案可知，本发明实施例通过执行测试脚本，并获取反映实际使用过程中用户视角的第二测试画面数据，基于用户视角的第二测试画面数据自动分析用户界面的信息，从而自动标记测试中的异常数据，实现用户界面测试的自动化，提高测试准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一具体实施例的测试方法步骤流程图；

图2为本发明一具体实施例的第一测试画面帧示意图；

图3为本发明一具体实施例的第二测试画面帧示意图；

图4为本发明一具体实施例的测试系统功能模块图；

图5为本发明另一具体实施例的测试方法步骤流程图；

图6为本发明另一具体实施例的第一测试画面帧示意图；

图7为本发明另一具体实施例的用户遮挡图层示意图；

图8为本发明另一具体实施例的第二测试画面帧示意图；

图9为本发明另一具体实施例的用户遮挡图层边界线示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

首先，现有技术中的用户界面测试通常需要测试工程师手动测试并观察，然后输出测试结果。用户界面测试通常侧重于应用程序图形用户界面的功能和性能，对于一部分静态画面的用户界面测试，已经可以采用相对智能化的数据图像处理方案实现自动化处理，例如按钮对齐问题、字段不完整、调整大小问题、字段重叠、浏览问题、文本框或标签之间的空间不一致、数据页未对齐等。

对于一些具有动态画面的应用场景，上述自动分析无法达到测试目的。比如在游戏界面中，用户需要不断进行点击操作，而为了用户点击速度更快，可能设置将操作按钮设置于用户点击触点附近，且操作按钮跟随用户点击操作移动，但用户操作动态按钮时，手指仍然容易遮挡游戏界面的功能按钮，反而造成用户体验不佳，因此需要对上述情况的用户界面尤其是操作按钮的设置进行测试。

然而，上述动态画面的用户界面测试，不仅仅要考虑程序运行的界面本身，还要考虑用户在实际使用操作过程中手指对移动终端屏幕的遮挡。现有方案中无论是采用机械点击设备或者虚拟点击均无法反映实际用户视角的情况，因此在用户界面测试中，尤其是应用程序的按钮图形设置是否合理难以通过目前的方案进行测试，而采用人工测试则费时费力，成本高且效率极低。

基于上述问题，本实施例提供的一种基于模拟点击的测试方法，参照图1，具体包括以下步骤：

S11、在待测试终端设备上设置机械手，并根据测试脚本控制机械手在待测试终端执行动作；

例如开始测试时启动待测试终端设备的APP应用程序，根据测试脚本控制机械手在待测试终端执行点击动作或者拖动动作，如点击或拖动用户界面的按钮、设置有多个手指的机械手执行缩放操作等等。

S12、在待测试终端设备上方设置视频采集设备，并获取待测试终端设备以及机械手的第一测试画面数据；

其中的上方是指视频采集设备设置于测试终端设备以及机械手的上方，能够模拟用户视角来拍摄机械手遮挡测试终端设备显示屏幕的画面；同时，机械手具有手指的形状以便模拟实际用户使用时的遮挡情况，为了便于图像分析处理，机械手表面至少将面对视频采集设备的部分设置单一颜色的涂层，优选为黑色，参照图2所示，其中机械手L和H分别为模拟左右手拇指，虚线圆圈表示点击区域，A1-A8 为应用程序根据机械手点击位置设置的围绕点击位置显示的用户界面按钮。

S13、截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据，如图3所示；

S14、将第二测试画面数据输入至数据分析模块，输出用户界面测试结果。

进一步作为优选的实施方式，S14步骤具体包括：

S141、将第二测试画面数据输入至数据分析模块；

S142、数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面帧中是否存在用户界面按钮被机械手遮挡的区域；

具体可采用目标识别算法对第二测试画面数据进行对象检测和对象识别，典型的目标识别算法如R-CNN(Region with CNN Feature)、Fast R-CNN、Faster R-CNN、YOLO(YouOnly Look Once)等，此处可采用业内常用算法，对比不在此赘述。目标识别算法识别出用户界面按钮以及机械手，通常算法中会标记出检测对象的候选区域(边界框)，用户界面按钮以及机械手边界框可能是重叠的，重叠的区域越大则表示用户界面按钮可能被遮挡的区域越大。对于每一个第二测试画面帧，如果算法的识别结果中用户界面按钮以及机械手边界框是重叠的，则可以初步判断该画面帧中用户界面按钮被机械手遮挡。此处还存在一种特殊情况，即用户界面按钮被机械手完全遮挡，此时通过目标识别算法无法识别出这个被完全遮挡的用户界面按钮，但由于机械手移动是一个连续的过程，即使某个时刻用户界面按钮被机械手完全遮挡，但该时刻的前后一段时间也会存在用户界面按钮被机械手仅部分遮挡的情况，因此几乎不会对测试结果造成影响。

S143、根据用户界面按钮被机械手遮挡的区域计算遮挡比例；

对于上述步骤S142中判断存在用户界面按钮被机械手遮挡的区域的第二测试画面帧，需要计算遮挡比例，具体步骤可以是：

S1431、根据目标识别算法识别出用户界面按钮对应边界框计算用户界面按钮对应的区域面积S_obj；

由于用户界面按钮通常都是常规形状，例如方形或者圆形，在计算遮挡比例时将用户界面按钮近似为边界框的四边形对结果影响不大。

S1432、根据目标识别算法识别出机械手对应的边界框；截取边界框画面并提取机械手对应的实际区域；

机械手并非规则形状，若采用四边形矩形框近似则可能造成遮挡比例计算结果与实际差别较大。由于拍摄画面中机械手被可以设置为黑色，机械手对应的边界很容易被提取，例如采用画面二值化并计算连通区域即可获取。

S1433、计算机械手对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积S_overlap；

S1434、计算遮挡比例F＝S_overlap/S_obj。

基于上述步骤S143所计算的遮挡比例则可进一步判断测试结果是否可能存在问题。

S144、当遮挡比例大于设定阈值时，表示用户在实际使用过程中很可能由于手指遮挡造成难以识别用户界面按钮，因此将对应的第二测试画面帧标记为问题帧并记录至测试结果；通常情况下，遮挡比例大于60％才认为对用户视觉造成影响。

进一步作为优选的实施方式，S13步骤需要截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据，为了模拟用户视角，可以将视频采集设备设置于待测试终端设备的显示面板区域正中心的正上方，也可以将视频采集设备设置于待测试终端设备的显示面板区域稍微偏离正中心的正上方，当采用后一种设置方式时，实际拍摄的画面可能会有一定程度的倾斜；另外，由于视频采集设备的安装误差，也可能造成实际拍摄的画面倾斜，因此S13步骤具体为：

截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，并对其进行纠偏处理生成第二测试画面数据。

进一步作为优选的实施方式，步骤S144具体为：当遮挡比例大于设定阈值，且持续时间超过时间阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

进一步作为优选的实施方式，步骤S144具体为：当遮挡比例大于设定阈值的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

考虑到人眼视觉暂留效应，当遮挡比例大于设定阈值的时间不超过0.1s时，通常不会造成用户体验的影响，因此只有在遮挡比例大于设定阈值且持续时间超过时间阈值时，才将对应的第二测试画面帧标记为问题帧并记录至测试结果。当然，也可采用视频帧数计数作为判断依据，例如视频每秒显示帧数(Frames per Second，FPS)为30 时，0.1s对应的视频帧数为3，此时遮挡比例大于设定阈值的第二测试画面帧帧数大于3时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

参照图4，本发明实施例还提出一种基于模拟点击的测试系统，用于执行上述具体实施方式中所对应的方法步骤，该系统包括：

测试脚本执行模块，用于根据测试脚本控制机械手在待测试终端执行动作；

第一测试画面数据获取模块，用于在待测试终端设备上方采集待测试终端设备以及机械手的第一测试画面数据；

第二测试画面数据获取模块，用于截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据；

数据分析模块，用于获取第二测试画面数据进行分析，输出用户界面测试结果。

基于上述问题，本发明实施例还提供一种基于模拟点击的测试方法，参照图5，包括以下步骤：

S21、根据测试脚本在待测试终端操作系统中执行动作并获取待测试终端设备的第一测试画面数据，如图6所示，其中虚线圆圈表示点击区域，A1-A8为应用程序根据手指点击位置设置的围绕点击位置显示的用户界面按钮。

例如开始测试时启动待测试终端设备的APP应用程序，根据测试脚本控制并生成虚拟触摸信号在待测试终端执行点击动作或者拖动动作，如点击或拖动用户界面的按钮、执行缩放操作等等，然后获取待测试终端设备的第一测试画面数据，即待测试终端设备的显示屏幕所显示的实际画面。

S22、根据测试脚本在待测试终端操作系统中所执行动作的坐标位置，生成对应的用户遮挡图层数据；

用户遮挡图层数据具体是指根据所执行动作及其坐标位置生成对应的用户手势图像，用于模拟用户视角来呈现手指遮挡位置时的待测试终端设备显示屏幕的画面，如图7所示，其中L和H分别为表示左右手拇指。

S23、将用户遮挡图层数据叠加于第一测试画面数据之上生成第二测试画面数据；

该步骤中，可以将用户遮挡图层数据与第一测试画面数据直接叠加，生成第二测试画面数据，参照图8；其中第二测试画面数据的每一个帧画面均由用户遮挡图层数据中的一帧与对应第一测试画面数据的一帧直接叠加：用户遮挡图层数据中的一帧中表示用户手指的手指遮挡位置设置为黑色，其余部分设置为透明，然后叠加于对应第一测试画面数据的一帧之上合成一个新的帧画面作为第二测试画面数据中的一帧。如此，则后续步骤S24与上面具体实施例中的步骤S14 及其子步骤相同，在此不赘述。

该步骤中，也可以将用户遮挡图层数据与第一测试画面数据分别作为第二测试画面数据的一部分，即第二测试画面数据包括用户遮挡图层数据部分与第一测试画面数据部分，而不需要重新合成数据；用户遮挡图层数据中的一帧中表示用户手指的手指遮挡位置同样可以设置为黑色，其余部分设置为透明。这样的好处在于计算量少，且更有利于后续步骤S24的计算。

S24、将第二测试画面数据输入至数据分析模块，输出用户界面测试结果。

进一步作为优选的实施方式，步骤S24具体包括：

S241、将第二测试画面数据输入至数据分析模块；

S242、数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面数据中是否存在用户界面按钮被用户遮挡图层数据遮挡的区域；

具体可采用目标识别算法对第一测试画面数据部分进行对象检测和对象识别，典型的目标识别算法如R-CNN(Region with CNN Feature)、Fast R-CNN、Faster R-CNN、YOLO(You Only Look Once)等，此处可采用业内常用算法，对此不在此赘述。目标识别算法识别出用户界面按钮，通常算法中会标记出检测对象的候选区域(边界框)，对于每一个第一测试画面数据部分的画面帧，如果算法的识别结果中用户界面按钮被用户遮挡图层数据部分的画面帧遮挡，则表示存在遮挡的情况。由于第二测试画面数据包括用户遮挡图层数据部分与第一测试画面数据部分，没有重新合成数据，因此不会出现上文具体实施方式中因为用户界面按钮被机械手完全遮挡，通过目标识别算法无法识别出这个被完全遮挡的用户界面按钮的情况，因此不会对测试结果造成影响，并且数据计算量更小。

S243、根据用户界面按钮被用户遮挡图层数据遮挡的区域计算遮挡比例；

对于上述步骤S242中判断存在用户界面按钮被机械手遮挡的区域的第二测试画面数据，需要计算遮挡比例，具体步骤可以是：

S2431、根据目标识别算法识别出第一测试画面数据部分中用户界面按钮对应边界框计算用户界面按钮对应的区域面积Sobj；

由于用户界面按钮通常都是常规形状，例如方形或者圆形，在计算遮挡比例时将用户界面按钮近似为边界框的四边形对结果影响不大。

S2432、根据用户遮挡图层数据部分识别出遮挡区域对应的边界框；实际操作中获取用户遮挡图层数据部分中黑色区域与透明区域的边界线即可，如图9中分别表示的左右手拇指L和H所对应的边界线。

S2433、计算上述边界框对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积S_overlap；

S2434、计算遮挡比例F＝S_overlap/S_obj。

基于上述步骤S243所计算的遮挡比例则可进一步判断测试结果是否可能存在问题。

S244、当遮挡比例大于设定阈值时，表示用户在实际使用过程中很可能由于手指遮挡造成难以识别用户界面按钮，因此将对应的第二测试画面帧标记为问题帧并记录至测试结果。

进一步作为优选的实施方式，步骤S244具体为：当遮挡比例大于设定阈值，且持续时间超过时间阈值时，将对应的第二测试画面数据标记为问题数据并记录至测试结果。

进一步作为优选的实施方式，步骤S244具体为：当遮挡比例大于设定阈值的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面数据标记为问题数据并记录至测试结果。

考虑到人眼视觉暂留效应，当遮挡比例大于设定阈值的时间不超过0.1s时，通常不会造成用户体验的影响，因此只有在遮挡比例大于设定阈值且持续时间超过时间阈值时，才将对应的第二测试画面数据标记为问题数据并记录至测试结果。当然，也可采用视频帧数计数作为判断依据，例如视频每秒显示帧数(Frames per Second，FPS)为 30时，0.1s对应的视频帧数为3，此时遮挡比例大于设定阈值的第二测试画面帧帧数大于3时，将对应的第二测试画面数据标记为问题数据并记录至测试结果。

进一步作为优选的实施方式，执行动作包括点击动作和/或拖动动作，如点击或拖动用户界面的按钮、执行缩放操作等等。

进一步作为优选的实施方式，步骤S22具体包括：

S221、获取待测试终端的测试参数；

进一步作为优选的实施方式，待测试终端的测试参数包括机型、屏幕长宽尺寸和测试对象类型中的至少一个。

S222、获取测试脚本在待测试终端操作系统中所执行动作的坐标位置；

S223、根据测试参数和坐标位置生成对应的用户遮挡图层数据。

测试参数和坐标位置共同决定了用户在实际使用终端设备时手指的操作姿态，对此可以预先生成测试参数和坐标位置对应手指操作姿态图像的数据库，以便根据测试参数和坐标位置调用相应的手指操作姿态图像来生成对应的用户遮挡图层数据。进一步作为优选的实施方式，步骤S223具体可以为：

(1)根据机型确定操作用户界面的第一操作模式信息并根据第一操作模式信息和坐标位置生成对应的用户遮挡图层数据；

上述机型通常意义上是用于区分待测试移动终端为手机设备或者平板设备，第一操作模式信息则是表示该机型下的惯用手指，若机型为手机设备，则生成对应的用户遮挡图层数据时通常调用拇指操作姿态的图像数据，若机型为平板设备，则生成对应的用户遮挡图层数据时通常调用食指操作姿态的图像数据。

(2)根据屏幕长宽尺寸确定操作用户界面的画面比例信息并根据画面比例信息和坐标位置生成对应的用户遮挡图层数据；

上述屏幕长宽尺寸通常是用于确定待测试移动终端与手指操作姿态图像的大小比例，即画面比例信息。手机设备长宽尺寸比例较大，而平板设备长宽比例较小，因此生成对应的用户遮挡图层数据时不仅需要调用对应手指操作姿态的图像数据，同时还要根据画面比例信息对其进行缩放。通常，在手机设备操作时，手指更容易遮挡画面中的用户界面按钮。

(3)根据测试对象类型确定操作用户界面的第二操作模式信息并根据第二操作模式信息和坐标位置生成对应的用户遮挡图层数据。

上述测试对象类型通常是用于待测试APP的类型，例如购物应用或者游戏应用，第二操作模式信息则用于表示相应的使用习惯，例如购物应用通常是单手拇指操作，而游戏应用通常是双手拇指操作，因此在调用相应的手指操作姿态图像时也会有所不同。

实际操作中还可结合以上各种情况综合处理更准确地生成对应的用户遮挡图层数据。

上述具体实施方式中，由于是根据测试参数和坐标位置生成对应的用户遮挡图层数据，不需要实际的机械点击设备，测试成本更低，手指操作姿态更贴近实际情况，相比之下，机械点击设备难以模拟手指关节在不同移动模式下的弯曲变化状态，并且该具体实施方式中第二测试画面数据中保留了完整的第一测试画面数据，测试结果更准确且节省了数据计算量。

参照图4，本发明实施例还提出一种基于模拟点击的测试系统，用于执行上述具体实施方式中所对应的方法步骤，该系统包括：

测试脚本执行模块，用于根据测试脚本在待测试终端操作系统中执行动作；

第一测试画面数据获取模块，用于获取待测试终端操作系统中执行动作所对应的第一测试画面数据；

第二测试画面数据获取模块，用于根据测试脚本在待测试终端操作系统中所执行动作的坐标位置，生成对应的用户遮挡图层数据，并将用户遮挡图层数据叠加于第一测试画面数据之上生成第二测试画面数据；

数据分析模块，用于用于获取第二测试画面数据进行分析，输出用户界面测试结果。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于模拟点击的测试方法，其特征在于，包括以下步骤：

在待测试终端设备上设置机械手，并根据测试脚本控制机械手在待测试终端执行动作；

在待测试终端设备上方设置视频采集设备，并获取待测试终端设备以及机械手的第一测试画面数据；所述机械手具有手指的形状且机械手表面至少将面对视频采集设备的部分设置黑色涂层；

截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据；

将第二测试画面数据输入至数据分析模块；

数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面帧中是否存在用户界面按钮被机械手遮挡的区域；

根据目标识别算法识别出用户界面按钮对应边界框计算用户界面按钮对应的区域面积Sobj；

根据目标识别算法识别出机械手对应的边界框；截取边界框画面并提取机械手对应的实际区域；

计算机械手对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积Soverlap；

计算遮挡比例F=Soverlap/Sobj；

当遮挡比例大于60%，且持续时间超过时间阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果；或者

当遮挡比例大于60%的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

2.根据权利要求1所述的基于模拟点击的测试方法，其特征在于，所述执行动作包括点击动作和/或拖动动作。

3.一种基于模拟点击的测试系统，其特征在于，包括：

测试脚本执行模块，用于根据测试脚本控制机械手在待测试终端执行动作；

第一测试画面数据获取模块，用于在待测试终端设备上方采集待测试终端设备以及机械手的第一测试画面数据；所述机械手具有手指的形状且机械手表面至少将面对视频采集设备的部分设置黑色涂层；

第二测试画面数据获取模块，用于截取第一测试画面数据中待测试终端设备的显示面板区域所对应的画面数据，生成第二测试画面数据；

数据分析模块，用于执行以下步骤：

将第二测试画面数据输入至数据分析模块；

数据分析模块对第二测试画面数据逐帧分解，并判断第二测试画面帧中是否存在用户界面按钮被机械手遮挡的区域；

根据目标识别算法识别出用户界面按钮对应边界框计算用户界面按钮对应的区域面积Sobj；

根据目标识别算法识别出机械手对应的边界框；截取边界框画面并提取机械手对应的实际区域；

计算机械手对应的实际区域与用户界面按钮对应边界框内区域交叉部分对应的区域面积Soverlap；

计算遮挡比例F=Soverlap/Sobj；

当遮挡比例大于60%，且持续时间超过时间阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果；或者

当遮挡比例大于60%的第二测试画面帧帧数大于设定阈值时，将对应的第二测试画面帧标记为问题帧并记录至测试结果。

Images