CN107346274A - 触摸屏响应性能测试平台和方法 - Google Patents

Abstract

本发明提供一种触摸屏响应性能测试平台和方法，其中，所述测试平台包括：机械手，用于操作被测设备的触摸屏；高速相机，用于拍摄被测设备的触摸屏；图像分析模块，用于对高速相机拍摄的图像进行分析，获取测试结果；以及控制模块，用于控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏，启动图像分析模块，并且生成测试报告。本发明的触摸屏响应性能测试平台和方法可以提高测试效率和测试精度。

Description

触摸屏响应性能测试平台和方法

技术领域

本发明涉及触摸屏的测试领域，尤其涉及一种触摸屏响应性能测试平台和方法。

背景技术

随着带触摸屏的消费电子产品如手机、平板电脑以及带触摸屏笔记本电脑的生产和销售日益增加，对触摸屏的性能测试显得越来越重要，触摸屏检测是必不可少的环节。

通常，在测试触摸屏的响应性能时，需要执行点击、滑动、长按、缩放、旋转等测试动作。

目前，业界普遍采用真人真手指操作的方式来实现上述测试动作。真人在做点击、滑动、长按、缩放、旋转等测试动作时，虽然容易做到，但是存在诸如以下局限性：

1、重复性不好，会因人而异，即使同一人连续两次操作也会产生差异；

2、操作精度不高，人手指操作的定位精度低；

3、效率非常低，受人自身影响，执行效率低，不可能连续24小时操作；

4、测试结果受测试人员经验及主观看法影响过大。如果把测试过程拍成照片后给不同的人观察并给出结果，由于观察者的经验和忍受力不同，对画面发生变化与否、什么时候发生变化的等细节会有差别。所以，用人工测试的方法，结果往往具有主观性，而不宜用做可以进行横向对比的纯客观性的测试指标。

当前，也有一些通过机械装置来测试触摸屏性能的方式，但是这些装置和方式的功能相对简单，只能做简单的点击动作，存在如下局限性：

1、实现的动作单一且简单，无法实现滑动、缩放、旋转等双手指复杂动作；

2、动作控制难，比如力度、速度等难以精准控制。

发明内容

本发明是为了解决上述问题而提出的，其目的在于提供一种高效的触摸屏响应性能测试平台和方法。

为了达到上述目的，根据本发明的触摸屏响应性能测试平台包括：机械手，用于操作被测设备的触摸屏；高速相机，用于拍摄被测设备的触摸屏；图像分析模块，用于对高速相机拍摄的图像进行分析，获取测试结果；以及控制模块，用于控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏，启动图像分析模块，并且生成测试报告。

根据本发明的一方面，所述控制模块包括：控制脚本创建模块，用于根据测试目标创建控制脚本，所述控制脚本用于控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏，并且启动图像分析模块；控制脚本管理模块，用于将创建的控制脚本与测试目标相关联地存储；控制脚本执行模块，用于执行控制脚本；以及测试报告生成模块，用于生成测试报告并存储。

根据本发明的另一方面，所述控制脚本按照控制时序控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏以及启动图像分析模块，所述控制时序是根据被测设备的测试目标来调整的。

根据本发明的另一方面，操作被测设备的触摸屏包括执行点击、滑动、长按、缩放、旋转等动作。

根据本发明的另一方面，触摸屏响应性能测试平台还包括外界光源屏蔽外壳，其上涂覆有防反光涂层，用于屏蔽光源。

根据本发明的另一方面，提供一种触摸屏响应性能测试方法，包括：使用机械手操作被测设备的触摸屏；使用高速相机连续拍摄触摸屏；对高速相机拍摄的图像进行分析，获取测试结果；以及生成测试报告。

根据本发明的另一方面，按照控制时序控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏以及启动图像分析，所述控制时序是根据被测设备的测试目标来调整的。

根据本发明的另一方面，使用机械手操作被测设备的触摸屏包括执行点击、滑动、长按、缩放、旋转等动作。

根据本发明的另一方面，在前述任一步骤之前设置有检查步骤，在所述检查步骤中，抓取正常情况下触摸屏显示的图像并且存储；当执行到检查步骤时，实时抓取触摸屏的图像，并且与存储的正常情况图像进行比对，确定测试是否在正常运行中。

本发明的触摸屏响应性能测试平台和方法可以提高测试效率和测试精度。

附图说明

通过参照附图描述特定示例性实施例，上述和其它方面将会变得更加明显，其中：

图1是本发明实施例的触摸屏响应性能测试平台的框图；

图2是本发明实施例的控制模块的框图；以及

图3是本发明实施例的触摸屏响应性能测试方法的流程图。

具体实施方式

下面参照附图来详细描述本发明的特定示例性实施例。

根据本发明的实施例的触摸屏响应性能测试平台首先由操作人员根据触屏设备功能特点，使用脚本集成开发环境开发出控制脚本；控制脚本执行模块根据控制脚本的指示，控制机械手及手指各关节的协同运动，在触摸屏设备上模拟人手进行点击、滑动、长按、缩放、旋转等操作；与此同时，控制脚本执行模块控制高速相机拍摄操作过程的关键步骤；最后，触摸屏响应性能测试平台通过图像分析模块，计算出触屏设备的响应时间，流畅度等性能指标。

图1是本发明实施例的触摸屏响应性能测试平台的框图。如图1所示，触摸屏响应性能测试平台包括控制模块110、机械手120、高速相机130和图像分析模块140。

机械手120模拟人手的操作，例如，可以实现对触摸屏进行点击、滑动、长按、缩放、旋转等操作。用机械手代替人手进行这些操作具有更好的重复性，并且效率高，可以连续不间断的进行测试。

高速相机130用于拍摄被测设备的触摸屏。高速相机是工业相机的一种，一般高速相机是指数字工业相机，一般安装在机器流水线上代替人眼来做测量和判断，通过数字图像摄取目标转换成图像信号，传送给专用的图像分析系统。高速相机，相比起普通相机，高速相机具有高图像稳定性、高传输能力和高抗干扰能力等。

图像分析模块140用于对高速相机拍摄的图像进行分析，获取测试结果。图像分析模块是系统的关键部分之一，测试结果能准确到什么程度完全取决于分析算法的能力。

由于触摸屏显示的原理与物理世界普通物体发光是完全不同的，使得触摸屏截图的图像分析算法与普通物体照片的图像分析算法也有很大不同。这种不同，归根到底是因为，触摸屏是以固定频率(目前基本上统一为60帧每秒)按照从上到下，从左到右的顺序不停地依次更新触摸屏上的每一个像素点，利用人类的视觉暂留造成显示动态影像的错觉。这种不同，在显示内容变化很快的时候，会更加明显。举一个极端的例子，用一根细线绑上一个重物形成一个单摆，用最好的相机拍摄并在触摸屏上显示。对人眼而言从触摸屏看到的摆与物理世界的摆基本上是一样的。但是如果使用高速相机把摆动过程从触摸屏上翻拍下来，再逐张照片去观察，就会发现它们和直接从物理世界拍摄的那组照片是有很大的不同。在拍自物理世界的摆的图片中，将会看到所有的图片都是清晰的、摆线都是直的连续的，而从触摸屏上拍到的所有图片都有模糊的部分、摆线都是断开的分截的。

基于触摸屏的发光特点，经过大量的分析和实验，确立了一套行之有效果的图像分析算法，整体识别准确率能达到人眼识别的95％以上。

图像分析模块140识别手指离开触摸屏的时间(LeaveFrame)。具体地，持续识别机械手的手指上粘贴的标记图形在各个图片中出现的位置。把手指位置到达最低后、停止、再次抬起的那一刻认为是手指离开触摸屏的时间。

图像分析模块140识别手指开始接触触摸屏的时间(TouchFrame)。当执行点击或滑动操作时，把手指的位置最低时的那一刻认为是操作开始的时间。

图像分析模块140识别触摸屏开始变化的时间(StartFrame)。为了识别触摸屏开始变化的时间，图像分析模块140首先需要找到图片中哪片区域是触摸屏，并且刨除手指移动的干扰。由于手指和触摸屏在图像上看有时候是重合的，所以分析时要把手指的移动有效地刨除掉，而不能把手指的移动误认为是触摸屏在发生变化。最后找到从哪张图片开始，触摸屏发生了变化。

图像分析模块140识别触摸屏停止变化的时间(EndFrame)。当触摸屏开始变化后，控制模块110将会一直监控触摸屏区域，一直到触摸屏不再发生变化时止，从而得到触摸屏停止变化的时间。

图像分析模块140可以基于获得的上述参数计算点击操作的响应时间(ResponseTime_T)和稳定时间(StableTime)或者滑动操作的响应时间(ResponseTime_S)、滑动时间(ScrollTime)、丢帧数(FrameDropped)、最大连续丢帧数(MaxContinuousDropped)和帧率变化曲线(FrameRateCurve)。

对于点击操作，ResponseTime_T的计算公式为(StartFrame-LeaveFrame)×1000/240，单位为ms，其中，240为高速相机的帧率。StableTime的计算公式为(EndFrame-StartFrame)×1000/240，单位为ms，其中，240为高速相机的帧率。

对于滑动操作，ResponseTime_S的计算公式为(StartFrame-TouchFrame)×1000/240，单位为ms，其中，240为高速相机的帧率。ScrollTime的计算公式为(EndFrame-StartFrame)×1000/240，单位为ms，其中，240为高速相机的帧率。FrameDropped是ScrollTime内被测设备屏幕的丢帧数。MaxContinuousDropped是FrameDropped的子集，是最大连续丢帧数。FrameCurve是具体表现曲线，能反映出具体丢帧位置和数目。具体地，在所述曲线中，横坐标表示时间，纵坐标表示丢帧情况，如果丢帧，则纵坐标值是0，如果没有丢帧，则纵坐标值是1。

通过上述参数，图像分析模块140识别触摸屏显示发生卡顿现象的次数。当触摸屏显示动画画面时，由于设备性能问题可能会出些一些卡顿，卡顿的次数和密集程度会直接影响到用户体验。因此需要识别发生卡顿现象的次数。不但能给出卡顿发生的总次数、最大连续卡顿的次数，还能给出卡顿发生的频率和密度信息。发生卡顿的总次数即上面计算出的FrameDropped，最大连续卡顿的次数即上面计算出的MaxContinuousDropped。通过FrameCurve可以观察出卡顿发生的频率和密度信息。

控制模块110用于控制机械手120、高速相机130和图像分析模块140的全部操作。图2是本发明实施例的控制模块110的框图。现参照图2对控制模块110进行描述。

参照图2，控制模块110包括控制脚本创建模块111、控制脚本管理模块112、控制脚本执行模块113和测试报告生成模块114。

触摸屏响应性能测试平台包括多个组件(例如，机械手120、高速相机130和图像分析模块140)，需要按照特定控制时序协同工作才能完成一次测试任务。为此，需要控制脚本从总体上控制哪个组件在什么时间应该执行什么操作。控制脚本创建模块111用于创建控制脚本。控制脚本用于控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏，并且启动图像分析模块。例如，控制脚本控制各个组件进行测试工作的一个典型流程为：1)控制机械手在触屏上进入各种操作，以进入计划要测试的场景；2)操作高速相机开始拍摄；3)控制机械手进行测试操作；4)操作结束后，停止高速相机的拍摄；5)启动图像分析模块140对拍摄下的照片进行分析，获取测试结果。

而且，由于测试不同的目标需要完全不同的时序，所以控制脚本需要根据测试目标随时进行调整。一个控制脚本用于一个测试目标。测试目标根据用户的需求而设定。例如，测试目标可以是对某一品牌的某一型号的移动终端的某一功能进行测试。

为了提高脚本的编写效率，触摸屏响应性能测试平台设计了一套可视化的集成开发环境，用于生成及调整控制脚本。

具体的实现是，首先要定义好各个组件的操作原语和脚本的语法逻辑，进而定义好脚本文件的结构，然后通过建立一套可视化的开发环境，让用户可以通过拖拽、设置属性的方式直观地把操作原语组织成控制各个组件协调运行的控制脚本。最后，编写好的脚本可以从集成开发环境中直接上传到控制脚本管理模块112保存起来。

控制脚本管理模块112可以将创建的控制脚本与测试目标相关联地存储。例如，控制脚本管理模块112可以将控制脚本分门别类地保存在数据库中，以便于用户检索已经入库的控制脚本。这样触摸屏响应性能测试平台的测试工作就具有了可重复性，只需要编写一次脚本就可以多次执行，减少了脚本开发维护的成本。例如，控制脚本管理模块112可以通过实验目标的厂商名称、产品名称、软件硬件件版本号等把控制脚本管理起来，这样用户可以通过多种方式检索到控制脚本，也可以随时去重复执行它们。

控制脚本执行模块113用于执行控制脚本。控制脚本由控制脚本执行模块113负责执行。控制脚本执行模块113首先要与控制脚本管理模块112连接，去检索、下载到需要执行的控制脚本。然后，按照脚本要求，依次操作各个组件进行测试工作，典型流程为：1)控制机械手在触屏上进入各种操作，以进入计划要测试的场景；2)操作高速相机开始拍摄；3)控制机械手进行测试操作；4)操作结束后，停止高速相机的拍摄；5)启动图像分析模块140对拍摄下的照片进行分析，获取测试结果。

另外，由于整个测试过程中的步骤较多，而每个步骤都可能有意外情况产生，使得测试无法继续而没有必要进行下去。所以，需要有措施能保证测试是按既定轨迹进行的。为了实现这一点，在控制脚本设计的过程中，可以在任一个步骤前加入检查步骤，抓取正常情况下触摸屏显示的图片，存储在控制脚本中。当控制脚本执行模块113在执行到检查步骤的时候，会实时到触摸屏上抓取图像，和预存的正常情况图像进行比对，就能确定测试是否在正常运行当中。通过在关键步骤设置若干检查步骤的方式，可以有效的保证控制脚本按照正确的路径完成测试，并取得有效的测试结果。

测试报告生成模块114生成测试报告并存储。在测试完成之后，测试报告生成模块114生成测试报告并存到数据库中。例如，测试报告可以包括点击操作的响应时间(ResponseTime_T)和稳定时间(StableTime)以及滑动操作的响应时间(ResponseTime_S)、滑动时间(ScrollTime)、丢帧数(FrameDropped)、最大连续丢帧数(MaxContinuousDropped)和帧率变化曲线(FrameRateCurve)。

用于可以随时检索到已经完成的测试，并导出、打印测试报告。对于每次报告的内容，还可以人工查看拍摄的图片，对测试结果逐项进行人工检验，发现有不准确的情况，还可以对结果进行人工微调。

现将参照图3对触摸屏响应性能测试方法进行描述。图3是本发明实施例的触摸屏响应性能测试方法的流程图。如图3所示，触摸屏响应性能测试方法包括如下步骤：

步骤S301，使用机械手120操作被测设备的触摸屏。机械手120模拟人手的操作，例如，可以实现对触摸屏进行点击、滑动、长按、缩放、旋转等操作。用机械手代替人手进行这些操作具有更好的重复性，并且效率高，可以连续不间断的进行测试。

步骤S302，使用高速相机连续拍摄触摸屏。

步骤S303，对高速相机拍摄的图像进行分析，获取测试结果。

识别手指离开触摸屏的时间。具体地，持续识别机械手的手指上粘贴的标记图形在各个图片中出现的位置。把手指位置到达最低后、停止、再次抬起的那一刻认为是手指离开触摸屏的时间。

识别手指开始接触触摸屏的时间。当执行点击或滑动操作时，把手指的位置最低时的那一刻认为是操作开始的时间。

识别触摸屏开始变化的时间。为了识别触摸屏开始变化的时间，首先需要找到图片中哪片区域是触摸屏，并且刨除手指移动的干扰。由于手指和触摸屏在图像上看有时候是重合的，所以分析时要把手指的移动有效地刨除掉，而不能把手指的移动误认为是触摸屏在发生变化。最后找到从哪张图片开始，触摸屏发生了变化。

识别触摸屏停止变化的时间。当触摸屏开始变化后，将会一直监控触摸屏区域，一直到触摸屏不再发生变化时止，从而得到触摸屏停止变化的时间。

可以计算点击操作的响应时间和稳定时间或者滑动操作的响应时间、滑动时间、丢帧数、最大连续丢帧数和帧率变化曲线。具体计算公式在上面已经给出，在此不再详细描述。

步骤S304，生成测试报告。测试报告可以包括点击操作的响应时间和稳定时间)以及滑动操作的响应时间、滑动时间、丢帧数、最大连续丢帧数和帧率变化曲线等信息。

本发明的触摸屏响应性能测试平台和方法可以提高测试效率和测试精度。

尽管已经参照各种实施例示出和描述了本发明，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (9)

1.一种触摸屏响应性能测试平台，其特征在于包括：

机械手，用于操作被测设备的触摸屏；

高速相机，用于拍摄被测设备的触摸屏；

图像分析模块，用于对所述高速相机拍摄的图像进行分析，获取测试结果；以及

控制模块，用于控制所述机械手操作触摸屏，控制所述高速相机连续拍摄触摸屏，启动所述图像分析模块，并且生成测试报告。

2.如权利要求1所述的触摸屏响应性能测试平台，其特征在于所述控制模块包括：

控制脚本创建模块，用于根据测试目标创建控制脚本，所述控制脚本用于控制所述机械手操作触摸屏，控制所述高速相机连续拍摄触摸屏，并且启动所述图像分析模块；

控制脚本管理模块，用于将创建的控制脚本与测试目标相关联地存储；

控制脚本执行模块，用于执行控制脚本；以及

测试报告生成模块，用于生成测试报告并存储。

3.如权利要求2所述的触摸屏响应性能测试平台，其特征在于所述控制脚本按照控制时序控制所述机械手操作触摸屏，控制所述高速相机连续拍摄触摸屏以及启动所述图像分析模块，所述控制时序是根据被测设备的测试目标来调整的。

4.如权利要求1所述的触摸屏响应性能测试平台，其特征在于操作被测设备的触摸屏包括执行点击、滑动、长按、缩放、旋转动作。

5.如权利要求1至4中的任一项所述的触摸屏响应性能测试平台，其特征在于还包括外界光源屏蔽外壳，其上涂覆有防反光涂层，用于屏蔽光源。

6.一种触摸屏响应性能测试方法，其特征在于包括：

使用机械手操作被测设备的触摸屏；

使用高速相机连续拍摄触摸屏；

对高速相机拍摄的图像进行分析，获取测试结果；以及

生成测试报告。

7.如权利要求6所述的触摸屏响应性能测试方法，其特征在于按照控制时序控制机械手操作触摸屏，控制高速相机连续拍摄触摸屏以及启动图像分析，所述控制时序是根据被测设备的测试目标来调整的。

8.如权利要求6所述的触摸屏响应性能测试方法，其特征在于使用机械手操作被测设备的触摸屏包括执行点击、滑动、长按、缩放、旋转动作。

9.如权利要求1所述的触摸屏响应性能测试方法，其特征在于，在任一步骤之前设置有检查步骤，在所述检查步骤中，抓取正常情况下触摸屏显示的图像并且存储；当执行到检查步骤时，实时抓取触摸屏的图像，并且与存储的正常情况图像进行比对，确定测试是否在正常运行中。