CN106951346B

CN106951346B - 一种响应时间的测试方法和装置

Info

Publication number: CN106951346B
Application number: CN201610004470.4A
Authority: CN
Inventors: 杨清夙; 潘子晶
Original assignee: Alibaba Group Holding Ltd
Current assignee: Banma Zhixing Network Hongkong Co Ltd
Priority date: 2016-01-06
Filing date: 2016-01-06
Publication date: 2020-07-24
Anticipated expiration: 2036-01-06
Also published as: CN106951346A

Abstract

本发明提供了一种响应时间的测试方法和装置，其中方法包括：获取连续捕捉的用户设备的屏幕图像，所述连续捕捉的屏幕图像至少包括从功能的触发时刻到响应完成时刻的屏幕图像；将获取的屏幕图像的最后一帧作为结果帧，依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像；利用确定出的图像对应的时刻与功能的触发时刻的差值，确定所述用户设备对所述功能的响应时间。通过本发明能够节约测试的人力成本，且降低人为因素对测试准确度的影响。

Description

一种响应时间的测试方法和装置

【技术领域】

本发明涉及计算机应用技术，特别涉及一种响应时间的测试方法和装置。

【背景技术】

响应时间是体现用户设备性能的重要参数，响应时间快慢与用户体验密切相关。目前针对用户设备响应时间的测试几乎完全依赖于人工，测试人员需要用摄像头捕捉触发操作之后屏幕的变化，然后导出摄像头拍摄的视频，依赖人工一帧一帧寻找用户设备完成响应的时间点。这种测试方法，一方面人力成本较高，难以用于大量的重复性测试，另一方面测试准确度也受到人为因素的影响。

【发明内容】

有鉴于此，本发明提供了一种响应时间的测试方法和装置，以便于节约人力成本，且降低人为因素对测试准确度的影响。

具体技术方案如下：

本发明提供了一种响应时间的测试方法，该方法包括：

获取连续捕捉的用户设备的屏幕图像，所述连续捕捉的屏幕图像至少包括从功能的触发时刻到响应完成时刻的屏幕图像；

将获取的屏幕图像的最后一帧作为结果帧，依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像；

利用确定出的图像对应的时刻与功能的触发时刻的差值，确定所述用户设备对所述功能的响应时间。

根据本发明一优选实施方式，所述获取连续捕捉的用户设备的屏幕图像包括：

利用用户设备的截屏功能或者从屏幕的帧缓存器中获取屏幕图像；或者，

获取摄像头捕捉的用户设备的屏幕图像。

根据本发明一优选实施方式，所述获取摄像头捕捉的用户设备的屏幕图像包括：

在向所述用户设备发送触发功能的命令时，向所述摄像头发送开始捕捉屏幕图像的命令，以便所述摄像头开始捕捉所述用户设备的屏幕图像；

达到预设测试时长后，向所述摄像头发送停止捕捉屏幕图像的命令，获取所述摄像头捕捉的屏幕图像。

根据本发明一优选实施方式，所述依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像包括：

确定获取的屏幕图像中与所述结果帧的图像相似度大于或等于相似度阈值的图像帧；

将确定出的图像帧中，与所述结果帧的时间差最大的图像帧作为响应完成的首帧图像。

将获取的屏幕图像均划分为M*N个子图像，所述M和N分别为正整数；

分别计算各帧与所述结果帧中对应位置的子图像之间的图像相似度；

分别确定与所述结果帧的各子图像之间的图像相似度大于或等于相似度阈值的子图像中，与结果帧的子图像的时间差最大的子图像；

在确定出的各子图像中，确定与结果帧的时间差最小的子图像所在的图像帧。

根据本发明一优选实施方式，所述将获取的屏幕图像均划分为M*N个子图像包括：

确定屏幕图像的大小以及图像中最小图标的大小；

将各屏幕图像均划分为M*N个子图像，其中子图像大小的确定以所述最小图标的大小为依据。

根据本发明一优选实施方式，在计算图像相似度时，利用图像中各像素的灰度值，或者利用图像中各像素的三原色RGB值。

根据本发明一优选实施方式，利用图像中各像素的灰度值，计算图像相似度包括：

利用

计算图像A与图像B之间的图像相似度R；

其中，A_i为图像A第i个像素的灰度值，B_i为图像B第i个像素的灰度值，n为各图像中的像素个数。

根据本发明一优选实施方式，利用图像中各像素的RGB值，计算图像相似度包括：

利用

或者，

计算图像A与图像B之间的图像相似度R；

其中，A_i为图像A第i个像素的RGB值之和，B_i为图像B第i个像素的RGB值之和，n为各图像中的像素个数。

根据本发明一优选实施方式，该方法还包括：

在当前测试条件下，获取不发生变化的连续X帧所述用户设备的屏幕图像；

将连续X帧所述用户设备的屏幕图像之间的图像相似度平均值，确定为所述相似度阈值；

所述X为预设的2以上的整数。

根据本发明一优选实施方式，在利用图像中各像素的RGB值，计算图像相似度时，

若图像A各像素的RGB值之和的平均值小于预设的第一阈值，且图像B各像素的RGB值之和的平均值小于所述第一阈值，则确定图像A和图像B的相似度大于或等于所述相似度阈值；或者，

若图像A和图像B中只有其中一个图像各像素的RGB值之和的平均值小于预设的第一阈值，则确定图像A和图像B的相似度小于所述相似度阈值。

如果所述获取的屏幕图像各像素的RGB值之和的平均值大于或等于第二阈值，则降低所述获取的屏幕图像的亮度；或者，

如果所述获取的屏幕图像各像素的RGB值之和的平均值小于或等于第三阈值的图像，则提高所述获取的屏幕图像的亮度；

所述第二阈值大于所述第三阈值。

根据本发明一优选实施方式，若利用所述

计算图像相似度，得到各帧图像与结果帧之间的相似度均大于或等于预设的相似度阈值，则利用所述

计算图像相似度，重新确定响应完成的首帧图像。

本发明还提供了一种响应时间的测试装置，该装置包括：

图像获取单元，用于获取连续捕捉的用户设备的屏幕图像，所述连续捕捉的屏幕图像至少包括从功能的触发时刻到响应完成时刻的屏幕图像；

首帧确定单元，用于将所述图像获取单元获取的屏幕图像的最后一帧作为结果帧，依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像；

响应确定单元，用于利用所述首帧确定单元确定出的图像对应的时刻与功能的触发时刻的差值，确定所述用户设备对所述功能的响应时间。

根据本发明一优选实施方式，所述图像获取单元，具体用于利用用户设备的截屏功能或者从屏幕的帧缓存器中获取屏幕图像；或者，获取摄像头捕捉的用户设备的屏幕图像。

根据本发明一优选实施方式，所述图像获取单元若获取摄像头捕捉的用户设备的屏幕图像，则具体用于：

根据本发明一优选实施方式，所述首帧确定单元具体包括：

相似度计算子单元，用于确定所述图像获取单元获取的屏幕图像中与所述结果帧的图像相似度大于或等于相似度阈值的图像帧；

首帧确定子单元，用于将所述相似度计算子单元确定出的图像帧中，与所述结果帧的时间差最大的图像帧作为响应完成的首帧图像。

根据本发明一优选实施方式，所述首帧确定单元具体包括：

图像划分子单元，用于将所述图像获取单元获取的屏幕图像均划分为M*N个子图像，所述M和N分别为正整数；

相似度计算子单元，用于分别计算各帧与所述结果帧中对应位置的子图像之间的图像相似度，分别确定与所述结果帧的各子图像之间的图像相似度大于或等于相似度阈值的子图像中，与结果帧的子图像的时间差最大的子图像；

首帧确定子单元，用于在所述相似度计算子单元确定出的各子图像中，确定与结果帧的时间差最小的子图像所在的图像帧。

根据本发明一优选实施方式，所述图像划分子单元，具体用于：

确定屏幕图像的大小以及图像中最小图标的大小；

根据本发明一优选实施方式，所述相似度计算子单元在计算图像相似度时，利用图像中各像素的灰度值，或者利用图像中各像素的三原色RGB值。

根据本发明一优选实施方式，所述相似度计算子单元在利用图像中各相似度的灰度值计算图像相似度时，具体执行：

利用

计算图像A与图像B之间的图像相似度R；

根据本发明一优选实施方式，所述相似度计算子单元在利用图像中各像素的RGB值计算图像相似度时，具体执行：

利用

或者，

计算图像A与图像B之间的图像相似度R；

根据本发明一优选实施方式，该装置还包括：

阈值确定单元，用于在当前测试条件下，触发所述图像获取单元获取不发生变化的连续X帧所述用户设备的屏幕图像，将连续X帧所述用户设备的屏幕图像之间的图像相似度平均值，确定为所述相似度阈值提供给所述相似度计算子单元；

所述X为预设的2以上的整数。

根据本发明一优选实施方式，所述相似度计算子单元在利用图像中各像素的RGB值计算图像相似度时，进一步用于：

所述第二阈值大于所述第三阈值。

根据本发明一优选实施方式，所述相似度计算子单元若利用所述

计算图像相似度，重新确定响应完成的首帧图像。

由以上技术方案可以看出，在本发明通过获取连续捕捉的用户设备的屏幕图像，从屏幕图像中确定出响应完成的首帧图像，并利用确定出的图像对应的时刻与功能的触发时刻的差值，确定用户设备对该功能的响应时间。无需人工查找响应完成的时刻，节约了人力成本，降低了人为因素对测试准确度的影响。

【附图说明】

图1为本发明所基于的测试系统的组成示意图；

图2为本发明实施例提供的主要方法流程图；

图3为本发明实施例提供的一种测试系统的组成示意图；

图4为本发明实施例提供的一个详细方法流程图；

图5为本发明实施例提供的一种测试装置的结构图；

图6为本发明实施例提供的另一种测试装置的结构图；

图7为本发明实施例提供的一系列屏幕图像中的关键帧实例图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

为了方便对本发明的理解，首先对本发明所基于的测试系统构成进行简单描述。如图1中所示，该测试系统可以包括待测试的用户设备、用于对该用户设备进行测试的PC以及PC所外接的辅助设备(例如摄像头，后续实施例将会涉及)。其中，PC上运行有对用户设备进行测试的软件，该软件即为本发明实施例提供的测试装置，用于执行本发明实施例所提供的测试方法。

其中，本发明实施例所涉及的用户设备可以包括但不限于：手机、平板电脑、智能电视、智能穿戴式设备、笔记本电脑、PC等。

图2为本发明实施例提供的主要方法流程图，如图2中所示，该方法可以主要包括以下步骤：

在201中，获取连续捕捉的用户设备的屏幕图像，该连续捕捉的屏幕图像至少包括从功能的触发时刻到响应完成时刻的屏幕图像。

在开始对待测试的用户设备进行响应时间的测试时，会对用户设备进行功能的触发。例如点击用户设备某应用界面上的功能按钮，会发生界面的跳转，所带来的就是屏幕图像的变更，当响应完毕后，应用界面不再发生变化，屏幕图像也相应地不再发生变化。因此，屏幕图像不再发生变化的第一帧即为响应完成的首帧图像。基于该理论，本发明的重点就在于确定响应完成的首帧图像。

在本步骤中，连续捕捉的用户设备的屏幕图像至少需要包括从功能的触发时刻到响应完成时刻的屏幕图像。在进行测试时，对用户设备的功能触发是由测试软件向用户设备发送模拟用户触发功能的命令进行的，如图1中所示的系统，PC在对用户设备进行测试时，会向用户设备发送触发功能的命令。由于不管是用户在触摸屏幕上的触摸事件还是用户通过鼠标或键盘所产生的操作事件，在系统层都会被等同于键盘事件，例如某按键的按下和抬起事件。因此，本发明实施例在对用户设备进行测试时，也可以将要测试的功能模拟为键盘事件，然后PC将触发相应的键盘事件的命令发送给用户设备执行。可以看出，功能触发时刻是容易确定的。

但响应完成时刻是未知的，在步骤中可以预先设置一个经验时长，例如通常用户设备对某个功能的响应时间大约为2s，最长也不会超过3s，那么就可以获取从功能触发时刻开始捕捉的3s时长的屏幕图像。其中经验时长的设置可以根据具体的用户设备、用户设备所使用的操作系统、功能所在的应用等多种因素综合考虑和确定。

本步骤中对于屏幕图像的捕捉方式可以采用但不限于以下两种：

第一种方式：利用用户设备的截屏功能或者从屏幕的帧缓存器中获取屏幕图像。这种方式能够获取非常清晰、无噪音和光线干扰的屏幕图片，但其产生的开销较大，可能会对响应时间的误差产生影响。在本发明实施例中优选第二种方式。

第二种方式：利用外部摄像头捕捉用户设备的屏幕图像。具体地，测试软件在向用户设备发送触发功能的命令时，向摄像头发送开始捕捉屏幕图像的命令，以便摄像头开始捕捉用户设备的屏幕图像；达到预设测试时长(即上述的经验时长)后，向摄像头发送停止捕捉屏幕图像的命令，获取摄像头捕捉的屏幕图像。

在202中，将获取的屏幕图像的最后一帧作为结束帧，依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像。

由于经验时长通常保证获取的屏幕图像完成了功能响应，那么获取的屏幕图像的最后一帧就是响应完成后屏幕图像不再发生变化的图像帧。基于在步骤201中所述的原理，依据各帧图像与结果帧的图像相似度以及时间差，可以确定响应完成的首帧图像。

具体地，可以采用但不限于以下两种方式：

第一种方式：确定获取的屏幕图像中与结果帧的图像相似度大于或等于相似度阈值的图像帧，这些确定的图像帧与结果帧的相似度很高，可以认为屏幕图像不再发生变化；然后将确定出的图像帧中，与结果帧的时间差最大的图像帧作为响应完成的首帧图像，也就是确定出屏幕图像不再发生变化的第一帧。

需要说明的是，在本发明实施例中是将与结果帧的时间差“最大”的图像帧确定为响应完成的首帧图像，但在该同一思想下，采用与结果帧的时间差“第二大”，或者“最大”之前的图像帧，等等故意绕过“最大”这一表述的其他技术方案，同样在本发明保护范围内。

另外，由于在功能响应时，有可能某些功能所引起的图像中仅有部分内容发生变化，为了更进一步提高准确度，可以采用下述第二种方式。

第二种方式：将获取的屏幕图像均划分为M*N个子图像，其中M和N分别为正整数；分别计算各帧与结果帧中对应位置的子图像之间的图像相似度；分别确定与结果帧的各子图像之间的图像相似度大于或等于相似度阈值的子图像中，与结果帧的子图像的时间差最大的子图像；在确定出的各子图像中，确定与结果帧的时间差最小的子图像所在的图像帧。

也就是说，将屏幕图像划分成子图像后，分别对子图像采用第一种方式分别确定出屏幕图像不再发生变化的第一帧子图像。然后从这些子图像中距离结果帧的时间最近的子图像所在图像帧可以看做所有子图像都不再发生变化的第一帧图像。

其中，屏幕图像的子图像划分可以依据屏幕图像的大小及图像中最小图标的大小来确定，具体将在后续实施例中描述。

另外，在计算图像相似度时，可以利用图像中各像素的灰度值的方式，例如采用余弦相似度的方式：

其中，R为图像A与图像B之间的图像相似度，A_i为图像A第i个像素的灰度值，B_i为图像B第i个像素的灰度值，n为各图像中的像素个数。R的值越大，说明图像之间的相似度越高。

对于噪音干扰程度较小的图片，公式(1)可以准确地判断图片之间的相似度。但对于诸如采用摄像头捕捉屏幕图像的方式，获取的图像容易受到外部环境的光照、用户设备的屏幕亮度、摄像头的设备噪声等干扰，如果采用公式(1)的方式，则准确性会受到影响。针对这种情况，可以利用图像中各像素的RGB(三原色，Red Green Blue)值进行图像相似度的计算，目前的屏幕大都是采用了RGB颜色标准，屏幕上的所有颜色，都由这红色绿色蓝色三种色光按照不同的比例混合而成的。一组红色绿色蓝色就是一个最小的显示单位，屏幕上的任何一个颜色都可以由一组RGB值来记录和表达，用英文表示就是R(red)、G(green)、B(blue)。在屏幕上，RGB的值可以表征亮度，并使用整数来表示。通常情况下，RGB各有256级亮度，用数字表示为从0、1、2...直到255。注意虽然数字最高是255，但0也是数值之一，因此共256级。利用RGB计算图像相似度时可以采用余弦相似度:

其中，R为图像A与图像B之间的图像相似度，A_i为图像A第i个像素的RGB值之和，B_i为图像B第i个像素的RGB值之和，n为各图像中的像素个数。

若外部条件较好造成图像之间相似度很高，利用公式(2)很难确定出响应完成的首帧图像，例如采用公式(2)计算各帧图像与结果帧之间的相似度阈值均大于或等于预设的相似度阈值，则可以利用如下公式(3)计算图像相似度：

R为图像A与图像B之间的图像相似度，A_i为图像A第i个像素的RGB值之和，B_i为图像B第i个像素的RGB值之和，n为各图像中的像素个数。

当采用公式(2)和公式(3)时，两者采用的相似度阈值可以分别设置成不同的值。

在203中，利用确定出的图像对应的时刻与功能的触发时刻的差值，确定用户设备对该功能的响应时间。

步骤202确定出的图像为响应完成的首帧，因此其对应的时刻即为响应完成的时刻，响应完成的时刻与功能的触发时刻的差值即为用户设备对该功能的响应时间。

下面以通过外部摄像头捕捉手机屏幕图像的方式，对手机的响应时间进行测试为例，对上述方法进行详细描述，对应的系统架构如图3所示。图4为本发明实施例提供的一个详细方法流程图，如图4所示，该方法可以具体包括以下步骤：

在401中，在当前测试条件下，获取摄像头对手机的应用界面连续捕捉到的X帧的屏幕图像，将该X帧用户设备的屏幕图像之间的图像相似度平均值，确定为相似度阈值，为预设的2以上的整数。

由于光线以及摄像头噪声等影响具有持续性，因此可以在相同测试条件下，首先通过连续采集相似的屏幕图像来确定相似度阈值。例如利用摄像头对手机的应用界面连续捕捉20帧屏幕图像，该过程中手机的应用界面保持不变。将这20帧图像之间的相似度平均值设置为后续所采用的相似度阈值。

需要说明的是，本步骤中计算图像相似度所采用的方式与后续测试过程中采用的图像相似度的计算方式相同。

在402中，向手机发送触发功能的命令的同时，向摄像头发送开始捕捉屏幕图像的命令。

当需要对手机某应用界面上的某个功能的响应时间进行测试时，运行于PC上的测试软件可以模拟出触发该功能的键盘事件，将该键盘事件的命令发送给手机执行，从而触发手机的对应功能。于此同时，向外部摄像头发送开始捕捉屏幕图像的命令，使得摄像头能够从手机的功能被触发时开始捕捉屏幕图像。当然，除了同时执行之外，也可以先向摄像头发送开始捕获屏幕图像的命令，再向手机发送触发功能的命令，使得摄像头至少能够捕捉到从手机功能被触发时刻开始的屏幕图像。

在403中，达到预设的测试时长后，向摄像头发送停止捕捉屏幕图像的命令，获取摄像头捕捉的屏幕图像。

鉴于经验，通常手机对于功能的响应在3s之内均能够完成，因此可以按照经验取测试时长为3s，到达3s时向摄像头发送命令，使摄像头停止捕捉屏幕图像命令，获取到的摄像头捕捉的屏幕图像就能够包括从功能触发时刻开始至响应完成时刻的屏幕图像。

将获取的屏幕图像进行存储，例如存于内存中，以便后续的计算过程。

在404中，依据屏幕图像的大小及图像中最小图标的大小，将获取的各屏幕图像划分为M*N个子图像，其中M和N分别为正整数。

这里对于屏幕图像的子图像划分可以由测试人员手工划分，例如由测试人员依据图像中最小图标的大小和屏幕图像的大小进行划分，使得每个子图像的大小大于或等于最小图标的大小，且接近于最小图标的大小。

另外，由于图标的大小通常比较固定，因此，可以预先基于常见的图标大小和屏幕大小，将屏幕图像的划分分为几个等级，例如10*10、8*8、6*6等，然后根据最小图标的大小和屏幕大小，适应性地选取对应的屏幕图像划分等级。

在405中，分别确定各帧中第j个子图像与结果帧中第j个子图像之间的图像相似度，确定与结果帧中第j个子图像之间的图像相似度大于或等于相似度阈值的子图像中，与结果帧的第j个子图像的时间差最大的子图像，j取1～M*N。

在406中，从步骤405确定出的子图像中，确定与结果帧的时间差最小的子图像所在的图像帧作为响应完成的首帧图像。

假设摄像头采集了300帧的屏幕图像，每个屏幕图像被分为6*6个子图像，那么对于一个屏幕图像中的第j个子图像而言，将除了结果帧之外的其他299个图像帧中的第j个子图像分别与结果帧中的第j个子图像计算图像相似度，假设确定出第200帧～第299帧的第j个子图像与结果帧的第j个子图像的相似度大于或等于相似度阈值，那么确定出第200帧的第j个子图像。由于j可以取1～36，因此采用相同的方式，共确定出36个子图像。然后从这36个子图像中确定与结果帧最近的子图像，该子图像所在的图像帧即为响应完成的首帧图像。

在步骤404中计算图像(子图像)之间的相似度时，可以采用上述公式(2)所示的方式：

以某帧中第j个子图像A与结果帧中第j个子图像B为例，在计算两个子图像之间的图像相似度R时，A_i为子图像A第i个像素的RGB值之和，假设第i个像素的RGB值为(100,155,135)，那么A_i＝100+155+135＝390，同理B_i为子图像B第i个像素的RGB之和，n为第j个子图像中的像素个数。

另外，如果图像属于暗黑图像，则对于图像的相关性计算影响很大，需要进行更进一步的自适应调节。例如，当图像A各像素的RGB值之和的平均值小于预设的第一阈值，例如小于50，并且图像B各像素的RGB值之和的平均值也小于预设的第一阈值(RGB值越小，说明图像越暗，RGB值越大，说明图像越亮)，说明图像A和图像B均为暗黑图像，可以直接确定图像A和图像B的相似度大于或等于上述的相似度阈值，即直接认为图像A和图像B很相似。

若图像A和图像B中只有一个图像各像素的RGB值之和的平均值小于预设的第一阈值，说明图像A中图像B中只有一个是暗黑图像，另外一个不是，那么可以直接认为图像A和图像B不相似，即两者相似度小于相似度阈值。

还存在一些情况，屏幕的亮度会影响图像相似度的计算准确性，因此，如果获取的屏幕图像各像素的RGB值之和的平均值大于或等于第二阈值，例如700，则降低获取的屏幕图像的整体亮度，例如将屏幕图像的整体亮度降低50个RGB值。如果获取的屏幕图像各像素的RGB值之和的平均值小于或等于第三阈值，第三阈值小于第二阈值，例如第三阈值取150，则可以提高获取的屏幕图像的整体亮度，例如将屏幕图像的整体亮度升高50个RGB值。然后，在升高亮度或降低亮度之后，再进行图像相似度的计算。

还存在一种情况，如果图像质量很好，当采用公式(2)计算图像相关性时，每幅图像之间的相似度都很高，有可能造成所有图像帧与结果帧之间的相似度均大于或等于预设的相似度阈值，无法确定出响应完成的首帧，那么可以采用上述的公式(3)，即标准差的方式来计算图像相似度。

在407中，利用406确定出的响应完成的首帧图像对应的时刻与功能触发时刻的时间差，确定手机对该功能的响应时间。

以上是对本发明所提供方法进行的详细描述，下面对本发明提供的装置进行详细描述，该装置可以体现为图1和图3中所示的PC中运行的测试软件。图5为本发明实施例提供的测试装置的结构图，如图5中所示，该装置可以包括：图像获取单元10、首帧确定单元20和响应确定单元30，还可以进一步包括阈值确定单元00。各组成单元的主要功能如下：

图像获取单元10负责获取连续捕捉的用户设备的屏幕图像，连续捕捉的屏幕图像至少包括从功能的触发时刻到响应完成时刻的屏幕图像。其中，可以采用但不限于以下两种方式：

第一种方式：利用用户设备的截屏功能或者从屏幕的帧缓存器中获取屏幕图像。

第二种方式：获取摄像头捕捉的用户设备的屏幕图像。当采用这种方式时，可以在向用户设备发送触发功能的命令时，向摄像头发送开始捕捉屏幕图像的命令，以便摄像头开始捕捉用户设备的屏幕图像；达到预设测试时长后，向摄像头发送停止捕捉屏幕图像的命令，获取摄像头捕捉的屏幕图像，其中上述的测试时长可以采用经验值。

首帧确定单元20负责将图像获取单元10获取的屏幕图像的最后一帧作为结果帧，依据各帧图像与结果帧的图像相似度以及时间差，确定响应完成的首帧图像。其中首帧确定单元20依据实现方式的不同可以采用以下两种结构：

第一种结构如图5中所示，首帧确定单元20可以具体包括相似度计算子单元21和首帧确定子单元22。

相似度计算子单元21负责确定图像获取单元10获取的屏幕图像中与结果帧的图像相似度大于或等于相似度阈值的图像帧。

首帧确定子单元22负责将相似度计算子单元21确定出的图像帧中，与结果帧的时间差最大的图像帧作为响应完成的首帧图像。

第二种结构如图6中所示，首帧确定单元20可以具体包括：图像划分子单元23、相似度计算子单元24和首帧确定子单元25。

图像划分子单元23负责将图像获取单元10获取的屏幕图像均划分为M*N个子图像，M和N分别为正整数。具体地，可以首先确定屏幕图像的大小以及图像中最小图标的大小；然后将各屏幕图像均划分为M*N个子图像，其中子图像大小的确定以最小图标的大小为依据。

相似度计算子单元24负责分别计算各帧与结果帧中对应位置的子图像之间的图像相似度，分别确定与结果帧的各子图像之间的图像相似度大于或等于相似度阈值的子图像中，与结果帧的子图像的时间差最大的子图像。

首帧确定子单元25负责在相似度计算子单元确定出的各子图像中，确定与结果帧的时间差最小的子图像所在的图像帧。

无论采用哪种结构，相似度计算子单元21或相似度计算子单元24在计算图像相似度时，可以利用图像中各像素的灰度值，或者利用图像中各像素的三原色RGB值。

具体地，相似度计算子单元21或相似度计算子单元24在利用图像中各相似度的灰度值计算图像相似度时，可以具体执行：

利用

计算图像A与图像B之间的图像相似度R；

相似度计算子单元21或相似度计算子单元24在利用图像中各像素的RGB值计算图像相似度时，可以具体执行：

利用

或者，

计算图像A与图像B之间的图像相似度R；

为了自适应地确定相似度阈值，提高准确性，阈值确定单元00可以在当前测试条件下，触发图像获取单元10获取不发生变化的连续X帧用户设备的屏幕图像，将连续X帧用户设备的屏幕图像之间的图像相似度平均值，确定为相似度阈值提供给相似度计算子单元21或相似度计算子单元24。其中，X为预设的2以上的整数，例如取20。

更进一步地，为了降低环境光线、用户设备自身屏幕亮度以及摄像头噪声等干扰，提高准确性，相似度计算子单元21或相似度计算子单元24在利用图像中各像素的RGB值计算图像相似度时，可以进一步执行：

若图像A各像素的RGB值之和的平均值小于预设的第一阈值，且图像B各像素的RGB值之和的平均值小于第一阈值，则确定图像A和图像B的相似度大于或等于相似度阈值。

若图像A和图像B中只有其中一个图像各像素的RGB值之和的平均值小于预设的第一阈值，则确定图像A和图像B的相似度小于相似度阈值。

另外相似度计算子单元21或相似度计算子单元24在利用图像中各像素的RGB值计算图像相似度时，可以进一步执行：

如果获取的屏幕图像各像素的RGB值之和的平均值大于或等于第二阈值，则降低获取的屏幕图像的亮度，之后再进行图像相似度的计算。

如果获取的屏幕图像各像素的RGB值之和的平均值小于或等于第三阈值的图像，则提高获取的屏幕图像的亮度，之后再进行图像相似度的计算。其中，上述第二阈值大于第三阈值。

作为一种优选的实施方式，若相似度计算子单元21或相似度计算子单元24利用

这种余弦相似度的方式计算图像相似度，得到各帧图像与结果帧之间的相似度均大于或等于预设的相似度阈值，则可以利用

这种标准差的方式计算图像相似度，重新确定响应完成的首帧图像。

响应确定单元30负责利用首帧确定单元20确定出的图像对应的时刻与功能的触发时刻的差值，确定用户设备对功能的响应时间。

基于本发明实施例提供的上述方法和装置，举一个实例。图7为摄像头捕捉到的一系列屏幕图像中的一些关键帧，图7中的(a)图示出的是刚模拟触发拨号盘的图像帧，图7中的(b)、(c)和(d)为手机在响应过程中屏幕图像的渐变过程，从(d)开始屏幕图像不再发生变化，图7中的(e)为捕捉到的屏幕图像中的最后一帧。在测试过程中，将(e)作为结果帧，分别计算其他各帧与结果帧的图像相似度，从与结果帧的图像相似度大于或等于相似度阈值的各图像帧中，选择与结果帧的时间差最大的图像帧，即确定出(d)对应的图像帧为响应完成的首帧。然后利用(d)与(a)的时间差确定出该手机对于拨号盘的响应时间。

除了可以实现对手机的功能响应时间测试之外，还可以用于实现对诸如平板电脑，具有显示屏幕的智能电视、智能手表等智能设备，笔记本电脑、PC等的功能响应时间测试。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。