CN115658410A - 测试电子设备触摸屏流畅度的方法、系统及存储介质 - Google Patents

Abstract

本发明涉及电子技术领域，具体涉及一种测试电子设备触摸屏流畅度的方法、系统及存储介质，旨在解决拍摄图像中有水波纹时测试屏幕流畅度的方法。本发明的测试方法包括：获取电子设备的屏幕滑动图像，组成第一图像序列；计算第一图像序列中最后M帧静止图像的差分图，进而判断第一图像序列中是否存在水波纹；若存在水波纹，则对第一图像序列进行消除水波纹的处理；提取第一图像序列中每幅图像的感兴趣区域，按时间顺序组成第二图像序列；计算出第二图像序列中每幅图像和最后一幅图像的差分图，组成第一差分图序列；根据第一差分图序列判断屏幕的滑动图像是否发生卡顿。采用本发明的方法，在有水波纹存在情况下依然可以进行屏幕流畅度测试。

Description

测试电子设备触摸屏流畅度的方法、系统及存储介质

技术领域

本发明涉及电子技术领域，具体涉及一种测试电子设备触摸屏流畅度的方法、系统及存储介质。

背景技术

随着电子设备的不断升级换代，用户在使用手机等终端电子设备时，越来越关注设备的流畅度。因此，在产品研发过程中，流畅度测试至关重要。

目前的流畅度检测方法，通常是通过高帧相机对显示内容进行拍摄，然后对比图像序列来判断是否出现卡顿的情况，从而得出流畅度指标数据。

上述方法在LCD（Liquid Crystal Display ，液晶显示）屏幕材质的电子设备上测试时没有问题，但是电子设备屏幕正逐步被替换为OLED（Organic Light-Emitting Diode，有机电激光显示）屏幕，由于OLED屏幕灰度调节是通过PWM（Pulse Width Modulation，脉冲宽度调制）控制像素发光时间来实现，显示画面按照一定频率刷新，相机摄像头扫描频率较高，可以识别此现象，因此拍摄的屏幕图像中会有水波纹。由于这些水波纹并不是固定出现在拍摄图像中，拍摄频率不同或手机不同，拍摄得到的水波纹宽度和变化频率都不相同，直接影响到图像之间的对比，使得之前的方法失效。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种测试电子设备触摸屏流畅度的方法、系统及存储介质，在有水波纹存在情况下依然可以进行屏幕流畅度测试。

本发明的第一方面，提出一种测试电子设备触摸屏流畅度的方法，所述方法包括：

获取电子设备的屏幕滑动图像，组成第一图像序列；所述第一图像序列包括所述屏幕开始滑动至滑动结束之后预设时长的图像；

计算所述第一图像序列中最后M帧静止图像的差分图，进而判断所述第一图像序列中是否存在水波纹；

若存在水波纹，则对所述第一图像序列进行消除水波纹的处理；

提取所述第一图像序列中每幅图像的感兴趣区域，按时间顺序组成第二图像序列；

计算出所述第二图像序列中每幅图像和最后一幅图像的差分图，组成第一差分图序列；

根据所述第一差分图序列判断所述屏幕的滑动图像是否发生卡顿；

其中，M为预设值，所述感兴趣区域为预先设定的图像区域。

优选地，所述获取电子设备的屏幕滑动图像，组成第一图像序列，包括：

向相机发送开始拍摄的指令，并开始接收所述相机拍摄的电子设备的屏幕图像；

向机械手发送滑动操作指令，以使所述机械手对所述电子设备的屏幕进行滑动操作；

等待预设的拍摄时长，向所述相机发送停止拍摄的指令；

取所述滑动操作指令发出时起至所述停止拍摄的指令发出时止拍摄到的图像，组成所述第一图像序列。

优选地，所述计算所述第一图像序列中最后M帧静止图像的差分图，进而判断所述第一图像序列中是否存在水波纹，包括：

对所述第一图像序列中最后M帧静止图像计算出每一帧与前一帧各像素点灰度差的绝对值，从而得到第二差分图序列；

对所述第二差分图序列中的各差分图分别进行二值化处理，并分别计算每个灰度值为1的连通域中所包含的像素点个数，将像素点个数小于预设值P的所述连通域中各像素的灰度值均置0，从而得到第三差分图序列；

对所述第三差分图序列，分别计算每一幅差分图中灰度为1的像素点总个数；

若所述第三差分图序列中任意一幅差分图中计算出的所述像素点总个数超过预设值Q，则确认所述第一图像序列中存在水波纹。

优选地，所述对所述第一图像序列进行消除水波纹的处理，包括：

计算所述M帧静止图像的差分图，并计算出每幅差分图的灰度直方图；

对每个所述直方图，找到数量超过预设阈值N的灰度值；

将所有所述直方图中找到的数量超过所述预设阈值N的灰度值进行比较，得到最大灰度值；

根据所述最大灰度值，对所述第一图像序列中每幅图像的所述感兴趣区域进行消除水波纹的处理。

优选地，所述根据所述最大灰度值，对所述第一图像序列中每幅图像的所述感兴趣区域进行消除水波纹的处理，包括：

若所述第一图像序列中图像坐标系x轴与所述屏幕坐标系x轴互相平行/垂直，则

取所述第一图像序列中最后一幅图像的所述感兴趣区域作为模板，与所述第一图像序列中每幅图像的所述感兴趣区域进行逐行/列比较，若某列的灰度均值之差的绝对值D超过了所述最大灰度值，则将该行/列数据灰度统一减小所述绝对值D，从而对所述第一图像序列进行更新。

优选地，所述根据所述第一差分图序列判断是否发生卡顿，包括：

计算所述第一差分图序列中每幅差分图中像素点灰度的加权和，作为该差分图的特征值；

取所述第一差分图序列中最后M幅差分图特征值的最大值作为判断阈值T；

在所述第一差分图序列中，从后往前找到特征值大于所述阈值T的第一个差分图，将该差分图视为屏幕图像变化的结束点；

在所述第一差分图序列中，从第一幅到所述结束点逐一判断相邻两幅差分图的特征值的差值绝对值是否小于预设的阈值Y；若是，则标记为1，否则，标记为0，从而形成一个二进制序列；

若所述二进制序列中有超过K个连续的1，则判断为所述电子设备发生屏幕卡顿；

其中，K为所述第一图像序列的帧率除以所述屏幕的显示帧率并取整。

优选地，所述方法还包括：

若所述屏幕的滑动图像发生卡顿，则按照下式计算卡顿帧数：

num = total/K

其中，num表示卡顿帧数，total表示所述二进制序列中连续为的1数量。

优选地，所述电子设备的屏幕材质包括：OLED、LCD或TFT（Thin Film Transistor，薄膜晶体管）；

所述电子设备的屏幕坐标系x轴与所述相机拍摄的图像坐标系x轴呈互相平行或垂直的关系。

本发明的第二方面，提出一种测试电子设备触摸屏流畅度的系统，所述系统包括：

测试模块，用于根据上面所述的方法对电子设备的触摸屏进行流畅度测试；

相机，用于根据所述测试模块的指令拍摄所述电子设备的屏幕图像；

机械手，用于根据所述测试模块的指令对所述电子设备的屏幕进行滑动操作。

本发明的第三方面，提出一种计算机可读存储介质，存储有能够被处理器加载并执行如上面所述方法的计算机程序。

与最接近的现有技术相比，本发明具有如下有益效果：

本发明通过计算第一图像序列中最后M帧静止图像的差分图，进而判断第一图像序列中是否存在水波纹；然后在最后M帧静止图像的差分图中求出一个数量超过预设阈值N的最大灰度值；最后根据这个最大灰度值，对第一图像序列中每幅图像的感兴趣区域进行消除水波纹的处理。通过上述操作，本发明可以有效地消除水波纹的影响，进而完成对OLED屏的流畅度测试。另外，对于没有水波纹的LCD等屏幕，本发明同样适用。

附图说明

图1是本发明测试电子设备触摸屏流畅度的方法实施例一的主要步骤示意图；

图2是本发明测试电子设备触摸屏流畅度的方法实施例二的主要步骤示意图；

图3是本发明测试电子设备触摸屏流畅度的系统实施例的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明的描述中，术语“第一”、“第二”仅仅是为了便于描述，而不是指示或暗示所述装置、元件或参数的相对重要性，因此不能理解为对本发明的限制。另外，本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

图1是本发明测试电子设备触摸屏流畅度的方法实施例一的主要步骤示意图。如图1所示，本实施例的测试方法包括步骤A10-A60：

步骤A10，获取电子设备的屏幕滑动图像，组成第一图像序列，该第一图像序列包括屏幕开始滑动至滑动结束之后预设时长的图像。

步骤A20，计算第一图像序列中最后M帧静止图像的差分图，进而判断第一图像序列中是否存在水波纹。

因为上面步骤中采集的图像包括了滑动结束之后预设时长的图像，因此，第一图像序列的最后必定包含有一部分静止图像，判断相邻静止图像之间的差异（即差分图）是否较大，即可知道图像中是否存在水波纹。其中，预设时长*拍摄帧率≥M。

本实施例中，预设时长为3-10秒，相机拍摄频率为

步骤A30，若存在水波纹，则对第一图像序列进行消除水波纹的处理，否则直接进入步骤A40。

步骤A40，提取第一图像序列中每幅图像的感兴趣区域，按时间顺序组成第二图像序列。

步骤A50，计算出第二图像序列中每幅图像和最后一幅图像的差分图，组成第一差分图序列。

步骤A60，根据第一差分图序列判断屏幕的滑动图像是否发生卡顿。

其中，M为预设值，感兴趣区域为预先设定的图像区域，可以根据屏幕的尺寸和测试时的具体画面等来设定，选取滑动时变化较为明显的区域。例如，当针对手机联系人列表进行滑动操作时，图像变化主要集中屏幕左半部分，右半部分基本不变，这时可以选择屏幕左半部分的区域作为感兴趣区域。

在一种可选的实施例中，步骤A10中获取电子设备的屏幕滑动图像组成第一图像序列的步骤可以具体包括步骤A11-A14：

步骤A11，向相机发送开始拍摄的指令，并开始接收相机拍摄的电子设备的屏幕图像。

本实施例中，电子设备的屏幕材质包括：OLED、LCD或TFT等。事先固定相机与电子设备，将电子设备的屏幕相对于相机纵向放置或横向放置，屏幕所在平面刚好为相机的焦点平面，使得电子设备的屏幕坐标系x轴与相机拍摄的图像坐标系x轴呈互相平行或垂直的关系。

步骤A12，向机械手发送滑动操作指令，以使机械手对电子设备的屏幕进行滑动操作。

步骤A13，等待预设的拍摄时长，向相机发送停止拍摄的指令。

步骤A14，取滑动操作指令发出时起至停止拍摄的指令发出时止拍摄到的图像，组成第一图像序列。

具体地，可以先记录滑动操作指令发出时拍摄到的图像帧号f1，待停止拍摄后，将f1开始到最后结束时拍摄的全部图像组成第一图像序列。

在一种可选的实施例中，步骤A20中判断第一图像序列中是否存在水波纹的步骤可以具体包括步骤A21-A24：

步骤A21，对第一图像序列中最后M帧静止图像计算出每一帧与前一帧各像素点灰度差的绝对值，从而得到第二差分图序列。相机

需要说明的是，本发明所有差分图取的都是灰度差的绝对值。

步骤A22，对第二差分图序列中的各差分图分别进行二值化处理，并分别计算每个灰度值为1的连通域中所包含的像素点个数，将像素点个数小于预设值P的连通域中各像素的灰度值均置0，从而得到第三差分图序列。

具体地，二值化处理的具体方法可以为：预先设定一个灰度阈值，对第二差分图序列中的每幅差分图做如下处理：将每幅差分图中灰度值大于或等于该灰度阈值的像素点灰度值全部设置为1，其余像素点灰度值全部置为0，从而完成二值化处理。

本步骤中将像素点个数小于预设值P的连通域中各像素的灰度值均置0是为了去除噪声点。那么剩下的每个灰度值为1的连通域都有可能是由水波纹引起的。

步骤A23，对所述第三差分图序列，分别计算每一幅差分图中灰度为1的像素点总个数。

步骤A24，若第三差分图序列中任意一幅差分图中计算出的像素点总个数超过预设值Q，则确认第一图像序列中存在水波纹。

将每一幅差分图中灰度值为1的像素点总个数与预设值Q进行比较，如果小于这个预设值Q，认为是噪声或少量水波纹，不会影响本发明测试结果，不需要处理；如果超过这个预设值Q就认为一定存在水波纹，而且需要进行消除水波纹的操作，然后才能进行后续的计算。

在一种可选的实施例中，步骤A30中对第一图像序列进行消除水波纹的处理，可以具体包括步骤A31-A34：

步骤A31，计算M帧静止图像的差分图，并计算出每幅差分图的灰度直方图。

步骤A32，对每个直方图，找到数量超过预设阈值N的灰度值。

步骤A33，将所有直方图中找到的数量超过预设阈值N的灰度值进行比较，得到最大灰度值。

步骤A34，根据最大灰度值，对第一图像序列中每幅图像的感兴趣区域进行消除水波纹的处理。

具体地，若第一图像序列中图像坐标系x轴与屏幕坐标系x轴互相平行/垂直，则取第一图像序列中最后一幅图像的感兴趣区域作为模板，与第一图像序列中每幅图像的感兴趣区域进行逐行/列比较，若某列的灰度均值之差的绝对值D超过了最大灰度值，则将该行/列数据灰度统一减小绝对值D，从而对第一图像序列进行更新。

以手机为例，如果拍摄时手机纵向放置，那么第一图像序列中图像坐标系x轴与屏幕坐标系x轴互相平行，因为水波纹是横向的，那么消除水波纹的操作就需要“逐行”进行。反之，如果手机横向放置，则两个坐标系互相垂直，消除水波纹的操作需要“逐列”进行。

在一种可选的实施例中，步骤A60中判断是否发生卡顿，可以具体包括步骤A61-A65：

步骤A61，计算第一差分图序列中每幅差分图中像素点灰度的加权和，作为该差分图的特征值。这里的权重可以根据经验设定。

步骤A62，取第一差分图序列中最后M幅差分图特征值的最大值作为判断阈值T。若T为0，则取0.0001。

步骤A63，在第一差分图序列中，从后往前找到特征值大于阈值T的第一个差分图，将该差分图视为屏幕图像变化的结束点。

步骤A64，在第一差分图序列中，从第一幅到结束点逐一判断相邻两幅差分图的特征值的差值绝对值是否小于预设的阈值Y；若是，则标记为1，否则，标记为0，从而形成一个二进制序列。

步骤A65，若二进制序列中有超过K个连续的1，则判断为电子设备发生屏幕卡顿。

其中，K为第一图像序列的帧率（即相机的拍摄帧率）除以所述屏幕的显示帧率并取整。本实施例中，相机帧率为屏幕显示帧率的4倍，所以K=4。

图2是本发明测试电子设备触摸屏流畅度的方法实施例二的主要步骤示意图。如图2所示，本实施例的测试方法包括步骤B10-B70：

其中，步骤B10-B60与上面实施例一中的步骤A10-A60对应相同，此处不再赘述。

步骤B70，若屏幕的滑动图像发生卡顿，则按照公式（1）所示的方法计算卡顿帧数：

num = total/K （1）

其中，num表示卡顿帧数（取整数），total表示二进制序列中连续为的1数量。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

进一步地，与上述方法实施例基于同样的技术构思，本发明还提供了一种系统实施例，下面进行简要介绍。

图3是本发明的测试电子设备触摸屏流畅度的系统实施例的主要结构示意图。如图3所示，本实施例的系统100包括：测试模块110、相机120和机械手130。

其中，测试模块110用于根据上面所述的方法对电子设备200的触摸屏进行流畅度测试；相机120用于根据测试模块的指令拍摄电子设备200的屏幕图像；机械手130用于根据测试模块的指令对电子设备200的屏幕进行滑动操作。

更进一步地，本发明还提供了一种计算机可读存储介质的实施例。本实施例的存储介质中存储有能够被处理器加载并执行如上面所述方法的计算机程序。

计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案。但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种测试电子设备触摸屏流畅度的方法，其特征在于，所述方法包括：

获取电子设备的屏幕滑动图像，组成第一图像序列；所述第一图像序列包括所述屏幕开始滑动至滑动结束之后预设时长的图像；

计算所述第一图像序列中最后M帧静止图像的差分图，进而判断所述第一图像序列中是否存在水波纹；

若存在水波纹，则对所述第一图像序列进行消除水波纹的处理；

提取所述第一图像序列中每幅图像的感兴趣区域，按时间顺序组成第二图像序列；

计算出所述第二图像序列中每幅图像和最后一幅图像的差分图，组成第一差分图序列；

根据所述第一差分图序列判断所述屏幕的滑动图像是否发生卡顿；

其中，M为预设值，所述感兴趣区域为预先设定的图像区域。

2.根据权利要求1所述的测试电子设备触摸屏流畅度的方法，其特征在于，所述获取电子设备的屏幕滑动图像，组成第一图像序列，包括：

向相机发送开始拍摄的指令，并开始接收所述相机拍摄的电子设备的屏幕图像；

向机械手发送滑动操作指令，以使所述机械手对所述电子设备的屏幕进行滑动操作；

等待预设的拍摄时长，向所述相机发送停止拍摄的指令；

取所述滑动操作指令发出时起至所述停止拍摄的指令发出时止拍摄到的图像，组成所述第一图像序列。

3.根据权利要求1所述的测试电子设备触摸屏流畅度的方法，其特征在于，所述计算所述第一图像序列中最后M帧静止图像的差分图，进而判断所述第一图像序列中是否存在水波纹，包括：

对所述第一图像序列中最后M帧静止图像计算出每一帧与前一帧各像素点灰度差的绝对值，从而得到第二差分图序列；

对所述第二差分图序列中的各差分图分别进行二值化处理，并分别计算每个灰度值为1的连通域中所包含的像素点个数，将像素点个数小于预设值P的所述连通域中各像素的灰度值均置0，从而得到第三差分图序列；

对所述第三差分图序列，分别计算每一幅差分图中灰度为1的像素点总个数；

若所述第三差分图序列中任意一幅差分图中计算出的所述像素点总个数超过预设值Q，则确认所述第一图像序列中存在水波纹。

4.根据权利要求1所述的测试电子设备触摸屏流畅度的方法，其特征在于，所述对所述第一图像序列进行消除水波纹的处理，包括：

计算所述M帧静止图像的差分图，并计算出每幅差分图的灰度直方图；

对每个所述直方图，找到数量超过预设阈值N的灰度值；

将所有所述直方图中找到的数量超过所述预设阈值N的灰度值进行比较，得到最大灰度值；

根据所述最大灰度值，对所述第一图像序列中每幅图像的所述感兴趣区域进行消除水波纹的处理。

5.根据权利要求4所述的测试电子设备触摸屏流畅度的方法，其特征在于，

所述根据所述最大灰度值，对所述第一图像序列中每幅图像的所述感兴趣区域进行消除水波纹的处理，包括：

若所述第一图像序列中图像坐标系x轴与所述屏幕坐标系x轴互相平行/垂直，则

取所述第一图像序列中最后一幅图像的所述感兴趣区域作为模板，与所述第一图像序列中每幅图像的所述感兴趣区域进行逐行/列比较，若某列的灰度均值之差的绝对值D超过了所述最大灰度值，则将该行/列数据灰度统一减小所述绝对值D，从而对所述第一图像序列进行更新。

6.根据权利要求1所述的测试电子设备触摸屏流畅度的方法，其特征在于，所述根据所述第一差分图序列判断是否发生卡顿，包括：

计算所述第一差分图序列中每幅差分图中像素点灰度的加权和，作为该差分图的特征值；

取所述第一差分图序列中最后M幅差分图特征值的最大值作为判断阈值T；

在所述第一差分图序列中，从后往前找到特征值大于所述阈值T的第一个差分图，将该差分图视为屏幕图像变化的结束点；

在所述第一差分图序列中，从第一幅到所述结束点逐一判断相邻两幅差分图的特征值的差值绝对值是否小于预设的阈值Y；若是，则标记为1，否则，标记为0，从而形成一个二进制序列；

若所述二进制序列中有超过K个连续的1，则判断为所述电子设备发生屏幕卡顿；

其中，K为所述第一图像序列的帧率除以所述屏幕的显示帧率并取整。

7.根据权利要求6所述的测试电子设备触摸屏流畅度的方法，其特征在于，所述方法还包括：

若所述屏幕的滑动图像发生卡顿，则按照下式计算卡顿帧数：

num = total/K

其中，num表示卡顿帧数，total表示所述二进制序列中连续为的1数量。

8.根据权利要求2所述的测试电子设备触摸屏流畅度的方法，其特征在于，

所述电子设备的屏幕材质包括：OLED、LCD或TFT；

所述电子设备的屏幕坐标系x轴与所述相机拍摄的图像坐标系x轴呈互相平行或垂直的关系。

9.一种测试电子设备触摸屏流畅度的系统，其特征在于，所述系统包括：

测试模块，用于根据权利要求1-8中任一项所述的方法对电子设备的触摸屏进行流畅度测试；

相机，用于根据所述测试模块的指令拍摄所述电子设备的屏幕图像；

机械手，用于根据所述测试模块的指令对所述电子设备的屏幕进行滑动操作。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-8中任一项所述方法的计算机程序。

Images