CN113141433B - 测试屏幕灵敏度的方法、装置和处理器 - Google Patents

Abstract

本发明公开了一种测试屏幕灵敏度的方法、装置和处理器。其中，该方法包括：采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域；对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。本发明解决了现有的屏幕灵敏度测试存在测试效率低的技术问题。

Description

测试屏幕灵敏度的方法、装置和处理器

技术领域

本发明涉及终端测试领域，具体而言，涉及一种测试屏幕灵敏度的方法、装置和处理器。

背景技术

在移动端智能设备普及的时代，越来越多的移动设备(例如，手机、平板电脑等)的应用程序出现在我们的生活中，用户对于应用程序(例如，App，手游等)的响应速度要求也越来越高。其中，屏幕灵敏度是反映应用程序响应速度的重要性能指标，屏幕灵敏度通常通过测试人员在移动设备的应用界面上进行点击的时刻与应用程序响应本次点击的响应时刻之间的时间差来确定的。

现有的屏幕灵敏度的测试方法主要包括以下两种：

方法一：使用高速摄像机拍摄人工操作移动设备的过程，并按照预设帧率获取多帧图片，再通过人工观察图像的方式，确定应用界面点击图像和应用界面响应图像，然后通过人工数图像的方式，确定点击时刻和响应时刻之间的图像数量，并进行灵敏度换算，得到该移动设备的屏幕灵敏度。

方法二：通过录制操作视频，采用视频和图像处理技术相结合的方式自动分析视频，并取出每帧图像，对每帧图像进行目标识别或图像相似度计算，通过相关的技术手段自动获取应用界面响应的响应时刻，最后结合人工确定的应用界面的点击时刻，计算得到点击时刻和响应时刻之间的时间差，进行灵敏度换算后得到该移动设备的屏幕灵敏度。

然而，方法一虽然能够得到准确的测试结果，但自动化程度较低，而且人工数图像的效率也比较低，从而降低了屏幕灵敏度的测试效率。方法二仅部分实现了用户界面响应时刻的自动捕捉，并未包含用户界面的点击时刻，而且在包含复杂用户界面的游戏应用中，通过图片整体的相似度计算或者深度学习模型进行目标识别都不足于准确捕捉到用户界面响应时刻的画面，准确率较低，而且还存在与第一种方法中人工测试的结果不一致问题。此外，在方法二中，对于不同测试场景，需要准备不同的目标图片，配置繁琐，通用性不高，难以覆盖大部分的测试场景。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种测试屏幕灵敏度的方法、装置和处理器，以至少解决现有的屏幕灵敏度测试存在测试效率低的技术问题。

根据本发明实施例的一个方面，提供了一种测试屏幕灵敏度的方法，包括：采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域；对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。

进一步地，测试屏幕灵敏度的方法还包括：检测显示灯以及待检测屏幕的相对位置是否满足预设条件；在相对位置满足预设条件的情况下，控制图像采集设备对连续多帧的视频图像进行采集；在待检测屏幕完成响应的时长大于或等于预设时长之后，控制图像采集设备采集下一帧视频图像。

进一步地，测试屏幕灵敏度的方法还包括：在采集待检测屏幕的连续多帧的视频图像之后，获取连续多帧的视频图像中的每帧视频图像；确定每帧视频图像中的显示灯区域和每帧视频图像中的响应区域。

进一步地，测试屏幕灵敏度的方法还包括：获取第一预设视频图像以及显示灯模板图像，其中，第一预设视频图像为连续多帧的视频图像中的任意一帧图像；确定第一预设视频图像中的显示灯区域对应的第一区域以及响应区域对应的第二区域；根据显示灯模板图像和第一区域的第一位置确定每帧视频图像中的显示灯区域；根据第二区域的第二位置确定每帧视频图像中的响应区域。

进一步地，测试屏幕灵敏度的方法还包括：确定当前帧视频图像中与显示灯模板图像匹配的匹配区域；计算匹配区域与显示灯模板图像之间的第一相似度；在第一相似度大于预设相似度的情况下，根据匹配区域在当前帧视频图像中的位置信息确定当前帧视频图像的显示灯区域；在第一相似度小于或等于预设相似度的情况下，根据第一区域的第一位置确定当前帧视频图像的显示灯区域。

进一步地，测试屏幕灵敏度的方法还包括：计算当前帧视频图像的显示灯区域的平均亮度；在平均亮度大于预设亮度阈值的情况下，记录当前帧视频图像的第一帧标识。

进一步地，测试屏幕灵敏度的方法还包括：计算预设数量的视频图像之间的相似度变化值，其中，预设数量的视频图像对应的帧标识大于第一帧标识；在相似度变化值小于预设变化值的情况下，根据第二位置确定第二预设视频图像中的响应区域，生成基准图像，其中，第二预设视频图像为预设数量的视频图像中的任意一帧图像；计算基准图像与每帧视频图像的响应区域之间的第二相似度，以及基准图像与每帧视频图像的响应区域之间的颜色模型；根据第二相似度以及颜色模型确定响应图像的第二帧标识。

进一步地，测试屏幕灵敏度的方法还包括：计算第一帧图像的相似度与第二帧图像的相似度的差值，得到相似度差值，其中，第一帧图像与第二帧图像为相邻的图像，并且，第二帧图像对应的帧标识大于第一帧图像对应的帧标识；计算第一帧图像的颜色模型与第二帧图像的颜色模型的差值，得到颜色模型差值；在相似度差值大于预设相似度差值，并且，颜色模型差值大于预设颜色模型差值的情况下，确定第二帧图像对应的帧标识为第二帧标识。

进一步地，测试屏幕灵敏度的方法还包括：计算第一帧标识与第二帧标识之间的帧差；对帧差进行修正，得到修正后的帧差；对修正后的帧差进行帧率换算，得到灵敏度。

进一步地，测试屏幕灵敏度的方法还包括：在待检测屏幕接收到点击操作之后，检测在预设时长内是否采集到响应图像；如果在预设时长内未采集到响应图像，则确定第一帧标识为无效帧标识。

进一步地，测试屏幕灵敏度的方法还包括：在根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度之后，获取灵敏度集合，其中，灵敏度集合包括多个灵敏度；从灵敏度集合中剔除异常灵敏度，得到校正后的灵敏度集合；计算校正后的灵敏度集合的平均值，得到目标灵敏度。

进一步地，测试屏幕灵敏度的方法还包括：在当前灵敏度大于预设阈值时，确定当前灵敏度为异常灵敏度；或者；计算当前灵敏度与其他灵敏度的差值，在差值大于预设差值时，确定当前灵敏度为异常灵敏度。

根据本发明实施例的另一方面，还提供了一种测试屏幕灵敏度的装置，包括：采集模块，用于采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域；第一检测模块，用于对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；第二检测模块，用于对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；计算模块，用于根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的测试屏幕灵敏度的方法。

根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序被设置为运行时执行上述的测试屏幕灵敏度的方法。

在本发明实施例中，采用自动确定点击时刻和响应时刻的方式，在采集到连续多帧的视频图像之后，通过对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，并对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，最后，根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域，点击图像为待检测屏幕接收到的点击操作的图像，响应图像为待检测屏幕响应点击操作的图像。

在上述过程中，第一帧标识表征了点击操作对应的点击时刻，第二帧标识表征了待检测屏幕响应点击操作所对应的响应时刻，第一帧标识和第二帧标识是通过视频图像录制的方式确定的，该过程无需人工参与，不仅提高了屏幕灵敏度的测试效率，还保证了测试结果的准确性和可靠性。此外，本申请所提供的方案可应用到多种测试场景中，具有通用性。

由此可见，本申请所提供的方案达到了对屏幕灵敏度进行测试的目的，从而实现了提高屏幕灵敏度的测试效率的技术效果，进而解决了现有的屏幕灵敏度测试存在测试效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种测试屏幕灵敏度的方法流程图；

图2是根据本发明实施例的一种可选的在视频图像录制过程中的各设备相对位置的示意图；

图3是根据本发明实施例的一种可选的屏幕灵敏度的检测流程图；

图4是根据本发明实施例的一种可选的点击时刻识别的流程图；

图5是根据本发明实施例的一种可选的响应时刻识别的流程图；

图6是根据本发明实施例的一种可选的屏幕灵敏度的测试方法流程图；

图7是根据本发明实施例的一种测试屏幕灵敏度的装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种测试屏幕灵敏度的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

此外，还需要说明的是，测试屏幕灵敏度的测试系统可作为本实施例所提供的方法的执行主体，其中，该测试系统包括待测设备、录像设备、电触笔、显示灯以及测试设备。其中，待测设备为具有屏幕的设备，例如，手机。录像设备，例如，高速摄像机、录像机、摄像性能较好的手机或者其他录像设备等，用于对整个测试过程进行视频图像的录制，并输出高质量的测试视频。电触笔用于点击待检测屏幕，实现电触笔点击屏幕时，显示灯亮起，其中，显示灯亮起的时刻为点击时刻。

图1是根据本发明实施例的测试屏幕灵敏度的方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域。

在步骤S102中，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应测试人员的点击操作的区域。在测试人员对待测设备的待检测屏幕进行操作时，测试系统中的录像设备对待检测屏幕进行视频录制，并输出包含相同测试场景的多次点击操作的测试视频。其中，当测试人员使用电触笔点击待检测屏幕时，显示灯亮起。

需要说明的是，在实际应用中，当测试人员点击待检测屏幕时，待检测屏幕无明显响应，测试人员不易获取有效的标识特征。而显示灯的亮起和熄灭在视频图像中存在着明显的色彩区别，因此，通过检测视频图像中的显示灯区域中的显示灯亮起的时刻作为点击时刻，可以提高点击时刻的识别准确率。

步骤S104，对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像。

在步骤S104中，第一帧标识表征了点击操作对应的点击时刻，通过对显示灯区域进行检测来确定显示灯是否亮起，将显示灯亮起时所对应帧的图像作为点击图像，根据该点击图像所对应的帧标识即可确定点击操作所对应的点击时刻。

步骤S106，对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像。

在步骤S106中，第二帧标识表征了待检测屏幕响应点击操作所对应的响应时刻，通过对响应区域进行检测来确定响应区域是否发生了变化(例如，图形、文字等的变化)，将响应区域发生变化时所对应帧的图像作为响应图像，根据该响应图像所对应的帧标识即可确定点击操作所对应的响应时刻。

步骤S108，根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。

在步骤S108中，检测设备通过计算第一帧标识与第二帧标识之间的帧差，并对帧差进行帧率换算，即可得到待检测屏幕的灵敏度。

基于上述步骤S102至步骤S108所限定的方案，可以获知，在本发明实施例中，采用自动确定点击时刻和响应时刻的方式，在采集到连续多帧的视频图像之后，通过对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，并对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，最后，根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域，点击图像为待检测屏幕接收到的点击操作的图像，响应图像为待检测屏幕响应点击操作的图像。

容易注意到的是，在上述过程中，第一帧标识表征了点击操作对应的点击时刻，第二帧标识表征了待检测屏幕响应点击操作所对应的响应时刻，第一帧标识和第二帧标识是通过视频图像录制的方式确定的，该过程无需人工参与，不仅提高了屏幕灵敏度的测试效率，还保证了测试结果的准确性和可靠性。此外，本申请所提供的方案可应用到多种测试场景中，具有通用性。

由此可见，本申请所提供的方案达到了对屏幕灵敏度进行测试的目的，从而实现了提高屏幕灵敏度的测试效率的技术效果，进而解决了现有的屏幕灵敏度测试存在测试效率低的技术问题。

在一种可选的实施例中，在对视频图像进行处理之前，检测系统首先需要采集连续多帧的视频图像。具体的，检测设备首先检测显示灯以及待检测屏幕的相对位置是否满足预设条件，在相对位置满足预设条件的情况下，控制图像采集设备对连续多帧的视频图像进行采集，并在待检测屏幕完成响应的时长大于或等于预设时长之后，控制图像采集设备采集下一帧视频图像。

可选的，图2示出了在视频图像录制过程中的各设备相对位置的示意图，需要说明的是，显示灯的位置设置在视频图像内，并且在待测设备的待检测屏幕(例如，图2中的手机屏幕区域)之外。在实际操作中，可通过外部设备支架固定录像设备(即图像采集设备)、待检测屏幕和显示灯三者的相对位置，确保每次进行视频录制时，获取的视频图像能够满足上述要求。

在一种可选的实施例中，对视频图像进行录制的过程主要包括如下步骤：

步骤S201，打开游戏应用，对待测设备的待检测屏幕进行切换，使得待检测屏幕显示需要测试灵敏度的应用界面。

步骤S202，打开录像设备，调整录像设备、待检测屏幕以及显示灯之间的位置，使得录像区域符合附图2中的位置要求，同时调整录像设备的录制参数，例如，调整录像设备的频率、分辨率等。

步骤S203，电触笔点击待检测屏幕中的点击区域，确认点击到位，此时显示灯亮起。

步骤S204，在待检测屏幕中的响应区域响应点击操作之后，等待一定时间，以确认待检测屏幕完全响应，恢复到待检测屏幕出现的界面，如需多次测试，则重复步骤S203-S204。需要说明的是，由于部分游戏的响应需要一定时长的渲染时间，因此，在响应区域响应点击操作之后等待一定时间，再进行下一次测试。

步骤S205，在测试次数达到预设次数后，关闭录像设备。

步骤S206，将录像设备上的视频图像，导出到测试设备上，作为待测视频。

在一种可选的实施例中，在采集待检测屏幕的连续多帧的视频图像之后，测试设备还获取连续多帧的视频图像中的每帧视频图像，并确定每帧视频图像中的显示灯区域和每帧视频图像中的响应区域。

具体的，测试设备首先获取第一预设视频图像以及显示灯模板图像，并确定第一预设视频图像中的显示灯区域对应的第一区域以及响应区域对应的第二区域，然后根据显示灯模板图像和第一区域的第一位置确定每帧视频图像中的显示灯区域，最后，根据第二区域的第二位置确定每帧视频图像中的响应区域。其中，第一预设视频图像为连续多帧的视频图像中的任意一帧图像。

可选的，图3示出了一种可选的屏幕灵敏度的检测流程图，由图3可知，检测设备包括视频解析模块301、用户交互模块302、点击识别模块303、响应识别模块304和灵敏度计算模块305。其中，视频解析模块301用于对视频图像进行自动解析，可以同时支持批量视频图像的处理，并获取视频图像的参数信息，例如，帧率，时长，分辨率等。同时支持获取视频的任意一帧图像或图像的局部区域截图，用于后续步骤中模板匹配或图像相似度与色彩空间的计算。用户交互模块302用于实现与用户的交互，通过工具界面显示视频图像的任意一帧图像，用户在显示的窗口上可以通过鼠标操作划定矩形框，划定矩形框后，自动获取并保存矩形框的坐标信息到数据库或者本地文件中，在后续的计算过程中，可使用保存的矩形框坐标信息进行每帧视频图像的局部目标区域获取。其中，矩形框分为两种，即显示灯区域的矩形框(如图2中的显示灯对应的矩形框)和响应区域的矩形框(如图2中的响应区域对应的矩形框)，上述两种矩形框仅需各进行一次划框即可。点击识别模块303用于遍历视频图像的每一帧图像，并找到显示灯亮起的帧图像，作为点击时刻。

在一种可选的实施例中，在确定了显示灯区域对应的第一区域之后，测试设备确定当前帧视频图像中与显示灯模板图像匹配的匹配区域，并计算匹配区域与显示灯模板图像之间的第一相似度，在第一相似度大于或等于预设相似度的情况下，根据匹配区域在当前帧视频图像中的位置信息确定当前帧视频图像的显示灯区域；在第一相似度小于预设相似度的情况下，根据第一区域的第一位置确定当前帧视频图像的显示灯区域。然后，测试设备对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识。其中，测试设备计算当前帧视频图像的显示灯区域的平均亮度，在平均亮度大于预设亮度阈值的情况下，记录当前帧视频图像的第一帧标识。

可选的，图4示出了一种可选的点击时刻识别的流程图，由图4可知，该过程包括如下步骤：

步骤S401，读取预先设置的显示灯模板图像和用户在S302步骤中划定的显示灯区域，需要说明的是，相同的录像设备的显示灯模板图像是通用的，显示灯模板图像的大小至少包含显示灯的外部轮廓。

步骤S402，对每一帧视频图像和显示灯模板图像进行模板匹配，得到当前视频图像与显示灯图像匹配的第一相似度和识别出的匹配区域，并将得到第一相似度与预先设定的阈值(即预设相似度)进行比较。

步骤S403，如果第一相似度大于预设相似度，则说明在当前视频图像中识别到了显示灯区域，然后根据匹配区域的位置参数(即第一位置)确定当前视频图像对应的显示灯区域。

步骤S404，如果第一相似度小于或等于预设相似度，则说明在当前视频图像中未识别到显示灯区域，此时，使用用户在S302步骤中划定的显示灯区域，进一步确保能够获取到显示灯区域的位置和图像。

步骤S405，对获取到显示灯区域进行HSV(Hue,Saturation,Value)颜色模型计算，获取到显示灯区域的平均亮度，并判断平均亮度是否大于预设亮度阈值。需要说明的是，由于显示灯在亮起和熄灭时，在亮度上有很大的差别，因此，通过步骤S405能够准确的确定显示灯区域。

步骤S406，对于判断显示灯为亮起的视频图像，记录当前视频图像的帧标识，作为一次点击时刻。

步骤S407，遍历所有帧的视频图像直至视频结束，输出多次点击时刻的帧标识列表；如果视频未结束，则返回执行步骤S402。

在一种可选的实施例中，在图3中，响应识别模块304用于识别出点击操作之后得到的响应时刻的帧图像，作为每次点击操作之后的响应时刻。具体的，在确定了响应区域对应的第二区域之后，测试设备计算预设数量的视频图像之间的相似度变化值，并在相似度变化值小于预设变化值的情况下，根据第二位置确定第二预设视频图像中的响应区域，生成基准图像，然后，计算基准图像与每帧视频图像的响应区域之间的第二相似度，以及基准图像与每帧视频图像的响应区域之间的颜色模型，并根据第二相似度以及颜色模型确定响应图像的第二帧标识。其中，预设数量的视频图像对应的帧标识大于第一帧标识，第二预设视频图像为预设数量的视频图像中的任意一帧图像。

具体的，在根据第二相似度以及颜色模型确定响应图像的第二帧标识的过程中，测试设备计算第一帧图像的相似度与第二帧图像的相似度的差值，得到相似度差值，并计算第一帧图像的颜色模型与第二帧图像的颜色模型的差值，得到颜色模型差值，在相似度差值大于预设相似度差值，并且，颜色模型差值大于预设颜色模型差值的情况下，确定第二帧图像对应的帧标识为第二帧标识。其中，第一帧图像与第二帧图像为相邻的图像，并且，第二帧图像对应的帧标识大于第一帧图像对应的帧标识。

可选的，图5示出了一种可选的响应时刻识别的流程图，由图5可知，该过程包括如下步骤：

步骤S501，检测设备读取用户在S302步骤中划定的响应区域位置参数(即第二位置)，选择采用待检测屏幕的局部区域作为响应区域。需要说明的是，在实际测试场景下，在点击操作之后，待检测屏幕的响应是局部化的或者待检测屏幕的其他区域在应用界面前后一致是动态变化的，在上述两种情况下，如果使用待检测屏幕的整个图像进行判断可能造成识别不准确的问题，为避免上述问题，在本申请中，使用待检测屏幕的局部区域变化作为响应区域判断的标准，该方式更为准确，具有更好的通用性，能覆盖大部分灵敏度测试的场景。

步骤S502，从视频图像开始计算连续数帧视频图像之间的相似度。

步骤S503，如果连续几帧视频图像之间的相似度变化较小，则确定视频图像是稳定的，再根据S302步骤中划定的响应区域，得到稳定帧的响应区域，作为后续相似度计算的基准图像。

步骤S504，从S407步骤中获取到的帧标识列表中的第一个点击操作的标识帧向后遍历，结合步骤S501中得到的位置参数，确定连续多帧的响应区域的图像。

步骤S505，使用SSIM(Structural Similarity Index，结构相似性)算法，计算连续数帧的响应区域与基准图像之间的第二相似度，并使用HSV颜色模型算法计算连续数帧的响应区域的颜色模型。

步骤S506，计算连续数帧的响应区域相似度之间的相似度差值，并判断相似度差值是否预设相似度差值，如果相似度差值大于预设相似度差值，则确定此连续帧图像中出现了剧烈变化，视为响应时刻。计算连续数帧的响应区域的HSV值之间的颜色模型差值，并判断颜色模型差值是否大于预设颜色模型差值，如果颜色模型差值大于预设颜色模型差值，则确定此连续帧图像中出现剧烈变化，视为响应时刻。上述两种判断方式可同时进行，能够提高判断的准确性，以首先达到判断条件的算法判断结果为准。

步骤S507，如果找到响应时刻，则跳出当前循环，开始从下一个点击操作对应的视频图像向后查找，终止条件为视频结束。

步骤S508，如果未找到响应时刻，则继续遍历下一帧图像，终止条件为下一个点击操作对应的视频图像或者视频结束。

在一种可选的实施例中，在图3中，灵敏度计算模块305，用于根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。具体的，检测设备首先计算第一帧标识与第二帧标识之间的帧差，并对帧差进行修正，得到修正后的帧差，最后，对修正后的帧差进行帧率换算，得到灵敏度。

可选的，检测设备计算每一次的第一帧标识和第二帧标识之间的帧差，加上测试人员点击待测试屏幕到显示灯亮起之间的通用偏移值，并根据帧率换算得到单次的灵敏度测试结果。

可选的，在待检测屏幕接收到点击操作之后，检测设备检测在预设时长内是否采集到响应图像，如果在预设时长内未采集到响应图像，则确定第一帧标识为无效帧标识。即测试人员点击待测试屏幕到下一次点击时刻之间的时间段未找到对应的第二帧标识，则认为本次测试为异常测试，不予对其计算。

在一种可选的实施例中，在根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度之后，检测设备还获取灵敏度集合，并从灵敏度集合中剔除异常灵敏度，得到校正后的灵敏度集合，计算校正后的灵敏度集合的平均值，得到目标灵敏度。其中，灵敏度集合包括多个灵敏度。可选的在当前灵敏度大于预设阈值时，确定当前灵敏度为异常灵敏度；或者；计算当前灵敏度与其他灵敏度的差值，在差值大于预设差值时，确定当前灵敏度为异常灵敏度。

可选的，图6示出了一种可选的屏幕灵敏度的测试方法流程图，由图6可知，该过程包括如下步骤：

步骤S602，使用录像设备录制测试视频；

步骤S604，在灵敏度自动测试程序中导入测试视频；

步骤S606，启动测试程序，配置显示灯区域和响应区域；

步骤S608，测试程序继续运行，得出灵敏度测试结果。

由上述内容可知，本申请给出了整个移动设备的屏幕灵敏度测试的自动化测试方案，实现了灵敏度测试有手动到自动化的转变，提高了测试效率。在测试过程中，使用了电触笔和显示灯，实现了点击时刻的标识，解决了现有测试方式中，无法有效捕捉点击时刻的难点。另外，本申请能够对点击时刻进行自动识别，解决了现有测试方式中，点击时刻无法自动化识别的难点。最后，通过使用屏幕局部区域作为响应区域，并结合相似度差值计算和HSV差值计算的算法，解决了现有方式无法覆盖大部分测试场景和配置繁琐的问题，并提升了识别响应区域的准确率。

根据本发明实施例，还提供了一种测试屏幕灵敏度的装置实施例，其中，图7是根据本发明实施例的测试屏幕灵敏度的装置示意图，如图7所示，该装置包括：采集模块701、第一检测模块703、第二检测模块705以及计算模块707。

其中，采集模块701，用于采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域；第一检测模块703，用于对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到点击操作的图像；第二检测模块705，用于对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；计算模块707，用于根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。

需要说明的是，上述采集模块701、第一检测模块703、第二检测模块705以及计算模块707对应于上述实施例中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。

可选的，采集模块包括：第三检测模块、第一控制模块以及第二控制模块。其中，第三检测模块，用于检测显示灯以及待检测屏幕的相对位置是否满足预设条件；第一控制模块，用于在相对位置满足预设条件的情况下，控制图像采集设备对连续多帧的视频图像进行采集；第二控制模块，用于在待检测屏幕完成响应的时长大于或等于预设时长之后，控制图像采集设备采集下一帧视频图像。

可选的，测试屏幕灵敏度的装置还包括：第一获取模块以及第一确定模块。其中，第一获取模块，用于在采集待检测屏幕的连续多帧的视频图像之后，获取连续多帧的视频图像中的每帧视频图像；第一确定模块，用于确定每帧视频图像中的显示灯区域和每帧视频图像中的响应区域。

可选的，第一确定模块包括：第二获取模块、第二确定模块、第三确定模块以及第四确定模块。其中，第二获取模块，用于获取第一预设视频图像以及显示灯模板图像，其中，第一预设视频图像为连续多帧的视频图像中的任意一帧图像；第二确定模块，用于确定第一预设视频图像中的显示灯区域对应的第一区域以及响应区域对应的第二区域；第三确定模块，用于根据显示灯模板图像和第一区域的第一位置确定每帧视频图像中的显示灯区域；第四确定模块，用于根据第二区域的第二位置确定每帧视频图像中的响应区域。

可选的，第三确定模块包括：第五确定模块、第一计算模块、第六确定模块以及第七确定模块。其中，第五确定模块，用于确定当前帧视频图像中与显示灯模板图像匹配的匹配区域；第一计算模块，用于计算匹配区域与显示灯模板图像之间的第一相似度；第六确定模块，用于在第一相似度大于预设相似度的情况下，根据匹配区域在当前帧视频图像中的位置信息确定当前帧视频图像的显示灯区域；第七确定模块，用于在第一相似度小于或等于预设相似度的情况下，根据第一区域的第一位置确定当前帧视频图像的显示灯区域。

可选的，第一检测模块包括：第二计算模块以及记录模块。其中，第二计算模块，用于计算当前帧视频图像的显示灯区域的平均亮度；记录模块，用于在平均亮度大于预设亮度阈值的情况下，记录当前帧视频图像的第一帧标识。

可选的，第二检测模块包括：第三计算模块、生成模块、第四计算模块以及第八确定模块。其中，第三计算模块，用于计算预设数量的视频图像之间的相似度变化值，其中，预设数量的视频图像对应的帧标识大于第一帧标识；生成模块，用于在相似度变化值小于预设变化值的情况下，根据第二位置确定第二预设视频图像中的响应区域，生成基准图像，其中，第二预设视频图像为预设数量的视频图像中的任意一帧图像；第四计算模块，用于计算基准图像与每帧视频图像的响应区域之间的第二相似度，以及基准图像与每帧视频图像的响应区域之间的颜色模型；第八确定模块，用于根据第二相似度以及颜色模型确定响应图像的第二帧标识。

可选的，第八确定模块包括：第五计算模块、第六计算模块以及第九确定模块。其中，第五计算模块，用于计算第一帧图像的相似度与第二帧图像的相似度的差值，得到相似度差值，其中，第一帧图像与第二帧图像为相邻的图像，并且，第二帧图像对应的帧标识大于第一帧图像对应的帧标识；第六计算模块，用于计算第一帧图像的颜色模型与第二帧图像的颜色模型的差值，得到颜色模型差值；第九确定模块，用于在相似度差值大于预设相似度差值，并且，颜色模型差值大于预设颜色模型差值的情况下，确定第二帧图像对应的帧标识为第二帧标识。

可选的，计算模块包括：第七计算模块、修正模块以及换算模块。其中，第七计算模块，用于计算第一帧标识与第二帧标识之间的帧差；修正模块，用于对帧差进行修正，得到修正后的帧差；换算模块，用于对修正后的帧差进行帧率换算，得到灵敏度。

可选的，测试屏幕灵敏度的装置还包括：第四检测模块以及第十确定模块。其中，第四检测模块，用于在待检测屏幕接收到点击操作之后，检测在预设时长内是否采集到响应图像；第十确定模块，用于如果在预设时长内未采集到响应图像，则确定第一帧标识为无效帧标识。

可选的，测试屏幕灵敏度的装置还包括：第三获取模块、剔除模块以及第八计算模块。其中，第三获取模块，用于在根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度之后，获取灵敏度集合，其中，灵敏度集合包括多个灵敏度；剔除模块，用于从灵敏度集合中剔除异常灵敏度，得到校正后的灵敏度集合；第八计算模块，用于计算校正后的灵敏度集合的平均值，得到目标灵敏度。

可选的，测试屏幕灵敏度的装置还包括：第十一确定模块以及第九计算模块。其中，第十一确定模块，用于在当前灵敏度大于预设阈值时，确定当前灵敏度为异常灵敏度；第九计算模块，用于计算当前灵敏度与其他灵敏度的差值，在差值大于预设差值时，确定当前灵敏度为异常灵敏度。

根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述实施例中的测试屏幕灵敏度的方法。

根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序被设置为运行时执行上述实施例中的测试屏幕灵敏度的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种测试屏幕灵敏度的方法，其特征在于，包括：

采集连续多帧的视频图像，其中，所述连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，所述连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，其中，所述显示灯区域为显示灯在所述视频图像中的区域，所述响应区域为在所述待检测屏幕响应接收到点击操作的区域；

对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，所述点击图像为所述待检测屏幕接收到的点击操作的图像，所述显示灯区域内包含显示灯，所述显示灯在所述待检测屏幕响应所述点击操作时亮起，所述第一帧标识表征所述点击操作对应的点击时刻；

对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，所述响应图像为所述待检测屏幕响应所述点击操作的图像，所述第二帧标识表征所述待检测屏幕响应所述点击操作所对应的响应时刻；

通过计算所述第一帧标识与所述第二帧标识之间的帧差，并对所述帧差进行帧率换算，得到所述待检测屏幕的灵敏度。

2.根据权利要求1所述的方法，其特征在于，采集连续多帧的视频图像，包括：

检测所述显示灯以及所述待检测屏幕的相对位置是否满足预设条件；

在所述相对位置满足所述预设条件的情况下，控制图像采集设备对所述连续多帧的视频图像进行采集；

在所述待检测屏幕完成响应的时长大于或等于预设时长之后，控制所述图像采集设备采集下一帧视频图像。

3.根据权利要求1所述的方法，其特征在于，在采集待检测屏幕的连续多帧的视频图像之后，所述方法还包括：

获取所述连续多帧的视频图像中的每帧视频图像；

确定所述每帧视频图像中的显示灯区域和所述每帧视频图像中的响应区域。

4.根据权利要求3所述的方法，其特征在于，确定所述每帧视频图像中的显示灯区域和所述每帧视频图像中的响应区域，包括：

获取第一预设视频图像以及显示灯模板图像，其中，所述第一预设视频图像为所述连续多帧的视频图像中的任意一帧图像；

确定所述第一预设视频图像中的显示灯区域对应的第一区域以及所述响应区域对应的第二区域；

根据所述显示灯模板图像和所述第一区域的第一位置确定所述每帧视频图像中的显示灯区域；

根据所述第二区域的第二位置确定所述每帧视频图像中的响应区域。

5.根据权利要求4所述的方法，其特征在于，根据所述显示灯模板图像和所述第一区域的第一位置确定所述每帧视频图像中的显示灯区域，包括：

确定当前帧视频图像中与所述显示灯模板图像匹配的匹配区域；

计算所述匹配区域与所述显示灯模板图像之间的第一相似度；

在所述第一相似度大于预设相似度的情况下，根据所述匹配区域在所述当前帧视频图像中的位置信息确定所述当前帧视频图像的显示灯区域；

在所述第一相似度小于或等于所述预设相似度的情况下，根据所述第一区域的第一位置确定所述当前帧视频图像的显示灯区域。

6.根据权利要求5所述的方法，其特征在于，对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，包括：

计算所述当前帧视频图像的显示灯区域的平均亮度；

在所述平均亮度大于预设亮度阈值的情况下，记录所述当前帧视频图像的第一帧标识。

7.根据权利要求4所述的方法，其特征在于，对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，包括：

计算预设数量的视频图像之间的相似度变化值，其中，所述预设数量的视频图像对应的帧标识大于所述第一帧标识；

在所述相似度变化值小于预设变化值的情况下，根据所述第二位置确定第二预设视频图像中的响应区域，生成基准图像，其中，所述第二预设视频图像为所述预设数量的视频图像中的任意一帧图像；

计算所述基准图像与所述每帧视频图像的响应区域之间的第二相似度，以及所述基准图像与所述每帧视频图像的响应区域之间的颜色模型；

根据所述第二相似度以及所述颜色模型确定所述响应图像的第二帧标识。

8.根据权利要求7所述的方法，其特征在于，根据所述第二相似度以及所述颜色模型确定所述响应图像的第二帧标识，包括：

计算第一帧图像的相似度与第二帧图像的相似度的差值，得到相似度差值，其中，所述第一帧图像与所述第二帧图像为相邻的图像，并且，所述第二帧图像对应的帧标识大于所述第一帧图像对应的帧标识；

计算所述第一帧图像的颜色模型与所述第二帧图像的颜色模型的差值，得到颜色模型差值；

在所述相似度差值大于预设相似度差值，并且，所述颜色模型差值大于预设颜色模型差值的情况下，确定所述第二帧图像对应的帧标识为所述第二帧标识。

9.根据权利要求1所述的方法，其特征在于，根据所述第一帧标识和所述第二帧标识计算所述待检测屏幕的灵敏度，包括：

计算所述第一帧标识与所述第二帧标识之间的帧差；

对所述帧差进行修正，得到修正后的帧差；

对所述修正后的帧差进行帧率换算，得到所述灵敏度。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述待检测屏幕接收到所述点击操作之后，检测在预设时长内是否采集到所述响应图像；

如果在所述预设时长内未采集到所述响应图像，则确定所述第一帧标识为无效帧标识。

11.根据权利要求1所述的方法，其特征在于，在根据所述第一帧标识和所述第二帧标识计算所述待检测屏幕的灵敏度之后，所述方法还包括：

获取灵敏度集合，其中，所述灵敏度集合包括多个所述灵敏度；

从所述灵敏度集合中剔除异常灵敏度，得到校正后的灵敏度集合；

计算所述校正后的灵敏度集合的平均值，得到目标灵敏度。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

在当前灵敏度大于预设阈值时，确定所述当前灵敏度为所述异常灵敏度；或者；

计算所述当前灵敏度与其他灵敏度的差值，在所述差值大于预设差值时，确定所述当前灵敏度为所述异常灵敏度。

13.一种测试屏幕灵敏度的装置，其特征在于，包括：

采集模块，用于采集连续多帧的视频图像，其中，所述连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，所述连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，所述显示灯区域为显示灯在所述视频图像中的区域，所述响应区域为在所述待检测屏幕响应接收到点击操作的区域；

第一检测模块，用于对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，所述点击图像为所述待检测屏幕接收到的点击操作的图像，所述显示灯区域内包含显示灯，所述显示灯在所述待检测屏幕响应所述点击操作时亮起，所述第一帧标识表征所述点击操作对应的点击时刻；

第二检测模块，用于对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，所述响应图像为所述待检测屏幕响应所述点击操作的图像，所述第二帧标识表征所述待检测屏幕响应所述点击操作所对应的响应时刻；

计算模块，用于通过计算所述第一帧标识与所述第二帧标识之间的帧差，并对所述帧差进行帧率换算，得到所述待检测屏幕的灵敏度。

14.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至12任一项中所述的测试屏幕灵敏度的方法。

15.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至12任一项中所述的测试屏幕灵敏度的方法。

Images