CN112073597A - 视觉稳定度检测方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请提供了一种视觉稳定度检测方法、装置、设备及存储介质，所述方法包括：获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。采用本申请技术方案，可以无侵入地实现对客户端启动过程中画面变化次数的量化，从而优化客户端的启动过程。

Description

视觉稳定度检测方法、装置、设备以及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视觉稳定度检测方法、装置、设备及存储介质。

背景技术

随着各种应用客户端(即APP)的普及，很多智能终端上可以安装各种APP，而用户在开启APP时，APP在启动过程中，用户并非一眼就看到最终稳定的界面，一般会经过一系列的视图变化，例如，从最初的欢迎页面经过中间一系列过渡图像，最终达到稳定的界面。

实践中，人眼看一个运动的物体只会注意始点与终点，中间过程只是一个轨迹，这个轨迹中的动作就是分辨率，不管中间做过多少动作人眼只能分辨24帧至30帧，用时间表示人眼对图像变化的分辨率大概在30毫秒至40毫秒之间。基于该原理，即是在一秒内，若两帧图像间隔30毫秒以上，则人眼能捕捉到，若间隔小于30毫秒，则人眼不能捕捉到。

鉴于此，在客户端启动过程中，若在最初的欢迎页面到最终稳定的界面的过程中，发生图像变化的间隔低于30毫秒，人眼便能捕捉到视图变化，当人眼捕捉到视图变化时，则表示视图变化过程不够流畅。

相关技术中，对于扩大用户群体而言，客户端启动过程中视图变化的流畅性是较为重要的指标，在开发客户端和运营客户端的过程中，会不断优化APP的启动过程。但是，目前没有相关的分析技术，可以用于对APP的视图变化过程中被人眼可见的变化程度进行衡量，对如何优化视图变化的流畅性也并没有可以借鉴的参数。

发明内容

为了解决上述问题，本申请提供了一种视觉稳定度检测方法、装置、设备及存储介质，旨在为优化视图变化的流畅性提供可以借鉴的参数。

本申请实施例的第一方面，提供了一种视觉稳定度检测方法，所述方法包括：

获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；

根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；

根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；

根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

可选地，获得待检测的视频，包括：

若检测到针对所述客户端的启动操作，则对所述客户端的启动过程进行录制，得到原始视频；

从所述原始视频中截取显示区域的视频内容，得到所述待检测的视频。

可选地，所述多个变化视频帧中的任一变化视频帧，是按照以下步骤确定的：

对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，在对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像之后，所述方法还包括：

对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧，包括：

画面内容不为空的二次差分图像和/或互不相邻的画面内容不为空的一次差分图像，所对应的多个视频帧中的最后一个视频帧，确定为一个变化视频帧。

可选地，所述方法还包括：

对各画面内容不为空且互不相邻的一次差分图像以及各画面内容不为空的二次差分图像分别进行预设处理，得到相应的的参数值，所述参数值包括以下至少一种：画面尺寸、画面位置、画面重心，所述预设处理包括以下至少一种：腐蚀处理、膨胀处理、边缘检测处理；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧，包括：

将参数值的变化量大于预设变化量的一次差分图像或二次差分图像所对应的多个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧，包括：

将对应的帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，得到帧间隔大于或等于所述预设帧间隔的多个关键变化视频帧。

可选地，根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度，包括:

根据所述关键变化视频帧的数量，确定所述视觉稳定度。

本申请实施例的第二方面，提供一种视觉稳定度检测装置，所述装置包括：

视频获得模块，用于获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；

视频帧检测模块，用于根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；

变化视频帧筛选模块，用于根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；

视觉稳定度确定模块，用于根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

可选地，所述视频获得模块，包括：

录制单元，用于若检测到针对所述客户端的启动操作，则对所述客户端的启动过程进行录制，得到原始视频；

预处理单元，用于从所述原始视频中截取显示区域的视频内容，得到所述待检测的视频。

可选地，视频帧检测模块，包括：

第一对比单元，用于对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像；

筛选单元，用于将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，所述视频帧检测模块还包括：

第二对比单元，用于对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像；

所述筛选单元，具体用于将画面不为空的二次差分图像所对应的多个视频帧中的最后一个视频帧，确定为一个变化视频帧。

可选地，所述视频帧检测模块还包括：

预处理单元，用于对各画面内容不为空且互不相邻的一次差分图像以及各画面内容不为空的二次差分图像分别进行预设处理，得到相应的的参数值，所述参数值包括以下至少一种：画面尺寸、画面位置、画面重心，所述预设处理包括以下至少一种：腐蚀处理、膨胀处理、边缘检测处理；

所述筛选单元，具体用于将参数值的变化量大于预设变化量的一次差分图像或二次差分图像所对应的多个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，所述变化视频帧筛选模块，具体用于将对应的帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，得到帧间隔大于或等于所述预设帧间隔的多个关键变化视频帧。

可选地，所述视觉稳定度确定模块，具体用于根据所述关键变化视频帧的数量，确定所述视觉稳定度。

本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面所述的视觉稳定度检测方法。

本申请实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，能够执行上述第一方面中任一项所述的视觉稳定度检测方法所执行的操作。

本申请实施例中，可以获得对客户端的启动过程进行采集而得到的视频，并根据视频中多个视频帧的画面内容之间的变化关系，从多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；之后，根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从多个变化视频帧中确定关键变化视频帧；从而可以根据关键变化视频帧，确定客户端的启动过程的视觉稳定度。

本申请实施例公开的视觉稳定度检测方法中，一方面，由于根据确定出的关键变化视频之间的帧间隔可以大于预设间隔，因此，通过关键变化帧确定出的视觉稳定度可以反映被人眼可见的变化次数，从而为优化视图变化的流畅性提供了可以借鉴的参数，实现了对客户端加载过程的变化次数的量化，方便后期对客户端的加载过程进行相应优化。

另一方面，由于可以通过对客户端启动过的视频中相邻视频帧的画面内容变化程度进行分析，从而提取出画面内容发生变化的多个变化视频帧，整个过程由于涉及的是对视频画面的分析，其对客户端的启动过程无界面数据上的入侵、不影响客户端的界面加载，从而使得该确定变化视频帧的方法通用性强、可扩展性高。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例示出的一种视觉稳定度检测方法的通信架构图；

图2是本申请一实施例示出的一种视觉稳定度检测方法的步骤流程图；

图3是本申请一实施例示出的画面内容变化的示意图；

图4是本申请一实施例一种情况下确定多个变化视频帧的流程示意图；

图5是本申请一实施例又一种情况下确定多个变化视频帧的流程示意图；

图6是本申请一实施例中确定多个变化视频帧的步骤流程图；

图7是本申请一实施例中再一种情况下确定多个变化视频帧的流程示意图；

图8是本申请一实施例中确定多个变化视频帧的步骤流程图；

图9是本申请一实施例中又一视觉稳定度检测方法的步骤流程图；

图10是本申请一实施例中视觉稳定度检测装置结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

相关技术中，本申请人发现：当APP启动过程的一系列图像变化被人眼可见时，APP启动过程便被视为不流程，其会引起不适的观看体验。因此，为了对APP启动过程中的能被人眼可见的图像变化次数进行量化，以对APP启动过程中的视图变化的流畅程度进行优化，发明人提出了采用“视觉稳定度”这一参数，并借鉴该参数去衡量APP启动过程中的能被人眼可见的图像变化次数。

考虑到在确定APP启动过程的视觉稳定度时，需要获取的APP启动过程中的图像变化，即需要确定哪些图像发生了变化，申请人最初提出了以下可行的技术方案：

在数据源变化的部分通过代码入侵的方式，对比前后两次数据源的更新变化，进而统计出展示在屏幕上的图片链接、展示文案、布局数据发生改变次数，对这些变化次数进行数据统计，进而得到视觉稳定度。

但是，申请人在进行测试后，发现该技术方案存在以下问题：

一是代码入侵性高，会对数据源造成入侵，进而影响界面的正常加载，导致通用性差、扩展性差，维护成本高。二是局限性大，由于只针对数据源的更新变化进行统计，而无法统计非数据源驱动的图像变化次数，视觉变化的原因无法一一穷举，导致视觉稳定度的准确度较低。三是由于是代码入侵的统计方式，造成通用性差，无法适用于不同种类的客户端，导致无法对不同客户端的视觉稳定度做出公平的比较，实用性较差。

有鉴于此，为了实现对界面数据无侵入的视觉稳定度评估，本申请人提出了以下技术构思：采集客户端启动过程中的视频，通过对该视频的每帧画面内容的变化情况进行分析，以确定发生变化的画面内容所对应的变化视频帧，进而对变化视频帧之间的帧间隔进行分析，得到视觉稳定度。由于是通过对采集的视频中每帧画面内容进行分析，避免了采用代码入侵数据源的方式进行评估而造成的通用性差、准确度不高的问题。

参照图1所示，示出了本实施例中视觉稳定度检测方法的通信架构图，如图1所示，包括云端、存储服务、后台服务器、分析服务以及多个客户端(图1中仅示出了3个客户端)。其中，云端、存储服务和分析服务都可以位于后台服务器中，每个客户端可以采集自身启动过程的视频，之后，将视频发送给云端，由存储服务从云端中获取到这些客户端采集的视频，并将这些客户端采集的视频进行存储，视频分析服务可以对每个客户端上传的视频进行预处理和异常信息监测，并对检测通过后的视频进行分析，以确定每个客户端的视觉稳定度。

其中，客户端可以是指安装在智能手机上的APP，或者可以是安装在电脑上的应用程序，无论对于何种客户端，均能适用本申请的视觉稳定度检测方法。

参照图2所示，示出了一种视觉稳定度检测方法的步骤流程图，该方法可以应用于后台服务器中，如图2所示，具体可以包括以下步骤：

步骤S201：获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的。

本实施例中，客户端的启动过程可以是指：从客户端被触发至客户端的首页界面被完整显示的整个过程。其中，可以在对客户端进行出厂测试的场景中采集待检测的视频，也可以在客户端被已经投入市场被用户所使用时，具体实施时，可以在检测到客户端被启动时，通过客户端内内置的视频采集应用采集客户端启动过程的视频。

在具体实施时，对客户端启动过程的视频采集可以是指对客户端的启动过程进行屏幕录制，从而得到录制的视频，该录制的视频即为待检测的视频。

示例地，以客户端A为例，打开客户端A时，客户端A即可启动，从而对客户端A的启动过程进行屏幕录制，进而得到待检测的视频，之后，将该视频传入云端，以使存储服务获取该视频。

步骤S202：根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容。

本实施例中，存储服务可以从云端获取视频，并将视频发送给视频分析服务，由视频分析服务从多个视频帧中确定多个变化视频帧。其中，画面内容之间的变化关系可以是指：画面内容中图像的变化关系，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容可以是指：该视频帧的图像与前一视频帧的图像明显不同。

具体实施时，可以将每相邻两个视频帧的画面内容进行对比，例如，对每相邻两个视频帧的画面内容进行做差或者画面去重。当做差时，在二者画面内容之间的差距大于预设差距时，便可以将相邻两个视频帧中的后一视频帧作为变化视频帧。当画面去重时，会在后一视频帧中去除与前一视频帧相重复的画面，在后一视频帧中被留下的画面区域的大小超过预设大小时，便可以将后一视频帧作为变化视频帧。

示例地，如图3所示，示出了画面内容变化的示意图，如图3所示，包括视频帧A、视频帧B和视频帧C，从图3可以看出，视频帧A的画面内容明显与视频帧B不同，而视频帧B的画面内容与视频帧C的画面内容相似度极高，即视频帧B和视频C进行画面去重时，仅具有很小的画面不同区域。如此，便可以确定视频B为变化视频帧。

步骤S203：根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧。

本实施例中，帧间隔可以是指：变化视频帧之间的时间间隔，预设间隔则可以是指预设时间间隔。一般而言，视频帧之间的时间间隔越大，则越容易被人眼识别，这样，在帧间隔大于预设间隔时，便可以被人眼发现画面内容的变化，在帧间隔小于或等于预设间隔时，便不容易被人眼发现画面内容的变化。其中，预设帧间隔可以设置为30ms或30ms以上。

依据上述情况，可以从多个变化视频帧中确定可以被人眼发现画面内容变化的关键变化视频帧。

步骤S204：根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

本实施例中，视觉稳定度可以反映视频帧中各个视频帧的画面内容变化的稳定程度，即视图变化的稳定程度。当视觉稳定度越高，则视频帧的画面内容变化不容易被人眼发觉，从而客户端启动过程中的视图变化越流畅，人的视觉体验较优。当视觉稳定度越低，则视频帧的画面内容变化越容易被人眼发觉，从而客户端启动过程中的视图变化会造成卡顿的现象，影响用户的观感体验。

具体实施时，由于多个关键视频帧是可以被人眼发现画面内容变化的视频帧，进而可以采用多个关键视频帧的数量、和/或多个关键视频帧之间的平均帧间隔，衡量视觉稳定度。

采用本申请实施例的视觉稳定度检测方法，创造性提出了采用视觉稳定度衡量客户端启动过程中视图变化的流畅性程度，从而便于借鉴该视觉稳定度优化客户端的启动过程。其中，由于确定多个变化视频帧的整个过程仅涉及的是对视频画面的分析，其对客户端的启动过程无界面数据上的入侵、不影响客户端的界面加载，从而使得该确定变化视频帧的方法通用性强、可扩展性高。

实际中，客户端启动过程中的画面变化过程可以包括渐变色、动图、gif动画、实质图像等的变化过程，其中，实质图像变化即是指图像的形状、轮廓、类别等发生的画面实质变化，即变化后的图像与变化前的图像可以完全不同，如图3中视频帧A和视频帧B所示。而色彩的渐变、动图变化以及gif动画变化虽然表示画面内容也发生了变化，但是实质上仍然是同一图像在色彩维度和位置维度上的不同，并没有发生实质性的内容变化，例如，如图3中视频帧B和视频帧C所示，仅在于最里面的一个矩形便为平行四边形，可以视作是动图的变化。

基于上述实际情况，本实施例在确定变化视频帧时，可以将客户端启动过程中的画面变化情况归类为三种情况，分别为：

情况A：客户端启动过程中的画面变化较为简单，不包括渐变色、动图、gif动画的情况。情况B：客户端启动过程中的画面变化包括渐变色变化的情况。情况C：客户端启动过程中的画面变化包括渐变色变化、动图、gif动画的情况。这样，便可以根据不同的情况采取不同的策略确定变化视频帧。

下面，对不同情况下确定变化视频帧的过程进行分别阐述：

首先，对于情况A，参照图4所示，图4示出了此种情况下确定多个变化视频帧的任一变化视频帧的流程示意图，此种情况下，由于启动过程只涉及画面内容的实质性变化，则可以通过以下过程确定多个变化视频帧的任一变化视频帧：

S301：对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像。

本实施例中，对每相邻两个视频帧的画面内容进行差分，可以是指对每相邻两个视频帧的图像进行做差或去重，从而得到差分图像，该差分图像由于是直接对原始的视频帧的图像进行差分的，因此可以称为一次差分图像。

其中，差分可以是指：由目标场景在相邻时间点的图像相减得到的，从而能够得到目标场景随时间的变换。即，对两个视频帧的图像进行差分可以得到该两个视频帧随时间的画面变换。

示例地，如图4所示，图4中示出了11个视频帧，对每相邻两个视频帧的图像进行差分，得到a1至a10的10个一次差分图像，即得到了10个一次差分图像。

S302：将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

本实施例中，当一次差分图像不为空时，则表示两个视频帧的图像随时间产生了变换，当一次差分图像为空时，则表示两个视频帧的图像随时间没有产生变换。本实施例中，需要检测的是随时间产生了变换的视频帧，因此，可以将一次差分图像不为空时所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

示例地，如图4所示，图中有阴影的一次差分图像为画面内容不为空的图像，则在10个一次差分图像中画面内容不为空的差分图像为图像a6、a8、a10所示，即可以将a6、a8、a10各自对应的两个视频帧中的后一视频帧确定为变化视频帧，最终确定出视频帧7、视频帧9和视频帧11为变化视频帧。

此种情况A下确定的变化视频帧即是画面内容发生了实质变化的视频帧。

对于情况B，参照图5所示，图5示出了此种情况下确定多个变化视频帧的任一变化视频帧的流程示意图，此种情况下需要滤除渐变色发生变化的视频帧，参照图6所示，示出了一示例性实施例中确定多个变化视频帧的任一变化视频帧的步骤流程图，具体可以包括以下步骤：

步骤S501：对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像。

本实施例中，步骤S501的过程与上述步骤S301的过程类似，相关之处参见步骤S301的描述即可。

其中，由于对每相邻两个视频帧的画面内容进行差分可以是指：对每相邻两个视频帧的图像进行差分，从而得到一次差分图像。其中，一次差分图像可以反映两个视频帧的画面颜色、形状的变化，因此，在两个视频帧的画面内容仅包括颜色变化的时候，该颜色变化也可以反映在一次差分图像中，使得一次差分图像不为空。

而实际中，两个视频帧的画面内容仅包括颜色变化的情况即为渐变色，渐变色并不影响用户的观感体验，即，即使渐变色被人眼所发现，也不会引起观看不适。因此，在确定视觉稳定度时，需要排除画面变化仅是渐变色的情况。

示例地，如图5所示，仍然示出了11个视频帧，对11个视频帧进行一次差分，得到10个一次差分图像a1至a10。

步骤S502：对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像。

本实施例中，为了要排除画面是渐变色的情况，可以根据连续的画面内容不为空的一次差分图像之间的画面变化关系，确定画面仅是渐变色的视频帧，进而筛选出变化视频帧。

由于渐变色的变化一般是在连续的多个视频帧中出现，则对这些渐变色的连续视频帧进行比对时，便可以得到多个连续不为空的一次差分图像。当然，当不为空的一次差分图像不连续时，即不为空的一次差分图像互不相邻，则可以确定对应的视频帧不是渐变色变化的视频帧。

如图5所示，假设视频1至视频帧5是连续的渐变色变化，则一次差分图像a1至a4便为连续不为空的图像。a6、a8和a10是互不相邻且不为空的一次差分图像，则可以确定其各自对应的视频帧7、视频帧9、视频帧11不包括渐变色的变化。

具体实施时，可以从多个一次差分图像中确定连续不为空的多个一次差分图像，并对连续不为空的多个一次差分图像中每相邻两个一次差分图像的画面内容再次进行差分，此种情况下，得到的是二次差分图像，该二次差分图像即为二次差分图像。

示例地，如图5所示，一次差分图像a1至a10中连续不为空的图像是图中阴影所示的a1至a4，则对a1至a4中每相邻两个一次差分图像进行差分，得到了二次差分图像b1至b3。

步骤S503：画面内容不为空的二次差分图像和/或互不相邻的画面内容不为空的一次差分图像，所对应的多个视频帧中的最后一个视频帧，确定为一个变化视频帧。

本实施例中，通过对每相邻两个一次差分图像的画面内容再次进行差分，可以滤除渐变色带来的变化，若得到的二次差分图像不为空，则表示对应的多个视频帧之间发生了画面内容的实质变化，而非渐变色变化。

本实施例中，由于当不为空的一次差分图像互不相邻时，则可以确定对应的视频帧不是渐变色变化的视频帧，而二次差分图像不为空时，也可以确定对应的视频帧不是渐变色变化的视频帧。因此，可以将画面内容不为空的二次差分图像所对应的多个视频帧中的最后一个视频帧、以及互不相邻的且画面内容不为空的一次差分图像所对应的最后一个视频帧确定为变化视频帧。

可以理解的是：一次差分图像是相邻两个视频帧进行比对而得到的，而二次差分图像是相邻两个一次差分图像进行比对而得到的，因此，一个二次差分图像对应了四个视频帧。如图5所示，二次差分图像b1对应了视频帧1至视频帧4。

示例地，如图5所示，a6、a8和a10是互不相邻且不为空的一次差分图像，b3是不为空的二次差分图像，因此，可以将视频帧7、视频帧9、视频帧11以及b3对应的视频帧5确定为变化视频帧。这些视频帧便是画面内容发生实质变化的视频帧。

采用上述实施方式时，便可以过滤掉渐变色变化的视频帧，从而使得后续确定出的视觉稳定度更加准确。

对于情况C，参照图7所示，图7示出了此种情况下确定多个变化视频帧的任一变化视频帧的流程示意图，此种情况下需要滤除渐变色发生变化的视频帧、涉及动图和gif图的视频帧，参照图8所示，示出了又一示例性实施例中确定多个变化视频帧的任一变化视频帧的步骤流程图，具体可以包括以下步骤：

步骤S701：对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像。

本实施例中，本实施例中，步骤S701的过程与上述步骤S501的过程类似，相关之处参见步骤S501的描述即可。

步骤S702：对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像。

本实施例中，步骤S702的过程与上述步骤S502的过程类似，相关之处参见步骤S502的描述即可。

步骤S703：对各画面内容不为空且互不相邻的一次差分图像以及各画面内容不为空的二次差分图像分别进行预设处理，得到相应的的参数值。

所述参数值包括以下至少一种：画面尺寸、画面位置、画面重心，所述预设处理包括以下至少一种：腐蚀处理、膨胀处理、边缘检测处理。

实际中，由于视频帧的画面内容变化是动图或GIF图时，其画面内容变化往往体现为同一个图像在画面中的位置、尺寸等的变化。因此，为了排除动图或GIF图的变化的情况，可以分析各画面内容不为空且互不相邻的一次差分图像和各画面内容不为空的二次差分图像各自的画面尺寸变化、画面位置变化以及画面重心变化。

具体实施时，可以通过对画面内容不为空且互不相邻的一次差分图像进行腐蚀处理、膨胀处理、边缘检测处理中的至少一种处理，得到每个差分图像中画面的画面尺寸、画面位置以及画面重心的结果。本实施例中，可以用参数值衡量对二次差分图像及一次差分图像进行预处理后的画面的画面尺寸、画面位置、画面重心。

步骤S704：将参数值的变化量大于预设变化量的一次差分图像或二次差分图像所对应的多个视频帧中的后一视频帧，确定为一个变化视频帧。

本实施例中，可以通过分析各个差分图像的画面尺寸变化、画面位置变化以及画面重心变化，过滤掉动图和gif图。具体而言，可以是根据各个差分图像之间的参数值的变化量，过滤掉画面内容变化是动图和gif图的视频帧，从而被保留下来的视频帧便为变化视频帧。

具体实施时，可以将保留下来的画面内容不为空且互不相邻的一次差分图像和各画面内容不为空的二次差分图像，按照各自对应的视频帧的帧序列号的先后顺序进行排序。这样，两种差分图像的排列顺序便表征了其对应的视频帧在视频中的排列顺序。这样，参数值的变化量可以是指每相邻两个差分图像之间的参数值的变化量。其中，相邻两个差分图像是指相邻两个一次差分图像、或相邻两个二次差分图像、或相邻的一个二次差分图像和一个一次差分图像。

采用本步骤S704，可以根据每相邻两个差分图像之间的画面尺寸变化、画面位置变化以及画面重心变化的程度，确定相应的视频帧是否是画面内容发生实质变化的视频帧，从而过滤掉画面内容变化是动图和gif图的视频帧。具体实施时，可以设置预设变化量，利用预设变化量衡量画面尺寸变化、画面位置变化以及画面重心变化的程度。

其中，对于画面尺寸而言，画面尺寸的变化量可以用画面区域面积的变化量来衡量，则预设变化量可以是面积变化量，当画面区域面积的变化量大于面积变化量，则可认为画面变化不是动图或GIF图造成的，则可以将对应的视频帧作为变化视频帧。

其中，对于画面位置而言，画面位置的变化量可以用画面坐标的变化量来衡量，则预设变化量可以是坐标变化量，当画面坐标的变化量大于预设坐标变化量时，则可认为画面变化不是动图或GIF图造成的，则可以将对应的视频帧作为变化视频帧。

其中，画面重心可以是指画面的几何中心点，对于画面重心而言，画面重心的变化量可以用几何中心点所处位置的变化量来衡量，则预设变化量可以是预设几何中心点所处位置的变化量，当几何中心点所处位置的变化量大于预设几何中心点变化量时，则可认为画面变化不是动图或GIF图造成的，则可以将对应的视频帧作为变化视频帧。

具体实施时，可以在上述画面尺寸变化、画面位置变化以及画面重心变化均超过预设变化量时，认为画面变化不是动图或GIF图造成的，当然，实际中，也可以在上述三种变化量中任一种变化量超过预设变化量时，认为画面变化不是动图或GIF图造成的。

示例地，如图7所示，仍以具有11个视频帧为例，经过一次差分，得到一次差分图像a1至a10，之后，对一次差分图像a1至a10中连续不为空的一次差分图像a1至a4进行二次差分，得到二次差分图像b1至b3。其中，在一次差分图像a1至a10中，a6、a8、a10是不为空且互不相邻的，在二次差分图像中b3不为空，则按序对b3、a6、a8、a10进行预处理，确定各自的参数值，并比较每相邻两个差分图像的参数值的变化量，其中，a8与a10之间的变化量大于预设变化量，则将对应的视频帧9和视频帧11确定为变化视频帧。

通过上述方式，可以排除画面变化是渐变色、动图以及gif图变化的视频帧，从而得到画面内容发生实质性变化的视频帧，因此，可以提高确定视觉稳定度的准确性。

参照图9所示，示出了本申请实施例的又一视觉稳定度检测方法的步骤流程图，具体可以包括以下步骤：

步骤S801：若检测到针对所述客户端的启动操作，则对所述客户端的启动过程进行录制，得到原始视频。

其中，在检测到客户端被启动时，通过客户端中内置的视频采集应用对客户端启动过程进行录制，从而得到原始视频。

步骤S802：从所述原始视频中截取显示区域的视频内容，得到所述待检测的视频。

本实施例中，显示区域的视频内容是指客户端启动过程的界面所占的区域的视频内容。例如，对于屏幕录制而言，会将屏幕上的工具栏、状态栏等与客户端的显示界面无关的屏幕显示内容进行录制。因此，可以从原始视频中截取客户端启动过程的显示界面所占的区域的视频内容，从而得到待检测的视频。

采用此种实施方式时，可以减小所要分析的画面内容的大小，避免对与客户端启动无关的画面内容进行分析，从而提高了后续进行画面内容分析的效率。

步骤S803：根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容。

本步骤S803的过程与上述步骤S203的过程类似，具体的确定多个变化视频帧的过程可以根据实际情况，依据上述情况A、情况B和情况C各自所对应的确定变化视频帧的过程进行，在此不再赘述。

步骤S804：将对应的帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，得到帧间隔大于或等于所述预设帧间隔的多个关键变化视频帧。

本实施例中，关键变化视频帧可以是指画面内容变化会被人眼捕捉的视频帧，具体实施时，可以将人眼捕捉不到画面内容变化的视频帧进行合并，即，将帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，从而得到了多个合并后的变化视频帧，该剩余的多个变化视频帧即为关键变化帧。

可以理解的是：对帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，即是保留了帧间隔大于所述预设帧间隔的变化视频帧，该被保留的变化视频帧即为关键变化帧。

步骤S805：根据所述关键变化视频帧的数量，确定所述视觉稳定度。

本实施例中，可以将关键变化视频帧的数量，作为视觉稳定度。

或者，在又一种示例中，可以将关键变化视频帧的数量与视频所包含的视频帧的总数量之间的比值，作为视觉稳定度，这样，可以更为直观地反映客户端启动过程中被人眼可见的变化的视频帧的占比，从而可以准确衡量一个客户端的视觉稳定度。可以理解的是，占比越小，视觉稳定度越高。

采用此种实施方式时，可以基于同一度量标准(都是基于占比)，在不同客户端之间进行视觉稳定度的比较。例如，对于客户端A而言，启动过程的视频的帧数为100，关键变化帧的数量为5；而对于客户端B而言，启动过程的视频的帧数为200，关键变化帧的数量为12，则显然的，客户端A的视觉稳定度大于客户端B的视觉稳定度。

采用本实施例的技术方案时，由于确定多个变化视频帧的整个过程仅涉及的是对视频画面的分析，其对客户端的启动过程无界面数据上的入侵、不影响客户端的界面加载，从而使得该确定变化视频帧的方法通用性强、可扩展性高。此外，由于待检测的视频中仅包括了显示区域的视频内容，因此，可以减小所要分析的画面内容的内容量，从而提高了视觉稳定度的确定效率。

基于与上述实施例同一发明构思，参照图10所示，示出了本实施例的一种视觉稳定度检测装置的结构框图，所述装置具体可以包括以下模块：

视频获得模块901，用于获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；

视频帧检测模块902，用于根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；

变化视频帧筛选模块903，用于根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；

视觉稳定度确定模块904，用于根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

可选地，所述视频获得模块901，具体可以包括以下单元：

录制单元，用于若检测到针对所述客户端的启动操作，则对所述客户端的启动过程进行录制，得到原始视频；

预处理单元，用于从所述原始视频中截取显示区域的视频内容，得到所述待检测的视频。

可选地，视频帧检测模块902，具体可以包括以下单元：

第一对比单元，用于对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像；

筛选单元，用于将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，所述视频帧检测模块902，具体可以包括以下单元：

第二对比单元，用于对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像；

所述筛选单元，具体用于将画面不为空的二次差分图像所对应的多个视频帧中的最后一个视频帧，确定为一个变化视频帧。

可选地，所述视频帧检测模块902，具体可以包括以下单元：

预处理单元，用于对各画面内容不为空且互不相邻的一次差分图像以及各画面内容不为空的二次差分图像分别进行预设处理，得到相应的的参数值，所述参数值包括以下至少一种：画面尺寸、画面位置、画面重心，所述预设处理包括以下至少一种：腐蚀处理、膨胀处理、边缘检测处理；

所述筛选单元，具体用于将参数值的变化量大于预设变化量的一次差分图像或二次差分图像所对应的多个视频帧中的后一视频帧，确定为一个变化视频帧。

可选地，所述变化视频帧筛选模块903，具体用于将对应的帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，得到帧间隔大于或等于所述预设帧间隔的多个关键变化视频帧。

可选地，所述视觉稳定度确定模块904，具体用于根据所述关键变化视频帧的数量，确定所述视觉稳定度。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本申请实施例还提供了一种电子设备，该电子设备可以用于执行视频流处理方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的视觉稳定度检测方法。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行一种以实现本申请上述的视觉稳定度检测方法所执行的操作。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种视觉稳定度检测方法、装置、设备以及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种视觉稳定度检测方法，其特征在于，所述方法包括：

获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；

根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；

根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；

根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

2.根据权利要求1所述的方法，其特征在于，获得待检测的视频，包括：

若检测到针对所述客户端的启动操作，则对所述客户端的启动过程进行录制，得到原始视频；

从所述原始视频中截取显示区域的视频内容，得到所述待检测的视频。

3.根据权利要求1所述的方法，其特征在于，所述多个变化视频帧中的任一变化视频帧，是按照以下步骤确定的：

对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧。

4.根据权利要求3所述的方法，其特征在于，在对所述视频中每相邻两个视频帧的画面内容进行差分，得到每相邻两个视频帧对应的一次差分图像之后，所述方法还包括：

对每相邻两个画面内容不为空的一次差分图像的画面内容进行差分，得到二次差分图像；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧，包括：

画面内容不为空的二次差分图像和/或互不相邻的画面内容不为空的一次差分图像，所对应的多个视频帧中的最后一个视频帧，确定为一个变化视频帧。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对各画面内容不为空且互不相邻的一次差分图像以及各画面内容不为空的二次差分图像分别进行预设处理，得到相应的的参数值，所述参数值包括以下至少一种：画面尺寸、画面位置、画面重心，所述预设处理包括以下至少一种：腐蚀处理、膨胀处理、边缘检测处理；

将画面内容不为空的一次差分图像所对应的相邻两个视频帧中的后一视频帧，确定为一个变化视频帧，包括：

将参数值的变化量大于预设变化量的一次差分图像或二次差分图像所对应的多个视频帧中的后一视频帧，确定为一个变化视频帧。

6.根据权利要求1-5任一所述的方法，其特征在于，根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧，包括：

将对应的帧间隔小于所述预设帧间隔的相邻两个变化视频帧进行合并，得到帧间隔大于或等于所述预设帧间隔的多个关键变化视频帧。

7.根据权利要求1-5任一所述的方法，其特征在于，根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度，包括:

根据所述关键变化视频帧的数量，确定所述视觉稳定度。

8.一种视觉稳定度检测装置，其特征在于，所述装置包括：

视频获得模块，用于获得待检测的视频，所述视频为对客户端的启动过程进行采集而得到的；

视频帧检测模块，用于根据所述视频中多个视频帧的画面内容之间的变化关系，从所述多个视频帧中确定多个变化视频帧，每个变化视频帧的画面内容不同于该变化视频帧之前的视频帧的画面内容；

变化视频帧筛选模块，用于根据每相邻两个变化视频帧之间的帧间隔与预设间隔的大小关系，从所述多个变化视频帧中确定关键变化视频帧；

视觉稳定度确定模块，用于根据所述关键变化视频帧，确定所述客户端的启动过程的视觉稳定度。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-7任一项所述的视觉稳定度检测方法。

10.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-7任一项所述的视觉稳定度检测方法。

Images