CN109379624B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置、电子设备及存储介质，涉及电子设备技术领域。其中，该方法包括：依次对待显示视频的每一视频帧进行解码；判断当前视频帧的解码时间是否大于目标时长；若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。该方案可以改善因视频增强处理造成的卡顿问题。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及电子设备技术领域，更具体地，涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着科学技术的发展，电子设备已经成为人们日常生活中最常用的电子产品之一。并且，用户经常会通过电子设备看视频或玩游戏等。为了获得良好的视频观看体验，可能对视频进行处理，但是视频处理可能导致视频显示不及时，造成卡顿，影响用户体验。

发明内容

鉴于上述问题，本申请提出了一种视频处理方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种视频处理方法，所述方法包括：依次对待显示视频的每一视频帧进行解码；判断当前视频帧的解码时间是否大于目标时长；若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

第二方面，本申请实施例提供了一种视频处理装置，所述装置包括：解码模块，用于依次对待显示视频的每一视频帧进行解码；时长判断模块，用于判断当前视频帧的解码时间是否大于目标时长；增强处理模块，用于若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个程序。其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。

本申请实施例提供的视频处理方法、装置、电子设备及存储介质，根据对当前视频帧的解码时间长短确定是否对当前视频帧进行增强。对解码时间小于或等于目标时长的视频帧进行增强，从而使解码时间过长的视频帧及时显示，改善因视频增强处理造成的卡顿问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的视频播放的流程示意图。

图2示出了本申请一实施例提供的视频处理方法的流程图。

图3示出了本申请另一实施例提供的视频处理方法的流程图。

图4示出了本申请又一实施例提供的视频处理方法的流程图。

图5示出了本申请实施例提供的视频处理装置的功能模块图。

图6示出了本申请实施例提供的电子设备的结构框图。

图7是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，图1示出了视频播放的流程。具体地，操作系统在获取到待播放的数据的时候，接下来的工作就是解析音视频数据。一般的视频文件都由视频流和音频流两部分组成，不同的视频格式音视频的封装格式不一样。将音频流和视频流合成文件的过程称为muxer，反之从媒体文件中分离音频流和视频流的过程称为demuxer。播放视频文件就需要从文件流中分离出音频流和视频流，分别对其进行解码，解码后的视频帧可以直接渲染，相应的音频可以送到音频输出设备的缓冲区进行播放，当然，视频渲染和音频播放的时间戳需要控制同步。其中，每个视频帧为视频对应的每一帧图像。

具体地，视频解码可以包括硬解码和软解码，硬件解码是将原来全部交由中央处理器(Central Processing Unit，CPU)来处理的视频数据的一部分交由图形处理器(Graphics Processing Unit，GPU)来做，而GPU的并行运算能力要远远高于CPU，这样可以大大的降低对CPU的负载，CPU的占用率降低了之后就可以同时运行一些其他的程序了，当然，对于较好的处理器来说，比如i5 2320，或者AMD任何一款四核心处理器来说，既可以进行硬解码，也可以进行软解码。

具体地，如图1所示，多媒体框架(Media Framework)通过与客户端的API接口获取客户端待播放的视频文件，并交由视频编解码器(Video Decode)。其中，Media Framework为Android系统中多媒体框架，MediaPlayer、MediaPlayerService和Stagefrightplayer三个部分构成了Android多媒体的基本框架。多媒体框架部分采用了C/S的结构，MediaPlayer作为C/S结构的Client端，MediaPlayerService和Stagefrightplayer作为C/S结构Server端，承担着播放多媒体文件的责任，通过Stagefrightplayer，Server端完成Client端的请求并作出响应。视频解码器Video Decode是一款集成了最常用的音频和视频解码与播放的超级解码器，用于将视频数据解码。

其中，软解码，即通过软件让CPU来对视频进行解码处理。而硬解码，指不借助于CPU，而通过专用的子卡设备来独立完成视频解码任务。

不论是硬解码还是软解码，在将视频数据解码之后，会将解码后的视频数据发送至图层传递模块(SurfaceFlinger)，如图1所示，硬解码后的视频数据通过视频驱动程序发送至SurfaceFlinger。SurfaceFlinger将解码后的视频数据渲染和合成之后，在显示屏上显示。其中，SurfaceFlinger是一个独立的Service，它接收所有Window的Surface作为输入，根据ZOrder、透明度、大小、位置等参数，计算出每个Surface在最终合成图像中的位置，然后交由HWComposer或OpenGL生成最终的显示Buffer,然后显示到特定的显示设备上。

如图1所示，软解码中，CPU将视频数据解码之后交给SurfaceFlinger渲染和合成，而硬解码由GPU解码之后，交由SurfaceFlinger渲染和合成。而SurfaceFlinger会调用GPU实现图像的渲染和合成，并在显示屏上显示。

为了获得良好的显示效果，可以对视频增进行显示增强处理。即对视频进行解码，获得解码后的视频帧，再对解码后的视频帧进行显示增强处理。增强处理通过调节视频帧的图像参数提高视频帧的画质，提高视频的显示效果，获得更良好的观看体验。其中，视频帧的画质可以包括清晰度、锐度、饱和度、细节、镜头畸变、色彩、解析度、色域范围以及纯度等参数，通过调节画质相关的各种参数使图像更符合人眼的观看偏好，用户观看体验更好。如视频的清晰度越高、噪声越小、细节越清晰、饱和度越高等，表示视频画质越好，用户观看体验更好。其中，对画质中不同组合的参数进行调整，代表了对视频的不同增强处理方式，每种增强处理方式中包括相应的图像处理算法，用于对视频帧进行图像处理以调节视频帧的图像参数，提高视频帧的画质。

但是，在渲染时做显示增强处理，可能会导致显示不及时，使播放的视频出现卡顿，影响用户体验。

发明人经过研究发现，增强处理会出现卡顿的视频帧，通常为某些数据量大或者算法复杂度高的视频帧解码时间过长。在解码时间过长的情况下，若再进行增强处理，则该视频帧从开始解码到显示期间耗时较长，在需要该视频帧显示时不能及时显示。如在前一帧视频帧显示后，该当前视频帧显示，但是当前视频帧还在进行增强处理，无法及时显示。

而解码时间过长导致增强处理后可能造成显示卡顿视频帧为视频中少量的视频帧，且可能间隔出现。若视频中有间隔的部分视频帧不增强处理，其他视频帧进行增强处理，对于未进行增强的视频帧，用户感知不强，仍然可以提供良好的视觉显示效果，实现超清视效。

因此，发明人提出了本申请实施例的视频处理方法、装置、电子设备及存储介质，用于对解码时间过长的视频帧不进行增强处理，增强处理其中解码时间不长的视频帧。下面将通过具体实施例对本申请实施例提供的视频处理方法、装置、电子设备及存储介质进行详细说明。

请参阅图2，示出了本申请实施例提供的视频处理方法。所述视频处理方法用于通过根据视频帧的解码时间与设置的目标时长之间的大小关系判断是否对视频帧进行显示增强处理。在具体的实施例中，所述视频处理方法应用于如图5所示的视频处理装置400以及配置有所述视频处理装置400的电子设备500(图6)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备、车载设备、网关等可以进行视频处理的设备，在此不做具体的限定。具体的，该方法包括：

步骤S110：依次对待显示视频的每一视频帧进行解码。

待显示视频为电子设备用于显示的视频。

其中，电子设备可以从服务器获取待显示视频、可以从本地获取待显示视频，也可以从其他电子设备获取待显示视频，具体获取的是待显示视频对应的视频数据。

具体地，当所述待显示视频由电子设备从服务器获取时，那么该待显示视频可以是电子设备从服务器下载，或者电子设备从服务器在线获取。例如，待显示视频可以是电子设备通过安装的视频播放软件下载的视频数据，或者在该视频播放软件在线获取的视频数据。其中，该服务器可以为云服务器。当所述待显示视频从电子设备的本地获取时，该待显示视频可以是电子设备预先下载并存储在本地存储器中的视频数据。当所述待显示视频由电子设备从其他电子设备获取时，该待显示视频可以由其他电子设备通过无线通信协议传输至所述电子设备，例如，通过Wlan协议、蓝牙协议、ZigBee协议或者WiFi协议等，也可以由其他电子设备通过数据网络传输至所述电子设备，例如，2G网络、3G网络或者4G网络等，在此不做限定。

电子设备获取到待显示视频，再对该待显示视频进行解码。在对待显示视频进行解码时，依次对每一视频帧进行解码。对待显示视频的具体解码方式在本申请实施例中并不限定，可以根据待显示视频的具体格式确定。

步骤S120：判断当前视频帧的解码时间是否大于目标时长。

对于解码完成的每一视频帧，以其作为当前视频帧，判断其解码时间是否大于目标时长。该解码时间表示解码的时间长度。

步骤S130：若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理。所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

若当前视频帧的解码时间大于目标时长，若再对其进行增强处理，则可能无法紧接着上一视频帧进行显示，在上一视频帧与当前视频帧的显示之间产生时间间隔，造成视频显示的卡顿。因此，若当前视频帧的解码时间大于目标时长，则不对该当前视频帧进行增强处理。而若当前视频帧的解码时间小于或等于目标时长，则对当前视频帧进行增强处理，以通过增强处理包括的图像处理算法调整视频帧的图像参数，从而调整视频帧画质的相关参数，提高视频帧画质，使视频帧具有良好的显示效果。

其中，该目标时长的具体时长并不限定，可以预先设置，使设置的目标时长满足，解码时间小于或等于目标时长的视频帧进行增强处理后，可以紧接上一帧视频及时显示，不会在显示上产生卡顿；而解码时间大于目标时长的视频帧，若再进行增强处理，则由于增强处理的耗时而使当前视频帧无法紧接上一视频帧及时显示。

本申请实施例中，根据当前视频帧的解码时长确定是否对视频帧进行增强处理。解码时长小于或等于目标时长的视频帧则进行增强处理，从而使待显示视频具有良好显示效果的基础上降低卡顿的产生。

本申请实施例提供的视频处理方法，对于解码时间不同的视频帧，可以进行不同等级的增强处理。其中，不同等级的增强处理处理时长不同，在降低卡顿问题的情况下尽可能获得好的增强处理效果。具体的，请参见图3，该方法可以包括：

步骤S210：依次对待显示视频的每一视频帧进行解码。

步骤S220：判断当前视频帧的解码时间是否大于目标时长。若否，执行步骤S230；若是，执行步骤S250。

在本申请实施例中，判断解码的当前视频帧的解码时间是否大于目标时长。

作为一种实施方式，可以获取当前视频帧的解码时间，并判断其解码时间是否大于目标时长。其中，获取当前视频帧的解码时间，可以对当前视频帧的解码时间进行计时获取。例如，当开始对当前视频帧进行解码时，启动定时器计时。当前视频帧解码结束时，获取定时器的定时时长，该定时时长即视频帧的解码时间。获取到当前视频帧的解码时间后，可以将定时器置零，以用于下一视频帧解码时间的计时。

由于不同数据量的视频帧可能对应不同的解码时间，数据越大的视频帧，其解码时间越长。解码时间为目标时长的视频帧对应一个相应的数据量，为了便于描述，定义该数据量为大小阈值。也就是说，电子设备对某个数据量为大小阈值的视频帧进行解码时，解码时间等于目标时长。其中，视频帧的数据量表示该视频帧的比特数，或者说该视频帧进行存储时需要的存储空间，如数据量为2M、3M等。

因此，作为一种实施方式，在本申请实施例中，可以获取当前视频帧的数据量，判断该数据量与所述大小阈值之间的大小关系。若当前视频帧的数据量大于该大小阈值，则判定当前视频帧的解码时间大于目标时长。若当前视频帧的数据量小于或等于该大小阈值，则判定当前视频帧的解码时间小于或等于目标时长。

可选的，由于相邻两帧视频帧的像素通常相近，相邻两帧数据帧的大小相近，因此，为了加快处理速度，可以以前一帧的视频帧的数据量作为当前视频帧的数据量。再判断该数据量与所述大小阈值之间的大小关系。其中，该前一帧的视频帧的数据量可以从前一帧的数据帧对应的数据中，表示数据量的数据部分中获取。而当前视频帧以前一帧的视频帧的数据量作为当前视频帧的数据量，用于与大小阈值进行大小比较，判断当前视频帧的解码时间是否大于目标时长。另外，还可以对当前视频帧的数据进行分析，从当前视频帧对应的数据中，表示数据量的数据部分获取当前视频帧的实际的数据量，用于下一帧的视频帧进行解码时间是否大于目标时长的判断。

步骤S230：若所述当前视频帧的解码时间小于或等于目标时长，判断所述解码时间是否小于或等于指定时长，所述指定时长比所述目标时长短。若是，执行步骤S240；若否，执行步骤S250。

若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理。其中，增强处理是通过图像处理算法，是视频帧呈现更好的显示效果，如通过图像处理算法对视频帧进行去噪、增强对比度、增强饱和度以及增强细节等处理。

对视频帧进行增强处理，处理时间长度不同，处理效果不同。通常的，处理效果越好的增强处理，处理时间越长。因此，在本申请实施例中，对于解码时间越短的视频帧，可以采用进行越长时间的增强处理，获取越好的处理效果。

例如，在当前视频帧的解码时间小于目标时长的情况下，还可以对在解码时间小于或等于指定时长以及解码时间大于指定时长两种情况，分别采用不同等级的增强处理。因此，在当前视频帧的解码时间小于或等于目标时长时，可以判断所述解码时间是否小于或等于指定时长。

步骤S240：若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间小于或等于指定时长，对当前视频帧进行第一等级的增强处理。

步骤S250：若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间大于指定时长，对当前视频帧进行第二等级的增强处理，所述第一等级的增强处理的处理时间长于所述第二等级的增强处理的处理时间。

在当前视频帧的解码时间小于目标时长的情况下，若该解码时间小于或等于指定时长，则对当前视频帧进行第一等级的增强处理。若当前视频帧的解码时间小于或等于目标时长的情况下，若该解码时间大于指定时长，则对视频帧进行第二等级的增强处理。其中，该第一等级的增强处理时间比第二等级的增强处理的处理时间长，第一等级的增强处理效果比第二等级的增强处理效果更好。

第一等级的增强处理以及第二等级的增强处理分别对应的增强处理算法在本申请实施例中并不限定。作为一种实施方式，第一等级的增强处理所包括的增强处理算法比第二等级的增强处理所包括的增强处理算法种类更多。例如，第一等级的增强处理包括去噪算法、饱和度增强以及对比度增强算法中的三种或两种，而第二等级的增强处理值包括去噪算法、饱和度增强以及对比度增强算法中的一种，如去噪算法。或者是第一等级的增强处理包括去噪算法、饱和度增强以及对比度增强算法中的三种，而第二等级的增强处理值包括去噪算法、饱和度增强以及对比度增强算法中的两种。

其中，每种算法具体对应的图像处理算法在本申请实施例中并不限定。例如去噪算法可以是对图像边缘等细节信息保存完好的图像处理算法，如，基于局部空间连续性原则的引导滤波算法，同时考虑了像素空间差异与强度差异的滤波器双边滤波，充分利用了整个图像的自相似性和冗余信息的NLM(Non-Local Means，非局部均值)图像去噪算法。例如对比度增强的算法可以是自适应对比度增强算法(ACE，Adaptive ContrastEnhancement)，直方图均衡化(Histogram Equalization)以及直方图匹配(HistogramMatching)等。例如饱和度增强的算法可以是增加视频帧中的色彩成分，如，视频帧通过RGB表示时，分别调高RGB各个颜色通道；或者在RGB色彩空间调整亮度与饱和度不是很直观，而HSL色彩模式可以很直观表示出每个像素的饱和度，可以将图像的像素RGB值然后再转换到HSL色彩模式得到饱和度S(Saturation)，通过调整S的值调高饱和度。再将调整后的视频帧从HSL色彩模式转换到RGB色彩模式用于显示。

作为一种实施方式，所述第一等级的增强处理中增强处理算法的迭代次数大于所述第二等级的增强处理中增强处理算法的迭代次数。例如，通过EGL算法(拉普拉斯的特征向量降噪算法)对视频帧进行图像处理，该算法通过迭代过程对视频帧图像进行处理，则在第一等级的增强处理中，采用比第二等级的增强处理更多的迭代次数。

步骤S260：若所述当前视频帧的解码时间大于目标时长，判断所述当前视频帧是否满足增强处理条件。若是，执行步骤S270；若否，不对所述当前视频帧进行增强处理，执行步骤S280。

步骤S270：对所述当前视频帧进行增强处理。

若当前视频帧的解码时间大于目标时长，则对其进行增强处理可能影响视频帧的及时显示。但是，为了获得更好的显示效果，可以进一步判断该当前视频帧是否满足增强处理条件。若当前视频帧满足增强处理条件，则对其进行增强处理。该增强处理的具体处理方式在本申请实施例中并不限定，如去噪的增强处理、增加饱和度的增强处理、增加对比度的增强处理等。若不满足增强处理条件，则跳过增强处理步骤，不对其进行增强处理，直接用于渲染播放。

作为一种实施方式，可以在缓存中创建有待播放列表，用于存储解码完成但是未轮到进行播放的视频帧。若存在已经进行解码的视频帧还未播放到播放时间，可以将其放入到待播放列表中等待播放。也就是说，解码速度快于播放速度，正在播放的视频帧以后的多帧视频帧已经解码完成，此时，将解码完成且还未到播放时间的视频帧按照播放顺序放入待播放列表。如有连续五帧视频帧，分别为用于依次播放的第一帧至第五帧，开始播放第一帧的时候，第二帧以及第五帧已经解码完成，则将第二帧以及第五帧放入待播放列表。该待播放列表可以是先进先出的列表，第二帧以及第五帧的视频帧按照顺序优先到后放入待播放列表，当紧接着第一帧播放第二帧，从待播放列表中获取解码后的第二帧视频帧进行播放。

在该实施方式中，若待播放列表中存储有一定数量的已经解码的视频帧，即使当前视频帧的解码时间过长，因为其前面存储有多帧解码后的视频帧等待播放，对其进行增强处理也不会影响视频的播放效果，可以保证视频的及时播放，不会造成卡顿。因此，在该实施方式中，判断该当前视频帧是否满足增强处理条件，可以是判断待播放列表中是否存储有目标帧数的已经解码且尚未播放的视频帧。也就是说，判断待播放列表中是否存储有目标帧数的视频帧等待播放。若判定待播放列表中存储有达到目标帧数的视频帧等待播放，则可以对当前视频帧进行增强处理。其中，目标帧数的具体视频帧数量在本申请实施例中并不限定，例如可以是进行播放耗时等于视频增强处理所需时间的视频帧数量。对当前视频帧进行增强处理后，再将增强处理后的视频帧存储到待播放列表中等待播放。

若判定待播放列表中未存储有达到目标帧数的视频帧等待播放，也就说，判定待播放列表中存储的视频帧数量小于目标帧数，不对所述当前视频帧进行增强处理。

可选的，在该实施方式中，判断待播放列表中是否存储有目标帧数的视频帧等待播放的判断步骤可以在判定当前视频帧的解码时间大于目标时长的情况下执行，也可以在判断当前视频帧的解码时间是否大于目标时长之前执行。其中，若该判断待播放列表中是否存储有目标帧数的视频帧等待播放的步骤在步骤S220之前执行，当判定待播放列表中存储有目标帧数的视频帧等待播放，说明当前视频帧的增强处理不会造成视频的显示卡顿，可以直接对当前视频帧进行增强处理，并且在增强处理后存储至待播放列表，而可以不再判断当前视频帧的解码时间是否大于目标时长。当判定待播放列表中未存储有目标帧数的视频帧等待播放，再执行步骤S220的判断当前视频帧的解码时间是否大于目标时长，若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理；若所述当前视频帧的解码时间大于目标时长，不对所述当前视频帧进行增强处理。

可选的，在本申请实施例中，若有多帧连续的视频均不进行增强处理，可能会给用户明显的感知，影响视频的增强显示效果。因此，本申请实施例中还提供了一种实施方式，在该实施方式中，为了获得良好的播放显示效果，如果连续指定帧数的视频帧的视频解码时间都大于目标时长，则下一个视频帧不论其解码快慢都需要进行画质显示增强处理，以便达到较好的播放画面效果。具体的，在该实施方式中，判断该当前视频帧是否满足增强处理条件，可以是判断是否有连续指定帧数的视频帧未进行增强处理，所述连续指定帧数的视频帧与当前视频帧相邻且位于当前视频帧之前。也就是说，判断从当前视频帧往前的指定帧数的视频帧是否均未进行增强处理。其中，指定帧数对应的视频帧数量在本申请实施例中并不限定，如可以设置为10帧。该指定帧数设置的最大值可以是用户能明显感知到视频显示的最大帧数减去1，也就是说，指定帧数的视频帧加上当前视频帧，用户就能明显感知到视频显示的增强效果。

可选的，在该实施方式中，可以通过计数参数对连续未进行增强处理的视频帧进行计数。每有一帧视频帧未进行增强处理，计数参数加1，每有一帧视频帧进行增强处理，计数参数置0。因此，当有连续的视频帧未进行增强处理，则计数参数持续累计。在判断是否有连续指定帧数的视频帧未进行增强处理时，可以判定计数参数是否等于指定帧数。

若判定有连续指定帧数的视频帧未进行增强处理，则对当前视频帧进行增强处理，以使视频显示保持良好的增强效果。

若判定没有连续指定帧数的视频帧未进行增强处理，也就说，判定在当前视频帧之前的未进行增强处理的视频帧的数量小于指定帧数，则不对当前视频帧进行增强处理，以降低卡顿风险。

可选的，在该实施方式中，判断是否有连续指定帧数的视频帧未进行增强处理的步骤可以在判定当前视频帧的解码时间大于目标时长的情况下执行，也可以在判断当前视频帧的解码时间是否大于目标时长之前执行。其中，若该判断是否有连续指定帧数的视频帧未进行增强处理的步骤在步骤S220之前执行，当判定有连续指定帧数的视频帧未进行增强，说明若当前视频帧不进行增强处理，会影响增强显示效果，可以直接对当前视频帧进行增强处理，而可以不再判断当前视频帧的解码时间是否大于目标时长。当判定没有连续指定帧数的视频帧未进行增强，再执行步骤S220的判断当前视频帧的解码时间是否大于目标时长，若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理；若所述当前视频帧的解码时间大于目标时长，不对所述当前视频帧进行增强处理。

其中，对视频帧进行增强处理，

步骤S280：对所述当前视频进行播放。

当前视频帧进行增强处理后，接着上一视频帧进行播放。若当前视频帧不进行增强处理，接着上一视频帧进行播放。

本申请实施例中，根据视频帧的解码时间，设置不同的增强等级，既可以获得良好的增强效果，实现超清视效，又能有效降低卡顿风险。

本申请实施例提供的视频处理方法，还可以预估视频的解码时长，以预估的解码时长作为用于判断是否大于目标时长的解码时间，加快处理速度。具体的，请参见图4，该方法包括：

步骤S310：依次对待显示视频的每一视频帧进行解码。

步骤S320：获取当前视频帧的预估解码时长。

在当前视频帧实际解码完成之前，可以先预估该视频帧解码可能需要的时长，作为该视频帧的预估解码时长。

作为一种实施方式，不同数据量的视频帧，其解码时长不同。因此，可以根据当前视频帧的数据量预估其解码需要的解码时长。

具体的，可以设置并存储数据量与解码时长的对应关系。该对应关系中，数据量对应的解码时长，表示该数据量的视频帧进行解码时，通常需要花费的时间长度。对于该当前视频帧，可以获取其数据量，再根据数据量与解码时长的对应关系，获取当前视频帧的数据量对应的解码时长，作为当前视频帧的预估解码时长。为了方便描述，本申请实施例中将数据量与解码时长的对应关系中的数据量描述为对比数据量。

可选的，获取当前视频帧的数据量，可以根据对当前视频帧对应的数据中，表示数据量的数据部分中获取。

可选的，由于相邻两帧视频帧的像素通常相近，相邻两帧数据帧的大小相近，因此，为了加快处理速度，可以以前一帧的视频帧的数据量作为当前视频帧的数据量。其中，该前一帧的视频帧的数据量是从前一帧的数据帧对应的数据中，表示数据量的数据部分中获取。而当前视频帧在以前一帧的视频帧的数据量作为当前视频帧的数据量，用于获取当前视频帧的预估解码时长。还可以对当前视频帧的数据进行分析，从当前视频帧对应的数据中，表示数据量的数据部分获取当前视频帧的实际大小，用于下一帧的视频帧进行解码时长的预估。

可选的，在对比数据量与解码时长的对应关系中，可以以不同的对比数据量对应解码时长，即一个表示对比数据量的数值对应一个解码时长。在该种对应方式下，可以将当前视频帧的数据量与对应关系中的对比数据量进行比对。若对应关系中存在与当前视频帧的数据量相同的对比数据量，则以对应关系中该相同的对比数据量对应的解码时长作为当前视频帧的预估解码时长。若对应关系中不存在与当前视频帧的数据量相同的对比数据量，可以确定对应关系中与当前视频帧的数据量最接近的对比数据量，以确定的对比数据量对应的解码时长作为当前视频帧的预估解码时长。若对应关系中不存在与当前视频帧的数据量相同的对比数据量，也可以确定对应关系中比当前视频帧的数据量小且最接近当前帧的数据量的对比数据量，以确定的对比数据量对应的解码时长作为当前视频帧的预估解码时长。

可选的，在对比数据量与解码时长的对应关系中，可以以不同的对比数据量区间分别对应不同的解码时长，该对比数据量区间为从一个表示对比数据量的数值到另一个表示对比数据量的数值形成的一个数值区间。在该种对应方式下，可以先将当前视频帧的数据量与各个对比数据量区间进行比对，确定该数据量所在的对比数据量区间。再以该确定的对比数据量区间对应的解码时长，作为当前视频帧的解码时长。

作为一种实施方式，由于相邻两帧视频帧的像素分布通常比较相近，相邻两帧视频帧的数据量相近，解码时长相近，因此，可以获取当前视频帧的前一视频帧的实际解码时长，作为所述当前视频帧的预估解码时长。其中，当前视频帧的前一帧的解码时长，可以通过计时获取。例如，当视频帧开始解码时，通过定时器进行计时，当视频帧解码结束，记录定时器的计时时间，获得视频帧的实际解码时长。当前视频帧在预估解码时长时，以前一视频帧的实际解码时长，作为该视频帧解码时可能需要的解码时长，即作为该视频帧的预估解码时长。

在本申请实施例中，步骤S320中获取当前视频帧的预估解码时长的执行时间并不限定，可以与步骤S310同时执行，也可以比步骤S310先执行，从而加快处理速度。

步骤S330：以所述预估解码时长作为解码时间，判断当前视频帧的解码时间是否大于目标时长。

将对当前视频帧的预估解码时长作为用于判断是否大于目标时长的解码时间，判断该解码时间是否大于目标时长。

其中，该目标时长可以是小于或等于一个临界时间阈值的时长，该临界时间阈值可以根据实验得到。当视频帧的解码时间刚好为该临界时间阈值，若进行视频增强处理，可以刚好紧接着上一视频帧进行播放。若视频帧的解码时间刚好大于该临界时间阈值，若进行视频增强处理，则该视频帧在电子设备的显示屏进行播放的时间与上一视频帧的播放时间产生时间间隔，形成显示的卡顿。该临界时间阈值可以是这样一个时间长度值，在实时解码显示的情况下，从解码开始到需要该视频帧进行显示的时间长度，减去增强处理的时间，再减去不进行增强处理的情况下从解码结束到显示之间处理所需的时间。

步骤S340：若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理；若所述当前视频帧的解码时间大于目标时长，不对所述当前视频帧进行增强处理。

若判定当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理。而若当前视频帧的解码时间大于目标时长，跳过增强处理的步骤，进行显示所需的渲染合成后显示。

本申请实施例中，获取对当前视频帧解码时长进行预估的预估解码时长，以该预估解码时长作为与目标时长比对的解码时间，从而更快进行解码时间是否大于目标时长的判断，加快处理速度。

本申请实施例还提供了一种视频处理装置400。请参见图5，所述装置400包括：解码模块410，用于依次对待显示视频的每一视频帧进行解码。时长判断模块420，用于判断当前视频帧的解码时间是否大于目标时长。增强处理模块430，用于若所述当前视频帧的解码时间小于或等于目标时长，对所述当前视频帧进行增强处理，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

可选的，在该装置中，还可以包括预估模块，用于获取当前视频帧的预估解码时长。时长判断模块420可以以所述预估解码时长作为所述解码时间，判断当前视频帧的解码时间是否大于目标时长。

作为一种实施方式，预估模块可以获取当前视频帧的数据量；根据数据量与解码时长的预设对应关系，获取所述数据量对应的解码时长，作为所述预估解码时长。

作为一种实施方式，预估模块可以获取所述当前视频帧的前一视频帧的实际解码时长，作为所述当前视频帧的预估解码时长。

可选的，增强处理模块430还可以包括第一增强单元，用于若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间小于或等于指定时长，对当前视频帧进行第一等级的增强处理，所述指定时长比所述目标时长短。第二增强单元，用于若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间大于指定时长，对当前视频帧进行第二等级的增强处理，所述第一等级的增强处理的处理时间长于所述第二等级的增强处理的处理时间。

其中，所述第一等级的增强处理可以包括比所述第二等级的增强处理更多种的增强处理算法。或者是，所述第一等级的增强处理中增强处理算法的迭代次数大于所述第二等级的增强处理中增强处理算法的迭代次数。

可选的，该装置400还可以包括列表判断模块，用于判断待播放列表中是否存储有目标帧数的已经解码且尚未播放的视频帧。增强处理模块430还可以用于，若列表判断模块判断结果为是，对所述当前视频帧进行增强处理后存储于待播放列表；若列表判断模块判断结果为否，不对所述当前视频帧进行增强处理。

可选的，该装置400还可以包括帧数判断模块，用于判断是否有连续指定帧数的视频帧未进行增强处理，所述连续指定帧数的视频帧与当前视频帧相邻且位于当前视频帧之前。增强处理模块430还可以用于，若帧数判断模块判断结果为是，对当前视频帧进行增强处理；若帧数判断模块判断结果为否，不对当前视频帧进行增强处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述的各个方法实施例之间可以相互参照；上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图6，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以是智能手机、平板电脑、音乐播放设备等能够进行视频处理的电子设备。该电子设备一个或多个处理器510(图中仅示出一个)，存储器520以及一个或多个程序。其中，所述一个或多个程序被存储在所述存储器520中，并被配置为由所述一个或多个处理器510执行。所述一个或多个程序配置用于执行前述实施例所描述的方法。

处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。

存储器520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

另外，该电子设备500还可以包括显示屏，用于对待显示视频进行显示。

请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种视频处理方法，其特征在于，所述方法包括：

依次对待显示视频的每一视频帧进行解码；

判断当前视频帧的解码时间是否大于目标时长；

若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间小于或等于指定时长，对当前视频帧进行第一等级的增强处理，所述指定时长比所述目标时长短；

若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间大于指定时长，对当前视频帧进行第二等级的增强处理，所述第一等级的增强处理的处理时间长于所述第二等级的增强处理的处理时间；所述第一等级的增强处理包括比所述第二等级的增强处理更多种的增强处理算法；或者所述第一等级的增强处理中增强处理算法的迭代次数大于所述第二等级的增强处理中增强处理算法的迭代次数，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

2.根据权利要求1所述的方法，其特征在于，所述判断当前视频帧的解码时间是否大于目标时长之前，包括：

获取当前视频帧的预估解码时长；

所述判断当前视频帧的解码时间是否大于目标时长，包括：以所述预估解码时长作为所述解码时间，判断当前视频帧的解码时间是否大于目标时长。

3.根据权利要求2所述的方法，其特征在于，所述获取当前视频帧的预估解码时长，包括：

获取当前视频帧的数据量；

根据数据量与解码时长的预设对应关系，获取所述数据量对应的解码时长，作为所述预估解码时长。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：统计每一视频帧的解码时长；

所述获取当前视频帧的预估解码时长，包括：

获取所述当前视频帧的前一视频帧的实际解码时长，作为所述当前视频帧的预估解码时长。

5.根据权利要求1所述的方法，其特征在于，若当前视频帧的解码时间大于目标时长，所述方法还包括：

判断待播放列表中是否存储有目标帧数的已经解码且尚未播放的视频帧；

若是，对所述当前视频帧进行增强处理后存储于待播放列表；

若否，不对所述当前视频帧进行增强处理。

6.根据权利要求1所述的方法，其特征在于，若所述当前视频帧的解码时间大于目标时长，所述方法还包括：

判断是否有连续指定帧数的视频帧未进行增强处理，所述连续指定帧数的视频帧与当前视频帧相邻且位于当前视频帧之前；

若是，对当前视频帧进行增强处理；

若否，不对当前视频帧进行增强处理。

7.一种视频处理装置，其特征在于，所述装置包括：

解码模块，用于依次对待显示视频的每一视频帧进行解码；

时长判断模块，用于判断当前视频帧的解码时间是否大于目标时长；

增强处理模块，用于若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间小于或等于指定时长，对当前视频帧进行第一等级的增强处理，所述指定时长比所述目标时长短；

若所述当前视频帧的解码时间小于或等于目标时长且所述解码时间大于指定时长，对当前视频帧进行第二等级的增强处理，所述第一等级的增强处理的处理时间长于所述第二等级的增强处理的处理时间；所述第一等级的增强处理包括比所述第二等级的增强处理更多种的增强处理算法；或者所述第一等级的增强处理中增强处理算法的迭代次数大于所述第二等级的增强处理中增强处理算法的迭代次数，所述增强处理通过调节视频帧的图像参数提高视频帧的画质。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images