CN113037697A - 一种视频帧处理方法、装置和电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种视频帧处理方法，包括：每隔第一预设周期获取网络状态信息；建立质量因子与网络状态信息的微调关系；根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。可见，本申请在受限网络环境下播放视频时采用定时获取网络状态信息，根据网络状态信息与微调关系对每一视频帧进行质量因子的调整，可以主动并且提前地修正质量因子来调整画面质量，实现自动适应网络状况，能尽量减少视频播放出现卡顿或者丢帧现象明显的问题。本申请同时还提供了一种视频帧处理装置、一种电子设备和计算机可读存储介质，均具有上述有益效果。

Description

一种视频帧处理方法、装置和电子设备及可读存储介质

技术领域

本申请涉及视频播放技术领域，特别涉及一种视频帧处理方法、视频帧处理装置、电子设备和计算机可读存储介质。

背景技术

高清视频要维持高帧率、高画面质量的播放体验需要较大的传输带宽要求，而在受限网络环境下，视频播放达不到所需的传输带宽要求时，会出现播放丢帧、质量模糊的现象。相关技术中在处理受限网络环境下播放视频时采取的是丢帧后触发画面质量调整，播放时丢帧现象明显、卡顿较频繁，同时画面质量较低、恢复较慢，播放体验大幅度下降。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种视频帧处理方法、视频帧处理装置、电子设备和计算机可读存储介质，能够主动并且提前地修正质量因子来调整画面质量。

其具体方案如下：

本申请公开了一种视频帧处理方法，包括：

每隔第一预设周期获取网络状态信息；

建立质量因子与网络状态信息的微调关系；

根据所述微调关系确定与所述网络状态信息对应的目标质量因子，并将当前质量因子调整至所述目标质量因子，以使根据所述目标质量因子实现当前视频帧的处理。

可选的，所述每隔第一预设周期获取网络状态信息之前，还包括：

每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

将所述历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

根据所述比较结果得到粗调质量因子，并将所述粗调质量因子作为所述当前质量因子。

可选的，所述每隔第一预设周期获取网络状态信息之后，还包括：

记录所述网络状态信息。

可选的，所述根据所述微调关系确定与所述网络状态信息对应的目标质量因子，包括：

确定所述网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；

根据所述网络状态差值确定调整幅度，并根据所述微调关系确定与所述调整幅度对应的质量因子调整值；

根据所述质量因子调整值对所述当前质量因子进行计算，得到所述目标质量因子。

可选的，所述将当前质量因子调整至所述目标质量因子之后，还包括：

判断所述网络状态信息是否满足网络拥堵条件；

若满足所述网络拥堵条件，则将当前视频帧丢弃。

可选的，所述判断所述网络状态信息是否满足网络拥堵条件，包括：

判断所述网络状态信息中的数据包往返时延是否大于预设往返时延阈值；

对应的，所述若满足所述网络拥堵条件，则将当前视频帧丢弃，包括：

若大于所述预设往返时延阈值，则将所述当前视频帧丢弃。

可选的，若不满足所述网络拥堵条件，则判断所述目标质量因子是否小于预设阈值，

若小于所述预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

若未达到所述预设丢弃值，则将所述当前视频帧丢弃；

若达到所述预设丢弃值，则根据所述目标质量因子，对所述当前视频帧进行编码，得到编码后视频帧数据。

本申请提供一种视频帧处理装置，包括：

网络状态信息获取模块，用于每隔第一预设周期获取网络状态信息；

微调关系建立模块，用于建立质量因子与网络状态信息的微调关系；

质量因子调整模块，用于根据所述微调关系确定与所述网络状态信息对应的目标质量因子，并将当前质量因子调整至所述目标质量因子，以使根据所述目标质量因子实现当前视频帧的处理。

可选的，还包括：

历史参考数据量获取模块，用于每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

比较模块，用于将所述历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

粗调模块，用于根据所述比较结果得到粗调质量因子，并将所述粗调质量因子作为所述当前质量因子。

可选的，还包括：

判断模块，用于判断所述网络状态信息是否满足网络拥堵条件；

丢弃模块，用于若满足所述网络拥堵条件，则将当前视频帧丢弃。

可选的，还包括：

目标质量因子判断模块，用于若不满足所述网络拥堵条件，则判断所述目标质量因子是否小于预设阈值；

视频帧丢弃量判断模块，用于若小于所述预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

当前视频帧丢弃模块，用于若未达到所述预设丢弃值，则将所述当前视频帧丢弃；

编码模块，用于若达到所述预设丢弃值，则根据所述目标质量因子，对所述当前视频帧进行编码，得到编码后视频帧数据。

本申请提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述视频帧处理方法的步骤。

本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述视频帧处理方法的步骤。

本申请提供一种视频帧处理方法，包括：每隔第一预设周期获取网络状态信息；建立质量因子与网络状态信息的微调关系；根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

可见，本申请在受限网络环境下播放视频时采用定时获取网络状态信息，根据网络状态信息与微调关系对每一视频帧进行质量因子的调整，可以主动并且提前地修正质量因子来调整画面质量，实现自动适应网络状况，能够尽量减少视频播放出现卡顿或者丢帧现象明显的问题。本申请同时还提供了一种视频帧处理装置、一种电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种视频帧处理方法的流程图；

图2为本申请实施例所提供的另一种视频帧处理方法的流程图；

图3为本申请实施例所提供的另一种视频帧处理方法的流程图；

图4为本申请实施例提供一种具体的视频帧处理方法；

图5为本申请实施例所提供的一种视频帧处理装置的结构示意图；

图6为本申请实施例所提供的另一种视频帧处理装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构图；

图8为本申请实施例提供的另一种电子设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中在处理受限网络环境下播放视频时采取的是丢帧后触发画面质量调整，播放时丢帧现象明显、卡顿较频繁，同时画面质量较低、恢复较慢，播放体验大幅度下降。基于上述技术问题，本实施例提供一种视频帧处理方法，能够主动并且提前地修正质量因子来调整画面质量，具体请参考图1，图1为本申请实施例所提供的一种视频帧处理方法的流程图，具体包括：

S101、每隔第一预设周期获取网络状态信息。

其中，在视频播放期间每个第一预设周期获取网络状态信息。本实施例中不对第一预设周期进行限定，用户可自定义设置。当第一预设周期小于或者等于显示每一视频帧的时间的时候，每一个视频帧进性处理时得到的网络状态信息都是当前的最新的网络状态信息；当第一预设周期大于显示每一视频帧的时间的时候，可以是每两个或者每多个视频帧对应一个相同的网络状态信息。其中，网络状态信息用于反应网络环境的好坏，包括但是不限定于带宽、时延、数据包往返时延、丢包率、重传率中的一种或者多种。本实施例不对网络状态信息的获取方式进行限定，用户可自定义设置，只要是能够是实现本实施例的目的即可。

进一步的，每隔第一预设周期获取网络状态信息之后，还包括：记录网络状态信息。其中，可以按照时间的顺序依次记录每一个获取到的网络状态信息，以便实时监测网络的运行状态。

本申请主要针对首先网络环境的视频帧处理，其中，受限网络环境指的是网络环境较差的情况，比如带宽较低、时延较大、存在一定丢包率的网络传输环境。

S102、建立质量因子与网络状态信息的微调关系。

其中，质量因子是指的是控制视频画面质量的参数，视频画面是通过视频压缩算法进行编码的，调整质量因子能相对地调整视频画面质量，低质量的视频画面所需的传输带宽较小，反之则较大。

在一种可实现的实施方式中，建立质量因子与网络状态信息的微调关系，具体包括：确定网络状态单位变化值对应的质量因子的调整步幅，以使得到质量因子与网络状态信息的微调关系。在实际应用中，例如，当前的质量因子是a1，当前的网络状态信息是b1，上一视频帧对应的网络状态信息是b2，此时，网络状态单位变化值为b，调整步幅为c，网络状态的变化值是b1-b2，根据微调关系可以得到质量因子调整值为c*(b1-b2)/b，最终得到的目标质量因子是a1+c*(b1-b2)/b。或者，当前的质量因子是a1，当前的网络状态信息是b1，上几个视频帧对应的平均的网络状态信息是b2，此时，网络状态单位变化值为b，调整步幅为c，网络状态的变化值是b1-b2，根据微调关系可以得到质量因子调整值为c*(b1-b2)/b，最终得到的目标质量因子是a1+c*(b1-b2)/b。

在另一种可实现的实施方式中，建立质量因子与网络状态信息的微调关系，具体包括：确定每一网络状态信息范围对应的质量因子，以使得到质量因子与网络状态信息的微调关系。在实际应用中，例如，当前的网络状态信息是m，确定与当前的网络状态信息m对应的网络状态信息范围，从微调关系中确定与网络状态信息对应的目标质量因子。

在另一种可实现的实施方式中，建立质量因子与网络状态信息的微调关系，具体包括：确定网络状态变化范围对应的质量因子的调整幅度，以使得到质量因子与网络状态信息的微调关系。在实际应用中，例如，当前的质量因子是A1，当前的网络状态信息是B1，上一视频帧对应的网络状态信息是B2，此时，网络状态的变化值是B1-B2，与网络状态的变化值对应的网络状态变化范围为D，从微调关系中确定与D对应的调整幅度为C，则最终得到的目标质量因子为A1+C。

当然还可以是其他形式的微调关系，本实施例不再进行赘述只要是能够实现本实施例的目的即可。可以理解的是，网络状态信息用于反应网络环境的好坏，当网络环境好的时候，质量因子可以根据微调关系增大，以提高视频播放的画面质量；当网络环境降低的时候，质量因子可以根据微调关系降低，减少数据量的发送，适应网络环境。

S103、根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

在视频播放期间，根据微调关系得到目标质量因子，将当前质量因子调整至目标质量因子。可以理解的是，本实施例中根据网络环境即网络状态信息微调质量因子，质量因子的调整幅度小，但是调整频繁，可以主动并且提前地修正质量因子来调整画面质量，实现自动适应网络状况，保证视频播放不会出现卡顿或者丢帧现象明显的问题。

在一种可实现的实施方式中，根据微调关系确定与网络状态信息对应的目标质量因子，包括：确定网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；根据网络状态差值确定调整幅度，并根据微调关系确定与调整幅度对应的质量因子调整值；根据质量因子调整值对当前质量因子进行计算，得到目标质量因子。在本实施例中不对历史视频帧进行限定，历史视频帧可以是上一视频帧，则历史网络状态信息是上一视频帧对应的网络状态信息；历史视频帧是当前视频帧前几帧的视频帧，则历史网络状态信息前几帧视频帧的网络状态信息的平均值或者中位数。通过本实施例提供的方式可以微调质量因子，能够适应网络的变化，提高网络适应能力，减少视频播放出现卡顿或者丢帧现象的发生。

基于上述技术方案，本实施例在受限网络环境下播放视频时采用定时获取网络状态信息，根据网络状态信息与微调关系对每一视频帧进行质量因子的调整，可以主动并且提前地修正质量因子来调整画面质量，实现自动适应网络状况，能够尽量减少视频播放出现卡顿或者丢帧现象明显的问题。

基于上述实施例，为了能够进一步保证视频播放过程中的视频播放的效果，本实施例提供一种视频帧处理方法，具体请参考图2，图2为本申请实施例所提供的另一种视频帧处理方法的流程图，包括：

S201、每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量。

其中，每个第二预设周期得到历史参考数据量，本实施例不对第二预设周期进行限定，用户可自定义设置，第二预设周期大于第一预设周期。在视频播放期间，每第二预设周期会对历史视频编码后的历史参考数据量进行检视，历史参考数据量是刚编码视频帧的前预设帧数的历史视频帧编码后的数据量。其中，数据量是视频帧经过算法压缩后的数据大小，在本实施例中不对历史参考数据量进行限定，可以是预设帧数的的历史视频帧编码后的数据量的平均值、或者下一个变化趋势数值或者是中位数等，用户可自定义设置。

S202、将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果。

S203、根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子。

本步骤的目的在于进行数据量的大小的比较，其中，当比较结果是历史参考数据量大于上一视频帧编码后的数据量时，可以降低编码质量即降低质量因子，以便不会出现数据量瞬间猛涨的现象造成传输的过度拥塞；当比较结果是历史参考数据量小于数据量时，提高编码质量即增大质量因子，使发送数据流维持在一个稳定水平，以便提高画面质量，使观感体验得到提升，提高带宽利用率。

当调整完成质量因子后，将得到的粗调质量因子作为当前质量因子。可以理解的是步骤S201-步骤S203为对当前视频帧的质量因子粗调阶段，在完成步骤S201-步骤S203后，继续执行步骤S204-步骤S206完成质量因子的微调，其中质量因子粗调阶段基于视频帧的数据量的大小，调整的幅度大，频次低，而质量因子微调阶段基于网络环境对应的网络状态信息，调整的幅度小，频次高。

S204、每隔第一预设周期获取网络状态信息。

S205、建立质量因子与网络状态信息的微调关系。

S206、根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

基于上述技术方案，本实施例通过两次调整质量因子，在基于视频帧的数据量的大小进行质量因子粗调时，在提高带宽利用率的同时，能够保证视频正常播放的画面质量，然后基于当前网络状态信息对当前的质量因子进行微调，以使调整画面能够适应网络状况，进而保证视频播放过程中的视频播放的效果。

基于上述实施例，本实施例提供一种视频帧处理方法，具体请参考图3，图3为本申请实施例所提供的另一种视频帧处理方法的流程图，包括：

S301、每隔第一预设周期获取网络状态信息。

S302、建立质量因子与网络状态信息的微调关系。

S303、根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子。

其中，网络状态信息包括但是不限定于带宽、时延、数据包往返时延、丢包率、重传率中的一种或者多种。因此，建立的质量因子与网络状态信息的微调关系可以是建立质量因子与带宽的微调关系、建立质量因子与时延的微调关系、建立质量因子与数据包往返时延的微调关系、建立质量因子与丢包率的微调关系、建立质量因子与重传率的微调关系、建立质量因子与带宽-时延的微调关系等。

S304、判断网络状态信息是否满足网络拥堵条件。

网络状态信息包括但是不限定于带宽、时延、数据包往返时延、丢包率、重传率中的一种或者多种。在一种可实现的实施方式中，建立质量因子与网络状态的微调关系，包括：建立质量因子与第一网络信息的微调关系；对应的，判断网络状态信息是否满足网络拥堵条件，包括：判断第二网络信息是否满足第二网络信息预设拥堵阈值，其中，网络状态信息包括第一网络信息和第二网络信息。例如，建立质量因子与带宽的微调关系，判断时延是否满足时延预设拥堵阈值，网络状态信息包括带宽和时延；或，建立质量因子与带宽的微调关系，判断丢包率是否满足丢包率预设拥堵阈值，网络状态信息包括带宽和丢包率，当然还存在其他形式，本实施例不再进行赘述，只要能够实现本实施例的目的即可。

在另一种可实现的实施方式中，建立质量因子与网络状态的微调关系，包括：建立质量因子与第三网络信息的微调关系；对应的，判断网络状态信息是否满足网络拥堵条件，包括：判断第三网络信息是否满足第三网络信息预设拥堵阈值，其中，网络状态信息包括第三网络信息。例如，建立质量因子与带宽的微调关系，判断带宽是否满足带宽预设拥堵阈值，网络状态信息包括带宽；或，建立质量因子与时延的微调关系，判断时延是否满足时延预设拥堵阈值，网络状态信息包括时延。

其中，判断网络状态实心是否满足网络拥堵条件，包括：判断网络状态信息中的带宽是否小于预设带宽阈值；或，判断网络状态信息中的时延是否大于预设时延阈值；或，判断网络状态信息中的数据包往返时延是否大于预设往返时延阈值；或，判断网络状态信息中的丢包率是否大于预设丢包率阈值；或，判断网络状态信息中的重传率是否大于预设重传率阈值。

S305、若满足网络拥堵条件，则将当前视频帧丢弃。

可以理解的是，当检测到网络拥堵即满足网络拥堵条件，则不对当前视频帧基于当前的质量因子进行编码，直接丢弃当前视频帧。当前视频帧跳过后，继续等待后续视频帧，直至检测到网络状态不在拥堵，才执行后续视频帧的编码操作。其中，本步骤的丢帧操作能够丢弃调大量的待发数据量来减低网络的拥堵情况，并且丢帧的触发条件属于被动性质，因此这个环节是帧率的被动调整环节。

在一种可实现的实施方式中，判断网络状态信息是否满足网络拥堵条件，包括：判断网络状态信息中的数据包往返时延是否大于预设往返时延阈值；对应的，若满足网络拥堵条件，则将当前视频帧丢弃，包括：若大于预设往返时延阈值，则将当前视频帧丢弃。

S306、若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值。

其中，当不满足网络拥堵条件时，则判断目标质量因子是否小于预设阈值，通过目标质量因子与预设阈值的比较可以提前预测网络是否发生严重拥堵。当小于预设阈值时则预测当前的网络环境将会拥堵。若不小于预设阈值，则证明网络环境良好，可以执行根据目标质量因子对当前视频帧进行编码，得到编码后视频帧数据的操作。本实施例中不对预设阈值进行限定，用户可根据实际需求进行设置。

S307、若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值。

当小于预设阈值时，则预测目前网络传输环境较紧张，可能即将发生严重拥堵。此时判断预设时间内的视频帧丢弃量是否达到预设丢弃值。本实施例通过设置预设丢弃值，避免过多的视频帧被丢弃造成的视频播放质量低的问题。其中，预设时间内的视频帧丢弃量对应帧率，帧率指的是视频播放期间，每秒钟图片刷新的帧数，帧率越高所需的传输带宽越大，反之则越小。帧率一般以fps为单位，如果1s内丢掉的视频帧丢弃两位N，则帧率就降低N。值得注意的是，帧率是衡量视频播放体验的一个重要指标，因此帧率主动调整的环节需要控制丢帧的视频帧丢弃量，避免发生过多视频帧被弃掉。

S308、若未达到预设丢弃值，则将当前视频帧丢弃。

S309、若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

本实施例通过质量因子调整与帧率调整结合的方式来优化受限网络条件下的视频播放体验。质量因子和帧率调整两者相互关系相互影响，在识别到潜在的网络拥堵后，作出帧率的调整并兼顾的网络带宽的利用率，能够很好地改善受限网络环境下播放视频时的卡顿与画面模糊的问题，比如播放时平均帧率较高且能稳定维持，波动不大，卡顿现象减少，整体画面质量较好；即使在较差的网络条件下，1080p全屏视频播放的体验相比现有产品也有明显改进。

基于上述实施例，本实施例提供一种具体的视频帧处理方法，具体请参考图4，图4为本申请实施例提供一种具体的视频帧处理方法，包括：

S1、每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

S2、将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

S3、根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子；

其中，步骤S1至步骤S3为质量因子粗调阶段。

S4、每隔第一预设周期获取网络状态信息；

S5、建立质量因子与网络状态信息的微调关系；

S6、根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理；

其中，步骤S4至步骤S6为质量因子微调阶段。

S7、判断网络状态信息是否满足网络拥堵条件；

S8、若满足网络拥堵条件，则将当前视频帧丢弃；

其中，步骤S7至步骤S8为帧率被动调整阶段。

S9、若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值；

S10、若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

S11、若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

S12、若未达到预设丢弃值，则将当前视频帧丢弃；

其中，步骤S9至步骤S12为帧率主动调整阶段。

下面对本申请实施例提供的一种视频帧处理装置进行介绍，下文描述的视频帧处理装置与上文描述的视频帧处理方法可相互对应参照，相关模块均设置于服务器中，参考图5，图5为本申请实施例所提供的一种视频帧处理装置的结构示意图，包括：

网络状态信息获取模块401，用于每隔第一预设周期获取网络状态信息；

微调关系建立模块402，用于建立质量因子与网络状态信息的微调关系；

质量因子调整模块403，用于根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

在一些具体的实施例中，还包括：

历史参考数据量获取模块，用于每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

比较模块，用于将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

粗调模块，用于根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子。

在一些具体的实施例中，还包括：

记录模块，用于记录网络状态信息。

在一些具体的实施例中，质量因子调整模块403，包括：

网络状态差值计算单元，用于确定网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；

质量因子调整值获取单元，用于根据网络状态差值确定调整幅度，并根据微调关系确定与调整幅度对应的质量因子调整值；

目标质量因子获得单元，用于根据质量因子调整值对当前质量因子进行计算，得到目标质量因子。

在一些具体的实施例中，还包括：

判断模块，用于判断网络状态信息是否满足网络拥堵条件；

丢弃模块，用于若满足网络拥堵条件，则将当前视频帧丢弃。

在一些具体的实施例中，判断模块，包括：

判断单元，用于判断网络状态信息中的数据包往返时延是否大于预设往返时延阈值；

对应的，丢弃模块，包括：

丢弃单元，用于若大于预设往返时延阈值，则将当前视频帧丢弃

在一些具体的实施例中，还包括：

目标质量因子判断模块，用于若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值，

视频帧丢弃量判断模块，用于若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

当前视频帧丢弃模块，用于若未达到预设丢弃值，则将当前视频帧丢弃；

编码模块，用于若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

请参考图6，图6为本申请实施例所提供的另一一种视频帧处理装置的结构示意图，包括：

历史参考数据量获取模块404，用于每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

比较模块405，用于将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

粗调模块406，用于根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子；

网络状态信息获取模块401，用于每隔第一预设周期获取网络状态信息；

微调关系建立模块402，用于建立质量因子与网络状态信息的微调关系；

质量因子调整模块403，用于根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理；

判断模块407，用于判断网络状态信息是否满足网络拥堵条件；

丢弃模块408，用于若满足网络拥堵条件，则将当前视频帧丢弃；

目标质量因子判断模块409，用于若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值，

视频帧丢弃量判断模块410，用于若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

当前视频帧丢弃模块411，用于若未达到预设丢弃值，则将当前视频帧丢弃；

编码模块412，用于若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

由于视频帧处理装置部分的实施例与视频帧处理方法部分的实施例相互对应，因此视频帧处理装置部分的实施例请参见视频帧处理方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的方法可相互对应参照。参见图7，图7为本申请实施例提供的一种电子设备的结构图，包括：

存储器100，用于存储计算机程序；

处理器200，用于执行计算机程序时可以实现上述实施例所提供的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200为电子设备提供计算和控制能力，执行存储器100中保存的计算机程序时，可以实现以下步骤：每隔第一预设周期获取网络状态信息；建立质量因子与网络状态信息的微调关系；根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

在一些具体的实施例中，处理器200执行存储器100中保存的计算机子程序时，可以实现以下步骤：每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子。

在一些具体的实施例中，处理器200执行存储器100中保存的计算机子程序时，可以实现以下步骤：记录网络状态信息。

在一些具体的实施例中，处理器200执行存储器100中保存的计算机子程序时，可以实现以下步骤：确定网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；根据网络状态差值确定调整幅度，并根据微调关系确定与调整幅度对应的质量因子调整值；根据质量因子调整值对当前质量因子进行计算，得到目标质量因子。

在一些具体的实施例中，处理器200执行存储器100中保存的计算机子程序时，可以实现以下步骤：判断网络状态信息中的数据包往返时延是否大于预设往返时延阈值；若大于预设往返时延阈值，则将当前视频帧丢弃。

在一些具体的实施例中，处理器200执行存储器100中保存的计算机子程序时，可以实现以下步骤：若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值，若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；若未达到预设丢弃值，则将当前视频帧丢弃；若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

由于电子设备部分的实施例与视频帧处理方法部分的实施例相互对应，因此电子设备部分的实施例请参见视频帧处理方法部分的实施例的描述，这里暂不赘述。

在上述实施例的基础上，作为优选实施方式，参见图8，图8为本申请实施例提供的另一种电子设备的结构图，该电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元400，与处理器200相连，用于显示处理器200发送的数据。该显示单元400可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

本申请还公开了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：每隔第一预设周期获取网络状态信息；建立质量因子与网络状态信息的微调关系；根据微调关系确定与网络状态信息对应的目标质量因子，并将当前质量因子调整至目标质量因子，以使根据目标质量因子实现当前视频帧的处理。

在一些具体的实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；将历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；根据比较结果得到粗调质量因子，并将粗调质量因子作为当前质量因子。

在一些具体的实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：记录网络状态信息。

在一些具体的实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：确定网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；根据网络状态差值确定调整幅度，并根据微调关系确定与调整幅度对应的质量因子调整值；根据质量因子调整值对当前质量因子进行计算，得到目标质量因子。

在一些具体的实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：判断网络状态信息中的数据包往返时延是否大于预设往返时延阈值；若大于预设往返时延阈值，则将当前视频帧丢弃。

在一些具体的实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：若不满足网络拥堵条件，则判断目标质量因子是否小于预设阈值，若小于预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；若未达到预设丢弃值，则将当前视频帧丢弃；若达到预设丢弃值，则根据目标质量因子，对当前视频帧进行编码，得到编码后视频帧数据。

由于计算机可读存储介质部分的实施例与视频帧处理方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见视频帧处理方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种视频帧处理方法、视频帧处理装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (13)

1.一种视频帧处理方法，其特征在于，包括：

每隔第一预设周期获取网络状态信息；

建立质量因子与网络状态信息的微调关系；

根据所述微调关系确定与所述网络状态信息对应的目标质量因子，并将当前质量因子调整至所述目标质量因子，以使根据所述目标质量因子实现当前视频帧的处理。

2.根据权利要求1所述的视频帧处理方法，其特征在于，所述每隔第一预设周期获取网络状态信息之前，还包括：

每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

将所述历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

根据所述比较结果得到粗调质量因子，并将所述粗调质量因子作为所述当前质量因子。

3.根据权利要求1所述的视频帧处理方法，其特征在于，所述每隔第一预设周期获取网络状态信息之后，还包括：

记录所述网络状态信息。

4.根据权利要求3所述的视频帧处理方法，其特征在于，所述根据所述微调关系确定与所述网络状态信息对应的目标质量因子，包括：

确定所述网络状态信息与历史视频帧对应的历史网络状态信息的网络状态差值；

根据所述网络状态差值确定调整幅度，并根据所述微调关系确定与所述调整幅度对应的质量因子调整值；

根据所述质量因子调整值对所述当前质量因子进行计算，得到所述目标质量因子。

5.根据权利要求1所述的视频帧处理方法，其特征在于，所述将当前质量因子调整至所述目标质量因子之后，还包括：

判断所述网络状态信息是否满足网络拥堵条件；

若满足所述网络拥堵条件，则将当前视频帧丢弃。

6.根据权利要求5所述的视频帧处理方法，其特征在于，所述判断所述网络状态信息是否满足网络拥堵条件，包括：

判断所述网络状态信息中的数据包往返时延是否大于预设往返时延阈值；

对应的，所述若满足所述网络拥堵条件，则将当前视频帧丢弃，包括：

若大于所述预设往返时延阈值，则将所述当前视频帧丢弃。

7.根据权利要求5所述的视频帧处理方法，其特征在于，若不满足所述网络拥堵条件，则判断所述目标质量因子是否小于预设阈值；

若小于所述预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

若未达到所述预设丢弃值，则将所述当前视频帧丢弃；

若达到所述预设丢弃值，则根据所述目标质量因子，对所述当前视频帧进行编码，得到编码后视频帧数据。

8.一种视频帧处理装置，其特征在于，包括：

网络状态信息获取模块，用于每隔第一预设周期获取网络状态信息；

微调关系建立模块，用于建立质量因子与网络状态信息的微调关系；

质量因子调整模块，用于根据所述微调关系确定与所述网络状态信息对应的目标质量因子，并将当前质量因子调整至所述目标质量因子，以使根据所述目标质量因子实现当前视频帧的处理。

9.根据权利要求8所述的视频帧处理装置，其特征在于，还包括：

历史参考数据量获取模块，用于每隔第二预设周期获取预设帧数的历史视频帧编码后的历史参考数据量；

比较模块，用于将所述历史参考数据量与上一视频帧编码后的数据量进行比较，得到比较结果；

粗调模块，用于根据所述比较结果得到粗调质量因子，并将所述粗调质量因子作为所述当前质量因子。

10.根据权利要求8所述的视频帧处理装置，其特征在于，还包括：

判断模块，用于判断所述网络状态信息是否满足网络拥堵条件；

丢弃模块，用于若满足所述网络拥堵条件，则将当前视频帧丢弃。

11.根据权利要求10所述的视频帧处理装置，其特征在于，还包括：

目标质量因子判断模块，用于若不满足所述网络拥堵条件，则判断所述目标质量因子是否小于预设阈值；

视频帧丢弃量判断模块，用于若小于所述预设阈值，则判断预设时间内的视频帧丢弃量是否达到预设丢弃值；

当前视频帧丢弃模块，用于若未达到所述预设丢弃值，则将所述当前视频帧丢弃；

编码模块，用于若达到所述预设丢弃值，则根据所述目标质量因子，对所述当前视频帧进行编码，得到编码后视频帧数据。

12.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述视频帧处理方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频帧处理方法的步骤。

Images