CN109348222B - 一种参考帧的选取方法 - Google Patents

Abstract

一种参考帧的选取方法，包括以下步骤：步骤1：通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。本发明能够降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。

Description

一种参考帧的选取方法

技术领域

本发明属于视频编解码以及视频流传输领域，具体是一种参考帧的选取方法。

背景技术

视频通信是现代通信常用的通信方式，它出现在我们生活的各个方面，如网络直播，视频新闻，视频会议等。视频信息的特点就是直观且信息量大，对于像直播或是像视频会议这样的实时视频系统来说，如何保证视频流实时且高效地传输极为重要。为了保证实时播放中的低延迟性，该类视频中的帧类型通常只有两种I和P，不使用B帧。现有的被广泛应用的编解码技术如H264或者HEVC，在进行帧间预测编码来恢复重建图像时，通常选取的是前一帧作为参考帧来编码当前帧。

由上图可知，目前使用的压缩标准在采用帧间编码预测时，一到两帧已重建图像作为参考帧用于与运动估计来编码当前帧。尤其在实时会议系统中我们通常选择参考上一帧，该方法的优点是搜索时间短、算法复杂度低、延时较低，但这种参考帧选取方法的缺点是在当前帧发生巨大的场景变换或是当前帧预参考的上一帧在传输中发生丢包，无法正确解码的情况下，会选择重编I帧，开启新的GOP进行恢复。因为重编I帧所需的比特数要远远大于其他帧类型，从而导致码率突增，影响编码效率，这时我们需要使用长参考帧作为丢帧恢复的解决方案。

长参考帧的定义是将已经被接收端收到且已解的关键帧记录到参考帧列表中，当编码端收到丢包反馈或是检测到场景切换时，触发长参考帧的使用。这样一方面可以防止错误大范围地蔓延导致解码端不可解的状况的发生，另一方面可以防止重编I帧带了的巨大比特消耗。参考帧的选取实际上是一个消耗与效率的妥协，消耗包括存储消耗和搜索消耗，而效率则是使用多参考帧带来的压缩效率的提升。就国内普遍使用的H264压缩算法来说，国际标准化协会规定了在做帧间预测时，参考帧列表的最大长度不超过15帧。我们可以充分地在编码端缓存15帧作为参考帧，根据比较所有参考帧与当前编码帧之间畸变值的大小选择最优的参考帧，但这样做的成本就是系统所需的存储空间增大，搜索查找最优帧的运算工作量增大，延时增加，影响码流在实时传输系统中的时效性。因此，本专利提出了一种于多参考帧中优选出最适合的参考帧的方法。

同时，参考帧的选取可以结合传输错误控制机制，充分利用传输机制中的反馈信息来进行优化，提高用户体验。在丢包发生后，在标准传输协议中一般采用自动重传请求(ARQ)和前向错误纠正(FEC)两种方法进行错误控制[2]。视频接收端检测出丢包时，ARQ机制会向发送端发送重传请求(NACK),请求发送端重传丢失的数据包。自动重传请求恢复是简便且安全的帧恢复方法，当然重传也会增加视频延时，影响用户体验。当数据传输线路特别差时，自动重传恢复甚至可能会发生死锁现象。另一种方法是FEC，FEC通过增加冗余数据提供对抗包丢失的有效途径，因为无需重传或反通道，所以该方法常用于实时或多播应用，但是如果突发丢包长度超过FEC的纠错能力时，FEC的性能可能很差。此外，冗余包通常要占用较多的存储空间，在传输时需要更大的带宽。ARQ和FEC可以降低网络丢包对视频质量造成的负面影响，但由于延时和带宽等的限制，在实际应用中还是需要考虑如何进一步降低丢包对视频体验的负面影响。如何将参考帧的选取和网络丢包信息结合起来，预测出最优参考帧是急需解决的关键问题。

发明内容

为了克服现有技术的不足，本发明提出一种参考帧的选取方法，通过丢包率对当前编码帧之前的若干帧已被解码端收到且已经被解码的概率的预测以及当前编码帧与之前的某帧之间的畸变或残差的预测，借助概率和畸变估计选择率失真综合最优的参考帧，降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。

本发明为实现上述目的，采用以下技术方案实现：

一种参考帧的选取方法，其特征在于，包括以下步骤：

步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；

步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；

步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；

步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。

进一步地，作为优选技术方案，所述步骤1中的目标优化率失真函数为：

d_opt＝argmin{D_d+λ·R_d}

其中，d_0pt表示最优步长值；D_d表示的是如果选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真，此失真与丢包概率和实时RTT值的预测有关；R_d表示的是选用距离当前编码帧步长为d的帧为参考帧时当前编码帧所需要的编码码率；λ是拉格朗日乘数。

进一步地，作为优选技术方案，所述步骤2的具体过程为：

步骤2-1：确定距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d表达式：D_d＝P(Y|X)×F_S，其中，X表示属性集；Y表示类变量；P(Y|X)表示在没有收到该帧NACK请求的情况下发现丢帧的概率；F_S表示丢帧后对GOP序列产生失真损伤估计；

步骤2-2：利用贝叶斯定理将步骤1中的P(Y|X)计算出来，贝叶斯公式表达为：

其中，P(X)表示在传输中NACK没有返回的概率；P(Y)表示传输过程中发生丢帧的概率；P(X|Y)表示在已知丢帧的情况下同时收到NACK的概率；

步骤2-3：计算选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d：

其中，F_S表示的是当前帧的确定步长的帧发生丢包以后造成的错误蔓延。

进一步地，作为优选技术方案，所述步骤2-2中，P(X)根据实时的网络环境监控，假设当前发送100个包，其中收到N个NACK返回值，那么没有收到NACK的概率为：

所述步骤2-2中，P(X|Y)的计算过程为：

步骤2-2-1：计算帧与帧之间的间隔PO，其表达式为：

其中，frame per second表示每秒的帧数；

步骤2-2-2：计算距离当前编码帧确定步长内在未收到NACK返回时可以确定该帧已经收到并解码的概率P_SUCCESS，其表达式为：

其中，RTT表示数据包经过传输链路到达接受端返回信息到发送端的时长，这里不仅仅包括网络传输延时，而且包括丢包检测需要的时间；P(RTT)表示随着网络变化关于RTT时长的概率密度函数；

步骤2-2-3：求解P(X|Y)，其表达式为：

P(X|Y)＝1-P_success。

进一步地，作为优选技术方案，所述步骤2-2-2中，RTT的分布概率服从长尾概率分布函数。

进一步地，作为优选技术方案，所述步骤3的具体过程为：

步骤3-1：确定每次丢包造成序列的期望受损长度V_ELFL的表达式为：

其中，L_E表示每次丢包造成的序列受损长度；P_ES表示序列中丢帧模式的条件概率，P_F表示丢包帧的概率，根据洛必达法则，当P_F趋近于0时，V_ELFL接近于0；当P_F趋近于1时，V_ELFL接近于L；

步骤3-2：计算视频序列单位时间内的平均丢包率，其表达式为：

其中，V_{AFLF_T}是单位时间内的平均丢包帧频率，T为某一时间段，N_F为T时间内视频的总帧数，P_F为丢包帧的概率，F_R为视频的帧率，当丢包时间符合独立分布时，每个数据包丢失的概率都相同，即等于丢包率；

步骤3-3：计算平均包含数V_PpF和丢包帧概率P_F，其表达式分别为：

其中，N_P表示T时间内视频的总包数；P_size表示数据包大小；B_R表示编码比特率；

步骤3-4：计算丢帧后对GOP序列产生失真损伤估计F_S，其表达式为：

F_s＝V_{AFLF_T}V_EIFL

步骤3-5：计算参考帧与当前编码帧之间的畸变大小SAD(d)，其表达式为：

其中，d表示距离当前编码帧的步长大小；

步骤3-6：为简化计算，假设R(d)正比于SAD(d)：R(d)＝k*SAD(d)，求解出R(d)；其中k为比例系数，SAD(d)表示参考帧与当前编码帧之间的畸变大小，R(d)表示当前编码帧的编码所需的编码码率。

本发明与现有技术相比，具有以下优点及有益效果：

本发明通过采用数学建模，将参考帧的最优选取问题转化为数学问题，通过对于当前编码帧确定步长范围的帧已经解码的概率和参考该帧后产生的畸变的预估，得到最优选参考帧的估计方法。在长参考帧的使用条件下，具有优选对于当前编码帧畸变最小的已解帧作为参考而不是某一帧与当前编码帧的非相关不是关键帧作为参考的优势，很好地解决了短参考帧遇到场景变换时无法进行帧间预测方法的问题和使用长参考帧时未能参考到关键帧的问题；此外对于整个编解码框架来说，通过对于解码端网络传输质量的分析，来判决接收反馈的个数达到多少的时候，就能成功地确定该帧可以被标记为关键帧，即可以被移至长参考帧列表。

附图说明

图1为RTT概率密度分布函数；

图2为马尔科夫状态转移图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例：

本实施例所述的一种参考帧的选取方法，其特征在于，包括以下步骤：

步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；

步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；

步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；

步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。

进一步地，作为优选技术方案，所述步骤1中的目标优化率失真函数为：

d_opt＝argmin{D_d+λ·R_d}

其中，d_0pt表示最优步长值；D_d表示的是如果选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真，此失真与丢包概率和实时RTT值的预测有关；R_d表示的是选用距离当前编码帧步长为d的帧为参考帧时当前编码帧所需要的编码码率；λ是拉格朗日乘数，可以理解为编码码率R_d相对于失真D_d的加权系数。

具体地，步骤2的具体过程为：

步骤2-1：确定距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d表达式：D_d＝P(Y|X)×F_S，其中，X表示属性集；Y表示类变量；P(Y|X)表示在没有收到该帧NACK请求的情况下发现丢帧的概率；F_S表示丢帧后对GOP序列产生失真损伤估计；

步骤2-2：利用贝叶斯定理将步骤1中的P(Y|X)计算出来，贝叶斯公式表达为：

其中，P(X)表示在传输中NACK没有返回的概率；P(Y)表示传输过程中发生丢帧的概率；P(X|Y)表示在已知丢帧的情况下同时收到NACK的概率；

步骤2-3：计算选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d：

其中，F_S表示的是当前帧的确定步长的帧发生丢包以后造成的错误蔓延。对于目标优化函数的第一项D_d，表达的是如果选取距离当前帧步长为的d的帧被选用为参考帧可能会产生的失真。如果已经收到该帧的NACK请求，那么可以很确切地判断接收端无法解码该帧，此帧可即时被标记为无法被用作参考帧，从参考帧侯选中排除掉。如果并没有收到该帧的NACK请求，该帧也有可能被丢失的，从而对造成失真。在没有收到该帧NACK请求的情况下，该帧的丢帧概率可以表述为条件概率P(Y|X)，其中X表示没有收到该帧NACK请求这一条件，Y表示该帧丢失这一事件。D_d可以用此丢帧概率与丢帧后对GOP序列产生失真损伤估计F_S的乘积来估计。

具体地，步骤2-2中，X表示的是没有收到NACK返回值，此事件与网络环境有关。P(Y)表示的是传输过程发生丢帧的概率,此概率可以根据接收端反馈的丢包概率以及该帧包含的数据包个数来估计。P(Y|X)表示的是在没有收到NACK的条件下，发现丢帧的概率。P(X|Y)表示的是在发现丢帧的条件下，同时发现收到NACK的概率。P(X)表示的是在传输中NACK没有返回的概率，P(X)根据实时的网络环境监控，假设当前发送100个包，其中收到N个NACK返回值，那么没有收到NACK的概率为：

所述步骤2-2中，在已知丢帧的情况下没有收到NACK与传输网络中往返时延RTT(round trip time)值密切相关，RTT值代表的是数据包经过传输链路到达接受端返回信息到发送端的时长，这里不仅仅包括网络传输延时，而且包括丢包检测需要的时间。通过对RTT时长的概率密度函数进行积分可以计算出当已知发生丢帧以后却没有收到NACK的概率P(X|Y),计算过程为：

步骤2-2-1：计算帧与帧之间的间隔PO，其表达式为：

其中，frame per second表示每秒的帧数，也叫帧率；

步骤2-2-2：计算距离当前编码帧确定步长内在未收到NACK返回时可以确定该帧已经收到并解码的概率P_SUCCESS，其表达式为：

其中，RTT表示数据包经过传输链路到达接受端返回信息到发送端的时长；P(RTT)表示随着网络变化关于RTT时长的概率密度函数；

步骤2-2-3：求解P(X|Y)，其表达式为：

P(X|Y)＝1-P_success。

具体地，步骤2-2-2中，RTT的分布概率服从长尾概率分布函数，如图1所示描述了根据RTT的概率密度分布函数P(RTT)积分求取P_SUCCESS，此概率分布函数的应用条件是在当前帧之前没有影响后续帧的丢包，保证了分析丢包错误的唯一性与独立性。

考虑如何计算F_S,即丢帧会导致的整个序列的损坏，根据马尔科夫状态转移图可以预测当前编码帧之前的帧已经被收到的同时已经解码的概率可以用下述函数表达,该过程遵循离散马尔科夫链,其状态转移图可以被描述为图2所示，其中0表示包到达，1表示包丢失。

编码端发送视频流时每一个包的传输状态是具有两种状态的马尔科夫。对于收到的帧的确认根据此模型可以计算出平均丢包率。在该模型下如果图中的各个参数值都确定的情况下，gap(i)＝Pr(0^i-1|1)第i帧发生丢包，之前的i-1帧都成功收到，并且已经被解。预估方法与当前实时发送状态以及网络状态相关，基于此模型可以计算出丢帧率对于序列的损伤程度。

当网络视频流遭受数据包丢失时，当前视频帧的失真会通过错误传播影响后续帧的质量，直至下一个GOP开始时错误传播才会停止。因此，序列的受损长度是反映视频序列损伤的另一个重要指标[5]。根据视频的编码特性，每次丢包所造成的受损长度只与丢包帧位置和GOP长度有关，对于GOP长度为L的视频序列，当第i帧受损时，所造成的序列受损长度为L-i+l，而该丢包模式的概率为P_F(1-P_F)^i-1/(1-(1-P_F)^L)。

具体地，步骤3的具体过程为：

步骤3-1：确定每次丢包造成序列的期望受损长度V_ELFL的表达式为：

其中，L_E表示每次丢包造成的序列受损长度；P_ES表示序列中丢帧模式的条件概率，P_F表示丢包帧的概率，根据洛必达法则，当P_F趋近于0时，V_ELFL接近于0；当P_F趋近于1时，V_ELFL接近于L；

步骤3-2：计算视频序列单位时间内的平均丢包率，其表达式为：

其中，V_{AFLF_T}是单位时间内的平均丢包帧频率，T为某一时间段，N_F为T时间内视频的总帧数，P_F为丢包帧的概率，F_R为视频的帧率，当丢包时间符合独立分布时，每个数据包丢失的概率都相同，即等于丢包率；

步骤3-3：计算平均包含数V_PpF和丢包帧概率P_F，其表达式分别为：

其中，N_P表示T时间内视频的总包数；P_size表示数据包大小；B_R表示编码比特率；

步骤3-4：计算丢帧后对GOP序列产生失真损伤估计F_S，其表达式为：

F_S＝V_{AFLF_T}V_EIFL

步骤3-5：计算参考帧与当前编码帧之间的畸变大小SAD(d)，其表达式为：

其中，d表示距离当前编码帧的步长大小；

步骤3-6：为简化计算，假设R(d)正比于SAD(d)：R(d)＝k*SAD(d)，求解出R(d)；其中k为比例系数，SAD(d)表示参考帧与当前编码帧之间的畸变大小，R(d)表示当前编码帧的编码所需的编码码率。

以上给出了D_d和R_d的计算方法，据此就可以对R-D最优化问题d_opt＝argmin{D_d+λ·R_d}进行求解，寻找到最优的参考帧距当前帧的步长d，使得目标优化函数D_d+λ·R_d取得最小值。

综上，本专利中提出的对于当前编码视频的参考帧的优选方法相对于之前传统参考帧的选取的优点是充分地考虑了参考帧与当前帧之间的畸变带来的码率的变化，也考虑了网络传输过程对反馈信息正确返回发送端的影响，对于在优选参考帧有着重要意义。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (2)

1.一种参考帧的选取方法，其特征在于，包括以下步骤：

步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码帧之间畸变大小的合函数来确定目标优化率失真函数；

步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；

步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；

步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧，

其中，所述步骤1中的目标优化率失真函数为：

d_opt＝argmin{D_d+λ·R_d}

其中，d_opt表示最优步长值；D_d表示的是如果选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真，此失真与丢包概率和实时RTT值的预测有关；R_d表示的是选用距离当前编码帧步长为d的帧为参考帧时当前编码帧所需要的编码码率；λ是拉格朗日乘数，是编码码率Rd相对于失真Dd的加权系数，

所述步骤2的具体过程为：

步骤2-1：确定距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d表达式：D_d＝P(Y|X)×F_S，其中，X表示属性集；Y表示类变量；P(Y|X)表示在没有收到该帧NACK请求的情况下发现丢帧的概率；F_S表示丢帧后对GOP序列产生失真损伤估计，其中F_S的计算包括：根据马尔科夫状态转移图预测当前编码帧之前的帧已经被收到的同时已经解码的概率；编码端发送视频流时每一个包的传输状态是具有两种状态的马尔科夫，对于收到的帧的确认根据此马尔科夫模型计算出平均丢包率；序列的损伤程度的预估方法与当前实时发送状态以及网络状态相关，基于此模型可以计算出丢帧率对于序列的损伤程度，每次丢包所造成的受损长度只与丢包帧位置和GOP长度有关，对于GOP长度为L的视频序列，当第i帧受损时，所造成的序列受损长度为L-i+l，而该丢包模式的概率为P_F(1-P_F)^i-1/(1-(1-P_F)^L)；

步骤2-2：利用贝叶斯定理将步骤1中的P(Y|X)计算出来，贝叶斯公式表达为：

其中，P(X)表示在传输中NACK没有返回的概率；P(Y)表示传输过程中发生丢帧的概率；P(X|Y)表示在已知丢帧的情况下同时收到NACK的概率；

步骤2-3：计算选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真D_d：

其中，F_S表示的是当前帧的确定步长的帧发生丢包以后造成的错误蔓延，

其中，所述步骤2-2中，P(X)根据实时的网络环境监控，假设当前发送100个包，其中收到N个NACK返回值，那么没有收到NACK的概率为：

P(X|Y)的计算过程为：

步骤2-2-1：计算帧与帧之间的间隔P0，其表达式为：

其中，frame per second表示每秒的帧数；

步骤2-2-2：计算距离当前编码帧确定步长内在未收到NACK返回时可以确定该帧已经收到并解码的概率P_SUCCESS，其表达式为：

其中，RTT表示数据包经过传输链路到达接受端返回信息到发送端的时长，这里不仅仅包括网络传输延时，而且包括丢包检测需要的时间；P(RTT)表示随着网络变化关于RTT时长的概率密度函数；

步骤2-2-3：求解P(X|Y)，其表达式为：

P(X|Y)＝1-P_success，

其中，所述步骤2-2-2中，RTT的分布概率服从长尾概率分布函数，根据RTT的概率密度分布函数P(RTT)积分求取P_SUCCESS，此概率密度分布函数的应用条件是在当前帧之前没有影响后续帧的丢包。

2.根据权利要求1所述的参考帧的选取方法，其特征在于，所述步骤3的具体过程为：

步骤3-1：确定每次丢包造成序列的期望受损长度V_ELFL的表达式为：

其中，L_E表示每次丢包造成的序列受损长度；P_ES表示序列中丢帧模式的条件概率，P_F表示丢包帧的概率，根据洛必达法则，当P_F趋近于0时，V_ELFL接近于0；当P_F趋近于1时，V_ELFL接近于L；

步骤3-2：计算视频序列单位时间内的平均丢包率，其表达式为：

其中，V_{AFLF_T}是单位时间内的平均丢包帧频率，T为某一时间段，N_F为T时间内视频的总帧数，P_F为丢包帧的概率，F_R为视频的帧率，当丢包时间符合独立分布时，每个数据包丢失的概率都相同，即等于丢包率；

步骤3-3：计算平均包含数V_PpF和丢包帧概率P_F，其表达式分别为：

其中，N_P表示T时间内视频的总包数；P_size表示数据包大小；B_R表示编码比特率；

步骤3-4：计算丢帧后对GOP序列产生失真损伤估计F_S，其表达式为：

F_S＝V_{AFLF_T}V_EIFL

步骤3-5：计算参考帧与当前编码帧之间的畸变大小SAD(d)，其表达式为：

其中，d表示距离当前编码帧的步长大小；

步骤3-6：为简化计算，假设R(d)正比于SAD(d)：R(d)＝k*SAD(d)，求解出R(d)；其中k为比例系数，SAD(d)表示参考帧与当前编码帧之间的畸变大小，R(d)表示当前编码帧的编码所需的编码码率。

Images