CN104954794A - 一种分布式视频残差编码端码率控制方法 - Google Patents

Abstract

本发明公开的一种分布式视频残差编码端码率控制方法，一是利用伪随机码对残差帧中的像素进行置乱，目的是在一帧内发端编码分组与其对应边信息编码分组之间的差错均匀化，这样发端就能在帧级别上进行码率估计，然后按照这个码率发送整帧数据；二是发端不需要产生额外的边信息，发端的视频残差帧能近似的表示收发两端信号之间的相关性；三是当发端码率低估时，利用提出的边信息改善算法能显著提高解码成功率。本发明的控制方法，发端不需要产生额外边信息，能在帧级别上而不是在位平面级别上进行码率估计的RERC方案，该方法结构最简单，系统延迟最小，不需要反馈信道，且具有很高实用性。

Description

一种分布式视频残差编码端码率控制方法

技术领域

本发明涉及分布式视频编码领域，特别涉及一种分布式视频残差编码端码率控制方法。

背景技术

随着社会经济的快速发展，终端设备越来越多，越来越小型化、轻量化，人们对具有视频采集功能的终端设备复杂度、能耗、差错控制等方面要求也越来越高，分布式视频编码(Distributed Video Coding,DVC)应运而生，它是一种基于Slepian-Wolf无损压缩理论和Wyner-Ziv有损压缩理论的新型视频编码框架。每个视频帧在发端独立编码，在收端联合译码。它不仅降低了发端的复杂度，还有较强的容错能力。DVC主要分为像素域编码和变换域编码两种，由于变换域编码中的DCT变换利用了空域相关性进行压缩，因此它的率失真性能(Rate Distortion,RD)要优于像素域方案，同时也比像素域方案复杂。之后又出现了像素域视频残差(Residual Video)编码方案，证明了它能达到变换域的率失真性能，同时又降低了复杂度。除此之外，PRISM系统和DISCOVER是另外两种典型的DVC框架。

码率控制是DVC研究中的一大热点。分布式编码根据信源(WZ帧，记为X)和边信息(Side Information，记为Y)间的统计相关性来确定为X分配多大的码率。现有的码率控制方式有两种：编码端码率控制(Encoder Rate control，ERC)和译码端码率控制(Decoder rate control，DRC),前者通过估计X和Y间的统计相关性，计算条件熵H(X|Y)来确定发送X所需的码率。后者是通过建立反馈信道多次执行“请求并解码”过程而决定所需的码率。这两种方法各有优点：ERC不需要反馈信道，收端只需一次解码，系统延迟小，实用性强；缺点是估计的码率比较粗糙，存在低估和过估的情况，同时会增加编码端的复杂度。DRC的优点是能以最优码率解码，缺点是依赖反馈信道，需要多次译码，系统的延迟大。但是ERC不依赖反馈信道，能降低系统的延迟，实用性和实时性强，因此研究它是非常有意义的。要实现ERC需要解决两方面的问题：一是编码端边信息的获取，但无论是哪种获取方法，都会增加编码端的复杂度。二是发送码率方案的制定，目前所有方案的发送码率都是在位平面级别上进行估计，而一帧通常对应有十几个位平面，这样导致发送任何一帧都需要进行多次码率估计，增加了编码端的复杂性和系统延时。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种分布式视频残差编码端码率控制方法。

本发明的目的通过以下的技术方案实现：

一种分布式视频残差编码端码率控制方法(Residual Encoder RateControl,RERC)，包含以下顺序的步骤：

S1.视频序列按照GOP＝2划分为传统的WZ帧和KEY帧，假设视频帧X_2k为WZ帧，视频帧X_2k+1为KEY帧，KEY帧采用传统的H.264/AVC Intra编译码；

S2..利用与X_2k相邻的两个KEY帧译码的结果X'_2k-1和X'_2k+1，在发端本地译码器、收端译码器中分别得到一个参考帧X_re＝(X'_2k-1+X'_2k+1)/²；

S3.在发端用原始的WZ帧和参考帧X_re相减得到残差R，将残差经过置乱、量化和格雷编码然后送入LDPCA编码器，通过码率估计模块得到发送所需的码率；经过信道传输后送入收端的LDPCA译码器；

S4.在收端通过运动补偿的方法得到X_2k的预测信息Y_2k，用它减去参考帧X_re得到收端残差帧的边信息R'，同样经过置乱、量化和格雷编码然后送入LDPCA译码器辅助解码视频；

S5.在译码端，将LDPCA译码器输出的结果通过格雷译码，反置乱和图像重建得到残差信息将与参考帧X_re相加，最后得到译码出来的帧图像。

所述的分布式视频残差编码端码率控制方法，还包括以下步骤：当出现码率低估时，部分编码分组会解码失败，对应在一帧当中会有部分像素不能恢复，这时通过边信息改善模块进行进一步解码。

所述的边信息改善模块，用已成功解码的相邻点去预测解码失败的点以此来提高边信息的质量，提高解码的成功率，最终解码失败的点，则用边信息信息去替代。

步骤S3、S4中，所述的置乱是通过伪随机码置乱模块对残差帧中的像素用伪随机码进行置乱处理，具体为：将边信息Y看成是X通过一个虚拟信道的输出的结果；两者的关系是N＝Y-X,N是虚拟信道中的噪声，表示X和Y之间的差错；将差错均匀的分布在一帧中，在帧级别上进行码率估计。在传统的分布式编码方法中，各个位平面上的N分布差别大，导致各个位平面要分别估计发送码率而且估计出来的码率之间的差别大。如果能将差错均匀的分布在一帧中，就能在帧级别上进行码率估计，从而减少码率估计的次数和系统延时。通过对残差帧中的像素用伪随机码进行置乱处理就能达到这样的目的。

步骤S3中，所述的码率估计模块在帧级别上进行码率估计，首先要估计R_q和R′_q之间的相关性，设N_q＝R_q-R′_q，得出N_q的分布情况；其次，对R_q和R′_q进行n位格雷码编码后，推导出两格雷码之间误码率(即汉明距离)P_err与N_q之间的关系；由于系统是对视频残差进行编码，已知视频残差服从laplace分布，它是一种在0附近取值很集中的分布。而R_q和R'_q是对视频残差采用“围绕0的中心死区”量化方法后的结果，经过分析可知它们在0附近取值更集中，取值范围更小；当量化级别分别为2ⁿ(n＝2,3)时，R_q、N_q之间具有近似的关系。因此，在发端我们无需产生额外的边信息用来估计收发两端的相关性，直接用R_q中的概率分布代替N_q中的概率分布：P(N_q＝i)≈P(R_q＝i)＝(i出现的次数)/(L×M)，L×M是一帧的大小；同时，根据格雷码的编码特点，推导P_err与N_q之间的关系用公式表示：

$P_{err}=\left\{\begin{array}{cc}\frac{1}{n}& \left|N_q\right|=1\\ \frac{2^{n+1}-4}{(2^n-2)\×n}& \left|N_q\right|=2\\ \frac{2^{n+1}-7}{(2^n-3)\×n}& \left|N_q\right|=3\\ .& .\\ .& .\\ .& .\end{array}\right.$

最终收端、发端的相关性用虚拟信道的错误转移概率ρ来表示，则ρ的计算公式为：

$\mathrm{\ρ}=\underset{i}{\Σ}\[P(N_q=i)\×P_{err}(N_q=i)\]\≈\underset{i}{\Σ}\[P(R_q=i)\×P_{err}(N_q=i)\]$

将ρ代入求熵公式H(ρ)＝-ρlog₂ρ-(1-ρ)log₂(1-ρ)，求出发送码率v为：

$v=0.4H\left(\mathrm{\ρ}\right)\exp \left(H\right(\mathrm{\ρ}\left)\right)+\sqrt{\mathrm{\ρ}}$

整帧数据的所有编码分组我们都按照这个估计的码率进行发送；

其中R_q为残差R经置乱量化后的结果，R′_q为残差帧边信息R'经置乱量化后得到的结果。

本发明与现有技术相比，具有如下优点和有益效果：

(1)在发端利用伪随机码对视频残差帧进行置乱处理，能在帧级别而不是在位平面上进行码率估计，减少了一帧视频数据需要估计的码率次数。

(2)在发端我们不用额外的产生边信息用于计算收发两端的相关性，极大减小了发端的复杂度，比现有所有ERC方案都简单。

(3)收端如果像素不能成功解码，边信息改善算法能够显著提高解码成功率，解决码率低估的问题。

(4)通过将RERC与其它方案的RD性能相比较可知：在运动变化小的视频序列中，RERC能很好的工作，性能高于变换域ERC方案，甚至和目前最好的DRC方案，即DISCOVER方案相当。在运动变化大的视频序列中，性能和变换域方案相当。

(5)本发明没有反馈请求通道，每一帧都采用单一的码率进行传送，因此降低了解码延迟。

附图说明

图1为本发明所述的一种分布式视频残差编码端码率控制方法的实现框图；

图2a为Foreman视频在QP＝37，n＝2时，R_q和N_q的分布示意图；图2b为Foreman视频在QP＝24，n＝3时，R_q和N_q的分布示意图；图2c为Soccer视频在QP＝37，n＝2时，R_q和N_q的分布示意图；图2d为Soccer视频在QP＝24，n＝3时，R_q和N_q的分布示意图；

图3为边信息改善模块的流程示意图；

图4a为量化级别为2ⁿ(n＝2)时,对一帧视频进行伪随机码置乱前后ρ值的对比图；图4b为量化级别为2ⁿ(n＝3)时,对一帧视频进行伪随机码置乱前后ρ值的对比图；

图5a为Soccer视频当QP＝27，n＝2时估计码率v'和最优码率v(即DRC的码率)的比较图；图5b为Soccer视频当QP＝24，n＝3估计码率v'和最优码率v的比较图；

图6a为Soccer视频序列按照发端码率v进行首次解码成功率与采用边信息改善模块后的解码成功率比较图；图6b为Foreman视频序列按照发端码率v进行首次解码成功率与采用边信息改善模块后的解码成功率比较图；

图7a是Hall视频RERC方案和其它方案率失真特征曲线对比图；图7b是Coastguard视频RERC方案和其它方案率失真特征曲线对比图；图7c是Foreman视频RERC方案和其它方案率失真特征曲线对比图；图7d是Soccer视频RERC方案和其它方案率失真特征曲线对比图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

一种分布式视频残差编码端码率控制方法，发端不需要产生额外边信息，能在帧级别上而不是在位平面级别上进行码率估计的ERC方案，该方案结构最简单，系统延迟最小，不需要反馈信道，且具有很高实用性。方案如下：一是利用伪随机码对残差帧中的像素进行置乱，目的是在一帧内发端编码分组与其对应边信息编码分组之间的差错均匀化，这样发端就能在帧级别上进行码率估计，然后按照这个码率发送整帧数据。二是发端不需要产生额外的边信息，发端的视频残差帧能近似的表示收发两端信号之间的相关性。三是当发端码率低估时，利用提出的边信息改善算法能显著提高解码成功率。

如图1所示，该图是本发明方案对分布式视频残差编码端码率控制的具体实施方式，整个视频序列按照GOP＝2划分成WZ帧和KEY帧，图中X_2k为WZ帧，X_2k+1为KEY帧，其中KEY帧采用H.264/AVC Intra编译码，利用X_2k前后译码的结果X'_2k-1和X'_2k+1在发端和收端各得到一个参考帧X_re＝(X'_2k-1+X'_2k+1)/²。发端残差帧为R＝X_2k-X_re，将R送入随机置乱模块进行置乱，置乱模块(其他过程需要置乱时都按以下步骤进行)的具体实施方法是：

步骤1：用rand函数产生一个长度为L×M(一帧大小)的伪随机序列P，同时把一帧图像也看成是长度为L×M的一维序列P'。

步骤2：P和P'对应位置上的元素组成元素对(P_i,P′_i)，建立对应的关系。

步骤3：将元素对按照P_i从小到大的顺序排序。

步骤4：然后从排序后的元素对中取出P′_i将得到一个经过随机置乱，看似杂乱无章的图像。

为了能够提高信源和边信息之间的相关性我们对R量化后的R_q经过格雷编码后送入LDPCA编码器并按照估计的码率v进行发送。由于视频残差服从laplace分布，此分布在0附近取值很集中，而R_q和R'_q是对视频残差采用“围绕0的中心死区”量化方法后的结果，经过分析可知它们在0附近取值更集中，取值范围更小当量化级分别为2ⁿ(n＝2,3)时，R_qR′_q大多数取值为0,±1,±2，N_q的取值大多数也为0,±1,±2。如图2所示R_q近似N_q。

在此例中，码率估计模块的具体实施过程如下：

步骤1:计算R_q和R'_q进行格雷编码后，两格雷码之间的差错率(即汉明距离)P_err与N_q之间的关系，经过推导将其公式表示为：

$P_{\mathrm{err}}=\left\{\begin{array}{cc}\frac{1}{n}& \left|N_q\right|=1\\ \frac{2^{n+1}-4}{(2^n-2)\×n}& \left|N_q\right|=2\\ \frac{2^{n+1}-7}{(2^n-3)\×n}|& \left|N_q\right|=3\\ .& .\\ .& .\\ .& .\end{array}\right.$

步骤2：收发两端的相关性用虚拟信道的错误转移概率ρ来表示，将步骤1得出的P_err代入得出ρ的计算公式为:

$\mathrm{\ρ}=\underset{i}{\Σ}\[P(N_q=i)\×P_{err}(N_q=i)\]\≈\underset{i}{\Σ}\[P(R_q=i)\×P_{err}(N_q=i)\]$

步骤3：将ρ代入求熵的公式H(ρ)＝-ρlog₂ρ-(1-ρ)log₂(1-ρ)，并求出发送码率v为：

$v=0.4H\left(\mathrm{\ρ}\right)\exp \left(H\right(\mathrm{\ρ}\left)\right)+\sqrt{\mathrm{\ρ}}$

步骤4:整帧数据的所有编码分组我们都按照步骤3估计的码率v进行发送。

收端通过运动补偿的办法(MCFI)得到X_2k的预测信息Y_2k，收端残差帧为R'＝Y_2k-X_re，同样对R'进行置乱、量化、格雷编码后送入LDPCA译码器，译码的结果经过格雷译码、反置乱、重建后得到最后当存在有像素没有成功解码时，要通过边信息改善模块来提高解码成功率，如图3，其具体实施步骤为：

步骤1：对译码后的残差帧进行反置乱，未解码成功的点P_notdec将会分散在一帧之中，对所有P_notdec进行2-5步处理。

步骤2：读取P_notdec在边信息中对应点P′_notdec。

步骤3：在P_notdec邻域内(指上下左右四个相邻的点)找出所有成功解码的邻点。

步骤4：计算邻点与P′_notdec之差的绝对值。

步骤5：将步骤4中绝对值最小的那个相邻点的值替换P′_notdec的值。

步骤6：用步骤5中得到的改进后的边信息再进行一次解码。

步骤7：若还存在P_notdec且P_notdec的个数有减少，就重复步骤1-6，否则跳出循环。

最终，在重建模块中对仍然没有成功解码的点用边信息直接来代替。

实施例采用了QCIF格式且帧率为15帧/秒的Hall Monitor,CoastGuard,Foreman,Soccer四个运动性逐渐增强的测试视频。其中Hall Monitor有165帧，Foreman有149帧，Coast Guard有149帧，Soccer有149帧。编码采用码长为6336的LDPCA码。试验中，所有视频的KEY帧采用H.264/AVC Intra编码，Intra编码中主要的参数是QP，视频残差帧中主要的参数是量化级数2ⁿ。根据恢复的KEY帧和WZ帧质量近似相等的原则设计了(QP,n)的6种组合,分别是(20,3)、(24,3)、(27,2)、(34,2)、(37,2)、(41,2)。四个视频都在这6种参数设置下进行测试。

(1)如图2所示，当量化级别分别为2ⁿ(n＝2,3)时，R_q、N_q的分布可以看出它们之间有近似的关系。表1到表4统计了相关数据。因此，在发端我们无需产生额外的边信息用来估计收发两端的相关性，直接用R_q中的概率分布代替N_q中的概率分布。

表1：Forman的Rq和Nq频率(QP＝37，n＝2)

表2：Forman的Rq和Nq频率(QP＝24，n＝3)

表3：Soccer的Rq和Nq频率(QP＝37，n＝2)

表4：Soccer的Rq和Nq频率(QP＝24，n＝3)

(2)如图4所示，当量化级分别为2ⁿ(n＝2,3)时，一帧图像数据分成多个编码分组，信源编码分组和边信息编码分组之间差错率ρ

$\mathrm{\ρ}=\underset{i}{\Σ}\[P(N_q=i)\×P_{err}(N_q=i)\]\≈\underset{i}{\Σ}\[P(R_q=i)\×P_{err}(N_q=i)\]$

(3)如图5所示，给出Soccer视频序列中WZ帧的估计码率v与最优码率v'的比较，最优码率是指收端通过反馈信道不断“请求并解码”过程而得到的码率(即DRC方案中的码率)。由于在DRC方案中一帧对应有多个位平面码率，取所有位平面码率的平均值作为该帧的最优码率。从图中可以看出：大部分情况下v接近v'并且高出一些，少部分情况下v低于v'，两者之间的差别不会超过0.1；而且n越小，v和v'之间就越接近。这样的结论同样也适合其它三个视频序列，它们变化没有Soccer剧烈，v和v'近似的程度更好，这说明码率估计模块能很好的工作。

(4)如图6所示，给出了Foreman和Soccer按照发端码率v进行首次解码的成功率与采用边信息改善模块后的解码成功率，解码成功率是指测试视频中所有成功解码的分组数占总解码分组数的比例。横坐标代表上述6种情况，纵坐标表示解码成功率。从图中可以看出采用边信息改善模块后能有效得提高解码成功率。特别是在Soccer视频中，能将解码成功率由55.3％提高到91.8％。两个视频序列中，前面第1、2序号代表量化级数较大的情况，这时解码成功率都比较低，原因是n越大，视频序列中包含的数据量就越大，差别也就大。估计的码率能首次解码成功的概率变小。但是通过边信息改善模块后，成功率都能达到90％以上，具体数据见表5、表6。。之所以能提高解码成功率原因主要有两个，一是经过收端反置乱后，未解码的点不是集中在一起的，而是分散在已解码点之中，因此可以用已解码点进行预测。二是R_q中量化符号的取值范围很小，并且大部分取值都集中在0附近，因此用相邻已成功解码点能得到比较准确的预测值。

表5：Soccer视频的解码成功率

分组序号	1	2	3	4	5	6
							(QP,n)	(20,3)	(24,3)	(27,2)	(34,2)	(37,2)	(41,2)
首次解码成功率	49.4369	50.7883	84.4595	85.3041	86.6554	86.3176
							迭代解码成功率	94.8198	96.3964	97.9730	97.9730	98.4797	98.9865

表6：Forman视频的解码成功率

分组序号	1	2	3	4	5	6
							(QP,n)	(20,3)	(24,3)	(27,2)	(34,2)	(37,2)	(41,2)
首次解码成功率	78.8	78.5	99.8	99.3	100	100
							迭代解码成功率	95.6	95.3	100	100	100	100

(5)如图7所示，给出了四个视频序列只取灰度分量按照RERC、变换域ERC方案(TD－ERC)、DISCOVER方案、H.264/AVC方案得到的RD特性曲线。DISCOVER方案是目前最好的DRC方案；H.264/AVC是常用的帧内编码方案(但它在编码端要进行帧内预测，其编码复杂度和编码时间是要远远超过RERC，不适合编码端资源受限的场合)。通过将RERC与其它方案的RD性能相比较可知：在运动变化小的视频序列中，RERC能很好的工作，性能高于TD－ERC方案，甚至和DISCOVER方案相当。在运动变化大的视频序列中，性能和TD－ERC方案相当。但无论和什么方案比，RERC结构最简单的，系统延迟最小，不需要反馈信道。因为RERC能在帧级别而不是在位平面级别上进行码率估计，减少了发端码率估计的次数；并且在发端我们不用额外地产生边信息用于计算收发两端的相关性，因此发端的复杂度最小，RERC中发端增加的伪随机码置乱模块只是一个产生伪随机序列和排序的模块，它对于发端的复杂度而言可以忽略不计。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种分布式视频残差编码端码率控制方法，其特征在于，包含以下顺序的步骤：

S1.视频序列按照GOP＝2划分为传统的WZ帧和KEY帧，假设视频帧X_2k为WZ帧，视频帧X_2k+1为KEY帧，KEY帧采用传统的H.264/AVC Intra编译码；

S2.利用与X_2k相邻的两个KEY帧译码的结果X'_2k-1和X'_2k+1，在发端本地译码器、收端译码器中分别得到一个参考帧X_re＝(X'_2k-1+X'_2k+1)/2；

S3.在发端用原始的WZ帧X_2k和参考帧X_re相减得到残差R，将残差经过置乱、量化和格雷编码然后送入LDPCA编码器，通过码率估计模块得到发送所需的码率；经过信道传输后送入收端的LDPCA译码器；

S4.在收端通过运动补偿的方法得到X_2k的预测信息Y_2k，用它减去参考帧X_re得到收端残差帧的边信息R'，同样经过置乱、量化和格雷编码然后送入LDPCA译码器辅助解码视频；

S5.在译码端，将LDPCA译码器输出的结果通过格雷译码，反置乱和图像重建得到残差信息将与参考帧X_re相加，最后得到译码出来的帧图像。

2.根据权利要求1所述的分布式视频残差编码端码率控制方法，其特征在于，所述的分布式视频残差编码端码率控制方法，还包括以下步骤：当出现码率低估时，部分编码分组会解码失败，对应在一帧当中会有部分像素不能恢复，这时通过边信息改善模块进行进一步解码。

3.根据权利要求2所述的分布式视频残差编码端码率控制方法，其特征在于，所述的边信息改善模块，用已成功解码的相邻点去预测解码失败的点，最终解码失败的点，则用边信息信息去替代。

4.根据权利要求1所述的分布式视频残差编码端码率控制方法，其特征在于，步骤S3、S4中，所述的置乱是通过伪随机码置乱模块对残差帧中的像素用伪随机码进行置乱处理，具体为：将边信息Y看成是X通过一个虚拟信道的输出的结果；两者的关系是N＝Y-X,N是虚拟信道中的噪声，表示X和Y之间的差错；将差错均匀的分布在一帧中，在帧级别上进行码率估计。

5.根据权利要求1所述的分布式视频残差编码端码率控制方法，其特征在于，步骤S3中，所述的码率估计模块在帧级别上进行码率估计，首先要估计R_q和R′_q之间的相关性，设N_q＝R_q-R′_q，得出N_q的分布情况；其次，对R_q和R′_q进行n位格雷码编码后，推导出两格雷码之间误码率P_err与N_q之间的关系；用R_q中的概率分布代替N_q中的概率分布：P(N_q＝i)≈P(R_q＝i)＝(i出现的次数)/(L×M)，L×M是一帧的大小；同时，根据格雷码的编码特点，推导P_err与N_q之间的关系用公式表示：

$P_{err}=\left\{\begin{array}{cc}\frac{1}{n}& \left|N_q\right|=1\\ \frac{2^{n+1}-4}{(2^n-2)\×n}& \left|N_q\right|=2\\ \frac{2^{n+1}-7}{(2^n-3)\×n}& \left|N_q\right|=3\\ .& .\\ .& .\\ .& .\end{array}\right.$

最终收端、发端的相关性用虚拟信道的错误转移概率ρ来表示，则ρ的计算公式为：

$\mathrm{\ρ}=\underset{i}{\Σ}\[P(N_q=i)\×P_{err}(N_q=i)\]\≈\underset{i}{\Σ}\[P(R_q=i)\×P_{err}(N_q=i)\]$

将ρ代入求熵公式H(ρ)＝-ρlog₂ρ-(1-ρ)log₂(1-ρ)，求出发送码率v为：

$v=0.4H\left(\mathrm{\ρ}\right)\exp \left(H\right(\mathrm{\ρ}))+\sqrt{\mathrm{\ρ}}$

整帧数据的所有编码分组我们都按照这个估计的码率进行发送；

其中R_q为残差R置乱量化后得到的结果，R′_q为残差帧边信息R'置乱量化后得到的结果。