CN1463560A - 确定视频失真的方法以及确定视频失真的系统 - Google Patents

Abstract

本方法是根据测定编码帧中的空间失真，以及未编码帧中的时间失真和空间失真来确定视频中的失真。将编码帧的空间失真与未编码帧的时间失真及空间失真进行组合，确定视频中的全平均失真。

Description

确定视频失真的方法以及确定视频失真的系统

技术领域

本发明涉及视频编码，详细地说，涉及确定视频的失真特性。

背景技术

多数的视频编码规格，例如H.263和MPEG-4支持可变帧跳越(variable frameskip)，通过使用可变帧跳越，可以跳越编码中的输入视频的任意帧。即，该帧是不进行编码的。在这些视频编码规格中，为了满足缓冲器限制，或者是为了使视频编码处理为最合理，编码器可选择跳越视频帧。然而，几乎所有的编码器，只是为了满足缓冲器限制而跳越帧。在此情况下，由于带宽的限制，缓冲器容量满了的时候，编码器就不得不跳越帧。结果，无法将追加帧追加到缓冲器中，在缓冲器容量空出前，该帧一直不会被编码。这种类型的帧跳越，由于不考虑视频的内容，所以使视频的品质变差。发明要解决的问题

提供最优的视频编码方法是发明的课题。具体来说，对于特定的视频，使更多的帧有更低的空间品质，即只有少数的几帧以更高的空间品质的状态通过编码得到。此空间品质和时间的品质之间的平衡，并不是单纯的二分确定，而是通过有限组的编码参数来确定。更明确地说，由最优良组的编码参数产生最优的速率失真(R-D)曲线。相关的两个参数是每秒的帧数(fqs)和量化参数(QP)。在已知的技术中，全失真只是测量编码帧，并以原始视频以及压缩视频的像素间的均方误差(MSE)来表示。

传统技术的最优的编码方法是不考虑速率失真的时间方面(参照H.Sun，W.Kwok，M.Chien，and C.H.John Ju[MPEG coding performanceimprovement by jointly optimizing coding mode decision and ratecontrol](IEEE Trans.Ciruits Syst.Video Technol.，June 1997)、T.Weigand，M.Lightstone，D.Mukherjee，T.G.Campbell，S.K.Mitra[R-D optimizedmode selection for very low bit-this rate video coding and the emergingH.263 standard](IEEE Trans.Ciruits Syst.Video Technol.，Apr.1996)、以及J.Lee and B.W.Dickenson[Rate-distortion optimized framr typeselection for MPEG encoding](IEEE Trans.Ciruits Syst.VideoTechnol.，June 1997)。一般情况下，认为帧速率是固定的。

上述的方法，考虑了量化参数的最优化(H.Sun，W.Kwok，M.Chien，and C.H.John Ju[MPEG coding performance improvement by jointlyoptimizing coding mode decision and rate control](IEEE Trans.CiruitsSyst.Video Technol.，June 1997))，和运动及编码块的模式确定(T.Weigand，M.Lightstone，D.Mukherjee，T.G.Campbell， S.K.Mitra[R-Doptimized mode selection for very low bit-this rate video coding and theemerging H.263 standard](IEEE Trans.Ciruiits Syst.VideoTechnol.，Apr.1996))，以及帧类型的选择(J.Lee and B.W.Dickenson[Rate-distortion optimized framr type selection for MPEG encoding](IEEE Trans.Ciruits Syst.Video Technol.，June 1997))。这样的方法，在帧速率固定的情况下，可以实现最优编码，位速率由所给的帧速率来得到。但是，这样的方法并不适用于变动帧速率的情况。

编码中的空间品质和时间品质之间的平衡关系，可留意F.C.Martins，W.Ding，and E.Feig所著[Joint control of spatialquantization and temporal sampling for very low bit rate video](Proc.ICASSP，May 1996)中所记载的。但是，在该作者的方法中，平衡关系是用户使用了可选择的参数来实现的。

因此，希望提供更优越的确定视频中失真的方法。解决问题的手段

本发明提供了在实施可变帧跳越处理的视频中确定失真的方法。输入视频未压缩进行编码的情况下，失真是输出压缩视频中失真的推测值。另一方面，输入视频被压缩的情况下，失真是压缩视频中失真的实测值。

编码帧(候补或实际)的失真，根据速率失真模型给出，未编码帧(候补或实际)的失真，由视频中的光流得到。本发明的方法，针对图象复杂程度各有不同的各种各样的视频生成正确的失真值。输入视频没有编码的情况下，本方法用于得到最优的视频编码中的空间品质和时间品质间的平衡。对于压缩视频，本发明也用于比较相对的品质而无需访问原始视频。

更具体地说，本发明是通过测定编码帧中的空间失真，和测定未编码帧中的时间失真及空间失真，提供确定视频中失真的方法。通过将编码帧的空间失真和未编码帧的时间失真及空间失真进行组合，确定视频中的全平均失真。

附图说明

图1确定本发明的视频中失真的方法流程图

图2比较编码帧的实际及推测失真的曲线图。

图3比较以10fps的固定帧速率编码Akiyo序列的未编码帧的实际及推测失真的曲线图。

图4比较以15fps的固定帧速率编码Foreman序列的未编码帧的实际及推测失真的曲线图。

最佳实施例

全平均失真(total average distortion)的确定

如图1所示，本发明提供确定实施可变帧跳越处理的视频101中的全平均失真109的方法100。输入视频101在未压缩而进行编码的情况下，帧就是候补的编码帧112或未编码帧122，全失真109是输出压缩视频中的失真的推测值。另一方面，输入视频101被压缩的情况下，帧是实际的编码帧112或者未编码帧122，全失真109是压缩视频中的失真的实测值。

在视频是未压缩的实施例中，分配器105决定哪个帧被编码(112)，哪个帧被跳越(122)。该确定是以测定的平均全失真109为基础的。

编码帧112的空间失真以(-)D_c(Q)111表示，未编码帧122的时间及空间失真以(-)D_s(Q，f_s)121表示。(此处，Q是表示用于编码的量化参数(QP)，f_s是表示与未编码帧数关联的帧跳越系数(frameskip factor))另外，(-)D的(-)表示D有上划线。

空间失真111取决于量化器，即空间测定器，另一方面，时间失真121取决于量化器和未编码帧数这两方面。

未编码帧的失真虽然不直接影响编码帧的失真，但是两者有2点间接的影响。第1，未编码帧数影响残留统计成分(residual statisticalcomponent)；第2，影响选择的量化器。

必须留意，未编码帧122的失真111直接取决于编码帧112中的量化步进幅度。理由是，未编码帧122是通过编码帧112的内插，再加上时间失真来拥有相同的空间品质的。

上述假设后，特定的时间间隔(t_i，t_i+fs)的平均失真由下式决定。 ${\stackrel{\‾}{D}}_{(t_i,t_i+f_s]}(Q_{i+f_s},f_s)=\frac{1}{f_s}[D_c\left(Q_{i+f_s}\right)+\underset{k=i+1}{\overset{i+f_s-1}{\mathrm{\Σ}}}{D}_s(Q_i,k)].....\left(1\right)$

在式1中，特定的时间间隔的失真是由在t＝t_i+fs时的1个编码帧的空间失真和f_s-1个未编码帧的时间失真得出的。时间失真取决于前面t＝t_i时编码的帧的量化器。

空间失真

众所周知，量化误差的离散由下式给出。 ${\mathrm{\σ}}_q^2=a\·2^{-2R}{\·\mathrm{\σ}}_z^2,......\left(2\right)$

此处，σ² _Z是输入信号的离散，R是每个取样的平均速率，a是取决于输入信号特征及量化器特征的概率分布函数(PDF)的参数。(参考Jayant et al.[Digital Coding of Waveforms](Prentice Hall，1984))。在没有熵编码的情况下，a的典型值是在1.0到10之间变化的。在使用了熵编码的情况下，a的值不到1.0。运用式2，可由下式确定空间失真111。 $D_c\left(Q_i\right)=a\·2^{-2R\left(t_i\right)}{\·\mathrm{\σ}}_{z_i}^2.......\left(3\right)$

式3对各种各样的量化器及信号特征都有效。各种情况均用a的值来说明。但是，如上所述，未编码帧数会影响残留统计成分的统计量。一般来说，认为每1帧的平均位数是随着f_s的值增大而增大。但是，离散是大致相同的。这表示在影响速率和失真间的实际的关系的残留统计成分中，离散不能反映很小的差。这是由于高频系数的存在而产生的。实际上，此原因并不只是由于高频系数的存在，也与位置有关。可变长编码表(例如，哈夫曼编码)中不存在一定的游程长度(run-length)的情况下，必须使用效率不高的逸出编码技术(escape coding)。这可能意味着，f_s在σ² _Zi几乎固定的情况下，影响残留统计成分的PDF(即a值)。

在未编码帧的残留统计成分中，忽略所有的变动，使用由式3得到的模型来确定空间失真111。使用由最后编码的帧所确定的固定的a和σ² _Zi。

时间失真

为了确定(120)未编码帧122的时间失真121，并且不失一般性，代码的时间内插器(temporal interpolator)，只是将最后编码的帧进行重复。也可以考虑将过去及未来的编码帧进行平均，或者根据变动进行预测其它内插器。

如上所述，未编码帧的失真有2个要素。其中一个是由基准帧(最后编码的帧)编码得来的，另外一个是由内插误差得来的。下式表示t_k时的失真。 $e_k={\mathrm{\Ψ}}_k-{\widehat{\mathrm{\Ψ}}}_k={\mathrm{\Ψ}}_k-{\widetilde{\mathrm{\Ψ}}}_i$

这里，(^)Ψ_k是表示在t＝t_k时的推测帧，(～)Ψ_i是表示在t_i＜t_k时最后编码的帧、(^)Ψ_k＝(～)Ψ_I；Δz_i，k及Δc_i分别表示帧内插误差及编码误差。另外，(^)Ψ_k的(^)，表示Ψ_k上有^。(～)Ψ_i也是同样的。这些量是独立的时候，均方误差(MSE)为 $E\left\{e_k^2\right\}=E\left\{{\mathrm{\Δ}}^2{c}_i\right\}+E\left\{{\mathrm{\Δ}}^2{z}_{i,k}\right\}.....\left(5\right)$ 也就是下式D_s(Q_i，k)＝D_c(Q_i)+E{Δ²z_i，k}，    (6)

即，可以用空间失真及时间失真的组合130等价地表达。式6表示与时间失真121的组合成分是相加的(additive)。不过，也同样可以考虑其它的组合。

为了求得帧内插的期望MSE，首先，将t_k时刻的帧与具有运动矢量(Δx(x，y)，Δy(y，y))的t_i时刻的帧相关。

Ψ_k(x，y)＝Ψ_i(x+Δx(x，y)，y+Δy(x，y)).    (7)

在式7中，全部像素(x，y)成为具有相关的运动矢量。实际上，是将所有像素的运动来近似于每一个宏块(macroblock)使用的一个运动矢量。

那么，就得到 ${\mathrm{\Δz}}_{i,k}={\mathrm{\Ψ}}_i(x+{\mathrm{\Δx}}_{i,k},y+{\mathrm{\Δy}}_{i,k})-{\mathrm{\Ψ}}_i(x,y),=\frac{{\mathrm{\δ\Ψ}}_i}{\mathrm{\δx}}{\mathrm{\Δx}}_{i,k}+\frac{{\mathrm{\δ\Ψ}}_i}{\mathrm{\δy}}{\mathrm{\Δy}}_{i,k},.....\left(8\right)$

这里，(δΨ_i/δx，δΨ_i/δy)表示x方向及y方向上的空间梯度。此式是用一元的泰勒展开来展开的，所以要留意是对小的(Δx，Δy)才有效。这和针对运动的相同条件同样适用的光流方程式是等价的。

需要留意的是，式8在帧序列中的运动量大的情况下，正确性会变差。但是，为了判断使用更多的未编码帧能否达到更低的MSE，在推测失真的编码应用中，运动的推测精度并不是很重要。这是由于最优编码器对哪一条通道的序列帧也不跳越。但因跳越大的运动的序列中的帧而产生的MSE则是非常大的。

将空间梯度及运动矢量作为概率变量使用，如果运动矢量及空间梯度是独立并且平均值为0，则可得到下式。 $E\left\{{\mathrm{\Δ}}^2{z}_{i,k}\right\}={\mathrm{\σ}}_{x_i}^2{\mathrm{\σ}}_{{\mathrm{\Δx}}_{i,k}}^2+{\mathrm{\σ}}_{y_i}^2{\mathrm{\σ}}_{{\mathrm{\Δy}}_{i,k}}^2,.....\left(9\right)$ 这里， $({{\mathrm{\σ}}^2}_{x_i},{{\mathrm{\σ}}^2}_{y_i})$ 是表示帧i的x空间梯度及y空间梯度的离散， $({{\mathrm{\σ}}^2}_{\mathrm{\Δ}{x}_{i,k}},{{\mathrm{\σ}}^2}_{\mathrm{\Δ}{y}_{i,k}})$ 是表示x方向及y方向的运动矢量的离散。式9表明，由运动及空间梯度的2元统计确定时间失真是足够的。

实际的研究

在编码器推测全失真的实际编码应用中，主要的问题是，根据过去及现在的数据，决定(120)时间失真(121)。例如，式9假定了现在的帧i和未来的帧k之间的运动是已知的。但是，这意味着与是否被编码无关，而是针对具有时间指数k的各候补帧进行运动的推测。但实际不是这样的。因此，假设帧间的运动是线性的，则运动矢量的离散由下式近似得出。 ${\mathrm{\σ}}_{{\mathrm{\Δx}}_{i,k}}^2{\≈\mathrm{\σ}}_{{\mathrm{\Δx}}_{i-f_l,i}}\·{\left(\frac{k-i}{f_l}\right)}^2,....\left(10\right)$

这里，f_l表示最后编码的帧和基准帧之间的未编码帧数。

同样，对于编码的下一个候补帧的失真推测，即由式3所指定的测定，必须知道取决于f_s的a和σ² _Zi。如上所述，由于并不是针对所有的候补帧进行运动推测，因此实际的残留统计成分也不可能利用。为了克服此实际困难，未来帧的残留统计成分，可由现在的，即t＝t_i时的帧的残留统计成分来预测。

但是，如上所述，a，σ² _Zi及未编码帧之间的关系，并不象变动及未编码帧之间的关系那样清楚。另外，我们也知道不同数的未编码帧的离散变化是非常小的。因此，候补帧也使用t＝t_i时的现在帧的残留统计成分的离散。这样，D_c中的变动只受候补帧跳越系数的“位预算”(bit budget)的影响。

输入视频101是压缩形式的情况下，数据是已知的，推测值就是全平均失真的实测值。在此情况下，不适用上述的研究。

结果

为了确认本发明方法的精度，进行了2组实验。第1组实验是测试编码帧的推测失真精度，第2组实验是测试未编码帧的推测失真精度。

第1组实验的测试条件如下所述。图2中，研究2个众所周知的测试序列，即Akiyo(左)及Foreman(右)。各序列，以30fps的全帧速率编码。使用3个固定量化器，即最初的100帧，Q＝2，接着的100帧，Q＝15，最后的100帧，Q＝30，将各序列编码。图2依照式3，确定a＝1时的推测失真的Akiyo和Foreman的曲线图。

从这些曲线图可以看出：第1，推测失真的大部分追随实际的失真；第2，两个序列中，以细量化值编码的失真推测值都有变高的倾向。理由虽然不是很清楚，但是可认为该推测误差，在使用a的校正值，或者量化器为非常细的情况下，可单纯使用固定MSE进行校正。

第2组实验的测试，考察以10fps的固定帧速率编码的Akiyo序列和以15fps的固定速率编码的Foreman序列。图3表示的是Akiyo中的未编码帧的实际及推测失真的比较。左边的曲线图表示的是第1未编码帧；另一方面，右图表示的是第2未编码帧。曲线图表明对于Akiyo未编码帧的推测失真是非常正确的。

图4是比较Foreman序列中的未编码帧的实际及推测失真。推测失真虽然没有Akiyo那么正确，但也能看出与实际的失真的变化有良好的一致性。

但是，由于序列中的运动大，由帧跳越产生的失真，对于整个失真来说是很重要的原因。最优编码器，绝对不会将这样序列的帧跳越掉。最优编码器是缓冲器限制通过使用量化器，甚至强迫低频进入编码序列，直至缓冲器限制强制编码次序到低帧速率为止。结果，对于未由低至中等程度的运动序列，未编码帧的失真精度变得非常重要。

本发明使用特定的用语和例子进行阐述。应理解为在本发明的精神及范围内做各种各样的其它适用及变更。因此，同时阐述的权利要求范围的目的是包括所有与本发明的真正精神及范围内相关的变形及变更。

Claims (10)

1.一种确定视频中的失真的方法，具备以下步骤：

测定编码帧中的空间失真的步骤；

测定未编码帧中的时间失真及空间失真的步骤；

将所述编码帧的空间失真和所述未编码帧的时间失真及空间失真进行组合，确定所述视频中的全平均失真的步骤。

2.如权利要求1所述的确定视频中的失真方法，其特征在于：

所述视频是未压缩的，所述编码及未编码帧是编码的候补帧，所述全平均失真是推测值。

3.如权利要求1所述的确定视频中的失真方法，其特征在于：

所述视频被压缩的，所述编码及未编码帧是实际的帧，所述全平均失真是全失真的测定值。

4.如权利要求1所述的确定视频中的失真方法，其特征在于：所述时间失真是由所述未编码帧中的光流确定。

5.如权利要求2所述的确定视频中的失真方法，其特征在于：所述候补帧进行编码，以使所述全平均失真最小化。

6.如权利要求5所述的确定视频中的失真方法，还具备：在分配器接收所述全平均失真，确定哪一个候补帧编码，哪一个候补帧跳越的步骤。

7.如权利要求1所述的确定视频中的失真方法，其特征在于：所述时间失真是内插误差和量化误差的和。

8.如权利要求1所述的确定视频中的失真方法，其特征在于，

所述内插失真是： $E\left\{{\mathrm{\Δ}}^2{z}_{i,k}\right\}={\mathrm{\σ}}_{x_i}^2{\mathrm{\σ}}_{{\mathrm{\Δx}}_{i,k}}^2+{\mathrm{\σ}}_{y_i}^2{\mathrm{\σ}}_{{\mathrm{\Δy}}_{i,k}}^2,$ 这里， $({{\mathrm{\σ}}^2}_{x_i},{{\mathrm{\σ}}^2}_{y_i})$ 是表示特定帧i的x空间梯度及y空间梯度的离散， $({{\mathrm{\σ}}^2}_{\mathrm{\Δ}{x}_{i,k}},{{\mathrm{\σ}}^2}_{\mathrm{\Δ}{y}_{i,k}})$ 是表示x方向及y方向的运动矢量的离散。

9.如权利要求8所述的确定视频中的失真方法，其特征在于，

所述运动矢量的离散的近似值是： ${\mathrm{\σ}}_{{\mathrm{\Δx}}_{i,k}}^2{\≈\mathrm{\σ}}_{{\mathrm{\Δx}}_{i-f_l,i}}\·{\left(\frac{k-i}{f_l}\right)}^2,$

这里，f_l表示最后编码的帧i和相关基准帧之间的未编码帧数，k是如k＞i的候补帧。

10.确定视频中的失真的系统，具备以下装置：

测定编码帧的空间失真的装置：

测定未编码帧的时间失真及空间失真的装置；

将所述编码帧的空间失真和所述未编码帧的时间失真及空间失真进行组合，确定所述视频中的全平均失真的装置。

Images