CN101198058A - 一种感兴趣区域的率失真优化帧内刷新与码率分配方法 - Google Patents

Abstract

本发明公开了一种感兴趣区域的率失真优化帧内刷新与码率分配方法，首先，根据端到端的全局失真理论分析易错环境下视频传输的端到端全局失真，包括信源失真和信道失真；其次推导信道失真计算公式，并根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式；然后根据宏块的时空相关性得到当前宏块复杂度的加权预测模型；接着根据预测得到的当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率；最后重复上述步骤，直至当前帧编码完毕。本发明根据人眼关注的感兴趣区域进行帧内宏块刷新和码率分配，在解码端获得更好的主观视频图像质量。

Description

一种感兴趣区域的率失真优化帧内刷新与码率分配方法

技术领域

本发明涉及一种感兴趣区域的率失真优化帧内刷新与码率分配方法，属于视频通信领域。

背景技术

视频处理技术广泛采用预测编码，当视频在易受干扰无线信道上传输时，传输差错在时空域扩散，导致视频质量迅速降低。受损宏块的帧内编码更新能有效的阻止差错在时域上的扩散，提高视频差错的恢复能力，然而却以降低信源编码效率为代价。因此，如何合理的进行帧内宏块刷取得视频鲁棒性和编码效率的折衷就具有重要研究意义。

在目前已有的帧内刷新算法中，文献Yuan Zhang，Wen Gao，Yan Lu，Qingming Huang，and Debin Zhao.Joint Source-Channel Rate-DistortionOptimization for H.264 Video Coding Over Error-Prone Networks，IEEE Trans.Multimedia，Vol.9，No.3，pp：445-454.Apr.2007.分析了丢失信道下的端到端失真估计方法，文献Quqing Chen，Zhibo Chen，Xiaodong Gu，and Charles Wang.Attention-based adaptive intra refresh for error-prone video transmission，IEEECommunications Magazine，Vol.45，No.1，pp：52-60.Jan.2007.根据人眼对视频图像有的区域感兴趣有的区域不太关注的特点，提出基于人眼视觉特性的感兴趣区域的帧内宏块刷新，但是感兴趣区域帧内宏块的增加也必然增加了码率开销，在码率受限时会对主观图像质量有很大影响。

发明内容

为了克服上述现有技术的不足，本发明提供了一种感兴趣区域的率失真优化帧内刷新与码率分配方法，根据宏块所在区域来计算失真并重新分配码率，提高了码率受限情况下的主观图像质量。

实现本发明目的采用的技术方案是：一种感兴趣区域的率失真优化帧内刷新与码率分配方法，其特征在于：先根据端到端的全局失真理论分析易错下视频传输的端到端全局失真，包括信源失真和信道失真；再推导信道失真计算公式，并根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式，然后根据宏块的时空相关性得到当前宏块的复杂度的加权预测模型，再根据预测得到的当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率，重复上述步骤，直至当前帧编码完毕，具体步骤如下：

(1)根据全局率失真理论计算当前宏块的信源失真D_s(n，m)，

$D_s(n,m)=E\left\{{[F(n,m)-\stackrel{\‾}{F}(n,m)]}^2\right\}$

其中F(n，m)、

分别为第n帧第m个宏块的原始值和在编码端的重建值；

(2)根据假定的包丢失率p分别计算帧内宏块的信道失真D_c-I(n，m)和帧间宏块的信道失真D_c-P(n，m)：

$D_{c-I}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)=\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{F}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

$D_{c-P}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)$

$=(1-p)D_c(n-1,j)+\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{F}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

其中D_ep(n，m)为错误传播失真，D_ec(n，m)为错误掩盖失真，

为第n帧第m个宏块在编码端的重建值，D_c(n-1，j)为第n-1帧第j个宏块的信道失真，p为假定的信道丢包率；

(3)根据宏块的信源失真和信道失真来计算其总失真D(n，m)，D(n，m)＝D_s(n，m)+D_c(n，m)；

(4)根据宏块所在区域的区域权重因子F_RW计算宏块的拉格朗尔代价函数：J(n，m，o)＝F_RW(D_s(n，m，o)+D_ep(n，m，o))+λR(n，m，o)

其中J(n，m，o)表示第n帧第m个宏块的编码模式o，D_s(n，m，o)、D_ep(n，m，o)和R(n，m，o)分别表示第n帧第m个宏块在编码模式o下的信源失真、错误传播失真和码率，F_RW是区域权重因子，λ为拉格朗尔乘子；

(5)根据前一帧和当前帧中已编码宏块的数据计算当前宏块的复杂度MAD值和当前帧所有宏块的复杂度之和 $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m),$ 其中M表示一帧中宏块个数，MAD(n，m)表示第m个宏块的复杂度

当前宏块的MAD根据以下模型计算：

如果当前宏块是当前帧的第一个宏块，那么MAD(n，m)＝MAD(n-1，m)

如果当前宏块是当前帧的最后一个宏块，那么MAD(n，m)＝(2×MAD(n-1，m)+MAD(n，m-1))/3

其余的

MAD(n，m)＝(MAD(n-1，m)+4×MAD(n，m-1)+MAD(n-1，m-1))/6其中MAD(n，m)表示第n帧第m个宏块的MAD值；

(6)根据当前帧的复杂度MAD和当前宏块的复杂度 $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)$ 以及宏块所在区域的区域权重因子F_RW计算当前宏块的目标码率T(n，m)

$T(n,m)=F_{\mathrm{RW}}\·\frac{\mathrm{MAD}(n,m)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)}\·T\left(n\right)$

其中T(n)是分配给第n帧所有宏块的目标比特数， $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)$ 是第n帧中所有宏块的MAD值之和，F_RW是宏块所在区域的区域权重因子；

(7)根据全局率失真模型计算当前帧当前宏块的量化步长Q(i)；

(8)若是最后一个宏块，则更新码率控制模型的参数，结束操作。

其中步骤(4)中的区域权重因子F_RW阈值在0.5-2.0之间，步骤(6)中的区域权重因子F_RW阈值在0.5-2.0之间。

本发明提供的方法根据宏块所在区域来计算失真并重新分配码率，提高码率首先情况下，提高解码图像的主观质量特别是感兴趣区域的主观质量。

附图说明

下面结合附图和具体实施方式对本发明作进一步说明。

图1为本发明的仿真实验解码端信噪比PSNR图。

图2为用传统的非感兴趣区域ROI方法解码图像的主观质量图。

图3为用本发明方法解码图像的主观质量图。

图中1为传统的非感兴趣区域ROI方法编、解码后的信噪比，2为用本发明方法编、解码后的信噪比。

具体实施方式

下面结合实施例对本发明作进一步说明，但不限定本发明。

本实施例采用H.264/AVC的参考软件JM12.2作为编解码器，视频传输采用3GPP/3GPP2无线IP信道，以下为本发明实施例的具体步骤：

(1)设定F(n，m)、

分别为第n帧第m个宏块的原始值和在编码端的重建值，假定包丢失率p＝1％，并且感兴趣区域ROI固定，分别计算帧内宏块的信道失真D_c-I(n，m)和帧间宏块的信道失真D_c-P(n，m)：

$D_{c-I}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)=\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{\text{F}}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

$D_{c-P}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)$

$=(1-p)D_c(n-1,j)+\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{F}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

其中D_ep(n，m)为错误传播失真，D_ec(n，m)为错误掩盖失真，为第n帧第m个宏块在编码端的重建值，D_c(n-1，j)为第n-1帧第j个宏块的信道失真。

(2)根据全局率失真理论计算当前宏块的信源失真D_s(n，m)，

$D_s(n,m)=E\left\{{[F(n,m)-\stackrel{\‾}{F}(n,m)]}^2\right\}.$

(3)根据宏块的信源失真和信道失真来计算其总失真D(n，m)，D(n，m)＝D_s(n，m)+D_c(n，m)。

(4)根据前一帧和当前帧中已编码宏块的数据计算当前宏块的复杂度MAD值和当前帧所有宏块的复杂度之和 $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m),$ 其中M表示一帧中宏块个数，MAD(n，m)表示第m个宏块的复杂度。当前宏块的MAD根据以下模型计算：

如果当前宏块是当前帧的第一个宏块，那么MAD(n，m)＝MAD(n-1，m)

如果当前宏块是当前帧的最后一个宏块，那么MAD(n，m)＝(2×MAD(n-1，m)+MAD(n，m-1))/3

其余的MAD(n，m)＝(MAD(n-1，m)+4×MAD(n，m-1)+MAD(n-1，m-1))/6其中MAD(n，m)表示第n帧第m个宏块的MAD值。

(5)根据(4)中的计算结果计算当前宏块的目标码率T(n，m)

$T(n,m)=F_{\mathrm{RW}}\·\frac{\mathrm{MAD}(n,m)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)}\·T\left(n\right)$

其中T(n)是分配给第n帧所有宏块的目标比特数， $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)$ 是第n帧中所有宏块的MAD值之和，F_RW是宏块所在区域的区域权重因子，在本实施例中，如果宏块在ROI内部，那么F_RW＝2.0，否则F_RW＝0.5。

(6)根据步骤(3)中得到宏块的失真和步骤(5)中得到估计码率以及所在区域的区域权重因子F_RW计算宏块的拉格朗尔代价函数：

J(n，m，o)＝F_RW(D_s(n，m，o)+D_ep(n，m，o))+λR(n，m，o)

其中J(n，m，o)表示第n帧第m个宏块的编码模式o，D_s(n，m，o)、D_ep(n，m，o)和R(n，m，o)分别表示第n帧第m个宏块在编码模式o下的信源失真、错误传播失真和码率，F_RW同步骤(5)，λ为拉格朗尔乘子。

(7)根据JM12.2的码率控制模型计算当前帧当前宏块的量化步长Q(i)。

(8)重复步骤(1)～(7)，若是最后一个宏块，则更新码率控制模型的参数，结束操作。

本实施例对QCIF格式的Foreman序列进行了测试。编码码率固定为128Kbps，编码帧数为100帧，顺序为IPPPPPP。编码端分别用传统的非感兴趣区域ROI方法和本发明中提出的方法进行编码，再将编码码流经过3GPP/3GPP2无线IP仿真信道传输，将得到的码流在解码端进行解码，其解码后的信噪比PSNR对照图如图1所示，图1中线1为传统的非感兴趣区域ROI方法编、解码后的信噪比，线2为用本发明方法编、解码后的信噪比。对应的解码图像第76帧的主观质量图如图2和图3所示，图2为用传统的非感兴趣区域ROI方法解码图像的主观质量图，图3为用本发明方法解码图像的主观质量图。由图1、图2和图3可以看出本发明提高解码图像的主观质量特别是感兴趣区域的主观质量。

Claims (3)

1.一种感兴趣区域的率失真优化帧内刷新与码率分配方法，其特征在于：先根据端到端的全局失真理论分析易错环境下视频传输的端到端全局失真，包括信源失真和信道失真；再推导信道失真计算公式，并根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式，然后根据宏块的时空相关性得到当前宏块的复杂度的加权预测模型，再根据预测得到的当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率，重复上述步骤，直至当前帧编码完毕，具体步骤如下：

(1)根据全局率失真理论计算当前宏块的信源失真D_s(n，m)，

$D_s(n,m)=E\left\{{[F(n,m)-\stackrel{\‾}{F}(n,m)]}^2\right\}$

其中F(n，m)、

分别为第n帧第m个宏块的原始值和在编码端的重建值；

(2)根据假定的包丢失率p分别计算帧内宏块的信道失真D_c-I(n，m)和帧间宏块的信道失真D_c-P(n，m)：

$D_{c-I}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)=\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{F}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

$D_{c-P}(n,m)=D_{\mathrm{ep}}(n,m)+D_{\mathrm{ec}}(n,m)$

$=(1-p)D_c(n-1,j)+\mathrm{pE}\left\{{[\stackrel{\‾}{F}(n,m)-\stackrel{\‾}{F}(n-1,m)]}^2\right\}+p{D}_c(n-1,m)$

其中D_ep(n，m)为错误传播失真，D_ec(n，m)为错误掩盖失真，

为第n帧第m个宏块在编码端的重建值，D_c(n-1，j)为第n-1帧第j个宏块的信道失真，p为假定的信道丢包率：

(3)根据宏块的信源失真和信道失真来计算其总失真D(n，m)，D(n，m)＝D_s(n，m)+D_c(n，m)；

(4)根据宏块所在区域的区域权重因子F_RW计算宏块的拉格朗尔代价函数：J(n，m，o)＝F_RW(D_s(n，m，o)+D_ep(n，m，o))+λR(n，m，o)

其中J(n，m，o)表示第n帧第m个宏块的编码模式o，D_s(n，m，o)、D_ep(n，m，o)和R(n，m，o)分别表示第n帧第m个宏块在编码模式o下的信源失真、错误传播失真和码率，F_RW是区域权重因子，λ为拉格朗尔乘子；

(5)根据前一帧和当前帧中已编码宏块的数据计算当前宏块的复杂度MAD值和当前帧所有宏块的复杂度之和 $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m),$ 其中M表示一帧中宏块个数，MAD(n，m)表示第n帧第m个宏块的复杂度，其中当前宏块的MAD根据以下模型计算：

如果当前宏块是当前帧的第一个宏块，那么MAD(n，m)＝MAD(n-1，m)；

如果当前宏块是当前帧的最后一个宏块，那么MAD(n，m)＝(2×MAD(n-1，n)+MAD(n，m-1))/3

其余的MAD(n，m)＝(MAD(n-1，m)+4×MAD(n，m-1)+MAD(n-1，m-1))/6其中MAD(n，m)表示第n帧第m个宏块的MAD值；

(6)根据当前帧的复杂度MAD和当前宏块的复杂度 $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)$ 以及宏块所

在区域的区域权重因子F_RW计算当前宏块的目标码率T(n，m)：

$T(n,m)=F_{\mathrm{RW}}\·\frac{\mathrm{MAD}(n,m)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)}\·T\left(n\right)$ 其中T(n)是分配给第n帧所有宏块的目标比特数， $\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{MAD}(n,m)$ 是第n帧中所有宏块的MAD值之和，F_RW是宏块所在区域的区域权重因子；

(7)根据全局率失真模型计算当前帧当前宏块的量化步长Q(i)；

(8)重复步骤(1)～(7)，若是最后一个宏块，则更新码率控制模型的参数，

结束操作。

2.根据权利要求1所述感兴趣区域的率失真优化帧内刷新与码率分配方法，其特征在于：步骤(4)中的区域权重因子F_RW阈值在0.5～2.0之间。

3.根据权利要求1所述感兴趣区域的率失真优化帧内刷新与码率分配方法，其特征在于：步骤(6)中的区域权重因子F_RW阈值在0.5～2.0之间。

Images