CN101964913B - 基于模糊分类的帧间误码掩盖方法 - Google Patents

Abstract

本发明是一种基于模糊分类的帧间误码掩盖方法，属于基于宏块编码的视频通信技术领域。本发明主要包含三个内容：一是建立已解码帧的缓存区，并对已解码帧进行模糊特征值提取，并通过已经训练好的模糊分类器进行分类；二是利用已解码帧缓存区中的模糊分类器判决为可用的所有已解码帧对当前解码帧的丢失宏块进行帧间误码掩盖；三是对有所的可用重建帧对当前误码帧进行误码掩盖后的数据进行拟合，得到最终的误码掩盖的结果。

Description

基于模糊分类的帧间误码掩盖方法

技术领域

本发明是一种可视通信中发生误码情况下，视频信号的后处理恢复方法，属于基于宏块编码的视频通信技术领域。

背景技术

视频通信是数据通信的主要应用方向之一。视频传输已得到越来越广泛的应用，如公用电话网上的可视电话，移动通信网上的视频通信，Internet上的视频流传输等。这些网络或者是误码易发的通信环境，或者是无服务质量(QoS，Quality ofService)保证的通信环境。在这些通信网络中，由于实时通信的要求，或由于信道的带宽有限，或由于信道特性的不同，往往前向纠错编码(FEC，Forward ErrorCorrection)的能力有限，更难以采用自动请求重传(ARQ，Automatic Repeat Request)的方式来改善传输质量。尽管近来有关提高视频传输QoS的方法较多，而且，其中也有不少确实能够显著地克服误码(丢包)影响，提高图像质量的措施，但是这些措施并不能保证完全地纠正传输差错，因而接收端必然会或多或少地收到一定量的误码或引起数据包(Packets)的丢失，从而使解码图像质量下降或严重下降，甚至不能成像。在这种情况下，要纠正这些误码已是不可能的了。因此，只有采用误码掩盖的方法，尽量降低误码对重建图像质量的影响，为观察者提供一定主观质量保证的视频图像。这就是一种基于解码端的误码处理方法：即误码掩盖的方法。这种方法不增加编码器的复杂度，不增加编码码流的冗余度，因此不增加通信的传输负担；这种方法是属于视频信息的后处理方法，原则上对任何图像编解码格式和标准都适用，因此其应用范围很广。

发明内容

技术问题：本发明主要是提供一个基于模糊分类的帧间误码掩盖方法，能够在发生误码的情况下，为视频通信系统提供较高质量的视频图像。

技术方案：本发明主要包括三个方面的内容：一是建立已解码帧的缓存区，并对已解码帧进行模糊特征值提取，并通过已经训练好的模糊分类器进行分类；二是利用已解码帧缓存区中的模糊分类器判决为可用的所有已解码帧对当前解码帧的丢失宏块进行帧间误码掩盖；三是对有所的可用重建帧对当前误码帧进行误码掩盖后的数据进行拟合，得到最终的误码掩盖的结果。

本发明的基于模糊分类的帧间误码掩盖方法是：首先确定已解码帧缓存集合F＝{F₁，F₂，...，F_M}，然后依次计算集合F中每个元素F_i与当前解码帧F_n的模糊特征向量

模糊分类器利用特征向量对已解码帧缓存集合F的元素进行分类，得到当前解码帧F_n在误码掩盖时可以利用的已解码帧集合G＝{F_j1，F_j2，...F_jU}，然后依次利用已解码帧集合G中的解码重建帧F_Jk对当前帧F_n的误码区域进行估值得到图像最后对估值集合

的数据进行拟合得到的误码掩盖重建图像其中M为集合F中元素个数，i∈{1，2，...，M}，U为可用解码帧的个数，k∈{1，2，...，U}，n为已经解码的帧数。j为可用解码帧的标示。

计算集合F中每个元素F_i(其中i∈{1，2，...，M})与当前解码帧F_n的模糊特征向量

模糊特征向量具体形式为

其中x₁表示已解码帧F_i的宏块丢包特性；x₂表示已解码帧F_i与当前解码帧F_n的相似度；x₃表示已解码帧F_i与当前解码帧F_n在时间上相离程度；x₄表示已解码帧F_i与当前解码帧F_n的编码量化相关程度；x₅表示已解码帧F_i的误码扩散程度。

模糊分类器利用特征向量

对已解码帧缓存集合F的元素进行分类，其模糊分类器的模糊规则为：

设模糊向量

有x₁＝a₁，x₂＝a₂，x₃＝a₃，x₄＝a₄，x₅＝a₅，

则输出变量y＝u₁a₁+u₂a₂+u₃a₃+u₄a₄+u₅a₅，其中u_b为模糊系统的参数，b＝1，2，3，..5，

若y≥0.5，则以解码重建帧F_i可用于帧间误码掩盖；若y＜0.5，则以解码重建帧F_i不能用于帧间误码掩盖。

模糊分类器的模糊规则中的参数通过训练样本得到，具体方法为利用训练的样本，求解方程组的最小二乘解得到模糊分类器的参数u_i。

估值集合

的元素进行拟合得到误码掩盖重建图像

即

W_i为加权系数。

有益效果：

1.在视频解码端设定已解码重建帧的缓存区，建立多帧预测联合恢复当前解码帧的误码区域；

2.在缓存区中通过模糊分类器，能够选择较好的解码重建帧作为参考帧，能够获得更高质量的重建图像质量；

3.最终的误码掩盖结果通过多个解码重建帧的掩盖结果拟合而成，误码掩盖结果具有较好的鲁棒性和抗误差传播。

附图说明

图1是多个已解码重建帧联合帧间误码掩盖示意图。

图2是利用外廓区域进行帧间误码掩盖示意图。

具体实施方式

本发明包括的利用模糊分类的帧间误码掩盖方法包括以下内容：

①建立已解码帧的缓存区，并对这些已解码帧进行模糊特征值的提取，通过模糊分类器确定可以用户帧间误码掩盖的已解码重建帧。

如图1所示，已解码帧建立一个缓存区，对每个解码重建帧提取的5个模糊特征向量

具体内容如下：

假设当前发生误码的解码帧为F(n)，其中n表示当前帧的时刻。已解码帧缓存中有m个已解码重建帧{F₁，F₂，F₃，...F_m}，其中已解码帧F_i的时刻可以表示为T(F_i)。已解码帧F_i的5个模糊特征向量通过以下方式得到。

x₁(F_i)表示已解码帧F_i的宏块丢包特性，设帧F_i包含的宏块数为TNumMB，丢失的宏块数为LNumMB，有x₁(F_i)

$x_1\left(F_i\right)=\frac{\min (0.4,\frac{\mathrm{LNumMB}\left(F_i\right)}{\mathrm{TNumMB}\left(F_i\right)})}{0.4}$

x₂(F_i)表示已解码帧F_i的与当前解码帧F(n)的相似度，设当前解码帧F(n)正确解码的像素点集合为{F(x，y，n)，(x，y)∈D}，number(D)为Fi有效解码点的个数，有x₂(F_i)

$x_2\left(F_i\right)=\frac{\underset{(x,y)\∈D}{\mathrm{\Σ}}\mathrm{abs}(F(x,y,n)-F_i(x,y))}{255\·\mathrm{number}\left(D\right)}$

x₃(F_i)表示已解码帧F_i的与当前解码帧F(n)在时间上相离程度，有x₃(F_i)

$x_3\left(F_i\right)=\frac{\min (10,\mathrm{abs}(T\left(F_i\right)-n)}{10}$

x₄(F_i)表示已解码帧Fi的与当前解码帧F(n)在编码时的量化相关程度，设当前解码帧F(n)已解码宏块的平均量化步长为

已解码重建帧F_i编码宏块的平均量化步长为

有x₄(F_i)

$x_4\left(F_i\right)=\frac{\max (3,\min (-3,\stackrel{\‾}{\mathrm{QP}}\left(F\left(n\right)\right)-\stackrel{\‾}{\mathrm{QP}}\left(F_i\right)))}{6}+0.5$

x₅(F_i)表示已解码帧F_i存在误码情况下的误差扩散程度，设解码帧F_u存在误码，有误码标记EFlag(F_u)＝0，反之EFlag(F_u)＝1。有x₅(F_i)

$x_5\left(F_i\right)=\frac{\min (5,\mathrm{EPnumber})}{5}$

其中EPnumber表示与F_i最近的标记EFlag(F_u)＝1的帧序号差。如果EFlag(F_i)＝1，有x₅(F_i)＝0

在确定了已解码重建帧F_i的模糊特征向量

后，需要通过5维空间2类的模糊分类系统确定是否已解码重建帧F_i能够用于帧间误码掩盖的重建。

针对已解码重建帧F_i，本发明的模糊分类规则定义为

$R_{\left(\mathrm{1,2,3,4,5}\right)}:\mathrm{IF}{x}_1\mathrm{is}{a}_1\mathrm{and}{x}_2\mathrm{is}{a}_2\·\·\·x_5\mathrm{is}{a}_5$

$\mathrm{THEN}\stackrel{\→}{X}\mathrm{belong\; to\; Class\; Y}\left(\stackrel{\→}{X}\right)$

其中{a₁，a₂，a₃，a₄，a₅}是模糊规则的前件输入，

是模糊规则的后件输出。如果

表示F_i可以用于帧间误码掩盖，如果

表示F_i可以不能用于帧间误码掩盖。

②通过训练样本的学习，得到模糊分类规则。本发明中的模糊分类规则是事先通过训练样本确定的。

训练样本通过已知的训练视频序列得到。对训练视频序列，经过压缩、视频传输，丢包，帧间误码掩盖。针对训练序列Video_train，假定当前解码帧F_T(n)存在误码，通过已经解码重建帧F_Ti进行帧间误码掩盖后的为

需要计算F_Ti的特征矢量并计算

与源图像的PSNR(F_Ti)

$\mathrm{PSNR}=10\·{\log }_{10}\left(\frac{{255}^2}{\mathrm{MSE}}\right)$

其中MSE

$\mathrm{MSE}=\frac{1}{N_{\mathrm{lost}}}\underset{b\∈N_{\mathrm{cb}}}{\mathrm{\Σ}}\left\{\frac{1}{256}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{({\hat{F}}_T(x,y)-F_T(x,y))}^2\right\}$

N_lost因为误码而无法正确恢复的宏块数。

通过PSNR确定训练样本的分类：

$\mathrm{class}\left(F_{\mathrm{Ti}}\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{PSNR}\&GreaterEqual;27\mathrm{dB}\\ 0,& \mathrm{if}& \mathrm{PSNR}<27\mathrm{dB}\end{array}\right.$

这样可以得到一系列的训练样本

trainsample(F_Ti)＝(x₁，x₂，x₃，x₄，x₅，class(F_Ti))(i＝1，2，3，4，5，...)

本发明中采用的模糊分类模型为

$R_{\left(\mathrm{1,2,3,4,5}\right)}:\mathrm{IF}{x}_1\mathrm{is}{a}_1\mathrm{and}{x}_2\mathrm{is}{a}_2\&CenterDot;\&CenterDot;\&CenterDot;x_5\mathrm{is}{a}_5$

$\mathrm{THEN}\stackrel{\&RightArrow;}{X}\mathrm{belong\; to\; Class\; Y}=u_1\&CenterDot;a_1+u_2\&CenterDot;a_2+u_3\&CenterDot;a_3+u_4\&CenterDot;a_4+u_5\&CenterDot;a_5$

则通过训练样本集合得到一组线性方程

$\left\{\begin{array}{c}{u}_1\&CenterDot;x_1\left(F_{T1}\right)+u_2\&CenterDot;x_2\left(F_{T1}\right)+u_3\&CenterDot;x_3\left(F_{T1}\right)+u_4\&CenterDot;x_4\left(F_{T1}\right)+u_5\&CenterDot;x_5\left(F_{T1}\right)=\mathrm{class}\left(F_{T1}\right)\\ u_1\&CenterDot;x_1\left(F_{T2}\right)+u_2\&CenterDot;x_2\left(F_{T2}\right)+u_3\&CenterDot;x_3\left(F_{T2}\right)+u_4\&CenterDot;x_4\left(F_{T2}\right)+u_5\&CenterDot;x_5\left(F_{T2}\right)=\mathrm{class}\left(F_{T2}\right)\\ \&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\\ u_1\&CenterDot;x_1\left(F_{\mathrm{Tm}}\right)+u_2\&CenterDot;x_2\left(F_{\mathrm{Tm}}\right)+u_3\&CenterDot;x_3\left(F_{\mathrm{Tm}}\right)+u_4\&CenterDot;x_4\left(F_{\mathrm{Tm}}\right)+u_5\&CenterDot;x_5\left(F_{\mathrm{Tm}}\right)=\mathrm{class}\left(F_{\mathrm{Tm}}\right)\end{array}\right.$

假设一共有方程m个，通常m＞＞5，通过求解最小二乘解，得到模糊判决系数。设矩阵H

$H=\left[\begin{array}{ccccc}{x}_1\left(F_{T1}\right)& x_2\left(F_{T1}\right)& x_3\left(F_{T1}\right)& x_4\left(F_{T1}\right)& x_5\left(F_{T1}\right)\\ x_1\left(F_{T2}\right)& x_2\left(F_{T2}\right)& x_3\left(F_{T2}\right)& x_4\left(F_{T2}\right)& x_5\left(F_{T2}\right)\\ \&CenterDot;\&CenterDot;\&CenterDot;& \&CenterDot;\&CenterDot;\&CenterDot;& \&CenterDot;\&CenterDot;\&CenterDot;& \&CenterDot;\&CenterDot;\&CenterDot;& \&CenterDot;\&CenterDot;\&CenterDot;\\ x_1\left(F_{\mathrm{Tm}}\right)& x_2\left(F_{\mathrm{Tm}}\right)& x_3\left(F_{\mathrm{Tm}}\right)& x_4\left(F_{\mathrm{Tm}}\right)& x_5\left(F_{\mathrm{Tm}}\right)\end{array}\right]$

设向量C

C＝[class(F_T1)，class(F_T2)，class(F_T3)，...，class(F_Tm)]^T

U＝[u₁，u₂，u₃，u₄，u₅]^T可以通过下式得到

U＝(H^TH)^-1H^TC

这样通过训练样本，可以完全确定模糊分类系统。

③利用可用的已解码重建帧分别进行帧间误码掩盖。

利用已解码重建帧F_i当前发生误码的解码帧为F(n)进行帧间误码掩盖。如图2所示，首先确定F(n)中的误码区域的外廓区域。假定F(n)中误码区域为E(x，y)，(x，y)∈D。外廓区域K(x，y，n)为

$K(x,y,n)\&Element;\{(x,y)\&NotElement;D,\min (D(K(x,y,n),K(x,y,n))<4)\}$

在确定误码区域的外廓区域K(x，y，n)之后，在已解码重建帧F_i中寻找最近似区域

$<\mathrm{MVx},\mathrm{MVy}>=\underset{\mathrm{mvx},\mathrm{mvy}}{\min }\underset{(x,y)\&Element;K}{\mathrm{\&Sigma;}}\mathrm{abs}[K(x+\mathrm{mvx},y+\mathrm{mvy},F_i)-K(x,y,n)]$

则F(n)中误码区域为E(x，y)可以由已解码重建帧F_i中的图像数据替代

${\hat{E}}_{\mathrm{Fi}}(x,y)=F_i(x+\mathrm{MVx},y+\mathrm{MVy})$

并有最小的匹配误差

④将可用解码重建帧F_i(i＝1，2，...v)对当前误码帧误码掩盖结果

进行拟合。最终的误码掩盖结果

${\hat{E}}_{\mathrm{Fi}}(x,y)=\underset{i=1}{\overset{v}{\mathrm{\&Sigma;}}}{W}_i\&CenterDot;{\hat{E}}_{\mathrm{Fi}}(x,y)$

其中加权系数可以由下式得到

$W_i=\frac{\exp \left({\mathrm{MAD}}_{\min }\left(F_i\right)\right)}{\underset{m=1}{\overset{V}{\mathrm{\&Sigma;}}}\exp \left({\mathrm{MAD}}_{\min }\left(F_m\right)\right)}$

Claims (2)

1.一种基于模糊分类的帧间误码掩盖方法，其特征是：首先确定已解码帧缓存集合F＝{F₁，F₂，…，F_M}，然后依次计算集合F中每个元素F_i与当前解码帧F_n的模糊特征向量

模糊分类器利用特征向量

对已解码帧缓存集合F的元素进行分类，得到当前解码帧F_n在误码掩盖时可以利用的已解码帧集合G＝{F_j1，F_j2，…F_jU}，然后依次利用已解码帧集合G中的解码重建帧F_jk对当前帧F_n的误码区域进行估值得到图像

最后对估值集合的数据进行拟合得到的误码掩盖重建图像

其中M为集合F中元素个数，i∈{1，2，…，M}，U为可用解码帧的个数，k∈{1，2，…，U}，n为已经解码的帧数，j为可用解码帧的标示；

计算集合F中每个元素F_i与当前解码帧F_n的模糊特征向量

模糊特征向量具体形式为

其中x₁表示已解码帧F_i的宏块丢包特性；x₂表示已解码帧F_i与当前解码帧F_n的相似度；x₃表示已解码帧F_i与当前解码帧F_n在时间上相离程度；x₄表示已解码帧F_i与当前解码帧F_n的编码量化相关程度；x₅表示已解码帧F_i的误码扩散程度；

模糊分类器利用特征向量对已解码帧缓存集合F的元素进行分类，其模糊分类器的模糊规则为：

设模糊向量

有x₁＝a₁，x₂＝a₂，x₃＝a₃，x₄＝a₄，x₅＝a₅，

则输出变量y＝u₁a₁+u₂a₂+u₃a₃+u₄a₄+u₅a₅，其中u_b为模糊系统的参数，b＝1，2，3，...5，

若y≥0.5，则解码重建帧F_i可用于帧间误码掩盖；若y＜0.5，则解码重建帧F_i不能用于帧间误码掩盖；

模糊分类器的模糊规则中的参数通过训练样本得到，具体方法为利用训练的样本，求解方程组的最小二乘解得到模糊分类器的参数u_b。

2.根据权利要求1所述的基于模糊分类的帧间掩盖方法，其特征是：估值集合

的元素进行拟合得到误码掩盖重建图像

即W_k为加权系数。

Images