CN104581185A - 一种应用于立体视频切换帧的自适应错误隐藏方法 - Google Patents

Abstract

本发明涉及一种应用于立体视频切换帧的自适应错误隐藏方法，其首先对立体视频当前视频帧是否发生场景切换，如果有场景切换，采用空域错误隐藏方法，如果没有场景切换，再判定当前丢失宏块的视频帧为相对静止帧还是相对运动帧，如果是相对静止帧，采用帧拷贝的错误隐藏方法进行丢失信息的恢复，如果是相对运动帧，采用根据外边界匹配值选定候选块的错误隐藏方法恢复图像信息；该方法能够有效地恢复有场景切换时立体视频帧中的宏块信息，而且复杂度相对较低，效果较好。

Description

一种应用于立体视频切换帧的自适应错误隐藏方法

技术领域

本发明主要涉及一种立体视频错误隐藏技术，尤其是涉及一种应用于立体视频切换帧的自适应错误隐藏方法。

背景技术

随着多媒体技术和视频系统的发展，立体视频以其能提供更真实直观的体验而被广泛应用于各种领域。而其相对于传统单视点视频，数据量大的特点导致在网络传输时更易出现差错，这一问题严重影响视频传输质量的下降。如何高效地压缩数据、有效传输图像信息以及解码端图像质量的恢复成为立体视频研究领域的热点。目前，对于立体视频数据量较大的问题，在视频系统编码端的处理通常是利用时间方向、空间方向以及视点间的相关性进行高效地视频压缩编码，减少冗余信息，但这样处理相应地会降低视频传输过程中的容错能力。在传输过程中，由于立体视频流的码率大、传输时间长、信道带宽不足、网络延迟等原因会出现数据包丢失或者部分比特出错，这些传输差错会降低视频终端的质量。受立体视频编码结构的限制，视频帧之间存在时间相关性、空间相关性以及视点间相关性，如果立体视频序列的某一帧数据出现解码错误，同一视点后续帧以及其他视点以出错帧为参考的后续帧数据也会存在解码错误，这种失真会在时间和空间上同时累积，严重损坏重建图像的质量，对整个传输系统带来严重影响。鉴于此，一种行之有效的错误隐藏方法来恢复立体视频终端的质量非常必要。

在视频解码端，用错误隐藏方法恢复解码端的视频质量非常重要，尤其是在低码率视频流传输后。错误隐藏方法最早应用于单视点视频解码中，根据单通道的特点，错误隐藏分为空域错误隐藏、时域错误隐藏和混合时空域错误隐藏方法。随着立体视频的迅速发展，错误隐藏被用于处理立体视频解码端视频数据恢复。大多数立体视频错误隐藏方法，在单视点的基础上，除了采用时域、空域、时空域混合错误隐藏外，还要考虑到视点之间的相关性，利用视差补偿进行错误隐藏。通常情况下，立体视频中错误隐藏分为两大类，整帧丢失错误隐藏和部分宏块丢失错误隐藏。对于整帧丢失的错误隐藏方法，由于一帧信息全部丢失，只能利用时间相关性和视点间相关性对当前帧进行预测，对整帧图像丢失中的宏块，通过视差矢量的时域相关性和运动矢量的视点间相关性对视频丢失块的信息进行恢复。而对部分宏块丢失的情况，当一帧图像中部分宏块发生丢失时，不仅可用前一时刻参考帧和前一视点参考帧中相应位置的宏块信息进行恢复，而且可用当前帧丢失宏块周围正确解码的宏块信息，在这些宏块中利用边界匹配法选择最佳候选块以达到最佳的错误隐藏效果。但是以上方法中，针对丢失宏块信息数据如何恢复，仅考虑到不同区域运动特性和视点相关性，从宏块级进行错误隐藏虽然效果好但是复杂度高，而且没有考虑到复杂的运动或场景，一旦出现场景切换的立体视频帧，能够运用的时域和视差信息几乎没有，该如何进行错误隐藏成为研究难点。因此，研究一种用于立体视频切换帧的自适应错误隐藏算法非常必要。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种应用于立体视频切换帧的自适应错误隐藏方法，其能够针对有场景切换的立体视频进行有效地错误隐藏，降低解码端的复杂度，恢复立体视频质量。

本发明解决上述技术问题所采用的技术方案为：一种应用于立体视频切换帧的自适应错误隐藏方法，其特征在于：

对于立体视频中发生有场景切换且存在有丢失宏块的视频帧采用如下方式进行错误隐藏：

对视频帧中丢失宏块中某一点的像素值通过以下公式进行插值恢复：

其中，f_i,j(t)表示第t时刻视频帧内某一丢失宏块中坐标位置为(i,j)的点的像素亮度值，f_T、f_B、f_L、f_R分别表示前述丢失宏块上、下、左、右四个方向上的相邻宏块中与该丢失宏块相关联的四个边界点的像素值，d_T、d_B、d_L、d_R分别表示对应上、下、左、右四个方向上的权重，而d_T、d_B、d_L、d_R则用待插值恢复点与四个边界点之间的距离进行表征；

对于立体视频中没有发生有场景切换且存在有丢失宏块的右视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤一所述的方法恢复丢失宏块的右视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤二所述的方法恢复丢失宏块的右视点视频帧中所有宏块的像素值；

其中前述步骤一包括如下步骤：

步骤1-1、将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块；将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)、第t-1时刻的右视点视频帧I_R(t-1)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,若右视点当前丢失宏块的帧是右视点第一帧，只将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,t≥2；

步骤1-2、利用外边界匹配法计算参考候选块和右视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是右视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是右视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤1-3、计算出步骤1-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤1-4、将步骤1-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤1-5、将步骤1-4中选出新的加权候选宏块f_i,j,new中的像素值作为右视点当前丢失宏块的像素值；

其中前述步骤二为：将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块，将第t-1时刻右视点视频帧I_R(t-1)中与右视点当前丢失宏块坐标位置相同的像素点直接赋值给右视点当前丢失宏块中相应坐标位置的像素点，其中t≥2；对于右视点第1视频帧中的丢失宏块，将左视点第1视频帧中与该丢失宏块坐标位置相同的像素点直接赋值给该丢失宏块中相应坐标位置的像素点；

对于立体视频中没有发生有场景切换且存在有丢失宏块的左视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤三所述的方法恢复丢失宏块的左视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤四所述的方法恢复丢失宏块的左视点视频帧中所有宏块的像素值：

其中，前述步骤三包括以下步骤：

步骤3-1、将立体视频中第t时刻左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将左视点当前丢失宏块上、下、左、右方向上的宏块和第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块对应坐标位置的宏块作为参考候选块,默认左视点第1视频帧没有丢失宏块,t≥2；

步骤3-2、利用外边界匹配法计算参考候选块和左视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是左视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是左视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤3-3、计算出步骤3-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤3-4、将步骤3-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤3-5、将步骤3-4中选出新的加权候选宏块f_i,j,new中的像素值作为左视点当前丢失宏块的像素值；

其中前述步骤四为：将立体视频中第t时刻的左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块坐标位置相同的像素点直接赋值给左视点当前丢失宏块中相应坐标位置的像素点，其中t≥2，默认左视点第1视频帧没有丢失宏块。

作为改进，通过如下方法判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧：

步骤a、将立体视频中第t时刻的右视点视频帧I_R(t)中的16×16宏块分割成为尺寸大小为u×v的子宏块，分割后的第t时刻的右视点视频帧I_R(t)共有n＝(W×H)/(u×v)个子宏块，n表示子宏块的个数，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，u表示子宏块的宽度，v表示子宏块的高度；

步骤b、计算出第t时刻的右视点视频帧I_R(t)中坐标位置为(x,y)的子宏块的像素值与第t-1时刻的右视点视频帧I_R(t-1)中对应位置子宏块的像素值之间的帧差，记为 $C_{x,y,R}(t,t-1)=\frac{1}{u\×v}\underset{i=1}{\overset{u}{\mathrm{\Σ}}}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}|p_{i,j}\left(t\right)-p_{i,j}(t-1)|,$ p_i,j(t)表示第t时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，p_i,j(t-1)表示第t-1时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，1≤i≤u,1≤j≤v；

步骤c、由步骤b得到的C_x,y,R(t，t-1)计算坐标位置为(x,y)的子宏块的运动静止情况，表示为 $M_{x,y}\left(t\right)=\left\{\begin{array}{cc}1& C_{x,y,R}(t,t-1)\≥t_{\mathrm{TH}2}\\ 0& \mathrm{else}\end{array}\right.$ 其中，1表示运动块，0表示静止块，t_TH2＝μ+σ，t_TH2由μ和σ决定，右视点视频帧中以子宏块为单位的像素均值记为右视点视频帧中以子宏块为单位的像素标准差记为 $\mathrm{\σ}=\sqrt{\frac{\underset{x=0}{\overset{H/v}{\mathrm{\Σ}}}\underset{y=0}{\overset{W/u}{\mathrm{\Σ}}}{(C_{x,y,R}(t,t-1)-\mathrm{\μ})}^2}{n}};$

步骤d、由步骤c中来判定出第t时刻的右视点视频帧I_R(t)中全部子宏块的运动静止状态图，统计出第t时刻的右视点视频帧I_R(t)中的运动块数目，记为L，计算第t时刻的右视点视频帧I_R(t)的运动静止状态，记为1表示第t时刻的右视点视频帧I_R(t)为相对运动帧，0表示第t时刻的右视点视频帧I_R(t)为相对静止帧。

判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧的方法与判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧的方法相同。

再改进，通过以下方式判断立体视频中是否发生有场景切换：

首先，将立体视频中第t时刻的右视点视频帧记为I_R(t)，将立体视频中第t-1时刻的右视点视频帧记为I_R(t-1)，将立体视频中第t时刻的左视点视频帧记为I_L(t)，将立体视频中第t-1时刻的左视点视频帧记为I_L(t-1)；

第t时刻右视点视频帧与第t-1时刻的右视点视频帧之间的像素值记为D_R(t，t-1)，计算除右视点第1帧之外的其余右视点视频帧中时域相邻视频帧之间的像素差值，表示为 $C_R(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,R}\left(t\right)-f_{i,j,R}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，“||”为取绝对值符号，f_i,j,R(t)表示第t时刻右视点视频帧中坐标位置为(i,j)的像素值，f_i,j,R(t-1)表示第t-1时刻右视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；

将立体视频中第t时刻左视点视频帧与第t-1时刻的左视点视频帧之间的像素差值记为D_L(t，t-1)，计算除左视点第1帧之外的其余左视点视频帧中时域相邻视频帧之间的像素差值，表示为 $C_L(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,L}\left(t\right)-f_{i,j,L}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示立体视频中左视点视频帧的宽度，H表示立体视频中左视点视频帧的高度，“||”为取绝对值符号，f_i,j,L(t)表示第t时刻左视点视频帧中坐标位置为(i,j)的像素值，f_i,j,L(t-1)表示第t-1时刻左视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；这里，所有时刻的左视点视频帧的宽度和高度相同，左视点视频帧与右视点视频帧的宽度和高度也相同；

根据上述描述，计算除去左视点第1视频帧和右视点第1视频帧的其余视频帧的像素差值与阈值的关系，若同时满足条件 $\left\{\begin{array}{c}{D}_R(t,t-1)\≥t_{\mathrm{TH}1}\\ D_L(t,t-1)\≥t_{\mathrm{TH}1}\end{array}\right.,$ 表示同一时刻左右两个视点视频帧的像素差值发生显著变化，即判定当前时刻立体视频帧发生了场景切换，其中t_TH1表示判定该立体视频帧是否是场景切换帧的阈值。

所述立体视频帧是否是场景切换帧的阈值t_TH1根据多个有场景切换的视频序列统计取经验值。

与现有技术相比，本发明的优点在于：该方法能够有效地恢复有场景切换时立体视频帧中丢失宏块信息，而且复杂度相对较低，效果较好。

附图说明

图1为本发明实施例中应用于立体视频切换帧的自适应错误隐藏方法的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本实施例提供了一种应用于立体视频切换帧的自适应错误隐藏方法，其包括：

首先判断立体视频中是否发生有场景切换，如有，那么对于立体视频中发生有场景切换且存在有丢失宏块的视频帧采用如下方式进行错误隐藏：

对视频帧中丢失宏块中某一点的像素值通过以下公式进行插值恢复：

其中，f_i,j(t)表示第t时刻视频帧内某一丢失宏块中坐标位置为(i,j)的点的像素亮度值，f_T、f_B、f_L、f_R分别表示前述丢失宏块上、下、左、右四个方向上的相邻宏块中与该丢失宏块相关联的四个边界点的像素值，d_T、d_B、d_L、d_R分别表示对应上、下、左、右四个方向上的权重，而d_T、d_B、d_L、d_R则用待插值恢复点与四个边界点之间的距离进行表征；

对于立体视频中没有发生有场景切换且存在有丢失宏块的右视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤一所述的方法恢复丢失宏块的右视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤二所述的方法恢复丢失宏块的右视点视频帧中所有宏块的像素值；

其中前述步骤一包括如下步骤：

步骤1-1、将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块；将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)、第t-1时刻的右视点视频帧I_R(t-1)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,若右视点当前丢失宏块的帧是右视点第一帧，只将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,t≥2；

步骤1-2、利用外边界匹配法计算参考候选块和右视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是右视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是右视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤1-3、计算出步骤1-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤1-4、将步骤1-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤1-5、将步骤1-4中选出新的加权候选宏块f_i,j,new中的像素值作为右视点当前丢失宏块的像素值；

其中前述步骤二为：将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块，将第t-1时刻右视点视频帧I_R(t-1)中与右视点当前丢失宏块坐标位置相同的像素点直接赋值给右视点当前丢失宏块中相应坐标位置的像素点，其中t≥2；对于右视点第1视频帧中的丢失宏块，将左视点第1视频帧中与该丢失宏块坐标位置相同的像素点直接赋值给该丢失宏块中相应坐标位置的像素点；

对于立体视频中没有发生有场景切换且存在有丢失宏块的左视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤三所述的方法恢复丢失宏块的左视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤四所述的方法恢复丢失宏块的左视点视频帧中所有宏块的像素值：

其中，前述步骤三包括以下步骤：

步骤3-1、将立体视频中第t时刻左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将左视点当前丢失宏块上、下、左、右方向上的宏块和第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块对应坐标位置的宏块作为参考候选块,默认左视点第1视频帧没有丢失宏块,t≥2；

步骤3-2、利用外边界匹配法计算参考候选块和左视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是左视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是左视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤3-3、计算出步骤3-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤3-4、将步骤3-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤3-5、将步骤3-4中选出新的加权候选宏块f_i,j,new中的像素值作为左视点当前丢失宏块的像素值；

其中前述步骤四为：将立体视频中第t时刻的左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块坐标位置相同的像素点直接赋值给左视点当前丢失宏块中相应坐标位置的像素点，其中t≥2，默认左视点第1视频帧没有丢失宏块。

上述提及的方式中，又通过如下方法判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧：

步骤a、将立体视频中第t时刻的右视点视频帧I_R(t)中的16×16宏块分割成为尺寸大小为u×v的子宏块，分割后的第t时刻的右视点视频帧I_R(t)共有n＝(W×H)/(u×v)个子宏块，n表示子宏块的个数，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，u表示子宏块的宽度，v表示子宏块的高度；

步骤b、计算出第t时刻的右视点视频帧I_R(t)中坐标位置为(x,y)的子宏块的像素值与第t-1时刻的右视点视频帧I_R(t-1)中对应位置子宏块的像素值之间的帧差，记为 $C_{x,y,R}(t,t-1)=\frac{1}{u\×v}\underset{i=1}{\overset{u}{\mathrm{\Σ}}}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}|p_{i,j}\left(t\right)-p_{i,j}(t-1)|,$ p_i,j(t)表示第t时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，p_i,j(t-1)表示第t-1时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，1≤i≤u,1≤j≤v；

步骤c、由步骤b得到的C_x,y,R(t，t-1)计算坐标位置为(x,y)的子宏块的运动静止情况，表示为 $M_{x,y}\left(t\right)=\left\{\begin{array}{cc}1& C_{x,y,R}(t,t-1)\≥t_{\mathrm{TH}2}\\ 0& \mathrm{else}\end{array}\right.$ 其中，1表示运动块，0表示静止块，t_TH2＝μ+σ，t_TH2由μ和σ决定，右视点视频帧中以子宏块为单位的像素均值记为右视点视频帧中以子宏块为单位的像素标准差记为 $\mathrm{\σ}=\sqrt{\frac{\underset{x=0}{\overset{H/v}{\mathrm{\Σ}}}\underset{y=0}{\overset{W/u}{\mathrm{\Σ}}}{(C_{x,y,R}(t,t-1)-\mathrm{\μ})}^2}{n}};$

步骤d、由步骤c中来判定出第t时刻的右视点视频帧I_R(t)中全部子宏块的运动静止状态图，统计出第t时刻的右视点视频帧I_R(t)中的运动块数目，记为L，计算第t时刻的右视点视频帧I_R(t)的运动静止状态，记为1表示第t时刻的右视点视频帧I_R(t)为相对运动帧，0表示第t时刻的右视点视频帧I_R(t)为相对静止帧。

而判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧的方法与判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧的方法相同。

本实施例中，又通过以下方式判断立体视频中是否发生有场景切换：

首先，将立体视频中第t时刻的右视点视频帧记为I_R(t)，将立体视频中第t-1时刻的右视点视频帧记为I_R(t-1)，将立体视频中第t时刻的左视点视频帧记为I_L(t)，将立体视频中第t-1时刻的左视点视频帧记为I_L(t-1)；

第t时刻右视点视频帧与第t-1时刻的右视点视频帧之间的像素值记为D_R(t，t-1)，计算除右视点第1帧之外的其余右视点视频帧中时域相邻视频帧之间的像素差值，表示为 $C_R(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,R}\left(t\right)-f_{i,j,R}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，“||”为取绝对值符号，f_i,j,R(t)表示第t时刻右视点视频帧中坐标位置为(i,j)的像素值，f_i,j,R(t-1)表示第t-1时刻右视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；

将立体视频中第t时刻左视点视频帧与第t-1时刻的左视点视频帧之间的像素差值记为D_L(t，t-1)，计算除左视点第1帧之外的其余左视点视频帧中时域相邻视频帧之间的像素差值，表示为 $C_L(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,L}\left(t\right)-f_{i,j,L}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示立体视频中左视点视频帧的宽度，H表示立体视频中左视点视频帧的高度，“||”为取绝对值符号，f_i,j,L(t)表示第t时刻左视点视频帧中坐标位置为(i,j)的像素值，f_i,j,L(t-1)表示第t-1时刻左视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；这里，所有时刻的左视点视频帧的宽度和高度相同，左视点视频帧与右视点视频帧的宽度和高度也相同；

根据上述描述，计算除去左视点第1视频帧和右视点第1视频帧的其余视频帧的像素差值与阈值的关系，若同时满足条件 $\left\{\begin{array}{c}{D}_R(t,t-1)\≥t_{\mathrm{TH}1}\\ D_L(t,t-1)\≥t_{\mathrm{TH}1}\end{array}\right.,$ 表示同一时刻左右两个视点视频帧的像素差值发生显著变化，即判定当前时刻立体视频帧发生了场景切换，其中t_TH1表示判定该立体视频帧是否是场景切换帧的阈值，这里立体视频帧是否是场景切换帧的阈值t_TH1根据多个有场景切换的视频序列统计取经验值。

根据实际经验，如果编码端采用H.264进行编码，则在上述方案中，t_TH1＝8；u＝v＝8；ω₁＝5,ω₂＝4,ω₃＝3较为合适。

Claims (5)

1.一种应用于立体视频切换帧的自适应错误隐藏方法，其特征在于：

对于立体视频中发生有场景切换且存在有丢失宏块的视频帧采用如下方式进行错误隐藏：

对视频帧中丢失宏块中某一点的像素值通过以下公式进行插值恢复：

其中，f_i,j(t)表示第t时刻视频帧内某一丢失宏块中坐标位置为(i,j)的点的像素亮度值，f_T、f_B、f_L、f_R分别表示前述丢失宏块上、下、左、右四个方向上的相邻宏块中与该丢失宏块相关联的四个边界点的像素值，d_T、d_B、d_L、d_R分别表示对应上、下、左、右四个方向上的权重，而d_T、d_B、d_L、d_R则用待插值恢复点与四个边界点之间的距离进行表征；

对于立体视频中没有发生有场景切换且存在有丢失宏块的右视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤一所述的方法恢复丢失宏块的右视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤二所述的方法恢复丢失宏块的右视点视频帧中所有宏块的像素值；

其中前述步骤一包括如下步骤：

步骤1-1、将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块；将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)、第t-1时刻的右视点视频帧I_R(t-1)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,若右视点当前丢失宏块的帧是右视点第一帧，只将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧I_L(t)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块,t≥2；

步骤1-2、利用外边界匹配法计算参考候选块和右视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是右视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是右视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤1-3、计算出步骤1-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤1-4、将步骤1-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤1-5、将步骤1-4中选出新的加权候选宏块f_i,j,new中的像素值作为右视点当前丢失宏块的像素值；

其中前述步骤二为：将立体视频中第t时刻的右视点视频帧I_R(t)中检测到的丢失宏块定义为右视点当前丢失宏块，将第t-1时刻右视点视频帧I_R(t-1)中与右视点当前丢失宏块坐标位置相同的像素点直接赋值给右视点当前丢失宏块中相应坐标位置的像素点，其中t≥2；对于右视点第1视频帧中的丢失宏块，将左视点第1视频帧中与该丢失宏块坐标位置相同的像素点直接赋值给该丢失宏块中相应坐标位置的像素点；

对于立体视频中没有发生有场景切换且存在有丢失宏块的左视点视频帧采用如下方式进行错误隐藏：

先判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤三所述的方法恢复丢失宏块的左视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤四所述的方法恢复丢失宏块的左视点视频帧中所有宏块的像素值：

其中，前述步骤三包括以下步骤：

步骤3-1、将立体视频中第t时刻左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将左视点当前丢失宏块上、下、左、右方向上的宏块和第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块对应坐标位置的宏块作为参考候选块,默认左视点第1视频帧没有丢失宏块,t≥2；

步骤3-2、利用外边界匹配法计算参考候选块和左视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，f_k(t)是左视点当前丢失宏块周围相邻宏块的边界像素值，f_z(t)是参考候选宏块的外边界像素值，K是左视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；

步骤3-3、计算出步骤3-2中的平均绝对差值MAD_m，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；

步骤3-4、将步骤3-3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中f_i,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，f_i,j,1、f_i,j,2、f_i,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；

步骤3-5、将步骤3-4中选出新的加权候选宏块f_i,j,new中的像素值作为左视点当前丢失宏块的像素值；

其中前述步骤四为：将立体视频中第t时刻的左视点视频帧I_L(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将第t-1时刻左视点视频帧I_L(t-1)中与左视点当前丢失宏块坐标位置相同的像素点直接赋值给左视点当前丢失宏块中相应坐标位置的像素点，其中t≥2，默认左视点第1视频帧没有丢失宏块。

2.根据权利要求1所述的自适应错误隐藏方法，其特征在于：通过如下方法判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧：

步骤a、将立体视频中第t时刻的右视点视频帧I_R(t)中的16×16宏块分割成为尺寸大小为u×v的子宏块，分割后的第t时刻的右视点视频帧I_R(t)共有n＝(W×H)/(u×v)个子宏块，n表示子宏块的个数，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，u表示子宏块的宽度，v表示子宏块的高度；

步骤b、计算出第t时刻的右视点视频帧I_R(t)中坐标位置为(x,y)的子宏块的像素值与第t-1时刻的右视点视频帧I_R(t-1)中对应位置子宏块的像素值之间的帧差，记为 $C_{x,y,R}(t,t-1)=\frac{1}{u\×v}\underset{i=1}{\overset{u}{\mathrm{\Σ}}}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}|p_{i,j}\left(t\right)-p_{i,j}(t-1)|,$ p_i,j(t)表示第t时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，p_i,j(t-1)表示第t-1时刻右视点视频帧内子宏块中坐标位置为(i,j)的像素值，1≤i≤u,1≤j≤v；

步骤c、由步骤b得到的C_x,y,R(t，t-1)计算坐标位置为(x,y)的子宏块的运动静止情况，表示为 $M_{x,y}\left(t\right)=\left\{\begin{array}{cc}1& C_{x,y,R}(t,t-1)\≥t_{\mathrm{TH}2}\\ 0& \mathrm{else}\end{array}\right.,$ 其中，1表示运动块，0表示静止块，t_TH2＝μ+σ，t_TH2由μ和σ决定，右视点视频帧中以子宏块为单位的像素均值记为右视点视频帧中以子宏块为单位的像素标准差记为 $\mathrm{\σ}=\frac{\sqrt{\underset{x=0}{\overset{H/v}{\mathrm{\Σ}}}\underset{y=0}{\overset{W/u}{\mathrm{\Σ}}}{(C_{x,y,R}(t,t-1)-\mathrm{\μ})}^2}}{n};$

步骤d、由步骤c中来判定出第t时刻的右视点视频帧I_R(t)中全部子宏块的运动静止状态图，统计出第t时刻的右视点视频帧I_R(t)中的运动块数目，记为L，计算第t时刻的右视点视频帧I_R(t)的运动静止状态，记为 $\mathrm{MV}\left(t\right)=\left\{\begin{array}{cc}1& L\≥3\×n/4\\ 0& \mathrm{else}\end{array}\right.,$ 1表示第t时刻的右视点视频帧I_R(t)为相对运动帧，0表示第t时刻的右视点视频帧I_R(t)为相对静止帧。

3.根据权利要求2所述的自适应错误隐藏方法，其特征在于：判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧的方法与判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧的方法相同。

4.根据权利要求1所述的自适应错误隐藏方法，其特征在于：通过以下方式判断立体视频中是否发生有场景切换：

首先，将立体视频中第t时刻的右视点视频帧记为I_R(t)，将立体视频中第t-1时刻的右视点视频帧记为I_R(t-1)，将立体视频中第t时刻的左视点视频帧记为I_L(t)，将立体视频中第t-1时刻的左视点视频帧记为I_L(t-1)；

第t时刻右视点视频帧与第t-1时刻的右视点视频帧之间的像素值记为D_R(t，t-1)，计算除右视点第1帧之外的其余右视点视频帧中时域相邻视频帧之间的像素差值，表示为 $D_R(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,R}\left(t\right)-f_{i,j,R}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示第t时刻的右视点视频帧的宽度，H表示第t时刻的右视点视频帧的高度，“||”为取绝对值符号，f_i,j,R(t)表示第t时刻右视点视频帧中坐标位置为(i,j)的像素值，f_i,j,R(t-1)表示第t-1时刻右视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；

将立体视频中第t时刻左视点视频帧与第t-1时刻的左视点视频帧之间的像素差值记为D_L(t，t-1)，计算除左视点第1帧之外的其余左视点视频帧中时域相邻视频帧之间的像素差值，表示为 $D_L(t,t-1)=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}|f_{i,j,L}\left(t\right)-f_{i,j,L}(t-1)|,$ 其中，t≥2，t的初始值是2，W表示立体视频中左视点视频帧的宽度，H表示立体视频中左视点视频帧的高度，“||”为取绝对值符号，f_i,j,L(t)表示第t时刻左视点视频帧中坐标位置为(i,j)的像素值，f_i,j,L(t-1)表示第t-1时刻左视点视频帧中坐标位置为(i,j)的像素值，1≤i≤W,1≤j≤H；这里，所有时刻的左视点视频帧的宽度和高度相同，左视点视频帧与右视点视频帧的宽度和高度也相同；

根据上述描述，计算除去左视点第1视频帧和右视点第1视频帧的其余视频帧的像素差值与阈值的关系，若同时满足条件 $\left\{\begin{array}{c}{D}_R(t,t-1)\≥t_{\mathrm{TH}1}\\ D_L(t,t-1)\≥t_{\mathrm{TH}1}\end{array}\right.,$ 表示同一时刻左右两个视点视频帧的像素差值发生显著变化，即判定当前时刻立体视频帧发生了场景切换，其中t_TH1表示判定该立体视频帧是否是场景切换帧的阈值。

5.根据权利要求4所述的自适应错误隐藏方法，其特征在于：所述立体视频帧是否是场景切换帧的阈值t_TH1根据多个有场景切换的视频序列统计取经验值。