CN102595145A - 一种立体视频整帧丢失错误隐藏方法 - Google Patents

Abstract

本发明公开了一种立体视频整帧丢失错误隐藏方法，其从立体视频序列的编码特点及视频序列时域、视点间视频图像信息区域特征的相似性考虑，假设右视点某一时刻帧丢失，利用左右视点图像静止区域与运动区域以及同一视点相邻时刻图像静止区域与运动区域的相似性，通过左右视点已经正确解码的图像帧估计丢失帧中的静止区域与运动区域，然后利用视点间的全局视差将丢失帧中的运动区域划分为遮挡边界区域和非遮挡边界区域，并对遮挡边界区域和非遮挡边界区域分别采用运动补偿预测和视差补偿预测恢复丢失的信息，而对于静止区域则直接采用帧拷贝的方法恢复丢失的信息，本发明方法对于右视点整帧丢失的情况可以有效提高立体视频图像的主观质量和客观质量。

Description

一种立体视频整帧丢失错误隐藏方法

技术领域

本发明涉及一种视频错误隐藏方法，尤其是涉及一种立体视频整帧丢失错误隐藏方法。

背景技术

随着多媒体与网络技术的快速发展，视频技术正向立体化、数字化、网络化、高清晰度方向发展。与传统媒体相比，立体视频的突出优势在于它能够为大众创造更加直观真实的场景感受，提供更多样化全方位的媒体交互功能。因而，人们对立体视频系统开发与应用的需求也越来越迫切，如在数字立体电视、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统、远程医疗、遥控机器人、自动导航、消费电子等诸多领域。立体视频压缩通常是利用视差估计与补偿、运动估计与补偿、离散余弦变换、块量化以及变长编码来最大限度地降低立体视频信号在空间、时间、视点间的冗余，达到高效压缩。另一方面，高效压缩编码可能会降低视频传输中的容错能力。由于网络阻塞和信道扰动，立体视频码流的传输不可避免地出现数据包丢失或部分比特出错，从而导致客户端解码出错并直接影响立体图像质量。这种情况在低码率视频流传输尤为明显。现有的立体视频错误隐藏算法主要集中在部分宏块丢失的情况，当解码帧中宏块部分丢失时，除时域相关性和视点间相关性可以用于错误隐藏外，还可以利用同一图像帧中丢失宏块周边正常解码重建宏块的信息对丢失宏块进行预测，并通过宏块边界匹配寻找与周围宏块纹理边缘匹配最佳的预测宏块，以达到较好的错误隐藏效果。然而，当发生图像帧整帧丢失时，则不具备这样的条件，即整帧丢失时可用于错误恢复的信息少于部分宏块丢失时可用的信息，因而面向整帧丢失的错误隐藏算法在一定程度上有别于部分宏块丢失的错误隐藏算法。就立体视频信号而言，其不同区域的时域相关性和视点间相关性的强弱是不同的。通常，运动区域特别是运动剧烈的区域其视点间相关性强于时域相关性，而静止区域的时域相关性则强于视点间相关性。而现有的立体视频整帧丢失错误隐藏方法并不能很好的考虑不同区域的时域相关性和视点间相关性的强弱，从而导致预测不准，影响受损块的恢复质量。因此，研究立体视频整帧丢失的错误隐藏技术十分必要。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高立体视频中的丢失帧的主观质量和客观质量的立体视频整帧丢失错误隐藏方法。

本发明解决上述技术问题所采用的技术方案为：一种立体视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：

①假设立体视频中t时刻的右视点图像帧为丢失帧；

②利用正确解码的t-1时刻的左视点图像帧和t时刻的左视点图像帧，估计立体视频中t时刻的左视点图像帧中的静止区域与运动区域；利用正确解码的t-2时刻的右视点图像帧和t-1时刻的右视点图像帧，估计立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域；具体过程为：

②-1、将t时刻的左视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第一图像块，1＜M₁＜W，1＜N₁＜H，W表示立体视频中的图像帧的宽度，H表示立体视频中的图像帧的高度；

②-2、将t时刻的左视点图像帧中当前正在处理的以坐标位置为(x₁，y₁)的像素点为中心的第一图像块定义为当前第一图像块，其中，0≤x₁≤W-M₁/2，0≤y₁≤H-N₁/2；

②-3、在t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₁，Δx₁]为水平方向搜索范围及[-Δy₁，Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内偏移坐标位置为(i₁，j₁)的像素点的平均绝对误差记为MAD(i₁，j₁)， $\mathrm{MAD}(i_1,j_1)=\frac{\underset{i_1=-{\mathrm{\Δx}}_1}{\overset{{\mathrm{\Δx}}_1}{\mathrm{\Σ}}}\underset{j_1=-{\mathrm{\Δy}}_1}{\overset{{\mathrm{\Δy}}_1}{\mathrm{\Σ}}}\underset{(x_1,y_1)\∈D_1}{\mathrm{\Σ}}|P_t^l(x_1,y_1)-P_{t-1}^l(x_1+i_1,y_1+j_1)|}{M_1\×N_1},$ 其中，-Δx₁≤i₁≤Δx₁，-Δy₁≤j₁≤Δy₁，D₁表示t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，

表示t时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点的像素值，

表示t-1时刻的左视点图像帧中与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应的横坐标偏移i₁且纵坐标偏移j₁后的坐标位置为(x₁+i₁，y₁+j₁)的像素点的像素值；

②-4、寻找在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-1时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点，如果是，则判定当前第一图像块为静止块，否则，判定当前第一图像块为运动块；

②-5、将t时刻的左视点图像帧中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-3继续执行，直至t时刻的左视点图像帧中的所有第一图像块处理完毕，得到由t时刻的左视点图像帧中的所有静止块构成的t时刻的左视点图像帧中的静止区域，及由t时刻的左视点图像帧中的所有运动块构成的t时刻的左视点图像帧中的运动区域；

②-6、将t-1时刻的右视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第二图像块；

②-7、将t-1时刻的右视点图像帧中当前正在处理的以坐标位置为(x₂，y₂)的像素点为中心的第二图像块定义为当前第二图像块，其中，0≤x₂≤W-M₁/2，0≤y₂≤H-N₁/2；

②-8、在t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₂，Δx₂]为水平方向搜索范围及[-Δy₂，Δy₂]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内偏移坐标位置为(i₂，j₂)的像素点的平均绝对误差记为MAD(i₂，j₂)， $\mathrm{MAD}(i_2,j_2)=\frac{\underset{i_2=-{\mathrm{\Δx}}_2}{\overset{{\mathrm{\Δx}}_2}{\mathrm{\Σ}}}\underset{j_2=-{\mathrm{\Δy}}_2}{\overset{{\mathrm{\Δy}}_2}{\mathrm{\Σ}}}\underset{(x_2,y_2)\∈D_2}{\mathrm{\Σ}}\left|P_{t-1}^r(x_2,y_2){-P}_{t-2}^r(x_2+i_2,y_2+j_2)\right|}{M_1\×N_1},$ 其中，-Δx₂≤i₂≤Δx₂，-Δy₂≤j₂≤Δy₂，D₂表示t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，

表示t-1时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点的像素值，表示t-2时刻的右视点图像帧中与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应的横坐标偏移i₂且纵坐标偏移j₂后的坐标位置为(x₂+i₂，y₂+j₂)的像素点的像素值；

②-9、寻找在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-2时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点，如果是，则判定当前第二图像块为静止块，否则，判定当前第二图像块为运动块；

②-10、将t-1时刻的右视点图像帧中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-8继续执行，直至t-1时刻的右视点图像帧中的所有第二图像块处理完毕，得到由t-1时刻的右视点图像帧中的所有静止块构成的t-1时刻的右视点图像帧中的静止区域，由t-1时刻的右视点图像帧中的所有运动块构成的t-1时刻的右视点图像帧中的运动区域；

③根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，具体过程为：

③-1、采用移动帧差法计算立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，记为d_G， $d_G=\arg \min \mathrm{MAD}\left(d\right)=\frac{\underset{(x,y)\∈D}{\mathrm{\Σ}}|P_{t-1}^r(x,y)-P_{t-1}^l(x+d,y)|}{(W-|d\left|\right)\×H},$ 其中，MAD(d)表示t-1时刻的右视点图像帧在t-1时刻的左视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差，argminMAD(d)表示MAD(d)取最小值时的位移d的值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值，D表示t-1时刻的右视点图像帧中以坐标位置为(x，y)的像素点为中心且左起图像左边界右至W-|d|处、高为H的矩形窗口，“||”为取绝对值符号，表示t-1时刻的右视点图像帧中坐标位置为(x，y)的像素点的像素值，

表示t-1时刻的左视点图像帧中坐标位置为(x+d，y)的像素点的像素值；

③-2、根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量d_G，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，当d_G＞0时将t时刻的左视点图像帧中的运动块向左移动G_DB列，当d_G≤0时将t时刻的左视点图像帧中的运动块向右移动G_DB列，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，其中，

“||”为取绝对值符号，

表示取不大于的最大整数，B_P表示t时刻的左视点图像帧中的运动块的宽度；

④利用立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域及t时刻的左视点图像帧中水平位移后的静止区域与运动区域，估计丢失帧中的静止区域与运动区域，具体过程为：

④-1、判断t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与水平位移后的第一图像块位置对应的第二图像块是否均为静止块，如果是，则判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的静止块，否则，判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的运动块；

④-2、将丢失帧分割成多个互不重叠的尺寸大小为M×N的第三图像块，判断第三图像块中是否包含有初步确定的运动块，如果是，则判定该第三图像块为最终确定的运动块，否则，判定该第三图像块为最终确定的静止块，其中，1＜M₁＜M＜W，1＜N₁＜N＜H；

④-3、由丢失帧中的所有最终确定的静止块构成丢失帧中的静止区域，由丢失帧中的所有最终确定的运动块构成丢失帧中的运动区域；

⑤根据丢失帧中的各个宏块实际所在的区域，采用自适应的方法恢复丢失帧中的各个宏块的亮度信息和色度信息，具体过程为：

⑤-1、定义丢失帧中当前正在处理的宏块为当前宏块；

⑤-2、判断当前宏块位于静止区域还是位于运动区域，如果位于静止区域，则直接采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，如果位于运动区域，则再判断当前宏块位于非遮挡边界区域还是遮挡边界区域，如果位于非遮挡边界区域，则采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息，如果位于遮挡边界区域，则采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息，其中，遮挡边界区域包括左遮挡边界区域和右遮挡边界区域，左遮挡边界区域和右遮挡边界区域的宽度为C个宏块的宽度，其中，M_P表示丢失帧中的宏块的宽度；

⑤-3、将丢失帧中下一个待处理的宏块作为当前宏块，然后返回步骤⑤-2继续执行，直至丢失帧中的所有宏块的亮度信息和色度信息恢复完毕。

所述的步骤②中M₁＝N₁＝8，Δx₁＝16，Δy₁＝0，Δx₂＝16，Δy₂＝0。

所述的步骤③中λ₁＝5，B_P＝8。

所述的步骤④中M＝N＝32。

所述的步骤⑤中M_P＝16。

所述的步骤⑤-2中采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息的过程为：直接将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；

采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的视差矢量作为当前宏块的视差矢量，并按照视差矢量将t时刻的左视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，其中，视差补偿预测的水平方向搜索范围为[-Δx₃，Δx₃]，且垂直方向搜索范围为[-Δy₃，Δy₃]；

采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：利用t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的运动矢量作为当前宏块的运动矢量来恢复当前宏块的亮度信息和色度信息，其中，运动补偿预测的水平方向搜索范围为[-Δx₄，Δx₄]，且垂直方向搜索范围为[-Δy₄，Δy₄]。

所述的Δx₃＝48，Δy₃＝2，Δx₄＝16，Δy₄＝16。

与现有技术相比，本发明的优点在于其从立体视频序列的编码特点以及视频序列时域、视点问视频图像信息区域特征的相似性考虑，由于立体视频信号不同区域的时域相关性和视点间相关性的强弱是不同的，通常运动区域特别是运动剧烈的区域其视点间相关性强于时域相关性，而静止区域的时域相关性则强于视点间相关性，因此本发明方法通过左右视点已经正确解码的图像帧估计丢失帧中的静止区域与运动区域，并对运动区域中的遮挡边界区域和非遮挡边界区域以及静止区域采用自适应的错误隐藏算法进行恢复。由于丢失帧中的运动区域的视点间相关性通常强于时间相关性，而静止区域则正好相反，因此本发明方法对于丢失帧中的宏块，若其位于静止区域，则直接采用时域帧拷贝的方法从右视点正确解码帧中恢复丢失的亮度信息和色度信息，而如果宏块位于运动区域，且该宏块为非遮挡边界区域宏块，则采用视差补偿预测从左视点正确解码帧中恢复丢失的亮度信息和色度信息，而对于位于遮挡边界区域的宏块，由于存在视点间遮挡，只能采用时域运动补偿预测从右视点正确解码帧中恢复丢失的亮度信息和色度信息，本发明方法对于右视点整帧丢失的情况可以有效提高立体视频图像的主观质量和客观质量，适用于立体视频系统中视频图像的恢复。

附图说明

图1为本发明方法的IPPP立体视频预测编码结构；

图2为本发明方法的总体实现框图；

图3a为Door_flowers序列左视点第86帧原始图像；

图3b为Door_flowers序列右视点第85帧原始图像；

图3c为图3a的运动区域(8×8)；

图3d为图3b的运动区域(8×8)；

图3e为图3c中的运动块按全局视差矢量位移后得到的运动区域；

图3f为图3d和图3e或运算的结果；

图3g为Door_flowers序列右视点第86帧未丢失时求得的运动区域(8×8)；

图3h为图3f块化为32×32块的结果；

图4a为Rena序列正确解码图像(PSNR＝42.41dB)；

图4b为Rena序列采用运动矢量外推的恢复结果与图4a的差值图像，其中恢复图像PSNR＝34.56dB；

图4c为Rena序列采用视差补偿预测的恢复结果与图4a的差值图像，其中恢复图像PSNR＝36.54dB；

图4d为Rena序列采用运动+视差补偿预测的恢复结果与图4a的差值图像，其中恢复图像PSNR＝36.18dB；

图4e为Rena序列采用本发明方法的恢复结果与图4a的差值图像，其中恢复图像PSNR＝39.74dB；

图5a为Door flowers序列正确解码图像(PSNR＝39.43dB)；

图5b为Door flowers序列采用运动矢量外推的恢复结果与图5a的差值图像，其中恢复图像PSNR＝28.31dB；

图5c为Door flowers序列采用视差补偿预测的恢复结果与图5a的差值图像，其中恢复图像PSNR＝27.60dB；

图5d为Door flowers序列采用运动+视差补偿预测的恢复结果与图5a的差值图像，其中恢复图像PSNR＝33.67dB；

图5e为Door flowers序列采用本发明方法的恢复结果与图5a的差值图像，其中恢复图像PSNR＝35.17dB。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体视频整帧丢失错误隐藏方法，其从立体视频序列的编码特点以及视频序列时域、视点间视频图像信息区域特征的相似性考虑，假设右视点某一时刻帧丢失，利用左右视点图像静止区域与运动区域以及同一视点相邻时刻图像静止区域与运动区域的相似性，通过左右视点已经正确解码的图像帧估计丢失帧中的静止区域与运动区域，然后利用视点间的全局视差将丢失帧中的运动区域进一步划分为遮挡边界区域和非遮挡边界区域，并对遮挡边界区域和非遮挡边界区域分别采用运动补偿预测和视差补偿预测恢复丢失的亮度信息和色度信息，而对于静止区域则直接采用帧拷贝的方法恢复丢失的亮度信息和色度信息。为了与单视点视频服务保持兼容，图1给出了本发明方法的立体视频编码结构中的左视点视频序列采用基于H.264的编码标准进行独立压缩编码，右视点视频序列采用联合运动补偿预测(MCP，motion compensation prediction)和视差补偿预测(DCP，disparity compensation prediction)的编码结构，而视差补偿预测在单通道的编码中是不存在的，这是立体视频编码的重要特征。该结构(IPPP立体视频预测编码结构)中既利用了运动补偿消除视点内的编码冗余，又采用了视差补偿消除视点间的编码冗余。

图2给出了本发明的一种立体视频整帧丢失错误隐藏方法的总体实现框图，其具体包括以下步骤：

①假设立体视频中t时刻的右视点图像帧为丢失帧。

②利用正确解码的t-1时刻的左视点图像帧和t时刻的左视点图像帧，估计立体视频中t时刻的左视点图像帧中的静止区域与运动区域；利用正确解码的t-2时刻的右视点图像帧和t-1时刻的右视点图像帧，估计立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域；具体过程为：

②-1、将t时刻的左视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第一图像块，1＜M₁＜W，1＜N₁＜H，W表示立体视频中的图像帧的宽度，H表示立体视频中的图像帧的高度。

②-2、将t时刻的左视点图像帧中当前正在处理的以坐标位置为(x₁，y₁)的像素点为中心的第一图像块定义为当前第一图像块，其中，0≤x₁≤W-M₁/2，0≤y₁≤H-N₁/2。

②-3、在t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₁，Δx₁]为水平方向搜索范围及[-Δy₁，Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内偏移坐标位置为(i₁，j₁)的像素点的平均绝对误差记为MAD(i₁，j₁)， $\mathrm{MAD}(i_1,j_1)=\frac{\underset{i_1=-{\mathrm{\Δx}}_1}{\overset{{\mathrm{\Δx}}_1}{\mathrm{\Σ}}}\underset{j_1=-{\mathrm{\Δy}}_1}{\overset{{\mathrm{\Δy}}_1}{\mathrm{\Σ}}}\underset{(x_1,y_1)\∈D_1}{\mathrm{\Σ}}|P_t^l(x_1,y_1)-P_{t-1}^l(x_1+i_1,y_1+j_1)|}{M_1\×N_1},$ 其中，i₁、j₁分别表示水平方向、垂直方向的变量，-Δx₁≤i₁≤Δx₁，-Δy₁≤j₁≤Δy₁，D₁表示t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，表示t时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点的像素值，

表示t-1时刻的左视点图像帧中与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应的横坐标偏移i₁且纵坐标偏移j₁后的坐标位置为(x₁+i₁，y₁+j₁)的像素点的像素值。

②-4、寻找在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-1时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点，即此时i₁＝j₁＝0，如果是，则判定当前第一图像块为静止块，否则，判定当前第一图像块为运动块。

②-5、将t时刻的左视点图像帧中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-3继续执行，直至t时刻的左视点图像帧中的所有第一图像块处理完毕，得到由t时刻的左视点图像帧中的所有静止块构成的t时刻的左视点图像帧中的静止区域，及由t时刻的左视点图像帧中的所有运动块构成的t时刻的左视点图像帧中的运动区域。

②-6、将t-1时刻的右视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第二图像块。

②-7、将t-1时刻的右视点图像帧中当前正在处理的以坐标位置为(x₂，y₂)的像素点为中心的第二图像块定义为当前第二图像块，其中，0≤x₂≤W-M₁/2，0≤y₂≤H-N₁/2。

②-8、在t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₂，Δx₂]为水平方向搜索范围及[-Δy₂，Δy₂]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内偏移坐标位置为(i₂，j₂)的像素点的平均绝对误差记为MAD(i₂，j₂)， $\mathrm{MAD}(i_2,j_2)=\frac{\underset{i_2=-{\mathrm{\Δx}}_2}{\overset{{\mathrm{\Δx}}_2}{\mathrm{\Σ}}}\underset{j_2=-{\mathrm{\Δy}}_2}{\overset{{\mathrm{\Δy}}_2}{\mathrm{\Σ}}}\underset{(x_2,y_2)\∈D_2}{\mathrm{\Σ}}\left|P_{t-1}^r(x_2,y_2){-P}_{t-2}^r(x_2+i_2,y_2+j_2)\right|}{M_1\×N_1},$ 其中，i₂、j₂分别表示水平方向、垂直方向的变量，-Δx₂≤i₂≤Δx₂，-Δy₂≤j₂≤Δy₂，D₂表示t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，

表示t-1时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点的像素值，表示t-2时刻的右视点图像帧中与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应的横坐标偏移i₂且纵坐标偏移j₂后的坐标位置为(x₂+i₂，y₂+j₂)的像素点的像素值。

②-9、寻找在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-2时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点，即此时i₂＝j₂＝0，如果是，则判定当前第二图像块为静止块，否则，判定当前第二图像块为运动块。

②-10、将t-1时刻的右视点图像帧中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-8继续执行，直至t-1时刻的右视点图像帧中的所有第二图像块处理完毕，得到由t-1时刻的右视点图像帧中的所有静止块构成的t-1时刻的右视点图像帧中的静止区域，由t-1时刻的右视点图像帧中的所有运动块构成的t-1时刻的右视点图像帧中的运动区域。

在此具体实施例中，取M₁＝N₁＝8，实验表明，若以尺寸大小为4×4的图像块为单位判断图像的运动块和静止块，则会因为图像块的尺寸较小，图像块包含的有效信息不多，而出现大量的误匹配，导致运动区域判断不准确；而若以尺寸大小为16×16的图像块为单位判断图像的运动区域，又可能会因为图像块内变化区域比例较低导致运动块被误判为静止块。因此，本发明方法以折中的尺寸大小为8×8(即M₁＝N₁＝8)的图像块为单位判断图像的运动块和静止块。

在本实施例中，取Δx₁＝16，Δy₁＝0，Δx₂＝16，Δy₂＝0。

图3a和图3b分别为Door flowers序列左视点第86帧原始图像和右视点第85帧原始图像，图3c为图3a所示的原始图像经本发明方法处理后得到的运动区域与静止区域的划分结果，图3d为图3b所示的原始图像经本发明方法处理后得到的运动区域与静止区域的划分结果。

③根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，具体过程为：

③-1、采用移动帧差法计算立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，记为d_G， $d_G=\arg \min \mathrm{MAD}\left(d\right)=\frac{\underset{(x,y)\∈D}{\mathrm{\Σ}}|P_{t-1}^r(x,y)-P_{t-1}^l(x+d,y)|}{(W-|d\left|\right)\×H},$ 其中，MAD(d)表示t-1时刻的右视点图像帧在t-1时刻的左视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差或表示t-1时刻的左视点图像帧在t-1时刻的右视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差，在本实施例中采用前一种表达，argminMAD(d)表示MAD(d)取最小值时的位移d的值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值，D表示t-1时刻的右视点图像帧中以坐标位置为(x，y)的像素点为中心且左起图像左边界右至W-|d|处、高为H的矩形窗口，“||”为取绝对值符号，

表示t-1时刻的右视点图像帧中坐标位置为(x，y)的像素点的像素值，

表示t-1时刻的左视点图像帧中坐标位置为(x+d，y)的像素点的像素值。

③-2、根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量d_G，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，当d_G＞0时将t时刻的左视点图像帧中的运动块向左移动G_DB列，当d_G≤0时将t时刻的左视点图像帧中的运动块向右移动G_DB列，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，其中，

“||”为取绝对值符号，

表示取不大于

的最大整数，B_P表示t时刻的左视点图像帧中的运动块的宽度。

由于本发明方法以图像块为单位进行亮度信息和色度信息恢复，因此位移也以图像块为单位进行。图3e给出了图3c所示的Door flowers序列左视点第86帧中的运动块按照全局视差矢量d_G位移后得到的结果，该结果为根据左视点图像帧运动区域对同时刻右视点图像帧也即丢失帧运动区域的一个估计。

④利用立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域及t时刻的左视点图像帧中水平位移后的静止区域与运动区域，估计丢失帧中的静止区域与运动区域，具体过程为：

④-1、对t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与第一图像块位置对应的第二图像块进行或运算，估计丢失帧中的运动块和静止块，即判断t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与水平位移后的第一图像块位置对应的第二图像块是否均为静止块，如果是，则判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的静止块，否则，即如果第一图像块为运动块或第二图像块为运动块或第一图像块和第二图像块均为运动块时，判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的运动块。

④-2、为填充运动对象，进一步将估计得到的丢失帧中的初步确定的运动块和初频确定的静止块块化为较大的M×N块，即先将丢失帧分割成多个互不重叠的尺寸大小为M×N的第三图像块，然后判断第三图像块中是否包含有初步确定的运动块，如果是，则判定该第三图像块为最终确定的运动块，否则，判定该第三图像块为最终确定的静止块，其中，1＜M₁＜M＜W，1＜N₁＜N＜H。

④-3、由丢失帧中的所有最终确定的静止块构成丢失帧中的静止区域，由丢失帧中的所有最终确定的运动块构成丢失帧中的运动区域。

在本实施例中，取λ₁＝5，B_P＝8。

在本实施例中，取M＝N＝32。由于基于8×8的图像块的运动区域划分在运动对象边缘划分较为准确，而在运动对象内部由于对象纹理亮度相似而容易误判为静止区域，导致对象不完整，因此，为填充运动对象，进一步将估计得到的丢失帧中的8×8的运动块块化为32×32的运动块。

为提高丢失帧中的静止区域与运动区域估计的准确性，将根据左视点图像帧估计得到的丢失帧中水平位移后的静止区域与运动区域与t-1时刻的右视点图像帧中的静止区域与运动区域进行或运算，作为丢失帧中的静止区域与运动区域。图3f给出了图3d和图3e经过或运算后得到的丢失帧中的静止区域与运动区域，也即通过左右视点已经正确解码的图像帧估计出的丢失帧中的静止区域与运动区域，而图3g则为Door flowers序列右视点第86帧(也即丢失帧)未发生丢失时求得的其运动区域。分析图3f和图3g，可知两者非常相似，表明了本发明方法估计丢失帧中的静止区域与运动区域的有效性和准确性。

图3h给出了图3f经块化为32×32的运动块的结果。

⑤根据丢失帧中的各个宏块实际所在的区域，采用自适应的方法恢复丢失帧中的各个宏块的亮度信息和色度信息，具体过程为：

⑤-1、定义丢失帧中当前正在处理的宏块为当前宏块。

⑤-2、判断当前宏块位于静止区域还是位于运动区域，如果位于静止区域，则直接采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，如果位于运动区域，则再判断当前宏块位于非遮挡边界区域还是遮挡边界区域，如果位于非遮挡边界区域，则采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息，如果位于遮挡边界区域，则采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息，其中，遮挡边界区域包括左遮挡边界区域和右遮挡边界区域，左遮挡边界区域和右遮挡边界区域的宽度为C个宏块的宽度，

其中，M_P表示丢失帧中的宏块的宽度。在此，取M_P＝16；对于Door flowers序列左右视点第85帧求取的全局视差d_G＝-11，因此根据可获得此时C＝2，即对于Door flowers序列，定义其左遮挡边界区域和右遮挡边界区域的宽度为2个16×16宏块的宽度。

在此具体实施例中，采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息的过程为：直接将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的视差矢量作为当前宏块的视差矢量，并按照视差矢量将t时刻的左视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，其中，视差补偿预测的水平方向搜索范围为[-Δx₃，Δx₃]，且垂直方向搜索范围为[-Δy₃，Δy₃]；采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：利用t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的运动矢量作为当前宏块的运动矢量来恢复当前宏块的亮度信息和色度信息，其中，运动补偿预测的水平方向搜索范围为[-Δx₄，Δx₄]，且垂直方向搜索范围为[-Δy₄，Δy₄]。在此，取Δx₃＝48，Δy₃＝2，Δx₄＝16，Δy₄＝16。

⑤-3、将丢失帧中下一个待处理的宏块作为当前宏块，然后返回步骤⑤-2继续执行，直至丢失帧中的所有宏块的亮度信息和色度信息恢复完毕。

为了验证本发明方法的有效性，本实施例基于H.264/AVC的JM8.6采用如图1所示的IPPP立体视频预测编码结构构建了立体视频编码平台。测试序列包括720×480的Puppy序列、640×480的Rena序列、512×384的Alt mobilt序列和432×240的Door flowers序列。本实施例中，编码QP(量化参数)分别为22、27、32、37。为了比较不同错误隐藏算法的优劣，除本发明方法外，还比较了采用运动矢量外推的方法恢复丢失帧、采用视差补偿预测恢复丢失帧、以及运动+视差补偿预测的方法，即对左右遮挡边界区域的宏块采用运动矢量外推的方法进行恢复，而对非遮挡边界区域宏块采用视差补偿预测进行恢复。

本实施例中，随机选择右视点丢失帧进行测试。本实施例假设Puppy序列右视点第24帧丢失、Alt mobilt序列右视点第45帧丢失、Rena序列右视点第293帧丢失、Doorflowers序列右视点第86帧丢失。QP为27时上述各个序列恢复得到的丢失帧的亮度峰值信噪比PSNR如表1所示。分析表1所列的数据，可知本发明方法恢复得到的丢失帧比运动矢量外推法、视差补偿预测法和运动+视差补偿预测方法恢复得到的丢失帧的图像客观质量都要高，更接近正确解码得到的图像的客观质量。这主要是因为本发明方法不但考虑了序列的时域相关性而且考虑了视点间的相关性，而运动矢量外推法和视差补偿预测法只考虑了时域的相关性或视点间的相关性。由表1可见，运动矢量外推法对于时域相关性较好的序列如Puppy序列可以得到较好的结果；视差补偿预测法对于视点间相关性较强的序列如Rena序列可以得到较好的结果。但运动矢量外推法和视差补偿预测法都没有考虑遮挡边界问题。运动+视差补偿预测方法虽然考虑了边界区域的遮挡问题，但由于没有考虑到图像运动与静止区域时间相关性和视点间相关性的差异，故造成对部分区域的视差补偿预测恢复不准确。

为了评价不同QP下各种算法进行错误隐藏的性能，针对Rena序列测试了QP为22、27、32、37时采用不同算法恢复丢失的右视点第293帧的效果，其结果如表2所示。分析表2所列的数据，可知本发明方法在不同QP时均取得了较好的恢复效果。图4a给出了Rena序列正确解码重建的丢失帧，图4b、图4c、图4d和图4e分别给出了Rena序列采用运动矢量外推、视差补偿预测、运动+视差补偿预测和本发明方法恢复得到的丢失帧(QP＝27时)与图4a的差值图像；图5a给出了Door flowers序列正确解码重建的丢失帧，图5b、图5c、图5d和图5e分别给出了Door flowers序列采用运动矢量外推、视差补偿预测、运动+视差补偿预测和本发明方法恢复得到的丢失帧(QP＝27时)与图5a的差值图像。分析图4a至图4e及图5a至图5e，可知经本发明方法处理后得到的恢复图像与丢失帧正确解码重建图像的差异相对最小，表明其质量明显好于其它三种方法恢复图像的质量。

表1同一QP不同序列丢失帧恢复得到的PSNR(dB)

表2Rena序列不同QP下的PSNR(dB)

本发明方法有效利用了立体视频序列的编码特点以及视频序列时域、视点间视频图像信息区域特征的相似性，提高了丢失帧恢复的主客观质量。

Claims (7)

1.一种立体视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：

①假设立体视频中t时刻的右视点图像帧为丢失帧；

②利用正确解码的t-1时刻的左视点图像帧和t时刻的左视点图像帧，估计立体视频中t时刻的左视点图像帧中的静止区域与运动区域；利用正确解码的t-2时刻的右视点图像帧和t-1时刻的右视点图像帧，估计立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域；具体过程为：

②-1、将t时刻的左视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第一图像块，1＜M₁＜W，1＜N₁＜H，W表示立体视频中的图像帧的宽度，H表示立体视频中的图像帧的高度；

②-2、将t时刻的左视点图像帧中当前正在处理的以坐标位置为(x₁，y₁)的像素点为中心的第一图像块定义为当前第一图像块，其中，0≤x₁≤W-M₁/2，0≤y₁≤H-N₁/2；

②-3、在t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₁，Δx₁]为水平方向搜索范围及[-Δy₁，Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内偏移坐标位置为(i₁，j₁)的像素点的平均绝对误差记为MAD(i₁，j₁)， $\mathrm{MAD}(i_1,j_1)=\frac{\underset{i_1=-{\mathrm{\Δx}}_1}{\overset{{\mathrm{\Δx}}_1}{\mathrm{\Σ}}}\underset{j_1=-{\mathrm{\Δy}}_1}{\overset{{\mathrm{\Δy}}_1}{\mathrm{\Σ}}}\underset{(x_1,y_1)\∈D_1}{\mathrm{\Σ}}|P_t^l(x_1,y_1)-P_{t-1}^l(x_1+i_1,y_1+j_1)|}{M_1\×N_1},$ 其中，-Δx₁≤i₁≤Δx₁，-Δy₁≤j₁≤Δy₁，D₁表示t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，

表示t时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点的像素值，

表示t-1时刻的左视点图像帧中与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应的横坐标偏移i₁且纵坐标偏移j₁后的坐标位置为(x₁+i₁，y₁+j₁)的像素点的像素值；

②-4、寻找在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-1时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点，如果是，则判定当前第一图像块为静止块，否则，判定当前第一图像块为运动块；

②-5、将t时刻的左视点图像帧中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-3继续执行，直至t时刻的左视点图像帧中的所有第一图像块处理完毕，得到由t时刻的左视点图像帧中的所有静止块构成的t时刻的左视点图像帧中的静止区域，及由t时刻的左视点图像帧中的所有运动块构成的t时刻的左视点图像帧中的运动区域；

②-6、将t-1时刻的右视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第二图像块；

②-7、将t-1时刻的右视点图像帧中当前正在处理的以坐标位置为(x₂，y₂)的像素点为中心的第二图像块定义为当前第二图像块，其中，0≤x₂≤W-M₁/2，0≤y₂≤H-N₁/2；

②-8、在t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₂，Δx₂]为水平方向搜索范围及[-Δy₂，Δy₂]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内偏移坐标位置为(i₂，j₂)的像素点的平均绝对误差记为MAD(i₂，j₂)， $\mathrm{MAD}(i_2,j_2)=\frac{\underset{i_2=-{\mathrm{\Δx}}_2}{\overset{{\mathrm{\Δx}}_2}{\mathrm{\Σ}}}\underset{j_2=-{\mathrm{\Δy}}_2}{\overset{{\mathrm{\Δy}}_2}{\mathrm{\Σ}}}\underset{(x_2,y_2)\∈D_2}{\mathrm{\Σ}}\left|P_{t-1}^r(x_2,y_2){-P}_{t-2}^r(x_2+i_2,y_2+j_2)\right|}{M_1\×N_1},$ 其中，-Δx₂≤i₂≤Δx₂，-Δy₂≤j₂≤Δy₂，D₂表示t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，

表示t-1时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点的像素值，

表示t-2时刻的右视点图像帧中与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应的横坐标偏移i₂且纵坐标偏移j₂后的坐标位置为(x₂+i₂，y₂+j₂)的像素点的像素值；

②-9、寻找在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-2时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点，如果是，则判定当前第二图像块为静止块，否则，判定当前第二图像块为运动块；

②-10、将t-1时刻的右视点图像帧中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-8继续执行，直至t-1时刻的右视点图像帧中的所有第二图像块处理完毕，得到由t-1时刻的右视点图像帧中的所有静止块构成的t-1时刻的右视点图像帧中的静止区域，由t-1时刻的右视点图像帧中的所有运动块构成的t-1时刻的右视点图像帧中的运动区域；

③根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，具体过程为：

③-1、采用移动帧差法计算立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，记为d_G， $d_G=\arg \min \mathrm{MAD}\left(d\right)=\frac{\underset{(x,y)\∈D}{\mathrm{\Σ}}|P_{t-1}^r(x,y)-P_{t-1}^l(x+d,y)|}{(W-|d\left|\right)\×H},$ 其中，MAD(d)表示t-1时刻的右视点图像帧在t-1时刻的左视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差，arg min MAD(d)表示MAD(d)取最小值时的位移d的值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值，D表示t-1时刻的右视点图像帧中以坐标位置为(x，y)的像素点为中心且左起图像左边界右至W-|d|处、高为H的矩形窗口，“||”为取绝对值符号，

表示t-1时刻的右视点图像帧中坐标位置为(x，y)的像素点的像素值，

表示t-1时刻的左视点图像帧中坐标位置为(x+d，y)的像素点的像素值；

③-2、根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量d_G，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，当d_G＞0时将t时刻的左视点图像帧中的运动块向左移动G_DB列，当d_G≤0时将t时刻的左视点图像帧中的运动块向右移动G_DB列，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，其中，“||”为取绝对值符号，

表示取不大于

的最大整数，B_P表示t时刻的左视点图像帧中的运动块的宽度；

④利用立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域及t时刻的左视点图像帧中水平位移后的静止区域与运动区域，估计丢失帧中的静止区域与运动区域，具体过程为：

④-1、判断t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与水平位移后的第一图像块位置对应的第二图像块是否均为静止块，如果是，则判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的静止块，否则，判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的运动块；

④-2、将丢失帧分割成多个互不重叠的尺寸大小为M×N的第三图像块，判断第三图像块中是否包含有初步确定的运动块，如果是，则判定该第三图像块为最终确定的运动块，否则，判定该第三图像块为最终确定的静止块，其中，1＜M₁＜M＜W，1＜N₁＜N＜H；

④-3、由丢失帧中的所有最终确定的静止块构成丢失帧中的静止区域，由丢失帧中的所有最终确定的运动块构成丢失帧中的运动区域；

⑤根据丢失帧中的各个宏块实际所在的区域，采用自适应的方法恢复丢失帧中的各个宏块的亮度信息和色度信息，具体过程为：

⑤-1、定义丢失帧中当前正在处理的宏块为当前宏块；

⑤-2、判断当前宏块位于静止区域还是位于运动区域，如果位于静止区域，则直接采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，如果位于运动区域，则再判断当前宏块位于非遮挡边界区域还是遮挡边界区域，如果位于非遮挡边界区域，则采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息，如果位于遮挡边界区域，则采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息，其中，遮挡边界区域包括左遮挡边界区域和右遮挡边界区域，左遮挡边界区域和右遮挡边界区域的宽度为C个宏块的宽度，

其中，M_P表示丢失帧中的宏块的宽度；

⑤-3、将丢失帧中下一个待处理的宏块作为当前宏块，然后返回步骤⑤-2继续执行，直至丢失帧中的所有宏块的亮度信息和色度信息恢复完毕。

2.根据权利要求1所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的步骤②中M₁＝N₁＝8，Δx₁＝16，Δy₁＝0，Δx₂＝16，Δy₂＝0。

3.根据权利要求1或2所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的步骤③中λ₁＝5，B_P＝8。

4.根据权利要求3所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的步骤④中M＝N＝32。

5.根据权利要求4所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑤中M_P＝16。

6.根据权利要求5所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑤-2中采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息的过程为：直接将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；

采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：将t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的视差矢量作为当前宏块的视差矢量，并按照视差矢量将t时刻的左视点图像帧中与当前宏块位置对应的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，其中，视差补偿预测的水平方向搜索范围为[-Δx₃，Δx₃]，且垂直方向搜索范围为[-Δy₃，Δy₃]；

采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息的过程为：利用t-1时刻的右视点图像帧中与当前宏块位置对应的宏块的运动矢量作为当前宏块的运动矢量来恢复当前宏块的亮度信息和色度信息，其中，运动补偿预测的水平方向搜索范围为[-Δx₄，Δx₄]，且垂直方向搜索范围为[-Δy₄，Δy₄]。

7.根据权利要求6所述的一种立体视频整帧丢失错误隐藏方法，其特征在于所述的Δx₃＝48，Δy₃＝2，Δx₄＝16，Δy₄＝16。

Images