CN103237226A

CN103237226A - 一种立体视频宏块丢失错误隐藏方法

Info

Publication number: CN103237226A
Application number: CN2013101172706A
Authority: CN
Inventors: 蒋刚毅; 孙越; 陈芬; 邵枫; 彭宗举; 王晓东; 李福翠
Original assignee: Ningbo University
Current assignee: Ningbo University
Priority date: 2013-04-07
Filing date: 2013-04-07
Publication date: 2013-08-07
Anticipated expiration: 2033-04-07
Also published as: CN103237226B

Abstract

本发明公开了一种立体视频宏块丢失错误隐藏方法，其首先确定丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，然后对属于非边界遮挡区域的丢失宏块，根据宏块的运动与静止特性将其归为运动宏块或静止宏块，接着利用宏块的人眼敏感度特性将运动宏块归为敏感块或不敏感块，再利用宏块的纹理与平滑特性将敏感块归为纹理块或平滑块，对属于左边界遮挡区域或右边界遮挡区域的丢失宏块、静止宏块、不敏感块、纹理块、平滑块分别采用时域运动补偿预测、时域帧拷贝、视差补偿预测、多方向插值、线性插值的方式恢复丢失宏块，由于本发明方法根据不同特性的宏块采用自适应的恢复策略，因此有效地提高了恢复的宏块的主客观质量。

Description

一种立体视频宏块丢失错误隐藏方法

技术领域

本发明涉及一种视频错误隐藏方法，尤其是涉及一种立体视频宏块丢失错误隐藏方法。

背景技术

随着多媒体与网络技术的快速发展，视频技术正向立体化、数字化、网络化、高清晰度方向发展。与传统媒体相比，立体视频的突出优势在于它能够为大众创造更加直观真实的场景感受，提供更多样化全方位的媒体交互功能。因而，人们对立体视频系统开发与应用的需求也越来越迫切，如在数字立体电视、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统、远程医疗、遥控机器人、自动导航、消费电子等诸多领域。

立体视频压缩通常是利用视差估计与补偿、运动估计与补偿、离散余弦变换、块量化以及变长编码来最大限度地降低立体视频信号在空间、时间、视点间的冗余，达到高效压缩。另一方面，高效压缩编码可能会降低视频传输中的容错能力。由于网络阻塞和信道扰动，立体视频码流的传输会不可避免地出现数据包丢失或部分比特出错，从而导致客户端解码出错并直接影响立体图像质量，这种情况在低码率立体视频码流传输中尤为明显。现有的立体视频错误隐藏方法主要集中在整帧丢失的情况，然而，整帧丢失时可用于错误恢复的信息少于部分宏块丢失时可用的信息，因而面向部分宏块丢失的错误隐藏方法在一定程度上有别于整帧丢失的错误隐藏方法。当解码帧中部分宏块丢失时，除时域相关性和视点间相关性可以用于错误隐藏外，还可以利用同一图像帧中丢失宏块周边正常解码重建宏块的信息对丢失宏块进行预测，并通过宏块边界匹配寻找与周围宏块纹理边缘匹配最佳的预测宏块，以达到较好的错误隐藏效果。就立体视频信号而言，对不同丢失宏块的类型采用单一的恢复方法不能取得较好的恢复效果。因此，需要根据丢失宏块的类型设计一种高效的恢复策略。而现有的立体视频部分宏块丢失错误隐藏方法并没有很好的考虑不同丢失宏块的不同特性信息，从而导致采用恢复策略不当，最终影响了丢失宏块的恢复质量。

发明内容

本发明所要解决的技术问题是提供一种立体视频宏块丢失错误隐藏方法，其能够有效地提高丢失宏块恢复的主观质量和客观质量。

本发明解决上述技术问题所采用的技术方案为：一种立体视频宏块丢失错误隐藏方法，其特征在于包括以下步骤：

①假设立体视频中t时刻的右视点图像为丢失帧，记为

将立体视频中已正确解码的t-1时刻的右视点图像记为

将立体视频中已正确解码的t-2时刻的右视点图像记为

将立体视频中已正确解码的t时刻的左视点图像记为，将立体视频中已正确解码的t-1时刻的左视点图像记为

②采用移动帧差法计算

与

之间的全局视差矢量，记为d_G，

d_{G} = \arg \min (\frac{\underset{(x, y) &Element; D}{Σ} | P_{t - 1}^{r} (x, y) - P_{t - 1}^{l} (x + d, y) |}{(W - | d |) \times H}),

其中，

\arg \min (\frac{\underset{(x, y) &Element; D}{Σ} | P_{t - 1}^{r} (x, y) - P_{t - 1}^{l} (x + d, y) |}{(W - | d |) \times H})

表示

取最小值时位移d的值，D表示

中宽为W-|d|且高为H的窗口，符号“||”为取绝对值符号，此处1≤x≤W,1≤y≤H且(x,y)∈D，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度，

表示

中坐标位置为(x,y)的像素点的像素值，

表示

中坐标位置为(x+d,y)的像素点的像素值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值；

③将

中从左边界起的宽度为C个宏块的宽度且高度为H的区域定义为左边界遮挡区域，将

中从右边界起的宽度为C个宏块的宽度且高度为H的区域定义为右边界遮挡区域，将

中除左边界遮挡区域和右边界遮挡区域外的区域定义为非边界遮挡区域，其中，

符号

为向下取整符号，符号“||”为取绝对值符号；

④将

中当前检测到的丢失的宏块定义为当前丢失宏块；

⑤判断当前丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，如果属于左边界遮挡区域或右边界遮挡区域，则采用时域运动补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果属于非边界遮挡区域，则执行步骤⑥；

⑥根据d_G对中与当前丢失宏块的坐标位置相同的宏块进行水平位移，然后将中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块划分为多个互不重叠的第一图像块，接着确定

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中的每个第一图像块为静止块还是为运动块，再确定

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为静止宏块还是为运动宏块；将

中与当前丢失宏块的坐标位置相同的宏块划分为多个互不重叠的且尺寸大小与第一图像块相同的第二图像块，接着确定

中与当前丢失宏块的坐标位置相同的宏块中的每个第二图像块为静止块还是为运动块，再确定

中与当前丢失宏块的坐标位置相同的宏块为静止宏块还是为运动宏块；最后根据

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块和

中与当前丢失宏块的坐标位置相同的宏块，确定当前丢失宏块为静止宏块还是为运动宏块，如果当前丢失宏块为静止宏块，则采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，执行步骤⑦；

⑦获取

的全局双目恰可觉察失真阈值图，记为JND_dr，然后根据JND_dr中的每个宏块中的所有像素点的全局双目恰可觉察失真阈值的均值，确定当前丢失宏块为不敏感块还是为敏感块，如果当前丢失宏块为不敏感块，则采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为敏感块，然后执行步骤⑧；

⑧将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块，然后对每个可用宏块进行DCT变换得到每个可用宏块中的每个像素点的交流系数，接着根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，再根据每个可用宏块的图像细节程度评价因子，确定每个可用宏块为纹理块还是为平滑块，最后根据当前丢失宏块对应的可用宏块为纹理块的个数和为平滑块的个数，确定当前丢失宏块为纹理块还是为平滑块，如果当前丢失宏块为纹理块，则采用空域多方向插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为平滑块，则采用空域线性插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨；

⑨将

中检测到的下一个丢失的宏块作为当前丢失宏块，然后返回步骤⑤继续执行，直至

中的所有丢失的宏块的亮度信息和色度信息恢复完毕。

所述的步骤②中取λ₁=5。

所述的步骤⑥的具体过程为：

⑥-1、根据d_G，对

中与当前丢失宏块的坐标位置相同的宏块进行水平位移，当d_G>0时将

中与当前丢失宏块的坐标位置相同的宏块向左水平位移G_DB列像素，当d_G≤0时将

中与当前丢失宏块的坐标位置相同的宏块向右水平位移G_DB列像素，得到

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块，其中，

符号

为向下取整符号，符号“||”为取绝对值符号；

⑥-2、将中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块划分为个互不重叠的尺寸大小为M₁×N₁的第一图像块，其中，1<M₁<16,1<N₁<16；

⑥-3、将

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中当前待处理的第一图像块定义为当前第一图像块；

⑥-4、在

中以与当前第一图像块中的中心像素点的坐标位置相同的像素点为搜索中心，且以[-Δx₁,Δx₁]为水平方向搜索范围及[-Δy₁,Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁,Δx₁]和垂直方向搜索范围[-Δy₁,Δy₁]内偏移坐标位置为(i₁,j₁)的像素点的平均绝对误差记为MAD(i₁,j₁)，

MAD (i_{1}, j_{1}) = \frac{Σ_{i_{1} = - Δ x_{1}}^{Δ x_{1}} Σ_{j_{1} = - Δ y_{1}}^{Δ y_{1}} \underset{(x_{1}, y_{1}) &Element; D_{1}}{Σ} | P_{t}^{l} (x_{1}, y_{1}) - P_{t - 1}^{l} (x_{1} + i_{1}, y_{1} + j_{1}) |}{M_{1} \times N_{1}},

其中，-Δx₁≤i₁≤Δx₁,-Δy₁≤j₁≤Δy₁，D₁表示

中以与当前第一图像块中的中心像素点的坐标位置相同的像素点为中心像素点且尺寸大小为M₁×N₁的窗口，此处1≤x₁≤W,1≤y₁≤H且(x₁,y₁)∈D₁，符号“||”为取绝对值符号，

表示

中坐标位置为(x₁,y₁)的像素点的像素值，

表示

中坐标位置为(x₁+i₁,y₁+j₁)的像素点的像素值；

⑥-5、在步骤⑥-4中计算得到的在水平方向搜索范围[-Δx₁,Δx₁]和垂直方向搜索范围[-Δy₁,Δy₁]内的所有像素点的平均绝对误差中找出值最小的平均绝对误差，判断值最小的平均绝对误差对应的像素点是否为

中与当前第一图像块中的中心像素点的坐标位置相同的像素点，如果是，则确定当前第一图像块为静止块，否则，确定当前第一图像块为运动块；

⑥-6、将中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤⑥-4继续执行，直至

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中的所有第一图像块处理完毕；

⑥-7、判断

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中的所有第一图像块是否均为静止块，如果是，则确定

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为静止宏块，否则，确定

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为运动宏块；

⑥-8、将

中与当前丢失宏块的坐标位置相同的宏块划分为

个互不重叠的尺寸大小为M₂×N₂的第二图像块，其中，1<M₂<16,1<N₂<16；

⑥-9、将

中与当前丢失宏块的坐标位置相同的宏块中当前待处理的第二图像块定义为当前第二图像块；

⑥-10、在

中以与当前第二图像块中的中心像素点的坐标位置相同的像素点为搜索中心，且以[-Δx₂,Δx₂]为水平方向搜索范围及[-Δy₂,Δy₂]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₂,Δx₂]和垂直方向搜索范围[-Δy₂,Δy₂]内偏移坐标位置为(i₂,j₂)的像素点的平均绝对误差记为MAD(i₂,j₂)，

MAD (i_{2}, j_{2}) = \frac{Σ_{i_{2} = - Δ x_{2}}^{Δ x_{2}} Σ_{j_{2} = - Δ y_{2}}^{Δ y_{2}} \underset{(x_{2}, y_{2}) &Element; D_{2}}{Σ} | P_{t - 1}^{r} (x_{2}, y_{2}) - P_{t - 2}^{r} (x_{2} + i_{2}, y_{2} + j_{2}) |}{M_{2} \times N_{2}},

其中，-Δx₂≤i₂≤Δx₂,-Δy₂≤j₂≤Δy₂，D₂表示

中以与当前第二图像块中的中心像素点的坐标位置相同的像素点为中心像素点且尺寸大小为M₂×N₂的窗口，此处1≤x₂≤W,1≤y₂≤H且(x₂,y₂)∈D₂，符号“||”为取绝对值符号，表示

中坐标位置为(x₂,y₂)的像素点的像素值，表示

中坐标位置为(x₂+i₂,y₂+j₂)的像素点的像素值；

⑥-11、在步骤⑥-10中计算得到的在水平方向搜索范围[-Δx₂,Δx₂]和垂直方向搜索范围[-Δy₂,Δy₂]内的所有像素点的平均绝对误差中找出值最小的平均绝对误差，判断值最小的平均绝对误差对应的像素点是否为

中与当前第二图像块中的中心像素点的坐标位置相同的像素点，如果是，则确定当前第二图像块为静止块，否则，确定当前第二图像块为运动块；

⑥-12、将中与当前丢失宏块的坐标位置相同的宏块中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤⑥-10继续执行，直至

中与当前丢失宏块的坐标位置相同的宏块中的所有第二图像块处理完毕；

⑥-13、判断

中与当前丢失宏块的坐标位置相同的宏块中的所有第二图像块是否均为静止块，如果是，则确定

中与当前丢失宏块的坐标位置相同的宏块为静止宏块，否则，确定

中与当前丢失宏块的坐标位置相同的宏块为运动宏块；

⑥-14、判断

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块和中与当前丢失宏块的坐标位置相同的宏块是否均为静止宏块，如果是，则确定当前丢失宏块为静止宏块，然后采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，确定当前丢失宏块为运动宏块，然后执行步骤⑦。

所述的步骤⑥-2中取M₁=N₁=8；所述的步骤⑥-8中取M₂=N₂=8。

所述的步骤⑥-4中取Δx₁=16且Δy₁=0；所述的步骤⑥-10中取Δx₂=16且Δy₂=0。

所述的步骤⑦的具体过程为：

⑦-1、获取的全局双目恰可觉察失真阈值图，记为JND_dr，将JND_dr中坐标位置为(x,y)的像素点的全局双目恰可觉察失真阈值记为BJND_dr(x,y)，

{BJND}_{dr} (x, y) = T_{C, \lim} (x, y) \times {(1 - {(\frac{n_{l} (x, y)}{T_{C, \lim} (x, y)})}^{λ})}^{1 / λ},

其中，1≤x≤W,1≤y≤H，T_C,lim(x,y)表示

中坐标位置为(x,y)的像素点的对比度掩蔽效应的最大失真阈值，T_C,lim(x,y)=T_C(bg(x,y))+K(bg(x,y))×eh(x,y)，T_C(bg(x,y))表示左视点图像在给定bg(x,y)的情况下引发感知差异的最小噪声幅值，K(bg(x,y))表示依据主观实验结果建立的增大因子拟合函数，K(bg(x,y))=-10^(-6)×(0.7×bg(x,y)²+32×bg(x,y))+0.07，bg(x,y)表示

中坐标位置为(x,y)的像素点的背景亮度值，eh(x,y)表示

中坐标位置为(x,y)的像素点的梯度值，n_l(x,y)表示中坐标位置为(x,y)的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数；

⑦-2、计算JND_dr中的每个宏块中的所有像素点的全局双目恰可觉察失真阈值的均值，并将JND_dr中与当前丢失宏块的坐标位置相同的宏块中的所有像素点的全局双目恰可觉察失真阈值的均值记为μ，然后计算JND_dr中的所有宏块对应的全局双目恰可觉察失真阈值的均值的平均值和标准差，分别记为μ1和σ1，再判断μ<μ1+σ1是否成立，如果成立，则确定当前丢失宏块为不敏感块，然后采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，确定当前丢失宏块为敏感块，然后执行步骤⑧。

所述的步骤⑧的具体过程为：

⑧-1、检测当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块是否已正确解码，然后将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块；

⑧-2、对每个可用宏块进行DCT变换，得到每个可用宏块中的每个像素点的交流系数；

⑧-3、计算每个可用宏块中的所有像素点的交流系数的总能量，将第k个可用宏块中的所有像素点的交流系数的总能量记为E_AC(k)，其中，1≤k≤K，k的初始值为1，K表示当前丢失宏块对应的可用宏块的个数；

⑧-4、根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，将第k个可用宏块的图像细节程度评价因子记为T_D(k)，

其中，ln()为以e为底的对数函数，e=2.7182818，E_ACmax表示当前丢失宏块对应的可用宏块中的所有像素点的交流系数的最大能量，

E_{AC \max} = \frac{16 \times 16}{2} \times 255^{2} - (16 \times 16) \times {(\frac{255}{2})}^{2};

⑧-5、根据每个可用宏块的图像细节程度评价因子，确定每个可用宏块为纹理块还是为平滑块，对于第k个可用宏块，判断T_D(k)是否大于或等于设定的判断阈值T_DT，如果是，则确定第k个可用宏块为纹理块，否则，确定第k个可用宏块为平滑块；

⑧-6、判断当前丢失宏块对应的可用宏块为纹理块的个数是否大于或等于为平滑块的个数，如果是，则确定当前丢失宏块为纹理块，然后采用空域多方向插值的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，确定当前丢失宏块为平滑块，然后采用空域线性插值的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨。

所述的步骤⑧-5中取T_DT=0.78。

与现有技术相比，本发明的优点在于：其根据立体视频编码结构的特点以及立体视频序列时域、空域、视点间的相关性，首先确定丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，然后对于属于非边界遮挡区域的丢失宏块，根据丢失宏块的运动与静止特性将其归为运动宏块或静止宏块，接着利用宏块的人眼敏感度特性将归为运动宏块的丢失宏块归为敏感块或不敏感块，再利用宏块的纹理与平滑特性将归为敏感块的丢失宏块归为纹理块或平滑块，对属于左边界遮挡区域或右边界遮挡区域的丢失宏块、归为静止宏块的丢失宏块、归为不敏感块的丢失宏块、归为纹理块的丢失宏块、归为平滑块的丢失宏块分别采用时域运动补偿预测、时域帧拷贝、视差补偿预测、多方向插值、线性插值的方式恢复丢失宏块的亮度信息和色度信息，由于本发明方法根据不同特性的宏块采用自适应的恢复策略，因此有效地提高了恢复的宏块的主客观质量。

附图说明

图1为本发明方法处理的立体视频采用的IPPP立体视频预测编码结构的示意图；

图2为Akko序列中的宏块敏感特性时域相关性的实验结果；

图3为Door flowers序列中的宏块敏感特性时域相关性的实验结果；

图4为Rena序列中的宏块敏感特性时域相关性的实验结果

图5为Akko序列采用不同错误隐藏方法恢复的图像的PSNR性能逐帧比较曲线；

图6为Door flowers序列采用不同错误隐藏方法恢复的图像的PSNR性能逐帧比较曲线；

图7为Rena序列采用不同错误隐藏方法恢复的图像的PSNR性能逐帧比较曲线；

图8a为Akko序列右视点第16帧正确解码(40.44dB)的主观效果图；

图8b为Akko序列右视点第16帧发生宏块丢失且丢失率为10%(16.78dB)的主观效果图；

图8c为Akko序列右视点第16帧经Xiang’s方法恢复得到的图像(37.58dB)的主观效果图；

图8d为Akko序列右视点第16帧经DCP方法恢复得到的图像(37.42dB)的主观效果图；

图8e为Akko序列右视点第16帧经MVE方法恢复得到的图像(30.66dB)的主观效果图；

图8f为Akko序列右视点第16帧经本发明方法恢复得到的图像(38.88dB)的主观效果图；

图9a为图8a的局部放大主观效果图；

图9b为图8b的局部放大主观效果图；

图9c为图8c的局部放大主观效果图；

图9d为图8d的局部放大主观效果图；

图9e为图8e的局部放大主观效果图；

图9f为图8f的局部放大主观效果图；

图10a为Door flowers序列右视点第35帧正确解码(39.95dB)的主观效果图；

图10b为Door flowers序列右视点第35帧发生宏块丢失且丢失率为10%(17.41dB)的主观效果图；

图10c为Door flowers序列右视点第35帧经Xiang’s方法恢复得到的图像(38.46dB)的主观效果图；

图10d为Door flowers序列右视点第35帧经DCP方法恢复得到的图像(37.66dB)的主观效果图；

图10e为Door flowers序列右视点第35帧经MVE方法恢复得到的图像(38.02dB)的主观效果图；

图10f为Door flowers序列右视点第35帧经本发明方法恢复得到的图像(39.25dB)的主观效果图；

图11a为图10a的局部放大主观效果图一；

图11b为图10b的局部放大主观效果图一；

图11c为图10c的局部放大主观效果图一；

图11d为图10d的局部放大主观效果图一；

图11e为图10e的局部放大主观效果图一；

图11f为图10f的局部放大主观效果图一；

图12a为图10a的局部放大主观效果图二；

图12b为图10b的局部放大主观效果图二；

图12c为图10c的局部放大主观效果图二；

图12d为图10d的局部放大主观效果图二；

图12e为图10e的局部放大主观效果图二；

图12f为图10f的局部放大主观效果图二。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体视频宏块丢失错误隐藏方法，其从立体视频序列的编码特点以及视频序列时域、空域、视点间视频图像信息区域特征的相似性考虑，假设右视点某一时刻帧部分图像丢失即部分宏块丢失，首先对丢失宏块的遮挡特性、运动与静止特性、敏感特性以及纹理与平滑特性进行分析；然后根据丢失宏块不同的特性，分别采用时域运动补偿预测、视差补偿预测或空域插值的方式恢复丢失宏块的亮度信息和色度信息。为了与单视点视频服务保持兼容，图1给出了本发明方法的立体视频编码结构中的左视点视频序列采用基于H.264的编码标准进行独立压缩编码，右视点视频序列采用联合运动补偿预测（MCP，motion compensation prediction）和视差补偿预测（DCP，disparitycompensation prediction）的编码结构，而视差补偿预测在单通道的编码中是不存在的，这是立体视频编码的重要特征。该结构（IPPP立体视频预测编码结构）中既利用了运动补偿消除视点内的编码冗余，又采用了视差补偿消除视点间的编码冗余。

本发明的立体视频宏块丢失错误隐藏方法具体包括以下步骤：

①假设立体视频中t时刻的右视点图像为丢失帧，记为

将立体视频中已正确解码的t-1时刻的右视点图像记为

将立体视频中已正确解码的t-2时刻的右视点图像记为

将立体视频中已正确解码的t时刻的左视点图像记为将立体视频中已正确解码的t-1时刻的左视点图像记为

②采用现有的移动帧差法计算

与之间的全局视差矢量，记为d_G，

d_{G} = \arg \min (\frac{\underset{(x, y) &Element; D}{Σ} | P_{t - 1}^{r} (x, y) - P_{t - 1}^{l} (x + d, y) |}{(W - | d |) \times H}),

其中，

\arg \min (\frac{\underset{(x, y) &Element; D}{Σ} | P_{t - 1}^{r} (x, y) - P_{t - 1}^{l} (x + d, y) |}{(W - | d |) \times H})

表示

取最小值时位移d的值，D表示

表示

中坐标位置为(x,y)的像素点的像素值，表示

中坐标位置为(x+d,y)的像素点的像素值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值，在本实施例中，取λ₁=5。

③将

中从右边界起的宽度为C个宏块的宽度且高度为H的区域定义为右边界遮挡区域，将中除左边界遮挡区域和右边界遮挡区域外的区域定义为非边界遮挡区域，其中，符号

为向下取整符号，符号“||”为取绝对值符号。

④将

中当前检测到的丢失的宏块定义为当前丢失宏块。

⑤判断当前丢失宏块属于左边界遮挡区域或右边界遮挡区域还是属于非边界遮挡区域，如果属于左边界遮挡区域或右边界遮挡区域，则采用时域运动补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果属于非边界遮挡区域，则执行步骤⑥。

在此，采用时域运动补偿预测方法恢复当前丢失宏块的亮度信息和色度信息的过程为：将

中与当前丢失宏块的坐标位置相同的宏块的运动矢量作为当前丢失宏块的运动矢量来恢复当前丢失宏块的亮度信息和色度信息，其中，运动补偿预测的水平方向搜索范围为[-Δx₄,Δx₄]，且垂直方向搜索范围为[-Δy₄,Δy₄]，在具体实施过程中取Δx₄=16，Δy₄=16。

⑥根据d_G对

中与当前丢失宏块的坐标位置相同的宏块进行水平位移，然后将

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块划分为多个互不重叠的第一图像块，接着确定

中与当前丢失宏块的坐标位置相同的宏块中的每个第二图像块为静止块还是为运动块，再确定中与当前丢失宏块的坐标位置相同的宏块为静止宏块还是为运动宏块；最后根据中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块和

中与当前丢失宏块的坐标位置相同的宏块，确定当前丢失宏块为静止宏块还是为运动宏块，如果当前丢失宏块为静止宏块，则采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，执行步骤⑦。

在此具体实施例中，步骤⑥的具体过程为：

⑥-1、根据d_G，对

符号

为向下取整符号，符号“||”为取绝对值符号。

⑥-2、将

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块划分为

个互不重叠的尺寸大小为M₁×N₁的第一图像块，其中，1<M₁<16,1<N₁<16，在此取M₁=N₁=8。

⑥-3、将

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中当前待处理的第一图像块定义为当前第一图像块。

⑥-4、在中以与当前第一图像块中的中心像素点的坐标位置相同的像素点为搜索中心，且以[-Δx₁,Δx₁]为水平方向搜索范围及[-Δy₁,Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁,Δx₁]和垂直方向搜索范围[-Δy₁,Δy₁]内偏移坐标位置为(i₁,j₁)的像素点的平均绝对误差记为MAD(i₁,j₁)，

MAD (i_{1}, j_{1}) = \frac{Σ_{i_{1} = - Δ x_{1}}^{Δ x_{1}} Σ_{j_{1} = - Δ y_{1}}^{Δ y_{1}} \underset{(x_{1}, y_{1}) &Element; D_{1}}{Σ} | P_{t}^{l} (x_{1}, y_{1}) - P_{t - 1}^{l} (x_{1} + i_{1}, y_{1} + j_{1}) |}{M_{1} \times N_{1}},

其中，-Δx₁≤i₁≤Δx₁,-Δy₁≤j₁≤Δy₁，D₁表示中以与当前第一图像块中的中心像素点的坐标位置相同的像素点为中心像素点且尺寸大小为M₁×N₁的窗口，此处1≤x₁≤W,1≤y₁≤H且(x₁,y₁)∈D₁，符号“||”为取绝对值符号，

表示

中坐标位置为(x₁,y₁)的像素点的像素值，表示中坐标位置为(x₁+i₁,y₁+j₁)的像素点的像素值，即表示中与当前第一图像块中坐标位置为(x₁,y₁)的像素点对应的横坐标偏移i₁且纵坐标偏移j₁后的坐标位置为(x₁+i₁,y₁+j₁)的像素点的像素值。

在此，取Δx₁=16，Δy₁=0。

中与当前第一图像块中的中心像素点的坐标位置相同的像素点，如果是，则确定当前第一图像块为静止块，否则，确定当前第一图像块为运动块。

⑥-6、将

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤⑥-4继续执行，直至

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中的所有第一图像块处理完毕。

⑥-7、判断

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为静止宏块，否则，即

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块中至少有一个第一图像块为运动块，确定

中与当前丢失宏块的坐标位置相同的宏块经水平位移后的宏块为运动宏块。

⑥-8、将

中与当前丢失宏块的坐标位置相同的宏块划分为

个互不重叠的尺寸大小为M₂×N₂的第二图像块，其中，1<M₂<16,1<N₂<16，在此取M₂=N₂=8。

⑥-9、将

中与当前丢失宏块的坐标位置相同的宏块中当前待处理的第二图像块定义为当前第二图像块。

⑥-10、在

MAD (i_{2}, j_{2}) = \frac{Σ_{i_{2} = - Δ x_{2}}^{Δ x_{2}} Σ_{j_{2} = - Δ y_{2}}^{Δ y_{2}} \underset{(x_{2}, y_{2}) &Element; D_{2}}{Σ} | P_{t - 1}^{r} (x_{2}, y_{2}) - P_{t - 2}^{r} (x_{2} + i_{2}, y_{2} + j_{2}) |}{M_{2} \times N_{2}},

其中，-Δx₂≤i₂≤Δx₂,-Δy₂≤j₂≤Δy₂，D₂表示

中以与当前第二图像块中的中心像素点的坐标位置相同的像素点为中心像素点且尺寸大小为M₂×N₂的窗口，此处1≤x₂≤W,1≤y₂≤H且(x₂,y₂)∈D₂，符号“||”为取绝对值符号，

表示

中坐标位置为(x₂,y₂)的像素点的像素值，

表示

中坐标位置为(x₂+i₂,y₂+j₂)的像素点的像素值，即表示

中与当前第二图像块中坐标位置为(x₂,y₂)的像素点对应的横坐标偏移i₂且纵坐标偏移j₂后的坐标位置为(x₂+i₂,y₂+j₂)的像素点的像素值。

在此，取Δx₂=16，Δy₂=0。

中与当前第二图像块中的中心像素点的坐标位置相同的像素点，如果是，则确定当前第二图像块为静止块，否则，确定当前第二图像块为运动块。

⑥-12、将

中与当前丢失宏块的坐标位置相同的宏块中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤⑥-10继续执行，直至

中与当前丢失宏块的坐标位置相同的宏块中的所有第二图像块处理完毕。

⑥-13、判断

中与当前丢失宏块的坐标位置相同的宏块为静止宏块，否则，即中与当前丢失宏块的坐标位置相同的宏块中至少有一个第二图像块为运动块，确定

中与当前丢失宏块的坐标位置相同的宏块为运动宏块.

⑥-14、判断

中与当前丢失宏块的坐标位置相同的宏块是否均为静止宏块，如果是，则确定当前丢失宏块为静止宏块，然后采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息，再执行步骤⑨，否则，确定当前丢失宏块为运动宏块，然后执行步骤⑦。

在本实施例中，取M₁=N₁=M₂=N₂=8，实验表明，若以尺寸大小为4×4的图像块为单位判断图像块为运动块还是为静止块，则会因为图像块的尺寸较小，图像块包含的有效信息不多，而出现大量的误匹配，导致运动块判断不准确；而若以尺寸大小为16×16的图像块为单位判断图像块为运动块还是为静止块，又可能会因为图像块内变化区域比例较低导致运动块被误判为静止块。因此，本发明方法以折中的尺寸大小为8×8（即M₁=N₁=M₂=N₂=8）的图像块为单位判断图像块为运动块还是为静止块。

在本实施例中，采用时域帧拷贝的方法恢复当前丢失宏块的亮度信息和色度信息的过程为：直接将

中与当前丢失宏块的坐标位置相同的宏块的亮度信息和色度信息作为当前丢失宏块的亮度信息和色度信息。

⑦获取

的全局双目恰可觉察失真阈值图，记为JND_dr，然后根据JND_dr中的每个宏块中的所有像素点的全局双目恰可觉察失真阈值的均值，确定当前丢失宏块为不敏感块还是为敏感块，如果当前丢失宏块为不敏感块，则采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为敏感块，然后执行步骤⑧。

⑦-1、获取

的全局双目恰可觉察失真阈值图，记为JND_dr，将JND_dr中坐标位置为(x,y)的像素点的全局双目恰可觉察失真阈值记为BJND_dr(x,y)，

{BJND}_{dr} (x, y) = T_{C, \lim} (x, y) \times {(1 - {(\frac{n_{l} (x, y)}{T_{C, \lim} (x, y)})}^{λ})}^{1 / λ},

其中，1≤x≤W,1≤y≤H，T_C,lim(x,y)表示

中坐标位置为(x,y)的像素点的背景亮度值，eh(x,y)表示

中坐标位置为(x,y)的像素点的梯度值，n_l(x,y)表示

中坐标位置为(x,y)的像素点上的噪声幅值，λ为控制主观亮度掩蔽对实验结果影响的参数，在本实施例中取λ=1。

在本实施例中，采用视差补偿预测方法恢复当前丢失宏块的亮度信息和色度信息的过程为：将

中与当前丢失宏块的坐标位置相同的宏块的视差矢量作为当前丢失宏块的视差矢量，并按照视差矢量将

中与当前丢失宏块的坐标位置相同的宏块的亮度信息和色度信息作为当前丢失宏块的亮度信息和色度信息，其中，视差补偿预测的水平方向搜索范围为[-Δx₃,Δx₃]，且垂直方向搜索范围为[-Δy₃,Δy₃]，在具体实施过程中取Δx₃=48，Δy₃=2。

在本实施例中，分别对Akko序列（分辨率为640×480）、Doorflowers序列（分辨率为512×384）和Rena序列（分辨率为640×480）中的宏块进行敏感特性时域相关性分析实验，实验结果分别如图2、图3和图4所示。从图2中可以看出，Akko序列相邻时刻帧中，至少88.1%以上的宏块的敏感程度是一样的；从图3中可以看出，Door_flowers序列邻时刻帧中，至少95.3%以上的宏块的敏感程度是一样的；从图4中可以看出，Rena序列相邻时刻帧中，至少94.7%以上的宏块的敏感程度是一样的。可见，立体视频右视点图像中宏块的敏感程度具有很强的时域相关性，因此本实施例中直接把丢失宏块前一时刻对应位置宏块的敏感度特性作为当前丢失宏块的敏感度特性。

⑧将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块，然后对每个可用宏块进行DCT变换得到每个可用宏块中的每个像素点的交流系数，接着根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，再根据每个可用宏块的图像细节程度评价因子，确定每个可用宏块为纹理块还是为平滑块，最后根据当前丢失宏块对应的可用宏块为纹理块的个数和为平滑块的个数，确定当前丢失宏块为纹理块还是为平滑块，如果当前丢失宏块为纹理块，则采用空域多方向插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨，如果当前丢失宏块为平滑块，则采用空域线性插值的方法恢复当前丢失宏块的亮度信息和色度信息，然后执行步骤⑨。

⑧-1、检测当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块是否已正确解码，然后将当前丢失宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块作为可用宏块。在此，当前宏块的上相邻宏块为位于当前宏块上方的宏块，当前宏块的下相邻宏块为位于当前宏块下方的宏块，当前宏块的左相邻宏块为位于当前宏块左方的宏块，当前宏块的右相邻宏块为位于当前宏块右方的宏块，即如果当前宏块的坐标位置为(p,q)，则当前宏块的上相邻宏块的坐标位置为(p,q-1)，当前宏块的下相邻宏块的坐标位置为(p,q+1)，当前宏块的左相邻宏块的坐标位置为(p-1,q)，当前宏块的右相邻宏块的坐标位置为(p+1,q)，其中，

⑧-2、对每个可用宏块进行DCT变换，得到每个可用宏块中的每个像素点的交流系数。

⑧-3、计算每个可用宏块中的所有像素点的交流系数的总能量，将第k个可用宏块中的所有像素点的交流系数的总能量记为E_AC(k)，其中，1≤k≤K，k的初始值为1，K表示当前丢失宏块对应的可用宏块的个数。

⑧-4、根据每个可用宏块中的所有像素点的交流系数的总能量，计算每个可用宏块的图像细节程度评价因子，将第k个可用宏块的图像细节程度评价因子记为T_D(k)，其中，ln()为以e为底的对数函数，e=2.7182818，E_ACmax表示当前丢失宏块对应的可用宏块中的所有像素点的交流系数的最大能量，

E_{AC \max} = \frac{16 \times 16}{2} \times 255^{2} - (16 \times 16) \times {(\frac{255}{2})}^{2} .

⑧-5、根据每个可用宏块的图像细节程度评价因子，确定每个可用宏块为纹理块还是为平滑块，对于第k个可用宏块，判断T_D(k)是否大于或等于设定的判断阈值T_DT，如果是，则确定第k个可用宏块为纹理块，否则，确定第k个可用宏块为平滑块，在本实施例中，取T_DT=0.78。

在此，采用空域多方向插值的方法恢复当前丢失宏块的亮度信息和色度信息的过程为：先通过Sobel算子判断可靠的插值方向，然后将可靠的插值方向以梯度值作为权重进行加权平均。

在此，采用空域线性插值的方法恢复当前丢失宏块的亮度信息和色度信息的过程为：将水平方向和垂直方向作为插值方向，然后将水平方向和垂直方向插值像素点与受损像素点的水平距离、垂直距离分别作为水平方向和垂直方向插值像素点的权重进行加权平均。

⑨将

中的所有丢失的宏块的亮度信息和色度信息恢复完毕。

为了说明本发明方法的有效性，本实施例在基于H.264/AVC的立体视频校验平台JM8.6上构建基于图1所示的IPPP立体视频预测编码结构。测试序列采用分辨率为640×480的Akko序列、分辨率为512×384的Doorflowers序列和分辨率为640×480的Rena序列。实验中，编码量化参数QP分别取为22、27、32和37。为了说明本发明方法的有效性，本发明方法分别与Xiang等人提出的错误隐藏方法（Xiang’s方法）、视差补偿预测方法（DCP方法）、运动矢量外推方法（MVE方法）进行比较。

由于丢失宏块在一帧中的位置分布，会直接影响到错误隐藏的效果，因此在实验中对每一帧进行10次宏块丢失实验，取10次实验的平均值作为当前测试帧的PSNR值。图5给出了QP为27、宏块丢失率为10%时，Akko序列分别采用本发明方法、Xiang’s方法、DCP方法、MVE方法恢复得到的Akko序列的错误隐藏性能曲线及正确解码时的性能曲线，图6给出了QP为27、宏块丢失率为10%时，Doorflowers序列分别采用本发明方法、Xiang’s方法、DCP方法、MVE方法恢复得到的Doorflowers序列的错误隐藏性能曲线及正确解码时的性能曲线，图7给出了QP为27、宏块丢失率为10%时，Rena序列分别采用本发明方法、Xiang’s方法、DCP方法、MVE方法恢复得到的Rena序列的错误隐藏性能曲线及正确解码时的性能曲线。从图5、图6和图7中可以看出，对于Akko序列和Doorflowers序列，经DCP方法恢复得到的图像比利用MVE方法恢复得到的图像的PSNR值平均分别提高了约4.7dB和1.3dB，Xiang’s方法恢复得到的图像比DCP方法恢复得到的图像的PSNR值平均分别提高了约1.0dB和0.50dB，而采用本发明方法恢复得到的图像比利用Xiang’s方法恢复得到的图像的PSNR值平均分别提高了约0.81dB和0.64dB。对于Rena序列，当Rena序列中运动对象运动缓慢或者静止时，采用MVE方法求取的运动矢量较为准确，此时采用MVE方法恢复得到的图像的效果要好于采用DCP方法恢复得到的图像的效果，但运动较为剧烈或纹理复杂时，MVE方法的恢复结果较差，但从总体来看，对于Rena序列MVE方法恢复结果的PSNR值分别比Xiang’s方法、DCP方法恢复结果的PSNR值平均低0.95dB和2.14dB，而本发明方法充分考虑了宏块的特性，对运动缓慢和运动剧烈的视频图像都能取得较好的效果，对于Rena序列本发明方法恢复结果的PSNR值相比于Xiang’s方法恢复结果的PSNR值平均提高了约0.31dB。

本实施例随机选取Akko序列第16帧、Rena序列第214帧和Doorflowers序列第35帧在同一QP不同丢包率以及相同丢包率不同QP下分别采用Xiang’s方法、DCP方法、MVE方法和本发明方法在客观质量PSNR上进行对比，结果如表1和表2所列。从表1和表2中可知，本发明方法在同一QP不同丢包率以及相同丢包率不同QP下均取得了较好的结果。

表1不同宏块丢失率下丢失帧恢复后的平均PSNR值比较

表2不同QP值下丢失帧恢复后的平均PSNR值比较

为了更加有效地说明本发明方法的有效性，本实施例给出了QP为27、宏块丢失率为10%时，Akko序列右视点第16帧图像、Door flowers序列右视点第35帧图像在各错误隐藏方法下的主观质量比较结果。

图8a、图8b、图8c、图8d、图8e、图8f分别给出了Akko序列右视点第16帧正确解码(40.44dB)的主观效果图、发生宏块丢失且丢失率为10%(16.78dB)的主观效果图、经Xiang’s方法恢复得到的图像(37.58dB)的主观效果图、经DCP方法恢复得到的图像(37.42dB)的主观效果图、经MVE方法恢复得到的图像(30.66dB)的主观效果图、经本发明方法恢复得到的图像(38.88dB)的主观效果图，图9a、图9b、图9c、图9d、图9e、图9f分别对应给出了图8a、图8b、图8c、图8d、图8e、图8f的局部放大主观效果图。

图10a、图10b、图10c、图10d、图10e、图10f分别给出了Door flowers序列右视点第35帧正确解码(39.95dB)的主观效果图、发生宏块丢失且丢失率为10%(17.41dB)的主观效果图、经Xiang’s方法恢复得到的图像(38.46dB)的主观效果图、经DCP方法恢复得到的图像(37.66dB)的主观效果图、经MVE方法恢复得到的图像(38.02dB)的主观效果图、经本发明方法恢复得到的图像(39.25dB)的主观效果图，图11a、图11b、图11c、图11d、图11e、图11f分别对应给出了图10a、图10b、图10c、图10d、图10e、图10f的局部放大主观效果图一，图12a、图12b、图12c、图12d、图12e、图12f分别对应给出了图10a、图10b、图10c、图10d、图10e、图10f的局部放大主观效果图二。

从图8a至图12f中可以看出，采用MVE方法和DCP方法存在由于运动矢量和视差矢量求取不准确而导致的误匹配的问题，影响了立体视频的主观观看效果；Xiang’s方法采用重叠块方法重建丢失宏块时会造成宏块局部信息模糊，而本发明方法充分考虑了丢失宏块的特点，自适应的采用最佳的恢复方法对丢失宏块的亮度信息和色度信息进行恢复。本发明方法针对视频序列图像中丢失的运动对象部分以及静止对象部分都恢复出了较好的视频图像质量，主客观效果明显好于Xiang’s方法、MVE方法和DCP方法恢复得到的图像。

本发明方法有效利用了立体视频序列的编码特点以及视频序列时域、空域、视点间视频图像信息区域特征的相似性，提高了丢失帧恢复的主客观质量。