CN102572446B - 一种多视点视频整帧丢失错误隐藏方法 - Google Patents

Abstract

本发明公开了一种多视点视频整帧丢失错误隐藏方法，该方法通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，优点在于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。

Description

一种多视点视频整帧丢失错误隐藏方法

技术领域

本发明涉及一种视频错误隐藏方法，尤其是涉及一种多视点视频整帧丢失错误隐藏方法。

背景技术

多视点视频可广泛应用于自由视点电视、三维电视等。与单视点视频相比，多视点视频传输数据量极大，因此必须对其进行有效的压缩编码。目前几乎所有的多视点视频编码方案均采用时间和空间预测来消除时域、空域以及视点间的冗余信息，使得编码的多视点视频流对信道差错非常敏感。然而，由于信道堵塞等原因，网络丢包时有发生，一旦出现差错，如果不加以恢复，不仅会影响当前出错帧和当前视点后续帧的正确解码，而且由于多视点视频编码采用了视差估计来消除视点间的冗余信息，因此还会严重降低以出错视点为参考的其它视点后续帧的解码质量，导致出现马赛克、黑块、停顿等情况。目前差错恢复的技术主要分为三类：基于编码端的差错复原编码技术、解码端错误隐藏技术、编解码器交互式差错控制技术。解码端错误隐藏技术不会增加传输带宽，且时延低，是提高多视点视频传输鲁棒性的有效途径之一。现有的多视点视频错误隐藏算法主要集中在部分宏块丢失的情况，恢复的主要过程为假设丢失帧中受损宏块与其相邻宏块或参考帧中相同位置的宏块具有相似的运动矢量矢量/视差矢量，从而可以利用其相邻的正确解码宏块或参考帧中相同位置的宏块的运动/视差矢量恢复出受损宏块的若干候选块，最后利用边界匹配准则或者加权方法得到最终恢复宏块。然而，对于整帧丢失的情况，由于受损帧中不存在正确解码宏块，故而现有的针对部分宏块丢失的错误隐藏算法，并不能简单直接应用于多视点视频整帧丢失的情况；另一方面，对于位于运动剧烈区域的宏块，由于受损宏块与参考帧中相同位置的宏块运动情况往往存在较大差异，从而导致预测不准，影响受损块的恢复质量；此外，现有的针对部分宏块丢失的错误隐藏算法在计算受损宏块的若干候选块时没有充分判断最优的恢复方法，在恢复丢失宏块时需要恢复多次来求得不同候选块，导致计算复杂度增加。

发明内容

本发明所要解决的技术问题是提供一种计算复杂度低，且恢复质量高的多视点视频整帧丢失错误隐藏方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：

①假定多视点视频的第s_c个视点中的第t_c时刻的图像帧为丢失帧，记为f(t_c，s_c)，则将多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_p，s_c)，将多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_b，s_c)，令s_l为多视点视频中离第s_c个视点最近的左视点的编号，令s_r为多视点视频中离第s_c个视点最近的右视点的编号，将多视点视频的第s_l个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_r)，其中，t_p为多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_p，s_c)所在的时刻，t_p＜t_c，t_b为多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_b，s_c)所在的时刻，t_c＜t_b；

②计算f(t_c，s_l)与f(t_c，s_r)的帧差图像，记为f(t_c)，f(t_c)＝|f(t_c，s_l)-f(t_c，s_r)|，同时计算f(t_p，s_l)与f(t_p，s_r)的帧差图像，记为f(t_p)，f(t_p)＝|f(t_p，s_l)-f(t_p，s_r)|，然后计算f(t_c)与f(t_p)的帧差图像，记为f_a，f_a＝|f(t_c)-f(t_p)|，其中，“||”为取绝对值符号；

③将f_a分割成

个互不重叠的尺寸大小为m×m的第一图像块，统计f_a中的每个第一图像块中像素值大于统计值判断阈值T₀的像素点的个数，并确定f_a中的每个第一图像块的映射状态：对于f_a中的第i个第一图像块，将其记为Blk_i，统计Blk_i中像素值大于统计值判断阈值T₀的像素点的个数，记为N_i，并确定Blk_i的映射状态，记为s(i)， $s\left(i\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& N_i>N_0\\ 0,& \mathrm{if}& N_i\≤N_0\end{array}\right.,$ 其中，

W和H分别表示多视点视频中的图像帧的宽度和高度，N₀为映射状态判断阈值；

④将丢失帧f(t_c，s_c)分割成

个互不重叠的尺寸大小为m×m的第二图像块，将f(t_p，s_c)分割成个互不重叠的尺寸大小为m×m的第三图像块，将f(t_c，s_l)分割成

个互不重叠的尺寸大小为m×m的第四图像块，然后根据f_a中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(t_p，s_c)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t_c，s_l)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t_c，s_c)中的各个第二图像块，获得丢失帧f(t_c，s_c)的初步恢复帧，记为f′(t_c，s_c)，具体过程为：

④-1、定义丢失帧f(t_c，s_c)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为B_i，令为当前第二图像块B_i的左上角顶点的坐标位置；

④-2、判断f_a中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第一图像块Blk_i的映射状态s(i)是否为0，如果是，则将f(t_p，s_c)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第三图像块BP_i中各个像素点的像素值复制给当前第二图像块B_i中对应的像素点；否则，通过视差估计方法计算f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i在f(t_c，s_r)中的最佳匹配块，并得到相应的视差矢量(dx_i，dy_i)，然后将f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i中各个像素点的像素值复制给丢失帧f(t_c，s_c)中左上角顶点的坐标位置为

的大小为m×m的图像块中对应的像素点，其中，D_L表示多视点视频的第s_l个视点和第s_c个视点之间的距离，D_R表示多视点视频的第s_r个视点和第s_c个视点之间的距离；

④-3、令i′＝i+1，i＝i′，将丢失帧f(t_c，s_c)中下一个待初步恢复的第二图像块作为当前第二图像块B_i，返回步骤④-2继续执行，直至丢失帧f(t_c，s_c)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，其中，i′的初始值为0；

⑤对丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)进行空洞区域填补处理，获得丢失帧f(t_c，s_c)的最终恢复帧。

所述的步骤⑤的具体过程为：

⑤-1、逐行水平扫描丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，如果检测到空洞区域，且该空洞区域的水平宽度g_x小于阈值n，则采用水平插值填补该空洞区域；

⑤-2、将丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)的所有行完成水平扫描后得到的图像帧记为f″(t_c，s_c)；

⑤-3、逐列垂直扫描f″(t_c，s_c)，如果检测到空洞区域，且该空洞区域的垂直高度g_y小于阈值n，则采用垂直插值填补该空洞区域；

⑤-4、将f″(t_c，s_c)的所有列完成垂直扫描后得到的图像帧记为f′″(t_c，s_c)；

⑤-5、对f′″(t_c，s_c)实施空洞区域检测和填补，具体过程为：a、将f′″(t_c，s_c)中检测到的第j个空洞区域记为C_j，令

为C_j的最左端的横坐标，令

为C_j的最上端的纵坐标，其中，j≥1；b、令B_Top表示f′″(t_c，s_c)中位于C_j上方的左上角顶点的坐标位置为且右下角顶点的坐标位置为

的长方形图像块，B_Left表示f′″(t_c，s_c)中位于C_j左侧的左上角顶点的坐标位置为

且右下角顶点的坐标位置为

的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为y轴正方向，向右为x轴正方向，其中，w表示B_Top的高度与B_Left的宽度；c、定义B_Left∪B_Top为C_j的相邻块，记为B_Neighbor，B_Neighbor＝B_Left∪B_Top；d、采用视差估计方法寻找f′″(t_c，s_c)中C_j的相邻块B_Neighbor在f(t_c，s_l)中的最佳匹配块，记所获得的视差矢量为

然后令f′″(t_c，s_c)中的C_j中坐标位置为(x，y)的像素点的像素值等于f(t_c，s_l)中坐标位置为 $(x+{\mathrm{dx}}_{C_j},y+{\mathrm{dy}}_{C_j})$ 的像素值，其中， $x_{C_j}^L\≤x\≤x_{C_j}^R,$ $y_{C_j}^B\≤y\≤y_{C_j}^T,$ $x_{C_j}^R$ 表示C_j的最右端的横坐标，

表示C_j的最下端的纵坐标。

所述的n＝4。

所述的m的值为2的幂次，所述的统计值判断阈值T₀的值为f_a中所有像素点的像素值的均值

与标准差σ的加权和，

λ′为权值，所述的映射状态判断阈值 $N_0=\frac{m\×m}{8}.$

所述的f_a中所有像素点的像素值的均值

与标准差σ的加权和中λ′＝1。

与现有技术相比，本发明的优点在于通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，由于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。

本发明方法在对丢失帧的初步恢复帧进行空洞区域填补过程中充分利用了视点间相关性及空间相关性，并且预先判断出最优相关性，然后根据不同的最优相关性分别采取相应的空洞填补方法，既提高了空洞填补效果，又有效地降低了计算复杂度。

附图说明

图1为本发明方法的总体实现框图；

图2为本发明方法中多视点视频的丢失帧f(t_c，s_c)与图像帧f(t_c，s_l)、f(t_c，s_r)、f(t_p，s_c)、f(t_p，s_l)、f(t_p，s_r)、f(t_b，s_c)、f(t_b，s_l)和f(t_b，s_r)之间的位置关系示意图；

图3为水平插值的示意图；

图4为空洞区域C_j与其上相邻块B_Top和左相邻块B_Left的位置关系示意图；

图5a为尺寸为1024×768的Indoor多视点视频序列图像；

图5b为尺寸为1024×768的Outdoor多视点视频序列图像；

图5c为尺寸为640×480的Rena多视点视频序列图像；

图5d为尺寸为640×480的Xmas3cm多视点视频序列图像；

图6a为测试序列Outdoor在QP＝24时的丢失帧正常解码重建时的图像；

图6b为测试序列Outdoor的采用时域帧拷贝方法FC恢复得到的丢失帧；

图6c为测试序列Outdoor的采用本发明方法恢复得到的丢失帧。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出了一种多视点视频整帧丢失错误隐藏方法，其总体实现框图如图1所示，其主要包括以下步骤：

①假定多视点视频的第s_c个视点中的第t_c时刻的图像帧为丢失帧，记为f(t_c，s_c)，则将多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_p，s_c)，将多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_b，s_c)，令s_l为多视点视频中离第s_c个视点最近的左视点的编号，令s_r为多视点视频中离第s_c个视点最近的右视点的编号，将多视点视频的第s_l个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_r)，其中，t_p为多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_p，s_c)所在的时刻，t_p＜t_c，t_b为多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_b，s_c)所在的时刻，t_c＜t_b。

图2给出了丢失帧f(t_c，s_c)与图像帧f(t_c，s_l)、f(t_c，s_r)、f(t_p，s_c)、f(t_p，s_l)、f(t_p，s_r)、f(t_b，s_c)、f(t_b，s_l)和f(t_b，s_r)之间的位置关系示意图。

②计算f(t_c，s_l)与f(t_c，s_r)的帧差图像，记为f(t_c)，f(t_c)＝|f(t_c，s_l)-f(t_c，s_r)|，同时计算f(t_p，s_l)与f(t_p，s_r)的帧差图像，记为f(t_p)，f(t_p)＝|f(t_p，s_l)-f(t_p，s_r)|，然后计算f(t_c)与f(t_p)的帧差图像，记为f_a，f_a＝|f(t_c)-f(t_p)|，其中，“||”为取绝对值符号。

③将f_a分割成个互不重叠的尺寸大小为m×m的第一图像块，统计f_a中的每个第一图像块中像素值大于统计值判断阈值T₀的像素点的个数，并确定f_a中的每个第一图像块的映射状态：对于f_a中的第i个第一图像块，将其记为Blk_i，统计Blk_i中像素值大于统计值判断阈值T₀的像素点的个数，记为N_i，并确定Blk_i的映射状态，记为s(i)， $s\left(i\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& N_i>N_0\\ 0,& \mathrm{if}& N_i\≤N_0\end{array}\right.,$ 其中，W和H分别表示多视点视频中的图像帧的宽度和高度，N₀为映射状态判断阈值。

在此，通常根据图像帧尺寸的大小，m可以选择为64、32、或16等值，如果图像尺寸较大，则m也可相应增大，反之m可选较小的值；由于视频编码中图像块尺寸通常为2的幂次，因此本发明方法中m也选用2的幂次。

在此，统计值判断阈值T₀的值为f_a中所有像素点的像素值的均值

与标准差σ的加权和，

这里，λ′为权值，λ′的值越大，统计值判断阈值T₀的值也越大，丢失帧f(t_c，s_c)中被判定为静止区域(即映射状态s(i)＝0的图像块)的面积将增加，从而使得采用时域直接拷贝的方法恢复的图像块的比例增加，虽然可以降低计算复杂度，但恢复的准确性会降低；而λ′的值越小，则后续恢复丢失帧f(t_c，s_c)的过程中大多数图像块将采用视点间预测恢复的方法恢复图像块，虽然提高了恢复的准确性，但同时也增加了计算复杂度。因此本发明折衷考虑，且经过大量实验，表明λ′＝1时能够取得最好的效果。在此，映射状态判断阈值

④将丢失帧f(t_c，s_c)分割成

个互不重叠的尺寸大小为m×m的第二图像块，将f(t_p，s_c)分割成

个互不重叠的尺寸大小为m×m的第三图像块，将f(t_c，s_l)分割成

个互不重叠的尺寸大小为m×m的第四图像块，然后根据f_a中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(t_p，s_c)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t_c，s_l)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t_c，s_c)中的各个第二图像块，获得丢失帧f(t_c，s_c)的初步恢复帧，记为f′(t_c，s_c)。

在此具体实施例中，步骤④的具体过程为：

④-1、定义丢失帧f(t_c，s_c)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为B_i，令为当前第二图像块B_i的左上角顶点的坐标位置。

④-2、判断f_a中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第一图像块Blk_i的映射状态s(i)是否为0，如果是，则将f(t_p，s_c)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第三图像块BP_i中各个像素点的像素值复制给当前第二图像块B_i中对应的像素点；否则，通过视差估计方法计算f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i在f(t_c，s_r)中的最佳匹配块，并得到相应的视差矢量(dx_i，dy_i)，然后将f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i中各个像素点的像素值复制给丢失帧f(t_c，s_c)中左上角顶点的坐标位置为

的大小为m×m的图像块中对应的像素点，其中，

如图2所示，D_L表示多视点视频的第s_l个视点和第s_c个视点之间的距离，D_R表示多视点视频的第s_r个视点和第s_c个视点之间的距离。

④-3、令i′＝i+1，i＝i′，将丢失帧f(t_c，s_c)中下一个待初步恢复的第二图像块作为当前第二图像块B_i，返回步骤④-2继续执行，直至丢失帧f(t_c，s_c)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，其中，i′的初始值为0。

⑤对丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)进行空洞区域(即尚未赋值的像素点所形成的区域)填补处理，获得丢失帧f(t_c，s_c)的最终恢复帧。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、逐行水平扫描丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，如果检测到空洞区域，且该空洞区域的水平宽度g_x小于阈值n，则采用水平插值填补该空洞区域。图3为水平插值的示意图，图3中用数字标记的方块为初步恢复帧f′(t_c，s_c)中某行的非空洞像素，即这些像素已通过步骤④获得如方块中数字所示的像素值，而阴影标记的方块为空洞像素，即这些像素尚未被赋值，水平宽度g_x如图3所示，本实施例中取阈值n＝4。

⑤-2、将丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)的所有行完成水平扫描后得到的图像帧记为f″(t_c，s_c)。

⑤-3、逐列垂直扫描f″(t_c，s_c)，如果检测到空洞区域，且该空洞区域的垂直高度g_y小于阈值n，则采用垂直插值填补该空洞区域。这里垂直插值的处理方式类似于水平插值，垂直高度g_y的意义也与水平宽度g_x的意义相似。

⑤-4、将f″(t_c，s_c)的所有列完成垂直扫描后得到的图像帧记为f′″(t_c，s_c)。

⑤-5、对f′″(t_c，s_c)实施空洞区域检测和填补，具体过程为：a、将f′″(t_c，s_c)中检测到的第j个空洞区域记为C_j，令为C_j的最左端的横坐标，令

为C_j的最上端的纵坐标，其中，j≥1。b、令B_Top表示f′″(t_c，s_c)中位于C_j上方的左上角顶点的坐标位置为

且右下角顶点的坐标位置为

的长方形图像块，B_Left表示f′″(t_c，s_c)中位于C_j左侧的左上角顶点的坐标位置为

且右下角顶点的坐标位置为的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为y轴正方向，向右为x轴正方向，其中，w表示B_Top的高度与B_Left的宽度，在此取w＝4。空洞区域C_j与其上相邻块B_Top和左相邻块B_Left的位置关系如图4所示。c、定义B_Left∪B_Top为C_j的相邻块，记为B_Neighbor，B_Neighbor＝B_Left∪B_Top。d、采用视差估计方法寻找f′″(t_c，s_c)中C_j的相邻块B_Neighbor在f(t_c，s_l)中的最佳匹配块，记所获得的视差矢量为

然后令f′″(t_c，s_c)中的C_j中坐标位置为(x，y)的像素值等于f(t_c，s_l)中坐标位置为 $(x+{\mathrm{dx}}_{C_j},y+{\mathrm{dy}}_{C_j})$ 的像素值，其中， $x_{C_j}^L\≤x\≤x_{C_j}^R,$ $y_{C_j}^B\≤y\≤y_{C_j}^T,$ $x_{C_j}^R$ 表示C_j的最右端的横坐标，

表示C_j的最下端的纵坐标。

本实施例采用了JMVC8.3测试平台，图像组(GOP)长度为8，帧率为30fps，量化参数QP分别为24、28、32。测试的四组多视点视频序列如图5a、图5b、图5c和图5d所示，分别是图像尺寸为1024×768的Indoor、Outdoor序列，以及图像尺寸为640×480的Rena和Xmas3cm序列。本实施例中，假设GOP中的第4帧为丢失帧，对于图像尺寸为1024×768的Indoor和Outdoor序列，m取为64，而对于图像尺寸为640×480的Rena和Xmas3cm序列，m取为32。

表1不同测试序列错误隐藏结果的比较

表1给出了本发明方法和时域帧拷贝方法(FC)的错误隐藏对比结果，同时也给出了与正常解码重建图像的图像质量的比较。表1中，α表示本发明方法相对于FC方法在PSNR(峰值信噪比)上的增益，即α＝PSNR_本发明-PSNR_FC；β表示本发明方法相对于正常解码重建图像的负增益，即β＝PSNR_正常解码-PSNR_本发明。由表1可见，对于不同的多视点视频序列，本发明方法比时域帧拷贝方法在恢复的丢失帧的PSNR上要提高9.20dB～16.40dB，表明本发明方法的丢失帧恢复效果明显优于时域帧拷贝方法的丢失帧恢复效果。

图6a给出了测试序列Outdoor在QP＝24时的丢失帧正常解码重建时的图像，图6b为采用时域帧拷贝方法FC恢复得到的丢失帧，图6c为采用本发明方法恢复得到的丢失帧。很明显，图6b黑色方框区域中内容与图6a中相同位置的图像内容有明显差异，表明FC方法恢复的丢失帧中运动的车与人较丢失帧正常的解码重建图像有较大偏移，而图6c所示的采用本发明方法恢复的丢失帧则不存在运动物体位置偏移的现象。

本发明方法有效利用了视点间相关性与时域相关性，对预先判定时域相关性较强的图像区域采用时域直接拷贝的方法，既提高了丢失帧恢复的主客观质量，又降低了计算复杂度。

Claims (5)

1.一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：

①假定多视点视频的第s_c个视点中的第t_c时刻的图像帧为丢失帧，记为f(t_c，s_c)，则将多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_p，s_c)，将多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_b，s_c)，令s_l为多视点视频中离第s_c个视点最近的左视点的编号，令s_r为多视点视频中离第s_c个视点最近的右视点的编号，将多视点视频的第s_l个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_r)，其中，t_p为多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_p，s_c)所在的时刻，t_p＜t_c，t_b为多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_b，s_c)所在的时刻，t_c＜t_b；

②计算f(t_c，s_l)与f(t_c，s_r)的帧差图像，记为f(t_c)，f(t_c)＝|f(t_c，s_l)-f(t_c，s_r)|，同时计算f(t_p，s_l)与f(t_p，s_r)的帧差图像，记为f(t_p)，f(t_p)＝|f(t_p，s_l)-f(t_p，s_r)|，然后计算f(t_c)与f(t_p)的帧差图像，记为f_a，f_a＝|f(t_c)-f(t_p)|，其中，“||”为取绝对值符号；

③将f_a分割成个互不重叠的尺寸大小为m×m的第一图像块，统计f_a中的每个第一图像块中像素值大于统计值判断阈值T₀的像素点的个数，并确定f_a中的每个第一图像块的映射状态：对于f_a中的第i个第一图像块，将其记为Blk_i，统计Blk_i中像素值大于统计值判断阈值T₀的像素点的个数，记为N_i，并确定Blk_i的映射状态，记为s(i)， $s\left(i\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& N_i>N_0\\ 0,& \mathrm{if}& N_i\≤N_0\end{array}\right.,$ 其中，

W和H分别表示多视点视频中的图像帧的宽度和高度，N₀为映射状态判断阈值；

④将丢失帧f(t_c，s_c)分割成

个互不重叠的尺寸大小为m×m的第二图像块，将f(t_p，s_c)分割成个互不重叠的尺寸大小为m×m的第三图像块，将f(t_c，s_l)分割成

个互不重叠的尺寸大小为m×m的第四图像块，然后根据f_a中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(t_p，s_c)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t_c，s_l)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t_c，s_c)中的各个第二图像块，获得丢失帧f(t_c，s_c)的初步恢复帧，记为f′(t_c，s_c)，具体过程为：

④-1、定义丢失帧f(t_c，s_c)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为B_i，令

为当前第二图像块B_i的左上角顶点的坐标位置；

④-2、判断f_a中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第一图像块Blk_i的映射状态s(i)是否为0，如果是，则将f(t_p，s_c)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第三图像块BP_i中各个像素点的像素值复制给当前第二图像块B_i中对应的像素点；否则，通过视差估计方法计算f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i在f(t_c，s_r)中的最佳匹配块，并得到相应的视差矢量(dx_i，dy_i)，然后将f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置

对应的第四图像块BL_i中各个像素点的像素值复制给丢失帧f(t_c，s_c)中左上角顶点的坐标位置为

的大小为m×m的图像块中对应的像素点，其中，

D_L表示多视点视频的第s_l个视点和第s_c个视点之间的距离，D_R表示多视点视频的第s_r个视点和第s_c个视点之间的距离；

④-3、令i′＝i+1，i＝i′，将丢失帧f(t_c，s_c)中下一个待初步恢复的第二图像块作为当前第二图像块B_i，返回步骤④-2继续执行，直至丢失帧f(t_c，s_c)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，其中，i′的初始值为0；

⑤对丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)进行空洞区域填补处理，获得丢失帧f(t_c，s_c)的最终恢复帧。

2.根据权利要求1所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、逐行水平扫描丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，如果检测到空洞区域，且该空洞区域的水平宽度g_x小于阈值n，则采用水平插值填补该空洞区域；

⑤-2、将丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)的所有行完成水平扫描后得到的图像帧记为f″(t_c，s_c)；

⑤-3、逐列垂直扫描f″(t_c，s_c)，如果检测到空洞区域，且该空洞区域的垂直高度g_y小于阈值n，则采用垂直插值填补该空洞区域；

⑤-4、将f″(t_c，s_c)的所有列完成垂直扫描后得到的图像帧记为f″′(t_c，s_c)；

⑤-5、对f″′(t_c，s_c)实施空洞区域检测和填补，具体过程为：a、将f″′(t_c，s_c)中检测到的第j个空洞区域记为C_j，令

为C_j的最左端的横坐标，令

为C_j的最上端的纵坐标，其中，j≥1；b、令B_Top表示f″′(t_c，s_c)中位于C_j上方的左上角顶点的坐标位置为

且右下角顶点的坐标位置为

的长方形图像块，B_Left表示f″′(t_c，s_c)中位于C_j左侧的左上角顶点的坐标位置为

且右下角顶点的坐标位置为

的长方形图像块，此处，整帧图像的左下角顶点为原点，向上为y轴正方向，向右为x轴正方向，其中，w表示B_Top的高度与B_Left的宽度；c、定义B_Left∪B_Top为C_j的相邻块，记为B_Neighbor，B_Neighbor＝B_Left∪B_Top；d、采用视差估计方法寻找f″′(t_c，s_c)中C_j的相邻块B_Neighbor在f(t_c，s_l)中的最佳匹配块，记所获得的视差矢量为

然后令f″′(t_c，s_c)中的C_j中坐标位置为(x，y)的像素点的像素值等于f(t_c，s_l)中坐标位置为 $(x+{\mathrm{dx}}_{C_j},y+{\mathrm{dy}}_{C_j})$ 的像素值，其中， $x_{C_j}^L\≤x\≤x_{C_j}^R,$ $y_{C_j}^B\≤y\≤y_{C_j}^T,$ $x_{C_j}^R$ 表示C_j的最右端的横坐标，

表示C_j的最下端的纵坐标。

3.根据权利要求2所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的n＝4。

4.根据权利要求1至3中任一项所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的m的值为2的幂次，所述的统计值判断阈值T₀的值为f_a中所有像素点的像素值的均值

与标准差σ的加权和，

λ′为权值，所述的映射状态判断阈值 $N_0=\frac{m\×m}{8}.$

5.根据权利要求4所述的一种多视点视频整帧丢失错误隐藏方法，其特征在于所述的f_a中所有像素点的像素值的均值

与标准差σ的加权和中λ′＝1。

Images