CN103856782B - 基于多视点视频整帧丢失的自适应错误掩盖方法 - Google Patents

Abstract

一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。本发明自适应的块模式缓解了基于块的错误掩盖方法有明显人工痕迹的通病，提高了视频序列的主观质量，相较于传统的时域掩盖法获得了明显改善。

Description

基于多视点视频整帧丢失的自适应错误掩盖方法

技术领域

本发明涉及一种立体视频的错误掩盖方法。特别是涉及一种基于多视点视频整帧丢失的自适应错误掩盖方法。

背景技术

现今，多视点视频能够再现场景的立体信息，但是由于需要多个相机从不同的角度拍摄同一场景，其数据量将会远远大于单视点视频，因此也会一定程度上增加传输过程中的差错。采用H.264/AVC的传输则进一步强调了视频帧间相关性，某个关键信息的丢失就可能导致整帧视频解码失败，造成视频整帧丢失，并在该丢失帧的相邻视点和后续解码帧中引起大范围的误差传播，从而降低整个视频图像组的质量。多视点视频的错误掩盖目的，就是为了极大程度地恢复丢失的信息，提高视频的主观质量。

目前，尽管已经存在很多基于整帧丢失的错误掩盖算法，但是大多数都是以单视点视频为研究对象，只考虑到时域上的错误掩盖，对于多视点视频不具有普遍的适用性。例如Hsieh提出的基于灰度多项式插值的整帧恢复方法，Liu等提出的一种双向的运动矢量拷贝方法，Koloda提出的基于线性预测模型掩盖丢失帧等。

虽然单视点视频整帧丢失的错误掩盖技术近年来得到了极大的发展，基于MVC的多视点视频整帧丢失的错误掩盖仍然是一个相对新的研究领域。因此，如何实现更好的主、客观掩盖质量，有效地控制误码传播，是分析多视点视频的错误掩盖的方法一个具有挑战性的问题。

发明内容

本发明所要解决的技术问题是，提供一种充分利用MVC的编码结构，引入MVC标准以外的块模式，以实现良好的主、客观掩盖质量的基于多视点视频整帧丢失的自适应错误掩盖方法。

本发明所采用的技术方案是：一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。具体包括如下步骤：

1）首先进行视点间错误掩盖：

（1）假设丢失帧位于视点V的t时刻，记做f_t,v,对丢失帧的前一视点V-1和后一视点V+1的对应帧进行局部视差线性外推，使得在前一视点中丢失帧的相邻帧f_t,v-1和后一视点中丢失帧的相邻帧f_t,v+1搜索范围内的每个局部视差Idv都向丢失帧f_t,v投影；定义为内左上角坐标是i,j的块的局部视差，为该左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

（2）将所有重叠块的局部视差按照排列，得到一个相关视差的集合：

${\mathrm{DV}}_{t,v-1}=\left\{({\mathrm{DV}}_{t,v-1}^{i1,j1},{\mathrm{DV}}_{t,v-1}^{i2,j2}......{\mathrm{DV}}_{t,v-1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v-1}^{i1,j1},S_{t,v-1}^{i2,j2}......S_{t,v-1}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{DV}}_{t,v+1}=\left\{({\mathrm{DV}}_{r,v+1}^{i1,j1},{\mathrm{DV}}_{t,v+1}^{i2,j2}......{\mathrm{DV}}_{t,v+1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v+1}^{i1,j1},S_{t,v+1}^{i2,j2}......S_{t,v+1}^{\mathrm{ik},\mathrm{jk}}\};$

（3）按集合顺序寻找一对局部视差，假设为它们应该满足如下条件：

$|{\mathrm{DV}}_{t,v-1}^{\mathrm{ip},\mathrm{jp}}-{\mathrm{DV}}_{t,v+1}^{\mathrm{iq},\mathrm{jq}}|<T_{\mathrm{DV}}$ 和 $S_{t,v-1}^{\mathrm{ip},\mathrm{jp}}+S_{t,v+1}^{\mathrm{iq},\mathrm{jq}}\&GreaterEqual;S_{\max }$

其中，T_DV为匹配阈值，S_max表示所有符合上述条件的局部视差对外推面积和的最大值；

（4）目标块m,n的局部视差被估计为：

${\mathrm{DV}}_{m,n}=\frac{{\mathrm{DV}}_{t,v-1}^{\mathrm{ip},\mathrm{jp}}\&CenterDot;S_{t,v-1}^{\mathrm{ip},\mathrm{jp}}+{\mathrm{DV}}_{t,v+1}^{\mathrm{iq},\mathrm{jq}}\&CenterDot;S_{t,v+1}^{\mathrm{iq},\mathrm{jq}}}{S_{t,v-1}^{\mathrm{ip},\mathrm{jp}}+S_{t,v+1}^{\mathrm{iq},\mathrm{jq}}};$

（5）根据第（1）－（4）步，计算出当前块的估计视差，按照该视差从丢失帧的前一帧或后一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧

（6）定义VSAD为块m,n在视差DV_m,n下的视点间绝对误差和：

$\mathrm{VSAD}=\underset{x=m,y=n}{\overset{x=m+3,y=n+3}{\mathrm{\&Sigma;}}}|f_{t,v-1}(x-{\mathrm{DV}}_x,y-{\mathrm{DV}}_y)-f_{t,v+1}(x+{\mathrm{DV}}_x,y+{\mathrm{DV}}_y)$

其中，f_t,v-1(x-DV_x,y-DV_y)是前一视点中坐标为x-DV_x,y-DV_y处的像素值，f_t,v+1(x+DV_x,y+DV_y)是后一视点中坐标为x+DV_x,y+DV_y处的像素值；

2）视点内错误掩盖：

（1）定义丢失帧f_t,v的时域相邻帧为f_t-1,v和f_t+1,v,为f_t-1,v内左上角坐标是i,j的块的运动矢量，为左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

（2）按照重叠度排序所有重叠块的运动矢量，得到丢失帧f_t,v的前一时刻和后一时刻的外推运动矢量集合：

${\mathrm{MV}}_{t-1,v}=\left\{({\mathrm{MV}}_{t-1,v}^{i1,j1},{\mathrm{MV}}_{t-1,v}^{i2,j2}......{\mathrm{MV}}_{t-1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t-1,v}^{i1,j1},S_{t-1,v}^{i2,j2}......S_{t-1,v}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{MV}}_{t+1,v}=\left\{({\mathrm{MV}}_{t+1}^{i1,j1},{\mathrm{MV}}_{t+1,v}^{i2,j2}......{\mathrm{MV}}_{t+1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t+1,v}^{i1,j1},S_{t+1,v}^{i1,j1},S_{t+1,v}^{i2,j2}......S_{t+1,v}^{\mathrm{ik},\mathrm{jk}}\};$

（3）为了避免过多无关块的影响，在和中寻找一对满足如下条件的最佳运动矢量对

$|{\mathrm{MV}}_{r-1,v}^{\mathrm{ip},\mathrm{jp}}-{\mathrm{MV}}_{t+1,v}^{\mathrm{iq},\mathrm{jq}}|<T_{\mathrm{MV}}$ 和 $S_{t-1,v}^{\mathrm{ip},\mathrm{jp}}+S_{t+1,v}^{\mathrm{iq},\mathrm{jq}}\&GreaterEqual;S_{\max }$

其中，T_MV为匹配阈值，S_max表示所有符合上述条件的运动矢量对外推面积和的最大值；

（4）目标块m,n的最佳运动矢量为：

${\mathrm{MV}}_{m,n}=\frac{{\mathrm{MV}}_{t-1,v}^{\mathrm{ip},\mathrm{jp}}\&CenterDot;S_{t-1,v}^{\mathrm{ip},\mathrm{jp}}+{\mathrm{MV}}_{t+1,v}^{\mathrm{iq},\mathrm{jq}}\&CenterDot;S_{t+1,v}^{\mathrm{iq},\mathrm{jq}}}{S_{t-1,v}^{\mathrm{ip},\mathrm{jp}}+S_{t+1,v}^{\mathrm{iq},\mathrm{jq}}};$

（5）按照所得丢失帧每个4×4块的运动矢量，拷贝前一帧或后一帧恢复丢失帧，得到由视点内错误掩盖恢复的丢失帧丢失帧的所有4×4块从f_t-1,v到f_t,v和从f_t,v到f_t+1,v的运动矢量都是MV_m,n；

（6）计算块m,n在时域前一帧和后一帧中对应块的绝对差值和ISAD：

$\mathrm{ISAD}=\underset{x=m,y=n}{\overset{x=m+3,y=n+3}{\mathrm{\&Sigma;}}}|f_{t-1,v}(x-{\mathrm{MV}}_x,y-{\mathrm{MV}}_y)-f_{t+1,v}(x+{\mathrm{MV}}_x,y+{\mathrm{MV}}_y)$

其中，f_t-1,v(x-MV_x,y-MV_y)是前一帧中坐标为x-MV_x,y-MV_y处的像素值，f_t+1,v(x+MV_x,y+MV_y)是后一帧中坐标为x+MV_x,y+MV_y处的像素值；

3）定义通过步骤1）和步骤2）两种错误掩盖方式得到的候选块分别为B₁和B₂,B为最终的恢复块：

B=w·B₁+(1-w)·B₂

其中,B₁表示对应VSAD和ISAD中值较小的块，B₂表示对应VSAD和ISAD中值较大的块，当序列为高速运动序列时，w取1，其他情况下，w取2/3；；

4）根据相邻块的相似度对恢复帧中所有4×4块进行有条件合并，合并方式是以下7种模式中的一种：16×16，16×8，8×16，8×8，8×4，4×8，4×4；被合并块根据自身构成方式满足如下两式中的一式：

|MV₁-MV₂|<T_CMV和|DV₁-DV₂|<T_CDV，

被组合块的平均运动矢量作为组合块的运动矢量，平均视差作为被组合块的视差。

步骤1）中第（1）步中所述的向丢失帧f_t,v投影是，丢失帧中的待补4×4块的左上角坐标为m,n，在前一视点V-1和后一视点V+1搜索范围内，所有4×4块外推在所述待补4×4块的投影面积分别为和以及和

步骤1）中第（4）步中，当某一块找不到局部视差对时，在两个相关视差集合中选择重叠面积最大的块所对应的DV为当前4×4块的局部视差；若当前4×4块无对应外推块时，认为该块局部视差为0。

步骤2）中第（4）步中，当某一块无法在外推运动矢量集合中找到最佳运动矢量对时，取重叠面积最大的块对应运动矢量为当前块的运动矢量；若无外推块与当前4×4块重叠，认为该当前4×4块的MV为0。

本发明的基于多视点视频整帧丢失的自适应错误掩盖方法，充分利用了MVC编码结构的冗余信息，考虑视频序列在时间，以及视点间的连续性，分别估算丢失帧的运动矢量和视差矢量，并根据丢失帧的时域、视点间上下文恢复出丢失帧。此外，自适应的块模式缓解了基于块的错误掩盖方法有明显人工痕迹的通病，提高了视频序列的主观质量，相较于传统的时域掩盖法获得了明显改善。

附图说明

图1是本发明中视点间外推估计局部视差示意图；

图2是“ballroom”第三视点第16帧丢失下不同算法的恢复效果比较

其中（a）是原始效果图，（b）是帧拷贝效果图，（c）是运动矢量拷贝效果图，（d）是运动矢量外推效果图，（e）是视差矢量外推效果图，（f）是本发明方法的效果图；

图3是“exit”第三视点第16帧丢失下不同算法的恢复效果比较

其中（a）是原始效果图，（b）是帧拷贝效果图，（c）是运动矢量拷贝效果图，（d）是运动矢量外推效果图，（e）是视差矢量外推效果图，（f）是本发明方法的效果图；

图4是“vassar”第三视点第16帧丢失下不同算法的恢复效果比较

其中（a）是原始效果图，（b）是帧拷贝效果图，（c）是运动矢量拷贝效果图，（d）是运动矢量外推效果图，（e）是视差矢量外推效果图，（f）是本发明方法的效果图。

具体实施方式

下面结合实施例和附图对本发明的基于多视点视频整帧丢失的自适应错误掩盖方法做出详细说明。

本发明的基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。

本发明的基于多视点视频整帧丢失的自适应错误掩盖方法，具体包括如下步骤：

1）首先进行视点间错误掩盖：

（1）假设丢失帧位于视点V的t时刻，记做f_t,v,对丢失帧的前一视点V-1和后一视点V+1的对应帧进行局部视差线性外推，使得在前一视点中丢失帧的相邻帧f_t,v-1和后一视点中丢失帧的相邻帧f_t,v+1搜索范围内的每个局部视差Idv都向丢失帧f_t,v投影；所述的向丢失帧f_t,v投影是，丢失帧中的待补4×4块的左上角坐标为m,n，在前一视点V-1和后一视点V+1搜索范围内，所有4×4块外推在所述待补4×4块的投影面积分别为和以及和定义为f_t,v-1内左上角坐标是i,j的块的局部视差，为该左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

（2）将所有重叠块的局部视差按照排列，得到一个相关视差的集合：

${\mathrm{DV}}_{t,v-1}=\left\{({\mathrm{DV}}_{t,v-1}^{i1,j1},{\mathrm{DV}}_{t,v-1}^{i2,j2}......{\mathrm{DV}}_{t,v-1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v-1}^{i1,j1},S_{t,v-1}^{i2,j2}......S_{t,v-1}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{DV}}_{t,v+1}=\left\{({\mathrm{DV}}_{r,v+1}^{i1,j1},{\mathrm{DV}}_{t,v+1}^{i2,j2}......{\mathrm{DV}}_{t,v+1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v+1}^{i1,j1},S_{t,v+1}^{i2,j2}......S_{t,v+1}^{\mathrm{ik},\mathrm{jk}}\};$

（3）按集合顺序寻找一对局部视差，假设为它们应该满足如下条件：

$|{\mathrm{DV}}_{t,v-1}^{\mathrm{ip},\mathrm{jp}}-{\mathrm{DV}}_{t,v+1}^{\mathrm{iq},\mathrm{jq}}|<T_{\mathrm{DV}}$ 和 $S_{t,v-1}^{\mathrm{ip},\mathrm{jp}}+S_{t,v+1}^{\mathrm{iq},\mathrm{jq}}\&GreaterEqual;S_{\max }$

其中，T_DV为匹配阈值，S_max表示所有符合上述条件的局部视差对外推面积和的最大值；

（4）目标块m，n的局部视差被估计为：

当某一块找不到局部视差对时，在两个相关视差集合中选择重叠面积最大的块所对应的DV为当前4×4块的局部视差；若当前4×4块无对应外推块时，认为该块局部视差为0；

（5）根据第（1）－（4）步，计算出当前块的估计视差，按照该视差从丢失帧的前一帧或后一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧

（6）定义VSAD为块m,n在视差DV_m,n下的视点间绝对误差和：

$\mathrm{VSAD}=\underset{x=m,y=n}{\overset{x=m+3,y=n+3}{\mathrm{\&Sigma;}}}|f_{t,v-1}(x-{\mathrm{DV}}_x,y-{\mathrm{DV}}_y)-f_{t,v+1}(x+{\mathrm{DV}}_x,y+{\mathrm{DV}}_y)$

其中，f_t,v-1(x-DV_x,y-DV_y)是前一视点中坐标为x-DV_x,y-DV_y处的像素值，f_t,v+1(x+DV_x,y+DV_y)是后一视点中坐标为x+DV_x,y+DV_y处的像素值；

2）视点内错误掩盖：

（1）与视点间错误掩盖相同，定义丢失帧f_t,v的时域相邻帧为f_t-1,v和f_t+1,v,为f_t-1,v内左上角坐标是i,j的块的运动矢量，为左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

（2）按照重叠度排序所有重叠块的运动矢量，得到丢失帧f_t,v的前一时刻和后一时刻的外推运动矢量集合：

${\mathrm{MV}}_{t-1,v}=\left\{({\mathrm{MV}}_{t-1,v}^{i1,j1},{\mathrm{MV}}_{t-1,v}^{i2,j2}......{\mathrm{MV}}_{t-1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t-1,v}^{i1,j1},S_{t-1,v}^{i2,j2}......S_{t-1,v}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{MV}}_{t+1,v}=\left\{({\mathrm{MV}}_{t+1}^{i1,j1},{\mathrm{MV}}_{t+1,v}^{i2,j2}......{\mathrm{MV}}_{t+1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t+1,v}^{i1,j1},S_{t+1,v}^{i1,j1},S_{t+1,v}^{i2,j2}......S_{t+1,v}^{\mathrm{ik},\mathrm{jk}}\};$

（3）为了避免过多无关块的影响，在和中寻找一对满足如下条件的最佳运动矢量对

$|{\mathrm{MV}}_{r-1,v}^{\mathrm{ip},\mathrm{jp}}-{\mathrm{MV}}_{t+1,v}^{\mathrm{iq},\mathrm{jq}}|<T_{\mathrm{MV}}$ 和 $S_{t,v-1}^{\mathrm{ip},\mathrm{jp}}+S_{t,v+1}^{\mathrm{iq},\mathrm{jq}}\&GreaterEqual;S_{\max }$

其中，T_MV为匹配阈值，S_max表示所有符合上述条件的运动矢量对外推面积和的最大值；

（4）目标块m，n的最佳运动矢量为：

当某一块无法在外推运动矢量集合中找到最佳运动矢量对时，取重叠面积最大的块对应运动矢量为当前块的运动矢量；若无外推块与当前4×4块重叠，认为该当前4×4块的MV为0；

（5）按照所得丢失帧每个4×4块的运动矢量，拷贝前一帧或后一帧恢复丢失帧，得到由视点内错误掩盖恢复的丢失帧丢失帧的所有4×4块从f_t-1,v到f_t,v和从f_t,v到f_t+1,v的运动矢量都是MV_m,n；

（6）计算块m,n在时域前一帧和后一帧中对应块的绝对差值和ISAD：

$\mathrm{ISAD}=\underset{x=m,y=n}{\overset{x=m+3,y=n+3}{\mathrm{\&Sigma;}}}|f_{t-1,v}(x-{\mathrm{MV}}_x,y-{\mathrm{MV}}_y)-f_{t+1,v}(x+{\mathrm{MV}}_x,y+{\mathrm{MV}}_y)$

其中，f_t-1,v(x-MV_x,y-MV_y)是前一帧中坐标为x-MV_x,y-MV_y处的像素值，f_t+1,v(x+MV_x,y+MV_y)是后一帧中坐标为x+MV_x,y+MV_y处的像素值；

3）定义通过步骤1）和步骤2）两种错误掩盖方式得到的候选块分别为B₁和B₂,B为最终的恢复块：

B=w·B₁+(1-w)·B₂

其中,B₁表示对应VSAD和ISAD中值较小的块，B₂表示对应VSAD和ISAD中值较大的块，当序列为高速运动序列时，w取1，其他情况下，w取2/3；

4）根据相邻块的相似度对恢复帧中所有4×4块进行有条件合并，合并方式是以下7种模式中的一种：16×16，16×8，8×16，8×8，8×4，4×8，4×4；被合并块根据自身构成方式满足如下两式中的一式：

|MV₁-MV₂|<T_CMV和|DV₁-DV₂|<T_CDV，

被组合块的平均运动矢量作为组合块的运动矢量，平均视差作为被组合块的视差。

下面对本发明的基于多视点视频整帧丢失的自适应错误掩盖方法进行验证。实验结果以峰值信噪比（PSNR）的形式表示。

下面采用三个不同的多视点视频测试序列来评价错误掩盖算法性能，这四个测试序列包括：一个高速运动序列“Ballroom”、两个中速运动序列“Vassar”和“Exit”。

在实验中，仅认为每个GOP的第一帧为I帧，其它帧为P帧，每个GOP大小为8，搜索范围为64个像素，量化步长QP为28。实验忽略误码传播，且只考虑整帧丢失下的错误掩盖结果。

1、首先，进行视点内错误掩盖。将前一视点和后一视点所有搜索范围内的4×4块向丢失帧的对应块外推，为f_t,v-1内左上角坐标是i,j的块的局部视差，为该左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数，得到相关视差和投影面积的集合

${\mathrm{DV}}_{t,v-1}=\left\{({\mathrm{DV}}_{t,v-1}^{i1,j1},{\mathrm{DV}}_{t,v-1}^{i2,j2}......{\mathrm{DV}}_{t,v-1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v-1}^{i1,j1},S_{t,v-1}^{i2,j2}......S_{t,v-1}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{DV}}_{t,v+1}=\left\{({\mathrm{DV}}_{r,v+1}^{i1,j1},{\mathrm{DV}}_{t,v+1}^{i2,j2}......{\mathrm{DV}}_{t,v+1}^{\mathrm{ik},\mathrm{jk}})\right|S_{t,v+1}^{i1,j1},S_{t,v+1}^{i2,j2}......S_{t,v+1}^{\mathrm{ik},\mathrm{jk}}\};$

求出满足和的所有集合，T_DV的值如表一所示，求出目标块m,n的局部视差：

2、然后，进行视点内错误掩盖，记时域错误掩盖。将丢失帧的前一时刻和后一时刻所有搜索范围内的4×4块向丢失帧的对应块外推，为f_t-1,v内左上角坐标是i,j的块的运动矢量，为左上角坐标是i,j的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数，得到前向和后向的外推运动矢量集合

${\mathrm{MV}}_{t-1,v}=\left\{({\mathrm{MV}}_{t-1,v}^{i1,j1},{\mathrm{MV}}_{t-1,v}^{i2,j2}......{\mathrm{MV}}_{t-1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t-1,v}^{i1,j1},S_{t-1,v}^{i2,j2}......S_{t-1,v}^{\mathrm{ik},\mathrm{jk}}\}$ 和

${\mathrm{MV}}_{t+1,v}=\left\{({\mathrm{MV}}_{t+1}^{i1,j1},{\mathrm{MV}}_{t+1,v}^{i2,j2}......{\mathrm{MV}}_{t+1,v}^{\mathrm{ik},\mathrm{jk}})\right|S_{t+1,v}^{i1,j1},S_{t+1,v}^{i1,j1},S_{t+1,v}^{i2,j2}......S_{t+1,v}^{\mathrm{ik},\mathrm{jk}}\};$

求出满足和的所有集合，T_MV的值如表一所示，求出目标块m,n的最佳运动矢量：

3、当某一块找不到局部视差对时，在两个相关视差集合中选择重叠面积最大的块对应的DV为当前4×4块的局部视差；若当前4×4块无对应外推块时，认为该块局部视差为0。根据以上步骤，计算出当前块的估计视差，按照该视差从丢失帧的前一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧；当某一块无法在外推运动矢量集合中找到最佳运动矢量对时，取重叠面积最大的块对应运动矢量为当前块的运动矢量。若无外推块与当前4×4块重叠，认为该块MV的为0。按照所得丢失帧每个4×4块的运动矢量，拷贝前一帧恢复丢失帧，得到由视点内错误掩盖恢复的丢失帧。

4、按照B=w·B₁+(1-w)·B₂进行块重组，当B₁表示对应VSAD和ISAD中值较小的块，B₂表示对应VSAD和ISAD中较大的块，当序列为高速运动序列时，w取1，其他情况下，w取2/3。

5、对相似块进行合并，被合并块根据其构成方式应至少满足公式|MV₁-MV₂|<T_CMV和|DV₁-DV₂|<T_CDV之一，T_CDV和T_CMV的值如表一所示。块组合后，被组合的块的平均运动矢量将作为组合块的运动矢量，平均视差作为其视差。

6、计算峰值信噪比PSNR的值。

MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，

其中f(x,y)为重建图像的像素值，f₀(x,y)为参考图像的像素值。

峰值信噪比的单位用分贝表示，其公式如下：

$\mathrm{PSNR}={10\log }_{10}\frac{{(2^n-1)}^2}{\mathrm{MSE}}$

其中(2ⁿ-1)²为像素幅度峰值的平方，n为表示每个像素的比特数，M和N为水平和垂直像素数。

表一实验中各项阈值

序列	TDV	TMV	TCDV	TCMV
					Ballroom	12	8	4	4
Exit	23	5	5	2
					Vassar	8	2	1	0

表二与图2、图3、图4所对应的不同算法下测试序列的性能比较

Claims (4)

1.一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧，其特征在于，具体包括如下步骤：

1)首先进行视点间错误掩盖：

(1)假设丢失帧位于视点V的t时刻，记做f_t,v,对丢失帧的前一视点V-1和后一视点V+1的对应帧进行局部视差线性外推，使得在前一视点中丢失帧的相邻帧f_t,v-1和后一视点中丢失帧的相邻帧f_t,v+1搜索范围内的每个局部视差Idv都向丢失帧f_t,v投影；定义为f_t,v-1内左上角坐标是(i,j)的块的局部视差，为该左上角坐标是(i,j)的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

(2)将所有重叠块的局部视差按照排列，得到一个相关视差的集合：

和

(3)按集合顺序寻找一对局部视差，假设为它们应该满足如下条件：

和

其中，T_DV为匹配阈值，S_max表示所有符合上述条件的局部视差对外推面积和的最大值；

(4)目标块(m,n)的局部视差被估计为：

(5)根据第(1)－(4)步，计算出当前块的估计视差，按照该视差从丢失帧的前一帧或后一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧

(6)定义VSAD为块(m,n)在视差DV_m,n下的视点间绝对误差和：

其中，f_t,v-1(x-DV_x,y-DV_y)是前一视点中坐标为(x-DV_x,y-DV_y)处的像素值，f_t,v+1(x+DV_x,y+DV_y)是后一视点中坐标为(x+DV_x,y+DV_y)处的像素值；

2)视点内错误掩盖：

(1)定义丢失帧f_t,v的时域相邻帧为f_t-1,v和f_t+1,v,为f_t-1,v内左上角坐标是(i,j)的块的运动矢量，为左上角坐标是(i,j)的块在f_t,v上投影后与当前考察4×4块重叠面积内的像素数；

(2)按照重叠度排序所有重叠块的运动矢量，得到丢失帧f_t,v的前一时刻和后一时刻的外推运动矢量集合：

和

(3)为了避免过多无关块的影响，在和中寻找一对满足如下条件的最佳运动矢量对

和

其中，T_MV为匹配阈值，S_max表示所有符合上述条件的运动矢量对外推面积和的最大值；

(4)目标块(m,n)的最佳运动矢量为：

(5)按照所得丢失帧每个4×4块的运动矢量，拷贝前一帧或后一帧恢复丢失帧，得到由视点内错误掩盖恢复的丢失帧丢失帧的所有4×4块从f_t-1,v到f_t,v和从f_t,v到f_t+1,v的运动矢量都是MV_m,n；

(6)计算块(m,n)在时域前一帧和后一帧中对应块的绝对差值和ISAD：

其中，f_t-1,v(x-MV_x,y-MV_y)是前一帧中坐标为(x-MV_x,y-MV_y)处的像素值，f_t+1,v(x+MV_x,y+MV_y)是后一帧中坐标为(x+MV_x,y+MV_y)处的像素值；

3)定义通过步骤1)和步骤2)两种错误掩盖方式得到的候选块分别为B₁和B₂,B为最终的恢复块：

B＝w·B₁+(1-w)·B₂

其中,B₁表示对应VSAD和ISAD中值较小的块，B₂表示对应VSAD和ISAD中值较大的块，当序列为高速运动序列时，w取1，其他情况下，w取2/3；

4)根据相邻块的相似度对恢复帧中所有4×4块进行有条件合并，合并方式是以下7种模式中的一种：16×16，16×8，8×16，8×8，8×4，4×8，4×4；被合并块根据自身构成方式满足如下两式中的一式：

|MV₁-MV₂|<T_CMV和|DV₁-DV₂|<T_CDV，

被组合块的平均运动矢量作为组合块的运动矢量，平均视差作为被组合块的视差。

2.根据权利要求1所述的基于多视点视频整帧丢失的自适应错误掩盖方法，其特征在于，步骤1)中第(1)步中所述的向丢失帧f_t,v投影是，丢失帧中的待补4×4块的左上角坐标为(m,n)，在前一视点V-1和后一视点V+1搜索范围内，所有4×4块外推在所述待补4×4 块的投影面积分别为和以及和。

3.根据权利要求1所述的基于多视点视频整帧丢失的自适应错误掩盖方法，其特征在于，步骤1)中第(4)步中，当某一块找不到局部视差对时，在两个相关视差集合中选择重叠面积最大的块所对应的DV为当前4×4块的局部视差；若当前4×4块无对应外推块时，认为该块局部视差为0。

4.根据权利要求1所述的基于多视点视频整帧丢失的自适应错误掩盖方法，其特征在于，步骤2)中第(4)步中，当某一块无法在外推运动矢量集合中找到最佳运动矢量对时，取重叠面积最大的块对应运动矢量为当前块的运动矢量；若无外推块与当前4×4块重叠，认为该当前4×4块的MV为0。