CN111010583A - 一种基于残差分块的自适应多视点视频错误隐藏方法 - Google Patents

Abstract

本发明涉及一种基于残差分块的自适应多视点视频错误隐藏方法。新一代多视点视频编码标准MV‑HEVC一旦出现数据丢包，将影响与丢失帧相关联的所有帧，产生差错传播。本发明方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。本方法结合了丢失块邻块的时空域信息和帧间信息，对于多视点视频的中间视点码流丢失问题有较好的重建效果。

Description

一种基于残差分块的自适应多视点视频错误隐藏方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于残差分块的自适应多视点视频错误隐藏方法。

背景技术

多视点视频有着极强的交互性和沉浸式的用户体验，但与之相对应的是几倍于单视点视频的数据量。虽然新一代多视点视频编码标准MV-HEVC极大地提高了多视点视频的压缩效率，但高压缩率意味着低冗余性和帧间的高相关性，即一旦出现数据丢包，影响的将不止是丢失帧这一帧，丢包问题将影响与丢失帧相关联的所有帧，进而产生差错传播。错误隐藏技术能利用解码端已正确接受的信息有效的重建丢失帧，因此广泛应用于多视点视频丢包问题。

发明内容

本发明的目的就是针对于新一代多视点视频编码标准MV-HEVC，提供一种基于残差分块的自适应多视点视频错误隐藏方法，针对在多视点视频流在传输过程中，中间视点发生错误的情况。

本发明方法是基于HTM平台，利用丢失块周围可用块的残差信息对丢失块进行块划分，并根据残差信息对丢失块划分后的子块重建顺序进行排序，最后使用时空域信息和视点间信息依序重建丢失块的子块。

本发明方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。具体如下：

(1).多方向加权残差重建：

首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：

R_T为丢失像素点上侧最相邻像素点的的残差值，R_B为丢失像素点下侧最相邻像素点的残差值，R_L为丢失像素点左侧最相邻像素点的残差值，R_R为丢失像素点右侧最相邻像素点的残差值，d₁、d₂、d₃和d₄分别为R_T、R_B、R_L和R_R到丢失点的距离，R_lost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0。

(2).丢失块自适应块划分：

首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化。具体是：

(2-1).初步块划分：

有效的块划分能提高丢失块的重建质量，而由于丢失块经过残差重建后其重建值能反映丢失块内的纹理结构，通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块。

当局部丢失块的残差值小于等于整体丢失块时，对该局部块进行划分，否则不进行划分。

对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8 ×8，此时CU的划分深度为3。

设子块CU的尺寸为L×L，其中L＝(64＞＞depth)，depth∈{1,2,3,4}，即CTU划分的最小单元为8×8的CU块，深度depth每增加1层，L缩小1倍。具体递归划分算法流程如下：

Step1：计算当前块B_cur的残差均值resi_cur，记当前块的尺寸为L×L，划分深度为depth_cur；

Step2：如果当前块B_cur深度depth_cur＝3，说明已经划分到最小尺寸，退出递归，否则进入Step3；

Step3：将当前块划分为4个子块B₀、B₁、B₂和B₃，每个子块的深度为depth_i＝depth_cur+1，尺寸为L_i×L_i，L_i＝L＞＞1；

Step4：分别计算子块B_i的残差均值resi_i，对比resi_i与resi_cur：当resi_i≤resi_cur，不需要进行递归划分；当resi_i＞resi_cur，需要划分为更小尺寸的子块，进入Step1进行递归划分；如果B₀、B₁、B₂和B₃均不需要递归划分，将B₀、B₁、B₂和B₃划分为一个整体，取消对当前块B_cur的划分；

Step4：结束划分。

通过使用可用邻块的残差值对丢失块进行重建，并利用残差重建值的分布对丢失块的划分模式进行预测。

(2-2).修正与细化：

由于基于残差信息对丢失块的划分可能存在误差，因此本发明方法通过在时空域和视点域中寻找丢失块的最优匹配块，用最优匹配块的划分信息对初步划分的丢失块进行划分模式修正以减小误差。最优匹配块的来源来自两个方向：时域和视点域。时域即丢失帧在本视点内的前向参考帧和后向参考帧；视点域即丢失帧的邻视点帧。在时域上，最优匹配块最有可能位于前向参考帧的同位块位置或后向参考帧的同位块位置；在视点域上，最优匹配块最有可能位于邻视点帧中同位块的水平位置上。因此，将前、后向参考帧的同位块和邻视点帧同位块水平方向上的5个块加入候选块集中，在7个块中选择最优匹配块，选择标准如下：

其中，B_lost(u₀,v₀)为丢失块8邻块中某个邻块(u₀,v₀)处的像素值，B_candi(u₁,v₁)为候选块对应邻块(u₁,v₁)处的像素值，相似度值SimValue越小，表示两个块的相似度越大，选取相似度最大的块作为最优候选块。当最优候选块的SimValue小于等于设定值T_pixel时，将这个最优候选块选择为最优匹配块，并用最优匹配块的划分模式对丢失块进行修正，T_pixel＝3～6；否则说明这个丢失块没有最优匹配块，不进行修正。SimValue＞T_pixel

如果最优匹配块存在，则使用它对丢失块进行划分模式修正，修正过程如下：对于丢失块与最优匹配块的同位置区域，如果它们的深度差大于1，则认为此处初步划分出现误差，对其进行修正，将其划分深度加1；否则保持划分深度不变：

depth_lost为丢失块的深度值，depth_match为最优匹配块同位置区域的深度值。

(3).子块重建优先级排序：

Step(i)：将子块按划分深度大小进行排序，对于相同划分深度的子块，对比残差值大小，残差值小的子块优先级更高；

Step(ii)：如果存在丢失块最优匹配块，遍历最优匹配块的子块，如果最优匹配块的子块为帧内编码块，则找到丢失块对应位置的子块，将它置为最低重建优先级；如果存在多个子块为最低重建优先级，则对它们按照残差值大小进行排序，残差值小的子块优先级更高，残差值大的子块放在最后重建。

(4).丢失块重建：

首先判断当前子块上侧、下侧、左侧和右侧是否存在未丢失块或已重建子块，如果存在，则计算边界相似度，然后根据边界相似度进行重建；如果不存在，则用视点间信息进行重建，通过使用视点间搜索估计视点间的视差，然后基于视差进行视差矢量外推，以矢量外推的运动信息重建丢失子块。

(4-1).基于边界相似度进行重建：

如果丢失块的子块周围有未丢失块或已重建子块，则使用根据边界相似度对该子块进行重建。

首先利用空域上候选块的运动矢量构建运动矢量集，运动矢量集中运动矢量的来源包括：

零运动矢量：用于背景块的重建，将零运动矢量加入运动矢量集；

丢失块邻块的运动矢量：选取空域上左上角、右上角、左下角以及右下角4个位置上共6 个块的运动矢量加入运动矢量集；

最优匹配块的运动矢量：如果存在最优匹配块，则将最优匹配块同位置子块的运动矢量加入运动矢量集；

在构建完运动矢量集后，计算他们的边界相似度D_sim，边界相似度的计算方式如下：

其中，B_candi(x,y)为候选块B_candi中(x,y)位置的像素值，B_top、B_left、B_right和B_bottom分别为丢失块位置上侧、左侧、右侧和下侧的邻块，w_top、w_left、w_right、w_bottom分别为对应邻块的边界相似度系数，M为丢失块的尺寸。

边界相似度系数w_j,j∈(top,left,right,bottom)确定方式为：如为未丢失的块，w_j＝1；如为重建块，w_j＝0.6；如为未重建的块，w_j＝0。

对于丢失邻块来说，由于其不存在可用像素，因此设置其系数为0；对于未丢失邻块来说，其像素信息是完全可靠的，因此设置其系数为1；对于重建块来说，其可靠系数应该位于丢失块与未丢失块之间，因此设置其系数为1。

通过计算运动矢量集中所有运动矢量的D_sim值，选取使D_sim值最小的运动矢量作为最优运动矢量，如果最优运动矢量的D_sim＜1.5，则选取该最优运动矢量对丢失子块进行重建，否则使用视点间信息进行重建。

(4-2).视点间信息重建：

如果丢失子块邻块中没有未丢失块或已重建子块，或者通过边界相似度所选取的最优运动矢量集的D_sim≥1.5，则使用视点间信息进行重建：假设v视点下第n帧中出现了丢包，首先在丢失视点的前视点和后视点间做视差搜索，视差搜索公式如下：

其中，B_n,v-1(x,y)为v-1视点下第n帧中位于(x,y)位置的像素值，B_n,v+1(x,y)为v+1视点下第n帧中位于(x,y)位置的像素值，

为视差的水平分量，

为视差的垂直分量。

完成视差搜索后，将得到的视差值除以2作为丢失视点与前一视点的视差。通过这个视差找到丢失子块位于v-1视点的匹配块，由于求得的视差存在误差，因此匹配块周围的邻块可能都是最有解，因此对匹配块及匹配块周围的8邻块位置的块均进行视差矢量外推，根据外推块与丢失块的重叠面积从9个候选块中选择一个重叠面积最大的候选块，使用此候选块的信息对丢失块进行运动补偿，即完成对丢失块的重建。

本发明方法首先利用丢失块正确接受邻块的残差信息对丢失块进行残差重建，然后根据丢失块局部块的残差值和丢失块整体的残差值间的相对大小进行递归块划分，并在前、后向参考帧和邻视点参考帧上结合空域信息求得丢失块的最优匹配块。如果最优匹配块的相似度满足阈值条件，则使用最优匹配块对划分后的丢失块进行划分模式修正。确定下丢失块的划分模式后，根据丢失子块的划分深度信息、预测信息和残差信息对丢失块子块进行子块重建优先级排序，划分深度低、残差值小的子块优先重建，帧内编码块最后重建。最后根据丢失块的邻块分布进行重建，针对丢失块周围存在正确接受块或已重建块的情况，计算边界相似度，并根据边界相似度对丢失子块进行重建；针对丢失块周围不存在正确接受块和已重建块，或在边界相似度过小的情况，使用SAD准则在前视点和后视点间进行视差搜索，利用视差进行视差矢量外推，用视点间信息重建丢失块。本方法结合了丢失块邻块的时空域信息和帧间信息，对于多视点视频的中间视点码流丢失问题有较好的重建效果。

附图说明

图1是本发明多视点视频错误隐藏方法的流程图；

图2是基于残差信息对丢失块进行残差重建的示意图；

图3是所选取空域上候选块的位置示意图；

图4是通过视差矢量外推的过程示意图；

图5是实验仿真的出错视频帧；

图6是重建视频帧后的效果图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

如图1，一种基于残差分块的自适应多视点视频错误隐藏方法，首先根据丢失块未丢失邻块的残差信息对丢失块进行残差重建，然后根据丢失块的局部残差值大小和整体残差值大小进行初步的块划分，并通过搜索在参考帧中找到最优匹配块，并根据最优匹配块的划分信息对丢失块的划分模式进行细化，然后基于残差信息对子块重建顺序进行排序，最后基于边界相似度或视点间信息对丢失子块依次重建。具体恢复步骤如下：

1.多方向加权残差重建：

由于丢失块的残差信息已经丢失，而残差信息能有效的表征块内的纹理结构和分布，因此本发明首先利用丢失块可用邻块的残差信息对丢失块进行残差重建。重建公式如下：

如图2所示，R_T为丢失像素点上侧最相邻像素点的的残差值，R_B为丢失像素点下侧最相邻像素点的残差值，R_L为丢失像素点左侧最相邻像素点的残差值，R_R为丢失像素点右侧最相邻像素点的残差值，d₁、d₂、d₃和d₄分别为R_T、R_B、R_L和R_R到丢失点的距离，R_lost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0。

2.丢失块自适应块划分：

本发明方法结合了时空域信息和视点间信息对丢失块划分模式进行预测，首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化。

(2-1).初步块划分：

本发明方法结合了时空域信息和视点间信息对丢失块划分模式进行预测，首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化。具体是：

(2-1).初步块划分：

有效的块划分能提高丢失块的重建质量，而由于丢失块经过残差重建后其重建值能反映丢失块内的纹理结构，因此本发明方法通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块。

当局部丢失块的残差值小于等于整体丢失块时，对该局部块进行划分，否则不进行划分。

对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8 ×8，此时CU的划分深度为3。

设子块CU的尺寸为L×L，其中L＝(64＞＞depth)，depth∈{1,2,3,4}，即CTU划分的最小单元为8×8的CU块，深度depth每增加1层，L缩小1倍。具体递归划分算法流程如下：

Step1：计算当前块B_cur的残差均值resi_cur，记当前块的尺寸为L×L，划分深度为depth_cur；

Step2：如果当前块B_cur深度depth_cur＝3，说明已经划分到最小尺寸，退出递归，否则进入Step3；

Step3：将当前块划分为4个子块B₀、B₁、B₂和B₃，每个子块的深度为depth_i＝depth_cur+1，尺寸为L_i×L_i，L_i＝L＞＞1；

Step4：分别计算子块B_i的残差均值resi_i，对比resi_i与resi_cur：当resi_i≤resi_cur，不需要进行递归划分；当resi_i＞resi_cur，需要划分为更小尺寸的子块，进入Step1进行递归划分；如果B₀、B₁、B₂和B₃均不需要递归划分，将B₀、B₁、B₂和B₃划分为一个整体，取消对当前块B_cur的划分；

Step4：结束划分。

(2-2).修正与细化：

由于基于残差信息对丢失块的划分可能存在误差，因此本发明方法通过在时空域和视点域中寻找丢失块的最优匹配块，用最优匹配块的划分信息对初步划分的丢失块进行划分模式修正以减小误差。最优匹配块的来源来自两个方向：时域和视点域。时域即丢失帧在本视点内的前向参考帧和后向参考帧；视点域即丢失帧的邻视点帧。在时域上，最优匹配块最有可能位于前向参考帧的同位块位置或后向参考帧的同位块位置；在视点域上，最优匹配块最有可能位于邻视点帧中同位块的水平位置上。因此，将前、后向参考帧的同位块和邻视点帧同位块水平方向上的5个块加入候选块集中，在7个块中选择最优匹配块，选择标准如下：

其中，B_lost(u₀,v₀)为丢失块8邻块中某个邻块(u₀,v₀)处的像素值，B_candi(u₁,v₁)为候选块对应邻块(u₁,v₁)处的像素值，相似度值SimValue越小，表示两个块的相似度越大，选取相似度最大的块作为最优候选块。当最优候选块的SimValue小于等于设定值T_pixel时，将这个最优候选块选择为最优匹配块，并用最优匹配块的划分模式对丢失块进行修正，T_pixel＝3～6，本实施例设定T_pixel＝5；否则说明这个丢失块没有最优匹配块，不进行修正。

如果最优匹配块存在，则使用它对丢失块进行划分模式修正，修正过程如下：对于丢失块与最优匹配块的同位置区域，如果它们的深度差大于1，则认为此处初步划分出现误差，对其进行修正，将其划分深度加1；否则保持划分深度不变：

depth_lost为丢失块的深度值，depth_match为最优匹配块同位置区域的深度值。

3.子块重建优先级排序：

由于采用了边界相似度对丢失块进行重建，而子块重建顺序会影响到后续子块的重建质量，因此本发明方法结合丢失块的划分深度信息、预测信息和残差信息对丢失块的子块重建顺序进行排序。首先划分深度较小的子块更可能位于背景区域，应该优先重建；其次帧内编码块更有可能位于物体边界，因此应该最后重建；最后，对于同样划分深度或同为帧内编码块的子块，残差小的子块应该优先重建。具体流程如下：

Step(i)：将子块按划分深度大小进行排序，对于相同划分深度的子块，对比残差值大小，残差值小的子块优先级更高；

Step(ii)：如果存在丢失块最优匹配块，遍历最优匹配块的子块，如果最优匹配块的子块为帧内编码块，则找到丢失块对应位置的子块，将它置为最低重建优先级；如果存在多个子块为最低重建优先级，则对它们按照残差值大小进行排序，残差值小的子块优先级更高，残差值大的子块放在最后重建。

4.丢失块重建：

本发明方法结合时空域信息和视点间信息对排序后的子块依次重建，最终恢复丢失块。

具体流程如下：

首先判断当前子块上侧、下侧、左侧和右侧是否存在未丢失块或已重建子块，如果存在，则计算边界相似度，然后根据边界相似度进行重建；如果不存在，则用视点间信息进行重建，通过使用视点间搜索估计视点间的视差，然后基于视差进行视差矢量外推，以矢量外推的运动信息重建丢失子块。

(4-1).基于边界相似度进行重建：

如果丢失块的子块周围有未丢失块或已重建子块，则使用根据边界相似度对该子块进行重建。

首先利用空域上候选块的运动矢量构建运动矢量集，运动矢量集中运动矢量的来源包括：

零运动矢量：用于背景块的重建，将零运动矢量加入运动矢量集；

丢失块邻块的运动矢量：如图3所示，选取空域上左上角、右上角、左下角以及右下角4 个位置上共6个块的运动矢量加入运动矢量集；

最优匹配块的运动矢量：如果存在最优匹配块，则将最优匹配块同位置子块的运动矢量加入运动矢量集；

在构建完运动矢量集后，计算他们的边界相似度D_sim，边界相似度的计算方式如下：

其中，B_candi(x,y)为候选块B_candi中(x,y)位置的像素值，B_top、B_left、B_right和B_bottom分别为丢失块位置上侧、左侧、右侧和下侧的邻块，w_top、w_left、w_right、w_bottom分别为对应邻块的边界相似度系数，M为丢失块的尺寸。

边界相似度系数w_j,j∈(top,left,right,bottom)确定方式为：如为未丢失的块，w_j＝1；如为重建块，w_j＝0.6；如为未重建的块，w_j＝0。

其中，对于丢失邻块来说，由于其不存在可用像素，因此设置其系数为0；对于未丢失邻块来说，其像素信息是完全可靠的，因此设置其系数为1；对于重建块来说，其可靠系数应该位于丢失块与未丢失块之间，因此设置其系数为1。

通过计算运动矢量集中所有运动矢量的D_sim值，选取使D_sim值最小的运动矢量作为最优运动矢量，如果最优运动矢量的D_sim＜1.5，则选取该最优运动矢量对丢失子块进行重建，否则使用视点间信息进行重建。

(4-2).视点间信息重建：

如果丢失子块邻块中没有未丢失块或已重建子块，或者通过边界相似度所选取的最优运动矢量集的D_sim≥1.5，则使用视点间信息进行重建：假设v视点下第n帧中出现了丢包，首先在丢失视点的前视点和后视点间做视差搜索，视差搜索公式如下：

其中，B_n,v-1(x,y)为v-1视点下第n帧中位于(x,y)位置的像素值，B_n,v+1(x,y)为v+1视点下第n帧中位于(x,y)位置的像素值，

为视差的水平分量，

为视差的垂直分量。

完成视差搜索后，将得到的视差值除以2作为丢失视点与前一视点的视差。通过这个视差找到丢失子块位于v-1视点的匹配块，由于求得的视差存在误差，因此匹配块周围的邻块可能都是最有解，因此对匹配块及匹配块周围的8邻块位置的块均进行视差矢量外推，根据外推块与丢失块的重叠面积从9个候选块中选择一个重叠面积最大的候选块，使用此候选块的信息对丢失块进行运动补偿，即可完成对丢失块的重建，视差矢量外推的过程如图4所示。

为了验证本发明对于立体视频传输丢包后的视频失真重建性能，实例中进行仿真实验得到图5的出错视频帧以及图6的重建效果图。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (3)

1.一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于：该方法首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块；具体如下：

(1).多方向加权残差重建：

首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：

R_T为丢失像素点上侧最相邻像素点的的残差值，R_B为丢失像素点下侧最相邻像素点的残差值，R_L为丢失像素点左侧最相邻像素点的残差值，R_R为丢失像素点右侧最相邻像素点的残差值，d₁、d₂、d₃和d₄分别为R_T、R_B、R_L和R_R到丢失点的距离，R_lost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0；

(2).丢失块自适应块划分：

首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化；具体是：

(2-1).初步块划分：

通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块；

当局部丢失块的残差值小于等于整体丢失块时，对该局部块进行划分，否则不进行划分；

对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8×8，此时CU的划分深度为3；

设子块CU的尺寸为L×L，其中L＝(64＞＞depth)，depth∈{1,2,3,4}，即CTU划分的最小单元为8×8的CU块，深度depth每增加1层，L缩小1倍；具体递归划分算法流程如下：

Step1.计算当前块B_cur的残差均值resi_cur，记当前块的尺寸为L×L，划分深度为depth_cur；

Step2.如果当前块B_cur深度depth_cur＝3，说明已经划分到最小尺寸，退出递归，否则进入Step3；

Step3.将当前块划分为四个子块B₀、B₁、B₂和B₃，每个子块的深度为depth_i＝depth_cur+1，尺寸为L_i×L_i，L_i＝L＞＞1；

Step4.分别计算子块B_i的残差均值resi_i，对比resi_i与resi_cur：当resi_i≤resi_cur，不需要进行递归划分；当resi_i＞resi_cur，需要划分为更小尺寸的子块，进入Step1进行递归划分；如果B₀、B₁、B₂和B₃均不需要递归划分，将B₀、B₁、B₂和B₃划分为一个整体，取消对当前块B_cur的划分；

Step4.结束划分；

(2-2).修正与细化：

将前、后向参考帧的同位块和邻视点帧同位块水平方向上的5个块加入候选块集中，在7个块中选择最优匹配块，选择标准如下：

其中，B_lost(u₀,v₀)为丢失块8邻块中某个邻块(u₀,v₀)处的像素值，B_candi(u₁,v₁)为候选块对应邻块(u₁,v₁)处的像素值，选取相似度值SimValue最大的块作为最优候选块；当最优候选块的SimValue小于等于设定值T_pixel时，将这个最优候选块选择为最优匹配块，并用最优匹配块的划分模式对丢失块进行修正；否则说明这个丢失块没有最优匹配块，不进行修正；

如果最优匹配块存在，则使用它对丢失块进行划分模式修正，修正过程如下：对于丢失块与最优匹配块的同位置区域，如果它们的深度差大于1，则认为此处初步划分出现误差，对其进行修正，将其划分深度加1；否则保持划分深度不变：

depth_lost为丢失块的深度值，depth_match为最优匹配块同位置区域的深度值；

(3).子块重建优先级排序：

Step(i).将子块按划分深度大小进行排序，对于相同划分深度的子块，对比残差值大小，残差值小的子块优先级更高；

Step(ii).如果存在丢失块最优匹配块，遍历最优匹配块的子块，如果最优匹配块的子块为帧内编码块，则找到丢失块对应位置的子块，将它置为最低重建优先级；如果存在多个子块为最低重建优先级，则对它们按照残差值大小进行排序，残差值小的子块优先级更高，残差值大的子块放在最后重建；

(4).丢失块重建：

首先判断当前子块上侧、下侧、左侧和右侧是否存在未丢失块或已重建子块，如果存在，则计算边界相似度，然后根据边界相似度进行重建；如果不存在，则用视点间信息进行重建，通过使用视点间搜索估计视点间的视差，然后基于视差进行视差矢量外推，以矢量外推的运动信息重建丢失子块；

(4-1).基于边界相似度进行重建：

如果丢失块的子块周围有未丢失块或已重建子块，则使用根据边界相似度对该子块进行重建；

首先利用空域上候选块的运动矢量构建运动矢量集，运动矢量集中运动矢量的来源包括：

零运动矢量：用于背景块的重建，将零运动矢量加入运动矢量集；

丢失块邻块的运动矢量：选取空域上左上角、右上角、左下角以及右下角4个位置上共6个块的运动矢量加入运动矢量集；

最优匹配块的运动矢量：如果存在最优匹配块，则将最优匹配块同位置子块的运动矢量加入运动矢量集；

在构建完运动矢量集后，计算他们的边界相似度D_sim，边界相似度的计算方式如下：

其中，B_candi(x,y)为候选块B_candi中(x,y)位置的像素值，B_top、B_left、B_right和B_bottom分别为丢失块位置上侧、左侧、右侧和下侧的邻块，w_top、w_left、w_right、w_bottom分别为对应邻块的边界相似度系数，M为丢失块的尺寸；

通过计算运动矢量集中所有运动矢量的D_sim值，选取使D_sim值最小的运动矢量作为最优运动矢量，如果最优运动矢量的D_sim＜1.5，则选取该最优运动矢量对丢失子块进行重建，否则使用视点间信息进行重建；

(4-2).视点间信息重建：

如果丢失子块邻块中没有未丢失块或已重建子块，或者通过边界相似度所选取的最优运动矢量集的D_sim≥1.5，则使用视点间信息进行重建：假设v视点下第n帧中出现了丢包，首先在丢失视点的前视点和后视点间做视差搜索，视差搜索公式如下：

其中，B_n,v-1(x,y)为v-1视点下第n帧中位于(x,y)位置的像素值，B_n,v+1(x,y)为v+1视点下第n帧中位于(x,y)位置的像素值，

为视差的水平分量，

为视差的垂直分量；

完成视差搜索后，将得到的视差值除以2作为丢失视点与前一视点的视差；通过这个视差找到丢失子块位于v-1视点的匹配块，对匹配块及匹配块周围的8邻块位置的块均进行视差矢量外推，根据外推块与丢失块的重叠面积从9个候选块中选择一个重叠面积最大的候选块，使用此候选块的信息对丢失块进行运动补偿，完成对丢失块的重建。

2.如权利要求1所述的一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于：所述的设定值T_pixel＝3～6。

3.如权利要求1所述的一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于，所述的边界相似度系数w_j,j∈(top,left,right,bottom)确定方式为：如为未丢失的块，w_j＝1；如为重建块，w_j＝0.6；如为未重建的块，w_j＝0。

Images