CN108668135A - 一种基于人眼感知的立体视频b帧错误隐藏方法 - Google Patents

Abstract

本发明一种基于人眼感知的立体视频B帧错误隐藏方法。传统的错误隐藏技术对于新标准HEVC，以及扩展的多视点的新标准MV‑HEVC不能很好适应。本发明方法首先对立体视频中的丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式；对运动块使用基于双目恰可察觉失真模型的立体视频错误隐藏算法进行恢复，具体是：首先自适应尺寸划分，然后建立候选运动/视差矢量集，计算基于BJND模型匹配准则值，最后选择最优运动矢量恢复。本发明方法除了结合了新标准的特性并改进了已有错误隐藏方法之外，还考虑了人眼对于视频画面的失真度特性，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

Description

一种基于人眼感知的立体视频B帧错误隐藏方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于人眼感知的立体视频B帧错误隐藏方法。

背景技术

错误隐藏是针对视频在网络传输过程中，由于网络环境恶劣，或者网络中断传输等导致视频流数据包丢失现象，不用通过网络重传机制，在视频流解码端通过视频画面在时域和空域之间的相关性直接恢复丢失块信息。

目前在错误隐藏的研究主要有：1)根据时域相关性，由于视频帧的时域相关性，所以运动矢量在相邻帧是近似的，通过运动矢量来恢复丢失块；2)根据空域相关性，利用一帧画面在空间上满足像素阶变性，通过相邻的像素进行恢复；3)根据时域和空域想结合的技术，对丢失块进行分类，然后通过分类后，在采用相应的时域/空域的技术进行恢复。

传统的错误隐藏技术主要面向基于H.264标准的平面视频错误隐藏，然而对于新标准HEVC，以及扩展的多视点的新标准MV-HEVC并不能很好的适应。

发明内容

本发明的目的就是提出了一种基于人眼感知的立体视频B帧错误隐藏方法。本发明方法除了结合了新标准的特性并改进了已有错误隐藏方法之外，还考虑了人眼对于视频画面的失真度特性。

本发明方法首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用基于双目恰可察觉失真模型(Binocular Just Noticeable Difference,BJND)的立体视频错误隐藏算法进行恢复。其中BJND模型是Zhao等提出的成熟技术。

1、对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：

(1)首先获取前向参考帧中的同位块B₁；

(2)然后获取后向参考帧中的同位块B₂；

(3)计算两个块的绝对差值ΔB：

其中，B₁(x+i,y+j,t-n)表示前向参考帧中的同位块，B₂(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；

(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：

2、对不同的丢失块类型采用不同的恢复方式，就是对所述静止块和运动块采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复；其中：

对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B₁/B₂的块直接拷贝填充到当前丢失块；

对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，实现步骤如下：

1)自适应尺寸划分：

a.计算逐像素点BJND值，计算公式如下：

其中，d是在坐标(i,j)的水平视差值，BJND_l是左视点图像坐标为(i,j)的像素的BJND值，BJND_l值依赖于右视点图像帧在对应像素点位置的背景亮度水平bg_r，边缘梯度值eh_r，噪声幅值n_r；T_C为刚可察觉失真可见性阈值，0≤n_r≤T_C；λ为拟合参数，λ＝1.25。视差d的求取方法采用全局视差求取方法，该方法是成熟的技术。需要注意的是，如果右视点没有噪声，n_r＝0,等式右边第二项值为1，则BJND_l值等于T_C值，定义如下所示：

BJND_l(i,j,d)＝T_C(bg,eh)＝T_limit(bg)+K(bg)×eh；

其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下所示：

其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，G_H、G_V分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；E_H和E_V分别表示水平和垂直梯度值。T_limit(bg)，K(bg)分别定义如下所示：

K(bg)＝-10^-6×(0.7×bg²+32×bg)+0.07；

b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：

其中，BJND_avg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJND_var表示8×8块的BJND标准差。根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，通过实验测试，选用T＝3～5；

c.判断边界点运动矢量：

S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；

S2.对矩阵B沿边界进行判断并融和区域标记号。以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，则判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，则判断为不同运动特性的区域，保留区域标记号；

S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；

d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准(MV-HEVC)中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；

2)建立候选运动/视差矢量集：

将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；

该候选运动/视差矢量集在恢复子块过程中会进行更新。如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；

3)计算基于BJND模型匹配准则值D_BJND：

D_BJND＝max(D_VBS-BMA-BJND_average,0)；

其中，BJND_average为重建子块的BJND平均值，子块大小由32×32到4×4；D_VBS-BMA为变尺寸块边界匹配算法(VBS-BMA)的计算值，它考虑了重建块内边界与丢失块外边界的匹配度，其计算式为：

其中，分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量v^k补偿后的重建块；w_l为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即w_T为上边界权重因子，w_B为下边界权重因子，w_L为左边界权重因子，w_R为右边界权重因子，各分量的计算公式如下：

其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，v^k为运动/视差矢量集中第k个运动/视差矢量，f_c(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；f_r(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值。

4)选择最优运动矢量恢复：

通过步骤3)对运动矢量集中的每个运动/视差矢量计算D_BJND，并将最小的D_BJND与0比较，如果存在最小的D_BJND≤0，则认为当前使得D_BJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的D_BJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：

其中，(DV_x,DV_y)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HG_l，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SAD_l为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p₁(i,j)表示为受损块的某外边界块的像素值，p₂(i+dv_x,j+dv_y)表示为视点间匹配块对应外边界块的像素值；(dv_x,dv_y)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ω_l,l＝{T,B,L,R}，其值具体设置如下：

选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DV_x,DV_y)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。

本发明提出一种基于人眼感知的立体视频B帧错误隐藏方法，能解决在新的立体视频扩展标准MV-HEVC下没有相应的立体视频错误隐藏恢复技术，以及先前H.264标准下的错误隐藏技术不能直接应用在HEVC标准中的不足。该方法结合了人眼感知特性，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。

附图说明

图1是本发明基于人眼感知的立体视频B帧错误隐藏方法流程图。

图2是本发明中自适应尺寸划分流程图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

如图1和2，一种基于人眼感知的立体视频B帧错误隐藏方法，首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复。

1、对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：

(1)首先获取前向参考帧中的同位块B₁；

(2)然后获取后向参考帧中的同位块B₂；

(3)计算两个块的绝对差值ΔB：

其中，B₁(x+i,y+j,t-n)表示前向参考帧中的同位块，B₂(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；

(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：

2、对不同的丢失块类型采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复。

对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B₁/B₂的块直接拷贝填充到当前丢失块；

对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，步骤如下：

1)自适应尺寸划分：

a.计算逐像素点BJND值，计算公式如下：

其中，d是在坐标(i,j)的水平视差值，BJND_l是左视点图像坐标为(i,j)的像素的BJND值，BJND_l值依赖于右视点图像帧在对应像素点位置的背景亮度水平bg_r，边缘梯度值eh_r，噪声幅值n_r；T_C为刚可察觉失真可见性阈值，0≤n_r≤T_C；λ为拟合参数，λ＝1.25。视差d的求取方法采用全局视差求取方法，该方法是成熟的技术。需要注意的是，如果右视点没有噪声，n_r＝0,等式右边第二项值为1，则BJND_l值等于T_C值，定义如下所示：

BJND_l(i,j,d)＝T_C(bg,eh)＝T_limit(bg)+K(bg)×eh；

其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下所示：

其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，G_H、G_V分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；E_H和E_V分别表示水平和垂直梯度值。T_limit(bg)，K(bg)分别定义如下所示：

K(bg)＝-10^-6×(0.7×bg²+32×bg)+0.07；

b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：

其中，BJND_avg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJND_var表示8×8块的BJND标准差。根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，通过实验测试，选用T＝3～5；

c.判断边界点运动矢量：

S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；

S2.对矩阵B沿边界进行判断并融和区域标记号。以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，则判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，则判断为不同运动特性的区域，保留区域标记号；

S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；

d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准(MV-HEVC)中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；

2)建立候选运动/视差矢量集：

将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；

该候选运动/视差矢量集在恢复子块过程中会进行更新。如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；

3)计算基于BJND模型匹配准则值D_BJND：

D_BJND＝max(D_VBS-BMA-BJND_average,0)；

其中，BJND_average为重建子块的BJND平均值，子块大小由32×32到4×4；D_VBS-BMA为变尺寸块边界匹配算法(VBS-BMA)的计算值，它考虑了重建块内边界与丢失块外边界的匹配度，其计算式为：

其中，分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量v^k补偿后的重建块；w_l为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即w_T为上边界权重因子，w_B为下边界权重因子，w_L为左边界权重因子，w_R为右边界权重因子，各分量的计算公式如下：

其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，v^k为运动/视差矢量集中第k个运动/视差矢量，f_c(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；f_r(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值。

4)选择最优运动矢量恢复：

通过步骤3)对运动矢量集中的每个运动/视差矢量计算D_BJND，并将最小的D_BJND与0比较，如果存在最小的D_BJND≤0，则认为当前使得D_BJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的D_BJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：

其中，(DV_x,DV_y)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HG_l，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SAD_l为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p₁(i,j)表示为受损块的某外边界块的像素值，p₂(i+dv_x,j+dv_y)表示为视点间匹配块对应外边界块的像素值；(dv_x,dv_y)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ω_l,l＝{T,B,L,R}，其值具体设置如下：

选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DV_x,DV_y)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于人眼感知的立体视频B帧错误隐藏方法，其特征在于发明方法首先对立体视频中的丢失块类型进行划分，将丢失块划分为静止块和运动块，然后对不同的丢失块类型采用不同的恢复方式，静止块选择直接拷贝的方式，对运动块使用BJND模型的立体视频错误隐藏算法进行恢复；所述的BJND模型为基于双目恰可察觉失真模型；具体是：

A.对立体视频中的丢失块类型进行划分，就是将视频帧中的丢失块划分为静止块和运动块；具体步骤是：

(1)首先获取前向参考帧中的同位块B₁；

(2)然后获取后向参考帧中的同位块B₂；

(3)计算两个块的绝对差值ΔB：

其中，B₁(x+i,y+j,t-n)表示前向参考帧中的同位块，B₂(x+i,y+j,t+n)表示后向参考帧中的同位块，(x,y)表示丢失块的左上角坐标位置，M代表丢失块的尺寸大小，恒等于64，n表示是时间间隔，n＝1～6，D表示静止块与运动块划分阈值，D＝8～15；i，j分别代表块中像素点的横坐标和纵坐标；

(4)将绝对差值ΔB与阈值D比较，确定丢失块类型：

B.对不同的丢失块类型采用不同的恢复方式，就是对所述静止块和运动块采用不同的恢复方式，对于静止块使用直接拷贝的方式，对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复；其中：

对于静止块使用直接拷贝的方式，是使用前向/后向参考帧中的同位块B₁/B₂的块直接拷贝填充到当前丢失块；

对运动块使用基于BJND模型的立体视频错误隐藏算法进行恢复，实现步骤如下：

1)自适应尺寸划分：

a.计算逐像素点BJND值，计算公式如下：

其中，d是在坐标(i,j)的水平视差值，BJND_l是左视点图像坐标为(i,j)的像素的BJND值，BJND_l值依赖于右视点图像帧在对应像素点位置的背景亮度水平bg_r，边缘梯度值eh_r，噪声幅值n_r；T_C为刚可察觉失真可见性阈值，0≤n_r≤T_C；λ为拟合参数，λ＝1.25；如果右视点没有噪声，n_r＝0,等式右边第二项值为1，则BJND_l值等于T_C值，定义如下：

BJND_l(i,j,d)＝T_C(bg,eh)＝T_limit(bg)+K(bg)×eh；

其中，bg是丢失块的亮度平均值，eh是通过5×5水平和垂直梯度模板计算的丢失块梯度值，定义如下：

其中，I(i,j)为像素点(i,j)的亮度值；H、V分别为水平、垂直方向下角标，G_H、G_V分别为5×5索贝尔算子的水平、垂直矩阵，h、v分别是矩阵内元素的横、纵坐标；E_H和E_V分别表示水平和垂直梯度值；T_limit(bg)，K(bg)分别定义如下所示：

K(bg)＝-10^-6×(0.7×bg²+32×bg)+0.07；

b.计算BJND均值和标准差：首先逐像素计算丢失块的BJND值，然后计算每个8×8块的BJND均值和标准差，计算公式如下：

其中，BJND_avg8x8表示8×8块的BJND均值，bjnd(i,j)表示8×8块中位于(i,j)位置的BJND值，BJND_var表示8×8块的BJND标准差；根据平滑区域的BJND值相似且方差波动小，而纹理复杂区域的BJND值方差波动大的特点，将BJND方差值小于T的区域作为平滑区域，标记为1；将方差值大于T区域作为边界区域，并标记为0，T＝3～5；

c.判断边界点运动矢量：

S1.将步骤b中经过BJND模型划分成边界块和平滑块的标记图记为矩阵A，使用四连通域算法对矩阵A进行区域标记，区域标记结果记为矩阵B；

S2.对矩阵B沿边界进行判断并融和区域标记号；以上边界为例，对判断为边界块的相邻的左上8×8块与右上8×8块分别记为A1块和A2块，若A1，A2块的运动矢量值相等，判断为具有相同运动特性的区域，并融和区域标记号；如果运动矢量不等，判断为不同运动特性的区域，保留区域标记号；

S3.对矩阵B中为0的子块进行融合区域标记号，区域标记结果记为矩阵C；

d.递归遍历区域标记号实现自适应划分：按面向多视点视频的高性能视频编码标准中编码端的递归遍历方式进行分割，当递归子块中所有8×8块只要存在不同区域标记号就进行递归划分，直到子区域中每个8×8块区域标记号相同，最后以划分的子块为单元重新计算BJND均值，作为后续匹配准则的阈值；

2)建立候选运动/视差矢量集：

将区域标记号的周围相邻块的不同运动/视差矢量加入到运动/视差矢量集中，并添加全局视差矢量，以及零运动矢量；

该候选运动/视差矢量集在恢复子块过程中会进行更新；如果受损子块的相邻块为已恢复的子块并且属于不同运动区域时，那么已恢复子块中所使用的运动/视差矢量不添加到当前子块的候选运动/视差矢量集中；如果受损子块的相邻块为已恢复的子块为视点间视差搜索恢复的重建块，那么该视差矢量会加入到候选运动/视差矢量集；

3)计算基于BJND模型匹配准则值D_BJND：

D_BJND＝max(D_VBS-BMA-BJND_average,0)；

其中，BJND_average为重建子块的BJND平均值，子块大小由32×32到4×4；D_VBS-BMA为变尺寸块边界匹配算法的计算值，计算式为：

其中，分别代表周围块和重建块沿着上、下、左、右四个边界的绝对差值；所述重建块是通过运动/视差矢量集合中的第k个运动/视差矢量v^k补偿后的重建块；w_l为权重因子，下标l表示边界位置，l＝{T,B,L,R}，即w_T为上边界权重因子，w_B为下边界权重因子，w_L为左边界权重因子，w_R为右边界权重因子，各分量的计算公式如下：

其中，N为隐藏块的大小，(x,y)为隐藏块的左上角像素点坐标，v^k为运动/视差矢量集中第k个运动/视差矢量，f_c(p,q,t)为当前帧t、像素坐标位置为(p,q)的像素值；f_r(p,q,t±n)表示t±n时刻参考帧中，像素坐标位置为(p,q)的像素值；

4)选择最优运动矢量恢复：

通过步骤3)对运动矢量集中的每个运动/视差矢量计算D_BJND，并将最小的D_BJND与0比较，如果存在最小的D_BJND≤0，则认为当前使得D_BJND最小的运动/视差矢量恢复后的重建块与右视点的匹配块满足BJND模型，即人眼感受不到失真，使用该运动/视差矢量作为当前重建块的运动/视差矢量；否则，当所有的候选运动/视差矢量计算的D_BJND都大于0时，相当于使用该运动/视差矢量集中的运动/视差矢量进行运动补偿所恢复的重建块与右视点的匹配块全不满足BJND模型，即人眼会感觉到失真，则使用视点间视差搜索重建该类丢失块，计算公式如下：

其中，(DV_x,DV_y)为使得OBMA_HG值最小的视差补偿偏移值，OBMA_HG表示重建块与它四周解码块的外边界匹配度，OBMA_HG_l，l＝{T,B,L,R},分别表示重建块上、下、左、右四条外边界的匹配度，W和Z为匹配块的宽和高，W＝Z＝4；SAD_l为受损块的某条外边界与视点间匹配块的对应外边界像素差异值，p₁(i,j)表示为受损块的某外边界块的像素值，p₂(i+dv_x,j+dv_y)表示为视点间匹配块对应外边界块的像素值；(dv_x,dv_y)为视点间视差搜索的偏移值，并且搜索范围为±32，权重因子ω_l,l＝{T,B,L,R}，其值具体设置如下：

选择使得OBMA_HG值最小时对应的视点间搜索匹配块，然后使用视点间搜索匹配块来代替受损块，并将搜索的位移值(DV_x,DV_y)作为当前受损块的视差矢量，作为后续子块恢复的候选运动/视差矢量。