CN110062219A - 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 - Google Patents

Abstract

本发明涉及一种结合虚拟视点绘制3D‑HEVC整帧丢失错误隐藏方法。本发明方法首先利用基于深度图渲染技术及单路完好接收视点的图像帧，对丢失的整个图像帧进行绘制；然后，结合图像结构，对边界块的模糊失真进行基于时域信息的修补；最后，使用图像块联合运动判定法来决定图像块进行的后处理，对绘制后的静止块和运动块进行不同类型基于像素的残差补足以再次提升性能。本发明方法不需要任何运动矢量，很好的避免了HBP结构中由于运动矢量精确度的问题而造成的各种错误隐藏弊端。对立体视频在网络传输中发生的网络整帧丢包现象有很好的恢复效果。

Description

结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于3D-HEVC框架，结合基于深度渲染技术DIBR的多视点加深度视频整帧错误隐藏方法。

背景技术

错误隐藏是针对视频在网络传输过程中进行开展的。由于传输环境恶劣或是网络传输中断等传输不良因素导致，在传输过程中有可能发生传输信息丢包。错误隐藏是在发生传输信息丢包情况下不进行网络重传机制是运用到的技术。

多视点视频加深度编码格式的3D视频是由数个不同视点的视频序列及其深度序列构成，拍摄这些视点的相机通常会间隔一定的距离，然后解码端由这些已传输的视频序列通过虚拟视点绘制技术(基于深度图渲染DIBR)合成不同角度不同位置的虚拟视点，减少传输量。若在传输过程中，用于绘制的视频序列发生了整帧丢包，像素和运动矢量的空域相关性将无法运用到编码端的错误掩盖中。而3D-HEVC基于HBP的编码结构中，帧间的时域相关性有时较弱，需利用视点间相关性进行错误隐藏，但视点间的视差矢量存在局限性，在编码端视点间相关性有时应用较少，甚至没有视点间参考，不足以用于整帧图像的重建。因此，提出一种基于视点绘制技术的整帧图像错误隐藏的方法，由一同传输的其他视点序列及其深度序列，通过DIBR技术进行单视点绘制，由此绘制图像作为基础，经过失真填补及失真边缘的重新恢复处理，得到最终的整帧重建图像。

发明内容

本发明的目的是研究在大面积错误，整帧丢失错误发生在的情况下，如何利用有效的错误隐藏方法改进图像最终质量，提供一种利用试点绘制技术的多视点加深度视频错误隐藏方法。

本发明方法在单路视点虚拟绘制的基础上，进一步对不同特性的传输错误图像块进行错误隐藏，以及对运动复杂度不同的区域采用不同的失真重建方法来使最终的图像恢复到人眼不易察觉的错误的效果。该方法的具体步骤是：

步骤1.利用单路视频结合基于深度图的虚拟视点绘制(DIBR)技术，将整帧图像的纹理进行整体重建，重建出此帧图像，重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧。采用的基于深度图的虚拟视点绘制技术为现有技术。

步骤2.已绘制图像中边界块判定及修补模糊区域；具体步骤如下：

2-1.判断图像的边界，所述边界包括整体边界和物体边界：

图像的整体边界由整体边界块构成，提取图像的整体边界块的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块。

图像的物体边界由图像内的物体边界块构成；将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法是：

通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块；用该深度同位块四个角块的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I，则判断当前图像块为物体边界块，I＝18～22；

2-2.边界块修补：

整体边界块的修补方法：将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置。

物体边界块的修补方法：

首先基于深度图的当前绘制帧图像块内像素划分：将一个物体边界块分割为前位像素和后位像素；将物体边界块内所有像素按照像素值从大到小排列，根据最大的像素值Pmax设定阈值U,U＝Pmax-25；大于阈值U的为前位像素，小于或等于阈值U的为后位像素；

然后根据像素划分进行物体边界块修补：在产生遮挡效应后位像素所在区域，复制前向或后向参考帧中暴露出来的像素值，而在前位像素区域所在区域保留原有的像素值。

步骤3.图像块运动判别及分类后残差填补处理：

将图像分为静止块和运动块,对静止块进行静态残差填补，对运动块进行均值残差填补；具体方法如下：

3-1.采用运动块联合判定方法判断是否为运动块：

(1)如当前绘制图像块的平均像素与前向或后向参考帧同位块的平均像素的差值大于阈值Y1，则判断当前绘制图像块为运动块，Y1＝20～30；

(2)基于像素比较的判断方法；如果当前视点绘制图像块内某一像素与参考帧中同位块内同位置像素的差值如果在正常差值范围内，即小于阈值Y2，则判断这两个像素近似相同，Y2＝10～20；如果大于等于阈值Y2，则判断这两个像素不同；统计一个64×64块内，当前视点绘制图像块与参考帧中同位块内不同的像素数量，如果数量达到512，则判断当前绘制图像块为运动块；

(3)基于结构相似性局部图像块相似度的判断方法，对比当前视点绘制帧与参考帧的局部结构相似性，判断局部是否处于运动状态。

联合三种方法，判断运动块：当每种方法都判断当前块为运动块时，当前绘制图像块即为运动块，反之则为静止块。

3-2.残差填补处理：

静止块与运动块分别采用了不同的算法，算法如下：

Step1：基于当前视点丢失帧的参考帧图像，绘制参考帧图像，并进行边界填补的处理操作；

Step2：计算参考帧内图像块的像素残差，静止块计算各个像素残差作为其残差值，运动块计算一个块区域内的残差平均值作为每个像素的残差值；

Step3：将像素残差补偿至当前视点绘制帧，得到最终的当前视点重建帧。

本发明方法结合了新标准的特性并运用了单路视点绘制的方法，能改进在新的HEVC立体视频扩展标准3D-HEVC下相应的立体视频错误隐藏恢复技术，对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。本文方法在解码时间没有较大变化的情况下，可提高视频序列错误隐藏的恢复性能，同时还可根据错误块的位置选择使用不同的残差补足算法，使得各特性不同的区域能使用更合适的性能提升算法。本发明突破了传统的错误隐藏使用运动矢量的局限性，在不使用任何运动矢量的情况下进行立体视频整帧丢失错误隐藏。立体视频利用多种相关性的错误隐藏技术会发挥更好的重建效果。

附图说明

图1是本发明方法的流程图。

图2是PozananStreet序列的残差补偿示意图。

图3是PozananStreet序列的第3帧丢包恢复图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。本申请目的是研究在传输过程中图像整帧丢失错误的情况下，如何利用有效的错误隐藏方法重建及改进图像质量。

如图1，一种结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法，具体如下：

步骤1.利用单路视点绘制视点丢失视频帧：利用单路视频结合DIBR技术，将整帧图像的纹理进行整体重建，重建出此帧图像，但不同区域有不同程度的失真；具体方法如下：

三维空间中的任意一点N，在一个双相机系统中，在两个视角中的投影分别为n和n′。利用深度图像信息将原始图像投影到三维空间中，假设世界坐标系等于第一个相机的相机坐标系，则两个视角的投影变换方程如下：

其中，

式中，为一个三维空间点N的齐次表示，对应的和则分别是两个二维图像点的齐次表示，x、y分别为空间点在两个坐标轴上的位置；3×3的矩阵Z和Z′分别对应两个相机的内参矩阵，3×4的单位矩阵P为投影矩阵，C为旋转平移矩阵；T为矩阵转置，表示成比例相等，即不考虑缩放比例的情况下相等；在第二个视角中，旋转矩阵R表示将三维空间点从世界坐标系变换到相机坐标系时需要使用到的矩阵，T₀为3×1且个元素都为0的矩阵，f为相机的焦距；

若其深度值为D，三维空间点N的仿射表达为：

得到典型的仿射差异方程：

其中，A和A'分别为两个视点的摄像机矩阵；式(3)定义了在同一个三维场景中，两个不同投影视角对应点之间的深度依赖关系；利用原始图像中每个像素点所对应的三维空间中的深度值，通过式(2)计算合成新视点图像。

基于此原理，结合正确接收的单路视点视频及其深度图，进行DIBR绘制当前视点的虚拟绘制视点。此步骤重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧。

步骤2.已绘制图像中边界块判定及修补模糊区域：由于单路视点的绘制信息有限，在某些纹理边界处会有严重失真，此类区域进行模糊失真修补；具体步骤如下：

2-1.判断图像的边界，所述边界包括整体边界和物体边界：

图像的整体边界由整体边界块构成，提取图像的整体边界块的具体方法是：

多视点加深度格式的视频，各视点拍摄相机的位置不同，拍摄出视点的内容在物体位置，角度上都有所差异。使用其他单路视点进行当前视点的图像绘制时，由于其他单路视点的拍摄相机位置相对于当前视点有一定的平移，当前视点中有一部分图像在其他单路视点中处于摄像机拍摄范围之外，是拍摄不到的，那么用其他视点作为参考，来绘制当前视点的虚拟视点图时，拍摄不到的区域就无法正常的进行绘制。这部分区域存在于整个图像的边界之处。提取的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块。

图像的物体边界由图像内的物体边界块构成。有一部分图像在当前视点可见，但是由于不同视点拍摄角度不同，在其他单路视点中被其他物体遮蔽，同样是相机“拍摄不到”而产生绘制失真。这部分图像经常出现在物体的边缘处，处于前景的物体遮挡了背景物体。将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法如下：

因为视点间的绘制失真是由于相机水平或垂直位置的差异，所以相机位置水平差异会产生左右边界绘制失真，相机位置垂直差异会产生上下边界绘制失真。当前帧整帧丢失而深度图没有发生丢失的情况下，由于深度图中物体的边界部分会十分明显，通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块。结合深度图的灰度特性，我们可以很好的将这种遮挡效应转化为深度图中像素值的关系：

用该深度同位块四个角块(16×16)的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I(I＝18～22，通过二值法得到此值，本实施例中I＝20)则判断当前图像块为物体边界块。

2-2.边界块修补：

整体边界块的修补方法：整体边界块通过绘制产生的失真主要是由于相机拍摄位置的原因，修补这部分区域采用视点间的图像参考补偿方法，将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置。

物体边界块的修补方法：

首先基于深度图的当前绘制帧图像块内像素划分：

相机拍摄过程中，离相机位置较近的物体会遮挡离相机位置较远的物体，而深度图中像素值的大小恰恰是根据物体离相机位置决定的，离相机较近的物体，其在深度图中的像素值会偏大，反之则偏小。在块的边界两侧，就会发生深度图像素值的显著变化。我们可以根据此原理将一个物体边界块分割为前位像素和后位像素；处于离相机靠前位置的前位像素，这部分像素不会被遮挡，只会遮挡其他像素；处于离相机靠后位置的后位像素，这部分像素中包含了产生遮挡效应而发生绘制失真的像素；具体分割算法：将物体边界块内所有像素按照像素值从大到小排列，根据最大的像素值Pmax设定阈值U,U＝Pmax-25；大于阈值U的为前位像素，小于或等于阈值U的为后位像素。

然后根据像素划分进行物体边界块修补：

物体边界块通过绘制产生的失真主要是由于遮挡效应，利用视频序列帧间的时域相关性来减弱或消除遮挡效应。假设当前视点丢失帧的前向及后向参考帧完好接收，那么在当前视点绘制帧中原本处于被遮挡状态的景物无论静止或运动，都会在前向或后向参考帧中就会暴露出来(前向或后向取决于物体的运动方向)，解决了相机“拍摄不到”的问题后，遮挡效应就会很好的减弱甚至消除。修补物体边界的方法是在产生遮挡效应后位像素所在区域，复制前向或后向参考帧中暴露出来的像素值，而在前位像素区域所在区域保留原有的像素值。这样既可以对失真的像素进行修补，又不会破坏没有发生失真区域原有的像素值。

步骤3.图像块运动判别及分类后残差填补处理：将图像分为静止块和运动块,对静止块进行静态残差填补，对运动块进行均值残差填补。具体方法如下：

3-1.运动块的判断：

单纯使用前后向参考帧像素差判断不准确，尤其当前后参考帧在时域距离较远时。采用运动块联合判定方法判断，具体包括：

(1)如当前绘制图像块的平均像素与前向或后向参考帧同位块的平均像素的差值大于阈值Y1(Y1＝20～30)，则判断当前绘制图像块为运动块，本实施例中Y1＝25；

(2)基于像素比较的判断方法。由于即使静止物体同一位置的像素有时也不会完全相同，而且根据人眼分辨率识别度的关系，像素差在一定范围内人眼并不能察觉到有差别，所以我们设定一定的正常差值范围，如果当前视点绘制图像块内某一像素与参考帧中同位块内同位置像素的差值如果在正常差值范围内，即小于阈值Y2(Y2＝10～20)，则判断这两个像素近似相同，如果大于等于阈值Y2，则判断这两个像素不同，本实施例中Y2＝15；统计一个64×64块内，当前视点绘制图像块与参考帧中同位块内不同的像素数量，如果数量达到512，则判断当前绘制图像块为运动块；

(3)基于SSIM(structural similarity index，结构相似性)局部图像块相似度的判断方法。SSIM是一种衡量两幅图像相似度的指标，将这种用于比较两幅图像的算法用于局部，对比当前视点绘制帧与参考帧的局部结构相似性，判断局部是否处于运动状态。

联合三种方法，判断运动块：当每种方法都判断当前块为运动块时，当前绘制图像块即为运动块，反之则为静止块。

3-2.残差填补处理：

如图2，静止块与运动块分别采用了不同的算法，算法如下：

Step1：基于当前视点丢失帧的参考帧图像，绘制参考帧图像，并进行边界填补的处理操作；

Step2：计算参考帧内图像块的像素残差，静止块计算各个像素残差作为其残差值，运动块计算一个块区域内的残差平均值作为每个像素的残差值；

Step3：将像素残差补偿至当前视点绘制帧，得到最终的当前视点重建帧。

结果恢复如图3所示。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.结合虚拟视点绘制3D-HEVC整帧丢失错误隐藏方法，其特征在于该方法步骤是：

步骤1.利用单路视频结合基于深度图的虚拟视点绘制技术，将整帧图像的纹理进行整体重建，重建出此帧图像，重建的视点图像为当前视点的绘制视点，包含的帧为当前视点绘制帧；

步骤2.已绘制图像中边界块判定及修补模糊区域；具体步骤如下：

2-1.判断图像的边界，所述边界包括整体边界和物体边界：

图像的整体边界由整体边界块构成，提取图像的整体边界块的方法是将左上角像素坐标值处于图像边界的图像块全部标记为整体边界块；

图像的物体边界由图像内的物体边界块构成；将含有物体产生了遮挡效应的边缘图像块判定为物体边界块，提取方法是：

通过深度序列的同位块来判断当前图像块是否为产生了遮挡效应的边缘图像块；用该深度同位块四个角块的像素值做判断：水平差异情况时，用左上角与右上角的差值，左下角与右下角的差值进行判断；垂直差异情况时，用左上角与左下角的差值，右上角与右下角的差值进行判断；其中任一差值如大于阈值I，则判断当前图像块为物体边界块，I＝18～22；

2-2.边界块修补：

整体边界块的修补方法：将原本处于拍摄范围之外的图像在其他视点找到相应的同位置图像块，将这些图像块复制像素值填补至当前失真位置；

物体边界块的修补方法：

首先基于深度图的当前绘制帧图像块内像素划分：将一个物体边界块分割为前位像素和后位像素；将物体边界块内所有像素按照像素值从大到小排列，根据最大的像素值Pmax设定阈值U,U＝Pmax-25；大于阈值U的为前位像素，小于或等于阈值U的为后位像素；

然后根据像素划分进行物体边界块修补：在产生遮挡效应后位像素所在区域，复制前向或后向参考帧中暴露出来的像素值，而在前位像素区域所在区域保留原有的像素值；

步骤3.图像块运动判别及分类后残差填补处理：

将图像分为静止块和运动块,对静止块进行静态残差填补，对运动块进行均值残差填补；具体方法如下：

3-1.采用运动块联合判定方法判断是否为运动块：

(1)如当前绘制图像块的平均像素与前向或后向参考帧同位块的平均像素的差值大于阈值Y1，则判断当前绘制图像块为运动块，Y1＝20～30；

(2)基于像素比较的判断方法；如果当前视点绘制图像块内某一像素与参考帧中同位块内同位置像素的差值如果在正常差值范围内，即小于阈值Y2，则判断这两个像素近似相同，Y2＝10～20；如果大于等于阈值Y2，则判断这两个像素不同；统计一个64×64块内，当前视点绘制图像块与参考帧中同位块内不同的像素数量，如果数量达到512，则判断当前绘制图像块为运动块；

(3)基于结构相似性局部图像块相似度的判断方法，对比当前视点绘制帧与参考帧的局部结构相似性，判断局部是否处于运动状态；

联合三种方法，判断运动块：当每种方法都判断当前块为运动块时，当前绘制图像块即为运动块，反之则为静止块；

3-2.残差填补处理：

静止块与运动块分别采用了不同的算法，算法如下：

Step1：基于当前视点丢失帧的参考帧图像，绘制参考帧图像，并进行边界填补的处理操作；

Step2：计算参考帧内图像块的像素残差，静止块计算各个像素残差作为其残差值，运动块计算一个块区域内的残差平均值作为每个像素的残差值；

Step3：将像素残差补偿至当前视点绘制帧，得到最终的当前视点重建帧。