CN105933714A - 一种基于深度引导扩展块匹配的三维视频帧率提升方法 - Google Patents

Abstract

本发明公开了一种基于深度引导扩展块匹配的三维视频帧率提升方法，包括：对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。本发明有效的解决了三维视频帧率提升中插入帧前景物体边缘模糊的问题。

Description

一种基于深度引导扩展块匹配的三维视频帧率提升方法

技术领域

本发明涉及一种基于深度引导扩展块匹配的三维视频帧率提升方法。

背景技术

作为一种新兴的可视媒介形式，三维视频能够为用户提供很强的立体感和沉浸感，其中最常用的三维视频格式是彩色+深度视频帧。与传统二维视频相比，三维视频同时提供彩色和深度视频，与此同时，随着视频采集和播放设备的发展，单帧视频空间分辨率有了很大的提高，因此相对于传统视频，三维视频数据量剧增。在实际立体视频传输系统中，通常需要通过高效的编码技术和虚拟视点合成达到减少传输数据量的目的。即便如此，三维视频的高帧率传输仍然存在巨大挑战。众所周知，视频播放帧率越高，画面运动就越平滑、细腻。由于显示设备的物理特性和人体视觉系统的生理特性，当视频帧率较低时，会产生运动模糊或者伪影的现象，对于大尺寸显示设备，这种现象更加明显。

作为一种常用的视频增强技术，帧率提升通过对解码后的视频进行处理，在两个解码视频帧之间插入一帧或者多帧，实现视频由低帧率向高帧率的转换。因此，利用帧率提升技术可以解决上述立体视频系统中多视点视频的高帧率传输难题。虽然传统视频帧率提升的研究已经比较充分，一些高效的帧率提升算法已经被提出并应用，但现有的算法通常对视频场景中运动物体边缘图像块进行传统块匹配获取运动向量，并根据运动向量同时参考上一帧与当前帧进行插入帧边缘图像块的重建，从而产生块匹配不准确而导致的插入帧运动物体边缘模糊，极大地影响了帧率提升后视频的视觉质量。另一方面，针对立体视频，现有的三维视频帧率提升算法并未充分利用深度信息、不同视点之间的空间信息，而这些信息在运动估计、运动向量场优化处理以及运动补偿方面具有重要作用。

发明内容

本发明为了解决上述问题，提出了一种基于深度引导扩展块匹配的三维视频帧率提升方法，本发明首先利用基于块的双向运动估计计算出插入帧每个图像块的运动向量，并根据运动向量生成初始深度插入帧；其次，利用深度信息对插入帧中的图像块进行分类；然后，对边缘图像块运动向量进行优化处理；最后，采用适应性运动补偿方法对插入帧进行重建，能够有效解决三维视频帧率提升中插入帧前景物体边缘模糊的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度引导扩展块匹配的三维视频帧率提升方法，包括以下步骤：

(1)对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧；

(2)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；

(3)将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；

(4)以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。

所述步骤(1)中，具体方法为：将插入帧分成尺寸相等的图像块，利用彩色视频帧对每个图像块进行双向运动估计，得到每个块的初始运动向量，利用插入帧的初始运动向量、上一帧深度图像和当前帧深度图像，进行运动补偿，生成初始深度插入帧。

所述步骤(2)中，具体方法包括：

(2-1)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量；

(2-2)根据二维结构张量在x、y方向上的梯度，构建二维结构张量的非负特征值，根据各个深度图像块的非负特征值，判断图像块的类型。

优选的，所述步骤(2-1)中，具体方法为，D为插入帧中一个图像块对应的深度图像块，则D的二维结构张量为：

$J=\mathrm{\Σ}\▿D\▿D^T=\left(\begin{array}{cc}{\mathrm{\ΣD}}_x^2& {\mathrm{\ΣD}}_x{D}_y\\ {\mathrm{\ΣD}}_y{D}_x& {\mathrm{\ΣD}}_y^2\end{array}\right)---\left(1\right)$

D_x和D_y为D在x和y方向上的梯度，J是一个对称半正定矩阵。

优选的，所述步骤(2-2)中，具体方法为：

${\mathrm{\λ}}_{max}=\frac{{\mathrm{\ΣD}}_x^2+{\mathrm{\ΣD}}_y^2+\sqrt{{({\mathrm{\ΣD}}_x^2-{\mathrm{\ΣD}}_y^2)}^2+4{\left({\mathrm{\ΣD}}_x{D}_y\right)}^2}}{2}$

${\mathrm{\λ}}_{\min }=\frac{{\mathrm{\ΣD}}_x^2+{\mathrm{\ΣD}}_y^2-\sqrt{{({\mathrm{\ΣD}}_x^2-{\mathrm{\ΣD}}_y^2)}^2+4{\left({\mathrm{\ΣD}}_x{D}_y\right)}^2}}{2}$

若λ_max＞＞0，λ_min≈0，则判定该图像块为边缘图像块；其余情况判定该图像块为非边缘图像块。其中，具体λ_max和λ_min的取值可以根据具体情况进行调整，

一般认为λ_max＞0.5为λ_max＞＞0，λ_min＜0.1为λ_min≈0。

所述步骤(3)中，具体方法包括：

(3-1)利用四叉树块分块方法将边缘图像块分成四个尺寸相等的子块；

(3-2)根据子块对应的深度信息，计算子块的深度分布矩阵；

(3-3)根据深度分布矩阵的二值模式，选择扩展块模式，并利用该扩展块进行块匹配，对子块的运动向量进行估计。

所述步骤(3-3)中，以子块的至少一个边缘为边界，对子块进行扩展，且子块尺寸为N×N，扩展块尺寸为(N+L)×(N+L)，L为扩展系数。

所述步骤(3-3)中，具体根据子块的灰度分布情况来选择扩展块的模式。

所述步骤(4)中，若图像块为非边缘图像块，同时参考上一帧和当前帧进行恢复，实现插入帧的重建。

所述步骤(4)中，若图像块为边缘图像块，定义该边缘图像块的深度分布向量为d，其中d的起点和终点分别为该边缘图像块对应的深度块的质心和几何中心。利用深度分布向量d和运动向量v之间的夹角θ将边缘图像块分为覆盖型遮挡块和非覆盖型遮挡块：若则为覆盖型遮挡块，若则为非覆盖型遮挡块。

所述步骤(4)中，对于覆盖型遮挡块，则只参考上一帧进行运动补偿；对于非覆盖型遮挡块，则只参考当前帧进行运动补偿。

本发明的有益效果为：

(1)本发明有效的解决了三维视频帧率提升中插入帧前景物体边缘模糊的问题；

(2)本发明将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量，在提高插入帧前景物体边缘运动向量分辨率的同时提升了视觉质量；

(3)本发明将边缘图像块分成覆盖型遮挡块和非覆盖型遮挡块，分别采用不同的补偿方法对非边缘图像块、覆盖型遮挡块和非覆盖型遮挡块进行运动补偿，实现插入帧的有对应性的重建；

(4)本发明计算过程简单、不需要大量的计算时间。

附图说明

图1为本发明的流程图；

图2为本发明的基于块的双向运动估计与补偿示意图；

图3为本发明深度信息引导的扩展块模式示意图；

图4为本发明的深度分布矩阵的二值模式和分类示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

本发明提出了一种基于深度引导扩展块匹配的三维视频帧率提升方法。利用彩色视频帧对应的深度信息，对插入帧中图像块进行分类；利用深度信息，对边缘图像块进行分块，并利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；最后，利于适应性运动补偿方法实现插入帧的重建。本发明的流程图如图1所示，具体实施方式如下：

(1)基于块的双向运动估计。将插入帧分成尺寸相等的图像块，利用彩色视频帧对每个图像块进行双向运动估计，得到每个块的初始运动向量。利用插入帧的初始运动向量、上一帧深度图像和当前帧深度图像，进行运动补偿，生成初始深度插入帧。基于块的双向运动估计与补偿如图2所示。

(2)图像块分类。根据深度信息，将插入帧中的图像块分成边缘图像块和非边缘图像块两类。假设D为插入帧中一个图像块对应的深度图像块，则D的二维结构张量为：

$J=\mathrm{\Σ}\▿D\▿D^T=\left(\begin{array}{cc}{\mathrm{\ΣD}}_x^2& {\mathrm{\ΣD}}_x{D}_y\\ {\mathrm{\ΣD}}_y{D}_x& {\mathrm{\ΣD}}_y^2\end{array}\right)---\left(1\right)$

D_x和D_y为D在x和y方向上的梯度，J是一个对称半正定矩阵，可以计算J的两个非负特征值：

$\begin{array}{c}{\mathrm{\λ}}_{\max }=\frac{{\mathrm{\ΣD}}_x^2+{\mathrm{\ΣD}}_y^2+\sqrt{{({\mathrm{\ΣD}}_x^2-{\mathrm{\ΣD}}_y^2)}^2+4{\left({\mathrm{\ΣD}}_x{D}_y\right)}^2}}{2}\\ {\mathrm{\λ}}_{\min }=\frac{{\mathrm{\ΣD}}_x^2+{\mathrm{\ΣD}}_y^2-\sqrt{{({\mathrm{\ΣD}}_x^2-{\mathrm{\ΣD}}_y^2)}^2+4{\left({\mathrm{\ΣD}}_x{D}_y\right)}^2}}{2}\end{array}---\left(2\right)$

若λ_max＞＞0，λ_min≈0，则判定该图像块为边缘图像块；其余情况判定该图像块为非边缘图像块。

(3)边缘图像块运动向量优化。运动向量优化步骤针对插入帧图像中边缘图像块的运动向量进行。根据图像块分类步骤，利用深度信息将插入帧图像块分成边缘图像块和非边缘图像块两类，本步骤我们对边缘图像块进行优化处理。首先，利用四叉树块分块方法将边缘图像块分成四个尺寸相等的子块，以提高边缘图像块运动向量的分辨率。一方面，图像块减小时，块匹配时就容易出现局部最优，影响运动向量的准确性，另一方面，前景物体的完整性对视觉质量的影响较大。基于此，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量。扩展块模式如图3所示，其中白色图像块为子块，灰色部分为扩展部分，子块尺寸为N×N，扩展块尺寸为(N+L)×(N+L)，L为扩展系数，一般L≤N。

根据子块灰度分布来选择扩展块的模式。设G为一个子块对应的深度子块，将G划分为尺寸相等的四部分：

$G=\left[\begin{array}{cc}{G}_{11}& G_{12}\\ G_{21}& G_{22}\end{array}\right]---\left(3\right)$

计算G₁₁、G₁₂、G₂₁和G₂₂的平均深度值和定义该子块的深度分布矩阵为：

其中为G的平均深度值。Δ的二值模式如图4所示，图中黑色表示0，白色表示1，将Δ按照图4所示分成9类，Type i对应于图3中的Mode i，即若子块深度分布二值模式为Type i，则运动匹配时采用Mode i的扩展块计算该子块的运动向量，i＝1,…,9。

(4)基于适应性运动补偿的插入帧重建。若图像块为非边缘图像块，则采用传统的运动补偿方法，即同时参考上一帧和当前帧进行恢复，实现插入帧的重建。

$B_t^p=\frac{1}{2}{B}_{t-1}^{p+\frac{v}{2}}+\frac{1}{2}{B}_{t+1}^{p-\frac{v}{2}}---\left(5\right)$

其中表示要补偿的边缘图像块，p表示像素坐标，v表示基于块的双向运动估计得到的运动向量。

若图像块为边缘图像块，则以子块为单位采用适应性补偿进行重建。首先，利用其深度分布向量d和运动向量v之间的关系将边缘图像块分为覆盖型遮挡块和非覆盖型遮挡块。其中深度分布向量d的起点和终点分别为深度块的质心和几何中心。对于覆盖型遮挡块，则按照公式(6)进行运动补偿，即只参考上一帧；对于非覆盖型遮挡块，则按照公式(7)进行运动补偿，即只参考当前帧。

$B_t^p=\left[\begin{array}{cc}{E}_{t-1}^{p_{11}+\frac{v_{11}}{2}}& E_{t-1}^{p_{12}+\frac{v_{12}}{2}}\\ E_{t-1}^{p_{21}+\frac{v_{21}}{2}}& E_{t-1}^{p_{22}+\frac{v_{22}}{2}}\end{array}\right]---\left(6\right)$

$B_t^p=\left[\begin{array}{cc}{E}_{t+1}^{p_{11}-\frac{v_{11}}{2}}& E_{t+1}^{p_{12}-\frac{v_{12}}{2}}\\ E_{t+1}^{p_{21}-\frac{v_{21}}{2}}& E_{t+1}^{p_{22}-\frac{v_{22}}{2}}\end{array}\right]---\left(7\right)$

表示要补偿的边缘图像块，和为四叉树分块后的四个子块。以为例，和分别为在上一帧和当前帧中对应的子块，v₁₁为利用深度信息引导扩展块匹配得到的的运动向量，其余类推。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：包括以下步骤：

(1)对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧；

(2)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；

(3)将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；

(4)以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。

2.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(1)中，具体方法为：将插入帧分成尺寸相等的图像块，利用彩色视频帧对每个图像块进行双向运动估计，得到每个块的初始运动向量，利用插入帧的初始运动向量、上一帧深度图像和当前帧深度图像，进行运动补偿，生成初始深度插入帧。

3.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(2)中，具体方法包括：

(2-1)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量；

(2-2)根据二维结构张量在x、y方向上的梯度，构建二维结构张量的非负特征值，根据各个深度图像块的非负特征值，判断图像块的类型。

4.如权利要求3所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(2-1)中，具体方法为，D为插入帧中一个图像块对应的深度图像块，则D的二维结构张量为：

$J=\mathrm{\Σ}\▿D\▿D^T=\left(\begin{array}{cc}{\mathrm{\ΣD}}_x^2& {\mathrm{\ΣD}}_x{D}_y\\ {\mathrm{\ΣD}}_y{D}_x& {\mathrm{\ΣD}}_y^2\end{array}\right)---\left(1\right)$

D_x和D_y为D在x和y方向上的梯度，J是一个对称半正定矩阵。

5.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(3)中，具体方法包括：

(3-1)利用四叉树块分块方法将边缘图像块分成四个尺寸相等的子块；

(3-2)根据子块对应的深度信息，计算子块的深度分布矩阵；

(3-3)根据深度分布矩阵的二值模式，选择扩展块模式，并利用该扩展块进行块匹配，对子块的运动向量进行估计。

6.如权利要求5所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(3-3)中，以子块的至少一个边缘为边界，对子块进行扩展，且子块尺寸为N×N，扩展块尺寸为(N+L)×(N+L)，L为扩展系数。

7.如权利要求5所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(3-3)中，具体根据子块的灰度分布情况来选择扩展块的模式。

8.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(4)中，若图像块为非边缘图像块，同时参考上一帧和当前帧进行恢复，实现插入帧的重建。

9.如权利要求8所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(4)中，若图像块为边缘图像块，定义该边缘图像块的深度分布向量为d，其中d的起点和终点分别为该边缘图像块对应的深度块的质心和几何中心；利用深度分布向量d和运动向量v之间的夹角θ将边缘图像块分为覆盖型遮挡块和非覆盖型遮挡块：若则为覆盖型遮挡块，若则为非覆盖型遮挡块。

10.如权利要求8所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(4)中，对于覆盖型遮挡块，则只参考上一帧进行运动补偿；对于非覆盖型遮挡块，则只参考当前帧进行运动补偿。