CN103260032B - 一种立体视频深度图序列的帧率提升方法 - Google Patents

Abstract

一种立体视频深度图序列的帧率提升方法，包括以相邻两帧深度图为两个参考帧，构造出中间深度图插入该相邻两帧深度图之间，其中，通过以下步骤获取中间深度图宏块的深度信息：双向运动估计获取当前宏块的匹配代价及初始运动矢量；进行双向运动补偿获取当前宏块的初始深度信息；若最小匹配代价小于设定的阈值，将所述初始深度信息作为当前宏块的深度信息，否则利用所述初始深度信息合成当前宏块对应虚拟视点的纹理块；计算所述纹理块的匹配代价；计算当前宏块和所述纹理块的联合匹配代价，获取最终运动矢量；用最终运动矢量进行双向运动补偿获取当前宏块的深度信息。本方法能使得深度信息更准确可靠，而且能够保证运算复杂度。

Description

一种立体视频深度图序列的帧率提升方法

技术领域

本发明涉及一种立体视频深度图序列的帧率提升方法，属于计算机视觉领域。

背景技术

近年来，随着经济的飞速发展，人们对视频观赏的需求不断提升，普通的2D视频已经很难满足人们的需求，立体视频以其贴近真实的三维感受获得越来越多人的亲睐。与此同时，计算机应用的飞速发展也使得立体视频的应用成为可能。

立体视频包含双目或者多目视频序列，使得视频的数据量极大地增加，给立体视频存储与传输带来了极大的困难。深度加纹理信息的视频格式则可以极大的降低立体视频的数据量，通过深度信息在显示端合成虚拟视点，也可以给观影者带来较好的三维体验。其中最关键的技术就是深度信息获取，通常采用立体匹配技术可以获得较准确的深度图，但是立体匹配的计算量极大。可以先获取较低帧率(帧率：视频每秒包含的帧数)的深度图序列，再采用帧率提升技术得到高帧率的深度序列信息。

另一方面，随着计算机计算能力提升，网络传输能力的提高，各种终端设备的显示技术提高。其中一个明显的特点便是显示设备的刷新率显著提高(120Hz或更高)，进而给观影者带来更加平滑的显示效果，动态场景更加细腻。这也要求相应的视频能够具备更高的帧率。但是高帧率的视频序列获取并不容易，尤其是在某些情况为了降低复杂度可以降低视频帧率，例如前面的深度获取过程，或者原始视频帧率本身就偏低。即便视频本身帧率足够高，但是为了降低网络传输的负担，也会有降低帧率的需求。所以为了不影响显示端的效果，帧率提升技术显得尤其重要。

传统的帧率提升技术，利用视频的时域相关性，采用运动估计的方式，合成虚拟帧进而提高视频的整体帧率，但是对于立体视频中深度图序列的帧率提升，如果仅仅采用双向运动估计等传统的时域插值技术，并不能保证得到的深度信息足够准确，而获取深度信息的根本目的还是虚拟视点的合成，如果能在帧率提升的过程中考虑合成虚拟视点的效果，则使得深度图的可靠性得到极大地提升，也使得合成的立体视频更具观赏性。

发明内容

本发明的目的是提供一种立体视频深度图序列的帧率提升方法，以解决现有帧率提升技术在提升深度图序列时不可靠的技术问题。

为达上述目的，本发明提供的一种立体视频深度图序列的帧率提升方法包括以相邻两帧深度图为两个参考帧，获取中间深度图中每个宏块的深度信息，构造出中间深度图插入该相邻两帧深度图之间，其中，通过以下步骤获取中间深度图中宏块的深度信息：

双向运动估计，获取当前宏块的匹配代价C_D(v)、最小匹配代价C1及初始运动矢量v_D；

利用初始运动矢量v_D进行双向运动补偿，获取当前宏块的初始深度信息；

将最小匹配代价C1与设定的阈值T比较，若小于阈值T，将所述初始深度信息作为当前宏块的深度信息，当前宏块处理结束；否则执行下一步；

利用所述初始深度信息合成当前宏块对应虚拟视点的纹理块；

双向运动估计，计算所述纹理块的匹配代价C_P(v)；

用当前宏块的匹配代价C_D(v)和所述纹理块的匹配代价C_P(v)，计算联合匹配代价C_DP(v)，获取最终运动矢量v_DP；

用最终运动矢量v_DP进行双向运动补偿，获取当前宏块的深度信息。

在上述的立体视频深度图序列的帧率提升方法中，优选地，利用所述初始深度信息合成当前宏块对应虚拟视点的纹理块的方法包括：

通过公式

B_Disparity1(m,n)＝255-B_D1(m,n)

计算视差向量v1＝B_Disparity1(m,n)，其中B_D1(m,n)表示当前宏块B_D1中像素(m,n)的像素值，即初始深度信息；

通过公式

$B_{P_{12,1}}(m,n)=B_{P_{1,1}}(m+v1,n)$

合成纹理块的纹理信息，其中，表示当前宏块B_D1对应虚拟视点的纹理块表示当前宏块B_D1对应视点1的纹理块，m和n分别表示像素的横坐标和纵坐标。

在上述的立体视频深度图序列的帧率提升方法中，优选地，通过

C_DP(v)＝ω₁*C_D(v)+ω₂*C_P(v)

计算联合匹配代价C_DP(v)，以最小联合匹配代价对应的运动矢量作为最终运动矢量，其中ω₁和ω₂为加权值，ω₁和ω₂满足ω₁＝C_D(v)/(C_D(v)+C_P(v))和ω₁+ω₂＝1。

与现有帧率提升技术相比，本发明具有以下优点：

1)根据运动补偿获取的初始深度信息合成虚拟视点的纹理信息，通过计算虚拟视点的匹配代价，优化运动估计结果，从而使得深度信息更准确可靠。

2)在获取运动矢量之后，对结果进行判断，仅对于不可靠的运动估计结果进行优化处理，有效地保证了运算复杂度。

附图说明

图1为纹理图序列和深度图序列的示意图；

图2为一实施例深度图序列帧率提升方法中构造中间深度图的流程图；

图3为获取一个宏块的深度信息的流程图；

图4为双向运动估计的原理图。

具体实施方式

下面结合附图和实施例进一步说明本发明。

图1中第一列和第三列分别表示视点1(View1)和视点2(View2)的纹理图序列，第二列表示合成的虚拟视点(View12)的纹理图序列，第四列表示深度图(DepthMap)序列，其中，实线框表示已有的，虚线框表示合成的(虚拟的)，为了叙述方便，用P_1,n表示视点1的第n帧图像，P_2,n表示视点2的第n帧图像，P_12,n表示合成的虚拟视点的第n帧图像，D_n表示第n帧深度图。可以看出，已有的纹理图序列的帧率较高，已有的深度图序列的帧率较低。本发明的帧率提升方法就是在已有的相邻两帧深度图(如D₀和D₂)之间插入中间深度图(如D₁)，从而获得高帧率的深度图序列。

图2表示了中间深度图的构造方法。如图2所示，将中间深度图划分为若干固定大小(如16x16像素)的宏块，分别获取每个宏块的深度信息，就得到了中间深度图。

图3表示了获取一个宏块的深度信息的流程。下面结合图3详细说明获取中间深度图中宏块的深度信息的方法。

在步骤1中，进行双向运动估计，获取当前宏块的匹配代价C_D(v)、最小匹配代价C1及初始运动矢量v_D。

图4示意性地表示了双向运动估计的原理，其中：D₁为待合成的虚拟中间深度图，中间的实线矩形表示当前宏块B_D1。D₀和D₂为原始低帧率深度图序列中相邻的两帧深度图，它们中间的实线框分别表示D₀和D₂中与当前宏块B_D1相同位置的深度块B_D0(v)和B_D2(-v)，它们中的虚线框分别表示以深度块B_D0(v)、B_D2(-v)为中心的搜索区域(SearchRange)。v和-v分别表示前向和后向运动向量。

对当前宏块B_D1，在搜索区域内搜索，计算匹配代价C_D(v)，选取最小匹配代价C1对应的运动向量作为初始运动矢量v_D。

匹配代价C_D(v)＝||B_D0(v)-B_D2(-v)||²，B_D0(v)和B_D2(-v)分别是当前宏块B_D1按向量v平移后在D₀和D₂中的对应块。

最小匹配代价C1＝min(||B_D0(v)-B_D2(-v)||²)

初始运动矢量v_D＝(v_D(x),v_D(y))满足：v_D＝argmin(C_D(v))。

在步骤2中，利用初始运动矢量v_D进行双向运动补偿，获取当前宏块B_D1的初始深度信息。

根据步骤1中计算得到的初始运动矢量v_D，找到深度图D₀和深度图D₂中对应的最佳匹配块B_D0(v_D)和B_D2(-v_D)，逐像素取均值得到当前宏块B_D1的各个像素值，从而得到了当前宏块B_D1的初始深度信息，用公式可表示为

$B_{D1}=\frac{B_{D0}\left(v_D\right)+B_{D2}(-v_D)}{2}.$

在步骤3中，将最小匹配代价C1与设定的阈值T比较，若小于阈值T，认为运动估计结果可靠，将步骤2得到的初始深度信息作为当前宏块B_D1的深度信息，当前宏块B_D1处理完毕；否则，认为运动估计结果不够准确，继续执行步骤4。

在步骤4中，利用步骤2获取的所述初始深度信息合成当前宏块B_D1对应虚拟视点的纹理块

根据步骤2获取的当前宏块B_D1的初始深度信息及对应视点1的纹理块可以合成当前宏块对应虚拟视点(View12)的纹理块具体方法如下：

根据当前宏块B_D1的初始深度信息计算出视差图B_Disparity1：

B_Disparity1(m,n)＝255-B_D1(m,n)，

从而得到像素点(m,n)对应的视差向量v1＝B_Disparity1(m,n)，其中，B_D1(m,n)表示当前宏块B_D1中像素点(m,n)的像素值，即初始深度信息。也可以根据深度与视差成反比关系来计算视差向量。

通过公式

$B_{P_{12,1}}(m,n)=B_{P_{1,1}}(m+v1,n)$

计算纹理块中各像素点的像素值，从而得到纹理块其中，表示当前宏块B_D1对应虚拟视点(View12)的纹理块，表示当前宏块B_D1对应视点1的纹理块，表示纹理块中像素点(m,n)的像素值。

在步骤5中，双向运动估计，计算所述纹理块的匹配代价C_P(v)。

在纹理图P_12,0和P_12,2中，在与纹理块相应的搜索区域内，采用块匹配的方法对纹理块作双向运动估计，计算纹理块的匹配代价C_P(v)

$C_P\left(v\right)=\frac{{\left|\right|B_{P_{12,1}}-B_{P_{12,0}}\left(v\right)\left|\right|}^2+{\left|\right|B_{P_{12,1}}-B_{P_{12,2}}(-v)\left|\right|}^2}{2}$

和分别是当前纹理块按向量v平移后，在纹理图P_12，0和P_12,2中的对应块，与图4中所示情形类似。

在步骤6中，用当前宏块B_D1的匹配代价C_D(v)和所述纹理块的匹配代价C_P(v)，计算联合匹配代价C_DP(v)，获取最终运动矢量v_DP。

具体地，可以通过公式

C_DP(v)＝ω₁*C_D(v)+ω₂*C_P(v)

计算联合匹配代价C_DP(v)，其中ω₁和ω₂为加权值，其取值满足两个公式ω₁＝C_D(v)/(C_D(v)+C_P(v))和ω₁+ω₂＝1。

找出最小联合匹配代价C2＝min(C_DP(v))，以及最小联合匹配代价C2对应的运动矢量v_DP＝argmin(C_DP(v))，以最小联合匹配代价C2对应的运动矢量作为当前宏块B_D1的最终运动矢量v_DP。

在步骤7中，用最终运动矢量v_DP进行双向运动补偿，获取当前宏块B_D1的深度信息。

根据步骤6中计算得到的最终运动矢量v_DP，找到深度图D₀和深度图D₂中对应的最佳匹配块B_D0(v_DP)和B_D2(-v_DP)，逐像素取均值得到当前宏块B_D1的各个像素值，从而得到了当前宏块B_D1的深度信息，用公式表示为

$B_{D1}=\frac{B_{D0}\left(v_{DP}\right)+B_{D2}(-v_{DP})}{2}$

至此，当前宏块处理完毕。

然后检查当前图像所有宏块是否处理完毕，若处理完，则已经获得待合成的中间深度图像，否则进入下一宏块处理。

可以看出，上述帧率提升方法在考虑深度图序列相关性的基础上，同时根据获得的初始深度信息合成新的纹理图，根据纹理信息的匹配程度，反馈控制深度图的插值过程。其充分利用了立体视频的深度和纹理信息，在保证运算复杂度的前提下，提高生成视频的帧率，使得视频中的运动信息更加平滑，提高了观影者的舒适度。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种立体视频深度图序列的帧率提升方法，该方法包括以相邻两帧深度图为两个参考帧，获取中间深度图中每个宏块的深度信息，构造出中间深度图插入该相邻两帧深度图之间，其特征在于，通过以下步骤获取中间深度图中宏块的深度信息：

双向运动估计，获取当前宏块的匹配代价C_D(v)、最小匹配代价C1及初始运动矢量v_D；

利用初始运动矢量v_D进行双向运动补偿，获取当前宏块的初始深度信息；

将最小匹配代价C1与设定的阈值T比较，若小于阈值T，将所述初始深度信息作为当前宏块的深度信息，当前宏块处理结束；否则执行下一步；

利用所述初始深度信息合成当前宏块对应虚拟视点的纹理块；

双向运动估计，计算所述纹理块的匹配代价C_P(v)；

用当前宏块的匹配代价C_D(v)和所述纹理块的匹配代价C_P(v)，通过

C_DP(v)＝ω₁*C_D(v)+ω₂*C_P(v)

计算联合匹配代价C_DP(v)，以最小联合匹配代价对应的运动矢量作为最终运动矢量v_DP，其中ω₁和ω₂为加权值，ω₁和ω₂满足ω₁＝C_D(v)/(C_D(v)+C_P(v))和ω₁+ω₂＝1；

用最终运动矢量v_DP进行双向运动补偿，获取当前宏块的深度信息；

其中利用所述初始深度信息合成当前宏块对应虚拟视点的纹理块的方法包括：

通过公式

B_Disparity1(m，n)＝255-B_D1(m，n)

计算视差向量v1＝B_Disparity1(m，n)，其中B_D1(m，n)表示当前宏块B_D1中像素(m，n)的像素值，即初始深度信息；

通过公式

$B_{P_{12,1}}(m,n)=B_{P_{1,1}}(m+v1,n)$

合成纹理块的纹理信息，其中，表示当前宏块B_D1对应虚拟视点的纹理块表示当前宏块B_D1对应视点1的纹理块，m和n分别表示像素的横坐标和纵坐标。