CN102447932B - 自由视点视频中视点的重建方法 - Google Patents

Abstract

本发明公开了一种自由视点视频中特定视点的重建方法，包括以下步骤：输入任意两路参考视频序列和目标视点的深度图序列，提取两路参考视频序列的运动匹配信息，并根据运动匹配信息确定两路参考视频序列的最大视差范围，分别计算两路参考视频序列、以及目标视点的深度图序列的边缘信息，分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息，根据运动匹配信息，分别从两路参考视频序列中将其与深度图序列匹配的区域中的像素值填充到新的视频区域中，以形成两个新的视点视频序列，将两路新的视点视频序列合并为初始目标视点视频序列，并对初始目标视点视频序列进行补偿处理，对初始目标视点视频序列进行双边滤波处理。

Description

自由视点视频中视点的重建方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及到一种自由视点视频中视点的重建方法。

背景技术

自由视点视频处理是立体视频处理技术中的一个关键问题。目前广泛应用的立体视频观赏方式只能对特定角度的立体视频进行观赏，而自由视点视频处理技术能够提供更多的观赏角度，用户可以交互式设定感兴趣的观赏角度的立体视频，利用自由视点视频处理方法就能够得到对应角度的立体视频。这种处理技术能够为用户提供更为灵活的观赏方式，目前是该领域的研究热点。

在自由视点视频的重建中，原视频与深度图是必需的两个原始介质。原视频通常是使用一组平行摄像机拍摄的多视点视频序列，而深度图一般是通过这一组视频序列进行计算得到的。目前通过多视点视频进行深度图计算的方法有很多，一些算法已经比较成熟，能够得到非常精确的深度图，因此本发明中不讨论深度图的求取过程。在自由视点的重建过程中，一般都需要目标视点相邻的两路或多路视频序列。对于使用两路视频序列的算法，通过深度图求取算法计算得到中间视点深度，然后利用立体视频绘制算法计算目标视点的图像，这种算法计算准确程度不够，实际应用中使用范围较小；而对于使用多路视频序列的算法，首先需要通过两次计算得到特定序列相邻两路视频序列的深度图，然后将这两路序列作为参考视点视频序列，利用参考视点及其深度图进行中间视点的重建，可以看到这种方法计算复杂度较高，但得到的视频质量较好。

在自由视点视频重建的过程中，会遇到已经得到目标视点深度图来进行视点重建的情况。此时，使用上面两种情况都不能直接进行深度图计算，都需要相应的其他计算才能够得到目标视点，这无疑增加了运算的复杂度。

发明内容

本发明的目的旨在提供一种自由视点视频中视点的重建方法，其能够得到较好的重建视频质量，同时计算的复杂度低。

本发明是通过以下方案实现的：

一种自由视点视频中特定视点的重建方法，包括以下步骤：输入多视点视频中任意两路参考视频序列和目标视点的深度图序列，提取两路参考视频序列的运动匹配信息，并根据运动匹配信息确定两路参考视频序列的最大视差范围，分别计算两路参考视频序列的边缘信息，以及目标视点的深度图序列的边缘信息，使用边缘匹配的方法分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息，根据运动匹配信息，分别从两路参考视频序列中将其与深度图序列匹配的区域中的像素值填充到新的视频区域中，以形成两个新的视点视频序列，利用加权计算将两路新的视点视频序列合并为初始目标视点视频序列，并对初始目标视点视频序列进行补偿处理，对初始目标视点视频序列进行双边滤波处理。

提取两路参考视频序列的运动匹配信息的步骤是通过块匹配或光流的方法得到。

根据运动匹配信息确定两路参考视频序列的最大视差范围的步骤是通过对运动匹配信息进行直方图统计以找到最大值的方法得到。

分别计算两路参考视频序列的边缘信息，以及目标视点的深度图序列的边缘信息的步骤是通过索贝尔算法得到。

使用边缘匹配的方法分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息的步骤是采用轮廓矩匹配的方法得到。

本发明的方法还包括采用线性偏移方法将两路参考视频序列中与深度图序列不匹配的区域中的像素值填充到新的视频区域中的步骤。

采用线性偏移方法将两路参考视频序列中与深度图序列不匹配的区域中的像素值填充到新的视频区域中的步骤包括：设定偏移方程L_shift＝aD+b，其中L_shift是偏移距离，D为深度值，a和b为方程参数，在两路参考视频序列中与深度图序列匹配的区域中选择两个不同深度的像素点，将像素点的深度值和偏移距离代入偏移方程得到a和b，通过偏移方程计算两路参考视频序列中与深度图序列不匹配的区域的偏移距离，取两路参考视频序列中与深度图序列不匹配的区域中的像素点，根据不匹配的区域的偏移距离进行坐标偏移，并将其填充至新的视频区域中。

利用加权计算将两路新的视点视频序列合并为初始目标视点视频序列的步骤是通过公式f＝αp₁+βp₂实现，其中p₁和p₂是两路新的视点视频序列中的像素信息，α和β是加权参数，它们的值介于0和1之间，且计算公式为

其中L₁和L₂分别为两路参考视频序列与深度图序列中对应图像的最大视差范围。

对初始目标视点视频序列进行补偿处理的步骤包括：对两路参考视频序列的运动匹配信息中静止的区域进行加权补偿，补偿公式为p＝0.5p_new+0.5p_old，其中p_new为初始目标视点视频序列的背景像素值，p_old为参考视频序列的背景像素值，p为补偿后的目标视点视频序列的像素值。

本发明包括以下优点：

(1)本发明通过视点重建之后，得到的目标视点视频质量较高，并且对输入没有严格的要求，能够更好的符合用户的应用需求；

(2)根据深度图进行的视点重建计算，视频场景中的立体信息得到了完全保留。通过计算最大视差范围，有效的限定了后面的边缘匹配范围，从而更好地保证了视图重建的准确性；

(3)使用双边滤波进行目标视点视图的后处理，有效降低了噪声对视频质量的影响。

附图说明

图1为本发明自由视点视频中视点的重建方法的流程图。

具体实施方式

如图1所示，本发明自由视点视频中视点的重建方法包括如下步骤：

(1)输入多视点视频中任意两路参考视频序列和目标视点的深度图序列：

具体而言，从内存中输入任意两个视点的视频序列图像，对这两幅图像进行运动信息计算，具体可以采用块匹配或者光流的方法得到两张视图的运动信息。使用块匹配拥有较高的计算速度，而使用光流能够得到更精确的运算精度；

(2)提取两路参考视频序列的运动匹配信息，并根据运动匹配信息确定两路参考视频序列的最大视差范围；

最大视差反映的是两个图像中运动的程度。在本步骤中，对运动信息进行直方图统计，去除其中孤立的最大值点，寻找概率密度较大的最大值点作为可能的最大视差范围。这里去除孤立点主要是为了防止噪声等因素对结果的干扰。

对于立体视频而言，一般前景物体的视差最大，因此通过运动信息匹配的方法能够初步确定两视频的最大视差范围，同时也可以初步确定场景的前景和背景区域范围。这一步中，由于目标视点是在两视点视频之间的，因此它与两参考视点的视差范围小于最大视差。

(3)分别计算两路参考视频序列的边缘信息，以及目标视点的深度图序列的边缘信息；

在本实施方式中，边缘信息的计算是使用Sobel边缘提取算法。

(4)使用边缘匹配的方法分别将两路参考视频序列的边缘信息与目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息；

边缘匹配的方法为轮廓矩匹配法，首先通过边缘信息建立轮廓，然后计算轮廓矩来进行轮廓矩匹配，找到两张视图中轮廓矩相差最小的两个轮廓认为是一个轮廓区域。这里轮廓矩匹配的最大距离受到上面第1步中运动匹配得到的最大视差范围的限制。

使用轮廓矩匹配法进行边缘匹配，可以有效的降低边缘变化造成的匹配不准确的现象，矩作为轮廓的一个特征量，对于局部的噪声不敏感，并且能够很好的消除轮廓的放缩、扭曲和变形对匹配结果的影响。

(5)根据运动匹配信息，分别从两路参考视频序列中将其与深度图序列匹配的区域中的像素值填充到新的视频区域中，以形成两个新的视点视频序列；

(6)采用线性偏移方法将两路参考视频序列中与深度图序列不匹配的区域中的像素值填充到新的视频区域中；

具体而言，首先设定偏移方程L_shift＝aD+b，其中L_shift是偏移距离，D为深度值，a和b为方程参数，然后，在两路参考视频序列中与深度图序列匹配的区域中选择两个不同深度的像素点，将像素点的深度值和偏移距离代入偏移方程得到a和b，随后，通过偏移方程计算两路参考视频序列中与深度图序列不匹配的区域的偏移距离，最后，取两路参考视频序列中与深度图序列不匹配的区域中的像素点，根据不匹配的区域的偏移距离进行坐标偏移，并将其填充至新的视频区域中。

(7)利用加权计算将两路新的视点视频序列合并为初始目标视点视频序列，并对初始目标视点视频序列进行补偿处理；

具体而言，加权计算是通过公式f＝αp₁+βp₂实现，其中p₁和p₂是两路新的视点视频序列中的像素信息，α和β是加权参数，它们的值介于0和1之间，且计算公式为

其中L₁和L₂分别为两路参考视频序列与深度图序列中对应图像的最大视差范围。

对初始目标视点视频序列进行补偿处理的步骤包括：对两路参考视频序列的运动匹配信息中静止的区域进行加权补偿，补偿公式为p＝0.5p_new+0.5p_old，其中p_new为初始目标视点视频序列的背景像素值，p_old为参考视频序列的背景像素值，p为补偿后的目标视点视频序列的像素值。

(8)对初始目标视点视频序列进行双边滤波处理。

双边滤波能够在保持边缘信息的情况下对图像内部区域进行平滑处理，可以有效的降低噪声水平，增强图像的质量。双边滤波的滤波函数如下：

$d_A=\frac{1}{W_A}\underset{B\∈S_A}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s^2}\left(\right|{\stackrel{\→}{x}}_A-{\stackrel{\→}{x}}_B\left|\right)\·G_{{\mathrm{\σ}}_r^2}\left(\right|I_A-I_B\left|\right)\·d_B$

$W_A=\underset{B\∈S_A}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s^2}\left(\right|{\stackrel{\→}{x}}_A-{\stackrel{\→}{x}}_B\left|\right)\·G_{{\mathrm{\σ}}_r^2}\left(\right|I_A-I_B\left|\right)$

其中d_A是A点深度值，I_A是A点颜色值，

表示A点的图像坐标，S_A是A所有的相邻点集合，W_A是一个归一化函数，

满足一个高斯分布。通过上一步得到的目标视点视频序列，视图中会存在一定量的噪声，以深度图为参考图像对该视点视频进行双边滤波操作，最终得到要求的给定深度图的目标视点视频序列。

根据本发明实施例的自由视点视频中目标视点重建方法，通过直接简便的视点重建之后，得到的目标视点视频质量较高，并且对输入没有严格的要求，能够更好的符合用户的应用需求。同时，根据深度图进行的视点重建计算，视频场景中的立体信息得到了完全保留。通过计算最大视差范围，有效的限定了后面的边缘匹配范围，从而更好地保证了视图重建的准确性。使用双边滤波进行目标视点视图的后处理，有效降低了噪声对视频质量的影响。

Claims (5)

1.一种自由视点视频中特定视点的重建方法，包括以下步骤：

输入多视点视频中任意两路参考视频序列和目标视点的深度图序列；

提取所述两路参考视频序列的运动匹配信息，并根据所述运动匹配信息确定所述两路参考视频序列的最大视差范围；

分别计算所述两路参考视频序列的边缘信息，以及所述目标视点的深度图序列的边缘信息；

使用边缘匹配的方法分别将所述两路参考视频序列的边缘信息与所述目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息；

根据所述运动匹配信息，分别从所述两路参考视频序列中将其与所述深度图序列匹配的区域中的像素值填充到新的视频区域中，以形成两个新的视点视频序列；

采用线性偏移方法将所述两路参考视频序列中与所述深度图序列不匹配的区域中的像素值填充到所述新的视频区域中，包括：

设定偏移方程L_shift＝aD+b，其中L_shift是偏移距离，D为深度值，a和b为方程参数；

在所述两路参考视频序列中与所述深度图序列匹配的区域中选择两个不同深度的像素点，将所述像素点的深度值和偏移距离代入所述偏移方程得到a和b；

通过所述偏移方程计算所述两路参考视频序列中与所述深度图序列不匹配的区域的偏移距离；

取所述两路参考视频序列中与所述深度图序列不匹配的区域中的像素点，根据所述不匹配的区域的偏移距离进行坐标偏移，并将其填充至所述新的视频区域中；利用加权计算将所述两路新的视点视频序列合并为初始目标视点视频序列，并对所述初始目标视点视频序列进行补偿处理，利用加权计算将所述两路新的视点视频序列合并为初始目标视点视频序列的步骤是通过公式f＝αp₁+βp₂实现，其中p₁和p₂是所述两路新的视点视频序列中的像素信息，α

括：对所述两路参考视频序列的运动匹配信息中静止的区域进行加权补偿，补偿公式为p＝0.5p_new+0.5p_old，其中p_new为初始目标视点视频序列的背景像素值，p_old为所述参考视频序列的背景像素值，p为补偿后的目标视点视频序列的像素值；

对所述初始目标视点视频序列进行双边滤波处理。

2.如权利要求1所述的重建方法，其特征在于，所述提取所述两路参考视频序列的运动匹配信息的步骤是通过块匹配或光流的方法得到。

3.如权利要求1所述的重建方法，其特征在于，所述根据所述运动匹配信息确定所述两路参考视频序列的最大视差范围的步骤是通过对所述运动匹配信息进行直方图统计以找到最大值的方法得到。

4.如权利要求1所述的重建方法，其特征在于，所述分别计算所述两路参考视频序列的边缘信息，以及所述目标视点的深度图序列的边缘信息的步骤是通过索贝尔算法得到。

5.如权利要求1所述的重建方法，其特征在于，所述使用边缘匹配的方法分别将所述两路参考视频序列的边缘信息与所述目标视点的深度图序列的边缘信息比较，以获取两部分运动匹配信息的步骤是采用轮廓矩匹配的方法得到。

Images