CN109194888A - 一种针对低质量深度图的dibr自由视点合成方法 - Google Patents

Abstract

本发明公布了一种针对低质量深度图的DIBR自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图像；包括：提取深度图与彩色图的边缘信息，进行边缘的扩展对齐；逐列平滑深度图；正向投影到虚拟视点的位置；得到过滤后的位于虚拟视点的深度图；进行反向投影，得到位于虚拟视点位置的两张投影彩色图；相互补全对应空缺的图像信息；计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；根据LR和RL移动左图和右图中的像素；进行图像融合，得到合成图。

Description

一种针对低质量深度图的DIBR自由视点合成方法

技术领域

本发明属于数字视频处理技术领域，涉及三维空间中的自由视点合成技术，尤其涉及一种针对低质量深度图的Depth Image Based Rendering(DIBR)自由视点合成方法。

背景技术

目前，新一代电视视频播放技术正在蓬勃发展。传统的提供单一观看视角的播放方式，已经难以满足当代消费者对于更自由的观看视角的需求。因此，自由视点合成技术应运而生。通过提供多个指向观看场景的具有一定间隔视角的彩色图与对应深度图，可以通过自由视点合成技术合成在一定范围的虚拟位置观看到的图像。

目前合成虚拟视点的算法中，根据应用环境的不同，有不同的处理策略。本方法可以处理水平放置的多个相机的情况，也可以处理多个相机呈环形排列的情况。传统的基于DIBR的算法，往往将投影在虚拟视点的图像直接进行融合。实验发现，只有在深度图质量足够优秀的情况下，直接融合才可以产生质量较好的结果。但是对于低质量的深度图，由于投影的结果往往存在误差，因此直接融合并不能产生较好的结果。实验发现，对于低质量的深度图，传统的算法将会导致鬼影、空洞、扭曲等等问题。

发明内容

为了克服上述现有技术的不足，本发明提供一种针对低质量深度图的DIBR自由视点合成方法，实现在虚拟视点中合成高质量的图像。

本发明的核心是：为解决现有的基于DIBR的自由视点合成中出现图像鬼影、空洞、扭曲等问题，提出针对低质量深度图的自由视点合成方法，针对低质量深度图进行一系列的修正处理，比如进行局部深度平滑、局部光流校正、边缘扩展等。通过修复深度图，实现在虚拟视点合成高质量的图片。

本发明提供的技术方案是：

一种针对低质量深度图的Depth Image Based Rendering(DIBR)自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图片；包括如下步骤：

1)对于输入的彩色图与深度图，首先提取深度图与彩色图的边缘信息，进行边缘的扩展对齐，使得深度图中部分边缘的错误得到修正；

输入图像包括各个不同位姿的相机拍摄得到的图像，包括彩色图与深度图。其中深度图可由深度估计的算法得到的。

2)随后，逐列平滑深度图，使得深度图图像中每一列的深度值，都不会出现过大的突变，本实验中以最大突变量的10％作为判别深度变化是否过大的阈值；

3)利用步骤2之后的深度图以及输入的虚拟视点的位姿(三维空间中相对坐标原点的平移与旋转量)，正向投影到虚拟视点的位置，该位置由用户自行确定，一般位于输入的多个相机之间。由于投影之后的深度图往往存在裂纹，具体实施时优选使用中值滤波过滤，得到过滤后的位于虚拟视点的深度图，左图投影深度图为LD，右图投影深度图为RD；

4)利用滤波过滤之后的位于虚拟视点的深度图以及在虚拟位置周围最近的左右两张原始输入的彩色图，作为左图和右图，进行反向投影，得到位于虚拟视点位置的两张投影彩色图；

5)对于步骤4)得到的两张投影彩色图，相互补全对应空缺的图像信息，利用现有的光流算法对两张投影彩色图进行左右对齐，得到左图相对右图的偏移f₁，以及右图相对左图的偏移f₂。其中，f₁与f₂均包含图像水平与垂直方向。本实验中选择Deep Flow光流算法；

6)根据左右对齐的偏移f₁和偏移f₂，计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；分别根据LR和RL移动左图和右图中的像素；

假设虚拟视点中心与左图的视点中心的距离为l₁,与右图的视点中心的距离为l₂。可知，左图相对右图的校准偏移为LR，LR＝f₁*(l₁/(l₁+l₂)),右图相对左图的校准偏移为RL，RL＝f₂*(l₂/(l₁+l₂))。对于左图中的像素(x_i,y_i),移动到(x_i+LR_x,y_i+LR_y)位置，同理，右图中的像素(x_i,y_i)移动到(x_i+RL_x,y_i+RL_y)位置；

7)下面进行图像融合，得到合成图I_v；

具体实施时，使用alpha blending算法进行融合；利用虚拟位置与左右图的位置关系，设定左图权重与右图权重；当位于正中时，两者权重均为0.5，直接加权得到合成图；本方法中设定左图权重为l₂/(l₁+l₂)，右图权重为l₁/(l₁+l₂)。

8)由于合成图I_v中若存在局部空缺，利用图像修补算法进行修补；

本发明具体实施时，选用经典的FMM算法；

9)由于图像边缘往往存在一定的突变，为此我们对I_v边缘进行平滑。从LD与RD中分别提取边缘LE₁与LE₂，从修补之后的I_v中提取边缘E₃，对I_v中LE₁与LE₂区域进行中值滤波，对E₃区域进行高斯模糊，最终得到边缘平滑之后的合成图像I_v’。

通过上述针对低质量深度图的DIBR自由视点合成方法步骤，实现在虚拟视点中合成得到高质量的图像。

上述针对低质量深度图的DIBR自由视点合成方法中，步骤1)采用一种彩色图与深度图边缘对齐的方法。具体为：

11)首先提取输入深度图与彩色图的边缘，检测深度图边缘的前景边缘与背景边缘；

12)进行第一次检测：对于前景边缘的背景方向(左/右)，检测一定范围中，是否存在彩色图的边缘，如果没有，则认为该边缘不必扩展对齐；如果有，则进行第二次检测；

13)进行第二次检测：检测前景边缘的前景方向在一定范围中(本方法具体实施时选择20个像素，具体值可以由根据输入图像尺寸进行手动调节)是否存在彩色图边缘，如果有，则认为该边缘属于前景，不必扩展；否则，将该深度前景边缘，沿着背景方向，用最近的前景深度值替换路径中的背景深度值，直到彩色图边缘。

上述流程中，第一次检测背景方向是否有彩色图的边缘是为了初步筛选是否需要扩展，此时存在彩色图边缘说明当前深度边缘有一定可能属于错误边缘区域，但也有可能依然属于正确边缘，因为找到的彩色图边缘可能属于前景边缘；第二次检测前景方向则是为了避免第一次中遇到的彩色图边缘属于前景边缘，没有第二次检测，可能导致较小区域中的正确的背景被设置为前景。具体实施时，如附图2，le1为前景边缘，在前景、背景方向中寻找彩色图的边缘le2与le3。对于le1上半段，在背景方向中存在背景且前景方向不存在前景，则扩展，对于le1下半段，则不进行扩展。

上述针对低质量深度图的DIBR自由视点合成方法中，步骤5)、6)采用一种能够解决传统DIBR中由于深度不准确导致投影图错位的方法。正向投影得到虚拟位置深度图，并由此通过反向投影得到虚拟位置的彩色图时，由于左图与右图的深度存在一定误差，因此此时的彩色图之间存在较大、无法忽视的错位。本发明使用Deep Flow光流算法，计算左图与右图的光流偏移f₁与f₂，然后根据虚拟视点位置相对于左图与右图的位置的比例l₁/(l₁+l₂)与l₂/(l₁+l₂)，得到左图与右图的偏移量LR＝f₁*(l₁/(l₁+l₂))与RL＝f₂*(l₂/(l₁+l₂))，由此进行左图右图位置校正，左图中的像素(x_i,y_i),移动到(x_i+LR_x,y_i+LR_y)位置，同理，右图中的像素(x_i,y_i)移动到(x_i+RL_x,y_i+RL_y)位置。该方法可以有效缓解由于深度不准确导致的错位，明显提高图像质量。虚拟视点相对左右图的位置，如图3所示。

与现有技术相比，本发明的有益效果是：

本发明提供一种针对低质量深度图的DIBR自由视点合成方法，针对低质量深度图进行一系列的修正处理，包括进行局部深度平滑、局部光流校正、边缘扩展等。通过修复深度图，实现在虚拟视点合成高质量的图片。

相比于现有技术的输入需要高质量的深度图与彩色图，本发明利用低质量的深度图与高质量的彩色图，也可以产生高质量的虚拟视点合成图。

附图说明

图1是本发明实施例中针对低质量深度图的虚拟视点合成方法的流程框图。

图2是本发明实施例中彩色图与深度图边缘对齐的边缘处理方法示意图；

其中，le1为前景边缘；le2与le3分别为彩色图的边缘。

图3是本发明实施例中虚拟相机位置相对左右图的位置；

其中，l1、l2分别是虚拟视点距离左相机和右相机的距离。

具体实施方式

下面结合附图和实施例，对本发明进行详细的描述，但不以任何方式限制本发明的范围。

本发明提供一种针对低质量深度图的DIBR自由视点合成方法，针对低质量深度图进行一系列的修正处理，比如进行局部深度平滑、局部光流校正、边缘扩展等。通过修复深度图，实现在虚拟视点合成高质量的图片。

图1所示是本发明实施例中针对低质量深度图的虚拟视点合成方法流程，包括如下步骤：深度图根据对应彩色图作边缘修复；逐列修复深度突变；深度图正向投影到虚拟位置；投影的深度图作中值滤波；滤波之后的深度图利用反向投影，得到左右最近的彩色图在虚拟位置的投影图；彩色投影图相互补空缺纹理后作光流匹配，根据虚拟视点位置在左右图位置中的比率，得到左右图的矫正位置并矫正；矫正之后的两图可直接加权，加权量为上步中左右图各自的比率；对左右深度图的边缘所在区域在合成图上的位置，进行均值滤波，对合成图自身边缘进行高斯滤波；输出合成图。所述深度图边缘修复如下：针对深度边缘所在区域的深度大小，划分前景边缘与背景边缘，可知前景边缘与背景边缘直接相邻且中间没有空隙；如果前景边缘沿着背景区域方向搜索一定距离时寻找到彩色图边缘，且沿着前景方向搜索一定距离没有找到彩色图边缘，则将前景边缘沿背景区域方向，替换背景深度值为最近距离的前景深度值，直到彩色边缘。所述光流校正如下：针对低质量深度图导致左右投影图错位的现象，将两张投影图互相填补各自的空缺区域，使用任意可靠的稠密光流方法，计算左右图的相对偏移；根据虚拟视点在左右图中的相对位置，得到左右图各自需要校正的量，由此将左右图依次校准到目标位置。

实施例一：

该实施例中，针对提供的低质量深度图，首先进行深度图与彩色图的边缘对齐操作，进行前景边缘扩展。在具体实施时，利用Canny算子检测彩色图与深度图的边缘，此时的阈值不可调节过小，导致边缘纹理过多。对于深度图边缘，通过判别其前景边缘方向与背景边缘方向，可得相邻的两组边缘，他们分别属于前景与背景。我们针对前景边缘，在背景方向上，进行搜索。如果在一定长度方向上，比如20个像素，存在彩色图边缘，则继续在前景边缘的前景方向中进行搜索，此时的搜索距离稍小，比如10个像素。如果此时，存在彩色图边缘，则不进行边缘扩展，如果不存在，则将前景边缘向背景方向中进行扩展，用最近的前景深度值替换背景深度值，直到遇到彩色图的边缘。图2是本发明实施例中彩色图与深度图边缘对齐的边缘处理方法示意图，在图2中，即le1上半段，需要进行扩展，le1的下半段，不需要进行扩展。随后，在整个系统中，我们进行深度图的逐行过滤，避免出现较大的突变，此时的方法为在深度突变的像素边缘，利用前后3个像素作线性变化，用于替换原始的像素值。随后，我们首先进行深度图的正向投影，得到在虚拟位置的深度图。对该深度图作中值滤波，并反向投影，得到虚拟位置的左右图的彩色投影图。左右投影图作稠密光流进行匹配，得到左图相对右图，右图相对左图的偏移量。图3是本发明实施例中虚拟相机位置相对左右图的位置示意，根据图3所示l1与l2，确定虚拟位置在左右图中的相对距离，得到权值l1/(l1+l2)，由此可得左右图到虚拟位置的各自偏移量，进行校正。校正之后的图直接加权，并在合成图中找到左右投影深度图的边缘，进行中值滤波，在合成图的边缘上，进行高斯滤波。

实施例二：

该实施例中，针对提供的低质量深度图，首先进行深度图与彩色图的边缘对齐操作，进行前景边缘扩展。在具体实施时，利用Canny算子检测彩色图与深度图的边缘，此时的阈值不可调节过小，导致边缘纹理过多。对于深度图边缘，通过判别其前景边缘方向与背景边缘方向，可得相邻的两组边缘，他们分别属于前景与背景。我们针对前景边缘，在背景方向上，进行搜索。如果在一定长度方向上，比如20个像素，存在彩色图边缘，则继续在前景边缘的前景方向中进行搜索，此时的搜索距离稍小，比如10个像素。如果此时，存在彩色图边缘，则不进行边缘扩展，如果不存在，则将前景边缘向背景方向中进行扩展，用最近的前景深度值替换背景深度值，直到遇到彩色图的边缘。在图2中，即le1上半段，需要进行扩展，le1的下半段，不需要进行扩展。随后，在整个系统中，我们进行深度图的逐行过滤，避免出现较大的突变，此时的方法为在深度突变的像素边缘，利用前后3个像素作线性变化，用于替换原始的像素值。随后，我们首先进行深度图的正向投影，得到在虚拟位置的深度图。对该深度图作中值滤波，并反向投影，得到虚拟位置的左右图的彩色投影图。左右投影图作稠密光流进行匹配，得到左图相对右图，右图相对左图的偏移量。根据图3所示l1与l2，确定虚拟位置在左右图中的相对距离，得到权值l1/(l1+l2)，由此可得左右图到虚拟位置的各自偏移量，进行校正。校正之后的图直接加权，并在合成图中找到左右投影深度图的边缘，进行中值滤波，在合成图的边缘上，进行高斯滤波。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种针对低质量深度图的DIBR自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图像；包括如下步骤：

1)输入彩色图与深度图，提取深度图与彩色图的边缘信息，进行边缘的扩展对齐，修正深度图中的边缘错误；

2)随后逐列平滑深度图，使得深度图图像中每一列的深度值无过大的突变；

3)输入虚拟视点的位姿；利用步骤2得到的深度图和输入的虚拟视点的位姿，正向投影到虚拟视点的位置；通过滤波过滤得到过滤后的位于虚拟视点的深度图；左图投影深度图记为LD，右图投影深度图记为RD；

4)利用过滤后的位于虚拟视点的深度图和输入的离虚拟位置最近的左右两张彩色图，作为左图和右图，进行反向投影，得到位于虚拟视点位置的两张投影彩色图；

5)对于步骤4)得到的两张投影彩色图，相互补全对应空缺的图像信息，利用光流算法对两张投影彩色图进行左右对齐，得到左图相对右图的偏移f₁，以及右图相对左图的偏移f₂；其中，f₁与f₂均包含图像水平与垂直方向；

6)根据左右对齐的偏移f₁和偏移f₂，计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；分别根据LR和RL移动左图和右图中的像素；

7)进行图像融合，得到合成图I_v；

8)若合成图I_v中存在局部空缺，利用图像修补算法进行修补，得到修补之后的图；

9)对存在突变的I_v的图像边缘进行平滑，得到边缘平滑之后的合成图像I_v’；

通过上述步骤，针对低质量深度图进行DIBR自由视点合成，实现在虚拟视点合成高质量的图片。

2.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤1)采用彩色图与深度图边缘对齐的方法，具体执行如下操作：

11)首先提取输入深度图与彩色图的边缘，检测深度图边缘的前景边缘与背景边缘；

12)进行第一次检测初步筛选是否需要扩展：对于前景边缘的背景方向，检测一定范围中是否存在彩色图的边缘；如果没有，则该边缘不扩展对齐；如果有，则进行第二次检测；

13)进行第二次检测，避免第一次检测将小区域中的正确的背景设置为前景；具体地：检测前景边缘的前景方向在一定范围中是否存在彩色图边缘；如果有，则该边缘属于前景，不必扩展；否则，将该深度前景边缘，沿着背景方向，采用最近的前景深度值替换路径中的背景深度值，直到彩色图边缘。

3.如权利要求2所述针对低质量深度图的DIBR自由视点合成方法，其特征是，所述一定范围可根据输入图像尺寸进行手动调节；优选地，选择20个像素。

4.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，所述光流算法具体采用Deep Flow光流算法，有效缓解由于深度不准确导致的错位，提高图像质量；具体执行如下操作：

首先计算左图与右图的光流偏移f₁与f₂；

然后根据虚拟视点位置相对于左图与右图的位置的比例l₁/(l₁+l₂)与l₂/(l₁+l₂)，得到左图与右图的偏移量LR＝f₁*(l₁/(l₁+l₂))与RL＝f₂*(l₂/(l₁+l₂))，由此进行左图右图位置校正；其中，虚拟视点中心与左图的视点中心的距离为l₁,与右图的视点中心的距离为l₂；

将左图中的像素(x_i,y_i),移动到(x_i+LR_x,y_i+LR_y)位置；

将右图中的像素(x_i,y_i)移动到(x_i+RL_x,y_i+RL_y)位置。

5.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤1)输入图像为利用各个不同位姿的相机拍摄得到的图像，包括彩色图与深度图；所述深度图可由深度估计算法得到的。

6.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤2)具体以最大突变量的10％作为阈值，用于判别深度变化是否过大。

7.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤3)中，虚拟视点的位置优选位于输入的多个相机之间，可由用户自行确定；和/或，所述滤波过滤使用中值滤波过滤。

8.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤7)具体采用alpha blending算法进行图像融合；利用虚拟位置与左右图的位置关系设定左图权重与右图权重，通过加权计算得到合成图I_v。

9.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤8)所述图像修补算法选用经典的FMM算法。

10.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤9)对I_v边缘进行平滑采用的方法是：

从LD与RD中分别提取得到左图的投影深度图的边缘LE₁、右图的投影深度图的边缘LE₂；从修补之后的I_v中提取得到边缘E₃；对I_v中LE₁与LE₂区域进行中值滤波；对E₃区域进行高斯模糊；由此得到边缘平滑之后的合成图像I_v’。