CN102750694A - 基于局部最优置信传播算法的双目视频深度图求取方法 - Google Patents

Abstract

本发明提出了一种基于局部最优置信传播算法的双目视频深度图求取方法，其包括如下步骤：对两幅图像分别进行分割及区域划分；利用局部最优置信传播算法进行深度计算，对不同区域和不同消息值进行处理，所述消息值为像素视差信息；对所求深度图进行块融合和颜色填充。本发明通过改进置信传播算法的消息传播模式，在不同区域内进行单独传播；并改变消息传播范围，建立远距离像素点之间的联系，提高了深度图获取速度；同时对遮挡部分进行单独处理，使其不影响正确消息的传播；另外对分成的小块进行融合，并对物体整体进行颜色填充，大大减少块数，并使得块与块之间视差更加平滑。

Description

基于局部最优置信传播算法的双目视频深度图求取方法

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种基于局部最优置信传播算法的双目视频深度图求取方法。

背景技术

立体视频是一种能够使人产生立体感的新型视频技术，它可以使人通过视频看到与真实世界几乎完全一样的景象，产生真实感和临场感，所以必将成为未来多媒体技术的发展方向。目前，通常采用的立体视频体系结构为：同时传输两段视频，其中一段是待转换的平面视频序列，另一段是相对应的深度图序列，其包含了各帧中每个像素的深度信息，通过DIBR（Depth Image BasedRendering,基于深度图渲染）技术，获得真实世界场景在一个或多个方向上的虚拟视角，最终合成立体视频。

这种使用DIBR技术的立体视频体系结构，最重要的和最困难的一步就是深度图的获取，目前，一种获取方法是通过软件算法，由一对从不同视角拍摄到的场景图像恢复出场景的深度图，还有一种方法是通过对平面图像进行手工或半自动地处理，得到伪深度图。

但是，上述获取深度图的方法存在求取速度过慢，分块过多，边缘不精确，深度图不能够真实的反映场景物体的远近关系等众多缺陷。因此，减少分块数量并快精确的获取深度图是目前一个亟需解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于局部最优置信传播算法的双目视频深度图求取方法。

为了实现本发明的上述目的，本发明提供了一种基于局部最优置信传播算法的双目视频深度图求取方法，其包括如下步骤：

S1：对两幅图像分别进行分割及区域划分；

S2：利用局部最优置信传播算法进行深度计算，对不同区域和不同消息值进行处理，所述消息值为像素视差信息；

S3：对所求深度图进行块融合和颜色填充。

本发明通过改进置信传播算法的消息传播模式，在不同区域内进行单独传播；并改变消息传播范围，建立远距离像素点之间的联系，提高了深度图获取速度；同时对遮挡部分进行单独处理，使其不影响正确消息的传播，提高了精确度；另外对分成的小块进行融合，并对物体整体进行颜色填充，大大减少块数，并使得块与块之间视差更加平滑。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于局部最优置信传播算法的双目视频深度图求取方法的流程图；

图2是本发明一个优选实施例中提供的单帧场景图像对；

图3是本发明一个优选实施例中提供的利用局部最优置信传播算法求出的深度图；

图4是对图3中所示深度图进行块融合后的图形；

图5是对图4所示深度图进行颜色填充后的图形。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

图1是本发明基于局部最优置信传播算法的双目视频深度图求取方法的流程图，从图中可见，该基于局部最优置信传播算法的双目视频深度图求取方法包括如下步骤：

S1：对两幅图像分别进行分割及区域划分；

S2：利用局部最优置信传播算法进行深度计算，对不同区域和不同消息值进行处理，所述消息值为像素视差信息；

S3：对所求深度图进行块融合和颜色填充。

本发明基于局部最优置信传播算法的双目视频深度图求取方法的第一步为对两幅图像分别进行分割及区域划分。具体地，先对每一幅图像进行分割，利用分水岭变幻的图像分割方法。但直接的分水岭变化会产生严重的过分割现象，会使得错误区域过多，影响后面的深度图计算，所以本发明使用了标记分水岭变换来减少过分割现象。

首先，基于非下采样Contourlet变换来修正图像的梯度矩阵，然后，再对修正后的梯度矩阵做标记分水岭变换，最终得到图像的分割图，这样处理既减少了分水岭变换时产生的过分割现象，又较好的保持了图像中的边缘，得到较好的分割效果，最后，在已得到的图像分割结果的基础上，基于深度密度的区域提取方法，进一步判别分割后的子区域为边缘区域、平滑区域还是纹理区域。

对两幅图像进行分割后，针对分割结果按区域对其中的每个像素赋不同值，具体是对两幅图像按照从左至右，从上到下的顺序为不同区域的每个像素赋值，标记为1、2、3、4、……。对每个像素赋值后，再对两幅图像进行区域划分，方法为在两幅图像中分别按分割时的赋值进行检索，同一赋值的像素点划分为同一区域。具体是对两幅图像分别检索，先检索所有赋值为1的像素，将两幅图像检索到的像素的并集记为1号区域，同理，检索所有赋值为其他值的区域，记为各个不同的区域，直至图像上每个像素都被检索和标记过。这时，有的像素可能会同时处于两个区域，造成这种现象是因为有的像素因为视角的原因在左视图中处于前景的位置而在右视图中处于背景的位置，这部分像素就被视为物体的左遮挡点或右遮挡点。

然后，进行第二步：利用局部最优置信传播算法进行深度计算，对不同区域和不同消息值进行处理，所述消息值为像素视差信息。

具体地，传统的置信传播算法是在稠密视差场的连续性假设的基础上，将一幅图像的稠密视差场抽象为一种马尔科夫场，通过置信传播将四邻域内像素的视差信息在马尔科夫图上互相传递，通过迭代计算得到最终全局最优的视差估计结果。然而，在物体遮挡区域周围，遮挡物体与背景并没有直接联系，视差场并不能满足连续性假设，遮挡区域内的像素视差信息传递给非遮挡区域内的像素时，也就是一个错误消息的传递，会造成视差误匹配，减缓迭代的收敛速度，每次迭代的精度下降，并会影响最终的深度图结果。另外，在每次迭代过程中，每个像素只接收到四邻域内像素的消息，这使得距离较远的点传递一次消息需要很多次的迭代过程，使得算法达到收敛时需要的迭代次数非常高，虽然这样物体中间的点在迭代过程中不容易受到错误消息传递的影响，但是同时也很难接受到同一物体较远距离像素点的消息更新，这对算法的精度和速度都有影响。

针对以上问题，本发明采用局部最优置信传播算法进行处理，即是对已划分好的几个区域分别进行消息传播和迭代计算，用于减少遮挡区域错误消息传播对迭代计算时的影响，迭代计算的方法为将划分好的区域视为马尔科夫模型，为了加快同一区域内远距离像素点之间的联系，在每次迭代过程中每个像素可接收到区域内所有其他像素发出的消息。具体是对不同区域分别进行迭代计算，同一次迭代只在物体及左右遮挡区域内进行，可以减小传统方法中的遮挡位置发出的错误消息带来的影响，而且，在迭代过程中内，为了加快远距离像素与像素之间的消息传递速度，将每次迭代传递的消息改为：

$m_{p\→q}^t\left(f_q\right)=\underset{f_p\∈\mathrm{\Ω}}{\min }(D_p\left(f_p\right)+V(f_p-f_q)+\underset{s\∈N\left(p\right)\backslash q}{\mathrm{\Σ}}{m}_{s\→p}^{t-1}\left(f_p\right))$

其中，为第t次迭代时p点传输给点q的消息；

N(p)为p点的接受消息集，接收消息的象素q不包括在其中；

由于同一马尔科夫区域内像素与像素之间的影响与距离成反比，与消息值成正比，所以取

其中d_s为s点到p点的距离；

D_p(f_p)为p点视差为f_p时的非相似性测度；

V(f_p-f_q)为两象素分配视差f_p,f_q的视差不连续量，由式可知，它是视差的函数，采用截断的线性模型表示V(f_p-f_q)=min(λ|f_p-f_q|,ρ)，其中ρ为截断常量，λ为|f_p-f_q|的增长系数。

这样处理后可以大大降低遮挡区域像物体传递的错误消息的数目，可以增加迭代的速度。每次迭代中每个像素都能和同一区域内任意像素交换消息，使得即使距离很远的像素在几次迭代内也可以交换周围的视差信息，大大降低达到收敛所需的迭代次数，每次迭代结果也更加精确。

因为前面所划分的同一区域内也包含了物体的左遮挡和右遮挡部分，为了减少这部分造成的影响，在每次迭代过程中，本发明局部最优置信传播算法改为在马尔科夫网络和贝叶斯网络相结合的自适应混合网络上进行，这样可以将正确匹配视差去修正错误匹配视差，而错误匹配视差不会影响到正确匹配视差，从而使得全局能量最小化即迭代过程加快，具体做法在每次传播消息时进行判断，若同一区域内任意两像素之间的视差值之差大于阈值，则视差小的像素不再向视差大的像素点传递消息。在本实施方式中，阈值为30，即若同一区域内任意两像素之间视差值之差大于30，即视为其有一像素处于前景位置，另一像素处于遮挡位置，则视差小的像素不再往视差大的像素点传递消息，即遮挡位置的像素不再往前景位置的像素传递消息。

通过以上步骤，对于图2所示的本发明一个优选实施例中提供的单帧场景图像对，用局部最优置信传播算进行深度计算，得到如图3所示的深度图。

在进行深度计算后，进行第三步：对所求深度图进行块融合和颜色填充。传统方法中求取的深度图会分成很多的小块，有时还会出现横波纹的情况，这样使得在DIBR时可能有很多像素移到同一点上，对DIBR后的结果有很大影响，而且会留出很大空洞，传统的填补空洞方法无法解决等问题，所以针对这些问题需要做块的融合，同时减少相邻块的视差。在本实施方式中，对所求深度图的块融合包括第一次块融合和第二次块融合，第一次块融合是根据每一块中像素的多少进行块融合，第二次块融合是根据相邻像素之间深度值的大小进行块融合。对所求深度图第一次块融合的方法为检测出分成的不同块，若同一块中所含像素少于像素最少阈值，则该块中所有像素值被赋为该块中心位置下方第一个不属于该块的点的值。在本实施方式中，像素最少阈值为400，第一次块融合的具体方法为：依据标记好的检测出的不同的块，从所含像素最少的块开始处理，提取每块中所包含的像素数，若这个块中所含像素数小于400，则认为该块属于求取深度图时造成的错误的块，需要重新赋值，则从该块中心位置向下搜索，将搜索到的第一个不属于该块的点的值赋予这个块，若没有搜索到点则此块深度不变。在本实施方式中，检测不同块的方法为：从任意像素开始，向上下两个方向检索，若与该像素深度值相同，则视为同一块，且继续沿此方向检索，若与该像素深度值不同，则停止此方向检索，当上下两个方向检索停止后，对此块中每个像素向左右两个方向检索，若与该像素深度值相同，则视为同一块，且继续沿此方向检索，若与该像素深度值不同，则停止此方向检索。当所有检索停止后，视为检测到一个独立的块并标记，然后从未检测过的位置开始检测另外的块，当所有像素检测完成后视为检测完毕。

然后，对所求深度图作第二次快融合，第二次块融合的方法为：从深度图最左一列每个像素开始向右检测，若后一像素深度值减去前一像素深度值小于深度阈值，则后一像素被赋为前一像素深度值；从深度图最上一行每个像素开始向下检测，若后一像素深度值减前一像素深度值小于深度阈值，则后一像素被赋为前一像素深度值。在本实施方式中，深度阈值为20%。图4即是对图3中所示深度图进行块融合后的图形。

在本实施方式中，对所求深度图进行颜色填充的方法为利用漫水填充算法对深度图进行颜色填充。首先，在图像上选择一个种子点，以此作为基准点，把邻近区域所有相似点填充上同样的深度值，即在某个连续的区域内，当临近像素点位于给定的深度值范围内或在原始种子点深度值范围内时，为这个点涂上选定种子点的深度值。具体方法为，先寻找种子点，搜索种子点的方法为先统计所有点的深度值，当深度值为大于第一定值且出现概率最高的值时，取最后一个寻找到的点作为种子点，在本实施方式中，取第一该定值为100，如果一个像素点的深度值不低于其四邻域点深度值减去第二定值且不高于其加上第二定值时，那么该点将被染色，也就是将被赋值为与种子点一样的深度，在本实施方式中，该第二定值为20。图5即是对图4所示深度图进行颜色填充后的图形。

本发明针对双目视频深度图求取过程中目前存在的一个像素的消息只与其四邻域的像素传递，使得一幅图像需要很大迭代次数才能收敛；在遮挡部分并不属于马尔科夫模型，若完全的马尔科夫模型进行传递会使错误消息流入置信传播的迭代网络中，对精度和速度都有很大影响；传统方法中求取的深度图会分成很多的小块，有时还会出现横波纹的情况，DIBR时可能有很多像素移到同一点上，对DIBR后的结果有很大影响，而且会留出很大空洞，传统的填补空洞方法无法解决等问题。本发明通过改进置信传播算法的消息传播模式，在不同区域内进行单独传播；并改变消息传播范围，建立远距离像素点之间的联系，提高了深度图的获取速度；同时对遮挡部分进行单独处理，使其不影响正确消息的传播，提高了精确度；另外对分成的小块进行融合，并对物体整体进行颜色填充，大大减少块数，并使得块与块之间视差更加平滑。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (11)

1.一种基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，包括如下步骤：

S1：对两幅图像分别进行分割及区域划分；

S2：利用局部最优置信传播算法进行深度计算，对不同区域和不同消息值进行处理，所述消息值为像素视差信息；

S3：对所求深度图进行块融合和颜色填充。

2.如权利要求1所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，所述对两幅图像分别进行分割的方法为：将两幅图像分别进行分割，针对分割结果按区域对其中的每个像素赋不同值。

3.如权利要求1或2所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，所述对两幅图像进行区域划分的方法为：在两幅图像中分别按分割时的赋值进行检索，同一赋值的像素点划分为同一区域。

4.如权利要求1所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，所述局部最优置信传播算法为：对已划分好的几个区域分别进行消息传播和迭代计算，用于减少遮挡区域错误消息传播对迭代计算时的影响。

5.如权利要求4所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，在每个区域内进行迭代计算的方法为：将划分好的区域视为马尔科夫模型，为了加快同一区域内远距离像素点之间的联系，在每次迭代过程中每个像素可接收到区域内所有其他像素发出的消息。

6.如权利要求5所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，在每次迭代过程中，若同一区域内任意两像素之间的视差值之差大于阈值，则视差小的像素不再向视差大的像素点传递消息。

7.如权利要求1所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，对所求深度图的块融合包括第一次块融合和第二次块融合，所述第一次块融合根据每一块中像素的多少进行块融合，所述第二次块融合根据相邻像素之间深度值的大小进行块融合。

8.如权利要求7所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，对所求深度图第一次块融合的方法为：检测出分成的不同的块，若同一块中所含像素少于像素最少阈值，则该块中所有像素值被赋为该块中心位置下方第一个不属于该块的点的值。

9.如权利要求8所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，检测不同块的方法为：从任意像素开始，向上下两个方向检索，若与该像素深度值相同，则视为同一块，且继续沿此方向检索，若与该像素深度值不同，则停止此方向检索，当上下两个方向检索停止后，对此块中每个像素向左右两个方向检索，若与该像素深度值相同，则视为同一块，且继续沿此方向检索，若与该像素深度值不同，则停止此方向检索。当所有检索停止后，视为检测到一个独立的块并标记，然后从未检测过的位置开始检测另外的块，当所有像素检测完成后视为检测完毕

10.如权利要求7所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，对所求深度图第二次块融合方法为：从深度图最左一列每个像素开始向右检测，若后一像素深度值减去前一像素深度值小于深度阈值，则后一像素被赋为前一像素深度值；从深度图最上一行每个像素开始向下检测，若后一像素深度值减前一像素深度值小于深度阈值，则后一像素被赋为前一像素深度值。

11.如权利要求1所述的基于局部最优置信传播算法的双目视频深度图求取方法，其特征在于，对所求深度图进行颜色填充的方法为：利用漫水填充算法对深度图进行颜色填充。

Images