CN103905813A

CN103905813A - 基于背景提取与分区修复的dibr空洞填补方法

Info

Publication number: CN103905813A
Application number: CN201410148681.6A
Authority: CN
Inventors: 郭太良; 林志贤; 叶芸; 林金堂; 姚剑敏
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2014-04-15
Filing date: 2014-04-15
Publication date: 2014-07-02
Anticipated expiration: 2034-04-15
Also published as: CN103905813B

Abstract

本发明涉及一种基于背景提取与分区修复的DIBR空洞填补方法，首先利用视频序列重建背景图像和背景深度图：利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图；其次，计算画面中前景图像区域；最后，针对不同区域采取不同策略填补空洞。本发明对不同区域的空洞采取不同的填充方法，从而获得较为可靠和真实的填补效果，从实验结果来看，本文方法获得的PSNR数据优于其他算法，并且与真实视点比较的结构相似度达到99.1%，比传统方法提高超过10%。

Description

基于背景提取与分区修复的DIBR空洞填补方法

技术领域

本发明涉及一种基于背景提取与分区修复的DIBR空洞填补方法。

背景技术

近年来3D显示技术迅速发展，其基本原理是通过人的双眼接收两幅具有一定视差的图像，大脑将图像进行融合而形成立体感。常见的3D视频的获取方法是采用两个摄像机同时进行拍摄，获得左右两个视点的图像信息。另一个方法是采集一幅视频图像的同时，采集与之对应的深度图，深度图显示了视频中每个像素到摄像机的距离，然后通过基于深度图的绘制技术（DIBR）获得其他视点的图像。利用基于深度图的视点绘制方法可以从一个参考视点和一个对应的深度图绘制出新的视点图像。在这个视点绘制的过程中，由于在一个参考视点中无法包含用于绘制新视点的所有像素信息，基于深度图的视点绘制得到的视点中将会出现空洞区域，空洞填补是视点绘制的重要步骤。

目前常见的空洞填补方案可以分为两个类别：一种是先对深度图进行预处理，常见的深度图预处理方法有高斯滤波平滑处理（图1b为使用高斯平滑方法进行空洞填补的效果图，图1a为参考视点），目的是减小图像深度的不连续性，再通过DIBR绘制新视点，就可以得到空洞较小的视点，最后填补空洞；另外一种是直接使用DIBR进行视点绘制，然后再通过各种图像插值算法恢复空洞区域图像纹理（如图1c为使用插值算法进行空洞填补的效果图），一般是利用横向区域的像素进行图像插值，或者根据周围区域图像纹理进行填充。

新视点中出现的空洞主要有两个类型，一种是较小空洞，通常只有一两个像素的大小，这种空洞出现的原因是图像在重新投影映射过程中拉伸造成的。由于这种空洞较小，只要利用周围像素的信息进行填充就可以，不会对图像质量产生太大影响。另外一种空洞较大，这是由于在参考视点中被前景遮挡住的部分图像内容在新的视点中被暴露出来，却没有合适的像素可供填充。第二种空洞出现在物体的边缘，前景和后景的深度差越大，出现的空洞越明显。这种空洞往往面积较大，很难在不造成图像模糊的情况下进行填补。针对这些图像中出现的缺陷，需要一些特殊的空洞填补方法对空洞进行填补。

目前常见的空洞填补方案可以分为两个类别：

1）第一类是对深度图进行预处理的方法，例如先对深度图进行高斯平滑处理，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。由于空洞出现在深度不连续的区域，因此对深度图的平滑处理减轻了深度的不连续程度也就缩小了空洞的尺寸。再利用周围像素信息对空洞进行填补，由于空洞尺寸较小，所以填充也较为容易。然而对深度图的平滑预处理也会带来新的问题，就是改变了图像的几何参数，重新映射的图像将会产生几何变形。前景和背景的深度差越大，需要进行平滑处理的程度也越大，也就带来了更为严重的图像几何变形。为了缓解这个问题，通常采用的是非对称平滑过滤，针对不同的区域进行不同程度的平滑处理，平滑过滤的强度取决深度的不连续程度，这样可以一定程度避免不必要的平滑处理。也有采用缩小深度变化范围的方法，这样减小了视差也就减小了所产生的空洞尺寸，存在的缺点是减弱了图像的立体效果。这类方法虽然空洞填补区域较为平滑，但无法避免对原始图像整体效果的破坏。

2）第二类方法是则是先利用DIBR算法进行新视点绘制，再进行空洞填补，可以称之为后处理方法。后处理的常用方法是在空洞区域周围进行搜索获取可用的像素，搜索范围一般是背景区域，利用周围的像素计算出可用于填充空洞的像素颜色。例如为了填充空洞中的一个像素，先选取空洞边缘与该像素同行的左右第一个像素作为参考点，然后用横向插值算法插入像素。有的方法在上述方法基础上进行的改进，从周围区域中提取更多的参考点，或是加入像素的深度值作为参考，以提升填充的可靠性。同样也可以通过搜索空洞周围的线性图像结构，利用周围的小图像块进行空洞填充，使填充区域与周围有相同的结构或者纹理。然而插值得到的图像与真实图像存在一定偏差，图像填补的可靠性比较低，填补区域的图像产生了一定的失真。

发明内容

本发明的目的在于提供一种基于背景提取与分区修复的DIBR空洞填补方法。

为实现上述目的，本发明的技术方案是：一种基于背景提取与分区修复的DIBR空洞填补方法，包括如下步骤，

步骤S01：利用视频序列重建背景图像和背景深度图：利用视频序列和与之对应的深度图序列，比较每个像素点在每帧画面中所对应的深度值，将深度值最大时的像素作为背景图像的像素，通过逐帧比较获得真实的背景图像和与之对应的背景深度图；

步骤S02：计算画面中前景图像区域：采用了能量最小化的计算方法，将一个像素与周围像素之间的深度关系建立能量模型，判断像素属于前景区域还是背景区域，从而将前景与背景区域分割开来；

步骤S03：针对不同区域采取不同策略填补空洞：利用上述获得的前景区域，在前景部分的空洞填补采用区域插值，背景区域的空洞则利用步骤S01通过逐帧比较获得真实的的背景图像进行填充。

在本发明实施例中，所述步骤S02的具体过程如下，

采用能量最小化的方法获取每帧图像的前景掩膜图,并用矩阵M _t表示,对于第t帧图像，对于图像上的点p，当p点属于前景图像时 =0，否则

Figure 2014101486816100002DEST_PATH_IMAGE002

=1即p点属于背景图像，其中，M _t表达式如下：

前景掩膜图表示前景图像在原始视频中的位置和形状大小，通过最小化能量E来计算每一帧图像I _t的前景掩膜图M _t；其中E的表达式如下：

Figure 2014101486816100002DEST_PATH_IMAGE004

其中，

，

Figure 2014101486816100002DEST_PATH_IMAGE006

，

，

Figure 2014101486816100002DEST_PATH_IMAGE008

，

E ₁为M _t与真实前景的相关度，E ₂用于减小图像噪声的影响，λ用于调节E ₁和E ₂之间的影响因素，λ值越大则E ₂作用越大，前景掩膜图就越平滑；p为像素点，q为p像素点周围的另一个像素点，取值范围用N _p表示，S为取像素的坐标范围；B表示背景图像，T=100，P _f表示I _t属于前景图像的概率大小；当I _t属于前景图像的概率越大，P _f越大，

也就越大。

在本发明实施例中，所述N _p的取值范围通常为4到8个像素。

相较于现有技术，本发明具有以下有益效果：

本发明对不同区域的空洞采取不同的填充方法，从而获得较为可靠和真实的填补效果，从实验结果来看，本文方法获得的PSNR数据优于其他算法，并且与真实视点比较的结构相似度达到99.1%，比传统方法提高超过10%。

附图说明

图1a为参考视点。

图1b为高斯平滑效果。

图1c为插值算法效果。

图2为本发明方法流程图。

图3 a为视频序列中的第一幅参考帧。

图3 b为视频序列中的第二幅参考帧。

图3 c为视频序列中的第三幅参考帧。

图3d为利用视频序列信息获得的背景图。

图4a 为原始视频画面。

图4b为未填充空洞的新视点。

图4c为真实视点参考图像。

图4d为非对称平滑方法处理获得的新视点。

图4e为横向插值算法获得的新视点。

图4f为本文方法处理所得的新视点。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于背景提取与分区修复的DIBR空洞填补方法，包括如下步骤，

所述步骤S02的具体过程如下，

采用能量最小化的方法获取每帧图像的前景掩膜图,并用矩阵M _t表示,对于第t帧图像，对于图像上的点p，当p点属于前景图像时

=0，否则

=1即p点属于背景图像，其中，M _t表达式如下：

其中，

，

Figure 2014101486816100002DEST_PATH_IMAGE010

，

，

也就越大。

所述N _p的取值范围通常为4到8个像素。

为让本领域的技术人员更了解本发明方法，以下讲述本发明的具体实施例。

如图2所示，

步骤一：利用视频序列重建背景图像和背景深度图：

由于通过DIBR绘制的新视点中的空洞区域是被前景遮挡的背景部分，这些部分的信息在当前帧被遮挡，但是可能在视频图像序列的其他帧中出现过。通过图像间互补的办法可以充分利用原始视频，提取出正确的背景信息。在该方法中，需要视频的拍摄相机保持静止，这样背景部分也保持静止，提取出的背景视频就是完整的背景图像。在这种情况下，获取的背景图像可以用于视点绘制时同一场景画面的背景空洞填补。提取背景图像的过程采用了结合深度图的方法，将图像序列中深度值最大时的图像作为背景图像，通过不同帧之间图像的比较还原出背景。由于原始深度图也是另外一个视频流，可以采用与上述相同的方法来处理。如果拍摄的摄像机位置不变，只要取深度图序列中深度的最大值作为背景深度，就可以获得背景的深度图。

视频参考帧与处理获得的背景图像：其中，图3 a、b、c分别为视频序列中的3幅参考帧，图3d为利用视频序列信息获得的背景图。

步骤二：计算画面中前景图像区域：

本发明采用能量最小化的方法获取每帧图像的前景掩膜图,并用矩阵M _t表示, 对于图像上的点p，当p点属于前景图像时=0，否则=1即p点属于背景图像，其中，M _t表达式如下：

（1）

（2）

其中，，（3）

，（4）

，（5）

，（6）

E ₁为M _t与真实前景的相关度，E ₂用于减小图像噪声的影响，λ用于调节E ₁和E ₂之间的影响因素，λ值越大则E ₂作用越大，前景掩膜图就越平滑；p为像素点，q为p像素点周围的另一个像素点，取值范围用N _p表示（所述N _p的取值范围通常为4到8个像素），S为取像素的坐标范围；B表示背景图像，T=100，P _f表示I _t属于前景图像的概率大小；当I _t属于前景图像的概率越大，P _f越大，

也就越大。

步骤三：针对不同区域采取不同策略填补空洞：

通过DIBR绘制得到的新视点有许多空洞区域，根据空洞出现的区域不同分别处理，前景中的空洞通常较小，可以直接采用插值的方式进行填补，背景区域空洞较大，需要利用之前提取的背景信息进行修复。这时需要针对每帧画面确定前景图像区域，通过提取前景掩膜图来进行区分。先对前景区域图像进行空洞填补，由前景掩膜图可以确定哪些像素属于前景图像。之后再进行背景空洞填补，利用第一部分中提取的背景图像，对新视点中的空洞区域进行填充。

不同处理方法填补效果比较：其中：图4a为原始视频画面，图4b为未填充空洞的新视点，图4c为真实视点参考图像，图4d为非对称平滑方法处理获得的新视点，图4e为横向插值算法获得的新视点，图4f为本文方法处理所得的新视点。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。