CN104378619A - 一种基于前后景梯度过渡的快速高效的空洞填补算法 - Google Patents

Abstract

本发明公开了一种基于前后景梯度过渡的快速高效的空洞填补算法，首先对输入的图像进行灰度处理，然后进行深度提取得到原始深度图；再对原始深度图进行滤波、前景膨胀、前后景梯度渐变过渡等操作得到处理后的深度图；用处理前后的两幅深度图进行3D绘制，合成得到的两幅图像得到目标图像；用提出的空洞填补算法对得到目标图像的空洞区域进行填补，得到最终的左右视图。本发明的方法相对于其他方法更加简单而易于实现，计算过程大大简化，运算时间大大减少，很适合运用在实时3D显示技术中。

Description

一种基于前后景梯度过渡的快速高效的空洞填补算法

技术领域

本发明涉及三维（3D）显示技术领域，具体涉及一种基于前后景梯度过渡的快速高效的空洞填补算法，是一种能够快速填补绘制后目标图像上空洞点的算法，并且具有较高的信噪比。 

  背景技术

 目前3D显示技术大多数都是利用视差原理来实现的，分别提供给左眼以及右眼两幅不同的图像，来模拟平时观察者观察外界事物的特征，使观察者在适当的角度观看画面时产生三维立体空间感。由2D图像转为3D图像，普遍采用的方法是给定一幅原始图像，然后利用3D绘制的方法得出其左右视图，再分别提供给左右眼。当下主要采用基于深度图像的绘制（Depth Image Based Rending, DIBR）的方法进行合成左右视图。 

 然而采用DIBR合成的视图往往存在空洞。其产生的原因主要分为两类：一类是将参考图像通过深度图映射到目标图像上时，由于参考图像中的可见物体在目标图像上的投影发生了扩张而引起的；另一类是由于物体的可见性发生变化而引起的。空洞填补结果的好坏直接决定着最终3D效果的质量。传统进行空洞填补的算法主要有插值法和以Criminisi为代表提出的基于深度图的图像修补算法。Chen和Williams提出通过插值相邻像素的颜色或偏移量来填补空洞的方法，这种方法不一定精确但复杂性低；Fehn提出用高斯滤波器平滑深度图以消除合成的视图中较大的空洞或使之变小； Zhang等人在滤波器的选择以及滤波的区域方面做了改进。平滑深度图的方法已成为目前常用的方法，但它通常不能消除所有的空洞，最后剩余的空洞还是得依靠插值相邻像素的方法来填充。而最近较为流行的基于图像修复技术的空洞填充算法通常过于复杂，其需要依据纹理和构造对待修补区域进行最适合匹配块的搜索，复杂度高，耗时长，很难用硬件实现。因此，目前硬件实现的空洞填补算法几乎都是插值相邻像素算法。但若单纯的以插值进行填充则填充大空洞的效果比较差。 

鉴于以上情况，业界需要一种既能快速填充3D绘制后留下的空洞区域，填充后的目标图像又具有较高的峰值信噪比的空洞填补方法，同时还能便于硬件实现。这将大大提高3D显示的质量。 

  

发明内容

 本发明的目的在于提供一种基于前后景梯度过渡的快速高效的空洞填补算法，这种方法既能确保得到的目标图像具有较高的峰值信噪比，同时又具有填充速度快的优点。 

为达前述目的，本发明采用的技术方案是： 

一种基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，具体包括以下步骤：

   （A）：获取输入图像的灰度图Img；

（B）：采用基于相对高度深度线索的深度估计算法获取灰度图像Img的原始深度图Dep1；

（C）：对原始深度图Dep1进行滤波、前景膨胀、前后景过渡的预处理得到预处理后的深度图Dep2；

（D）：分别用原始深度图Dep1和预处理后的深度图Dep2对作为参考图像的灰度图Img进行3D绘制，分别得到Des1和Des2，并对两幅图像进行合成得到目标图像Des；

（E）：用所提出的空洞填补算法对所得到的目标图像Des的空洞部分进行填补；

（F）：对填补后的目标图像进行后处理。

所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（C）的具体步骤如下： 

（1）首先对原始深度图Dep1进行滤波，提取前景物体边界，对前景物体进行扩展，即左视图前景左侧向左扩展，右视图前景右侧向右扩展，以此来消除匹配误差；

（2）然后对扩展后的深度图深度值进行梯度渐变由前景过渡至后景；例如，若所求为左视图，前景左侧边界与后景像素值差如果大于一定值，即Dep1（i,j-k）- Dep1(i,j-k-1)>a，则进行过渡，直至差值小于a，其中a为梯度值，Dep1（i,j）为前景膨胀后的前后景边界处前景深度值。

所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（D）的具体步骤如下： 

（1）先用原始深度图像Dep1与作为参考图像的灰度图Img进行3D绘制，得到Des1；

（2）然后用预处理后的深度图Dep2与作为参考图像的灰度图Img进行3D绘制，得到Des2；

（3）最后把Des1中非空洞的部分移至Des2中相应位置获得目标图像Des。

其中，Des1是由原始深度图像绘制而来，深度信息比较准确，但是所得Des1空洞点比较多，而Des2经过预处理绘制后空洞点比较少，但是深度信息不如Des1准确；而目标图像Des结合了两者的优点。 

所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（E）的具体步骤如下： 

先对空洞点周围的八个像素点进行统计，若八个点中空洞点的数量小于6，则用该空洞点周围八个像素点中的非空洞点的平均值进行填补；若空洞点周围八个像素点中空洞点的数量大于6，则用3D绘制前该位置的像素点的像素值填充该空洞点。

其中，经过前景梯度过渡后，大空洞点明显减少，填补后的信噪比高，而且算法简单，耗时较少。 

本发明的原理是： 

本发明中，为了使空洞填补时填充的像素点较为准确，先对原始深度图进行处理，滤波使深度图平滑，前景膨胀用来消除轮廓效应，然后进行前后景的梯度渐变过渡，经过DIBR后可使大空洞分割成小空洞。DIBR的原理是，根据深度信息，得出视差值，然后把参考图像上的点按照得出的视差值移动到目标图像上的相应位置，以此来得出不同视点的视图。未进行梯度渐变过渡，其前后景深度值差值比较大，得到的视差值差值也比较大，因此参考图像上的物体在目标图像上的投影发生扩张，产生的空洞比较大，对其进行插值不准确；而进行梯度渐变过渡之后，前后景深度值差值不会太大，得到的视差值差值也不会太大，因而投影后大空洞被分割成小空洞，对其进行插值则较为准确。在填充方面，对空洞点进行判断，如果其周围八个像素点的空洞数量小于六，则用非空洞点的均值进行填充。若大于六，很可能为边界空洞点，则用参考图上相应的像素点进行填充。

本发明的优点是： 

本发明中，进行空洞填补的过程更为快速高效体现在以下因素：首先，对初始深度图进行前景膨胀和梯度渐变过渡，简单明了，易于理解；其次，在填充空洞点的过程中进行判断，对于大小空洞点分开进行填充，结果较为准确；整个计算过程只有比较以及加减乘除这些简便的过程，这些都大大简化了计算过程，大大减少了计算时间；不管是从软件实现层面还是硬件实现层面，实现过程都是可行的。

  附图说明

图1为本发明所提供的进行3D绘制的总流程图。 

图2为本发明中所采用的进行深度图预处理的算法流程图。 

 图3为本发明中所采用的进行DIBR绘制的流程图。 

 图4a为进行前后景梯度过渡前的像素点示意图。 

图4b为进行前后景梯度过渡后的像素点示意图。 

 图5为3D绘制采用的作为参考图像的灰度图Img。 

图6为3D绘制后所得的目标图像Des。 

图7为对目标图像进行空洞填补后的填充图。 

具体实施方式

在2D转3D技术中，空洞填补对于3D的效果有着决定性的影响，也是3D转化技术的最后一步。为使本发明的目的、优点以及技术方案更加清楚明白，利用所给附图1-7以及结合具体事例，对本发明进一步详细说明。 

图1为本发明的产生深度图的的方法流程示意图。一种基于前后景梯度过渡的快速高效的空洞填补算法，具体的实施步骤包括以下几个步骤： 

步骤S1：获取输入图像的灰度图Img；

步骤S2：采用基于相对高度深度线索的深度估计算法获取灰度图Img的原始深度图Dep1；

步骤S3：对深度图进行滤波、前景膨胀、前后景过渡等预处理得到预处理后的深度图Dep2；

步骤S4：分别用原始深度图Dep1和预处理后的深度图Dep2对作为参考图像的灰度图Img进行DIBR，分别得到Des1和Des2，并对两幅图像进行合成得到目标图像Des；

步骤S5：用所提出的空洞填补算法对所得到的目标图像Des的空洞部分进行填补；

步骤S1：对填补后的目标图像进行后处理。

首先，在步骤S2中，将获取的输入图像的灰度图Img，通过相对高度深度线索的深度估计的算法获取灰度图像Img的原始深度图Dep1； 

在步骤S3中，先对从步骤S2来的原始深度图进行滤波，然后对滤波后的深度图进行前景膨胀，进行前景膨胀后，在膨胀后的深度图中进行前后景梯度过渡；进行前景膨胀的具体操作为：

Dep(i,j-k)= Dep(i,j)  k=1:5 

其中(i,j)点为前后景的边界点进行前后景梯度过渡的具体流程如下：

步骤S33：对膨胀后的前后景梯度值进行判断，是否满足

        Dep（i,j-n）-Dep(i,j-n-1)>a   

其中点（i，j）为膨胀后的前后景边界点，a为梯度值，n最大值取8；

步骤S34：若上步条件满足，则进行梯度递减

        Dep（i,j-n-1）=Dep(i,j-n)-a；

在步骤S4中，由原始深度图Dep1与参考图进行DIBR得到Des1，该图像像素值较为准确，但是空洞点太多；而用处理后的深度图Dep2与参考图进行DIBR得到Des2，该图像空洞点大大减少但是像素值不如Des1准确。故对两幅图像进行合成。判断Des1上的像素点是否为空洞点Des1（i,j）<4；  像素值小于4认为是空洞点

 若不是空洞点则将该像素点移至Des2中的相应位置

             Des2（i,j）= Des1（i,j）；

最后所得Des（即Des2）则具有空洞点相对较少像素值相对准确的优点。

在步骤S5中，首先对空洞点进行判断，对空洞点周围的八个像素点进行统计，如果其中的空洞点的数量小于六，则用非空洞点的平均值进行填充： 

   Des（i,j）=(mask(i-1,j)* Des（i-1,j）+ mask(i+1,j)* Des（i+1,j）+ mask(i,j-1)* Des（i,j-1）+ mask(i,j+1)* Des（i,j+1）+ mask(i-1,j+1)* Des（i-1,j+1）+ mask(i+1,j+1)* Des（i+1,j+1）+ mask(i-1,j-1)* Des（i-1,j-1）+ mask(i+1,j-1)* Des（i+1,j-1）) /( mask(i-1,j) + mask(i+1,j) + mask(i,j-1) + mask(i,j+1) + mask(i-1,j+1) + mask(i-1,j-1) + mask(i+1,j+1) + mask(i+1,j-1) );  

其中mask（i,j）=1 标识非空洞点

         mask（i,j）=0 标识空洞点

如果该空洞点周围八个像素点中的空洞点数量大于或者等于六，则该点很可能是边界空洞点，则用参考图像上相应位置的像素点填充比较准确：

          Des（i,j）= Img（i,j）；  

空洞填补后得到填充图，对填充图进行高斯滤波则得到最终的目标左右视点。

Claims (4)

1.一种基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，具体包括以下步骤：

   （A）：获取输入图像的灰度图Img；

（B）：采用基于相对高度深度线索的深度估计算法获取灰度图像Img的原始深度图Dep1；

（C）：对原始深度图Dep1进行滤波、前景膨胀、前后景过渡等预处理得到预处理后的深度图Dep2；

（D）：分别用原始深度图Dep1和预处理后的深度图Dep2对作为参考图像的灰度图Img进行3D绘制，分别得到Des1和Des2，并对两幅图像进行合成得到目标图像Des；

（E）：用所提出的空洞填补算法对所得到的目标图像Des的空洞部分进行填补；

（F）：对填补后的目标图像进行后处理。

2.根据权利要求1所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（C）的具体步骤如下：

（1）首先对原始深度图Dep1进行滤波，提取前景物体边界，对前景物体进行扩展，即左视图前景左侧向左扩展，右视图前景右侧向右扩展，以此来消除匹配误差；

（2）然后对扩展后的深度图深度值进行梯度渐变由前景过渡至后景；例如，若所求为左视图，前景左侧边界与后景像素值差如果大于一定值，即Dep1（i,j-k）- Dep1(i,j-k-1)>a，则进行过渡，直至差值小于a，其中a为梯度值，Dep1（i,j）为前景膨胀后的前后景边界处前景深度值。

3.根据权利要求1所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（D）的具体步骤如下：

（1）先用原始深度图像Dep1与作为参考图像的灰度图Img进行3D绘制，得到Des1；

（2）然后用预处理后的深度图Dep2与作为参考图像的灰度图Img进行3D绘制，得到Des2；

（3）最后把Des1中非空洞的部分移至Des2中相应位置获得目标图像Des。

4.根据权利要求1所述的基于前后景梯度过渡的快速高效的空洞填补算法，其特征在于，其中，步骤（E）的具体步骤如下：

先对空洞点周围的八个像素点进行统计，若八个点中空洞点的数量小于6，则用该空洞点周围八个像素点中的非空洞点的平均值进行填补；若空洞点周围八个像素点中空洞点的数量大于6，则用3D绘制前该位置的像素点的像素值填充该空洞点。