CN103731657B - 一种对dibr算法处理后的含有空洞影像的空洞填充处理方法 - Google Patents

Abstract

本发明提供了一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法，该发明中首先对待填充空洞影像中空洞边缘景深、空洞大小或空洞位置进行判断，然后根据判断结果采用不同的填充方式进行空洞填充，以实现提高影像效果或简化填充处理。根据具体运用场景选用不同的填充方法；本发明中空洞填充处理过程由于算法简单，计算量小，只需要缓存若干行影像，适合于硬件实时实现，因此可以直接集成到裸眼3D系统中，进行实时处理，可以满足现在高分辨率的裸眼3D系统要求。

Description

一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法

技术领域

本发明涉及实时裸眼3D处理显示领域，具体涉及一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法。

背景技术

自由立体显示系统电视，主要采用2D影像+深度图，以DIBR（DepthImageBasedRendering,基于深度图渲染方法）算法产生多视角视图。DIBR将2D+Depth映射到世界3D坐标，然后再重新投射到新视图2D空间，以产生新的视角影像，在此过程中会产生若干空洞。空洞填充是DIBR必不可少的处理步骤。对于空洞填充算法，目前已有若干相关著作。

现有的空洞填充算法大致可分为二类：硬件可实时实现算法和非硬件可实时实现算法。非硬件可实时实现空洞填充算法，如采用纹理综合的图像修复算法等，由于其算法复杂度高，计算量大，无法由硬件直接实现，因此，此类算法并不适合于直接应用于实时运行裸眼3D系统中。

目前的空洞填充算法大多是基于软件方式，虽可取得较好效果，但处理过程较为复杂，无法在硬件上高效、实时实现，尤其对于高分辨率显示系统，复杂的空洞填充算法更是如此。

发明内容

有鉴于此，本发明提供一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法，该发明采用较为简单的、可硬件实现的填充方法来进行空洞填充，通过判断空洞的不同类型后，采用相应的空洞填充方法，其空洞填充效果得到明显改善。

为实现以上目的，本发明采用如下技术方案:一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法，该方法包括以下步骤：

S1、根据视图合成后的空洞影像中的空洞特性对空洞的类型进行判断；

S2、根据空洞判断结果，采用相对应的填充方式进行空洞填充。

进一步，在步骤S1中，所述的空洞特性包括空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合；即根据视图合成后的空洞影像中的空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合对空洞的类型进行判断。

进一步，在步骤S2中，所述的填充方式包括：线性插值（如二次线性插值、三次线性插值）、背景扩充、背景复制、加权填充、邻域复制或背景镜像法。

本发明中根据空洞大小的填充方式具体为：在一行待填充空洞影像中，定义空洞长度计算公式L＝HR－HL+1＝PR－PL－1，其中，L：空洞长度，即需要填充空洞大小；

PL：为空洞左边非空洞相邻像素点对应位置；

PR：为空洞右边非空洞相邻像素点对应位置；

HL：为空洞最左边像素点对应位置；

HR：为空洞最右边像素点对应位置；

将空洞长度与设定的空洞大小阈值Thresh1进行比较，当分别在空洞长度小于空洞大小阈值、在空洞长度大于空洞大小阈值或在空洞长度等于空洞大小阈值时,采用相对应的填充方式进行空洞填充。具体为：

当L小于阈值Thresh1时，采用背景扩充或邻域复制或线性插值填充方法；

当L大于阈值Thresh1时，采用背景镜像或背景复制填充方法；

当L等于阈值Thresh1时，采用背景扩充或邻域复制或线性插值或背景镜像或背景复制填充方法。

本发明中根据空洞边缘景深的填充方式具体为：在一行待填充空洞影像中，定义：左边景深为Z1：为空洞左边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；

右边景深为Z2：为空洞右边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；

当分别在左边景深Z1等于右边景深Z2、左边景深Z1小于右边景深Z2、左边景深Z1大于右边景深Z2，以及边缘景深相差小于设定的边缘景深阈值Thresh2和大于设定的边缘景深阈值Thresh2时，采用相对应的填充方式进行空洞填充；

即当Z1等于Z2时，采用邻域复制或线性插值；

当Z1小于Z2，且Z2－Z1小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当Z1大于Z2，且Z1－Z2小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当｜Z1－Z2｜大于阈值Thresh2，采用背景扩充或背景镜像或背景复制填充方法。

本发明中根据空洞位置的填充方式具体为：在一行待填充空洞影像中，根据空洞是位于影像中央或者像边缘来选择不同的空洞填充方法。

即当待填充空洞位于影像边缘或接近影像边缘时，采用邻域复制或背景扩充填充方法；

当待填充空洞不位于影像边缘，同时也不接近影像边缘时，采用线性插值或背景扩充或背景复制或加权填充或邻域复制或背景镜像填充方法。

本发明中空洞的填充方式中，除了可单独根据空洞大小的填充方式、根据空洞边缘景深的填充方式或根据空洞位置的填充方式进行待填充空洞的填充。

也可综合评判，根据空洞大小的填充方式、根据空洞边缘景深的填充方式和根据空洞位置的填充方式中待填充空洞特征进行填充方法的选择。具体为：分别评判待填充空洞的长度、景深和所处位置，根据空洞大小的填充方式、根据空洞边缘景深的填充方式和根据空洞位置的填充方式中的评判标准，分别选择相对应的填充方式，由此得出填充方式的交集和并集，最终填充方法在该交集或并集中进行选择。

当然，在空洞的填充方式选择中，对于待填充空洞，可评判其空洞大小、空洞边缘景深和空洞位置中两项特征以上的组合，并再根据相对于的特征评判机制，进行填充方法的选择。

本发明采用以上技术方案，该发明中既可单独的对待填充空洞影像中空洞边缘景深、空洞大小或空洞位置进行判断，也可对空洞大小、空洞边缘景深和空洞位置中两项特征以上的组合进行综合评判，然后根据判断结果采用不同的填充方式进行空洞填充，以实现提高影像效果或简化填充处理。根据具体运用场景选用不同的填充方法；本发明中空洞填充处理过程由于算法简单，计算量小，只需要缓存若干行影像，适合于硬件实时实现，因此可以直接集成到裸眼3D系统中，进行实时处理，可以满足现在高分辨率的裸眼3D系统要求。

本发明提供的空洞填充的方法，可自动对不同场景应用不同的填充策略，克服了采用单一填充算法进行填充，在不同画面场景下所引起的影像扭曲失真现象，增加了填充后的空洞区域的真实感。因此，采用该方法可有效改进空洞填充效果，填充后的影像质量效果较佳，可提高用户观看的体验和真实临场感。此外，所述空洞填充方法简单，不涉及复杂的运算，可集成于硬件系统中，以达到实时硬件处理，便于产品化。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1为本发明空洞填充处理方法流程图；

图2为本发明空洞填充处理方法中待填充空洞影像示意图；

图3为本发明空洞填充处理方法运用场景实施案例。

具体实施方式

如图1所示，本发明提供一种一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法，该方法包括以下步骤：

S1、根据视图合成后的空洞影像中的空洞特性对空洞的类型进行判断；

S2、根据空洞判断结果，采用相对应的填充方式进行空洞填充。

本发明提供的实施例中，在步骤S1中所述的空洞特性包括空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合；即根据视图合成后的空洞影像中的空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合对空洞的类型进行判断。

在步骤S2中所述的填充方式包括：线性插值（如二次线性插值或三次线性插值）背景扩充、背景复制、加权填充、邻域复制或背景镜像法。

如图2所示的发明空洞填充处理方法中待填充空洞影像示意图；

本发明中根据空洞大小的填充方式具体为：在一行待填充空洞影像中，定义空洞长度计算公式L＝HR－HL+1＝PR－PL－1，其中，

L：为空洞长度，即需要填充空洞大小；

PL：为空洞左边非空洞相邻像素点对应位置；

PR：为空洞右边非空洞相邻像素点对应位置；

HL：为空洞最左边像素点对应位置；

HR：为空洞最右边像素点对应位置；

将空洞长度与设定的空洞大小阈值进行比较，当分别在空洞长度小于空洞大小阈值、在空洞长度大于空洞大小阈值或在空洞长度等于空洞大小阈值时,采用相对应的填充方式进行空洞填充。

例如，设定空洞大小阈值Thresold1，根据空洞长度L来选择相应填充方法；

当L小于阈值Thresh1时，采用背景扩充或邻域复制或线性插值填充方法；

当L大于阈值Thresh1时，采用背景镜像或背景复制填充方法；

当L等于阈值Thresh1时，采用背景扩充或邻域复制或线性插值或背景镜像或背景复制填充方法。

本发明中根据空洞边缘景深的填充方式具体为：

在一行待填充空洞影像中，定义左边景深为Z1：为空洞左边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；右边景深为Z2：为空洞右边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；

当分别在左边景深Z1等于右边景深Z2、左边景深Z1小于右边景深Z2、左边景深Z1大于右边景深Z2，以及边缘景深相差小于设定的边缘景深阈值和大于设定的边缘景深阈值时，采用相对应的填充方式进行空洞填充；

例如，根据空洞左右边缘景深Z1、Z2选择相应的填充方法：设定空洞边缘景深阈值Thresold2，判断空洞边缘影像景深并由此来决定所采用的填充方法。

即当Z1等于Z2时，采用邻域复制或线性插值；

当Z1小于Z2，且Z2－Z1小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当Z1大于Z2，且Z1－Z2小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当｜Z1－Z2｜大于阈值Thresh2，采用背景扩充或背景镜像或背景复制填充方法。

本发明中根据空洞位置的填充方式具体为：在一行待填充空洞影像中，根据空洞是位于影像中央或者影像边缘来选择不同的空洞填充方法。

即当待填充空洞位于影像边缘或接近影像边缘时，采用邻域复制或背景扩充填充方法；

当待填充空洞不位于影像边缘，同时也不接近影像边缘时，采用线性插值或背景扩充或背景复制或加权填充或邻域复制或背景镜像填充方法。

本实施例中空洞的填充方式中，除了可单独根据空洞大小的填充方式、根据空洞边缘景深的填充方式或根据空洞位置的填充方式进行待填充空洞的填充。

也可综合评判，根据空洞大小的填充方式、根据空洞边缘景深的填充方式和根据空洞位置的填充方式中待填充空洞特征进行填充方法的选择。具体为：分别评判待填充空洞的长度、景深和所处位置，根据空洞大小的填充方式、根据空洞边缘景深的填充方式和根据空洞位置的填充方式中的评判标准，分别选择相对应的填充方式，由此得出填充方式的交集和并集，最终填充方法在该交集或并集中进行选择。

当然，在空洞的填充方式选择中，对于待填充空洞，可评判其空洞大小、空洞边缘景深和空洞位置中两项特征以上的组合，并再根据相对于的特征评判机制，进行填充方法的选择。

需要说明的是：根据空洞判断结果来采用不同的填充方式进行空洞填充，可使用相同方法也可为不同方法，可根据具体应用场景进行选择。总之，对于任一空洞的填充，综合以上结果得出最终所选用之空洞填充方法。若所选用之填充算法为硬件可实现，则所整合之系统可完全由硬件实现。

图3为本发明空洞填充处理方法运用场景实施案例，其中，视频处理SoC单元负责处理接收2D或3D视频信号；2D转3D/3D视频信号处理单元负责生成2D+Depth影像；多视点视频生成单元（DIBR）则使用DIBR算法生成含空洞多视点影像；空洞填充模块采用本发明所述方法进行空洞填充，填充后的多视频影像经多视频3D视频渲染单元进行影像格式渲染，最后将渲染后的多视点影像送到多视点显示单元上进行显示。

本发明中既可单独的对待填充空洞影像中空洞边缘景深、空洞大小或空洞位置进行判断，也可对空洞大小、空洞边缘景深和空洞位置中两项特征以上的组合进行综合评判，然后根据判断结果采用不同的填充方式进行空洞填充，以实现提高影像效果或简化填充处理。根据具体运用场景选用不同的填充方法；本发明中空洞填充处理过程由于算法简单，计算量小，只需要缓存若干行影像，适合于硬件实时实现，以实现提高空洞填充质量、填充效率和硬件实现等目的。因此可以直接集成到裸眼3D系统中，进行实时处理，可以满足现在高分辨率的裸眼3D系统要求。

本发明的填充方式，并不局限于上述实施例中的填充方法，也不局限于硬件可实现算法。完全可使用其它算法，或应用于非硬件实现系统上，由以上实施方式的详述，希望能更加清楚描述本发明的特征，倘若本领域的技术人员对本发明进行各种改动和变形属于本发明权利要求及其等同技术范围的，则本发明也包括这些改动和变形在内。

Claims (1)

1.一种对DIBR算法处理后的含有空洞影像的空洞填充处理方法，其特征在于:该方法包括以下步骤：

S1、根据视图合成后的空洞影像中的空洞特性对空洞的类型进行判断；

S2、根据空洞判断结果，采用相对应的填充方式进行空洞填充；

步骤S1中，所述的空洞特性包括空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合；即根据视图合成后的空洞影像中的空洞边缘景深、空洞大小和空洞位置三者中的一种或一种以上的组合对空洞的类型进行判断；

所述根据空洞大小的填充方式具体为：

在一行待填充空洞影像中，定义空洞长度计算公式L＝HR－HL+1＝PR－PL－1，其中，L：空洞长度，即需要填充空洞大小；

PL：为空洞左边非空洞相邻像素点对应位置；

PR：为空洞右边非空洞相邻像素点对应位置；

HL：为空洞最左边像素点对应位置；

HR：为空洞最右边像素点对应位置；

将空洞长度与设定的空洞大小阈值Thresh1进行比较，当分别在空洞长度小于空洞大小阈值、在空洞长度大于空洞大小阈值或在空洞长度等于空洞大小阈值时,采用相对应的填充方式进行空洞填充；

即当L小于阈值Thresh1时，采用背景扩充或邻域复制或线性插值填充方法；

当L大于阈值Thresh1时，采用背景镜像或背景复制填充方法;

当L等于阈值Thresh1时，采用背景扩充或邻域复制或线性插值或背景镜像或背景复制填充方法；

所述根据空洞边缘景深的填充方式具体为：在一行待填充空洞影像中，定义，

左边景深Z1：为空洞左边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；

右边景深Z2：为空洞右边非空洞相邻像素点对应景深或相邻若干像素点对应均值景深；

当分别在左边景深Z1等于右边景深Z2、左边景深Z1小于右边景深Z2、左边景深Z1大于右边景深Z2，以及边缘景深相差小于设定的边缘景深阈值Thresh2和大于设定的边缘景深阈值Thresh2时，采用相对应的填充方式进行空洞填充；

即当Z1等于Z2时，采用邻域复制或线性插值；

当Z1小于Z2，且Z2－Z1小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当Z1大于Z2，且Z1－Z2小于阈值Thresh2时，采用背景扩充或邻域复制或线性插值或加权填充填充方法；

当｜Z1－Z2｜大于阈值Thresh2，采用背景扩充或背景镜像或背景复制填充方法；

所述根据空洞位置的填充方式具体为：在一行待填充空洞影像中，根据空洞是位于影像中央或者影像边缘来选择不同的空洞填充方法；

即当待填充空洞位于影像边缘或接近影像边缘时，采用邻域复制或背景扩充填充方法；

当待填充空洞不位于影像边缘，同时也不接近影像边缘时，采用线性插值或背景扩充或背景复制或加权填充或邻域复制或背景镜像填充方法。