CN108696731A - 一种裸眼3d显示技术中的空洞填充方法 - Google Patents

Abstract

本发明公开了一种裸眼3D显示技术中的空洞填充方法，涉及3D显示技术领域，包括以下步骤：步骤1，小空洞预处理；步骤2，前后帧场景标记与拷贝；步骤3，运动估计与运动补偿；步骤4后处理。本发明基于时空域，在给定的视频序列中，可利用不同时刻的图像所出现的新场景信息对目标图像的大空洞进行填充。相对于传统的基于空间域的空洞填充方法，本算法从时空域中获取更多的可用信息进行空洞填充，从而显著地提高了被填充区域的真实性，得到高质量的新视图，取得比较好的视觉效果。

Description

一种裸眼3D显示技术中的空洞填充方法

技术领域

本发明涉及3D显示技术领域，尤其是一种裸眼3D显示技术中的空洞填充方法。

背景技术

随着3D显示技术的发展，视图合成已成为3D显示系统中合成单视点或多视点视频的重要技术。而视图合成技术中又以基于深度图像的绘制技术，即DIBR技术最为普遍。利用DIBR技术来生成新视图时，由于深度值不连续、视点改变等原因，有可能产生大的空洞(holes)。空洞问题严重影响了生成的新视图质量，是最主要也是最难解决的问题。

发明内容

本发明提出的一种裸眼3D显示技术中的空洞填充方法，合成新视点的图像质量大幅提升。

本发明的技术方案是这样实现的：

一种裸眼3D显示技术中的空洞填充方法，包括以下步骤：

步骤1，小空洞预处理，所述小空洞包括极小空洞和较小空洞，采用中值滤波算法去除所述极小空洞，采用基于视差图的空洞填充算法去除较小空洞；

步骤2，前后帧场景标记与拷贝，包括

步骤21，对相邻参考帧进行三维图像变换，以便能获得更为完整的新场景信息；

步骤22，将当前参考帧的目标图所对应的深度图像，分别与经过处理后的前后帧目标图所对应的深度图像求差，得到两个差值表；

步骤23，遍历两个差值表，对其中的每一个值进行阈值处理，当差值表中的数值小于阈值时，则前一帧(后一帧)中对应的像素点为可用的新场景信息，对这个值进行标记；

步骤3，运动估计与运动补偿，包括：

步骤31，进行运动估计，根据需要进行前向运动估计和后向运动估计，运动估计匹配准则采用最小绝对误差SAD准则；

步骤32，运动补偿，步骤31已经完成了运动矢量的确定，根据运动矢量能搜寻到可用于空洞填充的场景信息；

步骤4，后处理，采用Gautier的图像修复算法来完成目标图像中剩下的较大空洞的修复，执行图像修复算法时，填充空洞的过程是基于块进行的，把空洞视为待修补的区域，从中选择待修补块，然后按照一定的计算规则，找出非空洞区域优先级最高的块作为匹配块进行填充。

本发明提供的一种裸眼3D显示技术中的空洞填充方法，其有益效果在于：基于时空域，在给定的视频序列中，可利用不同时刻的图像所出现的新场景信息对目标图像的大空洞进行填充。相对于传统的基于空间域的空洞填充方法，本算法从时空域中获取更多的可用信息进行空洞填充，从而显著地提高了被填充区域的真实性，得到高质量的新视图，取得比较好的视觉效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的空洞填充方法步骤流程图；

图2为空洞分类示意图；

图3为运动估计示意图；

图4为后处理所用图像修复算法流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提出一种裸眼3D显示技术中的空洞填充方法，包括了小空洞预处理、前后帧场景标记与拷贝、运动估计与运动补偿和后处理四个部分，其步骤如图1所示。

其中，步骤1，小空洞预处理。设空洞的长度l，并设置两个阈值len_bighole1和len_bighole2，其中len_bighole1小于len_bighole2。本实施例根据三种情况对空洞大小进行分类，如图2所示：

①如果l满足l<len_bighole1，该空洞归类为极小空洞；

②如果l满足len_bighole1≤l<len_bighole2，该空洞归类为较小空洞；

③如果l满足l≥len_bighole1，该空洞归类为大空洞。

对于极小空洞和较小空洞，分别采用不同的方法进行预处理。对于极小空洞的处理，可将其视为图像中的噪点，因而采用经典的中值滤波算法去除极小空洞；而被归类为较小空洞的空洞采用基于视差图的空洞填充算法，该方法对于尺寸较小的非边缘空洞具有良好的填充效果，并且具有很低的时间复杂度。需注意的是在较小空洞的处理完成之后必须相应地更新目标图所对应的深度图和视差图，否则会影响后续步骤的执行。而大空洞则通过下一步骤进行处理。

步骤2，前后帧场景标记与拷贝。当前帧所生成的目标图的小空洞进行预处理之后，对于剩下的大空洞，需进行前后帧场景标记与拷贝处理。首先需要建立新场景信息标记表，目的在于确定相邻参考帧里的新场景信息，这些新场景信息不存在于当前帧中。具体做法是：步骤21，对相邻参考帧进行三维图像变换，以便能获得更为完整的新场景信息；步骤22，将当前参考帧的目标图所对应的深度图像，分别与经过处理后的前后帧目标图所对应的深度图像求差，得到两个差值表；步骤23，遍历两个差值表，对其中的每一个值进行阈值处理，当差值表中的数值小于阈值时，则前一帧(后一帧)中对应的像素点为可用的新场景信息，对这个值进行标记。在标记出了前后帧的新信息之后，就可以根据标记表将经过处理的前后帧目标图相应的位置拷贝场景信息来填充当前帧的空洞。具体做法是，按行遍历当前帧的视差图，如检测到当前坐标(u,v)的视差值为-128，则对应的目标图中的点(u，v)为空洞点。然后根据之前所得到的标志表newback_mask来判定点(u,v)在前后帧中是否有可用的新场景信息，也就是判定(u,v)是否等于1，如有可用新场景信息则拷贝相应的像素点进行补偿。

步骤3，运动估计与运动补偿。步骤31，进行运动估计，示意如图3所示，根据需要进行前向运动估计和后向运动估计，运动估计匹配准则采用最小绝对误差SAD准则。由匹配块的位置以及当前块的位置求得当前块在前后帧中的运动矢量MV_R_tR_t+i(u,v)。步骤32，运动补偿，运动估计完成后便转入运动补偿。上一步骤已经完成了运动矢量的确定，根据运动矢量能搜寻到可用于空洞填充的场景信息。而运动补偿的目的是抽取序列里的新的场景信息(被前景遮挡的背景信息)来填充较大空洞。通过视差值得到目标图像中的空洞两端非空点对应的参考图像中的像素坐标R_t(u,v)。由当前帧参考图像与相邻帧的运动矢量MV_R_tR_t+i(u,v)加参考图像中像素的坐标R_t(u,v)就可以得到对应的相邻参考帧中的像素信息的坐标R_t+i(u,v)。运动补偿后，更新视差图和深度图。

步骤4，后处理。采用Gautier的图像修复算法来完成目标图像中剩下的较大空洞的修复，具体过程如图4所示。执行图像修复算法时，填充空洞的过程是基于块进行的。把空洞视为待修补的区域，从中选择待修补块，然后按照一定的计算规则，找出非空洞区域优先级最高的块作为匹配块进行填充。填完一个待修补块的同时，更新深度图。如果还有剩余的待修补块(即空洞)，就重复这个过程，直至修复整个图像。图像修复算法可以解决缺乏时域上信息的空洞难以被填充的问题，得到完整的视图。

本申请提出一种新的空洞填充算法，该算法基于时空域，在给定的视频序列中，可利用不同时刻的图像所出现的新场景信息对目标图像的大空洞进行填充。相对于传统的基于空间域的空洞填充方法，本算法从时空域中获取更多的可用信息进行空洞填充，从而显著地提高了被填充区域的真实性，得到高质量的新视图，取得比较好的视觉效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种裸眼3D显示技术中的空洞填充方法，其特征在于，包括以下步骤：

步骤1，小空洞预处理，所述小空洞包括极小空洞和较小空洞，采用中值滤波算法去除所述极小空洞，采用基于视差图的空洞填充算法去除较小空洞；

步骤2，前后帧场景标记与拷贝，包括

步骤21，对相邻参考帧进行三维图像变换，以便能获得更为完整的新场景信息；

步骤22，将当前参考帧的目标图所对应的深度图像，分别与经过处理后的前后帧目标图所对应的深度图像求差，得到两个差值表；

步骤23，遍历两个差值表，对其中的每一个值进行阈值处理，当差值表中的数值小于阈值时，则前一帧(后一帧)中对应的像素点为可用的新场景信息，对这个值进行标记；

步骤3，运动估计与运动补偿，包括：

步骤31，进行运动估计，根据需要进行前向运动估计和后向运动估计，运动估计匹配准则采用最小绝对误差SAD准则；

步骤32，运动补偿，步骤31已经完成了运动矢量的确定，根据运动矢量能搜寻到可用于空洞填充的场景信息；

步骤4，后处理，采用Gautier的图像修复算法来完成目标图像中剩下的较大空洞的修复，执行图像修复算法时，填充空洞的过程是基于块进行的，把空洞视为待修补的区域，从中选择待修补块，然后按照一定的计算规则，找出非空洞区域优先级最高的块作为匹配块进行填充。