CN104717514A - 多视点图像渲染系统及方法 - Google Patents

Abstract

本发明公开了一种多视点图像渲染系统及方法，它包括：接收及存储图像的原始序列图和对应的深度序列图像数据；将输入图像数据经过预处理以得到渲染多视点图像的参考信息；对预处理后的图像数据进行计算，并生成多视点图像视频。本发明的一种多视点图像渲染系统及方法，具有高效的实时多视点图像渲染，支持大部分图像数据输入输出，满足不同分辨率的多视点图像渲染，集成度高，成本低廉。

Description

多视点图像渲染系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种多视点图像渲染系统及方法。

背景技术

近年，3D视觉技术高速发展，越来越多的设备具备3D显示功能。现今主要的3D显示技术分为眼镜式系统和非眼镜式系统。

眼镜式系统需要观看者佩戴额外的辅助显示设备，这严重影响了观看者的视觉体验。非眼镜式系统不需要观看者佩戴额外的辅助显示设备，并且能够达到同样的立体视觉效果，因此非眼镜式设备越来越受到观看者的青睐。

多视点图像显示技术就是非眼镜式系统中一种主要的显示方法。多视点图像的立体视觉效果非常优秀，不仅可以让观看者产生立体视觉以此带给观看者真实的现场感受，还可以让观看者观看到更加丰富的内容信息。因此多视点图像在广告传媒，电影娱乐，医疗教育等领域都有广泛的应用。

然而，现有的多视点图像渲染技术还存在渲染计算效率不高，成本昂贵，分辨率低等问题。

发明内容

本发明克服了现有技术的不足，提供一种成本低的多视点图像渲染系统及方法。

考虑到现有技术的上述问题，根据本发明公开的一个方面，本发明采用以下技术方案：

一种多视点图像渲染系统，其特征在于它包括：

输入模块，用于接收及存储图像的原始序列和对应的深度序列图像数据；

图像数据预处理模块，用于将输入图像数据经过预处理以得到渲染多视点图像的参考信息；

多视点渲染模块，用于对预处理后的图像数据进行计算，生成多视点图像视频；

输出模块，用于实时将满足不同分辨率的多视点图像排列，输出多视点图像数据。

为了更好地实现本发明，进一步的技术方案是：

根据本发明的一个实施方案，所述图像数据预处理模块包含：

多视点参数单元，用于设定多视点图像的相关参数，以得到适应匹配不同显示设备和/或不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；

图像缩放单元，用于图像数据的缩放处理，使原始图像和输出图像分辨率一致；

去块效应单元，用于去除图片和/或视频压缩中出现的块效应现象；

深度图预处理单元，用于提取图片和/或视频的深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。

根据本发明的另一个实施方案，所述去块效应单元将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。

根据本发明的另一个实施方案，所述多视点渲染模块包括：

视差重建单元，用于对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差信息；

视差渲染合成单元，用于根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。

根据本发明的另一个实施方案，所述视差重建单元在生成N视点图像的情况下，则总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。

本发明还可以是：

一种多视点图像渲染方法，它包括：

接收及存储图像的原始序列图和对应的深度序列图像数据；

将输入图像数据经过预处理以得到渲染多视点图像的参考信息；

对预处理后的图像数据进行计算，并生成多视点图像视频；

实时将满足不同分辨率的多视点图像进行排列，输出多视点图像数据。

根据本发明的另一个实施方案，它还包含：

设定多视点图像的相关参数，以得到适应匹配不同显示设备和不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；

对图像数据进行缩放处理，使原始图像和输出图像分辨率一致；

去除图片或视频压缩中出现的块效应现象；

提取图片或视频深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。

根据本发明的另一个实施方案，它还包括将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。

根据本发明的另一个实施方案，它还包括：

对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差信息；

以及根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。

根据本发明的另一个实施方案，在生成N视点图像的情况下，则总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。

与现有技术相比，本发明的有益效果之一是：

本发明的一种多视点图像渲染系统及方法，具有高效的实时多视点图像渲染，支持大部分图像数据输入输出，满足不同分辨率的多视点图像渲染，集成度高，成本低廉。

附图说明

为了更清楚的说明本申请文件实施例或现有技术中的技术方案，下面将对实施例或现有技术的描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅是对本申请文件中一些实施例的参考，对于本领域技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图得到其它的附图。

图1示出了根据本发明一个实施例的多视点图像渲染系统示意框图。

图2示出了根据本发明另一个实施例的图像数据预处理模块示意框图。

图3示出了根据本发明另一个实施例的多视点渲染模块示意框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

如图1所示，图1示出了根据本发明一个实施例的多视点图像渲染系统示意框图，输入模块101首先获取图像Img和图像所对应的深度信息Dep。图像和深度信息可以是任意分辨率，可支持3840*2160。图像和深度信息也可以是各种常见排列方式，例如左右拼，上下拼等。图1中的图像数据预处理模块102可对图像数据做预处理，得到渲染多视点图像的参考信息，并对参考信息进一步筛选，以供后面多视点渲染模块103使用。

图1中的输出模块104可以将渲染出的多视点图像输出给3D显示设备。输出模块104可以实时的将满足不同分辨率的多视点图像进行排列，输出多视点图像数据。

如图2所示，图2示出了根据本发明另一个实施例的图像数据预处理模块示意框图，在图像数据预处理模块102中可以有4个单元，包括：多视点参数单元201，图像缩放单元202，去块效应单元203，深度图预处理单元204。多视点参数单元201获取视点数N，分辨率，显示设备参数，渲染多视点参考参数和相应阀值等。在多视点参数单元201中，观看者可以自己设定相关参数以达到更好的立体视觉输出效果。

图2中的图像缩放单元202能够对原始图像数据进行缩放，以让图像数据和图像深度信息分辨率相匹配。在本发明中的备选方案可以使用二次线性插值或者立方体插值。

图2中的去块效应单元203是对缩放后的数据进一步处理。在块效应单元中将图像信息划分为x*y块的图像块。计算每一块的块效应强度BLOCK(x,y)和块边缘强度Border(x,y)。根据Border(x,y)的强度来判断每个块是否是潜在的块效应边缘，如果不是块效应边缘，那么对这个块内进行高通滤波；如果是块效应边缘，那么进行低通滤波。低通滤波中根据强度BLOCK(m,n)设置相应的去块效应滤波器，对每一块图像块进行滤波，如果块强度小于块效应阀值那么进行弱滤波，如果是块强度大于块效应阀值那么进行强滤波。

图2中的深度图预处理单元204可以对输入数据中的深度信息进行进一步优化以满足多视点图像的渲染。深度图预处理单元204提取深度信息，对深度信息进行分层平滑。在分层平滑中利用平滑算子进行边缘检测，可以将深度图划分为不同的深度层。然后对不同深度层内进行平滑滤波，最后得到层次分明的深度信息。再通过平滑后层次分明的深度信息分别计算出每个视点相对应的深度信息以便后面多视点图像渲染模块使用。

如图3所示，图3示出了根据本发明另一个实施例的多视点渲染模块示意框图，多视点渲染模块可以渲染出N个视点的立体图像，最终生成满足观看者需求的多视点图像视频。多视点图像渲染模块包含了视差重建单元301和视差渲染合成单元302。

图3中的视差重建单元301可以重建出满足要求的多视差信息。观看者可以自己设置视差偏移参数，按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移w，重建出多视点视差信息。然后再对视差信息进行后处理修复部分丢失的视差信息。在视差重建单元301中依次统计缺失视差区域并标记，再对标记的区域检测边缘，根据边缘检测结果对缺失视差区域进行重采样。在本发明中采用三次卷积内插法可以得到平滑且准确的视差信息。

图3中视差渲染合成单元302可以根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”、等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种多视点图像渲染系统，其特征在于它包括：

输入模块，用于接收及存储图像的原始序列和对应的深度序列图像数据；

图像数据预处理模块，用于将输入图像数据经过预处理以得到渲染多视点图像的参考信息；

多视点渲染模块，用于对预处理后的图像数据进行计算，生成多视点图像视频；

输出模块，用于实时将满足不同分辨率的多视点图像排列，输出多视点图像数据。

2.根据权利要求1所述的多视点图像渲染系统，其特征在于所述图像数据预处理模块包含：

多视点参数单元，用于设定多视点图像的相关参数，以得到适应匹配不同显示设备和/或不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；

图像缩放单元，用于图像数据的缩放处理，使原始图像和输出图像分辨率一致；

去块效应单元，用于去除图片和/或视频压缩中出现的块效应现象；

深度图预处理单元，用于提取图片和/或视频的深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。

3.根据权利要求2所述的多视点图像渲染系统，其特征在于所述去块效应单元将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。

4.根据权利要求1所述的多视点图像渲染系统，其特征在于所述多视点渲染模块包括：

视差重建单元，用于对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差信息；

视差渲染合成单元，用于根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。

5.根据权利要求4所述的多视点图像渲染系统，其特征在于所述视差重建单元在生成N视点图像的情况下，则总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。

6.一种多视点图像渲染方法，其特征在于它包括：

接收及存储图像的原始序列图和对应的深度序列图像数据；

将输入图像数据经过预处理以得到渲染多视点图像的参考信息；

对预处理后的图像数据进行计算，并生成多视点图像视频；

实时将满足不同分辨率的多视点图像进行排列，输出多视点图像数据。

7.根据权利要求6所述的多视点图像渲染方法，其特征在于它还包含：

设定多视点图像的相关参数，以得到适应匹配不同显示设备和不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；

对图像数据进行缩放处理，使原始图像和输出图像分辨率一致；

去除图片或视频压缩中出现的块效应现象；

提取图片或视频深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。

8.根据权利要求7所述的多视点图像渲染方法，其特征在于它还包括将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。

9.根据权利要求6所述的多视点图像渲染方法，其特征在于它还包括：

对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差信息；

以及根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。

10.根据权利要求9所述的多视点图像渲染方法，其特征在于在生成N视点图像的情况下，则总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。