CN110246146B - 基于多次深度图像渲染的全视差光场内容生成方法及装置 - Google Patents

基于多次深度图像渲染的全视差光场内容生成方法及装置 Download PDF

Info

Publication number
CN110246146B
CN110246146B CN201910354500.8A CN201910354500A CN110246146B CN 110246146 B CN110246146 B CN 110246146B CN 201910354500 A CN201910354500 A CN 201910354500A CN 110246146 B CN110246146 B CN 110246146B
Authority
CN
China
Prior art keywords
viewpoint
depth image
dimensional
dimensional image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910354500.8A
Other languages
English (en)
Other versions
CN110246146A (zh
Inventor
桑新柱
管延鑫
李远航
陈莹莹
邢树军
颜玢玢
王葵如
苑金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910354500.8A priority Critical patent/CN110246146B/zh
Publication of CN110246146A publication Critical patent/CN110246146A/zh
Application granted granted Critical
Publication of CN110246146B publication Critical patent/CN110246146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

本发明实施例提供一种基于多次深度图像渲染的全视差光场内容生成方法及装置，属于图像处理技术领域。该方法包括：基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。由于采用了多个参考视点，从而使得对虚拟三维场景的信息采集更加全面，进而可减少三维图像中的空洞，并可完整地表达三维场景的遮挡关系，且适用于大视场角度的光场显示设备。

Description

基于多次深度图像渲染的全视差光场内容生成方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种基于多次深度图像渲染的全视差光场内容生成方法及装置。
背景技术
计算机生成三维内容是三维显示应用于生成三维图像的常用方法。利用计算机图形学软件技术，结合虚拟透镜阵列进行像素编码，可以获得立体图像。在相关技术中，一般是基于深度图像的渲染技术(DIBR)被用于三维图像的生成，深度图与二维图像(2D+D)的组合成为三维图像的传输标准和视频格式，广泛应用于三维电视(3D-TV)之上。目前利用DIBR渲染三维图像，会在边缘视点形成空洞，从而导致渲染得到的三维图像的精确度不够，不能完整表达三维场景的遮挡关系，不适用于大视场角度的光场显示设备。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的智能家具的基于多次深度图像渲染的全视差光场内容生成方法及装置。
根据本发明实施例的第一方面，提供了一种基于多次深度图像渲染的全视差光场内容生成方法，包括：
基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；
根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；
对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
本发明实施例提供的方法，通过基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像。根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像。对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。由于采用了多个参考视点，从而使得对虚拟三维场景的信息采集更加全面，进而可减少三维图像中的空洞，并可完整地表达三维场景的遮挡关系，且适用于大视场角度的光场显示设备。
根据本发明实施例的第二方面，提供了一种基于多次深度图像渲染的全视差光场内容生成方法装置，包括：
渲染模块，用于基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；
计算模块，用于根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；
编码模块，用于对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
根据本发明实施例的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于多次深度图像渲染的全视差光场内容生成方法。
根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于多次深度图像渲染的全视差光场内容生成方法。
应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多次深度图像渲染的全视差光场内容生成方法的流程示意图；
图2为本发明实施例提供的一种基于多次深度图像渲染的全视差光场内容生成方法的流程示意图；
图3为本发明实施例提供的一种不同视点之间的映射关系示意图；
图4为本发明实施例提供的一种不同参考图像中像素之间的对应关系示意图；
图5为本发明实施例提供的一种虚拟摄像机的位置示意图；
图6为本发明实施例提供的一种warping变换示意图；
图7为本发明实施例提供的一种参考视点在真实空间中的位置示意图；
图8为本发明实施例提供的一种参考视点在三维虚拟场景中的位置示意图；
图9为本发明实施例提供的一种参考视点的二维图像和深度图像的示意图；
图10为本发明实施例提供的一种基于多次深度图像渲染的全视差光场内容生成装置的结构示意图；
图11为本发明实施例提供的一种电子设备的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
计算机生成三维内容是三维显示应用于生成三维图像的常用方法。利用计算机图形学软件技术，结合虚拟透镜阵列进行像素编码，可以获得立体图像。在相关技术中，一般是采用基于多视点的内容生成方法获得立体图像，该方法需要计算每个视点位置的图像，计算速度慢，不能提供实时的可交互的三维内容。基于图像的建模和渲染技术作为传统基于几何的图像合成技术的有力替代，近年来受到广泛关注。根据视点之间的相对位置关系，利用参考图像，得到虚拟视点的图像。在图形学中，基于图像的渲染是一种独特的渲染方式，与传统基于模型的渲染不同，基于图像的渲染经常可以充分利用已经渲染完成的图像，快速生成新的图像。在此基础上，基于深度图像的渲染技术(DIBR)被用于三维图像的生成，深度图与二维图像(2D+D)的组合成为三维图像的传输标准和视频格式，广泛应用于三维电视(3D-TV)之上。但是传统的DIBR技术具有明显缺点，利用DIBR生成的图像在边缘视点位置具有的空洞，通过这种方法直接得到的三维图像精确度不够，不能完整的表达三维场景的遮挡关系，不适用于大视场角度的光场显示设备。
针对上述情形，本发明实施例提供了一种基于多次深度图像渲染的全视差光场内容生成方法。参见图1，该方法包括：
101、基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像。
在执行101之前，可先搭建虚拟三维场景，并设置多个参考视点的位置和方向，本发明实施例对此不作具体限定。其中，光栅化渲染是先计算虚拟三维场景中三维模型顶点的坐标变换，然后在三维模型内填充纹理(同样是经过坐标变换)。通过光栅化渲染的过程，可得到每一参考视点对应的二维图像及深度图像。
102、根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像。
由于上述参考视点是虚拟三维场景中的自定义视点，而目标视点是实际视角对应的视点。因此，根据参考视点的位置以及目标视点的位置，也即参考视点与目标视点之间的映射关系，可计算得到目标视点的二维图像及深度图像。
103、对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
在得到目标视点的二维图像及深度图像后，可按照光场显示器的像素编码规则合成，对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。上述过程可参考图2，在图2中，虚拟三维场景中的三维模型经过光栅化渲染，可得到多个参考视点的二维图像和深度图像。根据映射关系以及多个参考视点的二维图像和深度图像，通过编码合成的方式可以得到三维图像。
本发明实施例提供的方法，通过基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像。根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像。对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。由于采用了多个参考视点，从而使得对虚拟三维场景的信息采集更加全面，进而可减少三维图像中的空洞，并可完整地表达三维场景的遮挡关系，且适用于大视场角度的光场显示设备。
基于上述实施例的内容，作为一种可选实施例，多个参考视点位于虚拟三维场景的边缘位置，多个参考视点对应的参考视点总数为4。需要说明的是，实际实施过程中参考视点的总数以及位置还可以根据需求进行设置，本发明实施例对此不作具体限定。
基于上述实施例的内容，作为一种可选实施例，本发明实施例不对根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像的方式作具体限定，包括但不限于：根据每一参考视点以及目标视点的坐标，对每一参考视点对应的二维图像及深度图像进行warping变换，得到目标视点的二维图像及深度图像。
其中，利用深度信息将参考图像投影到三维欧式空间，然后再将三维空间点投影到虚拟摄像机的成像平面上，即为warping变换。由于本发明实施例采用的是多个参考视点，也即MDIBR算法。其中，不同视点之间的映射关系可参考图3。参考视点对应的参考图像中的像素与目标视点对应的参考图像中的像素之间的对应关系可参考图4。
基于上述实施例的内容，作为一种可选实施例，warping变换包括水平warping变换及垂直warping变换。另外，基于上述实施例的内容，作为一种可选实施例，在基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像之前，还可以预先设置多个虚拟摄像机，从而将虚拟摄像机作为参考视点，每个虚拟摄像机对应一个参考视点。
以上述多个参考视点的总数为4为例，4个参考视点位于虚拟三维场景的边缘位置、且该4个参考视点由为例，如图5所示，四个虚拟摄像机分别位于四个边缘点的位置，分别为Cam(0，0)、Cam(0，1)、Cam(1，0)及Cam(1，1)。先以虚拟摄像机Cam(0，0)和Cam(0，1)作为参考，进行水平warping变换，得到图像V1，同时图像V2由相机Cam(1，0)和Cam(1，1)经过水平warping得到。以图像V1和图像V2为参考视点，进行垂直warping变换，可得到目标视点的三维图像及深度图像。其中，warping变换过程可参考图6。
基于上述实施例的内容，作为一种可选实施例，本发明实施例不对预先设置多个虚拟摄像机的方式作具体限定，包括但不限于：根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，设置每一虚拟摄像机中的摄像参数。
其中，虚拟摄像机中的摄像参数可以包括投影矩阵，本发明实施例对此不作具体限定。相应地，基于上述实施例的内容，作为一种可选实施例，本发明实施例不对根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，设置每一虚拟摄像机中的摄像参数的方式作具体限定，包括但不限于：根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，对每一虚拟摄像机中的投影矩阵进行错切变换。
具体地，错切矩阵可如下方程所示：
Figure BDA0002044970060000071
其中，K可通过如下公式计算：
Figure BDA0002044970060000081
在上述公式中，t表示虚拟摄像机(也即参考视点)与x坐标轴方向的零视差平面中心之间的距离，z0表示表示虚拟摄像机(也即参考视点)与z坐标轴方向的零视差平面中心之间的距离。以多个参考视点的总数为2为例，上述错切变换的过程可参考图7至图9。其中，图7为参考视点在真实空间中的位置，图8为参考视点在三维虚拟场景中的位置，图9为经过光栅化渲染的参考视点的二维图像和深度图像。
基于上述实施例的内容，本发明实施例提供了一种基于多次深度图像渲染的全视差光场内容生成装置，该装置用于执行上述方法实施例中提供的基于多次深度图像渲染的全视差光场内容生成方法。参见图10，该装置包括：渲染模块1001、计算模块1002及编码模块1003；其中，
渲染模块1001，用于基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；
计算模块1002，用于根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；
编码模块1003，用于对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
基于上述实施例的内容，作为一种可选实施例，多个参考视点位于虚拟三维场景的边缘位置，多个参考视点对应的参考视点总数为4。
基于上述实施例的内容，作为一种可选实施例，计算模块1002，用于根据每一参考视点以及目标视点的坐标，对每一参考视点对应的二维图像及深度图像进行warping变换，得到目标视点的二维图像及深度图像。
基于上述实施例的内容，作为一种可选实施例，warping变换包括水平warping变换及垂直warping变换。
基于上述实施例的内容，作为一种可选实施例，该装置还包括：
设置模块，用于预先设置多个虚拟摄像机，每个虚拟摄像机对应一个参考视点。
基于上述实施例的内容，作为一种可选实施例，设置模块，用于根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，设置每一虚拟摄像机中的摄像参数。
基于上述实施例的内容，作为一种可选实施例，摄像参数至少包括投影矩阵；设置模块，用于根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，对每一虚拟摄像机中的投影矩阵进行错切变换。
本发明实施例提供的装置，通过基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像。根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像。对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。由于采用了多个参考视点，从而使得对虚拟三维场景的信息采集更加全面，进而可减少三维图像中的空洞，并可完整地表达三维场景的遮挡关系，且适用于大视场角度的光场显示设备。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(CommunicationsInterface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行如下方法：基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到目标视点的二维图像及深度图像；对目标视点的二维图像及深度图像进行编码，得到虚拟三维场景以目标视点为视角的三维图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多次深度图像渲染的全视差光场内容生成方法，其特征在于，包括：
基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；
根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到所述目标视点的二维图像及深度图像；
对所述目标视点的二维图像及深度图像进行编码，得到所述虚拟三维场景以所述目标视点为视角的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述多个参考视点位于所述虚拟三维场景的边缘位置，所述多个参考视点对应的参考视点总数为4。
3.根据权利要求2所述的方法，其特征在于，所述根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到所述目标视点的二维图像及深度图像，包括：
根据每一参考视点以及所述目标视点的坐标，对每一参考视点对应的二维图像及深度图像进行warping变换，得到所述目标视点的二维图像及深度图像。
4.根据权利要求3所述的方法，其特征在于，所述warping变换包括水平warping变换及垂直warping变换。
5.根据权利要求1所述的方法，其特征在于，所述基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像之前，包括：
预先设置多个虚拟摄像机，每个虚拟摄像机对应一个参考视点。
6.根据权利要求5所述的方法，其特征在于，所述预先设置多个虚拟摄像机，包括：
根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，设置每一虚拟摄像机中的摄像参数。
7.根据权利要求6所述的方法，其特征在于，所述摄像参数至少包括投影矩阵；所述根据错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，设置每一虚拟摄像机中的摄像参数，包括：
根据所述错切矩阵以及每一虚拟摄像机与不同坐标方向的零视差平面中心之间的距离，对每一虚拟摄像机中的投影矩阵进行错切变换。
8.一种基于多次深度图像渲染的全视差光场内容生成装置，其特征在于，包括：
渲染模块，用于基于多个参考视点对虚拟三维场景进行光栅化渲染，得到每一参考视点对应的二维图像及深度图像；
计算模块，用于根据每一参考视点对应的二维图像及深度图像以及每一参考视点与目标视点之间的映射关系，计算得到所述目标视点的二维图像及深度图像；
编码模块，用于对所述目标视点的二维图像及深度图像进行编码，得到所述虚拟三维场景以所述目标视点为视角的三维图像。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201910354500.8A 2019-04-29 2019-04-29 基于多次深度图像渲染的全视差光场内容生成方法及装置 Active CN110246146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910354500.8A CN110246146B (zh) 2019-04-29 2019-04-29 基于多次深度图像渲染的全视差光场内容生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910354500.8A CN110246146B (zh) 2019-04-29 2019-04-29 基于多次深度图像渲染的全视差光场内容生成方法及装置

Publications (2)

Publication Number Publication Date
CN110246146A CN110246146A (zh) 2019-09-17
CN110246146B true CN110246146B (zh) 2021-07-30

Family

ID=67883490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910354500.8A Active CN110246146B (zh) 2019-04-29 2019-04-29 基于多次深度图像渲染的全视差光场内容生成方法及装置

Country Status (1)

Country Link
CN (1) CN110246146B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913200B (zh) * 2019-10-29 2021-09-28 北京邮电大学 一种多屏拼接同步的多视点图像生成系统及方法
CN111343444B (zh) * 2020-02-10 2021-09-17 清华大学 一种立体图像生成方法及装置
CN111988596B (zh) * 2020-08-23 2022-07-26 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及可读存储介质
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN113223144B (zh) * 2021-04-15 2022-06-21 北京邮电大学 一种三维显示海量数据的处理方法及系统
CN113470154B (zh) * 2021-07-30 2023-11-28 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115202174B (zh) * 2022-07-14 2023-11-10 浙江理工大学 基于光场图像的全息体视图获取方法、系统和应用
CN115512038B (zh) * 2022-07-22 2023-07-18 北京微视威信息科技有限公司 自由视点合成的实时绘制方法、电子设备及可读存储介质
CN115866232B (zh) * 2022-11-23 2023-06-02 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质
CN116095294B (zh) * 2023-04-10 2023-06-16 深圳臻像科技有限公司 根据深度值渲染分辨率的三维光场图像编码方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556700A (zh) * 2009-05-15 2009-10-14 宁波大学 一种虚拟视点图像绘制方法
CN101729891A (zh) * 2009-11-05 2010-06-09 宁波大学 一种多视点深度视频的编码方法
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
CN105791798A (zh) * 2016-03-03 2016-07-20 北京邮电大学 一种基于gpu的4k超多视点3d视频实时转化方法及装置
CN106060524A (zh) * 2016-06-30 2016-10-26 北京邮电大学 一种摄像机的设置方法及装置
CN107147894A (zh) * 2017-04-10 2017-09-08 四川大学 一种自由立体显示中的虚拟视点图像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
EP2901671A4 (en) * 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
CN109712067B (zh) * 2018-12-03 2021-05-28 北京航空航天大学 一种基于深度图像的虚拟视点绘制方法
CN109769109A (zh) * 2019-03-05 2019-05-17 东北大学 基于虚拟视点合成绘制三维物体的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556700A (zh) * 2009-05-15 2009-10-14 宁波大学 一种虚拟视点图像绘制方法
CN101729891A (zh) * 2009-11-05 2010-06-09 宁波大学 一种多视点深度视频的编码方法
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
CN105791798A (zh) * 2016-03-03 2016-07-20 北京邮电大学 一种基于gpu的4k超多视点3d视频实时转化方法及装置
CN106060524A (zh) * 2016-06-30 2016-10-26 北京邮电大学 一种摄像机的设置方法及装置
CN107147894A (zh) * 2017-04-10 2017-09-08 四川大学 一种自由立体显示中的虚拟视点图像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient Image Warping in Parallel for Multiview Three-Dimensional Displays;Nan Guo et al.;《Journal of Display Technology》;20161130;第12卷(第11期);第1335-1343页 *
电子沙盘的三维可视化关键技术研究;邢树军;《中国博士学位论文全文数据库 社会科学I辑》;20180215;正文第四章 *

Also Published As

Publication number Publication date
CN110246146A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110246146B (zh) 基于多次深度图像渲染的全视差光场内容生成方法及装置
US10839591B2 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
CN103426163B (zh) 用于渲染受影响的像素的系统和方法
Daribo et al. A novel inpainting-based layered depth video for 3DTV
CN109685891B (zh) 一种基于深度图像的建筑物三维建模与虚拟场景生成方法及系统
JP5654138B2 (ja) ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
US9986258B2 (en) Efficient encoding of multiple views
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
WO2015196791A1 (zh) 双目三维图形渲染方法及相关系统
JP2009211335A (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
US8577202B2 (en) Method for processing a video data set
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
CN115359173A (zh) 虚拟多视点视频生成方法、装置、电子设备和存储介质
CN114463408A (zh) 自由视点图生成方法、装置、设备及存储介质
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
CN103945206A (zh) 一种基于相似帧比较的立体图像合成系统
Wang et al. Virtual view synthesis without preprocessing depth image for depth image based rendering
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
Knorr et al. From 2D-to stereo-to multi-view video
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
KR101920113B1 (ko) 임의시점 영상생성 방법 및 시스템
De Sorbier et al. Augmented reality for 3D TV using depth camera input
JP5565126B2 (ja) 立体印刷物制作支援装置、プラグインプログラム、立体印刷物制作方法および立体印刷物

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant