CN109685882B - 在渲染中将光场作为更好的背景 - Google Patents

在渲染中将光场作为更好的背景 Download PDF

Info

Publication number
CN109685882B
CN109685882B CN201811208335.7A CN201811208335A CN109685882B CN 109685882 B CN109685882 B CN 109685882B CN 201811208335 A CN201811208335 A CN 201811208335A CN 109685882 B CN109685882 B CN 109685882B
Authority
CN
China
Prior art keywords
background
scene
light
light field
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811208335.7A
Other languages
English (en)
Other versions
CN109685882A (zh
Inventor
D·赛贝特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN109685882A publication Critical patent/CN109685882A/zh
Application granted granted Critical
Publication of CN109685882B publication Critical patent/CN109685882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开所介绍的方法和系统使用四维(4D)光场作为场景的背景，而不是2D背景图像。计算光场的实现需要大量的处理能力、数据存储和时间(甚至使用当前可用的硬件)，所介绍的方法和系统在渲染场景之前计算和存储光场。为了减少在渲染过程期间存储和访问光场的时间，所介绍的方法和系统还使用改进的视频编解码器来将光场压缩和解压缩为2D图像。

Description

在渲染中将光场作为更好的背景
相关申请的交叉引用
本申请要求丹尼尔·赛伯特(Daniel Seibert)于2017年10月17日提交的题为“在渲染中将光场作为更好的背景(LIGHT FIELDS AS BETTER BACKGROUNDS IN RENDERING)”的美国临时申请序列号62/573,384的权益，在此该临时申请与本申请被共同转让，其全部内容通过引用并入本文。
技术领域
本申请总地涉及渲染图像，更具体地，涉及渲染图像中的背景。
背景技术
在计算机图形中，例如，非实时的、基于物理的渲染、捕获的(例如，高动态范围(HDR)照片)或渲染的(例如，天空模型)图像通常用于背景。这些图像可以用作环境地图，其用作环绕背景图像和场景的光源，和/或用作背板，其用作固定远景背景图像。这些图像被称为“背景图像”。
当背景图像用于围绕和照亮场景时，背景图像中的特征看起来不可信，因为场景的虚拟视点(例如，相机位置)偏离原始位置，即背景被捕获或生成的位置。例如，当观看场景的相机的位置移动并偏离原始位置时，背景图像中更靠近相机的一些特征不会像在现实生活中那样相对于那些距离更远的特征偏移。此外，背景图像中的所有表面看起来都是漫反射的，例如，不会发生反射和折射效应。
这是因为由于背景图像是二维(2D)图像，因此正确观看背景图像的唯一视点是原始位置，并且根据定义，背景图像中的环境是无限远的。正确照亮场景的方向数据只能从原始位置获得。因此，当投影到世界空间中时，背景图像变得与视图独立并且缺乏视差，并且不能提供新颖的照明信息。
当隐身遮挡体(matte object)用作背景图像的一部分时，也会发生上述问题。隐身遮挡体是占位符几何图形，其作为背景图像中选定物体的替代图形而添加。它们用于模拟计算机生成的(“合成”)前景物体与背景之间的交互，例如前景物体将阴影投射到隐身遮挡体上或在隐身遮挡体中看到前景物体的反射。由于隐身遮挡体的外观是从背景图像的像素导出的，因此当视点与原始位置不同时，隐身遮挡体看起来也是漫反射且不可信，并且缺少视差。注意，当考虑反射和折射时，视点总是不同于原始位置。
附图说明
现在结合附图参考以下描述，其中：
图1示出了根据本公开的原理的采用光场作为渲染中的背景的方法的流程图；以及
图2示出了根据例如在图1的上下文中所讨论的本公开的原理的、被配置为执行采用光场作为渲染中的背景的方法的示例计算机系统的框图。
具体实施方式
所介绍的方法和系统通过使用四维(4D)光场而不是2D背景图像作为场景的背景来克服所有上述问题。实现光场的计算需要大量的处理能力、数据存储和时间(甚至使用当前可用的硬件)，所介绍的方法和系统在渲染场景之前计算和存储光场。为了减少在渲染过程期间存储和访问光场的时间，所介绍的方法和系统可以使用改进的视频编解码器来将光场压缩和解压缩为2D图像。
在渲染期间，所介绍的方法和系统访问并使用所存储的4D光场作为场景的背景。所介绍的方法和系统将光线投射到场景中以模拟光与场景的前景和背景的交互。当光线照射到(hit)背景或离开场景时，所介绍的方法和系统会查找来自4D光场的值以确定4D光场对所述交互的贡献。
所介绍的方法和系统显著地改善了光与场景的前景和背景的交互的渲染，因为更多(或全部)观看方向的数据从4D光场变得可用于背景查找。相机/虚拟视点旋转和运动(在光场的范围内)在全视差和所有视图相关的效果都是完好的情况下也变得可能。类似地，因为光场捕获依赖于视图的照明信息，所以隐身遮挡体不再呈现漫反射，而是像现实生活中那样看起来有光泽或反光。为了加速光线收敛到正确解(correct solution)，所介绍的方法和系统可以在跟踪和确定光线的权重时采用诸如下一事件估计、光跟踪和光子映射之类的技术。
图1示出了用4D光场作为场景的背景来渲染场景的方法100的实施例。在光场覆盖所有方向的一个实施例中，光场可以用作环境地图并且可以用作可见背景和光源(以照亮场景)两者。在另一实施例中，4D光场为平行平面类，并因此仅覆盖一个象限，它可以用作作为固定视角背景图像的背板。该方法可以由渲染器来执行，例如基于物理的渲染器，其将参考图2更详细地描述。该方法从步骤110开始。
在步骤120，提供了表示场景的背景的4D光场。可以从现实场景或图像捕获光场或合成地生成光场。在一个实施例中，通过为环绕场景的框的每个面提供2D阵列(如x*y)来生成光场，所述2D阵列由用6*x*y相机拍摄的具有u*v分辨率的普通2D平面照片组成。在另一实施例中，通过存储环绕要渲染的场景的球体上的每个点的2D图像来生成光场；2D图像不需要是平面的，其可以映射到半球上。对光场数据的访问可以被参数化为光线，例如，一对3D位置和单位方向，后者可以用极坐标表示。该信息可以容易地映射到光场的本地参数化，其通常是围绕光场的表面上的2D位置和方向或一对2D坐标。注意，光场参数化不限于上述方法，并且可以使用其他参数化方法。
当光场被计算并存储为2D图像流时，可以使用现有图像压缩技术和GPU(图形处理器)上的纹理硬件解压缩将光场压缩并存储在盘上并在渲染期间实时解压缩和解包。注意，即使当光场不是生成为2D图像流时，它仍然可以例如使用改进的视频编解码器(如高效视频编解码器(H.265和MPEG-H第2部分))或基于矢量量化的方法来处理。使用的压缩技术是有损压缩，并且可以实现数据减少几个数量级。
在一个实施例中，可以无损地压缩光场。在这样的实施例中，使用常用的算法和常规文件压缩中的现有包(例如ZIP等)是可能的。一些预处理变换变换，例如使用小波变换，也可以用来使得压缩效率更高。
利用易于访问的光场，方法100开始渲染场景的图像。在步骤130，接收要渲染的场景的信息(场景信息)。可以从存储介质接收场景信息或使用应用程序编程接口直接从应用程序接收场景信息。该信息通常可以包括表示场景的前景的前景信息，例如场景的至少一个前景(合成)物体，以及表示场景的背景的背景信息，包括其中的隐身遮挡体。前景信息可以包括场景几何、材料信息和纹理，并且背景信息可以包括4D光场和背景图像。
在步骤140，方法100通过将光线投射到场景中来开始生成光传输路径。光线被投射到场景中以模拟光与场景(诸如场景的前景和背景)如何交互。当光线穿过场景时，它会与场景的光源、背景、前景物体和背景物体交互。使用蒙特卡罗或准蒙特卡罗方法生成和采样光线。
在一个实施例中，可以将光线从虚拟视点(例如，观看场景的相机的视点)投射到场景中的像素中。在另一个实施例中，光线可以从场景的光场/背景投射，或者从虚拟视点和光场/背景两者投射，例如在双向路径追踪或光子映射中。注意，在本公开中，光线不仅包括初级光线，即源自虚拟视点或光场/光源的光线，还包括次级光线，即从新的方向上的先前交点投射的那些光线。
在步骤150，当光线在场景周围反弹时光线被跟踪。跟踪包括当光线通过反射或折射离开前景中的物体(即合成物体)的表面来构建光传输路径时聚集光线的权重。光传输路径的每个段称为光/眼子路径，并且它们可以连接以形成许多完整的路径。通过确定光线与场景之间的任何交互的图像位置并确定该交互是否从相机位置(例如，虚拟视点)可见来对最终图像做出贡献。
当光线从虚拟视点或光场投射时，光线被跟踪直到它们照射到背景(例如，光场的边界)或照射到其中的隐身遮挡体、离开场景(例如，光线没有照射到任何物体)或当渲染器确定路径不再值得延伸时。例如，渲染器可以根据“俄罗斯轮盘”随机结束跟踪或者当已经生成与场景的某些(可配置的)交互次数时结束跟踪。方法100可以使用例如下一事件估计(NEE)技术或其他重要性采样技术来主动估计光线的未来位置并更快地实现收敛，而不是等待光线照射到某些东西，例如背景或隐身遮挡体。在一个实施例中，方法100可以使用NEE在光线实际照射到背景或离开场景之前基于光线的方向来估计光线与背景的相交位置。
当从光场和虚拟视点两者投射光线时，子路径的前缀或者彼此连接以生成完整的路径，例如，通过跟踪连接点之间的光线以确定相互可见性或通过使用最近邻居查找方法加入附近的点，或者被认为是不可连接的，例如，由于遮挡。双向路径跟踪和光子映射是跟踪从光场和虚拟视点两者投射的光线的技术的示例。
应当理解，步骤140和150可以通过使用由多条光线组成的波前来并行执行，例如，投射和跟踪从虚拟视点到数千个照射点(hit point)的数千条光线。
在步骤160，确定背景对光与场景的前景和背景的交互的贡献。背景对交互的贡献是通过将从跟踪光线收集的权重与在4D光场与光线的相交点处从4D光场中查找的值相乘确定的。当光线从虚拟视点投射时，基于光线如何(方向)与背景相交和光线与背景在何处(位置)相交而从4D光场中查找该值。当从背景或从虚拟视点和背景两者投射光线时，背景的贡献可以由光线相对于光场从其投射的位置和方向确定。可以使用共同重要性采样方法独立地或组合地确定该位置和方向以实现快速收敛。
在所示实施例中，光源是由4D光场代表的背景的一部分。在一个实施例中，光源可以不是背景的一部分，但可以是场景中合成物体的一部分，例如汽车的前灯。在该示例中，通过考虑内部的所有透镜和反射器，可以为前灯产生一次光场，并且在场景中的前灯的位置中使用。
一旦确定了贡献，就在步骤170将它们写入渲染器的存储器的帧缓冲器。它们用于渲染场景中像素的最终颜色。方法100在步骤175结束。应当理解，可以重复步骤140-160，直到累积足够的样本(即光传输路径)以达到收敛解。
图2示出了示例计算机图形渲染计算机系统200的框图，该计算机图形渲染计算机系统200被配置为采用根据本公开的例如在图1的上下文中讨论的原理使用4D光场作为背景来渲染场景的方法。
系统200的实施例可包括中央处理单元(CPU)210，例如，其被配置为主机处理器，和存储介质215，诸如主存储器220(例如，随机存取存储器(RAM))和辅助存储器225。存储介质215可以非暂时性地存储控制逻辑软件，例如计算机程序产品，以及表示场景的前景和背景的数据，诸如场景信息205，其包括场景几何形状、材料信息、背景图像和4D光场。在已经确定光场对光与场景的前景和背景的交互的贡献之后，主存储器220可以将场景中的像素的最终值存储在帧缓冲器222中。主存储器220的非限制性示例包括例如随机存取存储器(RAM)。辅助存储器225的非限制性示例包括硬盘驱动器、可移除存储驱动器，诸如软盘驱动器、磁带驱动器或光盘驱动器。
系统200的实施例还可以包括图形处理单元(GPU)230。在一些实施例中，为了辅助执行例如方法100的渲染方法的步骤，GPU 230可以包括多个光线投射模块和光线跟踪模块。在一些实施例中，这些模块可以进一步被配置为确定背景/4D光场对场景的前景和背景之间的交互的贡献。在系统200的其他实施例中，CPU 210可以被配置为执行所述确定。
系统200的实施例可以包括显示器240，例如计算机监视器或其他用户界面。在系统200的一些实施例中，通信总线250可以互连CPU 210、主存储器220和辅助存储器225、GPU230和显示器240中的任何一个或更多个。
在一些实施例中，光线投射模块和光线跟踪模块可以位于单个半导体平台上以形成GPU 230。在一些实施例中，GPU 230的单个半导体平台可以包括基于单一半导体的集成电路(IC)，诸如专用片上系统(ASIC)。单个半导体平台的实施例可以包括具有增强连接性的多芯片模块，其模拟片上操作以提供对传统CPU和总线实现的改进。在其他实施例中，系统200的一个或更多个组件可以单独地或以各种组合位于不同的半导体平台上。系统200的实施例可以包括现场可编程门阵列(FPGA)。
诸如计算机程序产品之类的计算机可读指令(包括计算机控制逻辑算法)可以非暂时性地存储在存储介质215中，例如主存储器220和辅助存储器225中的任一个或两个。当指令被执行时，可以使诸如CPU 210和/或GPU 230之类的处理器来执行使用4D光场作为背景来渲染场景的方法的各种步骤，例如在图1的上下文中公开的任何步骤。
计算机系统200的非限制性示例实施例包括通用计算机系统、电路板系统和专用于娱乐目的的游戏控制台系统、专用系统或相关领域技术人员熟悉的其他计算机系统。例如，计算机系统200可以以台式计算机、膝上型计算机、个人数字助理(PDA)设备、移动电话设备、电视等形式体现。在一些实施例中，计算机系统200可以耦合到用于通信目的的网络，例如电信网络、局域网(LAN)、无线网络、广域网(WAN)，诸如因特网、对等网络、有线网络等。
本申请所涉及领域的技术人员将理解，可以对所描述的实施例进行其他和进一步的添加、删除、替换和修改。

Claims (17)

1.一种渲染的方法，所述方法包括：
接收关于要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；
将来自虚拟视点和所述背景两者的光线投射到所述场景中以模拟光与所述场景的所述前景和所述背景的交互；以及
通过将从跟踪所述光线收集的一个或更多个权重与所述4D光场和所述光线的交点处的所述4D光场的一个或更多个值相乘来确定所述背景对所述交互的贡献，其中所述值至少部分地基于所述光线与所述背景相交的方向和位置。
2.根据权利要求1所述的方法，还包括将所述4D光场压缩并存储为二维图像流。
3.根据权利要求1所述的方法，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。
4.根据权利要求1所述的方法，其中，所述值基于所述光线与所述背景相交的位置和方向。
5.根据权利要求1所述的方法，还包括确定所述光线中的至少一条光线和所述场景之间的交互的图像位置从所述虚拟视点是否是可见的。
6.根据权利要求1所述的方法，还包括跟踪所述光线中的至少一条光线，直到所述至少一条光线照射到所述背景的隐身遮挡体为止。
7.一种渲染器，所述渲染器包括：
存储器，其被配置为存储要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；和
图形处理单元，其耦合到所述存储器并且被配置为将来自虚拟视点和所述背景两者的光线投射到所述场景中以模拟光与所述场景的所述前景和所述背景的交互，并通过将从跟踪所述光线收集的一个或更多个权重与所述4D光场和所述光线的交点处的所述4D光场的一个或更多个值相乘来确定所述背景对所述交互的贡献，其中所述值至少部分地基于所述光线与所述背景相交的方向和位置。
8.根据权利要求7所述的渲染器，其中，所述4D光场被压缩并作为二维图像流存储在所述存储器中。
9.根据权利要求7所述的渲染器，其中，当所述光线照射到所述背景时或当所述光线从所述背景投射时，所述光线与所述4D光场相交。
10.根据权利要求7所述的渲染器，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。
11.根据权利要求7所述的渲染器，其中，所述图形处理单元还被配置为确定所述光线中的至少一些是否彼此连接。
12.根据权利要求7所述的渲染器，其中，所述图形处理单元还被配置为确定所述光线中的至少一条光线和所述场景之间的交互的图像位置从所述虚拟视点是否是可见的。
13.一种计算机程序产品，存储在非暂时性计算机可读介质中，当所述计算机程序产品被执行时，使得处理器：
接收要渲染的场景的信息，所述信息包括表示所述场景的前景的前景信息和表示所述场景的背景的四维4D光场；
将来自虚拟视点和所述背景两者的光线投射到所述场景中以模拟光与所述场景的所述前景和所述背景之间的交互；以及
通过将从跟踪所述光线收集的一个或更多个权重与所述4D光场和所述光线的交点处的所述4D光场的一个或更多个值相乘来确定所述背景对所述交互的贡献，其中所述值至少部分地基于所述光线与所述背景相交的方向和位置。
14.根据权利要求13所述的计算机程序产品，其中执行还使得所述处理器将所述4D光场压缩并存储为二维图像流。
15.根据权利要求13所述的计算机程序产品，其中，所述交互包括光与所述前景的合成物体的交互和光与所述背景的隐身遮挡体的交互。
16.根据权利要求13所述的计算机程序产品，使得所述处理器确定所述光线中的至少一条光线和所述场景之间的交互的图像位置从所述虚拟视点是否是可见的。
17.根据权利要求13所述的计算机程序产品，其中，执行还使得所述处理器跟踪所述光线中的至少一条光线，直到所述至少一条光线照射到所述背景的隐身遮挡体为止。
CN201811208335.7A 2017-10-17 2018-10-17 在渲染中将光场作为更好的背景 Active CN109685882B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762573384P 2017-10-17 2017-10-17
US62/573,384 2017-10-17
US16/051,033 2018-07-31
US16/051,033 US10776995B2 (en) 2017-10-17 2018-07-31 Light fields as better backgrounds in rendering

Publications (2)

Publication Number Publication Date
CN109685882A CN109685882A (zh) 2019-04-26
CN109685882B true CN109685882B (zh) 2024-05-31

Family

ID=66096578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811208335.7A Active CN109685882B (zh) 2017-10-17 2018-10-17 在渲染中将光场作为更好的背景

Country Status (2)

Country Link
US (1) US10776995B2 (zh)
CN (1) CN109685882B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588437A (zh) * 2008-04-29 2009-11-25 奥多比公司 用于对光场图像进行基于块的压缩的方法和设备
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
CN103856777A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于光场渲染的视频编解码方法
CN104081414A (zh) * 2011-09-28 2014-10-01 派力肯影像公司 用于编码和解码光场图像文件的系统及方法
CN104156916A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于场景光照恢复的光场投影方法
CN104662589A (zh) * 2012-08-21 2015-05-27 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN106170822A (zh) * 2013-12-23 2016-11-30 特拉华大学 3d光场相机和摄影方法
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
CN106303228A (zh) * 2016-08-04 2017-01-04 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN107194965A (zh) * 2016-03-14 2017-09-22 汤姆逊许可公司 用于处理光场数据的方法和设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6674430B1 (en) 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US6502097B1 (en) 1999-12-23 2002-12-31 Microsoft Corporation Data structure for efficient access to variable-size data objects
EP1264281A4 (en) 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US7212206B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7723662B2 (en) 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US7884819B2 (en) * 2006-09-27 2011-02-08 International Business Machines Corporation Pixel color accumulation in a ray tracing image processing system
US8907979B2 (en) * 2006-10-24 2014-12-09 Adobe Systems Incorporated Fast rendering of knockout groups using a depth buffer of a graphics processing unit
US7782318B2 (en) * 2006-11-22 2010-08-24 International Business Machines Corporation Method for reducing network bandwidth by delaying shadow ray generation
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
KR101630286B1 (ko) * 2010-08-09 2016-06-15 한화테크윈 주식회사 전경 및 배경 분리 장치 및 방법
US8970626B2 (en) * 2012-04-17 2015-03-03 Nvidia Corporation System, method, and computer program product for adding computer-generated scene elements into a representation of a real-world scene, using path tracing
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US20150262424A1 (en) 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9953457B2 (en) 2013-04-22 2018-04-24 Nvidia Corporation System, method, and computer program product for performing path space filtering
US9418469B1 (en) * 2013-07-19 2016-08-16 Outward, Inc. Generating video content
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
JP2015132953A (ja) * 2014-01-10 2015-07-23 キヤノン株式会社 画像処理装置およびその方法
CN106662749B (zh) 2014-07-15 2020-11-10 奥斯坦多科技公司 用于全视差光场压缩的预处理器
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
EP3144885A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Light field data representation
US10579812B2 (en) 2016-02-19 2020-03-03 Adobe Inc. 3D digital content interaction and control
US10109100B2 (en) * 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588437A (zh) * 2008-04-29 2009-11-25 奥多比公司 用于对光场图像进行基于块的压缩的方法和设备
CN104081414A (zh) * 2011-09-28 2014-10-01 派力肯影像公司 用于编码和解码光场图像文件的系统及方法
CN104662589A (zh) * 2012-08-21 2015-05-27 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN103856777A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于光场渲染的视频编解码方法
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
CN106170822A (zh) * 2013-12-23 2016-11-30 特拉华大学 3d光场相机和摄影方法
CN104156916A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于场景光照恢复的光场投影方法
CN107194965A (zh) * 2016-03-14 2017-09-22 汤姆逊许可公司 用于处理光场数据的方法和设备
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
CN106303228A (zh) * 2016-08-04 2017-01-04 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统

Also Published As

Publication number Publication date
US10776995B2 (en) 2020-09-15
CN109685882A (zh) 2019-04-26
US20190114825A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
US20220327765A1 (en) Reflection denoising in ray-tracing applications
KR101933860B1 (ko) 증강 현실에 대한 방사 전달 샘플링을 위한 장치 및 방법
US11625894B2 (en) Virtual photogrammetry
US9251623B2 (en) Glancing angle exclusion
WO2021228031A1 (zh) 渲染方法、设备以及系统
US8878849B2 (en) Horizon split ambient occlusion
US20230230311A1 (en) Rendering Method and Apparatus, and Device
CA2744504A1 (en) Optimal point density using camera proximity for point-based global illumination
US11823321B2 (en) Denoising techniques suitable for recurrent blurs
WO2023061364A1 (zh) 建立模型的方法和相关装置
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
Schwandt et al. A single camera image based approach for glossy reflections in mixed reality applications
CN116758208A (zh) 全局光照渲染方法、装置、存储介质及电子设备
Lee et al. Real time 3D avatar for interactive mixed reality
Hauswiesner et al. Coherent image-based rendering of real-world objects
CN109685882B (zh) 在渲染中将光场作为更好的背景
CN115359172A (zh) 渲染方法及相关装置
EP4040397A1 (en) Method and computer program product for producing a 3d representation of an object
CN117376540A (zh) 一种基于深度图的虚拟视角合成方法和装置
US11210860B2 (en) Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US20230186575A1 (en) Method and apparatus for combining an augmented reality object in a real-world image
KR20230013099A (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
US20230090732A1 (en) System and method for real-time ray tracing in a 3d environment
Ye et al. A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant