CN111741286B - 使用光线投射法的基于图像的多个深度图像的几何融合 - Google Patents

使用光线投射法的基于图像的多个深度图像的几何融合 Download PDF

Info

Publication number
CN111741286B
CN111741286B CN202010585224.9A CN202010585224A CN111741286B CN 111741286 B CN111741286 B CN 111741286B CN 202010585224 A CN202010585224 A CN 202010585224A CN 111741286 B CN111741286 B CN 111741286B
Authority
CN
China
Prior art keywords
ray
image
sdv
depth
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010585224.9A
Other languages
English (en)
Other versions
CN111741286A (zh
Inventor
乌格斯·霍佩
里卡多·马丁·布鲁瓦利亚
哈里斯·诺弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210973580.7A priority Critical patent/CN115348435B/zh
Publication of CN111741286A publication Critical patent/CN111741286A/zh
Application granted granted Critical
Publication of CN111741286B publication Critical patent/CN111741286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及使用光线投射法的基于图像的多个深度图像的几何融合。渲染图像的技术包括：在沿着来自指定视点的光线的距给定深度图像的投影距离方面，生成沿着该光线的带有符号的距离值(SDV)。对于从指定视点的透视角的图像中的每个像素，光线被追踪到由该图像表示的三维场景中。沿着光线执行迭代步骤，在每个迭代中获得三维世界空间点p。结果是如从深度视图Dj中所测量的带有符号的距离sj。如果带有符号的距离sj的绝对值大于某个截断阈值参数，则该带有符号的距离sj被特定的未定义值替换。定义的带有符号的距离值被聚合以获得总体带有符号的距离s。最后，带有符号的距离场的根或零集(等值面)被确定。

Description

使用光线投射法的基于图像的多个深度图像的几何融合
技术领域
此说明书涉及多个深度图像的融合。
背景技术
一些被配置成渲染计算机图形对象的计算机可以在给定多个、现有视图的情况下在指定的视图处渲染对象。例如，考虑到从相机捕获的关于包括这样的计算机图形对象的场景的数个深度图像和彩色图像，目标可能是从不同的视点合成场景的新视图。场景可以是真实的或者可以是合成的，在场景可以是真实的情况下使用物理颜色和深度传感器捕获视图，在场景可以是合成的情况下使用诸如光栅化或光线追踪法的渲染算法捕获视图。对于真实场景，存在许多深度感测技术，诸如飞行时间传感器、基于结构光的传感器以及立体或多视图立体算法。此类技术可能涉及具有被动或主动照明模式的可见或红外传感器，其中这些模式可能会随时间变化。
发明内容
在一个总体方面，一种方法可以包括：由被配置成渲染对象图像的计算机的处理电路，接收表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个是从相应视点捕获到的对象的深度图像，该深度图像表示图像捕获设备与对象之间的距离。该方法还可以包括：接收表示对象的图像的目标视点的视点数据，该目标视点与从其捕获多个深度图像中的每个的相应视点不同，图像包括多个像素。该方法可以进一步包括生成表示朝向图像的多个光线的光线数据，所述多个光线中的每个光线对应于图像的多个像素中的相应像素。该方法可以进一步包括对于多个光线中的每个光线：生成带有符号的距离值(SDV)数据，该SDV数据表示沿着该光线的多个位置中的每个位置处的多个SDV，在沿着该光线的多个位置中的每一个处的多个SDV中的每个对应于多个深度图像中的相应深度图像；对在沿着该光线的多个位置中的每个位置处的SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据，该聚合SDV数据表示沿着光线的多个位置中的每个位置处的聚合SDV；以及确定沿着该光线的聚合SDV满足指定条件的位置。该方法可以进一步包括：基于沿着多个光线的该光线的相应聚合的SDV等于指定值的位置来生成从指定视点的角度捕获到的对象的深度图像。
在下面的附图和描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图中并从权利要求书中显而易见。
附图说明
图1是图示用于实现本文描述的技术方案的示例电子环境的图。
图2是图示在图1中所示的电子环境内执行技术方案的示例方法的流程图。
图3是图示用于根据在图1中所示的电子环境中执行的技术方案确定沿着光线的在指定视点处的深度图处被确定的点的示例几何结构的图。
图4是图示根据图1中所示的电子环境中执行的技术方案生成的示例融合深度图的图。
图5图示可以与这里描述的电路一起使用的计算机设备和移动计算机设备的示例。
具体实施方式
本文描述的背景是根据现有视图的计算机图形渲染。考虑到从相机捕获的关于场景的数个深度图像和彩色图像，期望从不同的视点合成场景的新视图。场景可以是物理的(在这种情况下，使用物理颜色和深度传感器捕获视图)，或者是合成的(在这种情况下，使用诸如光栅化或光线追踪的渲染算法捕获视图)。
对于物理场景，存在许多深度感测技术，诸如飞行时间传感器，基于结构光的传感器和立体(或多视图立体)算法。这些技术可能涉及可见或红外传感器，可选地具有被动或主动照明模式，其中模式可能会随时间变化。
通常的问题是将来自多个视图的信息合并到场景的一致表示中，使得可以从指定视点以正确的表面间遮挡和视差来渲染重构的场景。在物理场景中，深度传感器和颜色传感器都会创建有噪声的数据。另外，所获取的深度图像可能具有较大的误差，特别是在诸如轮廓的深度不连续附近。因此，期望在合并它们时自适应地变化给予不同视图的重要性，例如，如果场景平面从另一个视图是以更加迎面的方向可见的，则给予倾斜地看见该场景平面的视图较少偏好。将视图合并为一致的几何表示的过程被称为“几何融合”。
解决该一般问题的常规方法包括：定义体(三维)网格的每个体素中的距每个给定深度图像的截断带有符号的距离场(TSDF)，为体网格的每个体素累积TSDF，并且然后在所有体素上使用TSDF的零来近似场景的表示。
由于体网格，上述要解决技术问题的常规方法中涉及的技术问题使用大量的内存。此外，常规方法遇到有噪声的深度数据和在诸如轮廓的深度不连续附近的问题。
与解决上述技术问题的常规方法相反，对上述技术问题的技术方案包括：在沿着来自指定视点的光线的距给定深度图像的投影距离方面，生成沿着该光线的带有符号的距离值(SDV)。从指定视点的透视角对于图像中的每个像素，将光线追踪到该图像表示的三维场景中。沿着光线执行迭代步骤，在每次迭代中获得三维世界空间点p。对于与给定深度图像相关联的每个深度视图Dj，将点p投影到该深度图像中，从深度图像中采样深度值，并从p相对于深度视图相机的z坐标(深度)中减去采样的深度值。结果是如从深度视图Dj所测量的带有符号的距离sj。如果带有符号的距离sj的绝对值大于某个截断阈值参数，则将该带有符号的距离sj替换为特定的未定义值。定义的带有符号的距离值被聚合以获得总体带有符号的距离s。最后，确定带有符号的距离场的根或零集(等值面)。
上述技术方案的技术优点在于，该技术方案不需要将来自多个视图的信息累积或聚合到存储在存储器中的体积式的表示中。因此，根据技术方案操作的计算机能够以更少的内存空间和带宽来操作。此外，上述技术方案在存在有噪声的深度数据并且在深度不连续附近时是鲁棒的。
图1是图示示例电子环境100的图，其中可以实现上述改进技术。如所示的，在图1中，示例电子环境100包括计算机120。
计算机120被配置成渲染对象的图像。计算机120包括网络接口122、一个或多个处理单元124以及存储器126。网络接口122包括例如以太网适配器等，用于将从网络接收到的电子和/或光信号转换成用于计算机120使用的电子形式。处理单元124的集合包括一个或多个处理芯片和/或组件。存储器126包括易失性存储器(例如，RAM)和非易失性存储器两者，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路，其被配置和布置成执行本文所述的各种方法和功能。
在一些实施例中，计算机120的组件中的一个或多个可以是或可以包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1中所描述的这样的指令的示例包括深度图像管理器130、视点管理器140、光线投射管理器150、SDV管理器160、聚合管理器170、寻根管理器180以及深度图像生成管理器190。此外，如图1中所图示的，存储器126被配置成存储各种数据，这些数据是关于使用这种数据的相应管理器来描述的。
深度图像管理器130被配置成接收深度图像数据132。在一些实施方式中，深度图像管理器130经由网络接口122通过网络接收深度图像数据132。在一些实施方式中，深度图像管理器130从本地存储设备接收深度图像数据132，所述本地存储设备例如，硬盘驱动器、闪存驱动器、存储盘等。
深度图像数据132表示对象的多个深度图像134(1)…134(N)。深度图像的示例可以在图4中看到，例如，深度图像410。每个深度图像，例如，深度图像134，表示沿着从相机到对象表面上的像素的线的距离——或深度——的图。相机相对于对象以由捕获深度图像的视点指示的角度被定向。在本文描述的示例中，存在要融合到从指定视点捕获到的新深度图像的对象的两个给定深度图像。然而，在一些实施方式中，可能存在要被融合的两个以上的深度图像。
视点管理器140被配置成接收视点数据142。在一些实施方式中，视点管理器140响应于用户输入或在应用的运行时期间接收视点数据142。在一些实施方式中，视点管理器140经由网络接口122通过网络接收视点数据142。在一些实施方式中，视点管理器140从本地存储设备接收视点数据142，所述本地存储设备例如硬盘驱动器、闪存驱动器、存储磁盘等。
视点数据142表示从其生成新深度图像数据的目标视点的定向。在一些实施方式中，视点数据142包括相机矩阵。在一些实施方式中，相机矩阵是3X4矩阵，其表示从三维相机坐标到二维图像坐标的映射。
光线投射管理器150被配置成基于由如从目标视点的透视角所看到的图像表示的三维场景来生成光线数据152。例如，光线投射管理器150被配置成针对图像的每个像素投射相应的光线。在一些实施方式中，光线投射管理器150使用并行处理——即同时使用多个线程和/或处理器——投射光线。在这样的实施方式中，相似地并行执行对已投射的每个光线的操作。在一些实施方式中，光线投射管理器150使用CUDA束(warp)跨图像的像素并行地投射光线。在一些实施方式中，光线投射管理器150使用OpenGL片元着色器(fragmentshader)跨图像的像素并行地投射光线。
光线数据152表示用于形成包括对象的三维场景的图像的光线。由光线数据152表示的每个光线与图像的像素相关联。由光线数据152表示的光线从视点原点(例如，相机)发散到图像的像素。
SDV管理器160被配置成通过针对深度图像中的每一个在沿着每个光线的各个位置处计算沿着该光线的SDV来生成SDV数据162。为完成此，在一些实施方式中，SDV管理器160被配置成沿着光线迭代地跨步直到满足停止条件。在一些实施方式中，停止条件是下一跨步的位置穿过与深度图像相关联的对象的表面。在一些实施方式中，沿着光线的跨步大小与跨步的沿着光线的当前位置与对象的表面之间的距离的绝对值成比例。以这种方式，随着位置接近与视点深度图像相关联的对象表面，跨步变得更精细。在一些实施方式中，如果SDV的绝对值大于一些截断阈值，则用指定值替换该SDV。在一些实施方式中，指定值是未定义的。
SDV数据162表示针对每个深度图像沿着每个光线的SDV(带有符号的距离值)。按照惯例，此处的SDV的符号对于沿着光线在视点原点和与视点相关联的表面之间的位置是正的，而对于沿着光线在该表面之外的位置是负的。
沿着光线的点被表达为p＝o+αv，其中o表示目标视点，v是光线的单位视图方向，并且标量α编码沿光线的参数位置。给定光线点p，对于每个深度图像j，我们将p变换到深度图像的相机空间，计算透视投影以确定相机图像中点p的像素坐标，并对存储的深度值进行采样。在一些实施方式中，还存储权重值。从相机空间点的z坐标中减去深度值以获得带有符号的距离值sj。请注意，如上面所提及的，如果点p位于从深度相机可见的最前面的表面的前面，则sj为正；否则为负。
聚合管理器170被配置成在沿着光线的每个位置处对深度图像上的SDV执行聚合操作以产生聚合SDV数据172。在一些实施方式中，聚合操作是对跨深度图像的SDV的求和。在一些实施方式中，求和是加权和，其中相应权重与每个深度图像相关联。
聚合SDV数据172表示沿着光线的聚合SDV。权重数据172表示用于产生聚合SDV数据172的权重。
寻根管理器180被配置成执行寻根操作，以产生沿着每个光线的聚合SDV的根。在一些实施方式中，寻根操作包括确定聚合SDV改变符号——例如，从正变为负——的位置，并且执行二进制搜索操作以定位根(例如，聚合SDV沿着光线在何处为零或其他常数)。
根位置数据182表示如经由上述寻根操作确定的沿每个光线的聚合SDV的根。
深度图像生成管理器190被配置成生成从由视点数据142表示的目标视点捕获到的对象的深度图像。深度图像生成管理器190沿着这些线，基于由根位置数据182表示的根来生成对象表面。在一些实施方式中，深度图像生成管理器190执行插值操作以根据离散根产生连续表面。
透视角深度图像数据192表示从目标视点的对象的输出表面。
图2是描绘渲染对象图像的示例方法200的流程图。方法200可以由结合图1描述的软件构造来执行，该软件构造驻留在用户设备计算机120的存储器126中，并由处理单元124的集合运行。
在202处，深度图像管理器130接收表示对象的多个深度图像134(1…N)的深度图像数据132，所述多个深度图像中的每个是从相应的视点捕获到的对象的深度图像，该深度图像表示指定相机与对象的图像之间的距离。
在204处，视点管理器140接收表示对象的图像的目标视点的视点数据142，该目标视点与从其捕获到多个深度图像中的每一个的视点不同，该图像包括多个像素。
在206处，光线投射管理器150生成表示朝向图像的多个光线的光线数据152，所述多个光线中的每个光线对应于图像的多个像素中的相应像素。
在208处，对于多个光线中的每个光线，SDV管理器160生成表示沿着该光线的多个位置中的每个位置处的多个SDV的SDV数据162，沿着该光线的多个位置中的每一个位置处的多个SDV中的每一个对应于多个深度图像中的相应深度图像。
在210处，对于多个光线中的每个光线，聚合管理器170对沿着该光线的多个位置中的每一个位置处的SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据172，该聚合SDV数据172表示沿光线的多个位置中的每个位置处的聚合SDV。在一些实施方式中，聚合操作包括使用权重数据174生成在沿着该光线的多个位置中的每个位置处的多个SDV的加权和。
在212处，对于多个光线中的每个光线，寻根管理器180执行寻根操作，以产生沿着该光线的聚合SDV等于指定值的位置(即，根据位置数据182)。
在214处，深度图像生成管理器190基于沿着多个光线的针对该光线的相应聚合SDV等于指定值的位置来生成从目标视点的透视角捕获到的对象的深度图像。
图3是图示用于确定沿着光线的点的示例几何结构300的图，在该点处在目标视点处产生目标深度图。如图3中所示，分别从由方向矢量312和322定义的视点以及相机310和320捕获两个深度图像314和324。深度图像314和324是从矢量312和322定义的相应视点看见的对象的表面。
如图3中所示，几何结构300还包括目标视点330，针对该目标视点330确定几何融合图像或对象的表面。沿着这些线，光线332沿着方向被投射。光线332对应于三维场景内的对象的图像的像素。例如，对象可以采取场景(例如，具有不同深度处的其他对象和背景)内具有各种特征(例如，面部、手臂、躯干、腿)的人的形式。
沿着光线332(数个光线之一，每个光线对应于场景中图像的像素)，在光线334(1)上存在初始采样位置。在此位置处对于深度图像314和324中的每个深度图像，计算与该深度图像相关联的SDV。与深度图像相关联的SDV被聚合。如果聚合SDV为正，则计算机120采用沿着光线332到新位置334(2)的另一跨步。
如上所述，沿着光线的点p(例如，334(1…N))被表达为p＝o+αv，其中o表示视点，v是光线的单位视线方向，并且标量α编码沿着光线的参数位置。给定光线点p，对于每个深度图像j(图3中的314或324)，我们将p变换到深度图像314/324的相机空间，计算透视投影以确定相机图像中点p的像素坐标，并且采样存储的深度值。在一些实施方式中，还存储权重值。从相机空间点的坐标z减去深度值以获得SDV sj。请注意，如在上面所提及的，如果该点p位于从深度相机可见的最前面的表面的前面，则sj为正；否则为负。
在一些实施方式中，用于聚合SDV的权重值基于光线332方向与方向312和322的内积。在一些实施方式中，权重值随着内积而增加，使得在目标视点330中完全看到的表面被给予比在倾斜方向上并且没有完全看到的表面更大的权重。在一些实施方式中，可以在场景中存在遮挡的情况下减小权重。在一些实施方式中，权重是基于下述中的至少一项来预先计算：(i)针对从其捕获深度图像的视点的指定相机310、320与对象的图像(即，表面314、324)之间的距离，以及(ii)沿着该视点的方向的距离的梯度。目的是，垂直于视图方向的表面应被指配比倾斜的表面更大的权重，因为垂直的表面在几何上可能更准确。
因此，确定从目标视点330的深度图像的过程包括基于沿着光线332的当前位置处的聚合SDV s来更新标量α的值。如上所述，在一些实施方式中，标量α的值的变化随着该位置和深度图像的表面之间的距离而减小。在一些实施方式中，如果SDV s是大的，则跨步大小相应地是大的(并且与截断阈值有关)。
如图3中所示，在位置334(1)…334(N-1)处的沿着光线332的聚合SDV为正，因为这些点在两个表面314和324的前面。相反，在位置334(N)处的沿着光线的点在表面314和324之间。在此位置处，SDV可以为正或负。如果SDV为正，则表面之间存在向前的另一跨步。然而，如图3中所示，如果SDV为负，则存在符号变化并且在位置334(N-1)和334(N)之间存在根。
在图3中详细示出沿着光线332的在位置334(N)处的SDV的计算。方向矢量312和322与相应的表面314和324正交。沿着这些法线，位置334(N)与相应的表面314和324之间的距离340和342被测量(例如，计算、生成)。然后距离340和342是位置334(N)处的点在相应相机图像310和320中的上述透视投影。
一旦确定位置334(N-1)和334(N)之间的间隔具有符号变化，就可以使用更精细的寻根操作来确定沿着光线的聚合SDV为零的位置。如在上面所提及的，在一些实施方式中，寻根操作包括二进制搜索算法。在一些实施方式中，二进制搜索包括线性估计器。
在一些实施方式中，存在针对沿着光线332的标量α的值预先计算的下边界和上边界。在这种实施方式中，通过计算来自于每个深度图像的深度像素到新视图上的粗分辨率帧缓冲的前向映射(光栅化)来获得这些下边界。在此光栅化阶段中，下边界使用原子最小(atomic-min)更新进行更新，并且上边界使用原子最大(atomic-max)更新进行更新。
光栅化步骤可以与深度预处理阶段结合，该深度预处理阶段针对每个深度视图预先计算权重，从而避免在预处理期间必须两次读取深度图像。
图4是图示深度图410和420的示例几何融合400以产生深度图430的图。深度图410是从第一倾斜视点的就座者的深度图像；这可以对应于图3中的视点310。深度图420是从第二倾斜视点的就座者的深度图像。这可以对应于图3中的视点320。融合深度图像430的指定视点直接面对人的前方，并且可以对应于图3中的视点330。
在深度图410和420中，以灰度从暗(指示小深度值)到亮(指示大深度值)变动示出深度值。白色指示背景(基本上是无限深)。黑色指示未知或未定义的深度。
用于生成深度图像430的光线投射方法使用比先前的基于体积式的技术少得多的资源，并且可以实时执行。这在诸如电话会议的应用中有用。
在一些实施方式中，计算机120还包括彩色图像管理器，该彩色图像管理器被配置成接收表示多个彩色图像的彩色图像数据。多个彩色图像中的每个是从相应视点捕获到的对象的彩色图像。因此，对于定向在目标视点的目标彩色图像的每个像素，然后彩色图像管理器被配置成生成与该像素相对应的目标深度图像的深度值，识别与该深度值相对应的世界空间中的点，通过将该点投影到该彩色图像的表面中来执行投影操作以产生与该彩色图像相对应的该像素的多个颜色的颜色，并且对该像素的多个颜色执行混合操作以产生像素的混合颜色。在一些实施方案中，根据对应于多个彩色图像中的每个彩色图像的相应权重来混合该像素的颜色。在一些实施方式中，对应于彩色图像的权重基于像素处的图像的法线和彩色图像的定向的内积。如上所述的彩色图像管理器的一种可能的应用是合成从目标视点的新颜色而无需保存来自目标视点的深度视图。
在一些实施方式中，所识别的点在彩色视图中可能不可见，因为它不是该视图中的最前面的表面。在这样的实施方式中，作为预处理，针对每个彩色视图，通过将彩色视图视为从输入深度图像生成目标深度图像的目标视图来计算深度图像。然后，给定点p和每个彩色视图，将p的深度在彩色视图的相机坐标系中(由彩色视图的相机参数给出)与和彩色相机相关联的预先计算的深度图像中的p的深度进行比较。如果存储在预先计算的深度图像中的深度小于彩色视图的相机坐标系中的深度，则可以推论出在彩色视图中p p被另一表面遮挡。在这种情况下，颜色值存储在该特定的彩色图像中。即，可以将该颜色采样的颜色混合权重设置为零。
图5图示可以与这里描述的技术一起使用的通用计算机设备500和通用移动计算机设备550的示例。
如图5中所示，计算设备500旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备550旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、其连接和关系及其功能仅意在为示例性的，而不意在限制本文档中描述和/或要求保护的发明的实施方式。
计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508、以及连接到低速总线514和存储设备506的低速接口514。组件502、504、506、508、510和512中的每一个均使用各种总线来互连，并且可以被安装在公共主板上或者酌情以其他方式安装。处理器502可处理用于在计算设备500内执行的指令，包括存储在存储器504中或者在存储设备506上以在诸如耦合到高速接口508的显示器516的外部输入/输出设备上显示用于GUI的图形信息的指令。在其他实施方式中，可以酌情连同多个存储器和多种类型的存储器一起使用多个处理器和/或多个总线。另外，可以连接多个计算设备500，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器504存储计算设备500内的信息。在一个实施方式中，存储器504是一个或多个易失性存储器单元。在另一实施方式中，存储器504是一个或多个非易失性存储器单元。存储器504还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备506能够为计算设备500提供大容量存储。在一个实施方式中，存储设备506可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其他类似的固态存储设备或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品还可以包含指令，该指令当被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器504、存储设备506、或处理器502上的存储器。
高速控制器508管理计算设备500的带宽密集操作，而低速控制器512管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器508耦合到存储器504、显示器516(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口510，该高速扩展端口510可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描仪、或诸如交换机或路由器的联网设备。
如图中所示，可以以许多不同的形式实现计算设备500。例如，它可以作为标准服务器520被实现，或者被多次实现在一组此类服务器中。它还可以作为机架服务器系统524的一部分被实现。此外，它可以被实现在诸如膝上型计算机522的个人计算机中。可替选地，来自计算设备500的组件可以与诸如设备550的移动设备(未示出)中的其他组件组合。此类设备中的每一个均可以包含计算设备500、550中的一个或多个，并且整个系统可以包括彼此通信的多个计算设备500、550。
计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口566、和收发器568以及其他组件。设备550还可以被提供有存储设备，诸如微驱动器或其他设备，以提供附加存储。组件550、552、564、554、566和568中的每一个均使用各种总线来互连，并且组件中的若干个可以被安装在公共主板上或者酌情以其他方式安装。
处理器552可执行计算设备450内的指令，包括存储在存储器564中的指令。处理器可以作为芯片的芯片组被实现，该芯片包括单独的和多个模拟和数字处理器。处理器可以例如提供用于设备550的其他组件的协调，诸如对用户界面、由设备550运行的应用和由设备550进行的无线通信的控制。
处理器552可以通过耦合到显示器554的控制接口558和显示接口556来与用户进行通信。显示器554可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口556可以包括用于驱动显示器554以向用户呈现图形和其他信息的适当的电路。控制接口558可以从用户接收命令并且对它们进行转换以便提交给处理器552。此外，可以提供与处理器552通信的外部接口562，以便使得能实现设备550与其他设备的近区域通信。外部接口562可以在一些实施方式中例如提供用于有线通信，或者在其他实施方式中用于无线通信，并且还可以使用多个接口。
存储器564存储计算设备550内的信息。存储器564可被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元。还可以提供扩展存储器574并且通过扩展接口572将它连接到设备550，扩展接口572可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器574可以为设备550提供附加的存储空间，或者还可以为设备550存储应用或其他信息。具体地，扩展存储器574可以包括用于执行或者补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器574可以作为用于设备550的安全模块被提供，并且可以被编程有允许安全使用设备550的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪速存储器和/或NVRAM存储器，如在下面所讨论的。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，该指令当被执行时执行一个或多个方法，诸如上述的那些方法。信息载体是可以例如通过收发器568或外部接口562接收的计算机或机器可读介质，诸如存储器564、扩展存储器574或处理器552上的存储器。
设备550可以通过通信接口566以无线方式通信，该通信接口566必要时可以包括数字信号处理电路。通信接口566可以提供用于各种模式或协议下的通信，各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器568而发生。此外，可以发生短距离通信，诸如使用蓝牙、WiFi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块570可以向设备550提供附加的导航和位置相关无线数据，其可以酌情由在设备550上运行的应用使用。
设备550还可以使用音频编解码器560可听地通信，该音频编解码器560可以从用户接收口语信息并且将它转换为可用的数字信息。音频编解码器560可以同样地诸如通过扬声器为用户生成可听声音——例如，在设备550的头戴式耳机中。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备550上操作的应用所生成的声音。
如图中所示，可以以许多不同的形式实现计算设备550。例如，它可以作为蜂窝电话580被实现。它还可以作为智能电话582、个人数字助理或其他类似的移动设备的一部分被实现。
这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件、和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且以向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象编程语言和/或用汇编/机器语言加以实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，可将这里描述的系统和技术实现在计算机上，该计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可用来向该计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
可将这里描述的系统和技术实现在计算系统中，计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户可用来与这里描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者包括此类后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
返回图1，在一些实施方式中，存储器126可以是任何类型的存储器，诸如随机存取存储器、磁盘驱动器存储器、闪存等等。在一些实施方式中，存储器126可以被实现为与压缩计算机120的组件相关联的一个以上的存储器组件(例如，一个以上的RAM组件或磁盘驱动器存储器)。在一些实施方式中，存储器126可以是数据库存储器。在一些实施方式中，存储器126可以是或可以包括非本地存储器。例如，存储器126可以是或可以包括由多个设备(未示出)共享的存储器。在一些实施方式中，存储器126可以与网络内的服务器设备(未示出)相关联并且被配置成服务于压缩计算机120的组件。
压缩计算机120的组件(例如，模块、处理单元124)可以被配置成基于可以包括一种或多种类型的硬件、软件、固件、操作系统、运行时库等的一个或多个平台(例如，一个或多个相似或不同的平台)进行操作。在一些实施方式中，压缩计算机120的组件可经配置以在设备的群集(例如，服务器场)内操作。在这样的实施方式中，压缩计算机120的组件的功能性和处理可以被分布到设备群集中的数个设备。
计算机120的组件可以是或可以包括被配置成处理属性的任何类型的硬件和/或软件。在一些实施方式中，图1中的计算机120的组件中所示的组件的一个或多个部分可以是或可以包括基于硬件的模块(例如，数字信号处理器(DSP)、现场可编程门阵列(FPGA)，存储器)、固件模块和/或基于软件的模块(例如，计算机代码模块，可以在计算机上执行的计算机可读指令的集合)。例如，在一些实施方式中，计算机120的组件的一个或多个部分可以是或可以包括被配置成由至少一个处理器(未示出)执行的软件模块。在一些实施方式中，组件的功能性可以被包括在与图1中所示的那些不同的模块和/或不同的组件中。
尽管未示出，但是在一些实施方式中，计算机120的组件(或其部分)可以被配置成在例如数据中心(例如，云计算环境)、计算机系统、一个或多个服务器/主机设备等等内操作。在一些实施方式中，计算机120的组件(或其部分)可以被配置成在网络内操作。因此，计算机120的组件(或其部分)可以配置成在各种类型的网络环境中运行，所述网络环境可以包括一个或多个设备和/或一个或多个服务器设备。例如，网络可以是或可以包括局域网(LAN)、广域网(WAN)等。该网络可以是或可以包括无线网络和/或使用例如网关设备、网桥、交换机等来实现的无线网络。该网络可以包括一个或多个网段和/或可以具有基于诸如互联网协议(IP)和/或专有协议的各种协议的部分。网络可以包括互联网的至少一部分。
在一些实施例中，计算机120的一个或多个组件可以是或可以包括被配置成处理存储在存储器中的指令的处理器。例如，深度图像管理器130(和/或其一部分)、视点管理器140(和/或其一部分)、光线投射管理器150(和/或其一部分)、SDV管理器160(和和/或其一部分)、聚合管理器170(和/或其一部分)、寻根管理器180(和/或其一部分)以及深度图像生成管理器190(和/或其一部分)可以是处理器和存储器的组合，其被配置成执行与用于实现一个或多个功能的过程有关的指令。
已经描述了许多实施例。然而，应理解的是，可以在不脱离本说明书的精神和范围的情况下做出各种修改。
还应理解的是，当一个元件被称为在另一元件上、连接到、电连接到、耦合到或者电耦合到另一元件时，它可以直接地在另一元件上，连接或者耦合到另一元件，或者可以存在一个或多个中间元件。相比之下，当一个元件被称为直接地在另一元件上、直接地连接到或者直接地耦合到另一元件时，不存在中间元件。尽管在整个详细描述中可以不使用术语直接地在上、直接地连接到或直接地耦合到，然而被示出为直接地在上、直接地连接或直接地耦合的元件可被如此表示。可以修改本申请的权利要求以叙述在说明书中描述或在图中示出的示例性关系。
虽然已经像本文中所描述的那样示出了所描述的实施方式的某些特征，但是本领域的技术人员现在将想到许多修改、替换、改变和等同物。因此应当理解的是，所附权利要求旨在涵盖如落入实施方式的范围内的所有此类修改和改变。应该理解的是，它们已仅作为示例而非限制被呈现，并且可以做出形式和细节上的各种改变。可以按照除互斥组合外的任何组合来组合本文中描述的装置和/或方法的任何部分。本文中描述的实施方式可包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
此外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序来实现所期望的结果。此外，可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加或者从所描述的系统移除其他组件。因此，其他实施例在以下权利要求的范围内。

Claims (20)

1.一种方法，包括：
由被配置成渲染对象的图像的计算机的处理电路接收表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个深度图像是从相应视点捕获的所述对象的深度图像，所述深度图像表示图像捕获设备与所述对象之间的距离；
接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个深度图像中的每个深度图像的所述相应视点不同，所述图像包括多个像素；
生成表示朝向所述图像的多个光线的光线数据，所述多个光线中的每个光线对应于所述图像的多个像素中的相应像素；
对于所述多个光线中的每个光线：
生成带有符号的距离值SDV数据，所述SDV数据表示沿着该光线的多个位置中的每个位置处的多个SDV，沿着该光线的所述多个位置中的每个位置处的所述多个SDV中的每个SDV对应于所述多个深度图像中的相应深度图像；
对沿着该光线的所述多个位置中的每个位置处的所述SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据，所述聚合SDV数据表示沿着该光线的所述多个位置中的每个位置处的聚合SDV；以及
确定所述聚合SDV满足指定条件的、沿着该光线的位置；以及
基于针对该光线的相应聚合SDV满足所述指定条件的、沿着所述多个光线的位置来生成从所述目标视点的透视角捕获的所述对象的目标深度图像。
2.根据权利要求1所述的方法，其中，生成所述光线数据包括：
跨所述图像的所述多个像素执行光线投射操作。
3.根据权利要求2所述的方法，其中，所述光线投射操作被并行执行。
4.根据权利要求1所述的方法，其中，针对所述多个光线中的每个光线对所述SDV数据执行所述聚合操作包括：
产生多个权重，所述多个权重中的每个权重对应于所述多个深度图像中的相应深度图像；和
生成在沿着该光线的所述多个位置中的每个位置处的所述多个SDV的加权和作为沿着该光线的所述聚合SDV数据，所述加权和是通过下述方式产生的：将与所述多个深度图像中的深度图像相对应的、沿着该光线的所述多个位置中的每个位置处的所述SDV乘以所述多个权重中的与所述深度图像相对应的权重。
5.根据权利要求4所述的方法，其中，产生所述多个权重包括：
在生成所述光线数据之前，针对所述多个深度图像中的每个深度图像，基于下述中的至少一个来执行相应的预先计算操作：(i)针对捕获该深度图像的视点的指定相机与所述对象的图像之间的距离，以及(ii)沿着该视点的方向的所述距离的梯度。
6.根据权利要求4所述的方法，其中，产生所述多个权重包括，针对所述多个深度图像中的每个深度图像：
识别在捕获该深度图像的视点处的所述对象的表面的定向；和
计算随着所述定向和所述视点的内积而增加的值，作为所述多个权重中与该深度图像相对应的权重。
7.根据权利要求1所述的方法，其中，所述生成SDV数据包括：
沿着所述光线执行采样操作以产生沿着所述光线的所述多个位置，所述多个位置中的每个位置与所述多个位置中的下一个位置具有间距，所述间距与该位置和所述对象的表面之间的距离的绝对值成比例。
8.根据权利要求1所述的方法，其中，确定所述聚合SDV满足所述指定条件的、沿着所述多个光线中的每个光线的位置包括：
识别所述多个位置中的所述聚合SDV改变符号的位置；和
在由所识别的位置和先前的位置定义的区域上执行二进制搜索操作以产生根的位置。
9.根据权利要求1所述的方法，其中，生成所述SDV数据包括，对于所述多个深度图像中的每个深度图像：
在沿着所述光线的所述多个位置中的位置处，测量沿着捕获该深度图像所沿着的视点的、在所述位置和与所述视点相对应的所述对象的表面之间的距离，作为所述SDV。
10.根据权利要求1所述的方法，其中，生成所述SDV数据包括：
响应于所述多个SDV中的SDV的绝对值大于指定阈值，将所述SDV的值改变为指定值。
11.一种存储指令的非暂时性计算机可读存储介质，所述指令在由被配置成渲染对象的图像的服务器计算设备的处理电路执行时，使所述处理电路执行方法，所述方法包括：
接收表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个深度图像是从相应视点捕获的所述对象的深度图像，所述深度图像表示图像捕获设备与所述对象之间的距离；
接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个深度图像中的每个深度图像的所述相应视点不同，所述图像包括多个像素；
生成表示朝向所述图像的多个光线的光线数据，所述多个光线中的每个光线对应于所述图像的多个像素中的相应像素；
对于所述多个光线中的每个光线：
生成带有符号的距离值SDV数据，所述SDV数据表示沿着该光线的多个位置中的每个位置处的多个SDV，沿着该光线的所述多个位置中的每个位置处的所述多个SDV中的每个SDV对应于所述多个深度图像中的相应深度图像；
对沿着该光线的所述多个位置中的每个位置处的所述SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据，所述聚合SDV数据表示沿着该光线的所述多个位置中的每个位置处的聚合SDV；以及
确定所述聚合SDV满足指定条件的、沿着该光线的位置；以及
基于针对该光线的相应聚合SDV满足所述指定条件的、沿着所述多个光线的位置来生成从所述目标视点的透视角捕获的所述对象的深度图像。
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成所述光线数据包括：
跨所述图像的所述多个像素执行光线投射操作。
13.根据权利要求11所述的非暂时性计算机可读存储介质，所述方法进一步包括，针对所述多个光线中的每个光线：
执行边界操作，以生成与该光线相对应的所述多个位置的值的上边界和下边界。
14.根据权利要求11所述的非暂时性计算机可读存储介质，其中，针对所述多个光线中的每个光线对所述SDV数据执行所述聚合操作包括：
产生多个权重，所述多个权重中的每个权重对应于所述多个深度图像中的相应深度图像；和
生成在沿着该光线的所述多个位置中的每个位置处的所述多个SDV的加权和作为沿着该光线的所述聚合SDV数据，所述加权和是通过下述方式产生的：将与所述多个深度图像中的深度图像相对应的、沿着该光线的所述多个位置中的每个位置处的所述SDV乘以所述多个权重中的与所述深度图像相对应的权重。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，产生所述多个权重包括，针对所述多个深度图像中的每个深度图像：
识别在捕获该深度图像的视点处的所述对象的表面的定向；和
计算随着所述定向和所述视点的内积而增加的值，作为所述多个权重中与该深度图像相对应的权重。
16.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述方法进一步包括：
接收表示对象的多个彩色图像的彩色图像数据，所述多个彩色图像中的每个彩色图像是从相应视点捕获的所述对象的彩色图像；
对于定向在所述目标视点的目标彩色图像的多个像素中的每个像素：
生成与该像素相对应的目标深度图像的深度值；
基于所述深度值来识别世界空间中的点；
对于所述多个彩色图像中的每个彩色图像，通过将所识别的点投影到该彩色图像的表面中来执行投影操作，以产生与该彩色图像相对应的该像素的多个颜色中的颜色；以及
对该像素的所述多个颜色执行混合操作以产生该像素的混合颜色。
17.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成所述SDV数据包括：
沿着所述光线执行采样操作以产生沿着该光线的所述多个位置，所述多个位置中的每个位置与所述多个位置中的下一个位置具有间距，所述间距与该位置和所述对象的表面之间的距离的绝对值成比例。
18.根据权利要求11所述的非暂时性计算机可读存储介质，其中，确定所述聚合SDV满足所述指定条件的、沿着所述多个光线中的每个光线的位置包括：
识别所述多个位置中的所述聚合SDV改变符号的位置；和
在由所识别的位置和先前的位置定义的区域上执行二进制搜索操作以产生根的位置。
19.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成所述SDV数据包括，对于所述多个深度图像中的每个深度图像：
在沿着所述光线的所述多个位置中的位置处，测量沿着捕获该深度图像所沿着的视点的、在所述位置和与所述视点相对应的所述对象的表面之间的距离，作为所述SDV。
20.一种被配置成渲染对象的图像的电子设备，所述电子设备包括：
存储器；和
被耦合到所述存储器的控制电路，所述控制电路被配置成：
接收表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个深度图像是从相应视点捕获的所述对象的深度图像，所述深度图像表示图像捕获设备与所述对象之间的距离；
接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个深度图像中的每个深度图像的所述相应视点不同，所述图像包括多个像素；
生成表示朝向所述图像的多个光线的光线数据，所述多个光线中的每个光线对应于所述图像的多个像素中的相应像素；
对于所述多个光线中的每个光线：
生成带有符号的距离值SDV数据，所述SDV数据表示沿着该光线的多个位置中的每个位置处的多个SDV，沿着该光线的所述多个位置中的每个位置处的所述多个SDV中的每个SDV对应于所述多个深度图像中的相应深度图像；
对沿着该光线的所述多个位置中的每个位置处的所述SDV数据执行聚合操作，以产生沿着该光线的聚合SDV数据，所述聚合SDV数据表示沿着该光线的所述多个位置中的每个位置处的聚合SDV；以及
确定所述聚合SDV满足指定条件的、沿着该光线的位置；并且
基于针对该光线的相应聚合SDV满足所述指定条件的、沿着所述多个光线的位置来生成从所述目标视点的透视角捕获的所述对象的深度图像。
CN202010585224.9A 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合 Active CN111741286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973580.7A CN115348435B (zh) 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/523,702 2019-07-26
US16/523,702 US10818071B1 (en) 2019-07-26 2019-07-26 Image-based geometric fusion of multiple depth images using ray casting

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210973580.7A Division CN115348435B (zh) 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合

Publications (2)

Publication Number Publication Date
CN111741286A CN111741286A (zh) 2020-10-02
CN111741286B true CN111741286B (zh) 2022-08-16

Family

ID=71138596

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010585224.9A Active CN111741286B (zh) 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合
CN202210973580.7A Active CN115348435B (zh) 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210973580.7A Active CN115348435B (zh) 2019-07-26 2020-06-24 使用光线投射法的基于图像的多个深度图像的几何融合

Country Status (3)

Country Link
US (1) US10818071B1 (zh)
EP (1) EP3770864A1 (zh)
CN (2) CN111741286B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11257280B1 (en) * 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
CN114820897B (zh) * 2021-01-29 2024-07-02 北京字跳网络技术有限公司 图像渲染方法、装置、电子设备及计算机可读存储介质
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
CN115147558B (zh) * 2022-08-31 2022-12-02 北京百度网讯科技有限公司 三维重建模型的训练方法、三维重建方法及装置
CN116579965B (zh) * 2023-05-22 2024-01-19 北京拙河科技有限公司 一种多图像融合方法及装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
KR101475779B1 (ko) * 2008-06-02 2014-12-23 삼성전자주식회사 3ｄ 영상 처리 방법
CA2674104C (en) * 2008-07-25 2012-03-13 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5728244B2 (ja) * 2011-02-16 2015-06-03 キヤノン株式会社 画像処理装置および画像処理方法
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US20130229408A1 (en) * 2012-03-05 2013-09-05 Korea University Research And Business Foundation Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
US8463024B1 (en) * 2012-05-25 2013-06-11 Google Inc. Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US9299195B2 (en) * 2014-03-25 2016-03-29 Cisco Technology, Inc. Scanning and tracking dynamic objects with depth cameras
US9373190B2 (en) * 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
US9205562B1 (en) * 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
CN108369639B (zh) * 2015-12-11 2022-06-21 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和系统
WO2018030168A1 (ja) * 2016-08-10 2018-02-15 ソニー株式会社 画像処理装置および画像処理方法
GB2561525B (en) * 2016-12-22 2020-06-10 Canon Kk Generation of depth maps for 3D image reconstruction
US10176589B2 (en) * 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments
CN107403447B (zh) * 2017-07-14 2020-11-06 梅卡曼德（北京）机器人科技有限公司 深度图像获取方法
WO2019031537A1 (ja) * 2017-08-10 2019-02-14 公立大学法人和歌山県立医科大学 光干渉断層法を用いたイメージングデバイス
EP3729381B1 (en) * 2017-12-22 2023-01-18 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
CN208092354U (zh) * 2017-12-26 2018-11-13 张家港康得新光电材料有限公司 显示装置
US10504274B2 (en) * 2018-01-05 2019-12-10 Microsoft Technology Licensing, Llc Fusing, texturing, and rendering views of dynamic three-dimensional models
US10510178B2 (en) * 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
US10846923B2 (en) * 2018-05-24 2020-11-24 Microsoft Technology Licensing, Llc Fusion of depth images into global volumes

Also Published As

Publication number Publication date
CN115348435B (zh) 2023-11-24
CN115348435A (zh) 2022-11-15
CN111741286A (zh) 2020-10-02
US10818071B1 (en) 2020-10-27
EP3770864A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
CN111741286B (zh) 使用光线投射法的基于图像的多个深度图像的几何融合
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
RU2642167C2 (ru) Устройство, способ и система для реконструкции 3d-модели объекта
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
JP2023549821A (ja) 変形可能なニューラル放射輝度場
CN117015806A (zh) 高分辨率神经渲染
US20150278589A1 (en) Image Processor with Static Hand Pose Recognition Utilizing Contour Triangulation and Flattening
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN112241718B (zh) 车辆信息的检测方法、检测模型的训练方法和装置
US11451758B1 (en) Systems, methods, and media for colorizing grayscale images
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
CN112509126A (zh) 三维物体检测的方法、装置、设备及存储介质
US9905041B2 (en) Depth of field synthesis using ray tracing approximation
US20230186575A1 (en) Method and apparatus for combining an augmented reality object in a real-world image
CN115131507A (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN111784579B (zh) 制图方法及装置
CN113706692A (zh) 三维图像重构方法、装置、电子设备以及存储介质
CN110741415B (zh) 用于基于法线的纹理混合的来自深度图的平滑法线
US20230186500A1 (en) Image-based environment reconstruction
Verma et al. 3D Rendering-Techniques and challenges
KR20230006628A (ko) 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant