CN115088018A - 用于模拟光飞行的系统和方法 - Google Patents

用于模拟光飞行的系统和方法 Download PDF

Info

Publication number
CN115088018A
CN115088018A CN202180004284.XA CN202180004284A CN115088018A CN 115088018 A CN115088018 A CN 115088018A CN 202180004284 A CN202180004284 A CN 202180004284A CN 115088018 A CN115088018 A CN 115088018A
Authority
CN
China
Prior art keywords
optical
wavefront
data structure
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180004284.XA
Other languages
English (en)
Inventor
东吉克·辛
史蒂文·本杰明·戈尔德贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN115088018A publication Critical patent/CN115088018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明描述了与模拟光飞行成像相关的系统和方法。计算设备可以执行光飞行引擎以处理光学图像和对应的深度图，以产生模拟波前跨场景的传播的光飞行图像或视频。光飞行引擎可以通过以下方式来生成光学模拟输出：将深度图变换到三维提升域以产生三维数据结构，然后，用能够定义高斯球的卷积算子对三维数据结构进行卷积以产生过滤的三维数据结构。然后，光飞行引擎用过滤的三维数据结构的所识别的切片对光学图像进行仿射变换以产生光飞行图像。

Description

用于模拟光飞行的系统和方法
背景技术
传统的经济适用摄像头系统只能够捕获场景的静态光学图像。这种传统的系统无法捕获光包的复杂路径，因为这些光包在空间中穿行并且在给定场景中被物体反弹，因此无法捕获描绘跨这种场景运动的这种光包的图像或视频。捕获光包在跨场景中的物体移动时所经过路径的图像的概念有时称为“光飞行”成像。对于用于执行光飞行成像的传统摄像头系统，系统需要相对昂贵的敏感时间标记硬件，并且进一步需要以每秒万亿帧操作的超灵敏摄像头。因此，由于这些成本和设备复杂性，光飞行成像所需的硬件不能很容易地被商业化。
发明内容
在示例中，一种方法，包括：
基于与光学图像对应的深度图来生成光学模拟输出，该光学模拟输出模拟模拟波前的光散射效应；以及通过基于光学模拟输出和基于模拟波前在与定义时间戳对应的时间的位置来调整光学图像的像素子集的亮度以产生光飞行图像。
根据进一步的示例，方法可以包括以下一个或多个(例如，全部)特征(或其任何组合)。
生成光学模拟输出可以包括：
基于深度图来生成三维数据结构；以及
使用卷积算子对三维数据结构进行卷积以生成过滤三维数据结构。
生成三维数据结构可以包括：
对于深度图的给定像素，基于深度图中给定像素的二维坐标和基于与给定像素相关联的深度值，将给定像素映射到三维数据结构的相应位置。
卷积算子可以定义高斯球。
方法可以进一步包括：
识别包括过滤三维数据结构的体素子集的切片，该切片以波前深度为中心，该波前深度与模拟波前在对应于定义时间戳的时间的位置相对应。
基于光学模拟输出来调整光学图像的像素子集的亮度可以包括：
用所识别的切片对光学图像执行仿射变换。
方法可以进一步包括：
基于光速和基于与定义时间戳对应的时间来确定波前深度，其中，波前深度指示模拟波前在与定义时间戳对应的时间在光学图像中的位置。
在另一个示例中，一种移动设备，包括：
光学摄像头，其被配置为捕获光学图像；
深度摄像头，其被配置为捕获与光学图像对应的深度图；
至少一个处理器，其被配置为：
基于深度图来生成光学模拟输出，该光学模拟输出模拟模拟波前的光散射效应；以及
基于光学模拟输出和基于模拟波前在与定义时间戳对应的时间的位置来调整光学图像的像素子集的亮度以产生光飞行图像。
根据进一步的示例，移动设备可以包括以下一个或多个(例如，全部)特征(或其任何组合)。移动设备和/或移动设备内所包括的组件可能适合执行以下特征。
为了生成光学模拟输出，处理器可以被进一步配置为：
基于深度图来生成三维数据结构；以及
用卷积算子对三维数据结构进行卷积以生成过滤三维数据结构，其中，光学模拟输出包括过滤三维数据结构。
为了生成三维数据结构，处理器可以被配置为：
对于深度图的给定像素，基于深度图中给定像素的二维坐标和基于与给定像素相关联的深度值，将给定像素映射到三维数据结构的相应位置。
卷积算子可以定义高斯球。
处理器可以被配置为：
识别包括过滤三维数据结构的体素子集的切片，该切片以波前深度为中心，该波前深度与模拟波前在对应于定义时间戳的时间的位置相对应。
为了基于光学模拟输出来调整光学图像的像素子集的亮度，处理器可以配置为：
用所识别的切片对光学图像进行仿射变换以产生光飞行图像。
处理器可以被进一步配置为：
基于光速和基于与定义时间戳对应的时间来确定波前深度，其中，波前深度指示模拟波前在与定义时间戳对应的时间在光学图像中的位置。
在另一个示例中，一种方法，包括：
基于光学图像、与光学图像对应的深度图和一个或多个定时参数来生成多个光飞行图像帧；以及
将多个光飞行图像帧组合成光飞行视频，其中，光飞行视频模拟光脉冲的波前跨光学图像中描绘的场景的传播。
根据进一步的示例，方法可以包括以下一个或多个(例如，全部)特征(或其任何组合)。
生成多个光飞行图像帧中的光飞行图像帧可以包括：
基于深度图来生成三维数据结构；
使用卷积算子对三维数据结构进行卷积以生成过滤三维数据结构；以及
基于光学模拟输出来调整光学图像的像素子集的亮度以生成光飞行图像帧，其中，光学模拟输出包括过滤三维数据结构。
生成三维数据结构可以包括：
对于深度图的给定像素，基于深度图中给定像素的二维坐标和基于与给定像素相关联的深度值，将给定像素映射到三维数据结构的相应位置。
卷积算子可以定义高斯球。
生成多个光飞行图像帧中的光飞行图像帧可以进一步包括：
识别包括过滤三维数据结构的体素子集的切片，该切片以波前深度为中心，该波前深度与光学图像描绘的场景中的波前在对应于定义时间戳的时间的位置相对应。
基于光学模拟输出来调整光学图像的像素子集的亮度可以包括：
用光学模拟输出对所识别的切片进行仿射变换以产生光飞行图像帧。
生成多个光飞行图像帧中的光飞行图像帧可以进一步包括：
基于光速和基于与定义时间戳对应的时间来确定波前深度，其中，波前深度指示光学图像描绘的场景中波前在与定义时间戳对应的时间的位置。
在另一个示例中，计算机程序产品可以在其上存储指令，这些指令在由处理器执行时可以使处理器执行本文中所描述的方法的步骤。
附图说明
本公开可能会更好地理解，并且通过参考附图，其众多特征和优点对本领域技术人员而言变得显而易见。在不同的图中使用相同的参考符号指示相似的或相同的项。
图1是根据一些实施例的执行光飞行引擎的移动设备的框图。
图2是根据一些实施例的深度图像序列，该序列描绘了在波前穿越深度图像描绘的场景时与不同的时间戳对应的波前像素的位置。
图3是激光通过短脉冲输出的光束的示意图，图示了光束离开激光时发生的光束增宽效应。
图4是描绘了由图2的光束入射到物体时所形成的高斯光点的示意图。
图5是图示了根据一些实施例的二维深度图到三维提升域的转换的示意图。
图6是图示了根据一些实施例的用卷积算子对提升域中的二维深度图进行卷积的示意图，该卷积算子表示短脉冲散射、光束扩展和光色散的效应。
图7是根据一些实施例的生成光飞行视频的方法的流程图。
图8是根据一些实施例的生成光飞行图像的方法的流程图。
具体实施方式
本公开的实施例提供系统和方法，通过该系统和方法，可以使用智能手机或其他设备的摄像头系统来模拟光飞行成像。例如，光飞行效应可以使用光飞行图像来模拟，该光飞行图像采用红-绿-蓝(RGB)图像(在这里有时称为“光学图像”)和深度图像(在这里有时称为“深度图”)对作为输入，该输入可以分别使用设备(诸如智能手机、平板计算机、一副智能眼镜或包括这种摄像头的另一种适用的设备)的RGB摄像头(在这里有时被称为“光学摄像头”)和深度摄像头来捕获。
在一些实施例中，设备可以模拟波前的光飞行成像，该波前与来自设备或来自增强现实(AR)场景中的物体(例如，光源)的光脉冲的模拟发射相对应。例如，当基于捕获到的RGB图像来生成光飞行图像帧时，基于从与该RGB图像对应的深度图中获得的深度信息以及基于定义波前在场景上移动的定时的定时参数(诸如波前穿越场景的速度和/或波前穿越场景的时间段)，光飞行引擎计算在特定时间处波前将在RGB图像描绘的场景中的位置。在一些实施例中，为了提高波前的可感知性和为了更好地模拟波前的光包如何从场景的物体反弹，光飞行引擎可以通过生成波前的光学模拟(诸如通过将卷积算子应用于相应深度图的波前像素，然后用光学模拟的输出对原始RGB图像进行仿射变换以产生光飞行图像帧)对RGB图像进行变换。用光学模拟的输出对原始RGB图像进行仿射变换修改了波前像素以及在三维空间中的波前像素的影响区域内的像素的亮度，从而提高波前像素的可感知性。
在一些实施例中，光学模拟可以在多个顺序时间戳中生成并且应用于原始RGB图像以生成光飞行视频效应。例如，由于波前会随时间跨给定场景移动，光飞行引擎可以为多个时间戳生成光飞行图像帧，使得光飞行图像帧的序列描绘波前跨原始RGB图像场景的运动。然后，光飞行引擎可以组合光飞行图像帧的序列以产生光飞行视频或动画图形交换格式(GIF)文件，例如，该文件可以存储在存储设备(例如，固态驱动器、硬盘驱动器、闪存驱动器、存储器等)上，该存储设备包括在执行光飞行引擎的设备中或耦合到该设备。
以这种方式模拟光飞行成像能够实现各种应用。例如，光飞行引擎可以用于将独特的照片滤镜应用于捕获到的图像，允许摄影师将新的模拟照明引入所捕获的场景。作为另一个示例，光飞行引擎可以在AR场景中应用以模拟来自所选光源的光包在这种AR场景中的运动，这可能是出于其美学视觉效果的需要或可能用于教导学生关于光路的机制。
图1是图示了移动设备100的框图，该移动设备100被配置为模拟光飞行成像。如图所示，移动设备100包括一个或多个RGB摄像头102(在本文有时称为“光学摄像头102”)、一个或多个深度摄像头104、一个或多个处理器106、显示器108和一个或多个存储设备110。组件102、104、106、108和110中的每一个都通过通信信道120耦合(物理地、通信地和/或可操作地)。在一些示例中，通信信道120可以包括系统总线、网络连接、进程间通信数据结构或传递数据的任何其他方法。
(多个)处理器106可以被配置为实施功能性和/或处理用于执行的指令。例如，(多个)处理器106可能能够处理(多个)存储设备110上存储的指令。(多个)处理器106可以包括以下任何一个或每一个：微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的逻辑电路系统。
(多个)存储设备110可以被配置为在操作期间将信息存储在移动设备100内。例如，在一些实施例中，(多个)存储设备110包括一个或多个计算机可读存储介质、计算机可读存储设备、临时存储器设备和/或易失性存储器，诸如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或其他适用的易失性存储器。在一些示例中，(多个)存储设备用于存储程序指令，以供(多个)处理器106执行。在一些示例中，(多个)存储设备可以进一步包括一个或多个非易失性存储元件，诸如磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程(EEPROM)存储器的形式。在一些实施例中，由在移动设备100上运行的软件或应用(例如光飞行引擎112)使用(多个)存储设备110在程序执行期间临时存储信息。
(多个)RGB摄像头102可以包括一个或多个摄像头，该一个或多个摄像头包括标准图像传感器，通过该标准图像传感器获取人或物体的场景的视觉(例如彩色)图像。由(多个)RGB摄像头102捕获的光学图像可以存储在(多个)存储设备110。在本文中，由RGB摄像头(诸如(多个)RGB摄像头102)捕获的光学图像有时可以称为“RGB图像”。
(多个)深度摄像头104可以捕获场景的深度图，该深度图定义移动设备100与场景中的一些或全部物体之间的距离。在一些实施例中，对于由(多个)RGB摄像头102捕获的每个RGB图像，(多个)深度摄像头104可以捕获相应的深度图。在一些实施例中，(多个)深度摄像头104(有时称为“距离摄像头”)可以包括一个或多个飞行时间(ToF)深度摄像头，该摄像头使用脉冲光或连续波振幅调制以用红外光照射场景并且测量红外光的ToF。ToF可以被表征为从深度摄像头的红外光源发出红外光的时间跨越到红外光被场景中的物体反射回之后返回到深度摄像头的红外光传感器的时间的时间段。应当理解，根据各种实施例，其他类型的深度摄像头，诸如立体三角测量摄像头和编码孔径摄像头，可以附加地或可替代地包括在(多个)深度摄像头104中。
移动设备100可以包括图1中未示出的附加组件以避免杂乱。例如，移动设备100可以包括用于向移动设备100的组件提供电力的电池。
在图1的示例中，(多个)存储设备110可以存储由(多个)RGB摄像头102捕获的RGB图像114和由(多个)深度摄像头104捕获的深度图116。(多个)存储设备110可以包括用于执行带有一个或多个处理器106的光飞行引擎112的指令。光飞行引擎112接收RGB图像114和相应的深度图116，并且基于RGB图像114和深度图116来生成光飞行图像118。例如，对于每个RGB图像114，光飞行引擎112生成光飞行图像118的序列，该序列描绘跨该RGB图像的场景移动的波前。在本文中，术语“波前”或“模拟波前”通常与短光脉冲的模拟发射相对应。在一些实施例中，光飞行引擎112可以模拟来自位于(多个)深度摄像头104或RGB摄像头102的源的这种短光脉冲的发射。在一些实施例中，光飞行引擎112可以模拟来自布置在RGB图像描绘的场景内的位置处或在场景外的位置处的源的这种短光脉冲的发射。在一些实施例中，光飞行引擎112可以模拟来自环境中某个位置处的源的这种短光脉冲的发射，这可以与该环境中的物理物体对应或可以与虚拟物体对应，该虚拟物体与作为增强现实场景或虚拟现实场景的一部分的位置相关联。
当模拟在给定时间段内跨RGB图像114中的一个RGB图像的场景中移动的光脉冲的波前的光飞行成像时，光飞行引擎112能够基于深度图116中定义的像素深度信息来确定RGB图像114中的哪些像素和相应深度图116中的哪些像素在发射相应光脉冲之后的给定时间处与波前的深度相对应。例如，像RGB图像，深度图包括像素阵列，每个像素阵列都有相应的像素值。然而，除了表示颜色值，深度图的每个像素都表示相应的深度值，该深度值与捕获深度图的深度摄像头与像素对应的场景的部分(即“物体补丁”)之间的距离相对应。
深度图的每个深度值都是光到达深度摄像头所花的时间乘以光速的函数(例如，d＝c*t，其中，d是距离，c是光速，并且t是时间)。这意味着，光飞行引擎可以基于光速来确定波前行进到与场景中特定深度对应的位置所花的时间量。因此，当模拟波前穿越RGB图像的场景时，光飞行引擎112使用场景的对应深度图来确定在波前的模拟发射后的给定时间处场景中波前的位置。即，RGB图像的像素(这些像素与模拟波前遍历场景期间在给定时间处波前的位置相对应)可以由光飞行引擎112基于与RGB图像114相关联的深度图116的相应像素的深度值来识别。
在一些实施例中，光飞行引擎112可以基于存储设备110存储的定义定时参数来确定时间段，在该时间段内，将模拟波前穿越给定RGB图像中的场景。在一些实施例中，光飞行引擎112可以生成与所确定的时间段内发生的离散时间对应的时间戳，并且可以为每个时间戳或时间戳的子集生成相应的光飞行图像。在本文中，“时间戳”指的是时间段内发生的离散时间的记录，在该时间段内，模拟或将模拟波前跨场景的传播。在一些实施例中，光飞行引擎112可以通过组合所生成的光飞行图像(例如，按时间排序的光飞行图像)的序列来生成光飞行视频。
可替代地，在一些实施例中，光飞行引擎112可以生成单个光飞行图像，该图像与所确定的时间段内的单个时间戳对应，该时间戳可以在定时参数中定义或由移动设备100的用户提供的用户输入定义。例如，在一些摄影应用中，可能希望在定义时间戳处从RGB图像只生成一个光飞行图像。应当理解，在一些实施例中，除了捕获RGB图像和对应深度图的移动设备，计算设备可以在接收到RGB图像和深度图之后执行光飞行引擎112。因此，本文所描述的光飞行引擎的实施例并不限于由移动设备执行，或具体地由捕获光飞行引擎所处理的图像的移动设备执行。
为了使在波前发射后在给定时间处波前的位置形象化，取决于所希望的效果，光飞行引擎112可以相对于RGB图像的剩余像素(在本文中有时称为“非波前像素”)增加每个所识别的像素(在本文中有时称为“波前像素”)的亮度，或者可以相对于每个波前像素的亮度降低RGB图像中的每个非波前像素的亮度。
图2描绘了与模拟波前穿越场景的三个不同时间戳对应的三个不同的深度图像的序列200，其中，每个深度图像都指示场景中与在相应时间处模拟波前的位置(例如，深度)对应的像素。在目前的示例中，光飞行引擎112模拟波前，就好像它是从已经捕获图像和相应深度图的移动设备发出的短脉冲。序列200包括：第一深度图像202，该第一深度图像202与第一时间对应并且包括第一波前像素集204；第二深度图像206，该第二深度图像206与第二时间对应并且包括第二波前像素集208；以及第三深度图像210，该第三深度图像210与第三时间对应并且包括第三波前像素集212，其中，第一时间发生在第二时间之前，第二时间发生在第三时间前，并且第一时间、第二时间和第三时间分别发生在模拟波前遍历深度图像202、206和210以及对应RGB图像描绘的场景的时间段期间。在一些实施例中，具有较低像素值的深度图像202、206和210的像素与更接近移动设备的物体对应，而具有较高像素值的像素与离移动设备更远的物体对应。即，给定深度图像202、206、210的每个像素的值都与深度图描绘的场景中像素的深度和对应RGB图像中对应像素的深度相对应。因此，深度图的像素的像素值在本文中可以称为“深度值”。具有相同像素值的深度图的像素离移动设备的距离大致相同。应当理解，波前像素204、208和212已变暗以提高其可见性，因此，波前像素204、208和212的深度不由图2的图示中示出的它们的颜色或亮度来指示。
为了识别在给定时间处深度图的哪些像素是波前像素，光飞行引擎112识别与该时间对应的深度值，并且将深度图中具有所识别的深度值的所有像素识别为波前像素。在目前的示例中，波前像素204被布置在比波前像素208更接近移动设备的位置，而波前像素208被布置在比波前像素212更接近移动设备的位置，使得将波前示出为随着时间远离移动设备移动。
返回到图1的示例，虽然在一些实施例中，光飞行引擎112可能仅仅使每个光飞行图像中所识别的波前像素变亮，但是这种变亮可能很难感知，这取决于原始RGB图像描绘的场景。附加地，仅仅使所识别的波前像素变亮，并不考虑当波前击中场景内的各种物体时可能发生的光散射、当波前跨场景传播时发生的光束增宽以及当波前跨场景传播时发生的光色散。因此，在一些实施例中，通过模拟波前的光包如何被场景的物体反射或散射(例如光散射)并且通过将卷积算子应用于波前像素来模拟光束增宽的效应，可以提高模拟波前的可感知性和模拟的准确性。例如，通过生成波前的光学模拟并且用光学模拟的输出对原始RGB图像进行仿射变换，光飞行引擎112可以为RGB图像生成光飞行图像，模拟在给定时间戳处的脉冲波前。当生成光学模拟时，光飞行引擎112可以将卷积算子应用于深度图的像素的三维变换以产生模拟输出，该模拟输出近似波前跨场景传播的非理想因素。然后，可以用原始RGB图像对以给定时间戳的波前深度为中心的模拟输出的切片进行仿射变换，以产生光飞行图像帧。例如，卷积算子可以近似短光脉冲散射、光束增宽和空间中光色散的效应。
例如，图3图示了由激光302输出的光304的短脉冲如何随时间传播。如图所示，光304的横截面区域306可以随时间沿x轴和y轴向外扩展。当光304远离激光302行进时，它可能会经历各种非理想因素，诸如散射、光束增宽和色散。这种非理想因素对x、y和t方向上光304的振幅的效应可以被定义为相应的高斯函数。在这里，x轴和y轴定义横向于所发射的光304的传播向量的平面。t轴正交于横向平面，与光304的传播向量平行，并且表示光304所行进的时间和距离这两者。
例如，定义光304随时间的振幅的脉冲函数(在这里表示为向量vT)可以由高斯函数近似，因为它不是精确地在时间上定位的。附加地，在沿其横向平面的给定点处，光304可以定义高斯光点308。图4描绘了图表400，其图示了横向平面中高斯光点308的光束振幅。如图所示，光304的振幅可以由相应的高斯函数沿x和y方向近似。x方向上光304的振幅在这里表示为向量vx，并且y方向上光304的振幅在这里表示为vy。因此，三维空间内光304的振幅可以根据等式1至4来近似：
vt＝G(t) 等式1
vx＝G(x) 等式2
vy＝G(y) 等式3
Figure BDA0003442628450000131
其中，G(t)、G(x)和G(y)分别是t轴、x轴和y轴上的高斯函数，并且H是向量vx、vy和vt的外积，使得H表示三维矩阵。返回到图1的示例，通过将等式4的H作为卷积算子应用于与原始RGB图像相关联的深度图的像素以产生光学模拟输出，光飞行引擎112可以模拟非理想因素，诸如所模拟的脉冲波前的量子的散射、光束增宽和色散(例如，如图3的光304所示)。
当为给定RGB图像生成光学模拟输出时，光飞行引擎112可以将RGB图像的对应深度图变换为三维数据结构，诸如立方数据结构，在本文中称为到“提升域”的变换，其中，像素变换为在空间中具有位置体素，该位置是由原始像素在深度图中的位置和原始像素的深度值相对于稀疏填充的立方体定义的。图5示出了深度图从二维域到三维提升域的变换的示例。如图所示，二维深度图512最初包括像素阵列，每个像素阵列都定义相应的深度值Di,j，其中，i和j定义了阵列中给定像素的坐标。在目前的示例中，光飞行引擎112将深度图512变换到提升域，其中，先前的二维深度图512被表示为三维立方数据结构520。立方数据结构520稀疏地填充有三维像素(即，体素)524。与在给定时间戳处的波前深度对应的体素524的子集在本文中可以称为“波前体素”。在变换到提升域之后，保持给定体素相对于x轴和y轴的位置，而基于对应的深度图像素定义的深度值来确定体素沿新的第三轴(t轴或“时间轴”)的位置。例如，除以光速的给定像素的深度值定义了对应体素沿t轴的位置，因为如上所述，d＝c*t。在一些实施例中，第三轴可以明确定义深度，而不是时间。
在将深度图变换到提升域之后，光飞行引擎112将卷积算子应用于结果立方数据结构的体素。图6图示了将卷积算子610应用于立方数据结构620的体素624。立方数据结构620可以与对应于RGB图像/深度图对的二维深度图的提升域变换相对应。在立方数据结构620中，例如，通过将波前体素624赋值为1或另一个非零值或将立方数据结构620的所有其他体素赋值为零，可以定义每个体素624的位置。卷积算子610可以定义高斯球612，例如，该高斯球612与等式4的卷积算子H对应，因此可以由沿x轴、y轴和t轴的相应高斯函数定义。光飞行引擎112用立方数据结构620对卷积算子610进行卷积，以产生包括高斯球634的过滤立方数据结构630，每个高斯球都以体素624中的相应体素的位置为中心。例如，立方数据结构630的每个高斯球634的大小和振幅轮廓可以是相同的。在一些实施例中，高斯球634沿x轴、y轴和t轴的维度可由用户定制以在模拟波前时实现不同的视觉效果。通过用立方数据结构620的体素624对卷积算子610进行卷积，每个体素624周围的体素值都根据高斯球634所定义的分布而增加。例如，根据由H定义的(多个)高斯球的(多个)分布，给定非波前体素的振幅增加的量取决于其与一个或多个体素624的接近度，其中，受影响的体素越接近体素624，其振幅就越大。在本文中，过滤立方数据结构630被视为模拟输出。
当生成光飞行视频时，光飞行引擎112可以逻辑地将过滤立方数据结构630分成若干切片，每个切片都以与相应时间戳相关联的不同波前深度为中心(例如，其中每个波前深度都与在相关联时间戳处的波前的位置对应)，并且每个都具有与t维的直径H对应的宽度(即，沿t轴)。应当理解，在一些实施例中，切片可以沿t轴相互重叠。然后，光飞行引擎112可以用原始RGB图像对过滤立方数据结构630的每个切片执行仿射变换，以生成光飞行图像帧的序列。然后，光飞行引擎112可以组合光飞行图像帧以产生光飞行视频。
例如，返回到图1，在生成光学模拟输出之后，光飞行引擎112可以用光学模拟输出的切片对原始RGB图像执行仿射变换以生成光飞行图像。等式5示出了仿射变换的示例，该仿射变换可以由光飞行引擎112执行以生成光飞行图像的序列。
Figure BDA0003442628450000151
其中，S(I)是由光飞行引擎112为原始RGB图像输出的光飞行图像集，I、D是与原始RGB图像对应的深度图，Y是光学模拟输出，H是卷积算子，X是与深度图对应的立方数据结构，F(D)是用于将深度图变换到提升域以产生立方数据结构X的函数，α是确定分配给模拟输出的权重(例如，原始RGB图像的受影响的像素的亮度增加的量)的常数，k是光飞行图像的序列的指数，并且N是序列中光飞行图像的数量。例如，由光飞行引擎112执行的原始RGB图像的每个仿射变换有效地调整原始RGB图像的像素的亮度，其中，来自波前的光将直接入射(即，波前像素)，以及其中，来自波前的散射光将在给定的时间戳入射(即，由用于生成光学模拟输出的卷积算子近似)。虽然等式5指示生成光飞行图像的序列，但是应当理解，等式5也可以用于生成单个光飞行图像。
光飞行引擎112可以被配置为通过生成光飞行帧的序列(例如，如结合等式5提供的)来生成光飞行视频，该光飞行帧模拟波前跨原始RGB图像描绘的场景的运动。波前跨这种光飞行视频的场景移动的速度(即，“波前速度”)可以被预定义，可以由执行光飞行图像的设备(例如，移动设备100)的用户定义，或可以基于定义时间段(例如光飞行视频的预定义或用户定义时间段)自动定义。光飞行引擎112可以确定要在基于一个或多个预定义或用户定义的定时参数生成光飞行视频的光飞行图像帧时使用的时间戳序列，这些定时参数可以包括波前速度、希望的光飞行视频长度和/或预定义采样率。在一些实施例中，光飞行引擎112可以确定要基于RGB图像描绘的场景的深度和一个或多个定时参数而生成的光飞行帧的数量。关于光飞行视频，应当理解，波前以光速跨场景的离散移动一般对于人眼是不可见的或者在传统显示器上也无法再现，因此，光飞行引擎112可以生成光飞行视频以模拟波前跨场景以实际光波前移动的速度的小部分或在扩展的时间段内移动，使得波前的离散移动可被观察者感知。光飞行引擎112修改波前的速度或扩展时间段(在该时间段内，波前遍历用于播放光飞行视频的场景)的量可以基于一个或多个定义定时参数(例如，这些参数可以存储在(多个)存储设备110中)来选择，这些参数可以是预设的或用户定义的。例如，定时参数可以包括以下一项或多项：波前速度，该波前速度定义波前要在光飞行视频中移动的速度；波前时间段，该波前时间段定义波前遍历光飞行视频中的场景并且可以被定义为要被生成的光飞行视频的长度的时间段；或帧速率，该帧速率定义要在光飞行视频的给定时间段内生成的光飞行图像帧的数量。
图7示出了生成光飞行视频的方法700的过程流。例如，方法700可以由具有RGB摄像头和深度摄像头的移动设备执行。在目前的示例中，方法700是在图1的移动设备100的背景下描述的。
在框702处，移动设备100的RGB摄像头102和深度摄像头104捕获RGB图像和对应的深度图。RGB图像和深度图可以存储在移动设备100的存储设备110中以进行后续处理。
在框704处，通过将深度图像素变换到三维域(例如，立方数据结构)，然后将卷积算子H应用于立方数据结构的非零体素以产生光学模拟输出(例如，过滤立方数据结构)，光飞行引擎112为RGB图像和深度图生成光学模拟输出。
在框706处，光飞行引擎112确定要生成的光飞行图像帧的数量N。在一些实施例中，光飞行引擎112基于一个或多个定时参数来确定要生成的光飞行图像帧的数量，这些定时参数可以包括以下一项或多项：波前速度、波前时间段、帧速率和/或另一个适用的定时参数。
在框708处，光飞行引擎112确定包括要生成的每个光飞行图像帧的相应时间戳的时间戳序列，其中，给定光飞行图像帧的时间戳确定波前在给定光飞行图像帧中被模拟的位置/深度。在一些实施例中，序列中相邻的时间戳可能间隔相等。
在框710处，光飞行引擎112设置等于1的变量k，其中，关于帧序列，k表示要生成的下一个光飞行图像帧的指数。
在框712处，光飞行引擎112生成序列的第k个光飞行图像帧，与时间戳序列的第k个时间戳对应。例如，光飞行引擎112可以根据图8的方法的框808和810来生成每个图像帧。
在框714处，光飞行引擎112通过确定是否k＝N－1来确定最近生成的光飞行图像帧是否是光飞行图像帧序列中的最后一个图像帧。如果光飞行引擎112确定k＝N－1，则方法700进行到框718。否则，如果光飞行引擎112确定k＜N－1，则方法700进行到框716。
在框716处，光飞行引擎112将k的值增加1。然后，方法700返回到框712，其中，光飞行引擎112生成序列中的下一个光飞行图像帧。
在框718处，光飞行引擎112将光飞行图像帧序列组合成光飞行视频，该视频描绘模拟波前正穿越RGB图像的场景。
在框720处，光飞行引擎112使光飞行视频存储在存储设备110上。
图8示出了生成光飞行图像的方法800的过程流。例如，当为光飞行图像生成光学模拟输出和光飞行图像帧时，可以在图7的框704和712处执行方法800的一些或全部步骤。作为另一个示例，可以执行方法800以生成单个独立的光飞行图像。例如，方法800可以由具有RGB摄像头和深度摄像头的移动设备执行。在目前的示例中，方法800是在图1的移动设备100的背景下描述的。
在步骤802处，光飞行引擎112接收RGB图像、与RGB图像对应的深度图、时间戳和一个或多个预定义或用户定义的定时参数。时间戳定义了波前跨要生成光飞行图像的RGB图像描绘的场景所遍历的时间，并且波前在该时间的位置可以从时间戳中获得。定时参数可以包括以下一项或多项：波前速度、波前时间段、帧速率和/或另一个适用的定时参数。
在步骤804处，光飞行引擎112将深度图变换到三维域。在一些实施例中，光飞行引擎112将深度图变换到提升域以产生三维结构，在目前的示例中称为立方数据结构(例如，图5的立方数据结构520)。立方数据结构中给定体素的坐标可以基于原始深度图的对应像素的坐标和对应像素的深度值来选择。
在步骤806处，光飞行引擎112将卷积算子(例如，等式4的卷积算子H)应用于立方数据结构以产生过滤立方数据结构。例如，过滤立方数据结构可以包括一个或多个高斯球，每个高斯球都以立方数据结构的非零体素为中心。
在步骤808处，光飞行引擎112识别光学模拟输出的过滤立方数据结构的切片，该切片与生成光飞行图像帧的当前时间戳对应。例如，过滤立方数据结构的所识别的切片可以是过滤立方数据结构的子集的矩阵。矩阵可以由深度范围(即，沿t轴的值的范围)内的所有体素过滤立方数据结构组成，该结构以与当前时间戳对应(即，与在由时间戳表示的时间处波前的位置对应)的深度为中心，其中，深度范围的大小与t方向上卷积算子H的直径对应。在步骤812处，光飞行引擎112用光学模拟输出的所识别的切片对原始RGB图像进行仿射变换，以生成光飞行图像帧。例如，仿射变换可以提高与模拟波前在时间戳的时间处入射表面对应的RGB图像中的像素的亮度，并且可以提高与模拟来自波前的散射光在时间戳的时间处入射表面对应的像素的亮度。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器实施。软件包括在非暂时性计算机可读介质上存储的或以其他方式有形地体现的一组或多组可执行指令。软件可以包括指令和某些数据，该指令和数据在由一个或多个处理器执行时操纵一个或多个处理器来执行上述技术的一个或多个方面。例如，非暂时性计算机可读存储介质可以包括磁盘或光盘存储设备、固态存储设备(诸如，闪存、缓存、随机存取存储器(RAM)或一个或多个其他非易失性存储设备)等。在非暂时性计算机可读存储介质上存储的可执行指令可以是由一个或多个处理器解释或以其他方式执行的源代码、汇编语言代码、对象代码或其他指令格式。
计算机可读存储介质可以包括任何存储介质或存储介质的组合，该存储介质在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据。这种存储介质可以包括但不限于光介质(例如，光盘(CD)、数字多用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以在计算系统(例如，系统RAM或ROM)中体现，固定附接到计算系统(例如，磁性硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)或通过有线或无线网络(例如，网络访问存储装置(NAS))耦合到计算机系统。
要注意，并不是所有的上面用一般描述描述的活动或元件都是必须的，特定活动或设备的一部分可能不是必须的，并且可以执行一个或多个进一步的活动，或包括除了所描述的元件之外的元件。此外，列出活动的顺序不一定是它们执行的顺序。同样，概念已经参考特定实施例进行了描述。然而，本领域的普通技术人员认识到，在不偏离以下权利要求中所述的本公开的范围的情况下，可以进行各种修改和更改。因此，说明书和图被认为是说明性而非限制性的意义，并且所有这种修改都旨在包括在本公开的范围内。
好处、其他优点和问题解决方案在上面已经关于特定实施例进行了描述。然而，好处、优点、问题解决方案以及可能导致任何好、优点或解决方案产生或变得更加明显的任何(多个)特征都不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上面所公开的特定实施例仅仅是说明性的，因为所公开的主题可以通过不同但有效的方式进行修改和实践，该方式对受益于本文中的教导的本领域技术人员而言是显而易见的。除了以下权利要求所描述的之外，本文中所示的构造或设计的细节不受任何限制。因此，显而易见，上面所公开的特定实施例可以进行更改或修改，并且所有这样的变化都被视为在所公开的主题的范围内。因此，本文中所要求的保护如以下权利要求中所述。

Claims (22)

1.一种方法，包括：
基于与光学图像对应的深度图来生成光学模拟输出，所述光学模拟输出对模拟波前的光散射效应进行模拟；以及
通过基于所述光学模拟输出和基于所述模拟波前在与定义时间戳对应的时间处的位置来调整所述光学图像的像素子集的亮度以产生光飞行图像。
2.根据权利要求1所述的方法，其中，生成所述光学模拟输出包括：
基于所述深度图来生成三维数据结构；以及
用卷积算子对所述三维数据结构进行卷积以生成过滤的三维数据结构。
3.根据权利要求2所述的方法，其中，生成所述三维数据结构包括：
对于所述深度图的给定像素，基于所述深度图中所述给定像素的二维坐标和基于与所述给定像素相关联的深度值，将所述给定像素映射到所述三维数据结构的相应位置。
4.根据权利要求2或3所述的方法，其中，所述卷积算子定义高斯球。
5.根据权利要求2至4中的任一项所述的方法，进一步包括：
识别包括所述过滤的三维数据结构的体素子集的切片，所述切片以波前深度为中心，所述波前深度与所述模拟波前在对应于所述定义时间戳的时间处的所述位置相对应。
6.根据权利要求5所述的方法，其中，基于所述光学模拟输出来调整所述光学图像的所述像素子集的亮度包括：
用所识别的切片对所述光学图像执行仿射变换。
7.根据权利要求5或6所述的方法，进一步包括：
基于光速和基于与所述定义时间戳对应的所述时间来确定所述波前深度，其中，所述波前深度指示模拟波前在与所述定义时间戳对应的所述时间在所述光学图像中的所述位置。
8.一种移动设备，包括：
光学摄像头，所述光学摄像头被配置为捕获光学图像；
深度摄像头，所述深度摄像头被配置为捕获与所述光学图像对应的深度图；
至少一个处理器，所述至少一个处理器被配置为：
基于所述深度图来生成光学模拟输出，所述光学模拟输出对模拟波前的光散射效应进行模拟；以及
基于所述光学模拟输出和基于所述模拟波前在与定义时间戳对应的时间处的位置来调整所述光学图像的像素子集的亮度以产生光飞行图像。
9.根据权利要求8所述的移动设备，其中，为了生成所述光学模拟输出，所述处理器进一步被配置为：
基于所述深度图来生成三维数据结构；以及
用卷积算子对所述三维数据结构进行卷积以生成过滤的三维数据结构，其中，所述光学模拟输出包括所述过滤的三维数据结构。
10.根据权利要求9所述的移动设备，其中，为了生成所述三维数据结构，所述处理器被配置为：
对于所述深度图的给定像素，基于所述深度图中所述给定像素的二维坐标和基于与所述给定像素相关联的深度值，将所述给定像素映射到所述三维数据结构的相应位置。
11.根据权利要求9或10所述的移动设备，其中，所述卷积算子定义高斯球。
12.根据权利要求9至11中的任一项所述的移动设备，其中，所述处理器被配置为：
识别包括所述过滤的三维数据结构的体素子集的切片，所述切片以波前深度为中心，所述波前深度与所述模拟波前在对应于所述定义时间戳的时间处的位置相对应。
13.根据权利要求12所述的移动设备，其中，为了基于所述光学模拟输出来调整所述光学图像的所述像素子集的所述亮度，所述处理器被配置为：
用所识别的切片对所述光学图像进行仿射变换以产生所述光飞行图像。
14.根据权利要求12或13所述的移动设备，其中，所述处理器进一步被配置为：
基于光速和基于与所述定义时间戳对应的所述时间来确定所述波前深度，其中，所述波前深度指示所述模拟波前在与所述定义时间戳对应的所述时间在所述光学图像中的所述位置。
15.一种方法，包括：
基于光学图像、与所述光学图像对应的深度图和一个或多个定时参数来生成多个光飞行图像帧；以及
将所述多个光飞行图像帧组合成光飞行视频，其中，所述光飞行视频模拟光脉冲的波前跨所述光学图像中描绘的场景的传播。
16.根据权利要求15所述的方法，其中，生成所述多个光飞行图像帧中的光飞行图像帧包括：
基于所述深度图来生成三维数据结构；
用卷积算子对所述三维数据结构进行卷积以生成过滤的三维数据结构；以及
基于光学模拟输出来调整所述光学图像的像素子集的亮度以生成所述光飞行图像帧，其中，所述光学模拟输出包括所述过滤的三维数据结构。
17.根据权利要求16所述的方法，其中，生成所述三维数据结构包括：
对于所述深度图的给定像素，基于所述深度图中所述给定像素的二维坐标和基于与所述给定像素相关联的深度值，将所述给定像素映射到所述三维数据结构的相应位置。
18.根据权利要求16或17所述的方法，其中，所述卷积算子定义高斯球。
19.根据权利要求16至18中的任一项所述的方法，其中，生成所述多个光飞行图像帧中的所述光飞行图像帧进一步包括：
识别包括所述过滤的三维数据结构的体素子集的切片，所述切片以波前深度为中心，所述波前深度与所述波前在与定义时间戳对应的时间处在所述光学图像中描绘的所述场景中的位置相对应。
20.根据权利要求19所述的方法，其中，基于所述光学模拟输出来调整所述光学图像的所述像素子集的亮度包括：
用所述光学模拟输出对所识别的切片进行仿射变换以产生所述光飞行图像帧。
21.根据权利要求19或20所述的方法，其中，生成所述多个光飞行图像帧中的所述光飞行图像帧进一步包括：
基于光速和基于与所述定义时间戳对应的时间来确定所述波前深度，其中，所述波前深度指示所述波前在与所述定义时间戳对应的所述时间处在所述光学图像中描绘的所述场景中的所述位置。
22.一种计算机程序产品，其上存储有指令，所述指令在由处理器执行时使所述处理器执行根据权利要求1至7和/或15至21中的任一项所述的方法的步骤。
CN202180004284.XA 2021-01-15 2021-01-15 用于模拟光飞行的系统和方法 Pending CN115088018A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/013645 WO2022154803A1 (en) 2021-01-15 2021-01-15 System and method for simulating light-in-flight

Publications (1)

Publication Number Publication Date
CN115088018A true CN115088018A (zh) 2022-09-20

Family

ID=74592765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180004284.XA Pending CN115088018A (zh) 2021-01-15 2021-01-15 用于模拟光飞行的系统和方法

Country Status (6)

Country Link
US (1) US12045933B2 (zh)
EP (1) EP4070285B1 (zh)
JP (1) JP2024504119A (zh)
KR (1) KR20230129495A (zh)
CN (1) CN115088018A (zh)
WO (1) WO2022154803A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12087007B2 (en) * 2021-03-31 2024-09-10 Auris Health, Inc. Vision-based 6DOF camera pose estimation in bronchoscopy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150144790A1 (en) * 2013-11-27 2015-05-28 Aptina Imaging Corporation Video and 3d time-of-flight image sensors
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合
US20180210070A1 (en) * 2017-01-23 2018-07-26 Microsoft Technology Licensing, Llc Active Brightness-Based Strategy for Invalidating Pixels in Time-of-Flight Depth-Sensing
CN111398979A (zh) * 2020-06-08 2020-07-10 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和相关测距系统
CN112014858A (zh) * 2019-05-30 2020-12-01 发那科株式会社 修正测距异常的距离图像生成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005103840A1 (ja) * 2004-04-26 2005-11-03 Ntt Docomo, Inc. 光波面制御パターン生成装置及び光波面制御パターン生成方法
US9165367B2 (en) * 2010-09-02 2015-10-20 Samsung Electronics Co., Ltd. Depth estimation system for two-dimensional images and method of operation thereof
US9445003B1 (en) * 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US20140327750A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
US9979894B1 (en) * 2014-06-27 2018-05-22 Google Llc Modifying images with simulated light sources
US9792673B2 (en) * 2015-09-25 2017-10-17 Intel Corporation Facilitating projection pre-shaping of digital images at computing devices
KR101801749B1 (ko) * 2016-08-24 2017-11-28 한국과학기술연구원 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
TWI647427B (zh) * 2018-01-10 2019-01-11 緯創資通股份有限公司 物體距離估算方法與電子裝置
US11227366B2 (en) * 2018-06-22 2022-01-18 Volkswagen Ag Heads up display (HUD) content control system and methodologies
EP3931795A1 (en) * 2019-03-21 2022-01-05 Huawei Technologies Co., Ltd. Depth of field image refocusing
US20200351454A1 (en) * 2019-04-30 2020-11-05 William Marsh Rice University Wish: wavefront imaging sensor with high resolution
EP4016985A4 (en) * 2019-08-27 2022-08-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE, AND COMPUTER READABLE STORAGE MEDIUM
US11315291B1 (en) * 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150144790A1 (en) * 2013-11-27 2015-05-28 Aptina Imaging Corporation Video and 3d time-of-flight image sensors
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合
US20180210070A1 (en) * 2017-01-23 2018-07-26 Microsoft Technology Licensing, Llc Active Brightness-Based Strategy for Invalidating Pixels in Time-of-Flight Depth-Sensing
CN112014858A (zh) * 2019-05-30 2020-12-01 发那科株式会社 修正测距异常的距离图像生成装置
CN111398979A (zh) * 2020-06-08 2020-07-10 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和相关测距系统

Also Published As

Publication number Publication date
EP4070285A1 (en) 2022-10-12
US12045933B2 (en) 2024-07-23
US20220230384A1 (en) 2022-07-21
KR20230129495A (ko) 2023-09-08
WO2022154803A1 (en) 2022-07-21
EP4070285B1 (en) 2024-09-25
JP2024504119A (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
CN107077756B (zh) 三维对象可视化方法、可视化装置、计算机可读存储介质
CN106408523B (zh) 像素滤波器、用于对像素的序列进行滤波的方法
EP2531979B1 (en) Depth camera compatibility
US20150035832A1 (en) Virtual light in augmented reality
US20180343432A1 (en) Reducing Blur in a Depth Camera System
CN110648274B (zh) 鱼眼图像的生成方法及装置
KR20210009316A (ko) 타임 오브 플라이트 카메라의 감소된 전력 동작
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
US20180322708A1 (en) Application of Edge Effects to 3D Virtual Objects
KR20150114767A (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
KR102137263B1 (ko) 영상 처리 장치 및 방법
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
WO2021025761A1 (en) Sub-pixel data simulation system
EP2600314A1 (en) Simulation of three-dimensional (3d) cameras
Iwai et al. Shadow removal of projected imagery by occluder shape measurement in a multiple overlapping projection system
US12045933B2 (en) System and method for simulating light-in-flight
CN114067172A (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
JP2015515058A (ja) シーン内の関与媒質を表現する方法および対応する装置
US9905041B2 (en) Depth of field synthesis using ray tracing approximation
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
CN111010559B (zh) 裸眼三维光场内容的生成方法及装置
Jarabo et al. Rendering relativistic effects in transient imaging
WO2022198631A1 (en) Method, apparatus and system for auto-labeling
JP2000322594A (ja) 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体
KR20150128536A (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination