CN102057365A - 用于3d绘图的集成处理器 - Google Patents

用于3d绘图的集成处理器 Download PDF

Info

Publication number
CN102057365A
CN102057365A CN200980120888XA CN200980120888A CN102057365A CN 102057365 A CN102057365 A CN 102057365A CN 200980120888X A CN200980120888X A CN 200980120888XA CN 200980120888 A CN200980120888 A CN 200980120888A CN 102057365 A CN102057365 A CN 102057365A
Authority
CN
China
Prior art keywords
depth map
depth
image data
color image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980120888XA
Other languages
English (en)
Other versions
CN102057365B (zh
Inventor
E·斯贝克特
Z·莫尔
D·赖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN102057365A publication Critical patent/CN102057365A/zh
Application granted granted Critical
Publication of CN102057365B publication Critical patent/CN102057365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于处理数据的装置(50)，其包括用于从第一图像传感器(46)接收彩色图像数据的第一输入端口(70)和用于从第二图像传感器(40)接收深度相关图像数据的第二输入端口(64)。处理电路(62)使用所述深度相关图像数据产生深度图。至少一个输出端口(86)将所述深度图和所述彩色图像数据传送到主机。

Description

用于3D绘图的集成处理器
技术领域
本发明总体上涉及用于三维(3D)绘图的方法和系统，特别涉及用于产生和处理3D绘图数据的处理装置。
背景技术
在光学3D绘图——即通过处理目标的光学图像来产生该目标表面的3D轮廓——领域中，已知各种方法。这种3D轮廓也被称作深度图(depth map)或深度图像(depth image)，且3D绘图也被称作深度绘图。
一些方法基于的是，在目标上投射激光散斑图案(speckle pattern)，随后分析该目标上的图案的图像。例如，PCT国际公开文本WO 2007/043036——其公开内容以参引方式被纳入本文——描述了用于目标重构的系统和方法，其中，相干光源和随机散斑图案产生器在目标上投射相干随机散斑图案。成像单元探测被照射区域的光响应，并产生图像数据。目标图像中的图案相对于该图案的参考图像的偏移(shift)被用于实时重构该目标的3D图(3D map)。例如，PCT国际公开文本WO 2007/105205——其公开内容以参引方式被纳入本文——描述了使用散斑图案进行3D绘图的其他方法。
光学3D绘图的其他方法把不同类型的图案投射在待绘图的目标上。例如，PCT国际公开文本WO 2008/120217——其公开内容以参引方式被纳入本文——描述了用于3D绘图的照射组件，该照射组件包括含有固定点状图案(fixed pattern of spots)的单个透明体(transparency)。光源以光辐射透照(transilluminate)所述透明体，以将所述图案投射到目标上。图像捕获组件捕获该目标上的图案的图像，且该图像被处理以重构该目标的3D图。
作为又一个实施例，PCT国际公开文本WO 93/03579描述了3D视觉系统，其中，一个或两个投影仪产生包括两组具有不同周期和角度的平行条纹的结构性光(structured light)。作为另一个实施例，美国专利6,751,344描述了用于对对象进行光学扫描的方法，其中，所述对象被离散二维图像目标矩阵——例如点栅格(grid of dots)——照射。其他方法包括投射光栅图案(grating pattern)，例如在美国专利4,802,759中描述的。上述专利和公开文本以参引方式被纳入本文。
发明内容
下文中描述的本发明实施方案提供了用于处理3D绘图用图像数据的装置和方法。
依照本发明的一个实施方案，一种用于处理数据的装置包括：第一输入端口，其用于从第一图像传感器接收彩色图像数据；以及第二输入端口，其用于从第二图像传感器接收深度相关(depth-related)图像数据。处理电路使用所述深度相关图像数据产生深度图，并且至少一个输出端口将所述深度图和所述彩色图像数据传送到主机(host computer)。
在所公开的一个实施方案中，所述第一和第二输入端口、所述处理电路和所述至少一个输出端口是集成电路部件，它们被制造在单个半导体衬底上。
在一些实施方案中，所述至少一个输出端口包括单个端口，并且被连接为将所述深度图和所述彩色图像数据以多路复用(multiplexed)格式的单个数据流传送到所述主机。通常，所述处理电路被配置为使所述单个数据流中的所述深度图与所述彩色图像数据同步。可选地，所述装置包括用于接收音频信息的第三输入端口，其中，所述处理电路被配置为将所述音频信息连同所述深度图和所述彩色图像数据一起并入所述单个数据流，用于经由所述单个端口传送到所述主机。在一个实施方案中，所述单个端口包括通用串行总线(USB)端口。
在所公开的实施方案中，所述处理电路被配置为将所述深度图与所述彩色图像数据配准(register)。所述深度图包括具有各自深度值的像素的阵列，并且所述处理电路通常被配置为响应于所述深度值来计算针对所述像素的各自偏移，并将所述各自偏移应用到所述深度图中的像素，以将所述深度图与所述彩色图像数据配准。在一个实施方案中，所述处理电路被配置为使用递增拟合处理(incremental fitting process)来递增地计算所述各自偏移，使得所述深度图中一行内的像素的偏移作为在前像素偏移(preceding pixel shift)的函数而被计算。通常，所述处理电路被配置为在接收所述深度值时即时(on the fly)计算针对所述像素的各自偏移，而不将整个深度图存储在所述装置中。
在一些实施方案中，所述处理电路被配置为压缩所述深度图和所述彩色图像数据，用于经由所述至少一个输出端口传输到所述主机。在一个实施方案中，所述处理电路被配置为对所述深度图和所述彩色图像数据应用无损压缩处理。
在所公开的一个实施方案中，所述深度相关图像数据包括被投射到目标上的图案的图像，并且所述处理电路被配置为通过测量所述图案相对于参考图像的偏移来产生所述深度图。
依照本发明的一个实施方案，也提供了用于成像的设备，包括：第一图像传感器，其被配置为捕获和输出目标的彩色图像；以及第二图像传感器，其被配置为捕获和输出关于所述目标的深度相关图像数据。处理装置包括：第一输入端口，其用于从所述第一图像传感器接收所述彩色图像数据；第二输入端口，其用于从所述第二图像传感器接收所述深度相关图像数据；处理电路，其用于使用所述深度相关图像数据来产生深度图；以及至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。
可选地，所述设备包括音频传感器，其中，所述处理装置包括用于从所述音频传感器接收音频信息的第三输入端口，并且其中，所述处理电路被配置为将所述音频信息连同所述深度图和所述彩色图像数据一起经由所述至少一个输出端口传送到所述主机。
在所公开的一个实施方案中，所述设备包括照射子组件(illumination subassembly)，其被配置为在所述目标上投射图案，其中，所述深度相关图像数据包括所述目标上的图案的图像，并且所述处理电路被配置为通过测量所述图案相对于参考图像的偏移来产生深度图。
依照本发明的一个实施方案，还提供了一种用于处理数据的方法，包括：经由第一输入端口从第一图像传感器接收彩色图像数据；经由第二输入端口从第二图像传感器接收深度相关图像数据。使用所述深度相关图像数据产生深度图，并经由输出端口将所述深度图和所述彩色图像数据传送到主机。
附图说明
从下文结合附图对本发明实施方案的详细描述中，将更完整地理解本发明，附图中：
图1是依照本发明一个实施方案的用于3D绘图的系统的示意性图解说明；
图2是依照本发明一个实施方案的成像组件的示意性俯视图；
图3A和3B是依照本发明一个实施方案的处理装置的框图；
图4是依照本发明一个实施方案的框图，该图示意性地示出了深度处理器的元件；
图5是依照本发明一个实施方案的框图，该图示意性地示出了配准引擎的细节；
图6A和6B是依照本发明一个实施方案的框图，该图示意性地示出了坐标计算电路的细节；
图7是依照本发明一个实施方案的框图，该图示意性地示出了压缩电路。
具体实施方式
系统概述
图1是依照本发明一个实施方案的用于3D绘图和成像的系统20的示意性图解说明。在该实施例中，成像组件24被配置为捕获和处理用户22的3D图和图像。所述信息可以被主机26用作3D用户界面的一部分，所述3D用户界面使得用户能够与运行在该计算机上的游戏和其他应用互动。(这类功能在例如2009年1月13日提交的美国专利申请12/352,622中得到描述，该申请以参引方式被纳入本文。)在这里仅以举例方式示出系统20的这个特定应用，而系统20的绘图和成像功能也可以被用于其它目的，以及被应用到基本上任何合适类型的3D目标。
在图1中示出的实施例中，成像组件24将光辐射图案投射到用户22的身体(或至少身体的一部分)上，并且捕获出现在身体表面的图案的图像。用于此目的的光辐射通常在红外(IR)范围。组件24中的处理装置——将在下文中详细描述——处理所述图案的图像，以产生身体的深度图，即3D坐标阵列，其包括预定区域内每个点(X，Y)处身体表面的深度(Z)坐标值。(在图像相关数据阵列的语境中，这些(X，Y)点也被称作像素)。在下文描述的实施方案中，处理装置基于该图案中的点的横向偏移(transverse shifts)，通过三角测量法(triangulation)来计算用户身体表面上的点的3D坐标，如在上文提到的PCT公开文本WO 2007/043036、WO 2007/105205和WO 2008/120217中描述的。或者(alternatively)，如本领域已知的，使用单个或多个相机或其他类型的传感器，系统20可以实施其他3D绘图方法。
此外，成像组件24捕获用户的彩色(2D)图像，并且也可以接收音频输入。成像组件使深度图与彩色图像配准和同步，并产生包括深度图和图像数据(也可能包括音频数据)的数据流，用于输出到计算机26。在一些实施方案中，如下文描述的，深度图、彩色图像、以及可能的音频数据被并入单个数据流，该数据流经由单个端口——例如通用串行总线(USB)端口——输出到该计算机。
计算机26处理由组件24产生的数据，以提取3D图像信息。例如，该计算机可以将深度图分段(segment)，以识别用户22身体的各部分，并找到它们的3D位置。计算机26可以使用所述3D图像信息来驱动输出装置——例如显示器28，其通常用于呈现3D图像信息和/或可以被用户身体各部分的移动控制的用户接口元件。一般来说，计算机26包括通用计算机处理器，其被用软件编程以实现这些功能。所述软件可以通过例如网络以电子形式下载到该处理器，或者可以被提供在有形介质——例如光、磁或电存储介质——上。
作为另一种选择，此处与计算机26关联的处理功能可以由与显示器28(例如电视机中的)或与任何其他合适类型的计算机化装置(例如游戏控制台或媒体播放器)集成的合适处理器来执行。
图2是依照本发明一个实施方案的成像组件24的示意性俯视图。此处X轴被取为沿组件24前部的水平方向，Y轴是垂直方向(在该视图中为进入页面的方向)，并且Z轴以目标被该组件成像的大体方向远离组件24而延伸。
对于3D绘图，照射子组件30用适当的图案——例如散斑图案——照射目标。出于该目的，子组件30通常包括合适的辐射源32(例如二极管激光器、LED或其他光源)以及光学器件(例如散射体(diffuser)34或衍射光学元件)，用于产生图案，如在上文中提到的PCT公开文本中描述的。深度图像捕获子组件36捕获目标表面上的图案的图像。子组件36通常包括物镜(objective optics)38，其将目标表面成像在探测器(detector)40——例如CMOS图像传感器——上。
如上文所记，辐射源32通常发出IR辐射，尽管也可以使用其他辐射带，例如可见光或紫外光范围内的辐射带。探测器40可以包括不含IR截止滤波器的单色图像传感器(monochrome image sensor)，以高灵敏度探测所投射的图案的图像。为了增强探测器40捕获的图像的对比度，物镜38或该探测器本身可以包含带通滤波器，其允许辐射源32的波长通过，同时阻挡其他带的环境辐射。
彩色图像捕获子组件42捕获目标的彩色图像。子组件42通常包括物镜44，其将目标表面成像在探测器46——例如CMOS彩色马赛克图像传感器(color mosaic image sensor)——上。物镜44或探测器46可以包括滤波器，例如IR截止滤波器，使得照射子组件30投射的图像不出现在探测器46捕获的彩色图像中。
可选地，麦克风48捕获音频输入，例如用户22发出的语音命令。
处理装置50接收和处理来自子组件36和42以及来自麦克风48的图像以及音频输入。这些处理功能的细节将参考下述附图在下文中阐述。简而言之，处理装置50将子组件36提供的图像与子组件30投射到距组件24已知距离Dsrs处的平面54上的图案的参考图像相比较。(例如，可以作为校准过程(calibration procedure)的一部分来捕获参考图像，并将其存储在存储器52——例如闪存(flash memory)——中。)该处理装置将所捕获图像中的局部图案(local pattern)与参考图像中的局部图案相匹配，从而找到每个像素56或像素组在平面54内的横向位移。基于这些横向位移，并基于子组件30和36的光轴之间的已知距离Dcc，该处理装置计算每个像素的深度(Z)坐标。
处理装置50将每个这种3D图中的深度坐标与子组件42捕获的彩色图像中的适当像素进行同步和配准。该配准通常包括与该3D图中每个深度值关联的坐标偏移。所述偏移包括：静态分量，其基于子组件36和42的光轴之间的已知距离Dcc及所述探测器之间的任何未对准(misalignment)；以及动态分量，其依赖于深度坐标本身。该配准处理将在下文中描述。
在配准了深度图和彩色图像之后，处理装置50将深度和彩色数据经由端口——例如USB端口——输出到主机26。如下文将描述的，所输出的数据可以被压缩以节省带宽。如上文所记，由麦克风28提供的音频信息也可以被同步，并与深度和彩色数据一起输出到计算机26。
处理装置的架构
图3(由图3A和图3B组成)是依照本发明一个实施方案的处理装置的框图，其示意性地示出了处理装置50的功能元件。装置50可以被制造为单个半导体衬底上的专用集成电路，并如上文所述，带有到组件24的其他部件的接口和到计算机26的USB端口。这种实现方式在使组件24的成本、尺寸和功率消耗最小化方面是有用的。或者，可以使用多个分立的电路部件来实现装置50。装置50也可以包括其他接口，包括到“薄型(thin)”主机60——例如特殊用途多媒体应用处理器——的数据和控制接口。
在下文中，作为本发明原理的一个可能实现方式的实施例来详细描述装置50的部件。该实现方式的其他细节在上述临时专利申请中阐述。在目前描述的基础上，其他实现方式对于本领域技术人员是显而易见的，并且被认为落在本发明的范围内。例如，尽管下文描述的实施方案使用专用的硬件处理部件，但是所考虑的处理功能的一些或全部可以由带有合适接口的通用可编程处理器以软件实现。用于此目的的软件可以例如通过网络以电子形式下载到处理器。替代地或附加地，所述软件可以被存储在有形的计算机可读介质——例如光、磁或电存储器——上。
在本实施例中，装置50包括下面的部件：
深度处理器62处理深度图像捕获子组件36所捕获的信息，以产生深度图。处理器62使用存储器130中的专用存储空间。该存储器也可以被控制器104——其在下文描述——访问，但是通常不被主机26访问。不过，处理器62可以经由应用程序接口(API)被主机编程。
深度处理器62经由深度CMOS传感器接口64接收来自探测器40的输入视频数据。该深度处理器处理所述视频数据，以产生相继的(successive)深度图，即深度数据帧，如在下文中参考后续附图详细描述的。该深度处理器将这些数据加载到USB FIFO单元68中的深度先入先出(FIFO)存储器66。
与深度输入和处理平行地，彩色处理块72经由彩色CMOS传感器接口70接收来自探测器46的输入彩色视频数据。块72将原始输入数据转换成RGB视频数据输出帧，并将这些数据加载到单元68中的RGBFIFO存储器74。或者，块72可以输出其他格式的视频数据，例如YUV或拜耳马赛克格式(Bayer mosaic format)。
此外，来自麦克风48的音频信号被模拟/数字转换器(ADC)76数字化。所产生的数字音频样本随后经音频接口78传送到单元68中的音频FIFO存储器80。在图3A示出的实施例中，接口78包括集成芯片间声音(Integrated Interchip Sound)(I2S)总线接收器。
USB FIFO单元68充当各数据提供器和USB控制器86之间的缓冲级(buffer level)。单元68根据不同的类(例如USB视频类和USB音频类)对各数据类型进行打包和格式化，并且也用于防止由USB带宽电涌(glitches)引起的数据丢失。在将数据传递到USB控制器之前，单元68根据USB协议和格式将数据安排进USB数据包。
大带宽总线——例如先进高性能总线(AHB)矩阵82——被用来在装置50的各部件之间传输数据，并特别地用于将数据从USB FIFO单元68传送到USB控制器86以传递到主机26。(AHB是英国剑桥ARM有限公司颁布的总线协议)。当FIFO单元68中有准备好的数据包，且USB控制器86的内部存储器中有空间可用时，该USB控制器使用直接存储器访问(DMA)经由AHB从模块(slave module)84和AHB矩阵82从FIFO存储器66、74和80中读取数据。该USB控制器将彩色、深度和音频数据多路复用到单个数据流中，用于经由USB接口输出到主机26。
为了USB通信的目的，装置50包括USB物理层接口(PHY)88，其可以被USB控制器86操作，以经由合适的USB数据线与主机26的USB端口通信。USB PHY 88的时序(timing)由晶体振荡器92和锁相环(PLL)94控制，如在本领域中已知的。或者，经由USB 2.0收发器宏单元接口(UTMI)和外部PHY 90，USB控制器86可以可选地与主机通信。
同样的，外部ADC 96可以可选性地被用来对麦克风48产生的音频信号进行数字化。2:1开关98选择要输入到I2S接收器78的数字音频数据源。
在薄型主机60(与主机26区分)未被配置为经由单条串行总线连同彩色和深度图像数据一起接收音频数据的情况下，该I2S接收器也可以经由音频输出接口100直接向该薄型主机输出音频数据。在这种情况中，RGB和深度(RGBD)数据经由分立的RGBD接口102输出到该薄型主机。或者，对于一些应用，接口102可以仅将深度数据输出到薄型主机60。
控制器104负责管理装置50的功能，包括启动(boot up)和自测、配置、功率和接口管理，以及参数调整。该控制器包括数字信号处理器(DSP)芯(core)106和AHB主模块(master)108，其用于控制AHB矩阵82上的数据移动。通常，控制器104从启动只读存储器(boot read-only memory)(ROM)110启动，随后经由闪存接口132将程序代码从闪存52加载到指令随机访问存储器(RAM)112。该控制器也具有其自己的数据存储器114。此外，控制器104可以具有测试接口116，例如联合测试行动小组(JTAG)接口，用于外部计算机118进行调试。
控制器104经由寄存器配置接口——例如先进外围总线(APB)120——将配置数据和参数分配到装置50的其他部件，该控制器经AHB矩阵82和APB桥122连接到APB 120。各种控制接口可用于控制这些其他部件，包括串行同步接口(SSI)和串行外围接口(SPI)主单元(master unit)124和从单元(slave unit)128，以及内置集成电路(Inter-Integrated Circuit)(I2C)主单元122和从单元126。功率管理接口133为外围装置提供功率和重置信号。在这里仅以举例方式示出这些特定接口，而其他接口配置也可以用于类似目的。
图4是依照本发明一个实施方案的框图，其示意性地示出了深度处理器62的细节。该图也示出了平行彩色处理块72的某些功能。
为了降低片上(on-chip)存储和记忆要求，处理器62通常使用滑动窗口法(sliding window approach)，其中，在任意给定时间，每个已处理图像仅有部分而非全部图像被存储在装置50中。该窗口通常仅含有少数几行像素，如下文中描述的算法所要求的。新到达的数据不断地代替该处理器存储器中的旧的、已处理的数据。深度值被处理器62基于所输入的图像数据即时重建，并经由FIFO缓冲器66即时输出到主机26。
处理器62中的输入数据预处理块140经由接口64接收来自探测器40的深度相关像素值，并执行过滤操作，以降低噪声并可能地将所述像素分成不同的组。当前处理窗口中的预处理数据被存储在图形存储器142中。该图形存储器可以包括数个存储器或库(bank)，以允许同时读取多个数据块。
为了进行深度计算，参考读取引擎(reference read engine)146经由接口132将参考图像从存储器52读取到参考存储器148。从存储器52读取该参考数据同步于当前图像的相应部分从预处理块140到达存储器142。与该图形存储器类似，该参考存储器仅存储落入当前处理窗口内的那部分参考图像用于深度重建，并且该参考存储器可以包括数个存储器或库。参考读取引擎146也可以被控制，以在校准过程中将参考图像初始存储在存储器52中。
匹配引擎(match engine)144将来自存储器142的输入像素组与来自存储器148的相应参考像素组相匹配，以找到输入像素的相对偏离(offset)。如上文中阐释的，该匹配引擎将该偏离翻译成深度值，并将该深度值写入输出存储器150。同样，在任意给定时间，输出存储器仅存储整个深度图中的一个小滑动窗口，并且可以包括数个存储器或库。
配准引擎(registration engine)152将匹配引擎144产生的深度值与从探测器46获得的彩色图像数据配准。该配准处理在下文中详细描述。配准引擎152对深度图中的深度值的位置进行偏移，以与彩色图像中的适当彩色像素吻合。或者，应有可能对彩色像素值进行偏移，以与相应的深度图像素吻合。随配准之后，深度后处理块(depth post-processing block)154对深度数据应用过滤以及可能地其他数学操作。
压缩模块156在将深度数据传到USB FIFO单元68之前压缩深度数据，以减少在USB输出链路上要求的带宽。该压缩功能的细节在下文参考图7描述。
与上文描述的深度压缩操作平行地，例如，彩色处理块72中的彩色图像处理器158依照适当视频标准(例如RGB或YUV)将从接口70接收的输入像素值转换成图像数据。压缩块160，其具有与块156类似的设计，也压缩彩色图像数据。
深度与彩色图像数据的配准
图5是依照本发明一个实施方案的框图，该图示意性地示出了配准引擎152的细节。该配准引擎被连接为经由像素总线170接收深度像素值。所述像素具有格式(x0，y0，dX0)，其中x0和y0是配准前的原始水平和垂直坐标，并且dX0是由匹配引擎144测得的、这一像素与参考图像中相应像素之间的像素偏移值。(因为照射子组件30和深度图像捕获子组件36沿着X轴布置，所以在深度的三角测量中仅X方向偏移是显著的。)
配准坐标计算块172计数所引入的(incoming)像素的列数和行数，并使用抛物线拟合处理来计算针对每个dX0像素偏移值的已配准坐标(xr，yr)。这个计算在下文中详细描述。根据已配准坐标，输入流写逻辑(write logic)174将所引入的像素的偏移值写入N行缓冲器(N-line buffer)176中适当的已配准位置。随着像素推进，逻辑174也管理缓冲器行分配。
垂直范围计算器178计算不再被当前输入行影响的最小已配准行数(yr)。该行数指示可以从缓冲器176中读出的下一行。计算器178类似地使用抛物线拟合方程用于该计算。输出流逻辑(output streaming logic)180使用该最小已配准行数值来选择要从缓冲器176中读出到像素总线170的已配准像素值的行。该配准处理的结果为，所述像素深度值流与块72中的相应彩色值配准。
现在详细阐述已配准坐标计算块172的运行。块172执行的计算使用下列参数，其中一些在图2中示出：
●Dcl-照射子组件30和深度图像捕获子组件36的光轴之间的距离。
●dX-在参考图像和当前深度图像之间的一点处计算的图案偏移。
●Dsrs-深度图像捕获子组件36和参考平面54之间的距离。
●Dsrr-子组件36和配准参考平面之间的距离。
●d-目标表面上的一点相对于参考平面54的深度值(其可以是正值或负值)。
●Dcc-深度图像捕获子组件38和彩色图像捕获子组件44之间的距离。
深度d可以如下由偏移dX算出：
d = dX * D srs D cl - dX - - - ( 1 )
由于几何因素(geometrical factors)，给定点处的深度d导致了该点处的彩色和深度图像之间的偏移Δ：
Δ = Δ 0 + D cc * d D srr + d - - - ( 2 )
在上面的公式中，Δ0是在与组件24相距Dsrr的参考平面处的彩色和深度图像之间的、由于相机之间的偏离和可能的未对准导致的点式偏移(point-wise shifts)的初始设置。所述公式理论上应用于X偏移和Y偏移二者，但是在图2中示出的配置中，Y偏移在任意的给定关注区域内基本恒定：因此上述公式仅应用于X偏移Δx。
未配准图像中的点(x0，y0)处的每个输入图案偏移值dX的已配准坐标则由下式给出：
x r = x o + Δ x = x o + Δ 0 x + D cc * d D srr + d
y r = y o + Δ y = y o + Δ 0 y - - - ( 3 )
点式偏移的初始设置可以被存储在查找表中，但是为了减少片上存储量，块172可以使用抛物线拟合计算代替：
Δ 0 x ( x , y ) = a x x 2 + b x y 2 + c x xy + d x x + e x y + f x
Δ 0 y ( x , y ) = a y x 2 + b y y 2 + c y xy + d y x + e y y + f y - - - ( 4 )
上面等式中的十二个拟合系数被提前算出——通常基于校准过程，随后被加载到处理器50中的适当寄存器中。或者，也可以使用其他类型的拟合函数。
现在结合上述公式，并假定Dsrs＝Dsrr，已配准坐标由下式给出：
x r = x o + a x x o 2 + b x y o 2 + c x x o y o + d x x o + e x y o + f x + βd X o
y r = y o + a y x o 2 + b y y o 2 + c y x o y o + d y x o + e y y o + f y - - - ( 5 )
其中为简化上述计算，针对每个像素，可以基于之前针对相邻像素算出的值来递增地计算该公式中的
Figure BPA00001269788500136
和的值。
Δ 0 x ( x o + 1 , y o ) = Δ 0 x ( x o , y o ) + Δ x Δ 0 x ( x o , y o ) x
Δ 0 y ( x o + 1 , y o ) = Δ 0 y ( x o , y o ) + Δ y Δ 0 y ( x o , y o )
Δ 0 x ( x o , y o + 1 ) = Δ 0 x ( x o , y o ) + Δ x Δ 0 x ( x o , y o )
Δ 0 y ( x o , y o + 1 ) = Δ 0 y ( x o , y o ) + Δ y Δ 0 y ( x o , y o ) - - - ( 6 )
该图左上角的值
Figure BPA000012697885001312
和
Figure BPA000012697885001313
被预先算出，作为用于上述递增计算的起始点。
图6(由图6A和图6B组成)是依照本发明一个实施方案的框图，该图示意性地示出了已配准坐标计算块172的细节。图6A示出了X坐标计算子块(sub-block)186，而图6B示出了Y坐标计算子块188。这些子块实施上文等式(5)和(6)中所述的计算。这些子块的数字逻辑设计的更具体细节在上文提到的临时专利申请中得到阐述，但是为了简便，此处省略了这些细节中一些。
子块186和188围绕递增抛物线拟合电路190和192构建，电路190和192执行等式(6)的计算。对于每个相继的像素，电路190和192接收以下值作为输入：针对前一个像素(Xprev，Yprev)计算的已配准坐标值，以及针对X和Y计算的抛物线拟合系数a、b、c、d、e。(为了方便，大写和小写字母在文中和图中可互换地使用。)在沿着该图像的每行水平推进(增量X)期间，多路复用器196选择“0”输入；在从行到行垂直推进(增量Y)期间，多路复用器196选择“1”输入。
电路190和192的输出是针对当前像素的和
Figure BPA00001269788500142
偏移值。在水平推进期间，这些值存储在列偏移累加器198和206中，所述累加器随后输出累加结果，以作为前一个X和Y偏移值输入到拟合计算电路190和192，用于下一个像素。所述偏移值也经由多路复用器202和210存储在行偏移累加器200和208中。在垂直推进期间，多路复用器204和212选择累加器200和208的内容，以输入到电路190和192。如上所述，所述多路复用器在在水平推进期间选择“0”输入，在垂直推进期间选择“1”输入。
对于X方向，子块186从匹配引擎144接收深度相关图案偏移值dX0和dXc，并且在减法器214中得出这些值之差，从而给出针对当前像素的递增偏移dX。(当针对dX0或dXc没有输入值可用时，可以使用值0代替。)乘法器216将该偏移与预校准系数β相乘。加法器222将该结果与电路190算出的抛物线偏移值相加。最后，加法器226将该结果与当前X坐标x0相加，从而给出已配准坐标xr，如等式(5)定义的。类似地，由加法器230计算已配准Y坐标，但是不带任何深度相关图案偏移分量，如上文解释的。
现在回到图5，由于针对每个像素计算的配准偏移在整个图像区域内是不同的，所以在配准引擎中产生的已配准坐标的流通常与输入像素流不同步。缓冲器176和读逻辑(read logic)180补偿输入和输出之间的可变延迟。缓冲器176中的行数由
Figure BPA00001269788500143
的值给出。对于任意输入行y0，缓冲器176中的可以从输入行y0接收像素的最大已配准行yr是yr＝y0+minΔy(y0)。该值由垂直范围计算器178算出，并被馈送到逻辑180。在这个基础上，逻辑180可以从缓冲器176中读出行yr以上的所有行。
根据等式(5)中的系数fx和fy的值，在深度处理器62产生的深度图的边缘处可能存在几个列和/或行不与彩色处理块72产生的彩色图像重叠。结果是，读逻辑180可能需要抛弃深度图边缘处“溢出(spill over)”彩色图像边缘的那些行深度值，并添加一行或多行空(null)或哑(dummy)深度值以延伸该深度图，使其覆盖整个彩色图像。这些哑值可以由后处理块154合成产生。
深度和彩色图像的无损压缩
图7是依照本发明一个实施方案的框图，该图示意性地示出了无损压缩模块156和160的细节。该图中示出的块设计能够同时压缩一个到三个图像分量。对于深度图，通常仅使用一个分量。对于彩色图像，根据彩色编码的类型可以使用两个或三个分量。该压缩块使用差异和运行长度编码(difference and run-length encoding)来有效地压缩输入流，而不损失数据。所述压缩使得有可能在单个USB串行链路能承受的有限带宽上将深度和彩色图像数据(以及音频数据)都传输到主机26。或者，当有足够的输出带宽可用时，该压缩块可以被绕过。
像素分配器240将输入像素值的流分成几个分量。对于每一个分量，减法器244计算当前分量值和前一个值(如由分量延迟线路242提供的)之差。所述差值被输入到像素合并电路(pixel merger circuit)246，该电路将所述差值又合并成单个差值流。电路246也接收和合并分量值本身，它们被用来代替针对每一行第一像素的差值，以及每当相继像素之差超过特定阈值时的差值。
符号产生器248对该差值和/或原始像素值进行编码。通常，该符号产生器使用运行长度编码来代表相同值的重复次数，从而更进一步地减少数据量。该符号产生器也可以在行上和帧边界上添加同步信号(synchronization signals)，以辅助后续解码，并减少任何可能的数据损失下游(dataloss downstream)的影响。比特流打包器(packer)250将已编码符号转换成连续比特流用于USB传输。该比特流打包器可以添加填充比特(stuff bits)，以使每个新的行和帧的开始将在USB数据包内适宜地字节对准(properly byte-aligned)。
尽管上述实施方案使用特定的装置架构、协议和配置，但是也可以使用其他类型的装置架构、协议和配置来类似地应用本发明的原理。从而应认识到，上述实施方案是举例，而本发明不限于上文中特别示出和描述的内容。毋宁说，本发明的范围包括上述各种特征的组合和子组合，以及本领域技术人员在阅读前文描述后会想到且在现有技术中未公开的其变化和修改。

Claims (32)

1.一种用于处理数据的装置，其包括：
第一输入端口，其用于从第一图像传感器接收彩色图像数据；
第二输入端口，其用于从第二图像传感器接收深度相关图像数据；
处理电路，其用于使用所述深度相关图像数据产生深度图；以及
至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。
2.根据权利要求1的装置，其中所述第一和第二输入端口、所述处理电路和所述至少一个输出端口是集成电路部件，它们被制造在单个半导体衬底上。
3.根据权利要求1的装置，其中所述至少一个输出端口包括单个端口，并且被连接为将所述深度图和所述彩色图像数据以多路复用格式的单个数据流传送到所述主机。
4.根据权利要求3的装置，其中所述处理电路被配置为使所述单个数据流中的所述深度图与所述彩色图像数据同步。
5.根据权利要求3的装置，还包括用于接收音频信息的第三输入端口，其中，所述处理电路被配置为将所述音频信息连同所述深度图和所述彩色图像数据一起并入所述单个数据流，用于经由所述单个端口传送到所述主机。
6.根据权利要求3的装置，其中所述单个端口包括通用串行总线(USB)端口。
7.根据权利要求1-6中任一项的装置，其中所述处理电路被配置为将所述深度图与所述彩色图像数据配准。
8.根据权利要求7的装置，其中所述深度图包括具有各自深度值的像素的阵列，并且其中所述处理电路被配置为响应于所述深度值来计算针对所述像素的各自偏移，并将所述各自偏移应用到所述深度图中的像素，以将所述深度图与所述彩色图像数据配准。
9.根据权利要求8的装置，其中所述处理电路被配置为递增地计算所述各自偏移，使得所述深度图中一行内的像素的偏移作为在前像素偏移的函数而被计算。
10.根据权利要求9的装置，其中所述处理电路被配置为使用递增拟合处理来计算所述各自偏移。
11.根据权利要求8的装置，其中所述处理电路被配置为在接收所述深度值时即时计算针对所述像素的各自偏移，而不将整个深度图存储在所述装置中。
12.根据权利要求1-6中任一项的装置，其中所述处理电路被配置为压缩所述深度图和所述彩色图像数据，用于经由所述至少一个输出端口传输到所述主机。
13.根据权利要求12的装置，其中所述处理电路被配置为对所述深度图和所述彩色图像数据应用无损压缩处理。
14.根据权利要求1-6中任一项的装置，其中所述深度相关图像数据包括被投射到目标上的图案的图像，并且其中所述处理电路被配置为通过测量所述图案相对于参考图像的偏移来产生所述深度图。
15.用于成像的设备，其包括：
第一图像传感器，其被配置为捕获和输出目标的彩色图像；
第二图像传感器，其被配置为捕获和输出关于所述目标的深度相关图像数据；以及
处理装置，其包括：
第一输入端口，其用于从所述第一图像传感器接收所述彩色图像数据；
第二输入端口，其用于从所述第二图像传感器接收所述深度相关图像数据；
处理电路，其用于使用所述深度相关图像数据产生深度图；以及
至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。
16.根据权利要求15的设备，还包括音频传感器，其中所述处理装置包括用于从所述音频传感器接收音频信息的第三输入端口，并且其中所述处理电路被配置为将所述音频信息连同所述深度图和所述彩色图像数据一起经由所述至少一个输出端口传送到所述主机。
17.根据权利要求15的设备，其中所述至少一个输出端口包括单个端口，并且被连接为将所述深度图和所述彩色图像数据以多路复用格式的单个数据流传送到所述主机。
18.根据权利要求15-17中任一项的设备，还包括照射子组件，其被配置为在所述目标上投射图案，其中所述深度相关图像数据包括所述目标上的图案的图像，并且其中所述处理电路被配置为通过测量所述图案相对于参考图像的偏移来产生深度图。
19.一种用于处理数据的方法，其包括：
经由第一输入端口从第一图像传感器接收彩色图像数据；
经由第二输入端口从第二图像传感器接收深度相关图像数据；
使用所述深度相关图像数据产生深度图；以及
经由输出端口将所述深度图和所述彩色图像数据传送到主机。
20.根据权利要求19的方法，其中所述深度图由处理电路产生，并且其中所述第一和第二输入端口、所述处理电路和所述至少一个输出端口是集成电路部件，它们被制造在单个半导体衬底上。
21.根据权利要求19的方法，其中所述至少一个输出端口包括单个端口，并且被连接为将所述深度图和所述彩色图像数据以多路复用格式的单个数据流传送到所述主机。
22.根据权利要求21的方法，其中传送所述深度图包括使所述单个数据流中的所述深度图与所述彩色图像数据同步。
23.根据权利要求21的方法，还包括接收音频信息，并且将所述音频信息连同所述深度图和所述彩色图像数据一起并入所述单个数据流，用于经由所述单个端口传送到所述主机。
24.根据权利要求21的方法，其中所述单个端口包括通用串行总线(USB)端口。
25.根据权利要求19-24中任一项的方法，其中产生所述深度图包括将所述深度图与所述彩色图像数据配准。
26.根据权利要求25的方法，其中所述深度图包括具有各自深度值的像素的阵列，并且其中配准所述深度图包括响应于所述深度值来计算针对所述像素的各自偏移，并将所述各自偏移应用到所述深度图中的像素。
27.根据权利要求26的方法，其中计算所述各自偏移包括递增地处理所述各自偏移，使得所述深度图中一行内的像素的偏移作为在前像素偏移的函数而被计算。
28.根据权利要求27的方法，其中处理所述各自偏移包括使用递增拟合处理来计算所述各自偏移。
29.根据权利要求26的方法，其中计算所述各自偏移包括在接收所述深度值时即时计算所述像素的各自偏移，而不在计算所述各自偏移时存储整个深度图。
30.根据权利要求19-24中任一项的方法，其中传送所述深度图和所述彩色图像数据包括压缩所述深度图和所述彩色图像数据，用于经由所述至少一个输出端口传输到所述主机。
31.根据权利要求30的方法，其中压缩所述深度图和所述彩色图像数据包括对所述深度图和所述彩色图像数据应用无损压缩处理。
32.根据权利要求19-24中任一项的方法，其中所述深度相关图像数据包括被投射到目标上的图案的图像，并且其中产生所述深度图包括测量所述图案相对于参考图像的偏移。
CN200980120888.XA 2008-07-09 2009-03-12 用于3d绘图的集成处理器 Active CN102057365B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7925408P 2008-07-09 2008-07-09
US61/079,254 2008-07-09
PCT/IL2009/000285 WO2010004542A1 (en) 2008-07-09 2009-03-12 Integrated processor for 3d mapping

Publications (2)

Publication Number Publication Date
CN102057365A true CN102057365A (zh) 2011-05-11
CN102057365B CN102057365B (zh) 2016-08-17

Family

ID=41504786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980120888.XA Active CN102057365B (zh) 2008-07-09 2009-03-12 用于3d绘图的集成处理器

Country Status (5)

Country Link
US (3) US8456517B2 (zh)
JP (2) JP5795734B2 (zh)
CN (1) CN102057365B (zh)
TW (1) TWI557684B (zh)
WO (1) WO2010004542A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
CN106200890A (zh) * 2015-04-17 2016-12-07 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
CN106796718A (zh) * 2014-09-05 2017-05-31 高通股份有限公司 用于高效深度图像变换的方法和设备
CN107004273A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于彩色与深度视频的同步的方法、设备和媒体
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107424187A (zh) * 2017-04-17 2017-12-01 深圳奥比中光科技有限公司 深度计算处理器、数据处理方法以及3d图像设备
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法

Families Citing this family (226)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
CN101957994B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5174684B2 (ja) * 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
CN103778635B (zh) * 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN103760682B (zh) * 2008-01-21 2016-08-31 苹果公司 用于使零级减少的光学设计
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
JP5588310B2 (ja) * 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
TWI406694B (zh) * 2010-02-01 2013-09-01 Pixart Imaging Inc 應用於３ｄ互動系統之互動模組及其方法
US20110188054A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
CN102918477B (zh) * 2010-04-13 2017-07-21 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) * 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9348111B2 (en) 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations
US9232912B2 (en) 2010-08-26 2016-01-12 The Regents Of The University Of California System for evaluating infant movement using gesture recognition
US9071831B2 (en) * 2010-08-27 2015-06-30 Broadcom Corporation Method and system for noise cancellation and audio enhancement based on captured depth information
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
JP5704885B2 (ja) * 2010-10-25 2015-04-22 オリンパスイメージング株式会社 撮影機器、撮影方法及び撮影制御プログラム
TWI492096B (zh) 2010-10-29 2015-07-11 Au Optronics Corp 立體影像互動系統及其位置偏移補償方法
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
WO2012066501A1 (en) 2010-11-19 2012-05-24 Primesense Ltd. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8717422B2 (en) * 2010-12-22 2014-05-06 Texas Instruments Incorporated Multi-sensor video frame synchronization apparatus and methods
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130050415A1 (en) * 2011-08-30 2013-02-28 Himax Technologies Limited System and Method of Handling Data Frames for Stereoscopic Display
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
KR101828609B1 (ko) 2011-09-30 2018-02-12 엘지이노텍 주식회사 영상데이터 전송장치
WO2013066601A1 (en) 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
WO2013058985A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US8989455B2 (en) 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013140308A1 (en) 2012-03-22 2013-09-26 Primesense Ltd. Diffraction-based sensing of mirror position
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
DE102012103766A1 (de) 2012-04-27 2013-10-31 Bircher Reglomat Ag Verfahren zur Kontrolle und/oder Überwachung der Bereiche um wiederverschliessbare Gebäudeöffnungen
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
WO2014020604A1 (en) * 2012-07-31 2014-02-06 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9152234B2 (en) * 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9500635B2 (en) 2012-12-31 2016-11-22 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for early detection of dental caries
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
WO2014105521A1 (en) 2012-12-31 2014-07-03 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for early detection of dental caries
EP3181048A1 (en) 2012-12-31 2017-06-21 Omni MedSci, Inc. Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
RU2013109063A (ru) * 2013-02-28 2014-09-10 ЭлЭсАй Корпорейшн Процессор изображения с многоканальным интерфейсом между уровнем предварительной обработки и одним или несколькими более высокими уровнями
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US20140267004A1 (en) * 2013-03-13 2014-09-18 Lsi Corporation User Adjustable Gesture Space
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
BR112015023898A2 (pt) * 2013-03-21 2017-07-18 Koninklijke Philips Nv aparelho de processamento de imagens, método de processamento de imagens, elemento de programa de computador para controlar um aparelho e mídia legível por computador
CN105190229B (zh) 2013-04-19 2018-07-31 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
KR20140133093A (ko) * 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
CN109755859B (zh) 2013-06-19 2021-12-17 苹果公司 集成结构化光投影仪
US9686609B1 (en) * 2013-06-28 2017-06-20 Avnera Corporation Low power synchronous data interface
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation
CN105705903A (zh) 2013-11-06 2016-06-22 凸版印刷株式会社 3维形状计测装置、3维形状计测方法及3维形状计测程序
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
EP3068301A4 (en) 2013-11-12 2017-07-12 Highland Instruments, Inc. Analysis suite
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6322028B2 (ja) * 2014-03-31 2018-05-09 アイホン株式会社 監視カメラシステム
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
TWI589149B (zh) * 2014-04-29 2017-06-21 鈺立微電子股份有限公司 可攜式立體掃描器和產生對應物件的立體掃描結果的方法
EP3161607B1 (en) * 2014-06-24 2021-05-26 Google LLC Storing content items
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
US10392044B2 (en) * 2014-09-16 2019-08-27 Jennifer Repp Climate controlling mechanisms for car seats/strollers
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9881235B1 (en) 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10375709B2 (en) * 2015-05-08 2019-08-06 Lg Electronics Inc. Method and LC device for transmitting scheduling request
KR102329110B1 (ko) 2015-05-30 2021-11-18 레이아 인코포레이티드 차량 모니터링 시스템
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
US11054664B2 (en) 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US10535322B2 (en) * 2015-07-24 2020-01-14 Hewlett Packard Enterprise Development Lp Enabling compression of a video output
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US10063849B2 (en) 2015-09-24 2018-08-28 Ouster, Inc. Optical system for collecting distance information within a field
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
RU2639575C1 (ru) * 2016-03-16 2017-12-21 Масуд Таштариан Способ обучения детей с нарушением слуха игре в бадминтон
CN113903455A (zh) 2016-08-02 2022-01-07 阿特拉斯5D公司 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
AU2017315762B2 (en) 2016-08-24 2020-04-09 Ouster, Inc. Optical system for collecting distance information within a field
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
JP2018047858A (ja) * 2016-09-23 2018-03-29 日本プラスト株式会社 カウルトップカバー
KR102672599B1 (ko) 2016-12-30 2024-06-07 삼성전자주식회사 Af 방법 및 이를 수행하는 전자 장치
DE202018006696U1 (de) 2017-05-15 2022-04-01 Ouster, Inc. Optischer Bildübertrager mit Helligkeitsverbesserung
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
DE202017104506U1 (de) 2017-07-28 2017-09-05 Apple Inc. Krümmungsbasierter Gesichtsdetektor
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
CN107748475A (zh) * 2017-11-06 2018-03-02 深圳奥比中光科技有限公司 结构光投影模组、深度相机及制造结构光投影模组的方法
US10310281B1 (en) 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
US11340336B2 (en) 2017-12-07 2022-05-24 Ouster, Inc. Rotating light ranging system with optical communication uplink and downlink channels
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
CN108594454B (zh) 2018-03-23 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
US10943092B2 (en) 2018-05-23 2021-03-09 ClairLabs Ltd. Monitoring system
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473969B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Channel-specific micro-optics for optical arrays
CN110824599B (zh) 2018-08-14 2021-09-03 白金科技股份有限公司 一种红外带通滤波器
US11914078B2 (en) 2018-09-16 2024-02-27 Apple Inc. Calibration of a depth sensing array using color image data
RU2693267C1 (ru) * 2018-10-23 2019-07-01 Акционерное общество Научно-производственное предприятие "Авиационная и Морская Электроника" Способ распознавания объектов на изображении
KR20200126129A (ko) * 2019-04-29 2020-11-06 엘지이노텍 주식회사 카메라 모듈
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN111444123B (zh) * 2020-03-28 2021-01-15 珠海市一微半导体有限公司 基于硬件加速的spi接口的自动读取控制系统及方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
DE102020124521B3 (de) 2020-09-21 2021-09-30 Agrippa Holding & Consulting Gmbh Optische Vorrichtung und Verfahren zur Untersuchung eines Gegenstandes
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
WO2022197339A1 (en) 2021-03-17 2022-09-22 Apple Inc. Waveguide-based transmitters with adjustable lighting
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023211435A1 (en) * 2022-04-27 2023-11-02 Innopeak Technology, Inc. Depth estimation for slam systems using monocular cameras

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1360440A (zh) * 2002-01-31 2002-07-24 北京理工大学 一种微型实时立体视觉机
CN1432969A (zh) * 2001-11-27 2003-07-30 三星电子株式会社 基于深度图像表示三维物体的装置和方法
US20060072851A1 (en) * 2002-06-15 2006-04-06 Microsoft Corporation Deghosting mosaics using multiperspective plane sweep
US20080106746A1 (en) * 2005-10-11 2008-05-08 Alexander Shpunt Depth-varying light fields for three dimensional sensing

Family Cites Families (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4310849A (en) * 1979-06-11 1982-01-12 Glass Stuart M Stereoscopic video system
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH0340591A (ja) * 1989-07-06 1991-02-21 Katsuji Okino 立体像の撮影・表示方法及び装置
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
EP0559978B1 (en) 1992-03-12 1998-08-05 International Business Machines Corporation Image processing method
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6041140A (en) 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
EP0759255B1 (en) * 1995-03-08 2001-05-02 Koninklijke Philips Electronics N.V. Three-dimensional image display system
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH11510248A (ja) 1995-07-18 1999-09-07 ザ バッド カンパニー 像の深度が拡張されたモアレ干渉測定のシステム及び方法
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
EP0946856A1 (en) 1996-12-20 1999-10-06 Pacific Title and Mirage, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP2000115672A (ja) * 1998-10-05 2000-04-21 Pioneer Electronic Corp 映像データ処理方法、映像データ処理装置および映像データ再生装置
JP2000112019A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 電子３眼カメラ装置
JP3678022B2 (ja) * 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
KR100321897B1 (ko) 1998-12-22 2002-05-13 박남은 입체영상이미지변환방법및그장치
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
AU2002354681A1 (en) 2001-07-13 2003-01-29 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
AU2003253626A1 (en) 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
TWI291040B (en) 2002-11-21 2007-12-11 Solvision Inc Fast 3D height measurement method and system
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
JP3855053B2 (ja) * 2003-01-30 2006-12-06 国立大学法人 東京大学 画像処理装置、画像処理方法、及び画像処理プログラム
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US20070057946A1 (en) 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
JP4370855B2 (ja) * 2003-08-28 2009-11-25 ソニー株式会社 固体撮像デバイス、この固体撮像デバイスを用いた撮像方法および装置並びに距離計測方法およびシステム
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CN101031837B (zh) 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
KR101183000B1 (ko) 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
DE102004044111B4 (de) * 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
WO2006107928A2 (en) 2005-04-06 2006-10-12 Dimensional Photonics International, Inc. Multiple channel interferometric surface contour measurement system
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US20070133840A1 (en) 2005-11-04 2007-06-14 Clean Earth Technologies, Llc Tracking Using An Elastic Cluster of Trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
WO2008029345A1 (en) 2006-09-04 2008-03-13 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN103760682B (zh) 2008-01-21 2016-08-31 苹果公司 用于使零级减少的光学设计
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1432969A (zh) * 2001-11-27 2003-07-30 三星电子株式会社 基于深度图像表示三维物体的装置和方法
CN1360440A (zh) * 2002-01-31 2002-07-24 北京理工大学 一种微型实时立体视觉机
US20060072851A1 (en) * 2002-06-15 2006-04-06 Microsoft Corporation Deghosting mosaics using multiperspective plane sweep
US20080106746A1 (en) * 2005-10-11 2008-05-08 Alexander Shpunt Depth-varying light fields for three dimensional sensing

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
CN106796718A (zh) * 2014-09-05 2017-05-31 高通股份有限公司 用于高效深度图像变换的方法和设备
CN107004273A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于彩色与深度视频的同步的方法、设备和媒体
CN106200890A (zh) * 2015-04-17 2016-12-07 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
CN106200890B (zh) * 2015-04-17 2019-11-26 钰立微电子股份有限公司 遥控装置与根据至少一静态手势产生控制指令的方法
US10802594B2 (en) 2015-04-17 2020-10-13 Eys3D Microelectronics, Co. Remote control system and method of generating a control command according to at least one static gesture
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107424187A (zh) * 2017-04-17 2017-12-01 深圳奥比中光科技有限公司 深度计算处理器、数据处理方法以及3d图像设备
CN107105217B (zh) * 2017-04-17 2018-11-30 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107424187B (zh) * 2017-04-17 2023-10-24 奥比中光科技集团股份有限公司 深度计算处理器、数据处理方法以及3d图像设备
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法

Also Published As

Publication number Publication date
JP2011527790A (ja) 2011-11-04
JP2014209375A (ja) 2014-11-06
US9348423B2 (en) 2016-05-24
US8848039B2 (en) 2014-09-30
JP5861744B2 (ja) 2016-02-16
JP5795734B2 (ja) 2015-10-14
US20100007717A1 (en) 2010-01-14
TW201003564A (en) 2010-01-16
TWI557684B (zh) 2016-11-11
US8456517B2 (en) 2013-06-04
US20130241824A1 (en) 2013-09-19
CN102057365B (zh) 2016-08-17
US20150009133A1 (en) 2015-01-08
WO2010004542A1 (en) 2010-01-14

Similar Documents

Publication Publication Date Title
CN102057365A (zh) 用于3d绘图的集成处理器
JP2011527790A5 (zh)
CN107124604B (zh) 一种利用双摄像头实现三维图像的方法及装置
AU2013346603B2 (en) Method and device for capturing and constructing a stream of panoramic or stereoscopic images
CN108307675A (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
EP3135033B1 (en) Structured stereo
CN105340267A (zh) 一种生成图片的方法及一种双镜头设备
CN102308590A (zh) 三维图像输出装置和三维图像输出方法
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN106934394A (zh) 双波长图像采集系统及方法
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
AU2017217833A1 (en) Devices and methods for high dynamic range video
CN103442180A (zh) 基于sopc的双目视频拼装置及双目视频拼接方法
CN110192391B (zh) 一种处理的方法及设备
CN206921118U (zh) 双波长图像采集系统
CN105488845B (zh) 产生三维图像的方法及其电子装置
KR101815164B1 (ko) 이미지의 생성을 위해 다수의 서브-이미지를 캡처하기 위한 카메라
CN103685880B (zh) 图像处理装置及使用该装置的摄像机模块
CN203163679U (zh) 一种扫描动态物体的三维扫描系统
Häublein et al. Fast and generic hardware architecture for stereo block matching applications on embedded systems
CN203825855U (zh) 基于三维体感摄影机的带电作业仿真训练系统
TWI517666B (zh) 以單一影像擷取裝置產生立體影像之方法及其裝置
CN104469279A (zh) 一种基于图像空间坐标的全景拼图装置及方法
JP2013055541A (ja) 撮像装置
CN105049823A (zh) 一种利用双眼摄像模组采集处理输出3d图像的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141023

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141023

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant