CN101288105A - 用于物体重现的方法和系统 - Google Patents

用于物体重现的方法和系统 Download PDF

Info

Publication number
CN101288105A
CN101288105A CNA2006800380042A CN200680038004A CN101288105A CN 101288105 A CN101288105 A CN 101288105A CN A2006800380042 A CNA2006800380042 A CN A2006800380042A CN 200680038004 A CN200680038004 A CN 200680038004A CN 101288105 A CN101288105 A CN 101288105A
Authority
CN
China
Prior art keywords
pattern
image
speckle
light
speckle pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800380042A
Other languages
English (en)
Other versions
CN101288105B (zh
Inventor
泽夫·扎勒夫斯基
亚历山大·施蓬特
阿维亚德·梅泽尔斯
雅维尔·加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN101288105A publication Critical patent/CN101288105A/zh
Application granted granted Critical
Publication of CN101288105B publication Critical patent/CN101288105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • H10B41/35Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region with a cell select transistor, e.g. NAND
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/161Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means
    • G01B11/162Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means by speckle- or shearing interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/52Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H01L23/528Geometry or layout of the interconnection structure
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00Details of semiconductor or other solid state devices
    • H01L23/52Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/535Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including internal interconnections, e.g. cross-under constructions
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/02Semiconductor bodies ; Multistep manufacturing processes therefor
    • H01L29/06Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions
    • H01L29/0684Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape, relative sizes or dispositions of the semiconductor regions or junctions between the regions
    • H01L29/0688Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape, relative sizes or dispositions of the semiconductor regions or junctions between the regions characterised by the particular shape of a junction between semiconductor regions
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/40Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312Gate electrodes for field effect devices
    • H01L29/42316Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324Gate electrodes for transistors with a floating gate
    • H01L29/42328Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/788Field effect transistors with field effect produced by an insulated gate with floating gate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/10Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the top-view layout
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001Technical content checked by a classifier
    • H01L2924/0002Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ceramic Engineering (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提出一种用于物体重现的系统和方法。所述系统包括照明单元和成像单元(参见图1)。照明单元包括相干光源,和放置在从光源向物体传播的照明光的光路中从而在物体上投影出相干随机散斑图案的随机散斑图案生成器。成像单元被构建成用于对被照明区域的光响应进行检测并且生成图像数据。图像数据指示具有被投影的散斑图案的物体,并且因此指示了物体图像中的图案相对于所述图案的参考图像的位移。这样就能够对物体的三维映像进行实时重现。

Description

用于物体重现的方法和系统
本申请要求2005年3月30日提交的美国临时专利申请No.60/666,184和2005年10月11日提交的美国临时专利申请No.60/724,903的优先权,它们通过引用被并入本文。
技术领域
本发明涉及用于物体重现的方法和系统,其能够提取高度解析的并且实时的3D(三维)信息。
参考文献
以下参考文献被认为是与本发明相关的能有助于理解本发明的技术背景的一些文献:
1.S.Avidan and A.Shashua,″Trajectory triangulation:3D reconstruction of moving points from amonocular imagesequence,″PAMI,22,348-357(2000).
2.Y.G.Leclerc and A.F.Bobick,″The direct computationof height from shading,″CVPR,552-558(1991).
3.R.Zhang and M.Shah,″Shape from intensity gradient,″SMC-A,29,318(1999).
4.R.Zhang and M.Shah,″Height recovery from intensitygradients,″CVPR,508-513(1994).
5.B.K.P.Horn,″Height and gradient from shading,″IJCV,5,37-76(1990).
6.A.M.Bmckstein,″On shape from shading,″CVGIP,44,139-154(1988).
7.L.Zhang,B.Curless and S.M.Seitz,″Rapid shapeacquisition using color structured light and multi pass dynamicprogramming,″1st International Symposium on 3D dataprocessing visualization and transmission(3DPVT),July 2002,Padova,Italy.
8.P.Besl,″Active optical range imaging sensors,″Machine vision and applications,1,127-152(1988).
9.E.Horn and N.Kiryati,″Toward optimal structured lightpatterns,″Proc.Int.Conf.On Recent advances in 3-D DigitalImaging and Modeling,28-37,Ottawa Canada,May 1997.
10.M.Asada,H.Ichikawa,S.Tjuji,″Determining ofSurface Properties by Projecting a Stripe Pattern,″IEEE Proc.of ICPR,86(1986).
11.M.Asada,H.Ichikawa,S.Tsuji″Determining SurfaceOrientation by Projecting a Stripe Pattern,″IEEE Transact,onPAMI,vol.10,no.5(1988).
12.S.Winkelbach and F.M.Wahl″Shape from Single StripePattern Illumination,″Luc Van Gool(Editor),(DAGM 2002)Pattern Recognition,Lecture Notes in Computer Science 2449,Springer 2002,page 240-247.
13.T.P.Koninckx and L.Van Gool″Efficient.Active 3DAcquisition,Based on a Pattern-Specific Snake,″Luc Van Gool(Editor),(DAGM 2002)Pattern Recognition,Lecture Notes inComputer Science 2449,Springer2002,page 557-565.
14.R.Kimmel,N.Kiryati,and A.M.Bruckstein,″Analyzingand synthesizing images by evolving curves with theOsher-Sethian method,″International Journal of ComputerVision,24(1),37-56(1997);G.Zigelman,R.Kimmel,and N.Kiryati,″Texure mapping using surface flattening viamultidimensional scaling,″IEEE Trans,on Visualization andComputer Graphics,8(2),198-207(2002).
15.J.C.Dainty,Laser Speckle and Related Phenomena,2nded.(Springer-Verlag,Berlin,1989).
16.D.Mendlovic,Z.Zalevsky,I.Kiryuschev and G.Lebreton,″Composite harmonic filters for scale,projectionand shift invariant pattern recognition,″Appl.Opt.34,310-316(1995).
背景技术
物体重现通常基于对物体的3D纹理(即3D映像)的估计。该领域已经开发出了各种技术。
其中一种方法利用对同一物体进行观察的两个相机来处理三角测量[1]。相机分别获取的图像中的相同物体的相对位移(shift)与相机同这些物体的距离有关。该技术类似于人类视觉系统中的3D估计。该方法的主要缺点在于其较低的3D分辨率,而这很大程度上取决于两个相机的像素数、出现在场景中的细节(例如纹理)、和相机的相对定位(它们之间的角度和距离)。此外,该方法并不提供物体的实时制图,这是因为3D信息的提供需要诸如分类和登记之类的高级处理操作。该方法的其它问题在于获取的3D信息通常仅仅包括目标深度相对稀疏的样本。
另一种已知的此类技术根据捕捉到的单个图像中的边缘的阴影利用数值算法来计算物体的3D映像[2-6]。然而,该技术需要高级处理操作,并且由于边缘的阴影是图像中噪声最多的区域,所以该技术是不精确的。此外,由于第一阴影在整个图像的计算中被用作参照物,所以该方法会累积误差。
用于3D估计的另一种方法基于图案的投影。一些基于该方法的技术利用物体上线条的投影并且利用该线条对物体进行扫描。线影成像(line image)中产生的曲线指示了物体3D的映像。但是,该技术并不提供对物体重现的实时处理;利用线条对物体进行扫描会花费大量时间;并且在物体移动的情况下估计会变得更加扭曲。
其它一些该类型的技术采用特定码投影[7-9]。获取的图像中的代码变化被用于物体的3D映像的计算。由于需要多个投影,所以这些技术也不是实时的。此外,为了获取良好的3D分辨率,需要大量复杂的代码;这就使得投影系统变得非常昂贵并且不实用。
基于图案投影的其它技术包括2D周期图案的单个投影[10-14]。在这种情况下,物体的3D细节将获取的图像中的周期图案的线条进行移动。这些线条的相对移动与物体的3D信息有关。虽然这些技术中没有要求扫描并且3D信息可被实时获取,但是这些技术具有这样的缺点:由于大于投影图案的周期的相对运动不能被区分,所以3D信息被卷曲,因此我们不能识别获取的位移是否就是其位移还是应该加上整数个周期大小。该方法的另一个缺点与被投影的图案的焦深有关。一定距离之后,图案散焦,于是很难将周期的相对位移以数字方式提取出来。
发明内容
于是,本领域存在通过新颖的技术来使得物体重现变得容易的需求,该技术可以进行实时的并且非常精确的3D物体制图,并且它可以利用非常简单和便宜的光学设备实现。
本发明提供了这样的制图技术,其能方便地用于提供被输入至人机界面(例如用于博弈和健身等方面的人机界面)的数据、用于生物医学应用(例如内窥镜检查)的3D能力、蜂窝装置中的照相机、车辆之间的范围估计和接近报警、入侵警报、等。
在此,术语“物体重现”指的是对物体外表面的任何部分或整体的3D信息的获取,其很可能包括通过图像、范围或者其它检测到的数据来对3D物体模型(包括物体形状模型)进行构建;术语“实时”指的是这样的操作,考虑到操作以外的环境,任务的相关反应-操作时间短于允许的最小延迟。
术语相机、成像单元、和成像装置是可以互换的,它们指的都是相同的功能,即对光进行检测并且产生对其进行指示的图像数据。术语投影器、投影系统和照明单元同样可以互换。
本发明的主要思想在于,利用激光散斑图案在其3D表面数据将被重现的物体上的投影。激光散斑是随机自生图案[15]。优选地,该图案是恒定的,但是通常可能是分隔开的或者沿着Z轴(即,沿着散斑传播的轴)变化的其它类型。此处使用的术语“恒定散斑图案”指的是,在进行3D测量的范围内,该图案基本不会沿着Z轴变化。此外,该图案的焦距相对较大(例如,在米的数量级上),或者视特定应用而定,这是通过改变漫射器上的激光斑点大小和激光波长来控制的。因此,激光随机图案的使用提供了较大的可制图的径向范围,并且能够大大地降低设计投影系统时的光学复杂度和后续处理的光学复杂度,因此可以进行实时物体重现。
通常,在光学系统中,散斑图案是通过部分相干光束的相互局部干扰而产生的场强图案。
根据发明的方案,物体的3D映像是通过检查激光随机图案(代码)的相对位移来被估计的。这个图案不是周期性的,因此卷曲问题并不存在,从而不仅可以确定距离参考平面的范围而且可以进行物体的3D制图。由于激光图案不怎么取决于散焦,所以可在较大容量范围内获取3D信息。
光学设备(投影模块)可以是很简单并且便宜的:它可仅仅包括小型相干光源(激光器)和图案生成器,图案生成器可以是散光器(例如,通过添加随机相位来将照射在其上的光进行散射的一片毛玻璃)形式的,或者例如是全息记录、随机表面浮雕结构的形式,其被放置在激光的光路中并且将光以恒定和随机散斑图案的形式发散至物体上。重要的是要注意到,本发明可以仅仅获取具有投影的随机图案的物体的单个图像(所谓的单快照方案)并且可以使用简单的图像匹配算法,例如基于关联的图像处理算法,因此具有较低的计算复杂度。而且,重要的是要注意到,即使使用多于一个的图像,本发明还是允许以单个固定安装的相机(通常具有单个视野)来操作。这些特性使得3D制图可以实时实现。
应该理解的是,根据本发明,所谓的“主要散斑”被认为是那些投影在要被制图的物体上的散斑,它不是“次要散斑”,“次要散斑”典型地是与物体表面粗糙度和/或成像透镜的孔径相关的散斑。于是,成像透镜可以较小。
因此,根据本发明的一个较宽的方面,提供了一种用于物体重现的系统,所述系统包括:照明单元,其包括相干光源和随机散斑图案生成器(例如,散光器单元),所述随机散斑图案生成器被放置在从所述光源向物体传播的照明光的光路中从而在所述物体上投影出相干随机散斑图案;和成像单元,其用于对被照明的区域的光响应进行检测并且生成图像数据,所述图像数据指示了具有所述被投影的散斑图案的所述物体,并且因此指示了所述物体图像中的图案相对于所述图案的参考图像的位移,于是系统就能够对所述物体的三维映像进行实时重现。
优选地,系统包括被构建成用于存储参考数据的控制单元,所述参考数据指示了散斑图案的参考图像。优选地,参考数据指示了散斑图案的图像,所述散斑图案是在与所述照明光传播光路基本垂直的参考平面上并且在与散光器和成像单元距离基本相等处获取的。控制单元被预编程用于利用参考数据来处理和分析图像数据,以确定图像和参考图像之间的关联。控制单元可被预编程用于将指示了图像的数据分解成Mellin和/或对数分解,从而获取不会随着所述散斑图案的缩放和投影扭曲而变化的关联。
系统被构建成对测量到的体积进行定义,该体积是通过照明光传播和成像单元的光收集之间的交叉形成的,从而使得与散光器的距离大于Rayleigh距离的物体成像。所述测量到的体积中的每个点都定义了照明和收集到的光传播通路之间的交叉角度。考虑三角测量技术,这是被选来为三角测量提供适当精度的非零角度。
优选地,系统结构是这样的,成像单元的像素平面上的平均散斑特征大小Δxcam至少是两个像素。
优选地,散光器单元和成像单元被定位以使得从散光器和成像单元到物体具有基本相等的距离。在这种情况下,成像单元的像素平面上的平均散斑特征大小Δxcam被确定为:
Δ x cam = F φ D λ
其中F是成像透镜的焦距,φD是散光器上的照明斑大小,λ是照明光的波长。
该匹配算法使得平均散斑特征大小Δxcam可以进行预定变化,即,当Δxcam在某个预定限制之内时,控制单元被预编程用于对不同平均散斑特征大小Δxcam的图像部分/图像进行处理和分析。由于针对从物体的不同部分反射过来的散斑图案部分,Δxcam是不同的(Δxcam的大小由式(9a)至(9D)给出),所以能够确定这样的范围,其中物体的成像能产生有意义的结果。
优选地,散光器单元和成像单元被布置成彼此靠近,处于Rayleigh距离的小部分ε(例如20%)范围内。
优选地,系统包括调节器,其被构建成用于减少成像单元的视野中的不同区域之间的照明亮度变化。该调节器可包括衍射光学元件。衍射光学元件可并入或者附于散光器,或者被布置在向散光器传播的照明光光路中。衍射光学元件与散光器一起操作以调节照明光传播光路横截面平面内的亮度。
在一些结构中,调节器可被控制用来调节照明强度,从而部分地使得在成像单元接收到的亮度水平上制图出来的物体的效果被取消/变平滑,例如,该效果是由于反射系数(albedo)、距离、和表面特性的不同造成的。该调节器可接收来自成像/控制单元的输入,以及将要投影在照明光传播的光路横截平面上的强度分布。
根据另一个示例,衍射光学元件可被构建成能够减小沿着与照明光传播基本平行的轴的亮度变化。衍射光学元件可为唯相(phaseonly)元件,其被布置在散光器的相对于照明光传播的下游。
照明单元可被构建成4-F傅立叶变换器。在这种情况下,远场中的光场将成为初始投影的图案的远场分布和布置在两个聚光透镜之间的衍射光学元件的傅立叶变换之间的卷积。例如,使用衍射光学元件,其被构成为唯相元件,使其傅立叶变换产生强度的椭圆截面的,并且它被布置在两个聚光透镜之间。
优选地,成像单元包括单个光检测器,其定义了静态视野。
根据本发明另一个基本方面,提供了一种用于物体的实时重现的方法,所述方法包括:将随机散斑图案投影在所述物体上,所述随机散斑图案是通过照射相干光而形成的;对来自所述物体的光响应进行检测,并且产生具有所述投影图案的物体的图像数据;处理所述图像数据从而确定所述物体图像中的图案相对于所述图案的参考图像的位移,从而确定所述物体的三维映像。
附图说明
为了理解本发明并且了解本发明实际上是如何实现的,现在将参见附图并且仅仅通过非限制性示例的方式对优选实施进行描述,其中:
图1是用于重现3D物体的本发明的光学系统的示例的示意图;
图2是本发明的方法的主要步骤的流程图;
图3A和3B示出了实验结果:图3A示出了参考图像(例如被投影的散斑图案),以及图3B示出了3D重现;
图4A至4J示出了更多的一些实验结果:图4A至4B示出了手的投影和制图,图4C至4D示出了倾斜平面的投影和制图,图4E至4G示出了篮球的投影和制图,以及图4H至4J示出了玩具大象的投影和制图;
图5、图6A至6B、和图7示意性地示出了利用了亮度调节器的本发明的系统的各种示例。
具体实施方式
参见图1,其示意性地示出了用于物体3D制图的本发明的系统10的示例。系统10是一种光学制图系统,其包括被构建成在物体13上进行随机散斑图案(优选地为恒定图案)投影的照明单元12和成像装置14。
照明单元12包括相干光源12A和放置在照明光的光路中的恒定随机散斑图案的生成器12B,生成器12B优选地十分靠近光源输出(例如与其物理接触)。光源12A可由光发射组件(激光器)和/或与远程光发射组件相结合的光导装置(例如光纤)组成。图案生成器12B是一种散光器,例如一个毛玻璃。
成像装置14包括配备有成像透镜装置14B的光检测器14A(像素矩阵,例如CCD)。成像透镜装置14B可以是光检测器整体中的一部分或者是检测器前端的一个分立单元。优选地,对来自物体的光反射进行检测。
布置了可(经由有线或无线信号传输)连接至成像装置的输出端的控制系统16,其可以是系统10结构中的一部分也可以不是。典型地,控制系统16是具有存储器装置16A、数据处理和分析装置16B、和输入/输出装置16C(例如,诸如显示器之类的数据显示装置)的计算机系统。
本发明的装置可与移动电话装置相结合或者包含在移动电话装置之中。例如,成像单元可被并入移动电话或者其输出端可被连接至移动电话或者其它便携式计算机装置。而且,本发明提供利用3D性能来进行的车辆之间的距离估计和接近警报以及入侵警报。
如上所述,散斑是由于散射光的局部干涉而产生的随机图案。比较亮的点位于光被同相散射的位置,而暗点则位于其中光的相位相反的位置。根据本发明的实施例,被投影的散斑图案在Z方向(通过物体的轴向轴)上为恒定的,也就是说,图案不会沿着Z轴改变。但是,应该理解的是,图案的尺寸是会沿着Z轴变化的,即在不同图像平面获得的图案的图像可能是尺寸不同的。被照亮的3D物体在横截平面(检测平面)中进行随机图案特征的位移。由于图案是相当随机的,所以不会存在卷曲问题。
现在参见图2,其示出了本发明的方法的主要步骤。
指示了散斑图案的图像(即没有物体的图案的图像)的参考数据被提供并存储在控制系统16的存储器装置中(步骤I)。至此,散斑图案可被投影至某个区域上(其上随后会放置要被制图的物体)并且散斑图案的参考图像被获取。该参考图像可仅被获取一次。
当物体置于所述区域中时,物体的图像(单个图像)被获取(步骤II)并且指示该图像的测量数据被生成(步骤III)。至此,物体被携带散斑图案的光照亮,并且来自物体的光响应(反射)被成像透镜收集并被光检测器检测。应该注意的是,本发明用于对单个图像数据的操作,因此能显著地降低用于物体3D映像重现的图像处理的复杂度。
利用参考数据对测量到的数据进行处理(步骤IV)从而确定物体图像中的随机图案的特征相对于参考图像中的图案的相对位移(步骤V)。这可以利用合适的匹配(例如关联)算法来实现。后者可基于对获取的图像进行扫描并将其关联至参考图像的移动窗口。关联峰值指示了与3D信息有关的相对位移。
关联计算具有相对低的复杂度并且例如可以基于快速傅立叶变换(FFT)。此外,由于被投影的图案的尺寸与投影器(激光器)与物体之间的距离成正比,所以关联关系应该不是尺寸和投影的变量。这可以通过在开始关联之前对整个参考图像进行谐波分解和/或适当的坐标变换来实现[16]。
一个重要参数是横截散斑尺寸(即横截面中的平均散斑尺寸):
Δx = L φ D λ - - - ( 1 )
其中L是散光器12B和物体13之间的距离,λ是照明波长,φD是散光器12B的照明尺寸。平均散斑特征尺寸是确定3D分辨率的一个因素。根据式(1),可以通过改变散光器处的激光器光斑的直径φD和/或激光器波长λ来控制该尺寸。
散斑图案的轴向尺寸Δz为:
Δz = ( L φ D ) 2 λ - - - ( 2 )
对于面部接近于与散斑图案投影的横截面平行(接近于垂直于光传播通道)的物体,相对于参考平面对散斑横截位移进行匹配比较容易。因此,在优选结构中,散斑图案传播的横截面被投影在物体上。换言之,入射在物体上的光优选地接近与(大部分)照明区域垂直。
通常,在CCD上会出现两种散斑图案:一种是来自散光器的主要散斑(即投影在物体上的散斑),而另一个是在成像期间由于透镜孔径和/或物体材料粗糙而形成的次要散斑。为了仅仅聚集在一个主要散斑图案内,可以考虑以下条件:φL□φD,其中φL是成像透镜的尺寸。
控制系统16通过对测量到的数据应用数值算法来处理它们从而提取3D信息。应该理解的是,在此描述的根据本发明的算法包括已知数学处理的新颖结合。本发明将该算法与独特的光学设备一起应用从而能够进行实时3D制图。
所使用的算法可具有较低的计算复杂度并且可以允许实时操作。下面是适合在本发明中用作数据处理步骤的一部分的算法丛(algorithmic constellation)的示例。
为了一个获取特定深度点,需要找出其附近区域距离参考图案的横向位移。该匹配的一种可能实现是对关联峰值进行搜索,而这又可以这样实现,从图像获取代表了检测点的统计信息/邻近区域的一个或多个窗口,并且对匹配进行计算,例如这些窗口和参考图像的关联性。这些窗口可具有任意大小的重叠量。因此,可获取针对每个相机像素的深度样本。可到达的深度(3D)分辨率(沿着Z轴的δZ)随着Z的变化而变化并且其仅仅取决于光学设备(即激光器和相机的相对位置)、散斑特性(散斑图案的特征)、和相机分辨率(相机的物理参数)。
3D重现可基于图像匹配算法的算法方案包括从非常基本的穷尽栅格搜索(exhaustive raster search)到更复杂的基于预测的区域生长方法一直到更高级的最大概似或其它复杂的图像匹配算法。各种方案在多个因素上彼此不同:方案越是复杂,那么计算越是复杂并且会比简单方案产生更高的精度和更少的噪声数据。
基于预测的区域生长方法表现出了复杂度和性能之间很好的折中,它基于以下观察:物体上的两个靠近点通常以它们之间(沿Z轴的)较小高度差为特征,也就是所谓的“物体连续假设(objectcontinuity assumption)”。因此,可以大致预测出一个点距同一区域(物体)上其附近点的Z值(深度)。该预测被测试并改进,并且在发现足够的情况下可将该点连接至给定区域。如果预测/改进显示了与参考之间的不足够匹配,那么这就暗示了Z差值不可忽略,因此检测中的点与其邻近(“父”)点处在不同的区域。
还应该注意的是,用于关联的窗口可以是恒定的(例如16×16像素窗口)或者是根据局部散斑/边缘/物体特性而流动。
下面是具有恒定窗口尺寸的基于预测的区域生长算法的可能实施方式。该算法包括以下步骤:
1)关联性/阴影准备步骤。在整个图片(物体的图像)上运行分辨率步骤(采样点等于M和N乘以分辨率,其中M和N为整数)并且确定采样点是要被标上SHADOW的“阴影”还是要被标上UNKNOWN的关联的散斑窗口。在进一步的阶段,每个输出点的状态都被保持,同时在这个第一阶段,一些点具有UNKNOWN状态而另外一些点具有SHADOW状态。
2)“获取新范围锚(new region anchor)”步骤。当UNKNOWN点的数目大于全部输出点的预定比例,那么选择当前具有状态UNKNOWN的随机点,并且执行对参考图像的匹配处理,例如,通过将所选点周围的窗口Wx×Wy个像素与参考图像进行关联来执行。
应该注意的是,窗口尺寸Wx×Wy被优化,折中的一方面是“足够的统计”/区分而另一方面是复杂度和小的物体模糊。还应该注意的是,由于几何限制,随着适当的成像单元/投影器系统校准(即,当成像单元的X轴平行于成像透镜的光学中心和散光器上的激光光斑的中心之间的连线时),散斑图案可能的横向位移可被限制为覆盖一些像素的一个矩形,该矩形处于当前点的上下范围并且是从当前点到图像左右的宽度的一个已知部分(在图1所示的实验设备中,相机在激光器的右边,因此如果被制图的物体比参考物更靠近,那么散斑位移向右,否则向左)。
此外,在上面的几何限制中,搜索是针对具有大于某个阈值的归一化关联值的点执行的。如果没有检测出达到该阈值的关联,那么最佳关联的数值被选来检查其是否通过一个较低的阈值:如果回答是肯定的,那么就假设这就是散斑的位移了;如果回答是否定的,那么就理解为需要其它勘测并且下述步骤2a)被执行来决定启动新区域。如果发现关联高于较低阈值的点,那么该点被称为区域锚,并且区域生长会围绕它进行。为了使区域生长,执行下面的步骤3)。
2a)决定使区域生长。如果匹配失败,那么该区域被进一步勘测以找出在该点可生长区域存在/不存在的足够证据。为了搜集足够的证据,区域生长步骤(3)被执行,并且如果在区域中发现了锚(足够强的点)或者在该区域发现了大量一致的点,那么生长的部分被确定为代表了有效区域。这样,多数表决被执行以离开该区域。在未获取足够证据的情况下,该区域被移除并且锚(第一)点被标为BAD,并且步骤2)被重复以找到一个有效的锚点来使得新区域生长。
3)区域生长。区域生长是利用4连通性(左/右/上/下)完成的。在当前示例中,区域生长的实现很简单。FIFO(先进先出)的多个ACTIVE点被使用,其中每个这种点(活动点)都已经与参考关联起来并且关联被证明是成功的。每次,来自FIFO组的一个点被获取并且其四个邻近点被检查。对于被标为UNKNOWN的每个邻近点,Wx×Wy(例如16×16)窗口与参考的关联关系被确定,其中仅对围绕散斑的预测位移的小矩形(例如偏移为(0,0)(-1,0)(1,0)(0,-1)和(0,1)的5个点)范围内的一些可能性进行检查。预测位移是初始ACTIVE点(称为“父”类点)的位移。如果存在很好的关联性,那么该点被标为ACTIVE并且被加入FIFO组;并且如果没有很好的关联性,那么该点被标为EDGE(其高度被当前地设置为等于父点的高度)。当FIFO为“空“时,区域边缘被标识,并且处理返回至步骤2)以使得新区域生长。
4)区域竞争。区域竞争可被实现来大大提高区域边缘的质量。能给出很好的结果并且计算起来较便宜的一种可能的方式是试图不仅在UNKNOWN点空间中生成区域并且在任何具有深度不连续性的点空间(例如属于不同区域的点)生成区域。竞争标准是关联值,每点的“赢家通吃”(winner takes all)策略被证明很产生很好的结果。
基于预测和一旦检测到坏点就快速停止关联程序,区域生长算法提供了用于深度恢复的实时可靠的工具,其具有复杂度和质量之间极好的折中。
很重要的是应该注意到,投影装置(照明单元)和投影平面(物体平面)之间的距离越大,那么投影平面上获取到的散斑越大。另一方面,成像装置的像素尺寸根据规则的不同设置而改变。此外,散斑图案通过在倾斜的物体表面投影而扭曲。用于获取不随散斑图案的缩放和投影扭曲而变化的关联关系的(算法)方法包括对参考散斑图案进行Mellin和对数分解[16]。
Mellin分解提供尺度不变性(scale invariance):
f ( r , θ ; x 0 , y 0 ) = Σ N = - ∞ N = ∞ f N ( θ ; x 0 , y 0 ) r i 2 πN - 1
f N ( θ ; x 0 , y 0 ) = 1 T ∫ r 0 R f ( r , θ : x 0 , y 0 ) r - i 2 πN - 1 rdr - - - ( 3 )
在此,f(r,θ;x0,y0)是围绕x0,y0坐标分解的物体,fN是Mellin谐波,N是谐波次数,r0是分解的物体的最小半径;R是最大半径,并且T=exp(r0/R)。如果一个谐波被选择,那么结果将是尺度不变的。
对数分解被描述如下:
f ( x , y ) = 1 2 T Σ N = - ∞ N = ∞ f N ( y ) | x | i 2 πN - 1 / 2
f N ( y ) = ∫ - x - x 0 f ( x , y ) ( - x ) - i 2 πN - 1 / 2 dx + ∫ x 0 X f ( x , y ) x - i 2 πN - 1 / 2 dx - - - ( 4 )
在|x|>x0和|x|<X的范围内物体不为零,并且T=exp(x0/X)。选择一个谐波提供关联时的投影扭曲不变性。
散斑大小由于投影系统而改变并且成像系统也通过光学设备而相互补偿。为了理解实现它的方法,现在详细阐述散斑图案的缩放。
当照明光束被建模成高斯光束时,衍射公式给出光束半径W(z)和Z之间的以下关系:
W ( z ) = W 0 1 + Z 2 Z R 2 ≈ W 0 Z Z R , Z R = π W 0 2 λ - - - ( 5 )
在式(5)中,λ是光束波长,W0是光束腰半径(等于φD/2-光束对散光器进行照明的直径的一半),并且ZR是Rayleigh距离。在式(5)的近似中假设Z□ZR
应该注意的是,远场近似在Rayleigh距离是有效的,由此,对应的费涅耳(fresnel)积分中的二次相位因子小于1。
还应该注意的是,根据本发明的技术,物体优选地被定位在距离高于Rayleigh距离的散光器L远的地方。应该注意的是,在与光束腰距离Rayleigh距离每个地方,光束面积翻倍(针对受衍射限制的光束,该距离是由腰半径、折射率、以及材料中的波长确定的,对于空气中的成像,折射率与自由空间近似,即1.0)。
相机14处的光强I取决于L(投影器(照明器)12和物体13之间的距离)和d(物体13和相机14之间的距离),也就是1/L2d2
Figure A20068003800400231
关系式(6)中的1/L2部分的原因在于载有散斑图案的投影光束的发散。
应该注意的是,高斯光束模型指的是作为整体的光束。光束半径W(z)与Z成比例地增大,并且强度密度以1/Z2减小。于是,照射在物体上的光强正比于1/L2。关系式(6)中的1/d2部分的原因在于从物体向相机反射的相干光束的发散。
另一方面,当物体进一步远离光源单元时,散斑图案的更小的部分被投影在物体(或物体部分)上。落入由物体大小限定的间隔内的散斑暗斑和光斑(散斑图案特征)的数目由物体大小s与式(1)中平均散斑大小Δx的比值确定:
Figure A20068003800400232
当来自物体的光线被反射至光检测器时,它在那形成大小为sLD的点sLD(即,sLD是投影在光电检测器上的物体投影的大小):
s LD = F d s - - - ( 8 )
在此,F是聚光(成像)透镜的焦距。
投影在光电检测器上的平均特征大小由(8)与(7)的比值确定:
Figure A20068003800400234
在优选结构中,对散光器平面和检测平面(更确切的说是成像透镜14B的平面)进行布置以提供基本相等的L和d(散光器和物体之间以及相机和物体之间的距离)。
另一方面,光学设备被构建成能确保照明光入射至主物体平面上的传播轴与从那返回至光检测器的光传播轴之间存在非零角度α,从而启动基于三角测量的算法。3D重现的精度将为 δZ = δ x LD d F 1 tan α (δZ是3D分辨率,δxLD是关联算法在像素平面中可获得的位移的分辨率,例如相机的像素)。角度α大约等于L′/L,其中L′是投影器与相机之间的距离。
在发明人所使用的实验设备中,制图系统具有以下参数:L′=20cm,L≈2cm,δxLD=6微米,并且F=8mm;因此,δZ=15mm。由上可以看出,投影器与相机之间的距离L′可被预选成使得制图系统以希望的分辨率操作,例如几毫米。
如上所述,实际上,散光器平面和透镜14B的平面被定位成能够提供基本相等的L和d(散光器和物体之间以及相机和物体之间的距离)。为了同时考虑L=d和投影器距成像单元之间的最小距离L′两个要求,随着L和d改变而产生的成像单元(相机)上散斑大小的改变应该被予以考虑。
L不等于d的情况下相机平面上的散斑大小为:
Δ x cam = λF φ D · L d - - - ( 9 a )
在优选结构中,相机平面上的散斑大小与从物体各个部分反射过来的散斑一样。如果L=d,那么可见散斑维度(即,相机平面)的缩放被抑制。对于几乎整个3D空间,后一条件可通过将散光器和相机透镜彼此放置得很近来确保,但是实际上,相机和投影器之间还是存在一定距离L′。
考虑L和d在Rayleigh距离ZR的小部分上不同:
|L-d|≤εZR    (9b)
散斑大小随着d改变:
Δ x cam ( d ) ≈ λF φ D ( 1 + ϵ · Z R d ) ≈ λF φ D + ϵ · φ D F d - - - ( 9 c )
所使用的匹配算法允许与最大允许可视散斑大小Δxcam max相连接的一些最大缩放因子γ:
Δ x cam max = λF φ D ( 1 + γ ) .
因此,L和d之间的差值以及ε和L′被限制为:
ϵ ≤ d φ D · γ ⇒ L ′ ≤ ϵ · Z R ≤ d φ D · γ · Z R - - - ( 9 d )
从(9a)至(9d)可知,L接近d,或者针对给定的γ,L′由式(9d)限制,这一事实将为记录在成像装置上的散斑的不同部分提供以最大因子1+γ相区别的比例(平均特征大小)。这些散斑图案部分可从位于相对于成像装置的不同位置的物体反射,投影在3D物体表面的不同区域上或者在距离不同的物体上;在任何情况中,当在光电检测器的像素中测量时,这些部分的图像都将具有基本相同的特征大小(上至因子1+γ)。这个平均特征大小将因此基本等于参考图像的特征大小。
因此,利用在物体图像和参考图像中使用相同大小的窗口来将这些图像关联起来是合理的,这是因为取决于散斑特征大小、包含在该鲁棒性中的某些缩放量,取任何匹配算法的关联都固有地能对某些扭曲表现出鲁棒性。给定特定设置参数和图案特性,那么允许的特定参数γ可由一般技术人员通过在整个以(1+γ)缩放后的和未缩放的图案版本上考虑匹配标准来很容易地确定。
关联允许确定由于物体3D拓扑和(产生散斑参考图案的)(平坦的)参考平面的3D拓扑的不同而产生的散斑图案部分的位移。
可通过将系统的散光器单元和成像单元放置成彼此相距距离等于照明光的Rayleigh距离的小部分ε(例如0.5)来实现所要求的L和d的近似相等。
光学设备的上述匹配能够在不需要其它方式例如Mellin变换的情况下获得尺度不变性。应该注意的是,出现在倾斜表面的散斑经历了大部分为投影形式的变形。由于在光学设备的优选结构中的散斑投影要确保最大限度地靠近主物体平面上的垂直光入射,并且由于散斑图案固有地能够防止某些量的变形,所以在优选结构中不需要进行其它措施,例如对数变换。
在另一个优选结构中,散光器12B、透镜14B、和光检测器14A被构建成提供与要求的分辨率匹配的成像散斑图案的平均特征大小。不需要特殊措施,平均散斑特征大小优选地为大约2个像素。应该理解的是,相机上的平均散斑特征大小Δxcam由等式(1)和(8)确定,其中等式(8)中的s可能是等式(1)中的Δx:
Δ x cam = F d · L φ D λ 或者考虑L≈d, Δ x cam = F φ D λ - - - ( 10 )
这种成像设备能够获取最高分辨率,这是因为最大信息被包含在每个像素信号内。
还应该注意到,本发明的光学设备允许与物体距离更大范围。最小可能距离是Rayleigh距离(例如,在特定但非限制性的示例中发明人采用了0.5m),并且最大距离可由物体大小和物体上的散斑大小确定。投影在物体上的散斑数目不应该小于关联窗口除以像素中平均散斑特征大小的值。
激光散斑所固有的一种特性就是其在物体上的投影产生了具有高对比度的图像。这是因为激光散斑图案被创造成具有高对比度,并且由于激光散斑图案是通过自再生的方式传播的,所以高对比度在激光散斑图案的焦深上一直保持。高对比度图像可由每像素数值为0或1的光的强度代表,或者这个高对比度可以其它方式利用。因此,激光散斑图案的高对比度特性使得处理过的数据减少并且使得图像重现更快。
还应该注意的是,从等式(2)可看出,最终,散斑图案会沿着Z方向(纵轴)变化。因此,对于恒定的随机参考图案(散光器),可在投影平面相对于投影装置的不同位置获取参考图像组(因此这些图像会根据散斑图案的纵向变化而不同),并且随后3D关联可被执行。在这种情况下,获取的方案允许无限的3D制图范围。
现在参见图3A至3B和图4A至4J,它们示出了一些实验结果,这些实验结果验证了本发明的有益特征。在这些实验中,图像重现是利用图1中的设备以视频码率在实时中执行的。
图3A至3B示出了咖啡杯的图像重现。照明单元(图1中的12)采用绿色Nd:YAG激光作为光源12A并且采用一片毛玻璃(散光器)12B来对恒定的随机散斑图案进行投影。利用采用了16×16像素的滑动窗口的关联算法对控制系统进行预编程。图3A示出了参考图像(例如没有物体的被投影的散斑图案),而图3B示出了获取的3D重现的网格。
图4A至4B示出了手的3D制图。图4A示出了具有被投影的散斑图案的手,而图3B示出了3D重现。
图4C至4D示出了倾斜平面的投影和制图:图4C是具有被投影的散斑图案的平面图像,而图4D是3D重现。图4E至4G示出了篮球的3D制图,其中图4E是球的图像,图4F是具有被投影的散斑图案的球,而图3G是3D重现。图4H至4J示出了玩具大象的投影和制图,其中图4H是玩具大象的图像,图4I是具有被投影的散斑图案的玩具大象,而图4J是3D重现。应该注意的是,显示的重现的不同颜色表示获取到的3D信息。
因此,本发明提供了用于3D制图的新颖的方法和系统,其中随机散斑图案被用来对物体的3D信息进行制图并且对到某个参考平面的范围进行估计。该技术允许提取高度解析的并且实时的3D信息。3D信息是通过在获取的图像中提取随机图案相对于参考图像的局部相对横向位移来获取的。该技术具有较低的计算复杂度,并且没有使用了周期图案投影的其它技术中存在的卷曲问题。所使用的光学系统很简单。
应该注意到,本发明能够改进光检测的亮度。为此,以下方面应该被注意到。
对于距光源和/或光检测器不同距离的物体和/或物体的部分,亮度水平是不同的。光检测器阵列的每个像素从直径为ΔxZ的点获取光:
Δ x Z = d F δx - - - ( 11 )
其中δx是像素大小。
检测到的散斑图案的亮度水平是由到达光检测器的单个像素的信号的强度确定的:
Figure A20068003800400272
其中D是成像透镜的直径,并且它与照射从物体反射的Str中的球面角相关。
从等式(12)可以看出,在检测器接收到的亮度水平与1/L2成比例,因此其近物体区域和远物体区域在检测器看来将根据距离而具有不同的亮度水平,因此影响了3D重现的性能。其它因素就是物体不同区域的反射率(albedo)的不同。
控制系统可以通过将其亮度水平与预定阈值比较来识别散斑图案中的光斑。但是,这种算法会针对置于更靠近光源的物体(或物体的部分)会识别出更多的光斑。而且,所述光斑将会具有更大的区域,而且针对离光源较近的物体具有不同的形状。一方面,这个效果可被3D重现和范围确定所利用。另一方面,该效果优选地在关联程序期间或者之前被考虑。
参见图5,其中以框图的方式示出了本发明制图系统60的另一个示例。为了便于理解,本发明的所有示例中,相同的标号被用于识别共同使用的组件。系统60包括被构建成将激光随机散斑图案投影在物体13上的照明单元12、成像装置14、和亮度控制器(调节器)25。后者被构建成用于控制相机视野中亮度的变化或者系统对该变化的感知。调节器25构成了增大可制图范围的机制。应该理解的是,该制图系统中可采用多于一个的调节器。
在图5所示的示例中,调节器25被实现成控制单元的数据处理和分析装置16B的子装置。这种子装置可执行上述Mellin变换。
在一些实施例中,亮度调节器25被构建成用于减少相机视野中不同区域之间的照明亮度变化,并且它可被实现成布置在光传播通路的任何位置的光学单元。例如,调节器可被实现成光学单元并且可与光源单元12A或散光器12B集成在一起,或者可以是布置在照明通路中散光器12B下游的分立单元,或者被布置在光源单元12A和散光器12B之间。
同样地,调节器25可被实现成布置在光检测器和控制单元之间的模拟处理单元,或作为光检测器14A的一部分或者作为控制系统16的一部分。在一个示例中,亮度水平是由自动增益控制(AGC)的局部调节控制的,即通过对在每个像素或每组像素的模拟读出的放大进行控制来控制。这允许接收具有更均匀的亮度水平的数字图像;因此能够利用具有某种固定动态范围的光检测器来扩展可制图范围。
调节器25被构建成用于控制亮度水平(作为光学处理器或者数字处理器)或者控制亮度水平的表示(与检测器输出相结合)。例如,被构建成光学处理器的调节器25能够在数字采样之前执行光学坐标变换。这种光学坐标变化可包括利用鞍点积分(Saddle pointintegration)或者多面方法(multi facet approach)将卡迪尔坐标(x,y)转换成极坐标(logr,θ)的步骤[例如,Zeev Zalevsky,David Mendlovic的“Optical implementation of the Bodetransform”,Applied Optics,Vol.34,Issue 5,pp.828-(February1995)]。
以下是根据本发明构建并且可操作的光学制图系统的一些特定但非限制性的示例。
图6A示出了制图系统80,其中衍射元件12D被放置在向物体传播的散斑图案光路中。衍射光学元件可被构建成调节器25,其针对与光源距离不同的平面,将对比度(相对亮度)降低。在本示例中,调节器25被并入散光器或者附在散光器上。调节器25被构建成产生光束发散减少的(纵向范围上的)非衍射光束。这可以通过将沿着径向轴具有随机分布而沿着角度轴对称(具有环形结构)的特殊半随机衍射光学元件,和附于其上的为随机图案生成器提供扩展的焦深的锥形元件Axicon(轴棱镜,未示出),结合起来来实现。应该注意的是,即使没有Axicon,这种基于环的散光器还是可以伸展至焦深。
图6B示意性地示出了这种锥形衍射元件25的可操作原理。元件25被放置在靠近散光器12B的位置(例如附于散光器),并且元件25被构建并且可操作用来在允许散斑出现在斑点内的同时产生用于光束斑的非衍射光束。光通过元件25之后,产生了三个不同的连续区域:作为规则衍射区域的光传播区域R1、作为目标可能出现的感兴趣区域的光传播区域R2、和获得了正常衍射的区域的光传播区域R3。考虑典型的Axicon操作,由于物体被放置在区域R2中,所以反射光将如区域R3所出现的那样完成正常衍射规律。可以像背靠背的两个棱镜一样地考虑截面;因此,对截面区域进行照明的光束重新指向干扰发生的中心,并且非衍射光束形成。衍射元件25在区域R2中提供激光散斑图案负载光束的更少发散。因此,光强将随着距离光源的距离L的变化而比上式(12)更慢地变化。这使得亮度水平不是很依赖与光源的距离,并且因此变得更均匀。
应该注意的是,在图6A所示的示例中,衍射光学元件12D可被构建成执行各种功能,其中包括也可以不包括亮度调节。如果衍射光学元件(DOE)被放置靠近散光器(直至物理接触),那么在散光器后的激光束光路中,远场中的光场将成为散斑远场分布和DOE的傅立叶变换之间的卷积。因此,可以利用图6A所示的设备实现各种功能(例如散斑成形)。另一种方案提供了允许沿着Z轴的各段Δz分离的3D制图分辨率。在观察到的物体沿着z轴具有大于制图分辨率Δz的变化的情况下,扭曲发生(例如针对作为物体的倾斜平面)。这些扭曲的发生主要是由于用于参考搜索的区域被显著地转移至旁边。扭曲可通过对物体的扭曲进行剪切来识别。为此,可使散斑成形。如果例如散斑具有椭圆形,那么可根据初始散斑形状的变化来检测剪切扭曲。在该设备中使用的衍射光学元件12D为唯相元件,其傅立叶变换产生例如强度的椭圆截面(例如倾斜线)。例如,可基于以下出版物所公开的技术:Z.Zalevsky,D.Mendlovic and R.G.Dorsch,″TheGerchberg-Saxton Algorithm Applied in the Fractional Fourieror the Fresnel Domains,″Opt.Let.21,842-844(1996)来设计这种DOE;或者可以使用其它已知技术。
现在参见图7,其示出了适合被用于本发明的制图系统的投影模块90的另一示例。设备90包括激光光源12A、散光器12B、第一凸透镜12C、衍射光学元件12D、和第二凸透镜12E。这些元件被布置成所谓的“4-F傅立叶变换器”:散光器12B在透镜12C的后焦平面内,衍射元件12D在透镜12C的前焦平面内并在透镜12E的后焦平面内,并且这些透镜的焦距相等。透镜12C对由散光器12B产生的散斑图案进行傅立叶变换;在衍射元件处,其传递函数与散斑图案的傅立叶变换相乘;并且透镜12E产生由乘法等到的乘积函数的逆傅立叶。因此,在放置了物体的远程近似中(Z大于Rayleigh距离),散斑随机分布与元件12D相乘。
在一个示例中,元件12D可被实现成强度均衡罩(mask):幅度罩,对其透明功能进行选择以在远场提供预定光强。例如,元件12D可以是周边透明度高于中心透明度的罩。投影的光将由罩的透明度和散斑图案确定。这样,光强分布可在横截面上变得显著地更加一致。总的说来,该元件可有助于被投影的散斑图案的能量分布的均衡。
因此,本发明利用基于三角测量原理的简单并且便宜的光学设备提供了有效的3D物体重现技术。本发明可仅仅使用单个图像;可以采用单个固定装配的相机;并且支持与物体距离大范围的可能距离。

Claims (45)

1.一种用于物体重现的系统,所述系统包括:
(a)照明单元,包括相干光源和随机散斑图案生成器,所述随机散斑图案生成器被放置在从所述光源向物体传播的照明光的光路中从而在所述物体上投影出相干随机散斑图案;和
(b)成像单元,其用于对被照明的区域的光响应进行检测并且生成图像数据,
所述图像数据指示了具有被投影的散斑图案的所述物体,并且因此指示了所述物体图像中的图案相对于所述图案的参考图像的位移,于是该系统就能够对所述物体的三维映像进行实时重现。
2.如权利要求1所述的系统,其中所述图案生成器包括散光器,其通过添加随机相位将照射在其上的光进行散射。
3.如权利要求2所述的系统,其中所述散光器包括一片毛玻璃。
4.如权利要求1所述的系统,其中所述图像数据指示了其上投影有散斑图案的所述物体的图像,所述散斑图案是利用与主物体平面基本垂直的照明光光路并且在所述图案生成器和所述成像单元距所述主物体平面距离基本相等处获取的。
5.如权利要求1所述的系统,包括被构建成用于存储参考数据的控制单元,所述参考数据指示了所述相干随机散斑图案的参考图像。
6.如权利要求5所述的系统,其中所述参考数据指示了所述散斑图案的图像,所述散斑图案是在与所述照明光传播光路基本垂直的参考平面上并且在与所述图案生成器和所述成像单元距离基本相等处获取的。
7.如权利要求5所述的系统,其中所述控制单元被预编程为用于利用数据来处理和分析图像数据,所述数据指示了用于确定图像之间的关联的参考图像。
8.如权利要求6所述的系统,其中所述控制单元被预编程为用于利用数据来处理和分析图像数据,所述数据指示了用于确定图像之间的关联的参考图像。
9.如权利要求1所述的系统,  其被构建成对测量到的体积进行定义,该体积是通过照明光传播和成像单元的光收集之间的交叉形成的,从而使得距图案生成器的距离大于Rayleigh距离的物体成像,所述测量到的体积中的每个点都定义了照明和收集到的光传播通路之间的交叉角度。
10.如权利要求1所述的系统,其中所述图案生成器和所述成像单元被定位以使得从所述图案生成器和所述成像单元到所述物体具有基本相等的距离。
11.如权利要求9所述的系统,其中所述图案生成器和所述成像单元被定位以使得从所述图案生成器和所述成像单元到所述物体具有基本相等的距离。
12.如权利要求10所述的系统,其中所述图案生成器和所述成像单元被定位成彼此相距所述照明光的Rayleigh距离的小部分。
13.如权利要求8所述的系统,其中所述控制单元被预编程用于将指示了图像的所述数据分解成Mellin和对数分解,从而获取不会随着所述散斑图案的缩放和投影扭曲而变化的关联。
14.如权利要求10所述的系统,其被构建成使得所述成像单元的像素平面上的平均散斑特征大小的最小值Δxcam被定义为:
Δ x cam = F φ D λ
其中F是成像透镜的焦距,φD是所述图案生成器上的照明斑大小,λ是照明光的波长。
15.如权利要求1所述的系统,包括调节器,其被构建成用于减少所述成像单元的视野中的不同区域之间的照明亮度变化。
16.如权利要求15所述的系统,其中所述调节器包括衍射光学元件。
17.如权利要求16所述的系统,其中所述衍射光学元件被构建成与所述图案生成器一起操作以调节照明光传播光路横截面平面内的亮度。
18.如权利要求16所述的系统,其中所述衍射光学元件被构建成能够降低沿着与照明光传播基本平行的轴的亮度变化。
19.如权利要求16所述的系统,其中所述衍射光学元件为唯相元件,其被布置在散斑生成器的相对于照明光传播的下游,并且被构建成调节照明光传播光路横截面平面内的亮度。
20.如权利要求19所述的系统,其中所述照明单元被构建成4-F傅立叶变换器。
21.如权利要求1所述的系统,其中所述照明单元被构建成4-F傅立叶变换器,其包括被构建成唯相元件的衍射光学元件,所述照明单元的傅立叶变换产生了强度的椭圆截面,并且所述照明单元被布置在两个凸透镜之间。
22.如权利要求1所述的系统,其中所述成像单元包括单个光检测器,其定义了静态视野。
23.一种用于物体重现的系统,所述系统包括:
(a)照明单元,包括相干光源和散光器单元,所述散光器单元被放置在从所述光源向物体传播的照明光的光路中从而在所述物体上投影出相干随机散斑图案;和
(b)成像单元,其包括定义了静态视野的单个光检测器,所述单个光检测器用于对被照明的区域的光响应进行检测并且生成图像数据,
所述图像数据指示了具有被投影的散斑图案的所述物体,并且因此指示了所述物体图像中的图案相对于所述图案的参考图像的位移,于是该系统就能够对所述物体的三维映像进行实时重现。
24.一种用于物体重现的系统,所述系统包括:
(a)照明单元,包括相干光源和散光器单元,所述散光器单元被放置在从所述光源向物体传播的照明光的光路中从而在所述物体上投影出相干随机散斑图案;以及成像单元,其用于对被照明的区域的光响应进行检测并且生成图像数据,所述成像单元和所述散光器被定位成使得从所述散光器和所述成像单元到所述物体具有基本相等的距离,
所述图像数据指示了具有被投影的散斑图案的所述物体,并且因此指示了所述物体图像中的图案相对于所述图案的参考图像的位移,于是该系统就能够对所述物体的三维映像进行实时重现。
25.一种用于物体重现的系统,所述系统包括:
(a)照明单元,包括相干光源和散光器单元,所述散光器单元被放置在从所述光源向物体传播的照明光的光路中从而在所述物体上投影出相干随机散斑图案;和
(b)成像单元,其用于对被照明的区域的光响应进行检测并且生成图像数据,所述图像数据指示了具有所述被投影的散斑图案的所述物体,并且因此指示了所述物体图像中的图案相对于所述图案的参考图像的位移,
(c)控制单元,其被构建成用于存储参考数据,所述参考数据指示了所述相干随机散斑图案的参考图像。
26.一种用于物体重现系统中的投影模块,所述投影模块包括相干光源和散光器,所述散光器被构建成通过添加随机相位来使得照射在其上的光散射,从而产生随机散斑图案以便将其投影在物体上,从而使得具有所述投影图案的物体成像,并且对图像数据进行实时处理以重现所述物体的三维映像。
27.一种用于物体的实时重现的方法,所述方法包括:
(i)将随机散斑图案投影在所述物体上,所述随机散斑图案是通过照射相干光而形成的;
(ii)对来自所述物体的光响应进行检测,并且产生具有所述投影的散斑图案的物体的图像数据;
(iii)处理所述图像数据从而确定所述物体图像中的图案相对于所述图案的参考图像的位移,从而确定所述物体的三维映像。
28.如权利要求27所述的方法,其中所述物体被布置成距图案生成器的距离基本等于所述物体和光检测器之间的距离。
29.如权利要求28所述的方法,其中主物体平面被定位成与照明光传播的轴基本垂直。
30.如权利要求27所述的方法,其中所述参考数据指示了散斑图案的图像,所述散斑图案是在与所述照明光传播光路基本垂直的参考平面上并且在距所述散光器和所述成像单元距离基本相等处获取的。
31.如权利要求27所述的方法,其中所述处理包括确定所述图像和所述参考图像之间的关联。
32.如权利要求27所述的方法,其中,照明光传播和光收集之间的交叉定义了某个测量到的体积,其使得所述测量到的体积内的距散斑图案生成器的距离大于Rayleigh距离的物体成像,所述测量到的体积中的每个点都定义了照明和收集到的光传播通路之间的交叉角度。
33.如权利要求31所述的方法,其中所述处理包括将指示了所述图像的所述数据分解成Mellin和/或对数分解,从而获取不会随着所述散斑图案的缩放和投影扭曲而变化的关联。
34.如权利要求27所述的方法,其中光检测器的像素平面上的平均散斑特征大小的最小值Δxcam被定义为:
Δ x cam = F φ D λ
其中F是成像透镜的焦距,φD是生成所述图案的散光器上的照明斑大小,λ是照明光的波长。
35.如权利要求27所述的方法,包括减少光检测器的视野中的不同区域之间的照明亮度变化。
36.如权利要求35所述的方法,包括将所述图案通过衍射光学元件进行投影。
37.如权利要求27所述的方法,其中所述检测光响应是通过单个光检测器执行的,该单个光检测器定义了静态视野。
38.如权利要求27所述的方法,包括将指示了所述物体的三维映像的数据输入至人机界面。
39.如权利要求38所述的方法,包括利用用于博弈的人机界面。
40.如权利要求38所述的方法,包括利用用于健身的人机界面。
41.如权利要求27所述的方法,包括利用指示了用于生物医学分析的物体3D映像的数据。
42.如权利要求41所述的方法,其中所述生物医学分析包括内窥镜检查。
43.如权利要求27所述的方法,其被移动手机装置执行。
44.如权利要求27所述的方法,包括利用所述物体的所述3D映像来进行车辆之间的距离估计和/或接近警报。
45.如权利要求27所述的方法,包括利用所述物体的所述3D映像来进行入侵警报。
CN200680038004.2A 2005-10-11 2006-03-14 用于物体重现的方法和系统 Active CN101288105B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72490305P 2005-10-11 2005-10-11
US60/724,903 2005-10-11
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction

Publications (2)

Publication Number Publication Date
CN101288105A true CN101288105A (zh) 2008-10-15
CN101288105B CN101288105B (zh) 2016-05-25

Family

ID=37942362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680038004.2A Active CN101288105B (zh) 2005-10-11 2006-03-14 用于物体重现的方法和系统

Country Status (6)

Country Link
US (6) US8400494B2 (zh)
EP (1) EP1934945A4 (zh)
JP (1) JP5001286B2 (zh)
KR (1) KR101264955B1 (zh)
CN (1) CN101288105B (zh)
WO (1) WO2007043036A1 (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825431A (zh) * 2009-03-05 2010-09-08 普莱姆森斯有限公司 用于三维传感的参考图像技术
CN102549507A (zh) * 2009-10-02 2012-07-04 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
CN102762142A (zh) * 2010-02-12 2012-10-31 皇家飞利浦电子股份有限公司 3d 表面的激光增强重建
CN102859320A (zh) * 2011-04-28 2013-01-02 三洋电机株式会社 信息取得装置以及物体检测装置
CN102920437A (zh) * 2012-10-29 2013-02-13 广州市盛光微电子有限公司 一种近距离成像装置及其使用方法
CN102954789A (zh) * 2011-08-25 2013-03-06 中国科学院西安光学精密机械研究所 基于图像判读的双激光束平面定位系统及其方法
CN103299156A (zh) * 2010-11-29 2013-09-11 惠普发展公司,有限责任合伙企业 创建三维图像文件的系统和方法
CN103528518A (zh) * 2013-10-18 2014-01-22 中国科学院西安光学精密机械研究所 一种闪频激光散斑三维目标获取系统及方法
CN104602608A (zh) * 2012-08-27 2015-05-06 皇家飞利浦有限公司 基于光学3d场景检测与解释的患者特异性且自动的x射线系统调节
CN104918031A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 深度恢复设备和方法
CN105264331A (zh) * 2013-04-18 2016-01-20 微软技术许可有限责任公司 确定捕捉到的图像的深度数据
CN105301865A (zh) * 2014-07-28 2016-02-03 奥宝科技股份有限公司 自动聚焦系统
CN105452834A (zh) * 2013-07-18 2016-03-30 埃西勒国际通用光学公司 用于确定眼镜片的视觉效果的方法
CN105790836A (zh) * 2015-01-09 2016-07-20 株式会社理光 应用全光照相机的表面属性的推定
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
CN106292144A (zh) * 2015-06-23 2017-01-04 手持产品公司 光学图案投影仪
CN106595859A (zh) * 2016-11-01 2017-04-26 清华大学 鬼成像方法和应用其的鬼成像装置
CN106796101A (zh) * 2014-08-22 2017-05-31 安迪凯座椅电梯有限责任公司 用于设计楼梯升降机导轨组件的方法和系统
CN106980813A (zh) * 2016-01-15 2017-07-25 福特全球技术公司 机器学习的注视生成
CN107085343A (zh) * 2017-03-10 2017-08-22 深圳奥比中光科技有限公司 结构光投影装置及深度相机
CN107209008A (zh) * 2015-01-31 2017-09-26 微软技术许可有限责任公司 结构化光图案生成
US9984461B2 (en) 2014-06-27 2018-05-29 Huawei Technologies Co., Ltd. Method, apparatus, and terminal for obtaining vital sign data of target object
CN108227232A (zh) * 2016-12-14 2018-06-29 浙江舜宇智能光学技术有限公司 发散光式散斑投射器及其调焦方法以及三维重建系统
CN108474740A (zh) * 2015-11-17 2018-08-31 韩国科学技术院 利用混沌波传感器的样品特性探测装置
CN109253696A (zh) * 2018-11-28 2019-01-22 信利光电股份有限公司 基于结构光测量物件尺寸的设备
TWI649578B (zh) * 2016-08-22 2019-02-01 美商蘋果公司 用於遠端感測接收器之中程光學系統
CN109843500A (zh) * 2016-08-24 2019-06-04 奥斯特公司 用于收集场内的距离信息的光学系统
CN110307822A (zh) * 2018-03-20 2019-10-08 原相科技股份有限公司 距离侦测装置
CN110360930A (zh) * 2019-08-29 2019-10-22 江苏集萃华科智能装备科技有限公司 一种激光位移法线传感器及其测量方法
CN110494795A (zh) * 2017-04-10 2019-11-22 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
CN110494794A (zh) * 2017-04-10 2019-11-22 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
CN110618533A (zh) * 2018-06-18 2019-12-27 三星电子株式会社 结构光投影仪和包括结构光投影仪的电子装置
WO2020056722A1 (zh) * 2018-09-21 2020-03-26 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备
CN110945521A (zh) * 2017-08-22 2020-03-31 亮锐控股有限公司 用于生物计量认证的激光斑点分析
US10634770B2 (en) 2016-06-29 2020-04-28 Apple Inc. Optical systems for remote sensing receivers
CN111536905A (zh) * 2020-06-03 2020-08-14 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN112781520A (zh) * 2019-11-06 2021-05-11 奇景光电股份有限公司 结构光成像装置
CN113302520A (zh) * 2019-01-16 2021-08-24 株式会社小糸制作所 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法
CN113566734A (zh) * 2021-07-22 2021-10-29 四川川大智胜软件股份有限公司 一种基于同轴平移散斑投射器的高精度三维成像装置
TWI799345B (zh) * 2022-09-01 2023-04-11 國立清華大學 反射掃描式同調光繞射顯影方法及系統

Families Citing this family (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
EP1934945A4 (en) * 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
WO2007096893A2 (en) 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
CN101501442B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) * 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
FR2921719B1 (fr) * 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US7988297B2 (en) * 2007-10-19 2011-08-02 Look Dynamics, Inc. Non-rigidly coupled, overlapping, non-feedback, optical systems for spatial filtering of fourier transform optical patterns and image shape content characterization
US10235827B2 (en) 2007-11-09 2019-03-19 Ball Gaming, Inc. Interaction with 3D space in a gaming system
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US20100064213A1 (en) * 2008-09-10 2010-03-11 Zhou Ye Operation device for a graphical user interface
EP2166304A1 (de) * 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
DK2381762T3 (en) 2008-12-22 2015-06-29 Delaval Holding Ab A detecting apparatus and method
US8159493B2 (en) * 2009-02-03 2012-04-17 Xerox Corporation Adaptive grand tour
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8417385B2 (en) 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR100933466B1 (ko) * 2009-08-28 2009-12-23 주식회사 래보 입체 영상 처리 장치 및 방법
FR2950140B1 (fr) 2009-09-15 2011-10-21 Noomeo Procede de numerisation tridimensionnelle comprenant une double mise en correspondance
FR2950157A1 (fr) 2009-09-15 2011-03-18 Noomeo Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
JP5440218B2 (ja) * 2010-01-29 2014-03-12 株式会社デンソー 地図データ及び電子機器
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8952959B2 (en) * 2010-04-13 2015-02-10 Disney Enterprises, Inc. Embedding images into a surface using occlusion
US9202310B2 (en) 2010-04-13 2015-12-01 Disney Enterprises, Inc. Physical reproduction of reflectance fields
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9348111B2 (en) 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations
US9232912B2 (en) 2010-08-26 2016-01-12 The Regents Of The University Of California System for evaluating infant movement using gesture recognition
TWI428568B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
TWI428567B (zh) 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US10776635B2 (en) 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
IL208568B (en) * 2010-10-07 2018-06-28 Elbit Systems Ltd Mapping, discovering and tracking objects in an external arena by using active vision
TWI428558B (zh) * 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US8605011B2 (en) 2010-12-29 2013-12-10 GM Global Technology Operations LLC Virtual viewfinder on full windshield head-up display
US8924150B2 (en) 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US9008904B2 (en) 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
US9057874B2 (en) 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
DE112011104645T5 (de) 2010-12-30 2013-10-10 Irobot Corp. Mobiler Mensch-Schnittstellen-Roboter
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
DE102011004663B4 (de) * 2011-02-24 2018-11-22 Robert Bosch Gmbh Vorrichtung zur Fahrzeugvermessung
US9052497B2 (en) 2011-03-10 2015-06-09 King Abdulaziz City For Science And Technology Computing imaging data using intensity correlation interferometry
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9099214B2 (en) 2011-04-19 2015-08-04 King Abdulaziz City For Science And Technology Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof
US9024872B2 (en) 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
WO2012156402A1 (en) * 2011-05-16 2012-11-22 Universite Libre De Bruxelles Device for visualization and three-dimensional reconstruction in endoscopy
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9449456B2 (en) 2011-06-13 2016-09-20 Bally Gaming, Inc. Automated gaming chairs and wagering game systems and machines with an automated gaming chair
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
GB201113683D0 (en) * 2011-08-09 2011-09-21 Imorphics Ltd Image processing method
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9752869B2 (en) 2011-08-15 2017-09-05 The Trustees Of Columbia University In The City Of New York Systems and methods for performing machine vision using diffuse structured light
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
EP2618316B1 (de) 2012-01-23 2018-08-15 Novomatic AG Glücksrad mit Gestensteuerung
JP5985661B2 (ja) 2012-02-15 2016-09-06 アップル インコーポレイテッド 走査深度エンジン
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013127974A1 (en) * 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
US20150130905A1 (en) * 2012-03-12 2015-05-14 Kazuki Yamamoto 3d shape measurement apparatus
US9201237B2 (en) 2012-03-22 2015-12-01 Apple Inc. Diffraction-based sensing of mirror position
CN102663741B (zh) * 2012-03-22 2014-09-24 侯克杰 对彩色数字图像进行视觉立体感知增强的方法及系统
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
EP2847823A2 (en) * 2012-05-09 2015-03-18 Duke University Metamaterial devices and methods of using the same
US9411042B2 (en) 2012-05-09 2016-08-09 Duke University Multi-sensor compressive imaging
US20130311461A1 (en) * 2012-05-16 2013-11-21 NerVve Technologies, Inc. System and method for searching raster data in the cloud
WO2013173574A1 (en) * 2012-05-16 2013-11-21 The Johns Hopkins University Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
US9207070B2 (en) 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
US20130329012A1 (en) 2012-06-07 2013-12-12 Liberty Reach Inc. 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US8712873B2 (en) * 2012-07-17 2014-04-29 Zortag, Inc. System for and method of remotely auditing inventoried assets
DE112013003612T5 (de) 2012-07-20 2015-06-03 Lely Patent N.V. Melkanordnung
US8823930B2 (en) * 2012-08-07 2014-09-02 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus and method for inspecting an object
KR101311255B1 (ko) * 2012-08-20 2013-09-25 주식회사 고영테크놀러지 측정대상물 검사방법
US10008007B2 (en) * 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
CN102973245B (zh) * 2012-11-30 2014-08-06 广州市盛光微电子有限公司 一种近距离成像装置
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9323346B2 (en) 2012-12-31 2016-04-26 Futurewei Technologies, Inc. Accurate 3D finger tracking with a single camera
DE102013200657B4 (de) * 2013-01-17 2015-11-26 Sypro Optics Gmbh Vorrichtung zur Erzeugung eines optischen Punktmusters
NL2010213C2 (en) 2013-01-31 2014-08-04 Lely Patent Nv Camera system, animal related system therewith, and method to create 3d camera images.
KR101416649B1 (ko) * 2013-02-28 2014-07-09 주식회사 도담시스템스 회절 광학 소자 기반 3차원 영상 복원 시스템 및 방법
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
CN105190229B (zh) 2013-04-19 2018-07-31 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
US10341611B2 (en) 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
US9759553B2 (en) * 2013-07-09 2017-09-12 Auburn University Determining geometric characteristics of reflective surfaces
WO2015054601A2 (en) * 2013-10-11 2015-04-16 Duke University Multi-sensor compressive imaging
WO2015068470A1 (ja) 2013-11-06 2015-05-14 凸版印刷株式会社 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
DE102013020498A1 (de) * 2013-12-11 2015-06-11 Api International Ag Vorrichtung zur 3-D-Vermessung einer Oberfläche und Projektionseineit, sowie Verfahren zur 3-D-Vermessung
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
EP3113148B1 (en) * 2014-02-24 2019-01-09 Nissan Motor Co., Ltd Local location computation device and local location computation method
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
WO2015148604A1 (en) 2014-03-25 2015-10-01 Massachusetts Institute Of Technology Space-time modulated active 3d imager
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
SI24755A (sl) 2014-05-30 2015-12-31 Univerza V Ljubljani Postopek in priprava za globinsko slikanje
JP6253527B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
JP6253526B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
US9922245B2 (en) * 2014-08-15 2018-03-20 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognizing an object
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
WO2016103271A2 (en) 2014-12-27 2016-06-30 Guardian Optical Technologies Ltd. System and method for detecting surface vibrations
DE102015202182A1 (de) 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11425357B2 (en) 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
JP6484071B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
JP6575795B2 (ja) 2015-03-11 2019-09-18 パナソニックIpマネジメント株式会社 人感検知システム
DE102015205187A1 (de) 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
US10410366B2 (en) * 2015-03-31 2019-09-10 Sony Corporation Imaging system using structured light for depth recovery
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
WO2016195647A1 (en) 2015-05-30 2016-12-08 Leia Inc. Vehicle monitoring system
US11054664B2 (en) 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US10524663B2 (en) * 2015-06-19 2020-01-07 The Board Of Trustees Of The University Of Illinois Phase measurement, analysis, and correction methods for coherent imaging systems
EP3316019A4 (en) 2015-06-25 2019-03-06 Olympus Corporation DEVICE WITH ENDOSCOPE
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
FR3044148B1 (fr) * 2015-11-25 2017-12-01 Renault Sas Procede et dispositif de detection de la position des membres inferieurs d'un conducteur de vehicule automobile
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US9755740B2 (en) 2015-12-30 2017-09-05 Surefire Llc Receivers for optical narrowcasting
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
CN107454377B (zh) * 2016-05-31 2019-08-02 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和系统
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
AU2016259442A1 (en) 2016-11-18 2018-06-07 Canon Kabushiki Kaisha Method and system for reproducing visual content
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
JP6875680B2 (ja) * 2017-04-10 2021-05-26 浜松ホトニクス株式会社 量子シミュレータおよび量子シミュレーション方法
US10359513B2 (en) 2017-05-03 2019-07-23 Elwha Llc Dynamic-metamaterial coded-aperture imaging
US9917652B1 (en) 2017-06-06 2018-03-13 Surefire Llc Adaptive communications focal plane array
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US10695611B2 (en) 2017-08-14 2020-06-30 AssessLink LLC Physical education kinematic motor skills testing system
US10699429B2 (en) 2017-08-19 2020-06-30 Cognex Corporation Coding distance topologies for structured light patterns for 3D reconstruction
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
SG11202001717VA (en) * 2017-08-31 2020-03-30 Metalenz Inc Transmissive metasurface lens integration
CN117252247A (zh) 2017-09-20 2023-12-19 视觉动力公司 传感器-显示设备
FR3071715B1 (fr) 2017-10-03 2019-11-01 Proteor Procede d'imagerie radiographique, dispositif de traitement d'image radiographique et dispositif d'imagerie radiographique.
CN107861311A (zh) * 2017-10-10 2018-03-30 神画科技(深圳)有限公司 一种带监控装置的投影系统
US10345895B2 (en) 2017-11-07 2019-07-09 International Business Machines Corporation Hand and finger line grid for hand based interactions
EP3483780A1 (en) 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods
JP6970376B2 (ja) 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10310281B1 (en) 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
JP7004244B2 (ja) 2017-12-27 2022-01-21 オムロン株式会社 画像処理システム、画像処理方法、及びそのプログラム
US10690533B2 (en) * 2017-12-29 2020-06-23 Symbol Technologies, Llc Illumination pattern system and methods for 3D-time of flight systems
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
WO2019191778A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Photonic beam steering and applications for optical communications
US20190310374A1 (en) * 2018-04-05 2019-10-10 Wavefront Analysis, Inc. Machine vision method and system
FR3082037B1 (fr) 2018-06-05 2020-07-17 Proteor Procede pour produire une representation numerique pour fabriquer un appareil pour un corps vivant et dispositif correspondant
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
CN115390173A (zh) 2018-06-11 2022-11-25 Agc株式会社 衍射光学元件、投影装置及计测装置
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11176694B2 (en) 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN109451106B (zh) * 2018-11-16 2020-06-12 Oppo广东移动通信有限公司 电子装置
IL273248B2 (en) * 2019-03-19 2023-05-01 Continuse Biometrics Ltd System and method for optical monitoring based on symmetry conditions of the optical field
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US10509128B1 (en) 2019-04-12 2019-12-17 K Laser Technology, Inc. Programmable pattern optical projector for depth detection
EP3956631A4 (en) * 2019-04-17 2022-12-28 Carnegie Mellon University AGILE DEPTH SENSING USING TRIANGULATION LIGHT CURTAINS
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11096565B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
EP4004608A4 (en) 2019-07-26 2023-08-30 Metalenz, Inc. APERTURE META-SURFACE AND HYBRID REFRACTIVE META-SURFACE IMAGING SYSTEMS
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
TWI731414B (zh) * 2019-09-18 2021-06-21 正修學校財團法人正修科技大學 文物數位典藏及修復系統
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
CN111292421B (zh) * 2020-01-23 2022-08-05 深圳市易尚展示股份有限公司 复合编码的三维重建方法、装置、计算机设备和存储介质
JP7484181B2 (ja) * 2020-01-24 2024-05-16 セイコーエプソン株式会社 プロジェクターの制御方法、プロジェクター、及び表示システム
US11391563B2 (en) * 2020-02-06 2022-07-19 Purdue Research Foundation Ultra-sensitive speckle analyzing system
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置
WO2021216528A1 (en) * 2020-04-21 2021-10-28 Magik Eye Inc. Diffractive optical element with collimator function
CN111721236B (zh) * 2020-05-24 2022-10-25 奥比中光科技集团股份有限公司 一种三维测量系统、方法及计算机设备
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
US20220230335A1 (en) * 2021-01-20 2022-07-21 Nicolae Paul Teodorescu One-shot high-accuracy geometric modeling of three-dimensional scenes
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JP2714152B2 (ja) * 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
JPH0340591A (ja) 1989-07-06 1991-02-21 Katsuji Okino 立体像の撮影・表示方法及び装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
EP0559978B1 (en) 1992-03-12 1998-08-05 International Business Machines Corporation Image processing method
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
WO1996007939A1 (en) 1994-09-05 1996-03-14 Mikoh Technology Limited Diffraction surfaces and methods for the manufacture thereof
US6041140A (en) 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CA2227183A1 (en) 1995-07-18 1997-02-06 Kevin G. Harding Moire interferometry system and method with extended imaging depth
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
US5614948A (en) 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ/エックス・ネットワークス・インク 高速3dイメージパラメータ表示装置および方法
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
US6438272B1 (en) 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6750906B1 (en) 1998-05-08 2004-06-15 Cirrus Logic, Inc. Histogram-based automatic gain control method and system for video applications
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US5986758A (en) * 1998-08-18 1999-11-16 The United States Of America As Represented By The Secretary Of The Air Force Diffractive optic image spectrometer (DOIS)
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 3次元入力装置
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd 3次元形状計測装置および3次元形状計測方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) * 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
WO2003007053A2 (en) 2001-07-13 2003-01-23 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
US7385708B2 (en) 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
WO2004046645A2 (en) 2002-11-21 2004-06-03 Solvision Fast 3d height measurement method and system
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
EP1649423B1 (en) 2003-07-24 2008-08-13 Cognitens Ltd. Method and sytem for the three-dimensional surface reconstruction of an object
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
KR100764419B1 (ko) 2004-02-09 2007-10-05 강철권 불규칙패턴을 이용한 3차원형상 측정장치 및 측정방법
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7042575B2 (en) * 2004-05-21 2006-05-09 Silicon Light Machines Corporation Speckle sizing and sensor dimensions in optical positioning device
US7773070B2 (en) * 2004-05-21 2010-08-10 Cypress Semiconductor Corporation Optical positioning device using telecentric imaging
AU2005264061B2 (en) 2004-07-23 2009-05-21 Ge Healthcare Niagara, Inc. Method and apparatus for fluorescent confocal microscopy
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP2657761A3 (en) 2005-04-06 2013-12-25 Dimensional Photonics International, Inc. Multiple channel interferometric surface contour measurement system
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
EP1934945A4 (en) * 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CA2628611A1 (en) 2005-11-04 2007-05-18 Clean Earth Technologies, Llc Tracking using an elastic cluster of trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
WO2007096893A2 (en) 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2584494A3 (en) 2006-08-03 2015-02-11 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
WO2008020449A2 (en) * 2006-08-16 2008-02-21 Xceed Imaging Ltd. Method and system for imaging with a zoom
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
CN101512601B (zh) 2006-09-04 2013-07-31 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8542421B2 (en) 2006-11-17 2013-09-24 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2008133957A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens, single-sensor 3-d imaging device with a central aperture for obtaining camera position
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US20100182406A1 (en) 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US20120044320A1 (en) * 2010-03-11 2012-02-23 Trex Enterprises Corp. High resolution 3-D holographic camera
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9098931B2 (en) * 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9066087B2 (en) * 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9167138B2 (en) * 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8682932B2 (en) * 2012-02-16 2014-03-25 Oracle International Corporation Mechanisms for searching enterprise data graphs
US8484208B1 (en) * 2012-02-16 2013-07-09 Oracle International Corporation Displaying results of keyword search over enterprise data
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825431B (zh) * 2009-03-05 2014-12-24 苹果公司 用于三维传感的参考图像技术
CN101825431A (zh) * 2009-03-05 2010-09-08 普莱姆森斯有限公司 用于三维传感的参考图像技术
CN102549507B (zh) * 2009-10-02 2014-08-20 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN102549507A (zh) * 2009-10-02 2012-07-04 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
CN102741651B (zh) * 2010-02-01 2014-01-08 微软公司 用于飞行时间测距系统的多个同步光源
CN102762142A (zh) * 2010-02-12 2012-10-31 皇家飞利浦电子股份有限公司 3d 表面的激光增强重建
US11022433B2 (en) 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
CN103299156A (zh) * 2010-11-29 2013-09-11 惠普发展公司,有限责任合伙企业 创建三维图像文件的系统和方法
CN102859320A (zh) * 2011-04-28 2013-01-02 三洋电机株式会社 信息取得装置以及物体检测装置
CN102954789A (zh) * 2011-08-25 2013-03-06 中国科学院西安光学精密机械研究所 基于图像判读的双激光束平面定位系统及其方法
CN104602608A (zh) * 2012-08-27 2015-05-06 皇家飞利浦有限公司 基于光学3d场景检测与解释的患者特异性且自动的x射线系统调节
CN104602608B (zh) * 2012-08-27 2019-01-01 皇家飞利浦有限公司 基于光学3d场景检测与解释的患者特异性且自动的x射线系统调节
CN102920437B (zh) * 2012-10-29 2015-03-11 广州市盛光微电子有限公司 一种近距离成像装置及其使用方法
CN102920437A (zh) * 2012-10-29 2013-02-13 广州市盛光微电子有限公司 一种近距离成像装置及其使用方法
CN105264331A (zh) * 2013-04-18 2016-01-20 微软技术许可有限责任公司 确定捕捉到的图像的深度数据
CN105264331B (zh) * 2013-04-18 2018-06-12 微软技术许可有限责任公司 确定捕捉到的图像的深度数据
CN105452834A (zh) * 2013-07-18 2016-03-30 埃西勒国际通用光学公司 用于确定眼镜片的视觉效果的方法
CN103528518A (zh) * 2013-10-18 2014-01-22 中国科学院西安光学精密机械研究所 一种闪频激光散斑三维目标获取系统及方法
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
CN104918031A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 深度恢复设备和方法
CN104918031B (zh) * 2014-03-10 2018-08-07 联想(北京)有限公司 深度恢复设备和方法
US9984461B2 (en) 2014-06-27 2018-05-29 Huawei Technologies Co., Ltd. Method, apparatus, and terminal for obtaining vital sign data of target object
CN105301865A (zh) * 2014-07-28 2016-02-03 奥宝科技股份有限公司 自动聚焦系统
CN106796101A (zh) * 2014-08-22 2017-05-31 安迪凯座椅电梯有限责任公司 用于设计楼梯升降机导轨组件的方法和系统
CN105790836B (zh) * 2015-01-09 2018-10-23 株式会社理光 应用全光照相机的表面属性的推定
CN105790836A (zh) * 2015-01-09 2016-07-20 株式会社理光 应用全光照相机的表面属性的推定
CN107209008A (zh) * 2015-01-31 2017-09-26 微软技术许可有限责任公司 结构化光图案生成
CN107209008B (zh) * 2015-01-31 2019-05-10 微软技术许可有限责任公司 结构化光图案生成
CN106292144B (zh) * 2015-06-23 2020-11-03 手持产品公司 光学图案投影仪
CN106292144A (zh) * 2015-06-23 2017-01-04 手持产品公司 光学图案投影仪
CN108474740B (zh) * 2015-11-17 2021-03-02 韩国科学技术院 利用混沌波传感器的样品特性探测装置
CN108474740A (zh) * 2015-11-17 2018-08-31 韩国科学技术院 利用混沌波传感器的样品特性探测装置
CN106980813A (zh) * 2016-01-15 2017-07-25 福特全球技术公司 机器学习的注视生成
US10634770B2 (en) 2016-06-29 2020-04-28 Apple Inc. Optical systems for remote sensing receivers
TWI649578B (zh) * 2016-08-22 2019-02-01 美商蘋果公司 用於遠端感測接收器之中程光學系統
US10557943B2 (en) 2016-08-22 2020-02-11 Apple Inc. Optical systems
US10948572B2 (en) 2016-08-24 2021-03-16 Ouster, Inc. Optical system for collecting distance information within a field
CN109843500A (zh) * 2016-08-24 2019-06-04 奥斯特公司 用于收集场内的距离信息的光学系统
US11422236B2 (en) 2016-08-24 2022-08-23 Ouster, Inc. Optical system for collecting distance information within a field
CN109843500B (zh) * 2016-08-24 2021-06-29 奥斯特公司 用于收集场内的距离信息的光学系统
CN106595859A (zh) * 2016-11-01 2017-04-26 清华大学 鬼成像方法和应用其的鬼成像装置
CN108227232A (zh) * 2016-12-14 2018-06-29 浙江舜宇智能光学技术有限公司 发散光式散斑投射器及其调焦方法以及三维重建系统
CN107085343B (zh) * 2017-03-10 2019-07-12 深圳奥比中光科技有限公司 结构光投影装置及深度相机
CN107085343A (zh) * 2017-03-10 2017-08-22 深圳奥比中光科技有限公司 结构光投影装置及深度相机
CN110494795A (zh) * 2017-04-10 2019-11-22 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
US11567732B2 (en) 2017-04-10 2023-01-31 Hamamatsu Photonics K.K. Pseudo speckle pattern generation device, pseudo speckle pattern generation method, observation device, and observation method
CN110494794B (zh) * 2017-04-10 2021-07-27 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
CN110494795B (zh) * 2017-04-10 2021-07-27 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
US11300800B2 (en) 2017-04-10 2022-04-12 Hamamatsu Photonics K.K. Pseudo speckle pattern generation device, pseudo speckle pattern generation method, observation device, and observation method
CN110494794A (zh) * 2017-04-10 2019-11-22 浜松光子学株式会社 伪散斑图案生成装置、伪散斑图案生成方法、观察装置和观察方法
CN110945521B (zh) * 2017-08-22 2024-05-24 亮锐控股有限公司 用于生物计量认证的激光斑点分析
CN110945521A (zh) * 2017-08-22 2020-03-31 亮锐控股有限公司 用于生物计量认证的激光斑点分析
CN110307822A (zh) * 2018-03-20 2019-10-08 原相科技股份有限公司 距离侦测装置
CN110307822B (zh) * 2018-03-20 2021-10-29 原相科技股份有限公司 距离侦测装置
CN110618533A (zh) * 2018-06-18 2019-12-27 三星电子株式会社 结构光投影仪和包括结构光投影仪的电子装置
US11976918B2 (en) 2018-06-18 2024-05-07 Samsung Electronics Co., Ltd. Structured light projector and electronic apparatus including the same
WO2020056722A1 (zh) * 2018-09-21 2020-03-26 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备
CN109253696A (zh) * 2018-11-28 2019-01-22 信利光电股份有限公司 基于结构光测量物件尺寸的设备
CN113302520A (zh) * 2019-01-16 2021-08-24 株式会社小糸制作所 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法
CN110360930A (zh) * 2019-08-29 2019-10-22 江苏集萃华科智能装备科技有限公司 一种激光位移法线传感器及其测量方法
CN112781520A (zh) * 2019-11-06 2021-05-11 奇景光电股份有限公司 结构光成像装置
CN111536905B (zh) * 2020-06-03 2021-08-31 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN111536905A (zh) * 2020-06-03 2020-08-14 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN113566734A (zh) * 2021-07-22 2021-10-29 四川川大智胜软件股份有限公司 一种基于同轴平移散斑投射器的高精度三维成像装置
CN113566734B (zh) * 2021-07-22 2023-08-29 四川川大智胜软件股份有限公司 一种基于同轴平移散斑投射器的高精度三维成像装置
TWI799345B (zh) * 2022-09-01 2023-04-11 國立清華大學 反射掃描式同調光繞射顯影方法及系統

Also Published As

Publication number Publication date
JP5001286B2 (ja) 2012-08-15
WO2007043036A1 (en) 2007-04-19
US10608002B2 (en) 2020-03-31
EP1934945A4 (en) 2016-01-20
EP1934945A1 (en) 2008-06-25
US20170004623A1 (en) 2017-01-05
JP2009511897A (ja) 2009-03-19
US9704249B2 (en) 2017-07-11
US20150287205A1 (en) 2015-10-08
US9066084B2 (en) 2015-06-23
US8400494B2 (en) 2013-03-19
KR101264955B1 (ko) 2013-05-15
US20100177164A1 (en) 2010-07-15
KR20080056721A (ko) 2008-06-23
US20190319036A1 (en) 2019-10-17
US20170287923A1 (en) 2017-10-05
US20130155195A1 (en) 2013-06-20
US9437006B2 (en) 2016-09-06
US10340280B2 (en) 2019-07-02
CN101288105B (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN101288105B (zh) 用于物体重现的方法和系统
AU2020289841B2 (en) Quotidian scene reconstruction engine
EP3250881B1 (en) System and method for structured light pattern generation
CN101356546B (zh) 图像高分辨率化装置、方法及系统
US20180293739A1 (en) Systems, methods and, media for determining object motion in three dimensions using speckle images
US10096113B2 (en) Method for designing a passive single-channel imager capable of estimating depth of field
CN103033166B (zh) 一种基于合成孔径聚焦图像的目标测距方法
US10798364B2 (en) 3D image reconstruction based on lensless compressive image acquisition
KR20180054737A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
Rodríguez A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking
JP2004257934A (ja) 3次元形状計測方法及び3次元形状計測装置並びにその処理プログラムと記録媒体
US20240161319A1 (en) Systems, methods, and media for estimating a depth and orientation of a portion of a scene using a single-photon detector and diffuse light source
LY et al. i (75) Inventors/Applicants (/or US only): ZALEVSKY, Zeev GN, GQ, GW, ML, MR, NE, SN, TD, TGl
Tajes A methodology to develop Computer Vision systems in Civil Engineering: Applications in material testing and fish tracking
CN113424524A (zh) 使用半球形或球形可见光深度图像的三维建模
JP2008224328A (ja) 位置演算システム、位置演算装置および位置演算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141114

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Israel Tel Aviv

Applicant after: PRIME SENSE Ltd.

Address before: Israel Leah

Applicant before: Prime Sense Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20141114

Address after: American California

Applicant after: APPLE Inc.

Address before: Israel Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant