CN101825431A - 用于三维传感的参考图像技术 - Google Patents

用于三维传感的参考图像技术 Download PDF

Info

Publication number
CN101825431A
CN101825431A CN201010122081A CN201010122081A CN101825431A CN 101825431 A CN101825431 A CN 101825431A CN 201010122081 A CN201010122081 A CN 201010122081A CN 201010122081 A CN201010122081 A CN 201010122081A CN 101825431 A CN101825431 A CN 101825431A
Authority
CN
China
Prior art keywords
pattern
imageing sensor
reference picture
image
reference surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010122081A
Other languages
English (en)
Other versions
CN101825431B (zh
Inventor
A·施庞特
D·赖斯
N·盖勒泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Prime Sense Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prime Sense Ltd filed Critical Prime Sense Ltd
Publication of CN101825431A publication Critical patent/CN101825431A/zh
Application granted granted Critical
Publication of CN101825431B publication Critical patent/CN101825431B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Abstract

一种方法，包括提供投射相干辐射的图样的装置。该方法还包括在通过将相干辐射的图样投射至参考面使用一个图像传感器捕获所述图样的参考图像，并且在捕获所述参考图像时，在所述参考面和所述图像传感器之间产生相对运动。该方法还包括将参考图像存储至与所述装置相关联的存储器中。

Description

用于三维传感的参考图像技术
相关申请的交叉引用
本申请要求享有于2009年3月5日递交的美国临时专利申请61/157560的优先权，该申请以引用方式纳入本说明书。
技术领域
本发明总体涉及成像系统，具体而言涉及使用参考图像用于三维绘图的成像系统。
背景技术
一些三维(3D)绘图系统使用被投射至标定面(calibrationsurface)的图样的参考图像。这类系统的示例在Zalevsky等人的PCT公开文本WO2007/043036，以及Shpunt等人的PCT公开文本WO2007/105205中被说明，上述两个公开文本以引证方式纳入本说明书。在这些类型的3D绘图系统中，测试目标的图像中与参考图像的测量偏差使得允许对测试目标进行绘制。因此，有利的是在绘图系统中使用高品质的参考图像。
上述说明仅作为本领域相关技术的概览，不应被解释为承认该说明所包含的任何信息构成了对抗本专利申请的现有技术。
发明内容
本发明的实施方案提供了一种方法，包括：
提供投射一个相干辐射的图样的装置；
通过将该相干辐射的图样投射至一个参考面，使用一个图像传感器捕获该图样的参考图像，并且在捕获该参考图像时，在参考面和图像传感器之间产生相对运动；以及
将该参考图像存储至与所述装置关联的存储器。
通常，产生相对运动包括将一个致动器连接至所述装置，并在捕获所述参考图像时致动该致动器。
可替代地或附加地，产生相对运动包括将一个致动器连接至具有参考面的参考目标，并在捕获参考图像时致动该致动器。
产生相对运动可包括平行于参考面移动所述装置，平行于参考面自身移动该参考面，选择相对运动的幅度以中和(average out)参考面处所生成的二次散斑效应，和/或响应于图像传感器的分辨率选择相对运动的幅度。
所述装置可以包括图像传感器，所述方法还包括：
使用所述装置外部的另一个图像传感器捕获被投射至参考面上的图样的替代图像；
将所述参考图像与该替代图像配准；以及
根据所配准的参考图像和替代图像产生一改进的参考图像；
其中将所述参考图像存储至存储器包括，将该改进的参考图像存储至存储器。
在一公开的实施方案中，捕获所述参考图像包括：
当参考面距离所述装置第一距离时，捕获所述图样的第一图像，当参考面距离所述装置第二距离时，捕获所述图样的第二图像，所述第二距离不同于第一距离；以及
将所述第一图像和第二图像配准以产生一个替代参考图像，
其中将所述参考图像存储至存储器中包括，将该替代参考图像存储至存储器中。
在另一公开实施方案中，捕获参考图像包括：
当参考面距所述装置第一距离时，捕获所述图样的第一图像，当参考面距所述装置第二距离时，捕获所述图样的第二图像，所述第二距离不同于第一距离；所述第一图像和第二图像被配置为将被配准以产生一个替代参考图像；以及
将所述第一图像和第二图像存储至所述存储器。
通常地，所述装置被配置为通过捕获目标上的图样的测试图像并测量测试图像中的所述图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
所述装置可以包括图像传感器，捕获所述测试图像可以包括使用图像传感器捕获所述测试图像。
在一些实施方案中，图像传感器具有积分时间，所述参考面依积分时间来衡量是静态的。
根据本发明的一实施方案，还提供了一种方法，包括：
提供一种如下装置，该装置将一个图样投射至一个目标上，并使用具有第一光学特性的第一个图像传感器捕获该目标上的图样的图像；
通过将所述图样投射至一个参考面上，使用第二图像传感器捕获所述图样的参考图像，该第二传感器具有相对于第一光学特性增强的第二光学特性；
将所述参考图像在所述装置的参考系(frame of reference)内配准；以及
将所述参考图像存储至与所述装置关联的存储器中。
通常地，捕获参考图像包括使用第一图像传感器捕获被投射至参考面上的图样的第一图像，以及使用第二图像传感器捕获被投射至参考面上的图样的第二图像，以及其中将参考图像配准包括将所述第一图像和第二图像配准以产生被配准的参考图像，且其中存储所述参考图像包括将被配准的参考图像存储至存储器。
通常地，所述装置包括第一图像传感器，而第二图像传感器在所述装置外部且与该装置分立。
所述图样可以使用非相干辐射而被投射。
所述第一光学特性和第二光学特性可以包括各自的视场、各自的分辨率、各自的信噪比，以及各自的动态范围中的至少一项。
通常地，所述装置被配置为通过捕获在所述目标上的图样的测试图像并测量所述测试图像中的图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
在一个实施方案中，所述方法还包括使用参考图像和在目标上的图样的图像，生成目标的图。
根据本发明的一实施方案，还提供了一种方法，其包括：
提供将一个图样投射至一个目标上的装置；
通过将该图样投射至距图像传感器第一距离和第二距离的参考面上，使用一个图像传感器捕获所述图样的参考图像，所述第二距离不同于第一距离；
将该参考图像在所述装置的参考系内配准；以及
将该参考图像存储在与所述装置关联的存储器中。
通常地，捕获所述参考图像包括使用图像传感器捕获被投射至位于第一距离的参考面上的图样的第一图像，以及使用图像传感器捕获被投射至位于第二表面的参考面上的图样的第二图像，以及其中配准所述参考图像包括将第一图像和第二图像配准以产生被配准的参考图像，且其中存储所述参考图像包括将被配准的参考图像存储至存储器。
在一公开的实施方案中，投射图样包括将所述图样投射至第一视场，以及其中图像传感器具有与第一视场不同的第二视场。
图像传感器可具有包括参考图像的子集的视场。
通常地，所述装置被配置为通过捕获在所述目标上的图样的测试图像并测量所述测试图像中的图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
通常地，所述方法包括使用参考图像和目标上的图样的图像，生成目标的图。
根据本发明的一实施方案还提供了一种设备，包括：
投射和成像装置，其包括：
投影仪，其投射相干辐射的图样；以及
图像传感器，其捕获被投射至参考面上的相干辐射的图样的参考图像；以及
处理器，其被配置为：
当图像传感器捕获该参考图像时，在所述装置和参考面之间实现相对运动，以及
将该参考图像存储至与所述装置关联的存储器中。
根据本发明的一实施方案还提供了一种设备，包括：
投射和成像装置，其包括：
投影仪，其将一辐射图样投射至一目标；以及
第一个图像传感器，其具有第一光学特性，并捕获目标上的图样的图像；
第二图像传感器，其具有比第一光学特性增强的第二光学特性，并被配置为捕获所投射至参考面上的图样的参考图像；以及
处理器，其被配置为：
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
根据本发明的一实施方案还提供了一种设备，包括：
投射和成像装置，其包括：
投影仪，其投射一辐射图样；以及
图像传感器，其捕获被投射至参考面上的图样的参考图像；以及
处理器，其配置为：
通过将所述图样投射至位于距图像传感器第一距离和第二距离的参考面上，生成参考图像，所述第二距离不同于第一距离；
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
根据本发明的一实施方案还提供了一种方法，包括：
提供将一个图样投射至一个目标上的装置；
通过将该图样投射至下述参考面，使用一个图像传感器捕获该图样的参考图像，该参考面被相关于图像传感器定向，以使参考面的第一区域距图像传感器第一距离，且参考面的第二区域距图像传感器第二距离，该第二距离不同于第一距离；
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
通常地，所述参考面是平坦的，且被定向为与图像传感器的光轴非正交。
参考面在第一距离和第二距离之间可以是弯曲的。所述参考面的曲率被预配置以匹配在图像传感器和被配置为投射图样的投影仪之间的几何差异，从而引入参考图像的恒定收缩率。
根据本发明的实施方案还提供了一种设备，包括：
投射和成像装置，其包括：
投影仪，其将一辐射图样投射至目标上；以及
图像传感器，其捕获被投射至参考面上的图样的参考图像，所述参考面被相关于图像传感器定向，以使参考面的第一区域距图像传感器第一距离，且参考面的第二区域距图像传感器第二距离，该第二距离不同于第一距离；以及
处理器，其配置为：
通过将图样投射至参考面上，使用所述图像传感器捕获所述参考图像，
将所述参考图像在所述装置的参考系内配准，以及
将被配准的参考图像存储至与所述装置关联的存储器中。
附图说明
通过下面结合附图对实施方案所做的详细说明，将使本发明被更充分地理解，在所述附图中：
图1是根据本发明的实施方案的用于生成一参考图像的系统的示意性框图；
图2是描述根据本发明的实施方案的用于获得图1的系统中的所述参考图像的步骤的流程图；
图3是根据本发明的实施方案的用于生成一参考图像的替代系统的示意性框图；
图4是根据本发明的实施方案的用于生成一参考图像的另一替代系统的示意性框图；
图5是描述根据本发明的实施方案的用于获得图4的系统中的所述参考图像的步骤的流程图；
图6是根据本发明的实施方案的用于生成一参考图像的又一替代系统的示意性框图；
图7是描述根据本发明的实施方案的用于获得图6的系统中的所述参考图像的步骤的流程图；
图8是根据本发明的实施方案的用于生成一参考图像的再一替代系统的示意性框图；
图9是根据本发明的实施方案的用于生成一参考图像的另一替代系统的示意性框图；以及
图10是描述根据本发明的实施方案的用于获得图8或图9的系统中的所述参考图像的步骤的流程图；
具体实施方式
概要
本发明的实施方案为生成测试目标的三维(3D)图的装置提供质量改进的参考图像。所述装置将一图样投射至标定物上，并捕获所投射图样的一个图像作为参考图像。所述图样接着被投射至测试目标，所述装置对被投射的图样成像。所述装置测量该测试目标的成像图样相比于所述参考图像的横向移动，以生成关于测试目标的3D图。
在一些实施方案中，所述图样使用相干辐射形成。由标定物的非镜面反射性或粗糙度所造成的参考图像中的散斑，通过在所述装置与标定物之间应用小的相对运动而去除。散斑的去除提高了参考图像的质量。
在一些实施方案中，参考图像是通过捕获投射至标定物的图样的两幅不同图像而形成的。该两幅不同图像彼此配准(register)，并且从所配准的图像生成质量提高的参考图像。
为具体起见，实施方案集中于3D绘图装置，应理解的是，本发明的方法还可有利地应用于任何要求投射图样的图像改进的装置中。
具体说明
现在参考图1，图1是根据本发明的实施方案的用于生成一参考图像的系统20的示意性框图。图1和本公开文本中其他框图都是顶视图。系统20包括投射和成像装置22，其用于进行目标的三维(3D)绘图。类似于装置22的装置的运行和功能在PCT公开文本WO2007/043036中被更加详细地描述，该公开文本被引用在本发明的背景技术部分中。
装置22包括一投影仪26，该投影仪26使用相干辐射源28——通常是一激光二极管——以及一投射光学系统29，以生成辐射图样30。图样30投射在投影仪的视场(FOV)35中，该视场在图1中通过投影仪FOV界线37和39被示意性地示出。投影仪将图样30投射至作为系统20的标定物的参考目标24，且该图样通常在目标24的参考面33上成像为一基本参考31。投射光学系统29可以根据其应用而变化，且可以包括但不限于衍射光学元件投影仪、微球透镜投影仪(micro-lensprojector)、基于漫射体的初级散斑投影仪(diffuser-based primaryspeckle projector)，或其他类型的使用相干光的投影仪。根据具体的投影仪实施方案和装置22的系统要求，所述基本参考可以具有相对复杂的结构。出于明了和简化的目的以及作为实施例，在下述说明中所述基本参考被假定为包括以某种式样分布在参考面上的独特点阵，因此基本参考31也可被称为点阵31。本领域普通技术人员能够将本说明书——在加以必要修改的情况下——应用于具有独立点结构之外的其他结构的基本参考。
装置22还包括一个图像传感器32，这里也被称为装置相机32。装置相机具有视场41，该视场41通过装置相机FOV界线43和45被示意性地示出。相机32被配置为捕获由图样30在阵列34上所形成的点的图像，所述阵列34通常是装置相机中的CCD(电荷耦合元件)阵列或CMOS(互补金属氧化物半导体)。阵列34和相机的光学系统有效地限定了相机32的参考系。投影仪26和装置相机32的视场通常是不同的，但是通过示例方式被假定为在参考目标24处重叠，以使相机所捕获的图像包括被投影仪投射至参考目标上的所有点。
所捕获的图像被系统的处理单元36分析，以生成一参考图像，供装置22在对参考目标之外的目标进行3D绘图时使用。所述目标通过示例方式被假定为包括通过系统20“有待被绘制的目标”，在此也被称为测试目标。
处理单元36包括一处理器38和一存储器40，所述存储器通常包括非易失性部分和易失性部分。处理器38通常将系统运行软件——包括参考图像——存储在存储器40的非易失性部分中。处理单元36可以与装置22物理上分立，或者，处理单元可以与装置22共同集成为单个封装。
处理器38所使用的软件可以例如从互联网上以电子形式被下载至处理单元36，或者该软件可以在诸如CD-ROM的有形介质上被提供给处理单元。
一旦获取并存储了参考图像，装置22和处理单元36便能够进行对测试目标的3D绘图。该3D绘图是通过如下过程进行的：将图样30投射至测试目标上，随之相机32捕获被投射至测试目标上的图样的图像。处理器38测量在测试图像上的图样的点相对于所述参考图像中对应于点31的相对点的局部横向移动。使用横向移动，处理器能够测量被投射至测试目标上的点的位置处所述测试目标的深度。
如上所述，图样30由使用相干光源的光学系统29形成。由于表面33的必然的非镜面性质，该表面上产生所谓的二次散斑。术语“二次”是指示以下情况：这些散斑源于所投射的图样落于其上的表面的粗糙度。二次散斑是由所述表面的邻近区域散射其入射相干辐射使得所散射的辐射相长或相消干涉而引起的。所述邻近区域通常是在其上形成有点31的表面部分内。除了是表面33特性的函数外，二次散斑的特性还依赖于入射相干辐射的性质，还依赖于图像传感器即相机32的数值孔径。
阵列34具有一有限积分时间，通常为大约33毫秒，因此在没有此处描述的实施方案的情况下，二次散斑的图像被倍增地积分至包括参考图像的点图像31。这一积分降低了——在一些情况下是极大地降低了——点图像的对比度。二次散斑的其他不利影响包括以下事实：在所关注的系统中，散斑图像具有单个像素量级的尺寸，且数字地去除散斑是困难的或不可能的。
这些考虑适用于任何使用相干辐射来投射图样的系统，以及适用于任何需要捕获这种图样的场合。此外，所述系统/场合不需要被限制为仅捕获用于3D绘图目的的图像。因此，基本上对于任何相对于图像传感器的积分时间而言静态的以及由相干辐射照射的目标，所捕获的图像将从此处描述的用于去除散斑的方法中获益。
如下所述，本发明的实施方案消除了二次散斑所引起的对参考图像的有害影响。
装置22附接至一个致动器42，该致动器42通常受处理单元36控制。致动器42被配置为用于移动装置22，以使参考目标24及其表面33和图像传感器32之间存在相对运动。所述运动通常被配置为线性或摆动的，而在一些实施方案中，运动的线性方向被选择为平行于表面33。但是，所述运动并不必须是线性、摆动和平行于平面33的，其他类型的运动——诸如振动，或者线性、摆动和正交于表面33——都可以通过单元42应用至装置22。如下所述，所述运动被用于去除二次散斑对参考图像的影响，且本领域普通技术人员能够确定所要应用至装置22的最适合的运动类型，其中无需过度实验。
图2是描述根据本发明的实施方案的用于获得系统20中的参考图像的步骤的流程图50。
在初始步骤52中，投射和成像装置的投影仪26将图样30投射至参考面33上。
在成像步骤54中，阵列34捕获由所投射的图样生成的基本参考31的图像，且在捕获图像的同时，处理单元36致动该致动器42以移动装置22，使所述装置相对于参考面33移动。所应用的运动类型按照参照图1的上文说明进行选择。所述运动的幅度被配置为足以有效地中和在基本参考31的图像上的二次散斑效应，同时将阵列34上的基本参考的图像维持为基本恒定。应理解的是，由于二次散斑的特性，所需运动的幅度较小，通常比相机32分辨率(即一个像素的尺寸的量级)更细，或比阵列34小得多。
在最后一个步骤56中，将所获得的参考图像存储在存储器40中，以供处理器38在对测试目标的3D绘图中使用。
图3是根据本发明的实施方案的用于生成一参考图像的替代系统60的示意性框图。除了下述的差异，系统60的运行与系统20大体类似，且在系统20和60中由相同参考数字指示的元件在结构和运行上大体相似。与移动装置22(如系统20中的)不同的是，在系统60中，移动的是点31形成于其上的参考面。
作为实施例，系统60包括一参考目标62，而不是参考目标24，该参考目标62被形成为封闭环形式的连续片(sheet)64。参考目标62充当系统60的标定物。该片64具有非镜面的外表面66。该片64被安装在辊子68上，该辊子68可以在处理单元36的控制下，被相应的旋转器70旋转。在一些实施方案中，仅使用一个旋转器，其被附接至一个辊子68，另一辊子则自由旋转。因为在系统60中，装置22是不运动的，因此在该系统中不存在致动器42。
辊子68的旋转使表面66平行于自身移动。通常，所述旋转是单向的，以使表面66成环状运动。或者，辊子的旋转可被配置为摆动的，使得表面66也以摆动形式运动。
在系统60中获取所述参考图像大体类似于在上文参照图2所描述的在系统20中获取所述参考图像。因此，投影仪26首先将图样30投射至参考面66，且阵列34捕获由投射的图样所生成的点31的图像。在捕获图像时，处理单元36致动旋转器70以移动表面66，以使所述表面相对于装置22而移动。所述运动的幅度被配置为足以有效地中和阵列34上的所形成的点31的图像的二次散斑效应。和系统20一样，在系统60中，所需运动的幅度较小，通常与系统20中的大小同一量级。
系统60可以包括参考目标62之外的一参考目标，和/或旋转器70之外的用于移动参考目标的工具，因为任何此类系统仅要求所述参考目标相对于装置22运动。因此，用于通过移动所述参考目标来实现相对运动的可替代方法包括但不限于，准备类似于目标24的参考目标，并将类似于致动器42的一个致动器附接至该参考目标。其他类型的参考目标和/或致动器对于本领域普通技术人员是熟知的，并被视为包括在本发明的范围内。
系统20和60可被结合以形成本发明的一组合实施方案。在该组合实施方案中，在通过阵列34获得点31的图像的过程中，装置22和参考目标都是移动的。
图4是根据本发明的实施方案的用于生成参考图像的另一替代系统100的示意性框图。除了下述的差异，系统100的运行与系统20大体类似，且在系统20和100中由相同参考数字指示的元件在结构和运行上大体相似。
与系统20和60不同的是，系统100使用参考目标的两幅不同的图像，如下文所详细描述的。
系统100包括投影和成像装置102，该装置102与装置22大体类似，并包括装置相机32，如上文结合图1所述。装置102还包括一投影仪104，该投影仪104可与投影仪26大体类似，但在系统100中可以包括作为其辐射源的相干源或非相干源。在下文中，为简化起见，投影仪104被设定为包括非相干源106。
在非相干源的情况下，投影仪104包括光学系统108，其取代相干投射光学系统29(诸如漫射体或包含衍射光学元件的系统)，该光学系统108通常具有小数值孔径；以及掩模110。在众多可行的实施方式中，掩模110可以是透光玻片(transmission slide)或者被设计为形成待投射的图样的微球透镜阵列。光学系统108的小数值孔径生成了相应的大的掩模图像景深。通过投影仪对掩模成像形成一图样112，该图样大体类似于图样30(但图样30并不必然由相干辐射形成)。将该图样投射进投影仪视场113，该投影仪视场由投影仪FOV界线115和117示意性地图示。将该图样112投射至表面33上，以形成一基本参考119，基本参考119在此以实施例的方式被设定为包括在表面上的点阵119，该点阵119大体类似于点31。
系统100包括一个图像传感器114，其在此也被称为外部相机114，该外部相机114与装置102分立。外部相机114通常具有比装置相机高得多的质量。因此，这两个相机通常具有至少一种不同的光学特性，诸如不同的视场、不同的分辨率、不同的信噪比，或不同的动态范围。商业上的考虑是通常要求装置相机的成本尽可能低，以使装置22和102的价格尽可能的低。对于外部相机的成本不存在这种顾虑，因为外部相机并不意在与装置22或102一并出售。相反，如下所述，外部相机被用于为装置102生成参考图像，通常在用于所述装置的生产设备内。因此，外部相机114可以具有较装置相机更强的如上所述的一个或多个光学特征。为简单起见，下文的说明设定所述两部相机的光学特性是它们的视场或它们的分辨率，使外部相机114可以具有较装置相机更大的视场，以及/或者可以具有较装置相机更精确的分辨率。虽然装置相机的视场和分辨率根据为装置22或装置102——在此也称为制造装置——所确定的视场而被固定，应理解的是，以较任何特定制造装置更大的视场和/或更高的保真度来形成参考图像通常是有益的。
在下文的说明中，外部相机114被设定为具有较装置相机更大的视场以及更精细的分辨率。只要这些条件中有一项成立，即无论是外部相机的视场比装置相机大，还是外部相机的分辨率比相机精确，则本领域普通技术人员将能够——在加以必要修改的情况下——使用所述描述。
图样112将点119投射至表面33上，所投射的点被设定为包括所投射的点集116。所投射的集116在这里也被称为全集(full set)116。相机114的视场122——由外部相机FOV的界线124和126示意性地示出——被配置为包围所述全集116。相反，装置相机41的视场被配置为包围所述全集的子集118，子集118包括较集合116数量更少的点119。
如上所述，外部相机114的分辨率被设定为较装置相机32的分辨率更精细。作为实施例，该更精细的分辨率被设定为通过如下外部相机114而实现：所述相机包括具有较阵列34中的像素数目更多的像素的像素阵列120。为了与为外部相机设定的更精细的分辨率和更大的视场相一致，外部相机的其他特性和元件也可能需要与装置相机不同。例如，阵列120的区域可能需要大于阵列34的区域。外部相机的光学系统被设定为被相应地调节以提供所需的视场。
图5是描述根据本发明的实施方案的用于获得系统100中的参考图像的步骤的流程图130。该描述通过实施例的方式设定基本参考119包括点阵119。
在初始步骤132中，装置102和外部相机114被定位在已知位置和已知方向上。
在投射和图像捕获步骤134中，投影仪104将图样112投射至参考面33上。阵列34捕获由所投射的图样所生成的点的子集118的图像。此外，阵列120捕获所述点的全集的图像。
在配准步骤136中，将两幅图像传输至处理单元36。该处理单元被配置为使用该两幅图像公共的子集118的点来配准该两幅图像。所述配准可以是本领域公知的任意适宜的图像配准方法。通常地，所使用的方法包括基于特征的算法，处理单元首先识别每幅图像中的点，接着使两幅图像的公共点互相关联。通常地，一幅或该两幅图像可能需要通过图像区域的局部缩放、旋转和/或平移而被局部转换以实现好的配准。虽然局部转换通常是线性的，但是在一些实施方案，该转换也可以是非线性的。此外，利用装置相机、外部相机以及投影仪104的已知位置和方向，处理单元可以应用极线(epipolar)关系或本领域公知的其他几何关系进行配准。
在全局转换(global transformation)步骤138中，处理单元将包括局部转换在内的上述程序结合至外部相机所捕获的图像的全局转换中。全局转换涵盖外部相机的较大视场的点，并且还维持外部相机的更精细的分辨率。该结合步骤可以例如通过使用得自局部转换的参数以估算代表全局转换的多项式的系数而进行。处理单元接着将全局转换应用至由外部相机所捕获的图像，从而产生适合于装置相机使用的图像，也即，相对于装置相机的参考系(在上文参照图1描述)配准的图像。
在最终步骤140中，步骤138中所产生的图像被存储在存储器40中，以供装置相机将该图像作为其参考图像来使用。该参考图像是增强的图像，因为它包括外部相机的更大视场的点，并且还具有外部相机的更精细的分辨率。
图6是根据本发明的实施方案的用于生成参考图像的另一替代系统150的示意性框图。除了下述的差异，系统150的运行与系统100(图4)大体类似，且在系统100和150中相同参考数字所指示的元件在结构和运行上大体相似。
和系统100中的情况一样，系统150使用参考目标24的两幅图像。但是，系统150不包括外部相机114。相反，参考目标24的两幅图像是在当目标在距离一投射和成像装置152不同的距离D1和D2、且D1＞D2时，由装置相机32所形成的，所述投射和成像装置除下文阐述的部分以外，与装置102大体类似。D1和D2通常是平行于相机32的光轴151测量的。
系统150中的投射和成像装置152包括装置相机32和投影仪154。投影仪154基本类似于投影仪104，但也可具有不同视场。投影仪154的视场156——在图6中通过投影仪FOV界线158和160示出——被配置使得当参考目标在距离D1时，通过投影仪投射至参考目标24上的点的子集位于装置相机的视场之内。
在一个实施方案中，目标24被连接至一定位模块162，该定位模块被处理单元36控制。模块162被配置为根据来自处理单元36的指令重新定位参考目标24，并且还被配置为使该处理单元能意识到目标的位置。可替代地或附加地，将大体类似于模块162的定位模块连接至装置152，以使所述装置可以被单元36定位在已知的位置上。还可替代地，位于距离D1和D2的参考目标可被定位在不同的物理位置，而装置152被静态地定位在这些位置，在这种情况下，不需要定位模块162。
图7是描述根据本发明的实施方案的用于获得系统150中的参考图像的步骤的流程图180。在该描述中，装置和参考目标之间的不同距离被设定为使用模块162实现。该描述通过实施例的形式设定，基本参考119包括点阵119。
在初始步骤182中，模块162将参考目标24定位在远处位置PF，使其与装置152之间的距离为D1。
在第一投射和成像步骤184中，投影仪154将其点119的图样投射至参考目标的表面33上，且相机32捕获该表面的第一图像。该第一图像在此也被称为远距图像。
在第二投射和成像步骤186中，模块162将参考目标定位在近处位置PN，使其与装置152之间的距离为小于D1的D2。如图6中所示，在所述近处位置，点119的子集164位于装置相机的视场中，而点的子集166不在相机的视场中。但是，对应于子集166的点在远处位置PF位于相机的视场中。此外，子集164包括点119的另一子集168，子集168在近处位置PN位于相机的视场内，但在远处位置PF则不在相机的视场内。
在第三投射和成像步骤188中，当参考目标在近处位置PN时，装置相机32捕获表面33的第二图像。该第二图像在此也被称为近距图像。
在配准步骤190中，处理单元36使用两幅图像公共的点将远距图像和近距图像进行配准。该配准大体如流程图130的配准步骤136——在加以必要修改的情况下——所述，使用适合于系统150的局部转换和几何关系，诸如可根据所述图像的已知距离D1和D2而加以应用的关系。
在全局转换步骤192中，处理单元将配准步骤中进行的程序结合至将远距图像的点转换到近距图像上的全局转换中。转换步骤192在加以必要修改的情况下与流程图130的转换步骤138大体类似。在转换步骤192中，处理单元在近处位置PN处产生包括远距图像的所有点的参考图像。该参考图像因此对应于一个大于实际FOV的有效视场，如图6所示，因为参考图像包括点119的子集166的位置。
重新参考图6，该图图示了本发明的实施方案的参考图像的有益性质：参考图像的子集对应于距所述装置不同距离处的装置FOV。换言之，参考图像通常包括在特定距离的装置FOV的超集(superset)。这一性质在参照结合子集166的上述说明中得到阐释，所述子集166如上所述位于远位置FOV中但不位于近处位置FOV中；且也在结合子集168的说明中得到解释，所述子集168位于近处位置FOV中但不位于远位置FOV中。
继续所述流程图180，在最终步骤194中，处理单元36将步骤190中产生的参考图像存储在存储器40中。
结合系统100和150的上述说明设定了捕获和配准两幅图像以产生用于所述系统的增强的参考图像。本领域普通技术人员将能够将所述说明用于捕获和配准不止两幅图像的情况，以便产生进一步增强的参考图像，且这样的情况被视为包括在本发明的范围内。
图8是根据本发明的实施方案的用于生成参考图像的另一替代系统250的示意性框图。除了下述的差异，系统250的运行与系统150(图6)大体类似，且在系统250和150中相同参考数字所指示的元件在结构和运行上大体相似。
与系统150不同的是，系统250不包括定位模块162或参考目标24。相反，系统250包括参考目标252，该参考目标252具有平行于光轴151测量时、与装置152具有不同距离的表面255，因此所述表面不必定向为正交于光轴。通过实施例的方式，表面255被设定为在参考目标的点251处与装置152之间的距离为D1，在参考目标的点253处与装置152之间的距离为D2。点阵119被投射至表面255。
在系统250中，参考目标252及其表面被设定为弯曲的，通常在基本平行于装置152的三角测量基线(triangulation base)(连接相机32和投影仪154的矢量)的维度下。通常地，曲率被预先配置为匹配装置152的相机32和投影仪154之间的几何差异(geometricaldisparity)，以在相机32所捕获的参考图像中引入恒定的收缩率。
在图8中，线258对应于来自投影仪154的投射的第一方向。线258从光学系统108中传出穿过一个点254，该点254与装置152之间的距离为D2并位于界线45上。线260对应于来自投影仪154的投射的第二方向。线260从光学系统108中传出穿过一个点256，该点256与装置152之间的距离为D1并位于界线43上。
投影仪界线158和160以及线258和260限定表面255上的点119的子集。子集258由线160和258限定；子集260由线258和260限定；子集262由线260和158限定。因此，在表面255上生成的参考图像包括相机32所捕获的距离相机不同距离处的图像子集。
图9是根据本发明的实施方案的用于生成参考图像的又一替代系统270的示意性框图。除了下述的差异，系统270的运行与系统250(图8)的运行大体类似，且在系统270和250中由相同参考数字所标示的元件在结构和运行上大体相似。
在系统270中，一参考目标272替代系统250的参考目标252。参考目标272包括不与轴151正交的平坦表面273。在系统270中，平坦表面与装置152之间的距离从D1变化至D2。和系统250一样，在系统270中，投影仪界线158和160以及线258和260限定表面273上的点119的子集。子集274由线160和258限定；子集276由线258和260限定；子集278由线260和158限定。子集274、276和278分别对应于系统250(图8)的子集258、260和262，因此，和系统250一样，在表面273上生成的参考图像包括相机32所捕获的距离相机不同距离处的图像子集。
图8和9说明阐释了系统250和270的性质：使用涵盖投影仪的较宽视场的一个参考目标，使得能够为具有较投影仪更小的视场的相机生成多个参考图像。
图10是描述根据本发明的实施方案的用于获得系统250或系统270中的参考图像的步骤的流程图300。为了简化和清楚起见，该描述有关于系统250。本领域普通技术人员将能够在加以必要修改的情况下将该流程图的描述适用于系统270。该说明以实施例的方式描述设定，基本参考119包括点阵119。
在一初始步骤302中，参考目标252被放置在装置152之前，投影仪154将点119投射至参考目标的表面上。距离D1和D2被选择为覆盖一个所需的距离范围，该距离范围通常包括装置152的所有工作距离。
在图像捕获步骤304中，相机32捕获所投射的点的图像。
在分析步骤306中，处理单元36分析所述图像。该分析在需要时矫直所述图像和/或允许产生所述装置的深度精确度曲线，以产生一参考图像。该参考图像在装置152的全部视场和装置的全部工作距离内均是有效的，并相对于相机的参考系配准。
在最终步骤308中，参考图像被存储在存储器40中，以供处理器38在测试目标的3D绘图中使用。
可以将本发明的实施方案结合以产生增强的参考图像。例如，如果系统100中的投影仪被配置为使用相干辐射，引入该系统100的二次散斑可以使用系统20被消除。同样地，二次散斑也可以使用系统20而在系统250和270中被消除。因此可以认识到，上述的实施方案以实施例的方式被引用，而本发明并不限于在上文所具体示出和所描述的。相反，本发明的范围包括上文描述的各种特征的组合和子组合，以及本领域普通技术人员在阅读上述说明书时能够想到的、未被现有技术公开的对上述特征的变更和修改。

Claims (52)

1.一种方法，包括：
提供投射一个相干辐射的图样的装置；
通过将该相干辐射的图样投射至一个参考面，使用一个图像传感器捕获该图样的参考图像，并且在捕获该参考图像时，在参考面和图像传感器之间产生相对运动；以及
将该参考图像存储至与所述装置关联的存储器。
2.根据权利要求1所述的方法，其中产生相对运动包括将一个致动器连接至所述装置，并在捕获所述参考图像时致动该致动器。
3.根据权利要求1所述的方法，其中产生相对运动包括将一个致动器连接至包括参考面的参考目标，并在捕获参考图像时致动该致动器。
4.根据权利要求1所述的方法，其中产生相对运动包括平行于参考面移动所述装置。
5.根据权利要求1所述的方法，其中产生相对运动包括平行于参考面自身移动该参考面。
6.根据权利要求1所述的方法，其中产生相对运动包括选择相对运动的幅度以中和参考面处所生成的二次散斑效应。
7.根据权利要求1所述的方法，其中产生相对运动包括响应于图像传感器的分辨率选择相对运动的幅度。
8.根据权利要求1所述的方法，其中所述装置包括图像传感器，所述方法还包括：
使用所述装置外部的另一个图像传感器捕获被投射至参考面上的图样的替代图像；
将所述参考图像与该替代图像配准；以及
根据所配准的参考图像和替代图像产生一改进的参考图像；
其中将所述参考图像存储至存储器包括，将该改进的参考图像存储至存储器。
9.根据权利要求1所述的方法，其中捕获所述参考图像包括：
当参考面距离所述装置第一距离时，捕获所述图样的第一图像，当参考面距离所述装置第二距离时，捕获所述图样的第二图像，所述第二距离不同于第一距离；以及
将所述第一图像和第二图像配准以产生一个替代参考图像，
其中将所述参考图像存储至存储器中包括，将该替代参考图像存储至存储器中。
10.根据权利要求1所述的方法，其中捕获所述参考图像包括：
当参考面距所述装置第一距离时，捕获所述图样的第一图像，当参考面距所述装置第二距离时，捕获所述图样的第二图像，所述第二距离不同于第一距离；所述第一图像和第二图像被配置为将被配准以产生一个替代参考图像；以及
将所述第一图像和第二图像存储至所述存储器。
11.根据权利要求1所述的方法，其中所述装置被配置为通过捕获目标上的图样的测试图像并测量测试图像中的所述图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
12.根据权利要求11所述的方法，其中所述装置包括图像传感器，其中捕获所述测试图像包括使用图像传感器捕获所述测试图像。
13.根据权利要求1所述的方法，其中所述图像传感器具有一积分时间，且其中所述参考面依积分时间来衡量是静态的。
14.一种方法，包括：
提供一种如下装置，该装置将一个图样投射至一个目标上，并使用具有第一光学特性的第一个图像传感器捕获该目标上的图样的图像；
通过将所述图样投射至一个参考面上，使用第二图像传感器捕获所述图样的参考图像，该第二传感器具有相对于第一光学特性增强的第二光学特性；
将所述参考图像在所述装置的参考系内配准；以及
将所述参考图像存储至与所述装置关联的存储器中。
15.根据权利要求14所述的方法，其中捕获参考图像包括使用第一图像传感器捕获被投射至参考面上的图样的第一图像，以及使用第二图像传感器捕获被投射至参考面上的图样的第二图像，以及其中将参考图像配准包括将所述第一图像和第二图像配准以产生被配准的参考图像，且其中存储所述参考图像包括将被配准的参考图像存储至存储器。
16.根据权利要求14所述的方法，其中所述装置包括第一图像传感器，且其中第二图像传感器在所述装置外部且与该装置分立。
17.根据权利要求14所述的方法，其中所述图样是使用非相干辐射而被投射的。
18.根据权利要求14所述的方法，其中所述第一光学特性和第二光学特性包括各自的视场、各自的分辨率、各自的信噪比，以及各自的动态范围中的至少一项。
19.根据权利要求14所述的方法，其中所述装置被配置为通过捕获在所述目标上的图样的测试图像并测量所述测试图像中的图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
20.根据权利要求14所述的方法，其中所述方法还包括使用参考图像和在目标上的图样的图像来生成目标的图。
21.一种方法，包括：
提供将一个图样投射至一个目标上的装置；
通过将该图样投射至距图像传感器第一距离和第二距离的参考面上，使用一个图像传感器捕获所述图样的参考图像，所述第二距离不同于第一距离；
将该参考图像在所述装置的参考系内配准；以及
将该参考图像存储在与所述装置关联的存储器中。
22.根据权利要求21所述的方法，其中捕获所述参考图像包括使用图像传感器捕获被投射至位于第一距离的参考面上的图样的第一图像，以及使用图像传感器捕获被投射至位于第二表面的参考面上的图样的第二图像，以及其中配准所述参考图像包括将第一图像和第二图像配准以产生被配准的参考图像，且其中存储所述参考图像包括将被配准的参考图像存储至存储器。
23.根据权利要求21所述的方法，其中投射所述图样包括将该图样投射至第一视场，以及其中所述图像传感器具有与第一视场不同的第二视场。
24.根据权利要求21所述的方法，其中所述装置被配置为通过捕获在所述目标上的图样的测试图像并测量所述测试图像中的图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
25.根据权利要求21所述的方法，其中包括使用参考图像和目标上的图样的图像，生成目标的图。
26.一种设备，包括：
投射和成像装置，其包括：
投影仪，其投射相干辐射的图样；以及
图像传感器，其捕获被投射至参考面上的相干辐射的图样的参
考图像；以及
处理器，其被配置为：
当图像传感器捕获该参考图像时，在所述装置和参考面之间实现相对运动，以及
将该参考图像存储至与所述装置关联的存储器中。
27.根据权利要求26所述的设备，其中包括连接至所述装置的致动器，且其中所述处理器被配置为当图像传感器捕获参考图像时致动该致动器。
28.根据权利要求26所述的设备，其中包括连接至包括参考面的参考目标的致动器，且其中所述处理器被配置为当图像传感器捕获参考图像时致动该致动器。
29.根据权利要求26所述的设备，其中实现相对运动包括平行于参考面移动所述装置。
30.根据权利要求26所述的设备，其中实现相对运动包括平行于参考面自身移动该参考面。
31.根据权利要求26所述的设备，其中实现相对运动包括选择相对运动的幅度以中和参考面处生成的二次散斑效应。
32.根据权利要求26所述的设备，其中实现相对运动包括响应于图像传感器的分辨率选择相对运动的幅度。
33.根据权利要求26所述的设备，其中通常地，所述装置被配置为通过捕获目标上的图样的测试图像并测量测试图像中的所述图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
34.根据权利要求26所述的设备，其中所述图像传感器具有一积分时间，且其中所述参考面依积分时间来衡量是静态的。
35.一种设备，包括：
投射和成像装置，其包括：
投影仪，其将一辐射图样投射至一目标；以及
第一个图像传感器，其具有第一光学特性，并捕获目标上的图样的图像；
第二图像传感器，其具有比第一光学特性增强的第二光学特性，并被配置为捕获所投射至参考面上的图样的参考图像；以及
处理器，其被配置为：
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
36.根据权利要求35所述的设备，其中包括使用第一图像传感器捕获被投射至参考面上的图样的第一图像，以及使用第二图像传感器捕获被投射至参考面上的图样的第二图像，其中配准所述参考图像包括：配准第一图像和第二图像以产生被配准的参考图像，其中存储参考图像包括将被配准的参考图像存储至存储器。
37.根据权利要求35所述的设备，其中第二图像传感器在所述装置外部且与该装置分立。
38.根据权利要求35所述的设备，其中投影仪使用非相干辐射投射所述图样。
39.根据权利要求35所述的设备，其中第二图像传感器具有较第一个图像传感器更大的视场。
40.根据权利要求35所述的设备，其中所述第一和第二光学特性包括各自的视场、各自的分辨率、各自的信噪比，以及各自的动态范围中的至少一项。
41.根据权利要求35所述的设备，其中所述装置被配置为通过捕获目标上的图样的测试图像并测量测试图像中的所述图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
42.一种设备，包括：
投射和成像装置，其包括：
投影仪，其投射一辐射图样；以及
图像传感器，其捕获被投射至参考面上的图样的参考图像；以及
处理器，其配置为：
通过将所述图样投射至位于距图像传感器第一距离和第二距离的参考面上，生成参考图像，所述第二距离不同于第一距离；
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
43.根据权利要求42所述的设备，其中投射所述图样包括将图样投射至第一视场，以及其中所述图像传感器具有与第一视场不同的第二视场。
44.根据权利要求42所述的设备，其中所述装置被配置为通过捕获目标上的图样的测试图像并测量测试图像中的所述图样相对于参考图像的局部横向移动，来生成目标的三维(3D)图。
45.一种方法，包括：
提供将一个图样投射至一个目标上的装置；
通过将该图样投射至下述参考面，使用一个图像传感器捕获该图样的参考图像，该参考面被相关于图像传感器定向，以使参考面的第一区域距图像传感器第一距离，且参考面的第二区域距图像传感器第二距离，该第二距离不同于第一距离；
将所述参考图像在所述装置的参考系内配准；以及
将被配准的参考图像存储至与所述装置关联的存储器中。
46.根据权利要求45所述的设备，其中所述参考面是平坦的，且被定向为与图像传感器的光轴非正交。
47.根据权利要求45所述的设备，其中所述参考面在第一距离和第二距离之间是弯曲的。
48.根据权利要求47所述的设备，其中所述参考面的曲率被预配置以匹配在图像传感器和被配置为投射图样的投影仪之间的几何差异，从而引入参考图像的恒定收缩率。
49.一种设备，包括：
投射和成像装置，其包括：
投影仪，其将一辐射图样投射至目标上；以及
图像传感器，其捕获被投射至参考面上的图样的参考图像，所述参考面被相关于图像传感器定向，以使参考面的第一区域距图像传感器第一距离，且参考面的第二区域距图像传感器第二距离，该第二距离不同于第一距离；以及
处理器，其配置为：
通过将图样投射至参考面上，使用所述图像传感器捕获所述参考图像，
将所述参考图像在所述装置的参考系内配准，以及
将被配准的参考图像存储至与所述装置关联的存储器中。
50.根据权利要求49所述的设备，其中所述参考面是平坦的，且被定向为与图像传感器的光轴非正交。
51.根据权利要求49所述的设备，其中所述参考面在第一距离和第二距离之间是弯曲的。
52.根据权利要求51所述的设备，其中所述参考面的曲率被预配置以匹配在图像传感器和投影仪之间的几何差异，从而引入所述参考图像的恒定收缩率。
CN201010122081.4A 2009-03-05 2010-03-02 用于三维传感的参考图像技术 Expired - Fee Related CN101825431B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15756009P 2009-03-05 2009-03-05
US61/157,560 2009-03-05
US12/707,678 US8786682B2 (en) 2009-03-05 2010-02-18 Reference image techniques for three-dimensional sensing
US12/707,678 2010-02-18

Publications (2)

Publication Number Publication Date
CN101825431A true CN101825431A (zh) 2010-09-08
CN101825431B CN101825431B (zh) 2014-12-24

Family

ID=42677901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010122081.4A Expired - Fee Related CN101825431B (zh) 2009-03-05 2010-03-02 用于三维传感的参考图像技术

Country Status (3)

Country Link
US (2) US8786682B2 (zh)
CN (1) CN101825431B (zh)
TW (1) TWI480832B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651076A (zh) * 2011-02-25 2012-08-29 财团法人资讯工业策进会 绘图系统及其投影方法
CN103424077A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 运动检测装置、检测方法和电子设备
CN103854017A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种采集图像信息的方法及电子设备
CN104160240A (zh) * 2012-02-15 2014-11-19 普莱姆森斯有限公司 扫描深度引擎
CN104918031A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 深度恢复设备和方法
CN105306922A (zh) * 2014-07-14 2016-02-03 联想(北京)有限公司 一种深度相机参考图的获取方法和装置
CN106875435A (zh) * 2016-12-14 2017-06-20 深圳奥比中光科技有限公司 获取深度图像的方法及系统
CN108955749A (zh) * 2017-05-18 2018-12-07 东京威尔斯股份有限公司 工件外观检查装置以及工件外观检查方法
CN111239708A (zh) * 2015-12-20 2020-06-05 苹果公司 光检测和测距传感器

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
DE112009001652T5 (de) 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
CN103053167B (zh) 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
CN102466479B (zh) * 2010-11-16 2013-08-21 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
WO2012066501A1 (en) 2010-11-19 2012-05-24 Primesense Ltd. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
GB2518769A (en) 2011-03-03 2015-04-01 Faro Tech Inc Target apparatus and method
US8445878B2 (en) 2011-03-16 2013-05-21 Controlrad Systems, Inc. Radiation control and minimization system and method
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
KR101845226B1 (ko) 2011-07-01 2018-05-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
KR101823347B1 (ko) * 2011-07-08 2018-02-01 삼성전자주식회사 센서와 이를 포함하는 데이터 처리 시스템
US9033516B2 (en) * 2011-09-27 2015-05-19 Qualcomm Incorporated Determining motion of projection device
CN104094081A (zh) 2012-01-27 2014-10-08 法罗技术股份有限公司 利用条形码识别的检查方法
DE102012103766A1 (de) 2012-04-27 2013-10-31 Bircher Reglomat Ag Verfahren zur Kontrolle und/oder Überwachung der Bereiche um wiederverschliessbare Gebäudeöffnungen
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
JP6082556B2 (ja) * 2012-09-28 2017-02-15 日立オートモティブシステムズ株式会社 撮像装置
DE102012112321B4 (de) 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
TWI591584B (zh) * 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
JP6089722B2 (ja) * 2013-01-23 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102013002399B4 (de) * 2013-02-13 2016-12-22 Chromasens Gmbh Vorrichtung zur Generierung von Lichtmustern mit einer eindimensional fokussierten Beleuchtungseinrichtung
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP6355710B2 (ja) * 2013-03-15 2018-07-11 ファロ テクノロジーズ インコーポレーテッド 非接触型光学三次元測定装置
US20160262685A1 (en) 2013-11-12 2016-09-15 Highland Instruments, Inc. Motion analysis systemsand methods of use thereof
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
FR3021784B1 (fr) * 2014-05-27 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de projection de donnees virtuelles et dispositif permettant cette projection
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
US9503708B2 (en) * 2014-11-03 2016-11-22 Aquifi, Inc. Systems and methods for reducing z-thickness and zero-order effects in depth cameras
US10432842B2 (en) * 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
US10528840B2 (en) 2015-06-24 2020-01-07 Stryker Corporation Method and system for surgical instrumentation setup and user preferences
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9961318B2 (en) * 2016-01-20 2018-05-01 Seiko Epson Corporation Projector
JP6878816B2 (ja) * 2016-01-20 2021-06-02 セイコーエプソン株式会社 プロジェクター
TWI651513B (zh) 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
US10666927B2 (en) * 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
EP3444782B1 (en) 2017-08-19 2022-03-30 Cognex Corporation Coding distance topologies for structured light patterns for 3d reconstruction
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
WO2019213760A1 (en) 2018-05-10 2019-11-14 Daniel Licht System, method, and kit for using triggering objects to create concatenated audio/video
US10638104B2 (en) * 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US10861726B2 (en) * 2018-09-21 2020-12-08 Advanced Semiconductor Engineering, Inc. Apparatus and method for measuring warpage
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device
US20210158552A1 (en) * 2019-11-22 2021-05-27 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
WO2023195911A1 (en) * 2022-04-05 2023-10-12 Ams-Osram Asia Pacific Pte. Ltd. Calibration of depth map generating system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61241612A (ja) * 1985-04-19 1986-10-27 Kinkashiya:Kk ３次元形状計測システム
CN1860411A (zh) * 2003-09-30 2006-11-08 松下电器产业株式会社 显示装置
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统
CN101329163A (zh) * 2008-07-15 2008-12-24 合肥工业大学 基于双目的三维表面建模系统
CN201259570Y (zh) * 2008-05-27 2009-06-17 北京中视中科光电技术有限公司 一种消相干装置

Family Cites Families (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) * 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) * 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US5075562A (en) * 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5289261A (en) * 1991-09-17 1994-02-22 Opton, Co., Ltd. Device for measuring a three-dimensional shape of an elongate member
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
EP0559978B1 (en) * 1992-03-12 1998-08-05 International Business Machines Corporation Image processing method
US5636025A (en) * 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) * 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) * 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CA2227183A1 (en) * 1995-07-18 1997-02-06 Kevin G. Harding Moire interferometry system and method with extended imaging depth
JPH09261535A (ja) * 1996-03-25 1997-10-03 Sharp Corp 撮像装置
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) * 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) * 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
CA2275411A1 (en) 1996-12-20 1998-07-02 Lifef/X Networks, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) * 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
DE19815201A1 (de) * 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6731391B1 (en) * 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) * 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) * 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) * 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) * 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) * 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
JP4560869B2 (ja) * 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) * 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) * 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) * 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) * 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
AU2002354681A1 (en) * 2001-07-13 2003-01-29 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) * 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) * 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) * 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) * 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) * 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
TWI291040B (en) * 2002-11-21 2007-12-11 Solvision Inc Fast 3D height measurement method and system
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) * 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) * 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) * 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
CA2435935A1 (en) * 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
EP1649423B1 (en) * 2003-07-24 2008-08-13 Cognitens Ltd. Method and sytem for the three-dimensional surface reconstruction of an object
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US6934018B2 (en) * 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7187437B2 (en) * 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7250949B2 (en) * 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US20050135555A1 (en) * 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) * 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
EP1787157B1 (en) * 2004-07-23 2014-09-24 GE Healthcare Niagara Inc. Apparatus for fluorescent confocal microscopy
US20060017656A1 (en) * 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
KR101183000B1 (ko) * 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) * 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) * 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP2657761A3 (en) 2005-04-06 2013-12-25 Dimensional Photonics International, Inc. Multiple channel interferometric surface contour measurement system
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US7760173B2 (en) * 2005-07-11 2010-07-20 Casio Computer Co., Ltd. Projection display apparatus having image modulation timing changing function
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US8050461B2 (en) * 2005-10-11 2011-11-01 Primesense Ltd. Depth-varying light fields for three dimensional sensing
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP1949339A2 (en) * 2005-11-04 2008-07-30 Clean Earth Technologies, Llc Tracking using an elastic cluster of trackers
US8157381B2 (en) * 2005-12-21 2012-04-17 International Business Machines Corporation Method to synchronize stereographic hardware to sequential color rendering apparatus
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
JP5249221B2 (ja) 2006-09-04 2013-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像から奥行きマップを決定する方法、奥行きマップを決定する装置
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8542421B2 (en) 2006-11-17 2013-09-24 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
AU2008244494B2 (en) 2007-04-23 2010-10-21 California Institute Of Technology Single-lens 3-D imaging device using a polarization-coded aperture mask combined with a polarization-sensitive sensor
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
CA2693666A1 (en) 2007-07-12 2009-01-15 Izzat H. Izzat System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
WO2009093228A2 (en) 2008-01-21 2009-07-30 Prime Sense Ltd. Optical designs for zero order reduction
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
TWM352201U (en) * 2008-10-15 2009-03-01 Nat Applied Res Laboratories Projection auxiliary device for rapid adjustment of 3-D stereoscopic image
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61241612A (ja) * 1985-04-19 1986-10-27 Kinkashiya:Kk ３次元形状計測システム
CN1860411A (zh) * 2003-09-30 2006-11-08 松下电器产业株式会社 显示装置
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统
CN201259570Y (zh) * 2008-05-27 2009-06-17 北京中视中科光电技术有限公司 一种消相干装置
CN101329163A (zh) * 2008-07-15 2008-12-24 合肥工业大学 基于双目的三维表面建模系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIKAEL SJO¨ DAHL AND PER SYNNERGREN: "Measurement of shape by using projected random patterns and temporal digital speckle photography", 《APPLIED OPTICS》 *
吴庆阳: "线结构光三维传感中关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651076A (zh) * 2011-02-25 2012-08-29 财团法人资讯工业策进会 绘图系统及其投影方法
CN104160240A (zh) * 2012-02-15 2014-11-19 普莱姆森斯有限公司 扫描深度引擎
CN103424077A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 运动检测装置、检测方法和电子设备
CN103854017A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种采集图像信息的方法及电子设备
CN103854017B (zh) * 2012-12-03 2017-03-01 联想(北京)有限公司 一种采集图像信息的方法及电子设备
CN104918031A (zh) * 2014-03-10 2015-09-16 联想(北京)有限公司 深度恢复设备和方法
CN105306922A (zh) * 2014-07-14 2016-02-03 联想(北京)有限公司 一种深度相机参考图的获取方法和装置
CN105306922B (zh) * 2014-07-14 2017-09-29 联想(北京)有限公司 一种深度相机参考图的获取方法和装置
CN111239708A (zh) * 2015-12-20 2020-06-05 苹果公司 光检测和测距传感器
CN111239708B (zh) * 2015-12-20 2024-01-09 苹果公司 光检测和测距传感器
CN106875435A (zh) * 2016-12-14 2017-06-20 深圳奥比中光科技有限公司 获取深度图像的方法及系统
CN108955749A (zh) * 2017-05-18 2018-12-07 东京威尔斯股份有限公司 工件外观检查装置以及工件外观检查方法

Also Published As

Publication number Publication date
US9386299B2 (en) 2016-07-05
US20140285638A1 (en) 2014-09-25
TWI480832B (zh) 2015-04-11
CN101825431B (zh) 2014-12-24
TW201033938A (en) 2010-09-16
US8786682B2 (en) 2014-07-22
US20100225746A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
CN101825431B (zh) 用于三维传感的参考图像技术
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN101755190B (zh) 校准方法、校准装置及具备该校准装置的校准系统
JP3983573B2 (ja) ステレオ画像特性検査システム
US10218955B2 (en) Motion blur compensation
KR101601331B1 (ko) 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
JP3728900B2 (ja) キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
US20160044301A1 (en) 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
EP3069100B1 (en) 3d mapping device
CN102365522A (zh) 三维形状计测装置、方法及程序
KR20080111474A (ko) 스페클 패턴을 이용한 3차원 센싱
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
WO2017090426A1 (ja) 物体測定装置及び物体測定方法
CN104142133A (zh) 用于确定机械部件位置的装置
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
WO2015023483A1 (en) 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN101720476A (zh) 用于测量物体距离的特征检测装置和方法
US20050206874A1 (en) Apparatus and method for determining the range of remote point light sources
JP2020030221A (ja) 校正方法、校正装置、計測用具及びプログラム
CN112415010A (zh) 一种成像检测方法及系统
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
CN110322561A (zh) 用于机器人无序分拣的3d相机及其测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141023

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141023

Address after: American California

Applicant after: APPLE Inc.

Address before: Israel Ramat Hasayue

Applicant before: Primsens GmbH

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141224

CF01 Termination of patent right due to non-payment of annual fee