CN109635619B - 用于三维重建的结构化光图案的编码距离拓扑 - Google Patents
用于三维重建的结构化光图案的编码距离拓扑 Download PDFInfo
- Publication number
- CN109635619B CN109635619B CN201810941407.2A CN201810941407A CN109635619B CN 109635619 B CN109635619 B CN 109635619B CN 201810941407 A CN201810941407 A CN 201810941407A CN 109635619 B CN109635619 B CN 109635619B
- Authority
- CN
- China
- Prior art keywords
- symbols
- symbol
- arrangement
- pattern
- patterns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
提供了用于三维重建的结构化光图案的编码距离拓扑。根据各实施例提供了3D测量和/或图案生成方法、系统和装置。实施例包括图案投影方法,其可以包括投影一个或更多个图案。来自一个或更多个图案的每个图案可以包括三个或更多个符号的布置,该三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。一些实施方式还包括:使用所投影的一个或更多个图案照射对象;收集被照射对象的一个或更多个图像;以及/或者基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算被照射对象的一个或更多个3D位置。
Description
背景技术
可以使用包括点、线、条纹等的范围广泛的空间图案特征来获得三维(3D)位置。可以利用这些特征的各种调制——包括相位调制、幅度调制、位置调制等——来对空间图案内的测量信息进行编码。一类图案编码例如可以论述图案可以如何包括附加代码字(codeword)信息以识别图案内的各个特征。
因此可能需要可以超越利用信息编码的图案的当前使用的工具和技术。
发明内容
根据各种实施方式提供了用于3D测量和/或图案生成的方法、系统和装置。不同的实施方式总体上涉及用于投影结构化光图案和3D测量的装置、系统和方法。
例如,一些实施方式包括用于3D测量的系统,该系统可以包括发射一个或更多个图案的图案投影仪。来自一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。所述系统可以包括成像器。所述系统可以包括处理器,该处理器基于至少以下操作来估计对象上的一个或更多个3D位置:使用从图案投影仪投影的一个或更多个图案来照射对象;使用成像器收集被照射的对象的一个或更多个图像;以及/或者基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算对象上的一个或更多个3D位置。
在所述系统的一些实施方式中,三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,三个或更多个符号被布置成使得:对于布置中的每个符号,所述符号与布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的较远端的剩余符号之间的相似度。在一些实施方式中,来自所述三个或更多个符号的最接近符号对的汉明距离(Hamming distance)大于来自所述三个或更多个符号的最远符号对的汉明距离。
在所述系统的一些实施方式中,所述三个或更多个符号的布置被重复。在一些实施方式中,三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自三个或更多个符号的同一符号对照射并且被收集在一个或更多个图像上。在一些实施方式中,图案投影仪照射限于特定距离范围的对象。在一些实施方式中,至少图案投影仪、成像器或处理器被动态地配置用于一个或更多个工作范围。
在所述系统的一些实施方式中,对来自布置的剩余符号的最远端和来自布置的剩余符号的最近端的评估沿单一方向发生。在一些实施方式中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。在一些实施方式中,至少图案投影仪、成像器或处理器被动态地配置用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个3D位置中的对象上的每个相应3D位置的计算利用与图案的不宽于块宽度的区域有关的信息。
一些实施方式包括图案投影装置,该图案投影装置可以包括发射一个或更多个图案的一个或更多个图案生成器。来自所述一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。
在所述装置的一些实施方式中,所述三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,所述三个或更多个符号被布置成使得:对于布置中的每个符号,所述符号与布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的较远端的剩余符号之间的相似度。
在所述装置的一些实施方式中,来自所述三个或更多个符号的最接近符号对的汉明距离大于来自所述三个或更多个符号的最远符号对的汉明距离。在一些实施方式中,所述三个或更多个符号的布置被重复。在一些实施方式中,所述三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自所述三个或更多个符号的同一符号对照射。在一些实施方式中,所述一个或更多个图案生成器被配置成照射限于特定距离范围的对象。在一些实施方式中,一个或更多个图案生成器被动态地配置用于一个或更多个工作范围。
在所述装置的一些实施方式中,对来自布置的剩余符号的最远端和来自布置的剩余符号的最近端的评估沿单一方向发生。在一些实施方式中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。
在所述装置的一些实施方式中,所述一个或更多个图案生成器被动态地配置用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对于对象上的三维位置的计算利用与图案的不宽于块宽度的区域有关的信息。
一些实施方式包括图案投影方法,其可以包括对一个或更多个图案进行投影。来自所述一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。
所述方法的一些实施方式还可以包括:使用所投影的一个或更多个图案来照射对象;收集被照射的对象的一个或更多个图像;以及/或者基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算被照射的对象的一个或更多个3D位置。
在所述方法的一些实施方式中,所述三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,与在所述一个或更多个图案的相应图案中的来自所述三个或更多个符号的稍远(less distal)的符号对相比,在来自所述一个或多个图案的所述相应图案中的来自所述三个或更多个符号的较接近的符号对较不相似。在一些实施方式中,来自所述三个或更多个符号的最接近符号对的汉明距离大于来自所述三个或更多个符号的最远符号对的汉明距离。
在所述方法的一些实施方式中,所述三个或更多个符号的布置被重复。在一些实施方式中,所述三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自所述三个或更多个符号的同一符号对照射。在一些实施方式中,照射被配置成照射限于特定距离范围的对象。
所述方法的一些实施方式包括:动态地配置至少投影、照射、收集、或计算以用于一个或更多个工作范围。
在所述方法的一些实施方式中,对来自布置的剩余符号的最远端和来自布置的剩余符号的最近端的评估沿单一方向发生。在一些实施方式中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。
所述方法的一些实施方式包括:动态地配置至少投影、照射、收集、或计算以用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个3D位置中的对象上的每个相应3D位置的计算利用与图案的不宽于块宽度的区域有关的信息。
一些实施方式包括如在详细描述中描述的并且/或者在附图中示出的方法、系统和/或装置。
前文已经相当广泛地概述了根据本公开内容的示例的特征和技术优点,以便使下面的详细描述可以被更好地理解。在下文中将描述附加特征和优点。所公开的构思和具体示例可以容易地用作修改或设计用于实现本公开内容的相同目的的其他结构的基础。这样的等效结构未脱离所附权利要求书的精神和范围。当结合附图考虑时,根据以下描述将更好地理解关于它们的组织和操作方法两者被认为是本文中公开的构思的特性的特征、以及相关联的优点。附图中的每一个是仅出于说明和描述的目的而提供的,而非作为对权利要求书的限制的定义。
附图说明
通过参照以下附图可以实现对不同实施方式的本质和优点的进一步理解。在附图中,相似的部件或特征可以具有相同的附图标记。此外,相同类型的各种部件可以通过使附图标记被跟随有短划线和区分相似部件的第二标记来区分。如果在说明书中仅使用了第一附图标记,则该描述适用于具有相同的第一附图标记的相似部件中的任何一个,而与第二附图标记无关。
图1A和图1B示出了根据各种实施方式的用于投影图案化辐射的装置的框图。
图2示出了根据各种实施方式的其中图案生成器可以包括衍射光学元件的图案投影装置。
图3示出了根据各种实施方式的其中图案生成器可以包括掩模的图案投影装置。
图4示出了根据各种实施方式的用于3D测量的系统。
图5A和图5B示出了根据各种实施方式的用于3D测量的系统。
图6示出了根据各种实施方式的嵌入在移动装置诸如移动电话中的系统。
图7示出了根据各种实施方式的其中可以将符号相似度计量为二进制代码字之间的汉明距离的表。
图8示出了根据各种实施方式的可以示出符号相似度的计量以示出可以如何使用空间相似度来对图案内的符号进行排序的表。
图9示出了根据各种实施方式的用于3D测量的系统。
图10示出了根据各种实施方式的示出用于投影图案和/或产生3D测量的处理的方法的流程图。
具体实施方式
随后的描述仅提供了示例性实施方式,并且不旨在限制本公开内容的范围、适用性或配置。更确切地,对示例性实施方式的随后描述将为本领域技术人员提供用于实现一个或更多个示例性实施方式的使能描述,应当理解,可以在不脱离如所附权利要求中所阐述的本发明的精神和范围的情况下对元件的功能和布置方面进行各种改变。本文描述了若干实施方式,并且虽然各种特征归于不同的实施方式,但是应当理解,关于一个实施方式描述的特征也可以被包含在其他实施方式中。然而,出于同样的原因,任何所描述的实施方式的单个特征或多个特征都不应被认为对每个实施方式是必不可少的,因为其他实施方式可以省略这些特征。
在以下描述中给出了具体细节以提供对实施方式的透彻理解。然而,本领域普通技术人员将理解,可以在没有这些具体细节的情况下实践实施方式。例如,实施方式中的系统、网络、处理和其他元件可以以框图形式示出为部件,以免以不必要的细节模糊实施方式。在其他情况下,可以不具有不必要的细节来示出公知的处理、结构和技术,以避免模糊实施方式。
此外,应注意,各个实施方式可以被描述为处理,该处理可以被描绘为流程图、流程表、结构图或框图。尽管流程图可以将操作描述为顺序处理,但是许多操作可以并行或同时执行。另外,可以重新排列操作的顺序。当处理的操作可以被完成时可以终止该处理,但是该处理也可以包括未在附图中讨论或包括的附加操作。此外,并非任何特别描述的处理中的所有操作都会在所有实施方式中发生。处理可以与方法、函数、过程、子例程、子程序等对应。当处理对应于函数时,其终止与函数向调用函数或主函数的返回对应。
此外,实施方式可以至少部分地手动或自动地实现。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当以软件、固件、中间件或微代码来实现时,用于执行必要任务的程序代码或代码段可以被存储在机器可读介质中。处理器可以执行必要的任务。
根据各种实施方式提供了涉及图案化辐射的方法、系统和装置。一些实施方式包括用于投影图案辐射的装置。一些实施方式包括用于计算3D位置的方法。一些实施方式包括用于3D测量的系统。根据各种实施方式提供了各种辐射图案。一些实施方式可以包括基于结构化光的3D扫描。
当投影的结构化光图案可能被误识别时,可能发生3D重建错误。一些实施方式可以在投影的图案本身中利用具有特定空间拓扑的纠错码来降低错误率。在更一般的通信理论中使用纠错码可能会涉及任何两个代码字之间的大的分离,因为编码的信息可以采取任何排序。这可能涉及其中可能没有先验信息的条件。相比之下,结构化光系统可以具有独特的一组先验条件,例如:(a)编码图案可以具有静态代码字顺序;(b)投影仪/摄像机组件的几何结构;(c)和/或可以成像的场景的可能形状。由于(b)和/或(c),在每个符号周围的局部邻域中保证良好的纠错能力可能更为重要。因为代码字可以以静态顺序(a)布置,所以一些实施方式可以设计该顺序以增强局部邻域周围的纠错能力。在一些实施方式中,这可以导致更有效的纠错码设计。
一些实施方式包括用于3D系统的投影图案,该投影图案可以包括处于特定顺序的符号(例如代码字)。相比于与在图案内与其较远分开的其他符号的不同,每个符号可以与紧邻其的符号更加不相同。仅举例来说,考虑四个符号“O”、“D”、“P”和“I”的情况,其中与O可能与P或I相似相比,O可能与D更相似。在这种情况下,O可以与P或I相邻,并且不可以与D相邻。可以为整个图案中的每个符号保持这种相同的关系。该图案的一个实施方式可以是:DIOP。因此,O可以与不相似的符号P和I相邻。此外,“I”可以与不相似的符号“D”相邻。
根据各种实施方式的符号编码的空间拓扑可以适用于结构化照射的整个领域。这可以包括可以使用时间代码字的多图案方法以及可以使用空间代码字的单图案方法。
现在转向图1A和图1B,提供了根据各种实施方式的各种装置。一些实施方式可以包括如图1A所示的用于投影图案化辐射的装置100。辐射图案可以包括多个符号。符号的一个示例可以包括空间代码字。在一些实施方式中,装置100可以被称为图案投影装置或图案投影仪。
据图1A中所示的一些实施方式,用于投影图案化辐射的装置100可以包括图案生成器120。另外,装置100可以包括辐射源110。在一些实施方式中,源110可以与图案生成器120集成,或源110本身可以直接生成辐射图案。在另一实施方式中,如图1B所示,用于投影图案化辐射的装置100-a可以包括:辐射源110-a、用于调节辐射的一个或更多个源调节器130、一个或更多个图案生成器120-a、和/或一个或更多个投影仪140(在一些实施方式中可以称为投影元件)。在一些实施方式中,装置100-a可以被称为图案投影装置和/或图案投影仪。装置100-a可以是图1A中的装置100的示例。源调节器130可以收集、准直、聚焦、成形、分裂、放大、重定向、重新分布和/或以其他方式调节由源110-a发射的辐射的辐射。虽然图案生成器120-a可以直接发射辐射图案,但是在一些实施方式中,可以使用一个或更多个投影仪140来中继、放大、扭曲、重塑、聚焦和/或以其他方式投影辐射图案。在一些实施方式中,图案生成器120-a的输出可以涉及通过一个或更多个附加元件进行修改以产生期望的辐射图案。注意,其他实施方式可以不包括装置100-a中示出的一个或更多个元件,同时其他实施方式可以包括附加元件。在一些实施方式中,例如,辐射图案可以被投影到对象和/或场景上。图案生成器120-a可以是图1A中的图案生成器120的示例;源110-a可以是图1A中的源110的示例。
通常,装置100和/或装置110-a可以被配置成用于投影图案化的辐射。如上所述,装置100和/或装置100-a可以分别包括图案生成器120和120-a,图案生成器120和120-a可以被配置成生成一个或更多个图案。来自一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:三个或更多个符号可以被布置成使得对于布置中的每个符号,所述符号与该布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与该布置中的剩余符号中的最远端的剩余符号之间的相似度。
在装置100和/或装置100-a的一些实施方式中,三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与该布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与该布置中的剩余符号中的较远端的剩余符号之间的相似度。
在装置100和/或100-a的一些实施方式中,来自三个或更多个符号的最接近符号对具有比来自三个或更多个符号的最远符号对的汉明距离大的汉明距离。在一些实施方式中,重复三个或更多个符号的布置。在一些实施方式中,三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自三个或更多个符号的同一符号对照射。在一些实施方式中,一个或更多个图案生成器120和/或120-a被配置成照射限于特定距离范围的对象。在一些实施方式中,一个或更多个图案生成器120和/或120-a被动态地配置用于一个或更多个工作范围。
在装置100和/或100-a的一些实施方式中,对来自布置的剩余符号的最近端和来自布置的剩余符号的最远端的评估沿单一方向发生。在一些实施方式中,来自三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。
在装置100和/或100-a的一些实施方式中,一个或更多个图案生成器120和/或120-a被动态地配置用于一个或更多个工作范围,使得对于一个或更多个工作范围中的每一个工作范围,对于对象上的3D位置的计算利用与图案的不宽于块宽度的区域有关的信息。
在装置100和/或装置100-a的一些实施方式中,辐射源110和/或110-a包括激光二极管、垂直腔表面发射激光器阵列、发光二极管和/或灯。在装置100和/或100-a的一些实施方式中,图案生成器120和/或120-a包括至少掩模、衍射光学元件和/或全息图。
图2示出了用于投影图案化辐射的装置100-b的实施方式,例如,其可以是图1A中所示的装置100和/或图1B中的装置100-a的示例。在此处仅作为示例描述的图2的实施方式中,装置100-b可以包括辐射源110-b。在一些实施方式中,辐射源110-b可以是发射近红外辐射202的激光二极管。在其他实施方式中,辐射202可以是可见的。由源110-b发射的辐射202可以是发散的。可以包括可以作为图1B的源调节器130的示例的透镜130-b,以将发散的辐射202转换成准直辐射束204。准直辐射束204可以入射在衍射光学元件(DOE)120-b上。DOE 120-b可以是图1A中的图案生成器120和/或图1B的图案生成器120-a的示例。DOE 120-b可以将准直束204转换成投影辐射图案206。本领域技术人员可以认识到DOE 120-b可以被设计成将准直束转换成各种各样的辐射图案,包括但不限于可以包括三个或更多个空间符号例如三个或更多个空间代码字的图案。在一些实施方式中,每个图案元素可以是由DOE120-b产生的衍射级。在一些实施方式中,辐射图案206可以关于DOE 120-b的光轴对称。在DOE 120-b的一些实施方式中,DOE 120-b可以包括多个DOE。在DOE120-b的一些实施方式中,DOE 120-b可以被构造成在DOE 120-b内包括衍射准直透镜。本领域技术人员可以认识到,DOE 120-b的实施方式也可以被替换为一个或更多个全息光学元件来作为图案生成器。在一些实施方式中,DOE 120-b和准直透镜130-b二者可以用全息光学元件替换。
现在参照图3,示出了根据各种实施方式的用于投影图案化辐射的装置100-c的另一实施方式。例如,装置100-c可以是图1A中所示的装置100或图1B中的装置100-a的示例。在图3的实施方式中,装置100-c可以包括辐射源110-c。在各种实施方式中,源110-c可以是激光器、发光二极管或灯。在一些实施方式中,源110-c是垂直腔表面发射激光器阵列。由源110-c发射的辐射202-c可以是发散的。可以包括聚光透镜130-c以收集由源110-c发射的辐射202-c。例如,聚光透镜130-c可以是图1B中的源调节器130的示例。在一些实施方式中,聚光透镜130-c可以用准直透镜替换。聚光透镜130-c可以在掩模120-c的方向上输出定向辐射204-c。例如,掩模120-c可以是图1A中的图案生成器120和/或图1B中的图案生成器120-a的示例。在一些实施方式中,掩模120-c可以是二进制振幅掩模。在其他实施方式中,掩模120-c可以是例如灰度掩模或相位掩模。在二进制振幅掩模的情况下,掩模120-c可以包括分布在区域313上的多个孔,其中每个孔可以产生图案元素。掩模120-c中的孔的空间布置可以与空间符号中的图案元素的布置以及投影辐射图案206-c中的空间符号的布置对应。可以包括投影透镜140-c以在远场中形成掩模120-c的图像。例如,投影透镜140-c可以是图1B中的投影仪140的示例。在一些实施方式中,投影透镜140-c可以在图像空间中具有较小的有效孔径,以产生掩模120-c的具有较大景深的图像。掩模120-c在远场中的图像可以是投影的辐射图案206-c的示例。在某些情况下,掩模120-c的图像可以被投影到对象或场景上。
现在转向图4,根据各种实施方式提供了用于图案投影和/或3D测量的系统101。系统101可以包括用于投影图案化辐射的图案投影仪100-d。图案投影仪100-d可以是图1A中的装置100、图1B中的装置100-a、图2中的装置100-b和/或图3中的装置100-c的示例。系统101还可以包括成像器410和/或处理器420。
在系统101的一些实施方式中,图案投影仪100-d被配置成发射一个或更多个图案。来自一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与该布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与该布置中的剩余符号中的最远端的剩余符号之间的相似度。在系统101的一些实施方式中,成像器410和/或处理器420可以被配置成使得处理器420至少基于以下操作来估计对象上的一个或更多个3D位置:使用从图案投影仪100-d投影的一个或更多个图案来照射对象;使用成像器410收集被照射的对象的一个或更多个图像;和/或利用处理器420基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算对象上的一个或更多个3D位置。
在系统101的一些实施方式中,三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与该布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与该布置中的剩余符号中的较远端的剩余符号之间的相似度。在一些实施方式中,来自三个或更多个符号的最接近符号对具有比来自三个或更多个符号的最远符号对的汉明距离大的汉明距离。
在系统101的一些实施方式中,重复三个或更多个符号的布置。在一些实施方式中,三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自三个或更多个符号的同一符号对照射并且被收集在一个或更多个图像上。在一些实施方式中,图案投影仪100-d照射限于特定距离范围的对象。在一些实施方式中,至少图案投影仪100-d、成像器410或处理器420被动态地配置用于一个或更多个工作范围。
在系统101的一些实施方式中,对来自布置的剩余符号的最近端和来自布置的剩余符号的最远端的评估沿单一方向发生。在一些实施方式中,来自三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。在一些实施方式中,至少图案投影仪100-d、成像器410或处理器420被动态地配置用于一个或更多个工作范围,使得对于一个或更多个工作范围中的每一个工作范围,对所述一个或更多个3D位置中的对象上的每个相应3D位置的计算利用与图案的不宽于块宽度的区域有关的信息。
现在转至图5A,根据各种实施方式提供了用于图案投影和/或3D测量的系统101-e。系统101-e可以是图4的系统101的示例。系统101-e可以包括可以称为图案投影仪或图案投影装置的用于投影图案化辐射的装置100-e。装置100-e可以是图1A的装置100、图1B的装置100-a、图2的装置100-b、图3的装置100-c和/或图4的装置100-d的示例。由装置100-e投影的图案化辐射可以包括空间符号的一个或更多个布置,并且那些空间符号可以是彼此可区分的。在一些实施方式中,图案化辐射可以包括具有多个符号例如多个空间代码字的一个或更多个图案。每个图案可以包括三个或更多个符号的布置;符号可以被布置成使得:对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。
装置100-e可以在视场504上发射可以包括一个或更多个图案的图案化辐射。可以将图案化的辐射投影到可以包含一个或更多个对象505的三维场景506上;在一些实施方式中,装置100-e可以照射一个或更多个对象505。检测器410-e可以检测照射3D场景506的至少一部分和/或一个或更多个对象505的辐射图案。检测器410-e可以是图4的成像器410的示例。在一些实施方式中,检测器410-e可以是可以利用电荷耦合器件(CCD)检测器阵列和/或互补金属氧化物半导体(CMOS)检测器阵列的摄像机和/或成像装置。检测器410-e的视场507可以基本上与图案投影仪100-e的视场504重叠。检测器410-e可以形成和/或收集由图案化辐射照射的场景506的至少一部分的一个或更多个图像。可以与检测器410-e进行通信508的处理器420-e可以接收一个或更多个图像并且处理一个或更多个图像。处理器420-e可以是图4的处理器420的示例。在一些实施方式中,处理器420-e基于关于所投影的图案的信息和关于收集的图像的信息来计算一个或更多个3D位置。在一些实施方式中,处理器420-e估计场景506中的一个或更多个对象505的表面上的一个或更多个位置的坐标。在一些实施方式中,处理器420-e可以估计多个对象点的坐标以产生深度图像。处理器420-e还可以与图案投影仪100-e进行通信509,或者图案投影仪100-e在某些情况下可以不涉及与处理器420-e通信。类似地,图案投影仪100-e可以与检测器410-e进行通信510,或者图案投影仪100-e可以不涉及与检测器410-e通信。在一些实施方式中,来自检测器410-e的选通信号可以用于在检测器410-e的有效曝光时间期间激活图案投影仪100-e。在一些实施方式中,检测器410-e可以被构造有可以仅收集包含图案投影仪源的光谱带并且可以拒绝全部其他辐射源的带通光谱滤波器。
在系统101-e中,图案投影仪100-e可以包括辐射源。可以在图案投影仪100-e中采用的辐射源的示例包括但不限于激光二极管、发光二极管、VCSEL阵列、其他激光器和/或灯。图案投影仪100-e还可以包括图案生成器,例如掩模、DOE和/或全息图;在一些实施方式中,图案生成器可以称为图案生成元件。在一些实施方式中,图案生成器可以与辐射源集成。例如,辐射源可以是VCSEL阵列,其中阵列内的VCSEL的布局生成一个或更多个图案和/或在一个或更多个图案内的空间符号的布置。图案投影仪100-e、检测器410-e(例如,摄像机)和/或处理器420-e可以集成在一起,或者这些部件中的一个或更多个可以被远程操作。在一些实施方式中,为了估计场景506中的一个或更多个对象505上的一个或更多个位置的坐标,处理器420-e可以从形成的3D场景的图像内的多个空间符号中检测一个或更多个空间符号。而且,处理器420-e可以定位形成的3D场景的图像内的所检测到的空间符号中的一个或更多个。此外,处理器420-e可以识别一个或更多个所检测到的空间符号。在一些实施方式中,处理器420-e可以检测空间符号内的一个或更多个图案元素。处理器420-e还可以定位空间符号内的一个或更多个图案元素。此外,处理器420-e可以在某些情况下识别一个或更多个所检测到的图案元素。
通常,根据各种实施方式系统101-e可以被配置用于估计3D场景诸如场景506中的对象诸如对象505上的位置的坐标和/或计算一个或更多个3D位置。系统101-e可以包括用于投射图案化辐射的装置,例如图案投影仪100-e。图案投影仪100-e可以包括辐射源。图案投影仪100-e可以包括被配置成产生辐射图案的图案生成器。辐射图案可以包括多个空间符号。多个空间符号可以被配置成使得多个空间符号中的每个相应空间符号可以是与多个空间符号中的其他空间符号可区分的。每个辐射图案可以包括三个或更多个符号的布置;符号可以被布置成使得:对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。
在系统101-e的一些实施方式中,三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,符号被布置成使得:对于布置中的每个符号,所述符号与布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的较远端的剩余符号之间的相似度。在一些实施方式中,最接近符号对具有比最远符号对的汉明距离大的汉明距离。
在系统101-e的一些实施方式中,重复三个或更多个符号的布置。三个或更多个符号的布置的宽度可以足够宽,使得对象中没有两个区域被同一符号对照射并且被收集在图像上。在一些实施方式中,图案投影仪100-e被配置成照射限于特定距离范围的对象。在一些实施方式中,系统101-e被动态地配置用于一个或更多个工作范围;这可以包括动态配置图案投影仪100-e、检测器410-e和/或处理器420-e。在一些实施方式中,系统101-e被动态地配置用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个3D位置中的3D位置的处理的计算利用与图案的不宽于块宽度的区域有关的信息。
在系统101-e的一些实施方式中,对最近端和最远端的评估沿单一方向发生。在一些实施方式中,具有小于块宽度的接近度的所有符号对的汉明距离超过具有大于块宽度的接近度的符号对的汉明距离。
在一些实施方式中,检测器410-e例如摄像机可以被配置成检测照射3D场景506的至少一部分和/或一个或更多个对象505的辐射图案。处理器420-e可以被配置成基于所检测到的辐射图案来估计3D场景506中的对象上的位置的坐标和/或基于关于所投影的一个或更多个图案的信息和关于所收集的图像的信息来计算一个或更多个3D位置。
在系统101-e的一些实施方式中,图案投影仪100-e的辐射源至少包括激光二极管、垂直腔表面发射激光器阵列、发光二极管或灯。在一些实施方式中,图案投影仪100-e至少包括掩模、衍射光学元件或全息图。
在系统101-e的一些实施方式中,图案投影仪100-e、检测器410-e和/或处理器420-e被嵌入在移动电子装置内。在一些实施方式中,图案投影仪100-e、检测器410-e和/或处理器420-e被远程操作。
图5B提供了根据各种实施方式的被配置用于估计3D场景中的对象上的位置的坐标的系统101-e的示例。在该示例中,由图案投影仪100-e投影的照射图案可以包括符号的布置。针对符号的布置中的任何给定符号,剩余符号中的最近端的剩余符号可以相对于剩余符号中的最远端的剩余符号具有与给定符号的较低相似度,其中所述剩余符号中的最远端的剩余符号可以具有与给定符号的较高相似度。此外,在一些实施方式中,所陈述的接近度与相似度之间的关系可以仅存在于投影图案内的单一方向上,例如水平地。在一些实施方式中,针对符号的布置中的任何给定符号,在给定块宽度内的相邻符号可以具有与给定符号相比的较低相似度。出现在块尺寸或距离之外的符号可以具有与给定符号相比的较高相似度。
在一些实施方式中,系统101-e可以能够估计在距系统的距离范围515上延伸的3D场景506-e中的对象505-e上的位置。为了在该整个范围上操作,估计3D位置的处理可以包括检测获取的图像中的符号。该处理还可以包括识别符号。为了识别符号,可以将所检测到的符号与所投影的符号进行比较。由于噪声或其他因素,所检测到的符号可能未与所投影的符号完全匹配。代替地,所检测到的符号可能会类似于一个或更多个所投影的符号。当在整个距离范围515上操作时,可能需要将所检测到的符号与全部所投影的符号进行比较并且可能表现出与多于一个的相似度,这使得符号识别处理容易出错。然而,针对一些应用,一个或更多个关注对象505-e可以位于减小的距离范围511上。当在该减小的距离范围511上操作时,可能需要将所检测到的符号与块宽度内的一组符号进行比较。在该情况下,因为块内的全部符号可以表现出与彼此的低的相似度,所以会需要所检测到的符号与块内的符号中的一个之间的较低的相似度来正确地识别符号。因为图案中的每个符号位于块的中心,所以可以动态地调整减小的工作距离范围511以使其更接近或远离系统101-e,同时保持仅在块内利用符号比较的优点。
在一些实施方式中,符号的布置可以包括符号的行或列。在一些这样的情况下,可以根据实施方式沿着行或列或两者来设计布置内的符号的相似度。在一些实施方式中,每行可以包括符号的相同布置,并且在每行内符号可以被布置成使得针对每个符号,近端符号可以较不相似并且远端符号可以更相似。在基于符号行的另一实施方式中,每个符号可以在行内每侧具有固定数目的相邻者,全部这些相邻者可以具有低于阈值的与给定符号的相似度。为了具体,并且仅作为示例,符号的布置可以包括每行七个符号的行。作为参考,可以从左至右按顺序将符号标记为A、B、C、D、E、F、G。令运算符s()表示相似度,并且令t为阈值相似度值。在该示例中,在其内相邻者可以具有小于t的相似度值的固定距离可以是两个符号的距离。因此,考虑符号A:s(A,B)<t,s(A,C)<t,s(A,D)>t,s(A,E)>t,s(A,F)>t,s(A,G)>t。
同样,依次检查剩余的符号:
B:s(B,A)<t,s(B,C)<t,s(B,D)<t,s(B,E)>t,s(B,F)>t,s(B,G)>t;
C:s(C,A)<t,s(C,B)<t,s(C,D)<t,s(C,E)<t,s(C,F)>t,s(C,G)>t;
D:s(D,A)>t,s(D,B)<t,s(D,C)<t,s(D,E)<t,s(D,F)<t,s(D,G)>t;
E:s(E,A)>t,s(E,B)>t,s(E,C)<t,s(E,D)<t,s(E,F)<t,s(E,G)>t;
F:s(F,A)>t,s(F,B)>t,s(F,C)>t,s(F,D)<t,s(F,E)<t,s(F,G)<t;
G:s(G,A)>t,s(G,B)>t,s(G,C)>t,s(G,D)>t,s(G,E)<t,s(G,F)<t;
在该实施方式中,每个符号位于5个符号的块的中心,其中在块中不是中心符号的每个符号具有小于阈值的与中心符号的相似度。
在具有重复行的另一实施方式中,一些符号可以在每行中重复同时保持前一示例的相同近端相似度特征。仅作为示例,每行可以具有标记为A、B、C、D、E、F、G、A、B的9个总符号和7个唯一符号。在该示例中,两两相似度可以是:
A:s(A,B)<t,s(A,C)<t,s(A,D)>t,s(A,E)>t,s(A,F)<t,s(A,G)<t。
B:s(B,A)<t,s(B,C)<t,s(B,D)<t,s(B,E)>t,s(B,F)>t,s(B,G)<t;
C:s(C,A)<t,s(C,B)<t,s(C,D)<t,s(C,E)<t,s(C,F)>t,s(C,G)>t;
D:s(D,A)>t,s(D,B)<t,s(D,C)<t,s(D,E)<t,s(D,F)<t,s(D,G)>t;
E:s(E,A)>t,s(E,B)>t,s(E,C)<t,s(E,D)<t,s(E,F)<t,s(E,G)>t;
F:s(F,A)<t,s(F,B)>t,s(F,C)>t,s(F,D)<t,s(F,E)<t,s(F,G)<t;
G:s(G,A)<t,s(G,B)<t,s(G,C)>t,s(G,D)>t,s(G,E)<t,s(G,F)<t;
在一些实施方式中,符号的总数目可以多于或少于9个符号。在一些实施方式中,在行中的符号的总数目是96个符号。类似地,在行中的唯一符号的总数目可以多于或少于7个符号。在一些实施方式中,在行中的唯一符号的数目是32个符号。此外,块宽度可以多于或少于5个符号。在一些实施方式中,块宽度是23个符号。
现在转至图6,根据各种实施方式的用于估计3D场景中的对象505-f上的位置的坐标的系统101-f。例如,系统101-f可以是图4的系统101和/或图5A或图5B的系统101-e的示例。例如,系统101-f可以包括或被嵌入在移动电子装置中,尽管系统101-f可以被包括和/或被嵌入在其他装置中。这样的移动电子装置的示例包括但不限于移动电话、智能电话、平板计算机、膝上型计算机和/或其他移动电子装置。系统101-f可以包括可以称为图案投影仪的用于投影图案化辐射的装置100-f。装置100-f可以包括被配置成产生辐射图案的图案生成器,其中辐射图案可以包括多个空间符号,例如三个或更多个代码字。装置100-f可以是图1A的装置100、图1B的装置100-a、图2的装置100-b、图3的装置100-c、图4的装置100-d和/或图5A和/或图5B的装置100-e的示例。系统101-f还可以包括也可以称为成像器的、可以被配置成检测照射3D场景的至少一部分的辐射图案的一个或更多个检测器410-f。检测器410-f可以是图4的成像器410和/或图5A和/或图5B的检测器410-e的示例。在一些实施方式中,例如,一个或更多个检测器410-f可以是数码摄像机。系统101-f还可以包括可以被配置成基于检测到的辐射图案估计3D场景中的对象上的位置的坐标的一个或更多个处理器(未示出,但被容置在系统101-f内)。在一些实施方式中,一个或更多个处理器可以是移动电子系统101-f中存在的一个或更多个处理器。在其他实施方式中,处理器可以是专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)芯片、中央处理单元(CPU)、图形处理单元(GPU)、其他类型的处理器和/或处理器类型的各种组合。在一些实施方式中,一个或更多个处理器可以专用于坐标估计,而在其他实施方式中一个或更多个处理器也可以执行其他任务。在一些情况下,一个或更多个处理器可以处理所产生的坐标数据以用于诸如对象检测、对象识别、对象检查、对象扫描、姿势识别、面部识别、跟踪、定目标、定位的目的和/或其他目的。在一些实施方式中,用于投射一个或更多个图案化辐射的装置100-f、一个或更多个检测器410-f和/或一个或更多个处理器中的一个或更多个可以不被嵌入在移动电子装置101-f中,而其他这样的部件被嵌入在移动电子装置101-f中。这样的实施方式的示例可以包括可以向可以执行坐标估计的远程处理器发送检测到的辐射图案数据的系统。在一些实施方式中,系统101-f可以与显示系统例如电视、计算机监视器、虚拟现实耳机、抬头显示器、一组智能眼镜、公共信息控制台、贸易展示站和/或嵌入式眼内显示器集成。
现在转至图7,根据各种实施方式提供表700,其中,可以将符号相似度计量为二进制代码字之间的汉明距离(Hamming distance)。表700可以列举图案中的每个符号之间的汉明距离。高符号相似度可以由低汉明距离指示,并且低符号相似度可以由高汉明距离指示。如图1A、图1B、图2、图3、图4、图5A、图5B、图6、图9和/或图10所示的装置、系统和/或方法可以实现根据各种实施方式的与表700有关的各方面。
符号标识可以标记表行701和表列702两者并且可以由数值表示。在一些实施方式中,数值还可以表示每个符号在空间图案中的相对位置。为了说明汉明距离,每个符号可以是如图7所示的针对表行703和表列704处的每个符号的二进制代码字。
一些实施方式可以利用可以包括但不限于辐射功率密度值的空间配置、辐射功率密度值的时间序列、辐射波长、辐射相位、辐射偏振、辐射相位的空间配置、辐射偏振的时间序列以及它们的组合的符号。在这样的变化中,空间相似度测量可以包括但不限于内积、差的总和以及/或者散列(hash)表映射。
表700可以包括一组符号相似度值705。在一些实施方式中,所示的每个符号相似度值可以是与表行703和表列704中的二进制代码字对应的两个符号之间的汉明距离。在其中可以通过将一个符号与自身进行比较而得到符号相似度的行列位置706处,符号相似度值可以用“x”标记以描绘相似度中的零差异。
在一些实施方式中,符号标识号701和702的排序可以与符号标识号701和702在投影图案中出现的顺序匹配。在这样的实施方式中,符号与符号接近度可以在图7中被限定为表列702的标记与表行701的标记之间的差的绝对值。对于本实施方式,当汉明距离可以是空间相似度的度量时,图7示出了如下实施方式,在该实施方式中,直到符号块宽度707并包括符号块宽度707的所有的符号与符号接近度可以具有满足或超过设计阈值708的汉明距离,此处仅作为说明,设计阈值708被示出为具有值4。在该实施方式中,超过块宽度707的符号与符号接近度709可以具有低于设计阈值708的值710。因为高汉明距离通常指示低相似度,并且低汉明距离通常指示高相似度,所以表700可以示出以下图案配置,在该图案配置中,与具有大于符号块宽度的符号与符号接近度的符号对相比,具有符号块宽度707的符号与符号接近度或低于符号块宽度707的符号与符号接近度的符号对可以较不相似。
其中具有低符号与符号接近度的符号对可能较不相似的一些实施方式可以对3D测量系统诸如图4、图5A、图5B和/或图6中所示的3D测量系统非常有利。例如,这可以使图案能够编码用于3D测量的符号,使得在两个相邻符号之间可能发生解码错误的可能性可能会较低。如果与较远符号之间的解码错误相比更难以检测到较接近的符号之间的这样的解码,则这会是有利的。这可以是场中的对象可能很大并且可能在符号之间缓慢变化的情况;可以容易地检测、检查、移除和/或校正由较远的符号之间的解码错误引起的大的符号变化。另一方面,可能更难以检测到较不接近的符号之间的解码错误的一些实施方式会希望较接近的符号可以比较远的符号表现出更低的汉明距离的替代实施方式。
一些实施方式远远优于使用汉明距离作为符号相似度的度量的实施方式。在其他实施方式中,符号相似度的度量可以是两个符号之间的内积。其他实施方式还可以使用两个符号之间的差的总和。使用波长来编码符号的其他实施方式还可以使用光谱分离作为符号相似度的度量。一些实施方式的范围旨在应用于包括可以按特定排序设计的符号的任何辐射图案投影仪。
图8提供了符号相似度是一般概念的实施方式。图8呈现了表800,该表800可以示出符号相似度803的度量以示出可以如何使用空间相似度来对图案内的符号进行排序。如图1A、图1B、图2、图3、图4、图5A、图5B、图6、图9和/或图10中所示的装置、系统和/或方法可以实现根据各种实施方式的与表800有关的各方面。
符号标识可以标记表行801和表列802两者,并且在该实施方式中,符号标识由字母表示。在一些实施方式中,符号的行到行排序还可以表示每个符号在空间图案中的相对位置。一些实施方式可以与符号的物理构造无关。在一些实施方式中,符号可以被构造为辐射强度值的空间配置。在一些实施方式中,符号可以被构造为辐射相位值的序列。可以使用辐射的一个或更多个物理特性——包括但不限于振幅、相位、波长、相干性和/或偏振——来构造符号。符号可以是单个点,或者符号可以跨时间、空间或频谱分布。为了保持一般概念,表800可以不显示符号并且可以使用符号标识值A至Z来指代符号。
表800总体上包括一组符号相似度值804、806、808和811。在可能通过将一个符号与自身进行比较来得到符号相似度的行列位置804处,可以用“x”标记符号相似度值以描绘相似度的零差异。
在表行的排序与表行在投影图案中出现的顺序匹配的一些实施方式中,符号与符号接近度可以被限定为行号与列号之间的差的绝对值。对于该实施方式,表800示出了如下实施方式,在该实施方式中,直到符号块宽度810并包括符号块宽度810的所有的符号与符号接近度具有如下符号相似度,所述符号相似度具有被标记为“a”的类型的值。在该实施方式中,具有超过块宽度810的符号与符号接近度807的符号对可以具有被标记为“b”的类型的符号相似度值。在一些实施方式中,标记为“a”的类型的所有值指示与标记为“b”的类型的值相比基本上较不相似的符号对。因此,表800可以示出如下图案配置,在该图案配置中,与具有大于符号块宽度的符号与符号接近度的符号对相比,具有符号块宽度810的符号与符号接近度或低于符号块宽度810的符号与符号接近度的符号对较不相似。
可以存在符号排序的一些变化,其中,一个或更多个符号对可以产生被标记为“c”的类型的度量811,其中,类型“c”的相似度值超过类型“a”的相似度值,只要所述符号对具有大于符号块宽度810的接近度。
现在转向图9,根据各种实施方式提供系统101-g,其可以通过投影一个或更多个图案来提供3D测量,其中,来自一个或更多个图案的每个图案包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。系统101-g可以是图4的系统101、图5A或图5B的系统101-e和/或图6的系统101-f的示例。例如,系统101-g可以示出图案投影仪100-g和成像器410-g。图案投影仪100-g可以是图3的图案投影仪100-c的示例。但可以利用其他图案投影仪配置。系统101-g还可以包括处理器(未示出)。
在所示实施方式中,来自图案102的每个符号103-i、103-j、103-k、103-l、103-m包括放置在两行和四列中的八个点,其中,点被实心(on)(阴影)或空心(off)(无阴影)。在符号103的布置中,每个符号103内的点可以被认为是由二进制代码字调制的。在图示中,每个符号103可以与二进制代码字对应,并且二进制代码字可以用于标记每个列。在该示例中,存在排成行以形成图案102的五个符号(103-i、103-j、103-k、103-l、103-m)的布置,图案102可以被示出为被竖直重复为八个行的组。在一些实施方式中,多个行可以被认为是一个图案,其中,每行可以被认为是单独的符号布置。在一些实施方式中,可以通过水平或竖直地重复图案来实现投影更多的图案。在一些实施方式中,可以通过投影包括一个或更多个布置的连续图案来实现投影更多的图案。
在一些实施方式中,布置中的最近端符号是共享相同行但位于相邻列中的符号。相反,布置中的最远端符号可以是行内的分隔开最多的列的符号。可以通过计算两个符号的二进制代码字之间的汉明距离来量化两个符号之间的相似度。例如,图9中所示的五个符号103-i、103-j、103-k、103-l、103-m的布置可以描绘下述符号:其中,最接近的符号或相邻列中的符号具有其中符号具有四个不同的点的符号。在该配置中,符号的代码字之间的汉明距离可以是四。图9中所示的五个符号103-i、103-j、103-k、103-l、103-m的布置可以描绘以下符号,在所述符号中,较远的符号或被分隔开了3列或4列的符号仅具有两个不同的点或汉明距离为2。因此,图案102可以保持较远的符号具有较小相似度的特性。在一些实施方式中,每个符号包括六边形点格中的点或具有不规则间距的点。在其他实施方式中,一个符号的空间配置可以与该布置中的其他符号的空间配置不同。在一些实施方式中,一个或更多个符号可以包括非点形状,其包括但不限于正方形、短划线、箭头、心形、三叶形、新月形或菱形。在一些实施方式中,调制可以是非二进制的,其包括振幅调制、相位调制、偏振调制或空间调制。
图9还可以示出所检测到的或所收集的图案102-a及其符号103-i-a、103-j-a、103-k-a、103-l-a、103-m-a的布置。如下面更详细讨论的,可以利用对投影图案中的点的三角测量来估计对象505-g的表面的3D坐标;例如,三条信息的组合可以使能对投影图案中的每个点的三角测量:(i)将摄像机410-g与投影仪分开的基线是已知的,(ii)每个点的照射角度,以及(iii)每个点的检测角度。
如可以关于所检测到的或所收集的图案的第四行(例如,图案102-i)注意到的,投影图案的一个或更多个区域可能从一个或更多个图像中丢失。这样的缺失区域或符号可能是由包括但不限于图像传感器上的灰尘、第二对象对对象的一个区域的遮挡、对象的第二区域对对象的一个区域的遮挡或对象上的低反射率的区域的影响引起的。
可以利用图9的系统101-g(或诸如图4的系统101、图5A和/或图5B的系统101-e和/或图6的系统101-f的其他系统)来实现3D测量的方法。例如,该方法的一些实施方式包括可以作为点图案产生的照射。可以将点分组为符号,并且可以调制每个符号内的点,使得每个符号是唯一的。在一些实施方式中,每个符号的调制是二进制代码字。在一些实施方式中,在与符号的左侧和右侧的符号的二进制代码字相比时,每个符号的二进制代码字被分隔开至少为4的汉明距离。该照射可以基本上引导至对象。此外,可以测量和存储点图案内的每个点的照射角度。在一些实施方式中,这些照射角度可以由计算机存储以估计3D坐标。在一些实施方式中,可以存储照射角度以用于3D坐标的手动计算。产生这样的照射的方法通常可以根据各种实施方式构成照射步骤的示例。
在该方法的一些实施方式中,摄像机(例如图4的成像器410、图5A和/或图5B的检测器410-e、图6的检测器410-f和/或图9的摄像机410-g)可以基本上被指向被照射的对象(例如图5A的对象505、图5B的对象505-e、图6的对象505-f和/或图9的对象505-g)。在一些实施方式中,可以聚焦摄像机透镜,使得对象的图像基本上形成在摄像机的图像传感器上。在一些实施方式中,图像传感器可以捕获图像并将其数字化,使得摄像机可以将图像的所述数字表示传送至计算机和/或处理器以估计3D坐标。在一些实施方式中,图像传感器可以捕获图像并将其数字化,并且图像传感器可以将图像的数字表示传送至摄像机内的处理器以估计3D坐标。用于捕获被照射的对象的图像的方法可以根据各种实施方式构成检测或收集步骤的示例。
在该方法的一些实施方式中,处理器可以估计对象表面的3D坐标。三条信息的组合可以使能对投影图案中的每个点的三角测量:(i)将摄像机与投影仪分隔开的基线是已知的,(ii)每个点的照射角度,以及(iii)每个点的检测角度。可以在校准步骤之后存储基线和照射。可以针对每个检测到的图像来计算每个点的检测角度。处理器可以通过识别哪个投影点与每个检测到的点对应来估计一个3D坐标。一旦建立了该对应关系,处理器就可以测量点的检测角度。在一些实施方式中,处理器可以计算点图案中的一个或更多个点的检测角度。在一些实施方式中,每个符号的检测角度可以被计算并且用于对符号执行三角测量。在一些实施方式中,两个或更多个点的检测角度可以被计算并且用于对两个或更多个点执行三角测量。这些方面可以根据各种实施方式提供计算步骤的示例。
根据各种实施方式提供的工具和技术包括与建立这些对应关系有关的新颖和创造性特征。例如,处理器可以通过对图像中的像素值的区域进行分组来识别所检测到的图像内的投影符号;其中,像素值组可以是检测到的符号。根据此处,该方法可以解码每个检测到的符号的像素值,以识别已经检测到哪个投影符号。在一些实施方式中,这可以通过将检测到的符号与存储在存储器中的投影符号中的一个进行匹配来完成。在一些实施方式中,可以使用二进制调制来构造检测的符号代码字,并且可以通过检测像素值是否落在阈值以上或以下来计算每个检测的符号的二进制代码字;阈值以上的值可以产生为1的二进制值,而阈值以下的值可以产生为0的二进制值。在一些实施方式中,可以通过将检测到的代码字与一组投影代码字中的一个投影代码字匹配来识别投影符号。例如,可以以密切相关的代码字可以在投影图案内分隔开的方式来选择符号代码字。因此,检测到的符号的解码中的任何错误可能产生比符号代码字与其相邻符号代码字相关的情况下的错误大得多的错误。对于具有连续表面的对象,该属性可以允许二次处理步骤以更容易地识别解码错误。因此,一些实施方式可以实现提供更高质量3D图像的系统和方法。
例如,图10提供了根据各种实施方式的用于图案投影和/或3D测量的方法1000的流程图。方法1000可以与如诸如图1A、图1B、图2、图3、图4、图5A、图5B、图6、图7、图8、图9和/或图10中所示的装置、表和/或系统结合使用。在图10中,所示的框的具体选择和框被示出的顺序仅是说明性的。根据不同实施方式,某些框可以以替代顺序来执行,某些框可以被省略,并且可以添加某些附加框。在下面的描述中注明了这些变型中的一些但不是所有。
在框1010处,可以投影一个或更多个图案。来自一个或更多个图案的每个图案可以包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于布置中的每个符号,所述符号与布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与布置中的剩余符号中的最远端的剩余符号之间的相似度。
方法1000的一些实施方式还可以包括附加步骤。例如,在框1020处,可以使用一个或更多个投影图案来照射对象。在框1030处,可以收集被照射的对象的一个或更多个图像。在框1040处,可以基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算被照射的对象的一个或更多个3D位置。
在方法1000的一些实施方式中,三个或更多个符号包括三个或更多个空间代码字。在一些实施方式中,与在一个或更多个图案中的相应图案中的来自三个或更多个符号的稍远的符号对相比,在来自所述一个或更多个图案的所述相应图案中的来自所述三个或更多个符号的较接近的符号对较不相似。在一些实施方式中,来自三个或更多个符号的最接近符号对的汉明距离大于来自三个或更多个符号的最远符号对的汉明距离。
在方法1000的一些实施方式中,重复三个或更多个符号的布置。在一些实施方式中,三个或更多个符号的布置的宽度足够宽,使得对象中没有两个区域被来自三个或更多个符号的同一符号对照射。在一些实施方式中,照射被配置成照射限于特定距离范围的对象。
方法1000的一些实施方式包括至少动态地配置投影、照射、收集或计算以用于一个或更多个工作范围。
在方法1000的一些实施方式中,对来自布置的剩余符号的最近端和来自布置的剩余符号的最远端的评估沿单一方向发生。在一些实施方式中,来自三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自三个或更多个符号的具有大于块宽度的接近度的符号对的汉明距离。
方法1000的一些实施方式包括动态地配置至少投影、照射、收集或计算以用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个3D位置中的对象上的每个相应3D位置的计算利用与图案的不宽于块宽度的区域有关的信息。
尽管上面给出了一个或更多个实施方式的详细描述,但在不脱离不同实施方式的精神的情况下,各种替换、修改和等同物对于本领域技术人员将是明显的。此外,除非明显不合适或以其他方式明确指出,否则应当假设不同实施方式的特征、装置和/或部件可以被替换和/或组合。因此,以上描述不应被视为限制不同实施方式的范围,范围可以由所附权利要求限定。
Claims (34)
1.一种用于三维测量的系统,包括:
图案投影仪,其发射一个或更多个图案,其中,来自所述一个或更多个图案的每个图案包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于所述布置中的每个符号,所述符号与所述布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与所述布置中的剩余符号中的最远端的剩余符号之间的相似度;
成像器;以及
处理器,其被配置成基于至少以下操作来估计对象上的一个或更多个三维位置:
使用从所述图案投影仪投影的所述一个或更多个图案照射所述对象;
使用所述成像器收集被照射的对象的一个或更多个图像;以及
基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算所述对象上的所述一个或更多个三维位置。
2.根据权利要求1所述的系统,其中,所述三个或更多个符号包括三个或更多个空间代码字。
3.根据权利要求1所述的系统,其中,所述三个或更多个符号被布置成使得:对于所述布置中的每个符号,所述符号与所述布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与所述布置中的剩余符号中的较远端的剩余符号之间的相似度。
4.根据权利要求1所述的系统,其中,来自所述三个或更多个符号的最接近符号对的汉明距离大于来自所述三个或更多个符号的最远符号对的汉明距离。
5.根据权利要求1所述的系统,其中,所述三个或更多个符号的布置被重复。
6.根据权利要求5所述的系统,其中,所述三个或更多个符号的布置的宽度足够宽,使得所述对象中没有两个区域被来自所述三个或更多个符号的同一符号对照射并且被收集在所述一个或更多个图像上。
7.根据权利要求6所述的系统,其中,所述图案投影仪照射限于特定距离范围的所述对象。
8.根据权利要求6所述的系统,其中,至少所述图案投影仪、所述成像器或所述处理器被动态地配置用于一个或更多个工作范围。
9.根据权利要求1所述的系统,其中,对来自所述布置的剩余符号的最远端和来自所述布置的剩余符号的最近端的评估沿单一方向发生。
10.根据权利要求1所述的系统,其中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于所述块宽度的接近度的符号对的汉明距离。
11.根据权利要求1所述的系统,其中,至少所述图案投影仪、所述成像器或所述处理器被动态地配置用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个三维位置中的所述对象上的每个相应三维位置的计算利用与所述图案的不宽于块宽度的区域有关的信息。
12.一种图案投影装置,包括:
发射一个或更多个图案的一个或更多个图案生成器,其中,来自所述一个或更多个图案的每个图案包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于所述布置中的每个符号,所述符号与所述布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与所述布置中的剩余符号中的最远端的剩余符号之间的相似度。
13.根据权利要求12所述的装置,其中,所述三个或更多个符号包括三个或更多个空间代码字。
14.根据权利要求12所述的装置,其中,所述三个或更多个符号被布置成使得:对于所述布置中的每个符号,所述符号与所述布置中的剩余符号中的较近端的剩余符号之间的相似度小于所述符号与所述布置中的剩余符号中的较远端的剩余符号之间的相似度。
15.根据权利要求12所述的装置,其中,来自所述三个或更多个符号的最接近符号对的汉明距离大于来自所述三个或更多个符号的最远符号对的汉明距离。
16.根据权利要求12所述的装置,其中,所述三个或更多个符号的布置被重复。
17.根据权利要求16所述的装置,其中,所述三个或更多个符号的布置的宽度足够宽,使得被使用所述一个或更多个图案照射的对象中没有两个区域被来自所述三个或更多个符号的同一符号对照射。
18.根据权利要求17所述的装置,其中,所述一个或更多个图案生成器被配置成照射限于特定距离范围的所述对象。
19.根据权利要求17所述的装置,其中,所述一个或更多个图案生成器被动态地配置用于一个或更多个工作范围。
20.根据权利要求12所述的装置,其中,对来自所述布置的剩余符号的最远端和来自所述布置的剩余符号的最近端的评估沿单一方向发生。
21.根据权利要求12所述的装置,其中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于所述块宽度的接近度的符号对的汉明距离。
22.根据权利要求12所述的装置,其中,所述一个或更多个图案生成器被动态地配置用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对于被使用所述一个或更多个图案照射的对象上的三维位置的计算利用与所述图案的不宽于块宽度的区域有关的信息。
23.一种图案投影方法,包括:
对一个或更多个图案进行投影,其中,来自所述一个或更多个图案的每个图案包括如下三个或更多个符号的布置:所述三个或更多个符号被布置成使得对于所述布置中的每个符号,所述符号与所述布置中的剩余符号中的最近端的剩余符号之间的相似度小于所述符号与所述布置中的剩余符号中的最远端的剩余符号之间的相似度。
24.根据权利要求23所述的方法,还包括:
使用所投影的一个或更多个图案来照射对象;
收集被照射的对象的一个或更多个图像;以及
基于所投影的一个或更多个图案和所收集的一个或更多个图像来计算被照射的对象的一个或更多个三维位置。
25.根据权利要求23所述的方法,其中,所述三个或更多个符号包括三个或更多个空间代码字。
26.根据权利要求23所述的方法,其中,与在所述一个或更多个图案的相应图案中的来自所述三个或更多个符号的稍远的符号对相比,在来自所述一个或更多个图案的所述相应图案中的来自所述三个或更多个符号的较接近的符号对较不相似。
27.根据权利要求23所述的方法,其中,来自所述三个或更多个符号的最接近符号对的汉明距离大于来自所述三个或更多个符号的最远符号对的汉明距离。
28.根据权利要求23所述的方法,其中,所述三个或更多个符号的布置被重复。
29.根据权利要求28所述的方法,其中,所述三个或更多个符号的布置的宽度足够宽,使得被使用所述一个或更多个图案照射的对象中没有两个区域被来自所述三个或更多个符号的同一符号对照射。
30.根据权利要求24所述的方法,其中,所述照射被配置成照射限于特定距离范围的所述对象。
31.根据权利要求24所述的方法,还包括:动态地配置至少所述投影、所述照射、所述收集或所述计算以用于一个或多个工作范围。
32.根据权利要求23所述的方法,其中,对来自所述布置的剩余符号的最远端和来自所述布置的剩余符号的最近端的评估沿单一方向发生。
33.根据权利要求23所述的方法,其中,来自所述三个或更多个符号的具有小于块宽度的接近度的所有符号对的汉明距离超过来自所述三个或更多个符号的具有大于所述块宽度的接近度的符号对的汉明距离。
34.根据权利要求24所述的方法,还包括:动态地配置至少所述投影、所述照射、所述收集、或所述计算以用于一个或更多个工作范围,使得:对于所述一个或更多个工作范围中的每一个工作范围,对所述一个或更多个三维位置中的所述对象上的每个相应三维位置的计算利用与所述图案的不宽于块宽度的区域有关的信息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762547777P | 2017-08-19 | 2017-08-19 | |
US62/547,777 | 2017-08-19 | ||
US16/104,106 US10699429B2 (en) | 2017-08-19 | 2018-08-16 | Coding distance topologies for structured light patterns for 3D reconstruction |
US16/104,106 | 2018-08-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109635619A CN109635619A (zh) | 2019-04-16 |
CN109635619B true CN109635619B (zh) | 2021-08-31 |
Family
ID=66066250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810941407.2A Active CN109635619B (zh) | 2017-08-19 | 2018-08-17 | 用于三维重建的结构化光图案的编码距离拓扑 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11282220B2 (zh) |
CN (1) | CN109635619B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010006081A1 (en) | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
US9562760B2 (en) | 2014-03-10 | 2017-02-07 | Cognex Corporation | Spatially self-similar patterned illumination for depth imaging |
CN109635619B (zh) | 2017-08-19 | 2021-08-31 | 康耐视公司 | 用于三维重建的结构化光图案的编码距离拓扑 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1271143A (zh) * | 2000-05-26 | 2000-10-25 | 清华大学 | 一种空间编码方法 |
CN103047943A (zh) * | 2012-12-31 | 2013-04-17 | 吉林大学 | 基于单投射编码结构光的车门外板形状尺寸检测方法 |
WO2013076583A2 (en) * | 2011-11-25 | 2013-05-30 | Universite De Strasbourg | Active vision method for stereo imaging system and corresponding system |
WO2016153680A1 (en) * | 2015-03-20 | 2016-09-29 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
CN106796661A (zh) * | 2014-08-12 | 2017-05-31 | 曼蒂斯影像有限公司 | 投影光图案的系统、方法和计算机程序产品 |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4705401A (en) | 1985-08-12 | 1987-11-10 | Cyberware Laboratory Inc. | Rapid three-dimensional surface digitizer |
US4687326A (en) | 1985-11-12 | 1987-08-18 | General Electric Company | Integrated range and luminance camera |
CA2044404C (en) | 1990-07-31 | 1998-06-23 | Dan S. Bloomberg | Self-clocking glyph shape codes |
DE4206836C2 (de) | 1992-03-04 | 1994-07-14 | Kaltenbach & Voigt | Sonde zur optischen Vermessung von Zähnen |
GB2303513B (en) | 1995-07-21 | 1999-09-29 | Innovision Res Ltd | Improved correlation processing for motion estimation |
JP3925986B2 (ja) | 1996-12-16 | 2007-06-06 | 富士通株式会社 | 高さ測定装置及び高さ測定方法 |
US5825933A (en) | 1996-12-20 | 1998-10-20 | Xerox Corporation | Parallel propagating embedded binary sequence for parameterizing two dimensional image domain code patterns in two dimensional address space |
EP1037069A3 (en) | 1999-03-17 | 2004-01-14 | Matsushita Electric Industrial Co., Ltd. | Rangefinder |
US6751344B1 (en) | 1999-05-28 | 2004-06-15 | Champion Orthotic Investments, Inc. | Enhanced projector system for machine vision |
KR100335443B1 (ko) | 1999-06-15 | 2002-05-04 | 윤종용 | 직교주파수분할다중변조 신호의 심볼 타이밍 및 주파수 동기 장치 및 방법 |
US6341016B1 (en) | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
US6621578B1 (en) | 1999-11-26 | 2003-09-16 | Olympus Optical Co, Ltd. | Elliposometer, sample positioning mechanism, and polarization angular adjusting mechanism, used in the elliposometer |
DE60130968T2 (de) | 2000-01-10 | 2008-07-10 | Massachusetts Institute of Technology Inc., Cambridge | Apparat und verfahren zur oberflächenkonturmessung |
US6754370B1 (en) | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
US6483927B2 (en) | 2000-12-18 | 2002-11-19 | Digimarc Corporation | Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes |
JP2002191058A (ja) | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | 3次元画像取得装置および3次元画像取得方法 |
JP3996774B2 (ja) | 2002-01-09 | 2007-10-24 | 株式会社日立ハイテクノロジーズ | パターン欠陥検査方法及びパターン欠陥検査装置 |
US7103212B2 (en) | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
WO2004083778A1 (en) | 2003-03-18 | 2004-09-30 | Hermary Alexander Thomas | Coded-light dual-view profile scanner |
JP2005003666A (ja) | 2003-05-20 | 2005-01-06 | Dainippon Screen Mfg Co Ltd | 分光エリプソメータ |
US7164789B2 (en) | 2003-08-11 | 2007-01-16 | Palo Alto Research Center Incorporated | Three-dimensional active vision with glyph address carpet |
JP2005114461A (ja) | 2003-10-06 | 2005-04-28 | Hitachi Industries Co Ltd | 薄膜厚さ測定方法及び装置 |
US7002699B2 (en) | 2004-02-23 | 2006-02-21 | Delphi Technologies, Inc. | Identification and labeling of beam images of a structured beam matrix |
US7804997B2 (en) | 2004-06-10 | 2010-09-28 | Technest Holdings, Inc. | Method and system for a three dimensional facial recognition system |
JP2006098252A (ja) | 2004-09-30 | 2006-04-13 | Brother Ind Ltd | 3次元情報取得方法 |
US7306341B2 (en) | 2005-02-28 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Multi-projector geometric calibration |
US20070046924A1 (en) | 2005-08-30 | 2007-03-01 | Chang Nelson L A | Projecting light patterns encoding correspondence information |
US8400494B2 (en) | 2005-10-11 | 2013-03-19 | Primesense Ltd. | Method and system for object reconstruction |
US20070115484A1 (en) | 2005-10-24 | 2007-05-24 | Peisen Huang | 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration |
US20070109527A1 (en) | 2005-11-14 | 2007-05-17 | Wenstrand John S | System and method for generating position information |
US7433024B2 (en) | 2006-02-27 | 2008-10-07 | Prime Sense Ltd. | Range mapping using speckle decorrelation |
JP5077770B2 (ja) | 2006-03-07 | 2012-11-21 | 株式会社ニコン | デバイス製造方法、デバイス製造システム及び測定検査装置 |
CN101957994B (zh) | 2006-03-14 | 2014-03-19 | 普莱姆传感有限公司 | 三维传感的深度变化光场 |
US7957007B2 (en) | 2006-05-17 | 2011-06-07 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for illuminating a scene with multiplexed illumination for motion capture |
JP5186129B2 (ja) | 2006-08-25 | 2013-04-17 | 大日本スクリーン製造株式会社 | 溝パターンの深さの測定方法および測定装置 |
US8090194B2 (en) | 2006-11-21 | 2012-01-03 | Mantis Vision Ltd. | 3D geometric modeling and motion capture using both single and dual imaging |
US8538166B2 (en) | 2006-11-21 | 2013-09-17 | Mantisvision Ltd. | 3D geometric modeling and 3D video content creation |
US8350847B2 (en) | 2007-01-21 | 2013-01-08 | Primesense Ltd | Depth mapping using multi-beam illumination |
US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
US7768656B2 (en) | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
US7656519B2 (en) | 2007-08-30 | 2010-02-02 | Kla-Tencor Corporation | Wafer edge inspection |
US8384997B2 (en) | 2008-01-21 | 2013-02-26 | Primesense Ltd | Optical pattern projection |
JP5203992B2 (ja) | 2008-03-25 | 2013-06-05 | 株式会社ニューフレアテクノロジー | 電子ビーム描画装置及び電子ビーム描画方法 |
WO2010006081A1 (en) | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
US8462207B2 (en) | 2009-02-12 | 2013-06-11 | Primesense Ltd. | Depth ranging with Moiré patterns |
US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
US8774496B2 (en) * | 2009-07-29 | 2014-07-08 | Analogic Corporation | Compound object separation |
WO2011071929A2 (en) | 2009-12-07 | 2011-06-16 | Photon-X, Inc. | 3d visualization system |
JP5578844B2 (ja) | 2009-12-21 | 2014-08-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
WO2011122411A1 (ja) | 2010-03-29 | 2011-10-06 | 株式会社 アルバック | スパッタ装置 |
JP5426497B2 (ja) | 2010-08-09 | 2014-02-26 | 株式会社アドバンテスト | パターン測定装置及びパターン測定方法 |
EP2643659B1 (en) | 2010-11-19 | 2019-12-25 | Apple Inc. | Depth mapping using time-coded illumination |
US8749796B2 (en) | 2011-08-09 | 2014-06-10 | Primesense Ltd. | Projectors of structured light |
US8908277B2 (en) | 2011-08-09 | 2014-12-09 | Apple Inc | Lens array projector |
CN107806826B (zh) | 2012-03-26 | 2021-10-26 | 螳螂慧视科技有限公司 | 三维照相机及其投影仪 |
KR102007042B1 (ko) | 2012-09-19 | 2019-08-02 | 도쿄엘렉트론가부시키가이샤 | 박리 장치 |
JP6014477B2 (ja) | 2012-12-04 | 2016-10-25 | 東京エレクトロン株式会社 | 剥離装置、剥離システムおよび剥離方法 |
JP2015088667A (ja) | 2013-10-31 | 2015-05-07 | 株式会社東芝 | 微細加工システム、微細加工装置、および微細加工方法 |
US9562760B2 (en) | 2014-03-10 | 2017-02-07 | Cognex Corporation | Spatially self-similar patterned illumination for depth imaging |
JP6363382B2 (ja) | 2014-04-14 | 2018-07-25 | 大塚電子株式会社 | 膜厚測定装置及び方法 |
US9635339B2 (en) * | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
EP3444782B1 (en) | 2017-08-19 | 2022-03-30 | Cognex Corporation | Coding distance topologies for structured light patterns for 3d reconstruction |
CN109635619B (zh) | 2017-08-19 | 2021-08-31 | 康耐视公司 | 用于三维重建的结构化光图案的编码距离拓扑 |
-
2018
- 2018-08-17 CN CN201810941407.2A patent/CN109635619B/zh active Active
-
2020
- 2020-06-28 US US16/914,387 patent/US11282220B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1271143A (zh) * | 2000-05-26 | 2000-10-25 | 清华大学 | 一种空间编码方法 |
WO2013076583A2 (en) * | 2011-11-25 | 2013-05-30 | Universite De Strasbourg | Active vision method for stereo imaging system and corresponding system |
CN103047943A (zh) * | 2012-12-31 | 2013-04-17 | 吉林大学 | 基于单投射编码结构光的车门外板形状尺寸检测方法 |
CN106796661A (zh) * | 2014-08-12 | 2017-05-31 | 曼蒂斯影像有限公司 | 投影光图案的系统、方法和计算机程序产品 |
WO2016153680A1 (en) * | 2015-03-20 | 2016-09-29 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
Also Published As
Publication number | Publication date |
---|---|
US20210019896A1 (en) | 2021-01-21 |
CN109635619A (zh) | 2019-04-16 |
US11282220B2 (en) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11054506B2 (en) | Spatially self-similar patterned illumination for depth imaging | |
EP3444782B1 (en) | Coding distance topologies for structured light patterns for 3d reconstruction | |
US11486698B2 (en) | Systems and methods for estimating depth from projected texture using camera arrays | |
US11282220B2 (en) | Coding distance topologies for structured light patterns for 3D reconstruction | |
US11302022B2 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
US9383549B2 (en) | Imaging system | |
KR20200016994A (ko) | 사진 측량 및 3 차원 스캔 기능을 동시에 갖는 핸드헬드 대형 3 차원 측정 스캐너 시스템 | |
US9835438B2 (en) | Distance measuring apparatus and method | |
CN107735645B (zh) | 三维形状测量装置 | |
JP2015184056A (ja) | 計測装置、方法及びプログラム | |
JP2016170122A (ja) | 計測装置 | |
US9197881B2 (en) | System and method for projection and binarization of coded light patterns | |
US20220222843A1 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
Kawasaki et al. | Structured light with coded aperture for wide range 3D measurement | |
US9721348B2 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
US9992472B1 (en) | Optoelectronic devices for collecting three-dimensional data | |
US20220113131A1 (en) | Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium | |
CN110836647A (zh) | 三维扫描系统 | |
JP2011133360A (ja) | 距離計測装置、距離計測方法、及びプログラム | |
US11948321B2 (en) | Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method | |
Vehar et al. | Single-shot structured light with diffractive optic elements for real-time 3D imaging in collaborative logistic scenarios | |
KR20180065896A (ko) | 3차원 정보 생성 장치 | |
KR20140132044A (ko) | 영상 획득 장치 및 이의 영상 획득 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |