CN104603676A - 深度相机的照明光整形 - Google Patents

深度相机的照明光整形 Download PDF

Info

Publication number
CN104603676A
CN104603676A CN201380043235.2A CN201380043235A CN104603676A CN 104603676 A CN104603676 A CN 104603676A CN 201380043235 A CN201380043235 A CN 201380043235A CN 104603676 A CN104603676 A CN 104603676A
Authority
CN
China
Prior art keywords
light
depth camera
optical grade
illumination
lens element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380043235.2A
Other languages
English (en)
Other versions
CN104603676B (zh
Inventor
J·M·胡德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104603676A publication Critical patent/CN104603676A/zh
Application granted granted Critical
Publication of CN104603676B publication Critical patent/CN104603676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G02B27/0961—Lens arrays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

公开了用于将照明光投射在图像环境中的飞行时间(TOF)深度相机和方法的各实施例。TOF深度相机的一个示例实施例包括：光源，该光源被配置成生成相干光；第一光学级，该第一光学级包括周期性安置的透镜元件阵列，该阵列被定位成接收相干光的至少一部分并形成发散光；第二光学级，该第二光学级被定位成接收发散光的至少一部分并降低该发散光中的一个或多个衍射伪像的强度以形成用于投射到照明环境中的照明光；以及，图像传感器，该图像传感器被配置成检测从照明环境反射的返回照明光的至少一部分。

Description

深度相机的照明光整形
背景
在飞行时间(TOF)深度相机中，将光脉冲从光源投射到图像环境中的对象，该对象被聚焦在图像传感器上。可能难以使图像环境充满照明光，因为图像环境可具有相当大的体积，并可具有不匹配来自光源的光束的形状(例如，圆形)的截面形状(例如，矩形)。此外，成像光学器件可具有期望在其中有一致的投射光强的大景深。
一些实现期望照明光形状的先前方法采用随机布置的微透镜。然而，由于这样的微透镜的大小是随机的并且这样的微透镜是随机分布的，因此控制光在图像环境内的分布(包括光的截面分布以及光在房间内照明的包络的尺寸)的能力可能受到损害。
概述
公开了涉及对投射在图像环境中的TOF深度相机照明光进行整形的各个实施例。例如，一个实施例提供TOF深度相机，该TOF深度相机包括被配置成生成相干光的光源。示例TOF深度相机还包括第一光学级，该第一光学级包括周期性布置的透镜元件阵列，该阵列被定位成接收相干光的至少一部分。该TOF深度相机还包括第二光学级，该第二光学级被定位成接收发散光的至少一部分并被适配成降低该发散光中的一个或多个衍射伪像的强度以形成要投射在照明环境中的照明光。该示例TOF深度相机还包括图像传感器，该图像传感器被配置成检测从照明环境反射的返回照明光的至少一部分。
提供本概述是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念选择。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示意性地示出根据本公开的一实施例的示例使用环境中的示例飞行时间深度相机。
图2示意性地示出用于示例飞行时间深度相机的示例照明器，根据本公开的一实施例该示例照明器被描绘成改变光包络的形状。
图3示意性地示出根据本公开的一实施例的另一示例照明器。
图4示意性地示出根据本公开的一实施例的示例照明器的光整形级的示例。
图5示意性地示出根据本公开的一实施例的光整形级的另一示例。
图6在某种程度上示意性地示出根据本公开的一实施例的示例光整形级中包括的示例透镜元件的透视图。
图7示出根据本公开的一实施例的照明光的非相干辐射和光轴之间示出示例照明分布的示例关系。
图8示意性地示出根据本公开的一实施例的另一示例照明器。
图9示出了解说根据本公开的一实施例的将照明光投射在图像环境中的示例方法的流程图。
详细描述
如上所述，TOF深度相机利用从TOF深度相机投射在图像环境中的光脉冲(例如，红外光和/或可见光)。照明光脉冲从图像环境中的各个对象表面反射出并返回到图像传感器。TOF深度相机通过量化依赖于时间的返回光信息来生成距离数据。换言之，由于与从较远离感光表面的对象特征处被反射出时相比，当光从较接近于感光表面的特征处被反射出时被更快检测到，因此TOF深度相机可确定关于该对象的特征的距离信息。
可能难以使图像环境充满期望强度分布的照明光。例如，可期望与在成像环境的中心处相比，在图像环境的周边附近的区域中投射光的强度在某种程度上更大，因为从那些区域反射的光可由于在成像光学器件上的入射角而在图像传感器上具有更低的强度。
此外，如上所述，成像环境可具有与光源所发射的光不同的截面形状。成像环境还可能相对较大，以捕捉潜在的多个用户的潜在的较大范围的移动。
与TOF深度相机一起使用的照明源可在圆形模式或呈圆形的发射包络中发射光。因此，以实现跨整个非圆形的图像环境的相对均匀的照明强度的方式将呈圆形的发射模式覆盖在非圆形的图像环境上可导致该环境的不被用于进行深度分析的各部分的照明。这可浪费光源功率，并且还可涉及对更强大且更昂贵的光源的使用。
一些重新整形照明光的先前方法采用随机分布的球形微透镜。通过使微透镜随机分布，发射的光的形状可被调整，同时避免引入可由周期性布置的微透镜引起的衍射干扰。然而，由于这些微透镜的大小是随机的，因此控制光在图像环境内的分布(包括光的截面分布以及光在房间内照明的包络的尺寸)的能力可能受到损害。
因此，本文中提供了用于用照明光来照明图像环境的TOF深度相机及方法的各实施例以重新整形发射的光并调整经重新整形的光的投射包络和照明截面。在一个示例中，提供了一种TOF深度相机，该TOF深度相机包括被配置成生成相干光的光源。该示例TOF深度相机还包括第一光学级，该第一光学级包括周期性布置的透镜元件阵列，该阵列被定位成接收相干光的至少一部分并被适配成使相干光发散以形成发散光。该示例TOF深度相机还包括第二光学级，该第二光学级被定位成接收发散光的至少一部分并被适配成降低发散光中的一个或多个衍射伪像的强度以形成要投射在照明环境中的照明光。该示例TOF深度相机还包括图像传感器，该图像传感器被配置成检测从照明环境反射的返回照明光的至少一部分。
图1示意性地示出TOF深度相机100的实施例。在图1所示的实施例中，TOF深度相机100包括照明器102，该照明器102被配置成用照明光108来照明定位在图像环境106中的对象104的一部分。例如，照明光108A的照到对象104的一部分的射线被作为返回光112反射出。来自返回光112的光子可被收集并被用于生成对象104的深度信息，如以下详细解释的。
尽管图1所示的示例描绘了单个照明器102被包括在TOF深度相机100中，但将领会，多个照明器102可被包括在TOF深度相机100中以照明图像环境。
TOF深度相机100还包括图像传感器110，该图像传感器110被配置成检测从图像环境106反射的返回照明光112的至少一部分。图像传感器110包括检测器114，该检测器114用于收集返回照明光112以用于生成该场景的深度信息(诸如，深度图)。
在图1所示的实施例中，照明器102包括光源118以及光学组件120，光源118被配置成生成相干光，光学组件120被配置成整形相干光并使该相干光朝向图像环境106定向。光源118可以以任何合适的波长(包括但不限于红外波长和可见波长)发射相干光。
在一些实施例中，光源118可包括被布置在光群集中的一个或多个单独的光产生元件。如本文中所使用的，光群集指的是被配置成发射相干光的多个光发射器的布置或分组。在一些实施例中，多个光发射器可以被包括在公共外壳中。这样的光群集可具有任何合适的形状，并可包括任何合适数目的光发射器。在这样的实施例中的一些中，光源118可包括呈直线的光条，该光条具有多个平行布置的光发射器。例如，在一个特定示例中，光条可被配置成从十一个平行光发射器发射平行光束。
出于讨论的目的，光图像环境106可被分解成照明深度区域和照明包络区域。照明深度区域指的是投射光的焦距。在图1所示的实施例中，照明光108被投射到由近边缘124和远边缘126界定的照明深度区域122。照明深度区域122可具有任何合适的范围。在一个非限制示例中，照明深度区域122可以为约3.5m深。
照明包络区域指的是用照明光108照亮的截面区域。在图1所示的实施例中，呈矩形的照明包络区域128是用水平尺寸130和用垂直尺寸132来表示的。然而，将领会，呈任何合适形状的照明包络区域128(例如，椭圆形状、多边形形状或其他封闭形状)可被形成，而不背离本公开的范围。
光学组件120可被配置成将光源118所发射的光的发射包络变换成呈不同形状的照明包络形状。图2示意性地示出其中光源118具有圆形发射形状202的照明器102的实施例。在图2所示的示例中，光学组件120将该圆形形状变换成矩形形状204以投射在照明包络区域128中。将理解，所描绘的发散是出于说明的目的而被呈现的，并且在各实施例中可不表示光的实际发散。
图3示意性地示出照明器102的一实施例，并解说光学组件120的一示例实施例。在图3所示的实施例中，光学组件120包括光整形级302和衍射伪像降低级304，光整形级302用于整形相干光306并将其扩散成发散光308，衍射伪像降低级304被配置成降低发散光308中的一个或多个衍射伪像的强度，如以下更详细解释的。
在一些实施例中，光整形级302可包括周期性透镜元件阵列，诸如周期性微透镜阵列。例如，图4示意性地示出了包括由框架404保留的多个透镜元件402的光整形级302的一实施例的正视图。如图4所示，每一透镜元件402均是参考与短轴透镜元件间距408不同的长轴透镜元件间距406来定义的，以使得每一透镜元件402均具有长方形的形状。在图4所示的实施例中，间距是参考每一单元的中心来定义的，每一单元的中心可对应于每一透镜表面的顶点。在其他实施例中可以使用其他合适的间距定义而不背离本公开的范围。
透镜元件402的间距可用于选择照明包络区域128的形状。例如，圆形模式的透镜元件402可生成相应的圆形照明包络区域，而六边形模式的透镜元件402可生成六边形照明包络区域。图4所示的实施例描绘了长方形的透镜元件402，使得长方形的照明包络区域将在远场中被生成。此外，由短轴透镜元件间距408和长轴透镜元件间距406展示的间距宽高比可影响照明包络区域128的宽高比。在包括长方形透镜元件402的一些实施例中，光整形级302中的长轴透镜元件间距406与短轴透镜元件间距408的比率可以为1.1:1或更多。例如，在给定大约1.18:1的间距宽高比的情况下，每一透镜元件402可具有190μm的水平尺寸和160μm的垂直尺寸，其各自在可接受的容忍度内。进而，在该示例中，具有约70°乘60°的水平角乘垂直角照明场的照明包络区域128可在远场中被形成。
图5示出与衍射伪像降低级304一起被集成在单个部件中的示例光整形级302的一实施例的截面图，但是在一些实施例中，衍射伪像降低级304和光整形级302可以是分开的结构。在图5所示的实施例中，相干光306的被单独的透镜元件402A接收到的射线被该元件扩散，并且随后被衍射伪像降低级304漫射成照明光310。光整形级302中所包括的透镜元件402中的每一个均被配置成(在角度空间中)为光学组件120创建期望的角度照明场。换言之，光整形级302中的每一透镜元件402均被配置成将所选角度的发散提供给传入光。如本文中所使用的，发散光指的是从较准直的光束扩散成较不准直的光束的相干光。发散光308可具有任何合适的照明强度截面(如以下更详细解释的)，并可由在发散光308的光轴和极射线之间测量到的任何合适的发散角来扩散。
通过扩散传入光，光整形级302将光传送到照明包络区域128内的所有区域。在一些实施例中，光整形级302可被适配成将相干光306变换成具有大于30度的发散角的发散光308。这样变换后，光可以照明图像环境106内的大角度的照明场，从而潜在地为图像传感器110的潜在图像捕捉提供大照明包络。在一个非限制示例中，120度的垂直照明场乘140度的水平照明场可从相对于照明光108的光轴为60度的垂直发散角和70度的水平发散角中获得。图6示意性地示出单独的透镜元件402的一实施例的视角。凸透镜表面602被定位成朝向光源118(图6中未示出)以接收入射的相干光306。相对于其中透镜表面602避开光源118的示例而言，将透镜表面602定位成面向光源118可在光经历透镜元件内的总内部反射之前导致相对较高的入射角。进而，角照明场并由此照明包络区域在透镜表面602面向光源118时可更大。此外，将透镜表面602定位成面向光源118可降低或消除一些表面涂层(例如，诸如MgF2之类的抗反射涂层)，否则这些表面涂层在透镜表面602面向另一方向的情况下可能被应用。
透镜表面602部分地依据透镜元件402的间距尺寸来整形。进而，单元的间距尺寸可影响透镜表面602的非球面性质。因此，透镜元件402的发散能力至少部分地依据间距尺寸来建立。在图6所示的其中透镜元件402被描绘为具有长方形的单元形状的实施例中，凸透镜表面602将具有限定在光轴606和极射线608之间的第一发散角604，该第一发散角将不同于限定在光轴606和极射线612之间的第二发散角610。当被投射到图像环境106中时，按根据这些发散角的相应方向扩散的照明光将建立照明包络区域128的边界。
在一些实施例中，透镜元件402可实现的发散程度可受用于形成这些透镜的材料的折射率的影响。当透镜曲率增加时，光逼近总内部反射限制。然而，通过增加折射率，所选的发散角可用相比较而言较小的光弯曲来实现。例如，在一些实施例中，透镜元件402可由具有约1.49的折射率的光学级聚酯纤维(甲基丙烯酸甲酯)(PMMA)制成。在其他实施例中，透镜元件402可由具有约1.6的折射率的光学级聚碳酸酯(PC)制成。与由PMMA制成的元件相比，由PC制成的透镜元件402可具有对于获得相同发散角而言更小的曲率。将领会，任何合适的光学级材料均可用于制造透镜元件402，包括以上描述的聚合物、光学级玻璃等。
在每一透镜元件402处扩散相干光并重新组合发散光308的聚集效果将是把截面光的强度/辐射分布从与入射相干光306相关联的高斯分布整形成呈不同形状的照明分布。例如，在一些实施例中，少至六个透镜元件402可足以形成所期望的照明分布。然而，增加单个光亮元件内的透镜元件402的数目可改善光整形级302形成所期望的照明分布的能力。
将领会，光整形级302可将相干光306整形成具有任何合适的截面光分布的发散光208，而不背离本公开的范围。在一些实施例中，发散光308可具有有平顶的、类似平顶山的截面强度分布。在这样的实施例中，发散光308的辐射在邻近光轴的区域中可具有在可接受的容忍度内的相对恒定的强度。随后，在处于所期望的图像环境外部的较远离光轴的区域(例如，对应于该平顶山的侧壁的区域)中，该辐射可在强度方面相对急剧地下降。
在一些其他实施例中，发散光308的特征可在于在较远离光轴处比在较接近于发散光的光轴处更强的截面光分布。图7在发散光的示例光分布702内示出了非相干辐射和截面位置之间的关系700的实施例。在图7所示的示例中，光分布702在较远离光轴704的区域中比在较接近于光轴704的位置处展示更大的辐射强度。光分布702展示在某种程度上类似于关于光轴704对称的大写字母“M”的截面辐射分布。
不希望受限于理论，生成照明光的呈“M”形的分布可抵消在图像传感器110处接收的呈“W”形的分布并被提供给由图像环境中的对象造成的返回光。换言之，向图像环境106供应具有呈“M”形的分布的光的净效果可以是图像传感器110检测具有相对平坦的截面强度分布的返回光，其可有助于跨所需的图像提供相对一致的对比度和亮度。
光分布和/或角照明场的改变可通过合适地调整光整形级302的间距比来实现。例如，朝向数字一的调整水平与垂直透镜元件间距比可导致朝向类似平顶山的光分布的进展，而更高的宽高比可导致呈“M”形的分布。在一些实施例中，光整形级302可具有1.1:1或更高的水平与垂直透镜元件间距比，该水平与垂直透镜元件间距比对生成呈“M”形的光分布有贡献。在一个非限制示例中，约190μm乘160μm的水平与垂直间距比可导致呈“M”形的强度分布。
不管提供给发散光208的光分布的特定形状如何，提供该光分布形状和角照明场的透镜元件402的周期性布置还可导致干扰效果。不希望受限于理论，将来自单独的透镜元件402的相干光重新组合成发散光208可在光束内引入衍射模式斑点。如果存在的话，这些衍射模式斑点可导致照明光变成不完整的光对象104，从而潜在地导致图像传感器110处的图像捕捉误差以及生成该场景的深度信息的困难。
因此，各种方法可用于降低这样的衍射伪像的强度。例如，在一些实施例中，发散光308的准直程度可被调整以抵消由光整形级302引入的衍射伪像。另选地或替换地，在一些实施例中，相干光306的准直程度可在该光进入光整形级302之前被调整。进而，相对于未经调整的相干光而言，在退出光整形级302的发散光308中可存在相比较而言更低强度和/或数目的衍射伪像。
此外，在一些实施例中，光学组件120可包括前述衍射伪像降低级304以降低发散光308中的一个或多个衍射伪像的强度。在一些实施例中，衍射伪像降低级304可被配置成通过使发散光308漫射来移除或降低这样的伪像的强度。由此，衍射伪像降低级304可包括光漫射表面，该光漫射表面被适配成通过光散射来调整发散光308的准直程度。
使发散光308散射可加扰由光整形级302内的周期性布置的透镜元件402所引入的衍射模式。不希望受限于理论，由通过单独的透镜元件402的镜面反射光射线引入的Moiré模式可由衍射伪像降低级304衍射以生成围绕该镜面反射光束的光环。光环可随后填充相邻透镜元件402处引入的较低强度(例如，衍射伪像)的区域。在该聚集中，这些补偿效果可使光分布平滑，从而降低该系统内的衍射干扰的强度。
在一些实施例中，光漫射表面可展示被选为使发散光合适地散射而不会将光分布更改为超过可接受的容忍度的表面粗糙度。在一个非限制示例中，光漫射表面可具有在100–200nm的范围内的表面粗糙度(RMS)。可以任何合适方式来形成这样的漫射表面。例如，在一些实施例中，漫射表面可使用电火花加工(EDM)来生成。
将领会，可采用其他技术来减轻照明光310内的潜在衍射斑点。被定位成从光整形级302(例如如图3和5所示)接收光的衍射伪像降低级304在概念上可表示在后整形滤波器。另外地或作为替换，一些实施例可采用预整形滤波器，该预整形滤波器被配置成在光进入光整形级302之前调整准直程度。例如，在一些实施例中，准直器可被定位在光源118和光整形级302之间的光路中。
图8示意性地示出包括光学组件120的一实施例的照明器102的一实施例。如图8所示，光学组件120包括准直级802，该准直级802被配置成调整相干光306的准直程度。通过使相干光306准直，准直级802可在光被光整形级302接收之前使光散焦达所选的量。进而，光整形级302可能较不可能引入衍射伪像。
作为又一示例，在一些实施例中，多个光整形级302可被按顺序提供。总的说来，在这样的实施例中，由每一级提供的衍射模式的组合可导致相比较而言更均匀的光强度。不管光可被预滤波还是被在后滤波，也不管一个或多个附加的光整形级302是否可被包括在该系统内，该系统内的衍射干扰都可被降低到提供在可接受的容忍度内的合适的同构照明光的水平。在一些非限制实施例中，衍射干扰可被降低到10％或更小。
图9示出了将照明光投射到图像环境中的方法900的一实施例的流程图。将领会，方法900可由任何合适的硬件来执行，包括但不限于本文中描述的硬件。此外，将领会，在图9中示出并在以下描述的方法900的实施例是出于示例的目的来呈现的。在一些实施例中，参考图9描述的过程中任何一个均可用其他合适的过程来补充、被忽略和/或被合适地重新排序，而不背离本公开的范围。
在902，方法900包括生成用于投射在照明环境中的照明光，诸如相干的红外光和/或可见光。在904，方法900包括在发散级处使照明光的至少一部分发散，以使得由发散级发射的照明光具有在较远离光轴处比在较接近于光轴处更强的光分布。继续以上所述的示例，来自激光的红外光可在包括含非正方形微透镜/单元的周期性微透镜阵列的发散级处被接收，并以该阵列发散以形成这样的照明光分布。在一些情景中，长方形的微透镜可用于创建呈“M”形的照明光分布。
在一些实施例中，904处使照明光的部分发散可包括在906，将照明光从给定发射包络形状变换成不同的照明包络形状。例如，圆形的发射包络形状可被变换成矩形、六边形、或其他合适的照明包络形状。在其中发射级包括周期性微透镜阵列的一些实施例中，例如将照明光变换成不同的照明包络形状可通过选择被配置成生成在远场中的照明包络形状的微透镜单元布置和间距来执行。
另选地或替换地，在一些实施例中，在904使照明光的部分发散可包括在908，使照明光的部分发散成具有大于30度的发散角的光。在其中发散级包括周期性微透镜阵列的一些实施例中，例如使照明光发散成具有大于30度的发散角的光可通过选择被配置成生成远场中的照明包络形状的微透镜单元间距来执行。
在910，方法900包括降低照明光中的一个或多个衍射伪像的强度。在一些非限制实施例中，衍射伪像的强度可被减少，使得所发射的照明光展示10％或更少的衍射干扰。在916，方法900包括使照明光投射到图像环境中。
在一些实施例中，在910降低照明光的部分中的衍射伪像的强度可包括在912在使该照明光发散之前使该照明光准直。例如，照明光可首先被提供给准直器，并且经准直的光可随后被提供给被配置成使光发散的周期性微透镜阵列。
此外，在一些实施例中，在910降低照明光的部分中的衍射伪像的强度可包括在914在使该光发散后漫射该照明光。例如，照明光可首先被提供给周期性微透镜阵列以使该光散射，并随后被提供给光漫射器，该光漫射器被配置成使发散光分散并调整光的准直程度。
在一些实施例中，以上所述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
例如，图1中示出的TOF深度相机100的实施例描绘了可执行以上描述的方法和过程中的一个或多个的计算系统的非限制实施例的示例。例如，在图1所示的实施例中，光生成模块150可包括用于操作照明器102的合适指令，且深度信息模块152可包括用于操作图像传感器110并解释检测器114所检测到的图像信息的合适指令。尽管图1所示的各模块被示为TOF深度相机100内的不同的、独立的实体，但将领会，由这样的模块执行的功能可被集成和/或分布在整个TOF深度相机100和/或与TOF深度相机100连接的计算设备上，而不背离本公开的范围。
以简化形式示出了计算系统。应该理解，可以使用实际上任何计算机架构，而不偏离本发明的范围。在不同的实施例中，计算系统可以采取大型计算机、服务器计算机、台式机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、可移动计算设备、可移动通信设备(例如，智能电话)等的形式。
TOF深度相机100包括逻辑子系统160和存储子系统162。TOF深度相机100可以任选地包括显示子系统164、输入/输出设备子系统166和/或在图1中未示出的其他组件。
逻辑子系统160包括被配置为执行指令的一个或多个物理设备。例如，逻辑子系统160可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态、或以其它方式达到所需的结果。
逻辑子系统160可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统160可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统160的处理器可以是单核或多核的，而其上执行的程序可被配置成用于串行、并行或分布式处理。逻辑子系统160可以任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可以由云计算配置中配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统162包括一个或多个物理、非瞬时设备，该一个或多个物理、非瞬时设备被配置成保持逻辑子系统160可执行来实现本文中描述的方法和过程的数据和/或指令。在实现这些方法和过程时，可以变换存储子系统162的状态(例如，保存不同的数据)。
存储子系统162可以包括可移动介质和/或内置设备。存储子系统162可包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统162可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。在某些实施例中，可将逻辑子系统160和存储子系统162集成到一个或多个单一设备中，诸如专用集成电路(ASIC)或片上系统。
应理解，存储子系统162包括一个或多个物理、非瞬时设备。然而，在一些实施例中，在此描述的指令的各方面可以按暂态方式通过不由物理设备在有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
术语“模块”或“程序”可用于描述被实现为执行特定功能的计算系统的一方面。在一些情况下，可以通过执行由存储子系统162所保持的指令的逻辑子系统160来实例化模块或程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块和/或程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“模块”和“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
在被包括时，显示子系统164可用于呈现由存储子系统162保存的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统164的状态以视觉地表示底层数据的改变。显示子系统164可以包括使用实际上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统160和/或存储子系统162一起组合在共享封装中，或者此类显示设备可以是外围显示设备。
当被包括在内时，输入/输出设备子系统166可被配置成将计算系统与一个或多个其他计算设备通信地耦合。输入/输出设备子系统166可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制示例，输入/输出设备子系统166可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，输入/输出设备子系统166可允许计算系统经由网络(诸如因特网)向其他设备发送消息和/或从其他设备接收消息。输入/输出设备子系统166还可以任选地包括一个或多个用户输入设备(诸如举例来说键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏)或与其对接。
应该理解，此处所述的配置和/或方法在本质上示例性的，且这些具体实施例或示例不是局限性的，因为众多变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出和/或描述的各个动作可以按所示出和/或描述的顺序、按其他顺序、并行执行或者被忽略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种飞行时间深度相机，包括：
光源，所述光源被配置成生成相干光；
第一光学级，所述第一光学级包括周期性布置的透镜元件阵列，该阵列被定位成接收所述相干光的至少一部分，所述第一光学级被适配成使所述相干光的所述部分发散以形成发散光，发散光的特征在于在较远离所述发散光的光轴处比在较接近于所述发散光的光轴处更强的光分布；
第二光学级，所述第二光学级被定位成接收所述发散光的至少一部分，所述第二光学级被适配成降低所述发散光中的一个或多个衍射伪像的强度以形成要投射在照明环境中的照明光；以及
图像传感器，所述图像传感器被配置成检测从所述照明环境反射的返回照明光的至少一部分。
2.如权利要求1所述的飞行时间深度相机，其特征在于，所述第一光学级包括周期性布置的透镜元件的长方形阵列，并且其中所述长方形阵列的长轴透镜元件间距不同于所述长方形阵列的短轴透镜元件间距。
3.如权利要求2所述的飞行时间深度相机，其特征在于，所述长轴透镜元件间距与所述短轴透镜元件间距的比率为1.1:1或更多。
4.如权利要求1所述的飞行时间深度相机，其特征在于，所述第一光学级被适配成将所述相干光变换成具有大于30度的发散角的发散光。
5.如权利要求1所述的飞行时间深度相机，其特征在于，对于所述阵列中包括的一个或多个所选透镜元件，每一所选透镜元件的凸透镜表面被定位成面向所述光源。
6.如权利要求1所述的飞行时间深度相机，其特征在于，所述第一光学级还被适配成将所述相干光从第一形状变换成具有不同形状的发散光。
7.如权利要求1所述的飞行时间深度相机，其特征在于，所述光源被配置成发射红外光。
8.如权利要求1所述的飞行时间深度相机，其特征在于，所述第二光学级包括光漫射表面。
9.如权利要求1所述的飞行时间深度相机，其特征在于，所述第一光学级和所述第二光学级被形成在集成光学元件中。
10.如权利要求1所述的飞行时间深度相机，其特征在于，所述第一光学级包括周期性布置的透镜元件阵列，并且其中所述第二光学级包括不同的周期性布置的透镜元件阵列。
CN201380043235.2A 2012-08-14 2013-08-14 飞行时间深度相机 Active CN104603676B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/585,620 US9057784B2 (en) 2012-08-14 2012-08-14 Illumination light shaping for a depth camera
US13/585,620 2012-08-14
PCT/US2013/054998 WO2014028652A1 (en) 2012-08-14 2013-08-14 Illumination light shaping for a depth camera

Publications (2)

Publication Number Publication Date
CN104603676A true CN104603676A (zh) 2015-05-06
CN104603676B CN104603676B (zh) 2017-04-12

Family

ID=49029247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380043235.2A Active CN104603676B (zh) 2012-08-14 2013-08-14 飞行时间深度相机

Country Status (4)

Country Link
US (1) US9057784B2 (zh)
EP (1) EP2885672B1 (zh)
CN (1) CN104603676B (zh)
WO (1) WO2014028652A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105467599A (zh) * 2015-12-25 2016-04-06 深圳乐行天下科技有限公司 一种激光整形光学元件
CN107037445A (zh) * 2015-12-09 2017-08-11 波音公司 光检测和测距（lidar）成像系统和方法
CN111103641A (zh) * 2018-10-26 2020-05-05 唯亚威通讯技术有限公司 光学元件和系统
CN111198444A (zh) * 2020-02-20 2020-05-26 上海鲲游光电科技有限公司 增维摄像装置及其光发射组件和应用
CN112394527A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
WO2021087998A1 (zh) * 2019-11-08 2021-05-14 南昌欧菲生物识别技术有限公司 光发射模组、深度相机和电子设备
CN113126111A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 飞行时间模组和电子设备
WO2023201596A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种探测装置及终端设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9841496B2 (en) * 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
US9674415B2 (en) 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
JP6531326B2 (ja) * 2015-03-10 2019-06-19 アルプスアルパイン株式会社 光学式検知装置
US9743055B1 (en) * 2016-04-20 2017-08-22 Texas Instruments Incorporated Methods and apparatus for diffraction artifact reduction in image display systems
CN111263899B (zh) * 2017-11-28 2023-11-24 索尼半导体解决方案公司 照明装置、飞行时间系统和方法
CN108050958B (zh) * 2018-01-11 2023-12-19 浙江江奥光电科技有限公司 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法
EP3688484A1 (en) * 2018-01-24 2020-08-05 Sony Corporation Time-of-flight ranging device
CN108683846B (zh) * 2018-05-14 2020-09-29 维沃移动通信有限公司 一种图像补偿方法、装置及移动终端
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN114303360A (zh) * 2019-08-30 2022-04-08 Lg伊诺特有限公司 Tof相机
CN111024626B (zh) * 2019-12-24 2022-12-13 Oppo广东移动通信有限公司 光源模组、成像装置和电子设备
CN115079131A (zh) * 2021-03-11 2022-09-20 中强光电股份有限公司 光达装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121339A (ja) * 1998-10-15 2000-04-28 Hamamatsu Photonics Kk 立体情報検出方法及び装置
EP1734771A1 (en) * 2005-06-14 2006-12-20 SONY DEUTSCHLAND GmbH Illumination optics, illumination unit and image generation unit
WO2009124601A1 (en) * 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US20100073461A1 (en) * 2008-09-23 2010-03-25 Sick Ag Lighting unit and method for the generation of an irregular pattern
EP2287629A2 (en) * 2009-07-31 2011-02-23 Thierry Oggier Time of flight camera with rectangular field of illumination
CN102222338A (zh) * 2010-06-04 2011-10-19 微软公司 自动深度相机对准
WO2011143015A1 (en) * 2010-05-11 2011-11-17 Bright View Technologies Corporation Optical beam shaping devices using microfacets
US20120147334A1 (en) * 2010-06-22 2012-06-14 Tetsuro Mizushima Laser projector
EP2466905A2 (en) * 2010-12-14 2012-06-20 Samsung Electronics Co., Ltd Illumination optical system and 3D image acquisition apparatus including the same
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6274290B1 (en) 1997-01-28 2001-08-14 Etec Systems, Inc. Raster scan gaussian beam writing strategy and method for pattern generation
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
JP2001281558A (ja) 2000-03-31 2001-10-10 Asahi Optical Co Ltd 照明光学系及び照明レンズ
EP2420873A3 (en) 2001-12-14 2013-01-16 QUALCOMM MEMS Technologies, Inc. Uniform illumination system
US7317513B2 (en) * 2004-07-15 2008-01-08 Mitutoyo Corporation Absolute distance measuring device
JP5181628B2 (ja) * 2007-11-12 2013-04-10 株式会社デンソーウェーブ レーザレーダ装置
US8029157B2 (en) 2007-12-21 2011-10-04 William Li Light refraction illumination device
US7972004B2 (en) 2008-04-18 2011-07-05 Texas Instruments Incorporated System and method for uniform light generation
US8054290B2 (en) 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121339A (ja) * 1998-10-15 2000-04-28 Hamamatsu Photonics Kk 立体情報検出方法及び装置
EP1734771A1 (en) * 2005-06-14 2006-12-20 SONY DEUTSCHLAND GmbH Illumination optics, illumination unit and image generation unit
WO2009124601A1 (en) * 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US20100073461A1 (en) * 2008-09-23 2010-03-25 Sick Ag Lighting unit and method for the generation of an irregular pattern
EP2287629A2 (en) * 2009-07-31 2011-02-23 Thierry Oggier Time of flight camera with rectangular field of illumination
WO2011143015A1 (en) * 2010-05-11 2011-11-17 Bright View Technologies Corporation Optical beam shaping devices using microfacets
CN102222338A (zh) * 2010-06-04 2011-10-19 微软公司 自动深度相机对准
US20120147334A1 (en) * 2010-06-22 2012-06-14 Tetsuro Mizushima Laser projector
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
EP2466905A2 (en) * 2010-12-14 2012-06-20 Samsung Electronics Co., Ltd Illumination optical system and 3D image acquisition apparatus including the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107037445A (zh) * 2015-12-09 2017-08-11 波音公司 光检测和测距（lidar）成像系统和方法
CN107037445B (zh) * 2015-12-09 2022-01-14 波音公司 光检测和测距(lidar)成像系统和方法
CN105467599A (zh) * 2015-12-25 2016-04-06 深圳乐行天下科技有限公司 一种激光整形光学元件
CN111103641A (zh) * 2018-10-26 2020-05-05 唯亚威通讯技术有限公司 光学元件和系统
CN111103641B (zh) * 2018-10-26 2022-11-22 唯亚威通讯技术有限公司 光学元件和系统
CN112394527A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
WO2021087998A1 (zh) * 2019-11-08 2021-05-14 南昌欧菲生物识别技术有限公司 光发射模组、深度相机和电子设备
CN113126111A (zh) * 2019-12-30 2021-07-16 Oppo广东移动通信有限公司 飞行时间模组和电子设备
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备
CN111198444A (zh) * 2020-02-20 2020-05-26 上海鲲游光电科技有限公司 增维摄像装置及其光发射组件和应用
WO2023201596A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种探测装置及终端设备

Also Published As

Publication number Publication date
US9057784B2 (en) 2015-06-16
CN104603676B (zh) 2017-04-12
WO2014028652A1 (en) 2014-02-20
EP2885672A1 (en) 2015-06-24
EP2885672B1 (en) 2016-09-21
US20140049766A1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
CN104603676A (zh) 深度相机的照明光整形
KR102459058B1 (ko) Tof 시스템을 위한 다중 패턴 조명 광학장치
CN104583804A (zh) 深度相机的照明光投射
US20160209729A1 (en) Multiple exposure structured light pattern
CN106226984A (zh) 一种激光光源、激光投影设备
CN102483798B (zh) 摄像装置的照明光学系统
US9116326B2 (en) Optical distributor for room lighting
Liu et al. Simulation of light-field camera imaging based on ray splitting Monte Carlo method
CN106716185A (zh) 扩散板及扩散板的设计方法
CN113917684B (zh) 反射式显示器
WO2010067282A1 (en) Lighting apparatus
CN109557767A (zh) 一种无掩膜投影光刻系统
CN112889188A (zh) 亮度和均匀性增强的投影仪屏幕
US20210356628A1 (en) Micro Lens Sensor Having Micro Lens Heights that Vary Based on Image Height
CN110858031A (zh) Led显示屏透镜设计方法、计算机设备及存储介质
CN114415388B (zh) 提升照明均匀性的装置
Henderson Non-Line-of-Sight Visualization and Imaging for Dynamic Scenes Using Sensor Fusion and Light Transport
Dross Köhler integration in color mixing collimators
van Barlingen et al. phase space ray tracing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171016

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

TR01 Transfer of patent right