CN116601516A - 全息光检测和测距 - Google Patents
全息光检测和测距 Download PDFInfo
- Publication number
- CN116601516A CN116601516A CN202180062645.6A CN202180062645A CN116601516A CN 116601516 A CN116601516 A CN 116601516A CN 202180062645 A CN202180062645 A CN 202180062645A CN 116601516 A CN116601516 A CN 116601516A
- Authority
- CN
- China
- Prior art keywords
- light
- sub
- scene
- region
- footprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 description 66
- 238000009826 distribution Methods 0.000 description 46
- 238000005286 illumination Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 22
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 230000004298 light response Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000001093 holography Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 210000002858 crystal cell Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
- G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
Abstract
一种布置成勘测场景的光检测和测距“LIDAR”系统。该LIDAR系统包括空间光调制器,其布置成显示包括光足迹的全息图的衍射图案。该LIDAR系统还包括光源,其布置成照射衍射图案以在场景中的全息重放平面上形成光足迹的全息重建。根据本公开,光足迹包括光特征阵列,例如光点阵列。该LIDAR系统还包括显示驱动器,其布置成控制空间光调制器并随时间改变衍射图案。衍射图案随时间变化,使得光特征阵列中的每个光特征扫描场景的相应子区域。该LIDAR系统包括具有多个光检测元件的检测系统。检测系统配置成使得每个光检测元件检测来自场景内的相应单独视场的光。场景的每个子区域包含多个单独视场。
Description
技术领域
本公开涉及光投影仪。更具体地,本公开涉及全息投影仪、全息投影系统、全息投影方法和全息投影系统。实施例涉及光检测和测距系统。一些实施例涉及光检测和测距方法。一些实施例涉及用计算机控制的光足迹勘测场景的方法。
背景技术
从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息,以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图,以形成代表原始物体的二维或三维全息重建或重放图像。
计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示或物体的频域表示。例如,还可以通过相干光线跟踪或点云技术来计算CGH。
可以在布置为调制入射光的振幅和/或相位的空间光调制器“SLM”上对CGH进行编码。例如,可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
SLM可以包括多个单独可寻址像素,其也可被称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地,该设备可以是连续的(即不包括像素),因此光调制可以在设备上是连续的。SLM可以是反射性的,这意味着调制光以反射从SLM输出。SLM同样可以是透射性的,这意味着调制光以透射从SLM输出。
使用这里描述的系统可以提供用于成像的全息投影仪。这种投影仪已经在平视显示器“HUD”和头戴式显示器“HMD”中得到应用,例如包括近眼设备。全息投影仪可用于光检测和测距。光检测测距系统可用于各种应用,包括便携式设备和车辆。
本公开涉及光检测和测距系统的改进。特别地,这种改进可以包括更快、更可靠和/或更精确的技术,用于使用光检测和测距来勘测场景的区域,以便检测感兴趣特征。
发明内容
在所附的独立权利要求中定义了本公开的各个方面。
提供了一种布置成勘测场景的光检测和测距“LIDAR”系统。LIDAR系统包括空间光调制器,其布置成显示包括光足迹的全息图的衍射图案。LIDAR系统还包括光源,其布置成照射衍射图案以形成光足迹的全息重建。光足迹的全息重建被投影到场景上。在一些实施例中,在空间光调制器和投影透镜之间形成中间全息重建,该投影透镜布置成通过对中间全息重建成像来将光足迹投影到场景上。在其他实施例中,全息重建被直接投影到场景上(即不形成中间全息重建并且不需要投影透镜)。根据本公开,光足迹包括光特征阵列。例如,光特征阵列中的每个光特征可以是光点、光点图案、扫描线和多条平行扫描线中的至少一个。每个光特征(例如每个光点)可以包括多个图像像素。LIDAR系统还包括显示驱动器,其布置成控制空间光调制器并随时间改变衍射图案。衍射图案随时间变化,使得光特征阵列中的每个光特征扫描场景的相应子区域。可以说,衍射图案被改变,以便将每个光特征沿着其相应子区域内的扫描路径移动到不同的位置。扫描路径可以是连续的/不间断的或不连续的,包括子区域内的离散台阶/跳跃。因此,光特征阵列中的每个光特征唯一地与给定子区域相关。LIDAR系统包括具有多个光检测元件的检测系统。检测系统配置成使得每个光检测元件检测来自场景内的相应单独视场的光。场景的每个子区域包含多个单独视场。
因此,由LIDAR系统勘测的场景(这里也称为LIDAR系统的“视场”)被划分成多个子区域。多个子区域可以形成场景的基本连续区域。子区域可以基本不重叠。每个子区域可以是四边形。根据本公开,多个子区域中的每个被形成光足迹的光特征阵列中的光特征同时照射。特别地,每个光特征(在初或零衍射级内形成)唯一地与LIDAR系统的视场的子区域相关。因此,每个光特征沿着其相应子区域内的扫描路径移动到多个扫描位置,以便单独扫描该子区域。因此,可以控制每个子区域中的光功率。如本文讨论,出于眼睛安全的原因,希望控制投影激光的光功率。在实施例中,每个子区域中的光足迹的光功率是“对眼睛安全的”。如下文进一步讨论,尽管标准在不同的管辖区域有所不同,并且取决于光的波长,但是分布在7mm圆形孔径直径内的低于约1.0mW(在905nm)阈值的光功率通常被认为是“对眼睛安全的”。
通过使用包括光特征阵列的LIDAR照射模式(光足迹),其中每个光特征对应于场景的相应子区域,每个子区域同时接收光。通过改变衍射图案,使得照射图案的每个光特征扫描其相应子区域,可以同时扫描场景的所有子区域。如本文所述,通过这种方式,可以更快更准确地扫描整个场景。
光特征阵列可以包括形成照射图案(光足迹)的规则或有序的光特征阵列。例如,在一些示例中,该阵列包括离散光点的行和列的有序阵列,其中每个光点形成在其相应子区域内的相同相对位置。因此,在该示例中,光特征是单个光点,其被形成来扫描每个子区域。在其他示例中,该阵列可以包括以在相应子区域中形成的图案布置的一个以上光点,使得该阵列包括光点图案的行和列的有序布置。因此,在该示例中,光特征是光点图案,其中光点可以彼此相邻(连续)或者在空间上彼此分离(离散)。特别地,包括光点图案的每个光特征可以形成多个扫描光点(离散光点),或者一条或多条扫描线等,用于单独扫描场景的相应子区域。在任一情况下,每个光点可以包括以四边形、圆形/椭圆形等布置的多个连续图像像素。在一些实施例中,每个光特征包括至少一条光线,例如直线光线,这里称为“扫描线”。扫描线可以由形成直线的多个连续光点形成,或者可以由直线形状的连续离散光特征形成。每条扫描线可以包括在至少一个图像像素的厚度上布置成直线的多个连续图像像素。
在一些实施例中,显示驱动器布置成通过改变衍射图案的全息图来随时间改变衍射图案,以便扫描场景的子区域。特别地,全息图可被改变以重新定位光特征阵列,使得每个光特征被重新定位在其相应子区域内。通过在相应子区域内重新定位光特征,可以扫描整个子区域。光特征阵列同时扫描场景的每个子区域。因此,通过根据不同全息图序列改变衍射图案,利用在多个不同位置的光特征阵列,可以扫描场景的整个区域。
在其他实施例中,显示驱动器布置成在场景上移动投影光足迹。具体地,投影光足迹的光特征阵列被依次移动到场景上的多个不同位置。具体地,可以选择光足迹的多个不同位置,以在场景的相应子区域内的多个不同位置形成光特征阵列中的每个光特征。通过在相应子区域内的多个不同位置形成光特征,可以扫描整个子区域。光特征阵列同时扫描场景的每个子区域。因此,通过光足迹的顺序多个不同位置来扫描场景的整个区域。在这种情况下,全息图可能不改变。
在一些实施例中,衍射图案包括光栅函数(也称为“软件光栅”),其确定光足迹在全息重放平面上的位置。特别地,光栅函数控制全息重放场在重放平面上的位置。光足迹的全息重建在全息重放平面上形成,该全息重放平面可以是中间平面或在场景中。因此,衍射图案的光栅函数控制投影光足迹在场景中的空间位置。在一些实施例中,显示驱动器布置成改变衍射图案的光栅函数,以便扫描场景的子区域。可以说,通过改变光栅函数,全息重建在重放平面上被空间移位或平移。在一些实施例中,光栅函数是相位斜坡函数,例如缠绕或重复的相位斜坡函数或模2p相位斜坡函数,例如具有锯齿形状。本领域技术人员将理解如何改变光栅的间距(或相位斜坡的梯度),以便改变用于扫描的重放平面上的零级重放场的平移。
“传播轴”可被定义为传播到形成零衍射级(这里简称为“零级”)重放场的重放平面的调制光的轴。换句话说,传播轴是将空间光调制器的像素阵列的中心连接到零级重放场的中心的线。如下面进一步描述,光栅函数具有改变传播轴方向的效果。对于光在空间光调制器上的垂直入射,并且在没有光栅函数的情况下,传播轴基本垂直延伸穿过零级重放场的中心。因此,通过简单地改变衍射图案的光栅函数,例如在不改变光足迹的全息图的情况下,可以将光足迹的光特征(例如光点)阵列移动到多个不同的位置,以便同时扫描场景的所有子区域。
由于该过程的衍射性质,由全息图形成的全息重建包括位于中心的零级重放场和沿+/-x和+/-y方向(在x-y全息重放平面上)延伸的多个更高级重放场。以光学和衍射领域的技术人员所熟悉的方式,更高级重放场是零级重放场的较低亮度重复。由于全息过程的衍射性质,全息重放平面上的最大强度是不均匀的。也就是说,衍射具有根据非均匀强度包络(或盖)调制全息重建强度的效果。在一些实施例中,包络是sinc函数,或者更具体地是sinc2函数。这里提到的在重放平面上的强度分布不均匀是对调制全息重建强度的包络的简称。例如,如果全息图是在整个重放场上亮度均匀的全息图,则由于强度包络,使用像素化空间光调制器在实际重放场处形成的全息重建在亮度上是不均匀的。因此,简而言之,这里说重放平面上的强度分布可以是在x方向和y方向上延伸的sinc函数(特别是sinc平方—sinc2函数,因为没有负强度值)。根据sinc2函数的强度包络随着包括四边形光调制像素的空间光调制器而出现。更准确地说,可以说强度包络包括x方向上的第一sinc2函数和y方向上的第二sinc2函数。如果空间光调制器的像素不是方形的,则第一sinc2函数不同于第二sinc2函数。当应用光栅函数时,零级重放场的中心相对于sinc2强度包络平移。
在一些实施例中,光足迹包括光点阵列—也就是说,每个光特征是离散光点。通常,每个离散光点由多个连续的图像像素以期望的光点形状(例如四边形或圆形)形成。可能希望形成均匀亮度的光点。可以计算均匀亮度光点阵列的全息图。然而,由于强度包络,重建光点的亮度可能在重放平面上变化。例如,在零级全息重建的光足迹的中心形成的光点可以比在其外围形成的光点具有更高的强度。当计算全息图时,可以应用sinc2补偿方案。例如,可以应用sinc2补偿函数来改变光点的强度值,以补偿强度随空间位置的变化。因此,sinc2补偿最小化了(零级)全息重建的图像点的强度变化,并因此在重放场上提供了更均匀的强度分布。然而,当形成包括光点阵列(或诸如扫描线的其他光特征)的光足迹的全息图,并且移动光点阵列而不改变全息图(例如通过如上所述的光栅函数)时,光点之间的强度变化仍可能发生,如本文所述。
具体地,在一些实施例中,全息图配置(例如计算)成基于应用于光足迹的sinc2补偿函数来补偿全息重放平面上的强度不均匀性。在扫描期间将sinc2补偿应用于目标图像(即期望的光足迹)之后,计算全息图。然而,根据本公开,光图案被连续移动/平移,以便使用对应的多个相应光特征同时扫描多个子区域。这种扫描扰乱了sinc2补偿,因为重放场的平移相对于sinc2强度包络发生。sinc2补偿方案的这种恶化意味着补偿是次优的—用于探测场景的不同部分的光特征强度的不均匀性或变化可能增加(没有最小化)。
全息重放平面可被定义为x-y平面,其接收来自空间光调制器的空间调制光,该空间调制光围绕在z方向上延伸的传播轴传播。因此,重放平面在空间上与空间光调制器分开z方向上的传播距离。光栅函数可以包括x方向光栅和y方向光栅,它们控制传播轴的方向,从而分别控制沿x方向和y方向的光足迹在重放平面上的位置。在一些实施例中,用于计算全息图的目标图像在全息图计算之前被修改,以便补偿强度包络和变化的光栅函数的使用。全息图可以布置成根据其距强度包络中心的距离来调制目标图像中的每个光特征的强度。在改进中,全息图可以布置成在扫描期间基于每个光特征在x方向上的平均距离和在y方向上的平均距离来调制每个光特征的强度。更具体地,目标图像的光特征阵列中的每个光特征的亮度(用于计算全息图)根据相应子区域距强度包络中心的距离来调制。这通过在扫描整个场景期间最小化在其上的不同子区域中形成的光特征的强度变化来提供更优化的补偿。
在一些实施例中,用于每个光特征(例如光点)的sinc2补偿值(在位置上)对应于其子区域的中间(例如中间x位置和中间y位置)。可以说,经sinc2补偿并用于计算全息图的目标图像使得光特征阵列中的每个光特征形成在其相应子区域内的中点位置(在x方向和/或y方向上)。此外,正的和负的x和y光栅函数用于提供每个光特征从其子区域内的中间位置的所需平移,以便提供根据本公开的多区域扫描。
在令人惊讶的进一步改进中,在sinc2补偿之前(因此在全息图计算之前),光足迹(目标图像)的中心区域中的光特征的强度被增强(即增加,例如乘以大于1的因子/数),以便在扫描子区域期间提高场景照射的整体均匀性。这是违反直觉的,因为重放场的中心通常是全息重放场的最亮部分。根据该进一步改进,目标图像中的光特征的目标强度是不相等的(在sinc2补偿之前)。在一些实施例中,选择用于在sinc2补偿之前修改(例如放大或增强)中心区域目标图像的因子,以增加或甚至最大化光特征阵列—或至少光特征阵列的大部分—在所有扫描位置上的均匀性。该因子可以是常数,或者可以是重放场上位置的函数,例如距重放场中心的距离或距sinc2强度包络最大值的距离。在一变型中,在sinc2补偿之后,每个光特征的强度被另外或可替代地修改,以便提高所有扫描位置上的照射均匀性。在另一变型中,在进一步处理例如sinc2补偿和全息图计算之前,降低目标图像的外围光特征(即边缘附近或中心区域之外的光特征)的强度。
然而,在一些实施例中,全息图配置(例如计算)成使得光足迹的光特征阵列中的光特征的光功率随着距传播轴的距离而变化。特别是,在一些LIDAR应用中,在场景外围扫描的区域需要与在光束中心扫描的区域不同的扫描功率。例如,场景的中心可能需要需要较高功率的长距离扫描,而场景的外围可能需要需要较低功率的短距离扫描。因此,可以根据相应场景的属性/要求来调整在相应子区域中形成的光特征的功率。
场景的多个子区域中的每个可以同时以相同的方式被单独扫描。在一些实施例中,子区域的单独扫描可以沿着扫描路径以连续扫描位置的系统顺序形成。选择扫描图案或路径的扫描位置,以便扫描整个子区域。例如,可以改变衍射图案,使得每个光特征执行其相应子区域的光栅扫描(在光点的情况下)或水平/竖直线扫描(在扫描线的情况下)。因此,每个子区域由以光栅扫描顺序或次序(从其相应子区域的左到右和上到下)移动的光点或以竖直或水平方向移动的扫描线扫描。在其他实施例中,改变衍射图案,使得每个光特征执行其子区域的“图案化扫描”。特别地,图案化扫描可被定义为光特征在它们相应子区域内的不同位置序列,以随机或半随机的顺序或者以定义的(时间)图案或顺序,使得具有定义的/最小尺寸的子区域的区域不会超过阈值时间段没有照射。
检测系统的每个光检测元件(这里也称为光检测元件)能够接收来自对应于其视场的场景的限定区域的光。可以说每个单独的光检测元件具有对应的单独视场(这里称为“IFOV”)。根据本公开,场景的每个子区域包含多个IFOV。因此,光检测元件的每个IFOV仅对应于场景的一部分子区域。因此,从由光足迹的光特征阵列照射的场景反射的光将在某一时刻仅被多个光检测元件的子集检测到(例如对于每个显示事件/对应的曝光时间)。例如,光检测元件的每个IFOV可以接收来自由阵列的单个光特征照射的区域的光(即与由特定扫描位置处的单个光特征照射的子区域的一部分具有相同尺寸(例如具有相同立体角)的区域)。在这样的示例中,可以说在光足迹的单个光特征和单个光检测元件之间存在一对一的关联。在其他示例中,光检测元件的每个IFOV可以接收来自被在单个或多个扫描位置上形成的一个以上光特征或者一个光特征的一部分照射的区域的光。
在实施例中,检测系统可以包括包含多个光检测元件的阵列检测器。阵列检测器/多个光检测元件可以包括电荷耦合器件(CCD)相机,其中每个光检测元件是CCD元件阵列的单独CCD。在其他实施例中,阵列检测器/多个光检测元件可以包括单光子雪崩二极管(SPAD)阵列,其包括SPAD元件阵列。包括多个光感测元件的任何其他合适形式的光电检测器都是可能且预期的。在实施例中,阵列检测器/多个光检测元件是静态的。因此,可以说每个光检测元件的IFOV唯一地对应于LIDAR系统的总视场的子区域的一部分。
为了光检测器阵列的最佳操作,重要的是由光检测元件检测的光不在宽动态范围内,这可能导致一些光检测元件在固定曝光时间内饱和。具体而言,通常为所有光检测元件选择恒定的曝光时间,这平衡了通过一些光检测元件充分检测低强度反射的需要,同时防止其他光检测元件由于高强度反射而饱和(过度曝光)。光检测元件的饱和会使该元件在某个时间段内不可操作。因此,在一些实施例中,与每个光检测元件相关的曝光时间是恒定的,并且显示驱动器还配置成改变全息图,以便如果来自特定子区域的检测信号指示对应的检测器元件饱和,则降低该子区域中的光的光功率,并且可选地,同时增加其他子区域中的光的光功率。
在一些实施例中,LIDAR系统还包括布置成放大子区域的光学系统。例如,可以提供光学元件,其将重放场扩展到大的发射孔径。这具有在短光路中在孔径/窗口的大面积上传播光的效果,这有利地增加了可以从孔径/窗口发射的光的总量,而不会超过例如7mm直径孔径内的激光安全极限功率。
在一些实施例中,形成照射图案(光足迹)的光特征阵列的周期性延续或延伸到至少一个一级全息重放场中。在这样的实施例中,检测系统布置成检测来自被零级全息重放场的光特征照射的场景区域的光以及来自被至少一个更高级全息重放场的光特征照射的场景区域的光,以便扩展LIDAR系统的视场。特别是,投影照射图案的视场(其中在场景中形成光足迹/全息重建)包括一些来自更高级以及初级(零级)的空间调制光。可以说,LIDAR系统使用“混合重放场”,其包括零级和一个或多个一级的一部分。使用一些一级光特别适合于覆盖具有周期性变化的大范围重放场的照射图案,因为一级光和零级光组合起来提供无缝图案。因为光功率固有地用于形成一级,所以将一个或多个一级的光的一部分(否则将会损失)用于LIDAR照射提高将照射传递到场景中的光学效率。此外,增加LIDAR系统的视场。特别地,对于需要在具有高纵横比的视场中进行感测的应用(例如水平方向上的视场比竖直方向上的视场大得多),例如汽车应用,可以使用+/-x方向中的一个或两个一级重放场来提供具有高纵横比的对应照射图案。
在一些实施例中,可由检测系统检测的至少一个更高级全息重放场的光特征形成在至少一个更高级全息重放场的与零级全息重放场紧邻(或相邻)的区域中。在一些示例中,至少一个更高级全息重放场的区域构成至少一个更高级全息重放场的总面积的小于50%,例如小于30%。用包括光特征阵列的光足迹/照射图案来照射场景的子区域的组合方法非常适合于与使用一些一级全息重建来照射场景相结合,因为光特征阵列的重复图案在零级边缘(在x和y方向上)被再现。
术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”,因为全息重建是真实图像并且与全息图在空间上分离。
术语“重放场”用于指代可以在其内形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上,则重放场将以多个衍射级的形式重复,其中每个衍射级是零级重放场的副本。零级重放场通常对应于优选或主重放场,因为它是最亮重放场。除非另有明确说明,术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指通过全息重建的光照射的重放场的区域。在一些实施例中,“图像”可以包括离散的“图像像素”。
在本公开中,术语“光足迹”通常用来指通过全息图的重建在场景中形成的照射图案。每个光足迹对应于场景中全息重建的形成。因此,光足迹是场景内(更具体地说,在重放场内)的光区域。光图案可以包括由暗区域分隔的多个离散的光区域(例如“光点”或“扫描线”)。这里公开的光检测和测距系统可以用于形成场景内的光足迹的时间序列。
术语“扫描”和“勘测”在这里作为同义词使用,指的是通过用一个或多个光足迹照射场景的区域来探测该区域的过程。类似地,“扫描”或“勘测”通常包括在探测场景区域的过程中使用的光足迹的时间序列。术语“光”在这里以其最广泛的意义使用。实施例同样适用于可见光、红外光和紫外光及其任意组合。
有利地,本文公开的动态可重新配置全息技术可用于实时控制光足迹的参数,以便形成用于扫描场景的光足迹的时间序列,如本文所述。
术语“编码”、“写入”和“寻址”用于描述向SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说,SLM的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此,可以说SLM“显示”全息图,并且全息图可被认为是光调制值或水平的阵列。
实施例仅通过示例的方式描述了单色光足迹。在实施例中,光足迹是多色光足迹。在实施例中,通过组合多个单色光足迹来提供复合色光足迹。在实施例中,可以使用多个单色计算机生成全息图来形成每个复合色光足迹。这种波长多样性可以增加通过量。
实施例仅通过示例的方式描述了1D和2D光足迹。在其他实施例中,光足迹是3D光足迹。也就是说,在实施例中,每个计算机生成的全息图形成3D全息重建。
已经发现,可接受质量的全息重建可以由仅包含与原始物体的傅立叶变换相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图,但本公开同样适用于仅振幅全息术。
本公开也同样适用于使用与原始物体傅立叶变换相关的振幅和相位信息来形成全息重建。在一些实施例中,这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量,所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中,计算全复数计算机生成的全息图。
可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位,作为“相位延迟”的简写。即,所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π范围内)。例如,空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中,空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如,术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平,即使不同的相位水平没有提供不同的灰色阴影。为了方便起见,术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。
全息图是衍射图案,因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如,可以将用作光栅的衍射图案与全息图组合以在重放平面上平移重放场,或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的重放平面上。因此,术语“衍射图案”可以指仅由全息图构成或者与一个或多个其他衍射图案组合的衍射图案。
附图说明
仅参考以下附图以示例的方式描述特定实施例:
图1是示出在屏幕上产生全息重建的反射型SLM的示意图;
图2A示出了示例Gerchberg-Saxton类型算法的第一迭代;
图2B示出了示例Gerchberg-Saxton类型算法的第二及后续迭代;
图2C示出了示例Gerchberg-Saxton类型算法的替代第二及后续迭代;
图3是反射型LCOS SLM的示意图;
图4示出了根据实施例的用于勘测场景的示例光足迹的时间序列;
图5示出了根据进一步实施例的另一示例光足迹;
图6A-D示出了根据又一实施例的用于勘测场景的示例光足迹的时间序列,类似于图4的示例光足迹;
图7示出了根据比较示例的由图4的光足迹序列形成的第一行光点的强度分布图;
图8示出了根据实施例的由图4的光足迹的时间序列形成的第一行光点的强度分布图;
图9示出了在重放平面上的零级和一级全息重放场中形成的图4的光足迹序列的第一光足迹的全息重建;
图10A-10D示出了根据进一步实施例的图9的全息重建,其中y方向一级重放场在重放平面上的位置的时间序列中被遮挡,加宽的视场形成混合重放场;
图11示出了根据实施例的在汽车示例中形成场景的混合重放场的加宽视场的另一示例;
图12示出了根据实施例的图10A的混合重放场,其具有在顶部和底部边缘形成的噪声转储;
图13示出了根据实施例的LIDAR系统;
图14A示出了在光足迹中形成的一行光点中的四个光点的目标和对应的sinc2补偿强度分布轮廓,该光足迹包括在其相应子区域内在x方向的中点位置形成的图4的光点阵列,其中目标强度是相同的;
图14B示出了根据实施例由图4的第一到第四光足迹的时间序列形成的图14A的四个光点的行的强度分布轮廓;
图14C示出了相当于图14A的光足迹的一行四个光点的目标和对应的优化sinc2补偿强度分布轮廓,其中目标强度根据实施例而变化,以及
图14D示出了根据实施例由图4的第一到第四光足迹的时间序列形成的图14C的该行四个光点的强度分布轮廓。
在所有附图中,相同的附图标记将用于指代相同或相似的部分。
具体实施方式
本发明不限于以下描述的实施例,而是扩展到所附权利要求的全部范围。即,本发明可以不同的形式实施且不应被解释为限于所描述的实施例,实施例出于说明的目的而阐述。
除非另有说明,单数形式的术语可以包括复数形式。
描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况,此外,还包括在它们之间设置第三结构的情况。
在描述时间关系时,例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时,本公开应被认为包括连续和非连续事件,除非另有说明。例如,除非使用诸如“刚好”、“紧邻”或“直接”等措辞,否则描述应被视为包括不连续的情况。
尽管本文可以使用术语“第一”、“第二”等来描述各种元件,但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如,在不脱离所附权利要求的范围的情况下,第一元件可被称为第二元件,类似地,第二元件可被称为第一元件。
不同实施例的特征可以部分或整体地彼此耦合或组合,并且可以彼此不同地互操作。一些实施例可以彼此独立地执行,或者可以相互依存的关系一起执行。
光学配置
图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此,可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中,空间光调制器是反射型硅上液晶“LCOS”器件。全息图在空间光调制器上编码,并且在重放场例如光接收表面比如屏幕或漫射器处形成全息重建。
光源110例如激光或激光二极管设置成经由准直透镜111照射SLM140。准直透镜使光的大致平面波前入射在SLM上。在图1中,波前的方向是偏离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而,在其他实施例中,大致平面波前以法向入射提供,并且分束器布置用于分离输入和输出光学路径。在图1所示的实施例中,布置使得来自光源的光从SLM的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件,傅立叶变换透镜120的焦点位于屏幕125处。更具体地,傅立叶变换透镜120接收来自SLM140的调制光束,并执行频率-空间变换以在屏幕125处产生全息重建。屏幕125是可选的。
值得注意的是,在这种类型的全息图中,全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说,离开光调制层的调制光分布在整个重放场上。
在这些实施例中,全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中,傅立叶变换透镜是物理透镜。即,傅立叶变换透镜是光学傅立叶变换透镜,并且在光学上执行傅立叶变换。任何透镜都可以充当傅立叶变换透镜,但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。
全息图计算
在一些实施例中,计算机生成的全息图是傅立叶变换全息图,或者简单地是傅立叶全息图或基于傅立叶的全息图,其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。
可以使用算法比如Gerchberg-Saxton算法来计算傅立叶变换全息图。此外,Gerchberg-Saxton算法可用于根据空间域(比如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“检索”与物体有关的相位信息。在一些实施例中,使用Gerchberg-Saxton算法或其变型从仅振幅信息计算计算机生成的全息图。
Gerchberg-Saxton算法考虑了当已知分别在平面A和B中的光束的强度截面IA(x,y)和IB(x,y)并且IA(x,y)和IB(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面,分别求出了平面A和B中的相位分布近似ΨA(x,y)和ΨB(x,y)。Gerchberg-Saxton算法通过遵循迭代过程求出该问题的解。更具体地,Gerchberg-Saxton算法迭代地应用空间和频谱约束,同时在空间域和傅立叶(频谱或频率)域之间重复传输代表IA(x,y)和IB(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。
在一些实施例中,仅相位全息图是使用基于Gerchberg-Saxton算法的算法来计算的,比如在英国专利2498170或2501112中描述的算法,所述专利的全部内容通过引用结合于此。然而,本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中,Gerchberg-Saxton算法检索数据集的傅立叶变换的相位信息Ψ[u,v],其产生已知的振幅信息T[x,y],其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中本质上是结合的,因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此,算法可以与振幅和相位信息的反馈一起迭代使用。然而,在这些实施例中,仅相位信息Ψ[u,v]用作全息图,以在图像平面处形成目标图像的全息表示。全息图是相位值的数据集(例如2D阵列)。
在其他实施例中,基于Gerchberg-Saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2D阵列),其中每个复数数据值包括幅度分量和相位分量。
在一些实施例中,算法处理复数数据,并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量,或(ii)幅度分量和相位分量。在一些实施例中,复数数据的两个分量在算法的各个阶段被不同地处理。
图2A示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210,其中每个像素或数据值是幅度或振幅值。也就是说,输入图像210的每个像素或数据值不具有相位分量。因此,输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202A开始,该步骤包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素,以形成起始复数数据集,其中数据集的每个数据元素包括幅度和相位。可以说,起始复数数据集代表了空间域中的输入图像。
第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280A。在一些实施例中,全息图280A是仅相位全息图。在这些实施例中,第二处理块253量化每个相位值并将每个振幅值设置为1,以便形成全息图280A。根据可以在空间光调制器的将用于“显示”仅相位全息图的像素上表示的相位水平来量化每个相位值。例如,如果空间光调制器的每个像素提供256个不同的相位水平,则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280A是代表输入图像的仅相位傅立叶全息图。在其他实施例中,全息图280A是全复数全息图,其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中,第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280A。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280A代表频谱或傅立叶或频域中的输入图像。在一些实施例中,算法在该点处停止。
然而,在其他实施例中,算法继续,如图2A中的虚线箭头所示。换句话说,遵循图2A中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。
第三处理块256从第二处理块253接收修改的复数数据集,并执行逆傅立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。
第四处理块259接收逆傅立叶变换的复数数据集,并提取幅度值211A的分布和相位值213A的分布。可选地,第四处理块259评估幅度值211A的分布。具体地,第四处理块259可以将逆傅立叶变换的复数数据集的幅度值211A的分布与输入图像510进行比较,输入图像510本身当然是幅度值的分布。如果幅度值211A的分布与输入图像210之间的差足够小,则第四处理块259可以确定全息图280A是可接受的。也就是说,如果幅度值211A的分布与输入图像210之间的差足够小,则第四处理块259可以确定全息图280A是输入图像210的足够准确表示。在一些实施例中,为了比较的目的,忽略了逆傅立叶变换的复数数据集的相位值213A的分布。将理解的是,可以采用任何数量的不同方法来比较幅度值211A的分布和输入图像210,并且本公开不限于任何特定方法。在一些实施例中,计算均方差,并且如果均方差小于阈值,则认为全息图280A是可接受的。如果第四处理块259确定全息图280A是不可接受的,则可以执行算法的进一步迭代。然而,该比较步骤不是必需的,并且在其他实施例中,执行的算法的迭代次数是预定的或预设的或用户定义的。
图2B表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布,有利于输入图像210的幅度值的分布。在第一迭代中,数据形成步骤202A通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而,在第二和后续迭代中,数据形成步骤202B包括通过将(i)来自算法的先前迭代的相位值213A的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。
然后,以参照图2A描述的相同方式处理由图2B的数据形成步骤202B形成的复数数据集,以形成第二迭代全息图280B。因此,此处不重复对该过程的说明。当已经计算了第二迭代全息图280B时,算法可以停止。然而,可以执行该算法的任何数量的进一步迭代。将理解的是,仅在需要第四处理块259或需要进一步迭代时才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而,实际上,通常会达到无法观察到可测量的改进的点,或者执行进一步迭代的正面好处被额外处理时间所带来的负面影响抵消。因此,该算法被描述为迭代和收敛的。
图2C表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213A的分布。拒绝幅度值211A的分布,有利于幅度值的替代分布。在该替代实施例中,幅度值的替代分布是从先前迭代的幅度值211的分布中导出的。具体地,处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布,通过增益因子α缩放该差,并从输入图像210中减去经缩放的差。这在数学上通过以下等式来表述,其中下标文本和数字表示迭代次数:
Rn+1[x,y]=F'{exp(iψn[u,v])}
ψn[u,v]=∠F{ηexp(i∠Rn[x,y])}
η=T[x,y]-α(|Rn[x,y]|-T[x,y])
其中:
F'是逆傅立叶变换;
F是正向傅立叶变换;
R[x,y]是第三处理块256输出的复数数据集;
T[x,y]是输入或目标图像;
∠是相位分量;
Ψ是仅相位全息图280B;
η是幅度值211B的新分布;以及
α是增益因子。
增益因子α可以是固定的或可变的。在一些实施例中,基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中,增益因子α取决于迭代次数。在一些实施例中,增益因子α仅是迭代次数的函数。
在所有其他方面,图2C的实施例与图2A和图2B的实施例相同。可以说,仅相位全息图Ψ(u,v)包括频率或傅立叶域中的相位分布。
在一些实施例中,使用空间光调制器执行傅立叶变换。具体地,全息图数据与提供光功率的第二数据组合。也就是说,写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。可以说写入空间光调制器的数据包括结合了全息图和透镜功能的衍射图案。当显示在空间光调制器上并用光照射时,透镜数据会模拟物理透镜—即它以与相应物理光学元件相同的方式将光聚焦。因此,透镜数据提供了光功率或聚焦功率。在这些实施例中,可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如,仅相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形成。例如,在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中,还已知如何将代表透镜的数据与全息图相结合,从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中,通过简单的加法比如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中,物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地,在其他实施例中,完全省略傅立叶变换透镜,使得全息重建在远场中发生。在进一步的实施例中,全息图可以相同的方式与光栅数据—即布置成执行光栅函数比如图像转向的数据结合。同样,在本领域中已知如何计算这样的数据。可以说写入空间光调制器的数据包括结合了全息图和光栅功能的衍射图案。例如,可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案,以与可被称为图像形成函数或图像形成图案的全息图数据区分开。
在一些实施例中,傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。也就是说,由软件透镜提供有助于傅立叶变换的一些光功率,而由一个或多个物理光学器件提供有助于傅立叶变换的其余光功率。
在一些实施例中,提供了一种实时引擎,其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中,图像数据是包括图像帧序列的视频。在其他实施例中,全息图被预先计算,存储在计算机存储器中并且根据需要被调出以在SLM上显示。也就是说,在一些实施例中,提供了预定全息图的储存库。
实施例仅通过示例的方式涉及傅立叶全息术和Gerchberg-Saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还可适用于通过其他技术比如基于点云方法的技术计算的全息图。
光调制
可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图,则需要调制相位的空间光调制器。如果全息图是全复数全息图,则可以使用调制相位和振幅的空间光调制器,或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
在一些实施例中,空间光调制器的光调制元件(即像素)是包含液晶的单元。也就是说,在一些实施例中,空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是说,每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中,空间光调制器是反射型硅上液晶(LCOS)空间光调制器,但本公开不限于这种类型的空间光调制器。
LCOS器件在小孔径(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小,这导致几度的衍射角,意味着光学系统可以紧凑。充分照射LCOS SLM的小孔径比其他液晶装置的大孔径要容易得多。LCOS器件通常是反射性的,这意味着驱动LCOS SLM像素的电路可以埋在反射表面下。这导致更高的孔径比。换句话说,像素密集填充,意味着像素之间几乎没有死区。这是有利的,因为它减少了重放场中的光学噪声。LCOSSLM使用硅底板,其优点是像素是光学平坦的。这对于相位调制装置特别重要。
下面仅以举例的方式,参考图3来描述合适的LCOS SLM。使用单晶硅基板302形成LCOS器件。它具有方形平面铝电极301的2D阵列,由间隙301a间隔开,布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上,液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ITO制成的单个透明电极307设置在透明层306和第二取向层305之间。
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308,通常称为像素。考虑到像素301a之间的空间,有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压,可以改变各个相位调制元件的液晶材料的特性,从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制,即不出现振幅效应。
所描述的LCOS SLM以反射方式输出空间调制光。反射型LCOS SLM具有的优势在于,信号线、光栅线和晶体管位于镜面之下,这导致高填充因子(通常大于90%)和高分辨率。使用反射型LCOS空间光调制器的另一优势在于,液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而,本公开的教导同样可以使用透射型LCOS SLM来实现。
区域扫描
先前已经公开了使用全息投影仪来提供改进的图像质量和平视显示器的各种方法。也已经认识到全息投影仪可以用于LIDAR。WO2018/134618公开了一种扫描LIDAR系统,其中使用可变光栅函数(而不是诸如可旋转棱镜之类的物理光学器件)来移动全息重放场,以便执行跨场景的光足迹的连续扫描。WO2019/224052公开了一种结构光LIDAR系统,其中通过连续改变全息图来扫描场景,结构光图案随着每个投影事件而改变。本公开涉及对基于全息的LIDAR系统的进一步改进,其中通过扫描包括光特征阵列的结构光图案来同时扫描场景的多个子区域或分区。值得注意的是,与WO2019/224052不同,本公开涉及一种布置,其中由结构光图案(或光足迹)的一个相应光特征扫描的场景的每个子区域包含检测系统的多个单独视场。在一些实施例中(例如图4),每个光特征是一个连续的光区域,例如单个光点。换句话说,每个光源特征都是一个离散的光源区域。在其他实施例中,每个光特征包括多个离散的光点。在一些实施例中,每个光特征是一条光线或多条平行光线(例如图5示出了三条平行扫描线)。为了避免疑问,每个光特征(或光特征成分)可以由多个图像像素形成。
在扫描期间,每个光源特征扫描其整个子区域。通常,子区域的任何部分都不会被照射两次,即在扫描过程中,每个子区域的任何部分都不会被“双重曝光”(或曝光一次以上)。读者将理解如何配置每个子区域中的光特征的尺寸和形状,以实现对其整个子区域的扫描,而无需双重曝光。在一些实施例中,扫描是x和y的2D扫描,其中包含光足迹的平面(在扫描期间的所有时间)是x-y平面。在其他实施例中,扫描是x或y的1D扫描。
图4示出了根据本公开实施例的包括多个光足迹的时间序列,该光足迹可以由用于场景的LIDAR扫描的全息投影仪形成。足迹是从光检测器的视角示出的,因此对应于检测器的视场。在该实施例中,每个光特征是具有四边形形状的单个光点,并且执行2D扫描。
特别地,图4中示出了十六个光足迹的序列,包括在总扫描时间400的第一时间间隔401期间形成的第一光足迹451、在扫描时间400的第二时间间隔402期间形成的第二光足迹452等,直到在扫描时间400的第十六时间间隔416期间形成的最后的第十六光足迹466。如本领域技术人员将理解,为了便于说明,图4中没有示出第三至第十五光足迹。每个光足迹包括十六个光点,例如第一光足迹451的光点430。如上所述,每个光足迹由“显示事件”在(零级)重放场中形成。显示事件包括衍射图案在空间光调制器上的显示,以及空间光调制器的照射,以便形成光足迹的全息重建。可选地使用投影透镜将光足迹投影到场景上。因此,每个显示事件对应于一个“投影事件”。
根据本公开,将由LIDAR勘测的场景(即视场)分成多个子区域,例如四边形子区域。图中所示的子区域对应于场内单个平面处的照射,即子区域对应于从重放场开始的立体角。在实施例中,子区域基本不重叠。通常,子区域是连续的。多个子区域可以形成场景的基本连续区域。应当理解,在全息重建形成在重放平面上然后投影到场景上的实施例中,重放平面类似地被分成对应的多个子区域。因此,虽然说明书通常使用术语“子区域”来指代场景的子区域(即检测系统的视场),但是它也可以指代在其上形成全息重建的重放平面的对应子区域。值得注意的是,在整个扫描过程中,子区域的位置在重放平面上是固定的,因此在场景内也是固定的。根据本公开,多个子区域中的每个的区域的一部分同时被投影光足迹的光特征照射。
在图4的实施例中,(光特征阵列中的)每个光特征是在x和y方向上扫描的单个光点。
图4示出了根据本公开的一个示例光足迹,其适用于勘测被划分为多个连续的四边形子区域的场景。示例光足迹包括光点430的行和列的规则或有序阵列。特别地,该阵列包括具有四边形形状的单独离散光点430,这些光点在空间上彼此分离,并且沿x和y方向以规则或周期性的间隔形成在全息重放平面上,从而形成在场景中。每个光点430形成在勘测场景420的相应分区或子区域440中。在这个实施例中,每个子区域包括一个光点。可以说每个子区域接收一个光点430的光。在该实施例中,每个光点430布置成扫描其对应的单独子区域440,如下面进一步描述。虽然示例光足迹在每个单独子区域440中仅形成单个光点430,但这不是必需的。其他示例光足迹可以在每个子区域中形成一个以上光点,或者相邻组光点形成更大的特征,例如水平或竖直光线,这将从下面描述的其他示例光足迹中理解。
在图4的示例光足迹中,光点阵列的每个光点430在空间上与同一行中的相邻光点分开一段距离,该距离对应于x方向上的子区域440的尺寸。类似地,光点阵列中的每个光点430在空间上与同一列中的相邻光点分开一段距离,该距离对应于y方向上的子区域440的尺寸。因此,光足迹的光点阵列中的每个光点430形成在其相应子区域440内的基本相同位置。可以说,光点阵列中的每个光点430形成在其相应子区域440内的相同相对位置处。例如,在序列的第一个光足迹451中,每个光点430形成在其对应子区域440的左上角,而在序列的最后一个光足迹466中,每个光点430形成在其对应子区域440的右下角。
此外,在图4的示例光足迹中,在场景中形成的每个光点430的尺寸对应于场景的子区域440的尺寸的限定比例或分数。特别地,每个光点430照射子区域440的总尺寸的1/n(或至少1/n)。可以说四边形光点430的面积是四边形子区域440的面积的1/n。可以通过相应光点430的n个连续位置序列来扫描整个子区域440。在图示的示例中,n=16。因此,每个光点430照射其相应子区域440的十六分之一的区域,并移动到其十六个连续扫描位置。在图4所示的光足迹序列中,光足迹的光点阵列中的每个光点430以光栅扫描顺序从左上角到右下角移动通过其相应子区域440内的连续扫描位置序列。因此,由于场景420的每个子区域440同时被相应光点430照射,所以可以通过图4的十六个光足迹的时间序列来扫描场景420的整个区域。因此,总扫描可以在包括16个显示/投影事件或帧间隔451、452至466的扫描时间400中完成。
图5示出了根据本公开的另一示例光足迹,其适用于勘测被划分为多个连续四边形子区域的场景。在图5的实施例中,(光特征阵列中的)每个光特征是仅在x方向上作为一组被扫描的三条平行的竖直扫描线。
示例光足迹520包括三条扫描线的规则或有序阵列。也就是说,每个光特征包括三条扫描线,它们在空间上是分开的并且彼此平行。每条扫描线的尺寸等于子区域的对应尺寸。在图5的实施例中,每条扫描线的高度(y方向上的尺寸)等于每个子区域的高度(y方向上的尺寸)。每个子区域由其三条扫描线同时扫描。每个子区域的三条扫描线共同只扫描它们子区域的每个部分一次(即没有子区域的任何部分的双重曝光)。在图5所示的示例中,光特征图案布置成在场景的每个相应子区域540中形成第一、第二和第三扫描线530a、530b、530c。例如,每条扫描线530a、530b、530c可以包括图4的一列四个相邻光点,以便形成竖直扫描线。如本文所述,每个光点可以包括多个图像像素,因此每条扫描线可以超过一个图像像素宽。每个第一竖直扫描线530a在相应子区域540中与第二竖直扫描线530b在空间上分开。每个第二竖直扫描线530b在相应子区域540中与第三竖直扫描线530c在空间上分开。第一、第二和第三扫描线530a、530b、530c以有序阵列形成,即在全息重放平面上沿x和y方向以周期性间隔形成,因此在场景中,以便在每个子区域540中的相同相对位置形成第一、第二和第三扫描线530a、530b、530c。因此,每个第一/第二/第三扫描线在空间上与同一行中相邻的第一/第二/第三扫描线分开。然而,在同一列中的每个第一/第二/第三扫描线530之间在y方向上基本没有空间间隔。包括一组第一、第二和第三扫描线530a、530b、530c的每个光特征形成在勘测场景的相应子区域540中。可以说,在每个第一、第二和第三扫描线530a、530b、530c和场景的单个子区域540之间存在一一对应。这是因为每组扫描线530a、530b、530c布置成扫描其对应的单独子区域540,如下面进一步描述。如本领域技术人员将理解,在该示例光足迹中,多个光点的图案可以布置成在每个单独子区域540中形成扫描线530a、530b、530c组。
在一些实施例中,m扫描线用于扫描每个子区域,并且每个子区域中相邻扫描线之间的间隔等于子区域尺寸除以m。
如技术人员将理解,可以形成(和投影)根据图5的示例光足迹520的光足迹的时间序列,使得包括一组三条扫描线530a、530b、530c的每个光特征扫描其相应子区域540。因为每个光足迹同时扫描场景的所有子区域540,所以光足迹的序列将扫描整个场景。如本领域技术人员将进一步理解,在图5的示例中使用扫描线而不是图4的示例中的离散光点,在时间序列中需要较少的显示事件来扫描整个场景。因此,扫描时间将减少。其他示例光足迹可以使用通过在每个子区域中形成单列光点而提供的单条扫描线,或者可以使用通过在每个子区域中形成一行或多行光点而提供的一条或多条水平扫描线。在一条或多条水平扫描线的情况下,同一行中的每条扫描线之间在x方向上基本没有空间间隔。
在一实施例中,每个扫描线是一个图像像素宽(竖直扫描线的x方向),并且在每个子区域中有许多扫描线。例如,每个子区域可以有多于20条扫描线,比如每个子区域32条扫描线,并且子区域的相邻扫描线可被少于12个图像像素分开,例如4个图像像素。在其他实施例中,每个光特征/子区域包括多个光点,其中每个光点仅包括一个图像像素。也就是说,每个光点仅由一个图像像素形成。每个子区域的单个图像像素光点可以在x和y方向上被分开例如2到8个像素,例如4个像素。这些方案是有利的,因为它们只需要非常小的光栅函数来覆盖整个子区域(例如+/-2个图像像素),因此整个场景在短时间内(总扫描时间)被粗略地映射(即没有未扫描的区域)。值得注意的是,这可以使用相对低分辨率的全息图来完成。
根据本公开,LIDAR系统包括显示驱动器(或等同的系统控制器),其布置成控制全息投影仪的空间光调制器。显示驱动器布置成随时间改变由空间光调制器显示的衍射图案。特别地,衍射图案可以随时间改变,以形成光足迹的时间序列,从而扫描场景。此外,LIDAR系统包括检测系统,该其包括布置成检测从场景反射的光的多个光检测元件。检测到的光可以由检测系统处理,以确定飞行时间测量值,从反射光中识别场景的特征等,如本领域中已知的。
在一些实施方式中,检测系统包括光检测器阵列。在一些示例中,多个光检测元件包括电荷耦合器件(CCD)相机,其中每个光检测元件是CCD元件阵列中的单独CCD。在其他示例中,多个光检测元件包括单光子雪崩二极管(SPAD)阵列,其中每个光检测元件是SPAD元件阵列中的SPAD元件。包括光感测元件阵列的任何其它合适形式的光电检测器都是可能的,并且是可以预期的。
根据本公开,检测系统布置成使得每个光检测元件检测来自被勘测场景内的相应单独视场(“IFOV”)的光(即检测器的总视场)。检测系统的每个光检测元件能够接收来自场景中与其视场相对应的限定(固定)区域的光。因此,每个单独光检测元件具有对应的IFOV。光检测元件阵列在LIDAR系统的视场扫描期间通常是静态的。
如上所述,场景被分成子区域阵列,通常是四边形子区域的连续阵列,通过在场景中形成光足迹的时间序列,同时对这些子区域进行单独扫描。值得注意的是,根据本公开的实施例,场景的每个子区域包含光检测元件的多个IFOV。因此,光检测元件的每个IFOV仅对应于场景的子区域的一部分(即布置成从其接收光)。因此,多个光检测元件的子阵列对应于场景的每个子区域(即可以从其接收光)。从被光足迹时间序列中的光足迹的光特征阵列照射的场景反射的光一次将仅被多个光检测元件的子集检测到。具体地,当光足迹的光特征阵列照射对应于其IFOV的区域(即在其中投影光)时,光检测元件将检测来自场景的反射光。相反,当光足迹的光特征阵列没有照射与其IFOV对应的区域时,光检测元件将不会检测到来自场景的反射光。根据实施例,由于投影光足迹的时间序列的每个连续光足迹照射场景的子区域的不同部分,光检测元件的不同子集将在连续光检测间隔(即曝光时间)期间检测反射光。通过在饱和发生后为光检测元件提供恢复时间,这可以减轻光检测元件的饱和问题。
在一些实施方式中,每个光检测元件的IFOV可以对应于在场景的子区域中形成的单个光特征—通常是光点。在这种情况下,可以说在光足迹的光点阵列中的每个光点和光检测元件之间存在一对一的相关性。
例如,在使用图4的光足迹序列的实施方式中,其中每个光点430照射场景的相应子区域440的1/n,每个光检测元件的IFOV对应于场景的子区域440的1/n。因此,例如,场景的每个子区域440与检测器阵列的n光检测元件的子阵列相关。在图4所示的示例中,n=16,场景包括16个四边形子区域,这与检测器阵列中的n×n光检测元件相关(即16×16=256个光检测元件)。因此,在场景中形成n个离散光点阵列的每个显示/投影事件期间,根据图4所示的光足迹序列之一,检测器阵列的n个光检测元件(即16个光检测元件)将同时接收反射光,而剩余的(n-1)xn个光检测元件(即15×16=240个光检测元件)将不会检测到任何反射光(因为它们的IFOV没有被照射)。因此,只有光检测元件阵列的(空间分离的)子集,特别是光检测元件总数的1/n,将在任何时间点检测反射光。此外,在形成光足迹序列中的相应光足迹的每个连续显示事件期间,光检测元件阵列的不同子集将检测反射光。因此,使用图4所示的光足迹的示例序列,单独光检测元件将每16个显示事件接收光,从而在光检测元件饱和的情况下允许足够的恢复时间。
类似地,在使用图5的光足迹的示例实施方式中,形成扫描线530a、530b、530c的一列光点中的每个光点可以对应于光检测元件的IFOV。在该示例中,检测器阵列的光检测元件的子集(包括三个空间分离的列)可以同时接收来自场景的反射光。例如,每条扫描线可以包括一列4个光点,使得阵列检测器的相应列4个光检测元件可以同时接收来自场景的相应子区域的反射光。然而,光检测元件的不同子集(对应于不同列)将在连续显示/投影事件期间接收来自场景的反射光,形成用于扫描场景的光足迹时间序列的相应光足迹。
在示例实施方式中,选择场景的每个子区域的尺寸,使得在LIDAR系统的出射窗处的对应区域的尺寸大于7mm孔径直径。更准确地说,可以在从出口孔径到场景中感兴趣平面的所有位置的每个子区域内拟合7mm的圆。7mm孔径尺寸与人类虹膜的尺寸相对应,因此用于确保符合基于激光的应用中的眼睛安全要求。特别地,眼睛安全要求通常定义了7mm孔径尺寸所允许的激光的最大功率水平阈值—对于905nm的激光波长,通常约为1.0mW。因此,通过将子区域的尺寸匹配为等于或大于7mm孔径直径,可以控制照射场景内每个子区域的光点的功率,使得功率水平低于安全要求的阈值,同时将数倍于眼睛安全极限的光传递到场景中。
图6A-6D示出了根据本公开的包括多个光足迹的另一示例时间序列,该光足迹可以由用于场景的LIDAR扫描的全息投影仪形成。
图6A-6D中所示的光足迹序列使用与图4中相同的示例光足迹,包括具有四边形形状的离散光点的行和列的规则阵列。因此,该序列适合于勘测被分成多个连续的四边形子区域650的场景600。因此,每个光点形成在勘测场景600的相应子区域650中。特别地,在场景的每个单独子区域650中形成(投影)单个光点用于其扫描。场景的多个子区域可以由在每个子区域内的相同相对位置形成的相应光点同时单独扫描。图6A-6D示出了布置成完全扫描场景的16个光足迹的时间序列中的前四个光足迹(因为子区域n内的光点/扫描位置的数量=16)。
然而,与图4所示的光足迹的时间序列相比,每个子区域的扫描不是以光栅扫描顺序进行的。相反,在图6A-6D的16个光足迹的时间序列中,每个连续的光足迹在其相应子区域内的16个连续扫描位置之一中以限定的顺序形成光点,以提供图案化扫描。如前所述,图案化扫描包括在其相应子区域内的光点的不同位置的序列,以随机或半随机的顺序或者以定义的(时间)图案或顺序,使得场景的子区域中具有定义的/最小尺寸的区域不会在超过阈值时间段内保持无照射。在一些应用中,可能需要某个最小尺寸(例如大于阈值,比如大于20%)的场景的子区域的区域不应在超过阈值时间段(例如大于显示事件时间间隔的阈值数量或阈值时间)内保持无照射。如此长时间保持无照射的区域在这里被称为“空白”。本领域技术人员将理解,当单个光点以光栅扫描顺序扫描其相应子区域时,如图4的序列,可能在场景的某些区域中形成空白。例如,子区域右下角的区域,即子区域大小的四分之一,在序列中的第一到第十光足迹期间将不会接收任何光。因此,在对应于该序列的总共16个显示事件中的前10个显示事件的时间间隔内,该区域中可能出现空白(即空白存在于总扫描时间400的5/8)。这是不希望的,因为空白中的信息可能会丢失或被发现得太晚。因此,图案化扫描,其中光足迹的时间序列被排序以形成以随机/半随机图案或定义的图案定位在相应子区域内的光点,从而防止出现空白,例如防止区域(例如子区域的四分之一)在阈值数量的连续显示事件/时间间隔内保持无照射。
在图6A-6D所示的示例图案化扫描中,每个子区域被分成四个四分之一大小的区域(这里称为“四分之一区域”)。具体地,四个四分之一区域对应于子区域左上角的第一四分之一区域、子区域右上角的第二四分之一区域、子区域左下角的第三四分之一区域和子区域右下角的第四四分之一区域。此外,在该示例中,在使用图案化扫描对其进行扫描期间,每个连续光点形成在其相应子区域的四个四分之一区域中的不同区域中。如本领域技术人员将理解,其他方法是可能的并且可以被预期。
图6A-6D示出了场景的示例区域,包括单个说明性子区域650和相邻子区域的部分—特别是子区域阵列中的三个相邻子区域,它们分别位于子区域650的右侧、下方和右下方。如图6A所示,在第一显示间隔期间,时间序列的第一光足迹在每个子区域650的左上角形成第一光点601。第一光点601的位置对应于图4的光栅扫描有序序列中的第一位置。因此,第一光足迹在第一四分之一区域中形成光点,如图6A所示。图6A还示出了在子区域650的右侧、下方和右下方的三个相邻子区域中的每个内的等同位置(相同的相对位置)上同时形成的光点阵列中的光点。如图6B所示,在第二显示间隔期间,时间序列的第二光足迹在子区域650的第四四分之一的位置形成第二光点602。如图6C所示,在第三显示间隔期间,时间序列的第三光足迹在子区域650的第三四分之一的位置形成第三光点603。图6C还示出了在子区域650右侧的相邻子区域中的等同位置同时形成的光点阵列中的光点。时间序列的第四显示事件在第四显示间隔期间在子区域650的第二四分之一的位置形成第四光点602,如图6D所示。图6D还示出了在子区域650下面的相邻子区域中的等同位置同时形成的光点阵列中的光点。在图6B、6C和6D中的每个中,示出了由时间序列的先前光足迹形成的光点的位置,以便说明如何防止包括在多个显示间隔/光足迹上没有照射的区域的空白的形成。特别是,如图6D所示,在时间序列的前四个光足迹之后,照射或勘测区域均匀地分布在整个场景中。在这个示例中,这是通过以随机、半随机的顺序或以一种模式移动光点来实现的,以便在序列的连续光足迹期间定位在子区域的四个四分之一区域的不同区域中。
因此,提供了一种用于勘测场景的光检测和测距方法“LIDAR”。该方法包括将场景分成多个子区域。该方法还包括在空间光调制器上显示包括光足迹的全息图的衍射图案。光足迹包括诸如光点的光特征阵列。该方法还包括照射衍射图案以在全息重放平面上形成光足迹的全息重建,并将重建的光足迹投影到场景中。该方法还包括控制空间光调制器以随时间改变衍射图案,使得规则光特征阵列中的每个光特征扫描场景的相应子区域。该方法还包括通过多个光检测元件检测光,其中每个光检测元件布置成接收来自场景内相应单独视场的光。该方法包括配置多个光检测元件,使得场景的每个子区域包含光检测元件的多个单独视场。
单独扫描的子区域中的功率/强度控制
根据本公开,在扫描开始之前,LIDAR系统将场景(或视场)分成多个子区域,用于同时单独扫描。这使得能够控制用于勘测场景的不同区域的功率,从而控制照射强度。如本领域技术人员将理解,用于照射的功率越高,范围就越大(即光可以传播到场景中的距离就越大)。此外,对于特定范围,功率越高,场景的照射强度越高,因此来自场景的反射强度也越高,从而导致更灵敏和/或更精确的测量。因此,扫描的范围、精度和/或灵敏度随着所用光功率的增加而增加。例如,范围可以大致与所采用的光功率的平方根成比例。
因此,在一些实施例中,场景的每个子区域中的光特征(例如光点或扫描线)的功率基于视场的对应部分的属性/要求来控制。例如,在场景/视场中心的相应子区域中形成的光特征可能比在场景/视场外围的相应子区域中形成的光特征需要更高的功率。具体而言,在汽车LIDAR扫描应用中,场景中“正前方”的区域(视场的中心)需要高功率来进行长距离扫描(例如到前方道路的远距离),而场景外围(视场的边缘)的区域,例如高角度和/或远离侧面的区域,可能需要较低的功率来进行较短距离的扫描(例如识别附近的物体,比如路边的标志或危险)。
此外,在一些实施例中,调整在每个子区域中形成的光特征的功率,使得由光检测元件检测的反射光不具有宽的动态范围(强度变化)。特别是,希望显示事件具有恒定的显示间隔(显示时间),并且每个光检测元件具有也是恒定的相关曝光时间(光感测间隔)—称为“全局曝光时间”。重要的是,光检测元件不会饱和(没有足够的恢复时间)。因此,在一些实施例中,检测系统在光足迹的时间序列期间监测光检测元件的饱和,并且如果检测到饱和,则相应地向全息投影仪提供反馈信号。显示驱动器配置成改变全息图(例如重新计算全息图),以便在形成时间序列的后续光足迹时降低相关光特征的光功率。特别地,对于用于扫描特定子区域的光足迹的那些光特征,光功率(光强度)被降低,对于这些子区域,反馈信号指示其中具有IFOV的光检测元件是饱和的。
根据本公开,通过改变全息图(例如重新计算全息图—实时地或者从数据库中检索预定的全息图),可以控制和动态地调整光足迹的光特征阵列中的单独光特征的功率。
在实施例中,重要的是不超过给定子区域内的最大眼睛安全光功率。可选地,在不需要高功率进行感测的子区域中,可以降低光功率—例如,为了增加光效率。
用于LIDAR扫描的移动图像点
如上所述,在图4、5和6的示例中,LIDAR扫描使用包括光特征阵列的照射图案,其中每个光特征形成在场景的相应子区域中,并执行对其的扫描。这使得能够同时扫描场景的多个子区域。这种扫描是通过在场景中形成光足迹的时间序列来实现的。特别地,光足迹序列可以通过全息投影仪的显示事件的相应时间序列来形成,如本文所述,其中连续的显示事件移动或重新定位场景中的光足迹的光点阵列。
在一些实施例中,通过动态改变全息图来形成光足迹的时间序列,该全息图被写入并显示在全息投影仪的空间光调制器上,并因此在重放平面上全息重建。同样,全息重建可以在场景中形成,或者全息重建可以在包括中间平面和所采用的投影透镜的重放平面上形成。具体而言,可以为序列中的每个光足迹(即光特征阵列的每个不同位置)计算全息图,并在每个显示事件开始时将其顺序写入空间光调制器,以形成场景中的光足迹。全息图可以由全息图引擎计算并实时写入空间光调制器。可替代地,全息图可以预先计算并存储在数据库中,并且可以从数据库中检索并实时写入空间光调制器。
在其他实施例中,通过在全息投影仪的空间光调制器上显示包括光特征阵列的光足迹的相同全息图来形成光足迹的时间序列。相反,光足迹的时间序列是通过在重放平面上对光足迹进行空间重新定位来形成的,因此,对形成全息重建的光足迹的光特征阵列进行空间重新定位。这可以通过所谓的“光束控制”或“图像控制”技术来实现。在这样的实施例中,写入空间光调制器的衍射图案包括与光足迹的全息图结合的光栅函数(也称为“软件光栅”),如上所述。光栅函数决定了全息重放平面上重放场的位置,从而决定了光足迹。特别地,写入空间光调制器的衍射图案可以包括光栅数据—即布置成执行光栅函数的数据。在计算机生成全息术领域中,如何计算光栅数据并将其与代表图像的全息数据相结合是已知的。例如,纯相位光栅可以通过模拟闪耀光栅表面上每个点引起的相位延迟来形成。仅振幅全息光栅可以简单地叠加在代表图像的仅振幅全息图上,以提供仅振幅全息图的角度控制。因此,每个显示事件可以包括向空间光调制器写入衍射图案,其包括具有不同光栅数据的相同全息图数据,以便移动或重新定位场景中投影光足迹的全息重建,从而在序列中形成连续光足迹。因此,在这些实施例中,通过简单地改变衍射图案的光栅函数(例如不改变光足迹的全息图),可以将由光足迹形成的光特征阵列移动到多个不同位置,以便扫描这里描述的场景的所有子区域。这种实施例可能比通过改变光足迹的全息图来改变衍射图案的实施例更有效(例如更快—允许显示事件之间的时间更短)。
全息重建的非均匀强度的补偿
在实施例中,空间光调制器的像素产生强度包络,其会导致不期望的重放平面上的亮度不均匀。在没有对策的情况下,强度包络有效地确定在重放平面上的每个点处形成的图像像素的最大亮度。强度包络是不均匀的。在一些实施例中,空间光调制器的像素是矩形或方形的,并且强度包络是sinc函数,或者更具体地,是sinc2函数。强度包络可以是x方向上的第一sinc2函数或轮廓,以及y方向上的第二sinc2函数或轮廓。在一些情况下,强度包络的中心(即最大值)在空间光调制器的像素阵列的光轴上。也就是说,从像素阵列的表面垂直延伸的直线将在强度包络的中心与重放平面相交。因此,在传统配置中,零级重放场的中心本质上是全息重建的最亮部分。因此,对于使用基于Gerchberg-Saxton的算法并且在没有光栅函数的情况下为重放场处的均匀强度计算的全息图,在(零级)重放场的中心形成的LIDAR的光足迹的光点将具有比在外围形成的光足迹的光点更高的强度。
在一些实施例中,全息图布置成补偿不均匀的强度包络。更具体地,在一些实施例中,用于计算全息图的目标图像(光足迹)在全息图计算之前被处理,以补偿将由重建产生的非均匀强度包络。
根据一些实施例,光栅函数用于平移重放平面上的重放场。虽然光栅函数平移重放场(例如光特征阵列),但它不平移强度包络。因此,光栅函数可能导致空间光调制器的光轴和全息重建的投影轴不重合。换句话说,投影轴与重放平面相交的点可以相对于光轴与重放平面相交的点在重放平面上平移。因此,光栅函数导致光轴和投影轴变得不共线。
例如,sinc2补偿函数可以用于在计算全息图之前处理用于投影的目标图像。然而,如果使用光栅函数移动投影光图案,则由于强度包络导致的强度不均匀性被重新引入。换句话说,用于一个重放场位置的补偿函数不适用于其他重放场位置。这是因为x和y方向上的强度包络是由于空间光调制器的结构,特别是像素形状。因此,强度包络保持在重放平面上的相同位置,尽管光栅函数改变以移动重放场来重新定位光足迹。特别地,如果为第一光足迹计算全息图,并且通过改变光栅函数,使用相同的全息图在光足迹的时间序列中形成第二和随后光足迹,则光点的(补偿)强度将与相对于强度包络的不同光栅位置所需的补偿不匹配。因此,强度变化将会出现。这如图7所示。
图7(底部)示出了光足迹711、712的序列,包括根据图4的示例光足迹形成的光点阵列,其中通过将sinc2补偿函数应用于第一光足迹来计算全息图。同一全息图随后用于时间序列中的后续光足迹。注意,与前面的图一样,光足迹711、712是从光检测器的视角示出的,因此示出了在所勘测场景的相应子区域内形成的光点的位置,如上所述。图7(顶部)是显示光点强度的曲线图。为了便于说明,图7示出了由时间序列中的第一四个光足迹中的每个形成的光点阵列的第一行的相应子区域中的四个光点组的强度分布,其相对于重放平面的x方向上的空间位置绘制。每个光点在图中用一个条形表示。图7还示出了sinc2强度包络700和x方向上所勘测场景的边缘721、722(即视场的边界)。
如图7所示,由于根据sinc2补偿方案对相应全息图的补偿,由第一光足迹711形成的第一组四个光点(对应于图中的第一、第五、第九和第十三条形)的强度分布具有基本相同的强度值。值得注意的是,第一组四个光点中的每个的强度在其区域(包括多个图像像素)上是均匀的,如相应条形的平顶所示。在其他实施例中,每个光点仅由一个图像像素形成。然而,由第二光足迹712形成的第二组四个光点(对应于图中的第二、第六、第十和第十四条)的强度分布由于它们在重放平面上的不同位置以及因此在sinc2强度包络700内的不同位置而从第一组光点的强度以及彼此不同。特别地,由于其朝向sinc2强度包络700的中心的位移,由第二光足迹712形成的相应第一和第二子区域中的光点具有比由第一光足迹711形成它们时更高的强度。相反,由于远离sinc2强度包络700的中心的移动,由第二光足迹712形成的相应第三和第四子区域中的光点具有比由第一光足迹711形成它们时更低的强度。由第三和第四光足迹(未示出)形成的第三和第四组四个光点也是如此。值得注意的是,第二、第三和第四组四个光点的每个光点的强度在其区域上是不均匀的(即多个图像像素具有不同的强度),如相应条形的倾斜顶部所示,因为传统的sinc2补偿技术没有补偿与其不同位置相关的强度变化。由于这种不均匀性,图7所示光点的最高强度点和最低强度点之间的差异相对较大,如箭头730所示(变化约为2.3倍)。
因此,在一些实施例中,全息图不是通过将sinc2补偿函数应用于根据序列的第一光足迹711定位的光点阵列来计算的,因为这在扫描期间引起相对大的强度变化,如箭头730所示。相反,在实施例中,当光点基本位于其相应子区域的中间时,在将sinc2补偿函数应用于目标图像之后计算全息图。这一改进如图8所示。从图8中可以看出,正和负光栅函数用于根据光足迹序列提供每个光点从其相应子区域的中间到它们在其中的相关扫描位置的平移。相比之下,在图7中,仅使用负光栅函数来提供每个光点从其子区域左上的平移,但是通过比较箭头730和箭头732,获得了较差的结果。
更详细地,图8示出了与图7等同的一组四个光点的强度分布,其由与图7等同的四个光足迹序列形成。然而,尽管光点的位置与图7的光足迹序列中的相同,但使用优化技术来计算用于形成光足迹序列的全息图。
因此,如图8所示,由第一、第二、第三和第四光足迹在第一和第二子区域中形成的光点阵列的第一行的第一和第二光点(对应于图的前八个条形)具有连续增加的强度分布。由第一、第二、第三和第四光足迹在第三和第四第一子区域中形成的光点阵列的第一行的第三和第四光点(对应于曲线图的后八个条形)具有连续减少的强度分布。此外,四组光点中的每个光点的强度在其区域上是不均匀的,如相应条形的倾斜顶部所示。由于全息图被计算以最小化序列中所有足迹的光点的强度变化,所以图8中所示的光点的最高强度和最低强度点之间的差异被减小,如箭头732所示(变化约为1.5倍)。这确保了LIDAR检测的信噪比在整个视场内更加均匀。
在这些优化的实施例中,目标图像的每个光点(用于全息图计算)基于其子区域的中间进行sinc2补偿。此外,正和负光栅用于从其子区域的中心平移每个光点,以便根据本公开提供多区域扫描。
如本领域技术人员将理解,上述优化技术可以与光足迹的任何时间序列结合使用,包括光栅扫描、线扫描、随机、半随机或图案化顺序的序列,如本文所述。
在其他实施例中,通过最小化扫描期间光栅变化的幅度,在检测器的视场(勘测场景)上的强度变化被最小化。具体地,在改变由空间光调制器在连续显示事件中显示的衍射图案(例如光栅数据)的光栅函数以形成光足迹序列来勘测场景的实施例中,光栅变化应该很小。这确保了用于形成序列的所有光足迹的全息图的sinc2补偿更接近于所使用的所有光栅的理想值。同时,使用尽可能多的光栅值可能是有利的,因为这增加了测量期间场景中给定位置处的功率(从而背景光对测量数据的贡献较小),因为导向重放场的每个特征的光能取决于图像内容的量。因此,替代的且可能有利的光足迹图案是跨越整个感兴趣区域的稀疏点网格(例如分布在x和y方向的单独视场(IFOV)之间的角度间隔的4倍处),然后光栅位移仅位移点以覆盖所有IFOV(例如X方向的4个光栅和y方向的4个光栅,其中每个光栅变化对应于IFOV之间的角度)。
通过在相应子区域中使用不同的(即不均匀的)光点目标强度,可以进一步提高检测器视场中心(勘测场景)的均匀性。图14A用黑线示出了在相应子区域中形成的光点阵列的第一行中的四个光点的目标强度值1410,例如通过在图4的序列中的第二和第三光足迹之间的中点位置形成的光足迹的全息图。特别地,光足迹的四个所示光点中的每个都位于x方向上相应子区域的中点。图14A还示出了基于sinc2强度包络1400内四个光点的不同位置的该目标强度的相应sinc2补偿值,例如块A的第一sinc2补偿值1420(由灰线示出)。图14A示出了每个光点的目标光强度1410是相同的,并且在其相应区域上是恒定的,如每个块A到D的条形的顶部的实线所示。sinc2补偿强度—例如块A的第一sinc2补偿值1420—显著增加到在外部或外围子区域中形成的每个光点(第一和第四光点)的目标强度之上,并且在其相应区域上是不均匀的,如条形顶部的斜线所示。然而,对于在内部或中心子区域中形成的每个光点(第二和第三光点),sinc2补偿强度仅略微增加到目标强度1410之上,并且在其相应区域上类似地不均匀。基于均匀目标强度值的光点的sinc2补偿强度值计算全息图以形成图4的第一至第四光足迹序列,导致扫描期间约±15%的最大强度变化1404A,如图14B所示,其示出了每个光点的四个扫描位置。
在一些实施例中,使用替代方法,其中在场景的相应内部或中心子区域中形成的光点的目标强度值高于在场景的相应外部或外围子区域中形成的光点的目标强度。图14C示出了根据该替代实施例的图14B的等同视图。可以看出,与照射相应外部子区域(在x方向上)的第一光点(对应于块A)和第四光点(对应于块D)的目标强度1410相比,照射相应内部子区域(在x方向上)的第二光点(对应于块B)和第三光点(对应于块C)具有增加的目标强度1415(因此,sinc2补偿强度)。特别是,第一光点和第四光点的目标光强1410与图14A中所示的所有光点的目标光强值相同,而第二光点和第三光点的目标光强1415增加,如每个相应条形顶部的平实线所示。因此,第一光点和第四光点的sinc2补偿强度轮廓与图14A所示的相同,但是第二光点和第三光点的sinc2补偿强度轮廓增加到高于图14A所示的强度轮廓,如条形顶部的斜线所示。基于对光点的非均匀目标强度的sinc2补偿来计算全息图以形成图4的第一至第四光足迹序列,导致扫描期间的强度变化,如图14D所示,其中最大变化1404C减小到约±8%。值得注意的是,在该示例中,通过增加场景中心(在x方向上)的子区域中的强度来改善(减少)强度变化,这对于在场景中心需要更高分辨率的LIDAR应用来说通常是合乎需要的。图14A和B的实施例(具有相同的目标强度)以及图14C和D的实施例(具有不均匀的目标强度)示出了由于x方向上的强度包络的第一sinc2函数而导致的对光特征阵列中的光特征的强度变化的补偿的改进。如本领域技术人员将理解,可以实施相同的技术来改进对由于y方向上强度包络的第二sinc2函数引起的强度变化的补偿。
因此,与图14B相比,通过基于勘测场景中的相应子区域的位置来选择用于全息图计算的光足迹的光点的目标强度,有可能将序列中(例如当不同光栅被应用于同一全息图时)光足迹的光点(特别是在场景中心)的强度变化从±15%减少到±8%,如图14D所示。这种减小强度变化的效果是令人惊讶的,因为人们通常期望使用光足迹(全息图像)的光点的不均匀目标强度来减小整体均匀性。
在一些示例中,可以基于用于扫描外部子区域的光点的强度值来设置用于扫描被勘测场景的中心子区域的光点的目标强度值的选择,外部子区域用于将它们带到中心子区域附近的光栅位置。再次参照图14D,每个光点由字母A、B、C或D以及数字1、2、3或4来标记,字母A、B、C或D表示相应的子区域A-D,数字1、2、3或4表示在形成光点的足迹1-4的序列中的足迹的编号。在紧邻中心子区域B和C的外部子区域A和D中形成的标记为A3、A4、D1、D2的光点的强度可以用于为中心子区域选择适当的目标强度(即第二和第三子区域B和C相对于第一和第四子区域A和D的目标强度)。如技术人员将理解,合适的值将取决于相关sinc2函数的宽度和子区域的数量。
因此,当与光栅结合时,用于扫描子区域的光点的相对强度将取决于相邻/邻近子区域的强度,以提供基本均匀的光点强度,或者可替代地,根据应用要求提供期望的非均匀光点强度。
为了便于描述,上述示例涉及对由x方向上的强度包络引起的强度不均匀性的补偿。如技术人员将理解,在y方向上存在由强度包络引起的对应强度变化。因此,实施例应用上述原理来补偿x方向和y方向上的强度变化。
使用零级和一级衍射光的混合重放场
由全息投影仪形成的全息重建可以包括零级重放场的更高级副本。这在图9中示出,其中每个重放场包含图4的光足迹序列的第一光足迹451。特别地,图9示出了如何在与零级重放场900相邻的(正和负)x方向和y方向上形成一级重放场901。零级重放场900和一级重放场901强度(从对应于空间调制光的传播轴的重放平面上的中心点)被重放平面的x和y维度上的强度包络(例如sinc2轮廓)衰减。如本领域技术人员将理解,形成二级和后续级重放场,远离零级重放场,但为了便于说明,这些没有在图9中示出。在本说明书中,一级重放场与任何后续级重放场一起被称为“更高级重放场”。
更高级重放场通常是不需要的。因此,传统上,更高级重放场在全息投影仪内被阻挡(例如通过挡板等),使得它们不能到达重放平面。然而,形成更高级重放场的光可以包括全息投影仪的光功率的很大一部分,其对应于输入到系统的光的功率(例如入射到空间光调制器上的光)。因此,阻挡更高级可被认为是光学效率低的,因为光功率从系统中损失了。
如本文所述,LIDAR系统包括投影全息重建的全息投影仪,全息重建在场景中形成光足迹。光足迹是用于探测或勘测包含在视场内的场景的结构光的照射图案。在某些应用中,例如汽车应用,LIDAR系统的期望视场具有相对高的纵横比。特别是,这种应用可能需要相对较大的水平视场(例如+/-60°)和相对较小的竖直视场(例如+/-15°)。光学效率,就光源发射的用于照射场景的功率比例而言,是LIDAR系统的重要指标。具有低光学效率的系统需要使用更高功率的光源(例如激光器)来实现场景中的给定照射,这增加了成本、增加了散热要求(即尺寸)并且降低了总的电效率。电气效率是电动车辆应用中特别重要的考虑因素。
因此,在一些实施例中,全息投影仪在场景中形成光足迹,其中投影照射的视场(对应于被勘测场景)除了初级(零级)重放场的光之外还包括来自更高级重放场的一些光。
图10A-10D示出了使用图4的光足迹序列的示例。举例来说,每个重放场包括相同的离散光点阵列,该阵列例如使用软件光栅在重放平面上以光栅扫描顺序重新定位,以形成光足迹序列,如本文所述。因此,如果一级重放场的相邻光足迹没有被阻挡到达场景,则它们相应地被重新定位。
在图10A-10D的示例中,投影仪的输出照射形成在所谓的“混合视场”1010中。混合视场包括整个零级重放场和任一侧(在+/-x方向)的每个一级重放场的一部分。因此,混合视场是对应于检测器的扩展视场的场景子区域的扩展集合。混合视场实际上是固定窗口,定义了视场的范围,其捕获序列中所有光足迹的整个零级重放场(即所有光栅位置)以及序列中不同光足迹的+/-x方向上的两个一级重放场的不同部分,取决于软件光栅对其的位移。
图10A(底部)示出了在场景中形成的光足迹序列的第一光足迹,该场景被分成多个子区域,如上面参考图4所述。特别地,图10A示出了根据图4序列的第一光足迹451定位在其相应子区域中的光足迹的光点阵列中的光点。第一光足迹是在没有应用光栅函数的情况下形成的,使得重放平面上的重放场相对于sinc2强度分布包络没有位移。混合视场1010A由被由零级重放场1006A形成的光足迹序列的光点阵列照射的子区域阵列和被由相应一级重放场1004A、1008A(分别在负和正x方向上)形成的序列的光点阵列照射的在x方向上与其相邻的子区域的相应部分形成。在所示的示例中,相邻子区域的部分对应于每个相邻子区域的一半。因此,在该示例中,混合视场在x方向上将LIDAR系统的视场扩展了子区域的宽度(每侧子区域宽度的一半)。因此,混合视场1010A包括一级重放场1008A的一列光点(即在零级重放场1006A的右手侧)。然而,混合视场1010A不包括一级重放场1004A的任何光点(即在零级重放场1006A的左侧)。图10A(顶部)还示出了在混合视场1010A中形成的第一光足迹的光点阵列中的顶行光点的强度轮廓,其针对sinc2强度变化进行了补偿,以最小化光足迹序列的场景上的照射变化,如上文关于图8所述。示出了对应的sinc2强度包络1012A(第一sinc2函数)以供参考。
图10B(底部)示出了在图10A的场景的多个子区域中形成的光足迹序列的第二光足迹,光足迹的光点阵列中的光点根据图4序列的第二光足迹452定位在其相应子区域中。第二光足迹是在应用光栅函数的情况下形成的,使得在重放平面上(沿正x方向)相对于sinc2强度包络存在重放场的位移。因此,混合视场1010B由被由零级重放场1006B形成的光足迹序列的光点阵列照射的子区域阵列和被由相应一级重放场1004B、1008B形成的序列的光点阵列照射的在x方向上与其相邻的子区域的相应部分形成,该子区域。因此,在这个位置,混合视场1010B包括一级重放场1008B的一列光点(即在零级重放场1006B的右侧),其在x方向上从图10A的一级重放场1008A的相应一列光点位移。然而,混合视场1010B再次不包括一级重放场1004B的任何光点(即在零级重放场1006B的左侧)。图10B(顶部)示出了在混合视场1010B中形成的第二光足迹的光点阵列中的顶行光点的强度分布。sinc2强度包络1012B被示出用于参考。
图10C(底部)示出了在图10A的场景的多个子区域中形成的光足迹序列的第三光足迹,光足迹的光点阵列中的光点根据图4序列的第三光足迹定位在其相应子区域中。第三光足迹由应用光栅函数形成,使得相对于sinc2强度分布包络,在重放平面上(沿正x方向)有更大的重放场位移。因此,混合视场1010C由被由零级重放场1006C形成的光足迹序列的光点阵列照射的子区域的阵列和被由相应一级重放场1004C、1008C形成的序列的光点阵列照射的在x方向上与其相邻的子区域的相应部分形成。因此,在这个位置,混合视场1010C包括一级重放场1004C的一列光点(即在零级重放场1006C的左侧)。然而,在这种情况下,混合视场1010C不包括一级重放场1008C的任何光点(即在零级重放场1006C的右侧)。图10C(顶部)示出了在混合视场1010C中形成的第三光足迹的光点阵列中的顶行光点的强度轮廓。sinc2强度包络1012C被示出用于参考。
最后,图10D(底部)示出了在图10A的场景的多个子区域中形成的光足迹序列的第四光足迹,光足迹的光点阵列中的光点根据图4序列的第四光足迹位于其相应子区域中。第四光足迹是通过应用光栅函数形成的,使得在重放平面上(沿正x方向)重放场相对于sinc2强度包络有更大的位移。因此,混合视场1010D由被由零级重放场1006D形成的光足迹序列的光点阵列照射的子区域的阵列和被由相应一级重放场1004D、1008D形成的序列的光点阵列照射的在x方向上与其相邻的子区域的相应部分形成。因此,在这个位置,混合视场1010D包括一级重放场1004D的一列光点(即在零级重放场1006D的左侧),其在x方向上从图10C的一级重放场1004D的相应一列光点位移。然而,混合视场1010D再次不包括一级重放场1008D的任何光点(即在零级重放场1006D的右侧)。图10D(顶部)示出了在混合视场1010D中形成的第四光足迹的光点阵列中的顶行光点的强度轮廓。sinc2强度包络1012D被示出用于参考。
因此,在用于形成图10A-10D所示的扫描序列中的前四个光足迹的四个光栅位置上,一级光照射x方向(正和负)上零级之外的附加区域(场景的附加子区域内)。特别地,由序列中的每个光足迹形成附加的一列光点,以扫描包括在扩展视场中的附加子区域部分。
如本领域技术人员将理解,由图10A-10D(顶部)的四个光足迹形成的所有光点的组合强度轮廓显示了与图7A(顶部)等同的照射的基本均匀性。然而,视场最边缘的强度(必然)低于中心。这种强度的降低通常是可以接受的。
例如,在汽车LIDAR应用中,距离感测要求(以及因此获得阈值信噪比所需的照射功率)在被勘测场景的广角处较低,如下面进一步描述的图11所示。一些一级光的使用特别适合于在x和/或y方向上覆盖大范围的具有周期性变化(例如对应于多个子区域的光特征的周期性阵列)的照射图案,因为由一级和零级形成的混合视场提供了无缝图案。
在一些实施例中,全息图可被计算或以其他方式配置成控制零级和一级重放场中的光点(其用于形成在混合视场中为序列中的每个光足迹形成的光点阵列)的强度。例如,可能希望调整(例如增加或减少)以一级、零级或两者形成的光点的强度。如上所述,这可以通过与减少初级(零级)光足迹的光点阵列的强度变化类似的方式来实现。
图11示出了包括汽车LIDAR应用中的勘测场景的混合视场的示例。零级重放场在场景的子区域1102的阵列中形成光足迹,包括包含车辆前方道路的视场。在图示的示例中,场景被分成16×10的四边形子区域的阵列,每个子区域被投影光足迹单独扫描,该光足迹包括这里描述的光特征阵列(例如,(例如16×10)个离散光点的阵列或者一个或多个扫描线的阵列)。混合视场包括零级的所有子区域。另外,混合重放场包括零级1104L左侧的一级的一对10个子区域的列和零级1104R右侧的一级的一对10个子区域的列。因此,在这个示例中,混合视场包括完整的一级子区域。因此,与图10A-10D的示例相比,混合视场的扩展区域在整个光足迹序列中(即在所有光栅位置)接收一级光。
在混合重放场/视场中包括一级重放场的一部分(在正和负x方向)有多个优点。首先,提高了光学效率。特别地,将照射传递到场景中的效率得到了提高,因为由于全息衍射过程,在第一级中必须使用光功率。通过使用至少一些一级光来照射场景,系统的光学效率增加。其次,视场增加或扩大,方便地提供了汽车应用中勘测场景所需的高纵横比。
因此,在一些实施例中,如上所述,检测系统布置成检测扩展的混合视场的光点。特别地,检测系统布置成检测零级重放场的光点和至少一个更高级重放场的光点,以便扩展LIDAR系统的视场。因此,检测系统能够检测从被一级光的光点照射的场景的附加子区域反射的光。
在一些实施例中,可由检测系统检测的至少一个更高级重放场的光特征(例如光点)形成在场景的子区域中,该子区域与对应于零级重放场中形成的光特征的(外围)子区域直接相邻。在一些示例中,包括至少一个更高级重放场的子区域的区域构成至少一个更高级重放场的总区域的小于50%,例如小于30%。用包括光特征的规则阵列的光足迹/照射图案来照射场景的子区域的组合方法非常适合于与使用一些一级重放场来照射场景相结合,因为重复块图案在零级的边缘(在x和y方向上)被再现。
在一些实施例中,混合视场可以在某些侧面被“噪声转储”区域包围,例如顶部和底部。英国专利2501112描述了全息系统中的噪声转储的概念,在该全息系统中,使用相位全息图投影光图案,该专利在此引入作为参考。在一些实施例中,形成零级和一级子区域的边缘的区域(例如形成混合视场)可以用作噪声转储。例如,图12示出了由光足迹照射的混合视场1210。混合视场1210包括零级1206和每个一级1204、1206的在x方向上与零级1206的每一侧相邻的部分1222,类似于图10A(底部)。顶部和底部边缘1222处的区域(可以在场景的相应子区域的内部或外部)可以用作噪声转储。实施例合并了x方向上的更高级重放场和y方向上的噪声转储,反之亦然,使得零级和更高级的噪声转储区域在混合视场之外。相比之下,参考图12,如果噪声转储被提供给重放场1206的左侧和右侧,则它们将在系统的视场内。
LIDAR系统图
图13示出了包括全息投影仪的空间光调制器1310和光检测器1320的实施例,空间光调制器1310布置成将光导向场景1300,光检测器1320布置成收集来自场景的反射光。空间光调制器1310布置成接收来自光源(未示出)的光,并根据动态可变衍射图案输出空间调制光,该动态可变衍射图案包括在空间光调制器1310上呈现或“显示”的计算机生成的全息图。图13示出了空间光调制器1310输出第一空间调制光1331,其根据空间光调制器1310上呈现的第一计算机生成全息图(未示出)形成场景1300内的零级重放场的第一光足迹1351,该第一光足迹1351包括包含光点的光特征阵列。如本文所述,全息投影仪可以将空间调制光直接投影到场景1300上,或者可以包括光学器件,比如放大光学器件和/或投影透镜,以将在全息投影仪内的重放平面上形成的全息重建投影到场景1300上。可以使用一个或多个光学元件将重放场扩展到大的发射孔径,以便放大子区域,从而控制视场及其子区域的大小。图13示出了光点阵列中的所有光点由第一空间调制光1331同时形成。如本文所述,光检测器1320可以包括阵列检测器,其具有包括被分成子区域的所勘测场景的视场。阵列中的每个光检测元件具有单独视场(IFOV),其包括场景1100的子区域的一部分。第一光足迹可以是包括如本文所述的光点阵列的光足迹序列的一部分。系统控制器1370可以通过输出驱动信号1372来动态地改变显示在空间光调制器1310上的衍射图案,以便形成这样的光足迹序列。
图13还示出了光检测器1320接收来自场景1300中被第一光足迹1351照射的区域的反射光1341。仅作为示例,图13示出了仅从场景的一部分反射的光。例如,光点阵列中的光点的光可被场景中的物体反射。读者将理解,在一个照射事件期间,光可能从场景的多个部分反射—即LIDAR系统的一帧。响应于接收到反射光1341,光检测器1320输出光响应信号1374。系统控制器1370布置成接收和处理光响应信号1374,并确定飞行时间测量,从反射光识别场景的特征等,如本领域中已知。在实施例中,控制器1370可以确定光响应信号1374是否指示物体存在于由第一光足迹的光点阵列中的光点照射或“探测”的场景的一个或多个区域中。在一些实施例中,光响应信号1374的属性是光响应信号1374的最大(或峰值)强度或平均(或均值)强度。在其他实施例中,光响应信号1374的特性是光响应信号1374的强度变化或光响应信号1374的强度变化。光响应信号的属性可以是光响应信号1374的任何属性,或者光响应信号1374中的任何特征,其可以提供关于由第一光足迹1351探测的区域或区域中的任何物体的信息。例如,控制器1370可以确定光响应信号1374的幅度是否超过阈值。反馈信号可以由光检测器1320与光响应信号1374一起提供给控制器1370。可替代地,可以单独提供反馈信号。光检测器可以是CCD阵列或SPAD阵列,投影到场景中的光可以是可见光或红外光。
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质,比如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合,使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中,用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。
对于本领域技术人员将显而易见的是,在不脱离所附权利要求的范围的情况下,可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。
Claims (19)
1.一种布置成勘测场景的光检测和测距“LIDAR”系统,该系统包括:
空间光调制器,其布置成显示包括光足迹的全息图的衍射图案,其中光足迹包括光特征阵列;
光源,其布置成照射衍射图案以形成光足迹的全息重建,其中光足迹的全息重建被投影到场景上;
显示驱动器,其布置成控制空间光调制器并随时间改变衍射图案,使得光特征阵列中的每个光特征扫描场景的相应子区域;
包括多个光检测元件的检测系统,其中检测系统配置成使得每个光检测元件检测来自场景内的相应单独视场的光,并且场景的每个子区域包含多个单独视场。
2.如权利要求1所述的系统,其中,多个子区域形成场景的基本连续区域,和/或子区域基本不重叠。
3.如任一前述权利要求所述的系统,其中,每个光特征包括从包括光点、光点图案、扫描线和多条平行扫描线的组中选择的至少一个。
4.如任一前述权利要求所述的系统,其中,所述显示驱动器布置成控制所述空间光调制器,使得每个子区域中的光功率在其扫描期间对眼睛是安全的。
5.如任一前述权利要求所述的系统,其中,所述显示驱动器布置成改变衍射图案的全息图,以便扫描场景的子区域。
6.如权利要求1至4中任一项所述的系统,其中,全息重建形成在全息重放平面上,并且其中,衍射图案还包括光栅函数,其确定全息重放平面上的光足迹的位置,并且所述显示驱动器布置成改变衍射图案的光栅函数,以便扫描场景的子区域。
7.如权利要求6所述的系统,其中,所述系统布置成配置全息图,以基于应用于光足迹的sinc2补偿函数来补偿所述全息重放平面上的强度不均匀性,可选地其中,sinc2补偿函数被应用于包括所述光特征阵列的光足迹,每个光特征基本位于其相应子区域的中间。
8.如权利要求7所述的系统,其中,所述系统布置成将全息图配置成增加所述光足迹的中心区域中的光特征强度,以减少扫描期间的光特征强度的变化。
9.如权利要求6、7或8所述的系统,其中,所述全息重放平面是在空间上与所述空间光调制器分开传播距离z的x-y平面,所述光栅函数包括x方向光栅和y方向光栅。
10.如任一前述权利要求所述的系统,其中,所述显示驱动器布置成改变所述衍射图案,使得每个光特征在其子区域内沿着扫描路径在多个位置执行扫描,可选地其中,所述扫描包括其子区域的光栅扫描或线扫描。
11.如权利要求1至9中任一项所述的系统,其中,所述显示驱动器布置成改变所述衍射图案,使得每个光特征对其子区域执行图案化扫描。
12.如任一前述权利要求所述的系统,其中,与每个光检测元件相关的曝光时间是恒定的,并且所述显示驱动器还配置成,如果来自子区域的检测信号指示对应的光检测元件饱和,则改变全息图,以便降低该子区域中的光功率。
13.如任一前述权利要求所述的系统,还包括布置成放大所述子区域的光学系统。
14.如任一前述权利要求所述的系统,其中,投影到场景上的光足迹使得在零级重放场中形成的光特征阵列的周期性延伸到至少一个一级全息重放场中。
15.如任一前述权利要求所述的系统,其中,所述检测系统布置成检测零级全息重放场的光特征和至少一个更高级全息重放的一部分的光特征。
16.如权利要求15所述的系统,其中,可由所述检测系统检测的至少一个更高级全息重放场的光特征形成在与由所述零级全息重放场的光特征扫描的子区域直接相邻的子区域中。
17.如权利要求16所述的系统,其中,包括所述至少一个更高级全息重放场的子区域的区域构成至少一个更高级全息重放场的总区域的小于50%,例如小于30%。
18.如任一前述权利要求所述的系统,其中,所述系统布置成配置全息图,使得所述光特征阵列的光特征的强度随着距投影光的传播轴的距离而变化。
19.一种用于勘测场景的光检测和测距“LIDAR”方法,该方法包括:
将视场分成场景的多个子区域;
在空间光调制器上显示包括光足迹的全息图的衍射图案,其中光足迹包括光特征阵列;
照射衍射图案以形成光足迹的全息重建,并将重建的光足迹投影到场景上;
控制空间光调制器以随时间改变衍射图案,使得光特征阵列中的每个光特征扫描场景的相应子区域;
通过多个光检测元件检测光,其中每个光检测元件布置成接收来自场景内的相应单独视场的光,以及
配置多个光检测元件,使得场景的每个子区域包含光检测元件的多个单独视场。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2012142.2 | 2020-08-05 | ||
GB2012142.2A GB2597771B (en) | 2020-08-05 | 2020-08-05 | Holographic light detection and ranging |
PCT/EP2021/066783 WO2022028764A1 (en) | 2020-08-05 | 2021-06-21 | Holographic light detection and ranging |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116601516A true CN116601516A (zh) | 2023-08-15 |
Family
ID=72425139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180062645.6A Pending CN116601516A (zh) | 2020-08-05 | 2021-06-21 | 全息光检测和测距 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230266711A1 (zh) |
EP (1) | EP4193175A1 (zh) |
KR (1) | KR20230031966A (zh) |
CN (1) | CN116601516A (zh) |
GB (1) | GB2597771B (zh) |
WO (1) | WO2022028764A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2621599A (en) | 2022-08-16 | 2024-02-21 | Envisics Ltd | Hologram waveguiding |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8493445B2 (en) * | 2006-05-31 | 2013-07-23 | Sigma Space Corp | Scanner/optical system for three-dimensional lidar imaging and polarimetry |
GB2498170B (en) | 2011-10-26 | 2014-01-08 | Two Trees Photonics Ltd | Frame inheritance |
GB2501112B (en) | 2012-04-12 | 2014-04-16 | Two Trees Photonics Ltd | Phase retrieval |
US10527726B2 (en) * | 2015-07-02 | 2020-01-07 | Texas Instruments Incorporated | Methods and apparatus for LIDAR with DMD |
US11740330B2 (en) | 2017-01-19 | 2023-08-29 | Envisics Ltd | Holographic light detection and ranging |
GB2574058B (en) | 2018-05-25 | 2021-01-13 | Envisics Ltd | Holographic light detection and ranging |
-
2020
- 2020-08-05 GB GB2012142.2A patent/GB2597771B/en active Active
-
2021
- 2021-06-21 EP EP21733995.1A patent/EP4193175A1/en active Pending
- 2021-06-21 KR KR1020237004332A patent/KR20230031966A/ko unknown
- 2021-06-21 US US18/005,457 patent/US20230266711A1/en active Pending
- 2021-06-21 CN CN202180062645.6A patent/CN116601516A/zh active Pending
- 2021-06-21 WO PCT/EP2021/066783 patent/WO2022028764A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4193175A1 (en) | 2023-06-14 |
US20230266711A1 (en) | 2023-08-24 |
GB202012142D0 (en) | 2020-09-16 |
GB2597771B (en) | 2024-02-07 |
KR20230031966A (ko) | 2023-03-07 |
WO2022028764A1 (en) | 2022-02-10 |
GB2597771A (en) | 2022-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3662329B1 (en) | Holographic light detection and ranging | |
US11307534B2 (en) | Holographic projector | |
CN111176092B (zh) | 全息投影显示设备上的像素映射 | |
CN111486975B (zh) | 用于全息投影仪的方法 | |
GB2560490A (en) | Holographic light detection and ranging | |
KR102257712B1 (ko) | 홀로그램 광 검출 및 측량 | |
CN116601516A (zh) | 全息光检测和测距 | |
US20230266712A1 (en) | Light Detection and Ranging | |
GB2561528A (en) | Holographic Light Detection and ranging | |
GB2560491A (en) | Holographic light detection and ranging | |
CN115113509A (zh) | 图像投影 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |