CN115917270A - 可切换多光谱光学传感器 - Google Patents
可切换多光谱光学传感器 Download PDFInfo
- Publication number
- CN115917270A CN115917270A CN202180042321.6A CN202180042321A CN115917270A CN 115917270 A CN115917270 A CN 115917270A CN 202180042321 A CN202180042321 A CN 202180042321A CN 115917270 A CN115917270 A CN 115917270A
- Authority
- CN
- China
- Prior art keywords
- light
- spectral band
- spectral
- filter
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 202
- 230000003595 spectral effect Effects 0.000 claims abstract description 335
- 230000009977 dual effect Effects 0.000 claims abstract description 47
- 238000012546 transfer Methods 0.000 claims abstract description 18
- 230000007704 transition Effects 0.000 claims abstract description 15
- 230000001419 dependent effect Effects 0.000 claims description 60
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000004973 liquid crystal related substance Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000000576 coating method Methods 0.000 description 16
- 238000005286 illumination Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 239000011248 coating agent Substances 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 239000004986 Cholesteric liquid crystals (ChLC) Substances 0.000 description 4
- 230000003667 anti-reflective effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J3/108—Arrangements of light sources specially adapted for spectrometry or colorimetry for measurement in the infrared range
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Blocking Light For Cameras (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种光学系统,包括多光谱光学元件、可切换滤波器、双带通滤波器和传感器。多光谱光学元件接收至少处于第一光谱带和第二光谱带中的光。双带通滤波器滤除可切换滤波器的过渡区域中在第一光谱带与第二光谱带之间的光的波长。可切换滤波器以第一模式和以第二模式过滤从双带通滤波器接收的第一光谱带中的光,在第一模式中可切换滤波器透射第一光谱带中的光,在第二模式中可切换滤波器不透射第一光谱带中的光。传感器被设置在图像平面处,并且多光谱光学元件被配置为针对光谱带中的每个产生高于光谱带的预定阈值的调制传递函数值。
Description
背景技术
光学系统可以被配置为经由多个光谱带中的光捕获图像。例如,光学系统可以被配置为使用红外光、可见光或红外光和可见光的组合来捕获图像。
发明内容
提供本发明内容是为了以简化的形式介绍一些概念,这些概念将在以下的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在限制所要求保护的主题的范围。此外,所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实现方式。
光学系统包括多光谱光学元件(例如,多光谱光学成像元件)、可切换滤波器、双带通滤波器和传感器。多光谱光学元件被配置为接收至少处于第一光谱带和第二光谱带中的光。双带通滤波器被设置在多光谱光学元件与可切换滤波器之间,并且双带通滤波器被配置为滤除可切换滤波器的过渡区域中处于第一光谱带与第二光谱带之间的光的波长,以及滤除两个频带所跨越的范围之外的光的波长。可切换滤波器被配置为以第一模式和以第二模式选择性地过滤从双带通滤波器接收的处于第一光谱带中的光,使得在第一模式下,可切换滤波器透射处于第一光谱带中的光,而在第二模式下,可切换滤波器不透射处于第一光谱带中的光。传感器被设置在图像平面处,并且被配置为检测经由可切换滤波器透射的光,其中传感器至少对第一光谱带和第二光谱带敏感,并且其中针对图像平面,多光谱光学元件被配置为针对关于给定的空间频率的第一光谱带和第二光谱带中的每个产生高于预定阈值的调制传递函数值。
附图说明
图1A至图1E图示了可切换光学传感器系统。
图2A至图2D图示了针对可切换光学传感器系统的示例性图像捕获模式。
图3A至图3D示出了针对光学元件的示例性离焦调制传递函数曲线。
图4A至图4B示出了波长相关的孔径元件。
具体实施方式
光学系统可以被配置为对处于两个或更多个光谱带中的光进行成像。例如,摄像机可以被配置为在包括红外(IR)光的第一频带和包括可见(VIS)光的第二频带中捕获静止图像和/或视频。捕获多于一个光谱带中的图像可以例如通过使得所捕获的图像能够用于多个不同的域来改进光学系统的能力,从而可以从两个或更多个光谱带的每个中的图像中受益。在一些示例中,在一个或两个频带中成像可以允许收集更多和/或不同的相关数据。例如,对于配备有从靠近摄像机的IR照明器发射的机载IR照明并用于对对象场景进行闪光的摄像机,IR光辐照度可以通过与照明器的对象距离的平方来减少,从而使得能够基于对象的IR照明来估计深度。然而,对于例如从场景中提取颜色相关信息(例如,向用户显示颜色或红-绿-蓝(RGB)图片),VIS图像可能是期望的。因此,被配置为对IR和VIS成像的光学系统可以进一步被配置为利用两个光谱带,例如用于利用场景的彩色图像以及与场景中的对象到摄像机的估计距离有关的注释信息来显示场景。在进一步的示例中,光学系统可以被配置为捕获IR图像以用于计算机处理(例如,机器学习、深度检测、骨骼位置估计、手势检测和/或由IR图像实现的任何其他合适的处理)。附加地,光学系统可以被配置为捕获VIS图像以用于呈现给用户(例如,在照片会议应用、增强现实头戴式设备和/或任何其他合适的应用中的实时摄像机视图)和/或进一步处理(例如,对象检测、面部检测、虹膜扫描)。此外,由于光学系统不限于仅捕获一个频带,并且可以被用于捕获多个光频带(即,IR和VIS)的帧,因此可以减少支持多光谱摄像机功能所需的设备的实体表面面积,因为两个光频带捕获可以由同一摄像机在仅一个摄像机模块所需的空间内执行。
如图1A所示,本公开涉及光学系统100,其被配置为使用单个光路来捕获两个或更多个光谱带中的图像(例如,两个或更多个光谱带中的光在最终被图像传感器102检测之前流过相同的(多个)透镜、(多个)滤波器和/或(多个)孔径)。与针对不同光谱带使用多个不同光路的光学系统相比,光学系统100可以实现各种优点。与具有针对不同光谱带的多个不同光路的设备相比,单个光路可以减少光学设备的组件数目和/或复杂度。例如,光路的所有组件可以被包括在共同壳体101中,从而使得能够在如上所述的仅一个摄像机模块的空间内进行多个光频带捕获。此外,传感器设备可以能够从单个有利点/视角对多个不同光谱带中的场景进行成像。
图1A示出了具有针对多个光谱带的共同光路的光学系统100的一个示例。所描绘的组件是示例性的并且本公开的技术可应用于具有变化的光路组件的其他系统范围。尽管本公开包括关于IR和VIS光谱带描述的示例和技术,但是本公开的技术可以被应用于被配置为捕获任何合适的多个光谱带的光学系统。
光学系统100包括多光谱光学元件110。“多光谱光学元件”在本文中可以被用于指代宽频带、共同聚焦成像透镜或任何其他合适的多光谱光学成像元件。例如,多光谱光学元件110可以被配置为将光聚焦在图像传感器平面处,以针对给定空间频率(例如,测量/计算调制传递函数值的给定空间频率)产生高于第一光谱带和第二光谱带中的每个的预定阈值的调制传递函数。换言之,多光谱光学元件110可以能够在相同的空间频率下为两个频带实现合适的性能(例如,与仅能够在不同的频带特定的空间频率下为两个光谱带实现合适性能的光学系统相比)。在一些示例中,多光谱光学元件110可以针对第一光谱带和第二光谱带中的每个,产生基本上重叠的和/或在期望的图像平面位置处具有基本上共同覆盖的离焦调制传递函数响应。如本文将进一步描述的,多光谱光学元件110可以通过相对于图像平面和/或对象场景移动一个或两个光谱带的焦距,和/或通过实现两个不同光谱带的不同场深度/聚焦深度来实现期望的调制传递函数响应。多光谱光学元件110包括多光谱透镜114,并且可选地还包括波长相关孔径元件112。在图1A中,多光谱透镜114被示出为简单的凸透镜。然而,如图1B所示,多光谱透镜114可以包括不同材料、折射率等的多个组件透镜,其被配置为针对一个或多个不同光谱带实现期望聚焦。多光谱光学元件110被配置为经由波长相关孔径元件112接收和聚焦至少第一光谱带和第二光谱带中的光。尽管波长相关孔径元件112被示出为多光谱光学元件110的组件,但是备选地,波长相关孔径元件112可以与多光谱光学元件110分离。例如,尽管波长相关孔径元件112可以被设置在光学系统100的光路中的任何适当位置处。此外,尽管本公开包括其中波长相关孔径元件112可以被用于实现期望光学性质(例如,实现一个或多个光谱带的期望场深度和/或控制一个或多个光谱带中的光的接受比)的许多示例,但是本领域技术人员将理解,波长相关孔径元件112是可选的。
所接收和聚焦的光穿过可切换滤波器120,可切换滤波器包括第一频带滤波器122和第二频带滤波器124。第一频带滤波器120被配置为控制第一光谱带的透射,并且第二可切换滤波器124被配置为控制第二光谱带的透射。光学系统100可以包括图1A中未描绘的其他元件。例如,光学系统100的元件可以由一个或多个覆盖玻璃元件(例如,覆盖玻璃保护图像传感器102)保护。
此外,尽管光学系统100被描绘为具有单个凸透镜114,但是多光谱光学元件110和/或光学系统100可以包括任何合适的光学元件,例如凸和/或凹折射透镜、非球面元件、塑料透镜元件、玻璃模制元件、菲涅耳透镜等。此外,光学堆叠中的各种元件的折射率的色散特性可以被单独选择,以跨一个或多个光谱带支持基本上共同的聚焦。在一些示例中,如图1B所示,多光谱光学元件114可以包括多个组件透镜(例如,透镜114A、透镜114B、透镜114C、透镜114D、透镜114E和/或透镜114F)。例如,多个组件透镜可以包括具有不同折射率的一种或多种不同材料(例如,塑料、玻璃等),以及一个或多个不同的光学表面轮廓,光学表面轮廓被配置为将IR和VIS光聚焦在相对于图像传感器102基本相同的深度处(例如,针对不同的光谱带实现基本相同的聚焦)。对于具有宽视场的多光谱光学元件114的情况,图像传感器处的最大主射线角(CRA)可以包括比光学堆叠内或透镜前方的其他位置更低的入射角,这可以为放置在图像传感器平面附近的可切换滤波器提供减小的角度约束。此外,可切换滤波器空气到光学介质表面可以被光学地涂覆有宽带抗反射(BBAR)涂层,该涂层为光学堆叠提供了提高的效率。此外,可切换滤波器122和124可以光学地结合在一起,或者进一步共享至少一个共同衬底,以通过减少滤波器之间的一个或多个光学介质界面来减少反射损耗,从而使得实现减少可切换滤波器堆叠的总厚度的附加益处。作为示例,可切换滤波器堆叠中包括的支撑液晶层的典型衬底层可以包括厚度为400微米、200微米或100微米的光学透明玻璃层。作为另外的示例,可切换滤波器堆叠可以包括2个液晶层,每个层被支撑在一对玻璃衬底之间,每个对被结合在一起,从而包括4个玻璃衬底。备选地,可切换滤波器可以包括成对之间的共同衬底,从而包括3个玻璃衬底。此外,堆叠可以包括使用8个玻璃衬底的4个液晶层,或者使用2个共享/共同衬底而减少到6个玻璃衬底,或者使用3个共享/共同衬底而减少到5个玻璃衬底。
如图1A所示,当波长相关孔径元件112被包括时,其被设置在多光谱光学元件114的光瞳处。例如,光瞳可以被设置为与多光谱光学元件114相邻。如图1B所示,包括相对较大和/或宽视场透镜的光学系统的光瞳可以位于组件透镜堆叠的中间,例如,波长相关孔径元件112被设置在透镜114D和透镜114C之间。在诸如移动设备的其他示例中,光瞳可以靠近透镜堆叠的前透镜(例如,邻近透镜114A),或者基于总光学轨道长度约束、形状因子要求等而在任何其他合适的位置中。在任何情况下,当波长相关孔径元件112被包括时,其被配置为允许来自具有不同光阑尺寸的两个不同光谱带的光,从而实现不同的场深度和对应的焦锥尺寸。例如,波长相关孔径可以被配置为允许来自具有相对较大的第一物理孔径尺寸(较小的光阑尺寸)的第一光谱带的光利用较大的焦锥130A实现相对较小的场深度,同时允许来自具有相对较小的第二物理孔径尺寸(较大的光阑尺寸)的第二光谱带的光利用较小的焦锥130B实现相对较大的场深度。尽管本公开关于实现指示物体场景中场深度的特定焦锥尺寸而描述,但是备选地或附加地,本公开的技术可以被应用于配置图像共轭焦锥(例如,接近图像传感器平面的焦深)。图1B中所示的尺寸/空间关系未按比例示出,并且光学组件的任何适当配置可以被用来实现期望的成像结果。作为非限制性示例,图像传感器附近的焦锥可以是20-30度,对应于正在被成像的对象场景中的较小锥角(例如,对象场景中相对于传感器平面附近的共轭图像距离的较大共轭图像距离)。
可切换滤波器120被电切换为选择性地透射第一光谱带和第二光谱带中的零个、一个或两个光谱带的光。如图1A和图1B所示,双带通滤波器118可以被包括在多光谱光学元件110和可切换滤波器120之间。双带通滤波器118被配置为透射第一光谱带内的光和第二光谱带内的光,而不透射来自其他光谱带的光。特别地,双带通滤波器118被配置为滤除可切换滤波器的过渡区域中的光,过渡区域包括两个光谱带之间的波长(例如,具有两个光谱带之间的波长的光)。双带通滤波器118还被配置为滤除波长在两个频带所跨越的范围之外的光。例如,当第一和第二光谱带是IR和VIS光时,双带通滤波器118可以被配置为不透射660-800纳米范围内的光、不透射660-2890纳米范围内的光,或者更一般地阻止任何合适范围内的光透射,以实现第一光谱带和第二频带之间的良好分离。双带通滤波器118通常被配置为去除频带之间与第一频带滤波器122和第二频带滤波器124中的每个相对应的过渡区域中的光波长。相应地,当第一频带滤波器122和/或第二频带滤波器124被切换为阻挡和/或透射两个光谱带内的光时,双带通滤波器118确保来自过渡区域的光和/或来自其他光谱带的光不会不期望地透射通过滤波器。例如,双带通滤波器118可以在可切换滤波器120处于中间状态时(例如,在可切换滤波器120在透射和阻挡一个或两个光谱带内的光之间切换的过渡时间期间)防止光透射通过可切换滤波器110。作为非限制性示例,双带通滤波器118可以被实现为双带通二向色涂层。可选地,双带通滤波器118可以是玻璃面板,其一侧具有双带通特征(例如,双带通二向色涂层),另一侧具有宽带抗反射涂层。通常,双带通滤波器118清理、“收紧”或“锐化”每个频带的带宽,以减少可切换频带过渡区域的串扰,可切换频带过渡区域通常不太尖锐或过渡不太陡峭,或者该区域中的频带之间可能存在串扰,当与可切换滤波器组合使用时,改进了每个频带的“纯度”。
光学系统100的组件是光学系统光路中可能组件的示意图,未按比例示出。此外,图1A中所示的组件的布置是一个示例性布置,并且本文所述的技术通常可以被应用于包括多光谱光学元件110和/或可切换滤波器120的任何光学系统。例如,多光谱光学元件110可以包括与图1A或图1B相比不同的组件,并且当包括波长相关孔径元件112时,其可以被设置在任何合适的光瞳位置处。此外,双带通滤波器118可以位于其他位置(例如,位于可切换滤波器120和图像传感器102之间,或者邻近波长相关孔径112)。光学系统100可以包括图1A中未示出的备选和/或附加组件。例如,光学系统100可以包括一个或多个照明器(例如,摄像机闪光灯),其被配置为提供一个或两个光谱带中的照明。作为示例,当第一光谱带包括IR光时,光学系统100可以包括被配置为利用IR光照射场景的IR照明器。
图像传感器102被配置为接收两个不同光谱带(例如,IR和VIS)中的光。例如,图像传感器102可以针对第一频带的光和第二频带的光而包括一个或多个空间布置的传感器层(例如,IR和RGB传感器),其被配置为检测所接收的光的空间图案。然而,尽管图像传感器102能够以高灵敏度检测两个光谱带中的光,但可能期望单独对光谱带成像。例如,当被两个频带照射时(例如,由于两个频带之间的干扰),一些图像传感器可能具有一个或两个频带的降低的保真度。例如,针对第一频带中的光的传感器可以部分地和/或微弱地检测来自第二频带的一些光(例如,红外传感器可以检测一些红光)。然而,通过使用可切换滤波器120一次选择性地透射光谱带中的一个光谱带,每个频带中的高质量图像可以通过对频带进行单独成像来检测。由于传统RGB图像传感器的红色、绿色和蓝色像素在850nm或940nm处具有与IR相似的响应性,因此具有相似的红外量子效率,所有图像传感器像素可以被用于支持RGB和IR图像的高分辨率,而不会像使用具有不能用于RGB帧捕获的专用IR像素的RGB-IR图像传感器的情况那样牺牲分辨率。
可切换滤波器120可以与图像传感器102协同控制,以例如通过将第一频带滤波器122和第二频带滤波器124中的一个或两个配置为透射或不透射其相应光谱带的光,来将图像传感器102暴露于第一光谱带和第二光谱带中的一个或两个。例如,可切换滤波器120可以被配置为用作电控遮蔽件,其被配置为将图像传感器102短暂地暴露于一个或两个光谱带中的入射光。更一般地,可切换滤波器120可以例如通过与光学系统100相关联的软件和/或硬件控制,由任何合适的控制驱动器控制。在一些示例中,控制驱动器可以被配置为将第一频带滤波器122和第二频带滤波器124中的每个的“导通”和“关断”滤波器状态与摄像机帧触发器同步,例如以快速调制第一光谱带和第二光谱带中的光的透射,从而捕获摄影图像。因此,光谱带中的一个或两个被可以同时和/或快速连续地成像。
可切换滤波器120在本文中可以被描述为每当其透射足够比例的接收到的光子时透射光,使得光学系统100实现关于传感器102的期望量子效率或其他适当指标。例如,可切换滤波器120可以被描述为当其透射光谱带中80%的接收到的光子时透射光谱带中的光。在其他示例中,可切换滤波器120可以被描述为当其透射光谱带中的40%的接收到的光子时透射该光谱带中的光。类似地,可切换滤波器120可以被描述为每当其阻挡至少足够比例的接收到的光子的透射时不透射光,使得当滤波器处于非透射状态时,光学系统100不会虚假地检测来自光谱带的光子。例如,可切换滤波器120可以被描述为当其阻挡该光谱带中至少80%的接收到的光子的透射时,不透射该光谱带中的光。
可切换滤波器120可以基于任何合适的最新技术和/或未来的光学滤波技术。例如,第一频带滤波器122和第二频带滤波器124中的每个可以包括电子切换式液晶滤波器。例如,电子切换式液晶可以是胆甾型液晶。在一些示例中,可切换滤波器用作可切换波长相关镜。例如,当处于透射模式时,胆甾型液晶可以被定制为具有高透射效率的特定波长带。此外,胆甾型液晶可切换滤波器可以被定制为经由镜面反射来拒绝光,从而充当可切换镜。例如,KENTOPTRONICSTM可切换镜可以在透射模式下实现大于80%的光子透射效率。据信,可切换镜滤波器可以以更可控和可预测的方式将光反射离开图像传感器102,从而相对于其他滤波技术增加传感器的信噪比。由于反射是镜面反射而不是随机反射,因此散射引起的对比度损失可以减少,因为反射可以被设计为远离图像传感器。此外,可切换镜型液晶可切换滤波器可以被设计为通过使用添加剂调整波长响应来调整分子间距,从而支持全可见频带或全IR频带。从而简化了在频带之间切换所需的滤波器的光学堆叠。尽管如此,在其他示例中,可切换滤波器可以包括其他液晶技术,其被配置为以波长相关的方式扩散、吸收、偏振和/或反射一些或所有接收的光,以调制光的透射。据信,与其他滤波器(例如,机械滤波器或旋转滤波器)相比,例如由于减少了来自移动机械组件的噪声和/或磨损,电子切换式液晶滤波器可以实现优点。
图1C示出了光学系统100的简化描述。与图1A一样,多光谱光学元件110以包括透镜114和波长相关孔径元件112的简化形式示出。然而,多光谱光元件110可以省略波长相关孔径元件112和/或包括不同的光学组件,例如,如图1B所示的多个透镜。图1C中的元件未按比例示出。更一般地,如图1A-图1B所示的任何合适的光学组件可以以任何合适的布置来设置。
在任何情况下,如图1C所示,可切换滤波器120可以被配置为透射第一光谱带130A(例如,IR光)和第二光谱带130B(例如,VIS光)中的光。对于第一光谱带130A中的光和第二光谱带130B中的光,所示的光路和入射角是通过光学系统100的潜在光路的示意图,未按比例示出。
如图所示,光经由透镜114被接收和聚焦,并且穿过多光谱光学元件110的波长相关孔径112。然后,第一光谱带130A和第二光谱带130B中的光均穿过可切换滤波器120,因为第一频带滤波器122和第二频带滤波器124均被设置为透射相应光谱带中的光。
因此,可切换滤波器120可以被操作为选择性地透射两个光谱带中的一个中的光。在一个示例中,可切换滤波器120被配置为以第一模式和第二模式选择性地过滤所接收的第一光谱带中的光。在第一模式中,可切换滤波器透射第一光谱带中的光,而在第二模式中,可切换滤波器不透射第一光谱带中的光。例如,如图1C所示,可切换滤波器120被配置为透射两个光谱带中的光,即,可切换滤波器被配置为处于第一模式,其中第一频带滤波器122被设置为透射光。在该示例中,在第一模式中,可切换滤波器被设置为也透射第二光谱带中的光。
在一些示例中,可切换滤波器进一步被配置为在第一模式中,在透射第一光谱带中的光时不透射第二光谱带的光,并且在第二模式中,在不透射第一光谱带的光时透射第二光谱带中的光。例如,在图1D中,在第一模式中,可切换滤波器120仍被设置为透射第一光谱带中的光,但第二频带滤波器124被设置为阻挡第二光谱带中的入射光。因此,可切换滤波器120被配置为透射第一光谱带中的光,而不透射第二光谱带中的光。
在另一示例中,在图1E中,可切换滤波器120被配置为第二模式,使得其不透射第一光谱带中的光。特别地,第一频带滤波器122被设置为阻挡第一光谱带中的光。如图所示,第二频带滤波器124被设置为透射第二光谱带中的光。尽管图1E中未示出,但在一些示例中,第一频带滤波器122和第二频带滤波器124均可以被设置为阻挡入射光,使得可切换滤波器120不透射第一光谱带或第二光谱带中的任一个的光。
更一般地,可切换滤波器120可以被设置为与透射或不透射第一光谱带和第二光谱带中的每个有关的任何合适状态,例如,不透射两个光谱带、透射第一光谱带、透射第二光谱带或透射两个光谱带。
在一些示例中,多光谱光学元件、可切换滤波器和传感器器件被操作为对第一光谱带和第二光谱带中的一个中的光选择性地成像,而不对另一光谱带中的光成像。例如,图2A示出了使用第一光谱带捕获的图像的示意图,其中可切换滤波器被设置为透射第一光谱带,并阻挡第二光谱带。例如,第一光谱带可以是IR,并且第二光谱带可以为VIS。基于IR光谱带中对象的距离相关照明(例如,由于与距照明器的径向距离的平方成比例的滚降),对象较近的部分(例如,坐在椅子上的人)相对于较远的部分(如,椅子)显得更亮。此外,注意,允许IR透射的图2A可以在有或没有机载IR照明的情况下被捕获。IR照明器的IR闪光定时可以被同步以便捕获利用IR光照射的场景。备选地,IR照明器可以在捕获期间关断,以提供IR环境帧捕获,其可以用于场景中IR的环境消除,从而改进IR图像质量,减少用于生物识别算法和DNN的图像的各种影响,诸如阴影和侧光问题。
作为另一示例,图2B示出了使用第二光谱带捕获的同一场景的图像的示意图,例如,其中可切换滤波器被设置为阻挡第一光谱带(IR)并透射第二光谱带(VIS)。如图所示,对象的不同部分具有不同的检测颜色和/或强度(例如,由红-绿-蓝(RGB)传感器检测)。
作为另一示例,图2C示出了同时使用两个光谱带捕获的同一场景的图像的示意图,例如,其中可切换滤波器被设置为透射第一光谱带和第二光谱带,使得来自两个光谱带的光穿过滤波器。图像包括来自两个光谱带的照明的细节,例如,IR中的深度相关照明和VIS中的颜色/强度。
在一些示例中,使用两个光谱带捕获的图像可以与仅使用其中一个光谱带捕获的图像一起进行后处理,以从计算上推断出使用另一个光谱带照明产生的图像。例如,可切换滤波器可以被设置为透射两个光谱带来捕获类似于图2C所示的双频带图像,然后被设置为阻挡第一光谱带来捕获类似于图2B所示的VIS图像。然后,可以计算两个图像之间的差来获得如图2D所示的推断的IR图像。当与图2A中的单频带IR图像相比时,推断的IR图像可能不那么准确或保真度不那么高。然而,根据图2C和图2B之间的差来计算单频带IR图像可以允许更简单的光学系统设计。例如,尽管本公开包括可切换滤波器包括两个单独的频带专用滤波器的示例,但是本公开的技术可以类似地应用于包括被配置为透射或不透射第一频带的单个频带专用滤波器的光学系统。作为示例,可切换滤波器120可以仅包括第一频带滤波器122,而省略第二频带滤波器124。因此,在该示例中,可切换滤波器120可以在第一模式中操作,被配置为透射第一光谱带(同时也透射第二光谱带,如图1B所示),并且在第二模式中操作,被配置为不透射第一光谱带(同时透射第二光谱带,如图1D所示)。因此,图2C描绘了在第一模式中获得的图像;图2B描绘了在第二模式中获得的图像;并且图2D描绘了通过图2B和图2C之间的差来计算的推断图像。
尽管具有可切换滤波器的共同光路可以如本文所述被用来捕获多个不同光谱带中的图像,但任何两个不同光谱带通常具有其中图像质量最佳的不同焦距,作为两个不同光谱带中的接收光与光学系统的相互作用的波长相关性质(例如,基于透镜114的材料的波长相关折射率)。例如,如图1A所示,多光谱光学元件包括多光谱透镜114,其被配置为接收和聚焦第一光谱带和第二光谱带中的光。对于光学系统的给定配置/设置,针对第一光谱带可以存在最佳质量的第一焦距,针对第二光谱带可以存在不同的第二焦距。例如,第一焦距可以被限定为具有第一光谱带的MTF曲线的最大值(例如,MTF曲线峰值)的z深度。类似地,第二焦距可以被限定为具有第二光谱带的MTF曲线的最大值的z深度。
例如,用于折射IR和VIS光的透镜材料通常实现IR光与VIS光相比不同的最佳焦距,这是由于透镜光学堆叠中的元件折射率的色散。因此,简要返回图1A,图像传感器102和透镜114之间的距离不一定与针对不同光谱带的不同优选焦距完全相同。基于焦距之间的这种差异,图像传感器102可能无法捕获两个频带的令人满意的图像,除非一个或两个光谱带的场深度足够大。然而,通常,图像场深度的增加通过使用更小的孔径或更高的F数来实现,这减少了照射传感器的光量,可能限制图像的空间频率响应(SFR)或分辨率,或者可能是不期望的。例如,通常增加场深度可能不适合某些成像应用(例如,捕获聚焦在特定前景对象上的照片)。此外,通常通过停止减小透镜孔径来增加场深度可能会限制成像透镜设计的分辨率能力或SFR。
因此,本公开的多光谱光学元件110被配置为针对第一光谱带和第二光谱带中的每个实现不同的场深度。通过以波长相关的方式选择性地增加两个光谱带中的一个的F数和所得场深度,多光谱光学元件110可以被配置为在相同焦距的两个光谱中实现令人满意的成像。此外,由于F数还影响照射传感器的光量,因此本公开的多光谱光学元件110还可以被配置为与第二光谱带中的光相比,实现来自第一光谱带的光的期望接受比。在一些示例中,针对不同光谱带的不同F数可以借助适当配置的波长相关孔径元件来实现。因此,波长相关孔径元件可以被用于针对来自两个光谱带的光实现期望场深度和/或接受比。
图3A示出了针对示例性光学系统(例如,包括摄像机透镜和其他光学组件)的示例性离焦调制传递函数(MTF)曲线图。图表的x轴指示不同焦距相对于图像传感器平面的Z深度(例如,在y=0处与图表的y轴相交表示Z深度为0,即,精确聚焦在图像平面处)。图表的y轴指示离焦MTF值,它是对比度调制的归一化值在0和1之间的百分比。例如,对于表示给定空间频率响应(SFR)的离焦MTF曲线,较高MTF值(例如,接近1)指示针对该给定SFR的较高对比度调制,因此由该离焦MTF曲线表示针对给定空间频率,聚焦的光在对应的z深度处的光学分辨率和/或锐度。
调制传递函数曲线图示出了两条曲线,指示在距参考点的不同焦距(即,透镜和相关光学器件与图像传感器平面之间的距离)处,针对不同光谱带的聚焦质量和/或相关质量特性。图3A至图3D的图未按比例示出,而是图示了基于针对给定光学系统的离焦MTF曲线,针对该系统可以观察到的整体关系。曲线上的较高点指示通过该离焦MTF曲线等表示的空间频率的较高聚焦质量。如果光学系统的传感器被放置在对应MTF曲线上的最大点处或附近,则光学系统可以在光谱带方面实现相对较高的性能(例如,关于实现良好的调制对比度,从而实现聚焦、光学分辨率和/或锐度)。调制传递函数测量光学系统对不同频率的正弦波照明梯度的幅度响应,从而测量光学系统在空间频域中的灵敏度。本公开的技术可以使用MTF曲线和/或焦距的任何其他光学函数来应用,而与精确的单位和图形表示无关。此处所示的离焦MTF曲线是与这样的MTF对空间频率图正交的切片,其中切片或离焦MTF轮廓由给定空间频率处的切片表示。在不同空间频率处获取的轮廓可以表示针对每个不同给定空间频率的离焦MTF曲线。
离焦MTF调制曲线图具有z轴,z轴示出了与图像传感器平面302A的距离,图像传感器平面被设置在针对第一光谱带的最佳焦距处(如第一光谱带的MTF曲线304A的中心点所示),最佳焦距具有针对第一光谱带的最大MTF值306。Y轴示出了光学系统沿着靠近图像传感器平面的各种后焦距z距离的调制性能,例如,Y轴上的较高点表示光学系统的改进的分辨率。调制性能可以指代光学系统对检测不同光谱频率、不同空间分布和/或分辨率等的光的响应性和/或灵敏度的任何适当测量。
图3A表示图像传感器被放置在图像传感器平面302A处的配置,图像传感器平面是针对第一光谱带(例如,IR频带)的最佳焦距。可能期望在光学系统中具有各种等级的MTF性能,例如,针对一个或两个频带大于30%的MTF(即,归一化最大MTF值的至少30%),或者针对一个或者两个频带大于50%的MTF。由于针对固定焦点系统,焦点可能由于对象在场景中的工作距离而在z方向上偏移,因此MTF曲线304A的焦点可以被放置在图像传感器平面302A处,以支持摄像机系统的工作范围要求。在一些示例中,如果一个或两个MTF曲线不能满足这样的最小MTF要求,则光学系统可以仅在窄的工作范围内聚焦。此外,对于给定的空间频率,如果聚焦峰值响应之间的z偏移相距太远,使得离焦曲线的宽度实质上小于峰值响应之间的z距离,则一个MTF曲线可能不支持离焦MTF曲线表示的给定空间频率处的可接受调制,并且可以仅具有针对较低空间频率离焦MTF响应曲线的重叠。
图表还包括针对第二光谱带(例如,VIS频带)的第二MTF曲线308A。然而,基于针对第二光谱带的不同最佳焦距,针对第二光谱带的MTF曲线308A相对于第一光谱带偏移。其最高中心值不位于图像传感器平面302A处。相反,图像传感器平面302A处针对第二光谱带的MTF值(即,值310A)指示图像传感器平面处针对第二频带的灵敏度显著低于其最佳值(即,如果图像传感器平面移动到其MTF曲线中心处的第二光谱带的焦点,则针对第二频带将出现的值)。通过将图像传感器平面移动到不同位置,针对该平面位置的MTF曲线值发生变化,从而针对由MTF曲线与Y轴图像平面位置的相交所指示的两个光谱带,在离焦MTF曲线表示的空间频率下获得不同的对比度调制。然而,对第二光谱带的MTF值310A的任何改进(例如,改进聚焦)将需要将图像平面偏移,以降低第一光谱带的MTF值306A。
离焦MTF曲线的z宽度或图像传感器平面附近的聚焦深度受到关于光谱带的光学系统的对象场景中场深度的宽度的影响。如图3A所示,两个光谱带具有相似的宽度MTF曲线。例如,光学系统对于每个光谱带可以具有相似的焦深(例如,F数为1.4)。
例如,图3A可以表示光学系统对包括IR光的第一光谱带和包括VIS光的第二光谱带的灵敏度的MTF响应曲线。因此,如图所示,光学系统对IR光最敏感。然而,光学系统可能对VIS光具有受损的频率灵敏度(例如,导致至少一个频带的聚焦/模糊差)。
在一些示例中,多光谱光学元件可以被适当地配置以便移动针对一个或两个光谱带的MTF曲线的中心位置,从而如图3B所示,将光谱带的峰值移动得更靠近。例如,图1B的多光谱光学元件110可以通过使用被配置为实现两个频带的相似焦距的适当组件透镜来实现两个不同光谱带的相似焦距。因此,如图3B所示,与图3A相比,第二光谱带的MTF值310B相对增加。
在其他示例中,仅基于针对一个或两个光谱带的焦距偏移,多光谱光学元件可能无法实现针对两个频带的适当聚焦。然而,即使不可能将针对第二光谱带的MTF曲线的中心位置移动到足够接近针对第一光谱带的MTF曲线的中心位置,也可以将多光谱光学元件配置为调整一个或两个MTF曲线的宽度。针对光谱带的MTF曲线的宽度与对象场景中的场深度或者针对该光谱带的传感器处的聚焦深度相关,较高的聚焦深度(例如,较高的F数或较小的孔径)导致较宽的MTF曲线。
通过增加一个或两个MTF曲线的宽度,可以找到图像传感器平面的位置,该位置在两个光谱带方面都达到令人满意的性能,例如MTF曲线值超过预先限定的质量阈值。如图3C所示,尽管MTF曲线308C的中心位置不那么靠近MTF曲线304的中心,但是通过针对第二光谱带增加场深度、通过针对第二光谱带使用较小孔径(例如,较大的F数,例如1.8),针对第二光谱带的MTF曲线318C可以被加宽(相对于图3A)。较小的孔径和加宽的场深度导致针对第二光谱带的更宽的离焦MTF曲线308C,从而导致图像传感器平面302C处针对第二光谱带的MTF响应值310C增加(即,超过预先限定的质量阈值),即使针对第一频带和第二频带的最佳焦距(例如,如MTF曲线的中心所示)没有改变。然而,增加F数可能会降低光学系统的空间频率响应,例如,将孔径减小2倍可能会降低50%的光学系统空间频率响应(SFR),因此存在折衷。因此,如图3B所示,在可能的情况下,多光谱光学元件理想地被配置为针对两个光谱带实现相似焦距,而不需要针对任何光谱带的场深度的实质性加宽。
然而,通过加宽针对第二光谱带的MTF曲线308C,光学系统可以在两个MTF曲线的峰值之间的任何偏移位置(例如,超过阈值)处为两个光谱带提供改进的/足够的性能。因此,调整第二光谱带的场深度并由此加宽MTF曲线308C可以允许图像传感器平面302C移动到各种不同的位置,同时仍然实现两个光谱带的良好成像质量。由于离焦MTF曲线308C的宽度增加,图像传感器平面302可以被放置在针对第一光谱带的MTF曲线404C和针对第二光谱带的MTF曲线308C实现足够高的值的位置处。例如,如图3B所示,图像传感器平面302C可以位于第一光谱带的MTF曲线304C的峰值处,或者向左偏移来更接近第二光谱带的MTF曲线308C的峰值。在一些示例中,多光谱光学元件被配置为将所接收的光成像到传感器上(例如,以聚焦的方式将光投影到传感器上),其中聚焦或另一设置被选择为使得传感器被设置在最佳MTF频带位置中的一个位置处,即,在(1)第一光谱带的第一焦距处,或(2)第二光谱带的第二焦距处。例如。如图3A至图3C所示,传感器被设置在第一光谱带的第一焦距处(即,针对该频带的最佳性能位置)。换言之,相对于透镜,图像传感器被设置在第一光谱带的理想焦距处。在图3A至图3B中,多光谱光学元件对于两个光谱带具有相似的聚焦深度(例如,对应于1.4的F数)。在图3C中,多光谱光学元件针对第一光谱带中的光具有第一聚焦深度,并且多光谱光学元件针对第二光谱带中的光具有较大的第二聚焦深度。这种不同的聚焦深度可以通过使用波长相关孔径在频带之间使用不同的孔径尺寸来控制,然而,在一些示例中,加宽的响应可能在空间频率响应中受到影响。在其他示例中,图像传感器可以被设置在第二光谱带的理想焦距处,或者被设置在第一光谱带的最佳焦距和第二光谱带的最佳焦距之间。
图3A至图3B示出了在第一光谱带的MTF曲线中心处设置的图像传感器平面。然而,在一些示例中,图像传感器平面可以被设置在两个MTF曲线的中心之间,如图3D所示,从而实现两个光谱带的适当聚焦。图3D图示了例如通过使用多光谱光学元件(例如,多光谱成像透镜)将峰值响应“移动”到基本上重叠,从而在频带之间具有基本上重叠或共同的离焦峰值。如图3D所示,对于相同SF离焦MTF轮廓,两个频带的响应可以基本上重叠,因此光学系统可以针对两个频带保持足够的光学分辨率成像能力。
如图3A至图3D所示,光学系统可以被设计为在每个光谱带中实现足够的频率响应(例如,通过适配与图3A中的描述类似的系统,以将如图3B和图3D所示是光谱带的焦距之一偏移或如图3C所示加宽光谱带之一的场深度)。由于多个光谱带具有不同的最佳焦距,因此针对每个光谱带实现足够的频率响应可能需要折衷,例如,增加一个或两个光谱带的场深度。尽管以上示例关于MTF曲线以及IR和VIS光谱带来描述,但是本文描述的技术可以被应用于实现任何频带选择(例如,y UV、可见光、红外)的适当频率响应,和/或使用频率响应的任何适当测量(例如,光学传递函数曲线而不是调制传递函数曲线)。
在一些示例中,图像传感器平面302实现了两个光谱带的良好灵敏度。例如,如图3B所示,当第二光谱带的MTF曲线308B被偏移得更靠近第一光谱带的MT曲线304B时,两个MTF曲线的值在图像传感器平面302B处可能足够高(例如,>30%MTF)。类似地,如图3C所示,当第二光谱带的MTF曲线308C被加宽为与第一光谱带的MTF曲线304C具有基本重叠时,两个MTF曲线的值可以足够高(例如,>50%MTF),但是经加宽的响应频带可以在空间频率响应中受到影响,因为经加宽的离焦MTF曲线表示降低的SF。尽管图3A至图3D示出了其中一个频带的MTF曲线被偏移或加宽的示例,但更一般地,两个光谱带的MTF线可以被偏移和/或加宽来实现两个光谱带的期望聚焦。因此,图像传感器平面可以被放置在任何合适的位置处,该位置对于两个MTF曲线都具有至少预先限定的阈值,例如>30%MTF或>50%MTF。
在一些示例中,加宽一个MTF曲线可以将传感器平面放置在针对两个MTF曲线实现足够值的位置处。例如,如图3C所示,第二光谱带的MTF曲线308C的加宽可以导致图像传感器平面的适当位置(例如,每个频带的相应最佳点之间的任何位置)。在一些示例中,加宽一个光谱带的MTF曲线可能导致该光谱带在另一光谱带的最佳焦距处具有足够的MTF值。例如,如图3C所示,当置于第一光谱带的光学焦距处时,图像传感器平面302C可以捕获两个光谱带的可接受质量的图像,同时仅牺牲一个频带的光学分辨率或空间频率响应(例如,在第一光谱带的MTF曲线304的峰值处)。
在其他示例中,图像传感器平面可以偏离第一光谱带的最佳焦距(例如,相对于X轴偏移),而不会一直偏移到第二光谱带的最佳距离。例如,图像传感器平面可以被设置在距第一光谱带的第一焦距小于10微米的距离处(例如,在X轴上稍微向左偏移),同时实现第二光谱带的良好性能。在一些示例中,图像传感器平面从第一焦距向第二焦距偏移小于5微米。
图像传感器平面可以从第一最佳焦距向第二最佳焦距偏移任何合适的距离,以实现两个光谱带的足够成像质量。在一些示例中,距离小于第一光谱带的离焦调制传递函数曲线宽度的20%(例如,小于曲线的第一峰值宽度的20%)。在一些示例中,距离小于第一光谱带的离焦调制传递函数宽度的10%。换言之,加宽第二光谱带的MTF曲线可以实现图像传感器对第二光谱带的可接受成像,其中对第二频带的空间频率响应有一定影响,对第一光谱带的成像质量有最小影响或没有影响。
为了实现如图3C所示的第一光谱带和第二光谱带的不同F数,多光谱光学元件可以可选地包括波长相关孔径元件(例如,如图1A所示的波长相关孔径元件112)。因此,图4A至图4B描绘了示例性的波长相关孔径元件。多光谱光学元件110被配置为经由波长相关孔径元件接收并聚焦光。
波长相关孔径元件可以包括如图4A所示的经图案化的二向色滤波器400和/或如图4B所示的滤波器堆叠400’。波长相关孔径元件通常包括被配置为透射第一光谱带和第二光谱带中的一个的外部区域,以及被配置为透射第一光谱带与第二光谱带两者的内部区域。例如,较大的外环可以被配置为仅在中心区域透射VIS和IR光的情况下进行IR透射。内部区域可以是中心圆形区域,并且外部区域可以是围绕中心圆形区域的同心环形区域。通过在相对中心的较小区域内透射两个频带,并且在中心和周围的环形区域内一起仅透射第一频带,波长相关孔径元件获得相对于第一频带的第二频带的较小孔径。因此,波长相关孔径元件对于第二频带获得更高的场深度,如上文关于图3B所述,适合于加宽第二频带的离焦MTF曲线。
图4A示出了经图案化的二向色滤波器400,其包括具有二向色表面涂层的透明介质(例如,玻璃或塑料),二向色表面涂层被配置为控制两个光谱带中的光的透射率。作为示例,经图案化的二向色滤波器400可以包括内部双带通区402,其被配置为透射第一光谱带和第二光谱带两者。内部双带通区402可以被配置有任何合适的二向色涂层,二向色涂层被配置为透射两个光谱带(例如,具有被配置为反射不在这些光谱带内的光的二向色涂层)。经图案化的二向色滤波器400还包括环形的仅第一频带带通区404,其中二向色涂层被配置为仅透射第一光谱带。经图案化的二向色滤波器400还包括最大光阑406,其被配置为阻挡所有入射光,例如用作第一频带的孔径。因此,经图案化的二向色滤波器获得了第二频带(例如,双带通区412)相对于第一频带的孔径(例如,仅第一频带带通区404以及双带通区402)的较小孔径。可选地,在一些示例中,经图案化的二向色滤波器400的背面可以具有宽带抗反射涂层。在其他示例中,经图案化的二向色滤波器400的背面可以是透明的/未涂覆的。在一个示例中,双带通区402的直径为4毫米,而仅第一频带带通区414的外径为6毫米。二向色涂层工艺可以实现不同滤波器涂层之间的小过渡宽度,例如,双带通区402和仅第一频带带通区404的不同表面涂层区域之间小于100微米、小于10微米或小于5微米。中心和环形区域可以精确地居中例如在+/-100微米内、+/-10微米内或+/-5微米内。
当波长相关孔径被包括时,如果波长相关孔径包括如上所述的双带通区,则波长相关孔径的这种双带通区可以被用于过滤所接收的可切换滤波器的过渡区域中处于两个光谱带之间的光。例如,可以使用具有双带通区的波长相关孔径来代替或附加于单独的双带通滤波器。
当波长相关孔径和/或波长相关滤波器被包括时,其可以被用于控制系统在频带之间的相对照明效率和/或根据需要调整DOF,诸如通过增加F数(即,F/1.8)来增加RGB图像DOF,同时保持IR照明的高效率(即F/1.4),使得即使在相对大的z深度下,也将照射场景所需的IR光功率最小化。例如,对于IR孔径,可以使其更大(例如,为了实现更好的分辨率、更高的效率、改进的SNR和/或照明器(例如,光学系统100的照明器和/或单独的光源)所需的更少IR光功率),从而减少IR照明的热影响和/或安全影响。在同一光学系统中,RGB图像可以在保持合理分辨率的同时提高场深度DOF。例如,可见光可以透射通过有效F数为1.8的波长相关孔径,而IR光可以在有效F数为1.4的情况下透射。图4A示出了环形图案的二向色涂层的一个特定布置。其他二向色表面图案可以被用于实现根据本公开的波长相关孔径元件。例如,经图案化的二向色滤波器可以在整个侧面上包括双带通涂层,其中背面具有包括仅第一频带带通涂层的外环形区域。
作为经图案化的二向色滤波器400的一个非限制性备选方案,图4B示出了波长相关孔径元件,波长相关孔径元件包括滤波器的滤波器堆叠400’,滤波器包括形成第一较大孔径的不透明最大光阑406’、双带通滤波器412和第一频带滤波器410。滤波器被旋转示出(相对于它们在堆叠中的位置)以示出滤波器如何在光路中形成孔径。第一频带滤波器410包括被配置为透射第一光谱带的仅第一频带带通区404’以及在仅第一频带带通区404’内的第二较小孔径。较小孔径由透明或宽频带抗反射区域408’形成,抗反射区域408’被配置为透射第一光谱带和第二光谱带两者。不透明最大光阑406’可以是任何合适的材料,例如金属垫圈。
滤波器堆叠的组件实现与图4A的经图案化的二向色滤波器400相同的波长相关孔径和滤波。特别地,仅第一频带带通区404’和透明或抗反射区408’与最大光阑406’一起用作第一滤波器区域,其仅允许来自第一光谱带的光,而双带通滤波器412与透明或抗反射区域408’一起用作允许来自两个光谱带的光的较小的第二滤波器区域。
在一些情况下,与经图案化的二向色滤波器400相比,滤波器堆叠400’的单独组件可能更容易制造。滤波器堆叠400’的组件可以被放置在光路的外部聚焦透镜和传感器之间的光路中的任何位置。此外,滤波器堆叠400’的组件可以以任何顺序布置,并且可选地由任何其他光学组件(例如,透镜、滤波器和/或(多个)可切换滤波器)分离。
在一些示例中,如上所述,具有多光谱光学元件和可切换滤波器的光学系统可以被配置为利用IR和VIS光谱带操作。因此,对于VIS光谱带使用更大的场深度可能是有利的(例如,如关于图3C所描述的)。例如,对IR使用较小的场深度可以提高对所接收的IR光的检测效率,保持IR图像的空间频率响应,同时减少高质量低噪声成像所需的IR照明量,并且从而减少照明所需的发光器件的数量、照明所消耗的电能和/或由IR照明产生的热。此外,本文描述的示例和技术可以被应用于任何两个光谱带,与上述描述相关的“第一光谱带”和“第二光谱带”的任何选择(例如,第一光谱带可以是UV、IR、VIS或任何其他合适的光谱带;类似地,第二光谱带可以是UV、IR和VIS的任何其他选择或任何其他合适的光谱带)。
在一个示例中,光学系统包括:多光谱光学元件,其被配置为至少接收第一光谱带和第二光谱带中的光;可切换滤波器;以及被设置在多光谱光学元件与可切换滤波器之间的双带通滤波器,其中双带通滤波器被配置为滤除可切换滤波器的过渡区域中处于第一光谱带与第二光谱带之间的光的波长,以及滤除跨越第一光谱带和第二光谱带的光谱区域之外的光的波长。在这个或任何其他示例中,可切换滤波器被配置为在第一模式中以及第二模式中选择性地过滤从双带通滤波器接收的第一光谱带中的光,使得在第一模式中可切换滤波器透射第一光谱带中的光,以及在第二模式中可切换滤波器不透射第一光谱带中的光。在该示例或任何其他示例中,光学系统还包括传感器,传感器被设置在图像平面处并且被配置为检测经由可切换滤波器透射的光,其中传感器至少对第一光谱带和第二光谱带敏感,并且其中针对图像平面,多光谱光学元件被配置为针对第一光谱带和第二光谱带中的每个,产生高于预定阈值的调制传递函数值。在该示例或任何其他示例中,预定阈值是经归一化的最大值的30%。在该示例或任何其他示例中,预定阈值是经归一化的最大值的50%。在该示例或任何其他示例中,多光谱光学元件包括多光谱透镜,多光谱透镜具有针对第一光谱带的第一焦距和针对第二光谱带的不同的第二焦距。在该示例或任何其他示例中,多光谱光学元件被配置为将所接收的光成像到图像平面上,图像平面被设置在第一焦距与第二焦距之间。在该示例或任何其他示例中,多光谱光学元件被配置为将所接收的光成像到图像平面上,图像平面被设置在第一焦距与第二焦距之间。在该示例或任何其他示例中,多光谱光学元件被配置为将所接收的光成像到图像平面上,图像平面被设置为距第一焦距和第二焦距中的一个或两者小于10微米。在该示例或任何其他示例中,距离小于5微米。在该示例或任何其他示例中,可切换滤波器还被配置为在第一模式中,透射第一光谱带中的光而不透射第二光谱带中的光,并且在第二模式中,透射第二光谱带中的光而不透射第一光谱带中的光。在该示例或任何其他示例中,多光谱光学元件、可切换滤波器和传感器被操作以对第一光谱带和第二光谱带中的一个中的光进行选择性地成像,而不对另一光谱带中的光进行成像。在该示例或任何其他示例中,第一光谱带包括红外光,并且第二光谱带包括可见光。在该示例或任何其他示例中,可切换滤波器是电子切换式液晶滤波器。在该示例或任何其他示例中,可切换滤波器包括可切换波长相关镜。在该示例或任何其他示例中,光学系统还包括被设置在传感器和多光谱光学元件的透镜之间的波长相关孔径元件。在该示例或任何其他示例中,波长相关孔径元件包括被配置为透射第一光谱带和第二光谱带中的一个的外部区域,以及被配置为透射第一光谱带与第二光谱带两者的内部区域。在该示例或任何其他示例中,外部区域包括第一二向色涂层,其被配置为透射第一光谱带和第二光谱带中的一个,以及不同的第二二向色涂料,其被配置为透射第一光谱带和第二光谱带两者。
在一个示例中,光学系统包括:多光谱光学元件,其被配置为至少接收第一光谱带和第二光谱带中的光;可切换波长相关镜;以及多光谱光学元件和可切换波长相关镜之间设置的双带通滤波器,其中双带通滤波器被配置为滤除处于第一光谱带和第二光谱带之间的可切换波长相关镜的过渡区域中的光的波长。在该示例或任何其他示例中,可切换波长相关镜被配置为在第一模式中和第二模式中选择性地过滤从双带通滤波器接收的光,使得在第一模式中,可切换波长相关镜透射第一光谱带中的光的同时反射第二光谱带中的光,并且在第二模式中,可切换波长相关镜反射第一光谱带中的光的同时透射第二光谱带中的光。在该示例或任何其他示例中,光学系统还包括:传感器,其被设置在图像平面处并且被配置为检测经由可切换波长相关镜透射的光,其中传感器至少对第一光谱带和第二光谱带敏感,并且其中针对图像平面,多光谱光学元件被配置为针对第一光谱带和第二光谱带中的每个,产生高于预定阈值的调制传递函数值。在该示例或任何其他示例中,可切换波长相关镜包括胆甾型液晶。
在一个示例中,光学系统包括:多光谱光学元件,其被配置为接收红外光谱带和可见光谱带中的光;可切换滤波器;以及被设置在多光谱光学元件和可切换滤波器之间的双带通滤波器,其中双带通滤波器被配置为滤除在红外光谱带和可见光谱带之间的可转换滤波器的过渡区域中的光的波长。在该示例或任何其他示例中,可切换滤波器被配置为在第一模式中和第二模式中选择性地过滤从双带通滤波器接收的光,使得在第一模式中,可切换滤波器透射红外光的同时不透射可见光,并且在第二模式中,可切换滤波器透射可见光的同时不透射红外光。在该示例或任何其他示例中,光学系统还包括传感器,传感器被设置在图像平面处并且被配置为检测经由可切换滤波器透射的光,其中传感器至少对红外光和可见光敏感,并且其中针对图像平面,多光谱光学元件被配置为针对红外光和可见光中的每个,产生高于预定阈值的调制传递函数值。在该示例或任何其他示例中,光学系统还包括波长相关孔径元件,其被配置为透射具有第一场深度的红外光,并且透射具有不同的第二场深度的可见光。
应当理解,本文所述的配置和/或方法本质上是示例性的,并且这些特定实施例或示例不应被视为限制性的,因为可以存在多种变化。本文描述的特定例程或方法可以表示任何数量的处理策略中的一个或多个。因此,所示和/或所述的各种动作可以以所示的和/或描述的顺序、以其他顺序、并行或省略来执行。同样,上述过程的顺序可以改变。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合,以及本文所公开的其他特征、功能、行为和/或性质以及其任何和所有等同物。
Claims (15)
1.一种光学系统,包括:
多光谱光学元件,所述多光谱光学元件被配置为接收至少第一光谱带和第二光谱带中的光;
可切换滤波器;
双带通滤波器,所述双带通滤波器被设置在所述多光谱光学元件和所述可切换滤波器之间,其中所述双带通滤波器被配置为滤除在所述第一光谱带和所述第二光谱带之间的、所述可切换滤波器的过渡区域中的光的波长,并且滤除跨越所述第一光谱带和所述第二光谱带两者的光谱区域之外的光的波长;
其中所述可切换滤波器被配置为在第一模式中和在第二模式中选择性地过滤从所述双带通滤波器接收的所述第一光谱带中的光,使得在所述第一模式中所述可切换滤波器透射所述第一光谱带中的光,以及在所述第二模式中所述可切换滤波器不透射所述第一光谱带中的光;以及
传感器,所述传感器被设置在图像平面处并且被配置为检测经由所述可切换滤波器透射的光,其中所述传感器对至少所述第一光谱带和所述第二光谱带敏感,并且其中针对所述图像平面,所述多光谱光学元件被配置为针对所述第一光谱带和所述第二光谱带中的每一个产生高于预定阈值的调制传递函数值。
2.根据权利要求1所述的光学系统,其中所述预定阈值是经归一化的最大值的30%。
3.根据权利要求1所述的光学系统,其中所述预定阈值是经归一化的最大值的50%。
4.根据权利要求1所述的光学系统,其中所述多光谱光学元件包括多光谱透镜,所述多光谱透镜具有针对所述第一光谱带的第一焦距和针对所述第二光谱带的不同的第二焦距。
5.根据权利要求4所述的光学系统,其中所述多光谱光学元件被配置为将所接收的所述光成像到所述图像平面上,所述图像平面被设置在所述第一焦距和所述第二焦距中的一个处。
6.根据权利要求4所述的光学系统,其中所述多光谱光学元件被配置为将所接收的所述光成像到所述图像平面上,所述图像平面被设置在所述第一焦距与所述第二焦距之间。
7.根据权利要求4所述的光学系统,其中所述多光谱光学元件被配置为将所接收的所述光成像到所述图像平面上,所述图像平面被设置为距所述第一焦距和所述第二焦距中的一个或两者小于10微米。
8.根据权利要求7所述的光学系统,其中所述距离小于5微米。
9.根据权利要求1所述的光学系统,其中所述可切换滤波器还被配置为在所述第一模式中,在透射所述第一光谱带中的光的同时不透射所述第二光谱带中的光,以及在所述第二模式中,在不透射所述第一光谱带中的光的同时透射所述第二光谱带中的光。
10.根据权利要求9所述的光学系统,其中所述多光谱光学元件、所述可切换滤波器和所述传感器被操作以选择性地对所述第一光谱带和所述第二光谱带中的一个中的光进行成像,而不对另一光谱带中的光进行成像。
11.根据权利要求1所述的光学系统,其中所述第一光谱带包括红外光,并且所述第二光谱带包括可见光。
12.根据权利要求1所述的光学系统,其中所述可切换滤波器是电子切换式液晶滤波器。
13.根据权利要求1所述的光学系统,其中所述可切换滤波器包括可切换波长相关镜。
14.根据权利要求1所述的光学系统,还包括被设置在所述传感器和所述多光谱光学元件的透镜之间的波长相关孔径元件。
15.根据权利要求14所述的光学系统,其中所述波长相关孔径元件包括被配置为透射所述第一光谱带和所述第二光谱带中的一个的外部区域,以及被配置为透射所述第一光谱带和所述第二光谱带两者的内部区域。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/908,384 US11092491B1 (en) | 2020-06-22 | 2020-06-22 | Switchable multi-spectrum optical sensor |
US16/908,384 | 2020-06-22 | ||
PCT/US2021/032657 WO2021262343A1 (en) | 2020-06-22 | 2021-05-17 | SWITCHABLE MULTl-SPECTRUM OPTICAL SENSOR |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115917270A true CN115917270A (zh) | 2023-04-04 |
Family
ID=76284241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180042321.6A Pending CN115917270A (zh) | 2020-06-22 | 2021-05-17 | 可切换多光谱光学传感器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11092491B1 (zh) |
EP (1) | EP4168761A1 (zh) |
CN (1) | CN115917270A (zh) |
WO (1) | WO2021262343A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220157872A1 (en) * | 2020-11-16 | 2022-05-19 | Gentex Corporation | Single sensor, single path multiview or multi-band sensing |
US20220244104A1 (en) * | 2021-01-29 | 2022-08-04 | Spectricity | Spectral sensor module |
US20240056655A1 (en) * | 2022-08-11 | 2024-02-15 | Ultraleap Limited | Visible Background Rejection Techniques for Shared-Camera Hardware |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208393B1 (en) | 1998-09-30 | 2001-03-27 | Intel Corporation | Liquid crystal color filter with integrated infrared blocking |
US20050157190A1 (en) * | 2004-01-16 | 2005-07-21 | Litton Systems, Inc. | Combining multiple spectral bands to generate an image |
US7375803B1 (en) | 2006-05-18 | 2008-05-20 | Canesta, Inc. | RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging |
US20150245767A1 (en) | 2014-02-28 | 2015-09-03 | Lrs Identity, Inc. | Dual iris and color camera in a mobile computing device |
EP3120122B1 (en) * | 2014-03-21 | 2019-11-13 | HyperMed Imaging, Inc. | Compact light sensor |
EP3001867B1 (en) * | 2014-08-08 | 2017-06-21 | FotoNation Limited | Smartphone configured to perform biometric recognition of an iris pattern and corresponding facial features of a subject |
KR102261857B1 (ko) | 2014-11-27 | 2021-06-07 | 삼성전자주식회사 | 이미지 센서 및 이를 적용한 이미지 획득 장치 및 방법 |
US20160295133A1 (en) | 2015-04-06 | 2016-10-06 | Heptagon Micro Optics Pte. Ltd. | Cameras having a rgb-ir channel |
US20170140221A1 (en) | 2015-11-13 | 2017-05-18 | Intel Corporation | Dual function camera for infrared and visible light with electrically-controlled filters |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
-
2020
- 2020-06-22 US US16/908,384 patent/US11092491B1/en active Active
-
2021
- 2021-05-17 WO PCT/US2021/032657 patent/WO2021262343A1/en unknown
- 2021-05-17 CN CN202180042321.6A patent/CN115917270A/zh active Pending
- 2021-05-17 EP EP21730429.4A patent/EP4168761A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11092491B1 (en) | 2021-08-17 |
WO2021262343A1 (en) | 2021-12-30 |
EP4168761A1 (en) | 2023-04-26 |
WO2021262343A8 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115917270A (zh) | 可切换多光谱光学传感器 | |
JP6260006B2 (ja) | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 | |
CN108700472B (zh) | 使用相对的滤光器掩模进行相位检测自动聚焦 | |
US8326142B2 (en) | Optical image systems | |
CN109700469B (zh) | 一种基于rgb-ir成像的虹膜防伪造物活体检测方法 | |
US10579871B2 (en) | Biometric composite imaging system and method reusable with visible light | |
EP3133646A2 (en) | Sensor assembly with selective infrared filter array | |
CN108293097B (zh) | 虹膜成像 | |
WO2017082980A1 (en) | Dual function camera for infrared and visible light with electrically-controlled filters | |
US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
KR20170031775A (ko) | 이미지 획득 장치용 광학계 | |
JP7080328B2 (ja) | 低光および高光レベル撮像用の単一光学部品 | |
CN206370880U (zh) | 一种双摄像头成像系统和移动终端 | |
US10893181B2 (en) | System and apparatus for color imaging device | |
US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
JP2006351011A (ja) | 再帰反射器を位置付けるためのカラー撮像システム | |
CN110312957A (zh) | 焦点检测设备、焦点检测方法和焦点检测程序 | |
JP4528980B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US20160299406A1 (en) | Imaging apparatus and method of controlling the same | |
US20190121005A1 (en) | Imaging device and filter | |
JP6222949B2 (ja) | 撮像素子および撮像装置 | |
JP2004109863A (ja) | 焦点検出装置、それを有する撮像装置、及び撮影レンズ | |
CN115086514B (zh) | 视频相机中的用于评估环境光的装置 | |
Drysdale | Plasmonic angle sensitive pixel for digital imagers | |
JP7173727B2 (ja) | 画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |