CN117693668A - 具有光学模糊的分段式多光谱传感器 - Google Patents

具有光学模糊的分段式多光谱传感器 Download PDF

Info

Publication number
CN117693668A
CN117693668A CN202280051912.4A CN202280051912A CN117693668A CN 117693668 A CN117693668 A CN 117693668A CN 202280051912 A CN202280051912 A CN 202280051912A CN 117693668 A CN117693668 A CN 117693668A
Authority
CN
China
Prior art keywords
optical
optical detector
multispectral
image
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280051912.4A
Other languages
English (en)
Inventor
甘特·西塞斯
李晨
亚历山德罗·皮奥托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ams Sensors Germany GmbH
Original Assignee
Ams Sensors Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ams Sensors Germany GmbH filed Critical Ams Sensors Germany GmbH
Publication of CN117693668A publication Critical patent/CN117693668A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0233—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/029—Multi-channel photometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0466—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings with a sighting port
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0474—Diffusers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0488—Optical or mechanical part supplementary adjustable parts with spectral filtering
    • G01J1/0492—Optical or mechanical part supplementary adjustable parts with spectral filtering using at least two different filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/505—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by lighting fixtures other than screens, monitors, displays or CRTs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4247—Photometry, e.g. photographic exposure meter using electric radiation detectors for testing lamps or other light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

因此，根据本公开内容的第一方面，提供了多光谱光学传感器(102)，包括：单片半导体芯片(110)，其限定多个光学检测器区域(111)子阵列(112)，每个阵列包括相同数量和相对空间布置的光学检测器区域(111)；多个滤光器(160)；以及多个透镜元件(162)，其中每个滤光器(160)被定位在对应的透镜元件(162)与对应光学检测器区域(111)子阵列(112)之间，使得从场景沿着入射方向入射在透镜元件(162)中的任一个上的光通过对应的滤光器(160)朝向对应光学检测器区域子阵列(112)的光学检测器区域(111)中的对应光学检测器区域传播，光学检测器区域中的对应光学检测器区域取决于入射方向，并且其中入射光在光学检测器区域(111)的平面(1105)处形成场景的失焦图像。

Description

具有光学模糊的分段式多光谱传感器
技术领域
本公开内容涉及多光谱光学传感器、包括多光谱光学传感器的多光谱光学系统、包括多光谱光学系统的图像感测系统以及使用多光谱光学传感器的方法，特别地但不排外地，用于针对环境光照对场景的不同部分的影响来调整所捕获的场景图像。
背景技术
颜色恒定性是图像感测装置诸如摄像装置的理想属性。
颜色恒定性是指在不同光照下观察特征或对象的颜色相对恒定的能力。也就是说，由摄像装置捕获的图像的外观可能受到环境光照的影响。
举例来说，如果环境光源的色温相对较低，例如在3000开尔文的区域中，可能是白炽光源的情况，则暴露于环境光源的白色对象的图像将包括微红色色调。相反，对于具有高色温的环境光源，例如在6000开尔文的区域中，可能是阴天的日光的情况，白色对象的图像将包括轻微的蓝色色调。也就是说，对象被摄像装置观察为包括取决于环境光源对对象的光照的颜色。
已知通过使用多光谱环境光传感器(ALS)来测量与场景相关的光谱信息来补偿这种影响。例如，首先参照图1A，示出了智能手机1，包括多光谱ALS布置3、摄像装置4和覆盖多光谱ALS布置3和摄像装置4的盖玻璃8，其中多光谱ALS布置3被配置成测量从场景入射在摄像装置4上的光的光谱分布。
图1B示出了多光谱ALS布置3和摄像装置4的详细截面图。多光谱ALS布置3包括具有多个光学检测器区域11的多光谱ALS传感器2。多光谱ALS2被配置成使得每个光学检测器区域11检测不同范围的波长，例如，因为多光谱ALS2包括多个不同的滤光器(图1B中未明确示出)，其中每个滤光器被配置成仅将对应的不同范围的波长透射至光学检测器区域11中的对应的一个上。为了清楚起见，图1B中仅示出了三个光学检测器区域11。然而，本领域的普通技术人员将理解，多光谱ALS传感器2可以具有多于三个的光学检测器区域11或少于三个的光学检测器区域11。
多光谱ALS布置3包括容纳多光谱ALS传感器2的壳体20。多光谱ALS布置3还包括位于盖玻璃8与壳体20之间的漫射器30和IR截止滤光器32。
壳体20限定了用于允许光经由盖玻璃8、漫射器30和IR截止滤光器32进入壳体20的孔径或窗口22。多光谱ALS布置3具有垂直于多光谱ALS2的前表面的光轴40。此外，如本领域的普通技术人员将理解，漫射器30的使用为多光谱ALS布置3提供了视场(FOV)42，该视场限定了围绕光轴40的大立体角。每个光学检测器区域11检测从多光谱ALS布置3的整个FOV42上的所有不同入射方向入射在光学检测器区域11上的不同范围的波长。
摄像装置4具有光轴50，该光轴50垂直于摄像装置4的图像传感器(未示出)的前表面并且平行于多光谱ALS布置3的光轴40。摄像装置4具有FOV 52，该FOV 52限定了围绕摄像装置4的光轴50的立体角，其中摄像装置4的FOV 52的立体角与多光谱ALS布置3的FOV 42的立体角相当或者摄像装置4的FOV 52的立体角小于多光谱ALS布置3的FOV 42的立体角。
智能手机1使用白平衡，并且优选地使用自动白平衡(AWB)来调整在不同光照下捕获的图像的色彩。例如，智能手机1可以具有针对典型照明条件诸如日光、荧光照明或白炽照明的预定义设置，其中在一些情况下，可以自动选择预定义设置。
现有的白平衡技术包括通过应用基于“灰色世界理论”或“白色补丁理论”的算法来进行图像处理。灰色世界理论基于这样的假设：捕获的图像中的平均反射率是消色差的。也就是说，三种颜色通道：红色、绿色和蓝色的平均值应该大致相等。白色补丁理论基于这样的假设：捕获的图像中的最亮的像素对应于环境光源的反射，并且因此最亮的像素可以对应于环境光照的光谱。
两种方法都有已知的局限性，并且值得注意的是，这两种方法往往会产生本质上不同的结果。此外，场景照明条件的急剧变化会造成不准确，因为它们会导致整个场景的光线条件突然急剧增加或减少。当光源或突然变化是动态的并在场景周围移动时，这个问题更加复杂。因此，期望能够针对环境光照对场景的影响来校正所捕获的场景图像，而不会引起现有技术AWB方法的缺点。
此外，场景的不同部分可能受到不同的环境照明条件的影响。例如，甚至场景中的均匀颜色对象的不同部分也可能根据均匀颜色对象的不同部分的对应环境照明条件而看起来不同。因此，期望能够针对不同环境光照条件对场景的不同部分的影响来校正所捕获的场景图像，而不会引起现有技术AWB方法的缺点。
发明内容
发明人已经意识到，可以通过将环境光传感器的视场划分为多个视场片段来解决以上问题，特别是突然、急剧的照明条件变化的问题，每个视场片段设置有不同的滤色器，同时对在环境光传感器处形成的场景的图像进行模糊，使得任何急剧变化都被光学器件自动地平滑，而不需要引入任何这种模糊作为软件驱动的图像处理的一部分。结果是，由环境光传感器检测到的信号将总是平滑的，没有锐利的边缘和/或不连续性，并且因此可以有效地用于执行自动白平衡。
因此，根据本公开内容的第一方面，提供了多光谱光学传感器(102)包括：单片半导体芯片(110)，其限定多个光学检测器区域(111)子阵列(112)，每个阵列包括相同数量和相对空间布置的光学检测器区域(111)；多个滤光器(160)；以及多个透镜元件(162)，其中每个滤光器(160)被定位在对应的透镜元件(162)与对应光学检测器区域(111)子阵列(112)之间，使得从场景沿着入射方向入射在透镜元件(162)中的任一个上的光通过对应的滤光器(160)朝向对应光学检测器区域子阵列(112)的光学检测器区域(111)中的对应光学检测器区域传播，光学检测器区域中的对应光学检测器区域取决于入射方向，并且其中入射光在光学检测器区域(111)的平面(1105)处形成场景的失焦图像。
有利地，多个子阵列和与其定位的滤光器在多个颜色通道中为传感器提供扇形或分段的视场。与这样的传感器可以用于捕获清晰图像的情况不同，对于环境光感测而言以下是有利的：有意使环境光传感器处的图像散焦或模糊，以便任何锐利边缘或突然变化被光学器件平滑。
因此，在一些实现方式中，每个透镜元件(162)被对准以将入射光聚焦至与光学检测器区域(111)的平面(1105)邻近的焦平面(1103)上，以在光学检测器区域(111)的平面(1105)处形成失焦图像。例如，每个透镜元件(162)的焦平面(1103)被布置在距光学检测器区域(111)的平面(1105)的预定距离处，使得形成失焦图像的光学检测器区域(111)中的第一光学检测器区域的每个透镜元件(162)的模糊圆与光学检测器区域(111)中的第二光学检测器区域部分地或全部地交叠。在一些实现方式中，多个透镜元件包括微透镜阵列(MLA)或微菲涅耳透镜阵列，并且可选地，其中多个透镜元件由光学基板限定或者形成在光学基板上。
有利地，通过将光学检测器区域定位在距离透镜元件的焦平面预定距离处以及/或者通过使用形成在光学基板上的MLA和/或微菲涅尔透镜阵列来引入模糊，使得本公开内容的光学传感器能够易于制造，因为已知的制造工具诸如拾取和放置机器能够准确地提供部件的这种定位。可替选地和/或另外地，在一些实现方式中，可以在光学路径中设置多个漫射器元件，以使入射光漫射以在光学检测器区域(111)的平面(1105)处形成失焦图像。
根据本公开内容的第二方面，提供了多光谱光学系统(103)，包括：根据前述权利要求中任一项所述的多光谱光学传感器(102)；以及处理资源(180)，其中多光谱光学传感器(102)和处理资源(180)被配置成用于彼此通信，其中处理资源(180)被配置成：将由相同子阵列(112)的不同光学检测器区域(111)生成的不同的电信号与从场景沿着对应的不同入射方向入射在多光谱光学传感器(102)上并在多光谱光学传感器(102)上形成失焦图像的光相关联，以及将由不同子阵列(112)的对应光学检测器区域(111)生成的不同的电信号与从场景沿着相同入射方向入射在多光谱光学传感器(102)上并在多光谱光学传感器(102)上形成失焦图像的光相关联。
有利地，这样的系统在被用作环境光传感器时允许每个子阵列的视场片段与其他子阵列中的对应片段相关联。
在一些实现方式中，处理资源(180)被配置成将由光学检测器区域(111)生成的电信号与对应的滤光器(160)的光学透射光谱相关联。
有利地，这允许处理资源(180)基于与每个入射方向对应的电信号值与预定义的光谱数据之间的比较来确定多个不同入射方向中的每个入射方向的环境光源分类。在一些实现方式中，预定义的光谱数据包括多个离散光谱，每个光谱对应于不同已知类型或已知种类的环境光源。
在一些实现方式中，处理资源(180)被配置成调整由相同光学检测器区域(111)子阵列(112)的不同光学检测器区域(111)生成的电信号值以补偿由于会聚光对于相同光学检测器区域(111)子阵列(112)的不同光学检测器区域沿着不同传播方向传播通过对应的滤光器而引起的对应的滤光器的光学透射光谱的任何差异。
有利地，这允许任何不想要的光学像差或透镜效应被补偿。
根据本公开内容的第三方面，提供了图像感测系统(101)，包括：以上描述的多光谱光学系统(103)和相对于多光谱光学传感器具有已知空间关系的图像传感器(104)，其中图像传感器(104)和处理资源(180)被配置成用于彼此通信，并且其中处理资源(180)被配置成基于每个入射方向的环境光源分类来调整由图像传感器(104)感测的图像。在一些实现方式中，处理资源被配置成通过基于每个方向的环境光源分类的一个或更多个参数对图像进行白平衡来调整图像。例如，调整可以包括基于每个入射方向的环境光源分类的一个或更多个参数对图像进行梯度白平衡。
有利地，使用多光谱光学系统的图像感测系统提供了如下系统，该系统独立于场景中任何位置处的高度动态结构，针对制造工艺公差的更好的颜色稳定性以及稳健的梯度自动白平衡。
根据本公开内容的第四方面，提供了一种电子装置，包括以下中的至少一者：以上描述的多光谱光学传感器、多光谱光学系统或图像感测系统。因此，这样的电子装置提供了如以上描述的相同的优点。
附图说明
现在将仅参照附图以非限制性示例的方式描述多光谱光学传感器、多光谱光学系统、图像感测系统以及相关联的方法，在附图中：
图1A是具有现有技术的多光谱环境光传感器(ALS)布置和摄像装置的现有技术的智能手机形式的现有技术的电子装置的后侧的示意图；
图1B是图1A的现有技术的智能手机的现有技术的多光谱ALS和摄像装置的示意性截面；
图2A是具有多光谱ALS布置和摄像装置的智能手机形式的电子装置的后侧的示意图；
图2B是图2A的智能手机的多光谱ALS布置和摄像装置的示意性截面；
图3是图2A的多光谱ALS布置的多光谱ALS的示意图；
图4A是图3的多光谱ALS的单片多光谱环境光传感器(ALS)半导体芯片的示意图；
图4B是替选的单片多光谱ALS半导体芯片的示意图；
图5示出了包括图2A的智能手机的多光谱ALS布置和摄像装置的图像感测系统的操作；
图6A是第一替选多光谱ALS的示意图；以及
图6B是第二替选多光谱ALS的示意图。
具体实施方式
首先参照图2A，示出了智能手机101，包括：多光谱ALS布置103形式的多光谱光学传感器布置、相对于ALS布置103具有已知空间关系的摄像装置104、以及覆盖多光谱ALS布置103和摄像装置104的盖玻璃108。
图2B示出了多光谱ALS布置103和摄像装置104的详细截面图。多光谱ALS布置103包括具有多个光学检测器区域111的多光谱ALS102。为了清楚起见，在图2B中仅示出了三个光学检测器区域111。然而，如将在下面更详细描述的，多光谱ALS102实际上限定了多于三个的光学检测器区域111。
多光谱ALS布置103包括容纳多光谱ALS102的壳体120。多光谱ALS布置103还包括位于盖玻璃108与壳体120之间的IR截止滤光器132。壳体120限定了用于允许光经由盖玻璃108和IR截止滤光器132进入壳体120的孔径或窗口122。多光谱ALS布置103具有垂直于多光谱ALS102的前表面的光轴140。
如下面将描述的，多光谱ALS布置103被配置成对从场景沿着不同入射方向入射在多光谱ALS布置103上的光之间进行区分，并且被配置成对FOV 142上的不同入射方向入射在多光谱ALS布置103上的光的光谱分布进行测量，FOV 142限定了围绕多光谱ALS布置103的光轴140的立体角。具体地，多光谱ALS布置103被配置成对从FOV 142的不同扇区142a、142b、……142i入射在多光谱ALS布置103上的光之间进行区分，并且被配置成对从每个扇区142a、142b、……142i入射在多光谱ALS布置103上的光的光谱分布进行测量。摄像装置104还具有光轴150，该光轴150垂直于摄像装置104的图像传感器芯片(未示出)的前表面并且平行于多光谱ALS布置103的光轴140。摄像装置104具有限定围绕摄像装置104的光轴150的立体角FOV 152，其中摄像装置104的FOV 152的立体角与多光谱ALS布置103的FOV 142的立体角相当。
如图3中所示，多光谱ALS102包括在图4A中更详细示出的单片多光谱ALS半导体芯片110。单片多光谱ALS半导体芯片110限定多个光学检测器区域子阵列112，其形式为布置成子阵列112的3×4阵列的十二个子阵列112，其中每个子阵列112的光学检测器区域与其他子阵列112中的每一个的光学检测器区域具有相同的相对空间布置。具体地，子阵列112中的每一个限定了光学检测器区域111a、111b、111c、……111i的3×3阵列。
单片多光谱ALS半导体芯片110包括多个滤光器160，每个滤光器160具有对应的光学透射光谱。每个滤光器160是限定对应的光谱带通的带通光学干涉滤光器。滤光器160中的两个或更多个滤光器可以限定不同的光谱带通。此外，每个滤光器160在对应光学检测器区域111a、111b、111c、……111i子阵列112前面形成在单片多光谱ALS半导体芯片110上或附接至单片多光谱ALS半导体芯片110。
多光谱ALS102还包括由光学基板164限定或形成在光学基板164上的微透镜阵列(MLA)形式的多个透镜元件162。多光谱ALS102还包括位于单片半导体芯片110与MLA的光学基板164之间的间隔物166。单片半导体芯片110和光学基板164附接至间隔物166的相对侧。此外，间隔物166限定多个孔径168，其中每个孔径168与对应的透镜元件162、对应的滤光器160和对应光学检测器区域111a、111b、111c、……111i子阵列112对准。
每个滤光器160在对应的透镜元件162与对应光学检测器区域111a、111b、111c、……111i子阵列112之间对准，使得在使用中，沿着任何给定的入射方向入射在透镜元件162中的任一个上的任何光通过对应的滤光器160会聚至与以下平面邻近(例如在以下平面前方、上方或之上)的焦平面上：该平面是对应光学检测器区域111a、111b、111c、……111i子阵列112的光学检测器区域111a、111b、111c、……111i中的对应光学检测器区域的平面，光学检测器区域111a、111b、111c、……111i中的对应光学检测器区域取决于给定的入射方向。例如，沿着如图4中所示的实线表示的、平行于多光谱ALS102的光轴140的入射方向入射在透镜元件162中的任一个上的光通过对应的滤光器160被透镜元件162聚焦至与以下平面邻近(例如在以下平面前方、上方或之上)的平面上：该平面是对应子阵列112的中心光学检测器区域111e的平面。类似地，沿着如图4中所示的虚线或点虚线表示的、倾斜于多光谱ALS102的光轴140的入射方向入射在透镜元件162中的任一个上的光通过对应的滤光器160被透镜元件162聚焦至与对应子阵列112的外围光学检测器区域111a、111b、111c、111d、111f、111g、111h、111i中的一个邻近的平面上，对应子阵列112的外围光学检测器区域111a、111b、111c、111d、111f、111g、111h、111i中的一个取决于特定的入射方向。
通过将入射光聚焦至与光学检测器区域的平面邻近(即，不重合)的平面中的焦点上，而不是聚焦至与光学检测器区域的平面重合的平面上，由光形成的图像在它到达检测器区域时失焦，并且因此当它被检测到时模糊。这提供了许多显著的优点，将在下面结合图7至图14进行描述。在可替选的布置中，透镜元件仍然可以对准，使得其焦平面将与光学检测器区域重合，但是替代地通过将一个或更多个光学漫射器元件引入光学路径来实现模糊。还设想可以使用以上两种模糊技术的组合。注意，在图1至图6中，为了便于说明，既没有示出将光聚焦至光学检测器区域上方或之上的平面上，也没有示出漫射器元件。相反，这在图7至图14中更详细示出。
返回参照图2A，智能手机101包括处理资源180，该处理资源180被配置成从多光谱ALS102和摄像装置104的图像传感器(未示出)接收数据。如图5中所示，处理资源180被配置成将由光学检测器区域的相同子阵列112的不同光学检测器区域111a、111b、111c、……111i生成的不同的电信号与从通常指定为182的场景的不同区域183a、183b、183c、……183i沿着对应的不同入射方向184a、184b、184c、……184i入射在多光谱ALS102上的光相关联。
反之，处理资源180被配置成将由不同子阵列112的对应光学检测器区域生成的不同的电信号与从场景182的相同区域沿着相同入射方向入射在多光谱ALS102上的光相关联。例如，处理资源180被配置成将由不同子阵列112的对应光学检测器区域111a生成的不同的电信号与从场景182的区域183a沿着相同入射方向184a入射在多光谱ALS102上的光相关联。
此外，处理资源180被配置成将由任何给定子阵列112的任何光学检测器区域111a、111b、111c、……111i生成的电信号与对应的滤光器160的光学透射光谱相关联。由于每个滤光器160具有不同的带通，由不同光学检测器区域子阵列112的对应光学检测器区域测量的不同的电信号值表示从场景182沿着与不同光学检测器区域子阵列112的对应光学检测器区域相关联的相同入射方向入射在多光谱ALS102上的光的光学光谱。例如，由不同光学检测器区域子阵列112的对应光学检测器区域111a测量的不同的电信号值表示从场景182沿着与不同光学检测器区域子阵列112的对应光学检测器区域111a相关联的相同入射方向184a入射在多光谱ALS102上的光的光学光谱。
处理资源180被配置成基于与每个入射方向184a、184b、184c、……184i对应的电信号值与预定义的光谱数据之间的比较来确定多个不同入射方向184a、184b、184c、……184i中的每个入射方向184a、184b、184c、……184i的环境光源分类。例如，预定义的光谱数据可以包括多个离散光谱，每个光谱对应于不同已知类型或已知种类的环境光源。
另外，处理资源180被配置成基于每个入射方向184a、184b、184c、……184i的环境光源分类来调整由摄像装置104感测的图像。具体地，处理资源180被配置成通过基于每个方向的环境光源分类的一个或更多个参数对图像进行白平衡来调整感测的图像，例如通过基于每个入射方向的环境光源分类的一个或更多个参数对图像进行梯度白平衡来调整感测的图像。
本领域的普通技术人员将理解，可以对以上描述的多光谱ALS102进行各种修改。例如，图6A示出了与多光谱ALS布置103一起使用的第一替选多光谱ALS202。与图3的多光谱ALS102一样，图6A的第一替选多光谱ALS202包括单片多光谱ALS半导体芯片210，其与多光谱ALS 102的单片多光谱ALS半导体芯片110相同。与图3的多光谱ALS102一样，图6A的第一替选多光谱ALS202还包括多个带通光学干涉滤光器260，其中每个滤光器260在对应光学检测器区域211a、211b、211c、…211i子阵列212的前面形成在单片多光谱ALS半导体芯片210上或附接至单片多光谱ALS半导体芯片210。
多光谱ALS202还包括由光学基板264限定或形成在光学基板264上的微透镜阵列(MLA)形式的多个透镜元件262。多光谱ALS202还包括位于单片半导体芯片210与MLA的光学基板264之间的间隔物266。此外，间隔物266限定多个孔径268，其中每个孔径268与对应的透镜元件262、对应的滤光器260和对应光学检测器区域211a、211b、211c、……211i子阵列212对准。
然而，与图3的多光谱ALS102不同，图6A的第一替选多光谱ALS 202包括多个附加透镜元件290形式的多个透射光学元件，所述多个附加透镜元件290设置为附加光学基板292上的附加微透镜阵列(MLA)。附加光学基板292附接至单片多光谱ALS半导体芯片210的前表面。光学基板264的后表面附接至间隔物266的前侧，并且附加光学基板292的前表面附接至间隔物266的后侧。
每个附加透镜元件290在对应的透镜元件262与对应的滤光器260之间对准，使得入射在透镜元件262中的任一个上的光通过对应的附加透镜元件290和对应的滤光器260会聚至与对应光学检测器区域子阵列212的光学检测器区域211a、211b、211c、……211i中的一个邻近的平面中的点上，并且其中每个附加透镜元件290从对应的透镜元件262接收沿着初始传播方向传播的会聚光，并将接收到的会聚光转换成沿着最终传播方向离开附加透镜元件290传播的透射会聚光，该最终传播方向平行于对应的滤光器260的光轴或者相对于对应的滤光器260的光轴限定了比接收到的会聚光的初始传播方向更小的角度。
这样的附加微透镜阵列(MLA)的使用可以用于确保由附加透镜元件290中的任何一个沿着相对于对应的滤光器260的光轴倾斜布置的初始传播方向接收到的会聚光被附加透镜元件290转换，以便沿着如下方向朝向对应的滤光器260传播：该方向平行于对应的滤光器260的光轴或者相对于对应的滤光器260的光轴限定了比接收到的会聚光的初始传播方向更小的角度。在滤光器260的光学透射光谱取决于入射在滤光器260上的光的入射角的情况下，例如在滤光器260是干涉滤光器的情况下，这可能是有利的，以确保滤光器260接收到的光经受滤光器260的已知光学透射光谱，而与对应的附加透镜元件290接收会聚光所沿着的初始传播方向无关。
在图6A的第一替选多光谱ALS202的变型中，每个附加透镜元件可以由对应的滤光器260限定或者形成在对应的滤光器260上。
图6B示出了与多光谱ALS布置103一起使用的第二替选多光谱ALS 302。第二替选多光谱ALS 302在所有方面与图6A的第一替选多光谱ALS202相同，除了不是包括多个附加透镜元件290形式的多个透射光学元件，所述多个附加透镜元件290设置为附加光学基板292上的附加微透镜阵列(MLA)，图6B的第二替选多光谱ALS 302包括多个菲涅尔透镜元件390形式的多个透射光学元件，所述多个菲涅尔透镜元件390设置为微型菲涅尔透镜阵列，其中每个菲涅尔透镜元件390由多光谱ALS 302的对应的滤光器360限定，或者形成在多光谱ALS 302的对应的滤光器360上。
在图6B的第二替选多光谱ALS 302的变型中，每个菲涅耳透镜元件390可以由附加光学基板限定或者形成在附加光学基板上，其中附加光学基板附接至多光谱ALS 302的单片多光谱ALS半导体芯片310的前表面。
本领域的普通技术人员将理解，在图6A的第一替选多光谱ALS202和图6B的第二替选多光谱ALS 302中，多个透射光学元件实际上意味着会聚光在平行于光学干涉滤光器的光轴的方向上或在几乎平行于光学干涉滤光器的光轴的方向上传播通过每个光学干涉滤光器，从而确保透射光在正常入射时经受光学干涉滤光器的已知的光学透射光谱。作为使用多个透射光学元件如图6A的第一替选多光谱ALS202的透射光学元件290或图6B的第二替选多光谱ALS 302的透射光学元件390的替选方案，智能手机101的处理资源180可以被配置成调整由相同光学检测器区域子阵列112的不同光学检测器区域111a、111b、111c、……111i生成的电信号值，以补偿由于会聚光对于相同光学检测器区域子阵列112的不同光学检测器区域111a、111b、111c、……111i沿着不同传播方向传播通过对应的滤光器160而引起的对应的滤光器160的光学透射光谱的任何差异。
图4B示出了与图2B和图3的多光谱ALS102、图6A的第一替选多光谱ALS202或图6B的第二替选多光谱ALS 302一起使用的替选的单片多光谱ALS半导体芯片410。替选的单片多光谱ALS半导体芯片410限定了多个光学检测器区域子阵列412，其形式为布置成子阵列412的3×4阵列的十二个子阵列412，其中每个子阵列412的光学检测器区域与其他子阵列412中的每一个的光学检测器区域具有相同的相对空间布置。具体地，子阵列412中的每一个限定了由四个弓形光学检测器区域411b、411c、411d和411e围绕的中心光学检测器区域411a。单片多光谱ALS半导体芯片410包括多个滤光器460，每个滤光器460具有对应的光学透射光谱。每个滤光器460可以是限定对应的光谱带通的带通光学干涉滤光器。滤光器460中的两个或更多个滤光器可以限定不同的光谱带通。此外，每个滤光器460在对应光学检测器区域411a、411b、411c、411d和411e子阵列412的前面形成在单片多光谱ALS半导体芯片410上或者附接至单片多光谱ALS半导体芯片410。
本领域的普通技术人员将理解，光学检测器区域的其他布置在每个子阵列内是可能的。例如，每个子阵列可以限定由一个或更多个同心布置的环形光学检测器区域围绕的中心光学检测器区域，其中每个环形光学检测器区域具有不同的半径。每个子阵列可以定义任意大小的光学检测器区域的1D或2D阵列。每个子阵列的光学检测器区域可以被布置成非矩形的2D阵列。
本领域的普通技术人员还将理解，子阵列的其他布置是可能的。例如，子阵列可以布置成任意大小的1D或2D阵列，例如3×4阵列或5×5阵列。子阵列可以被布置成非矩形的2D图案。
图7至图14示出了其中多个透镜元件使入射光在它到达光学检测器区域的平面时失焦或模糊的光学布置的优点。当与ALS中的自动白平衡算法结合使用时，这些优点特别但不排他地适用。
首先，参照图7A的光学布置700来描述由入射光在光学检测器区域的平面中焦点对准而产生的图像的缺陷。
在图7A中，示出了如图6A和图6B中所描述的那样操作的多个透镜元件701、702。然而，在图7A中，入射光被透镜元件701、702聚焦至光学检测器区域703上。
图7B和图7C示意性地示出了多光谱ALS的像素的输出信号的可视化703a、703b，其中场景以结合图5所述的方式被划分成编号为0至24的二十五个区域或片段，但是其中由入射光形成的图像在光学检测器区域处焦点对准。
在图7B和图7C的场景中，存在横穿多个区域的强的点状或线状光源704。在图7B中，在二十四个区域之间不存在间隙。在图7C中，在这些区域之间存在间隙。由于由入射光形成的图像在光学检测器区域的平面中焦点对准，因此光源在图像中具有锐利的边缘。此外，在图7C的情况下，间隙可能导致没有检测到光的一个或更多个盲点。移入或移出这样的盲点的光也会导致图像中的锐利边缘。如以下将说明的，锐利的边缘可能导致自动白平衡算法中的问题。
图8A至图8F类似地示意性地示出了多光谱ALS的输出信号的可视化(在片段之间没有间隙)，但是在这种情况下，光源800从右至左缓慢地移动穿过片段，使得锐利边缘可以开始于一个场景中的一个或更多个片段，桥接另一场景中的两个或更多个片段，并且最后结束于另一场景中的另一个或更多个片段。例如，光源的顶部在场景0中开始于图8A中的视场片段15，并且在图8B至图8E中的场景2至6之间期间向左移动穿过视场片段15，直到在场景8中它开始进入片段10，到完全移动至图8F中的场景10中的片段10为止。对于在其他视场片段中检测到的光源的部分，也发生类似的移动。
图9示意性地示出了对于红色、绿色和蓝色(RGB)信号，当光源在x轴上移动穿过传感器时y轴上的积分信号强度(任意单位)相对于一系列场景的场景编号的二十五个曲线图900(对应于图8A至图8F的二十五个片段中的每一个)。在实践中，颜色信号的数量将对应于以上描述的滤光器提供的不同颜色通道的数量。在显示非零信号的片段中，当光源移入或离开片段时，积分信号显示出削波效应。也就是说，当锐利光源开始进入片段时，会发生急剧的增加或减少，直到光源完全处于片段中。当光源完全处于片段中时，信号是恒定且平坦的，本文中描述为宽的恒定效应。这样的急剧变化和宽而平坦的恒定的问题是难以确定信号的极值。准确地确定这样的极值是有用的，因为视场片段之间的自动白平衡梯度计算可以基于这些极值(例如，使用来自这样的极值的质心的表面插值)。如果信号是宽而平坦的并且具有削波效应，则难以准确地确定极值，并且自动白平衡梯度计算可能是不准确的。
图10示出了对应于中心片段诸如片段12的图9的曲线图1000中的一个，以展示当焦点对准的光源具有锐利边缘时RGB颜色通道的削波效应1001和宽的恒定效应1002。在图9和图10的可视化中，RG颜色通道1003指示光源的存在，而B颜色通道1004指示背景颜色。这是因为图7B至图10的示例出于说明的目的而被简化，并且仅示出模拟光源(在RG通道中)和均匀的单色背景(B通道)的三个RGB颜色通道。在现实世界场景的实践中，光源与背景之间的这种明显区别并不明显，并且如上所述设想了更多的颜色通道。
在图9和图10的曲线图中还示出了虚线1005(B通道)、1006(RG通道)，指示如果光源在光学检测器区域的平面中失焦而出现不同程度的模糊，则信号强度将是什么样子。特别地，模糊的效果是使视场片段边缘处的锐利削波效应平滑，并使中心平坦、宽的恒定效应变圆。模糊量越高，平滑效果就越好。平滑或模糊量取决于入射光在光学检测器的平面处失焦多远，并且这可以通过将光学检测器定位得更远离或更靠近透镜的焦平面(和/或通过将漫射引入光学路径)来配置。失焦越多，从而检测器区域离透镜的焦平面越远，平滑就越好。设想平滑量可以被选择为被优化，使得积分像素信号被平滑成使得在每个视场片段中在任何给定时间仅存在一个极值。例如，在一个实现方式中，模糊被配置成使得场景在两个视场片段的宽度和/或高度上模糊。换言之，光锥的模糊圆、模糊点或模糊盘在传播超过透镜的焦平面之后与光学检测器区域的平面相交时与两个视场片段交叠，以产生适当的模糊量。还设想它可以仅与1.5个视场片段或3个视场片段交叠。然而，如果模糊效果太强，开始出现超过2个场片段交叠，则环境光信息开始丢失。
图11示出了光学布置1100，示出了如图6A和图6B中所描述的那样操作的多个透镜元件1101、1102，除了入射光被透镜元件1101、1102聚焦至与光学检测器区域1104邻近的平面1103上，使得由入射光形成的图像在它到达光学检测器区域时失焦并且模糊，从而平滑参照图9和图10描述的任何削波效应或宽的恒定效应。
如上所述，图7至图10的可视化仅是说明性的可视化，其示出了仅具有由RGB通道检测到的RGB颜色的模拟图像。在实践中，场景可能更加复杂。为了展示本公开内容相对于真实世界场景的优点，现在描述图12A、图12B、图13A和图13B。
在图12A中，提供了房间的场景的图像1200。由于透镜效应，图像1200中存在轻微的光学失真，但是当入射光被聚焦至光学检测器区域的平面上时，图像是焦点对准的。场景被划分为x像素和y像素，并且提供了二十五个视场片段，并编号为0至25。
图12B示出了与不同像素行0至行500处的ALS的RGB信号强度对应的一系列曲线图1201、1202、1203、1204、1205，以展示信号根据每行中的像素的照明和颜色而变化的程度。明显的是在所有曲线图中都存在多个锐利边缘1206，通常对应于场景中的突然照明变化或边缘。例如，在片段14中，图像中的平面屏幕电视1207a被定位成靠着外部世界的窗户1207b。黑色平面屏幕电视1207a在行240周围的图像中自身表现为相对于锐利亮像素的背景窗户1207b的一系列大而暗的像素。在对应于像素行240的曲线图中，这自身表现为具有低信号强度的区域1207c，其在任一侧上具有锐利边缘。
如果摄像装置移动或成像的场景移动，则边缘移动，并且可以跨多个视场片段。这可能增强如上所述的削波效应和宽的恒定效应。在这种情况下，难以根据曲线图1201、1202、1203、1204、1205来计算用于自动白平衡的准确梯度。为了便于说明，在图12B中仅示出了RGB通道，然而，设想存在与所使用的滤光器的所有颜色对应的所有颜色通道。
图13A示出了与图12A中相同的场景，但这次入射光被聚焦至与光学检测器区域的平面邻近的平面上，以使图像1300模糊或平滑。
图13B类似地示出了与图12B中相同的像素行上的RGB信号强度的曲线图1301、1302、1303、1304、1305。可以立即看出，图12B的锐利边缘已经被平滑。取而代之，仅有的边缘只是在每个视场片段之间存在间隙的地方，并且这些间隙的位置和效果是先验已知的，因此可以进行补偿。例如，平面屏幕电视1307a现在是相对于不太亮的像素的背景窗户1307b的不太暗的像素的模糊组。在像素行240的对应曲线图1303中，与平面屏幕电视对应的具有锐利边缘的低信号值的大区域反而是具有更平滑边缘1306的平滑区域1307c。根据曲线图1301、1302、1303、1304、1305计算用于自动白平衡的准确梯度明显更容易、计算强度更低且更高效，因为每个片段通常仅具有一个极值，并且在整个片段上具有平滑的梯度，这比大量锐利的、不连续的边缘更容易处理。因此，通过使用将入射光聚焦至与光学检测器区域的平面邻近的平面上的光学硬件设置来有意地模糊图像，根据本公开内容的传感器提供改进的环境光感测。如上，仅示出RGB通道，然而设想所有颜色通道都存在并且模糊。
最后，图14A示出了根据对应于图13A的模糊图像1400计算的二十五个片段中的每一个的计算输出颜色。图14B类似地示出了叠加在对应于图13B的曲线图1401至曲线图1405上的这些颜色值。所计算的单值、恒定水平诸如1406可以用于计算片段之间的梯度以用于随后的自动白平衡。出于说明的目的，图13B的平滑信号例如虚线1407叠加在图14B中。
应当理解，以上参照图7至图14描述的光学布置可以与本文中描述的多光谱ALS中的任何一个结合使用。
尽管已经描述了与智能手机101的摄像装置104一起使用的各种多光谱ALS102、202、302，但是应当理解，多光谱ALS102、202、302中的任何一个都可以与任何类型的电子装置的摄像装置一起使用。例如，多光谱ALS102、202、302中的任何一个都可以与移动电话、手机、平板电脑或笔记本电脑的摄像装置一起使用。因此，由本公开内容提供的环境光感测独立于并能够稳健地处理场景中任何位置处具有移动光源和其他结构的高度动态场景。此外，环境光感测对于由于制造公差而导致的透镜对准的任何偏差也是稳健的，并且因此提供了稳健的自动白平衡。
尽管已经根据如上所述的优选实施方式描述了本公开内容，但是应当理解，这些实施方式仅是说明性的，并且权利要求不限于那些实施方式。鉴于本公开内容，本领域技术人员将能够对所描述的实施方式进行修改和替选，这些修改和替选被认为落入所附权利要求的范围内。
本说明书中公开或示出的每个特征可以单独地并入到任何实施方式中或者与本文中公开或示出的任何其他特征以任意适当的组合并入到任何实施方式中。特别地，本领域的普通技术人员将理解，以上参照附图描述的本公开内容的实施方式的特征中的一个或更多个在与本公开内容的实施方式的其它特征中的一个或更多个隔离使用时可以产生效果或者提供优点，并且除了以上描述的本公开内容的实施方式的特征的特定组合之外，还可能有特征的不同组合。
技术人员将理解，在前面的说明书和所附权利要求中，位置术语诸如“之上”、“沿着”、“侧”等是参考诸如附图中所示的概念图示的概念图示而做出的。为了便于参考而使用这些术语，但是这些术语不旨在是限制性本质的。因此，这些术语应被理解为指的是当处于如附图中所示的取向时的对象。
当与本公开内容的实施方式的特征相关地使用时，术语“包括”的使用不排除其他特征或步骤。当与本公开内容的实施方式的特征相关地使用时，术语“一”或“一个”的使用不排除实施方式可以包括多个这样的特征的可能性。在权利要求中使用的附图标记不应被解释为限制权利要求的范围。
附图标记列表
1智能手机；
2多光谱ALS传感器；
3多光谱ALS布置；
4摄像装置；
8盖玻璃；
11光学检测器区域；
20壳体；
22孔径；
30漫射器；
32IR截止滤光器；
40多光谱ALS布置的光轴；
42多光谱ALS布置的视场；
50摄像装置的光轴；
52摄像装置的视场；
101智能手机；
102多光谱ALS传感器；
103多光谱ALS布置；
104摄像装置；
108盖玻璃；
110单片多光谱ALS半导体芯片；
111光学检测器区域；
111a-i光学检测器区域；
112光学检测器区域子阵列；
120壳体；
122壳体孔径；
132IR截止滤光器；
140多光谱ALS布置的光轴；
142多光谱ALS布置的视场；
142a-i多光谱ALS布置的视场的扇区；
150摄像装置的光轴；
152摄像装置的视场；
160滤光器；
162透镜元件；
164光学基板；
166间隔物；
168间隔物孔径；
182场景；
183a-i场景区域；
184a-i入射方向；
202多光谱ALS传感器；
210单片多光谱ALS半导体芯片；
211a-i光学检测器区域；
212光学检测器区域子阵列；
260滤光器；
262透镜元件；
264光学基板；
266间隔物；
268间隔物孔径；
290附加透镜元件；
292附加光学基板；
302多光谱ALS传感器；
310单片多光谱ALS半导体芯片；
360滤光器；
390附加透镜元件；
410单片多光谱ALS半导体芯片；
411a-e光学检测器区域；
412光学检测器区域子阵列；以及
460滤光器
700光学布置
701多个透镜元件
702多个透镜元件
703光学检测器区域
703a输出信号的可视化
703b输出信号的可视化
800检测到的光源
900信号强度与场景编号的曲线图
1000信号强度与场景编号的曲线图
1001削波效应
1002宽的恒定效应
1003红绿色通道
1004蓝色通道
1005平滑的蓝色通道
1006平滑的红绿色通道
1100光学布置
1101多个透镜元件
1102多个透镜元件
1103焦平面
1104光学检测器区域的平面
1200场景的图像
1201像素行400的RGB信号强度的曲线图
1202像素行315的RGB信号强度的曲线图
1203像素行240的RGB信号强度的曲线图
1204像素行165的RGB信号强度的曲线图
1205像素行80的RGB信号强度的曲线图
1206锐利边缘
1207a黑色平面屏幕电视
1207b亮色背景窗户
1207c锐利低信号值区域
1300场景的模糊图像
1301像素行400的RGB信号强度的曲线图
1302像素行315的RGB信号强度的曲线图
1303像素行240的RGB信号强度的曲线图
1304像素行165的RGB信号强度的曲线图
1305像素行80的RGB信号强度的曲线图
1307a黑色平面屏幕电视
1307b亮色背景窗户
1307平滑低信号区域
1400计算的场景的视场片段颜色
1401像素行400的计算的RGB信号强度的曲线图
1402像素行315的计算的RGB信号强度的曲线图
1403像素行240的计算的RGB信号强度的曲线图
1404像素行165的计算的RGB信号强度的曲线图
1405像素行80的计算的RGB信号强度的曲线图
1406恒定值
1407平滑信号

Claims (16)

1.一种多光谱光学传感器(102)，包括：
单片半导体芯片(110)，所述单片半导体芯片限定多个光学检测器区域(111)子阵列(112)，每个阵列包括相同数量和相对空间布置的光学检测器区域(111)；
多个滤光器(160)；以及
多个透镜元件(162)，
其中，每个滤光器(160)被定位在对应的透镜元件(162)与对应光学检测器区域(111)子阵列(112)之间，使得从场景沿着入射方向入射在所述透镜元件(162)中的任一个上的光通过对应的滤光器(160)朝向所述对应光学检测器区域子阵列(112)的光学检测器区域(111)中的对应光学检测器区域传播，所述光学检测器区域中的对应光学检测器区域取决于所述入射方向，并且
其中，所述入射光在所述光学检测器区域(111)的平面(1105)处形成所述场景的失焦图像。
2.根据权利要求1所述的多光谱光学传感器(102)，其中，每个透镜元件(162)被对准以将所述入射光聚焦至与所述光学检测器区域(111)的所述平面(1105)邻近的焦平面(1103)上，以在所述光学检测器区域(111)的所述平面(1105)处形成所述失焦图像。
3.根据权利要求2所述的多光谱光学传感器(102)，其中，每个透镜元件(162)的焦平面(1103)被布置在距所述光学检测器区域(111)的所述平面(1105)的预定距离处。
4.根据权利要求2或3所述的多光谱光学传感器(102)，其中，形成所述失焦图像的所述光学检测器区域(111)中的第一光学检测器区域的每个透镜元件(162)的模糊圆与所述光学检测器区域(111)中的第二光学检测器区域交叠。
5.根据前述权利要求中任一项所述的多光谱光学传感器(102)，包括：
多个漫射器元件，所述多个漫射器元件被配置成使所述入射光漫射以在所述光学检测器区域(111)的平面(1105)处形成所述失焦图像。
6.根据前述权利要求中任一项所述的多光谱光学传感器(102)，其中，所述多个透镜元件(162)包括微透镜阵列(MLA)或微菲涅耳透镜阵列。
7.根据权利要求6所述的多光谱光学传感器(102)，其中，所述多个透镜元件(162)由光学基板限定或者形成在光学基板上。
8.一种多光谱光学系统(103)，包括：
根据前述权利要求中任一项所述的多光谱光学传感器(102)；以及
处理资源(180)，
其中，所述多光谱光学传感器(102)和所述处理资源(180)被配置成用于彼此通信，
其中，所述处理资源(180)被配置成：
将由相同子阵列(112)的不同光学检测器区域(111)生成的不同的电信号与从场景沿着对应的不同入射方向入射在所述多光谱光学传感器(102)上并在所述多光谱光学传感器(102)上形成失焦图像的光相关联，以及
将由不同子阵列(112)的对应光学检测器区域(111)生成的不同的电信号与从所述场景沿着相同入射方向入射在所述多光谱光学传感器(102)上并在所述多光谱光学传感器(102)上形成失焦图像的光相关联。
9.根据权利要求8所述的多光谱光学系统(103)，其中，所述处理资源(180)被配置成将由光学检测器区域(111)生成的电信号与对应的滤光器(160)的光学透射光谱相关联。
10.根据权利要求8或9所述的多光谱光学系统(103)，其中，所述处理资源(180)被配置成基于与每个入射方向对应的电信号值与预定义的光谱数据之间的比较来确定多个不同入射方向中的每个入射方向的环境光源分类。
11.根据权利要求10所述的多光谱光学系统(103)，其中，所述预定义的光谱数据包括多个离散光谱，每个光谱对应于不同已知类型或已知种类的环境光源。
12.根据权利要求8至11中任一项所述的多光谱光学系统(103)，其中，所述处理资源(180)被配置成调整由相同光学检测器区域(111)子阵列(112)的不同光学检测器区域(111)生成的电信号值以补偿由于会聚光对于相同光学检测器区域(111)子阵列(112)的不同光学检测器区域沿着不同传播方向传播通过对应的滤光器而引起的所述对应的滤光器的光学透射光谱的任何差异。
13.一种图像感测系统(101)，包括：
根据权利要求8至12中任一项所述的多光谱光学系统(103)；以及
图像传感器(104)，所述图像传感器(104)相对于所述多光谱光学传感器具有已知的空间关系，
其中，所述图像传感器(104)和所述处理资源(180)被配置成用于彼此通信，并且
其中，所述处理资源(180)被配置成基于每个入射方向的环境光源分类来调整由所述图像传感器(104)感测的图像。
14.根据权利要求13所述的图像感测系统(101)，其中，所述处理资源被配置成通过基于每个方向的所述环境光源分类的一个或更多个参数对所述图像进行白平衡来调整所述图像。
15.根据权利要求14所述的图像感测系统(101)，其中，所述调整包括基于每个入射方向的所述环境光源分类的一个或更多个参数对所述图像进行梯度白平衡。
16.一种电子装置，包括以下中的至少一者：根据权利要求1至7中任一项所述的多光谱光学传感器(102)、根据权利要求8至12中任一项所述的多光谱光学系统(103)、或者根据权利要求13至15中任一项所述的图像感测系统(101)。
CN202280051912.4A 2021-07-29 2022-07-22 具有光学模糊的分段式多光谱传感器 Pending CN117693668A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2110931.9 2021-07-29
GB2110931.9A GB2609420A (en) 2021-07-29 2021-07-29 Sectional multi spectral sensor with optical blurring
PCT/EP2022/070711 WO2023006631A1 (en) 2021-07-29 2022-07-22 Sectional multi spectral sensor with optical blurring

Publications (1)

Publication Number Publication Date
CN117693668A true CN117693668A (zh) 2024-03-12

Family

ID=77651419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280051912.4A Pending CN117693668A (zh) 2021-07-29 2022-07-22 具有光学模糊的分段式多光谱传感器

Country Status (4)

Country Link
CN (1) CN117693668A (zh)
DE (1) DE112022003771T5 (zh)
GB (1) GB2609420A (zh)
WO (1) WO2023006631A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071456B2 (en) * 2004-03-30 2006-07-04 Poplin Dwight D Camera module with ambient light detection
EP2472853A1 (en) * 2011-01-03 2012-07-04 STMicroelectronics (Grenoble 2) SAS Imaging device with ambient light sensing means
IN2014CN03038A (zh) * 2011-11-04 2015-07-03 Imec
WO2014143338A2 (en) * 2012-12-21 2014-09-18 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
KR102281256B1 (ko) * 2014-12-04 2021-07-23 삼성전자주식회사 화이트 밸런스 제어 방법 및 그 전자 장치
KR20160080509A (ko) * 2014-12-29 2016-07-08 삼성전기주식회사 조도 센서 모듈
US10580341B2 (en) * 2015-02-11 2020-03-03 Apple Inc. Electronic device with color sensing ambient light sensor
US10553179B2 (en) * 2017-09-08 2020-02-04 Apple Inc. Electronic devices with ambient light sensors
US10345151B1 (en) * 2018-05-02 2019-07-09 Microsoft Technology Licensing, Llc Use of multiple calibrated ambient color sensor measurements to generate a single colorimetric value
US11473970B2 (en) * 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array

Also Published As

Publication number Publication date
GB2609420A (en) 2023-02-08
GB202110931D0 (en) 2021-09-15
DE112022003771T5 (de) 2024-06-06
WO2023006631A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11405535B2 (en) Quad color filter array camera sensor configurations
EP2696570B1 (en) Lens array for partitioned image sensor having color filters
KR100696162B1 (ko) 이미지의 노이즈 감소 장치 및 노이즈 감소 방법, 이를수행하는 프로그램이 기록된 기록 매체
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
KR101442313B1 (ko) 카메라 센서 교정
EP3133646A2 (en) Sensor assembly with selective infrared filter array
US8023016B2 (en) Imaging device and manufacturing method thereof
US20150085137A1 (en) Flash system for multi-aperture imaging
US11747533B2 (en) Spectral sensor system using optical filter subarrays
US9041930B1 (en) Digital pathology system
CN105590939B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
JP2008524924A (ja) 複レンズ式撮像系および方法
WO2013136809A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
US20220299369A1 (en) System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction
US9432642B2 (en) Imaging system and method having extended depth of field
US11696043B2 (en) White balance compensation using a spectral sensor system
CN116457641A (zh) 多光谱光学传感器和系统
US10609361B2 (en) Imaging systems with depth detection
US20120274799A1 (en) Calibrating image sensors
WO2016111175A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR101575964B1 (ko) 듀얼 애퍼처 카메라의 센서 어레이
CN117693668A (zh) 具有光学模糊的分段式多光谱传感器
JP2020020609A (ja) 倍率色収差測定用のカラーフィルタおよびこれを用いた倍率色収差測定装置
WO2023117468A1 (en) Compensation of optical alignment issues for sectored-view multi-spectral optical sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination