CN111527744A - 用于低光和高光水平成像的单光学 - Google Patents

用于低光和高光水平成像的单光学 Download PDF

Info

Publication number
CN111527744A
CN111527744A CN201880084752.7A CN201880084752A CN111527744A CN 111527744 A CN111527744 A CN 111527744A CN 201880084752 A CN201880084752 A CN 201880084752A CN 111527744 A CN111527744 A CN 111527744A
Authority
CN
China
Prior art keywords
image
optical system
photosensitive region
light
focused light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880084752.7A
Other languages
English (en)
Other versions
CN111527744B (zh
Inventor
B.赫马林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN111527744A publication Critical patent/CN111527744A/zh
Application granted granted Critical
Publication of CN111527744B publication Critical patent/CN111527744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008Systems specially adapted to form image relays or chained systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本公开涉及多个视图光学系统。示例性光学系统包括被配置为从场景接收入射光的至少一个主光学元件以及光学地耦合到至少一个主光学元件的多个中继镜。光学系统还包括光学地耦合到多个中继镜的透镜,以及被配置为接收来自透镜的聚焦光的图像传感器。图像传感器包括第一感光区域和第二感光区域。主光学元件、多个中继镜和透镜与入射光相互作用以形成第一聚焦光部分和第二聚焦光部分。第一聚焦光部分在第一感光区域上形成场景的第一图像部分,且第二聚焦光部分在第二感光区域上形成场景的第二图像部分。

Description

用于低光和高光水平成像的单光学
相关申请的交叉引用
本申请要求于2017年12月28日提交的美国专利申请No.15/856,194的优先权,其全部内容通过引用合并于此。
背景技术
除非本文另外指出,否则本节中描述的材料不是本申请中的权利要求的现有技术,并且由于包含在本节中而不能承认是现有技术。
高动态范围成像可以通过捕获共同场景的多个图像帧来执行,每个图像帧具有不同的曝光条件。可以在色调映射过程中组合多个图像帧以提供高动态范围图像,该图像包括比基础图像传感器可能具有的更大动态范围上的共同场景的图像细节。
备选地,可以使用多个相机执行高动态范围成像,每个相机可以在相同或相似的时间捕获共同场景的图像。可以在色调映射过程中组合由多个相机捕获的图像。
然而,用于高动态范围成像的这些系统和方法可能需要较长的曝光时间(例如,以捕获多个图像)或复杂的硬件设置(例如,多个相机)。此外,常规技术可以包括在不同时间捕获多个图像。在这种情况下,当捕获快速变化的场景时,异步图像获取可能会带来挑战。
发明内容
本公开涉及具有光学系统的多个视图成像,该光学系统可以包括共同光路和单个图像传感器。该光学系统可以包括主光学元件和一个或多个反射中继表面,该一个或多个反射中继表面被配置为分离来自共同场景的入射光,以便入射在单个图像传感器上的两个不同的感光区域上。这样的光学系统可以提供高动态范围、高光谱感测或其他同步图像捕获操作,而无需较长的曝光时间或复杂的硬件。
在第一方面,提供了光学系统。该光学系统包括至少一个被配置为接收来自场景的入射光的主光学元件。光学系统还包括光学地耦合到至少一个主光学元件的多个中继镜。光学系统还包括光学地耦合到多个中继镜的透镜。该光学系统还包括被配置为接收来自透镜的聚焦光的图像传感器。图像传感器包括第一感光区域和第二感光区域。至少一个主光学元件、多个中继镜、和透镜的组合与入射光相互作用,以形成第一聚焦光部分和第二聚焦光部分。第一聚焦光部分在第一感光区域上形成场景的第一图像部分。第二聚焦光部分在第二感光区域上形成场景的第二图像部分。第一和第二感光区域不重叠。
在第二方面,提供了光学系统。该光学系统包括透镜主体,该透镜主体包括在透镜主体的远端处的开口。开口被配置为接收来自场景的光。光学系统还包括位于透镜主体内的主光学元件。光学系统还包括光学地耦合到主光学元件的多个中继镜。主光学元件被配置为将来自场景的光朝向多个中继镜反射。多个中继镜被配置为从来自场景的光形成中继光的各个部分。光学系统还包括光学地耦合到多个中继镜的透镜和具有第一感光区域和第二感光区域的图像传感器。透镜与中继光的各个部分相互作用,以形成第一聚焦光部分和第二聚焦光部分。第一聚焦光部分在第一感光区域上形成场景的第一图像部分,第二聚焦光部分在第二感光区域上形成场景的第二图像部分。第一和第二感光区域不重叠。该光学系统还包括具有存储器和至少一个处理器的控制器。控制器执行存储在存储器中的指令以执行操作。该操作包括在第一感光区域处接收第一聚焦光部分,并基于接收到的第一聚焦光部分来确定第一图像部分。该操作还包括在第二感光区域处接收第二聚焦光部分。该操作还包括基于接收到的第二聚焦光部分确定第二图像部分。该操作还包括基于第一图像部分和第二图像部分确定至少一个高动态范围图像。
通过在适当的情况下参考附图阅读以下详细描述,其他方面、实施例和实施方式对于本领域普通技术人员将变得显而易见。
附图说明
图1示出了根据示例实施例的光学系统。
图2A示出了根据示例实施例的光学系统。
图2B示出了根据示例实施例的光学系统。
图3示出了根据示例实施例的合成图像。
具体实施方式
本文描述了示例方法、设备和系统。应当理解,词语“示例”和“示例性”在本文中用来表示“用作示例、例子或说明”。本文中被描述为“示例”或“示例性”的任何实施例或特征不必被解释为比其他实施例或特征优选或有利。在不脱离本文所呈现的主题的范围的情况下,可以利用其他实施例,并且可以进行其他改变。
因此,本文描述的示例实施例并不意味着是限制性的。如本文大体上描述的以及在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计,所有这些在本文中都可以预期。
此外,除非上下文另有说明,否则在每个附图中示出的特征可以彼此结合使用。因此,在理解并非每个实施例都需要所有示例性特征的情况下,附图通常应被视为一个或多个总体实施例的组成部分。
1.概述
为了增加图像捕获系统的动态范围,可以提供光学设备,该光学设备创建相同场景的两个图像(例如,多个视图),但是具有在图像传感器的两个不同部分上的入射光的不同的光强度或其他不同的性质。光学装置可以是例如包括99%反射表面和1%反射表面的内部分束器(例如,全内部反射分束器)。来自这两个表面的反射可以创建入射到同一图像传感器上的同一场景的两个单独的图像,其中一个图像的光强度是另一图像的1%。在一些实施例中,可以使用防止光在图像传感器的不同区域之间渗出的装置(例如,挡光板)。
本公开提供了同一场景的多个视图。每个视图可以由相同的图像传感器基本上同时捕获,该图像传感器可以具有相对低的动态范围(与更高质量的图像传感器相比)。通过利用分光器和/或其他类型的反射光学元件,可以将同一场景的多个视图投影到同一图像传感器上。
在一些实施例中,场景的每个不同的视图可以与不同的滤镜(例如,中性密度、偏振、颜色等)相互作用。可以有利地利用这样的系统来提供颜色、偏振等之间的期望的视差。
尽管设想了这种图像捕获系统的各种应用,但是特定的应用可以包括由自主和/或半自主车辆利用的成像系统。即,在驾驶场景中,车辆可能会遇到高动态范围照明条件(明亮的太阳和相对昏暗的交通灯、或者漆黑的夜晚和明亮的迎面大灯)。这样,本文所述的单光学、多视图光学系统可以结合到车辆中(例如,耦合到车辆的外表面或内表面),并且可以操作以提供物体、危险和/或车辆环境中的其他特征的更好和/或更可靠的识别。
2.光学系统示例
图1示出了根据示例实施例的光学系统100。光学系统100包括主光学元件110。主光学元件110被配置为接收来自场景的入射光101。
在示例实施例中,光学系统100可以包括车辆。在这种情况下,光学系统100的至少一些其他元件可以位于车辆上或车辆内部,所述车辆可以包括半自动或全自动汽车。例如,光学系统100的一些元件可以固定地或可移除地耦合到车辆的车顶、后视镜、前、侧、后或任何其他外部。附加地或可替代地,光学系统100的一些元件可以耦合到车辆的内表面或一部分。在示例实施例中,光学系统100的一些元件可以完全或部分地耦合到车辆的内部客舱,并且可以被布置成具有相对于车辆的行驶方向的向前的视野。可以预期其他附接位置和/或视野取向。
光学系统100还包括光学地耦合到主光学元件110的多个中继镜120。光学系统100另外还包括光学地耦合到多个中继镜120的透镜130。进一步地,光学系统100包括配置为接收来自透镜130的聚焦光的图像传感器140。
在一些实施例中,主光学元件110可以包括反射表面(例如,诸如镜子),该反射表面可以以期望的方式(例如,朝向多个中继镜120)反射入射光101。在示例实施例中,主光学元件110可以沿透镜镜筒的内壁以环形布置设置在透镜镜筒内或透镜主体内。在这种情况下,主光学元件110的反射表面可以成一定角度,以将入射光101反射向多个中继镜120。然而,主光学元件110的其他布置或布置是可能的并且可以预期。此外,虽然本公开中的一些实施例可以包括单个主光学元件,但是其他实施例可以包括多个主光学元件。尽管本文将主光学元件110描述为可能包括一个或多个反射表面,但应理解,主光学元件110可以是被配置为将入射光导向多个中继镜120的另一种类型的光学元件。因此,主光学元件110可以包括一个或多个光纤、棱镜、波导、透镜、以及其他可能性。
在一些示例中,主光学元件110和多个中继镜120可以围绕共同光轴布置。在这种情况下,主光学元件110可以包括配置为向多个中继镜120反射光的成角度的环形镜表面。
多个中继镜120可以包括各个反射表面,各个反射表面可以被配置为将中继光(例如,第一中继光103和第二中继光104)的各个部分导向透镜130。
在一些实施例中,多个中继镜120和主光学元件110的各个反射表面可以形成有金属涂层或高反射(high-reflection,HR)电介质涂层(例如,交替的高折射率和低折射率材料的周期性堆叠)。在一些情况下,抗反射(anti-reflection,AR)涂层可以被施加到本公开中描述的各个反射表面和/或其他光学元件。
图像传感器140包括第一感光区域142和第二感光区域144。图像传感器140的各个感光区域可以包括多个感光元件(例如,像素)。在这种情况下,多个像素中的至少一个像素可以包括:互补金属氧化物半导体(complementary metal-oxide semiconductor,CMOS)传感器、电荷耦合器件(charge-coupled device,CCD)传感器、硅光电倍增器(siliconphotomultiplier,SiPM)、单光子雪崩检测器(single photon avalanche detector,SPAD)或雪崩光电导体。关于本公开,其他类型的感光元件、或更一般地电磁光谱敏感元件(例如,微测辐射热计)是可能的并且被预期的。
第一感光区域142可以包含第一多个像素,且第二感光区域144可以包含第二多个像素。在一些实施例中,第三多个像素可以布置在第一多个像素和第二多个像素之间。即,第三多个像素可以包括在第一感光区域142和第二感光区域144之间的中间区域中的、图像传感器140的像素。
在一些实施例中,与要成像的场景相比,图像传感器140可以包括相对低动态范围的图像传感器。在这种情况下,场景可能包括跨多个八度的宽动态范围,甚至可能是不连续的。例如,该场景在场景的一个区域中的范围可以是5-1000lux,而在场景的其他区域中的范围可以是5000-6000lux。作为示例,场景的明亮部分可以对应于白天的明亮天空。在这种情况下,场景的相对暗淡部分可能对应于阴影地面或其他暗的物体。将理解的是,其他光水平是可能的并且在本文中被预期。
在示例实施例中,主光学元件110、多个中继镜120和透镜130的组合与入射光101相互作用,以形成第一聚焦光部分105和第二聚焦光部分106。第一聚焦光部分105在第一感光区域142上形成场景的第一图像部分。第二聚焦光部分106在第二感光区域144上形成场景的第二图像部分。第一感光区域142和第二感光区域144不重叠。
在一些实施例中,多个中继镜120包括第一反射表面和第二反射表面。在这种情况下,第一感光区域142通过第一反射表面接收第一聚焦光部分105,且第二感光区域144通过第二反射表面接收第二聚焦光部分106。在一些情况下,第一反射表面比第二反射表面可以具有更高的反射率,反之亦然。
在一些示例中,光学系统100可以包括在第一感光区域142和第二感光区域144之间的挡光板160。挡光板160可以包括例如配置为吸收光或遮挡光的不透明材料。挡光板160可以位于第一感光区域142和第二感光区域144之间。在这种情况下,挡光板160可以包括在各个感光区域之间的壁部分。然而,挡光板160可以采用其他形状和形式。
在各个实施例中,第一聚焦光部分105具有第一光强度,且第二聚焦光部分106具有第二光强度。在这种情况下,第一光强度可以是第二光强度的至少十倍。例如,第二光强度可以是第一光强度的大约百分之一。在本公开中,其他更小和更大的光强度差也是可能的并且是预期的。
在光学系统100耦合至车辆的场景中,图像传感器140可用于捕获车辆环境的至少部分的图像。
光学系统100还可以包括控制器150。在示例实施例中,控制器150可以包括至少一个处理器152和存储器154。控制器150。控制器150可以包括设置在车辆上的计算机、外部计算机或移动计算平台(诸如智能手机、平板设备、个人计算机、可穿戴设备等)。另外或替代地,控制器150可包括或连接到远程计算机系统(例如云服务器)。在示例实施例中,控制器150可以被配置为执行作为本文所述的各种框或步骤的一些或全部操作。
作为示例,至少一个处理器152可以执行存储在存储器154中的指令,以便执行某些操作。该操作可以包括本文描述的功能、块或步骤中的一些或全部。在一些实施例中,不同的计算设备或控制器可以以各种组合来执行本文描述的各种功能、框或步骤。
该操作可以包括在第一感光区域142处接收第一聚焦光部分105。换句话说,来自场景的一部分入射光101可以被主光学元件110反射为朝向多个中继镜120中的至少一个中继镜的反射光102。该至少一个中继镜可以将第一中继光103朝向透镜130反射。第一中继光103和透镜130之间的相互作用可以形成第一聚焦光部分105。第一聚焦光部分105可以被导向和/或入射在第一感光区域142上。在第一感光区域142处接收第一聚焦光部分105可以包括致动物理的(机械的)快门和/或触发与第一感光区域142相对应的电子快门。
该操作还可以包括基于接收到的第一聚焦光部分105确定第一图像部分。换句话说,图像传感器140和控制器150可以基于在第一感光区域142处接收的光来形成第一图像部分。
该操作可以另外包括在第二感光区域处接收第二聚焦光部分106。换句话说,来自场景的入射光101的部分可以被主光学元件110反射为朝向多个中继镜120中的至少一个中继镜的反射光102。至少一个中继镜可以朝向透镜130反射第二中继光104。第二中继光104与透镜130之间的相互作用可以形成第二聚焦光部分106。第二聚焦光部分106可以被导向和/或入射到第二感光区域144上。在第二感光区域144处接收第二聚焦光部分106可以包括致动物理(机械)快门和/或触发与第二感光区域144相对应的电子快门。
该操作还可以包括:基于接收到的第二聚焦光部分106确定第二图像部分。换句话说,图像传感器140和控制器150可以基于在第二感光区域144处接收的光形成第二图像部分。
在示例实施例中,图像传感器140可以被配置为基本上同时获取第一图像部分和第二图像部分。即,可以在与第二图像部分相同的时间段上获取第一图像部分。可替代地,可以在与获取第二图像部分的时间段部分重叠的时间段内获取第一图像部分。换句话说,第一图像部分和第二图像部分可以但不必在各个不重叠时间段期间获取。
在示例实施例中,第一图像部分和第二图像部分可以包括关于基本共同的场景的信息,并且可以被存储为图像数据文件。可以以诸如RAW、JPEG、TIF、图形交换格式(Graphical Interchange Format,GIF)、MPEG的图像文件格式或另一种图像文件格式来布置图像数据文件。
该操作还包括基于第一图像部分和第二图像部分确定至少一个高动态范围图像。
第一图像部分、第二图像部分和/或至少一个高动态范围图像可被存储在存储器154中。另外地或可替代地,第一图像部分、第二图像部分和/或至少一个高动态范围图像可以在其他地方传输和/或存储。
在一些实施例中,光学系统100可以附加地或替代地包括至少一个滤光器。所述至少一个滤光器可以包括以下中的至少一个:中性密度滤光器、偏振滤光器、光谱滤光器、带通滤光器、低通滤光器或高通滤光器。在本公开中预期了其他类型的透射或反射滤光器或被配置为与光相互作用的光学元件。
在这种情况下,所述至少一个滤光器可以被配置为过滤以下中的至少一个:第一聚焦光部分或第二聚焦光部分。
此外,至少一个滤光器可以光学地耦合至以下中的至少一个:图像传感器、透镜、至少一个主光学元件或多个中继镜。
图2A和2B示出了根据示例实施例的光学系统200。首先参考图2A,光学系统200可以包括被配置为保护和/或容纳光学系统200的至少一些元件的主体。例如,主体的部分可以包括透镜主体212。
镜片主体212的部分可以包括开口213。开口213可以在镜片主体212的远端。开口213可以被配置、定位和/或成形以接收来自场景280的光。场景280可以是光学系统200以外的部分环境。即,场景280可以包括光学系统200的视场。
光学系统200还可以在透镜主体212内包括主光学元件210。在一些实施例中,主光学元件210可以包括反射表面(例如,表面210a和210b)。
光学系统200另外可以包括在透镜主体212内的多个中继镜220和至少一个透镜230。多个中继镜220光学地耦合到主光学元件210和至少一个透镜230。例如,从主光学元件210的表面210a反射的入射光可以被导向多个中继镜220的第一中继镜表面220a并与之相互作用。同样,从主光学元件210的表面210b反射的入射光可以被导向多个中继镜220中的第二中继镜220b。虽然在图2A和图2B中示出了仅两个“成对”的主光学元件表面和中继镜,但是应当理解,主光学元件表面和中继镜的另外的“对”在本公开的上下文中是可能的并且被预期的。
在一些实施例中,表面220a和表面220b的各个反射特性可以不同。例如,表面220a可以具有接近1(例如0.98)的归一化反射率,而表面220b可以具有0.02的归一化反射率。将理解的是,表面220a和表面220b可以具有在1和0之间的变化的归一化反射率值。此外,表面220a和表面220b的各个反射率值可以基于入射光的特性(诸如波长或偏振)而变化。例如,表面220a或表面220b中的至少一个可以被配置为以与其他波长或光波段相比不同的反射率值反射期望的波长或光波段。由于表面220a和表面220b的反射率值不同,因此可以将不同的反射光强度提供给图像传感器240的各个部分。
例如,主光学元件210和/或多个中继镜220可以相对于光学系统200的光轴270以连续或不连续的环形布置来布置。例如,主光学元件210可以包括向内倾斜的连续曲面镜,以便向光轴和多个中继镜220反射入射光。类似地,多个中继镜220可包括与光轴270成一定角度的连续表面或不连续表面集,以将光反射向透镜230。
光学系统200包括图像传感器240。图像传感器240可以包括第一感光区域240a和第二感光区域240b。在示例实施例中,第一感光区域240a和第二感光区域240b在空间上不重叠。
图像传感器240可以包括以下中的至少一个:CMOS传感器、CCD传感器、硅光电倍增管(SiPM)、单光子雪崩检测器(SPAD)或雪崩光电导体。此外,图像传感器240可以包括感光器件或像素的阵列。如本文其他地方所述,图像传感器240可以被配置为在基本上相同的时间段上从第一感光区域240a和第二感光区域240b捕获图像。在示例实施例中,在图像捕获时段期间,与第二感光区域240b相比,可以使用不同的增益设置(例如,ISO或感光度)来操作第一感光区域240a。本文中预期了在第一感光区域240a和第二感光区域240b之间调节曝光的其他方式。
在示例实施例中,多个中继镜220可以光学地耦合到主光学元件210。另外,主光学元件210可以被配置为将来自场景280的光朝向多个中继镜220反射。在这种情况下,多个中继镜220被配置为从来自场景280的光形成中继光的各个部分。中继光可以被导向透镜230。在一些实施例中,透镜230可以被配置为将中继光聚焦在图像传感器240上和/或将中继光导向图像传感器240。
在一些实施例中,光学系统200可以包括挡光板260。挡光板260可以包括一个或多个吸收光的“壁”或部分。挡光板260可以设置在第一感光区域240a和第二感光区域240b之间。挡光板260可以被配置为在图像传感器240的各个感光区域之间或光学系统200的各部分之间防止杂散光“泄漏”。另外或可替代地,光学系统200可以包括被配置为减少杂散光、修改或整形光场、和/或减少重影反射的其他元件。这样的其他元件可以包括另外的挡板、挡块、镜子、透镜、涂层、光导、光纤或其他光学材料。
在一些实施例中,光学系统200可以包括滤光镜272。尽管图2A和图2B将滤光镜272示为在透镜主体212的远端附近,但是滤光镜272的其他位置也是可能的,并且在本文中被预期的。例如,滤光器272可以被耦合到主光学元件210的一个或多个表面和/或多个中继镜220的一个或多个表面。在一些实施例中,滤光器272可以与第一感光区域240a接收的光而不是第二感光区域240b接收的光相互作用,或反之亦然。
图2B示出了根据示例实施例的光学系统200。图2B类似于图2A,但是还示出了近似光学系统200中的某些光路的示例光线。
开口213可以被配置为接收来自场景280的入射光。尽管入射光可以通过开口213的整个区域进入透镜主体212,但是为了清楚起见,这里示出了仅入射光的两个部分——第一入射光部分201a和第二入射光部分201b。将理解的是,其他入射光部分可以被光学系统200接收,并且本公开预期了所有其他这样的部分。
在示例实施例中,第一入射光部分201a可以与主光学元件210相互作用。例如,第一入射光部分201a可以被表面210a反射并且作为反射光202a被导向多个中继镜220。即,反射光202a可以与第一中继镜表面220a相互作用。
在这种情况下,第一中继镜表面220a可以将光作为中继光部分203a朝向透镜230反射。透镜230可以与中继光部分203a相互作用,以便聚焦中继光部分203a以提供第一聚焦光部分204a。第一聚焦光部分204a可以被导向图像传感器240的第一感光区域240a。
类似地,第二入射光部分201b可以与主光学元件210相互作用。例如,第二入射光部分201b可以被表面210b反射,并作为反射光202b被导向多个中继镜220。反射光202b可以与第二中继镜表面220b相互作用。
在这种情况下,第二中继镜表面220b可以将光作为中继光部分203b朝向透镜230反射。透镜230可以与中继光部分203b相互作用,以聚焦中继光部分203b并形成第二聚焦光部分204b。第二聚焦光部分204b可以被导向图像传感器240的第二感光区域240b。
第一聚焦光部分204a可以在第一感光区域240a上形成场景280的第一图像部分,且第二聚焦光部分204b可以在第二感光区域240b上形成场景280的第二图像部分。在一些实施例中,第一聚焦光部分204a可以具有第一光强度,且第二聚焦光部分204b可以具有第二光强度。在这种情况下,第一光强度是第二光强度的至少十倍。相应地,与第二图像部分相比,第一图像部分可以表示场景280的明亮得多的图像。
在一些实施例中,光学系统200可包括控制器(图2A或图2B中未示出)。该控制器可以包括存储器和至少一个处理器。控制器执行存储在存储器中的指令以执行操作。该操作可以包括在第一感光区域240a处接收第一聚焦光部分204a。该操作还可以包括基于接收到的第一聚焦光部分204a来确定第一图像部分。该操作还包括在第二感光区域240b处接收第二聚焦光部分204b。该操作还可以包括基于接收到的第二聚焦光部分204b来确定第二图像部分。
在示例实施例中,控制器可用于基于第一图像部分和第二图像部分确定至少一个高动态范围图像。例如,基于第一图像部分和第二图像部分确定至少一个高动态范围图像可以包括应用以下中的至少一个:非线性色调映射算法、非线性辐射映射算法、或颜色外观模型。将理解的是,组合第一图像部分和第二图像部分以提供高动态范围图像的其他方式也是可行的。例如,与第一图像部分或第二图像部分相比,高动态范围图像可包括更少的曝光不足或过度曝光的区域。在图像的某些区域中或在某些操作条件下,高动态范围图像可以提供比第一图像部分或第二图像部分更大的细节。例如,高动态范围图像可以在非常明亮的(例如,充满阳光、直视太阳、主动照明的场景等)或非常黑暗(夜晚)的成像场景中提供更高质量的物体识别信息。也可以预期其他高动态范围的场景,诸如具有明亮的头灯的夜晚场景或具有相对暗淡的交通信号灯的明亮的白天场景。即,第一图像部分和第二图像部分可以以提供更可靠或更不模糊的物体识别信息的方式被组合或以其他方式被利用。
将理解的是,尽管本文描述了“第一图像部分”和“第二图像部分”及其组合,但是其他数量的图像和/或图像部分也是可能的。例如,可以利用图像传感器240上的多个感光区域,以便提供相应的多个图像部分。多个图像部分中的至少一些图像部分可以被组合以形成高动态范围图像。
此外,尽管预期同时捕获第一图像部分和第二图像部分的图像,但是其他图像捕获序列也是可能的。例如,可以在不同的照明或图像捕获(例如,曝光)条件下在不同时间捕获第一图像部分和第二图像部分。而且,在本公开的范围内预期了突发成像模式。即,可以在图像突发(例如,以快速的时间连续性捕获的图像)中捕获多个图像。多个图像中的至少一些可以被组合以提供本文所述的高动态范围图像。附加地或替代地,本文描述的系统和操作可以提供多个高动态范围图像,诸如高动态范围图像集或视频流。
图3示出了根据示例实施例的合成图像300。合成图像300包括第一图像部分310和第二图像部分320。第一图像部分310可以包括室外场景的通常过度曝光的图像。第二图像部分320可以包括室外场景的通常曝光不足的图像。换句话说,合成图像300可以包括处于合成图像300中的不同不重叠位置的第一图像部分310和第二图像部分320。可替代地或另外地,合成图像300可以包括至少部分重叠的第一图像部分310第二图像部分320。
如本文所述,来自第一图像部分310和第二图像部分320的信息可以被组合或以其他方式被操纵以提供高动态范围图像。例如,在当前场景中,高动态范围图像可以提供用于照明的交通信号灯的准确的颜色信息、在第一图像部分310的过度曝光区域中增加的细节、以及在第二图像部分310的曝光不足区域中的增加的细节。本文预期了通过组合或以其他方式利用同一场景的多个图像来获得高动态范围信息的其他方式。
附图中所示的特定布置不应视为限制性的。应当理解,其他实施例可以包括给定附图中所示的每个元件的更多或更少。此外,一些示出的元件可以被组合或省略。更进一步,说明性实施例可以包括图中未示出的元件。
代表信息处理的步骤或块可以对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。替代地或附加地,表示信息处理的步骤或块可以对应于模块、段、物理计算机(例如,现场可编程门阵列(field programmable gate array,FPGA)或专用集成电路(application-specific integrated circuit,ASIC))或程序代码的一部分(包括相关数据)。程序代码可以包括处理器可执行的一个或多个指令,用于在该方法或技术中实现特定的逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质(诸如包括磁盘、硬盘驱动器或其他存储介质的存储设备)。
计算机可读介质还可以包括非暂时性计算机可读介质,诸如存储短时间数据的计算机可读介质,例如寄存器存储器、处理器高速缓存和随机存取存储器(random accessmemory,RAM)。所述计算机可读介质还可以包括将程序代码和/或数据存储更长的时间的非暂时性计算机可读介质。因此,计算机可读介质可以包括二级或永久长期存储,例如只读存储器(read only memory,ROM)、光盘或磁盘、光盘只读存储器(compact-disc read onlymemory,CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质、或有形存储设备。
尽管已经公开了各种示例和实施例,但是其他示例和实施例对于本领域技术人员将是显而易见的。各种公开的示例和实施例是出于说明的目的,而不是意图限制,真实的范围由所附权利要求指示。

Claims (20)

1.一种光学系统,包括:
至少一个主光学元件,被配置为接收来自场景的入射光;
光学地耦合到所述至少一个主光学元件的多个中继镜;
光学地耦合到所述多个中继镜的透镜;和
图像传感器,被配置为接收来自透镜的聚焦光,其中图像传感器包括第一感光区域和第二感光区域,其中:所述至少一个主光学元件、所述多个中继镜、所述透镜的组合与所述入射光相互作用以形成第一聚焦光部分和第二聚焦光部分,其中所述第一聚焦光部分在所述第一感光区域上形成场景的第一图像部分,且其中所述第二聚焦光部分在所述第二感光区域上形成场景的第二图像部分,其中所述第一感光区域和所述第二感光区域不重叠。
2.根据权利要求1所述的光学系统,其中,所述光学系统还包括车辆,并且其中,所述图像传感器可操作以捕获所述车辆的环境的至少部分的图像。
3.根据权利要求1所述的光学系统,其中所述第一聚焦光部分具有第一光强度,并且其中所述第二聚焦光部分具有第二光强度。
4.根据权利要求3所述的光学系统,其中,所述第一光强度是所述第二光强度的至少十倍,或者其中,所述第二光强度为所述第一光强度的大约百分之一。
5.根据权利要求1所述的光学系统,其中,所述图像传感器包括多个像素,其中,所述多个像素中的至少一个像素包括:CMOS传感器、CCD传感器、硅光电倍增管(SiPM)、单光子雪崩检测器(SPAD)或雪崩光电导体。
6.根据权利要求1所述的光学系统,其中,所述至少一个主光学元件和所述多个中继镜围绕共同光轴布置。
7.根据权利要求6所述的光学系统,其中,所述至少一个主光学元件包括环形镜表面,所述环形镜表面被配置为朝着所述多个中继镜反射光。
8.根据权利要求1所述的光学系统,其中,所述多个中继镜包括第一反射表面和第二反射表面,其中,所述第一感光区域通过第一反射表面接收第一聚焦光部分,且所述第二感光区域通过第二反射表面接收第二聚焦光部分。
9.根据权利要求8所述的光学系统,其中所述第一反射表面比所述第二反射表面具有更高的反射率。
10.根据权利要求1所述的光学系统,还包括在所述第一感光区域和所述第二感光区域之间的挡光板。
11.根据权利要求1所述的光学系统,其中,所述第一感光区域包括第一多个像素,并且所述第二感光区域包括第二多个像素,并且其中,第三多个像素布置在所述第一多个像素和第二多个像素之间。
12.根据权利要求1所述的光学系统,还包括控制器,其中,所述控制器执行指令以执行操作,所述操作包括:
在所述第一感光区域处接收第一聚焦光部分;
基于接收到的第一聚焦光部分确定第一图像部分;
在所述第二感光区域处接收第二聚焦光部分;
基于接收到的第二聚焦光部分确定第二图像部分;和
基于所述第一图像部分和所述第二图像部分确定至少一个高动态范围图像。
13.根据权利要求1所述的光学系统,还包括至少一个滤光器,其中,所述至少一个滤光器包括以下中的至少一个:中性密度滤光器、偏振滤光器、光谱滤光器、带通滤光器、低通滤光器或高通滤光器。
14.根据权利要求13所述的光学系统,其中,所述至少一个滤光器被配置为对以下中的至少一个进行滤光:所述第一聚焦光部分或所述第二聚焦光部分。
15.根据权利要求13所述的光学系统,其中,所述至少一个滤光器耦合至以下中的至少一个:所述图像传感器、所述透镜、所述至少一个主光学元件、或所述多个中继镜。
16.一种光学系统,包括:
透镜主体,包括在透镜主体的远端处的开口,其中,该开口被配置为接收来自场景的光;
所述透镜主体内的主光学元件;
光学地耦合到所述主光学元件的多个中继镜,其中所述主光学元件被配置为将来自场景的光朝向所述多个中继镜反射,其中所述多个中继镜被配置为从来自场景的光形成中继光的各个部分。
光学地耦合到所述多个中继镜的透镜;
具有第一感光区域和第二感光区域的图像传感器,其中所述透镜与中继光的各个部分相互作用,以形成第一聚焦光部分和第二聚焦光部分,其中所述第一聚焦光部分在所述第一感光区域上形成场景的第一图像部分,并且其中所述第二聚焦光部分在所述第二感光区域上形成场景的第二图像部分,其中所述第一和第二感光区域不重叠;和
控制器,包括存储器和至少一个处理器,其中,所述控制器执行存储在所述存储器中的指令以执行操作,所述操作包括:
在所述第一感光区域处接收第一聚焦光部分;
基于接收到的第一聚焦光部分确定第一图像部分;
在所述第二感光区域处接收第二聚焦光部分;
基于接收到的第二聚焦光部分确定第二图像部分;和
基于所述第一图像部分和所述第二图像部分确定至少一个高动态范围图像。
17.根据权利要求16所述的光学系统,其中,所述第一聚焦光部分具有第一光强度,并且其中,所述第二聚焦光部分具有第二光强度,其中,所述第一光强度是所述第二光强度的至少十倍。
18.根据权利要求17所述的光学系统,其中基于所述第一图像部分和所述第二图像部分确定至少一个高动态范围图像包括应用以下中的至少一个:非线性色调映射算法、非线性辐射映射算法、或颜色外观模型。
19.根据权利要求16所述的光学系统,其中,所述图像传感器包括以下中的至少一个:CMOS传感器、CCD传感器、硅光电倍增管(SiPM)、单光子雪崩检测器(SPAD)或雪崩光电导体。
20.根据权利要求16所述的光学系统,还包括在所述第一感光区域和所述第二感光区域之间的挡光板。
CN201880084752.7A 2017-12-28 2018-12-18 用于低光和高光水平成像的单光学系统 Active CN111527744B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/856,194 2017-12-28
US15/856,194 US10473903B2 (en) 2017-12-28 2017-12-28 Single optic for low light and high light level imaging
PCT/US2018/066335 WO2019133348A1 (en) 2017-12-28 2018-12-18 Single optic for low light and high light level imaging

Publications (2)

Publication Number Publication Date
CN111527744A true CN111527744A (zh) 2020-08-11
CN111527744B CN111527744B (zh) 2022-05-17

Family

ID=67059488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084752.7A Active CN111527744B (zh) 2017-12-28 2018-12-18 用于低光和高光水平成像的单光学系统

Country Status (10)

Country Link
US (3) US10473903B2 (zh)
EP (1) EP3718299A4 (zh)
JP (1) JP7080328B2 (zh)
KR (2) KR102480618B1 (zh)
CN (1) CN111527744B (zh)
AU (1) AU2018395952B2 (zh)
CA (1) CA3086679A1 (zh)
IL (1) IL275604A (zh)
SG (1) SG11202005739PA (zh)
WO (1) WO2019133348A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702537A (zh) * 2020-12-25 2021-04-23 上海科技大学 基于反照率差的高动态范围环境光动态采集系统
CN115023941A (zh) * 2020-09-29 2022-09-06 索尼集团公司 用于提高摄影机灵敏度和相同视角的匹配的光学装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473903B2 (en) 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging
US10892287B2 (en) * 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
KR102343216B1 (ko) 2021-04-29 2021-12-27 (주)티에이치엔 플랫 케이블 연결 디바이스

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365861A (zh) * 2009-04-01 2012-02-29 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
US20140267722A1 (en) * 2013-03-15 2014-09-18 Lawrence Livermore National Security, Llc Integrated telescope assembly
CN105390515A (zh) * 2015-10-13 2016-03-09 青岛中科软件股份有限公司 一种图像传感器
US20160306149A1 (en) * 2015-02-02 2016-10-20 Visionmap Ltd. Cassegrain telescope with angled reflector

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009651B2 (en) 2000-10-12 2006-03-07 Amnis Corporation System and method for high numeric aperture imaging systems
US20020141002A1 (en) * 2001-03-28 2002-10-03 Minolta Co., Ltd. Image pickup apparatus
US20030048493A1 (en) 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP4591063B2 (ja) * 2004-12-07 2010-12-01 ソニー株式会社 撮像装置および撮像方法
US8008641B2 (en) * 2007-08-27 2011-08-30 Acushnet Company Method and apparatus for inspecting objects using multiple images having varying optical properties
KR100958569B1 (ko) 2008-05-30 2010-05-17 주식회사 도담시스템스 레이저 다이오드 및 반사 거울을 이용한 휴대용 야간 감시카메라
US20100073499A1 (en) * 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
JP5446521B2 (ja) * 2009-07-06 2014-03-19 株式会社リコー 撮像装置
US8598559B2 (en) 2010-07-21 2013-12-03 Northrop Grumman Systems Corporation Systems and methods for beam splitting for imaging
DE102011008406A1 (de) 2011-01-12 2012-07-12 Udo Riss Schnell koppelnde Biomoleküle
JP2012208209A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 立体映像撮像装置
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
DE102011080407A1 (de) * 2011-08-04 2013-02-07 Robert Bosch Gmbh Kameravorrichtung zum Erzeugen eines digitalen Bildes und Verfahren zum Betrieb der Kameravorrichtung
US9110293B2 (en) * 2011-10-17 2015-08-18 Manufacturing Techniques, Inc. Prismatic image replication for obtaining color data from a monochrome detector array
WO2013185784A1 (en) 2012-06-11 2013-12-19 Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) Imaging system and method for imaging an object
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
US8988539B1 (en) 2013-09-27 2015-03-24 The United States Of America As Represented By Secretary Of The Navy Single image acquisition high dynamic range camera by distorted image restoration
CA2902675C (en) 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
WO2016137238A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Processing multi-aperture image data
US9661234B2 (en) * 2015-07-16 2017-05-23 Pixart Imaging (Penang) Sdn. Bhd. Image processing method and image processing system assigning different gains to different sections
US9934418B2 (en) * 2015-12-03 2018-04-03 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector
US9967547B2 (en) * 2016-06-08 2018-05-08 Qualcomm Incorporated Wafer level optics for folded optic passive depth sensing system
US10473903B2 (en) 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365861A (zh) * 2009-04-01 2012-02-29 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
US20140267722A1 (en) * 2013-03-15 2014-09-18 Lawrence Livermore National Security, Llc Integrated telescope assembly
US20160306149A1 (en) * 2015-02-02 2016-10-20 Visionmap Ltd. Cassegrain telescope with angled reflector
CN105390515A (zh) * 2015-10-13 2016-03-09 青岛中科软件股份有限公司 一种图像传感器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115023941A (zh) * 2020-09-29 2022-09-06 索尼集团公司 用于提高摄影机灵敏度和相同视角的匹配的光学装置
US11933991B2 (en) 2020-09-29 2024-03-19 Sony Group Corporation Optical apparatus for improving camera sensitivity and matching of identical perspectives
CN112702537A (zh) * 2020-12-25 2021-04-23 上海科技大学 基于反照率差的高动态范围环境光动态采集系统
CN112702537B (zh) * 2020-12-25 2022-06-28 上海科技大学 基于反照率差的高动态范围环境光动态采集系统

Also Published As

Publication number Publication date
KR20200091952A (ko) 2020-07-31
KR20220032130A (ko) 2022-03-15
US20210255443A1 (en) 2021-08-19
CN111527744B (zh) 2022-05-17
US20190204572A1 (en) 2019-07-04
AU2018395952B2 (en) 2021-03-11
EP3718299A1 (en) 2020-10-07
SG11202005739PA (en) 2020-07-29
JP7080328B2 (ja) 2022-06-03
EP3718299A4 (en) 2021-03-10
CA3086679A1 (en) 2019-07-04
KR102480618B1 (ko) 2022-12-26
US20200049965A1 (en) 2020-02-13
WO2019133348A1 (en) 2019-07-04
JP2021509556A (ja) 2021-03-25
AU2018395952A1 (en) 2020-07-16
IL275604A (en) 2020-08-31
US11675174B2 (en) 2023-06-13
US11002949B2 (en) 2021-05-11
KR102372749B1 (ko) 2022-03-10
US10473903B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN111527744B (zh) 用于低光和高光水平成像的单光学系统
US9906706B2 (en) Image sensor and imaging device
CN109416475B (zh) 分束扩展的动态范围图像捕获系统
US10132971B2 (en) Vehicle camera with multiple spectral filters
WO2012057622A1 (en) System and method for imaging using multi aperture camera
JP6547073B2 (ja) 改善されたオートフォーカス性能を有する撮像装置
CN110365878A (zh) 一种摄像装置和方法
US10063795B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
KR20170055163A (ko) 영상 촬영 장치 및 이의 제어 방법
WO2005101852A1 (ja) ハイライト抑制画像撮影装置
JP7191597B2 (ja) 撮像装置及びそれを備える監視システム、制御方法並びにプログラム
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN113170062A (zh) 成像装置和固态成像装置
JP6910881B2 (ja) 撮像装置、及びその制御方法
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
JP2022179259A (ja) 光束分離光学系および画像処理装置
CN115735142A (zh) 用于场景成像的系统
JP2016004133A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
FR2783613A1 (fr) Appareil de prise de vues et dispositif de reglage d'exposition automatique
JP2005086241A (ja) 撮像装置
JP2006352535A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant