CN114827451A - 具有电子快门的成像系统 - Google Patents

Abstract

本公开涉及具有电子快门的成像系统。在实施例中一种成像系统可包括电子快门。该电子快门可以定位在图像传感器与透镜模块之间，或者可以集成为该图像传感器的封装盖。该电子快门可以选择性地衰减传递到该图像传感器的入射光。为了增加该成像系统的动态范围，当图像传感器捕获第一图像时，该电子快门可以具有第一透明度，并且当图像传感器捕获第二图像时，该电子快门可以具有不同的第二透明度。随后将该第一图像和该第二图像组合以形成单个高动态范围图像。可以全局水平、子阵列水平或像素水平控制该电子快门。

Description

具有电子快门的成像系统

本申请要求于2021年1月19日提交的临时专利申请63/138,918的权益，该临时专利申请据此全文以引用的方式并入本文。

技术领域

本发明整体涉及成像系统，并且更具体地讲，涉及具有带高动态范围功能的图像传感器像素的成像设备。

背景技术

图像传感器常常在诸如移动电话、相机和计算机的电子设备中用来捕获图像。典型的图像传感器包括图像像素，图像像素包括光电二极管，用于响应于入射光来生成电荷。图像传感器可使用全局快门方案或卷帘快门方案进行操作。在全局快门方案中，图像传感器中的每个图像像素同时捕获图像，而在卷帘快门中，每行图像像素依次捕获图像。

图像传感器具有相关联的动态范围，该动态范围被表示为在单个图像中图像传感器的最大可能亮度值和最小可能亮度值的比率。图像传感器的动态范围有时低于期望值。

附图说明

图1A是根据一个实施方案的具有图像传感器的例示性电子设备的示意图。

图1B是根据一个实施方案的具有成像系统的例示性车辆的示意图。

图2是根据一个实施方案的用于读出图像传感器中的图像信号的例示性像素阵列和相关联的读出电路的示意图。

图3是根据一个实施方案的例示性电子快门的横截面侧视图。

图4是根据一个实施方案的具有电子快门的例示性成像系统的示意图。

图5A是根据一个实施方案的具有插置在图像传感器与透镜模块之间的电子快门的成像系统的横截面侧视图。

图5B是根据一个实施方案的具有插置在图像传感器和电子快门之间的透镜模块的成像系统的横截面侧视图。

图5C是根据一个实施方案的具有电子快门的成像系统的横截面侧视图，该电子快门形成图像传感器封装的前盖。

图6是根据一个实施方案的具有形成封装盖的电子快门的例示性图像传感器封装的横截面侧视图，该电子快门被全局控制并且通过气隙与图像传感器管芯分开。

图7是根据一个实施方案的具有形成封装盖的电子快门的例示性图像传感器封装的横截面侧视图，该电子快门被划分为子阵列尺寸的区段并且通过气隙与图像传感器管芯分开。

图8是根据一个实施方案的具有形成封装盖的电子快门的例示性图像传感器封装的横截面侧视图，该电子快门被全局控制并且通过透明粘合剂与图像传感器管芯分开。

图9是根据一个实施方案的具有插置在像素微透镜与滤色器阵列之间的电子快门的例示性图像传感器封装的横截面侧视图。

图10是根据一个实施方案的用于操作具有电子快门的成像系统的例示性方法步骤的流程图。

具体实施方式

本发明的技术涉及图像传感器。本领域的技术人员应当理解，本发明的例示性实施方案可在不具有一些或所有这些具体细节的情况下实践。在其他情况下，为了避免不必要地模糊本发明的实施方案，未详细描述众所周知的操作。

诸如数码相机、计算机、蜂窝电话和其他电子设备的电子设备可包括图像传感器，该图像传感器收集传入的光以捕获图像。图像传感器可包括像素阵列。图像传感器中的像素可包括将传入的光转换成图像信号的光敏元件，诸如光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如用于操作像素的电路)和用于读出与由光敏元件生成的电荷相对应的图像信号的读出电路。

图1A是例示性成像和响应系统的示意图，该成像和响应系统包括使用图像传感器捕获图像的成像系统。图1A的系统100可以是电子设备，诸如相机、蜂窝电话、摄像机或捕获数字图像数据的其他电子设备，可以是车辆安全系统(例如，主动制动系统或其他车辆安全系统)，或者可以是监视系统。

在车辆安全系统中，由图像传感器捕获的图像可供车辆安全系统使用以确定车辆周围的环境状况。车辆安全系统可以包括捕获车辆周围环境的图像的外部图像传感器，或捕获车辆内部(例如，驾驶员)的图像的车内图像传感器。例如，车辆安全系统可包括系统诸如停车辅助系统、自动或半自动巡航控制系统、自动制动系统、防撞系统、车道保持系统(有时称为车道漂移避免系统)、行人检测系统等。在至少一些情况下，图像传感器可形成半自主或自主无人驾驶车辆的一部分。系统100还可用于医学成像、监视和一般机器视觉应用。

如图1A所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器封装14(有时称为图像传感器14)以及一个或多个透镜。

相机模块12中的每个图像传感器可相同，或者在给定的图像传感器阵列集成电路中可以存在不同类型的图像传感器。在图像捕获操作期间，每一个透镜均可将光聚焦到相关联的图像传感器封装14上。图像传感器封装14可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。典型的图像传感器可例如具有数百万的像素(例如，数兆像素)。例如，图像传感器14可包括偏置电路(例如，源极跟随器负载电路)、采样和保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(例如，缓冲电路)、寻址电路等。

可以将来自相机传感器14的静态图像数据和视频图像数据经由路径28提供给图像处理和数据格式化电路16(有时称为控制电路)。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图象专家组格式或简称JPEG格式)。在典型的布置方式(有时称为片上系统(SOC)布置方式)中，图像传感器14以及图像处理和数据格式化电路16在共用半导体衬底(例如，共用硅图像传感器集成电路管芯)上实现。如果需要，相机传感器14和图像处理电路16可形成在单独的半导体衬底上。例如，相机传感器14和图像处理电路16可形成在已堆叠的单独衬底上。

成像系统10(例如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子系统20。主机子系统20可包括处理软件，该处理软件用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中至物体的距离、滤波或以其他方式处理由成像系统10提供的图像。

如果需要，系统100可为用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用的能力。为了实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如按钮、小键盘、触敏区、输入-输出端口、操纵杆和显示器)以及存储和处理电路24。存储和处理电路24可包括易失性存储器和非易失性存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。

图1B中示出了车辆30诸如汽车的例示性示例。如图1B的例示性示例所示，汽车30可以包括一个或多个成像系统10。该成像系统可以形成车辆安全系统100的一部分，如上所述。成像系统10可以是具有专用图像捕获和/或图像处理功能的成像系统。如果需要，成像系统10可以执行与给定驾驶员辅助操作相关联的一些或全部图像处理功能。专用驾驶员辅助处理器(例如，图1A中的处理电路24)可以接收来自成像系统10的信号。

在另一合适的示例中，成像系统10可以仅执行与给定驾驶员辅助功能相关联的图像处理操作中的一部分或不执行任何图像处理操作。例如，成像系统10可以仅捕获车辆30周围环境的图像，并且将图像数据传输到处理电路24以进行进一步处理。这种布置可用于车辆安全系统功能，该车辆安全系统功能需要大量处理能力和存储(例如，对捕获图像的全帧缓冲和处理)。

在图1B的例示性示例中，第一成像系统10被示出为安装在汽车30的前部上(例如，以捕获汽车前方的周围环境的图像)，并且第二成像系统10被示出为安装在汽车30的内部(例如，以捕获车辆的驾驶员的图像)。如果需要，成像系统10可以安装在车辆30的后端(即，与图1B中第一成像系统10所安装的位置相反的车辆端部)。在车辆后端处的成像系统可以捕获车辆后面的周围环境的图像。这些示例仅仅是例示性的。一个或多个成像系统10可以安装在车辆30上或该车辆内的任何期望位置。

图2中示出了图1A的相机模块12的布置的示例。如图2中所示，相机模块12包括图像传感器封装14以及控制和处理电路44。控制和处理电路44可对应于图1A中的图像处理和数据格式化电路16。图像传感器封装14可包括像素阵列，诸如像素34(形成在图像传感器封装中的一个或多个图像传感器芯片上)的阵列32，并且还可包括控制电路40和42。控制和处理电路44可耦接到行控制电路40，并且可经由数据路径26耦接到列控制和读出电路42。行控制电路40可从控制和处理电路44接收行地址，并且可通过控制路径36向图像像素34供应对应的行控制信号(例如，双重转换增益控制信号、像素重置控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他期望的像素控制信号)。列控制和读出电路42可经由一条或多条导线(诸如列线38)耦接到像素阵列32的列。列线38可耦接到图像像素阵列32中的每列图像像素34(例如，每列像素可耦接到对应的列线38)。列线38可用于从像素34(在本文中有时称为图像传感器像素、成像像素或图像像素34)读出图像信号，并且用于向图像像素34供应偏置信号(例如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路40来选择图像像素阵列32中的像素行，并且与该像素行的图像像素34相关联的图像数据可由列控制和读出电路42在列线38上读出。

列控制和读出电路42可包括列电路，诸如用于放大从阵列32读出的信号的列放大器、用于对从阵列32读出的信号进行采样和存储的采样和保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器电路以及用于存储读出信号和任何其他期望的数据的列存储器。列控制和读出电路42可通过线26将数字像素值输出到控制和处理电路44。

阵列32可具有任何数量的行和列。一般来讲，阵列32的大小以及阵列32中的行和列的数量将取决于图像传感器14的具体实现方式。虽然行和列在本文中一般相应被描述为水平和竖直的，但是行和列可以指任何网格状的结构(例如，本文中描述为行的特征部可竖直地布置，并且本文中描述为列的特征可水平地布置)。

像素阵列32可具备具有多个滤色器元件的滤色器阵列，该滤色器阵列允许单个图像传感器对不同颜色的光进行采样。举例来说，图像传感器像素(诸如阵列32中的图像像素)可具备滤色器阵列，该滤色器阵列允许单个图像传感器使用被布置成拜耳马赛克图案的对应的红色、绿色和蓝色图像传感器像素对红光、绿光和蓝光(RGB)进行采样。拜耳马赛克图案由2×2个图像像素的重复单元格组成，其中两个绿色图像像素沿对角线彼此相对，并且邻近与蓝色图像像素沿对角线相对的红色图像像素。在另一个合适的示例中，拜耳图案中的绿色像素被替换为具有宽带滤色器元件(例如，透明滤色器元件、黄色滤色器元件等)的宽带图像像素。这些示例仅仅是说明性的，并且一般来讲，可在任何期望数量的图像像素34上方形成任何期望颜色和任何期望图案的滤色器元件。

如果需要，阵列32可以是堆叠管芯布置的一部分，其中阵列32的像素34被划分在两个或更多个堆叠衬底之间。在此类布置中，阵列32中的每个像素34可在像素内的任何期望节点处被划分在两个管芯之间。举例来说，节点(诸如浮动扩散节点)可形成在两个管芯之上。包括光电二极管和耦接在光电二极管与期望节点(在本示例中，诸如浮动扩散节点)之间的电路的像素电路可以形成在第一管芯上，并且其余像素电路可以形成在第二管芯上。期望节点可形成在连接这两个管芯的耦接结构(诸如导电焊盘、微型焊盘、导电互连结构或导电通孔等)上(即，作为该耦接结构的一部分)。在两个管芯结合之前，耦接结构可以在第一管芯上具有第一部分，并且可以在第二管芯上具有第二部分。第一管芯和第二管芯可彼此结合，使得该耦接结构的第一部分和该耦接结构的第二部分被结合在一起并且电耦接。如果需要，耦接结构的第一部分和第二部分可彼此压缩结合。然而，这仅仅是例示性的。如果需要，可以使用任何金属对金属结合技术(诸如软钎焊或焊接)来将形成在相应的第一管芯和第二管芯上的耦接结构的第一部分和第二部分结合在一起。

如上所述，像素电路中被划分到两个管芯之上的期望的节点可以是浮动扩散节点。可替代地，像素电路中被划分到两个管芯之上的期望的节点可以是在浮动扩散区与源极跟随器晶体管的栅极之间的节点(即，浮动扩散节点可以形成在其上形成光电二极管的第一管芯上，同时耦接结构可以将浮动扩散节点连接到第二管芯上的源极跟随器晶体管)、在浮动扩散区与转移晶体管的源极-漏极节点之间的节点(即，浮动扩散节点可以形成在光电二极管未位于其上的第二管芯上)、在源极跟随器晶体管的源极-漏极节点与行选择晶体管之间的节点或像素电路的任何其他期望的节点。

一般来讲，阵列32、行控制电路40、列控制和读出电路42以及控制和处理电路44可以被划分在两个或更多个堆叠衬底之间。在一个示例中，阵列32可以形成在第一衬底中，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可以形成在第二衬底中。在另一个示例中，阵列32可以被划分在第一衬底和第二衬底之间(使用上述像素划分方案中的一个像素划分方案)，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可以形成在第三衬底中。

本文所述的成像系统可以包括选择性透射的电子快门。在成像系统的操作期间可以对电子快门的不透明度进行调谐。电子快门可用于增加成像系统的动态范围。

图3是可以结合到成像系统10中的例示性电子快门的横截面侧视图。如图3所示，电子快门200包括第一线性偏振片150、可调谐偏振旋转器140和第二线性偏振片162。结合图4更详细地描述电子快门200的功能。

图4是示出具有包括可调谐偏振旋转器的电子快门的成像系统的操作的示意图。如图4所示，入射光152A可接近具有偏振的混合的成像系统(例如，“非偏振”光)。入射光152A可穿过具有平行于图4的X轴的透光轴的线性偏振片150。因此，离开线性偏振片150的光152B具有均匀偏振(例如，平行于X轴)。随后将均匀偏振光提供给可调谐偏振旋转器140。

在图4中，可调谐偏振旋转器使光的偏振选择性地旋转。可调谐偏振旋转器可具有其中光穿过可调谐偏振旋转器未发生改变的第一状态(在左侧)和其中穿过可调谐偏振旋转器的光的偏振被旋转的第二状态(在右侧)。在左侧，穿过可调谐偏振旋转器的光152C因此具有平行于X轴的偏振轴。在右侧，穿过可调谐偏振旋转器的光152D因此具有平行于Y轴的偏振(例如，与光152B正交的偏振)。然后，来自可调谐偏振旋转器的光可到达附加的线性偏振片162。在图4的示例中，线性偏振片162具有平行于X轴(例如，平行于线性偏振片150的透光轴)的透光轴(例如，光轴)。因此，光152C(在左侧)穿过线性偏振片162。来自线性偏振片162的光152E然后到达图像传感器管芯122。相比之下，光152D(在右侧)被线性偏振片162阻挡并且不会到达图像传感器管芯122。

在图4的示例中，线性偏振片162的光轴平行于线性偏振片150的光轴。因此，未被可调谐偏振旋转器140旋转的光穿过线性偏振片162，并且被可调谐偏振旋转器140旋转的光被线性偏振片162阻挡。这个示例仅仅为例示性的。如果需要，线性偏振片162可具有与偏振片150的光轴正交的光轴。在这种类型的布置中，被可调谐偏振旋转器140旋转的光穿过线性偏振片162，并且未被可调谐偏振旋转器旋转的光被线性偏振片162阻挡。

最终，电子快门200能够选择性地控制有多少入射光(152A)透射到下面的图像传感器管芯122。在图4中左侧的示例中，离开线性偏振片150的大部分光152B被透射到图像传感器管芯122。因此，电子快门200在这种状态下具有最大透明度。在图4中右侧的示例中，离开线性偏振片150的大部分光152B被阻挡而无法到达图像传感器管芯122。因此，电子快门200在这种状态下具有最小透明度。系统在最大透明度状态与最小透明度状态之间能够实现的最大比率被称为最大快门效率。

通过控制可调谐偏振旋转器140，可以将电子快门的透明度选择为最大透明度与最小透明度之间的中间量值。成像系统可以通过具有介于1与系统的最大快门效率之间的任何期望的透明度比的电子快门来操作。

电子快门200可以结合到成像系统中的任何期望位置。如图5A所示，电子快门200可以结合到成像系统10中位于图像传感器14与透镜模块202之间。透镜模块202可以包括将光聚焦到图像传感器14上的一个或多个透镜。透镜模块202中的一个或多个透镜可以由物理地移动透镜的一个或多个对应致动器来控制。

图5A中的电子快门200位于图像传感器14与透镜模块202之间的示例仅仅是例示性的。在图5B中示出的另一种可能的布置中，透镜模块202插置在图像传感器14与电子快门200之间。

电子快门200可以通过空气间隙与图像传感器14分开(如图5A的示例中所示)。换句话说，图像传感器14可以具有通过气隙与电子快门200分开的透明封装盖。另选地，如图5C所示，电子快门可以直接集成到图像传感器封装中。例如，电子快门可充当图像传感器封装的封装盖。这样集成电子快门和图像传感器封装是有益的，因为其减小了系统尺寸和重量，并且还有助于减轻由于反射引起的光损耗和图像伪影。

除电子快门200之外，成像系统10还可以包括物理快门。例如，电子快门200可以插置在图像传感器14与物理快门之间。

可以在图像传感器管芯与电子快门之间包括气隙或具有优选光学特性的材料。另选地，图像传感器管芯与电子快门之间可能没有间隙。

可以全局水平、子阵列水平或像素水平控制该电子快门。当以全局水平进行控制时，可单独控制整个电子快门(例如，整个电子快门具有相同状态)。换句话说，电子快门的整个占有面积被统一控制，使得整个占有面积具有均匀的透明度。因此，整个图像传感器从电子快门接收具有相同衰减量(或没有衰减)的光。当以子阵列水平进行控制时，电子快门可被划分为小于整个图像传感器的区段。可单独控制电子快门的每一个区段(例如，电子快门的区段可具有不同状态)。以像素水平进行的控制是以子阵列水平进行的控制的具体情况(例如，子集)。当以像素水平进行控制时，电子快门可被划分为各自对应于单独图像传感器像素的区段。可单独控制电子快门的每一个区段，以向对应像素提供期望衰减。作为另一可能的示例，可以全局水平来控制整个电子快门。然而，系统中的一个或两个偏振片(例如，图4中的偏振片150和162)可被划分为透射具有不同偏振类型的光的区段。

图6示出了具有图像传感器和电子快门的例示性集成设备14(有时称为图像传感器封装14或封装14)。图像传感器封装14包括可被滤色器阵列(CFA)128和微透镜129(有时统称为CFA堆叠)覆盖的图像传感器芯片122。每一个滤色器元件128均可覆盖图像传感器芯片122的一个像素(或多于一个像素)。相应的微透镜129可覆盖每一个滤色器元件。

图像传感器122具有接合焊盘130。接合焊盘130可电连接到焊球124(例如，作为一个示例，通过衬底126中的通孔电连接到焊球)。衬底126可耦接到挡板层120。衬底126有时可称为封装基部。衬底126可由一个或多个电介质层形成(作为一个示例)。挡板层120可由任何期望的材料形成并且可具有任何期望的尺寸。挡板120可例如为可限定光粘合剂，诸如可使用光刻技术施加和图案化的干膜粘合剂。附加的粘合剂118可任选地插置在挡板层120与线性偏振片162之间。又如，挡板层120可直接附接到线性偏振片162而无需居间粘合剂。

可调谐电子快门140(有时称为可调谐偏振旋转器140、可调谐偏振盖玻璃140、可调谐偏振滤光器140、可调谐偏振器件140等)形成在线性偏振片162上。可调谐电子快门140包括液晶材料层110，该液晶材料层插置在透明衬底102和104以及充当电极(并且因此有时称为电极106和108)的透明导电涂层106和108之间。透明衬底102和104可由玻璃或另一种期望材料形成。线性偏振片150可形成在透明衬底102上方。间隔件116可用于包封液晶材料110。第一电极层106可插置在液晶层110与玻璃衬底102之间。第二电极层108可插置在液晶层110与玻璃衬底104之间。液晶层110充当可调谐电子快门140的可切换层。用于形成可调谐电子快门的可切换层的液晶材料的示例也仅仅是例示性的。一般来讲，具有可控光学特性(例如，响应于电场)的任何材料均可用于选择性地改变可调谐电子快门中的光。

电极层106可电连接到端子114(有时称为偏置电压源端子114、电压源端子114等)。电极层108可电连接到端子112(有时称为偏置电压源端子112、电压源端子112等)。

端子112和114可被控制以跨液晶层110施加期望电场(偏置电压)。在第一偏置电压下，液晶层可不旋转入射光的偏振。在第二偏置电压下，液晶层可旋转入射光的偏振(例如，旋转九十度)。中间偏置电压也可用于将入射光偏振旋转中间量。选择性地旋转入射光的偏振，并结合于线性偏振片150和162使得电子快门200具有可调节的透明度，从而使提供给图像传感器管芯122的光选择性地衰减。

将电子快门140集成为封装14的一部分减小了成像系统的尺寸和重量，并且还有助于减轻由于反射引起的光损耗和图像伪影。

在图6中，电子快门200通过充气间隙132与图像传感器122、滤色器阵列128和微透镜129分开。该示例仅仅是示例性的，并且如果需要，可以用其他材料填充充气间隙。

线性偏振片中的一者或两者可被任选地划分成不同的区段，如图6的偏振片150和162的中间的虚线所指示的。线性偏振片的不同区段可以通过不同偏振态的光。例如，虚线左侧的偏振片150的一部分可以透射第一偏振态的光并阻挡第二偏振态的光。虚线右侧的偏振片150的一部分可以透射第二偏振态的光并阻挡第一偏振态的光。类似地，虚线左侧的偏振片162的一部分可以透射第一偏振态的光并阻挡第二偏振态的光。虚线右侧的偏振片162的一部分可以透射第二偏振态的光并阻挡第一偏振态的光。这些示例仅仅是例示性的。通常，每个偏振片可被划分成分别透射任何期望偏振态的光的任何期望数量的区段。

在图6的示例中，全局地控制电子快门200。电极106和108覆盖整个图像传感器芯片122。可控制电极，使得整个液晶层被置于期望状态，并且由图像传感器芯片接收的所有光均以相同方式由电子快门进行衰减(或不衰减)。

这个示例仅仅为例示性的。如果需要，可以子阵列水平或逐像素水平控制电子快门200。图7示出了这种类型的图像传感器封装14。图7的封装类似于图6的封装，并且已结合图6描述的部件将不再结合图7进行描述。

在图7中，电极106被绝缘体138划分为电隔离区段，而不是如图6中的单个连续导电结构。绝缘体138可由任何期望的材料形成。相似地，可结合附加间隔件116以将液晶层110划分为隔离区段。绝缘体138和间隔件116可重叠(例如，以网格图案重叠)。液晶层110的每一个区段(由间隔件116限定)均可具有电极106的对应区段(由绝缘体138限定)。电极的每一个区段均被配置为控制其液晶层110的对应区段。

电极106(和液晶层110)的每一个单独可控区段可与图像传感器122的少于所有像素重叠(在子阵列控制方案中)和/或可与图像传感器122的恰好一个像素重叠(在逐像素控制方案中)。电极106的每一个区段均可具有对应端子114以用于控制施加到该电极区段和液晶层的对应部分的偏置电压。可能需要多于一个端子114来利用已划分电极106的益处。电极106(和液晶层110)的每一个单独可控区段也均可从图像传感器的相应像素偏移或偏离，使得具有具体主光线角度的全局透镜系统使光成角度穿过可调谐偏振片的具体区段进入图像传感器的指定像素。微透镜、滤色器和位于电子快门与图像传感器光电二极管之间的任何其他特征部同样也可径向偏移，以便使通过相机系统聚焦的图像的角度接受度最大化。

仅仅示出了液晶材料110与透明衬底102之间的电极106被划分成电隔离区段而电极108保持未划分的示例。如果需要，可使用(已划分电极108和未划分电极106的)相反布置方式。

在图7中，电子快门200同样通过充气间隙132与图像传感器122、滤色器阵列128和微透镜129分开。该示例仅仅是示例性的，并且如果需要，可以用其他材料填充充气间隙。

图8示出了在图像传感器芯片122与电子快门200之间没有充气间隙的图像传感器封装的示例。图8的封装类似于图6的封装，并且已结合图6描述的部件将不再结合图8进行描述。同样，在图8中，区段或像素部件的径向位置中可存在偏移或偏离，这就优化了从成像场景到每一个像素的光电二极管上的光的收集。这些参数基于聚焦透镜的主光线角度并且基于系统的z轴中的每一个分量的距离来优化。

在图8中，示出了在微透镜129、滤色器阵列128与可调谐偏振层200之间没有气隙的封装14。透明粘合剂层136可插置在电子快门200与微透镜129、滤色器阵列128(有时统称为滤色器堆叠)之间。在一些实施方案中，透明粘合剂层136可直接接触电子快门的线性偏振片162和形成在图像传感器122上方的微透镜129两者。然而，附加的低折射率层134可任选地包括在滤色器堆叠上方。如图8中所示，低折射率层134可覆盖滤色器堆叠和图像传感器芯片122。因此，透明粘合剂136与线性偏振片162和低折射率层134直接接触。在封装14中包括低折射率层134可增大微透镜与周围材料之间的折射率差值以允许微透镜更好地聚焦光。低折射率层134可具有比微透镜129和/或粘合剂层136低的折射率。低折射率层134的折射率可小于1.5、小于1.4、小于1.3、小于1.2、小于1.1等。

如图8所示，可以全局控制电子快门200。另选地，可以与图7所示类似的子阵列和/或逐像素水平控制图8的电子快门200。

在图6至图8的示例中，线性偏振片150直接形成在图像传感器封装的透明衬底102上。与在图像传感器封装外部形成线性偏振片150的布置方式相比，这可改进线性偏振片相对于可调谐偏振旋转器的对准。然而，根据成像系统的特定设计，线性偏振片150可任选地形成在图像传感器封装的外部(例如，线性偏振片可不直接附接到图像传感器封装，而是可替代地结合到图像传感器封装上方的透镜模块202中)。

在图6至图8中，衬底126、挡板120、粘合剂118、图像传感器管芯122、以及电子快门200可统称为具有电子快门的集成图像传感器或图像传感器封装。电子快门200形成图像传感器封装的盖(有时称为壁)。衬底126可称为形成图像传感器封装的基部或壁。挡板120和粘合剂118可称为形成图像传感器封装的壁。电子快门200形成封装盖，而不是透明衬底简单地形成封装盖。然而，该示例仅仅是示例性的。在另选的布置方式中，电子快门可结合到CFA堆叠中。

图9是具有形成在像素阵列的微透镜下方的电子快门的例示性图像传感器封装的横截面侧视图。如图9中所示，类似于先前的示例，图像传感器封装14包括可被滤色器阵列(CFA)128和微透镜129(有时统称为CFA堆叠)覆盖的图像传感器芯片122。每一个滤色器元件128均可覆盖图像传感器芯片122的一个像素(或多于一个像素)。相应的微透镜129可覆盖每一个滤色器元件。

透明衬底104(例如，由透明塑料、玻璃等形成)形成图9中封装的前盖，而不是电子快门200(如图6至图8中)形成图像传感器封装的前盖。电子快门200可插置在滤色器阵列128与微透镜129之间。此示例仅仅是例示性的，并且电子快门可以替代地形成在微透镜上方或滤色器阵列下方(滤色器阵列与图像传感器管芯之间)。可全局地或以子像素阵列和/或逐像素水平控制图9的电子快门。在一个示例中，电子快门可具有部分阵列，其中每一个单独可控部分均对应于下面的图像传感器管芯中的相应像素。

在图6至图9的示例中，图像传感器封装的无源部件和有源部件具有均匀的光学特性。换句话讲，无源部件(诸如线性偏振片150和162)跨偏振片的整个区域具有相同的光轴方向。有源部件(例如，液晶层)也可自始至终具有相同的光学特性(即使当以子阵列和/或逐像素水平控制液晶层时)。然而，情况可能并非如此。在一些布置方式中，无源和/或有源部件的光学特性可跨图像传感器变化。例如，线性偏振片150和/或162可在偏振片内的不同位置处具有不同的透光轴取向。

如果未加小心，则成像系统10和对应的图像传感器14可能具有低于期望的动态范围。本文所述的电子快门可以用于多次曝光以增加成像系统的动态范围。当成像系统仅使用一种类型的曝光时，将在高光水平性能和低光水平性能之间进行权衡。例如，如果使用短积分时间进行曝光，则成像系统可以具有改进的高光水平性能但具有较差的低光水平性能。如果使用长积分时间，则成像系统可以具有改进的低光水平性能但具有较差的高光水平性能。

在一些应用中，可能对图像传感器14的积分时间存在限制。例如，积分时间可能需要具有最短持续时间以避免由场景中的闪烁光引起的伪影。闪烁光的示例包括发光二极管(LED)交通标志(其每秒可闪烁几十次)以及现代汽车的LED刹车灯或车头灯。闪烁光在导通周期(在此期间发光)和关断周期(在此期间不发光)之间快速变化。LED连续出现于人眼中。然而，在不执行闪烁抑制操作的情况下，图像传感器14中的一个或多个像素可以具有不与场景中闪烁光的任何导通周期对准的曝光。当积分时间很短时，对于明亮的场景尤其如此。因此，闪烁光可能导致成像系统10所捕获的图像中的各种伪影。闪烁光可以导致闪烁伪影，其中具有恒定占空比的LED在一帧中出现并且在连续的一帧中不出现。闪烁光还可能导致颜色伪影。闪烁伪影可能误导机器视觉系统。例如，在汽车应用中，闪烁伪影可能被解释为来自紧急车辆的一个或单个转向信号。

为了减轻由场景中的LED闪烁导致的伪影，可以选择图像传感器的积分时间足够长以捕获闪烁光的导通周期。例如，考虑在场景中以90Hz的频率工作(即，具有导通周期)的发光二极管。在该示例中，发光二极管的每个导通周期之间的时间为11.1毫秒。为了确保闪烁光被图像传感器捕获，因此可以选择积分时间以具有至少11.1毫秒的持续时间。然而，在明亮的场景(或场景的明亮部分)中，此积分时间可能太长并且导致图像传感器饱和。通常，为了捕获具有低曝光的帧，以允许场景中非常明亮区域的细节，则缩短了积分时间。然而，将积分时间缩短到低于11.1毫秒可能导致来自闪烁光的伪影。

可使用电子快门来增加动态范围，而不会引起因场景中闪烁光而产生伪像的风险。考虑被限制为至少11.1毫秒的积分时间的明亮场景的前述示例。为了捕获具有低曝光的帧，可以将电子快门置于低透明度模式，其中大部分入射光被衰减并且少量光透射到图像传感器。即使在满足避免闪烁伪影要求的长积分时间的情况下，使光以这种方式衰减也可防止图像传感器的饱和。

可以将电子快门置于低透明度模式以改进高光水平条件下的性能，并且可以将电子快门置于高透明度模式以改进低光水平条件下的性能。为了增加成像系统的动态范围并且确保单个场景的明亮和昏暗部分中均具有良好性能，该成像系统可以在电子快门处于不同状态时执行多次曝光，然后将捕获帧组合以产生单个高动态范围图像。

具有大于11.1毫秒的积分时间的前述示例仅仅是例示性的。通常，给定图像捕获的积分时间可以大于1毫秒、大于5毫秒、大于10毫秒、大于15毫秒、大于20毫秒、大于100毫秒、小于15毫秒、介于5毫秒与20毫秒之间，等等。

图10是示出用于在电子快门被置于在不同透明度状态时操作成像系统的例示性步骤的流程图。首先，在步骤302处，成像系统内的控制电路(例如，相机模块12中的控制电路44或系统中的其他控制电路)可以将电子快门设置为第一透明度状态。例如，电子快门可以被设置为低透明度或最小透明度，其中大多数(但不是全部)入射光被阻挡而无法到达图像传感器。此电子快门设置可以优化高光水平性能。

在步骤304处，基于来自控制电路44的控制信号，图像传感器14可在电子快门处于第一透明度状态时捕获第一图像。在步骤304处，图像传感器可以在捕获第一图像的同时以对应的第一积分时间操作。该第一积分时间可以足够长以捕获闪烁灯(例如，在捕获90HzLED的图像的前述示例中大于11.1毫秒)。

然后，在步骤306处，成像系统内的控制电路(例如，相机模块12中的控制电路44或系统中的其他控制电路)可以将电子快门设置为第二透明度状态。例如，电子快门可以被设置为高透明度或最大透明度，其中(比步骤302中)更多的入射光通过电子快门到达图像传感器。此电子快门设置可以优化低光水平性能。

在步骤308处，基于来自控制电路44的控制信号，图像传感器14可在电子快门处于第二透明度状态时捕获第二图像。在步骤308处，图像传感器可以在捕获第二图像的同时以对应的第二积分时间操作。该第二积分时间也可以足够长以捕获闪烁灯(例如，在捕获90HzLED的图像的前述示例中大于11.1毫秒)。在一个例示性示例中，来自步骤304和步骤308的第一积分时间和第二积分时间可以具有相同的量值。

最终，在步骤310处，可将第一图像和第二图像组合以形成单个高动态范围(HDR)图像。由于第一图像是在电子快门具有低透明度时生成的，因此由于与电子快门的低透明度相关联的低饱和点，该第一图像对于高光条件可能是最佳的。由于第二图像是在电子快门具有高透明度时生成的，因此由于与电子快门的高透明度相关联的高灵敏度，该第二图像对于低光条件可能是最佳的。成像处理电路16(有时称为控制电路)可以通过选择来自每个图像的最有用数据来组合图像。例如，场景的第一光线昏暗部分在第一图像中可能看起来完全黑暗，但在第二图像中可能具有高对比度。因此，将来自第二图像的数据用于该场景的第一部分。场景的第二光线明亮部分在第二图像中可能看起来很饱和(淡白)，但在第一图像中可能具有高对比度。因此，将来自第一图像的数据用于该场景的第二部分。所得HDR图像可以在宽泛的光条件范围内具有高对比度，并且可以没有闪烁伪影。

图10所述的在将电子快门置于最大(高)透明度状态之前先将电子快门置于最小(低)透明度状态的示例仅仅是例示性的。通常，可以任何期望顺序将电子快门置于期望的透明度状态。电子快门还可以在第一透明度状态和第二透明度状态中的每种透明度状态下具有任何期望的透明度。换句话说，除了最大透明度和最小透明度之外，还可以使用中间透明度量值。

另外，与两个对应的电子快门透明度同步地捕获两个图像的示例仅仅是例示性的。通常，在成像系统10的操作期间，可以捕获任何期望数量的图像。对于每个捕获图像，电子快门透明度和/或积分时间可以不同于其他捕获图像。无论捕获多少图像(例如，两个、三个、四个、多于四个等)，这些图像都可以在步骤310处组合以形成单个高动态范围图像。

作为第一示例，可以捕获并组合两个图像以形成单个高动态范围图像。可以使用相同的积分时间但不同的电子快门透明度来捕获该两个图像。

作为第二示例，可以捕获并组合两个图像以形成单个高动态范围图像。可以使用第一电子快门透明度和第一积分时间来捕获第一图像，而可以使用第二电子快门透明度和第二积分时间来捕获第二图像。第一电子快门透明度和第二电子快门透明度可以不同，并且第一积分时间和第二积分时间也可以不同。具体地，第一电子快门透明度可以高于第二电子快门透明度，并且第一积分时间可以长于第二积分时间。

作为第三示例，可以捕获并组合三个图像以形成单个高动态范围图像。可以使用相同的积分时间但不同的电子快门透明度来捕获该三个图像。第一图像可以具有对应的第一电子快门透明度(例如，最小透明度或另一期望透明度)，第二图像可以具有大于第一电子快门透明度的对应的第二电子快门透明度(例如，中间透明度)，并且第三图像可以具有大于第二电子快门透明度的对应的第三电子快门透明度(例如，最大透明度或另一期望透明度)。

作为第四示例，可以捕获并组合四个图像以形成单个高动态范围图像。可以使用第一电子快门透明度和第一积分时间来捕获第一图像，可以使用第二电子快门透明度和第二积分时间来捕获第二图像，可以使用第三电子快门透明度和第三积分时间来捕获第三图像，并且可以使用第四电子快门透明度和第四积分时间来捕获第四图像。第一电子快门透明度和第二电子快门透明度可以相同，并且第三电子快门透明度和第四电子快门透明度可以相同。第一积分时间和第三积分时间可以相同，并且第二积分时间和第四积分时间可以相同。具体地，第一电子快门透明度和第二电子快门透明度可以高于第三电子快门透明度和第四电子快门透明度，并且第一积分时间和第三积分时间可以长于第二积分时间和第四积分时间。

总之，可以使用电子快门透明度和积分时间的任何组合来捕获任何数量的图像，以在步骤310中形成单个高动态范围图像。

图10的方法可以用于以全局快门方案(其中图像传感器中的每个图像像素同时捕获图像)或卷帘快门方案(其中每行图像像素依次捕获图像)操作的图像传感器中。

图10描述了被统一控制(例如，如图6中的全局控制)的整个电子快门。这个示例仅仅为例示性的。电子快门可以具有如先前讨论的子阵列(和/或逐像素)控制。在这种情况下，对于给定积分时间，电子快门的不同部分可以具有不同的透明度。

例如，可以在电子快门的第一半部具有第一透明度并且电子快门的第二半部具有第二透明度时，捕获第一图像。然后，可以在电子快门的第一半部具有第二透明度并且电子快门的第二半部具有第一透明度时，捕获第二图像。可将第一图像和第二图像组合以形成单个高动态范围图像。

又如，可以在与场景的第一光线明亮部分对应的快门的第一部分具有第一透明度，而与场景的第二光线昏暗部分对应的快门的第二部分具有高于第一透明度的第二透明度时，捕获第一图像。可以基于一个或多个先前图像的亮度将电子快门的部分置于给定透明度状态。该第一图像可用于形成高动态范围图像(而不使用任何附加图像捕获)。另选地，可以使用不同的快门透明度和/或积分时间捕获一个或多个附加图像，并且可以将所有图像组合以形成单个高动态范围图像。

除了一个或多个彩色图像像素(例如，由红色、蓝色或绿色滤色器元件覆盖)之外，成像系统中的图像传感器还可以具有例如一个或多个透明或宽带图像像素(例如，由透明滤色器元件覆盖，而不是在可见频带中发射窄带光的红色、蓝色或绿色滤色器元件)。当曝光于白光下时，透明图像像素可能比彩色图像像素更快地饱和。因此，本文描述的用于增加动态范围的技术可用于具有透明图像像素的成像系统。

使用电子快门增加成像系统中动态范围的示例仅仅是例示性的。具有电子快门的成像系统有许多可能的应用。又如，电子快门可以改进飞行时间成像系统的性能。在飞行时间成像系统中，诸如激光等光源可以发射从场景中的物体反射并且由成像系统中的图像传感器感测的光。光的发射与光的检测之间的时间长度可用于确定反光物体与图像传感器之间的距离。在飞行时间成像系统中，可将电子快门置于低透明度模式以防止传感器在明亮光线条件下饱和。电子快门可以任选地具有波长相关的透明度(例如，不同量的可见光和红外光可通过电子快门进行透射)。

根据一个实施方案，公开了一种成像系统，该成像系统可包括：电子快门，该电子快门能够以具有第一透明度的第一状态和具有第二透明度的第二状态操作，该第二透明度低于该第一透明度；图像传感器，该图像传感器具有成像像素阵列，其中该图像传感器被配置为在该电子快门处于第一状态时捕获第一图像，并且在该电子快门处于第二状态时捕获第二图像；以及图像处理电路，该图像处理电路被配置为使用该第一图像和该第二图像生成单个高动态范围图像。

根据另一个实施方案，该成像系统还可以包括透镜模块，该透镜模块插置在该电子快门与该图像传感器之间。

根据另一个实施方案，该成像系统还可以包括透镜模块，并且该电子快门可以插置在该透镜模块与该图像传感器之间。

根据另一个实施方案，该电子快门可以形成用于该图像传感器的封装盖。

根据另一个实施方案，该电子快门可以包括液晶材料层。

根据另一个实施方案，该电子快门可以包括第一电极和第二电极，并且该液晶材料层可以插置在该第一电极与该第二电极之间。

根据另一个实施方案，该电子快门可以包括第一透明衬底和第二透明衬底，该第一电极可以插置在该液晶材料层与该第一透明衬底之间，并且该第二电极可以插置在该液晶材料层与该第二透明衬底之间。

根据另一个实施方案，该电子快门可以包括第一线性偏振片和第二线性偏振片，并且该液晶材料层可以插置在该第一线性偏振片与该第二线性偏振片之间。

根据另一个实施方案，该电子快门可以包括可调谐偏振旋转器、第一线性偏振片，其中该可调谐偏振旋转器插置在该第一线性偏振片与该图像传感器之间，并且该第二线性偏振片插置在该可调谐偏振旋转器与该图像传感器之间。

根据另一个实施方案，在该图像传感器与该电子快门之间可以存在气隙。

根据另一个实施方案，该成像系统还可包括形成在该图像传感器与该电子快门之间的透明粘合剂。

根据另一个实施方案，该图像传感器可包括微透镜，该微透镜形成在成像像素阵列上方，并且该成像系统还可包括低折射率层，该低折射率层形成在微透镜与透明粘合剂之间。

根据另一个实施方案，该电子快门跨其占有面积可以具有均匀的透明度。

根据另一个实施方案，该电子快门可以具有多个独立片段，该多个独立片段各自覆盖该图像传感器的子集。

根据另一个实施方案，该图像传感器可被配置为使用具有第一量值的积分时间捕获该第一图像，该图像传感器可被配置为使用具有该第一量值的第二积分时间捕获该第二图像，并且该第一量值可以大于10毫秒。

根据另一个实施方案，该图像传感器可被配置为使用具有第一量值的积分时间捕获该第一图像，并且该图像传感器可被配置为使用具有第二量值的第二积分时间捕获该第二图像，该第二量值不同于该第一量值。

根据另一个实施方案，该成像系统可以是用于车辆的成像系统。

根据一个实施方案，公开了一种操作具有电子快门的成像系统的方法，该方法包括：在该电子快门具有第一透明度时，捕获第一图像；在该电子快门具有不同于该第一透明度的第二透明度时，捕获第二图像；以及将该第一图像和该第二图像组合以形成高动态范围图像。

根据另一个实施方案，捕获该第一图像可以包括使用具有给定持续时间的第一积分时间利用该图像传感器捕获该第一图像，并且捕获该第二图像可以包括使用具有该给定持续时间的第二积分时间利用该图像传感器捕获该第二图像。

根据另一个实施方案，公开了一种成像系统，该成像系统可以包括：成像像素阵列；可调谐电子快门，该可调谐电子快门被配置为选择性地将入射光透射到该成像像素阵列；控制电路，该控制电路被配置为在使用该成像像素阵列捕获第一图像时，将该可调谐电子快门置于第一模式，并且在使用该成像像素阵列捕获第二图像时，将该可调谐电子快门置于不同的第二模式；以及图像处理电路，该图像处理电路被配置为使用该第一图像和该第二图像生成单个高动态范围图像。

前述内容仅仅是例示性的，并且本领域技术人员可以进行多种修改。上述实施方案可单个实施或以任意组合方式实施。

Claims (10)

1.一种成像系统，包括：

电子快门，所述电子快门能够以具有第一透明度的第一状态和具有第二透明度的第二状态操作，所述第二透明度低于所述第一透明度；

图像传感器，所述图像传感器具有成像像素阵列，其中所述图像传感器被配置为在所述电子快门处于所述第一状态时捕获第一图像并且在所述电子快门处于所述第二状态时捕获第二图像；以及

图像处理电路，所述图像处理电路被配置为使用所述第一图像和所述第二图像生成单个高动态范围图像。

2.根据权利要求1所述的成像系统，还包括：

透镜模块，所述透镜模块插置在所述电子快门与所述图像传感器之间。

3.根据权利要求1所述的成像系统，其中所述电子快门形成用于所述图像传感器的封装盖。

4.根据权利要求1所述的成像系统，其中所述电子快门包括液晶材料层，其中所述电子快门包括第一电极和第二电极，其中所述液晶材料层插置在所述第一电极与所述第二电极之间，其中所述电子快门包括第一透明衬底和第二透明衬底，其中所述第一电极插置在所述液晶材料层与所述第一透明衬底之间，并且其中所述第二电极插置在所述液晶材料层与所述第二透明衬底之间，其中所述电子快门包括第一线性偏振片和第二线性偏振片，并且其中所述液晶材料层插置在所述第一线性偏振片与所述第二线性偏振片之间。

5.根据权利要求1所述的成像系统，还包括：

透明粘合剂，所述透明粘合剂形成在所述图像传感器与所述电子快门之间，其中所述图像传感器包括形成在所述成像像素阵列上方的微透镜；以及

低折射率层，所述低折射率层形成在所述微透镜与所述透明粘合剂之间。

6.根据权利要求1所述的成像系统，其中所述电子快门跨其占有面积具有均匀的透明度，其中所述图像传感器被配置为使用具有第一量值的积分时间捕获所述第一图像，其中所述图像传感器被配置为使用具有所述第一量值的第二积分时间捕获所述第二图像，并且其中所述第一量值大于10毫秒。

7.根据权利要求1所述的成像系统，其中所述电子快门具有多个独立区段，所述多个独立区段各自覆盖所述图像传感器的子集，其中所述图像传感器被配置为使用具有第一量值的积分时间捕获所述第一图像，并且其中所述图像传感器被配置为使用具有第二量值的第二积分时间捕获所述第二图像，所述第二量值不同于所述第一量值。

8.根据权利要求1所述的成像系统，其中所述成像系统是用于车辆的成像系统。

9.一种操作具有电子快门的成像系统的方法，所述方法包括：

在所述电子快门具有第一透明度时，捕获第一图像；

在所述电子快门具有不同于所述第一透明度的第二透明度时，捕获第二图像；以及

将所述第一图像和所述第二图像组合以形成高动态范围图像。

10.一种成像系统，包括：

成像像素阵列；

可调谐电子快门，所述可调谐电子快门被配置为选择性地将入射光透射到所述成像像素阵列；

控制电路，所述控制电路被配置为在使用所述成像像素阵列捕获第一图像时，将所述可调谐电子快门置于第一模式，并且在使用所述成像像素阵列捕获第二图像时，将所述可调谐电子快门置于不同的第二模式；以及

图像处理电路，所述图像处理电路被配置为使用所述第一图像和所述第二图像生成单个高动态范围图像。

Images