CN104184965A - 从像素阵列读取像素数据的方法及成像系统 - Google Patents

Abstract

本申请案涉及从像素阵列读取像素数据的方法及一种成像系统。一种从像素阵列读取像素数据的方法包含将多个像素区中的每一者曝光一相应曝光时间。从所述多个像素区读取像素数据。从所述多个像素区中的第一者内插所述像素数据以确定除所述多个像素区中的所述第一者之外的所述像素区的所述像素数据以产生具有第一曝光时间的第一图像。从所述多个像素区中的第二者内插所述像素数据以确定除所述多个区中的所述第二者之外的所述像素区的所述像素数据以产生具有第二曝光时间的第二图像。组合所述图像以产生高动态范围图像。

Description

从像素阵列读取像素数据的方法及成像系统

相关申请案交叉参考

本申请案主张2013年5月20日申请的第61/825,419号美国临时申请案的权益。

技术领域

本发明一般来说涉及图像传感器。更具体来说，本发明的实例涉及在高动态范围(HDR)图像传感器中所利用的图像处理及信号处理技术。

背景技术

标准图像传感器具有为大致60dB到70dB的有限动态范围。然而，真实世界的照度动态范围大得多。自然场景通常横跨90dB及以上的范围。为了同时捕获高光及阴影，已在图像传感器中使用HDR技术来增加所捕获动态范围。增加动态范围的最常见技术是将借助标准(低动态范围)图像传感器捕获的多个曝光合并成单一线性HDR图像，其具有比单曝光图像大得多的动态范围。

最常见HDR传感器解决方案中的一者将使多个曝光进入到一个单一图像传感器中。在不同曝光积分时间或不同敏感度(例如，通过插入中性密度滤波器)的情况下，一个图像传感器可在单一图像传感器中具有2个、3个、4个或甚至更多不同曝光。多曝光图像可使用此HDR图像传感器在单拍中获得。然而，与正常全分辨率图像传感器相比，使用此HDR传感器会降低总体图像分辨率。举例来说，对于将4个不同曝光组合于一个图像传感器中的HDR传感器，每一HDR图像将为全分辨率图像的仅四分之一分辨率。

发明内容

在一个方面中，本申请案提供一种从包含多个像素的像素阵列读取像素数据的方法，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区。所述方法可包括：将所述多个像素区中的第一者曝光达第一曝光时间；将所述多个像素区中的第二者曝光达第二曝光时间；从所述多个像素区读取像素数据；从所述多个像素区中的所述第一者内插所述像素数据以针对所述第一曝光时间确定除所述多个像素区中的所述第一者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生多个图像中的第一图像，其中所述多个图像中的所述第一图像具有所述第一曝光时间；从所述多个像素区中的所述第二者内插所述像素数据以针对所述第二曝光时间确定除所述多个区中的所述第二者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生所述多个图像中的第二图像，其中所述多个图像中的所述第二图像具有所述第二曝光时间；及组合所述多个图像以产生高动态范围图像。在另一方面中，本申请案提供一种从包含多个像素的像素阵列读取像素数据的方法，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区。所述方法可包括：将多个像素区中的每一者曝光达多个曝光时间中的相应一者；从所述多个像素区读取像素数据；针对所述多个曝光时间中的每一相应者，确定所述多个像素区中的每一者的曝光比率，其中针对所述多个曝光时间中的每一相应者的所述多个像素区中的每一者的所述曝光比率等于所述多个曝光时间中的相应一者除以所述多个像素区中的所述一者的所述曝光时间；针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率小于第一阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率替代以产生针对所述多个曝光时间中的相应一者的图像；及组合所述多个图像以产生高动态范围图像。

在又一方面中，本申请案提供一种成像系统。所述成像系统可包括：像素阵列，其包含多个像素，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区；控制电路，其耦合到所述像素阵列以控制所述像素阵列的操作，其中所述控制电路经耦合以将多个像素区中的每一者曝光达多个曝光时间中的相应一者；及读出电路，其耦合到所述像素阵列以从所述多个像素区读出像素数据，所述成像系统经耦合以：针对所述多个曝光时间中的每一相应者，确定所述多个像素区中的每一者的曝光比率，其中针对所述多个曝光时间中的每一相应者的所述多个像素区中的每一者的所述曝光比率等于所述多个曝光时间中的相应一者除以所述多个像素区中的所述一者的所述曝光时间；针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率小于第一阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率替代以产生针对所述多个曝光时间中的相应一者的图像；及组合所述多个图像以产生高动态范围图像。

附图说明

参考以下各图描述本发明的非限制性及非详尽实施例，其中在所有各视图中相似参考编号指代相似部件，除非另有规定。

图1A是图解说明根据本发明的教示的四曝光HDR图像传感器的一个实例的图式。

图1B是图解说明根据本发明的教示的实例四曝光HDR图像传感器中的其中存在第一曝光的像素区的一个实例的图式。

图2是图解说明根据本发明的教示的四曝光HDR图像传感器的一个实例的图式，其中所述图像传感器的全分辨率是利用实例比例放大技术捕获的。

图3是图解说明根据本发明的教示的四曝光HDR图像传感器的一个实例的图式，其中所述图像传感器的全分辨率是利用实例像素数据替代技术捕获的。

图4是图解说明根据本发明的教示的成像系统的一个实例的图式，所述成像系统包含具有快速帧内自动聚焦的图像传感器像素阵列。

在图式的所有数个视图中，对应参考字符指示对应组件。所属领域的技术人员将了解，图中的元件是为简单及清晰起见而图解说明的，且未必按比例绘制。举例来说，为了有助于改进对本发明的各种实施例的理解，图中的元件中的一些元件的尺寸可能相对于其它元件放大。此外，通常未描绘在商业上可行的实施例中有用或必需的常见而众所周知的元件以便促进对本发明的这各种实施例的较不受阻挡的观察。

具体实施方式

如将展示，本发明揭示针对于具有全分辨率的HDR图像传感器的方法及设备。在以下描述中，陈述众多特定细节以便提供对本发明的透彻理解。在以下描述中，陈述众多特定细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，本文中所描述的技术可在不具有所述特定细节中的一或多者的情况下实践或者可借助其它方法、组件、材料等来实践。在其它例子中，未详细展示或描述众所周知的结构、材料或操作以避免使某些方面模糊。

在本说明书通篇中对“一个实施例”、“一实施例”、“一个实例”或“一实例”的提及意指结合所述实施例或实例所描述的特定特征、结构或特性包含于本发明的至少一个实施例或实例中。因此，在本说明书通篇的各个位置中例如“在一个实施例中”或“在一个实例中”等短语的出现未必全部指代同一实施例或实例。此外，在一或多个实施例或实例中可以任何适合方式组合所述特定特征、结构或特性。以下为通过参考附图对在本发明的实例的描述中所使用的术语及元件的详细描述。

如将展示，根据本发明的教示的实例提供恢复在一个单一图像传感器芯片中包含两个或两个以上曝光的HDR图像传感器的全分辨率的图像处理技术。应注意，以下描述的实例技术利用四曝光HDR图像传感器作为实例。当然，应了解，根据本发明的教示还可利用具有任何多个曝光的HDR图像传感器。

在图1A中所描绘的实例中，图解说明实例四曝光HDR图像传感器100。在所图解说明的实例中，出于解释目的展示拜耳图案。然而，应了解，根据本发明的教示也可利用任何其它彩色或非彩色图案。如所描绘的实例中所展示，图像传感器100包含如所展示布置成二维阵列的多个像素区T0、T1、T2及T3。在所述实例中，假定借助多个像素区T0、T1、T2及T3获得的图像是分别借助曝光E0、E1、E2及E3获取的。参考图1B中所图解说明的实例，可了解，如果仅使用图像传感器100的T0像素区(其中仅存在曝光E0)来捕获图像，那么图像传感器100的像素总数的仅四分之一可用。换句话说，所述像素区的除T0像素区之外的其它四分之三在曝光E0时不用来捕获图像，且因而不直接捕获图像传感器100的全分辨率。

存在根据本发明的教示可用来以HDR捕获图像传感器100的全分辨率的多种技术。举例来说，在一个实例中，可借助比例放大以HDR来捕获图像传感器100的全分辨率。比例缩放是涉及平滑度与清晰度之间的折衷的不平凡过程。可利用各种比例缩放方法，例如，最近邻内插、双线性内插、样条内插或其它基于向量的内插。在一个实例中，可使用双三次内插方法来针对曝光E0、E1、E2及E3中的每一者获得经比例放大图像。假定：

T0′＝比例放大(T0)，

T1′＝比例放大(T1)，

T2＝比例放大(T2)，且

T3′＝比例放大(T3)，

根据本发明的教示，可恢复具有不同曝光的其它像素区域的图像数据。为了图解说明，图2展示根据本发明的教示的实例图像传感器200，针对遗漏的像素位置(例如，非T0像素区)使用实例比例放大技术来恢复图像数据，其中针对E0曝光的经恢复T0′数据如所展示。应了解，根据本发明的教示，对于E1曝光，可针对非T1像素区类似地使用经恢复T1′数据，对于E2曝光，可针对非T2像素区类似地使用经恢复T2′数据，且对于E3曝光，可针对非T3像素区类似地使用经恢复T3′数据。因此，根据本发明的教示，可针对所有曝光E0、E1、E2及E3获得图像传感器100的全分辨率以使用实例比例放大技术获得全分辨率HDR信息。

在另一实例中，可在HDR图像传感器中利用像素替代，其中假定像素响应相对于曝光时间为线性的。在所述实例中，可从其它曝光估计遗漏的像素位置的像素值。举例来说，假定：

$r1=\frac{E0}{E1}$

$r2=\frac{E0}{E2}$

$r3=\frac{E0}{E3}$

接着可假定

T0_1″＝r1×T1

T0_2″＝r2×T2

T0_3″＝r3×T3

通过对从其它曝光估计的值进行积分且用从其它曝光估计的值替代遗漏的像素位置，可因此恢复针对T0的全分辨率图像，如在图3中所图解说明的实例中所展示，图3展示根据本发明的教示的实例图像传感器300，其中针对遗漏的像素位置使用实例像素数据替代技术来恢复图像数据。

根据本发明的教示，对于剩余的曝光E1、E2及E3，可利用类似像素数据替代技术来恢复T1、T2及T3像素数据。然而，应注意，如果使较长曝光饱和，那么所估计曝光像素值丢失，因为有用的像素信息因全阱容量而被剪去。在此情况中，根据本发明的教示，可改为使用先前所论述的技术来利用经比例放大图像像素值。

应了解，像素替代技术随着曝光比率增加而遭受不良信噪比(SNR)。举例来说，如果E0/E3＝64，那么E3必须应用64x数字增益来获得E0的相同数字水平，与E0相比，此可具有低18dB的SNR。此外，如果E3落到图像传感器的非线性响应区中，那么针对E0_3″的经估计值将为不准确的。另一方面，比例放大技术遭受降低的清晰度及/或无效的高频率估计，此由于内插而导致之字形假影。

在另一实例中，根据本发明的教示，可基于曝光比率而利用比例放大技术以及像素数据替代技术两者以恢复遗漏的像素信息。举例来说，在一个实例中，

T0_recovered＝T0"，如果

T0_recovered＝(1-w)×T0"+w×T0′，如果

其中 $w=\frac{(\frac{E0}{E3}-R_{\mathrm{th}0})}{(R_{\mathrm{th}1}-R_{\mathrm{th}0})};$ 且

T0_recovered＝T0′如果

因此，根据本发明的教示，对于HDR场景，可利用比例放大技术，而对于低动态范围场景，可利用像素数据替代技术，来恢复HDR图像传感器的全分辨率。

在一个实例中，根据本发明的教示，在恢复T0、T1、T2及T3的全分辨率图像之后，可使用HDR组合过程来将T0、T1、T2及T3的全分辨率图像组合成单一HDR图像。在一个实例中，可执行色调映射过程以压缩动态范围且产生适合于显示的正常图像。

图4是图解说明根据本发明的教示包含具有多个图像传感器像素单元的实例HDR图像传感器492的成像系统491的一个实例。如在所描绘实例中所展示，成像系统491包含耦合到控制电路498及读出电路494(其耦合到功能逻辑496)的HDR图像传感器492。

在一个实例中，HDR图像传感器492为图像传感器像素单元(例如，像素P1、P2、P3、…、Pn)的二维(2D)阵列。应注意，HDR图像传感器492可为图1A-1B的图像传感器100的实例或图2的图像传感器200的实例或图3的图像传感器300的实例，且下文所提及的类似命名及编号的元件类似于如上文所描述而耦合及发挥作用。如所图解说明，每一像素单元被布置到一行(例如，行R1到Ry)及一列(例如，列C1到Cx)中以获取人、地点、物体等的图像数据，接着可使用所述图像数据再现所述人、地点、物体等的2D图像。

在一个实例中，在每一像素单元P1、P2、P3、…、Pn已获取其图像数据或图像电荷之后，所述图像数据由读出电路494读出且接着传送到功能逻辑496。在各种实例中，读出电路494可包含如上文所论述的HDR处理电路、放大电路、模/数(ADC)转换电路或其它。功能逻辑496可简单地存储所述图像数据或甚至通过应用图像后效果(例如，HDR处理、色调映射处理、剪裁、旋转、移除红眼、调整亮度、调整对比度或其它)来操纵所述图像数据。在一个实例中，读出电路494可沿着读出列线一次读出一行图像数据(所图解说明)或可使用多种其它技术(未图解说明)读出所述图像数据，例如串行读出或同时全并行读出所有像素。

在一个实例中，控制电路498耦合到HDR图像传感器492以控制图像传感器492的操作特性。举例来说，控制电路498可产生用于控制图像获取的快门信号。在一个实例中，所述快门信号为用于同时启用图像传感器492内的所有像素以在单一获取窗期间同时捕获其相应图像数据的全局快门信号。在另一实例中，快门信号为滚动快门信号，使得在连续获取窗期间依序启用每一像素行、每一像素列或每一像素群组。

包含发明摘要中所描述内容的本发明的所图解说明实例的以上描述并非打算为穷尽性或限制于所揭示的精确形式。尽管出于说明性目的而在本文中描述本发明的特定实施例及实例，但可在不背离本发明的较宽广精神及范围的情况下做出各种等效修改。确实，应了解，特定实例性电压、电流、频率、功率范围值、时间等是出于解释目的而提供且根据本发明的教示还可在其它实施例及实例中采用其它值。

可根据以上详细描述对本发明的实例做出这些修改。所附权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所揭示的特定实施例。相反，范围将完全由所附权利要求书来确定，所述权利要求书将根据所创建的权利要求解释原则来加以理解。因此，应将本说明书及图视为说明性而非限制性。

Claims (15)

1.一种从包含多个像素的像素阵列读取像素数据的方法，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区，所述方法包括：

将所述多个像素区中的第一者曝光达第一曝光时间；

将所述多个像素区中的第二者曝光达第二曝光时间；

从所述多个像素区读取像素数据；

从所述多个像素区中的所述第一者内插所述像素数据以针对所述第一曝光时间确定除所述多个像素区中的所述第一者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生多个图像中的第一图像，其中所述多个图像中的所述第一图像具有所述第一曝光时间；

从所述多个像素区中的所述第二者内插所述像素数据以针对所述第二曝光时间确定除所述多个区中的所述第二者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生所述多个图像中的第二图像，其中所述多个图像中的所述第二图像具有所述第二曝光时间；及

组合所述多个图像以产生高动态范围图像。

2.根据权利要求1所述的方法，其进一步包括：

将所述多个区中的第三者曝光达第三曝光时间；及

从所述多个像素区中的所述第三者内插所述像素数据以针对所述第三曝光时间确定除所述多个区中的所述第三者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生所述多个图像中的第三图像，其中所述多个图像中的所述第三图像具有所述第三曝光时间。

3.根据权利要求2所述的方法，其进一步包括：

将所述多个区中的第四者曝光达第四曝光时间；及

从所述多个像素区中的所述第四者内插所述像素数据以针对所述第四曝光时间确定除所述多个区中的所述第四者之外的所述多个像素区的所述像素数据，以从所述像素阵列产生所述多个图像中的第四图像，其中所述多个图像中的所述第四图像具有所述第四曝光时间。

4.根据权利要求1所述的方法，其中所述内插所述像素数据包括执行最近邻内插、双线性内插、样条内插或基于向量的内插中的一者。

5.一种从包含多个像素的像素阵列读取像素数据的方法，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区，所述方法包括：

将多个像素区中的每一者曝光达多个曝光时间中的相应一者；

从所述多个像素区读取像素数据；

针对所述多个曝光时间中的每一相应者，确定所述多个像素区中的每一者的曝光比率，其中针对所述多个曝光时间中的每一相应者的所述多个像素区中的每一者的所述曝光比率等于所述多个曝光时间中的相应一者除以所述多个像素区中的所述一者的所述曝光时间；

针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率小于第一阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率替代以产生针对所述多个曝光时间中的相应一者的图像；及

组合所述多个图像以产生高动态范围图像。

6.根据权利要求5所述的方法，其进一步包括针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率大于第二阈值的每一者的所述像素数据用来自所述多个像素区中的具有所述多个曝光时间中的所述相应一者的所述一者的所述像素数据的内插替代以产生针对所述多个曝光时间中的所述相应一者的所述图像。

7.根据权利要求6所述的方法，其进一步包括针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率大于所述第一阈值且小于所述第二阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率与来自所述多个像素区中的具有所述多个曝光时间中的所述相应一者的所述一者的所述像素数据的所述内插的组合替代。

8.根据权利要求6所述的方法，其中所述像素阵列中的所述多个像素中的每一者的像素响应相对于曝光时间为实质上线性的。

9.根据权利要求6所述的方法，其中所述组合所述多个图像包括对所述多个图像执行色调映射过程以压缩所述高动态范围图像的动态范围。

10.一种成像系统，其包括：

像素阵列，其包含多个像素，其中所述多个像素被组织成在所述像素阵列中以一图案布置的多个像素区；

控制电路，其耦合到所述像素阵列以控制所述像素阵列的操作，其中所述控制电路经耦合以将多个像素区中的每一者曝光达多个曝光时间中的相应一者；及

读出电路，其耦合到所述像素阵列以从所述多个像素区读出像素数据，所述成像系统经耦合以：

针对所述多个曝光时间中的每一相应者，确定所述多个像素区中的每一者的曝光比率，其中针对所述多个曝光时间中的每一相应者的所述多个像素区中的每一者的所述曝光比率等于所述多个曝光时间中的相应一者除以所述多个像素区中的所述一者的所述曝光时间；

针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率小于第一阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率替代以产生针对所述多个曝光时间中的相应一者的图像；及

组合所述多个图像以产生高动态范围图像。

11.根据权利要求10所述的成像系统，其进一步包括功能逻辑，所述功能逻辑耦合到所述读出电路以存储从所述多个像素读出的高动态范围图像数据。

12.根据权利要求10所述的成像系统，其中所述成像系统进一步经耦合以针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率大于第二阈值的每一者的所述像素数据用来自所述多个像素区中的具有所述多个曝光时间中的所述相应一者的所述一者的所述像素数据的内插替代以产生针对所述多个曝光时间中的所述相应一者的所述图像。

13.根据权利要求12所述的成像系统，其中所述成像系统进一步经耦合以针对所述多个曝光时间中的每一相应者，将所述多个像素区中的其所述曝光比率大于所述第一阈值且小于所述第二阈值的每一者的所述像素数据用来自所述多个像素区中的所述一者的所述像素数据乘以所述多个像素区中的所述一者的所述曝光比率与来自所述多个像素区中的具有所述多个曝光时间中的所述相应一者的所述一者的所述像素数据的所述内插的组合替代。

14.根据权利要求10所述的成像系统，其中所述像素阵列中的所述多个像素中的每一者的像素响应相对于曝光时间为实质上线性的。

15.根据权利要求10所述的成像系统，其中所述成像系统进一步经耦合以对所述多个图像执行色调映射过程以压缩所述高动态范围图像的动态范围以组合所述多个图像。