CN107005640B

CN107005640B - 图像传感器单元和成像装置

Info

Publication number: CN107005640B
Application number: CN201580065701.6A
Authority: CN
Inventors: 莫扎德·赛菲; 诺伊斯·萨瓦特尔; 瓦尔特·德拉季奇
Original assignee: 交互数字Ce专利控股公司
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2014-12-04
Filing date: 2015-12-01
Publication date: 2020-06-26
Anticipated expiration: 2035-12-01
Also published as: WO2016087415A1; CN107005640A; EP3228073A1; JP2017536777A; US20170366765A1; JP6701194B2; US10027908B2; EP3029931A1; KR20170089876A

Abstract

图像传感器单元(3)包括微透镜阵列(31)和传感器(32)。所述传感器包括多个传感器区域(323)，多个传感器区域(323)分别包括按照矩阵布置所布置的具有不同敏感度的像素(322)。位于所述多个传感器区域(323)中的相应位置处的像素(322)具有相同的敏感度。所述微透镜阵列(31)中的每个微透镜(311)被布置为将所述光导向所述传感器(32)中的所述多个传感器区域(323)中的相应传感器区域(323)。所述多个传感器区域(323)中的每个传感器区域(323)的矩阵布置的第一行或第一列中的像素(322c1)具有第一感光度，所述多个传感器区域(323)中的每个传感器区域(323)的矩阵布置的第二行或第二列中的像素(322c2、322c3)具有与所述第一感光度不同的第二感光度，以及第一感光度和第二感光度与所述多个传感器区域(323)中的每个传感器区域(323)的矩阵布置中不同于第一行和第二行或第一列和第二列的行或列中的像素(322)的感光度不同。

Description

图像传感器单元和成像装置

技术领域

本公开一般地涉及图像传感器单元和包括这种图像传感器单元的成像装置。

背景技术

全光相机能够通过在主透镜和传感器之间布置微透镜阵列来测量沿着与传感器相交的每束光线行进的光量。光场可以被后处理，以从不同的视点重建场景的图像。结果，用户可以改变图像的焦点。与传统相机相比，全光相机可以通过后处理从不同的视点获得附加的光学信息分量，从而实现场景图像的重建。

HDR(高动态范围)成像中的挑战可能是以不同的曝光捕获场景的至少两个图像，以实现动态范围扩展。因此，根据常规相机，不能以令人满意或足够高的动态范围对动态场景(或视频)进行处理。

另一方面，全光成像引入了一种同时捕获场景的多个图像的有效方法，从而提供了捕获静态(或静止)场景或动态场景的多个图像的工具。

由全光相机捕获的场景的图像必须经过视图解复用，即从二维(或2D)原始图像到四维(或4D)光场图像的数据转换。解复用过程重新组织2D原始图像的像素，使得将捕获具有一定入射角的光线的所有像素存储在同一图像中，以便创建所谓的“视图”或“视点图像”。每个视点图像都是场景在不同光线角度下的投影。一组视点图像可以创建块矩阵，该块矩阵中的中心视点图像存储捕获穿过主透镜孔径的中心部分的光线的像素。光线的角信息由微透镜图像(即，在微透镜下和传感器上形成的图像)中相对于与中心视点(微透镜图像的中心)相对应的像素的相对像素位置给出。

块矩阵可以用于估计场景内的物体的深度信息。一旦知道深度信息，图像处理方法就可以在每个视点图像上同时操纵每个物体。HDR成像是这种图像处理方法的一个示例。当场景的深度图是已知的时，可以在各种多帧HDR成像方法中使用场景的来自不同光线角度的不同曝光，以扩展所捕获的图像的动态范围。

例如，“0V10640”，彩色CMOS 130万像素(1280x1080)高动态范围(HDR)高清图像传感器，“http://www.ovt.com/products/sensor.php？id＝151”，提出了一个分裂像素技术，其中一些像素具有低敏感度响应。然而，所提出的分裂像素技术导致相机可实现的空间分辨率的损失。此外，相邻像素对不同的空间位置进行采样，从而降低由HDR成像方法执行的后处理的准确度。

另一方面，Todor Georgiev等人的文章“Rich Image Capture with PlenopticCameras”(ICCP 2010)提出了针对使用全光类型2的HDR成像的两种方法。第一种方法改变微透镜的孔径尺寸以捕获场景的不同曝光，第二种方法过滤主透镜，以便改变照射在微透镜上的光量。然而，根据所提出的第一种方法和第二种方法，每个解复用视图包含根据不同曝光的像素，而不包含具有唯一敏感度的像素。Todor Georgiev等人汇报的第二种方法比第一种方法在结果的质量方面更差一些。此外，根据第一种方法，由于微透镜的小孔径引入了衍射模糊，所以动态范围扩展受到孔径尺寸的下限的限制。

因此，通常难以在不降低空间分辨率的情况下同时捕获场景的不同曝光。更具体地，通常难以同时实现场景的高曝光捕获和低曝光捕获。

发明内容

根据本公开的一个方面，图像传感器单元可以包括：微透镜阵列，包括按照二维阵列布置的多个微透镜；以及传感器，包括按照二维阵列布置的多个像素，并且被配置为通过微透镜阵列接收光，其中，传感器包括按照二维阵列布置的多个传感器区域，多个传感器区域分别包括按照矩阵布置所布置的具有不同敏感度的像素，其中，位于多个传感器区域中的相应位置处的像素具有相同的敏感度，以及其中，微透镜阵列中的每个微透镜被布置为将光导向传感器的多个传感器区域中的相应传感器区域，多个传感器区域中的每个传感器区域的矩阵布置的第一行或第一列中的像素具有第一感光度，多个传感器区域中的每个传感器区域的矩阵布置的第二行或第二列中的像素具有与第一感光度不同的第二感光度，第一感光度和第二感光度与多个传感器区域中的每个传感器区域的矩阵布置中不同于第一行和第二行或第一列和第二列的行或列中的像素的感光度不同。

根据本公开的另一方面，一种成像装置可以包括：光学系统，包括至少一个透镜；以及如上所述的图像传感器单元，其中，图像传感器单元的微透镜阵列被配置为通过光学系统接收光。

本公开的目的和优点将通过权利要求中特别指出的元件和组合实现并获得。

应当理解，前面的概述和下文的具体描述是示例性和说明性的，而并不作为对要求保护的本发明的限制。

附图说明

图1是示出了根据本公开的一个实施例的成像装置的示例的图；

图2是示意性地示出了布置在传感器的感测表面上的感测区域的示例的平面图；

图3是示意性地示出了布置在传感器的感测表面上的感测区域的另一示例的平面图；

图4是示意性地示出了布置在传感器的感测表面的一部分上的感测区域的第一示例性实现的平面图；以及

图5是示意性地示出了布置在传感器的感测表面的一部分上的感测区域的第二示例性实现的平面图。

具体实施方式

将参考附图描述本公开的实施例。

现在将给出根据本公开的每个实施例中的图像传感器单元和成像装置的描述。

图1是示出了根据本公开的一个实施例的成像装置的示例的图。本实施例中的成像装置1形成例如全光相机。图1中所示的成像装置1可以包括光学系统2、图像传感器单元3和处理器4。

光学系统包括漫射器21、主透镜22和物镜(field lens)23。漫射器21在来自物体100的光到达微透镜阵列31之前对光进行漫射。如果需要的话，可以省略该漫射器21。主透镜22接收来自主透镜22的物场中的物体100的光，并使光通过主透镜22的像场。物镜23布置在主透镜22和微透镜阵列31之间，并且调节来自主透镜22的聚焦光以便看起来从无穷远聚焦。

图像传感器单元3包括微透镜阵列31和传感器32。微透镜阵列31包括按照二维阵列布置的多个微透镜311。传感器32可以包括设置在其感测表面上的滤色器321。滤色器321可以包括采用诸如拜耳布置的优选布置的红色、绿色和蓝色中的每种颜色的滤色器。如果需要的话，可以省略该滤色器321。

图2是示意性地示出了布置在传感器的感测表面上的传感器区域的示例的平面图。如图2所示，传感器32包括按照二维阵列布置的多个像素322，并通过微透镜阵列31接收来自物体100的光。传感器32形成按照二维阵列布置的多个传感器区域323，并且分别包括按照包括M行乘N列的矩阵布置所布置的具有相互不同的敏感度的像素322，其中M和N是大于2的自然数。传感器区域323有时也被称为“微透镜图像”或“块”。在物镜23存在的情况下，每个传感器区域323的形状和尺寸相同，并且每个传感器区域323内的像素322的数量和布置相同。在该示例中，多个传感器区域323在行和列的延伸方向上布置成线性对齐的矩形矩阵。多个传感器区域323的相应位置处的像素322在当前可用的全光相机中具有相同的敏感度。

在多个传感器区域323中的每一个的中心附近位于多个传感器区域323的对应位置处的多个传感器区域323中的每一个的至少一行或至少一列中的像素322可以具有相同的敏感度，下文中将结合示例性实现进行描述。这里，像素的敏感度通常可以被解释为“击中像素的光子数与输出信号之间的转换率”。如果考虑像素的填充因子，则将其细化为“击中像素的感光区域的光子数与输出信号之间的转换率”。像素的填充因子可以被定义为“感光面积与像素的总面积的比率”。该定义依赖于像素的某一部分通常专用于图像传感器的电路元件这一事实，因此不是像素的所有区域都用于检测光，而只有像素的感光区域有助于检测光。

可以使用被制造为具有不同敏感度的像素322来实现像素322的各种不同的敏感度。如例如“http://image-sensors-wotld.blogspot.fr/2014/11/on-semi-presents-emccd-with-per-pixel.html”中所述，制造为具有不同敏感度的像素是已知的，并且这些像素可以用于具有上述各种不同敏感度的像素322。

备选地，可以通过使用图1所示的滤波器321A等来给像素322赋予各种不同的敏感度，该滤波器321A布置在微透镜阵列31和传感器32之间，将像素322的单个敏感度改变为各种不同的敏感度。滤波器321A可以被制造为具有根据要实现的像素322的各种不同敏感度的模式的图案。例如，滤波器321A可以设置在滤色器321上或传感器32的感测表面上。此外，滤波器321A可以由滤色器321形成，即滤色器321的功能和滤波器321A的功能可以集成在单个滤波器内。

图3是示意性地示出了布置在传感器的感测表面上的传感器区域的另一示例的平面图。在图3中，与图2中的相应部分相同的那些部分用相同的附图标记表示，并省略其说明。在该示例中，多个传感器区域323在行和列延伸的方向上被线性地布置为交错布置。

微透镜阵列31中的每个微透镜311布置成将光导向传感器32的多个传感器区域323中的对应传感器区域323。此外，由于微透镜311的透镜属性，微透镜阵列31中的每个微透镜311将光导向图2和图3中的点划线所示的圆形区域(或微透镜图像)324，该圆形区域位于传感器32的多个传感器区域323的对应传感器区域323内。

在该示例中，传感器区域323具有正方形形状，并且圆形区域324适配到每个对应的正方形传感器区域323内。优选地，圆形区域324的外轮廓相对于相应的正方形传感器区域323形成内接圆。因此，在每个感测区域323内的所有像素322中，仅实质上位于圆形区域324内的像素322有助于成像。换句话说，有助于成像的每个像素322的像素区域(或感测区域)实质上位于圆形区域324内。

多个传感器区域323中的每一个的中心与对应的圆形区域324的中心(即相应的微透镜图像311的中心)相匹配。

处理器4可以由任何已知和合适的硬件、软件或硬件与软件的组合形成。例如，处理器4可以由诸如处理电路的专用硬件形成，或者由诸如执行存储在其存储器中的程序的中央处理单元(CPU)的可编程处理单元形成。

处理器4可以对从传感器32的多个传感器区域323中的每一个输出的信号执行处理，所述信号包括具有不同敏感度的像素322的信号。处理器4的处理可以包括将信号数字化为数字信号，以及从数字信号中提取由多个传感器区域323感测的并与不同视点相对应的多个视点图像。处理器4的处理还可以包括例如合成多个视点图像中的至少两个。处理器4的处理可以使得能够从从传感器32输出的信号中提取深度信息，并且使得能够基于深度信息进行三维显示。

传感器32中的像素322的多个不同的敏感度S可以由公式S＝m-(L1×L2)+L1表示，其中m表示圆形区域324中有助于成像的像素322的数量，L1表示由具有相同敏感度的像素322分别形成的多个传感器区域323中的每一个中的行或列的数量，L2表示由具有相同敏感度的像素322形成的多个传感器区域323中的每一个中的L1行或列中的每一个内有助于成像的像素322的数量。结果，该实施例可以同时捕获场景的不同曝光，而不降低全光数据的空间分辨率。更具体地，该实施例可以同时实现场景的高曝光捕获和低曝光捕获。

同时捕获场景的不同曝光有助于静态场景和动态场景的高动态范围(HDR)成像。在这种情况下，举例来讲，用户不需要考虑低光曝光和手动曝光模式改变。例如，高曝光捕获和低曝光捕获都可以在一个固定模式下进行，并且全光相机可以在宽范围的照明条件下工作。此外，例如，四色人的图像捕获可以容易地在全光相机中实现。

替代如Todor Georgiev等人在“Rich Image Capture with Plenop ticCameras”(ICCP 2010)中所提出的那样改变微透镜的孔径，本实施例中的传感器像素的布置被设计为使得像素的敏感度在传感器上变化。另外，与“OV10640”彩色CMOS 130万像素(1280x1080)高动态范围(HDR)高清图像传感器(’http://www.ovt.com/products/sensor.php？id＝151)中提出的分割像素技术的低空间分辨率不同，本实施例中改变全光相机(或光场相机)的像素敏感度不影响捕获的光场的空间分辨率和/或角分辨率。

因此，在本实施例中，传感器包括具有对光的几种不同敏感度的像素。对像素布置设计的限制(i)-(v)可以如下。示例性实现考虑了在每个微透镜下(即每个感测区域324内)具有10×10＝100个像素的典型的类型1全光相机。根据其他示例，每个感测区域可以包括20×20、50×50或甚至100×100个像素。

限制(i)：为了仅通过具有相同敏感度的像素捕获每个视点图像，在每个感测区域324内位于相同相对位置(即，相对于微透镜中心的相同坐标)并因此属于同一视点图像的所有像素具有相同的敏感度。

限制(ii)：为了能够计算深度图，需要至少两个具有相同曝光的视图。为了提高视差估计的精度，每个感测区域中的至少一个完整的行或列优选地由具有相同敏感度的像素形成。像素的这种敏感度模式允许精确的像素配准(registration)。

图4是示意性地示出了布置在传感器的感测表面的一部分上的感测区域的第一示例性实现的平面图。在图4中，与图3中的相应部分相同的那些部分用相同的附图标记表示，并省略其说明。传感器32的局部视图中的圆形区域324对应于微透镜图像。位于中心329附近的每个感测区域323的中心行仅由具有相同敏感度的一种类型的像素322c1形成，并且由图4中的阴影指示。应当认为，当所述行中的至少一个像素接触中心329时或者当所述行的最靠近中心329的像素位于中心329附近(例如根据像素数量的大小，远离中心329若干像素中的几个像素)时，中心行位于中心329附近。除了中心行之外的行中的像素322具有相互不同的敏感度。另外，如图4中的标记“x”所示，例如，位于每个感测区域323(或圆形区域324)内的相同相对位置处并因此属于相同视点图像的像素322具有相同的敏感度。因此，在由图4中的粗实线围绕的并且有助于在每个微透镜311下的圆形区域324内成像的64个像素(322和322c1)之中，仅有8个像素322c1具有相同的敏感度，并且可以根据上述公式计算出每个圆形区域324内有助于成像的像素(322和322c1)可以具有64-(1×8)+1＝57个不同的敏感度。

在图4和将要描述的图5中，为了方便起见，假设由粗线包围的正方形区域中的64(＝8×8)个像素有助于成像，但是正方形区域的角部处的像素可能在这些图中看起来实质上不位于圆形区域324内。

限制(iii)：为了允许在不同照明级别下进行连续图像捕获，可以对像素布置设计应用更多的限制。例如，每个感测区域中的多个中心行或列中的每一个优选地由具有相同敏感度的像素形成。这种像素的敏感度模式也允许精确的像素配准。关于照明级别，可以对最佳捕获场景的中心行或列之一执行深度图估计。

图5是示意性地示出了布置在传感器的感测表面的一部分上的感测区域的第二示例性实现的平面图。在图5中，与图3中的相应部分相同的那些部分用相同的附图标记表示，并省略其说明。传感器32的局部视图中的圆形区域324对应于微透镜图像。每个感测区域323的在中心329附近的第一中心行、第二中心行和第三中心行中的每一个仅由相应类型的像素322c1、322c2和322c3形成，其分别具有相同的敏感度并通过图5中的阴影指示。除了第一中心行、第二中心行和第三中心行之外的行中的像素322具有相互不同的敏感度。像素322c1、322c2和322c3的敏感度可以通过考虑两个极端照明条件和一个中等照明条件来确定，两个极端照明条件是分别对应于高敏感度和低敏感度的极低照明和极高照明，中等照明条件对应于高敏感度和低敏感度之间的中等敏感度。

因此，在由图5中的粗实线围绕的并且有助于在每个微透镜311下的圆形区域324内成像的64个像素(322、322c1、322c2和322c3)中，8个像素322c1具有相同的敏感度，8个像素322c2具有相同的敏感度，8个像素322c3具有相同的敏感度，但是像素322c1、322c2和322c3的敏感度是相互不同的。因此，可以根据上述公式计算有助于每个圆形区域324内的成像的像素(322、322c1、322c2和322c3)可以具有64-(3×8)+3＝43个不同的敏感度。

限制(iv)：滤色器321可以设置在传感器32上，以对场景色彩内容进行采样。在知晓微透镜中心的情况下，可以将滤色器321设计成在每个视图上获得例如常规的拜耳布置(或图案)。这种滤色器设计可以在每个微透镜311的直径对应于恰好奇数个像素322的情况下实现。在微透镜311的直径对应于恰好偶数个像素322的情况下，可以在微透镜网格上的微透镜311之间形成一个像素的物理空间。为了使用估计的视差来准确地恢复视图的颜色内容，举例来讲，可以实施Mozhdeh Seifi等人在″Di sparity-Guided Demosaicking ofLight-Field Images″，ICIP 2014中提出的方法，使得敏感度的数量(或敏感度水平)可以进一步降低，以便针对每次曝光获得多于一个视图。即使在将敏感度水平的数量除以2的情况下，也可以捕获例如场景的大约20种不同的曝光，这远远超出了传统相机的范围。

限制(v)：可以考虑针对四色人的场景捕获。数量很少，四色人有4种原色响应。因此，只使用3个颜色通道可能不能满足这些人的需要。为了将HDR全光相机调整到这种情况，可以在附加颜色通道中的信息中包括一个视图(或甚至可能一行或一列视图)。唯一的调整是在与每个微透镜对应的像素的前面使用合适的滤色器，并且仍然可以捕获场景的大约20个不同的曝光。

如上所述，在多个传感器区域323中的每一个的中心附近位于多个传感器区域323的对应位置处的多个传感器区域323中的每一个的至少一行或至少一列中的像素322可能具有相同的敏感度。因此，在每个传感器区域323中像素322具有相同敏感度的相邻行或列的数量可以是如图4中所示的一个(1)、如图5所示的三个(3)或两个(2)或四个(4)或更多个，其中像素322的敏感度在这样的相邻行或列之间是不同的。

要注意的是，全光相机在一个镜头中获得了场景的多次曝光，并且例如可以容易地以视频模式工作。虽然在本实施例中提供了全光类型1的示例，但是对于例如全光类型2相机可以使用完全相同的方法。例如，在由Raytrix GmbH制造的R系列3D相机(或光场相机)的情况下，由于全光功能未在常规格栅上采样，因此需要进行数据重新网格划分以获得视图的矩阵布置。然而，可以相应地设计传感器，以便在不同视图上获得场景的不同曝光。

虽然示例性实现用例如“第一”或“第二”来编号，但是序数并不意味着示例性实现的优先级。许多其他变化和修改对于本领域技术人员是显而易见的。

这里记载的所有示例和条件语言预期用于教导目的，以帮助读者理解本发明和发明人为改进现有技术而贡献的构思，并且应解释为不限于这些具体记载的示例和条件，说明书中对这些示例的组织也不对本原理的优劣进行指示。虽然已经详细描述了本公开的实施例，但应理解的是，在不脱离本发明的范围的情况下，可以对其进行各种改变、替换和替代。

Claims

1.一种图像传感器单元，包括：微透镜阵列以及传感器，

其中，所述微透镜阵列包括按照二维阵列布置的多个微透镜，

其中，所述传感器包括按照二维阵列布置的多个像素，并且被配置为通过所述微透镜阵列接收光，

其中，所述传感器包括按照二维阵列布置的多个传感器区域，所述多个传感器区域分别包括按照矩阵布置所布置的具有不同感光度的像素，

其中，位于所述多个传感器区域中的相应位置处的像素具有相同的感光度，以及

其中，所述微透镜阵列中的每个微透镜被布置为将所述光导向所述传感器中的所述多个传感器区域中的相应传感器区域，

所述多个传感器区域中的每个传感器区域的矩阵布置的第一行或第一列中的像素具有第一感光度，

所述多个传感器区域中的每个传感器区域的矩阵布置的第二行或第二列中的像素具有与所述第一感光度不同的第二感光度，

所述第一感光度和所述第二感光度与所述多个传感器区域中的每个传感器区域的矩阵布置中不同于所述第一行和所述第二行或所述第一列和所述第二列的行或列中的像素的感光度不同。

2.根据权利要求1所述的图像传感器单元，其中，

所述多个传感器区域中的每个传感器区域的矩阵布置的第三行或第三列中的像素具有与所述第一感光度和第二感光度不同的第三感光度，

所述第一感光度、所述第二感光度和所述第三感光度与所述多个传感器区域中的每个传感器区域的矩阵布置中不同于所述第一行、所述第二行和所述第三行或所述第一列、所述第二列和所述第三列的行或列中的像素的感光度不同，

所述第一行、所述第二行和所述第三行或所述第一列、所述第二列和所述第三列彼此相邻，并且被定位为延伸通过所述多个传感器区域中的每个传感器区域的中心区域。

3.根据权利要求1所述的图像传感器单元，其中，所述多个传感器区域在行和列延伸的方向上被布置为线性对齐的矩阵布置。

4.根据权利要求1所述的图像传感器单元，其中，所述多个传感器区域在行和列延伸的方向上被线性地布置为交错的布置。

5.一种成像装置，包括：光学系统以及根据权利要求1所述的图像传感器单元，

其中，所述光学系统包括至少一个透镜；并且

其中，所述图像传感器单元的所述微透镜阵列被配置为通过所述光学系统接收所述光。

6.根据权利要求5所述的成像装置，其中，所述光学系统包括：主透镜，被配置为接收来自所述主透镜的物场中的物体的所述光，并且使所述光穿过所述主透镜的像场。

7.根据权利要求5所述的成像装置，还包括：

处理器，被配置为对从所述传感器的所述多个传感器区域中的每个传感器区域输出的信号进行处理，所述信号包括具有不同敏感度的像素的信号。

8.根据权利要求7所述的成像装置，其中，所述处理器的所述处理包括：

将所述信号数字化成数字信号，以及

从所述数字信号中提取由所述多个传感器区域感测的并且与不同视点相对应的多个视点图像。

9.根据权利要求8所述的成像装置，其中，所述处理器的所述处理还包括：

对所述多个视点图像中的至少两个视点图像进行合成。

10.根据权利要求5所述的成像装置，其中，所述成像装置是全光相机。