CN109642823A - 限制图像传感器中的串扰的方法 - Google Patents

Abstract

本发明涉及一种限制成像传感器中的串扰的方法，该传感器以定义图像的宏像素的矩阵的形式呈现，每个宏像素由基础像素的矩阵形成，每个基础像素专用于不同的光谱带，所有基础像素专用于相同光谱带，所述相同光谱带形成子图像，该图像按照拓扑被分解为至少一个块，该方法包括以下步骤：‑测量700每个基础像素λ1，λ2，λ3，...，λ9的光谱响应，‑在块中计算701每个子图像的平均光谱响应，‑确定目标702，用于定义在该块中每个子图像的理想响应，‑估计703一系列系数，用于最小化该块中的串扰，‑将这些系数应用704于所述宏像素，用于在该块中校正所述子图像。该方法的特征在于所述理想响应是高斯函数。

Description

限制图像传感器中的串扰的方法

本发明涉及限制图像传感器中的串扰的方法。

当寻找连续的光谱时，不同的技术允许分析具有令人满意的光谱分辨率的对象。

这些技术也很好地适应于有限数量的相对窄的通带(即，与连续的光谱相比是离散的光谱)足以识别所寻找的部件的情况。

不过，这些技术将待分析的对象视为不可分割的实体(即，未在空间中分解的实体)，并且它们不适于识别单个对象内的光透射或反射的变化。

因此，文献FR 2 904 432教导了光学滤波矩阵结构和相关联的图像传感器。其涉及能够捕获不同的颜色。实际上，根据可见光谱中的三个基色(红色、绿色、蓝色)，可以重构大多数颜色。

在这种情况下，使用设置在检测器矩阵的表面的滤波器矩阵。这里，滤波器矩阵是所谓的“拜耳(Bayer)”矩阵，但这对本发明来说并不重要。检测器矩阵是所谓的有源像素传感器互补金属氧化物半导体(英文为“Active Pixel Sensor Complementary Metal OxideSemiconductor”，APS CMOS)矩阵。该矩阵在半导体基板上实现，在半导体基板的表面上布置有光敏区、电子电路和电连接。

在基础像素上，光敏区仅表示总表面的一小部分，该表面的其余部分被控制电子器件占据。因此，有必要准备微透镜，每个像素一个微透镜，以便将入射光聚焦在该像素的光敏区上。滤波器矩阵布置成与检测器接触，因而整体呈现为由检测器-滤波器-微透镜堆叠构成的组件。

实际上，由于微透镜的拓扑结构非常显著，因此不可能设想在微透镜上沉积滤波器矩阵。此外，微透镜由树脂制成，因此似乎难以在有机材料上实现无机滤波器。

然而，当滤波器设置在微透镜下方时，入射在滤波器上的光束的角孔径(angularaperture)较大。滤波器的响应与这个入射角密切相关。这导致光谱响应的修改。

为了避免滤波器上的入射角问题，可以设想消除微透镜。不过，光敏区的面积相对于像素的总面积较小。微透镜带来了大约50％的灵敏度增益。因此，由于消除微透镜而丧失灵敏度似乎是不合适的。

还应该提到的是，这种组件的制造生产率相对低。总生产率基本上等于以下三种生产率的乘积：

-检测器的制造，

-滤波器矩阵的制造，

-微透镜阵列的制造。

因此，通过增加制造操作，结果总生产率显著降低。

因此提出了不具有上面提到的限制的多光谱成像传感器。

参考附图描述这种传感器，其中：

-图1是一维滤波单元格的原理示图，更具体地：

-图1a，该单元格的平面图；以及

-图1b，单元格的剖视图；

-图2a至2c示出了滤波模块的第一实施例的三个步骤；

-图3a至3f示出了该滤波模块的第二实施例的六个步骤；

-图4是二维滤波模块的原理示图；

-图5是滤波模块的示图，其中每个单元格包括九个滤波器；以及

-图6是所提出的传感器的剖视图。

存在于多个图中的元素被分配单个相同的标号。

以包括多个一般而言相同的滤波单元格的滤波模块开始进行描述。

参考图1a和1b，滤波单元格包括相继对准的三个Fabry-Perot型干涉滤波器FP1、FP2和FP3，使得形成条带。

通过在玻璃或二氧化硅的基板SUB上堆叠例如以下元件来构成该单元格：第一镜M1、间隔膜SP、以及第二镜MIR2。

间隔膜SP定义每个滤波器的中心波长，因此对于给定的滤波器间隔膜SP是恒定的，并且从一个滤波器到另一个滤波器有所变化。其剖面是阶梯形的，因为每个滤波器具有基本上矩形的表面。

以示例方式给出通过薄层技术实现滤波模块的第一方法。

参考图2a，该方法开始于在基板SUB上沉积第一镜MIR1，接着是用于定义间隔膜SP的介电层或一组介电层TF。镜可以是金属的或电介质的。

参考图2b，蚀刻介电TF：

-首先，在第二滤波器FP2和第三滤波器FP3处，以便定义在第二滤波器FP2处的间隔膜SP的厚度，

-随后，在第三滤波器FP处，以便定义在第三滤波器处的该膜的厚度。

第一滤波器FP1处的间隔膜SP具有沉积物的厚度。

参考图2c，第二镜MIR2沉积在间隔膜SP上，以便完成三个滤波器。

间隔膜SP可以通过如上所述的沉积介电TF然后相继进行蚀刻来获得，但是也可以通过相继沉积多个薄层来获得。

举例来说，通过将间隔膜的光学厚度修改为从1.4λ₀/2至2.6λ₀/2(其中λ₀＝900nm并且n＝1.450，同时e在217nm至403nm之间变化)，可以覆盖从800nm至1000nm的波长范围。

这里要注意的是，间隔膜的厚度应足够薄，以便在要探测的范围内仅获得一个透射带。实际上，该厚度越大，满足条件[ne＝kλ/2]的波长数越多。

下面描述制作滤波模块的第二种方法。

参考图3a，该方法开始于在硅基板SIL的底面OX1和顶面OX2上执行热氧化。

参考图3b，基板的底面OX1和顶面OX2分别被覆盖有光敏树脂的底层PHR1和顶层PHR2。此后，通过光刻在底层PHR1中形成矩形开口。

参考图3c，竖直于在底层PHR1中形成的矩形开口，对底面OX1的热氧化物进行蚀刻。然后移除底层PHR1和顶层PHR2。

参考图3d，竖直于矩形开口，实现基板SIL的各向异性蚀刻(例如，结晶朝向1-0-0)，底面OX1的热氧化物用作掩模并且顶面OX2的热氧化物用作蚀刻停止层。蚀刻可以或者是借助氢氧化钾(KOH)或三甲基铵羟基(TMAH)的溶液的湿蚀刻，或者是借助等离子体的干蚀刻。该操作的结果是，在矩形开口的远端仅保留氧化物膜。

参考图3e，蚀刻该氧化物：

-首先，在第二滤波器FP2和第三滤波器FP3处，以便定义在第二滤波器FP2处的间隔膜SP的厚度，

-随后，在第三滤波器FP3处，以便定义在第三滤波器处的该膜SP的厚度。

参考图3f，第一镜M1和第二镜M2沉积在基板SIL的底面OX1和顶面OX2上。

可选地，可以通过在底面OX1和顶面OX2中的一个和/或另一个上沉积钝化层(未示出)来终止滤波模块的制作。

因此可以实现一组对准的滤波器，因此这些滤波器能够在一维空间中被参考。

参考图4，还可以在二维空间中组织滤波单元格。这种组织常常被称为是矩阵的。

四个相同的水平条带中的每一个包括四个单元格，现在将其视为宏像素。第一条带(出现在图的顶部的条带)与矩阵的第一行对应，并且包括宏像素IF11至IF14。第二、第三和第四条带分别包括宏像素IF21至IF24、宏像素IF31至IF34，以及宏像素IF41至IF44。

该组织被称为是矩阵的，因为宏像素IFjk属于第j个水平条带并且也属于第k个垂直条带，其包括宏像素IF1k、IF2k、...、IF4k。

参考图5，每个宏像素此后包括定义基础像素的九个滤波器。这些宏像素中的每一个呈正方形的形式，其中内接有(inscribed)被调谐到不同波长λ1、λ2、λ3、λ4、...、λ9的每个滤波器。调谐到相同波长的基础像素的集合形成子图像。

在这个图中，为了清楚起见，与两个基础像素之间的间距相比，有意地夸大了宏像素之间的间距。实际上，这些间距自然是相同的。

因此，滤波模块与能够测量由不同滤波器产生的光通量的检测器相关联。因此，该检测器由多个隔室形成。

参考图6，可以看到如图5中所示的滤波模块MF。

检测器DET在硅基板SS上由CMOS技术实现。在方形的每个隔室CP1、CP2、CP3的中心处，存在光敏区PS1、PS2、PS3。

在每个隔室CP1、CP2、CP3上方，存在直径等于隔室侧边的微透镜ML1、ML2、ML3。

滤波模块MF压紧在微透镜ML1、ML2、ML3的阵列上，使得滤波器λ1、λ2、λ3面对微透镜ML1，ML2，ML3。

该模块MF的这种定位借助于对准图案(pattern)来执行，对准图案是光刻领域的技术人员已知的技术，因此不再详细描述。

滤波模块MF借助于粘合剂珠ST固定在检测器DET上。

为了阐明构思，规定像素的尺寸通常为5微米的数量级。

上述多光谱成像传感器在其大部分特征方面是令人满意的。但是，令人惊讶的是，发现该传感器遭受基础像素与其最近邻居之间的串扰。

因此，文献US 2012/27786提出了一种限制成像传感器中的串扰的方法，该传感器以定义图像的宏像素矩阵的形式呈现，每个宏像素由基础像素的矩阵形成，每个基础像素专用于不同光谱带，所有基础像素专用于形成子图像的相同光谱带，该图像按照拓扑被分解为至少一个块(parcel)，并且该方法包括以下步骤：

-测量每个基础像素的光谱响应；

-在块中计算每个子图像的平均光谱响应；

-确定目标，用于定义该块中每个子图像的理想响应；

-估计一系列系数，用于最小化该块中的串扰；以及

-将这些系数应用于宏像素，用于校正该块中的子图像。

因此，本发明的目的是限制任何多光谱成像传感器中，更具体地是如上所述的传感器中的串扰。

根据本发明，提供了一种限制成像传感器中的串扰的方法，该传感器以定义图像的宏像素的矩阵的形式呈现，每个宏像素由基础像素的矩阵形成，每个基础像素专用于不同的光谱带，所有基础像素专用于相同光谱带，所述相同光谱带形成子图像，该图像按照拓扑被分解为至少一个块，该方法包括以下步骤：

-测量每个基础像素的光谱响应，

-在块中计算每个子图像的平均光谱响应，

-确定目标，用于定义在所述块中每个子图像的理想响应，

-估计一系列系数，用于最小化该块中的串扰，

-将这些系数应用于所述宏像素，用于在所述块中校正所述子图像；

该方法的显著点在于所述理想响应是高斯函数。

因此显著减少了成像传感器中的串扰。

根据第一种设置，图像包括多个块，这些块与所述宏像素重合。

根据第二种设置，图像包括多个块，这些块中的每一个块包括多个连续的宏像素。

根据第三种设置，图像包括单个块，该块与所述图像重合。

根据优选实施例，估计步骤包括用于产生所述一系列系数的优化阶段，使得由这些系数校正的子图像的响应与这些子图像的理想响应之间的差异最小化。

优选地，所述优化阶段利用广义既约梯度法。

根据第一选项，参考相同宏像素的其它基础像素来处理每个基础像素。

该第一选项具有简单的优点。

根据第二选项，参考作为其最近邻居的其它基础像素来处理每个基础像素。

该第二选项具有更高准确度的优点。

下面参考以下附图，在伴随有以示意性方式给出的实现示例的描述的上下文中，本发明将体现更多细节，其中：

图7是本发明的目标方法的流程图；以及

图8是示出最接近所确定的基础像素的邻居的示图。

通过假设，图像因此由成像传感器的所有宏像素形成。

然后可以将图像按照拓扑细分为块。

因此其拓扑单元是宏像素的块可以包括一个宏像素到所有宏像素，其中单个块的极限情况与图像重合(coincide)。

下面要研究的正是这种特别有利的极限情况。

返回到参考图5描述的矩阵配置，存在由九个基础像素组成的宏像素。

参考图7，根据本发明方法的第一步骤是表征每个基础像素的表征步骤700。为此，使用单色器，例如，以2nm的步长覆盖400nm至1000nm的范围。如此获得所有基础像素的光谱响应。

此后是求平均步骤701，用于在考虑相关的各像素的同时计算每个子图像的平均光谱响应。举例来说，在九个子图像当中，八个被调谐到不同的光谱带，而最后一个子图像是全色的。因此设置了参考。

接下来的步骤是确定目标步骤702，用于确定每个子图像的理想光谱响应。在本情况下，通过指定中心波长和半高宽度，为子图像中的每一个选择高斯函数。不校正全色子图像。

接下来的步骤是估计步骤703，用于获得9×9个系数的张量(tensor)，当应用于平均光谱响应时，该张量应尽可能接近理想响应。在本情况下，使用所谓的广义既约梯度法来执行该估计。但是，本领域技术人员知道可以适用的许多其它方法，特别是：

-Monte-Carlo方法；

-单纯形法；

-最小二乘法；

-Nelder-Mead方法；

-Newton-Raphson方法；

-准牛顿法；

-非线性最小二乘法；

-Levenberg-Marquart方法；

-遗传算法方法。

最后，在校正步骤704中，将张量应用于原始图像，用于获得串扰校正的图像。

下面使用以下符号对估计步骤进行详细描述：

Fr(λ)：光通量，

QE_i(λ)：设有滤波器λi的基础像素的量子效率，

QEr_i(λ)：串扰处理之后的虚拟基础像素的量子效率，

P_i：滤波器λi的分配的基础像素的响应，

Pr_i：处理之后的虚拟基础像素的响应，

CC_ij：传感器的串扰系数。

做出以下假设：

-光通量在宏像素上是均匀的，

-噪声可以忽略不计，

-基础像素的响应是线性的(没有饱和或“抗晕”校正、伽马校正等)，

-滤波器的响应是线性的，并且仅取决于波长。

然后定义以下：

基础像素的响应如下：

P_i＝∫_λFr(λ)×QE_i(λ)dλ (2)

虚拟像素的响应如下：

Pr_i＝∫_λFr(λ)×QEr_i(λ)dλ (3)

将等式(1)代入等式(3)：

系数CC_ij独立于λ，因此：

将等式(2)代入等式(5)：

如此根据原始基础像素P_j的值获得校正的单个像素Pr_i的值。

通过如上进行，根据相同宏像素的所有基础像素来校正一个基础像素。这种解决方案具有简单的优点，并且它依赖于两个相邻宏像素之间的亮度变化小的事实。

参考图8，为了校正基础像素，可以通过不再考虑相同宏像素的基础像素而是考虑作为待校正像素的最近邻居的各基础像素来改善校正的质量。如本领域技术人员已知的，当应用三维解拼(de-mosaicing)处理时，这个方法更特别地优选。

举例来说，为了校正出现在左上部的宏像素的基础像素λ9，考虑以下基础像素：

-宏像素左上部的λ5、λ6、λ8；

-宏像素右上部的λ4、λ7；

-宏像素右下部的λ1；以及

-宏像素左下部的λ2、λ3。

这里，校正方法类似于上述方法。因此，没有详细描述，因为其属于本领域技术人员的能力范围。

刚才介绍了仅具有一个块、图像以整体方式被处理的设置。这种设置的主要优点在于只有一个张量要计算。但是，该设置假设传感器在其整个表面上基本均匀。并非总是如此。

因此，在另一种设置中，图像被分解为多个块，每个块呈现出比图像的均匀性更好的均匀性。举例来说，可以选择两个块，一个形成图像的中心而另一个形成其周边，使得这两个块的并集与图像重合。

除了之前应用于整个图像的处理现在相继地应用于每个块之外，本发明的方法与上述方法相同。

返回到图7，根据本发明方法的第一步骤仍是表征每个基础像素的表征步骤700。

接下来是求平均步骤701，用于在考虑相关的基础像素的同时计算每个子图像的块中的平均光谱响应。

接下来的步骤是确定目标步骤702，用于确定所考虑的块中的每个子图像的理想光谱响应。

接下来的步骤是估计步骤703，用于获得9×9个系数的张量，当应用于所考虑的块中的平均光谱响应时，该张量应尽可能接近理想响应。在本情况下，使用所谓的广义既约梯度法来执行该估计。

最后，在校正步骤704中，将张量应用于原始块，用于获得串扰校正的块。

经校正的块的并集给出经校正的图像。

这里，两个张量足以获得更好的准确度。

自然，可以增加块的数量以改善高准确度，但这会损害计算时间。

当存在与宏像素一样多的块时，可以获得最高的准确度。

在这种情况下，求平均步骤701不存在。实际上要注意到的是，一个值的平均值等于那个值。

除了之前应用于所有图像或每个块的处理现在应用于每个基础像素之外，本发明的方法与上述方法相同。

返回到图7，根据本发明方法的第一步骤仍然是表征每个基础像素的表征步骤700。

省略求平均步骤701，因为它涉及取单个值的平均值。

接下来的步骤是确定目标步骤702，用于确定所考虑的宏像素中的每个基础像素的理想光谱响应。

接下来的步骤是估计步骤703，用于获得9×9个系数的张量，当应用于所考虑的宏像素的基础像素时，该张量应尽可能接近理想响应。在本示例中，使用所谓的广义既约梯度法来执行该估计。

最后，在校正步骤704中，将张量应用于原始宏像素，用于获得串扰校正的宏像素。

然后通过重新组合所有经校正的宏像素来获得经校正的图像。

已经出于其具体性质而选择了上述本发明的实现示例。不过，不可能详尽地列出本发明所覆盖的所有实施例。特别地，在不超出本发明的范围的情况下，可以通过等效手段或等效步骤代替上述任何手段或任何步骤。

Claims (8)

1.一种限制成像传感器中的串扰的方法，该传感器(DET-MF)以定义图像的宏像素(IF11，IF12，...，IF44)的矩阵的形式呈现，每个宏像素由基础像素(λ1，λ2，λ3，...，λ9)的矩阵形成，每个基础像素专用于不同的光谱带，所有基础像素专用于相同光谱带，所述相同光谱带形成子图像，所述图像按照拓扑被分解为至少一个块，该方法包括以下步骤：

-测量(700)每个基础像素(λ1，λ2，λ3，...，λ9)的光谱响应，

-在块中计算(701)每个子图像的平均光谱响应，

-确定目标(702)，用于定义在所述块中每个子图像的理想响应，

-估计(703)一系列系数，用于最小化所述块中的串扰，

-将所述系数应用(704)于所述宏像素，用于在所述块中校正所述子图像；

该方法的特征在于所述理想响应是高斯函数。

2.如权利要求1所述的方法，其特征在于包括多个块，所述块与所述宏像素(IF11，IF12，...，IF44)重合。

3.如权利要求1所述的方法，其特征在于包括多个块，所述块中的每一个块包括多个连续的宏像素(IF11，IF12，...，IF44)。

4.如权利要求1所述的方法，其特征在于包括单个块并且该块与所述图像重合。

5.如前述权利要求中任一项所述的方法，其特征在于所述估计(703)步骤包括用于产生所述一系列系数的优化阶段，使得由这些系数校正的子图像的响应与这些子图像的理想响应之间的差异最小化。

6.如权利要求5所述的方法，其特征在于所述优化阶段利用广义既约梯度法。

7.如前述权利要求中任一项所述的方法，其特征在于参考相同宏像素的其它基础像素来处理每个基础像素(λ1，λ2，λ3，...，λ9)。

8.如权利要求1至6中任一项所述的方法，其特征在于，参考作为其最近邻居的其它基础像素来处理每个基础像素(λ1，λ2，λ3，...，λ9)。