CN113841034A - 用宽带滤光片与光强探测器集成的高动态范围光学传感器 - Google Patents

用宽带滤光片与光强探测器集成的高动态范围光学传感器 Download PDF

Info

Publication number
CN113841034A
CN113841034A CN201980095724.XA CN201980095724A CN113841034A CN 113841034 A CN113841034 A CN 113841034A CN 201980095724 A CN201980095724 A CN 201980095724A CN 113841034 A CN113841034 A CN 113841034A
Authority
CN
China
Prior art keywords
dynamic range
high dynamic
detector
image sensor
broadband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095724.XA
Other languages
English (en)
Inventor
王星泽
雷馨
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heren Artificial Intelligence Co ltd
Original Assignee
Heren Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heren Artificial Intelligence Co ltd filed Critical Heren Artificial Intelligence Co ltd
Publication of CN113841034A publication Critical patent/CN113841034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/207—Filters comprising semiconducting materials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Abstract

一种高动态范围的图像传感器，通过将宽带滤光片与像素阵列的单个传感器像素相集成而实现。宽带滤光片由工程微米或纳米结构构成，其透光率差异很大，例如高达5至7个数量级。由于不同材料和结构的不同吸收，滤光片的透光率也不同，如此高的透光率差异可以通过使用一层独立设计的滤光片来实现。高透光率差也可以通过控制光的偏振和使用偏振敏感结构作为滤光片来实现。通过适当设计的集成纳米结构，可以获得跨越几个数量级的宽带透射光谱。这使得设计和制造具有高动态范围的图像传感器成为可能，这对自动驾驶和监控等应用至关重要。

Description

用宽带滤光片与光强探测器集成的高动态范围光学传感器
技术领域
本申请涉及光学传感器，尤其涉及一种用宽带滤光片与光强探测器集成的高动态范围光学传感器。
背景技术
高动态范围的图像传感器对许多应用至关重要，比如自动驾驶和监控，场景中的光强度往往具有极高的可变性。由于大多数传统图像传感器的动态范围有限，为这类场景拍摄的图像经常有曝光过度和/或曝光不足的区域。
传统的高动态范围（HDR）图像处理方法涉及在同一场景的不同曝光水平下捕获多个图像，对图像数据应用数据处理算法以识别单个图像中曝光过度或曝光不足的区域，然后将多个图像合并在一起，创建一个所有区域都具有适当曝光级别的HDR图像。
S.K.Nayar等人，《高动态范围成像：空间变化像素曝光》，IEEE计算机视觉和模式识别会议论文集，CVPR 2000（目录号PR00662），2000年6月15日，描述了“一种显著增强几乎任何成像系统动态范围的非常简单的方法。其基本原理是同时对图像辐照度的空间和曝光维度进行采样。实现这一目标的几种方法之一是在传统图像探测器阵列附近放置光学掩模。掩膜具有空间透光率变化的图案，从而使探测器上的相邻像素对场景有不同的曝光。利用一种高效的图像重建算法将捕获的图像映射到高动态范围的图像上。最终的结果是成像系统可以测量非常大范围的场景辐亮度，并产生大量的亮度级别，而空间分辨率略有降低。”
Mannami等人，《使用反射液晶的高动态范围摄像机》，2007年IEEE第11届计算机视觉国际会议，2007年10月14日至21日，描述了“使用反射液晶提高摄像机动态范围的方法该系统由一个摄像头和一个放置在摄像头前面的反射液晶组成。 通过控制液晶的衰减速率，自适应控制每个像素的场景亮度。 控制完成后，根据液晶的衰减速率和摄像头获得的辐亮度，推导出原始场景辐亮度。 一个原型系统已经被开发和测试用于包含剧烈照明变化的场景。每个像素的亮度都是独立控制的，HDR图像是通过从这些结果计算原始场景亮度来获得的。”
发明内容
本发明涉及一种高动态范围图像传感器和相关方法，其基本上消除了由于现有技术的限制和缺点而导致的一个或多个问题。
本发明的目的是提供易于使用传统半导体加工技术制造的高动态范围图像传感器。
本发明的附加特征和优点将在随后的描述中阐述，并且部分将从描述中显而易见，或者可以通过本发明的实践来学习。本发明的目的和其他优点将通过在其书面描述和权利要求以及附图中特别指出的结构来实现和实现。
为了实现上述目标，本发明提供了一种高动态范围的图像传感器，其包括：
构成阵列的多个空间像素；
其中，每个空间像素包括多个彼此相邻设置的探测器像素，每个探测器像素包括有光强探测器；
在每个所述的空间像素中，至少一部分探测器像素各自具有设置于光强探测器之上的宽带滤光片，每个所述空间像素包括至少一个没有宽带滤光片的探测器像素和至少一个具有宽带滤光片的探测器像素，或包括具有各自不同透光率的宽带滤光片的至少两个探测器像素；
其中，每个宽带滤光片包括由一层或多层半导体、金属和/或介电材料组成的纳米结构，并与相应的光强探测器集成。
在另一方面，本发明提供了一种高动态范围图像传感器，其包括：
多个像素构成的阵列；
每个像素包括光强探测器以及设置于光强探测器之上并与光强探测器集成的宽带滤光片；
所述宽带滤光片包括两个线栅偏振片和一个设置于两个线栅偏振片之间的液晶层；
每个线栅偏振片包括一由介电层覆膜的金属或半导体图案层，所述图案层包括一组相互平行布置并以限定方向延伸的直线；
一种液晶驱动电路，其用于为对每个像素的液晶层施加电场，作为对电场的响应，液晶层旋转通过其的光的偏振方向以改变宽带滤光片的透光率；以及，
一种控制电路，用于为驱动电路产生控制信号。
应当理解，前面的一般描述和下面的详细描述都是示例性和解释性的，并且旨在提供对所要求保护的本发明的进一步解释。
附图说明
图1（a）和1（b）示意性地示出了根据本发明实施例的高动态范围图像传感器；
图2（a）－2（d）示意性地示出了根据本发明第一实施例的采用与光电二极管集成的双层线栅偏振器的高动态范围图像传感器；
图3（a）－3（c）示意性地示出了根据本发明第二实施例的采用与光电二极管集成的单层线栅滤波器的高动态范围图像传感器；
图4（a）－4（b）示意性地示出了根据本发明第三实施例的采用与光电二极管集成的形状不规则的单图案层的高动态范围图像传感器；
图5示意性地示出了根据本发明第四实施例的采用与光电二极管集成的各种厚度的金属或半导体层的高动态范围图像传感器；
图6示意性地示出了根据本发明第五实施例的采用与光电二极管集成的不同材质的金属或半导体层的高动态范围图像传感器；
图7示意性地示出了根据本发明第六实施例的采用与光电二极管集成的纳米锥阵列的高动态范围图像传感器；
图8（a）和8（b）示意性地示出了根据本发明第七实施例的采用与光电二极管集成的超材料结构的高动态范围图像传感器；
图9（a）-9（b）示意性地示出了根据本发明的替代实施例的两个高动态范围图像传感器，它们将谐振纳米结构与集成在光电二极管上的宽带滤光片相结合；
图10示意性地示出了根据本发明实施例的高动态范围图像传感器的像素布置；
图11示意性地示出了根据本发明第八实施例的采用与光电二极管集成的可调谐光衰减器的高动态范围图像传感器；
图12示意性地示出了根据本发明第九实施例的用于光衰减器自适应控制的反馈系统；
图13示意性地示出了根据本发明第十实施例的使用自适应控制光衰减器的高动态范围图像生成方法的操作方法。
具体实施方式
本发明的实施例提供了通过将宽带滤光片（也称为宽带光学衰减器、中性密度滤波器）与单个光强探测器集成而形成的高动态范围（HDR）图像传感器。光强探测器可以是例如CMOS（互补金属氧化物半导体）图像传感器、CCD图像传感器等。下面的描述使用CMOS传感器作为示例。集成在光强探测器上的宽带滤光片由工程微米级结构或纳米级结构构成，这些结构在集成了不同光强探测器的不同滤光片之间表现出较大的透光率差异，例如高达5到7个数量级的差异。通过使用单独设计的单层滤光片可以实现如此高的透射率差异，由于滤光片的各种材料和结构的不同吸收，这些滤光片具有不同的透光率值。通过适当设计的集成纳米结构，可以获得跨越几个数量级的宽带透射光谱。这使得设计和制造具有高动态范围的图像传感器成为可能，这对自动驾驶和监控等应用至关重要。
在本发明中，宽带滤光片被称为与相应的光强探测器“集成”，因为滤光片是由半导体制造工艺直接在光强探测器上形成的，并且是与光强探测器单片集成的。
为了描述高动态范围图像传感器的结构，本文定义了两级像素：空间像素和探测器像素。探测器像素是一个单一的光电流产生单元，例如一个光电二极管，及其在CMOS传感器中的相关晶体管和电路。
每个探测器像素可以在CMOS传感器的顶部集成一个特定透光率的滤光片（或者没有滤光片），从而检测未衰减的光强度。一个空间像素是多个相邻探测器像素的集合，其中每个探测器像素的滤光片结构(因此透光率)可能不同。空间像素周期性地平铺整个图像传感器。将所有空间像素的输出与demosaicing等算法相结合，实现高动态范围图像的重建。
图1（a）（透视图）和图1（b）（平面视图）示意图说明了由阵列空间像素11组成的高动态范围图像传感器10，每个空间像素包括多个探测器像素12-1、12-2等。每个探测器像素包括一个CMOS传感器(“PD”)和一个宽带滤光片(“F1”，“F2”等)，或者在传感器上没有滤光片。滤光片可以有不同的透光率。以下实施例着重于每个空间像素内的滤光片的设计。
本发明的第一至第七实施例及其变体采用基于由金属、半导体和/或电介质形成的纳米结构并与光强探测器集成的宽带滤光片。
图2（a）－2（c）示意性地说明了根据本发明的第一实施例使用线栅偏振片作为宽带滤光片的高动态范围图像传感器。图2（a）为探测器像素22的横截面图，其中包括光强探测器PD和宽带滤光片23。该宽带滤光片23包括两个线栅偏振器P1和P2，直接集成在叠加的光强探测器PD上。每个线栅偏振片P1、P2由金属或半导体的图案层形成，金属或半导体层上覆盖有介电层。每个有图案的金属或半导体层包括一组彼此平行布置的直线条，优选地具有周期结构。两个线栅偏振片P1和P2的金属或半导体线的方向相对于彼此处于预定的角度(见图2（b），平面图)。两个偏振片P1和P2的叠加形成一个宽带滤光片，入射光衰减的因素取决于两个偏振片方向的相对角度θ，从无衰减到100%衰减。
使用两个堆叠的偏振片来获得宽带滤光片是众所周知的，并用于大型光学元件，如相机系统，以改变到达图像传感器的光的总体强度。一个完美的偏振片传输与其偏振轴平行的100%的线偏振光，传输与其偏振轴正交的0%的线偏振光。通过两个连续偏振片的光的强度I可以用一阶马氏定律来描述：
I = I0 * cos(θ)2
其中I0为入射强度，θ为两个偏振片偏振方向之间的夹角。使两个偏振片的轴线完全正交，透射率为0。这意味着理论上的动态范围是无穷大。
然而，在实践中，第一实施例的宽带滤光片的动态范围受到制造工艺的准确性、材料特性以及线栅的几何形状的限制。通过合理设计的线栅结构，可以将探测器像素的动态范围扩展到商用CMOS图像传感器技术的可见光范围之外的100 dB以上。理想情况下，为了获得一个完美的偏振片，线栅的间距Pitch和金属或半导体线的宽度Width应该明显小于入射光的波长。例如小于400nm。在实践中，由于当前CMOS制造技术的限制，间距Pitch和宽度Width可能在入射波长的谐振范围内。在计算结构的透射谱时，需要考虑谐振和表面等离子体效应。
双层正交线栅结构的一个示例的模拟结果如图2（d）所示。在本例中，线栅由铜制成，在CMOS工艺中广泛用作互连金属层。两层铜栅由介电材料（如SiO2）隔开，这在典型CMOS工艺流程中很常见。使用300 nm的线栅间距和200 nm的线宽度，在相邻线之间留下100 nm的间隙。这些特征尺寸与典型的0.13微米CMOS工艺技术兼容。需要注意的是，电介质材料的厚度或两个金属线层之间的垂直距离并不重要。在这种设计下，模拟的可见光光谱透光率达到1e-5~1e-7。通过调整偏振片P1和P2的两个线栅的相对角度、线的宽度和线栅间距等，可以实现不同的透光率。透光率降低一个数量级可以有效地将探测器的动态范围在较高强度端扩展20 dB。因此，使用该技术可以将动态范围扩展100 dB。
综上所述，通过调整偏振片P1、P2的金属线层的几何形状和排列，可以设计出大范围的透光率，从而大大扩展图像传感器的动态范围，并且制造工艺与现有的商用CMOS技术完全兼容。
图2（a）还显示了在宽带滤光片上方的图像传感器阵列上形成的滤光片阵列(“CFA”)和微透镜阵列(“MLA”)。
图2（c）（平面视图）显示了由4个探测器像素22组成的空间像素21，其中3个探测器像素每个都有两个线栅偏振片，3个探测器像素的两个偏振片之间的相对角度不同，1个探测器像素没有线栅。不同的探测器像素检测到的光强度是不同的。探测器像素具有较低衰减滤光片或没有滤光片将能够成像较暗的场景而不会曝光不足，而像素具有较高衰减滤光片将能够成像较亮的场景而不会过度曝光。
在可供选择的实施例中，偏振片(金属或半导体线层)的数量可以超过两个。
上述高动态范围图像传感器结构也可应用于其他波长范围，例如IR或更长波长范围，并且应相应地调整纳米结构的参数。例如，对于波长较长的入射光，金属丝图案的间距应更长。
在制造具有多个空间像素的图像传感器之后，可以对其进行校准（表征）以测量每个探测器像素的宽带滤光片的实际透光率。这是因为，虽然原则上可以根据滤光片结构的已知参数计算每个探测器像素的透光率，但实际上，由于过程变化，实际透光率可能与理论值不同。校准可通过使用相对均匀强度的光源并使用待校准的图像传感器和没有滤光片的类似图像传感器检测光强度来实施。
图3（a）－3（c）说明了根据本发明的第二实施例使用单层线栅作为每个探测器像素的宽带滤光片的高动态范围图像传感器。图3（a）是显示探测器像素32与单层线栅33集成在光强探测器PD上方的横截面图，图3（b）和图3（c）是单层线栅33的两个不同示例的平面图。单层钢丝线栅33是一个金属或半导体图案层，其具有相互平行设置的第一组直线，以及相互平行设置的第二组线，第一和第二组线的限定方向成一个预定角度，形成一个二维的线栅。通过调整线栅间距、线宽和两组线的相对方向，可以实现不同的透光率。与第一个实施例(图2（a）－2（c）相比，这减少了所需的图案形成步骤的数量，从而简化了制造过程。图像传感器由空间像素阵列组成，每个空间像素包括多个具有不同透光率的宽带滤光片的探测器像素。
图4（a）和4（b）示意了根据本发明的第三实施例的高动态范围图像传感器的探测器像素42。在光强探测器PD上方集成的宽带滤光片43包括一个或多个金属或半导体纳米结构的图案层，这些纳米结构的特征尺寸小于入射光的波长(例如，小于400纳米)，且形状不规则且随机二维分布，其设计具有几个数量级的宽带衰减因子。随机结构用来抑制周期结构的谐振，抑制频谱中的尖峰，从而获得相对平坦的透射谱。宽带滤光片43的透光率依赖于纳米结构的各种参数，其中可能包括：纳米结构的面积覆盖密度，如纳米结构的面积占滤光片总面积的比例，即，假设纳米结构的厚度均匀，纳米结构的总面积占滤光片总面积的百分比；纳米结构的形状和尺寸；如果纳米结构形成周期性图案，则周期性也算入。这种随机纳米结构的多层(如图4（a）所示的43-1、43-2层)可以堆叠起来以实现更高阶的衰减。同样，图像传感器由空间像素阵列组成，每个空间像素包括多个探测器像素，具有不同透光率的宽带滤光片。
在备选实施例中，第三实施例(图4(a)-4(b))的纳米结构可与第一实施例(图2(a)-2(c))或第二实施例(图3(a)-3(c))的金属或半导体线栅结构相结合，形成具有提升光谱中性的滤光片。
第一至第三实施例中的宽带滤光片结构可以通过商用CMOS工艺流程方便地集成到CMOS图像传感器中，几乎不需要额外成本。
图5示出了根据本发明的第四个实施例的高动态范围图像传感器的空间像素。空间像素51包括在不同探测器像素52-1至52-4的光强探测器PD上具有不同厚度(包括零厚度)的均匀金属或半导体层。在示例中，探测器像素52-1在光强探测器PD之上没有集成金属或半导体层，探测器像素52-2至52-4分别在 PD之上集成金属或半导体层53-2至53-4作为宽带滤光片。根据朗伯-比尔定律，i = i0 * exp (- ax) ，其中a是金属或半导体材料的吸收系数，x是材料的厚度，通过金属或半导体层到达探测器PD的光强随着层厚度的增加呈指数递减。
这样的器件可以通过在光电二极管上沉积一层金属或半导体材料来制造;然后，可以使用重复的光刻和蚀刻步骤在不同的光电二极管上产生不同厚度的材料层。金属或半导体层(或没有材料层的光电二极管)被透明介质(例如SiO2)包层54覆盖，如果需要，通过化学-机械抛光为后续沉积微透镜阵列和滤色片阵列提供平坦的表面。
图6示出了根据本发明第五实施例的高动态范围图像传感器的空间像素。空间像素61包括在不同探测器像素62-1至62-4的光强探测器PD上具有不同材料和相同厚度的均匀金属或半导体层63-1至63-4。不同的材料导致入射光的衰减不同。制造图5（b）所示结构的一种方法包括在每个探测器像素的顶部顺序沉积和图案化滤光材料。图案可以通过光刻来确定，并通过干法蚀刻或剥离转移到材料上。金属或半导体层（或不含材料层的光电二极管）由透明电介质（例如SiO2）包层64覆盖，并进行化学-机械抛光，以便在需要时为后续沉积微透镜阵列和滤色器阵列提供平整的表面。
在结合第四和第五实施例的特征的替代实施例中，空间像素的每个探测器像素上的宽带滤光片是均匀的材料层，并且不同探测器像素上的不同滤光片可以使用不同的材料并且具有不同的厚度，或者是它们的组合。例如，一些滤光片可以具有相同的材料和不同的厚度，而另一些滤光片可以具有相同的厚度和不同的材料。
图7示出了根据本发明第六实施例的高动态范围图像传感器的空间像素。空间像素71包括多个探测器像素72-1到72-4，每个探测器像素包括光强探测器和集成在其上用作宽带滤光片的纳米锥结构，或者没有宽带滤光片。在所示示例中，探测器像素72-1没有宽带滤光片，其他三个探测器像素分别具有滤光片73-2到73-4。纳米锥被提议作为一种在可见光范围内调节太阳能电池吸收和透射的装置。例如，见K.Wang等人，《具有减反射和光捕获纳米锥光栅的超薄晶体硅太阳能电池的吸收增强》，Nano Lett.，2012，12（3），第1616-1619页。在图7所示的实施例中，不同探测器像素中的纳米锥体结构可以具有不同的几何结构，例如锥体的直径和周期性，这导致不同的光透射率。由这种多个探测器像素形成的空间像素扩展了图像传感器的动态范围。此外，可以逐层制造多层纳米锥结构，或与其他结构（如2D光子晶体）堆叠，以实现每个探测器像素的期望的透光率。
图8（a）和8（b）示出了根据本发明第七实施例的高动态范围图像传感器的空间像素。空间像素81包括多个探测器像素82-1到82-4，每个探测器像素包括光强探测器、集成在其上作为宽带滤光片的超材料结构，或者没有宽带滤光片。在所示示例中，探测器像素82-2没有宽带滤光片，其他三个探测器像素分别具有滤光片83-1、83-3和83-4。超材料结构已被提出作为可见光和近红外波段的宽带光学滤光片。例如，见J.Yoon等人，《近红外宽带ε近零完美吸收》，科学报告第5卷，文章编号：12788（2015）；和L.Lei，《利用等离子体超材料从可见光到近红外的超宽带吸收体》，光学快报5686-5693，第26卷，第5期，2018年3月5日。在图2所示的实施例中。8（a）和8（b），不同探测器像素中的超材料结构可能具有不同的几何结构，例如特征的周期性和大小，这导致不同的光透射。由这种多个探测器像素形成的空间像素扩展了图像传感器的动态范围。
根据本发明的替代实施例，高动态范围图像传感器的每个检测器像素包括谐振纳米结构和宽带光学滤光片，如第一至第七实施例的那些。谐振纳米结构可用于调谐光谱响应、抑制不期望的光谱带和改善光谱中性。谐振纳米结构的示例包括2D和3D光子晶体、具有交替电介质膜层的法布里-珀罗结构、等离子体纳米结构、纳米锥体阵列等。图9（a）和9（b）示出了探测器像素92和96的两个示例，每个示例通过将谐振纳米结构（图9（a）中的2D光子晶体94和图9（b）中的法布里-珀罗膜95堆叠在宽带光学滤光片93的顶部而形成。在所示的示例中，宽带光学滤光片93是第一实施例中的两层线栅结构（图2（a）-2（c））。
第一至第七实施例的高动态范围图像传感器可用于单色图像传感器和彩色图像传感器。当用于彩色图像传感器时，每个探测器像素都被特定类型的彩色滤光片覆盖，例如R(红色)、G(绿色)或B(蓝色)，只检测可见光谱的一部分。通过优化宽带滤光片的纳米结构，使其在较小的光谱窗口内获得相对平坦的透射光谱，从而缓解了纳米结构的设计约束。因此，在这种高动态范围的图像传感器中，更多不同类型的纳米结构可能适合作为宽带滤光片。在本发明中，当这种滤光片与仅在小光谱窗口中传输的彩色滤波器一起使用时，在小光谱窗口中具有相对平坦的传输光谱（并且在其他地方可能具有非平坦的传输光谱）的滤光片仍然被称为“宽带滤光片”。在彩色图像传感器中，具有不同宽带滤光片但具有相同类型的滤色器（例如，R、G或B）的多个探测器像素形成单色空间像素，并且多个（例如，三个）单色空间像素形成多色空间像素。
在上述实施例中，为了扩展图像传感器的动态范围，每个空间像素包括至少两个探测器像素，其中至少一个具有宽带滤光片以衰减入射光。这导致图像传感器的空间分辨率降低。为了恢复空间分辨率的损失，图像传感器使用定义的探测器像素排列，并使用算法处理来自探测器像素的数据。图10中示出了受RGB传感器的拜耳布局（RGBG图案）启发的探测器像素布置的示例。使用三种类型的探测器像素；A型探测器像素没有宽带滤光片，因此对入射光的灵敏度最高；B型探测器像素具有具有相对低（例如，2个数量级）衰减的宽带滤光片，C型探测器像素具有具有相对高（例如，4个数量级）衰减的宽带滤光片。空间像素是2x2阵列，具有两个位于对角线位置的A类探测器像素，以及一个位于另外对角线位置的B型和C型探测器像素。通过对RGB传感器的拜耳模式执行类似于去马赛克算法的去马赛克算法，可以获得不同衰减的像素值，并且可以部分恢复图像的空间分辨率。用于拜耳模式的去马赛克化算法是众所周知的，本领域技术人员可以在本实施例中使其适应于去马赛克化，而无需过度实验。
在本发明的第八实施例中，如图11所示，高动态范围图像传感器的探测器像素采用基于偏振调制的可调谐宽带滤光片。如图11所示，探测器像素112的宽带滤光片113通过集成布置在两个类似于第一实施例的线栅偏振片P1和P2之间的液晶层LC来实现透光率的可调谐性。两个线栅偏振片P1和P2的取向优选地彼此垂直，但也可以彼此以其他角度。液晶层LC和两个线栅结构P1、P2都与CMOS图像传感器PD单片集成。液晶层旋转在第一偏振器P1和第二偏振器P2之间传播的光的偏振方向，从而控制宽带光学滤波器113的透射率。通过控制施加到液晶层的电极上的电场，可以从0到90度连续地调谐偏振方向的旋转。结果，可以连续调谐滤光片113的透射率，以实现高动态范围。
此外，可以自适应地控制液晶层，即根据入射光强度进行控制，以自适应地控制宽带滤光片113的衰减。为了实现这种自适应控制，在图12所示的第九实施例中，提供负反馈系统以生成每个探测器像素的液晶层的控制信号。反馈系统利用光强探测器输出的光强信号，在放大和模数转换后，计算应用于每个探测器像素的衰减量。
本发明的第十实施例提供了一种使用该反馈系统生成HDR图像的自适应控制方法。在本实施例中，每个空间像素可以是单个探测器像素。如图13所示，首先在均匀衰减(可能为零)下，获取所有空间像素的初始图像（步骤S1）。对初始图像进行分析，以检测图像中过曝光或欠曝光的区域(步骤S2)。在步骤S2中，可以使用与传统HDR图像处理相似的算法。注意，在这里，被确定为曝光不足或过度的区域的大小比空间像素大得多。根据对这些区域检测到的曝光过度和曝光不足的数量，计算每个曝光过度或曝光不足区域所需的衰减(步骤S3)。例如，对于过曝光区域，衰减量应该是这样的：该区域保持相对明亮，但不饱和；对于曝光不足的区域，衰减量应该是这样的，该区域保持相对黑暗，但不是完全黑暗。然后，调整每个过曝光或欠曝光区域内液晶层的控制信号，以提供该区域所需的衰减量(步骤S4)。然后使用调整后的图像传感器捕获另一幅图像(步骤S5)。步骤S2-S5可以重复进行额外的迭代，直到没有多余或未充分暴露的区域。在这种自适应控制方法中，图像传感器捕捉到的最终图像与传统HDR图像处理生成的图像相似，是一幅视觉上令人愉悦的图像，其中明亮区域不再过度曝光，较暗区域不再欠曝光。
图像数据处理步骤S2和S3可以由执行存储在存储器中的软件程序的处理器执行。
在上述自适应控制过程中，来自光强探测器的信号被读出、放大并转换为数字数据，然后进行处理。这需要图像传感器芯片外的组件进行片外图像处理。在替代实施例中，可以在图像传感器的像素级提供负反馈系统，以便直接使用光电二极管输出来控制液晶数据线，这避免了额外的读出时间。
本发明的高动态范围图像传感器可以在不脱离本发明的思路或保护范围的情况下进行各种修改和变化，这对于本领域的技术人员来说是显而易见的。因此，本发明旨在涵盖所附权利要求及其等同技术方案保护范围内的修改和变更。

Claims (20)

1.一种高动态范围图像传感器，其包括:
构成阵列的多个空间像素；
其中，每个空间像素包括多个彼此相邻设置的探测器像素，每个探测器像素包括有光强探测器；
在每个所述的空间像素中，至少一部分探测器像素各自具有设置于光强探测器之上的宽带滤光片，每个所述空间像素包括至少一个没有宽带滤光片的探测器像素和至少一个具有宽带滤光片的探测器像素，或包括具有各自不同透光率的宽带滤光片的至少两个探测器像素；
其中，每个宽带滤光片包括由一层或多层半导体、金属和/或介电材料组成的纳米结构，并与相应的光强探测器集成。
2.根据权利要求1的高动态范围图像传感器，其特征在于：
所述光强探测器是CMOS（互补金属氧化物半导体）传感器。
3.根据权利要求1的高动态范围图像传感器，其特征在于：
所述每个宽带滤光片包括堆叠在光强检测器上方的两个线栅偏振片，每个线栅偏振片包括由介电层覆盖的金属或半导体图案层，每个线栅偏振片中所述的图案层包括一组相互平行布置并以限定方向延伸的直线，两个线栅偏振片的所述限定方向成预定的相对角度。
4.根据权利要求3的高动态范围图像传感器，其特征在于：
每个线栅偏振片中的直线组构成周期结构，所述周期结构的节距和直线组的宽度均小于400nm。
5.根据权利要求3的高动态范围图像传感器，其特征在于：
每个空间像素包括至少两个具有宽带滤光片的探测器像素，两个探测器像素的宽带滤光片具有不同的相对角度。
6.根据权利要求1的高动态范围图像传感器，其特征在于：
每个宽带光学滤光片包括形成二维线栅的金属或半导体图案层，该二维线栅包括相互平行布置并在第一方向上延伸的第一组直线和相互平行布置并在第二方向上延伸的第二组直线，其中第一和第二方向成预定的相对角度。
7.根据权利要求6的高动态范围图像传感器，其特征在于：
第一和第二组直线各自形成周期结构，所述周期结构的节距和直线组的宽度均小于400nm。
8.根据权利要求6的高动态范围图像传感器，其特征在于：
每个空间像素包括至少两个具有宽带滤光片的探测器像素，两个探测器像素的宽带滤光片具有不同的相对角度。
9.根据权利要求1的高动态范围图像传感器，其特征在于，每个宽带滤光片包括以下之一的纳米结构：
金属或半导体纳米结构的一层或多层图案层，该纳米结构的尺寸小于400nm且形状不限；
一层或多层纳米锥结构；以及，
一层或多层超材料结构。
10.根据权利要求9的高动态范围图像传感器，其特征在于：
每个空间像素包括至少两个具有宽带滤光片的探测器像素，两个探测器像素的宽带滤光片的纳米结构具有不同的几何形状。
11.根据权利要求1的高动态范围图像传感器，其特征在于，包括：
每个宽带滤光片包括一均匀的金属层或者半导体层。
12.根据权利要求11的高动态范围图像传感器，其特征在于：
每个空间像素包括至少两个具有宽带滤光片的探测器像素，两个探测器像素的宽带滤光片具有不同的层厚。
13.根据权利要求11的高动态范围图像传感器，其特征在于：
每个空间像素包括至少两个具有宽带滤光片的探测器像素，两个探测器像素的宽带滤光片由不同的材质和相同的层厚。
14.根据权利要求1的高动态范围图像传感器，其特征在于：
每个探测器像素还包括集成在光强探测器之上的谐振纳米结构。
15.根据权利要求14的高动态范围图像传感器，其特征在于：
所述谐振纳米结构是二维光子晶体、三维光子晶体、由介电薄膜交替层组成的法布里-珀罗结构、等离子纳米结构或纳米锥阵列。
16.根据权利要求1的高动态范围图像传感器，其特征在于：
每个空间像素包括一个2×2的探测器像素阵列，该探测器像素阵列包括位于对角线位置的两个没有宽带滤光片的探测器像素，以及余下的位于对角线位置的两个具有不同透光率的宽带滤光片的探测器像素。
17.一种高动态范围图像传感器，其包括：
多个像素构成的阵列；
每个像素包括光强探测器以及设置于光强探测器之上并与光强探测器集成的宽带滤光片；
所述宽带滤光片包括两个线栅偏振片和一个设置于两个线栅偏振片之间的液晶层；
每个线栅偏振片包括一由介电层覆膜的金属或半导体图案层，所述图案层包括一组相互平行布置并以限定方向延伸的直线；
一种液晶驱动电路，其用于为对每个像素的液晶层施加电场，作为对电场的响应，液晶层旋转通过其的光的偏振方向以改变宽带滤光片的透光率；以及，
一种控制电路，用于为驱动电路产生控制信号。
18.根据权利要求17的高动态范围图像传感器，其特征在于，包括：
所述光强探测器是CMOS（互补金属氧化物半导体）传感器。
19.根据权利要求17的高动态范围图像传感器，其特征在于：
所述控制电路包括用于接收由光强传感器输出的图像信号并根据图像信号生成控制信号的处理器。
20.根据权利要求19的高动态范围图像传感器，其特征在于，所述处理器用于：
分析光强探测器输出的图像信号，以识别过度曝光或曝光不足的图像区域；以及，基于所识别的图像区域生成控制信号，所述控制信号用于使得位于过度曝光区域中的像素的宽带滤光片具有较低的透光率，并且使得位于欠曝光区域中的像素的宽带滤光片具有较高的透光率。
CN201980095724.XA 2019-04-23 2019-04-23 用宽带滤光片与光强探测器集成的高动态范围光学传感器 Pending CN113841034A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/US2019/028783 WO2020219030A1 (en) 2019-04-23 2019-04-23 High dynamic range optical sensing device employing broadband optical filters integrated with light intensity detectors
US16/391,915 US11159753B2 (en) 2019-04-23 2019-04-23 High dynamic range optical sensing device employing broadband optical filters integrated with light intensity detectors

Publications (1)

Publication Number Publication Date
CN113841034A true CN113841034A (zh) 2021-12-24

Family

ID=72916809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095724.XA Pending CN113841034A (zh) 2019-04-23 2019-04-23 用宽带滤光片与光强探测器集成的高动态范围光学传感器

Country Status (3)

Country Link
US (2) US11159753B2 (zh)
CN (1) CN113841034A (zh)
WO (1) WO2020219030A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020236575A1 (en) * 2019-05-17 2020-11-26 Photon-X, Inc. Spatial phase integrated wafer-level imaging
US11199649B2 (en) * 2019-08-21 2021-12-14 The United States Of America, As Represented By The Secretary Of The Navy Metamaterial, focal plane array for broad spectrum imaging
US11682685B2 (en) * 2019-10-24 2023-06-20 Samsung Electronics Co., Ltd. Color separation element and image sensor including the same
TWI749864B (zh) * 2020-11-12 2021-12-11 友達光電股份有限公司 光學感測模組
EP4002833B1 (en) * 2020-11-17 2023-02-15 Axis AB Method and electronic device for increased dynamic range of an image
KR20220085542A (ko) * 2020-12-15 2022-06-22 에스케이하이닉스 주식회사 이미지 센싱 장치
US20220360750A1 (en) * 2021-05-04 2022-11-10 Qualcomm Incorporated Pixelated programmable neutral density filter array
US20230170361A1 (en) * 2021-11-30 2023-06-01 Visera Technologies Company Ltd. Optical device
CN115379092A (zh) * 2022-08-17 2022-11-22 中南大学 一种高动态范围视频获取方法、系统及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03219207A (ja) * 1989-10-03 1991-09-26 Kuraray Co Ltd 光学的ローパスフイルタおよびそれを備えた撮像装置
US5510215A (en) * 1995-01-25 1996-04-23 Eastman Kodak Company Method for patterning multilayer dielectric color filter
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
US20030178549A1 (en) * 2002-03-21 2003-09-25 Eastman Kodak Company Scannerless range imaging system having high dynamic range
CN101124462A (zh) * 2004-10-25 2008-02-13 Rp风险技术有限公司 多光谱和超光谱成像系统
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
US20150276478A1 (en) * 2011-11-04 2015-10-01 Imec Spectral camera with mosaic of filters for each image pixel
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统
WO2018215784A1 (en) * 2017-05-25 2018-11-29 Cambridge Enterprise Limited Method of defining an optical filter element and optical device comprising a filter structure

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3732793A (en) 1971-10-26 1973-05-15 P Tague Calibrated variable neutral density filter for a camera
US6868138B2 (en) 2002-05-29 2005-03-15 The Regents Of The University Of Michigan Method, processor and computed tomography (CT) machine for generating images utilizing high and low sensitivity data collected from a flat panel detector having an extended dynamic range
US7777879B2 (en) * 2007-02-01 2010-08-17 Stmicroelectronics (Research & Development) Ltd. Rotary encoders
US8619168B2 (en) * 2007-09-28 2013-12-31 Regents Of The University Of Minnesota Image sensor with high dynamic range imaging and integrated motion detection
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
KR20120075877A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 액정 디스플레이 패널 및 이를 포함하는 장치
US9448346B2 (en) * 2012-12-19 2016-09-20 Viavi Solutions Inc. Sensor device including one or more metal-dielectric optical filters
US9319605B2 (en) * 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US9697434B2 (en) 2014-12-10 2017-07-04 Omnivision Technologies, Inc. Edge detection system and methods
US9467633B2 (en) 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
US10015416B2 (en) * 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
WO2019220696A1 (ja) * 2018-05-14 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像装置
US11237053B2 (en) * 2020-02-03 2022-02-01 Viavi Solutions Inc. Optical sensor device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03219207A (ja) * 1989-10-03 1991-09-26 Kuraray Co Ltd 光学的ローパスフイルタおよびそれを備えた撮像装置
US5510215A (en) * 1995-01-25 1996-04-23 Eastman Kodak Company Method for patterning multilayer dielectric color filter
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
US20030178549A1 (en) * 2002-03-21 2003-09-25 Eastman Kodak Company Scannerless range imaging system having high dynamic range
CN101124462A (zh) * 2004-10-25 2008-02-13 Rp风险技术有限公司 多光谱和超光谱成像系统
US20150276478A1 (en) * 2011-11-04 2015-10-01 Imec Spectral camera with mosaic of filters for each image pixel
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统
WO2018215784A1 (en) * 2017-05-25 2018-11-29 Cambridge Enterprise Limited Method of defining an optical filter element and optical device comprising a filter structure

Also Published As

Publication number Publication date
WO2020219030A1 (en) 2020-10-29
US20220021828A1 (en) 2022-01-20
US20200344430A1 (en) 2020-10-29
US11159753B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
US11159753B2 (en) High dynamic range optical sensing device employing broadband optical filters integrated with light intensity detectors
US7858921B2 (en) Guided-mode-resonance transmission color filters for color generation in CMOS image sensors
US9627434B2 (en) System and method for color imaging with integrated plasmonic color filters
TWI549273B (zh) 用於具彩色濾光片之分割影像感測器之鏡片陣列
US9601532B2 (en) Optical filter with Fabry-Perot resonator comprising a plate-shaped wire grid polarizer
US20200321378A1 (en) Lens-free compound eye cameras based on angle-sensitive meta-surfaces
US9823128B2 (en) Multispectral imaging based on computational imaging and a narrow-band absorptive filter array
US10050075B2 (en) Multi-layer extraordinary optical transmission filter systems, devices, and methods
CN101842908B (zh) 透射检测器、包含相同透射检测器的系统和相关方法
CN110914992B (zh) 红外多光谱成像装置及方法
US10348990B2 (en) Light detecting device, solid-state image capturing apparatus, and method for manufacturing the same
KR20200101851A (ko) 칩 상의 분광계
KR20100122058A (ko) 2차원 고체 촬상 장치, 및 2차원 고체 촬상 장치에서의 편광광 데이터 처리 방법
TW201225270A (en) Imaging device and imaging apparatus
TW201642454A (zh) 影像感測器
CN113161376A (zh) 光学模块和使用该光学模块的光学装置
RU2012101499A (ru) Цветовые фильтры для датчиков с размерами меньше дифракционного предела
CN117641139A (zh) 使用光学滤波器子阵列的光谱传感器系统
KR20210093154A (ko) 이미지 센서 및 그의 동작 방법
CN109429025B (zh) 图像传感器和成像装置
CN100499078C (zh) Cmos图像传感器及其制造方法
KR20210093153A (ko) 분산 어레이 및 그의 제조 방법
Wu et al. Design of a monolithic CMOS image sensor integrated focal plane wire-grid polarizer filter mosaic
TW202119094A (zh) 攝像元件及攝像裝置
US20170146707A1 (en) Spectral device and image-pickup device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination