CN109922286A - Cmos图像传感器及其成像方法 - Google Patents

Abstract

本发明涉及一种CMOS图像传感器及其成像方法，其中CMOS图像传感器包括像素阵列，像素阵列包括排成二维阵列的多个像素单元，且每个像素单元包括排列成2×2二维阵列的四个像素，每个像素上方设置有滤光片。在每个像素单元中的至少一个像素上方设置预设光滤光片，像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置。每个像素单元中设置有预设光滤光片的像素的图像数据合并输出，每个像素单元中其他像素的图像数据合并输出。使得像素阵列中每个像素单元输出一个对应可见光的图像数据以及一个对应预设光的图像数据，便于后端用户的使用，从而提高了图像传感器的应用范围。

Description

CMOS图像传感器及其成像方法

技术领域

本发明涉及图像传感器技术领域，尤其涉及一种CMOS图像传感器及其成像方法。

背景技术

图像传感器是将光信号转换成电信号的半导体装置。图像传感器包括电荷耦合器件(CCD)与互补金属氧化物半导体(CMOS)图像传感器。

与传统的CCD传感器相比，CMOS图像传感器具有低功耗、低成本和与CMOS工艺兼容等特点，因此得到越来越广泛的应用。许多CMOS图像传感器应用于夜间或者昏暗光照的情况下。例如，汽车电子、安防监控、生物技术和医学领域等。

为了解决低光照条件下CMOS图像传感器的成像问题，提出了RGBIr图像传感器，其为配置有RGBIr滤光片的CMOS图像传感器。RGBIr滤光片为CMOS图像传感器的彩色滤光片阵列(Color Filter Array，简称CFA)，其与传统拜尔(Bayer)阵列的滤光片相比，RGBIr滤光片将拜尔阵列中的部分绿光滤光片替换为红光滤光片(Infrared,简称Ir)。

如图1和图2所示。图1为包括拜尔阵列的滤光片的CMOS图像传感器的像素阵列示意图，R表示覆盖红光滤光片的像素，称为红色(Red，R)通道；G表示覆盖绿光滤光片的像素，称为绿色(Green，G)通道，B表示覆盖蓝光滤光片的像素，称为蓝色(Blue，B)通道。图2为包括RGBIr滤光片的CMOS图像传感器的像素阵列示意图，RGBIr滤光片的阵列将拜尔阵列的滤光片中一部分分量由红外光(Infrared)分量取代，该部分像素称为红外(Infrared，Ir)通道，RGBIr滤光片可以同时感应可见光和红外光。

然而，图2中RGBIr图像传感器尽管能够获取同时包括可见光和红外光的图像数据，但其需要在图像传感器中至少增加一个芯片或者集成模块以对获取的图像数据进行处理，实现图像数据中可见光的图像数据与红外光的图像数据的分离，且处理后的图像存在严重的图像失真(artifacts)。

为解决上述问题，可在CMOS图像传感器中设置两组独立的像素阵列，一组像素阵列上方设置拜尔阵列滤光片，另一组像素阵列上方设置红外光滤光片。但该方法导致了CMOS图像传感器成本激增。且由于两组像素阵列独立设置，还需要解决所获取两组图像数据存在的视差问题。

因此，在不增加CMOS图像传感器中电路器件的基础上，如何便捷的将可见光与预设类型光(如红外光、白光)的图像数据分别输出，是目前业界亟需解决的技术难题。

发明内容

本发明的目的在于提供一种CMOS图像传感器及其成像方法。该CMOS图像传感器能够便捷的将可见光和预设类型光的图像数据分别输出，以利于后端用户的使用，提高了CMOS图像传感器的应用范围。

为了达到前述目的，本发明提供一CMOS种图像传感器，其包括：

像素阵列，所述像素阵列包括排列成二维阵列的多个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片；每个所述像素单元中至少一个像素上方设置有预设光滤光片，每个所述像素单元上方设置预设光滤光片的个数和设置位置均相同；所述像素单元中其他像素上方设置的滤光片为红光滤光片、绿光滤光片或者蓝光滤光片，所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置；每个所述像素单元中设置有预设光滤光片的像素的图像数据合并输出，每个所述像素单元中其他像素的图像数据合并输出。

进一步地，所述CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。

进一步地，所述预设光滤光片为红外光滤光片或者透明滤光片。

进一步地，所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方设置有像素级红外光截止滤光层。

进一步地，每个所述像素单元中像素为采用共享结构的感光像素。

本发明还提供一种CMOS图像传感器的成像方法，包括：

提供一像素阵列，所述像素阵列包括排列成二维阵列的多个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片；每个所述像素单元中至少一个像素上方设置有预设光滤光片，每个所述像素单元上方设置预设光滤光片的个数和设置位置均相同；所述像素单元中其他像素上方设置的滤光片为红光滤光片、绿光滤光片或者蓝光滤光片，所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置；

将每个所述像素单元中设置有预设光滤光片的像素的图像数据合并输出，以及将每个所述像素单元中其他像素的图像数据合并输出；

分两路输出所述CMOS图像传感器的图像数据，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。

进一步地，所述预设光滤光片为红外光滤光片或者透明滤光片。

进一步地，所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方设置有像素级红外光截止滤光层。

进一步地，每个所述像素单元中像素为采用共享结构的感光像素。

与现有技术相比，本发明提供的CMOS图像传感器的像素阵列包括多个像素单元，每个像素单元包括排列成2×2二维阵列的四个像素，通过在每个像素单元中的至少一个像素上方设置预设光滤光片，其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置，以及使每个像素单元中设置有预设光滤光片的像素的图像数据合并输出，每个像素单元中其他像素的图像数据合并输出。从而使得像素阵列中每个像素单元输出一个对应可见光的图像数据以及一个对应预设光的图像数据，便于后端用户的使用，从而提高了图像传感器的应用范围。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1为现有技术中包括拜耳阵列滤光片的CMOS图像传感器中像素阵列的示意图；

图2为现有技术中包括RGBIr滤光片的CMOS图像传感器中像素阵列的示意图；

图3A、图3B和图3C为本发明CMOS图像传感器中像素阵列的三种基本结构的示意图；

图3D和图3E为图3A、图3B和图3C中任一像素阵列输出的图像数据的示意图；

图4A为本发明一实施例中CMOS图像传感器的像素阵列的示意图；

图4B和图4C为图4A中像素阵列输出图像数据的示意图；

图5A为本发明另一实施例中CMOS图像传感器的像素阵列的示意图；

图5B和图5C为图5A中像素阵列输出图像数据的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合说明书实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图3A、图3B和图3C为本发明CMOS图像传感器中像素阵列的三种基本结构的示意图。

参考图3A、图3B和图3C，每一黑实线框表示像素阵列300的一个像素单元，所述像素阵列300包括排列成2×2二维阵列的四个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片。

图3A、图3B和图3C中，像素阵列300中的像素单元包括设置有红色滤光片的像素单元、设置有绿色滤光片的像素单元和设置有蓝色滤光片的像素单元三种类型。由一个设置有红色滤光片的像素单元、两个设置有绿色滤光片的像素单元和一个设置有蓝色滤光片的像素单元的四个像素单元构成了像素阵列300的基本结构。设置有红色滤光片的像素单元与设置有绿色滤光片的像素单元相邻设置、设置有蓝色滤光片的像素单元与设置有绿色滤光片的像素单元相邻设置、设置有红色滤光片的像素单元与设置有蓝色滤光片的像素单元对角设置。每个像素单元中，至少一个像素上方设置有预设光滤光片，且一个像素阵列的各个像素单元中预设光滤光片的设置位置和数量均相同。所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置。

具体的，以字母X、R、G和B分别表示设置于像素上方的滤光片为预设光滤光片、红光滤光片、绿光滤光片和蓝光滤光片。图3A、图3B和图3C分别为像素单元中像素上方设置有一个、两个和三个预设光滤光片时像素阵列的示意图。对于像素单元上方设置两个预设光滤光片的情况，除了可以如图3B将两个预设光滤光片对角设置，还可以将其设置于像素单元中同一行或者同一列两个像素的上方(图未示)。

具体的，每个像素单元中像素上方设置预设光滤光片的数量，可根据用户对CMOS图像传感器所获取图像数据的需求确定。如用户对可见光图像的图像质量要求更高，则于像素单元中一个像素的上方设置预设光滤光片；若用户对预设光图像的图像质量要求更高，则于像素单元中三个像素的上方设置预设光滤光片；若用于对预设光图像和可见光图像的图像质量要求均等，则于像素单元中两个像素的上方设置预设光滤光片。

具体的，预设光滤光片可为红外光滤光片、透明滤光片(Clear Filter或者WhiteFilter)或者其他用于允许某一段或者几段波长范围内光信号通过的滤光片。

所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方还设置有像素级红外光截止滤光层(图未示)。所述像素单元中设置有预设光滤光片的像素上方并未设置像素级红外光截止滤光层。需要说明的是，“像素级红外光截止滤光层”中的“像素级”是指该“像素级红外光截止滤光层”是以像素为单位设置于设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方，而非设置于整个像素阵列的上方。所述像素级红外光截止滤光层用于截止其所接收光信号中的红外光信号，从而可以消除红外光对红光滤光片、绿光滤光片和蓝光滤光片下方像素的干扰，实现色彩增强，使得包括上述像素阵列的基本结构的CMOS图像传感器在各种应用场景中均能保持高的动态范围。

具体的，每个像素单元中的像素可为采用共享结构的感光像素。例如，每个像素单元包括四个光电二极管和四个传输晶体管，每个传输晶体管的源极分别连接至各自对应的光电二极管，四个传输晶体管的漏极共同连接至浮动扩散节点，从而使同一像素单元中四个像素共用部分电路。需要说明的是，上述仅为共享结构的感光像素的示例，但本发明不限于此。

每个像素单元中，设置有预设光滤光片的像素的图像数据合并(binning)输出，该像素单元中其他像素的图像数据合并输出。即每个像素单元输出一个可见光(红光、绿光或者蓝光)的图像数据(如图3D所示)和一个预设光的图像数据(如图3E所示)。对应于每个像素单元中其他像素上方滤光片以像素单元为单位依据拜尔阵列设置，像素阵列300输出的可见光的图像数据与拜尔阵列所获取的图像数据一致(具体参考图3D)。

由于每个像素单元中的像素为采用共享结构的感光像素，能够对像素单元中设置有预设光滤光片的像素和其他像素设置不同的曝光时间和增益(例如，模拟增益、数字增益中的一种或两种)。具体的，可以采用半行读取的方式，分别读出像素单元的可见光的图像数据和预设光的图像数据，然后通过量化电路对两个图像数据实现不同的增益赋值。但本发明不限于此。

在像素单元中两个或者三个像素上方设置红色滤光片、绿色滤光片、蓝色滤光片或者预设光滤光片时，该像素单元对应类型光的图像数据可为两个或者三个像素的图像数据之和，也可为两个或者三个像素的图像数据的平均值(即将两个或三个像素的对应类型光的图像数据之和求平均)。

由上可知，图3A至3C像素阵列的基本结构为由像素构成的4×4的二维像素阵列，该像素阵列获得的图像数据以像素单元为单位输出。即每一像素阵列的基本结构输出一2×2的有色光的图像数据和一2×2的预设光的图像数据。

对于一个CMOS图像传感器，其像素阵列可由上述几种基本结构中的一种按二维阵列多个重复组合而成。若CMOS图像传感器的像素阵列为由像素单元构成的m×n二维阵列(m和n为大于等于2的正整数)，该像素阵列为由像素构成的2m×2n二维阵列，其所输出的图像数据包括一m×n的可见光的图像数据和一m×n的预设光的图像数据。

在具体实施例中，所述CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。从而使CMOS图像传感器在不增加电路器件的基础上，便捷的获取可见光的图像数据和预设光的图像数据，便于后端用户的使用，从而提高了图像传感器的应用范围。

图4A为本发明一实施例中CMOS图像传感器的像素阵列的示意图。图4B和图4C为图4A中像素阵列输出图像数据的示意图。本实施例中，CMOS图像传感器的像素阵列包括四个图3B中像素阵列的基本结构；每个像素单元中两个像素上方设置有预设光滤光片；预设光滤光片为透明滤光片。

于图4A中，以字母R、G、B、W分别代表设置于像素上的滤光片为红光滤光片、绿光滤光片、蓝光滤光片和透明滤光片。本实施例中，像素阵列400包括排列成4行、4列二维阵列的十六个像素单元；该像素单元包括设置有红色滤光片的像素单元401、设置有绿色滤光片的像素单元402和设置有蓝色滤光片的像素单元403三种类型的像素单元；每个像素单元401对角的两个像素的上方设置有红光滤光片，另两个像素上方设置有透明滤光片；每个像素单元402对角的两个像素的上方设置有绿光滤光片，另两个像素上方设置有透明滤光片；每个像素单元403对角的两个像素的上方设置有蓝光滤光片，另两个像素上方设置有透明滤光片。每个像素单元中设置有透明滤光片的两个像素的图像数据合并输出，像素单元中其他像素的图像数据合并输出。故每个像素单元输出一个可见光的图像数据(如图4B所示)以及一个白光的图像数据(如图4C所示)。

由于透明滤光片允许各个波长的波通过，从而使更多的光信号被透明滤光片下的像素感测到，使得CMOS图像传感器所获取图像数据的信噪比高，CMOS图像传感器的灵敏度更高，所获取图像的质量更好。在低照度条件下，该优势更加明显。

本实施例中，包括图4A中像素阵列的CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为白光的图像数据。能够在不增加CMOS图像传感器中电路器件的基础上，便捷的将可见光与白光的图像数据分别输出，方便后端用户的使用，提高了CMOS图像传感器的应用范围。

图5A为本发明一实施例中CMOS图像传感器的像素阵列的示意图。图5B和图5C为图5A中像素阵列输出图像数据的示意图。本实施例中，CMOS图像传感器的像素阵列包括四个图3A中像素阵列的基本结构；每个像素单元中一个像素上方设置有预设光滤光片；预设光滤光片为红外光滤光片。

于图5A中，以字母R、G、B、Ir分别代表设置于像素上的滤光片为红光滤光片、绿光滤光片、蓝光滤光片和红外光滤光片。图5A中像素阵列500包括排列成4行、4列二维阵列的十六个像素单元；像素阵列500包括红色滤光片的像素单元501、设置有绿色滤光片的像素单元502和设置有蓝色滤光片的像素单元503三种类型的像素单元；像素单元501中一个像素的上方设置有红外光滤光片，其余三个像素的上方设置有红光滤光片；像素单元502中一个像素的上方设置有红外光滤光片，其余三个像素的上方设置有绿光滤光片；像素单元503中一个像素的上方设置有红外光滤光片，其余三个像素的上方设置有蓝光滤光片。像素单元501与像素单元502相邻设置，像素单元503与像素单元502相邻设置，像素单元501与像素单元503对角设置。每个像素单元中设置有红外光滤光片的一个像素的图像数据单独输出，像素单元中其他像素的图像数据合并输出。即每个像素单元输出一个可见光的图像数据(如图5B所示)以及一个红外光的图像数据(如图5C所示)。

本实施例中，包括图5A中像素阵列的CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为红外光的图像数据。能够在不增加CMOS图像传感器中电路器件的基础上，便捷的将可见光与红外光的图像数据分别输出，方便后端用户的使用，提高了CMOS图像传感器的应用范围。

本发明提供了一种CMOS图像传感器的成像方法，包括：

提供一像素阵列，所述像素阵列包括排列成二维阵列的多个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片；每个所述像素单元中至少一个像素上方设置有预设光滤光片，每个像素单元中设置有预设光滤光片的像素的个数和设置位置相同；所述像素单元中其他像素上方设置的滤光片为红光滤光片、绿光滤光片或者蓝光滤光片，所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置；

将每个所述像素单元中设置有预设光滤光片的像素的图像数据合并输出，以及将每个所述像素单元中其他像素的图像数据合并输出；

分两路输出所述CMOS图像传感器的图像数据，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。

本实施例中，所述预设光滤光片为红外光滤光片。所述红外光滤光片能够使光信号中的红外光信号通过，使得CMOS图像传感器中每个像素单元均能够输出一个红外光的图像数据和一个可见光的图像数据。此时，CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为红外光的图像数据。

在另一实施例中，所述预设光滤光片可为透明滤光片。由于透明滤光片允许各个波长的波通过，使得CMOS图像传感器中每个像素单元均能够输出一个红外光的图像数据和一个白光的图像数据。此时，CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为白光的图像数据。由于更多的光信号被透明滤光片下的像素感测到，CMOS图像传感器获取的白光的图像数据的信噪比高，CMOS图像传感器的灵敏度更高，在低照度条件下，该优势更加明显。

在再一实施例中，所述预设光滤光片还可为其他用于允许某一段或者几段波长范围内光信号通过的滤光片。从而在获取可见光图像数据的同时，单独的获取对应某一段或者几段波长范围内光的图像信号。此时，CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为对应某一段或者几段波长范围内光的图像数据，利于后端用户的使用。

本实施例中，每个像素单元中的像素为采用共享结构的感光像素。从而能够对像素单元中设置有预设光滤光片的像素和其他像素设置不同的曝光时间和增益(例如，模拟增益、数字增益中的一种或两种)。具体的，可以采用半行读取的方式，分别读出像素单元的可见光的图像数据和预设光的图像数据，然后通过量化电路对两个图像数据实现不同的增益赋值。但本发明不限于此。

所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方还设置有像素级红外光截止滤光层(图未示)，所述像素单元中设置有预设光滤光片的像素上方并未设置像素级红外光截止滤光层。需要说明的是，“像素级红外光截止滤光层”中的“像素级”是指该“像素级红外光截止滤光层”是以像素为单位设置于设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方，而非设置于整个像素阵列的上方。所述像素级红外光截止滤光层用以截止其所接收光信号中的红外光信号，从而可以消除红外光对红光滤光片、绿光滤光片和蓝光滤光片下方像素的干扰，实现色彩增强，使得包括上述像素阵列的基本结构的CMOS图像传感器在各种应用场景中均能保持高的动态范围。

本实施例中，CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据，从而能够在不增加CMOS图像传感器中电路器件的基础上，便捷的将可见光与预设光的图像数据分别输出，方便后端用户的使用，提高了CMOS图像传感器的应用范围。

以上实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (9)

1.一种CMOS图像传感器，包括像素阵列，所述像素阵列包括排列成二维阵列的多个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片，其特征在于，

每个所述像素单元中至少一个像素上方设置有预设光滤光片，每个所述像素单元上方设置预设光滤光片的个数和设置位置均相同；所述像素单元中其他像素上方设置的滤光片为红光滤光片、绿光滤光片或者蓝光滤光片，所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置；

每个所述像素单元中设置有预设光滤光片的像素的图像数据合并输出，每个所述像素单元中其他像素的图像数据合并输出。

2.根据权利要求1所述的CMOS图像传感器，其特征在于，所述CMOS图像传感器输出的图像数据包括两路，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。

3.根据权利要求1或2所述的CMOS图像传感器，其特征在于，所述预设光滤光片为红外光滤光片或者透明滤光片。

4.根据权利要求1或2所述的CMOS图像传感器，其特征在于，所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方设置有像素级红外光截止滤光层。

5.根据权利要求1或2所述的CMOS图像传感器，其特征在于，每个所述像素单元中像素为采用共享结构的感光像素。

6.一种CMOS图像传感器的成像方法，其特征在于，包括：

提供一像素阵列，所述像素阵列包括排列成二维阵列的多个像素单元，每个所述像素单元包括排列成2×2二维阵列的四个像素，每个所述像素上方设置有滤光片；每个所述像素单元中至少一个像素上方设置有预设光滤光片，每个所述像素单元上方设置预设光滤光片的个数和设置位置均相同；所述像素单元中其他像素上方设置的滤光片为红光滤光片、绿光滤光片或者蓝光滤光片，所述像素单元中其他像素上方设置的滤光片以像素单元为单位依据拜尔阵列设置；

将每个所述像素单元中设置有预设光滤光片的像素的图像数据合并输出，以及将每个所述像素单元中其他像素的图像数据合并输出；

分两路输出所述CMOS图像传感器的图像数据，一路图像数据为可见光的图像数据，另一路图像数据为预设光的图像数据。

7.根据权利要求6所述的CMOS图像传感器的成像方法，其特征在于，所述预设光滤光片为红外光滤光片或者透明滤光片。

8.根据权利要求6所述的CMOS图像传感器的成像方法，其特征在于，所述像素单元中设置有红光滤光片、绿光滤光片和蓝光滤光片的像素上方设置有像素级红外光截止滤光层。

9.根据权利要求6所述的CMOS图像传感器的成像方法，其特征在于，每个所述像素单元中像素为采用共享结构的感光像素。