CN212785522U - 图像传感器和电子设备 - Google Patents

Abstract

本申请提供一种图像传感器和电子设备，能够使得最终生成的图像更接近真实效果。该图像传感器包括：滤光单元阵列，包括多个滤光单元组，多个滤光单元组中的每个滤光单元组均包括白色滤光单元和彩色滤光单元；像素单元阵列，位于滤光单元阵列下方，像素单元阵列中的像素单元与多个滤光单元组中的滤光单元一一对应，像素单元阵列中的白色像素单元用于接收经过与其对应的白色滤光单元的光信号，像素单元阵列中的彩色像素单元用于接收经过与其对应的彩色滤光单元的光信号，像素单元阵列感应的光信号的光强信息用于确定彩色像素单元的像素值和白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

Description

图像传感器和电子设备

本申请要求2020年5月15日提交中国专利局、申请号为202010410639.2、发明名称为“图像传感器和电子设备”的中国发明申请的优先权，其全部内容通过应用结合在本申请中。

技术领域

本申请实施例涉及图像领域，并且更具体地，涉及图像传感器和电子设备。

背景技术

电子设备中的成像系统通常依靠图像传感器来建立可视图像的电子显示。这样的图像传感器的例子包括电荷耦合装置(charge-coupled device，CCD)图像传感器和有源像素传感器(active pixel sensor，APS)装置，其中，因为能够在互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)处理中制造APS装置，所以APS装置经常也被叫做CMOS传感器。

这些图像传感器包括多个光敏像素，经常以行和列的规则图案进行排列。为了捕获彩色图像，需要在不同像素上累积特定波长的光信号，即对应接收特定颜色的信号，所以会在图像传感器中安装滤色器。例如，通常使用具有被配置成包括红绿蓝(RGB)中的每种颜色的拜耳(Bayer)阵列的滤波器。

为了使像素阵列中不同像素仅对部分可见光谱感光，需要将滤色器设置为不同颜色，以通过对应颜色的光信号，那么也就减少了到达每个光敏像素的光量，从而减少了每个光敏像素的光敏度。另外，由于在用于移动设备中时，通常图像传感器尺寸受限，对应的像素阵列的感光面积也受限，所以在低光照环境中下，拍照的性能会受限。

实用新型内容

本申请提供了一种图像传感器和电子设备，能够使得最终生成的图像更接近真实效果。

第一方面，提供了一种图像传感器，该图像传感器包括：滤光单元阵列，包括多个滤光单元组，所述多个滤光单元组中的每个滤光单元组均包括白色滤光单元和彩色滤光单元；像素单元阵列，位于所述滤光单元阵列下方，所述像素单元阵列中的像素单元与所述多个滤光单元组中的滤光单元一一对应，所述像素单元阵列中的白色像素单元用于接收经过与其对应的白色滤光单元的光信号，所述像素单元阵列中的彩色像素单元用于接收经过与其对应的彩色滤光单元的光信号，所述像素单元阵列感应的光信号的光强信息用于确定所述彩色像素单元的像素值和所述白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

基于上述技术方案，本申请中的图像传感器可以包括白色滤光单元，相比于仅设置单色滤光单元的滤光单元阵列而言，进光量会大大提高，相应地，也就能够提高整个图像传感器的进光量，使得该图像传感器即使在低光照环境下，性能仍然不受影响。

另外，本申请中的图像传感器能够在不同的环境光条件下，使用不同的融合方式生成目标图像，使得最终生成的目标图像更接近于真实效果。

在一种可能的实现方式中，所述多个滤光单元组中的每个滤光单元组包括4×4个滤光单元，所述每个滤光单元组中白色滤光单元与彩色滤光单元的比例为1:1，且所述白色滤光单元和所述彩色滤光单元交替排列。

50％占比的白色滤光单元能够保证白色像素单元具有较高的空间采样率，有利于后续的Remosaic算法获取更好的高分辨率灰度图像。

另外，白色滤光单元和彩色滤光单元可以交替排列，即任何一行或任何一列中，不会出现两个相邻的白色滤光单元或彩色滤光单元，这样可以使得串扰相对平均。另外，白色滤光单元和彩色滤光单元分布比较均匀，可以实现较高的颜色空间采样率，有利于后续图像的还原。

在一种可能的实现方式中，所述彩色滤光单元包括2个红色滤光单元、2个蓝色滤光单元和4个绿色滤光单元。

在一种可能的实现方式中，所述每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为2个红色滤光单元和2个蓝色滤光单元。

在一种可能的实现方式中，所述另一条对角线上的2个红色滤光单元共顶角设置，且2个蓝色滤光单元也是共顶角设置。

在一种可能的实现方式中，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第三行第二列、第四行第一列；所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第二行第三列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

在一种可能的实现方式中，所述另一条对角线上的2个红色滤光单元共顶角设置，且2个蓝色滤光单元分离设置；或所述另一条对角线上的2个蓝色滤光单元共顶角设置，且2个红色滤光单元分离设置。

在一种可能的实现方式中，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第一行第四列、第四行第一列；所述蓝色滤光单元位于所述每个滤光单元组中的第二行第三列、第三行第二列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

在一种可能的实现方式中，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第二行第三列、第三行第二列；所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第四行第一列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

在一种可能的实现方式中，所述另一条对角线上的红色滤光单元和蓝色滤光单元交替排列。

在一种可能的实现方式中，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第二行第三列、第四行第一列；所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第三行第二列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

在一种可能的实现方式中，所述每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为绿色滤光单元。

在一种可能的实现方式中，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第二行第一列、第四行第三列；所述蓝色滤光单元位于所述每个滤光单元组中的第一行第二列、第三行第四列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第四列、第二行第三列、第三行第二列以及第四行第一列。

在一种可能的实现方式中，还包括处理器，所述处理器用于：根据所述像素单元阵列感应的光信号，确定光强信息；根据所述光强信息，确定所述彩色像素单元的像素值和/或所述白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

在一种可能的实现方式中，还包括处理器，所述处理器用于：根据所述像素单元阵列感应的光信号，确定光强；当所述光强大于或等于第一预设阈值时，使用所述彩色像素单元的像素值生成所述目标图像。

在一种可能的实现方式中，还包括处理器，所述处理器用于：当所述光强小于所述第一预设阈值且大于或等于第二预设阈值时，根据白色像素单元的像素值确定纹路信息，根据所述白色像素单元的像素值以及所述白色像素单元周围的像素单元的颜色，确定所述白色像素单元所在位置的颜色信息以及像素值，以及根据所述白色像素单元所在位置的颜色信息以及像素值、所述彩色像素单元的像素值生成所述目标图像。

在一种可能的实现方式中，还包括处理器，所述处理器用于：当所述光强小于所述第二预设阈值且大于或等于第三预设阈值时，根据所述白色像素单元的像素值生成第一图像数据，根据所述彩色像素单元的像素值生成第二图像数据，使用修正系数α对所述第一图像数据进行修正，得到修正后的第一图像数据；以及将所述修正后的第一图像数据和所述第二图像数据进行融合，得到所述目标图像，其中，修正系数α是根据所述光强的大小确定的，0＜α＜1。

在一种可能的实现方式中，还包括处理器，所述处理器用于：当所述光强小于所述第三预设阈值时，根据所述白色像素单元的像素值生成第一图像数据，根据所述彩色像素单元的像素值生成第二图像数据，将所述第一图像数据和所述第二图像数据进行融合，得到所述目标图像。

上述融合方式能够保证不论咋强光环境下还是弱光环境下，生成的目标图像都能接近于真实效果。

在一种可能的实现方式中，还包括：微透镜阵列，包括多个微透镜，位于所述滤光单元阵列的上方，用于将所述拍摄对象返回的光信号会聚至所述滤光单元阵列，其中，所述多个微透镜中的一个微透镜对应所述滤光单元阵列中的至少一个滤光单元。

在一种可能的实现方式中，所述微透镜阵列中的微透镜与所述滤光单元阵列中的滤光单元一一对应。

第二方面，提供了一种电子设备，包括：上述第一方面或第一方面的任一种可能的实现方式中的图像传感器。

附图说明

图1是本申请实施例提供的图像处理装置的示意性框图。

图2是传统的滤光单元组的颜色分布示意图。

图3是本申请实施例提供的另一图像传感器的俯视示意图。

图4是图3中的图像传感器沿A-A’方向的一种截面示意图。

图5是在两种不同的滤光结构下拍摄的图像的示意图。

图6-图11是本申请实施例提供的滤光单元组中滤光单元的排列方式的示意图。

图12-图13是本申请实施例提供的图像传感器的结构示意图。

图14-图18是本申请实施例提供的融合过程的示意性流程图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

图像处理装置是利用像素阵列的光电转换功能，将拍摄对象的光像转换为与光像成相应比例关系的电信号，进而获得拍摄对象的图像。图1示出了一种图像处理装置100的示意性框图，该图像处理装置100可以指任意电子设备，例如，该图像处理装置100可以为手机；或者，该图像处理装置100也可以为电子设备的一部分，例如，可以为电子设备中的摄像模组，本申请实施例并不限于此。

如图1所示，图像处理装置100通常包括像素阵列(pixel array)101(或者也可以称为光电转换单元101或者图像传感器101)、信号读取电路102、存储器103、控制器104、图像处理器105、输出接口106以及电源107。其中，像素阵列101的电信号输出端与信号读取电路102的输入端连接，像素阵列101的控制端与控制器104的输入端连接，信号读取电路102的输出端与存储器103的输入端、以及控制器104的输入端连接，控制器104的输出端与图像处理器105的输入端连接，图像处理器105的输出端与输出接口106的输入端连接，电源107用于为上述各个模块提供电源。

像素阵列101可以采用CCD或CMOS两种不同的半导体结构，实现对光的捕获和光电转换，该像素阵列101可以用于采集经由成像对象返回的光信号，并将该光信号转换为电信号，并通过电信号强弱反映成像对象的光像。信号读取电路102用于读取每个像素输出的电信号，该信号读取电路102可以为A/D转换器，用于实现模数转换。存储器103可以为直接交换数据的内部存储器，例如该存储器103可以为随机存取存储器(random access memory，RAM)，用于存储所需要的数据。控制器104可以为复杂的可编程逻辑器件(complexprogrammable logic device，CPLD)，能够满足传感器的逻辑运算和时序控制。图像处理器105用于对读出数据进行预处理，可以针对不同的滤波图案进行不同的算法处理。输出接口106作为对外数据交互接口，用于向外传输图像数据。控制器104用于输出控制信号，控制信号用于控制像素阵列中每个像素协同工作。

图像处理装置100的核心部件就是像素阵列101。像素阵列101中的每个感光结构相似，通常每个像素结构可以包括透镜(或者微透镜)、滤光片(color filter)以及光敏元件(或称为像素)。其中，透镜位于滤光片的上方，滤光片位于光敏元件的上方。经由拍摄对象返回后的光经过透镜聚焦后，由透镜出射区域射出，并经过滤光片过滤后，射入例如光电二极管(photo-diode，PD)等光敏元件，由光敏元件将光信号转换为电信号。根据不同滤光片所能透过的光的类型，像素可以包括红色像素(以下称为R像素)、绿色像素(以下称为G像素)以及蓝色像素(以下称为B像素)。R像素是指用于接收经过滤光片过滤后的红色光信号，G像素和B像素的原理与R像素相同，此处不再赘述。

图像处理装置100生成彩色图像数据的原理为：像素阵列中每个像素仅能将一种类型的光信号转换为电信号，再结合周围其他类型的像素采集的光信号进行插值运算，即可还原出当前像素所采集区域的图像颜色，这一过程也称作去马赛克(Demosaicing)，通常在处理器中完成。例如：当前像素为R像素，R像素仅能将红色光信号转换电信号，则可以结合周围的B像素或者G像素采集的电信号，还原出当前像素的蓝色光和绿色光强度，确定当前像素的图像颜色。

因此，为了采集彩色图像，需要在感光阵列中包括的光敏元件阵列上方设置颜色特定排布的滤色器，或者也可以称为颜色滤镜阵列(color filter array，CFA)。目前，对于大部分感光阵列，例如CCD和CMOS图像传感器，其包括的CFA采用基于RGB三原色的Bayer格式。Bayer格式的特点是其基本单元是一个2×2的四像素阵列，包括1个红色像素R，一个蓝色像素B以及2个绿色像素G，其中，两个绿色像素G共顶角相邻设置，如图2所示。由于任一像素实际只能获得RGB中某一种颜色的信号，要还原出完整的色彩信息就必须通过特定的图像处理算法加以实现。

这种纯RGB的bayer布局，每个像素仅允许通过特定颜色的光，也就是会截断大部分的光子，那么在低光照环境下，就可能无法准确的还原图像。

另外，小型化且多图像像素的成像装置使得像素变得越来越多，具有高密度像素的成像装备对于捕获高分辨率图像越来越重要。这样，图像传感器随着像素数量的不断增加，以及图像传感器尺寸越来越小，每个像素的感光面积也随之减小，这就进一步影响了每个像素感应的光信号的强度，使得图像传感器无法准确地还原图像。

可选地，该图像处理器105可以包括但不限于是图像信号处理器(image signalprocessor，ISP)，用于对数字图像进行线性化处理、去除坏点、去除噪声、色彩校正、去马赛克(demosaic)、自动曝光控制(automatic exposure control，AEC)、自动增益控制(automatic gain control，AGC)、自动白平衡(auto white balance，AWB)等处理。

对于上述采用Bayer格式CFA的图像处理装置100，红色像素单元仅能接收红色光信号，绿色像素单元仅能接收绿色光信号，蓝色像素单元仅能接收蓝色光信号，每个像素单元接收的光信号强度较小，造成图像的SNR较大，从而影响了图像质量。

且对于Bayer格式CFA的图像传感器，其图像中亮度的高频信息与色度信息容易发生交叠，就会发生颜色混叠(color aliasing)，容易产生彩色莫尔条纹(color moire)。

另外，小型化且多图像像素的成像装置使得像素变得越来越多，具有高密度像素的成像装备对于捕获高分辨率图像越来越重要。这样，图像传感器随着像素数量的不断增加，以及图像传感器尺寸越来越小，每个像素的感光面积也随之减小，这就进一步影响了每个像素感应的光信号的强度，使得图像传感器无法准确地还原图像。

基于此，本申请实施例提出了一种图像传感器，有利于图像传感器在低光照环境下准确地还原图像。

图3是本申请实施例提供的一种图像传感器200的示意性俯视图，图4为该图像传感器200沿A-A’方向的示意性截面图。

如图3和图4所示，该图像传感器200包括滤光单元阵列210和像素单元阵列220。该滤光单元阵列210可以包括多个滤光单元组211，每个滤光单元组211可以包括白色滤光单元和彩色滤光单元。像素单元阵列220可以设置在滤光单元阵列210的下方，该像素单元阵列220中的白色像素单元用于接收经过与其对应的白色滤光单元的光信号，彩色像素单元用于接收经过与其对应的彩色滤光单元过滤后的光信号。

本申请实施例中的图像传感器在CFA中增加白色(W)滤光单元，像素单元阵列中的彩色像素单元接收彩色光信号，白色像素单元接收白色光信号，从而能够增加像素单元阵列接收到的整体光信号强度。对于低光照环境，该方案能够准确地还原出物体的图像。

但是，在CFA中增加白色滤光单元后，如果将白色像素单元的像素值直接融合到彩色像素单元中，在光线充足时，过多的亮度信息会导致最终的图像亮度过大，使得最终的图像偏离真实效果。

如图5所示，在光线充足时，采用RGGB结构生成的图像如(a)图所示，其比较接近于真实效果；但是采用RGBW结构生成的图像如(b)图所示，由于其融合了W像素单元的亮度信息，使得最终生成的图像的亮度过大，偏离真实效果。

基于此，本申请实施例还提供了一种图像传感器，该图像传感器能够在不同的环境光条件下，使用不同的融合方式生成目标图像，使得最终生成的目标图像更接近于真实效果。

该图像传感器包括滤光单元阵列和像素单元阵列。该滤光单元阵列包括多个滤光单元组，该多个滤光单元组中的每个滤光单元组均包括白色滤光单元和彩色滤光单元。该像素单元阵列位于滤光单元阵列下方，该像素单元阵列中的白色像素单元用于接收经过与其对应的白色滤光单元的光信号，该像素单元阵列中的彩色像素单元用于接收经过与其对应的彩色滤光单元的光信号，该像素单元阵列感应的光信号的光强信息用于确定彩色像素单元的像素值和/或白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

白色像素单元为与白色滤光单元对应的像素单元，彩色像素单元为与彩色滤光单元对应的像素单元。

需要说明的是，在本申请中，白色滤光单元是指用于透过白光的滤光片或者滤光材料，在一些实施方式中，该白色滤光单元也可以为透明材料或者为空气间隙，用于透过环境中包括白光的全部光信号。具体地，该白光可以是多种有色光混合光。例如，可以将光谱中三原色的光：蓝色、红色和绿色，按一定比例混合得到白光，或者，光谱中所有可见光的混合也是白光。

本申请实施例中的彩色滤光单元可以包括至少一个红色滤光单元、至少一个蓝色滤光单元和至少一个绿色滤光单元，这样能够保证RGB空间颜色的完整。

本申请实施例对滤光单元组包括的滤光单元的个数不做具体限定。例如，一个滤光单元组可以包括2×2个滤光单元，或者一个滤光单元组可以包括3×3个滤光单元，或者一个滤光单元组可以包括4×4个滤光单元，或者一个滤光单元组可以包括6×6个滤光单元，或者一个滤光单元组可以包括8×8个滤光单元等。

每个滤光单元组中白色滤光单元的比例可以介于25％～75％之间。

优选地，白色滤光单元的占比可以为50％，即一个滤光单元组中白色滤光单元与彩色滤光单元的比例可以为1:1，这样能够提升传感器整体的感光能力。这样既能保证在低光环境下，白色滤光单元能够提供足够的亮度，又不会造成亮度过高，能够使得最终图像接近真实效果。

其次，50％占比的白色滤光单元能够保证白色像素单元具有较高的空间采样率，有利于后续的重构马赛克(Remosaic)算法获取更好的高分辨率灰度图像。

另外，白色滤光单元和彩色滤光单元可以交替排列，即任何一行或任何一列中，不会出现两个相邻的白色滤光单元或彩色滤光单元，这样可以使得串扰相对平均。另外，白色滤光单元和彩色滤光单元分布比较均匀，可以实现较高的颜色空间采样率，有利于后续图像的还原。

下面以每个滤光单元组包括4×4个滤光单元为例，对本申请实施例的滤光单元的排列方式进行描述。

一个滤光单元组中可以包括2个红色滤光单元、2个蓝色滤光单元和4个绿色滤光单元。由于人眼对绿光的灵敏度高于蓝光和红光，因此，滤光单元中的绿色滤光单元的个数大于蓝色滤光单元和红色滤光单元，可以更好地实现颜色的还原，同时保证了RGB具有相对平均的空间采样率，有利于后续的Remosaic算法获取彩色图像。

每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为2个红色滤光单元和2个蓝色滤光单元。

作为一个示例，该2个红色滤光单元可以对顶角设置，2个蓝色滤光单元也是共顶角设置，即在另一条对角线上包括2个连续的红色滤光单元和2个连续的蓝色滤光单元，如图6中的(a)图所示。

图6中的(a)图所示的滤光单元组中，白色滤光单元可以位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；所述红色滤光单元位于所述每个滤光单元组中的第三行第二列、第四行第一列；所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第二行第三列；所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

在该结构中，相同颜色的滤光单元都是共顶角设置，这样在后续的融合过程中，可以简化融合流程。以图4为例，与左上角的2个绿色滤光单元对应的像素单元可以直接合并为一个绿色像素单元，与右上角的2个蓝色滤光单元对应的像素单元可以直接合并为一个蓝色像素单元，与左下角的2个红色滤光单元对应的像素单元可以直接合并为一个红色像素单元，与右下角的2个绿色滤光单元对应的像素单元可以直接合并为一个绿色像素单元，合并之后的像素单元可以直接组成一个RGGB图案。

作为另一个示例，另一条对角线上的2个红色滤光单元共顶角设置，且2个蓝色滤光单元分离设置；或者，另一条对角线上的2个蓝色滤光单元共顶角设置，且2个红色滤光单元分离设置。

以图6中的(b)图为例，白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；红色滤光单元位于每个滤光单元组中的第一行第四列、第四行第一列；蓝色滤光单元位于每个滤光单元组中的第二行第三列、第三行第二列；绿色滤光单元位于每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

以图6中的(c)图为例，白色滤光单元位于每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；红色滤光单元位于每个滤光单元组中的第二行第三列、第三行第二列；蓝色滤光单元位于每个滤光单元组中的第一行第四列、第四行第一列；绿色滤光单元位于每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

虽然图6中的(b)图、(c)图所示的滤光单元组中相同颜色的彩色滤光单元并不都是对顶角设置，但是，将多个该滤光单元组按照阵列进行排列，使得该多个滤光单元组平铺整个图像传感器的表面，如图8所示，可以看出平铺之后的滤光单元组能够达到与图6中的(a)图所示的滤光单元组相同的效果，滤光单元组302相当于图6中的(a)图所示的滤光单元组，滤光单元组304相当于图6中的(b)图所示的滤光单元组，滤光单元组306相当于图6中的(c)图所示的滤光单元组。

作为再一示例，另一条对角线上的红色滤光单元和蓝色滤光单元交替排列。

如图6中的(d)图所示，白色滤光单元位于每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；红色滤光单元位于每个滤光单元组中的第二行第三列、第四行第一列；蓝色滤光单元位于每个滤光单元组中的第一行第四列、第三行第二列；绿色滤光单元位于每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

当然，另一条对角线上的红色滤光单元和蓝色滤光单元的设置方式也不限于上文的描述，例如，另一条对角线上的红色滤光单元和蓝色滤光单元也可以按照图7所示的方式进行排列。

可选地，每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为绿色滤光单元。其中，2个红色滤光单元可以分离设置，2个蓝色滤光单元也是分离设置。

例如，如图6中的(e)图所示，白色滤光单元位于每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；红色滤光单元位于每个滤光单元组中的第二行第一列、第四行第三列；蓝色滤光单元位于每个滤光单元组中的第一行第二列、第三行第四列；绿色滤光单元位于每个滤光单元组中的第一行第四列、第二行第三列、第三行第二列以及第四行第一列。

从图8可以看出，图8中的滤光单元组308相当于图6中的(e)图所示的滤光单元组，也就是说，图6中的(e)图所示的滤光单元组也能达到图6中的(a)(b)(c)图所示的滤光单元组的效果。

除了图6中的(e)图所示的方式之外，滤光单元还可以按照图9所示的方式进行排列。

另外，从图8可以看出，滤光单元组310也是一种排列方式，在该排列方式中，一条对角线上均为白色滤光单元，且3个绿色滤光单元对顶角连续设置，另外一个绿色滤光单元与该3个绿色滤光单元分离设置。

除了滤光单元组310之外，滤光单元还可以按照图10所示的方式进行排列。

除了图6-图10所示的滤光单元组之外，滤光单元组中的滤光单元还可以按照图11所示的方式进行排列。

如图12和图13所示，本申请实施例中的图像传感器200还可以包括微透镜阵列230，该微透镜阵列230可以设置在滤光单元阵列210的上方，用于将拍摄对象返回的光信号会聚至滤光单元阵列210。该微透镜阵列230可以包括多个微透镜，且该多个微透镜中的一个微透镜对应滤光单元阵列中的至少一个滤光单元。

在本申请实施例中，微透镜阵列230的分布可以对应位于其下方的滤光单元阵列210进行设置，例如，微透镜阵列230中的每个微透镜可以与位于其下方的滤光单元阵列210中的一个或者多个对应。

可选地，作为一种实施例，该微透镜阵列230中的微透镜与该滤光单元阵列210中的滤光单元可以一一对应。具体地，如图12所示，该微透镜阵列230中包括多个第一微透镜231，每个第一微透镜231与一个滤光单元相对应，也与一个像素单元相对应。

可选地，作为另一种实施例，该微透镜阵列230中也可以存在至少一个微透镜与该滤光单元阵列230中的多个滤光单元对应。例如，该微透镜阵列230中可以包括多个第二微透镜232，每个第二微透镜232与多个滤光单元相对应，例如，每个第二微透镜232可以与2×2个滤光单元相对应，每个滤光单元与一个像素单元相对应。

再例如，该微透镜阵列230中也可以包括至少一个第一微透镜231和至少一个第二微透镜232，其中，每个第一微透镜231与该滤光单元阵列210中的一个滤光单元对应，每个第二微透镜232与该滤光单元阵列210中的多个滤光单元对应。例如，如图13所示，该微透镜阵列230中包括多个与滤光单元一一对应的第一微透镜231，也包括至少一个与2×2个滤光单元对应的第二微透镜232。

对于上述与多个滤光单元对应的第二微透镜232，该第二微透镜232对应的滤光单元的个数可以根据实际应用进行设置，并且可以设置为任意数值。例如，该第二微透镜232可以与3×3个滤光单元或者1×2个滤光单元对应，本申请实施例并不限于此。

另外，与同一个第二微透镜232对应的该多个滤光单元可以具有相同或者不同的颜色。例如，如图13所示，与第二微透镜232对应的2×2个滤光单元可以均为白色滤光单元，其中，该2×2个白色滤光单元可以属于同一滤光单元组，或者也可以不属于同一滤光单元组，例如，与第二微透镜232对应的2×2个滤光单元也可能属于相邻的两个或者更多个滤光单元组，本申请实施例并不限于此。

将多个白色滤光单元对应同一个第二微透镜设置时，可以利用该第二微透镜不同出射区域射出的混合光转换的电信号，来计算电信号的相位差，以根据相位差调整图像传感器的焦距。

本申请实施例中的该图像传感器200还可以包括其他部分。如图12和图13所示，在滤光单元阵列210和像素阵列220之间还可以包括电介质层240。

如图12和图13所示，滤光单元阵列210还可以包括位于其周围的电介质215和反射栅格216；像素阵列220可以包括半导体基板221和光敏元件222，其中，光敏元件222位于半导体基板221中，光敏元件222可以为PD。可选地，像素阵列220还可以包括两个光敏元件222之间的隔离区223。

下面结合图14-图18，对本申请实施例提供的融合方式进行描述。

本申请实施例可以根据像素单元阵列感应的光信号的光强信息，确定生成目标图像的生成方式，也就是说，若光强不同，则生成目标图像的生成方式也不同。

由于白色像素单元感应的光信号的信噪比比较高，因此，可以优先使用白色像素单元感应的光信号作为光强判断依据。

本申请实施例的图像传感器还可以包括处理器，该处理器可用于根据所述像素单元阵列感应的光信号，确定光强信息；根据所述光强信息，确定所述彩色像素单元的像素值和/或所述白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

本申请实施例可以将光强分为不同的范围，每个范围对应不同的融合流程，并将融合之后的目标图像送入图像信号处理器(image signal processor，ISP)进行处理，如图14所示。

当光强大于或等于第一预设阈值时，表示光信号饱和或接近饱和，处理器可以使用流程1生成目标图像。

当光强过大，导致白色像素单元饱和或接近饱和，此时可以不使用白色像素单元的像素值，直接对彩色像素单元的像素值进行重构马赛克算法处理，输出RGB数据。这种方式能够保证在强光环境下，生成的目标图像不至于过亮，更接近于真实效果。

当光强小于第一预设阈值且大于或等于第二预设阈值时，处理器可以使用流程2生成目标图像。

处理器可以根据白色像素单元的像素值确定纹路信息以及进行猜色，并根据彩色像素单元的像素值生成目标图像。在该过程中，白色像素单元并不参与融合过程，仅用于提供目标图像的纹路信息以及猜色指导。

例如，可以根据白色像素单元的像素值生成目标图像的灰度信息，处理器可用于根据该灰度信息，确定目标图像的纹路信息。

另外，在确定白色像素单元位置处的颜色信息时，可以根据白色像素单元的像素值以及白色像素单元周围的像素单元的颜色进行色彩估计，以提高目标图像的色彩还原的准确度。例如，可以根据白色像素单元的像素值以及白色像素单元周围的像素单元的颜色，确定白色像素单元所在位置的颜色信息以及该颜色的像素值。

当光强小于第二预设阈值且大于或等于第三预设阈值时，处理器可以使用流程3生成目标图像。

处理器可以根据白色像素单元的像素值生成第一图像数据，根据彩色像素单元的像素值生成第二图像数据，并使用修正系数α对第一图像数据进行修正，得到修正后的第一图像数据；以及将修正后的第一图像数据和第二图像数据进行融合，得到该目标图像。

其中，该修正系数α是根据光强的大小确定的，0＜α＜1。可以理解的是，光强越大，α越小，表示需要融合的W像素越少；光强越小，α越大，表示需要融合的W像素越多。

在光强介于第二预设阈值和第三预设阈值之间时，处理器可以削弱白色像素融合时，引入的亮度过度提升问题，而仅融合部分白色像素单元，使得生成的目标图像的亮度不会太高，也不至于过低，更接近于真实效果。

当光强小于第三预设阈值时，处理器可以使用流程4生成目标图像。

处理器可以根据白色像素单元的像素值生成第一图像数据，根据彩色像素单元的像素值生成第二图像数据，并将第一图像数据和第二图像数据进行融合，得到目标图像。

在光强比较低的情况下，可以将白色像素单元的像素值完全融合进目标图像中，从而能够保证低光照环境下目标图像的亮度，使得图像传感器能够在低光照环境下准确地还原图像。

本申请实施例中的图像传感器还可以包括光强判断模块，该光强判断模块可用于确定像素单元阵列感应的光信号的强度，以便于处理器确定生成目标图像的生成方式。

下面结合图15-图18，对本申请实施例中的融合过程进行描述。

图15示出的是光饱和或接近饱和的情况，图15所示的融合过程对应于流程1。在该情况下，可以直接使用彩色像素单元的像素值，并通过重构马赛克算法生成拍摄对象的目标图像。

图16示出的是光线充足的情况，图16所示的融合过程对应于流程2。在该情况下，可以将W像素单元从像素单元阵列中分离出来，并通过插值法得到4×4的全W像素阵列，该全W像素阵列可用于提供图像的纹路信息以及进行猜色，在彩色像素单元生成目标图像的过程中，可以参考该纹路信息以及猜色信息。在该过程中，彩色像素单元可以通过重构马赛克算法生成目标图像。

图17示出的是光线不足的情况，图17所示的融合过程对应于流程3。在该情况下，可以融合部分W像素单元。具体过程如下：可以将像素单元阵列中的白色像素单元分离出来，得到离散的W像素单元，然后可以通过插值算法进行插值，得到4×4的全W像素阵列。该全W像素阵列可以在彩色像素单元通过重构马赛克算法生成第二图像的过程中，提供纹路信息以及进行猜色。光强判断模块可以确定光强信息，该光强信息可用于确定修正系数α。该全W像素阵列可用于生成第一图像。全W像素阵列的像素值可以与该修正系数α相乘，得到修正后的第一图像。将该修正后的第一图像与第二图像进行融合，得到拍摄对象的目标图像。

图18示出的是光线比较低的情况，图18所示的融合过程对应于流程4。在该情况下，可以融合全部的W像素单元。具体过程如下：可以将像素单元阵列中的白色像素单元分离出来，得到离散的W像素单元，然后可以通过插值算法进行插值，得到4×4的全W像素阵列。该全W像素阵列可以在彩色像素单元通过重构马赛克算法生成第二图像的过程中，提供纹路信息以及进行猜色。光强判断模块可以确定修正系数α＝1。该全W像素阵列可用于生成第一图像，将该第一图像与第二图像进行融合，得到拍摄对象的目标图像。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种图像传感器，其特征在于，包括：

滤光单元阵列，包括多个滤光单元组，所述多个滤光单元组中的每个滤光单元组均包括白色滤光单元和彩色滤光单元；

像素单元阵列，位于所述滤光单元阵列下方，所述像素单元阵列中的像素单元与所述多个滤光单元组中的滤光单元一一对应，所述像素单元阵列中的白色像素单元用于接收经过与其对应的白色滤光单元的光信号，所述像素单元阵列中的彩色像素单元用于接收经过与其对应的彩色滤光单元的光信号，所述像素单元阵列感应的光信号的光强信息用于确定所述彩色像素单元的像素值和所述白色像素单元的像素值生成拍摄对象的目标图像的生成方式。

2.根据权利要求1所述的图像传感器，其特征在于，所述多个滤光单元组中的每个滤光单元组包括4×4个滤光单元，所述每个滤光单元组中白色滤光单元与彩色滤光单元的比例为1:1，且所述白色滤光单元和所述彩色滤光单元交替排列。

3.根据权利要求2所述的图像传感器，其特征在于，所述彩色滤光单元包括2个红色滤光单元、2个蓝色滤光单元和4个绿色滤光单元。

4.根据权利要求3所述的图像传感器，其特征在于，所述每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为2个红色滤光单元和2个蓝色滤光单元。

5.根据权利要求4所述的图像传感器，其特征在于，所述另一条对角线上的2个红色滤光单元共顶角设置，且2个蓝色滤光单元也是共顶角设置。

6.根据权利要求5所述的图像传感器，其特征在于，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；

所述红色滤光单元位于所述每个滤光单元组中的第三行第二列、第四行第一列；

所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第二行第三列；

所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

7.根据权利要求4所述的图像传感器，其特征在于，所述另一条对角线上的2个红色滤光单元共顶角设置，且2个蓝色滤光单元分离设置；或

所述另一条对角线上的2个蓝色滤光单元共顶角设置，且2个红色滤光单元分离设置。

8.根据权利要求7所述的图像传感器，其特征在于，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；

所述红色滤光单元位于所述每个滤光单元组中的第一行第四列、第四行第一列；

所述蓝色滤光单元位于所述每个滤光单元组中的第二行第三列、第三行第二列；

所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

9.根据权利要求7所述的图像传感器，其特征在于，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；

所述红色滤光单元位于所述每个滤光单元组中的第二行第三列、第三行第二列；

所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第四行第一列；

所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

10.根据权利要求4所述的图像传感器，其特征在于，所述另一条对角线上的红色滤光单元和蓝色滤光单元交替排列。

11.根据权利要求10所述的图像传感器，其特征在于，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；

所述红色滤光单元位于所述每个滤光单元组中的第二行第三列、第四行第一列；

所述蓝色滤光单元位于所述每个滤光单元组中的第一行第四列、第三行第二列；

所述绿色滤光单元位于所述每个滤光单元组中的第一行第二列、第二行第一列、第三行第四列以及第四行第三列。

12.根据权利要求3所述的图像传感器，其特征在于，所述每个滤光单元组中一条对角线上的滤光单元为白色滤光单元，另一条对角线上为绿色滤光单元。

13.根据权利要求12所述的图像传感器，其特征在于，所述白色滤光单元位于所述每个滤光单元组中的第一行第一列、第一行第三列、第二行第二列、第二行第四列、第三行第一列、第三行第三列、第四行第二列以及第四行第四列；

所述红色滤光单元位于所述每个滤光单元组中的第二行第一列、第四行第三列；

所述蓝色滤光单元位于所述每个滤光单元组中的第一行第二列、第三行第四列；

所述绿色滤光单元位于所述每个滤光单元组中的第一行第四列、第二行第三列、第三行第二列以及第四行第一列。

14.根据权利要求1-13中任一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于：

根据所述像素单元阵列感应的光信号，确定光强；

当所述光强大于或等于第一预设阈值时，使用所述彩色像素单元的像素值生成所述目标图像。

15.根据权利要求1-13中任一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于：

当所述光强小于所述第一预设阈值且大于或等于第二预设阈值时，根据白色像素单元的像素值确定纹路信息，根据所述白色像素单元的像素值以及所述白色像素单元周围的像素单元的颜色，确定所述白色像素单元所在位置的颜色信息以及像素值，以及根据所述白色像素单元所在位置的颜色信息以及像素值所述彩色像素单元的像素值生成所述目标图像。

16.根据权利要求1-13中任一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于：

当所述光强小于所述第二预设阈值且大于或等于第三预设阈值时，根据所述白色像素单元的像素值生成第一图像数据，根据所述彩色像素单元的像素值生成第二图像数据，使用修正系数α对所述第一图像数据进行修正，得到修正后的第一图像数据；以及将所述修正后的第一图像数据和所述第二图像数据进行融合，得到所述目标图像，其中，修正系数α是根据所述光强的大小确定的，0＜α＜1。

17.根据权利要求1-13中任一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于：

当所述光强小于所述第三预设阈值时，根据所述白色像素单元的像素值生成第一图像数据，根据所述彩色像素单元的像素值生成第二图像数据，将所述第一图像数据和所述第二图像数据进行融合，得到所述目标图像。

18.根据权利要求1-13中任一项所述的图像传感器，其特征在于，还包括：

微透镜阵列，包括多个微透镜，位于所述滤光单元阵列的上方，用于将所述拍摄对象返回的光信号会聚至所述滤光单元阵列，其中，所述多个微透镜中的一个微透镜对应所述滤光单元阵列中的至少一个滤光单元。

19.根据权利要求18所述的图像传感器，其特征在于，所述微透镜阵列中的微透镜与所述滤光单元阵列中的滤光单元一一对应。

20.一种电子设备，其特征在于，包括：

如权利要求1至19中任一项所述的图像传感器。

Images